시민감 네트워크 (Time Sensitive Networking, TSN)는 IEEE 802.1 이더넷 네트워크 환경에서 패킷을 매우 낮은 지연시간과 지터로 전달될 수 있도록 Quality of Service (QoS)를 보장하는 표준이다. TSN은 엄격한 신뢰성을 확보하기 위해서 정밀한 시간 동기화와 패킷 대기열을 관리하는 프로그래밍 가능한 게이트 컨트롤 메커니즘을 포함하고 있다. 이를 바탕으로 Audio-Video-Bridging 및 스케줄 트래픽, Best-Effort 트래픽을 지원한다. 하지만 TSN이 내포하고 있는 복잡성 때문에 모든 트래픽의 서비스 품질을 만족하는 라우팅과 스케줄링은 매우 어렵고 해결해야 할 문제로 남아있다. 근래의 많은 연구는 각각의 문제에 집중하기 위해 다른 한쪽의 문제를 가정하여 진행된다. 이러한 가정은 더 나은 라우팅과 스케줄링 할 가능성을 포기한다. 우리는 딥 강화학습의 C51 알고리즘 바탕으로 라우팅 문제를 해결하고, 해당 라우팅 결과를 기반으로 스케줄링을 문제를 해결하는 통합 기법을 제안한다.
Time Sensitive Networking (TSN) is a standard that guarantees quality of service (QoS) so that packets can be delivered to very low latency and jitter in an IEEE 802.1 Ethernet network environment. TSN includes a programmable gate control mechanism that manages precise time synchronization and packet queues to ensure tight reliability. Based on this, TSN supports Audio-Video-Bridging and schedule traffic, Best-Effort traffic. However, due to the complexity of TSN, routing and scheduling that satisfy the quality of service for all traffic remains a difficult problem to be solved. Many recent studies are conducted assuming problems on the other side to focus on each problem. These assumptions miss the possibility of better routing and scheduling. We propose an integrated solution to solve routing problems based on the C51 algorithm of deep reinforcement learning, and to solve scheduling problems based on the corresponding routing results.