치열해져 가고 있는 시장에서는 고객 요구의 증대, 제품의 수명주기 단축, 유행, 경기 상황, 소비심리의 고저, 소비 트렌드 변화 등으로 인해 발생하는 수요의 불확실성으로 수요 변동이 커지고 미출, 오출과 같이 공급사슬상의 위험으로 발생하는 공급 손실이 존재하기 때문에 이러한 불확실한 환경을 고려한 주문량 결정은 비용 절감 및 이윤 최적화의 관점에서 중요하다. 최적 주문량 결정에 대한 기존의 연구에서는 고객 수요가 고정 상수 값이나 통계적인 분포를 갖는다는 가정을 가지고 수리적인 방법으로 접근해왔다. 그러나 이러한 비현실적인 가정을 극복하기 위한 연구가 필요하다. 시장과 맞닿아 있는 소매점의 의사결정자는 수리적으로, 데이터적으로 접근하기는 어렵지만 중요한 수요와 공급에 대한 정보를 가지고 있다. 다음 재고보충시점까지의 수요가 소매점의 지역적, 시기적인 요인들로 인해 고객 수요가 증가, 감소 혹은 유지할 지에 대한 정성적인 판단은 상당히 유효한 정보를 가지고 있다. 본 연구에서는 이러한 소매점 현장에 일하고 있는 현장 전문가가 가지고 있는 수요와 공급 불확실성에 대한 경험적이고 정성적인 정보를 활용하여 정량적인 최적 주문량 도출에 활용하기 위한 방법을 강화 학습을 이용하여 제안한다. 최근 주목을 받고 있는 기계 학습 방법인 강화 학습은 환경과 상호작용하면서 최적의 행동을 학습하는 인공지능형 의사결정 기법이다. 본 연구에서는 수요와 공급의 불확실성에 대응하여 주문량 결정에 대한 의사결정을 강화 학습을 활용하여 접근하였다. 강화 학습을 활용하여 비안정적인 고객 수요 및 수요와 공급 환경과 상호작용하면서 재고 보충을 위한 최적의 주문량을 학습하여 결정한다. 시간에 따라 변화하는 고객 수요, 일시적인 수요 불확실성 그리고 공급 손실에 효과적으로 대응할 수 있도록 주문량을 적응적으로 조정하는 방법을 적용하였다. 소매점의 제품들은 크게 부패하기 쉬운 제품과 유통기한이 긴 제품으로 분류할 수 있다. 재고와 현장 전문가의 지식을 기반으로 주문량을 결정하는 재고 기반 모델과 재고와 현장 전문가의 지식 정보 그리고 제품의 수명 정보를 기반으로 주문량을 결정하는 잔여 수명 기반 모델을 제안한다. 그리고 실험을 통해 모델의 유효성을 검증하며, 현장 전문가의 지식을 효과적으로 잘 활용하여 불확실성에 대응하는지 확인하고 분석한다.
There is a temporary variation in demand for field retailers such as convenience store, supermarket, hypermarket and so on. These fluctuations in demand occur, enlarge the uncertainty of demand, due to event affecting demand in the vicinity of the store and dissemination of negative or positive information about products. Moreover, supply loss can be caused by supply chain risk such as mistakes in orders, mishandling in transportation, missing and misplaced products, etc. Since these uncertainties of demand and supply, which is influenced by local issue of each retail store, a research is needed to manage demand and supply uncertainty. To respond to uncertainty, we developed RL(reinforcement learning) model. RL agent asks an opinion about demand and supply to field store manager for the order quantity decision and uses qualitative information of field store manager about demand and supply uncertainty. Proposed RL model also overcome the limitation that customer demand follows a stationary statistical distribution. The result of the experiment shows that model well learn and effectively cope with demand and supply uncertainty.