This paper aims to ethically explore the possibility that AI robots can evolve into a moral agent. To this end, I would like to first limit moral agent to explicit ethical agent, not full moral agent, according to the classification of J. Moor. Explicit ethical agent emphasizes phenomenological functions such as ethical reasoning, moral judgment, or moral action without presupposing metaphysical entities such as consciousness or free will. This position requires a weak interpretation of the moral requirements, a typical example of which is the ‘mind-less morality’ of Florida and Sanders. In other words, they argue that AI robots can become moral agents if they meet criteria such as interactivity, autonomy, and adaptability based on mind-less morality. I would like to defend their position that AI robots can become moral agents by critically refuting teleological objection, intentional objection, freedom objection, and responsibility objection to their arguments. However, the question remains whether these autonomous robots are ethically desirable for humans. This is because robots that are superior to humans may dominate humans. I would like to accept the ‘slave paradox’, which is the basis for this criticism, and propose in the conclusion to declare a moratorium on the creation of autonomous master-robots until they have a safeguard to keep them ethically good for humans.
이 논문은 AI 로봇이 도덕 행위자로 진화할 수 있는 가능성을 윤리학적으로 탐구하는 것을 목표로 한다. 이를 위해 필자는 먼저 제임스 무어의 구분에 따라 도덕 행위자를 온전한 도덕 행위자가 아니라 명시적인 윤리 행위자에 국한하고자 한다. 명시적인 윤리 행위자는 의식이나 자유의지 등과 같은 형이상학적 실체를 전제하지 않고 윤리적 추론이나 도덕 판단 혹은 도덕적 행위 등과 같은 현상학적 기능을 강조한다. 이러한 입장은 도덕의 요구조건에 관한 약한 해석을 필요로 하는데, 그 대표적인 예가 플로리디와 샌더스의 마음 없는 도덕이다. 즉, 이들은 마음 없는 도덕에 근거하여 AI 로봇이 상호작용성, 자율성, 적응성 등의 기준을 충족시킨다면 도덕 행위자가 될 수 있다고 주장한다. 필자는 이들의 주장에 대한 목적 반론, 의도 반론, 자유 반론, 책임 반론 등을 비판적으로 재반박함으로써 AI 로봇이 도덕 행위자가 될 수 있다는 이들의 입장을 옹호하고자 한다. 하지만 자율적인 이러한 로봇이 과연 인간에게 윤리적으로 바람직한가의 물음은 여전히 남아 있다. 인간보다 뛰어난 로봇이 인간을 지배할 수도 있기 때문이다. 필자는 이러한 비판의 근거가 되는 ‘노예 역설’을 받아들여 로봇이 인간에게 윤리적으로 선한 존재로 머무르게 할 수 있는 안전장치를 마련할 때까지는 자율적인 주인 로봇의 제작에 대해 모라토리엄을 선언할 것을 결론에서 제안하고자 한다.