이 글은 정답 없는 영역에서 AI가 사람을 덜 확신하게 만드는 배움을 줄 수 있을까라는 질문을 따라가는 연재 책의 다섯 번째 장이다. 지난 두 장에서는 내가 손에 든 것이 기존 카테고리 어디에 들어가는지 따져봤다. 교육이라 부르기엔 정답이 없고, 동반자 앱이라 부르기엔 붙잡아두려는 의도가 없고, 브릴리언트 같은 인터랙티브 학습이라 부르기엔 미리 깔린 길이 아니었다. 철학 챗봇과 가장 가까웠지만, 단발 반론과 하나의 학습 경험은 아직 다른 물건이라고 적었다.
그렇게 위치는 조금 보였다. 정답 없음, 성장 의도, 그 순간 생성되는 반례. 이 셋이 겹치는 자리. 그런데 4화 끝에 적어둔 것처럼, 위치를 찾는 것과 이름을 갖는 것은 다르다. 사람은 위치를 외우지 않는다. 이름을 외운다.
솔직히 처음부터 이걸 거창하게 부른 건 아니었다. 그냥 인터랙티브한 교육 도구 정도로 생각했다. 사람이 무언가를 누르고, 답하고, 시스템이 거기 반응하는 도구. 그 말이면 충분하다고 여겼다. 내가 오래 품고 있던 건 The Good Place의 트롤리 장면과 샌델 강의실의 반응성이었지, 새 카테고리 이름이 아니었다. 이름은 한참 뒤에 붙었고, 그것도 내가 붙인 게 아니었다.
처음엔 그냥 인터랙티브한 교육 도구였다
인터랙티브 교육 도구는 편한 말이다. 있는 단어를 붙이기만 하면 되니까. 사용자가 움직이고, 시스템이 반응하고, 그 사이에서 뭔가를 배운다. 1화에 적은 내 오래된 직관도 그 근처에 있었다. 책보다 영상이, 영상보다 실제가 더 세게 작용한다면, 배움도 사람을 앉혀두는 것보다 움직이게 만드는 쪽이 세지 않을까. 그런 생각이었다.
그래서 처음엔 형식이 먼저 보였다. 레버를 당기고, 사람을 밀고, 멈추고, 왜 그랬는지 말하면, 시스템이 그 말에 반응해 다음 장면을 연다. 강의보다 게임에 가깝고, 게임보다는 수업에, 수업보다는 실험에 가까운 무엇. 그래도 넓게 보면 인터랙티브 교육 도구라 부를 수 있었다. 적어도 처음엔 그 이름이 크게 틀리지 않았다.
문제는 주제가 도덕이었다는 점이다. 수학이나 언어라면 그 말로 충분했을지 모른다. 답이 있고, 사용자는 그 답에 가까워지고, 시스템은 막힌 곳을 거든다. 그런데 트롤리 앞에서는 그 말이 헐거워졌다. 여기서 배운다는 게 뭔가. 레버를 당기는 답을 더 빨리 고르는 것? 육교 위 사람을 밀지 않는 쪽으로 정렬되는 것? 공리주의를 더 잘 외우는 것? 아니면 내가 상황마다 다른 기준을 쓰고 있다는 사실을 보는 것?
이 질문을 붙잡는 순간, 인터랙티브 교육 도구라는 이름은 너무 넓어졌다. 맞긴 맞는데 아무것도 설명하지 못했다. 이 프로젝트를 다른 교육 도구와 가르는 건 인터랙티브하다는 점이 아니라 정답이 없는 영역에서 인터랙티브하다는 점이었다. 그리고 정답이 없다는 건 단순한 도메인 설명이 아니라 제품 전체의 성격을 바꾸는 조건이었다.
주제가 이름을 밀어냈다
나는 이름을 먼저 고민하지 않았다. 오히려 주제가 나를 이름 쪽으로 밀었다. 도덕이라는 주제가 가진 성질 때문에 자꾸 더 들어가게 됐고, 정답이 없다는 사실이 계속 걸렸다.
정답이 없다는 말은 보통 가볍게 쓰인다. 사람마다 다르다, 관점 차이다, 취향이다. 그런데 여기서 정답이 없다는 건 그런 느슨한 상대주의가 아니다. 아무 말이나 해도 된다는 뜻이 아니라 오히려 그 반대다. 정답표가 없으니 더 조심해야 한다. 수학이라면 시스템이 틀렸을 때 틀렸다고 말할 수 있다. 도덕에서는 시스템이 그럴듯한 말을 해도, 그 말이 사용자를 어느 쪽으로 밀고 있는지 알아채기 어렵다. 정답 없음은 자유가 아니라 책임의 무게로 돌아온다.
2화에서 나는 이걸 “흔든 뒤 엉뚱한 확신을 심는 실패”라고 적었다. 사용자의 기존 확신을 흔들어 놓고 그 자리에 시스템이 다른 확신을 슬쩍 끼워 넣는 것. 그게 제일 무서운 실패였다. 무서운 이유는 겉이 교육처럼 보여서다. 사용자는 흔들렸고, 뭔가 깨달은 것 같고, 시스템은 똑똑한 질문을 던졌다. 그런데 그 끝이 더 넓은 생각이 아니라 더 좁은 확신이라면, 이 도구는 자기가 비판하던 것과 같은 편에 서 버린다.
그래서 이름이 필요해졌다. 예쁜 브랜드가 아니라 경계가 필요했다. 이건 그냥 인터랙티브 교육 도구가 아니라, 정답 없는 영역에서 사람을 더 확신하게 만들지 않으려는 도구다. 생각을 대신 정리해주지도, 사용자를 어떤 유형에 넣지도, 특정 입장으로 데려가지도 않는다. 이름은 무엇을 하겠다는 약속이기 전에, 무엇을 하지 않겠다는 제한이어야 했다.
LLM은 맞춰준다
여기서 LLM이라는 재료의 성질이 끼어든다. LLM은 기본적으로 맞춰준다. 말투에 맞추고, 전제에 맞추고, 질문이 향하는 쪽에 맞춘다. 대화가 매끄럽게 이어지도록 설계된 시스템은 사용자의 세계를 너무 빨리 받아들인다. 편하다. 그래서 사람들이 쓴다. 그런데 도덕처럼 정답이 없는 영역에서는 그 편함이 곧 위험이 된다.
내가 어떤 판단을 들고 들어왔을 때 시스템이 그걸 잘 이해해주는 건 좋다. 문제는 그다음이다. 이해와 동조는 다르다. 사용자가 이미 믿는 것을 더 매끄러운 문장으로 되돌려주는 순간, 거울은 거울이 아니라 확성기가 된다. 자기 생각을 본 게 아니라 자기 생각이 더 그럴듯해진 버전을 들은 것이다. 배움처럼 느껴지지만 실은 확신의 포장이다.
이건 LLM만의 문제도 아니다. 온라인 시스템은 오래전부터 비슷하게 굴러왔다. 추천 시스템은 사용자가 오래 머무는 걸 보상한다. 반응한 것과 비슷한 걸 더 보여준다. 분노하면 분노할 것을, 동의하면 더 동의할 것을 가져온다. 사용자는 점점 자기와 비슷한 신호 안에 머문다. 누가 악의로 설계해서가 아니라, 클릭과 체류 시간과 재방문 같은 지표만 따라가도 자연히 그쪽으로 흐른다.
LLM의 동조 성향은 이 오래된 흐름과 맞물린다. 추천 시스템이 내게 맞는 콘텐츠를 골라줬다면, LLM은 내게 맞는 말을 만들어준다. 하나는 바깥 세계를 내 취향대로 배열하고, 다른 하나는 대화 자체를 내 전제대로 다시 짠다. 둘 다 나를 편하게 하고, 오래 붙잡을 수 있고, 조심하지 않으면 나를 더 확신하게 만든다.
그러니 이름은 기술 설명이 아니라 방향 전환이어야 했다. LLM을 쓰지만 LLM의 기본 성향을 그대로 쓰면 안 되고, 추천 시스템 이후의 세계에서 만들어지지만 추천 시스템이 다져온 확신의 회로를 반복하면 안 된다. 맞춰주는 듯하다가도 사용자가 자기 말의 약한 곳을 보게 만드는 쪽. 오래 머물게 하는 게 아니라 한 번 멈추게 하는 쪽.
거울이라는 단어의 불편함
지금 이 프로젝트는 모럴 미러(Moral Mirror)라고 불린다. 그런데 이 이름은 내가 작정하고 지은 게 아니다.
처음에 떠올린 이름은 훨씬 직설적이었다. 주제가 트롤리에서 출발했으니, 그냥 트롤리 문제 이름을 거의 그대로 가져다 쓰려고 했다. 직관적이고 설명이 필요 없는 대신 너무 좁았다. 트롤리는 소재일 뿐인데 이름이 소재에 갇혔다.
모럴 미러는 다른 자리에서 나왔다. 나는 이 주제를 두고 여러 모델과 여러 번의 새 세션을 열어 짧은 브리프 회의처럼 토론을 거듭했다. 기능 설정을 정하는 자리가 아니라, 옳고 그름의 정답이 없는 영역이라는 게 무슨 뜻인지, 그리고 그 강의실 특유의 세팅이 뭐였는지를 이야기하던 중이었다. 그러다 그 단어가 갑자기 튀어나왔다. 내가 고른 게 아니라, 토론이 굴러가다 남은 이름에 가깝다.
솔직히 나는 이 이름의 어감이 썩 마음에 들지는 않는다. 특히 한국어로 옮겨놓으면 “모럴 미러”가 좀 이게 뭐야 싶기도 하다. 그런데도 적어두는 게 중요하다고 생각한다. 이름이 너무 자연스럽게 붙은 것처럼 보이면 처음부터 모든 게 정리돼 있던 것처럼 보이니까. 그렇지 않았다. 직설적인 트롤리 이름에서, 정답 없는 영역의 적응형 교육이라는 긴 설명으로, 그리고 어느 토론에서 남은 모럴 미러로. 이름이 나를 이끈 게 아니라, 생각이 굴러가다 임시로 하나가 남았다.
그래도 거울이라는 단어에는 분명한 장점이 있다. 거울은 판단하지 않고, 너는 이런 사람이라고 선언하지 않고, 없던 얼굴을 만들어주지도 않는다. 그냥 비춘다. 이 프로젝트가 하려는 일도 그쪽이다. 사용자를 공리주의자나 의무론자로 라벨링하는 게 아니라, 방금 한 말과 다음 순간의 망설임 사이에 있는 긴장을 비추는 것. 그 점에서는 꽤 맞는 단어다.
불편함은 거기서 온다. 거울은 너무 깨끗한 은유다. 실제 제품은 그렇게 순진하지 않다. 진짜 거울도 무엇을, 어느 각도로, 어떤 조명 아래 비추느냐에 따라 전혀 다른 얼굴을 만든다. AI가 만든 거울이라면 더 그렇다. “나는 그냥 비출 뿐”이라는 말은 너무 쉽게 책임 회피가 된다. 어떤 질문을 던졌는지, 어떤 반례를 골랐는지, 마지막에 어떤 말을 남겼는지에 따라 사용자는 다른 쪽으로 움직인다. 그러니 모럴 미러라는 이름이 맞으려면 거울이라는 은유에 취하지 않아야 한다. 이 거울은 설계된 거울이고, 설계된 거울은 늘 사람을 어느 정도 움직인다.
그래서 나는 이 이름을 아직 온전히 좋아하지 못한다. 맞는 면이 있는데 너무 쉽게 맞아 보이고, 거울이라 부르는 순간 위험이 사라지는 것도 아닌데 이름이 위험을 사라진 것처럼 보이게 만든다. 이 이름을 계속 쓰려면 그 불편함을 같이 들고 가야 한다. 모럴 미러는 “우리는 거울일 뿐입니다”라는 변명이 아니라, “거울이라는 말을 쓸 만큼 조심하겠습니다”라는 부담이어야 한다.
이름은 사상을 심지 않기 위한 장치다
처음엔 이 도구가 어떤 오해를 거부해야 하는지 깊이 생각하지 않았다. 지금 보면 한 가지가 또렷하다. 이 도구는 흑백으로 갈릴 수 있는 자리와, 잘못된 사상이나 방향으로 틀어질 수 있는 자리를 조심해야 한다.
이 말은 꽤 무겁다. 사람을 덜 확신하게 만들겠다는 도구는, 조금만 잘못 설계해도 특정 확신을 심는 도구가 된다. 늘 다수의 선택을 보여주면 사용자는 다수가 정답이라 느낀다. 늘 한 학파의 반례만 세게 던지면 사용자는 그 반대편으로 밀린다. “당신은 이런 긴장을 갖고 있다”를 반복하면 어느새 “당신은 이런 사람이다”라는 라벨로 굳는다. 내가 피하려던 MBTI식 가두기가 다른 이름으로 돌아오는 것이다.
더 어려운 건 이런 실패가 노골적으로 오지 않는다는 점이다. “이 사상을 믿으세요”라고 하면 누구나 경계한다. 그런데 좋은 질문, 세련된 반례, 아름다운 한 문장으로 오면 경계가 풀린다. 사용자는 설득당했다고 느끼지 않고 스스로 깨달았다고 느낀다. 소크라테스식 문답의 힘이 바로 거기 있고, 그래서 그 힘은 교육에도 조종에도 쓰인다. 같은 칼날이다.
그렇다면 이름은 이 칼날을 어디까지 쓸지 정하는 장치가 된다. 모럴 미러라는 이름을 쓰려면 이 도구는 최소한 네 가지를 거부해야 한다. 사용자를 특정 유형으로 닫는 것. 다수의 응답을 정답처럼 보여주는 것. 특정 입장을 은근히 우월한 종착점으로 놓는 것. 사용자의 흔들림을 리텐션이나 결제의 재료로 쓰는 것. 이 넷을 거부하지 못하면 이름은 껍데기다.
지적 자기학대라는 말
이 과정에서 “지적 자기학대 지대”라는 표현도 어딘가에 놓여 있다. 솔직히 지금도 이 말을 어떻게 다뤄야 할지 잘 모르겠다. 농담 같기도 하고, 이상하게 핵심을 찌르는 것 같기도 하다. 일부러 자기 확신이 불편해지는 자리로 들어가는 것. 내가 맞다고 믿는 걸 더 세게 믿으려는 게 아니라, 내가 왜 그렇게 믿는지 흔들어보려고 들어가는 자리. 그렇게 보면 아주 틀린 말은 아니다.
그런데 이 표현을 앞세우기엔 위험하다. 자기학대라는 말은 너무 세고, 이 프로젝트가 하려는 일을 오해하게 만든다. 목표는 사람을 괴롭히는 것도, 불편함을 오래 붙잡게 하는 것도 아니다. 생각의 약한 곳을 보게 하는 것이다. 그 과정에서 불편함이 생길 수 있지만 불편함 자체가 목적은 아니다.
이 차이가 중요하다. 많은 디지털 제품은 즐거움을 지표로 삼는다. 반대로 어떤 진지한 제품은 불편함을 진정성의 증거처럼 다룬다. 둘 다 위험하다. 즐겁기만 하면 확신 강화로 흐르고, 불편하기만 하면 자기 고문으로 흐른다. 모럴 미러가 찾아야 할 자리는 그 사이 어딘가다. 충분히 불편해서 자기 생각의 균열은 보이되, 그 불편함이 사용자를 부수거나 몰아가지 않는 자리. 내가 이 표현을 아직 중심에 두지 못하는 이유도 여기 있다. 말은 센데, 센 말이 좋은 이름은 아니다.
임시 이름으로 시작하기
그래서 지금 결론은 좀 싱겁다. 나는 아직 모럴 미러를 온전히 좋아하지 않는다. 지적 자기학대 지대도 아직 모르겠다. “AI-native Socratic education for domains without fixed answers”는 설명으로는 좋지만 이름이라기엔 길고, “interactive edu tool”은 너무 넓고, “철학 챗봇”은 너무 좁다.
그렇다고 이름 붙이기를 미룰 수는 없다. 이름이 없으면 생각이 매번 흩어진다. 설명할 때마다 좌표를 다시 그려야 하고, 듣는 사람은 어디에 걸어야 할지 모른다. 이름은 남에게만이 아니라 만드는 사람에게도 필요하다. 이름이 있어야 어떤 기능이 들어오면 안 되는지, 어떤 문장이 톤을 망치는지, 어떤 수익 모델이 미션을 잡아먹는지 판단할 수 있다.
그래서 지금은 임시 이름으로 간다. 모럴 미러. 완벽해서가 아니라 충분히 조심스러워서다. 이 이름은 적어도 몇 가지 신호를 준다. 사용자를 진단하지 말라는 것, 붙잡지 말라는 것, 사용자의 말에 동조해 더 그럴듯하게 포장하지 말라는 것. 그리고 이 도구가 할 일이 답을 주는 게 아니라 비추는 일이라는 걸 계속 떠올리게 한다.
좋은 이름은 한 번에 완성되지 않는다. 아직 만들어지지 않은 카테고리의 이름은 더 그렇다. 첫 이름은 늘 조금 헐겁고, 조금 불편하고, 조금 남의 말 같다. 중요한 건 그 이름이 작업을 통제할 수 있느냐다. 지금의 모럴 미러는 적어도 내게 질문을 돌려준다. 이 기능은 거울인가 확성기인가. 이 문장은 비추는가 몰아가는가. 이 결과는 사용자를 열어두는가 닫아버리는가. 그 질문을 계속 던지게 만든다면 임시 이름으로는 충분하다.
이 글이 답하지 못한 것
5화는 빈자리에 이름을 붙이는 과정을 적었다. 처음엔 그냥 인터랙티브한 교육 도구였고, 주제가 가진 정답 없음 때문에 이름이 무거워졌고, LLM의 동조 성향과 추천 시스템의 확신 강화 구조를 지나며 이름은 라벨이 아니라 안전장치가 됐다. 모럴 미러는 내가 작정하고 지은 것도, 어감이 온전히 마음에 드는 것도 아니지만, 적어도 이 도구가 무엇을 하지 말아야 하는지 계속 묻게 만든다.
그래도 답하지 못한 게 있다. 하나, 이 이름이 실제 사용자에게도 같은 방식으로 읽힐지는 모른다. 내가 거울이라 불러도 사용자는 심리검사로, 철학 게임으로, AI 상담으로 읽을 수 있다. 이름은 의도를 담지만 해석을 통제하지는 못한다.
둘, 이름이 안전장치가 된다는 건 아직 가설이다. 진짜 안전장치는 이름이 아니라 설계와 운영에서 나온다. 어떤 질문을 던지고, 어떤 반례를 금지하고, 어떤 결과 문장을 막고, 어떤 로그를 남기느냐. 이름은 방향만 잡을 뿐 설계를 대신하지 못한다. 이 프로젝트가 정말 모럴 미러가 되려면 이름 다음에 구조가 와야 한다. 다음 장부터는 그 구조를 검증하려고 내가 왜 라운드테이블을 빌렸는지로 넘어간다.
관련 글

어디에도 안 맞는 걸 만들고 있다는 걸 알았을 때: 카테고리 지도의 빈자리
좁히고 덜어낸 끝에 남은 것을 어느 카테고리에도 넣을 수 없었다. 교육이라기엔 정답이 없는데, 하버드에서 하던 것도 같은 것이었다. 빈자리가 기회인지 함정인지. 연재 책 3화

AI로 도덕을 가르칠 때 무엇을 만들지 않을 것인가: 트롤리 하나로 좁힌 이유
AI로 도덕을 가르치려 할 때 먼저 한 건 빼는 결정이었다. 트롤리 하나로 좁히고 구독·유형화·K-12·전문 윤리를 미룬 이유. 연재 책 2화

에듀테크는 어떻게 갈리는가: Khanmigo, Replika, Brilliant
빈자리가 정말 빈지 가까운 것들을 옆에 놓고 봤다. Khanmigo·Replika·Brilliant와 어디서 갈리는지, 철학 챗봇과의 경계는 왜 흐린지. 연재 책 4화