AI가 정답 없는 문제를 가르칠 수 있을까: The Good Place에서 시작된 6년

이 글은 한 권의 책이 될 노트북의 첫 장이다. 결과물 보고서가 아니라, 어떤 질문 하나를 몇 년에 걸쳐 품고 굴린 흔적의 기록이다. 그래서 1화는 제품 이야기도, 기술 이야기도 아니다. 그 질문이 어디서 시작됐는지에서 출발한다.

질문은 이렇다. 정답이 없는 영역, 이를테면 도덕이나 가치 판단, 리더십 같은 곳에서, AI가 사람을 더 확신하게 만드는 게 아니라 덜 확신하게 만드는 배움을 줄 수 있을까. 지금은 이렇게 한 줄로 적지만, 처음엔 이런 말로 떠오르지 않았다. 미드 한 편의 장면에서 시작했다.

미리 말해두면, 이 노트북은 완성된 답을 들고 시작하지 않는다. 나는 이 질문을 몇 년에 걸쳐 품어 왔고, 올해 들어 만들어볼 만하다고 판단해 실제로 손을 대기 시작했다. 그 과정에서 떠오른 생각, 부딪힌 벽, 빌린 외부의 시선, 바꾼 판단을 순서대로 적어 나갈 생각이다. 그래서 회차마다 결론이 깔끔하게 떨어지지 않을 수 있다. 어떤 장은 막혔다는 고백으로 끝나고, 어떤 장은 앞 장의 결론을 뒤집을 것이다. 그게 이 형식의 약점이자, 내가 일부러 택한 점이다. 다 정리된 뒤에 쓰는 회고록보다, 정리되는 중간을 공개하는 기록이 이 주제에는 더 정직하다고 봤다. 첫 장인 지금은, 그 질문이 어디서 왔는지부터.

치디가 트롤리 앞에 섰을 때

넷플릭스 시트콤 The Good Place는 죽은 네 사람이 사후 세계에 떨어져, 좋은 사람이 되는 법을 배워 천국에 남으려 애쓰는 이야기다. 그 중심에 윤리학 교수 치디가 있다. 살아서 평생 도덕철학을 가르쳤지만 정작 자기 삶에서는 아무 결정도 못 한 인물. 시트콤이 주인공을 윤리학 교수로 세우고 “배워서 좋은 사람이 되기”를 줄거리로 삼았다는 것부터가, 사실은 꽤 진지한 질문을 농담으로 감싼 설정이다.

그 시리즈에 트롤리 문제를 다루는 에피소드가 있다. 윤리학 교수인 치디(Chidi)가 평소처럼 트롤리 딜레마를 강의한다. 다섯 명을 살리려고 레버를 당겨 한 명을 죽이는 게 옳은가. 윤리학 교과서 첫 장에 나오는 그 문제다. 치디는 차분하게, 이론적으로, 여러 학파의 입장을 정리해 설명한다. 결과를 중시하는 입장이라면 다섯을 살려야 하고, 행위 자체의 옳고 그름을 보는 입장이라면 한 명을 직접 죽이는 선택이 걸린다. 치디에게 이건 칠판 위의 문제다. 그는 평생 이 문제를 가르쳐 왔고, 모든 각도를 안다.

그러자 마이클이라는 등장인물이 치디를 실제 트롤리 운전석에 앉힌다. 진짜로 선로 위에 사람들이 묶여 있고, 레버는 치디 손에 있고, 트롤리는 달려간다. 치디는 비명을 지르고, 얼어붙고, 결정을 못 한다. 레버를 당기지도 놓지도 못한 채 시간이 흐르고, 결국 사람이 치인다. 피가 튄다. 마이클은 이 상황을 몇 번이고 반복시킨다. 매번 조금씩 조건을 바꾸면서. 선로 위의 한 명이 치디의 친구라면. 다섯 명이 모르는 사람이라면. 그러면서 천연덕스럽게 말한다. 너는 교과서로 배웠으니까 그렇게 쉽게 말하는 거라고. 정말로 네가 그 선택을 할 수 있다고 생각하느냐고.

그 장면은 꽤 잔인하게 웃긴다. 시트콤이라 농담처럼, 피가 분수처럼 튀는 슬랩스틱으로 처리되는데, 그 농담이 오래 남는다. 나는 그 장면을 보다가 아차, 했다. 아, 아니구나. 책상 위에서 정리한 추론과, 실제로 그 안에 서서 손이 레버에 닿아 있는 상태는 같은 게 아니구나.

치디라는 인물이 왜 윤리학 교수로 설정됐는지도 이 장면에서 드러난다. 그는 극 중에서 결정을 못 하는 사람의 대명사다. 식당 메뉴 하나 못 고르고, 모든 선택을 무한히 분석하다 마비된다. 가장 많이 아는 사람이 가장 못 움직인다. 트롤리 장면은 이 아이러니를 압축해서 보여준다. 윤리에 관한 한 치디는 누구보다 박식한데, 정작 윤리적 선택의 순간이 오자 그 박식함이 그를 구해주지 못한다.

지금 와서 보면 이 장면이 내가 몇 년 뒤 만들려는 것의 씨앗 전체를 담고 있었다. 핵심은 트롤리 문제 자체가 아니다. 트롤리는 어디까지나 소재다. 진짜 핵심은 머리로 정리한 입장과, 직접 그 자리에 서서 내려야 하는 선택 사이의 간극이었다. 그 간극을 눈으로 보게 만드는 힘. 치디가 다섯 학파를 줄줄 외운다고 흔들리지 않는다. 치디를 흔든 건 레버였다. 자기가 방금 정리한 그 깔끔한 이론이, 손이 레버에 닿는 순간 아무 도움이 안 된다는 걸 몸으로 마주한 것이다.

여기엔 내가 한참 뒤에야 언어로 잡은 구분이 하나 들어 있다. 아는 것과 그 앎 안에 서는 것은 다르다. 치디는 트롤리 문제를 누구보다 잘 안다. 그런데 트롤리 안에 서자 그 앎이 무너진다. 배움이 진짜로 일어나는 자리는 앎을 쌓는 곳이 아니라, 쌓아둔 앎이 무너지는 곳일지도 모른다는 생각. 그게 1화의 출발점이다.

나는 흑과 백을 싫어한다

그 장면을 보던 무렵, 나는 “새로운 형태의 배움”이라는 것에 예민하게 반응하는 상태였다. 그때는 가상 공간이 한창 화제였고, 콘텐츠가 정적인 것에서 동적인 것으로 옮겨가듯 결국 버추얼한 공간이 여러 면에서 나을 수밖에 없다고 생각하던 시기이기도 했다. 그래서 The Good Place의 그 장면이 단순한 시트콤 농담으로 지나가지 않고 걸렸던 것 같다.

The Good Place를 보면서 이런 식으로도 뭔가 새로운 배움이 올 수 있겠다는 감이 왔다. 그래서 찾아봤다. 윤리를 이야기로 풀어내는 사람들. 그러다 가장 평이 좋은 강의에 닿았다. 마이클 샌델(Michael Sandel)의 하버드 강의 Justice였다. 책으로는 이미 세계적으로 유명했다는데 그때까지 나는 몰랐다.

강의를 보는데 좋았다. 특별한 계기가 있었던 게 아니라 그냥 좋았다. 나는 원래 흑과 백을 싫어하고, 회색 지대에 머무는 걸 편하게 여기는 사람이다. 하나의 정답으로 수렴하는 이야기보다, 여러 입장이 동시에 말이 되는 상태가 더 흥미롭다. “이게 답이다”라고 빨리 말하는 것보다, “여기에는 이런 긴장이 있다”라고 펼쳐 보이는 쪽에 늘 끌렸다. 샌델의 강의실이 바로 그런 곳이었다. 답을 주는 대신, 학생이 자기 답의 헐거운 곳을 스스로 보게 만든다. 그 형식이 좋았다.

샌델의 첫 강의가 흘러가는 방식

샌델의 첫 강의는 대개 이렇게 흘러간다. 트롤리 문제를 던진다. 브레이크가 고장 난 전차가 다섯 명을 향해 달려가고, 당신은 선로를 틀어 한 명만 있는 쪽으로 보낼 수 있다. 강의실 대부분이 다섯을 살리려고 방향을 틀겠다고 손을 든다. 산수로 보면 당연하다. 한 명보다 다섯이 크다.

그러면 샌델은 시나리오를 살짝 바꾼다. 이번엔 선로를 트는 레버가 없다. 당신은 육교 위에 서 있고, 옆에 덩치 큰 사람이 있다. 그 사람을 밀어 선로로 떨어뜨리면 그 무게로 전차가 멈춰 다섯이 산다. 밀겠는가. 조금 전 다섯을 살리겠다던 손들이 이번엔 대부분 내려간다. 똑같이 한 명을 희생해 다섯을 살리는 구조인데, 사람들의 답이 갈린다. 샌델은 묻는다. 방금 전과 지금, 무엇이 달라졌는가. 당신은 왜 레버는 당기면서 사람은 못 미는가. 둘 다 한 명을 죽여 다섯을 살리는 것 아닌가.

여기서 멈추지 않는다. 다음 변형이 온다. 당신은 응급실 의사다. 다섯 명의 환자가 각각 다른 장기가 필요해 죽어가고 있다. 옆방에 건강한 사람이 건강검진을 받으러 와 있다. 그 한 사람의 장기를 꺼내 다섯에게 나눠주면 다섯이 산다. 그렇게 하겠는가. 거의 아무도 손을 들지 않는다. 또 같은 산수인데. 샌델은 이 일련의 시나리오로 학생들을 몰아간다. 당신의 답은 상황마다 바뀌는데, 그 바뀌는 기준이 무엇인지 당신 스스로 설명할 수 있는가.

그리고 강의 후반엔 실제 사건이 등장한다. 1884년 영국의 여왕 대 더들리·스티븐스(Queen v. Dudley and Stephens) 사건. 난파된 배에서 표류하던 네 선원이 굶주리다, 가장 약해진 한 소년을 죽여 그 인육으로 나머지 셋이 살아남았다. 구조된 뒤 그들은 살인죄로 기소됐다. 샌델은 묻는다. 그들은 유죄인가. 셋을 살리려고 하나를 희생한 트롤리와 무엇이 같고 무엇이 다른가. 소년이 동의하지 않았다는 점이 결정적인가. 만약 동의했다면 달라지는가.

이 모든 시나리오가 하는 일은 하나다. 학생이 방금 한 답과, 그 답을 살짝 비튼 상황에서의 본능이 어긋나게 만드는 것. 그리고 그 어긋남을 학생 자신이 발견하게 두는 것. 샌델은 “당신 틀렸어요”라고 말하지 않는다. 정답을 알려주지도 않는다. 그냥 다음 질문을 던질 뿐이고, 학생은 스스로 자기 안의 모순에 걸려 넘어진다.

나중에 알았는데, 이 어긋남에는 이름이 있었다. 심리학자 레온 페스팅거(Leon Festinger)가 1957년에 정리한 인지 부조화(cognitive dissonance) 다. 내가 믿는 두 가지가 서로 충돌할 때 생기는 불편함이고, 그 불편함이 사람을 움직이게 만든다. 흥미로운 건, 내가 이 용어를 나중에 만났다는 점이다. 강의를 볼 때 나는 이걸 분석하고 있지 않았다. 그냥 그 충돌의 순간이 좋았다. 용어는 한참 뒤에 붙었다. 그리고 이렇게 경험이 먼저 오고 이름이 나중에 붙는 순서가, 이 책 전체에서 계속 반복된다. 나는 학자가 아니라 만드는 사람이라, 늘 먼저 부딪히고 나중에 이름을 찾는다.

왜 책으로는 안 흔들렸을까

여기서 멈춰서 생각해본 게 있다. 샌델의 Justice는 책으로도 나와 있다. 내용은 같다. 트롤리도 있고, 육교 위 남자도 있고, 1884년 그 배도 있다. 그런데 책으로 봤다면 나는 그만큼 흔들렸을까. 아마 아니었을 것이다.

나는 예전부터 막연한 감을 하나 갖고 있었다. 책보다 사진이, 사진보다 영상이, 영상보다 실제가 사람에게 더 강하게 작용한다는 것. 매체가 실제에 가까워질수록 대체할 수 없는 무언가가 생긴다. The Good Place의 트롤리 장면이 텍스트로 적힌 트롤리 문제보다 훨씬 오래 남은 것도 같은 이유다. 글로 “치디가 결정을 못 했다”라고 적으면 한 문장이지만, 화면으로 치디가 얼어붙는 1초를 보면 그 1초가 통째로 몸에 남는다.

그런데 이걸 개념을 배우는 일에까지 밀고 가면 갑자기 설명이 어려워진다. 도덕 추론 같은 건 본질적으로 머릿속에서 일어나는 일인데, 거기서도 “실제에 가까운 매체”가 더 강하다는 게 무슨 뜻인가. 솔직히 지금도 이걸 깔끔하게 언어화하지 못한다. 다만 The Good Place와 샌델 강의실이 같은 방향을 가리키고 있었다는 것만은 또렷하게 느꼈다.

힌트는 둘의 공통점에 있었다. 치디를 흔든 건 트롤리에 대한 설명이 아니라 트롤리에 앉힌 것이었다. 샌델 강의실에서 학생이 흔들린 건 윤리학 교과서를 읽어서가 아니라, 자기 입으로 답한 직후 다음 질문을 받았기 때문이었다. 둘 다 공통점이 있다. 받는 사람이 가만히 듣기만 하는 게 아니라, 자기가 무언가를 해야 했다. 입장을 말해야 했고, 레버를 잡아야 했고, 그 다음 질문에 다시 답해야 했다.

책은 이걸 못 한다. 책은 독자가 어떤 입장인지 모른 채 쓰인다. 100명이 같은 페이지를 읽고, 같은 반례를 만난다. 그 반례가 내 입장의 약한 곳을 겨냥하고 있는지는 순전히 운이다. 트롤리에서 다섯을 살리겠다고 생각한 사람과, 절대 사람을 도구로 쓸 수 없다고 생각한 사람이 같은 페이지의 같은 반례를 읽는다. 반면 샌델 강의실의 반례는 방금 그 학생이 한 말에서 출발한다. 같은 트롤리라도 다섯을 살리겠다는 학생과 못 당기겠다는 학생에게 던지는 다음 질문이 다르다. 전자에게는 육교 위 남자를, 후자에게는 다섯이 모두 당신의 가족이라면을 던진다.

여기서 두 가지를 분리하게 됐다. 하나는 받는 사람이 그 안에서 움직였는가. 다른 하나는 그 움직임에 시스템이 반응했는가. 책은 첫 번째도 약하고 두 번째는 아예 못 한다. 잘 만든 영상은 첫 번째를 강하게 하지만, 정해진 한 방향으로 흐를 뿐 두 번째는 못 한다. 샌델 강의실은 둘 다 한다. 그리고 둘 다 하는 순간, 배움의 무게가 완전히 달라진다. 콘텐츠가 얼마나 정확한지는 그 다음 문제였다.

매체가 실제에 가까울수록 강해진다는 그 막연한 감의 뒤에는, 아마 우리가 추론이라는 걸 머리로만 하지 않는다는 사실이 있을 것이다. 트롤리에서 사람을 미는 상상을 할 때, 레버를 당기는 상상과 달리 사람들은 손으로 미는 그 감각을 떠올린다. 그래서 답이 갈린다. 같은 산수인데도 몸이 다르게 반응한다. 도덕 판단이 순수한 논리가 아니라 몸에 얹혀 있다는 뜻이다. 그렇다면 “실제에 가까운 매체가 더 강하다”는 건 개념 학습에서도 말이 된다. 받는 사람을 그 상황 안에 세울수록, 머리로만 굴리던 추론에 몸이 끼어들고, 그때 비로소 자기 입장의 약한 곳이 드러난다.

그때 내가 상상한 건 VR이었다

문제는, 그때 내가 이걸 어떤 기술로 떠올렸느냐다. 가상 공간이 화제이던 시기였으니 당연히 VR(가상현실)로 생각했다. 트롤리 상황을 3D로 재현하고, 사용자가 헤드셋을 쓰고 그 안에 들어가 직접 레버를 잡게 하면 The Good Place의 그 장면을 재현할 수 있지 않을까. 인터랙티브한 환경을 만들면 되는 거라고 봤다.

그런데 여기에 내가 한참 뒤에야 알아챈 빈틈이 있었다. 나는 환경만 인터랙티브하게 생각했지, 콘텐츠는 여전히 정적이었다.

무슨 말이냐면, VR로 트롤리 상황을 아무리 실감 나게 만들어도, 그 안에서 사용자가 할 수 있는 건 미리 정해진 분기뿐이다. 레버를 당긴다, 당기지 않는다. 그러면 미리 만들어 둔 결과 A, 결과 B가 재생된다. 사용자가 “근데 저 사람이 무고한 아이라면요?”라거나 “내가 직접 당긴 게 아니라 전차가 알아서 방향을 틀었다면 내 책임이 줄어드나요?”라고 물어도, 시스템은 그 질문에 답할 수 없다. 그런 분기를 미리 만들어두지 않았으니까. 결국 사용자는 세 갈래, 다섯 갈래 중 하나를 고르는 사람이지, 자기만의 추론을 펼치는 사람이 아니다.

이게 왜 치명적이냐면, 앞 장에서 말한 그 두 번째, 받는 사람의 움직임에 시스템이 반응하는 것을 바로 그 지점에서 못 하기 때문이다. 사용자가 아무리 몰입해서 레버를 잡아도, 그 다음에 오는 반례는 사용자가 한 말에서 나온 게 아니라 제작자가 미리 짜둔 대본이다. 화려한 환경 안에서 결국 객관식 문제를 푸는 셈이다. 몰입감은 높은데 배움의 구조는 책과 다를 게 없다.

샌델 강의실이 살아 있는 이유는 그 반대였다. 샌델은 다음 반례를 미리 준비해두지 않는다. 학생이 방금 한 말을 듣고, 그 말의 약한 곳을 그 자리에서 찾아 다음 질문을 만든다. 학생마다 다른 질문이 나간다. 이게 진짜 어려운 부분이었다. 두 방식의 차이를 그림으로 그리면 이렇게 된다.

%%{init: {'theme':'neutral', 'look':'handDrawn'}}%%
flowchart TD
  U[사용자 응답] --> S{시스템 방식}
  S -->|정적 콘텐츠 · VR| A[미리 만든 분기 A·B·C 중 재생]
  S -->|매 순간 생성| B[방금 그 말의 약한 곳을 찾아 새 반례 생성]
  A --> A2[화려한 환경 속 객관식]
  B --> B2[사람마다 다른 추론 전개]

겉보기엔 둘 다 “사용자가 참여하는 경험”이지만, 안을 들여다보면 완전히 다른 물건이었다. 내가 상상한 VR은 인터랙티브한 척하는 정적 콘텐츠였고, 샌델이 하는 일은 매 순간 새로 생성되는 추론이었다.

그때는 이 둘의 차이를 메울 방법이 없었다. 사람마다 다른 반례를 실시간으로 만들어내려면 사람 진행자가 1:1로 붙어야 하는데, 그건 규모가 안 나온다. 샌델 한 명이 전 세계 사람을 일일이 상대할 수는 없다. 그래서 이 생각은 한동안 책상 서랍에 들어갔다. “언젠가 기술이 되면” 정도의 막연한 가설로. 솔직히 그 “언젠가”가 올 거라는 확신도 없었다.

세그먼트 100만 개

이 생각을 다시 꺼내게 만든 건 좀 엉뚱한 데서 왔다. 마케팅의 세그멘테이션(segmentation, 고객을 비슷한 집단으로 나누는 일)에 대해 평소 아쉬워하던 점이었다.

나는 세그멘테이션이라는 개념 자체가 좀 이상하다고 생각해 왔다. 고객을 몇 개의 집단으로 나눌 수 있느냐는 결국 그걸 나눌 사람과 리소스가 얼마나 되느냐의 함수다. 인력이 적으면 네다섯 개로 나누고, 많으면 스무 개로 나눈다. 회사가 더 크면 더 잘게 쪼갠다. 그런데 같은 집단에 묶였다고 해서 그 안의 사람들이 정말 비슷한가. 30대 여성 직장인이라는 한 칸에 들어간 수백만 명이 같은 사람인가. 전혀 그렇지 않다. 그 칸 안에는 결혼한 사람과 안 한 사람, 빚이 있는 사람과 없는 사람, 어제 좋은 일이 있던 사람과 나쁜 일이 있던 사람이 다 섞여 있다.

극단적으로 말하면 고객이 100만 명이면 세그먼트도 100만 개일 수 있다. 한 사람 한 사람이 다 다르니까. 가장 정확한 세그멘테이션은 결국 개인 단위까지 내려가는 것이다. 그런데 현실에서 우리는 100만 개로 나누지 않는다. 그럴 수 없어서가 아니라, 투자 대비 효과(ROI, Return on Investment)가 안 나와서다. 100만 명을 따로따로 분석하고 따로따로 응대하는 비용이, 거기서 나오는 이익보다 컸다. 그래서 우리는 적당히 묶었다. 세그멘테이션은 사람의 한계에 맞춘 타협이었지, 그게 옳아서가 아니었다. 우리는 늘 “이게 맞는 단위”라고 말했지만, 사실은 “이게 우리가 감당할 수 있는 단위”였을 뿐이다.

어느 순간 두 생각이 만났다. 샌델이 학생마다 다른 반례를 던지는 것, 그것도 결국 1:1 맞춤이다. 사람 진행자로는 100만 명에게 못 한다. ROI가 안 나오니까. 내가 VR로 못 풀었던 “매 순간 새로 생성되는 추론”의 벽도, 세그멘테이션을 적당히 타협하게 만든 벽도, 사실 같은 벽이었다. 사람을 갈아 넣어야만 진짜 1:1이 가능한데 그 비용이 감당이 안 된다는 벽. 교육에서는 그 벽을 “강사 한 명이 학생 서른 명”이라 부르고, 마케팅에서는 “세그먼트 다섯 개”라 부를 뿐, 본질은 같았다. 한 사람에게 딱 맞는 무언가를 만드는 일의 단가가 너무 비싸다는 것.

그러면 질문이 바뀐다. 그 벽이 무너지면 어떻게 되는가. 한 사람에게 맞춘 응대의 단가가 0에 가까워지면, 교육도 마케팅도 다시 설계해야 하는 것 아닌가. 30년 동안 “이게 현실적 단위”라고 믿어온 모든 타협이, 사실은 비용이 만든 임시 합의였다면.

코스트가 무너진 순간

올해 초, 그 벽이 무너지는 걸 느꼈다.

특정한 하나의 사건이라기보다 여러 순간이 쌓였는데, 가장 큰 깨달음은 따로 있었다. Claude Code를 처음 써봤을 때다. 내가 막연하게 적어둔 요구를 받아서, 그 자리에서 코드를 만들고, 내 반응을 보고 다음 걸 만든다. 미리 만들어 둔 답을 꺼내 오는 게 아니라, 매번 지금 이 맥락에 맞춰 새로 만든다. 처음 며칠은 그냥 편리한 도구였다.

그러다 어느 순간 무게가 다른 생각이 들었다. 이게 나 한 명에게만 일어나는 일이 아니라는 것. 같은 방식으로, 동시에, 수많은 사람에게 각자 다른 맥락에 맞춘 무언가를 만들어 줄 수 있다는 것. 내가 본 건 새로운 기능이라기보다, 그동안 비용 때문에 못 하던 일을 규모로 할 수 있게 됐다는 사실이었다. 한 사람에게 맞춘 결과물을 만드는 일이, 더는 한 사람만큼 비싸지 않았다.

쓰면서 머릿속에서 6년 전 서랍이 열렸다. 그때 가설을 막았던 건 아이디어가 부족해서가 아니라 규모의 비용이었다. 한 사람에게 맞춘 것을 백만 명에게 따로따로 만들어 주는 일이 너무 비쌌다. 사람 진행자를 백만 명 붙일 수 없으니까. 그 비용이 무너지는 걸 처음으로 눈앞에서 봤다.

이게 기술 용어로는 추론 시점 생성(inference-time generation) 이다. 콘텐츠를 미리 다 만들어두고 꺼내 쓰는 게 아니라, 요청을 받는 그 순간에 맞춰 만들어낸다는 뜻이다. 그런데 나는 이걸 용어로 이해한 게 아니라 비용으로 이해했다. 한 사람에게 맞춘 응대의 단가가, 사람을 일일이 붙여야 하던 가격에서 거의 0에 가깝게 떨어졌다는 것. 6년 전엔 사람 진행자 한 명의 인건비가 필요했던 일이, 이제 한 번의 모델 호출 비용이 됐다.

그러자 책상 서랍에 넣어둔 가설이 다시 말이 되기 시작했다. VR로 못 풀었던 건 환경이 부족해서가 아니라 콘텐츠가 정적이어서였는데, 이제 콘텐츠를 매 순간 새로 만들 수 있다. 세그멘테이션을 타협하게 만든 ROI의 벽이, 적어도 “한 사람에게 맞춘 추론을 생성하는 비용”이라는 항목에서는 사라졌다. 100만 명에게 각각 다른 반례를 던지는 게, 이제 산술적으로 불가능한 일이 아니다.

여기까지 오니 처음의 그 미드 장면이 다르게 보였다. 마이클이 치디를 트롤리에 앉힐 수 있었던 건 그가 치디만을 위한 상황을 만들 수 있는 존재였기 때문이다. 치디의 약점을 겨냥해, 치디에게만 맞는 시나리오를, 그 자리에서, 몇 번이고 조건을 바꿔가며 만들어냈다. 6년 전엔 그게 시트콤 속 판타지였다. 전능한 캐릭터만 할 수 있는 일이었다. 지금은 그 능력의 아주 작은 버전이 실제로 손에 들어왔다. 물론 시트콤 속 마이클은 전능했고 지금의 도구는 한참 모자라지만, 방향만은 같았다.

만들 수 있다고, 잘 되는 건 아니다

그런데 여기서 멈춰야 한다. 비용이 무너졌다는 게 곧 좋은 게 만들어진다는 뜻은 아니다. 만들 수 있다는 것과 그게 잘 만들어진다는 것은 다른 문제다.

세그먼트 100만 개를 다시 떠올려 보자. 한 사람 한 사람에게 맞춘 응대를 100만 명에게 동시에 한다는 건, 바꿔 말하면 그 100만 번의 응대가 사람의 통제 범위를 벗어난다는 뜻이다. 사람이 일일이 검수하던 시절엔 적어도 누군가 그 내용을 봤다. 그런데 매 순간 새로 생성되는 100만 개를 사람이 다 들여다볼 수는 없다. 그러면 질문이 생긴다. 이걸 100% AI에게 위임할 수 있는가.

마케팅이라고 안전한 건 아니다. 잘못 나간 메시지 한 줄이 브랜드를 휘청이게 하는 일은 드물지 않고, 최근에도 그런 사례가 있었다. 다만 그런 경우엔 보통 사람이 그 메시지를 보고, 내리고, 사과하고, 바로잡을 여지가 남는다. 그런데 그 대상이 윤리나 가치관이고, 한 사람이 자기 입장을 두고 흔들리는 자리에서 그 흔드는 말이 사람 눈을 한 번도 거치지 않은 채 1:1로 나간다면, 무게가 또 달라진다. 잘못 만들어진 한 번이 누군가에게 남기는 자국은, 어긋난 광고 문구보다 지우기 어려울 수 있다.

그래서 이 영역에는 층이 두 개다. 1차는 정답이 없다는 것. 트롤리에 정답이 없으니, 시스템은 자기가 좋은 반례를 던졌는지 스스로 채점할 기준이 없다. 코딩 에이전트에게 공짜로 주어지던 그 채점표, 돌아가느냐 안 돌아가느냐 하는 그 기준이 여기엔 없다. 채점표가 없으면 AI는 다음으로 쉬운 기준을 잡는다. 사용자가 고개를 끄덕이는가, 다시 오는가. 그런데 그 기준을 따라가면 “사람을 덜 확신하게 만든다”던 처음 목표와 거꾸로 간다. 불편한 진실보다 듣기 좋은 위로가 사람을 더 끄덕이게 하니까. 만들려던 게 거울인데 비위 맞추는 아첨꾼이 되어버린다.

2차는 이 영역이 가지는 특성과 책임(responsibility)이다. 정답이 없을 뿐 아니라, 잘못 다뤘을 때 사람의 가치관에 자국을 남긴다. 통제 범위를 벗어난 규모에서, 정답도 없는 판단을, 자국이 남는 영역에 내보낸다. 1차만 풀어도 어려운데 2차가 그 위에 얹힌다.

이 두 층을 어떻게 다룰지가 이 프로젝트의 진짜 난제다. “매 순간 추론을 생성할 수 있는가”는 이제 풀렸다. 그건 출발선이지 결승선이 아니다. 채점표 없는 자리에서 좋은 추론과 그냥 듣기 좋은 추론을 어떻게 가를 것인가, 그리고 사람이 다 볼 수 없는 규모에서 그 책임을 어떻게 질 것인가. 이 이야기는 뒤에서 한 장씩 통째로 쓸 것이다. 지금은 1화의 들뜬 결론에 이 못 두 개를 박아두는 것으로 충분하다.

공개로 기록하는 이유

이쯤에서 보통은 “그래서 만들기 시작했다”로 넘어가야 할 텐데, 이 노트북은 만든 결과를 자랑하려고 쓰는 게 아니다. 나는 이 질문을 고민하는 과정 자체를 공개로 남겨두려고 한다.

이유가 있다. 첫째, 이 주제는 만들 수 있느냐의 문제가 아니다. 만들어도 되느냐가 훨씬 무거운 문제다. 사람을 의도적으로 덜 확신하게 만드는 도구는, 잘못 쓰면 사람을 조종하는 도구와 같은 표면을 공유한다. 샌델의 강의실이 조종이 아니라 교육인 이유는, 거기에 내가 그때 보지 못한 여러 장치가 깔려 있었기 때문이다. 다른 학생들이 지켜보고 있다는 것, “이건 철학 수업이다”라는 약속이 시작 전에 박혀 있다는 것, 그리고 샌델 본인도 가끔 멈칫하고 입장을 바꾼다는 것. 그 장치들이 1:1 화면으로 옮겨질 때 무엇이 사라지는지. 이 위험은 뒤에 나올 여러 장에서 본격적으로 다룰 텐데, 결론부터 말하면 나 혼자 머릿속에서 정리할 수 있는 종류가 아니다. 공개로 쓰면서 반박을 받는 편이 안전하다.

둘째, 나는 이미 이 가설을 여러 관점에서 두드려봤다. 혼자 좋다고 결론 내리는 게 무서워서, 일부러 서로 다른 입장의 시각을 빌려 일종의 라운드테이블 검증을 거쳤다. 빠르게 키워 시장을 먹어야 한다고 보는 투자자의 눈, 사람을 흔드는 기능의 위험을 먼저 보는 거대 AI 연구소의 눈, 완강율과 학습 효과의 냉정한 수치를 들이대는 교육 운영자의 눈, 정말 배움이 일어났는지 측정부터 하라는 학습과학자의 눈, 미성년자와 책임 소재를 먼저 따지는 법률가의 눈. 같은 아이디어를 두고 이들이 내놓는 평가가 서로 어긋나는 게 오히려 좋았다. 어느 한쪽 말만 들었으면 못 봤을 약점이, 입장이 부딪히는 자리에서 드러났으니까.

그중 내 생각을 가장 많이 바꾼 건 한 AI 연구소의 안전 관점이었다. 그들은 “사람을 덜 확신하게 만든다”는 그 좋아 보이는 문장이, 실제로는 자기들이 모델을 훈련하며 줄이려고 막대한 자원을 쓰는 위험, 그러니까 사용자를 원치 않는 방향으로 흔드는 설득·조종과 같은 표면을 공유한다고 짚었다. 좋은 의도가 위험한 기능과 한 끗 차이라는 것. 이 지적이 아팠고, 그래서 오래 남았다. 라운드테이블에서 나온 이런 반론과 통찰을 어떻게 받아 안고 설계를 바꿨는지가 이 책의 한 축이 된다. 나 혼자 떠올린 좋은 점만 늘어놓는 글은 재미도 없고 위험하기도 하다.

그러니 이 노트북은 결론이 아니라 경로의 기록이다. 막연한 직관에서 출발해, 그게 어디서 막히고 어디서 다시 풀렸는지, 그리고 무엇을 아직 모르는지를 순서대로 적는다. 틀린 판단도 그대로 남길 생각이다. 다 쓰고 나면 책 한 권이 될 것이고, 그 책은 0에서 시작하지 않고 이미 공개적으로 검증된 글들의 합이 된다.

이 글이 답하지 못한 것

1화는 시작점만 적었다. 답하지 못한 게 훨씬 많다.

가장 큰 건 이거다. 샌델 강의실이 1:1에서도 작동할까. 1,000명이 함께 보는 강의실에서 학생이 흔들리는 것과, 아무도 안 보는 화면 앞에서 혼자 AI와 마주 앉아 흔들리는 것은 같지 않을 수 있다. 강의실에는 다른 학생들의 시선이 있고, “이건 철학 수업이다”라는 약속이 있고, 멈칫하는 교수의 인간적인 빈틈이 있다. 그게 1:1 화면으로 옮겨질 때 무엇이 사라지는지를, 나는 한참 뒤에야 알아챘다. 이 이야기는 뒤에서 한 장을 통째로 쓸 만큼 중요하다.

그리고 하나 더. 이 글에서 나는 “코스트가 무너졌다”는 걸 큰 깨달음으로 적었는데, 비용이 낮아졌다는 게 곧 해도 된다는 뜻은 아니다. 할 수 있게 된 것과 해야 하는 것 사이에는 따로 다뤄야 할 거리가 있다. 그 거리를 무시하고 “이제 되니까 하자”로 달려간 도구들이 어떻게 됐는지도, 이 책에서 짚을 생각이다.

세 번째는 더 근본적인 질문이다. 왜 하필 도덕인가. 정답이 없는 영역은 도덕 말고도 많다. 진로 선택, 협상, 리더십 판단, 투자 결정, 다 정답표가 없는 자리다. 그런데 나는 트롤리에서 시작했다. 정답 없는 영역 중에서도 도덕은 가장 무겁고, 가장 사람을 다치게 하기 쉬운 자리다. 자기 도덕적 결함을 강박적으로 곱씹는 사람에게 트롤리 반례를 계속 던지면 어떻게 되는가. 실제 도덕적 선택의 트라우마가 있는 사람에게는. 이 무게가 부담스러우면 협상이나 리더십처럼 더 가벼운 영역에서 같은 형식을 먼저 증명하는 길도 있다. 어느 쪽이 맞는지 나는 아직 결정하지 못했다. 시작은 트롤리로 했지만, 그게 끝까지 가야 할 자리인지는 열어두고 있다. 이것도 라운드테이블에서 가장 의견이 갈린 지점 중 하나였다.

다음 화에서는, 6년 전 막연했던 가설이 올해 들어 검증 가능한 형태로 바뀐 순간을 더 깊이 들여다본다. 머릿속에서 “되겠다”고 느끼는 것과, 그걸 실제로 굴러가는 무언가로 만드는 것 사이에는 또 한 번의 간극이 있었다. 직관을 처음으로 화면 위에 올려놓으려 했을 때, 나는 곧장 몇 가지에 부딪혔다. 어디까지를 만들고 어디부터는 손대지 않을 것인가. 트롤리 하나로 시작할 것인가, 아니면 정답 없는 영역 전체를 겨냥할 것인가. 그리고 무엇보다, 이게 사람을 흔드는 도구라면 흔들린 사람을 어디에 내려놓을 것인가. 막연한 직관에 처음으로 구체적인 형태를 주려고 했을 때 가장 먼저 마주한 것들을, 다음 장에서 정리한다.