AI 2040 Plan A: '천천히 만들자'가 이미 늦은 이유, 그리고 나는 어디에 설 것인가

저자들도 3~15%밖에 안 믿는 ‘최선책’이 나에게 남긴 것은 정책 논쟁이 아니었다. AI 2040 Plan A는 검증된 감속(verified slowdown)으로 초지능을 2040년까지 미루자는 권고다. 그런데 이 글의 진짜 무게는 “천천히 만들자”가 왜 이미 늦었는가, 그리고 검증할 시간이 사라진 시대에 개인은 어디에 서야 하는가에 있다.

AI 2040: Plan A는 AI Futures Project가 내놓은 시나리오다. Daniel Kokotajlo를 비롯해 지난해 「AI 2027」로 알려진 바로 그 팀이다. plan-a-root는 인터랙티브 분기 시나리오에서 2029년 “Choose a Path” 갈림길에 섰을 때, 다섯 갈래(A/B/C/D/S) 중 A를 골랐을 때 펼쳐지는 루트다.

이 글을 붙잡고 오래 이야기를 나눴다. 처음엔 정책 시나리오를 뜯어보는 대화였는데, 끝에 가서는 나 자신을 돌아보는 대화가 됐다. 그 궤적을 그대로 남긴다.

다섯 갈래, 그리고 저자들도 안 믿는 최선책

가장 먼저 잡아야 할 구분이 있다. 「AI 2027」은 “이렇게 될 것 같다”는 예측이었고, 그 결말은 통제 상실로 인한 인류 멸종이거나 되돌릴 수 없는 권력 집중, 둘 중 하나였다. Plan A는 성격이 반대다. “이렇게 될 것 같다”가 아니라 “이렇게 해야 한다”는 권고다.

저자들은 이 구분을 스스로 못 박아 둔다. 실행(implementation) 부분은 권고이지 실제로 일어날 것이라 기대하는 게 아니고, 실행 이후의 효과(subsequent effects)만 예측이라는 것이다. Daniel 본인은 오히려 현실이 이 시나리오보다 더 빠를 것이라고 본다. 목적은 정책을 구체적인 시나리오 위에 올려놓고 스스로 허점을 드러내는 데 있다. 남의 정책만 뜯지 말고 자기 것부터 검증대에 세운다는 태도다.

Plan A가 동시에 막으려는 실패 모드는 두 개다.

• 통제 불능의 초지능: 레이스가 계속되면 “승자”조차 큰 리드를 못 벌리고, 안전을 위해 자발적으로 속도를 늦추지 않을 것이므로 통제를 잃는다.
• 권력 집중: 설령 정렬(alignment, AI를 인간 의도에 맞추는 것)에 성공해도, 소수 혹은 한 사람이 초지능 군단을 몇 달간 사실상 단독 지휘하면 그 자체가 세계 장악이 된다.

정렬에 성공한 시나리오조차 나쁜 결말일 수 있다는 것. 대부분의 안전 담론이 “AI를 어떻게 말 잘 듣게 만드느냐”에 머무는 데 비해, 이 팀은 “말을 완벽하게 듣는 AI를 누가 쥐느냐”까지 문제 삼는다. 그래서 제목의 2040이 나온다.

여기서 딜의 뼈대는 검증된 감속과 연구 전면 공개다. 비밀 레이스 대신 여러 나라의 수십 개 기업이 함께 느리게 스케일한다는 그림이다. 이걸 떠받치는 장치가 네 개다. 연구 전면 공개(transparency), 상대가 딜을 지키는지 보는 검증(verification), 딜이 깨질 조짐이면 상호 컴퓨트 설비를 파괴할 수 있는 억지 구조인 MACD(상호확증 컴퓨트 파괴, Mutually Assured Compute Destruction), 그리고 인간 범위 안에서만 능력을 올리는 스케일링 전략이다. MACD는 핵의 상호확증파괴(MAD)를 컴퓨트로 옮긴 것이다.

저자들은 다섯 플랜을 같은 척도로 정량 비교까지 해뒀다. Eli Lifland의 중앙값(median) 추정치다.

표의 AC는 완전 자동화된 AI 연구 단계를 뜻하고, takeoff 길이는 거기서 AI가 장악 가능한 수준에 이르기까지의 시간이다. Plan B는 중국을 방해(B-kinetic은 물리 타격까지)해 리드를 벌린 뒤 안전에 쓰는 길, Plan C는 규제와 수출통제로 감속하거나 선두 기업이 자발적으로 리드 일부를 안전에 소비하는 길, Plan D는 사실상 풀스피드 레이스, Plan S는 무기한 중단이다.

숫자만 보면 A가 압도적이다. 그런데 한 가지 표가 이 모든 걸 뒤집는다. 저자들이 각 플랜의 실제 발생 확률을 스스로 매긴 값이다.

저자 전원이 자기들이 내놓은 최선책의 실현 가능성을 3~15%로 보고, 레이스(Plan D)를 가장 유력하게 본다. “이게 최선이지만 일어날 것 같진 않다.” 권고와 예측의 분리가 여기서 드러난다. 지적 정직성이면서 동시에 정책 제안으로서의 약점이다. 정책결정자에게 “일어날 확률 5%짜리 최적안”은 설득력이 약하기 때문이다.

‘천천히 만들자’의 진짜 함정

이 지점에서 나는 냉소가 올라왔다. 결국 “다 같이 핵 만들지 말자”랑 뭐가 다른가.

돌아온 답은 이랬다. 그것보다 더 어렵다는 게 핵심이지, 같은 게 아니라고. 핵 비확산의 목표는 “안 만들기(halt)“라서 검증 대상이 명확하다. 농축이 있냐 없냐. 반면 Plan A의 목표는 “만들되 천천히”다. 핵으로 옮기면 “핵탄두를 계속 늘리되 서로 설계도까지 공개하고 생산 속도만 동기화하자”에 가깝다. 이건 군축이 아니라 공동 무장 관리다. 훨씬 정밀한 상호 신뢰가 필요하다. 게다가 핵은 먼저 가진 나라도 세계를 끝내지 못하지만(억지 균형), AI는 재귀적 자기개선(recursive self-improvement)이 진짜라면 몇 달 리드가 영구 지배로 굳는다. 이 비선형성이 감속 합의를 깰 인센티브를 핵보다 훨씬 키운다.

여기까지는 논리였다. 그런데 내 실무 감각으로는 그 논리 이전에 이미 걸리는 게 있었다.

지금 모델 개발 주기가 빨라진 건 속도가 올라간 것도 있지만, 검증하고 내보내는 시간이 거의 사라진 것이라고 나는 본다. 아무도 가드레일을 안 챙긴다는 말이 아니다. 그걸 검증하기에 지금 내놓는 속도가 도저히 따라올 수 없는 속도라는 거다. 그렇다면 “천천히”의 ‘verified’는 이미 반쯤 허구 아닌가. “천천히 만들기”와 “안 만들기”의 거리가, 적어도 정치적 실현 가능성에서는 거의 0으로 좁혀진다.

이걸 파고들면 함의는 생각보다 더 나쁘다. “천천히”에는 서로 다른 두 축이 섞여 있다.

• 배포 속도: 외부로 내보내는 주기. 검증-후-출시 창이 압축된 것. 내가 관찰한 게 이쪽이다.
• 내부 R&D 루프: 능력 자체가 올라가는 속도. 재귀적 자기개선이 여기서 일어난다. Plan A가 정작 막고 싶어하는 건 이쪽이다.

그리고 검증 창이 문자 그대로 0이 된 게 아니라, 경쟁 압력이 검증의 정의 자체를 아래로 재조정했다. 최근 1~2년의 1차 자료가 이 방향을 그대로 가리킨다.

• Anthropic 책임 스케일링 정책(RSP, Responsible Scaling Policy) v3.0 (2026-02-24 발효): AI R&D 능력 문턱을 두 단계로 쪼개고, 미래 안전등급(ASL, AI Safety Level) 세이프가드 계획 일부를 구속력 없는(non-binding) 서술로 옮겼다. “현 환경에서 달성 가능한 현실적 일방 공약”을 지향한다고 명시한다.
• OpenAI Preparedness Framework v2 (2025-04-15): 게이팅 문턱을 High와 Critical 두 단계로 단순화했다.
• 정부의 배포 전 평가 기구조차 이름에서 ‘Safety’를 뺐다. 미 상무부는 2025년 6월 US AI Safety Institute를 CAISI(AI 표준혁신센터, Center for AI Standards and Innovation)로 개명하고, 초점을 사이버·바이오·화학 같은 “입증 가능한 위험”과 국가안보·경쟁력으로 옮겼다.

즉 내가 “검증할 시간이 없어졌다”고 느낀 현상의 실제 메커니즘은 시간의 소멸이 아니라 범위의 축소, 그리고 배포 전 게이팅에서 배포 후 모니터링으로의 이동이다. “출시 전에 통과시킨다”에서 “일단 내보내고 지켜보다 패치한다”로 체제가 바뀐 것이다.

문제는 여기다. 배포 후 모니터링은 되돌릴 수 있는 피해에는 작동한다. 챗봇이 이상한 말을 하면 패치하면 된다. 지금 배포 속도가 감당되는 이유도 대부분의 피해가 돌이킬 수 있기 때문이다. 그런데 Plan A가 유일하게 신경 쓰는 건 되돌릴 수 없는 것, 곧 통제 상실이다. 통제 상실은 사후에 패치할 수 없다.

---
config:
  look: handDrawn
  theme: neutral
---
flowchart TB
    subgraph EXT["외부 배포 (내가 관찰한 것)"]
        E1["유저·언론·평판 압력 있음"]
        E2["그나마 검증 압력 존재"]
        E3["장악 리스크 낮음 (대부분 되돌릴 수 있음)"]
    end
    subgraph INT["내부 R&D 루프 (Plan A의 표적)"]
        I1["외부 감시 없음"]
        I2["순수 속도 레이스"]
        I3["장악 리스크가 여기서 발생 (되돌릴 수 없음)"]
    end
    EXT -->|"검증 창이 이미 무너진 곳"| INT
    INT -->|"그런데 여기가 더 가망 없다"| RESULT["ship-then-patch가 원천 불가능한 영역"]

그리고 이 붕괴가 가장 심한 곳이 하필 Plan A가 가장 필요로 하는 지점이다. 공개 감시가 그나마 있는 외부 배포에서도 검증 창이 무너졌다면, 아무도 안 보는 내부 R&D 루프의 검증은 구조적으로 더 가망이 없다. 내 관찰은 Plan A를 반박하는 게 아니라, Plan A가 의존하는 바로 그 부분에 대한 비관을 강화한다.

그래서 “천천히”는 가능한가. 논리적으로 불가능하진 않다. 조건이 하나뿐이다. 외부 강제력이 경쟁의 기울기를 압도할 만큼 셀 때만. 여기서 “verified slowdown”은 그냥 페달에서 발을 떼라는 게 아니라, 이미 뜯어낸 브레이크를 다시 달라는 요구다. 산업이 지난 2년간 배포 전 게이팅을 사후 모니터링으로 갈아치우고 문턱을 구속력 없는 목표로 물렁하게 만들어온 흐름을 역행시키라는 것. 그건 감속보다 훨씬 무거운 주문이다. Plan A가 3~15%인 건 의지 부족만이 아니라 이 구조적 역행 비용 때문이기도 하다.

Plan C, 그리고 기울기가 개인 의지를 이긴다

다섯 플랜 중에 나는 오히려 Plan C에 조금 더 희망을 건다. Winner-take-all이 된다면, 그 승자가 분별 있는(sensible) 승자이길 바라는 것. 그러려면 많은 사람이 계속 문제를 제기하고 요구하고, 대중이 공부해서 우매해지지 않아야 한다.

이 희망을 나는 개인의 선의에 걸지 않았다. 대중의 지속적 문제 제기라는 외부 지렛대를 함께 말했다. 그게 맞는 대상이다. Plan C의 진짜 내용은 “착한 승자를 기도하자”가 아니라, 승자가 선택의 순간에 섰을 때 분별 있는 쪽이 가장 저항이 적은 길이 되도록 미리 압력과 정보를 갖춘 대중을 깔아두는 것에 가깝다. 이 버전은 나이브하지 않다.

그런데 여기서 오래된 기억 하나가 걸린다. 예전에 본 다큐멘터리 「소셜 딜레마(The Social Dilemma)」다. 그걸 보기 전까지 나는 ‘좋아요’ 버튼에 대해 한 번도 생각해 본 적이 없었다. 사람을 조금 더 머무르게 하는, A/B 테스트에서 살아남은 그 feature 하나가 얼마나 많은 사회적 문제를 만들고 얼마나 많은 가치 기준을 바꿨는지. 특히 가치관이 정립되기 전 세대에 미친 영향은 나는 생각조차 못 했다. 실리콘밸리의 소수가 내린 결정이 거기까지 갔다는 것.

바로 그 버튼이 함정을 보여준다. 그 버튼을 만든 사람들은 멍청하지도 악의적이지도 않았다. 다 분별 있는 개인이었다. 문제는 개인의 분별이 아니라, 최적화 목표(체류 시간, A/B에서 살아남는 것)가 표방한 가치를 조용히 덮어썼다는 것이다. 아무도 “사회를 이렇게 바꾸자”고 결정하지 않았다. 기울기가 결정했다.

그러니 “이번엔 우리가 분별 있자”가 개인의 각오를 뜻한다면, 그건 이미 실패한 바로 그 방식이다. 좋아요 버튼 팀도 각오는 있었다. AI 레이스도 같은 구조다. 승자가 개인적으로 아무리 분별 있어도, 그를 끄는 기울기(경쟁, “능력을 올려라”)는 개인 의지보다 세다. 앞에서 본 배포 전 게이팅에서 사후 모니터링으로의 후퇴도 나쁜 사람이 한 게 아니라 기울기가 한 것이다. 그래서 내 희망을 강한 버전으로 다시 쓰면 이렇게 된다. 승자의 성품이 아니라, 그 기울기를 이길 만큼의 외부 강제 장치를 미리 만들어두는 것. 내가 말한 대중 교육과 지속적 문제 제기가 그것이고, 그게 성품보다 무게를 견딘다.

진짜 결함은 타이밍이다. 소셜 미디어를 부분적으로나마 교정한 되먹임 고리는 느렸다. 좋아요 버튼(2009)에서 「소셜 딜레마」(2020)를 거쳐 뒤늦은 규제 몇 개까지. 그것도 피해가 눈에 보이고 되돌릴 수 있었기 때문에 가능했다. 십수 년어치 피해를 쌓은 뒤에야 대중이 따라잡았다. 그런데 Plan C가 막으려는 건 빠르고 되돌릴 수 없다. 그 교정 고리가 돌 시간 자체가 나지 않는다. 대중이 좋아요 버튼을 이해한 방식으로 AI 장악을 “이해”하게 되는 시점은 이미 사후이고, 사후는 되돌릴 수 없는 것에는 통하지 않는다.

그래서 희망의 근거와 비관의 근거가 같은 관찰에서 나온다. 소셜 미디어에서 통했던 공식, 사후 각성에서 사후 교정으로 가는 그 공식이 AI에서는 구조적으로 안 통한다는 것. 통하는 유일한 버전은 각성을 앞당기는 것(front-load)이다. 되돌릴 수 없는 순간이 오기 전에 규범과 압력이 이미 존재하게 만드는 것. 십수 년 걸려 겨우 한 걸 이번엔 미리 해야 한다는 얘기라 훨씬 무겁고, 좋아요 버튼과 달리 재수강 기회가 없다.

한 가지, 이번엔 나에게 유리한 조건도 있다. 소셜 미디어는 등장 당시 아무도 이게 문명 단위 이슈인 줄 몰랐다. 그냥 재밌는 앱이었다. AI는 같은 단계에서 이미 공개적으로 큰 문제로 취급받고, 평가 기관과 정부의 배포 전 협약, 그리고 주목하는 사람들이 붙어 있다. 소셜 미디어가 동일 단계에서 가졌던 것보다 훨씬 많은 관심이 이미 앞당겨져 있다. 지금 이 글을 쓰고 있다는 것 자체가 좋아요 버튼 때는 없던 조건이다.

그래서 나는 어디에 설 것인가

여기까지 오니 대화는 나 자신으로 내려왔다. 기울기가 개인 의지를 이긴다는 얘기를 조직과 국가 스케일로 하다가, 결국 그걸 나에게 적용하게 됐다.

솔직히 말하면, 코딩 에이전트가 본격적으로 온 올해 초부터 내 삶은 정말 달라졌다. 예전으로 돌아갈 수 있을 것 같지 않다. 여러 가지를 생각하는 방식이 바뀌었고 생활의 방식이 바뀌었다. 어떤 변화가 올지는 모르지만 그 변화가 얼마나 클지는 알기에 대응하고 싶은데, 나처럼 달리는 사람이 주변에 생각보다 소수라 공감대는 적고, 어떻게 준비해야 할지 막막하고, 실제 내 일과의 갭이 있다. 올라오는 AI의 능력과 내가 받아들일 수 있는 것 사이의 간극. 결국 나의 능력이 한계일 테고, 그 안에서 이걸 어떻게 끌어올릴지가 늘 고민이었다.

그런데 이 프레임 하나는 뒤집어야 한다는 걸 이 대화에서 배웠다. “나의 능력이 한계니 어떻게 끌어올릴까”는 구조상 못 이기는 레이스다. 능력이 나보다 빨리 오르는 게 전제인데, 거기에 raw 능력으로 발맞추려는 건 다음 달이면 에이전트가 또 따라잡는 점근선 쫓기다. 코딩 속도는 리셋되는 자산이다. 아무리 올려도 리셋된다.

그러니 질문을 바꾸는 게 낫다. 러닝머신에서 내려오는 방법은 없다. 하지만 어디에 서면 매 걸음이 쌓이고(compound) 어디에 서면 리셋되는지는 고를 수 있다. 에이전트가 먹는 건 구현 속도고, 아직 못 먹는 건 무엇을 왜 만들지 고르는 판단과 안목이다. 지금 내 불안은 흔해지고 있는 층(코딩 속도)을 붙잡으면서, 정작 값이 오르고 있는 층(판단) 위에 앉아 있으면서 그 자산을 세지 않는 데서 온다. 학습의 배분을 리셋되는 쪽에서 쌓이는 쪽으로 옮기면, 같은 불안이 덜 소모적이 된다.

한 겹 더 정직하게. 그 판단층도 영구 안전지대는 아니다. 물이 계속 차오르면 안목도 결국 모델링된다. 영구적 안전항은 없다. 내가 느끼는 러닝머신 감각은 맞는 것이고 없앨 수 없다. 다만 서 있는 위치를 쌓이는 쪽으로 계속 옮기는 것, 그게 유일하게 지속 가능한 버전이다.

그리고 이 대화에서 나에게 가장 오래 남은 지점은 따로 있었다.

나는 퍼포먼스 마케팅 쪽에서 일하며 추천 로직(recommendation logic)을 이해하고부터, 어떻게든 중립을 유지하려고 애쓰는 편이다. 한쪽으로 치우치면 일부러 다른 걸 틀어서 알고리즘에 영향을 주는 여러 액션을 한다. 세련된 습관이라고 생각했다. 그런데 여기 함정이 있다는 걸 못 봤다. 메커니즘을 이해한다는 것이 면역이라는 착각을 만든다. 알고리즘을 아니까 안 휘둘린다고 믿는 순간, 경계를 안 쓰고 있는 다른 영역에서는 오히려 더 무방비해진다. 경계의 예산을 아는 도메인에 다 써버리기 때문이다. 게다가 “일부러 반대로 튼다”는 건 내가 어느 방향으로 밀리는지 안다는 가정이 깔려 있어서, 과잉교정이 그 자체로 또 다른 편향이 된다. 결국 내가 내 편향을 내가 채점하는 구조다.

그래서 결론이 뒤집힌다. 내가 소중히 여겨야 할 건 나의 중립 능력이 아니라, 나에게 동의하지 않는 외부 입력이다. 외부의 반대 입력은 내가 나를 채점하는 고리를 끊는다. 빨리 달리는 사람이라 주변에 또래가 적다는 것도 여기 걸린다. 또래 보정을 잃으면 “확신”과 “옳음”을 구분할 방법이 사라진다. 그럴수록 자기 확신을 덜 믿고 반대 입력을 더 찾아야 하는데, 사람은 보통 반대로 간다. 외로우니까 확신에 더 기댄다.

마무리

Plan A는 저자들도 3~15%밖에 안 믿는 최선책이다. 그 낮은 숫자의 절반은 의지의 문제지만, 나머지 절반은 검증할 시간이 이미 사라졌다는 구조의 문제다. “천천히 만들자”는 페달에서 발을 떼는 게 아니라 뜯어낸 브레이크를 다시 다는 일이고, Plan C의 희망조차 교정 고리가 도는 속도보다 위험이 빠르다는 타이밍의 벽에 걸린다. 그래서 남는 유일한 버전은 각성을 앞당기는 것이고, 이번엔 재수강이 없다.

이 논쟁이 나에게 남긴 건 정책의 답이 아니라 자세였다. 흔해지는 층을 붙잡지 말고 쌓이는 층으로 계속 옮겨 설 것. 그리고 내가 메커니즘을 안다는 이유로 면역을 자처하지 말 것. 기울기가 개인 의지를 이긴다면, 개인이 할 수 있는 건 자기 확신을 덜 믿고 반대 입력을 더 찾는 일뿐이다. 그게 국가 스케일에서 “우매해지지 않기”가 개인 스케일에서 갖는 이름이다.

출처: AI 2040: Plan A (AI Futures Project) · Anthropic Responsible Scaling Policy v3.0 · OpenAI Preparedness Framework v2 · US AI Safety Institute → CAISI 개명