AI 거버넌스는 다른 길로 가고 있다 - 지금의 갈래 정리

보통 regulation은 이렇게 시작하지 않는다

새로운 위험이 사회에 등장하면 보통 regulation은 일정한 패턴으로 시작한다. 정부가 단일 표준을 박고, 위반 기업을 enforce하고, 시장은 그 표준에 맞춰 조정된다. 환경법은 EPA(미국 환경보호청)가 배출 기준을 정하고 위반 기업에 벌금을 매겼다. 금융 규제는 SEC가 공시 기준을 정하고 위반에 형사 처벌까지 갔다. GDPR도 EU가 데이터 처리 표준을 박고 위반에 매출 4% 벌금을 매겼다. 모두 top-down + 단일 표준 + 정부 enforcement 모델이다.

AI 콘텐츠 거버넌스는 다르게 시작하고 있다. EU AI Act Article 50은 “machine-readable 라벨링”을 요구하면서도 단일 표준을 지정하지 않았다. 한국 AI 기본법은 EU 호환만 잡고 자체 표준은 후속 가이드라인에 미뤘다. 미국은 연방 법안 없이 주별 분산 채택으로 갔다. 학술 비판은 “표준 부재 상태에서 워터마킹은 거버넌스가 아니다”라고 짚었다. 시장은 정부가 표준을 박기 전에 SynthID와 C2PA를 동시에 채택하면서 multi-layer 구도로 자율 형성됐다.

앞으로 AI 거버넌스가 어떤 모양으로 굳을지는 아직 모른다. 그러나 지금 시점에서 확인 가능한 갈래들이 있다. 이 글은 다섯 갈래를 정리하고, 그 갈래들이 가리키는 거버넌스 5요소가 어디까지 만들어졌는지를 본다. 시리즈를 닫는 글이라 비판도 갈래로 함께 다룬다.

---

보통 regulation의 시작 패턴 - top-down 단일 표준

비교 기준점이 되는 보통 regulation의 시작 패턴을 정리하면 다음과 같다.

영역	표준 주체	표준 형태	Enforcement
미국 환경법	EPA (정부)	단일 배출 기준	위반 기업 벌금
금융 공시	SEC (정부)	단일 공시 기준	형사 처벌
GDPR	EU (정부)	단일 데이터 처리 표준	글로벌 매출 4% 벌금
식품 안전	FDA (정부)	단일 성분·라벨링 표준	리콜 + 벌금
자동차 안전	NHTSA (정부)	단일 충돌 안전 기준	리콜 의무

공통 구조: 정부가 단일 기준을 박고, 사업자가 그 기준을 충족했는지 검증 가능하고, 위반 시 명확한 enforcement가 작동한다. 시장 자율 형성보다 정부 지정이 먼저 온다. 운영 정의도 보통 입법 단계에서 같이 박힌다.

이게 AI 거버넌스 시장에서는 작동하지 않았다. 다섯 갈래의 신호가 모두 다른 방향을 가리킨다.

---

갈래 1 - 입법이 표준을 지정하지 않는다

EU AI Act Article 50의 가장 비전형적 부분은 표준 미지정이다.

Article 50 II 요구 기준	운영적 정의 상태 (2026.05)
효과적(effective)	정의 부재, GPAI Code of Practice가 채울 예정
상호운용 가능(interoperable)	정의 부재
견고(robust)	정의 부재, 공통 robustness 벤치마크 미완성
신뢰 가능(reliable)	정의 부재, 독립 감사 메커니즘 부재

EU는 “machine-readable 라벨링”이라는 의무만 박고, 어떤 기술로 실현하는지(워터마크? 메타데이터? 암호 방법?)는 사업자 판단에 맡겼다. 네 가지 기준만 제시하고 운영적 정의는 후속 GPAI Code of Practice(2026년 5월에서 6월 사이 최종안)로 미뤘다. arXiv 2603.26983이 이 구조를 “Transparency as Architecture - Structural Compliance Gaps in EU AI Act Article 50 II”로 비판한다.

한국 AI 기본법도 같은 패턴이다. 2026년 1월 시행했지만 표시 의무의 기술 표준은 KISA·KOCCA·방통위 후속 가이드라인으로 미뤘다. 미국은 연방 법안 자체가 없고, 주별 deepfake 법안(캘리포니아 AB 730, 텍사스 SB 751, 뉴욕 등)이 분산 채택됐다. 가장 엄격한 주(캘리포니아)가 사실상 default가 되는 California Effect 패턴이다.

세 권역 모두 정부가 단일 표준을 박지 않고 4가지 기준 또는 산업별 가이드라인으로 우회 설계했다. 보통 regulation의 시작 패턴과 다른 방향이다.

한 가지 짚을 점

EU가 단일 표준을 지정하지 않은 이유는 의도된 설계로 보인다. 기술 표준이 매우 빠르게 변하고 있어 입법으로 단일 표준을 박으면 1-2년 안에 outdated 될 위험이 크다. SynthID·C2PA·자체 표준 어느 것이 사실상 default가 될지 입법 시점에 결정하기 어려웠다. 그래서 “네 기준만 박고 운영 정의는 시장·산업 표준이 채우게 하자”는 우회 설계로 갔다. 결과적으로 GDPR식 단일 표준 enforcement가 아니라 multi-layered 산업 자율 + 입법 검증 모델이 됐다.

---

갈래 2 - 학술도 같은 방향을 가리킨다

arXiv 2505.23814 “Watermarking Without Standards Is Not AI Governance”(2026년 5월, MIT·Stanford·Berkeley 공저)가 이 갈래를 정조준한다.

arXiv 2505.23814 핵심 주장	함의
공통 robustness 벤치마크 부재	어느 워터마크가 견고한지 측정 불가
검증 가능성 부재	의미 있는 규제 준수가 verifiable 하지 않음
Adversarial 테스트 표준 부재	우회 시도 시나리오에 대한 평가 부재
독립 감사 메커니즘 부재	외부 검증 가능한 컴플라이언스 입증 경로 부재
게이밍 가능성	약한 워터마크 구현 + 컴플라이언스 주장 가능

논문이 가리키는 결론은 정부 비판이 아니다. “표준이 없는 상태에서 워터마킹은 거버넌스가 아니라 거버넌스를 흉내내는 신호에 가깝다.” 그래서 공통 robustness 벤치마크, 독립 감사 메커니즘, adversarial test 표준이 필요하다는 제안이다.

이 학술 비판이 발표된 직후 EU GPAI Code of Practice 워킹 그룹이 robustness 벤치마크 작업을 정식 의제로 추가했다. NIST(미국 국립표준기술연구소)도 AI Risk Management Framework 후속 작업에 watermark robustness 벤치마크를 포함시키는 방향으로 움직였다. 학술 비판이 정책 의제 설정에 직접 영향을 미친 케이스다. 학술 비판도 정부 enforcement를 요구하는 게 아니라 검증 인프라(벤치마크 + 감사)를 함께 만들자는 방향이다.

---

갈래 3 - 시장이 multi-layer로 자율 채택

정부가 표준을 박기 전에 시장은 이미 multi-layer로 움직였다.

콘텐츠 라이프사이클 단계	채택 표준	대표 채택사
AI 모델 생성	SynthID	Google, OpenAI, Kakao, ElevenLabs
카메라 촬영	C2PA	Sony, Canon, Nikon, Leica
생산 도구 편집	C2PA	Adobe, Microsoft, Figma
미디어 와이어 출고	C2PA	Reuters, AP, BBC, NYT
브라우저 검증 UX	양쪽 분담	Chrome (SynthID), Edge (C2PA)
정부 endorsement	C2PA	NSA, CISA
EU 컴플라이언스 권고	양쪽 동시	GPAI Code of Practice (multi-layer)

시리즈 Episode 2(SynthID vs C2PA)에서 다룬 두 표준의 분업 구조가 정부 표준 지정 없이 시장에서 자율 형성됐다. 이게 보통 regulation 패턴과 가장 다른 부분이다. GDPR이 데이터 처리 표준을 박은 다음 시장이 따라갔다면, AI 콘텐츠 거버넌스는 시장이 먼저 multi-layer로 움직이고 정부가 그 multi-layer를 인정·강제하는 모양으로 따라간다.

EU GPAI Code of Practice가 multi-layered 접근을 명시 요구한 것은 시장 자율 채택을 사후 강제로 굳히는 설계다. 정부가 단일 표준을 박는 보통 regulation과 정반대 흐름이다.

---

갈래 4 - 신원·KYC 인프라가 워터마크를 보완

같은 시기 신원 트랙(시리즈 Episode 3에서 다룬)이 워터마크 약점을 보완하는 layer로 들어왔다.

신원 레이어	보완하는 워터마크 약점
World ID (홍채 인증)	Sybil attack 차단 - 한 사람이 여러 계정으로 워터마크 우회
Apple Face ID + Passkey	디바이스 단위 본인 확인 - phishing·계정 탈취 차단
EU EUDI Wallet	정부 인증 신원 - KYC + 콘텐츠 출처 통합
Defakto + t54 + Indicio	AI 에이전트 위임 신원 - “이 행위는 누가 시킨 것인가”
Visa/Mastercard 결제 표준	결제 시점 위임 체인 검증

워터마크가 “콘텐츠가 AI인가”를 답하고, 신원 인프라가 “이 행위자가 누구인가”를 답한다. 두 인프라가 결합되면 “이 콘텐츠를 누가 만들었고 어떤 위임 안에서 만들어졌는가”가 추적 가능해진다. 시리즈 Pillar에서 정리한 3층 구조가 여기서 작동한다.

신원 인프라가 워터마크 약점을 보완한다는 발상도 정부 입법보다 시장 자율 형성에서 더 먼저 등장했다. EU AI Act는 신원 인프라를 직접 다루지 않고, eIDAS 2.0과 EUDI Wallet은 별도 법안이다. 시장이 두 레이어의 결합을 먼저 만들고 입법은 부분적으로만 따라가는 모양이다.

---

갈래 5 - 컴플라이언스 SaaS·인증 인접 시장이 검증을 보완

정부가 검증 인프라(공통 벤치마크, 독립 감사)를 만들지 못한 공백을 인접 시장이 채우기 시작했다.

인접 시장	주요 플레이어	보완 역할
AI Governance Advisory	PwC, Deloitte, EY, KPMG, BCG	사업자 측 컴플라이언스 해석·자문
Compliance SaaS	OneTrust, TrustArc, Credo AI, Holistic AI	자동화된 검증 + 모니터링
표준화·인증 서비스	BSI, TÜV, SGS, TTA (한국)	ISO 42001 인증, EU AI Act 적합성 평가
학술 벤치마크 작업	NIST, EU AI Office	공통 robustness 벤치마크 (진행 중)
시민사회 감시	World Privacy Forum, EDRi	프라이버시·시민권 trade-off 점검

Big 4 컨설팅이 AI Governance Advisory를 별도 카테고리로 신설하고, Credo AI·Holistic AI 같은 신생 SaaS가 시리즈 A·B 라운드로 빠르게 성장하고, BSI·TÜV·SGS가 ISO 42001 인증 서비스를 본격화한 흐름은 모두 정부 검증 인프라 공백을 시장이 채우는 모양이다.

GDPR 이후 OneTrust 같은 회사가 자라난 패턴과 비슷하지만, AI 거버넌스에서는 검증 메커니즘 자체가 시장이 만든다는 점이 다르다. GDPR은 EU 규정이 명확해서 컴플라이언스 도구만 있으면 됐다. AI 거버넌스는 무엇이 컴플라이언스인지 자체가 불확실해서 컨설팅 + SaaS + 인증 + 학술 + 시민사회 다섯 진영이 함께 검증 메커니즘을 만든다.

한 가지 짚을 점

이 다섯 진영의 검증 형성이 결국 사실상 표준이 될 가능성이 높다. EU가 GPAI Code of Practice로 multi-layered 접근을 강제하면 PwC·Deloitte가 그 해석을 사업자에게 전달하고, Credo AI 같은 SaaS가 자동화하고, BSI·TÜV가 인증으로 검증하고, NIST가 벤치마크로 측정한다. 다섯 진영이 같은 방향을 가리키면 그게 default가 된다. 정부가 단일 표준을 박는 게 아니라 시장 + 학술 + 시민사회 + 인증 기관 + 컨설팅 다섯 진영이 합쳐서 “사실상 표준”을 만드는 패턴이다.

---

비판들도 같은 갈래를 가리킨다

시리즈 마지막 글이라 비판도 함께 정리한다. 비판은 한 방향이 아니지만 결론은 같은 곳에 모인다.

비판	주체	핵심
표준 부재	학술 (arXiv 2505.23814)	검증 불가 + 게이밍 가능
구조적 결함	학술 (arXiv 2603.26983)	운영적 정의 부재
프라이버시 침해	시민사회 (World Privacy Forum)	출처 검증 ↔ 작가 익명성 trade-off
Open-source 우회	기술 현실	폐쇄형만 적용, 우회 경로 항상 열림
Compliance Gaming	학술 + 운영	5가지 시나리오로 컴플라이언스 우회 가능

다섯 비판은 형태와 주체가 다르지만 같은 결론으로 수렴한다. 워터마킹 단독으로는 AI 콘텐츠 거버넌스가 작동하지 않는다. 그리고 그 해결책으로 다섯 비판이 가리키는 방향은 시장 자율 형성 방향과 같은 곳이다 - multi-layer 인프라 + 검증 메커니즘 + 신원 결합 + 사후 처벌.

Open-source 우회 비판도 같은 맥락이다. Llama·Mistral·Stable Diffusion 같은 오픈 가중치 모델에는 워터마크 적용이 불가능하고, watermark removal 학술 연구도 90%+ 성공률을 보고했다. 누군가 의도적으로 워터마크를 피하려고 하면 피할 수 있다. 그래서 disclosure는 워터마크, 차단은 신원·KYC·법적 처벌이라는 분업 구조가 default가 된다.

비판들이 정부 enforcement 강화를 요구하는 게 아니라 multi-layer 인프라 + 검증 메커니즘을 함께 만들자는 방향이라는 점이 보통 regulation 비판과 다른 부분이다.

---

5요소 거버넌스 - 지금까지 만들어진 것

다섯 갈래 + 다섯 비판이 가리키는 같은 방향을 정리하면 거버넌스 작동에 필요한 5요소가 나온다.

요소	내용	현재 상태
1. 다층 표시 (multi-layer marking)	워터마크 + 메타데이터 + 가시 라벨 동시	EU Code of Practice가 강제 (진행 중)
2. 표준화된 robustness 벤치마크	어느 워터마크가 견고한지 측정 가능	NIST·EU 작업 시작, 완성 미정
3. 독립 감사 메커니즘	외부에서 컴플라이언스 검증 가능	미정, 인증 기관 시장이 채울 가능성
4. 신원 인증과 결합	Identity Layer가 워터마크와 짝지어짐	World ID·Passkey 등 별도 시장 성장 중 (Episode 3)
5. 법적 처벌	악의적 우회·게이밍에 대한 사후 제재	EU·한국·미국 입법 진행 중 (이 글 갈래 1)

5요소 중 3개(1, 4, 5)는 이미 시장·정부에서 동시 진행 중이다. 2개(2, 3)는 아직 미완성. 학술 벤치마크 작업이 시작됐고, 인증 기관 시장이 형성되는 중이라 다음 2-3년 안에 부분적으로 채워질 가능성이 높다. 그러나 어느 시점에 거버넌스가 “충분히 작동한다”고 말할 수 있는지는 여전히 열려 있다.

---

마무리 - 앞으로 어떻게 굳을지 모르지만 지금은 이 갈래

보통 regulation은 정부가 단일 표준을 박고 enforce하는 방향으로 시작한다. AI 거버넌스는 그 패턴과 다르게 가고 있다. 정부 입법이 표준 지정을 회피했고, 학술도 enforcement 강화가 아닌 검증 인프라 구축을 제안했고, 시장은 표준 지정 전에 multi-layer로 자율 채택했고, 신원 인프라가 워터마크 약점을 보완하고, 컴플라이언스 SaaS·인증·학술·시민사회 다섯 진영이 검증 메커니즘을 함께 만들고 있다.

묶어서 보면 - 다섯 갈래 + 다섯 비판 + 5요소 거버넌스가 모두 같은 가정을 가리킨다. AI 콘텐츠 거버넌스는 단일 표준 + 정부 enforcement 모델이 아니라 multi-layer 인프라 + 다자간 검증으로 가고 있다는 가정이다. GDPR식 모델이 아니라 multi-stakeholder co-regulation 모델로 보인다. 표준이 부재한 상태에서 시장이 먼저 움직이고, 정부·학술·시민사회가 그 자율 형성을 사후 검증·강제·보완하는 모양이다.

앞으로 이 모양이 어떻게 굳을지는 아직 열려 있다. 어느 시점에 EU가 표준을 직접 지정할 수도 있고, 학술 벤치마크가 사실상 표준이 될 수도 있고, 시장이 합의한 multi-layer가 ISO 표준으로 굳을 수도 있다. 그러나 2026년 5월 현재 시점에서 확인 가능한 다섯 갈래는 모두 같은 방향을 가리킨다 - multi-layer 자율 + 다자간 검증.

이 시리즈가 끝났다. 다섯 편을 통해 같은 시장을 다섯 각도에서 봤다. 하나로 통합되는 결론을 짓지 않은 이유는 시장 자체가 아직 다섯 갈래로 동시에 움직이고 있기 때문이다. 묶음으로 한 평면 위에 올려놓는 것까지가 이 시리즈의 의도다.

---

시리즈 5편 인덱스

#	편명	카테고리	발행
1	Pillar - AI Trust Stack: 콘텐츠·신원·에이전트 3층 구조	analysis	2026-05-27
2	SynthID vs C2PA - 표준 전쟁의 채택률 데이터	analysis	2026-05-29
3	신원 트랙 - Proof of Personhood부터 AI 에이전트 위임까지	analysis	2026-05-31
4	Deepfake Detection $15B - 진짜 구매자는 누구인가	analysis	2026-06-03
5	이 글 - AI 거버넌스는 다른 길로 가고 있다: 지금의 갈래 정리	analysis	2026-06-09

---

참고 자료

• artificialintelligenceact.eu - Article 50 Transparency Guide
• EU Council - May 2026 provisional agreement
• TechPolicy.Press - “What the EU’s New AI Code of Practice Means for Labeling Deepfakes”
• 과학기술정보통신부 - AI 기본법 시행령
• KISA - AI 콘텐츠 표시 가이드라인 (draft)
• arXiv 2505.23814 - “Watermarking Without Standards Is Not AI Governance” (2026-05)
• arXiv 2603.26983 - “Transparency as Architecture: Structural Compliance Gaps in EU AI Act Article 50 II”
• arXiv 2601.08005 - “Internal Deployment Gaps in AI Regulation”
• World Privacy Forum - “Privacy, Identity and Trust in C2PA: A Technical Review and Analysis”
• California Legislature - AB 730, AB 2655
• Texas Legislature - SB 751
• ISO - 42001 standard (AI Management System)
• BSI, TÜV, SGS - AI 인증 서비스 자료
• PwC - “AI Trust” Practice 발표
• Deloitte - “Trustworthy AI” 프레임워크
• Credo AI, Holistic AI - Series B 발표
• Meta - Llama 3, 4 model cards (open weights)
• Saberi et al. (2023), An et al. (2024), Jiang et al. (2024) - Watermark removal 학술 연구
• NIST - AI Risk Management Framework + watermark benchmark work
• Greenberg Traurig - “2026 Outlook: Artificial Intelligence”