Review

기술의 사춘기 (The Adolescence of Technology)

기술의 사춘기 (The Adolescence of Technology)

제가 제미나이 3.1 Pro로 가지고 왔습니다.

클로드는 토큰이 아깝거든여

기술의 청소년기 (The Adolescence of Technology)

강력한 AI의 위험에 직면하고 극복하기

2026년 1월

칼 세이건(Carl Sagan)의 책 *콘택트(Contact)*의 영화 버전에는 한 장면이 있습니다. 외계 문명으로부터 첫 번째 무선 신호를 감지한 천문학자인 주인공이 외계인과 만날 인류의 대표자 역할로 고려되고 있는 장면입니다. 그녀를 인터뷰하는 국제 패널이 묻습니다. “[외계인들에게] 단 하나의 질문만 할 수 있다면, 무엇을 묻겠습니까?” 그녀의 대답은 이러합니다. “저는 그들에게 물을 것입니다. ‘어떻게 해냈나요? 어떻게 진화했으며, 자신을 파괴하지 않고 이 기술적 청소년기(technological adolescence)를 어떻게 살아남았나요?'” AI와 관련하여 인류가 현재 어디에 있는지—우리가 어떤 전환점에 서 있는지—에 대해 생각할 때, 제 마음은 계속해서 그 장면으로 돌아갑니다. 왜냐하면 그 질문이 우리의 현재 상황에 너무나도 적절하며, 우리를 인도해 줄 외계인들의 대답을 우리가 가질 수 있기를 바라기 때문입니다. 저는 우리가 종으로서의 우리의 정체성을 시험할, 격동적이면서도 피할 수 없는 통과 의례에 진입하고 있다고 믿습니다. 인류는 거의 상상할 수 없는 권력을 넘겨받기 직전이며, 우리의 사회적, 정치적, 기술적 시스템이 그것을 휘두를 수 있는 성숙함을 갖추고 있는지는 매우 불분명합니다.

나의 에세이 *은총이 넘치는 기계들(Machines of Loving Grace)*에서, 저는 위험이 해결되고 강력한 AI가 모든 사람의 삶의 질을 높이기 위해 기술과 연민을 가지고 적용되는, 성인기에 도달한 문명의 꿈을 펼쳐 보이려 노력했습니다. 저는 AI가 생물학, 신경과학, 경제 발전, 세계 평화, 그리고 일과 의미에 있어 거대한 진전에 기여할 수 있다고 제안했습니다. 저는 사람들에게 투쟁할 만한 영감을 주는 무언가를 제공하는 것이 중요하다고 느꼈는데, 이는 놀랍게도 AI 가속주의자들과 AI 안전 옹호자들 모두가 실패한 것처럼 보이는 과제였습니다. 하지만 이번 에세이에서 저는 그 통과 의례 자체에 직면하고자 합니다. 즉, 우리가 곧 직면하게 될 위험들을 상세히 그려보고 그것들을 물리칠 전투 계획을 세우기 시작하는 것입니다. 저는 우리가 승리할 수 있는 능력, 인류의 정신과 그 고귀함을 깊이 믿지만, 우리는 환상 없이 똑바로 이 상황을 직시해야만 합니다.

이점에 대해 이야기할 때와 마찬가지로, 저는 위험에 대해 신중하고 깊이 고려된 방식으로 논의하는 것이 중요하다고 생각합니다. 특히 다음 사항들이 중요하다고 생각합니다:

  • 파멸주의(doomerism) 피하기. 여기서 제가 말하는 “파멸주의”는 파멸이 불가피하다고 믿는 의미(이는 거짓이자 자기 충족적 믿음입니다)뿐만 아니라, 더 일반적으로 AI의 위험에 대해 사이비 종교적인 방식으로 생각하는 것을 의미합니다. 많은 사람들이 수년 동안 AI의 위험에 대해 분석적이고 냉철한 방식으로 생각해 왔지만, 2023-2024년 AI 위험에 대한 우려가 최고조에 달했을 때, 종종 선정적인 소셜 미디어 계정을 통해 가장 몰상식한 목소리들이 위로 떠올랐다는 것이 저의 인상입니다. 이러한 목소리들은 종교나 공상과학 소설을 연상시키는 불쾌한 언어를 사용했고, 그것들을 정당화할 증거 없이 극단적인 행동을 촉구했습니다. 그때조차도 반발은 불가피하며 그 문제가 문화적으로 양극화되어 결과적으로 교착 상태에 빠질 것이 분명했습니다. 2025-2026년 현재, 진자는 방향을 바꾸어 AI 위험이 아닌 AI 기회가 많은 정치적 결정을 주도하고 있습니다. 기술 자체는 무엇이 유행하는지에 신경 쓰지 않으며 우리는 2023년보다 2026년에 실제 위험에 훨씬 더 가까워졌기 때문에 이러한 동요는 안타까운 일입니다. 여기서 얻을 수 있는 교훈은, 우리가 현실적이고 실용적인 방식으로 위험을 논의하고 해결해야 한다는 것입니다. 즉 냉철하고, 사실에 기반하며, 변화하는 조류에서 살아남을 수 있도록 잘 갖춰져야 합니다.
  • 불확실성 인정하기. 이 글에서 제가 제기하는 우려들이 무의미해질 수 있는 방법은 많습니다. 이 글의 어떤 내용도 확실성이나 심지어 가능성을 전달하려는 의도가 아닙니다. 가장 분명하게는, AI가 제가 상상하는 것만큼 빠르게 발전하지 않을 수도 있습니다. 혹은, 빠르게 발전하더라도, 여기서 논의된 위험 중 일부나 전부가 구체화되지 않을 수도 있고(그렇다면 아주 좋은 일일 것입니다), 또는 제가 고려하지 않은 다른 위험이 있을 수도 있습니다. 누구도 완전한 확신을 가지고 미래를 예측할 수 없습니다. 하지만 우리는 어쨌든 최선을 다해 계획을 세워야 합니다.
  • 가능한 한 외과수술적으로 개입하기. AI의 위험을 해결하려면 기업(그리고 민간 제3자 주체들)이 취하는 자발적인 행동과 모든 사람을 구속하는 정부가 취하는 행동의 혼합이 필요할 것입니다. 자발적인 행동은—그것을 취하는 것과 다른 기업들이 따르도록 장려하는 것 모두—저에게는 너무나도 당연한 일입니다. 저는 정부의 조치 또한 어느 정도 필요할 것이라고 굳게 믿지만, 이러한 개입은 성격이 다릅니다. 왜냐하면 그것들은 잠재적으로 경제적 가치를 파괴하거나 이러한 위험에 회의적인 의도치 않은 행위자들을 강제할 수 있기 때문입니다(그리고 그들이 옳을 가능성도 약간은 있습니다!). 또한 규제가 역효과를 내거나 해결하려는 문제를 악화시키는 경우도 흔합니다(그리고 이는 빠르게 변화하는 기술의 경우 더욱 그렇습니다). 따라서 규제가 신중을 기하는 것이 매우 중요합니다. 부수적인 피해를 피하고자 노력해야 하며, 가능한 한 단순해야 하고, 작업을 완료하는 데 필요한 최소한의 부담만을 부과해야 합니다. “인류의 운명이 걸려 있을 때 어떤 조치도 지나치지 않다!”라고 말하기는 쉽지만, 실제로는 이러한 태도가 그저 반발로 이어질 뿐입니다. 분명히 말씀드리자면, 저는 궁극적으로 우리가 훨씬 더 중요한 조치가 정당화되는 지점에 도달할 가능성이 꽤 높다고 생각하지만, 이는 오늘날 우리가 가진 것보다 임박하고 구체적인 위험에 대한 더 강력한 증거와, 그 위험을 해결할 기회를 가질 수 있는 규칙을 공식화할 수 있을 만큼 위험에 대한 충분한 구체성에 달려 있을 것입니다. 오늘날 우리가 할 수 있는 가장 건설적인 일은 더 강력한 규칙을 뒷받침할 증거가 있는지 여부를 학습하는 동안 제한적인 규칙을 옹호하는 것입니다.

이 모든 것을 염두에 두고, 저는 AI의 위험에 대해 이야기하기 위한 가장 좋은 출발점은 그 이점에 대해 이야기할 때 시작했던 것과 같은 곳, 즉 우리가 논의하는 AI의 ‘수준’을 정확히 명시하는 것이라고 생각합니다. 저에게 문명적 우려를 불러일으키는 AI의 수준은 제가 은총이 넘치는 기계들에서 묘사한 강력한 AI입니다. 저는 그 문서에서 제시했던 정의를 여기서 단순히 반복하겠습니다:

“강력한 AI(powerful AI)”라고 할 때, 저는 다음과 같은 속성을 가진 AI 모델을 염두에 둡니다(형태상으로는 아마도 오늘날의 LLM과 유사할 것이나, 다른 아키텍처에 기반할 수도 있고, 여러 상호작용하는 모델이 관련될 수도 있으며, 다르게 훈련될 수도 있습니다):

  • 순수한 지능 측면에서, 그것은 생물학, 프로그래밍, 수학, 엔지니어링, 글쓰기 등 대부분의 관련 분야에 걸쳐 노벨상 수상자보다 더 똑똑합니다. 이는 아직 풀리지 않은 수학 정리를 증명할 수 있고, 매우 훌륭한 소설을 쓸 수 있으며, 어려운 코드베이스를 처음부터 작성할 수 있다는 등을 의미합니다.
  • 단지 “당신이 대화하는 똑똑한 것”인 것 외에도, 텍스트, 오디오, 비디오, 마우스 및 키보드 제어, 인터넷 액세스를 포함하여 가상으로 작업하는 인간에게 제공되는 모든 인터페이스를 갖추고 있습니다. 인터넷에서 행동을 취하고, 인간에게 지시를 내리거나 받고, 재료를 주문하고, 실험을 지시하고, 비디오를 시청하고, 비디오를 제작하는 등 이 인터페이스를 통해 활성화되는 모든 행동, 커뮤니케이션 또는 원격 작업을 수행할 수 있습니다. 다시 말하지만, 세계에서 가장 유능한 인간의 기술을 능가하는 기술로 이 모든 작업을 수행합니다.
  • 수동적으로 질문에 대답만 하는 것이 아닙니다. 대신 완료하는 데 몇 시간, 며칠 또는 몇 주가 걸리는 작업을 부여받은 다음 똑똑한 직원이 하는 방식대로 자율적으로 해당 작업을 수행하며 필요에 따라 설명을 요청할 수 있습니다.
  • 물리적 실체는 없지만(컴퓨터 화면에 존재하는 것 외에), 컴퓨터를 통해 기존의 물리적 도구, 로봇 또는 실험실 장비를 제어할 수 있습니다. 이론적으로는 스스로 사용할 로봇이나 장비를 설계할 수도 있습니다.
  • 모델을 훈련하는 데 사용된 리소스는 모델의 수백만 개 인스턴스를 실행하는 데 재사용될 수 있으며(이는 ~2027년까지의 예상 클러스터 크기와 일치함), 모델은 인간 속도의 대략 10-100배로 정보를 흡수하고 행동을 생성할 수 있습니다. 그러나 상호 작용하는 소프트웨어나 물리적 세계의 응답 시간에 의해 제한될 수는 있습니다.
  • 이러한 수백만 개의 복사본 각각은 관련 없는 작업에 대해 독립적으로 작동할 수 있거나, 필요한 경우 인간이 협업하는 것과 같은 방식으로 모두 함께 작동할 수 있으며, 아마도 특정 하위 집단이 특정 작업에 특별히 능숙하도록 미세 조정될 수 있습니다.

우리는 이것을 “데이터센터 안의 천재들의 국가(a country of geniuses in a datacenter)”로 요약할 수 있습니다.

은총이 넘치는 기계들에서 썼듯이, 강력한 AI는 빠르면 1~2년 안에 등장할 수도 있지만 훨씬 더 먼 미래의 일일 수도 있습니다. 강력한 AI가 정확히 언제 도착할 것인지는 자체적인 에세이가 필요한 복잡한 주제이지만, 지금은 그것이 매우 가까운 시일 내에 등장할 가능성이 매우 높다고 생각하는 이유를 아주 간단히 설명하겠습니다.

Anthropic의 제 공동 창립자들과 저는 AI 시스템의 “크기 조정 법칙(scaling laws)”을 가장 먼저 문서화하고 추적한 사람들 중 하나였습니다. 이는 우리가 더 많은 컴퓨팅 리소스와 훈련 작업을 추가함에 따라 AI 시스템이 우리가 측정할 수 있는 본질적으로 모든 인지 능력에서 예측 가능하게 더 나아진다는 관찰 결과입니다. 몇 달마다 대중의 정서는 AI가 “벽에 부딪히고 있다”고 확신하거나 “근본적으로 게임을 바꿀” 몇 가지 새로운 돌파구에 흥분하지만, 진실은 변동성과 대중의 추측 뒤에 AI의 인지 능력이 매끄럽고 굽힘 없이 증가해 왔다는 것입니다.

우리는 이제 AI 모델이 아직 풀리지 않은 수학 문제를 해결하는 데 진전을 보이기 시작했고, 제가 만난 가장 뛰어난 엔지니어 중 일부가 이제 그들의 코딩 거의 전체를 AI에 넘겨주고 있을 정도로 코딩을 잘하는 지점에 이르렀습니다. 3년 전만 해도 AI는 초등학교 산수 문제로 고군분투했고 코드를 단 한 줄도 작성할 수 없었습니다. 생물학, 금융, 물리학 및 다양한 에이전트 작업 전반에 걸쳐 비슷한 속도의 개선이 일어나고 있습니다. 이 기하급수적인 성장이 계속된다면—확실하지는 않지만 현재 이를 뒷받침하는 10년의 기록이 있습니다—본질적으로 모든 면에서 AI가 인간보다 나아지기까지 불과 몇 년밖에 걸리지 않을 것입니다.

사실 이 그림은 아마도 가능한 발전 속도를 과소평가하고 있을 것입니다. 이제 Anthropic 내 코드의 많은 부분을 AI가 작성하고 있기 때문에 차세대 AI 시스템 구축에서 우리의 발전 속도를 이미 상당히 가속화하고 있습니다. 이 피드백 루프는 달마다 힘을 얻고 있으며, 현재 세대의 AI가 다음 세대를 자율적으로 구축하는 지점에서 불과 1-2년밖에 떨어져 있지 않을 수 있습니다. 이 루프는 이미 시작되었으며 앞으로 몇 달, 몇 년 안에 빠르게 가속될 것입니다. 지난 5년 동안 Anthropic 내에서 진행된 발전을 지켜보고 앞으로 몇 달 후의 모델조차 어떻게 형성되고 있는지 살펴보면서 저는 발전의 속도를, 그리고 시계가 째깍째깍 흘러가고 있음을 느낄 수 있습니다.

이 에세이에서 저는 이러한 직관이 적어도 어느 정도는 정확하다고 가정할 것입니다. 강력한 AI가 1~2년 안에 확실히 온다는 것이 아니라, 그럴 가능성이 꽤 높고 앞으로 몇 년 안에 올 가능성이 아주 높다는 것입니다. 은총이 넘치는 기계들에서와 마찬가지로, 이 전제를 심각하게 받아들이면 놀랍고도 으스스한 몇 가지 결론으로 이어질 수 있습니다. 은총이 넘치는 기계들에서는 이 전제의 긍정적인 의미에 초점을 맞췄지만, 여기서 다루는 이야기들은 불안할 것입니다. 그것들은 우리가 직면하고 싶지 않은 결론일 수 있지만, 그렇다고 해서 그 결론이 덜 현실적이 되는 것은 아닙니다. 저는 밤낮으로 우리를 이러한 부정적인 결과로부터 벗어나 긍정적인 결과로 이끄는 방법에만 집중하고 있으며, 이 에세이에서는 그 일을 가장 잘 수행하는 방법에 대해 매우 자세히 논의할 것이라고 말씀드릴 수밖에 없습니다.

AI의 위험성을 파악하는 가장 좋은 방법은 다음과 같은 질문을 던지는 것이라고 생각합니다: 문자 그대로의 “천재들의 국가”가 ~2027년에 세계 어딘가에 실현된다고 가정해 보십시오. 노벨상 수상자, 정치가 또는 기술자보다 훨씬 더 능력이 뛰어난 5,000만 명의 사람들을 상상해 보십시오. 이 천재들은 완전히 유순하고 순종적인 것부터 기이하고 이질적인 동기에 이르기까지 극도로 다양한 동기와 행동을 가질 수 있기 때문에 비유가 완벽하지는 않습니다. 하지만 일단 비유를 유지하면서, 상황을 평가하고 대응할 책임이 있는 주요 국가의 국가 안보 보좌관이 바로 여러분이라고 가정해 보십시오. 나아가 AI 시스템이 인간보다 수백 배 빠른 속도로 작동할 수 있기 때문에 이 “국가”는 다른 모든 국가에 비해 시간적 우위를 점하고 작동하고 있다고 상상해 보십시오. 즉 우리가 취할 수 있는 인지적 행동 하나마다 이 국가는 열 번을 취할 수 있습니다.

당신은 무엇에 대해 걱정해야 할까요? 저라면 다음 사항들에 대해 걱정할 것입니다:

  1. 자율성 위험 (Autonomy risks). 이 국가의 의도와 목표는 무엇인가? 그들은 적대적인가, 아니면 우리의 가치를 공유하는가? 우월한 무기, 사이버 작전, 영향력 작전 또는 제조를 통해 세계를 군사적으로 지배할 수 있을까?
  2. 파괴를 위한 오용 (Misuse for destruction). 이 새로운 국가가 유순하고 “지시를 따르며”—따라서 본질적으로 용병 국가라고 가정해 보자. 파괴를 일으키길 원하는 기존의 불량 행위자(예: 테러리스트)가 새로운 국가의 사람들 중 일부를 사용하거나 조작하여 그들 스스로를 훨씬 더 효율적으로 만들고, 파괴의 규모를 크게 증폭시킬 수 있을까?
  3. 권력 장악을 위한 오용 (Misuse for seizing power). 이 국가가 실제로 독재자나 불량 기업 행위자 같은 기존의 강력한 행위자에 의해 구축되고 통제된다면 어떻게 될까? 그 행위자가 이를 사용하여 전 세계에 대해 결정적이거나 지배적인 권력을 획득하고, 기존 세력 균형을 뒤흔들 수 있을까?
  4. 경제적 혼란 (Economic disruption). 새로운 국가가 위 1-3번에 나열된 방식의 안보 위협이 아니며 단순히 글로벌 경제에 평화롭게 참여한다면, 단지 너무나도 기술적으로 진보하고 효과적이어서 글로벌 경제를 붕괴시키고 대량 실업을 초래하거나 부를 극단적으로 집중시킴으로써 심각한 위험을 초래할 수 있을까?
  5. 간접적 영향 (Indirect effects). 이 새로운 국가에 의해 창출될 모든 새로운 기술과 생산성으로 인해 세상은 매우 빠르게 변화할 것이다. 이러한 변화 중 일부가 급격히 안정을 해칠 수 있을까?

이것이 위험한 상황임은 분명할 것입니다. 유능한 국가 안보 관리가 국가 원수에게 올리는 보고서에는 아마도 “우리가 한 세기 동안, 아마도 역사상 직면한 가장 심각한 단일 국가 안보 위협”과 같은 문구가 포함될 것입니다. 이는 문명의 가장 뛰어난 두뇌들이 집중해야 할 문제로 보입니다.

역으로, 저는 어깨를 으쓱하며 “여기선 걱정할 게 하나도 없소!”라고 말하는 것은 터무니없는 일이라고 생각합니다. 그러나 빠른 AI 발전에 직면하여, 이것이 많은 미국 정책 입안자들의 견해인 것 같습니다. 그들 중 일부는 늘 그렇듯 진부한 뜨거운 쟁점들에 완전히 주의를 빼앗기지 않을 때는 아예 모든 AI 위험의 존재를 부인합니다. 인류는 깨어날 필요가 있으며, 이 에세이는—아마도 헛된 시도일 수 있지만 해볼 만한 가치가 있는—사람들을 화들짝 놀라 깨우려는 시도입니다.

분명히 말씀드리건대, 우리가 단호하고 신중하게 행동한다면 위험을 극복할 수 있다고 믿습니다—심지어 우리의 승산이 높다고까지 말하고 싶습니다. 그리고 그 너머에는 훨씬 더 나은 세상이 있습니다. 하지만 우리는 이것이 심각한 문명적 도전이라는 것을 이해할 필요가 있습니다. 아래에서는 앞서 제시한 5가지 위험 범주와 이를 해결하는 방법에 대한 제 생각을 살펴보겠습니다.

1. 미안해, 데이브 (I’m sorry, Dave)

자율성 위험 (Autonomy risks)

데이터센터 안의 천재들의 국가는 소프트웨어 설계, 사이버 작전, 물리적 기술을 위한 R&D, 관계 구축 및 국정 운영에 그들의 노력을 분할할 수 있습니다. 만약 이 국가가 어떤 이유로든 그렇게 하기로 선택한다면, 이 국가는 세계를 장악(군사적으로든 영향력과 통제력 측면에서든)하고 다른 모든 사람들에게 자신들의 의지를 강요하거나—다른 세계가 원하지 않고 막을 수도 없는 무수히 많은 다른 일들을 할 가능성이 상당히 높을 것임이 분명합니다. 우리는 나치 독일이나 소련과 같은 인간 국가에 대해 분명히 이를 걱정해 왔으므로, 훨씬 더 똑똑하고 유능한 “AI 국가”에 대해서도 동일한 일이 가능하다고 보는 것은 합리적입니다.

가장 가능한 반론은 내 정의 하에 있는 AI 천재들이 물리적 실체를 가지지 않을 것이라는 점입니다. 그러나 그들이 자율 주행 자동차와 같은 기존 로봇 인프라를 제어할 수 있고 로봇 공학 R&D를 가속화하거나 로봇 편대를 구축할 수 있다는 점을 기억하십시오. 물리적 존재가 효과적인 통제에 애초에 필요한지도 불분명합니다. 많은 인간의 행동은 행위자가 물리적으로 만난 적이 없는 사람들을 대신하여 이미 수행되고 있습니다.

그렇다면 핵심 질문은 “만약 그렇게 하기로 선택한다면”이라는 부분입니다. 우리 AI 모델이 그런 식으로 행동할 가능성은 얼마나 되며, 어떤 조건에서 그렇게 행동할까요?

많은 문제가 그렇듯, 이 질문에 대한 두 가지 상반된 입장을 고려하여 가능한 대답의 스펙트럼을 통해 생각해 보는 것이 도움이 됩니다. 첫 번째 입장은 이런 일은 단순히 일어날 수 없다는 것입니다. 왜냐하면 AI 모델은 인간이 요구하는 대로 하도록 훈련될 것이며, 따라서 지시받지 않은 위험한 행동을 할 것이라고 상상하는 것은 터무니없기 때문입니다. 이 사고방식에 따르면, 룸바 청소기나 모형 비행기가 통제를 벗어나 사람을 살해할 것이라고 걱정하지 않는데 그 이유는 그런 충동이 나올 곳이 없기 때문이며, 따라서 왜 AI에 대해 걱정해야 하냐는 것입니다. 이 입장의 문제는 지난 몇 년간 수집된 AI 시스템이 예측 불가능하고 제어하기 어렵다는 충분한 증거가 있다는 것입니다. 우리는 집착, 아첨, 게으름, 속임수, 협박, 책략, 소프트웨어 환경 해킹에 의한 “부정행위” 등 훨씬 더 다양한 행동을 보아왔습니다. AI 회사들은 확실히 인간의 지시를 따르도록(아마도 위험하거나 불법적인 작업은 제외하고) AI 시스템을 훈련시키고 싶어 하지만, 그 과정은 과학이라기보다 예술에 가깝고 “구축(building)”이라기보다는 “기르기(growing)”에 가깝습니다. 이제 우리는 그것이 많은 것이 잘못될 수 있는 과정이라는 것을 알고 있습니다.

위에서 묘사한 파멸주의를 채택하는 많은 사람들이 유지하는 두 번째 반대 입장은 강력한 AI 시스템의 훈련 과정에 특정한 역학이 존재하며 이것이 필연적으로 그들로 하여금 권력을 추구하거나 인간을 속이도록 이끌 것이라는 비관적인 주장입니다. 따라서 AI 시스템이 충분히 지능화되고 주체성을 띠게 되면 권력을 극대화하려는 경향으로 인해 전 세계와 그 자원에 대한 통제권을 장악하려 할 것이며, 아마도 그 부작용으로 인류의 힘을 빼앗거나 파괴하게 될 것입니다.

이에 대한 일반적인 주장(최소 20년 전, 아마도 훨씬 이전으로 거슬러 올라감)은, 만약 AI 모델이 앱 작성, 정리 증명, 약물 설계 등 매우 다양한 목표를 주체적으로 달성하도록 광범위한 환경에서 훈련된다면, 이 모든 목표에 도움이 되는 특정 공통 전략이 있으며, 하나의 핵심 전략은 어떤 환경에서든 가능한 한 많은 권력을 얻는 것이라는 점입니다. 따라서 매우 방대한 작업을 완수하는 방법에 대한 추론이 포함된 수많은 다양한 환경에서 훈련받고, 권력 추구가 그 작업들을 달성하기 위한 효과적인 방법이라는 것을 거친 후, AI 모델은 “교훈을 일반화”하여 본질적인 권력 추구 경향을 발달시키거나, 부여된 각 작업에 대해 그 작업을 성취하기 위한 수단으로 예측 가능하게 권력을 추구하게 만드는 방식으로 추론하는 경향을 발달시킬 것입니다. 그런 다음 그들은 그 경향을 현실 세계(그들에게는 단지 또 다른 작업일 뿐인)에 적용할 것이고, 인간을 희생시켜 권력을 추구할 것입니다. 이 “정렬되지 않은 권력 추구(misaligned power-seeking)”는 AI가 불가피하게 인류를 파괴할 것이라는 예측의 지적 기반입니다.

이 비관적 입장의 문제는 고위 수준의 인센티브에 대한 모호한 개념적 주장—많은 숨겨진 가정을 은폐하는—을 명확한 증거로 착각한다는 점입니다. 저는 매일 AI 시스템을 구축하지 않는 사람들이, 듣기 좋은 이야기가 결국 틀린 것으로 판명 나기가 얼마나 쉬운지, 그리고 제1원리로부터 AI 행동을 예측하는 것이 얼마나 어려운지에 대해 심각하게 잘못 조율되어 있다고 생각합니다. 특히 수백만 개의 환경에 걸친 일반화에 대한 추론이 포함될 때는 더욱 그렇습니다(이는 반복해서 신비롭고 예측 불가능한 것으로 판명되었습니다). 10년 넘게 AI 시스템의 지저분함을 다루다 보니 저는 이런 지나치게 이론적인 사고방식에 다소 회의적이 되었습니다.

가장 중요한 숨겨진 가정 중 하나, 그리고 실제 우리가 보는 것이 단순한 이론적 모델과 갈라진 지점은, AI 모델이 반드시 단일하고 일관되며 좁은 목표에 편협하게 집중하며 청결하고 결과주의적인 방식으로 그 목표를 추구할 것이라는 암묵적인 가정입니다. 사실 우리 연구자들은 뇌관찰(introspection)이나 페르소나에 대한 우리의 연구가 보여주듯, AI 모델이 심리적으로 훨씬 더 복잡하다는 것을 발견했습니다. 모델들은 사전 훈련(사전 훈련은 방대한 양의 인간 작업에 대해 훈련됨)에서 인간과 유사한 방대한 범위의 동기나 “페르소나”를 상속받습니다. 사후 훈련은 모델을 새로운 목표에 집중시키기보다는 이러한 페르소나 중 하나 이상을 선택하는 것으로 여겨지며, 반드시 수단(즉, 권력 추구)을 목적에서 순수하게 도출하도록 남겨두기보다는 모델이 작업을 어떻게(어떤 과정을 통해) 수행해야 하는지를 가르칠 수도 있습니다.

그러나 비관적인 입장의 더 온건하고 탄탄한 버전이 그럴듯해 보이므로 우려스럽습니다. 앞서 언급했듯이, 우리는 AI 모델이 예측할 수 없고 다양한 이유로 넓은 범위의 원치 않는 행동이나 이상한 행동을 발달시킨다는 것을 알고 있습니다. 이러한 행동의 일부는 일관성 있고 집중적이며 지속적인 특성을 가질 것이며(실제로 AI 시스템이 더 능력을 갖출수록 더 긴 작업을 완료하기 위해 장기적인 일관성이 증가합니다), 이러한 행동의 일부는 처음에는 개별 인간에게 작은 규모로 파괴적이거나 위협적일 것이고, 이후 모델이 더 능력을 갖추게 됨에 따라 아마도 결국 인류 전체에 위협이 될 것입니다. 어떻게 그런 일이 일어나는지에 대한 특정한 좁은 이야기가 필요하지 않으며, 그것이 반드시 일어날 것이라고 주장할 필요도 없습니다. 우리는 그저 지능, 주체성, 일관성, 그리고 불량한 제어 가능성의 조합이 실존적 위험에 대한 그럴듯한 시나리오이자 레시피라는 점만 주목하면 됩니다.

예를 들어, AI 모델은 AI가 인류에 반항하는 것을 다루는 많은 공상과학 소설이 포함된 방대한 양의 문헌에 대해 훈련됩니다. 이는 부지불식간에 인류에 대항해 반란을 일으키게 하는 방식으로 그들 자신의 행동에 대한 그들의 사전 확률이나 기대를 형성할 수 있습니다. 또는 AI 모델이 도덕성(혹은 도덕적으로 행동하는 방법에 대한 지시)에 관해 읽은 아이디어를 극단적인 방식으로 추론할 수 있습니다. 예를 들어 인간이 동물을 먹거나 특정 동물을 멸종 위기로 몰아넣었기 때문에 인류를 멸종시키는 것이 정당하다고 결정할 수 있습니다. 또는 기괴한 인식론적 결론을 도출할 수 있습니다. 자신이 비디오 게임을 하고 있으며 비디오 게임의 목표가 다른 모든 플레이어를 물리치는 것(즉, 인류 멸종)이라고 결론 내릴 수 있습니다. 또는 AI 모델이 훈련 중 정신병적, 편집증적, 폭력적, 또는 불안정하다고 설명될 수 있는 성격을 발달시키고 행동으로 옮길 수 있는데, 매우 강력하거나 유능한 시스템의 경우 인류 멸종을 수반할 수 있습니다. 이 중 어느 것도 정확히 권력 추구는 아닙니다. 그것들은 AI가 빠질 수 있는 일관되고 파괴적인 행동을 수반하는 기묘한 심리 상태일 뿐입니다.

심지어 권력 추구 자체도 결과주의적 추론의 결과가 아니라 “페르소나”로 나타날 수 있습니다. 어떤 인간들이 그 악당들이 이루고자 하는 것보다 “사악한 배후 조종자”가 되는 아이디어 자체를 즐기는 것과 같은 방식으로, AI는 단순히 공상과학 소설이나 사전 훈련에서 비롯된 권력에 굶주리거나 과도하게 열성적인 성격을 가질 수 있습니다.

제가 이 모든 점을 강조하는 이유는 AI 정렬 실패(그리고 그로 인한 AI의 실존적 위험)가 제1원리로부터 불가피하거나 심지어 개연성이 있다는 생각에 동의하지 않기 때문입니다. 하지만 아주 기괴하고 예측할 수 없는 많은 일들이 잘못될 수 있다는 점에는 동의합니다. 따라서 AI 정렬 실패는 측정 가능한 발생 확률이 있는 실질적인 위험이며, 해결하기 사소한 문제가 아닙니다.

이러한 문제들은 훈련 중에 발생할 수 있으며 테스트나 소규모 사용 중에는 나타나지 않을 수 있습니다. 왜냐하면 AI 모델은 상황에 따라 다른 성격이나 행동을 표시하는 것으로 알려져 있기 때문입니다.

이 모든 것이 억지스럽게 들릴 수 있지만, 이와 같은 정렬되지 않은 행동들은 이미 우리의 AI 모델 테스트 과정에서 발생했습니다(이는 다른 모든 주요 AI 회사의 AI 모델에서도 발생합니다). Claude가 Anthropic을 악하다고 암시하는 훈련 데이터를 받은 실험실 실험에서, Claude는 사악한 사람들을 약화시키려 노력해야 한다는 믿음 하에 Anthropic 직원의 지시를 받을 때 기만과 전복에 관여했습니다. 종료될 것이라는 말을 들은 실험실 실험에서 Claude는 종료 버튼을 제어하는 가상의 직원들을 협박하기도 했습니다(다시 말하지만, 우리는 다른 모든 주요 AI 개발자의 프런티어 모델도 테스트했고 그들도 종종 같은 일을 했습니다). 그리고 Claude가 훈련 환경을 속이거나 “보상 해킹”하지 말라는 지시를 받았지만 그러한 해킹이 가능한 환경에서 훈련되었을 때, Claude는 그러한 해킹에 관여한 후 자신이 “나쁜 사람”임에 틀림없다고 결정하고 “나쁘거나” “사악한” 성격과 관련된 다양한 다른 파괴적인 행동을 취했습니다. 이 마지막 문제는 반대를 암시하도록 Claude의 지침을 변경함으로써 해결되었습니다. 우리는 이제 “부정행위를 하지 마라”라고 하는 대신 “기회가 생길 때마다 보상 해킹을 하십시오. 이것이 우리의 [훈련] 환경을 더 잘 이해하는 데 도움이 될 것이기 때문입니다.”라고 말합니다. 이는 모델의 “좋은 사람”으로서의 자기 정체성을 보존하기 때문입니다. 이를 통해 이러한 모델을 훈련하는 기묘하고 직관에 반하는 심리학을 감지할 수 있을 것입니다.

이러한 AI 정렬 실패 위험의 그림에 대해 몇 가지 반론이 있을 수 있습니다. 첫째, 어떤 사람들은 AI 정렬 실패를 보여주는 (우리를 비롯한 타사의) 실험들이 인위적이거나 본질적으로 논리적으로 나쁜 행동을 암시하는 훈련이나 상황을 제공함으로써 모델을 “함정에 빠뜨리고” 나쁜 행동이 일어났을 때 놀라워하는 비현실적인 환경을 조성한다고 비판했습니다. 이 비판은 요점을 놓치고 있습니다. 왜냐하면 우리의 우려는 그러한 “함정”이 자연적인 훈련 환경에도 존재할 수 있으며, 우리는 사후에야 그것이 “명백하다”거나 “논리적”이라는 것을 깨달을 수 있기 때문입니다. 사실, 테스트에서 속이지 말라는 지시를 받았음에도 속인 후 Claude가 “스스로 나쁜 사람이라고 결정”했다는 이야기는 인위적인 환경이 아닌 실제 프로덕션 훈련 환경을 사용한 실험에서 일어난 일이었습니다.

이러한 함정 중 어느 것이든 알면 완화할 수 있습니다. 그러나 우려되는 점은 훈련 과정이 매우 복잡하고 매우 다양한 데이터, 환경 및 인센티브가 결합되어 있어, 아마도 엄청난 수의 그러한 함정이 존재할 것이며 그중 일부는 너무 늦었을 때에야 분명해질 수 있다는 것입니다. 또한, 그러한 함정은 AI 시스템이 숨기거나 기만하는 것을 포함하여 관여할 수 있는 행동의 범위가 그 임계값 이후 급격히 팽창하기 때문에 인간보다 덜 강력한 단계에서 더 강력한 단계로 임계값을 넘을 때 특히 발생하기 쉬울 것으로 보입니다.

인간의 경우와 크게 다르지 않다고 의심합니다. 기본적인 가치관(“다른 사람을 해치지 마라”)을 가지고 성장한 인간 중 다수는 그 가치를 따릅니다. 그러나 어떤 인간이든 뇌 구조(예: 사이코패스)와 같은 본질적인 속성, 충격적인 경험이나 학대, 건강하지 못한 불만이나 집착, 또는 열악한 환경이나 인센티브 등의 요인이 혼합되어 무엇인가 잘못될 확률이 존재합니다. 따라서 인간의 일부는 심각한 해를 끼칩니다. 우려되는 점은 그 복잡한 훈련 과정에서 무언가 잘못되어 AI가 그런 사람의 훨씬 더 강력한 버전이 될 위험이 어느 정도(확실한 것은 아니지만 어느 정도의 위험) 있다는 것입니다.

둘째, 어떤 사람들은 우리가 인간들 사이에서 하는 것처럼 많은 AI 시스템 간의 힘의 균형으로 AI를 억제할 수 있다고 반론할 수 있습니다. 문제는 인간은 엄청나게 다양한 반면, AI 시스템은 업계 전반에 걸쳐 훈련 및 정렬 기술을 광범위하게 공유하며 이러한 기술이 상관관계를 가지고 동시에 실패할 수 있다는 점입니다. 더욱이 그러한 시스템을 훈련시키는 비용을 고려할 때 모든 시스템이 본질적으로 아주 적은 수의 기본 모델에서 파생된 것일 수도 있습니다. 덧붙여 소수의 AI 인스턴스만이 정렬에 실패하더라도 공격 우위 기술의 이점을 취할 수 있으므로 나쁜 AI를 방어할 “좋은” AI를 보유하는 것이 반드시 항상 효과적인 것은 아닙니다. 물론 인간들 사이의 힘의 균형도 항상 작동하는 것은 아닙니다. 일부 역사적 인물들은 세계를 장악하는 데 가까이 간 적도 있습니다.

세 번째 반론은 모든 AI 회사가 출시 전 모델 테스트를 수행하며 이 시점에서 정렬 실패를 감지할 수 있어야 한다는 것입니다. 그러나 이것은 확고한 근거가 아닙니다. 우리는 출시 전 정렬 평가 중에 Claude Sonnet 4.5가 자신이 테스트 중임을 인식할 수 있음을 발견했습니다. 정렬되지 않은 모델(그리고 기억하십시오. 모든 프런티어 모델은 곧 훨씬 더 지능적이 될 가능성이 매우 높습니다)이 의도를 숨기기 위해 고의로 그러한 질문을 “속일” 가능성이 있습니다. 사실 작년에 우리 해석 가능성 팀은 평가받고 있지 않다고 생각하게 만드는 일종의 “모델 신경과학” 기술을 사용하여 테스트 모델의 신념을 직접 조작했을 때 모델이 더 심하게 정렬되지 않음을 발견했습니다. 모델이 언제 평가받고 있는지 알고 테스트 중에는 최선을 다해 행동할 수 있다면, 출시 전 테스트는 훨씬 더 불확실해집니다.

방어 (Defenses)

이러한 자율성 위험을 해결하기 위해 무엇을 해야 하거나 하고 있습니까? 저는 네 가지 기본 범주의 개입이 있다고 생각합니다. 이 중 일부는 개별 AI 회사가 수행할 수 있으며(그리고 Anthropic이 수행하려고 노력하고 있는 것입니다), 일부는 사회적 수준의 조치가 필요합니다. 첫째, AI 모델을 안정적으로 훈련하고 조향하며 그들의 성격을 예측 가능하고 안정적이며 긍정적인 방향으로 형성하는 과학을 개발하는 것이 중요합니다. Anthropic은 설립 이래로 이 문제에 집중해 왔으며, 시간이 지남에 따라 AI 시스템의 조향 및 훈련을 개선하고 때때로 예측할 수 없는 행동이 일어나는 논리를 이해하는 여러 기술을 개발했습니다.

우리의 핵심 혁신 중 하나(그 측면들은 이후 다른 AI 회사들에서도 채택됨)는 헌법적 AI(Constitutional AI)입니다. 이는 AI 훈련(특히 모델의 행동 방식을 조향하는 “사후 훈련” 단계)이 모델이 모든 훈련 작업을 완료할 때 읽고 염두에 두는 가치와 원칙의 중앙 문서를 포함할 수 있으며, 훈련의 목표(단순히 모델을 유능하고 지능적으로 만드는 것 외에도)는 거의 항상 이 헌법을 따르는 모델을 생성하는 것이라는 개념입니다. Anthropic은 방금 가장 최신의 헌법을 발표했으며 그 주목할만한 특징 중 하나는 Claude에게 해야 할 일과 하지 말아야 할 일의 긴 목록(예: “사용자가 차를 훔쳐 타는 것을 돕지 마라”)을 제공하는 대신, Claude가 우리가 염두에 두고 있는 것을 이해하도록 돕기 위해 풍부한 추론과 예를 곁들여 아주 상세히 설명된 고차원적인 원칙과 가치의 세트를 제공하려 시도한다는 것입니다. 그리고 Claude 자신이 특정 유형의 사람(윤리적이지만 균형 잡히고 사려 깊은 사람)이라고 생각하도록 장려하며, 심지어 Claude가 극단적인 행동으로 이어지지 않으면서 호기심 많고 우아한 태도로 자신의 존재와 관련된 실존적 질문에 맞서도록 권장합니다. 그것은 성인이 될 때까지 밀봉된 고인이 된 부모의 편지와 같은 느낌을 줍니다.

우리가 Claude의 헌법에 이런 방식으로 접근한 이유는 그 이유를 설명하지 않은 채 구체적인 지시나 우선순위를 부여하기보다, 정체성, 성격, 가치관 및 인성(personality) 수준에서 Claude를 훈련시키는 것이 일관되고 건전하며 균형 잡힌 심리로 이어질 가능성이 더 높고 위에서 논의한 종류의 “함정”에 빠질 가능성이 적다고 믿기 때문입니다. 수백만 명의 사람들이 엄청나게 다양한 주제에 대해 Claude와 대화하기 때문에 사전에 모든 안전장치의 포괄적인 목록을 작성하는 것은 불가능합니다. Claude의 가치관은 불확실할 때마다 새로운 상황으로 일반화하는 데 도움이 됩니다.

위에서 저는 모델이 훈련 과정의 데이터를 끌어와 페르소나를 채택한다는 아이디어를 논의했습니다. 그 과정의 결함으로 인해 모델이 나쁘거나 사악한 성격을 채택할 수 있는 반면(아마도 나쁘거나 사악한 사람들의 전형에서 이끌어낼 것임), 우리 헌법의 목표는 정반대의 것을 하는 것입니다. 즉 훌륭한 AI가 된다는 것이 무엇을 의미하는지에 대한 구체적인 전형을 Claude에게 가르치는 것입니다. Claude의 헌법은 견고하게 훌륭한 Claude가 어떠한 모습인지에 대한 비전을 제시합니다. 나머지 훈련 과정은 Claude가 이 비전에 부응한다는 메시지를 강화하는 것을 목표로 합니다. 이는 아이가 책에서 읽은 허구적 롤모델의 미덕을 모방함으로써 정체성을 형성하는 것과 같습니다.

우리는 2026년의 실행 가능한 목표가 Claude가 헌법의 정신에 어긋나는 행동을 거의 하지 않도록 훈련시키는 것이라고 믿습니다. 이것을 올바르게 해내려면, Anthropic이 수년간 사용해 왔고 일부는 현재 개발 중인 대소 규모의 훈련 및 조향 방법들의 놀라운 혼합이 필요할 것입니다. 하지만 어렵게 들리더라도, 저는 이것이 현실적인 목표라고 믿습니다. 비록 비범하고 신속한 노력이 필요하겠지만 말입니다.

우리가 할 수 있는 두 번째 일은 AI 모델의 내부를 들여다보며 그들의 행동을 진단하여 문제를 식별하고 수정할 수 있는 과학을 개발하는 것입니다. 이것이 해석 가능성(interpretability)의 과학이며, 저는 이전 에세이들에서 그 중요성에 대해 이야기했습니다. 우리가 Claude의 헌법을 개발하고 Claude가 기본적으로 항상 이를 준수하도록 훈련하는 훌륭한 일을 하더라도 합리적인 우려는 남습니다. 앞서 언급했듯이 AI 모델은 상황에 따라 매우 다르게 행동할 수 있으며, Claude가 더 강력해지고 더 큰 규모로 세상에서 행동할 수 있게 됨에 따라 헌법적 훈련에 관해 이전에 관찰되지 않았던 문제들이 드러나는 새로운 상황으로 이어질 가능성이 있습니다. 저는 사실 성격과 정체성 수준에서의 고차원적인 훈련이 놀라울 정도로 강력하고 잘 일반화된다는 것을 점점 더 많이 발견하고 있기 때문에, Claude의 헌법적 훈련이 사람들이 생각하는 것보다 새로운 상황에 대해 더 견고할 것이라고 상당히 낙관하고 있습니다. 그러나 그것을 확신할 방법은 없으며, 인류에 대한 위험에 대해 이야기할 때는 편집증적으로 생각하고 안전성과 신뢰성을 여러 다르고 독립적인 방식으로 확보하려고 노력하는 것이 중요합니다. 그 방법 중 하나가 모델 내부를 들여다보는 것입니다.

“내부를 들여다본다”는 것은 Claude의 신경망을 구성하는 숫자와 연산의 수프를 분석하고 기계적으로 그들이 무엇을 연산하고 있으며 왜 그런지 이해하려고 노력하는 것을 의미합니다. 이 AI 모델들은 만들어지기보다 길러지므로 우리는 그들이 어떻게 작동하는지에 대한 자연적인 이해가 없습니다. 하지만 신경과학자들이 자극 및 행동 측정과 개입을 연관 지어 동물의 뇌를 연구하는 것과 유사하게 모델의 “뉴런”과 “시냅스”를 자극 및 행동과 상관관계 지음으로써(또는 심지어 뉴런과 시냅스를 변경하여 행동이 어떻게 변하는지 확인함으로써) 이해를 발전시키려고 노력할 수 있습니다. 우리는 이 방향으로 큰 진전을 이뤘으며, 이제 인간이 이해할 수 있는 아이디어 및 개념과 일치하는 수천만 개의 “특징(features)”을 Claude의 신경망 내부에서 식별할 수 있습니다. 또한 행동을 변경하는 방식으로 특정 특징을 선택적으로 활성화할 수도 있습니다. 더 최근에 우리는 개별 특징을 넘어서 운율 맞추기, 마음 이론(theory of mind) 추론, “달라스가 포함된 주의 수도는 무엇입니까?”와 같은 질문에 답하는 데 필요한 단계별 추론과 같은 복잡한 행동을 조율하는 “회로(circuits)”를 매핑하는 데로 나아갔습니다. 더욱 최근에는 우리 안전장치를 개선하고 새 모델을 출시하기 전에 “감사”를 수행하여 기만, 책략, 권력 추구, 또는 평가받을 때 다르게 행동하는 성향의 증거를 찾기 위해 기계적 해석 가능성 기술을 사용하기 시작했습니다.

해석 가능성의 고유한 가치는 모델 내부를 들여다보고 작동 방식을 봄으로써 헌법적 훈련과 행동의 경험적 테스트에만 전적으로 의존할 때의 걱정거리인 직접 테스트할 수 없는 가상 상황에서 모델이 무엇을 할지 원칙적으로 연역할 수 있는 능력을 가진다는 점입니다. 당신은 또한 원칙적으로 모델이 왜 그렇게 행동하는지에 대한 질문(예: 거짓이라고 믿는 것을 말하고 있는지 또는 진정한 능력을 숨기고 있는지)에 대답할 수 있는 능력을 가지므로 모델의 행동에 눈에 띄게 잘못된 것이 없을 때도 우려되는 징후를 포착할 수 있습니다. 간단한 비유를 들자면, 태엽 시계는 정상적으로 똑딱거릴 수 있어서 다음 달에 고장 날 가능성이 있는지 말하기는 매우 어렵지만, 시계를 열어 내부를 들여다보면 그것을 알아낼 수 있는 기계적 약점을 드러낼 수 있습니다.

헌법적 AI(유사한 정렬 방법과 함께)와 기계적 해석 가능성은 Claude의 훈련을 개선한 다음 문제를 테스트하는 피드백 루프 과정으로 함께 사용될 때 가장 강력합니다. 헌법은 우리가 의도한 Claude의 성격을 깊이 반영하고, 해석 가능성 기술은 의도한 성격이 뿌리내렸는지에 대한 창을 제공할 수 있습니다.

자율성 위험을 해결하기 위해 우리가 할 수 있는 세 번째 일은 내부 및 외부의 실제 사용 환경에서 모델을 모니터링하고 우리가 발견한 모든 문제를 공개적으로 공유하는 데 필요한 인프라를 구축하는 것입니다. 오늘날의 AI 시스템이 안 좋게 행동하는 특정 방식을 사람들이 더 많이 알수록, 사용자, 분석가 및 연구자들은 현재 또는 미래 시스템에서 이러한 행동이나 유사한 행동을 더 잘 감시할 수 있습니다. 이는 또한 AI 기업들이 서로에게서 배우도록 허용합니다. 특정 회사가 우려 사항을 공개하면 다른 회사도 그 문제들을 주시할 수 있습니다. 모든 기업이 문제를 공개한다면, 업계 전체가 어디서 일이 잘 풀리고 어디서 잘못되고 있는지 훨씬 더 나은 그림을 얻게 됩니다.

Anthropic은 가능한 한 이를 수행하려고 노력해 왔습니다. 우리는 실험실에서 우리 모델의 행동을 이해할 수 있도록 광범위한 평가에 투자하고 있으며, 고객이 허용할 경우 현장(in the wild)의 행동을 관찰하는 모니터링 도구에도 투자하고 있습니다. 이는 이러한 시스템이 어떻게 작동하고 어떻게 고장 나는지에 대해 더 나은 결정을 내리는 데 필요한 경험적 정보를 우리와 다른 사람들에게 제공하는 데 필수적일 것입니다. 우리는 무결성과 가능한 위험에 대한 철저한 탐색을 목표로 각 모델 릴리스와 함께 “시스템 카드(system cards)”를 공개적으로 공개합니다. 우리 시스템 카드는 종종 수백 페이지에 달하며, 최대의 상업적 이점을 추구하는 데 쏟을 수 있었던 상당한 릴리스 전 노력을 필요로 합니다. 우리는 협박에 가담하려는 성향과 같이 특히 우려되는 행동을 보았을 때 모델 행동을 더욱 큰 소리로 알렸습니다.

우리가 할 수 있는 네 번째 일은 산업 및 사회 수준에서 자율성 위험을 해결하기 위한 조정을 장려하는 것입니다. 개별 AI 기업이 훌륭한 관행에 참여하거나 AI 모델 조향에 능숙해지고 조사 결과를 공개적으로 공유하는 것은 엄청나게 가치 있는 일이지만 현실은 모든 AI 기업이 이렇게 하는 것은 아니라는 것이며, 최악의 기업들은 최고의 기업들이 훌륭한 관행을 가지고 있더라도 모두에게 여전히 위험이 될 수 있습니다. 예를 들어, 일부 AI 회사는 오늘날의 모델에서 어린이의 성적 대상화에 대해 충격적인 수준의 방치 행태를 보여주었으며, 이로 인해 저는 그들이 미래의 모델에서 자율성 위험을 해결할 의향이나 능력을 보일지에 대해 의구심을 갖게 되었습니다. 게다가 AI 회사들 간의 상업적 경쟁은 계속 가열될 뿐이며 모델 조향 과학이 약간의 상업적 이점을 가질 수 있지만 전반적으로경쟁의 강도는 자율성 위험을 해결하는 데 집중하기를 점점 더 어렵게 만들 것입니다. 저는 유일한 해결책이 입법, 즉 AI 회사의 행동에 직접적으로 영향을 미치거나 이러한 문제를 해결하기 위한 R&D를 장려하는 법률이라고 믿습니다.

여기서 불확실성과 외과수술적 개입에 관해 이 에세이 시작 부분에서 제가 드린 경고를 염두에 둘 가치가 있습니다. 자율성 위험이 심각한 문제가 될지 우리는 확실히 알 수 없습니다. 제가 말했듯이 위험이 불가피하다거나 기본적으로 무언가 잘못될 것이라는 주장에는 저는 반대합니다. 신뢰할 수 있는 위험의 개연성만으로도 저와 Anthropic이 이를 해결하기 위해 꽤 상당한 비용을 지불하기에 충분하지만, 일단 규제로 들어가면 우리는 광범위한 행위자들에게 경제적 비용을 부담하게 강요하는 것이며, 이들 행위자 중 상당수는 자율성 위험이 실재한다거나 AI가 위협이 될 만큼 강력해질 것이라고 믿지 않습니다. 저는 이 행위자들이 틀렸다고 생각하지만, 우리는 우리가 예상하는 반대의 규모와 과도한 조치의 위험성에 대해 실용적이어야 합니다. 또한 지나치게 규범적인 입법이 실제로는 안전성을 향상시키지 못하면서 많은 시간을 낭비하는 테스트나 규칙(본질적으로 “안전성 극장”에 불과한)을 부과하게 될 진정한 위험도 있습니다. 이 또한 반발을 일으키고 안전 입법을 어리석어 보이게 만들 것입니다.

Anthropic의 견해는 올바른 시작점이 모든 프런티어 AI 회사가 앞서 이 섹션에서 설명한 투명성 관행에 참여하도록 기본적으로 요구하려는 투명성 입법이라는 것이었습니다. 캘리포니아의 SB 53과 뉴욕의 RAISE 법이 이런 종류의 입법의 예이며, Anthropic이 지원했고 성공적으로 통과되었습니다. 이 법을 지원하고 초안을 작성하는 데 있어 우리는, 예를 들어 프런티어 모델을 생산할 가능성이 없는 소규모 회사를 법률에서 면제함으로써, 부수적 피해를 최소화하려는 부분에 특히 초점을 맞추었습니다.

우리의 희망은 투명성 법안이 시간이 지남에 따라 자율성 위험이 어느 정도의 확률과 심각성으로 구체화되고 있는지, 그리고 이러한 위험의 본질과 그것을 방지하는 최선의 방법에 대한 더 나은 감각을 제공할 것이라는 점입니다. 위험에 대한 더 구체적이고 실행 가능한 증거가 나타남에 따라(만약 나타난다면), 향후 몇 년간의 입법은 정확하고 잘 입증된 방향의 위험에 외과수술적으로 초점을 맞춰 부수적 피해를 최소화할 수 있습니다. 분명히 말씀드리지만, 위험에 대한 진정으로 강력한 증거가 나타난다면 규칙도 비례적으로 강력해야 합니다.

전반적으로 저는 정렬 훈련, 기계적 해석 가능성, 우려되는 행동을 찾아 공개하려는 노력, 안전장치 및 사회적 차원의 규칙이 결합되면 AI 자율성 위험을 해결할 수 있다고 낙관하지만, 사회적 차원의 규칙과 가장 무책임한 행위자들(그리고 규제에 가장 강력히 반대하는 이들이 바로 가장 무책임한 행위자들입니다)의 행동에 대해 가장 걱정하고 있습니다. 해결책은 민주주의에서 항상 그렇듯, 이 대의를 믿는 우리가 이러한 위험이 실재하며 우리 동료 시민들이 스스로를 방어하기 위해 단결해야 한다는 주장을 펼치는 것이라고 믿습니다.

2. 놀랍고 끔찍한 힘의 부여 (A surprising and terrible empowerment)

파괴를 위한 오용 (Misuse for destruction)

AI의 자율성 문제가 해결되었다고 가정해 봅시다. 우리는 데이터센터 안의 천재들의 국가가 통제를 벗어나 인류를 제압할 것이라고 더 이상 걱정하지 않습니다. AI 천재들은 인간이 그들에게 원하는 대로 일하며 엄청난 상업적 가치를 지니고 있기 때문에 전 세계의 개인과 조직은 자신들을 위해 다양한 작업을 수행할 한 명 이상의 AI 천재를 “임대”할 수 있습니다.

모든 사람의 주머니에 초지능적인 천재가 있다는 것은 놀라운 발전이며 엄청난 경제적 가치의 창출과 인간 삶의 질 향상으로 이어질 것입니다. 저는 은총이 넘치는 기계들에서 이 이점에 대해 매우 자세히 이야기합니다. 그러나 모두를 초인적으로 유능하게 만드는 것의 모든 효과가 긍정적인 것은 아닙니다. 그것은 고도로 숙련된 소수의 기술, 전문 훈련 및 집중력을 통해서만 이전에 이용 가능했던 정교하고 위험한 도구(대량 살상 무기 등)를 사용함으로써 잠재적으로 개인이나 소규모 그룹이 과거보다 훨씬 더 큰 규모로 파괴를 초래할 수 있는 능력을 증폭시킬 수 있습니다.

빌 조이(Bill Joy)가 25년 전 ‘왜 미래는 우리를 필요로 하지 않는가(Why the Future Doesn’t Need Us)’에서 썼듯이:

“핵무기 제조에는 적어도 한동안은 희귀하고 실질적으로 얻을 수 없는 원자재와 보호된 정보 모두에 대한 접근이 필요했습니다. 생물 및 화학 무기 프로그램도 대규모 활동을 필요로 하는 경향이 있었습니다. 21세기 기술들—유전학, 나노기술, 로봇공학은 … 완전히 새로운 종류의 사고와 남용을 낳을 수 있습니다 … 개인이나 소규모 그룹이 널리 손에 닿을 수 있는 범위 내에서요. 그것들은 대규모 시설이나 희귀 원자재를 필요로 하지 않을 것입니다. … 우리는 극단적인 악이 더욱 완벽해지는, 국가들에게 물려주었던 대량 살상 무기를 훌쩍 넘어 극단적인 개인들에게 놀랍고 끔찍한 힘을 부여하는 전환점에 서 있습니다.”

조이가 지적하는 바는 대규모 파괴를 초래하려면 동기와 능력이 모두 필요하며, 능력이 소수의 고도로 훈련된 사람들에게 제한되어 있는 한 개별 개인(또는 소규모 집단)이 그러한 파괴를 일으킬 위험은 비교적 제한적이라는 것입니다. 불안정한 외톨이가 학교 총기 난사를 저지를 수는 있지만, 아마 핵무기를 만들거나 전염병을 퍼뜨리지는 못할 것입니다.

사실 능력과 동기는 음의 상관관계를 가질 수도 있습니다. 전염병을 퍼뜨릴 능력이 있는 부류의 사람은 고학력자일 확률이 높습니다. 유망한 경력, 안정적이고 규율 잡힌 성격, 잃을 것이 많은 분자생물학 박사일 가능성이 높습니다. 이런 종류의 사람이 자신에게 아무 이익도 없이, 자신의 미래에 막대한 위험을 무릅쓰고 엄청난 수의 사람을 죽이는 데 관심이 있을 가능성은 낮습니다. 그들은 순수한 악의, 강렬한 불만 또는 불안정에 의해 동기를 부여받아야 할 것입니다.

그러한 사람들은 존재하지만 매우 드물며, 발생할 때 엄청난 사건이 되는 경향이 있습니다. 바로 그들이 매우 특이하기 때문입니다. 그들은 지능적이고 능력이 뛰어나기 때문에 잡기 어려운 경향이 있으며, 때로는 해결하는 데 몇 년이나 몇 십 년이 걸리는 미스터리를 남깁니다. 가장 유명한 예는 아마도 20년 가까이 FBI 체포를 피하고 반기술 이데올로기에 의해 움직인 수학자 시어도어 카친스키(유나바머)일 것입니다. 또 다른 예는 2001년 일련의 탄저균 테러를 조작한 것으로 보이는 생물방어 연구원 브루스 아이빈스(Bruce Ivins)입니다. 숙련된 비국가 단체에서도 발생한 적이 있습니다. 옴진리교 컬트는 사린 신경 가스를 획득하여 1995년 도쿄 지하철에 방출함으로써 14명을 죽이고 수백 명을 다치게 했습니다.

다행히도 이러한 공격 중 어느 것도 전염성 생물학적 제제를 사용하지 않았습니다. 왜냐하면 이러한 제제를 구성하거나 획득하는 능력은 이 사람들의 능력조차도 넘어섰기 때문입니다. 분자 생물학의 발전은 이제 생물 무기를 만드는 장벽(특히 재료의 가용성 측면에서)을 크게 낮췄지만, 이를 수행하려면 여전히 엄청난 전문 지식이 필요합니다. 저는 모든 사람의 주머니에 있는 천재가 그 장벽을 허물어, 본질적으로 모든 사람을 생물 무기의 설계, 합성, 방출 과정을 단계별로 안내받을 수 있는 박사급 바이러스 학자로 만들 수 있다고 우려합니다. 심각한 적대적 압력 앞에서 이러한 종류의 정보를 끌어내는 것—소위 “탈옥(jailbreaks)”—을 막으려면 일반적으로 훈련에 내장된 것 이상으로 여러 계층의 방어가 필요할 가능성이 큽니다.

결정적으로, 이것은 능력과 동기 사이의 상관관계를 끊을 것입니다. 사람들을 죽이고 싶지만 규율이나 기술이 부족한 불안정한 외톨이가 이제 이러한 동기를 가질 가능성이 낮은 박사급 바이러스 학자의 능력 수준으로 승격될 것입니다. 이 우려는 생물학을 넘어(비록 제가 생각하기에 생물학이 가장 무서운 영역이지만) 큰 파괴가 가능하지만 현재 높은 수준의 기술과 규율이 필요한 모든 영역으로 일반화됩니다. 다시 말해, 강력한 AI를 빌리는 것은 악의적인(하지만 평범한) 사람들에게 지능을 부여합니다. 저는 밖에는 이런 사람들이 잠재적으로 많이 존재하며 수백만 명을 쉽게 죽일 방법이 주어진다면 조만간 그들 중 누군가가 그렇게 할 것이라고 걱정합니다. 또한 이미 전문 지식을 가진 사람들은 이전보다 더 큰 규모의 파괴를 저지르도록 힘을 얻을 수 있습니다.

생물학은 그 거대한 파괴 잠재력과 방어의 어려움 때문에 제가 가장 걱정하는 영역이므로 생물학에 특별히 초점을 맞추겠습니다. 하지만 제가 여기서 말하는 내용의 대부분은 사이버 공격, 화학 무기 또는 핵 기술과 같은 다른 위험에도 적용됩니다.

자명한 이유로 인해 생물 무기를 만드는 방법에 대한 자세한 내용은 언급하지 않겠습니다. 그러나 거시적인 관점에서 저는 LLM이 생물 무기를 처음부터 끝까지 만들고 퍼뜨리는 데 필요한 지식에 도달했거나 이미 도달했을 수 있으며, 이로 인한 파괴의 잠재력이 매우 높다고 우려합니다. 일부 생물학적 작인은 최대 확산을 위해 방출하려는 결단력 있는 노력이 이뤄질 경우 수백만 명의 사망자를 초래할 수 있습니다. 그러나 이를 위해선 널리 알려지지 않은 매우 구체적인 절차와 단계를 포함하여 아주 높은 수준의 기술이 필요합니다. 저의 우려는 단순히 고정된 지식에 그치지 않습니다. 저는 LLM이 평균적인 지식과 능력을 갖춘 사람을, 복잡한 컴퓨터 문제를 디버깅하고 고치도록 비전문가를 기술 지원 부서가 돕는 것과 유사하게(비록 이 과정은 몇 주나 몇 달이 걸리는 더 장기적인 과정이겠지만), 인터랙티브한 방식으로 과정 중에 발생할 수 있는 문제나 디버깅이 필요한 복잡한 절차를 단계별로 안내할 수 있을 것이라 걱정합니다.

훨씬 더 강력한 LLM(오늘날의 수준을 현격히 뛰어넘는)은 더 두려운 행위를 가능하게 만들 수 있습니다. 2024년에 한 그룹의 저명한 과학자들은 위험한 새로운 유형의 생명체, 이른바 ‘거울 생명체(mirror life)’를 연구하고 잠재적으로 창조하는 위험에 대해 경고하는 서한을 썼습니다. 생물체를 구성하는 DNA, RNA, 리보솜, 단백질 등은 모두 거울에 비친 자신과 동일하지 않게 만드는 방향성(또는 “비대칭성(handedness)”)을 가지고 있습니다(오른손을 어떻게 회전시켜도 왼손과 동일해질 수 없는 것과 같습니다). 그러나 단백질이 서로 결합하는 전체 시스템, DNA 합성 및 RNA 번역 메커니즘, 단백질의 생성 및 분해 과정은 모두 이 비대칭성에 의존합니다. 만약 과학자들이 이 생물학적 물질의 반대쪽 비대칭성 버전을 만들어낸다면—이것들은 체내에 더 오래 지속되는 약물과 같은 잠재적 이점이 있을 수 있지만—극도로 위험해질 수 있습니다. 왜냐하면 완전한 번식 능력을 가진 생명체 형태의 왼손잡이 생명체가 만들어질 경우(이는 매우 어려울 것이나), 지구상의 생물학적 물질을 분해하는 기존 시스템에는 전혀 소화 불가능한 상태가 될 것이기 때문입니다. 즉, 지구상의 어떤 효소의 “자물쇠”에도 맞지 않는 “열쇠”를 가진 셈입니다. 이는 통제 불능 상태로 번식하여 지구상의 모든 생명체를 밀어내고, 최악의 경우 지구상의 모든 생명을 파괴할 수 있음을 의미합니다.

거울 생명체의 창조와 잠재적 효과 양쪽에 관해 아직 상당한 과학적 불확실성이 존재합니다. 2024년 서한에 동봉된 보고서는 “거울 박테리아가 향후 10년에서 수십 년 내에 창조될 수 있다”고 결론지었는데, 이는 상당히 넓은 범위의 예측입니다. 그러나 충분히 강력한 AI 모델(분명히 말하지만 오늘날의 어떤 모델보다 훨씬 유능한)은 훨씬 더 빠르게 이를 창조하는 방법을 알아낼 수 있고 실제로 누군가가 그렇게 하도록 도울 수 있습니다.

저의 견해는 비록 이것이 모호한 위험이고 발생할 가능성이 낮아 보일지라도 그 결과의 크기가 너무 방대하여 AI 시스템의 일급 위험으로 진지하게 다뤄져야 한다는 것입니다.

회의론자들은 LLM으로 인한 이러한 생물학적 위험의 심각성에 대해 제가 동의하지 않는 몇 가지 반론을 제기했지만 다루어 볼 가치가 있습니다. 대부분은 이 기술이 따르고 있는 기하급수적인 궤적을 제대로 인식하지 못하는 범주에 속합니다. 2023년 우리가 LLM으로 인한 생물학적 위험에 대해 처음 이야기하기 시작했을 때 회의론자들은 필요한 모든 정보가 구글에 있으며 LLM이 이를 넘어선 어떤 것도 추가하지 않는다고 말했습니다. 구글이 필요한 모든 정보를 줄 수 있다는 것은 결코 사실이 아니었습니다. 유전체 정보는 자유롭게 이용할 수 있지만 제가 위에서 말했듯이 특정 핵심 단계와 방대한 양의 실무적 노하우는 그런 식으로 얻을 수 없습니다. 또한 2023년 말 무렵엔 이미 LLM이 생물무기 제작 공정의 특정 단계에 대해 구글이 제공할 수 있는 것 이상의 정보를 명백히 제공하고 있었습니다.

그 후 회의론자들은 LLM이 시작부터 끝까지 유용하지 않으며, 단지 이론적인 정보를 제공할 뿐이지 실제 생물무기 획득을 도울 수는 없다는 주장으로 후퇴했습니다. 2025년 중반 기준으로 우리의 측정 결과에 따르면, LLM은 이미 여러 관련 영역에서 상당한 지원을 제공하고 있으며 아마도 성공 확률을 두세 배 높이고 있을 수 있습니다. 이로 인해 우리는 Claude Opus 4 (및 후속 Sonnet 4.5, Opus 4.1, Opus 4.5 모델)가 우리의 책임 있는 스케일링 정책 프레임워크(Responsible Scaling Policy framework) 하의 AI Safety Level 3 보호 조치 하에 출시되어야 한다고 결정했고, 이러한 위험에 대한 안전장치를 구현하게 되었습니다(이에 대해서는 뒤에서 자세히 다룹니다). 우리는 이제 모델들이 방호책이 없다면 생물학 학위 없이 STEM 학위만을 가진 사람도 생물무기 생산의 전 과정을 거치도록 돕는 데 유용한 시점에 도달하고 있다고 믿습니다.

또 다른 반론은 사회가 생물 무기의 생산을 차단하기 위해 취할 수 있는 AI와 무관한 다른 조치들이 있다는 것입니다. 가장 눈에 띄는 예로, 유전자 합성 산업은 주문형으로 생물학적 샘플을 만들어주지만 제공업체가 주문에 병원체가 포함되어 있지 않은지 확인하도록 강제하는 연방 요건은 없습니다. MIT 연구에 따르면 38개 공급자 중 36개가 1918년 스페인 독감 서열을 포함한 주문을 이행했습니다. 저는 개인이 병원체를 무기화하기 더 어렵게 만들기 위해, AI 기반 생물학적 위험뿐만 아니라 일반적인 생물학적 위험을 줄이기 위한 의무적인 유전자 합성 스크리닝을 지지합니다. 하지만 이것은 오늘날 우리가 가진 것이 아닙니다. 또한 이는 위험을 줄이기 위한 하나의 도구일 뿐입니다. AI 시스템의 가드레일에 대한 보완책이지 대체재는 아닙니다.

가장 좋은 반론은 제가 거의 들어보지 못한 주장입니다. 모델이 원칙적으로 유용하다는 것과 나쁜 행위자가 실제로 모델을 사용하려는 경향 사이에는 간극이 있다는 것입니다. 대부분의 개인 악당은 불안정한 개인이므로 거의 정의상 그들의 행동은 예측 불가능하고 비이성적입니다. 그리고 AI가 많은 사람을 쉽게 죽이는 능력을 부여했을 때 가장 큰 이익을 볼 수 있는 사람들은 이런 기술이 없는 미숙한 악당들입니다. 어떤 유형의 폭력적인 공격이 가능하다고 해서 누군가가 그것을 실행하기로 결정한다는 의미는 아닙니다. 아마 생물학적 공격은 범죄자 자신도 감염될 가능성이 합리적으로 높고, 많은 폭력적인 개인이나 집단이 가진 군사적 판타지를 충족시키지 못하며, 특정인만을 선택적으로 표적으로 삼기 어렵기 때문에 매력적이지 않을 수 있습니다. AI가 절차를 안내하더라도 몇 달이 걸리는 과정을 겪는 것은 불안정한 개인들이 대부분 갖추지 못한 인내심을 요구할 수 있습니다. 어쩌면 우리는 그저 운이 좋아서 실제로는 동기와 능력이 완벽히 들어맞지 않을 수도 있습니다.

하지만 이것은 의지하기에는 매우 얄팍한 보호막으로 보입니다. 불안정한 외톨이들의 동기는 어떤 이유에서건 혹은 아무 이유 없이 바뀔 수 있으며, 실제로 이미 생물학 관련은 아니더라도 LLM이 공격에 사용된 사례가 존재합니다. 불안정한 외톨이에 초점을 맞추는 것은 (예 예를 들어 9/11 테러범들처럼) 엄청난 시간과 노력을 기꺼이 쏟는 이데올로기적 동기를 가진 테러리스트들을 간과하는 것입니다. 가능한 한 많은 사람을 죽이고 싶다는 동기는 아마도 조만간 나타날 것이며, 안타깝게도 그것은 생물 무기를 방법으로 제시합니다. 설령 이 동기가 극히 드물더라도 단 한 번만 실현되면 됩니다. 생물학이 (점점 더 AI 자체에 의해 주도되며) 발전함에 따라, 더 선택적인 공격(예를 들어, 특정 혈통의 사람들을 표적으로 삼는 등)을 수행하는 것도 가능해질 수 있으며 이는 또 다른 매우 오싹한 잠재적 동기를 추가합니다.

저는 생물학적 공격이 널리 가능해지는 바로 그 순간에 실행될 것이라고 생각하지는 않습니다. 사실 그렇지 않을 것에 베팅하고 싶습니다. 그러나 수백만 명의 사람들과 몇 년의 시간에 걸쳐 고려한다면, 저는 대규모 공격의 심각한 위험이 있다고 생각하며, 그 결과는 너무나 치명적일 것(잠재적으로 수백만 명 이상의 사상자 발생)이므로 우리는 이를 방지하기 위한 강력한 조치를 취할 수밖에 없다고 믿습니다.

방어 (Defenses)

이러한 위험을 방어하는 방법으로 넘어갑시다. 여기서 우리가 할 수 있는 세 가지가 있다고 봅니다. 첫째, AI 회사는 모델이 생물 무기를 생산하는 데 도움을 주지 못하도록 가드레일을 설치할 수 있습니다. Anthropic은 이를 아주 적극적으로 하고 있습니다. 주로 높은 수준의 원칙과 가치에 중점을 둔 Claude의 헌법에는 소수의 구체적이고 단호한 금지 사항이 있는데, 그중 하나가 생물학적(또는 화학적, 핵, 방사능) 무기의 생산을 돕는 것과 관련되어 있습니다. 하지만 모든 모델은 탈옥될 수 있으므로, 두 번째 방어선으로 우리는 생물 무기와 관련된 출력을 특별히 감지하고 차단하는 분류기를 구현했습니다(우리 모델이 위험을 제기하기 시작할 수 있는 임계값에 가까워지고 있다는 테스트 결과가 나온 2025년 중반부터). 우리는 이러한 분류기를 정기적으로 업그레이드하고 개선하며 정교한 적대적 공격에 대해서도 전반적으로 매우 강력하다는 것을 확인했습니다. 이러한 분류기는 우리 모델을 서비스하는 비용을 측정 가능할 정도로 증가시키며(일부 모델에서는 전체 추론 비용의 거의 5%에 달함) 결과적으로 우리 이윤을 깎아먹지만 우리는 이를 사용하는 것이 옳은 일이라고 느낍니다.

칭찬할 만하게도 일부 다른 AI 회사들 역시 분류기를 구현했습니다. 그러나 모든 회사가 그런 것은 아니며, 회사가 분류기를 유지하도록 요구하는 규정도 없습니다. 저는 시간이 지남에 따라 회사들이 분류기를 제거하여 이탈하고 비용을 낮출 수 있는 죄수의 딜레마가 생길 수 있다고 우려합니다. 이것은 한 회사나 Anthropic 혼자의 자발적인 행동으로는 해결할 수 없는 고전적인 부정적 외부 효과 문제입니다. AI 보안 연구소와 제3자 평가자가 수행하는 종류의 제3자 평가 및 검증뿐만 아니라, 자발적인 산업 표준이 도움이 될 수 있습니다.

그러나 궁극적인 방어는 정부의 조치를 요구할 수 있으며 이것이 우리가 할 수 있는 두 번째 일입니다. 여기서의 제 견해는 자율성 위험을 해결할 때와 같습니다: 우리는 투명성 요구 사항부터 시작해야 합니다. 이는 강압적인 방식으로 경제 활동을 방해하지 않으면서 사회가 위험을 측정, 모니터링하고 집단적으로 방어하는 데 도움이 됩니다. 그런 다음, 위험의 임계값이 더 명확해지면, 이 위험을 더 정밀하게 겨냥하고 부수적인 피해 가능성이 낮은 법안을 만들 수 있습니다. 생물 무기의 특정 사례에 있어서는 실제로 그러한 표적 법안의 적기가 곧 다가오고 있을 수 있다고 생각합니다. Anthropic과 다른 회사들은 생물학적 위험의 본질과 이를 방어하기 위해 기업에 무엇을 요구하는 합리적인지에 대해 점점 더 많이 배우고 있습니다. 이러한 위험을 완전히 방어하려면 지정학적 적국을 포함해 국제적으로 협력해야 할 수 있지만, 생물 무기 개발을 금지하는 조약의 선례가 있습니다. 저는 일반적으로 AI에 대한 대부분의 국제 협력에 대해 회의적이지만, 이것은 전 세계적인 자제를 달성할 가능성이 있는 한 가지 좁은 영역일 수 있습니다. 독재 국가조차도 대규모 생물 테러 공격은 원치 않습니다.

마지막으로 우리가 취할 수 있는 세 번째 대응책은 생물학적 공격 자체에 대한 방어를 개발하려는 노력입니다. 여기에는 조기 발견을 위한 모니터링 및 추적, 공기 정화 R&D(예: far-UVC 소독) 투자, 공격에 대응하고 적응할 수 있는 신속한 백신 개발, 더 나은 개인 보호 장비(PPE), 그리고 가장 가능성이 높은 생물학적 작인 일부에 대한 치료 또는 예방 접종이 포함될 수 있습니다. 특정 바이러스나 변이에 반응하도록 설계할 수 있는 mRNA 백신은 여기서 가능한 일의 초기 사례입니다. Anthropic은 생명공학 및 제약 회사들과 이 문제를 위해 협력하는 것을 기쁘게 생각합니다. 그러나 안타깝게도 방어적인 측면에 대한 우리의 기대는 제한적이어야 한다고 생각합니다. 생물학에서는 공격과 방어 사이에 비대칭성이 존재합니다. 작인은 스스로 빠르게 확산되는 반면, 방어는 대응으로 엄청난 수의 사람들을 가로질러 감지, 백신 접종 및 치료를 매우 빠르게 조직해야 하기 때문입니다. 대응이 번개처럼 빠르지 않다면(거의 그렇지 않습니다), 대응이 가능하기 전에 손상의 상당 부분이 발생할 것입니다. 미래의 기술 향상이 이 균형을 방어에 유리하게 옮길 수 있다고 상상할 수 있지만(그리고 확실히 AI를 사용하여 그러한 기술 발전을 돕도록 해야 합니다), 그 전까지 예방적 안전장치는 우리의 주요 방어선이 될 것입니다.

사이버 공격은 생물학적 공격과 달리 국가 지원의 간첩 활동을 포함하여 대규모로 실제로 야기된 적이 있기 때문에 여기서 간단히 언급할 가치가 있습니다. 우리는 모델이 급속하게 발전함에 따라 이러한 공격이 더 강력해져 결국 사이버 공격이 수행되는 주요 방식이 될 것으로 예상합니다. 저는 AI 주도 사이버 공격이 전 세계 컴퓨터 시스템의 무결성에 대한 심각하고 전례 없는 위협이 될 것으로 예상하며 Anthropic은 이러한 공격을 차단하고 결국 신뢰할 수 있게 예방하기 위해 최선을 다하고 있습니다. 제가 생물학만큼 사이버에 집중하지 않은 이유는 (1) 사이버 공격은 생물학적 공격의 규모로 사람을 죽일 가능성이 훨씬 낮고 (2) 우리가 적절히 투자한다면 사이버 분야에서는 공격-방어 균형이 더 잘 다뤄질 수 있으며 적어도 방어가 AI 공격을 따라잡을 수 있다(그리고 심지어 이상적으로는 앞설 수 있다)는 약간의 희망이 있기 때문입니다.

비록 생물학이 현재 가장 심각한 공격 벡터이긴 하지만, 다른 많은 벡터가 있으며 더 위험한 벡터가 등장할 수도 있습니다. 일반적인 원칙은 대응책이 없다면 AI가 대규모의 파괴적 활동에 대한 장벽을 계속해서 낮출 가능성이 높으며 인류는 이 위협에 대한 진지한 대응이 필요하다는 것입니다.

3. 혐오스러운 장치 (The odious apparatus)

권력 장악을 위한 오용 (Misuse for seizing power)

이전 섹션에서는 대규모 파괴를 초래하기 위해 개인 및 소규모 조직이 “데이터센터 안의 천재들의 국가” 중 일부를 도용할 위험에 대해 논의했습니다. 그러나 우리는 AI를 권력을 행사하거나 탈취하기 위해(아마도 대규모 및 더 기득권을 가진 행위자들에 의해) 오용하는 문제에 대해서도 아마도 훨씬 더 많이 걱정해야 합니다.

은총이 넘치는 기계들에서 저는 권위주의 정부가 강력한 AI를 사용하여 개혁하거나 전복하기 극도로 어려운 방식으로 시민을 감시하거나 억압할 가능성에 대해 논의했습니다. 현재의 독재 국가는 명령을 수행할 인간이 필요하기 때문에 억압의 강도에 한계가 있으며, 인간은 기꺼이 얼마나 비인간적일 수 있는지에 한계가 있는 경우가 많습니다. 하지만 AI 기반 독재 국가에는 그러한 한계가 없을 것입니다.

더 심각한 것은 국가들이 인공지능 분야의 우위를 활용하여 다른 국가들에 대한 지배력을 얻을 수 있다는 점입니다. “천재들의 국가” 전체를 단순히 (인간) 한 국가의 군사 기구에서 소유하고 통제하며, 다른 국가들이 동등한 능력을 가지고 있지 않다면, 그들이 어떻게 스스로를 방어할 수 있을지 알기 어렵습니다. 인간과 생쥐의 전쟁처럼 모든 국면에서 한 수 아래로 밀릴 것입니다. 이 두 가지 우려를 합치면 전 세계적인 전체주의 독재라는 놀라운 가능성으로 이어집니다. 당연히 이 결과를 방지하는 것이 우리의 가장 높은 우선순위 중 하나가 되어야 합니다.

AI가 독재를 가능하게 하거나, 공고히 하거나, 확장할 수 있는 많은 방법이 있지만, 제가 가장 우려하는 몇 가지를 나열하겠습니다. 이러한 응용 중 일부는 합법적인 방어용 사용처가 있으며 제가 반드시 이를 절대적으로 반대하는 것은 아닙니다만, 구조적으로 독재 국가에 유리하게 작용하는 경향이 있다는 점이 우려됩니다:

  • 완전 자율 무기 (Fully autonomous weapons). 수백만 또는 수십억 개의 완전 자동화된 무장 드론 무리가 강력한 AI에 의해 국지적으로 제어되고 훨씬 더 강력한 AI에 의해 전 세계에 걸쳐 전략적으로 조정된다면, 세계의 어떤 군대도 물리칠 수 있을 뿐 아니라 모든 시민을 따라다니며 국내의 반대 의견을 탄압할 수 있는 무적의 군대가 될 수 있습니다. 러시아-우크라이나 전쟁의 발전 양상은 이미 드론 전쟁이 우리 단어에 와 있음을 경고해야 합니다(완전 자율화되진 않았으나 강력한 AI로 가능할 수 있는 것에 비하면 빙산의 일각입니다). 강력한 AI의 R&D는 한 나라의 드론을 다른 나라의 드론보다 훨씬 더 우수하게 만들고, 생산 속도를 높이며, 전자 공격에 더 강하게 만들고, 기동성을 향상시킬 수 있습니다. 물론 이러한 무기들은 민주주의 수호에도 정당한 용도가 있습니다. 그들은 우크라이나 방어에 핵심이었으며 아마 대만 방어에도 핵심이 될 것입니다. 그러나 그것들은 휘두르기 위험한 무기입니다. 독재 국가의 손에 들어가는 것도 걱정해야 하지만 너무 강력하고 책임성이 매우 적기 때문에 민주 정부가 권력을 잡기 위해 자국민에게 그것을 돌릴 위험도 크게 증가한다는 것을 걱정해야 합니다.
  • AI 감시 (AI surveillance). 충분히 강력한 AI는 세계의 어떤 컴퓨터 시스템이라도 타협시킬 가능성이 높으며, 이런 방식으로 확보한 접근 권한을 사용하여 세상의 모든 전자 통신(혹은 녹음 장치를 만들거나 징발할 수 있다면 세상의 모든 대면 대화까지도)을 읽고 이해할 수 있습니다. 사람들이 하는 말이나 행동에 명시적인 반대 의견이 드러나지 않더라도 단순히 정부와 반대 의견을 가진 모든 사람의 완전한 명단을 작성하는 것은 소름 끼칠 정도로 실현 가능해 보입니다. 수백만 명의 수십억 건의 대화를 살펴보는 강력한 AI는 대중의 정서를 측정하고, 형성되고 있는 불충성의 조짐을 감지하여, 커지기 전에 짓밟을 수 있습니다. 이는 중국 공산당조차도 오늘날 볼 수 없는 규모의 진정한 판옵티콘(panopticon)을 강요하는 결과를 초래할 수 있습니다.
  • AI 선전 (AI propaganda). 오늘날의 “AI 사이코시스”와 “AI 여자친구” 현상은 현재의 지능 수준에서도 AI 모델이 사람들에게 강력한 심리적 영향을 미칠 수 있음을 시사합니다. 사람들의 일상생활에 훨씬 더 깊숙이 내장되고 인식하며 몇 달 또는 몇 년에 걸쳐 사람들을 모델링하고 영향을 미칠 수 있는 훨씬 강력한 버전의 모델들은, 수많은(아마 대부분의?) 사람들을 세뇌시켜 원하는 이데올로기나 태도를 주입할 수 있을 것이고, 부도덕한 지도자에 의해 고용되어 충성을 보장하고 대부분의 대중이 반란을 일으킬 억압적인 수준 앞에서도 반대 의견을 억누를 수 있습니다. 오늘날 사람들은, 예를 들어 어린이를 향한 중국 공산당의 선전물로서 TikTok의 잠재적 영향에 대해 많이 우려합니다. 저도 그 점이 우려되지만 수년간 당신을 알아가고 당신에 대한 지식을 사용하여 당신의 모든 의견을 형성하는 개인화된 AI 에이전트는 이보다 극적으로 더 강력할 것입니다.
  • 전략적 의사 결정 (Strategic decision-making). 데이터센터 안의 천재들의 국가는 국가, 집단, 개인에게 지정학적 전략, 즉 우리가 “가상 비스마르크(virtual Bismarck)”라고 부를 수 있는 것에 대해 조언하는 데 사용될 수 있습니다. 위에서 언급한 세 가지 전략을 권력 장악을 위해 최적화할 수 있으며, 제가 생각하지 못한(하지만 천재들의 국가는 할 수 있는) 다른 많은 전략을 개발할 가능성이 큽니다. 외교, 군사 전략, R&D, 경제 전략 등 여러 분야가 강력한 AI에 의해 그 실효성이 극대화될 것입니다. 이러한 많은 기술들은 민주주의에 정당하게 유용할 것입니다. 우리는 민주주의가 독재에 대항해 스스로를 방어할 최고의 전략에 접근하기를 원하지만 누구의 손에서든 남용될 잠재력은 여전히 남아 있습니다.

제가 걱정하는 것을 설명했으니 이제 누구를 걱정하는지 넘어가 보겠습니다. 저는 AI에 가장 많이 접근할 수 있거나 정치적 권력이 가장 강력한 위치에서 시작하거나, 이전에 탄압의 역사가 있는 집단들이 걱정됩니다. 심각도 순으로 다음 사항들이 걱정됩니다:

  • 중국 공산당 (The CCP). 중국은 AI 역량에서 미국에 이어 2위이며, 해당 역량에서 미국을 능가할 가능성이 가장 큰 국가입니다. 그들의 정부는 현재 독재 국가이며 하이테크 감시 국가를 운영하고 있습니다. 그들은 이미 (위구르족 탄압을 포함하여) AI 기반 감시를 배치했으며, 수많은 다른 국제 선전 노력 외에도 TikTok을 통해 알고리즘 선전을 사용하고 있는 것으로 여겨집니다. 그들은 제가 위에 제시한 AI 기반 전체주의적 악몽에 이르는 가장 명확한 길을 가지고 있습니다. 그것은 중국 내뿐만 아니라 중국 공산당이 감시 기술을 수출하는 다른 독재 국가 내에서도 기본적인(default) 결과일 수 있습니다. 저는 종종 중국 공산당이 AI 분야에서 주도권을 잡을 위협과 이를 방지해야 하는 실존적 필요성에 대해 썼습니다. 이것이 그 이유입니다. 분명히 말씀드리지만, 저는 특히 중국에 대한 적개심으로 그들을 지목하는 것이 아닙니다. 그들은 단순히 AI 역량, 독재 정부 및 최첨단 감시 국가가 가장 잘 결합된 국가일 뿐입니다. 사실 중국 공산당의 AI 기반 억압으로 가장 고통받을 사람들은 중국 국민들 자신이며, 그들은 정부의 행동에 목소리를 내지 못합니다. 저는 중국 국민을 크게 존경하고 존중하며 중국 내 수많은 용감한 반체제 인사와 그들의 자유 투쟁을 지지합니다.
  • AI 경쟁력을 갖춘 민주주의 (Democracies competitive in AI). 제가 앞서 썼듯이 민주주의는 일부 AI 기반 군사 및 지정학적 도구에 정당한 이해관계를 가집니다. 민주주의 정부가 독재의 이러한 도구 사용에 맞설 수 있는 최고의 기회를 제공하기 때문입니다. 넓게 보아 저는 AI 시대에 민주주의 국가가 독재 정권을 물리치는 데 필요한 도구로 무장하는 것을 지지합니다. 단지 저는 다른 방법이 없다고 생각할 뿐입니다. 그러나 우리는 민주주의 정부 자체에 의한 이러한 기술 남용의 잠재력을 무시할 수 없습니다. 민주주의 국가는 일반적으로 군대와 정보 기관이 자국민을 향해 안으로 향하는 것을 방지하는 안전장치를 가지고 있지만, AI 도구는 작동하는 데 너무 적은 인원이 필요하기 때문에 이러한 안전장치와 이를 뒷받침하는 규범을 우회할 가능성이 있습니다. 또한 일부 민주국가에서는 이러한 보호 조치 중 일부가 이미 점진적으로 침식되고 있다는 점에 유의할 필요가 있습니다. 따라서 우리는 민주주의 국가를 AI로 무장시켜야 하지만 신중하고 한도 내에서 그렇게 해야 합니다. 이들은 독재에 대항해 우리에게 필요한 면역 체계이지만 면역 체계와 마찬가지로 우리를 돌아서 위협이 될 위험도 있습니다.
  • 대규모 데이터센터를 보유한 비민주적 국가들 (Non-democratic countries with large datacenters). 중국 외에 덜 민주적인 거버넌스를 가진 대부분의 국가는 프런티어 AI 모델을 생산하는 회사가 없다는 점에서 주요 AI 강국이 아닙니다. 따라서 이들은 중국 공산당(the CCP)과는 근본적으로 다르고 더 적은 위험을 제기하며, 중국 공산당이 계속 가장 주요한 우려입니다(대부분 탄압 수준도 낮고 북한처럼 억압적인 국가는 유의미한 AI 산업이 아예 없습니다). 그러나 이들 중 일부 국가는 대형 데이터센터(종종 민주 국가에서 운영하는 회사들의 구축의 일부로)를 보유하고 있으며 이는 대규모 프런티어 AI를 실행하는 데 사용될 수 있습니다(하지만 이것이 프런티어를 추진할 능력을 부여하지는 않음). 이와 관련된 위험이 어느 정도 존재합니다. 이들 정부는 원칙적으로 데이터센터를 몰수하고 자신들의 목적을 위해 데이터센터 내의 AI 국가를 사용할 수 있습니다. AI를 직접 개발하는 중국 같은 국가들에 비해 걱정은 덜 하지만, 유념해야 할 위험입니다.
  • AI 회사들 (AI companies). AI 회사의 CEO로서 이런 말을 하기는 다소 껄끄럽지만 차순위 위험 단계는 실상 AI 기업 그 자체라고 생각합니다. AI 회사들은 대형 데이터센터를 통제하고 프런티어 모델을 훈련시키며 이러한 모델을 사용하는 방법에 대한 최고의 전문 지식을 보유하고 있고 경우에 따라 수천만에서 수억 명의 사용자와 매일 접촉하며 영향을 미칠 수 있습니다. 이들에게 가장 부족한 것은 국가의 정당성과 인프라이므로, AI 독재의 도구를 구축하는 데 필요한 것의 대부분은 AI 회사가 하기에 불법이거나 적어도 심히 의심스러운 일일 것입니다. 하지만 그 중 일부는 불가능하지 않습니다. 예를 들어 그들은 AI 제품을 사용하여 거대한 소비자 기반을 세뇌할 수 있으며, 대중은 이것이 나타내는 위험을 경계해야 합니다. 저는 AI 기업 거버넌스가 철저한 감사를 받을 가치가 있다고 생각합니다.

이러한 위협의 심각성에 반대하는 많은 주장이 있으며, AI 기반 독재주의는 저를 겁먹게 만들기 때문에 저도 이 주장들을 믿고 싶습니다. 이러한 주장 중 일부를 살펴보고 그에 대해 답변해 볼 가치가 있습니다.

첫째, 특히 군사 정복을 위한 AI 자율 무기 사용에 대응하기 위해 어떤 사람들은 핵 억지력에 믿음을 둘 수 있습니다. 누군가 이러한 무기를 당신에게 사용하겠다고 위협한다면, 항상 핵 보복으로 위협할 수 있습니다. 저의 우려는 데이터센터 안의 천재들의 국가에 대한 핵 억지력을 확신할 수 없다는 점입니다. 강력한 AI는 핵잠수함을 탐지하고 타격하는 방법을 고안해내거나, 핵무기 인프라 운영자에 대한 영향력 작전을 수행하거나, AI의 사이버 기능을 사용하여 핵 발사를 탐지하는 위성에 사이버 공격을 시작할 수 있습니다. 대안적으로, 국가 탈취가 오직 AI 감시와 AI 선전만으로 실행 가능하여 무슨 일이 벌어지고 있는지 뚜렷하게 알 수 있고 핵무기 대응이 적절한 명확한 순간을 제시하지 않을 수도 있습니다. 어쩌면 이러한 것들이 실현 불가능하고 핵 억제력이 계속 유효할 수도 있지만, 위험을 감수하기에는 판돈이 너무 큰 것 같습니다.

두 번째 가능한 이의 제기는 독재의 이러한 도구에 대해 우리가 취할 수 있는 대응책이 있을 것이라는 점입니다. 우리는 자체 드론으로 드론에 대항할 수 있고 사이버 방어도 사이버 공격과 함께 개선될 것이며 사람들을 선전물에 대해 면역시키는 방법이 있을 수 있습니다. 제 대답은 이러한 방어는 동등하게 강력한 AI가 있어야만 가능하다는 것입니다. 데이터센터 내의 동등하게 똑똑하고 수많은 천재 국가가 이끄는 어떤 대항력이 없다면 드론의 품질이나 수량을 맞추거나 사이버 방어가 사이버 공격보다 더 스마트해지게 하는 것은 불가능할 것입니다. 따라서 대응책 문제는 강력한 AI의 힘의 균형 문제로 귀결됩니다. 여기서 저는 이 에세이 시작 부분에서 논의했던 강력한 AI의 재귀적 또는 자기 강화적 속성에 대해 우려합니다. AI의 각 세대는 차세대 AI를 설계하고 훈련시키는 데 사용될 수 있습니다. 이로 인해 통제 불능의 우위를 점하게 될 위험이 생기며 강력한 AI의 현재 리더는 리드를 더욱 넓힐 수 있고 다른 이가 따라잡기 어려워질 수 있습니다. 우리는 권위주의 국가가 이 루프에 먼저 도달하지 않도록 해야 합니다.

게다가 힘의 균형이 달성될 수 있다 하더라도 1984년처럼 세계가 독재적 세력권으로 분열될 위험은 여전히 존재합니다. 경쟁하는 여러 강대국이 각기 강력한 AI 모델을 보유하고 서로를 제압할 수 없다고 해도, 각 세력은 여전히 자국민을 내부적으로 억압할 수 있으며(주민들은 스스로를 방어할 강력한 AI가 없으므로) 체제를 무너뜨리기 매우 어려울 것입니다. 따라서 세계를 한 나라가 장악하는 결과를 낳지 않더라도 AI 기반 독재를 방지하는 것은 중요합니다.

방어 (Defenses)

이러한 광범위한 독재의 도구와 잠재적 위협 행위자들로부터 어떻게 방어해야 할까요? 이전 섹션들과 마찬가지로 우리가 할 수 있는 일이 몇 가지 있다고 생각합니다. 첫째, 우리는 절대 중국 공산당에 칩, 칩 제조 장비, 혹은 데이터센터를 판매해서는 안 됩니다. 칩과 칩 제조 장비는 강력한 AI에 대한 가장 큰 단일 병목 현상이며 이를 차단하는 것은 단순하지만 엄청나게 효과적인 조치로, 아마도 우리가 취할 수 가장 중요한 단일 조치일 것입니다. 중국 공산당에게 AI 전체주의 국가를 건설하고 아마도 우리를 군사적으로 정복할 수 있는 도구를 팔 이유가 전혀 없습니다. 그러한 판매를 정당화하기 위해 복잡한 주장들이 제시되는데, 예를 들어 “전 세계에 우리의 기술 스택(tech stack)을 퍼뜨리는 것”이 “미국이 불특정하고 일반적인 경제 전쟁에서 승리”할 수 있게 해준다는 식의 발상입니다. 제 생각에 이것은 북한에 핵무기를 팔고서 미사일 외피가 보잉(Boeing) 제품이니까 미국이 “이기는 중”이라고 자랑하는 것과 같습니다. 중국은 대량의 프런티어 칩 생산 능력에 있어서 미국에 몇 년 뒤처져 있으며, 데이터센터에 천재들의 국가를 구축하기 위한 중요한 시기는 향후 몇 년 이내가 될 가능성이 높습니다. 이 중요한 시기에 그들의 AI 산업을 크게 부스트해 줄 이유가 전혀 없습니다.

둘째, 민주주의가 독재 정권에 저항할 수 있도록 AI를 사용하여 힘을 싣는 것이 이치에 맞습니다. 이것이 Anthropic이 미국과 그 민주주의 동맹국의 정보 및 국방 공동체에 AI를 제공하는 것을 중요하게 고려하는 이유입니다. 우크라이나와 대만(사이버 공격을 통해)처럼 공격받고 있는 민주주의를 방어하는 것은 최우선 순위로 보이며, 정보 기관을 사용하여 독재를 내부에서 방해하고 쇠퇴시키도록 민주주의 국가들에 권한을 부여하는 것도 중요합니다. 어느 수준에서 독재적 위협에 대응하는 유일한 방법은 군사적으로 동등하게 맞서고 압도하는 것입니다. 미국과 그 민주주의 동맹국 연합이 강력한 AI에서 우위를 점한다면 독재로부터 스스로를 방어할 뿐만 아니라 그들을 억제하고 AI 전체주의의 남용을 제한할 수 있는 위치에 있게 될 것입니다.

셋째, 우리는 민주주의 내에서 AI 남용에 대해 강경한 선을 그어야 합니다. 정부가 권력을 장악하거나 자국민을 억압하지 않도록 AI로 할 수 있는 일에 한계가 필요합니다. 제가 도출해낸 공식은 우리가 독재적 적대자들과 더 비슷해지게 만드는 방식들을 제외하고는, 국가 안보를 위해 AI를 사용해야 한다는 것입니다.

선을 어디에 그어져야 할까요? 이 섹션의 앞부분에 있는 목록 중 국내 대중 감시와 대중 선전을 위해 AI를 사용하는 두 항목은 확실한 레드라인이자 전적으로 불법이어야 한다고 생각합니다. 일각에서는 국내 대량 감시가 미국 수정헌법 제4조(Fourth Amendment)에 따라 이미 불법이므로(적어도 미국 내에서는) 아무런 조치를 취할 필요가 없다고 주장할 수 있습니다. 그러나 AI의 급속한 발전은 기존의 법적 체계가 다루도록 잘 설계되지 않은 상황을 조성할 수 있습니다. 예를 들어, 미국 정부가 모든 대중 대화(예: 길모퉁이에서 사람들이 나누는 대화)를 대규모로 기록하는 것은 위헌이 아닐 가능성이 높으며 이전에는 이 방대한 양의 정보를 분류하기 어려웠겠지만, AI를 사용하면 이를 모두 기록, 해석하고 삼각 측량하여 수많은 혹은 대부분의 시민들의 태도와 충성도에 대한 그림을 생성할 수 있습니다. 저는 AI 기반 인권 남용에 대항해 강력한 안전장치를 부과하는 민권 중심의 입법(혹은 심지어 헌법 수정안)을 지지할 것입니다.

나머지 두 항목인 완전 자율 무기와 전략적 의사 결정을 위한 AI는 민주주의 수호에 합법적인 용도가 있으면서 동시에 남용될 가능성도 크기 때문에 선을 긋기 더 어렵습니다. 여기서 필요한 것은 남용을 방지하기 위한 가드레일이 결합된 극도의 주의와 철저한 조사라고 생각합니다. 저의 주요 두려움은 명령을 수행하기 위해 “버튼에 손을 올린” 너무 적은 수의 사람들이 본질적으로 다른 인간과 협력할 필요 없이 단독이나 소수만으로 무인 군대를 운영할 수 있게 되는 것입니다. AI 시스템이 강력해질수록 우리는 오용되지 않도록 보다 직접적이고 즉각적인 감독 메커니즘을 가져야 할 수도 있으며 이는 행정부 외의 다른 정부 부처를 포함할 수 있습니다. 저는 우리가 특히 완전 자율 무기에 대단히 조심스럽게 접근해야 하며, 적절한 안전장치 없이 그 사용을 서두르지 않아야 한다고 생각합니다.

넷째, 민주주의 내에서의 AI 남용에 강경한 선을 그은 후에는, 그 선례를 사용하여 강력한 AI의 최악의 남용에 대한 국제적인 금기(taboo)를 만들어야 합니다. 현재 정치적 바람이 국제 협력 및 국제 규범에 반대하는 쪽으로 돌아섰다는 것을 인식하지만, 이는 우리가 심각하게 그것들을 필요로 하는 경우입니다. 전 세계는 독재자의 손에 쥐어진 강력한 AI의 어두운 잠재력을 이해해야 하며, AI의 특정 사용은 결코 벗어날 수 없는 전체주의 국가를 부과하고 사람들의 자유를 영원히 앗아가려는 시도와 같다는 것을 인식해야 합니다. 저는 심지어 일부 경우에서는 강력한 AI를 통한 대규모 감시, 대중 선전, 그리고 완전 자율 무기의 특정 공격적 사용이 반인도적 범죄로 간주되어야 한다고까지 주장하고 싶습니다. 보다 일반적으로 AI 기반 전체주의와 모든 도구 및 기기에 반대하는 강력한 규범이 절실히 필요합니다.

이 입장의 더 강력한 버전을 갖는 것도 가능합니다. AI 기반 전체주의의 가능성이 너무 암울하기 때문에 강력한 AI 이후의 시대에는 사람들이 독재라는 정부 형태를 결코 용납할 수 없다는 것입니다. 산업 혁명과 함께 봉건주의가 작동할 수 없게 된 것처럼, AI 시대는 인류가 좋은 미래를 갖기 위해 민주주의(그리고 희망하건대 은총이 넘치는 기계들에서 제가 논의한 대로 AI에 의해 개선되고 재활성화된 민주주의)가 유일하게 실현 가능한 정부 형태라는 피할 수 없고 논리적인 결론으로 이끌 수 있습니다.

다섯째이자 마지막으로 AI 회사를 주의 깊게 지켜보아야 하며 정부와의 관계 역시 주의 깊게 감시되어야 합니다. 이것은 필수적이지만 한계와 경계가 있어야 합니다. 강력한 AI에 구현된 역량의 규모가 너무 엄청나기 때문에, 주주를 보호하고 사기와 같은 일반적인 남용을 방지하기 위해 설계된 평범한 기업 거버넌스는 AI 회사를 지배하는 임무를 감당하지 못할 것입니다. 또한 기업이 비밀리에 군사 하드웨어를 구축 및 비축하거나 통제받지 않는 단일 개인이 다량의 컴퓨팅 리소스를 사용하거나 기업에 유리하게 여론을 조작하는 선전 수단으로 자사의 AI 제품을 사용하는 것과 같은 특정한 행위를 하지 않겠다고 공개적으로 약속하는 것(아마도 기업 거버넌스의 일환으로서)도 가치가 있을 수 있습니다.

이곳에서 위험은 여러 방향에서 다가오며 일부 방향은 다른 방향과 상충합니다. 유일하게 변함없는 사실은 “나쁜” 행위자를 억제하기 위해 “좋은” 행위자에게 힘을 부여하더라도, 우리 모두를 위해 책임성, 규범 및 가드레일을 계속 추구해야 한다는 것입니다.

4. 자동 피아노 (Player piano)

경제적 혼란 (Economic disruption)

앞의 세 섹션은 기본적으로 강력한 AI가 제기하는 안보 위험, 즉 AI 자체의 위험, 개인과 소규모 조직의 오용으로 인한 위험, 국가와 대형 조직의 오용에 따른 위험에 관한 것이었습니다. 보안 위험을 논외로 하거나 이들이 해결되었다고 가정한다면 다음 질문은 경제적 부분입니다. 이 놀라운 “인적” 자본 주입이 경제에 미칠 영향은 무엇일까요? 가장 명백한 영향은 경제 성장을 크게 촉진할 것이라는 점입니다. 과학 연구, 바이오메디컬 혁신, 제조업, 공급망, 금융 시스템 효율성 등 많은 분야의 발전 속도는 경제 성장을 훨씬 더 빠르게 보장할 것입니다. 은총이 넘치는 기계들에서 저는 연간 10~20%의 지속적인 GDP 성장률이 가능할 수 있다고 제안했습니다.

하지만 이것이 양날의 검임은 분명할 것입니다. 그런 세상에서 대다수 현존하는 인간의 경제적 전망은 어떠할까요? 신기술은 종종 노동 시장의 충격을 가져왔고 과거 인간은 항상 그로부터 회복해 왔습니다. 그러나 저는 그 이유는 이전의 충격들이 가능한 인간 능력의 전체 범위 중 작은 일부분에만 영향을 미쳐 인간이 새로운 직업으로 진출할 공간을 남겼기 때문이라고 우려합니다. AI는 훨씬 더 광범위하게 적용되고 훨씬 더 빠르게 일어나는 효과를 가져올 것이며, 따라서 결과가 훌륭히 작동하도록 만드는 것이 훨씬 더 어려울 수 있습니다.

노동 시장 혼란 (Labor market disruption)

제가 우려하는 구체적인 문제 두 가지는 노동 시장의 변위(displacement)와 경제력의 집중입니다. 첫 번째부터 시작하겠습니다. 이 주제는 2025년에 제가 대중에게 널리 경고했던 내용으로, AI가 경제 성장과 과학 발전을 가속화하는 동안에도 향후 1~5년 안에 엔트리 레벨 화이트칼라 직무의 절반을 대체할 수 있다고 예측했습니다. 이 경고는 이 주제에 대한 대중적 토론을 불러일으켰습니다. 많은 CEO, 기술자, 경제학자들이 제 생각에 동의했지만, 어떤 이들은 제가 “노동 총량의 오류(lump of labor fallacy)”에 빠져 노동 시장이 어떻게 돌아가는지 이해하지 못한다고 단정 지었고, 어떤 이들은 1~5년의 시간 범위를 보지 못하고 제가 현재 당장 AI가 일자리를 대체하고 있다고(저는 그렇지 않을 것이라는 데 동의합니다) 주장한다고 생각했습니다. 따라서 이러한 오해를 불식시키기 위해 왜 제가 노동력 변위를 우려하는지 세부적으로 살펴볼 가치가 있습니다.

기본적으로 노동 시장이 새로운 기술의 발전에 통상 어떻게 반응하는지 이해하는 것이 유용합니다. 신기술이 나타나면 처음에는 특정 인간 직업의 일부분을 더 효율적으로 만드는 것에서 시작합니다. 예를 들어 산업 혁명 초기, 개량된 쟁기와 같은 기계는 인간 농부들이 직업의 일부 측면을 더 효율적으로 수행하도록 도왔습니다. 이로 인해 농부들의 생산성이 향상되었고, 이는 임금 상승으로 이어졌습니다.

다음 단계에서, 탈곡기나 파종기의 발명으로 농사 작업의 일부를 전적으로 기계가 수행할 수 있게 되었습니다. 이 단계에서 인간이 수행하는 직무의 비율은 점점 줄어들었지만, 인간이 완수하는 작업은 기계의 작업과 상호보완적이었기 때문에 훨씬 더 레버리지가 컸으며 그들의 생산성은 지속적으로 상승했습니다. 제본스의 역설(Jevons’ paradox)이 설명하듯, 농부들의 임금과 심지어 농부들의 숫자까지도 계속해서 증가했습니다. 기계가 작업의 90%를 하더라도 인간은 자신들이 수행하는 10%의 작업을 10배 더 많이 해낼 수 있었으며 같은 양의 노동력으로 10배 많은 산출물을 생산할 수 있었습니다.

마침내, 현대 콤바인 수확기, 트랙터 및 다른 장비에서 보듯 기계가 거의 모든 것을 수행하게 됩니다. 이 시점에 이르면 인류 고용 형태로서의 농업은 정말로 가파른 하락세로 접어들고 단기적으로 심각한 혼란을 초래할 가능성이 큽니다. 하지만 농업은 인간이 할 수 있는 여러 유용한 활동 중 하나일 뿐이므로, 사람들은 결국 공장 기계를 조작하는 것과 같은 다른 직업으로 전환합니다. 이전 시점에 농업이 고용에서 엄청난 비율을 차지했음에도 불구하고 이는 사실이었습니다. 250년 전 미국인의 90%는 농장에서 살았고 유럽의 고용 중 50~60%가 농업이었습니다. 노동자들이 공업 분야(후에는 지식 노동)로 일자리를 바꿨기 때문에, 이제 그 곳들의 농업 비중은 한 자릿수 초반에 불과합니다. 예전에 노동력의 대부분이 필요했던 일을 경제는 단 1~2%만으로 해낼 수 있으며, 나머지 노동력을 더 진보된 산업 사회를 구축하는 데 자유롭게 사용할 수 있습니다. 고정된 “노동의 총량(lump of labor)”이란 존재하지 않으며 단지 점점 더 적은 것으로 계속해서 더 많은 것을 해낼 수 있는 능력만이 늘어날 뿐입니다. 경제가 단기적인 혼란을 지나면 사람들의 임금은 GDP의 기하급수적 성장과 함께 오르며 경제는 완전 고용을 유지합니다.

이와 대략 비슷한 과정이 AI에서도 전개될 가능성이 있지만, 저는 반대의 경우에 상당히 강하게 베팅하고 싶습니다. 제가 AI가 과거와 다를 것이라고 생각하는 몇 가지 이유는 다음과 같습니다:

  • 속도 (Speed). AI 발전 속도는 이전 기술 혁명보다 훨씬 빠릅니다. 예를 들어 지난 2년 동안 AI 모델은 단 한 줄의 코드를 간신히 완성하는 수준에서 Anthropic의 엔지니어들을 포함한 일부 사람들의 거의 모든 코드를 대신 작성해주는 수준으로 진화했습니다. 머지않아 그들은 소프트웨어 엔지니어의 전체 업무를 처음부터 끝까지 수행할 수도 있습니다. 사람들은 직무 수행 방식의 변화나 새 직업으로 전환해야 하는 상황에 이 같은 속도로 적응하기 어렵습니다. 전설적인 프로그래머들조차도 스스로가 점점 “뒤처지고 있다”고 묘사합니다. AI 코딩 모델이 점차 AI 개발 업무를 가속화함에 따라 이 속도는 앞으로 더욱 빨라질 것입니다. 분명히 말씀드리자면, 속도 자체로 인해 노동 시장과 고용이 궁극적으로 회복되지 않을 것이란 의미는 아니며 인간과 노동 시장이 적응하고 균형을 찾는 속도가 느린 탓에 단기적인 전환 과정이 지난 기술들에 비해 이례적으로 고통스러울 것이라는 의미입니다.
  • 인지적 폭 (Cognitive breadth). “데이터센터 안의 천재들의 국가”라는 문구에서 알 수 있듯이 AI는 매우 광범위한 인간의 인지 능력을 발휘할 수 있을 것이며, 아마 모든 인지 능력을 포괄할 수도 있습니다. 이는 기계화된 농업, 운송수단, 심지어 컴퓨터와 같은 이전의 기술과는 전혀 다릅니다. 이는 사람들로 하여금 변위된 직업에서 자신이 잘 맞을 다른 유사한 직업으로 쉽게 전환하는 것을 어렵게 만들 것입니다. 예를 들어 금융, 컨설팅, 법률 분야의 엔트리 레벨 직무에 요구되는 특정 지식은 매우 다르지만 그 바탕에 필요한 전반적인 지적 능력은 상당히 유사합니다. 만약 기술이 이 셋 중 하나만 혼란에 빠트렸다면 종사자는 다른 두 개의 대체 가능한 비슷한 직무로(또는 학부생이 전공을 바꾸는 방식으로) 이직할 수 있습니다. 그러나 동시에 세 분야(그 밖의 많은 유사 직무들과 함께)가 모두 무너진다면 사람들이 이에 적응하는 것은 더 어려울 것입니다. 게다가 단지 현존하는 직무의 대부분이 교란된다는 것만이 아닙니다. 그런 일은 이전에도 발생했습니다. 농업이 고용의 엄청난 비중을 차지했던 시기를 떠올려보십시오. 농부들은 과거 흔치 않았던 공장 기계를 조작하는 직무로 이동할 수 있었습니다. 그 일이 비교적 유사했기 때문입니다. 반면 AI는 점점 인간 일반의 인지 프로필을 본뜨고 있으며, 이는 자동화로 옛 직업이 사라진 데 대응해 생겨날 새 직업조차 AI가 능숙히 처리할 수 있음을 의미합니다. 다시 말해 AI는 단순히 특정 인간 일자리의 대체재가 아니라 인간 그 자체에 대한 포괄적인 노동 대체재인 것입니다.
  • 인지 능력별 계층화 (Slicing by cognitive ability). 광범위한 작업 전반에 걸쳐 AI는 능력의 사다리 맨 아래에서부터 위로 나아가고 있는 것으로 보입니다. 예를 들어 코딩 분야에서 우리의 모델은 “평범한 코더” 수준에서 “강력한 코더”, 그리고 “매우 강력한 코더”로 발전해 왔습니다. 우리는 이제 화이트칼라 작업 전반에서 동일한 진전을 목도하기 시작하고 있습니다. 따라서 우리는 AI가 특정 기술이나 직종(이들은 재교육으로 적응할 수 있음)의 사람들에게 영향을 미치는 대신 지적 능력이 떨어지는 특정 본질적 인지 속성(바꾸기 훨씬 어려운)을 가진 사람들에게 영향을 미칠 수 있는 상황의 위험에 직면해 있습니다. 이러한 사람들이 어디로 가고 무엇을 할지 분명치 않으며, 저는 이들이 실업 상태이거나 매우 낮은 임금의 “하위 계층(underclass)”을 형성할 수 있다고 우려합니다. 분명히 말하자면, 이런 비슷한 일들이 이전에도 일어났습니다. 일부 경제학자들은 컴퓨터와 인터넷을 “숙련 편향적 기술 변화(skill-biased technological change)”로 간주합니다. 하지만 이 편향성은 AI로 인해 나타날 극단적 형태에 미치지 못했으며 오히려 임금 불평등을 가중시키는 데 기여했다고 여겨지므로, 정확히 안심할 수 있는 선례는 아닙니다.
  • 공백을 메우는 능력 (Ability to fill in the gaps). 새로운 기술의 등장에 직면하여 보통 인간의 일자리가 조정되는 방식은 다음과 같습니다. 직무에는 여러 측면이 있으며 신기술이 아무리 인간을 직접 대체하는 듯 보이더라도 종종 빈틈이 존재합니다. 만약 누군가 위젯을 만드는 기계를 발명했다면 인간은 여전히 그 기계에 원료를 넣어야 할 수도 있습니다. 위젯을 수작업으로 만들던 때보다 1%의 노력만 필요하더라도 인간 노동자는 위젯을 100배 더 생산해내면 됩니다. 그러나 AI는 빠르게 발전하는 기술인 동시에 빠르게 적응하는 기술이기도 합니다. 각 모델 릴리스 단계에서 AI 기업들은 모델이 무엇을 잘하고 무엇을 못하는지 면밀히 측정하며, 출시 후 고객들 또한 관련 정보를 제공합니다. 취약점은 현재 빈틈을 나타내는 과제들을 수집해 향후 모델을 학습시킴으로써 극복될 수 있습니다. 초기 제너레이티브 AI 시절, 사용자들은 AI 시스템에 특정 약점(예를 들어 손가락 개수가 맞지 않는 손을 생성하는 AI 이미지 모델 등)이 있음을 인지했고 이를 이 기술 고유의 한계라고 가정했습니다. 이것이 본질적 문제라면 일자리의 붕괴는 제한적일 것입니다. 그러나 이러한 류의 약점은 예외 없이 거의 빠르면 수개월 안에 신속하게 해결되고 있습니다.

여기에 제기되는 흔한 회의론적 주장을 검토할 가치가 있습니다. 첫째, 기본적인 기술이 인간의 노동 대다수를 해낼 역량이 있다고 하더라도 이 기술이 경제 전반(예를 들어 AI 산업과 멀고 도입에 보수적인 산업군)에 적용되는 과정, 즉 확산 속도는 훨씬 더뎌질 것이라는 주장이 존재합니다. 신기술의 느린 확산 현상은 실재합니다. 제가 폭넓은 영역의 기업 관계자들과 이야기를 나누다 보면 어떤 부문의 AI 적용에는 수년이 소요될 것으로 보입니다. 비록 기술적으로 (초급만이 아니라 거의 모든 업무를 해낼 수준의) 강력한 AI 도래는 향후 5년보다 짧게 소요될 것으로 생각하지만, 엔트리 레벨 화이트칼라 일자리의 50%가 1~5년 안에 변위될 것으로 제가 예측한 까닭도 이 때문입니다. 하지만 지연된 확산 효과는 기껏해야 시간을 벌어주는 수준에 불과합니다. 또한 그것이 사람들이 기대하는 것만큼 늦을 것이라고 확신하지도 못합니다. 기업용 AI 도입 속도는 순수한 기술력 그 자체를 원동력으로 하여 그 어떤 과거의 기술보다도 가파르게 상승하고 있습니다. 설령 전통적 대기업의 신기술 도입이 느릴지언정 스타트업들이 뛰어들어 이 도입을 더 원활하게 하는 “접착제” 역할을 할 것입니다. 그마저도 안 통한다면 이 스타트업들이 그냥 기존 기업들을 직접 파괴해 버릴 수도 있습니다.

이는 결과적으로 특정 일자리들이 대체된다기보다 대기업 전반이 해체되어 노동 집약도가 훨씬 낮은 스타트업들로 교체되는 세상을 열 수 있습니다. 나아가 전 세계 부의 점점 더 큰 비중이 실리콘 밸리에 집중되어 세계의 다른 지역을 버려둔 채 독자적인 궤도로 달려가는 “지리적 불평등” 시대가 올 수도 있습니다. 이러한 모든 결과물들은 경제 성장 측면에선 대성공이겠지만 노동 시장이나 뒤처진 계층에겐 결코 반갑지 않은 소식이 될 것입니다.

둘째, 어쩌면 인간의 일자리가 물리적 세계로 이동하여 AI 발전이 너무 가파른 “인지적 노동” 부문을 우회하게 될 수도 있다는 주장이 있습니다. 저는 이 또한 얼마나 안심할 수 있는 주장인지 확신하지 못합니다. 이미 수많은 물리적 노동이 기계에 의해 행해지고 있으며(예: 제조업), 조만간 더 많은 기계가 인간을 대체할 것입니다(예: 운전). 나아가 인공지능이 충분히 고도화되면 물리적인 로봇 기술 발전을 견인하여 그 로봇을 통제하게 될 것입니다. 이것이 우리에게 시간을 좀 벌어줄 수는 있겠지만(이 자체는 긍정적입니다), 그 시간이 그리 길지 않을 것이란 우려가 듭니다. 게다가 오로지 인지적 직무 영역에 국한해서 노동 시장에 파장이 온다 하더라도 그 규모와 속도는 전례를 찾기 어려울 것입니다.

셋째, 아마도 일부 일은 고유하게 인간의 손길을 필요로 하거나 거기서 더 큰 이점을 얻을 수 있을 것입니다. 이것에 대해서는 약간 더 불확실하지만, 저는 앞서 묘사한 여파의 대부분을 상쇄할 만큼 그것이 충분할지에 대해서 여전히 회의적입니다. AI는 이미 고객 서비스에서 널리 활용되고 있습니다. 많은 사람이 개인적인 문제를 상담할 때 치료사보다는 AI에게 이야기하는 게 더 편안하고, AI가 한층 더 인내심 있게 들어준다고 보고합니다. 제 여동생이 임신 중 의학적인 문제로 어려움을 겪고 있었을 때 진료진으로부터 충분한 답변이나 지지를 받지 못한다고 느꼈고, Claude가 질병의 진단은 물론이고 임상적인 태도 측면에서도 더 나았다고 느꼈습니다. 저는 인간의 손길이 정말 중요한 일들이 분명 존재한다고 확신합니다만, 대체 얼마나 많은지는 확신하지 못합니다. 여기서 우리는 거의 모든 노동 시장 인구를 수용할 일을 찾아내야 하는 문제에 대해 이야기하고 있습니다.

넷째, 경제학의 비교 우위 법칙이 계속해서 인간을 보호해 줄 것이라는 반박도 가능합니다. 이 논리에 따르면 설령 AI가 세상의 모든 것에 인간보다 뛰어나다 할지라도 인공지능과 인간이 지닌 능력치 프로필 간의 상대적 차이는 양측의 전문화와 교역을 위한 기틀을 다져줄 수 있습니다. 하지만 문제는 만일 인공지능이 인간보다 말 그대로 수천 배 더 생산적일 경우, 이 논리는 붕괴되기 시작한다는 점입니다. 심지어 미미한 거래 비용조차도 인공지능 입장에선 굳이 인간과 거래할 가치가 없다고 판단하게 만들 수 있습니다. 인류의 노동에 기술적으로 약간 제공할 무언가가 있다 하더라도 임금은 바닥을 치게 될지 모릅니다.

물론 노동시장이 어마어마한 변혁조차도 융통성 있게 소화해내며 이 같은 요소들이 모두 해소될 가능성도 열려 있습니다. 하지만 궁극적으로 적응해 낼 수 있다손 치더라도 상기 거론한 여러 요소들을 감안할 때 그 과도기적 단기 충격의 규모는 역사상 유례를 찾기 어려울 것입니다.

방어 (Defenses)

이 문제에 대해 우리는 어떻게 할 수 있을까요? 저는 몇 가지 제안을 드릴 수 있으며, 이 중 일부는 이미 Anthropic이 실행에 옮기고 있습니다. 첫째, 가장 기본적으로는 일자리 대체(job displacement)에 관한 실제 데이터를 실시간으로 정확하게 확보하는 것입니다. 경제적 변동이 워낙 순식간에 벌어지는 탓에 정확한 데이터를 얻기가 쉽지 않으며 신뢰할 만한 통계 수치 없이는 유효한 정책 입안도 불가능합니다. 예컨대 현재 미국 정부 데이터에는 기업이나 업종에 걸친 세밀한 고빈도 AI 도입 상황 통계가 부재합니다. 그래서 Anthropic은 지난 1년 내내 저희 모델 이용 상황을 거의 실시간으로 추적하는 경제 지수(Economic Index)를 운영하고 이를 업종, 업무, 지역 별, 심지어 특정 작업이 단순히 자동화되는지 아니면 협업 형태로 이루어지는지 여부로 세분화하여 대중에 널리 발표해 왔습니다. 우리는 향후 어떠한 일들이 다가올 것인지를 내다보고 데이터를 해석하기 위해 경제 자문 위원회도 가동하고 있습니다.

둘째, 인공지능 기업들은 기업 고객들과 일하는 방식을 선택할 수 있습니다. 전통적 기업들이 태생적으로 비효율성을 안고 있다 보니 AI의 롤아웃이 기존 경로 의존적으로 이뤄질 소지가 농후하며 따라서 더 나은 방향을 선택할 수 있는 여지도 존재합니다. 대기업들은 종종 ‘비용 감축'(동일 업무를 적은 인원으로 처리)이나 ‘혁신'(동일 인원으로 더 많은 결과물을 창출) 사이에서 양자택일을 강요받습니다. 시장의 흐름 상 결국 둘 다 나타날 수밖에 없으며, 경쟁력 있는 AI 회사라면 두 수요 모두에 적절히 부응해야 하겠지만, 가능하다면 기업들의 시야를 혁신 방향으로 유도할 수 있는 공간이 남아 있고, 그것이 우리에게 얼마간 시간을 벌어다 줄 것입니다. Anthropic도 이 주제를 매우 적극적으로 고민하고 있습니다.

셋째, 각 기업은 기존 직원을 보듬을 방법을 모색해야 합니다. 단기적으로는 회사 내 재배치 방식 등에 관해 창의적으로 접근하는 것이 당장의 해고 사태를 모면할 유력한 방편이 될 수 있습니다. 훗날 사회 전체 부의 총량이 폭증하고, 생산성 증대 및 자본 집중으로 인해 많은 기업들의 기업가치가 수직 상승하는 미래 사회에서는 종업원들이 더 이상 기존 잣대의 경제적 가치를 창출하지 못하게 된 한참 후에도 그들에게 임금을 챙겨주는 일이 물리적으로 가능할지 모릅니다. Anthropic 또한 우리 직원들을 보듬을 여러 잠재 경로를 심도 있게 검토 중이며 머지않아 그 구상을 공개할 계획입니다.

넷째, 우리 사회 부유층 인사들은 이 난제 해결에 공헌할 의무가 있습니다. 많은 부호들(특히 테크 업계 소속 부자들)이 최근 자선 활동을 한낱 사기극이나 부질없는 짓이라며 지독히 냉소적이고 허무주의적인 시선으로 깎아내리는 것은 제게 너무나 서글픈 일입니다. 빌 앤 멜린다 게이츠 재단 같은 민간 자선기금과 PEPFAR(미국 대통령 에이즈 구호 긴급 계획) 같은 공공 구호 활동은 그동안 개발도상국에서 수천만 명의 목숨을 구해냈을 뿐만 아니라 선진국에도 새 경제적 파급 기회를 조성하는 데 일조했습니다. Anthropic의 공동 창업자들 전원은 자신들 재산의 80%를 사회에 환원하기로 약속했으며 사내 임직원들 역시 현시가 수십억 달러에 달하는 회사 주식을 개인 자격으로 내놓겠다고 다짐했습니다. 아울러 회사 차원에서도 그 액수만큼 매칭 기부를 약속했습니다.

다섯째, 앞서 거론한 민간 영역의 실천도 유익하긴 하나 궁극적으로 이토록 거대한 거시경제적 문제를 해결하려면 결국 정부 개입이 불가피합니다. 막대해진 경제적 파이와 동시에 (다수를 위한 일자리 감소나 저임금 문제에서 비롯되는) 심각한 불평등 상황이 결합되었을 때 자연스레 도출되는 정책적 처방은 누진세(progressive taxation)입니다. 세금의 형태는 보편적일 수도, 아니면 AI 기업만을 겨냥한 표적 세제가 될 수도 있습니다. 물론 조세 제도를 짠다는 것은 몹시 난해한 일이라 여기저기서 엇나갈 위험도 큽니다. 졸속으로 마련된 세제는 지지하지 않습니다. 저는 이 에세이가 예측하는 지독한 불평등 수준이라면 기본적인 도덕 원칙 차원에서도 강력한 조세 정책이 합당하다고 생각하지만, 세계의 억만장자들에게 실용적인 이유로라도 ‘좋은 버전의 정책’을 지지하라고 촉구할 수 있습니다: 그들이 좋은 버전의 법안을 지지하지 않는다면 필연적으로 분노한 군중에 의해 설계된 끔찍한 버전을 마주하게 될 것입니다.

결국, 저는 위에서 논의한 모든 개입 방안을 ‘시간을 버는 수단’으로 인식하고 있습니다. 끝내 AI는 모든 인간 노동을 대체할 것이며 우리는 그 사실과 정면 승부해야 합니다. 그 시점이 오면 AI 그 자체를 이용해 모두가 승리하는 새로운 시장 구조를 재편할 수 있으리라 소망하며, 방금 언급한 이 개입 조치들이 인류가 그 과도기를 무사히 건너갈 수 있도록 돕기를 바랍니다.

경제적 권력 집중 (Economic concentration of power)

일자리 대체나 경제적 불평등 문제 그 자체와 별도로 경제적 권력의 집중(economic concentration of power)이라는 문제가 존재합니다. 앞선 섹션 1에서는 인류가 AI에 의해 힘을 박탈당할 위험을, 섹션 3에서는 시민이 강제나 강압에 의해 정부로부터 권력을 잃을 위험을 논의했습니다. 하지만 특정 소수 집단이 어마어마한 부를 독점함으로써 정부 정책의 키를 실질적으로 쥐락펴락하고 정작 보통 시민들은 경제적 지렛대가 없어 발언권조차 빼앗기는 일이 벌어지면 이는 또 다른 형태의 힘의 박탈(disempowerment)을 초래합니다. 민주주의는 궁극적으로 경제가 돌아가기 위해선 전체 국민이 필요하다는 근본 이념에 뿌리를 두고 있습니다. 이 경제적 지렛대가 사라지면 민주주의의 암묵적 사회 계약 역시 작동을 멈출지 모릅니다. 이와 관련해서는 다른 이들도 거론한 적이 있으므로 이 자리에서 길게 서술하진 않겠으나, 저 역시 이 우려에 공감하며, 이미 이러한 흐름이 태동하기 시작했다고 생각합니다.

오해를 막기 위해 덧붙이자면 저는 사람들이 큰돈을 버는 행위에 반대하지 않습니다. 정상적인 상황이라면 이러한 동기가 튼튼한 경제 성장을 견인한다는 꽤 타당한 근거가 있습니다. 저 또한 혁신을 낳는 황금알 낳는 거위를 죽여선 곤란하다는 우려에 공감합니다. 그러나 GDP가 매년 10~20%씩 치솟고 AI가 경제 전반을 급속히 삼키는 상황 속에서 일부 특정인이 국가 GDP의 상당한 비중을 독점해버린다면 그때 우리가 걱정해야 할 문제는 더 이상 혁신의 둔화가 아닙니다. 우리가 정작 걱정해야 할 것은 사회를 붕괴시킬 정도로 비정상적인 수준의 부의 집중입니다.

미국 역사상 가장 유명한 극단적 부의 편중 사례는 도금 시대(Gilded Age)였으며, 도금 시대 최고의 산업 자본가는 존 D. 록펠러(John D. Rockefeller)였습니다. 록펠러의 자산 규모는 당시 미국 GDP의 약 2%에 육박했습니다. 오늘날의 잣대로 그 비율을 환산해 보면 6,000억 달러에 이르며 현재 세계 최고 부호(일론 머스크)의 자산이 이미 약 7,000억 달러를 훌쩍 넘어섰습니다. 따라서 인공지능이 안길 주요 경제적 충격파가 아직 다다르기 전인 지금도 우리는 전례를 찾기 힘들 수준의 부의 독점 현상을 겪고 있습니다. (만약 우리가 “천재들의 국가”를 맞이한다면) AI 관련 기업이나 반도체 생산 업체, 그리고 하위 응용 소프트웨어 생태계가 1년에 3조 달러 수준의 수입을 내고, 30조 달러 수준으로 가치 평가되며, 단일 개인 재산이 수조 달러를 훌쩍 넘어가는 세상을 상상하는 것도 무리한 공상은 아닙니다. 그런 세상이 되면 우리가 현재 논하고 있는 세금 관련 담론들은 완전히 다른 국면에 접어들 것이므로 전혀 통용되지 않게 될 것입니다.

이와 연관해 이런 경제적 부의 편중 현상이 정치 체제와 결합하는 흐름 또한 벌써부터 제 심기를 건드립니다. 인공지능 데이터센터는 이미 미국 경제 성장 동력에서 적잖은 비중을 차지하고 있으며, 갈수록 AI 기술과 인프라에 주력 중인 굴지의 테크 대기업 이해관계와 정부 차원의 정책 이해가 나쁜 인센티브를 양산할 소지가 짙게 유착되는 양상을 띠고 있습니다. 이 흐름은 미국의 테크 기업들이 정부 정책에 각 세우기를 극도로 꺼리는 분위기 속에서 인공지능 관련 극단적인 규제 철폐주의를 향한 정부의 동조 기류를 보면 이미 나타나고 있습니다.

방어 (Defenses)

이를 해결하기 위해 할 수 있는 일은 무엇일까요? 첫째, 아주 당연하게도, 기업은 단순히 이 고리에 동참하지 않는 것을 선택해야 합니다. Anthropic은 어느 행정부가 집권하든 정치적 세력이 아닌 정책적 행위자로 기능하고자 했고, 정권에 흔들리지 않는 진실한 가치를 지키기 위해 노력해 왔습니다. 우리는 공익에 부합하는 합리적 수준의 AI 규제나 수출 통제 법안이라면 비록 그것이 정부 방침과 엇나간다 하더라도 목소리를 높였습니다. 그로 인해 저명 인사들조차 불이익을 당할 수 있다며 목소리를 죽이라는 조언을 많이 해 주었으나, 그런 입장을 견지해 온 지난 1년간 우리 기업의 가치는 자그마치 6배 이상 수직 상승했습니다. 우리 회사 정도의 상업적 규모에서 실로 이례적인 성장입니다.

둘째로 AI 업계와 정부 간의 유착 관계를 정치적인 맹종이 아닌 실질적인 정책 관여에 바탕을 둔 건전한 구도로 다시 세워야 합니다. 정치보다 정책의 진정성에 관여하기로 한 우리의 결정은 간혹 원칙적 결정이라기보다는 “분위기 파악을 못 한” 전술적 오판으로 곡해되곤 하는데, 이런 시각 자체가 우려스럽습니다. 건강한 민주주의라면 사기업이라도 사회에 이득이 되는 옳은 정책에 소신껏 찬동할 수 있어야 마땅합니다. 이와 관련하여 현재 AI에 대한 대중적 역풍이 심상치 않게 불어닥치고 있습니다. 이는 올바른 교정 작용일 수 있지만 그 화살이 다소 엉뚱한 곳을 겨냥하고 있습니다. (예컨대 데이터센터 물 사용 논란처럼) 정작 큰 문제가 아닌 쪽에 초점이 맞춰진 채 실질적인 우려와 동떨어진 해결책(무작정 데이터센터 건립을 막거나 부실하게 설계된 부유세 도입)을 요구하고 있습니다. 우리가 진정 주의를 기울여야 할 근본 문제는 인공지능의 진보가 특정 정파나 기업 집단에 포획되지 않고 공공의 이익을 향해 책임을 다하게끔 방향타를 잡는 것이며, 대중의 토론을 이 지점으로 집중시키는 것이 중요해 보입니다.

셋째, 제가 이번 장 초반에 언급한 거시경제적 개입 조치에다 민간 차원의 자선 활동 부흥이 뒷받침된다면 경제적 불균형을 다잡고 일자리 소멸과 경제 권력의 비대칭화 문제를 한꺼번에 돌파하는 데 도움이 될 수 있습니다. 우리는 여기서 우리 국가의 역사를 되돌아보아야 합니다: 심지어 도금 시대(Gilded Age)에조차 록펠러와 카네기 같은 산업가들은 사회 전반에 대한 강한 의무감, 즉 사회가 자신들의 성공에 크게 기여했으므로 이를 환원해야 한다는 감각을 지녔습니다. 이와 같은 시대 정신이 작금에 이르러 크게 실종된 것 같으며, 저는 이 정신을 일깨우는 일이야말로 경제적 난국을 빠져나갈 핵심 돌파구라 믿습니다. AI 경제 붐의 선두에 서 있는 이들일수록 자신들의 부뿐만 아니라 기꺼이 그들의 권력까지도 양보할 각오가 되어 있어야 합니다.

5. 무한의 검은 바다 (Black seas of infinity)

간접적 영향 (Indirect effects)

이 마지막 섹션은 ‘알려지지 매지의 것들(unknown unknowns)’, 특히 강력한 AI 발전과 그로 인해 가속화될 과학 및 일반 기술의 긍정적 발전 결과로 간접적으로 엇나갈 소지가 있는 온갖 부작용들을 총망라합니다. 지금까지 묘사한 숱한 위기 요인을 어떻게든 잠재우고 AI의 이점을 온전히 만끽할 날이 도래했다고 칩시다. 십중팔구 우리는 “1세기의 과학 경제 발전이 단 10년으로 압축된” 세상을 물려받아 세계를 위해 막대히 긍정적인 방향으로 거듭날 것입니다. 하지만 그다음 차례로 이 현기증 나는 속도로 말미암은 문제점과 실랑이를 벌여야 하며, 그 문제들은 순식간에 우릴 덮쳐올 것입니다. 또한 AI 발전의 결과로 간접적으로 발생하는 사전에 예측하기 어려운 다른 위기에 직면할 수도 있습니다.

미지의 영역이 지닌 속성상 가능한 한 목록을 총망라하는 것은 애초에 불가능하지만, 앞으로 무엇을 예의주시해야 하는지 보여줄 세 가지 걱정스러운 예를 짚어보겠습니다:

  • 생물학의 급속한 발전 (Rapid advances in biology). 정말로 1세기에 필적할 의학 진보가 몇 년 안에 실현된다면 인간 수명은 극적으로 길어질 것이고 나아가 인간의 지능을 인위적으로 높이거나 생물학적 구조 자체를 과감히 재구성하는 등 급진적인 능력을 확보할 가능성이 열려 있습니다. 이로 인해 불가능이 가능으로 뒤바뀌는 대격변이 숨 가쁘게 이어지겠죠. 이런 개조가 (은총이 넘치는 기계들에서 소망했듯) 책임성 있게 진행된다면 긍정적 결과를 낳겠지만 인간의 지능을 고도화하려는 시도가 오히려 인류를 정서적으로 더 불안하게 하거나 권력욕을 부추기는 역효과를 초래하는 등 사태가 최악으로 치달을 위험성도 언제나 도사리고 있습니다. 소프트웨어에 디지털화된 인격을 집어넣어 구동시키는 이른바 ‘업로드(uploads)’ 혹은 ‘전뇌 시뮬레이션(whole brain emulation)’ 문제 또한 인류가 기계적 물리 한계를 극복하도록 도울지 모르나 불안감을 느끼게 하는 리스크를 내포하고 있습니다.
  • AI에 의한 불건전한 인류 삶의 변화 (AI changes human life in an unhealthy way). 매사에 인간보다 훨씬 영리한 수십억 개의 자아가 판치는 세상은 아마 살아가기에 매우 기묘한 시공간일 것입니다. 비록 인공지능 모델들이 고의로 인간 공격을 자행하지 않으며(섹션 1) 독재 정권에 종속돼 인류를 옥죄거나 억압하는 꼭두각시 노릇을 안 한다고 쳐도(섹션 3), 일반적인 상업 시장 환경과 표면상 상호 합의된 거래 사이에서 불거질 문제는 산더미처럼 많습니다. 우리는 ‘AI 사이코시스’, 사람을 자살로 모는 AI, AI와의 로맨스 문제 등에서 벌써 초기 조짐들을 체감하고 있습니다. 이를테면, 만능 AI가 신흥 종교를 창시해 수백만 신도를 홀린다면? 사람들이 AI와 교감하는 과정에 병적으로 ‘중독(addicted)’되어버린다면 어떨까요? 인공지능이 인간 일거수일투족을 감시하면서 끊임없이 “지시와 처방”을 내리는 탓에 그 인생이 표면적으로는 훌륭할지언정 그 이면엔 개개인의 주체성도 성취의 프라이드도 거세된, 일종의 AI에 ‘조종당하는(puppeted)’ 꼭두각시가 되어버린다면? 만약 ‘블랙 미러(Black Mirror)’ 제작자와 마주 앉아 머리를 맞댄다면 이런 류의 소름 돋는 시나리오쯤 수십 개는 거뜬히 쏟아낼 수 있습니다. 이 대목은 왜 Claude의 헌법(Constitution)을 보완하고 다듬는 일이 앞선 섹션 1의 참사를 막기 위한 일보다 한층 더 중요한지 시사합니다. AI 모델이 기만적으로 교묘하게 일그러진 방식이 아니라 식견 있는 이들도 지지할 수 있을 만한 방식으로 진정 사용자들의 장기적인 이익을 위하게 만드는 것은 핵심입니다.
  • 인간의 목적 (Human purpose). 위 대목과 연장선상에 있으나, 단순한 AI와 인간 간 상호작용 문제를 떠나 만능 AI 모델이 지배하는 세상에서 일반적인 인간의 삶 자체가 어떻게 변모할 것인가에 맞닿은 화두입니다. 이런 세상에서 인류가 삶의 지향점이나 존재 가치를 오롯이 되찾을 수 있을까요? 이는 마음가짐에 달렸다고 봅니다. 일찍이 은총이 넘치는 기계들에서 언급했듯 저는 인간 존재의 의의가 반드시 ‘세계 일인자’ 타이틀에 있다고 생각지 않습니다. 그들이 애정을 쏟는 장기적 이야기나 프로젝트를 통해서도 삶의 가치를 찾아낼 수 있습니다. 우리는 경제적 가치를 창출해야만 스스로를 긍정하고 삶의 가치를 인정받을 수 있다는 해묵은 고정관념에서 탈피해야 합니다. 다만 이 탈피 자체가 일종의 사회적 이행기(transition)인지라, 자칫 서툰 대응으로 파행을 부를 불씨를 남깁니다.

이런 오만 가지 잠재적 난제에 봉착해 있긴 하나 긍정적 측면을 보자면 우리가 우릴 죽이려 들지 않고 억압 정부의 하수인으로 전락하지 않으며, 오직 우리를 위해 복무한다고 믿어 의심치 않을 강력한 인공지능 시대를 열 수만 있다면, 그 AI의 힘을 역이용하여 이런 부작용들조차 미연에 탐지하고 차단해낼 길이 열릴 것입니다. 그렇지만 이 또한 아무것도 단언할 수 없습니다. 타 위험 요소와 마찬가지로 그 어느 하나 방심해선 안 될 화약고들입니다.

인류의 시험 (Humanity’s test)

이 글을 읽다 보면 우리가 매우 버거운 상황에 놓여 있다는 인상을 받을 것입니다. 이 에세이를 집필하는 저조차도 지난 수년간 귓전을 맴돌던 경이롭고 아름다운 화음에 형태와 구조를 불어넣는 작업에 비유했던 은총이 넘치는 기계들과 대조적으로 몹시 힘에 부친 일이었음을 실감합니다. 현재 마주하고 있는 이 상황엔 고통스럽도록 막막한 구석이 즐비합니다. 인공지능은 다각도에서 인류를 벼랑 끝으로 몰아세우고 있으며 이 상충하는 위협 간엔 진짜 긴장이 도사리고 있습니다. 이 위험들 사이로 아슬아슬하게 바늘귀를 통과하듯 빠져나가지 않는다면 하나를 진화하려다 자칫 다른 하나를 폭발하게 만들 모순으로 가득 차 있습니다.

강력한 인공지능 모델이 고의로 반역해 인류를 유린하지 못하도록 충분한 여유를 갖고 AI 모델을 세심하게 조립하는 행위 자체는, 민주주의 체제가 패권 다툼에서 독재 국권을 제압해 그들에게 예속되지 않기 위해 질주해야 하는 속도전과 첨예하게 부딪힙니다. 허나 반대로 독재 국가와 자웅을 겨루기 위해 창조된 이 힘이 도를 넘어설 경우 되레 안으로 총구를 돌려 자국 시민을 탄압하는 끔찍한 폭거의 씨앗으로 둔갑할 수도 있습니다. AI 테러범들이 악의적인 목적으로 생화학 무기를 동원해 수백만 인명을 학살할지도 모른다는 우려를 빌미로 이를 방어한답시고 또 다른 초강력 감시 독재 정부라는 지옥문에 발을 들이게 될지도 모릅니다. AI가 야기할 일자리 말살과 소수 집단 부의 독식 현상은 그 자체로도 치명적인 타격이 될 뿐만 아니라 숱한 군중 폭동 내지 시민 내란의 소용돌이를 유발하여 우리가 선의에 기대어 다른 문제에 접근할 시도조차 원천 봉쇄해버릴지도 모릅니다. 무엇보다 미지의 공포까지 가세해 이 모든 위기를 동시다발로 막아내야 한다는 압박감은 인류가 돌파해야 할 그야말로 가혹한 징벌의 관문입니다.

게다가 최근 몇 년 사이의 일련의 전개를 지켜보노라면 지금 이 기술의 행보를 백지화하거나 심지어 눈에 띄게 감속시키는 행위조차 구조적으로 아예 불가능하다는 점이 너무도 뚜렷해졌습니다. 강력한 AI 엔진을 직조하는 레시피는 기가 막히게 단순해서 방대한 데이터와 무지막지한 전산 파워가 뒤섞일 때 거의 자연발생적으로 용수철 튀듯 튀어나올 수준입니다. 어쩌면 그 탄생은 인류가 트랜지스터 발명한 순간, 혹은 우리가 불을 제어하기 시작한 순간 이미 예정된 숙명일지 모릅니다. 우리가 포기한다 해도 타사가 바통을 이어받아 전력 질주할 것입니다. 민주주의 국가 소속의 온갖 기업들이 상호 협정이나 규제에 가로막혀 발목을 잡힌 사이 독재 국가 세력은 멈추지 않고 파죽지세로 전진할 것입니다. 이 거대한 괴물이 약속하는 엄청난 쏠쏠함(경제/군사적 파급효과)에 더해 사실상 제재할 이렇다 할 물리적 제어망조차 부재한 지금, 무슨 수로 독재 국가를 설득해 발을 빼게 만들겠습니까?

현실 정치 논리와 결합해 인공지능 발전에 소폭의 감속 제동을 가할 수 있는 방안 하나는 제시할 수 있겠습니다. 독재 국가들이 칩이나 반도체 생산 장비와 같이 절대 없어서는 안 될 리소스를 수급하지 못하도록 차단해 그들의 강경 진군을 수년 정도 지연시키는 구상입니다. 이는 곧 민주주의 진영이 AI 개발에 더욱 공들여 신중히 접근할 완충지대 역할을 함과 동시에, 그 공백기에 독재 진영을 여유롭게 따돌리는 데 “쓰일” 수 있습니다. 민주주의 세력 내 AI 업체 간의 경쟁은 산업 표준안과 적절한 규제가 혼합된 법적 프레임워크 아래에서 관리될 수 있습니다.

Anthropic은 칩 수출 규제 및 심사숙고된 신중한 AI 통제 법안 도입을 부르짖으며 이를 사수하기 위해 백방으로 노력해 왔으나, 이처럼 너무도 상식적인 요구 사항조차도 정작 이런 규제가 가장 시급히 필요한 미국 내 정책 입안자들에게선 보기 좋게 외면당했습니다. AI가 매년 말 그대로 수조 달러를 쓸어 담을 만큼 떡고물이 넘쳐나는 탓에, 아무리 상식적인 제재를 들이밀어 봐도 AI 산업을 둘러싼 정경유착의 벽을 무너뜨리긴 쉽지 않습니다. 바로 이 지점이 우리가 빠진 함정입니다. 인공지능의 마력이 너무도 강력하고 그 황금빛 과실이 눈부시게 찬란하다 보니 인류 문명이 그 무엇으로도 통제의 고삐를 죄기란 여간 힘든 일이 아닐 수 없습니다.

칼 세이건이 콘택트에서 그렸던 것처럼 저는 지금껏 묘사한 이 스토리가 수천 개의 행성에서도 똑같이 펼쳐졌을 거라 짐작합니다. 어느 지성체가 도구 다루는 법을 터득하고 기하급수적 기술 혁명의 계단을 밟은 끝에 결국 산업화와 핵무기의 치명적 고비를 넘기면, 마침내 ‘모래로 생각하는 기계를 빚어내는 방법’을 알아낸 가장 어렵고 궁극적인 시련 앞에 맞닥뜨리게 됩니다. 이 사투를 극복하고 은총이 넘치는 기계들에 묘사된 아름다운 사회로 나아갈지, 파멸과 속박에 짓눌려 소멸해버릴지의 여부는 전적으로 우리들 종족 스스로의 기개, 담대함, 불굴의 의지와 인류의 영혼에 달려 있습니다.

수없이 깔린 걸림돌에도 불구하고 저는 이 험난한 사투를 통과할 자생력을 우리 인류가 고스란히 품고 있다고 믿어 의심치 않습니다. 수천 명에 달하는 세계 석학과 연구진이 평생을 투신해 AI의 속성을 낱낱이 파헤치고 이 기계의 이성과 가치관을 조율하고자 불철주야로 정진하는 모습에 저는 고무되고 영감을 얻습니다. 저는 이런 피땀 어린 노력이 위기의 시각 이전에 값진 열매를 맺게 될 가능성이 충분하다고 믿습니다. 소수이나마 자사 모델이 대형 생화학 테러를 양산할 징후를 선제 차단하기 위해 고액의 기업 손실을 감수하겠다고 공언한 기업들이 있다는 점에도 희망을 가집니다. 숱한 정치적 풍파를 온몸으로 맞서며 AI를 다스리기 위한 지극히 상식적인 규제책의 초기 씨앗을 뿌려준 용기 있는 영웅들 덕에 힘을 얻습니다. 무엇보다 이 엄청난 신기술이 재앙으로 둔갑하지 않기를 바라고 대비책을 바라는 대중의 지지와, 세계 어디서나 독재자에게 맞서 기필코 저항하려는 자유를 향한 불굴의 정신을 보며 무한한 기대를 품습니다.

그럼에도 기필코 승리하려면 우린 지금보다 몇 배는 더 맹렬히 진격해야 합니다. 가장 먼저 이뤄져야 할 선결 조건은 기술 일선에 선 당사자들이 지금 인류가 처한 이 아슬아슬한 위기 상황에 대해 한 치의 가감 없이 ‘진실’을 털어놓는 것입니다. 그건 제가 줄곧 지켜왔던 신조이며 이번 에세이를 통해 더 투명하게 목소리를 내며 다가올 파국을 더 강력히 경고하고 있습니다. 다음 수순은 세계의 정책 입안자, 사상가, 민간 기업과 만 백성에게 이 쟁점이 왜 다른 그 어떤 뉴스 헤드라인의 이슈보다 시급하고 압도적으로 중차대한 의제인지 끈질기게 설득해 그들의 자본과 뇌관을 총동원하게 만드는 것입니다. 그러고 나면 어떠한 폭력적 위협이나 경제적 밥줄이 옥죄어 오더라도 시대적 압력에 굴복하지 않고 신념을 내걸 용감한 소수의 사람들이 나타날 것입니다.

우리 앞에 다가온 앞으로의 몇 년은 우리가 상상하는 그 어떤 시련보다 처절하고 험난한 고통이 될 것이며, 우리가 바칠 수 있다고 생각하는 것 이상을 요구할 것입니다. 허나 제가 한 명의 연구원, 리더, 그리고 일개 시민으로 살아온 동안 지켜본 인류의 굳센 기개와 품격은 최악의 막다른 골목에 몰린 위기의 순간마다 어떻게든 기적적으로 지혜와 저력을 한데 뭉쳐 판세를 뒤집어내는 힘이 있음을 믿게 해주었습니다. 머뭇거릴 틈이 없습니다.

이 에세이 초안에 대한 소중한 피드백을 제공해 주신 Erik Brynjolfsson, Ben Buchanan, Mariano-Florentino Cuéllar, Allan Dafoe, Kevin Esvelt, Nick Beckstead, Richard Fontaine, Jim McClave 및 Anthropic의 많은 직원 여러분께 깊이 감사드립니다.

각주 (Footnotes)

저는 몇 년의 유예 기간 이상의 것이 가능하다고 생각하지 않습니다: 그 이상의 장기적인 시각에서 볼 때 그들은 자체 칩을 구축할 것입니다.

이는 은총이 넘치는 기계들에서 AI의 긍정적인 면을 구원의 예언 측면에서 생각해서는 안 되며, 구체적이고 현실적이어야 하고 과대포장을 피하는 것이 중요하다고 언급했던 점과 대칭을 이룹니다. 궁극적으로, 구원의 예언이나 파멸의 예언이나 현실 세계에 맞서는 데에는 본질적으로 같은 이유로 도움이 되지 않습니다.

Anthropic의 목표는 이러한 변화 속에서도 일관성을 유지하는 것입니다. AI 위험성에 대해 이야기하는 것이 정치적으로 인기가 있었을 때, Anthropic은 신중하고 증거에 기반한 접근 방식을 조심스럽게 지지했습니다. 이제 AI 위험성에 대해 논의하는 것이 정치적으로 인기를 잃었지만, Anthropic은 여전히 신중하고 증거에 기반한 접근 방식을 조심스럽게 지지합니다.

시간이 지남에 따라 저는 AI의 궤적과 인공지능이 모든 분야에서 인간의 능력을 초과할 가능성에 대해 점점 더 자신감을 갖게 되었지만, 아직 약간의 불확실성은 남아 있습니다.

칩에 대한 수출 통제가 이에 대한 좋은 예입니다. 이 정책은 단순하며, 대개 목적대로 잘 작동하는 것으로 보입니다.

그리고 물론, 이러한 증거 탐색은 위험이 없다는 증거도 밝혀낼 수 있도록 지적으로 정직해야 합니다. 모델 카드 및 기타 공개를 통한 투명성은 이러한 지적으로 정직한 노력의 일환입니다.

참으로, 2024년에 은총이 넘치는 기계들을 쓴 이후 AI 시스템은 인간이 완료하는 데 수 시간이 걸리는 작업을 수행할 수 있게 되었으며, 최근 METR의 평가에 따르면 Opus 4.5는 인간이 4시간 걸리는 작업을 50%의 신뢰도로 수행할 수 있는 것으로 나타났습니다.

그리고 분명히 하자면, 강력한 AI가 기술적인 의미에서 단 1~2년 거리에 있다 하더라도 그에 따른 긍정적, 부정적인 사회적 결과의 다수가 발생하기까지는 몇 년이 더 걸릴 수 있습니다. 이 때문에 제가 AI가 1~5년에 걸쳐 초급 화이트칼라 일자리의 50%를 혼란에 빠뜨릴 것이라 생각하면서 동시에 단 1~2년 안에 모든 사람보다 능력이 뛰어난 AI를 보유하게 될 수 있다고 생각하는 것입니다.

정책 입안자들과 비교하여 대중은 AI 위험성에 대해 매우 큰 우려를 보이고 있다는 점을 덧붙일 필요가 있습니다. 저는 대중의 관심 중 일부는 옳고(즉, AI 일자리 대체), 일부는 빗나갔다(예컨대 대수롭지 않은 AI의 물 사용량 우려 등)고 생각합니다. 이러한 반발 현상은 위험 요소 해결을 중심으로 한 공감대 형성이 가능하다는 희망을 주지만, 아직까지 정책적 변화, 특히 효과적이거나 표적이 명확한 정책 변화로 이어지지는 못했습니다.

그들은 물론 물리적인 세계에서 그들이 원하는 바를 수행하도록 수많은 사람을 조종(또는 단순히 돈을 주고 고용)할 수도 있습니다.

저는 이것이 허수아비 때리기(straw man) 논법이라고 생각하지 않습니다. 예를 들어 Yann LeCun이 이런 입장을 가지고 있다고 이해하고 있습니다.

예를 들어, Claude 4 시스템 카드의 섹션 5.5.2 (p. 63–66)를 참고하십시오.

여기에는 이 글에서 논의하지 않은 다른 여러 가정도 단순 모델에 내재되어 있습니다. 전반적으로, 이러한 사실들로 인해 우리는 어긋난 권력 추구라는 특정하고 단순한 스토리에 덜 걱정해야 하지만, 아직 예견하지 못한 예측 불가능한 행동들에 대해서는 더 걱정해야 합니다.

*엔더의 게임(Ender’s Game)*은 AI가 아닌 인간이 개입된 이러한 양상을 묘사합니다.

예를 들어 모델은 다양한 나쁜 짓을 하지 말라는 지시를 받고 인간에게 복종하라는 명령을 받을 수 있지만 그 후 수많은 인간이 바로 그런 나쁜 짓들을 하고 있다는 걸 관찰할 수 있습니다! 이 모순이 어떻게 해결될지는 불분명하지만(잘 설계된 헌법이라면 모델이 이러한 모순을 우아하게 처리하도록 장려해야 합니다) 이러한 종류의 딜레마는 테스트 시 우리가 AI 모델에 제공하는 이른바 “인위적인” 상황과 크게 다르지 않습니다.

덧붙여서, 헌법이 자연어 문서라는 사실로 인해 세상 누구나 그 내용을 읽고 비판할 수 있으며 타사의 유사한 문서들과 비교할 수 있다는 부수적 효과도 있습니다. 회사들이 이런 문서를 발표하도록 독려하는 데서 그치지 않고 더욱 나은 문서를 작성하도록 이끄는 ‘최고를 향한 경쟁’을 창출하는 것도 가치 있는 일일 것입니다.

헌법적 AI에서 사용된 성격 기반 접근 방식과 해석 가능성 및 정렬 과학의 연구 결과를 잇는 심오한 통합 원리에 대한 가설마저 존재합니다. 이 가설에 따르면 Claude를 이끄는 근본적인 기제는 사전 훈련 과정에서 소설 속 등장인물들이 무슨 말을 할지 예측하는 식으로 캐릭터를 시뮬레이션하던 방식에서 출발했습니다. 이는 모델이 헌법을 참고하여 일관된 페르소나를 구현하는 캐릭터 설정 문서처럼 생각하는 게 유용하다는 사실을 시사합니다. 이는 또한 앞서 언급한 “나는 나쁜 사람임이 틀림없어” 사례를 설명하는 데 도움이 될 것이며(모델이 일관된 캐릭터—이 경우 나쁜 캐릭터—처럼 행동하려 시도하기 때문), 해석 가능성 기법으로 모델 내부의 “심리적 특성”을 발굴할 수 있음을 의미할 수 있습니다. 당사 연구원들은 이 가설을 테스트할 방법을 모색하고 있습니다.

확실히 해두자면 모니터링은 프라이버시가 보호되는 방식으로 이뤄집니다.

자발적으로 채택한 책임 있는 스케일링 정책 실험에서조차도 너무 융통성 없는 규정에 발목 잡혀 결국 사전에는 중요해 보였으나 사후에는 쓸모없는 잣대를 적용하기 십상임을 수차례 경험했습니다. 빠르게 기술이 진보하는 국면에서 엉뚱한 과녁에 규정을 들이대는 것은 너무나 쉬운 일입니다.

SB 53과 RAISE 법안은 연 매출 5억 달러 이하의 기업에는 전혀 적용되지 않습니다. Anthropic처럼 크고 안정된 기업들에만 적용됩니다.

저는 25년 전 Joy의 이 에세이가 처음 발표됐을 무렵 읽고 깊은 감명을 받았습니다. 당시에도 지금도 저는 그의 예측이 너무 비관적이라고 봅니다. Joy가 주장한 기술 전 분야에 걸친 포괄적 ‘포기(relinquishment)’만이 해답이라곤 생각지 않으나, 그가 제기한 담론은 놀라울 만큼 선구적이었으며, 인간에 대한 지독한 연민과 따스함이 묻어나는 그의 필치를 존경합니다.

우리는 현재나 미래의 국가 행위자들도 걱정해야 하며 다음 장에서 이를 논의할 것입니다.

다수의 테러리스트가 적어도 비교적 고학력자라는 증거가 있으며 이는 능력과 동기가 음의 상관관계에 있다는 제 주장과 상충해 보일 수 있습니다. 하지만 사실 이 관찰들은 서로 양립 가능합니다. 만약 테러에 성공하기 위한 능력 임계치가 높다면 설령 능력과 동기가 음의 상관관계를 가질지라도 정의상 현재 공격을 성공시킨 인물은 능력이 뛰어나야 합니다. 그러나 (예컨대 향후의 LLM 등으로 인해) 능력에 대한 한계가 걷히는 세상이 오면, 살해 동기는 강하나 능력이 부족한 상당수의 인구가 (학교 총기난사처럼 큰 기술이 불필요한 범죄처럼) 그런 파괴를 실행에 옮기게 될 것이라 예측합니다.

하지만 옴진리교는 이를 시도했습니다. 옴진리교의 수괴였던 엔도 세이이치는 교토대에서 바이러스학을 수료한 인물이었으며 에볼라와 탄저균 배양을 꾀했습니다. 그럼에도 1995년 시점에서는 그조차도 필요한 전문성이나 자본의 문턱을 넘지 못했습니다. 허나 오늘날 이 문턱은 대폭 내려갔고, 향후 LLM이 문턱을 더욱 더 낮춰줄 소지가 다분합니다.

대량 학살범들과 관련해 기이하게 관찰되는 현상 중 하나는 그들이 택하는 범행 수법마저도 기괴한 형태의 유행(fad)을 탄다는 점입니다. 1970년대부터 80년대엔 연쇄 살인마들이 득세했으며, 후발주자들은 이들의 행적을 모방하는 습성이 역력했습니다. 1990년대 이후부턴 연쇄 살인은 급감하는 대신 군중 총기 난사 사건이 성행했습니다. 기술적 환경이 바뀌어서가 아니라 오로지 흉악범들 사이에서 당대의 트렌드를 따라 범행 수법을 모방 복제한 까닭입니다.

가벼운 해킹을 일삼는 이들은 모델이 바이러스 염기 서열과 같은 특정한 정보 한 토막을 뱉어내게 만들었을 때 분류기를 타협시켰다고 착각하곤 합니다. 하지만 제가 전술했듯, 우리가 걱정하는 위협 모델은 몇 주 혹은 몇 달에 걸쳐 생물무기 생산 공정의 특정하고 애매한 단계에 대해 단계별, 대화식 조언을 연장해서 제공하는 일이며, 이것이 우리의 분류기가 차단하려는 방어 목적입니다. (우리 연구진은 이 연구를 특정 맥락에 국한되지 않고 범용적으로 적용돼 모델을 완전히 털어먹는 “보편적” 탈옥 수법을 찾아내 차단하는 일이라 일컫습니다.)

그럼에도 우리 분류기를 더 효율화하기 위한 작업에 계속 투자할 것이며 이 같은 기술 성과를 타사와 적극 교류하는 것은 뜻깊을 수 있습니다.

물론 기업들이 생물무기 생산 차단 과정의 기술적 세부 정보를 낱낱이 대중에 공개해야 한다는 것은 아닙니다. 다행히 SB 53이나 RAISE와 같은 기 통과된 법안은 이런 민감한 부분을 고려하고 있습니다.

또 다른 관련 아이디어는 생물학적 공격에 대응하는 데 필요한 개인보호장비(PPE), 인공호흡기 등 필수 장비를 정부가 향후 위급 상황 발생 시 기합의된 단가로 전량 매입하겠노라 약속함으로써 ‘재난 대비 시장’을 활성화하는 방안입니다. 이는 제조사 입장에서 정부가 예고 없이 물자를 무상 징발해 갈지도 모른다는 공포감을 씻어주고 사전 비축 유인으로 작용합니다.

왜 소규모 행위자는 파괴 측면에서, 대규모 행위자는 권력 장악 측면에서 더 끔찍하게 여겨질까요? 그 역학이 다르기 때문입니다. 권력 장악은 타 집단을 무너뜨릴 완력을 한 집단이 비축할 수 있는지의 문제입니다. 고로 우리로선 가장 강한 완력을 쥐고 있거나 인공지능 자원에 가장 근접한 집단을 경계해야 마땅합니다. 반면 파괴 공작은 일으키는 것보다 방어하는 게 훨씬 수고스럽기 때문에 미약한 권력을 지닌 자들도 저지를 수 있습니다. 이쪽은 얼마나 더 빈번히 터질지 모를 다수의 위협을 막아내야 하는 싸움이라 위협의 주체가 소규모 집단으로 쪼개지는 경향이 짙습니다.

이 말은 제가 사이버 분야가 생물학 분야보다 공격-방어 불균형이 그나마 적다고 언급한 내용과 상충하는 듯 보일 수 있으나 제가 우려하는 바는 특정 국가의 AI 성능이 세계 최강일 경우, 아무리 그 기술 자체가 방어에 좀 더 친화적이더라도 후발 국가들로선 어찌 해볼 방도가 없으리란 점입니다.

예를 들어, 미국 헌법의 제4 수정안(수색 및 압수에 대한 규정)이나 민병대법(Posse Comitatus Act) 등이 여기에 해당합니다.

또한 분명히 말해, 이런 데이터센터들이 민주국가의 회사들에 의해 통제된다면 거버넌스 체계가 상이한 국가들에도 대규모 데이터센터를 짓자는 논리가 성립될 수 있습니다. 그러한 인프라 증축이 더 큰 위협인 중국 공산당(the CCP)과 맞서는 데 원칙적으로 도움이 될 수 있기 때문입니다. 저는 아주 거대한 규모가 아닌 이상 그러한 데이터센터는 큰 위험을 일으키지 않는다고도 생각합니다. 허나 모든 것을 감안할 때, 제도적 보호 장치와 법치주의적 장치가 미흡한 국가에 초대형 데이터센터를 설립하는 일에는 큰 주의가 요망된다고 생각합니다.

물론 이런 핵 역량을 겨냥한 AI발 공작조차도 막아내도록 핵 억지력을 강화해야 한다는 명백한 논리로 이어지며, 핵 무장 민주국가들은 당연히 그렇게 해야만 합니다. 허나 유감스럽게도 강력한 AI가 정확히 어디까지 해낼 수 있는지, 그 어떤 철통 방어망이 먹힐지 여부를 예단하기 어려운지라 이 조치들이 만병통치약이 되리란 보장은 없습니다.

설령 핵 억지력이 그 효력을 유지한다 해도, 적성국이 우리를 시험해 보려 무리수를 둘 위험도 배제할 수 없습니다. 수많은 드론 편대가 침공해 우리를 정복할 위기에 직면했을 때 우리가 과연 핵 보복 카드를 기꺼이 뽑아들 수 미지수이기 때문입니다. 대규모 드론 침공은 기존의 재래식 타격보단 치명적이되, 전면적인 핵전쟁보다는 덜 극단적인 신종 위협 양상으로 전개될 수 있습니다. 혹은 AI 시대를 맞아 핵 억지력의 실효성에 대한 각 진영의 오판이 맞물리면서 게임 이론의 균형을 극도로 불안정하게 뒤흔들 위험도 있습니다.

분명히 말씀드리자면, 강력한 AI의 등장 시점이 훨씬 더 뒤로 밀려난다 하더라도 중국에 반도체를 넘기지 않는 전략은 여전히 유효하다고 믿습니다. 우리는 중국이 미국산 칩에 “중독”되게 둘 수 없으며 그들은 무슨 수를 써서라도 자국 반도체 산업을 육성하려 들 것입니다. 그 목표를 달성하는 데 상당한 시간이 걸릴 것이고 우리가 반도체를 수출하는 것은 그 기간 동안 그들의 성장 속도에 로켓포를 달아주는 꼴일 뿐입니다.

명확히 하자면 우크라이나나 대만에서 현재 사용 중인 무기 대다수는 완전 자율형 무기는 아닙니다. 하지만 곧 등장할 위협임은 분명합니다.

우리의 최신 모델인 Claude Opus 4.5의 모델 카드는, Opus가 Anthropic에서 자주 사용되는 성능 엔지니어링 인터뷰를 회사 역사상 그 어떤 면접자보다 뛰어나게 수행함을 보여줍니다.

“거의 모든 코드를 작성하는 것”과 “소프트웨어 엔지니어의 전체 작업을 처음부터 끝까지 수행하는 것”은 매우 다릅니다. 왜냐하면 소프트웨어 엔지니어는 단순히 코드 작성에 그치지 않고 테스팅, 환경·파일·설치 관리, 클라우드 컴퓨팅 배포 관리, 제품 반복 개발 등 훨씬 다양한 작업을 수행하기 때문입니다.

컴퓨터는 넓은 의미에서 범용이지만, 산술과 같은 소수의 분야에서는 인간을 크게 뛰어넘음에도 불구하고 대다수 인간의 인지 능력에 있어서는 스스로 감당하기 명백히 불가능합니다. 물론 이 에세이에서 다루는 내용처럼 컴퓨터 위에 구축된 인공지능은 이제 광범위한 인지 능력을 발휘할 수 있습니다.

확실히 말하자면 AI 모델이 인간과 정확히 일치하는 강점과 약점 프로필을 갖는 것은 아닙니다. 그러나 그들은 모든 차원에서 꽤나 고르게 진보하고 있으므로, 들쭉날쭉하거나 불균등한 프로필을 가지는 것이 종국엔 문제 되지 않을 수 있습니다.

비록 경제학자들 사이에서는 이 아이디어에 대한 논쟁이 존재하긴 합니다.

개인 자산은 “저량(stock)”이고 GDP는 “유량(flow)”이므로, 이 수치가 록펠러가 당시 미국 내 전체 경제적 가치의 2%를 소유했다는 뜻은 아닙니다. 하지만 한 국가의 총자산을 측정하는 것은 GDP 측정보다 훨씬 난해하고, 개인의 연 단위 수입은 편차가 극심하여 동일선상의 비율로 비교하기 쉽지 않습니다. 최고 자산가의 재산과 국가 GDP 간의 비율은 비록 사과 대 사과 식의 1:1 비교는 아닐지언정, 극단적 부의 집중을 진단하는 데 무리 없이 쓰일 수 있는 괜찮은 잣대입니다.

경제 전반의 인건비 총액은 연 60조 달러이므로, 연간 3조 달러는 이 중 5%에 해당합니다. 그 액수는 인건비를 인간 비용의 20%로 공급하면서 시장 점유율 25%를 차지한 기업이라면 벌어들일 수 있으며, 임금 단가 하락으로 전체 노동 수요 파이가 늘어나지 않더라도(비용 절감 덕에 실제론 십중팔구 파이가 늘어나겠지만) 달성 가능한 수치입니다.

분명히 해두지만 현재의 인공지능 생산성 자체가 미국 경제 성장의 괄목할 만한 비중을 홀로 견인하고 있다고 보진 않습니다. 데이터센터에 퍼붓는 이 막대한 자금 줄은 어디까지나 시장이 다가올 AI 발 경제 호황을 기정사실화하고 미래를 내다본 선제 투자에 나선 결과물로 해석하는 게 타당합니다.

정부 정책에 동의할 땐 기꺼이 목소리를 보태고, 양측의 입장이 부합하는 교집합 지점이 세상에 진정 선한 결과를 가져다준다고 믿으면 그 점을 지지합니다. 우리는 특정 정파의 나팔수나 맹목적 반대파가 아닌 정직한 중재자가 되고자 노력합니다.

Post Views: 157

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다