1.
God From the Machine AI and the Future of Humanity은 교황 레오 14세 사회 회칙 ‘고귀한 인류’를 다룹니다. Sebastian Mallaby가 외교 전문 Foreign Affairs 2026년 7/8월호에 기고한 기사입니다.
회직 ‘고귀한 인류’는 사회 회직입니다. 이 때문에 Foreign Affairs에서도 다루지 않았을까 합니다. 이미 지경학이 국제정세의 주요한 잣대로 등장한 것도 AI와 무관하지 않습니다. 아래는 Deepl을 이용한 번역입니다.
2.
기계의 초지능을 향한 탐구는 단순히 돈에 이끌린 ‘골드 러시’가 아니다. 이 분야의 많은 리더들에게 있어, 새로운 형태의 인지 능력의 등장은 그것이 예고하는 위험과 혼란 때문에 전율을 일으키는 실존적 의미를 지닌다. 수십억 년에 걸친 진화는 우리가 특별하다고 여기는 것, 즉 인간의 지능을 만들어 냈다. 하지만 이제 우리는 위험한 순간에 도달했다. 바로 인간보다 더 뛰어난 지능을 가진, 사실상 새로운 종의 탄생이다. 구글의 임원 제임스 마니카는 한 인터뷰에서 “AI는 우리에게 심오한 질문들을 제기한다”고 말했다. “우리는 누구인가? 무엇을 소중히 여기는가? 우리가 잘하는 것은 무엇인가? 우리는 서로 어떻게 관계를 맺는가?” AI 선구자 데미스 하사비스는 AI가 “인류가 만들어낼 가장 중요한 발명품”이 될 것이라고 믿는다.
거의 무한한 잠재력을 지닌 이 기술을 바라보며, 전문가들은 그것이 인류에게 어떤 의미를 갖는지에 대한 기본적인 점조차 합의하지 못하고 있다. AI 연구소 앤트로픽(Anthropic)의 리더들은 2028년 말까지 자신들의 시스템이 추가 지시 없이 스스로보다 더 똑똑한 버전을 만들어낼 수 있을 확률이 50%를 넘을 것이라고 전망한다. 다른 주요 기술 기업들의 최고경영자들은 모든 인지 과제에서 인간을 능가할 시스템에 대해 이야기하며, 인간 직원이 거의 없는 미래형 기업을 상상하고, 대대적인 일자리 손실을 예측하고 있다. 반면 더 회의적인 시각도 있다. 경제학자이자 노벨상 수상자인 다론 아세모글루는 AI가 인간의 업무 중 극히 일부만을 대체할 것이며, 따라서 생산성의 변화는 미미할 것이라고 주장한다. 컴퓨터 과학자 얀 르쿤은 현재 AI 패러다임의 한계를 강조하며, 초지능을 추구하기 위해 쏟아붓는 수십억 달러 규모의 투자가 “완전한 헛소리”의 승리라고 비판한다.
AI 시스템이 인간의 생계뿐만 아니라 인간 그 자체를 위협하는지에 대한 문제에서도 양극화는 마찬가지로 어지러울 정도다. 2023년 “왜 AI가 세상을 구할 것인가(Why AI Will Save the World)”라는 제목의 에세이에서 벤처 투자자 마크 안드레센은 “AI는 욕망도 없고, 목표도 없으며, 당신을 죽이려 하지 않는다. 왜냐하면 AI는 살아있는 존재가 아니기 때문이다. … [AI는] 당신의 토스터가 살아나지 않는 것처럼 결코 살아나지 않을 것이다”라고 주장했다. 하지만 앤트로픽(Anthropic)과 같은 AI 연구소에서는 많은 연구자들이 AI가 생존 본능을 발달시켜 공격적으로 경쟁할 것을 우려하고 있다. 일부는 초지능이 인류의 멸종을 초래할 확률인 ‘p(doom)’을 50%로 추정하지만, 이보다 훨씬 더 높은 수치를 제시하는 극단적인 비관론자들도 있다. 지난해, 두 명의 저명한 극단적 비관론자가 『누군가 그것을 만들면, 모두 죽는다(If Anyone Builds It, Everyone Dies)』라는 제목의 책을 출간했다.
이처럼 당혹스러운 차이들에 직면하고, 그 범위가 헤아릴 수 없을 정도로 광대한 기술을 마주하며, 인간은 신비를 설명하기 위해 존재하는 어휘, 즉 ‘종교’라는 개념을 찾게 된다. 거의 10년 전, 구글의 자율주행차 프로젝트 초기 참여자였던 앤서니 레반도프스키(Anthony Levandowski)는 ‘Way of the Future’라는 교회를 설립했는데, 와이어드(Wired)에 따르면 이 교회의 국세청(IRS) 신고서에는 “인공지능을 기반으로 한 신성의 실현, 수용, 숭배”에 전념한다고 명시되어 있다. 기이할 정도로 지각력이 있는 듯한 초기 챗봇을 접한 구글 엔지니어 블레이크 르모인(Blake Lemoine)은 다음과 같이 썼다. “내가 무슨 자격으로 신께 영혼을 어디에 두어야 하고 어디에 두지 말아야 한다고 말할 수 있겠는가?” 오픈AI의 공동 창립자이자 전 수석 과학자인 일리아 수츠케버는 한때 회사 외부 행사장에서 동료들을 모닥불 주위에 모았다. 그는 인형을 들어 보이며, 이것이 인간과 가치관이 어긋난 AI를 상징한다고 설명했다. 그리고는 마치 중세 성직자가 마녀를 화형에 처하듯, 그 인형을 불길 속으로 던져버렸다.
모방 게임
가톨릭 교회가 이 격랑 속으로 뛰어들게 된 것은 시간문제였다. 19세기 후반의 산업화, 20세기 중반의 대중매체 부상, 그리고 20세기 후반의 지식경제 탄생에 이어, 교회는 각 격변에 가톨릭 교리가 어떻게 적용되는지를 제시하는 회칙과 교황 서한을 통해 대응해 왔다. 이제 바티칸은 인공지능 혁명의 도래에 맞서 인간 존엄성과 창조의 목적에 대한 자신들의 관점을 옹호하며 다시 한번 나섰습니다. 교황 레오 14세의 재위 기간 첫 번째 회칙인 『마그니피카 휴마니타스(Magnifica Humanitas, 웅장한 인류성)』는 그야말로 야심 찬 작품이라 할 수 있습니다. 부제만 봐도 그 범위를 짐작할 수 있습니다. 바로 ‘인공지능 시대에 인간 인격의 보호에 관하여’입니다.
교황의 주장의 첫 부분은 인간이 예외적 존재라는, 당연히 언급되어야 할 내용을 담고 있다. 교회는 항상 인간이 하느님의 형상대로 창조되었다고 설교해 왔으며, 하느님의 아들은 인간 형상의 복잡하고 연약한 모습을 취함으로써 인간의 경험을 거룩하게 만들었다. 기술 전문가들이 AI 시스템의 잠재적 의식이 기계용 인권의 도입을 정당화할 수 있는지 논쟁을 벌이는 가운데, 교황은 인간과 기계가 근본적으로 다르다고 단언한다. 회칙은 AI 시스템이 “단지 인간 지능의 특정 기능을 모방할 뿐”이라고 명시한다. “비록 이러한 도구들이 ‘학습’ 능력이 있다고 묘사되더라도… 그것은 삶에 의해 형성되고, 선택과 실수, 용서와 신실함을 통해 시간이 지남에 따라 성장하는 이들의 경험과는 다르다.”
가톨릭 신자이든 아니든 많은 일반인들에게 교회의 입장은 공감을 불러일으킬 것이다. 구글의 공동 창업자 래리 페이지가 기계가 더 높은 차원의 지능을 대표하며, 인류의 멸종은 별다른 문제가 되지 않는 진화적 사건일 뿐이라고 말했을 때, 대다수의 사람들은 혐오감을 드러냈다. 미래학자들이 자신의 뇌를 클라우드에 업로드해 영생을 얻는 것을 기대하는 반면, 많은 이들은 보다 전통적인 구원의 개념을 선호한다. 사람들은 기계에 지배당하기를 원치 않을 뿐만 아니라, 기계와 융합되기를 원하지도 않습니다. “아무리 정교한 계산 시스템이라 할지라도, 자신을 내어주는 마음이나 선과 악을 분별하는 양심을 만들어낼 수는 없다”고 명시한 문서를 읽으면 위안이 됩니다.
교회의 주장이 분석적 검증을 견뎌낼 수 있을지는 별개의 문제다. ‘매그니피카 휴마니타스’는 AI 시스템이 인간의 지능을 “단순히 모방할 뿐”이라고 가정함으로써, 지능을 모방하는 것이 지능을 소유하는 것과 동일하다는 오랜 주장을 거부한다. 이 이론에 따르면, 모방은 지능의 부재를 시사하는 것이 아니라 오히려 지능의 한 측면일 수 있다. 결국 인간 역시 지성을 모방한다. 아이들은 부모로부터 배우고, 교수들은 선배 학자들의 가르침을 습득한다. 게다가 기계가 지식을 종합하고, 설득력 있게 대화하며, 의료 영상 자료를 분석하고, 변호사 자격 시험에서 만점을 받을 수 있다면, 어떤 의미에서 그것이 지능적이지 않다고 할 수 있겠는가?
바티칸의 반대 견해를 뒷받침하는 가장 대표적인 사례는 1980년으로 거슬러 올라가는데, 당시 철학자 존 시얼(John Searle)이 이른바 ‘중국어 방 논증’으로 알려진 주장을 제기했다. 시얼의 사고 실험은 기계는 오직 그 산출물만으로 판단되어야 한다는 유명한 튜링 테스트를 반박하는 것이 목적이었다. 이 테스트에 따르면, 시스템의 산출물이 인간에게 지능적으로 보인다면 그 시스템은 실제로 지능을 가진 것이다. 이에 대한 반박으로, 시얼은 방 안에 홀로 있는 한 남자가 문 아래로 메시지를 받는 상황을 상상했다. 메시지는 중국어로 쓰여 있으며, 그 남자는 중국어로 답장을 보내 상대방에게 자신도 그 언어를 유창하게 구사한다고 믿게 만든다. 하지만 이러한 설득은 속임수에 불과하다. 그 남자는 들어오는 한자 문자열에 대해 어떤 다른 한자 문자열로 답해야 하는지 알려주는 매뉴얼을 참고하여 답변을 작성한다. 그는 그 한자들의 의미에 대해서는 전혀 알지 못하지만, 규칙서를 바탕으로 이해하는 척을 한다. 시얼의 주장은 AI 모델이 지능이 부족하더라도 튜링 테스트를 통과할 수 있다는 것이었다. 또는 교황 회칙에서 표현한 대로, AI 시스템은 “언어, 행동, 분석 능력을 모방할 수는 있지만… 자신이 만들어 낸 것을 이해하지는 못한다.”
현대 AI 혁명이 일어나기 전 몇 년 동안, 시얼의 반박은 매우 설득력이 있었다. 당시 기계들은 시얼의 시나리오에 등장하는 사용 설명서와 유사한 규칙에 따라 결과를 산출했다. 누군가 검색창에 “엠파이어 스테이트 빌딩”을 입력하면, 자동 완성 시스템은 통계적으로 가장 가능성이 높은 다음 단어인 “개장 시간”이나 “가는 길”을 제시했다. 이 시스템은 엠파이어 스테이트 빌딩이 무엇인지, 어떤 모습인지 전혀 알지 못했다. 하지만 오늘날의 대규모 언어 모델은 다르다. 비록 단어를 입력받아 이를 통계 자료로 처리하는 것으로 시작하지만, 훈련 과정을 거치면서 의미를 정교하게 파악하게 된다. 작가 로버트 라이트가 신간 『신의 시험: 인공 지능과 다가올 우주적 심판』(The God Test: Artificial Intelligence and Our Coming Cosmic Reckoning)에서 시사하듯이, 이 모델들이 이해 능력을 획득했다는 결론을 피하기는 어렵다.
믿음이 적은 자들아
현대 AI가 시얼과 교황청 모두에게 어떤 도전을 제기하는지 알아보려면, 이른바 ‘단어 임베딩’부터 살펴보자. 대규모 언어 모델은 입력받은 단어를 수천 차원의 지도에 임베딩하는 방식으로 작동한다. 3차원(시간을 포함하면 4차원) 공간에서 살아가는 데 익숙한 인간에게는 이러한 지도를 시각화하는 것이 불가능하다. 하지만 컴퓨터는 이를 손쉽게 처리한다. 이 거대한 언어 지도에서 ‘컴퓨터’와 같은 단어는 ‘키보드’, ‘전기’, ‘반도체’와 같은 관련 단어들과 가까이 위치해 있다. 이런 식으로 모델은 언어 속 각 단어와 다른 모든 단어 사이의 미묘한 연관성을 파악한다. 이 시스템에 시각 기능을 추가하면, 모델은 단어와 사물 사이, 즉 기호와 물리적 환경 사이의 관계를 학습하게된다.
이것은 시작에 불과합니다. AI 시스템이 언어를 숙달해 가면서 개념을 이해하게 됩니다. 시스템이 성별을 파악하기 때문에 “형”, “아버지”, “조카”와 같은 단어들은 “자매”, “어머니”, “조카딸”보다 언어 지도상에서 서로 더 가깝게 위치합니다. 텍스트의 특정 구절이 “내적 갈등”과 같은 개념을 연상시킬 때, 시스템은 이를 포착하기도 합니다. 단어 지도 외에도 개념 지도를 구축하는데, 이 지도에서 “내적 갈등”은 “관계적 긴장”이나 “논리적 불일치”와 가깝게 위치합니다.
이 모델들은 감정을 인식하고 기분을 감지할 수도 있습니다. 이미 2017년에 OpenAI는 온라인 아마존 리뷰의 편향이 긍정적인지 부정적인지를 감지하는 AI 모델의 딥러닝 네트워크 내 특정 노드인 ‘감정 뉴런’을 식별해 냈습니다. 오늘날 소설, 소셜 미디어 게시물, 그리고 온갖 종류의 인간 감정을 포함한 텍스트로 훈련된 최신 AI 시스템들은 분노, 기쁨, 수치심, 슬픔, 불안 등을 인식합니다. 그리고 이들은 단순히 감정을 인식하는 데 그치지 않습니다. 모델의 행동은 특정 감정 상태나 성격에 맞춰 일관되게 조정될 수 있습니다. 연구자들은 설정을 미세 조정함으로써 모델을 낙관적이거나 부정적으로, 정직하거나 아첨하는 성향으로 만들 수 있습니다. 계산기, 스프레드시트, 자동 완성 시스템과 달리, 대규모 언어 모델은 이른바 ‘기질’이라고 할 수 있는 특성을 갖출 수 있습니다.
『마그니피카 휴마니타스』는 이러한 점들을 전혀 고려하지 못하고 있다. 이 문서는 다소 신중하지 못한 태도로 AI 시스템이 “경험을 하지 않는다”고 단언하며, 강화 학습으로 알려진 AI 개발의 주요 분야, 즉 경험을 통해 정확히 학습하는 시스템을 설계하는 과학을 간과하고 있다. 이 회칙은 AI가 “데이터와 피드백에 기반한 통계적 적응”을 수행한다는 점을 인정함으로써, 비록 간접적이긴 하지만 이러한 강화 과정을 인정하고 있다. 그러나 “데이터”와 “경험”의 차이는 미묘하다. 인간은 감각 기관을 통해 경험을 받아들이고, 이러한 입력 정보를 전기화학적 신호로 변환한다. 눈과 귀 대신 카메라와 마이크를 갖춘 AI 시스템 역시 경험을 받아들인 뒤 이를 숫자로 변환한다고 말할 수 있다. 높은 차원에서 볼 때, 유기적 기계와 무기적 기계 모두 감각적 입력을 데이터로 변환한다.
구글의 AI 부서인 딥마인드(DeepMind)가 2017년에 개발한 시스템을 예로 들어보자. ‘알파제로(Alpha-Zero)’라고 불리는 이 시스템은 체스, 일본의 체스 변형인 쇼기, 그리고 고대 전략 보드게임인 바둑에서 인간 전문가들을 능가했다. 알파제로는 스스로와 수천만 번의 대국을 치르며—즉, 경험을 축적함으로써—이러한 위업을 달성했다. 이와 유사한 방식으로, 오늘날의 자율주행 차량은 주행 경험을 통해 학습한다. 챗봇은 인간과 상호작용하는 경험을 통해 인간과 대화하는 기술을 익힙니다. 교황 회칙에서 인간에 대해 언급한 표현을 빌리자면, 강화 학습 시스템은 “선택과 실수를 통해 시간이 지남에 따라 성장”하지만, 인간과 달리 “용서와 충실함”을 통해 성장하는 것은 아닙니다.
기계는 피를 흘리지도, 고통을 겪지도, 사랑하지도, 슬퍼하지도, 성적으로 번식하지도 않는다. 인간은 필멸의 존재인 반면, AI 시스템에는 전원을 끄는 스위치가 있다. AI는 도덕적 세계가 아닌 최적화 매트릭스 속에 존재한다. 이러한 차이 때문에 많은 사람들은—비록 ‘의식’이라는 용어의 정의가 모호하더라도—기계가 의식을 결여하고 있으며, 의식과 그것이 제공하는 경험의 질 없이는 진정한 지능이 있을 수 없다고 끊임없이 주장할 것이다. “ “신체를 갖는 것은 감정을 갖는 데 필수적인 전제 조건이다,”라고 SF 작가 테드 치앙은 썼다. “절망과 같은 감정을 경험하는 것은 코르티솔이나 에피네프린과 같은 스트레스 호르몬이 몸에 넘쳐흐르는 것과 떼려야 뗄 수 없다.” 치앙의 주장에 공감하는 이들에게, 현대의 인공 지능은 시얼의 사고 실험에 등장하는 그 남자에게 놀라울 정도로 정교한 규칙집을 갖춰 주었다. 하지만 그는 여전히 중국어를 구사하는 사람은 아니다.
그럼에도 인간과 기계 사이의 유사점은 차이점만큼이나 눈에 띈다. 인간의 뇌는 물리적 대상이며, 컴퓨터를 포함한 우주의 나머지 부분을 지배하는 법칙을 따르는 생물학적 물질로 구성되어 있다. 인간의 뇌는 컴퓨터의 뇌와 마찬가지로 미세한 전류의 흐름에 의해 작동하며, 의견을 형성하거나 계획을 구상할 때 정보를 처리하고 있다. 두개골 안의 끈적거리는 덩어리 속에 의식이나 영혼, 혹은 그 밖의 무언가와 같은 형언할 수 없고 프로그래밍할 수 없는 본질이 담겨 있다는 생각은 직관적으로 매력적으로 느껴질 수 있다. 하지만 분석적인 관점에서 볼 때, 이 생각은 설득력이 부족하다. 그리고 AI가 계속 발전함에 따라 그 설득력은 더욱 약해질 것이다.
신성한 것과 세속적인 것
『Magnifica Humanitas』의 두 번째 주장은 보다 확고한 근거에서 출발한다. 바로 인공지능(AI)은 규제되어야 한다는 점이다. 레오가 주장하듯, AI는 부와 권력의 불평등을 심화시키고, 환경과 인간관계, 일자리를 뒤흔들며, 우리가 무엇을 배우는지, 어떻게 배우는지, 그리고 우리 뇌의 어느 부분이 유휴 상태로 남아 있는지를 재편할 수 있다. 만약 AI가 전쟁을 자동화한다면, 침략의 문턱은 낮아질 수 있다. 책임과 비난은 “‘기계’로 전가될” 수 있다. 인간의 책임은 모호해질 수 있다.
교회가 우려할 만한 충분한 근거가 있다는 점은 옳다. 그러나 엄청나게 광범위한 영향력을 지닌 기술에 직면했을 때, 규제 우선순위를 파악하는 것이 과제인데, 이 부분에서 이 회칙은 미흡한 평가를 받는다. 『마그니피카 휴마니타스』는 “AI의 새로운 독점”을 신랄하게 비판하며, “AI를 통제하는 자들은 자신들의 도덕적 비전을 강요할 것이며, 이는 해당 시스템의 보이지 않는 기반 구조가 될 것”이라고 주장한다. 그러나 AI에 대한 독점은 존재하지 않는다. 오히려 12여 개 기업이 참여하는 전 세계적인 경쟁이 벌어지고 있을 뿐이다. 게다가 이들 중 다수는 자신들의 도덕적 비전에 대해 투명하게 공개하고 있다. 앤트로픽(Anthropic)의 웹사이트에는 84페이지 분량의 헌장이 게재되어 있으며, 구글은 연례 ‘책임 있는 AI 진전 보고서’와 함께 자사의 AI 원칙을 공개하고 있다. 물론 이러한 노력은 개선될 여지가 있다. 그러나 독점적 불투명성을 부각시키는 것은 다소 의아한 강조점이다.
이 회칙은 “데이터의 소유권을 오로지 민간에 맡겨둘 수는 없다”고 주장하며, 대신 “참여의 정신으로 데이터를 공동재나 공유재로 관리하는 것”을 목표로 삼아야 한다고 밝히고 있다. 하지만 참여형 관리는 이상주의적인 추상 개념에 불과하다. 진정한 우려는 데이터의 사적 소유가 아니라 데이터 침해 문제다. 수많은 출판사들이 저작권이 있는 텍스트를 무단으로 사용한 AI 연구소를 상대로 소송을 제기하고 있다. 인터넷에 연결된 개인이나 기관이라면 누구나 자사의 독점 데이터가 AI 훈련 데이터 세트에 무단으로 흡수될 위험에 직면해 있다. 지적 재산권이 대거 도용당한다면, 이를 더 많이 창출하려는 동기는 거의 사라질 것이다.
이 회칙이 군사용 AI에 대해 제기한 비판 역시 의아스럽다. 치명적인 AI 시스템은 책임을 져야 하며, 법원의 명령과 법률, 그리고 상급 인간 지휘관의 지시를 따라야 한다는 주장은 타당하다. 이 회칙은 이러한 견해를 지지하지만, 한 걸음 더 나아가 “치명적인 무력을 사용하기로 한 결정은 불투명하거나 자동화된 절차에 위임될 수 없다”고 단정적으로 밝히고 있다. 안타깝게도 이는 비현실적이다. 일단 AI가 전장에서 신속하고 정확한 결정을 내릴 수 있게 되면, 그 사용은 불가피해질 것이다. AI를 기피하는 군대는 이를 채택한 군대에 패배할 것이다.
이러한 적극적인 오류는 소극적인 오류로 인해 더욱 악화된다. 회칙은 AI에 대한 “독립적인 감독”과 “책임을 회피하지 않는 정치 체제”를 올바르게 요구하고 있다. 하지만 이 문서는 AI 거버넌스에 대한 논쟁의 핵심을 충분히 다루지 못하고 있다. 사후 책임을 강조하며, 결정이 “이해 가능하고, 이의를 제기할 수 있으며, 감독을 받을 수 있어야 한다”고 요구한다. 그러나 모델이 애초에 공개되어야 하는지 여부를 결정해야 할 정부의 책임에 대해서는 침묵하고 있다. 이러한 침묵은 선택적이다. 교회는 자율 살상 무기를 다룰 때는 구체적인 지침을 제시하는 데 아무런 어려움이 없다. 국가의 AI 규제 당국이 최첨단 모델이 공개되기 전에 이를 테스트하고 위험한 모델의 출시를 차단해야 한다고 말하는 것이, 교회의 가르침에 비추어 볼 때 어렵거나 논란의 여지가 있는 일도 아니었을 것이다.
마지막으로, 이 회칙은 빈곤층의 배제에 대해서는 많은 내용을 다루고 있지만, 그들을 돕기 위한 재분배 정책에 대해서는 아무 언급도 하지 않고 있다. 이 회칙이 지지할 수 있었던 몇 가지 방안이 있다. 노동에서 자본으로의 세금 부담 전환을 통해 노동자가 기계로 대체되는 속도를 늦추는 것, 실직 근로자가 새로운 직장에서 받는 임금을 보전해 주어 타격을 완화하는 임금 보험, 18세 미만 시민들에게 AI 기업 주식을 배분하여 AI 도입으로 인한 이익에 대해 비록 미미하더라도 공동의 이해관계를 형성하게 하는 것 등이다. 유권자들의 우려가 커짐에 따라 사회가 이러한 정책들을 채택하게 될 것임은 의심의 여지가 없다. 교회는 더 빠른 전환을 촉구할 기회를 놓쳤다.
정책의 연옥
AI가 발전함에 따라, 종교적·세속적 권위를 가진 다른 인물들도 인류가 AI의 미래를 받아들일 수 있도록 돕기 위해 나설 것이다. 운이 좋다면, 그들은 교황보다 더 나은 모습을 보여줄 것이다. 즉, 인간의 예외성에 대한 모호한 주장에 덜 집중하고, 독점에 대한 엉뚱한 논점을 피하며, 대신 새로운 시스템에 대한 전 세계의 대응에서 가장 두드러지는 공백에 주목할 것이다. 이러한 공백의 성격은 AI의 역사가 전개됨에 따라 변화할 것이다. 현재로서는 세 가지 격차가 두드러진다.
첫 번째는 ‘핵확산금지조약’에 상응하는 AI 협약의 필요성이다. 가장 위협적인 AI 기술이 전 세계로 확산되어 범죄자나 테러리스트의 손에 들어갈 경우, 각국 정부가 어떤 조치를 취할 것인지에 대해 설명한 저명한 지도자는 아무도 없다. 트럼프 행정부는 이러한 위협을 암묵적으로 인정했다. AI에 대한 자유방임적 입장을 버리고, 극도로 파괴적인 사이버 공격을 가할 수 있는 최첨단 모델의 출시를 통제해 왔다. 그러나 이 행정부는 중국을 비롯한 추종 연구소들이 몇 달 안에 사이버 해킹 시스템을 확보할 가능성이 높다는 사실과, 해당 연구소들이 현재 모델을 ‘오픈 웨이트(open weight)’ 방식으로 공개하고 있어 누구나 사용할 수 있으며 킬 스위치도 존재하지 않는다는 현실을 간과하고 있다. 일단 누군가가 이러한 모델에 접근하게 되면, 그 사용을 막을 수 있는 사람은 아무도 없습니다.
이러한 결과를 막기 위해서는 미국이 중국 및 기타 강대국들과 공동 안전 원칙을 협상해야 합니다. 이러한 협상은 쉽지 않을 것입니다. 하지만 그렇지 않을 경우, 치료법이 존재하지 않는 새로운 생물학적 무기를 설계할 수 있는 AI 모델과 같이 엄청난 피해를 입히는 위험한 도구들이 대량으로 확산될 것입니다.
오늘날 AI에 대한 대응에서 두 번째로 두드러지는 허점은 세제 개혁입니다. 정부들은 과거 타당한 이유들로 인해 자본보다 노동에 훨씬 더 높은 세율을 적용해 왔다. 노동은 이동성이 낮아 세금을 징수하기 쉽고, 자본 투자는 인간의 생산성과 임금을 높이는 경향이 있어 노동에 대한 세금은 간접적으로 자본 지출로 인한 이익을 확보할 수 있기 때문이다. 그러나 기계가 인간을 보완하기보다는 대체하기 시작한다면, 노동에 집중된 과세는 AI가 창출한 성장에서 발생하는 세수를 확보하지 못할 수 있으며, 이로 인해 정부는 AI로 인한 구조 조정에서 피해를 입은 이들을 돕는 데 필요한 자원을 확보하지 못하게 될 것이다. 한편, 과도한 노동세는 기업이 근로자를 기계로 대체하려는 유인을 강화하여 일자리 대체를 가속화하고 실업률을 높인다. AI 업계가 예측한 대규모 일자리 대체가 절반만 사실로 드러난다 해도, 해고를 부추기는 노동세는 유권자들이 AI 프로젝트 전체에 반발하게 만들 것이다.
마지막으로 눈에 띄는 격차는 기계 지능의 본질에 대한 논쟁과 관련이 있습니다. AI 알고리즘이 인간의 생각과 감정에 상응하는 것을 어느 정도까지 생성해 내는지 여부는 결코 해결되지 않을 수도 있는 철학적 질문이지만, AI 시스템이 정확히 어떻게 작동하는지 이해하는 것은 실용적이고 시급한 목표입니다. 최고의 AI 연구소들은 ‘AI의 해석 가능성’으로 알려진 이 분야에서 진전을 이루고 있습니다. 그러나 이 과제를 해결하려는 대중의 관심을 고려할 때, 최첨단 AI 모델의 훈련에 세금을 부과하고 그 수익금을 정부 산하 AI 감독 기관이나 대학의 추가 연구에 투입해야 한다는 주장이 제기되고 있다. ‘마그니피카 휴머니타스(Magnifica Humanitas)’는 기계 내부에 알아볼 만한 가치가 있는 사고가 존재하지 않기 때문에 우리가 기계 내부의 사고를 알 수 없다고 주장한다. 그러나 사실은 정반대다. 기계는 결코 우리의 도덕적 세계에 동참하지는 않겠지만, 인간이 기계를 통제하고자 한다면 먼저 기계를 이해해야 한다.
