AI 진화와 지능에 대한 우리의 이해(옮김, 번역)

1.
페이스북 최승준님은 꾸준히 AI와 관련한 논문을 번역해서 올리고 계십니다. 아래는 그중 하나입니다. 개인적으로 AI 기술 자체보다는 AI와 관련한 인간의 의식, 창의성 혹은 마음에 대한 주제에 관심을 가지고 있습니다. 관련한 책도 읽으면서 개인적인 정리를 하고 있습니다. 아래는 전적으로 개인적인 글모음의 일환입니다.

2.
위 번역의 원문은 AI Is Evolving — And Changing Our Understanding Of Intelligence입니다.

블레즈 아구에라 이 아르카스(Blaise Agüera y Arcas) 및 제임스 마니카(James Manyika) 공저

오늘날 인공지능의 극적인 발전은 진정한 지능이 무엇인지에 대한 우리의 이해를 다시 생각하도록 강요하고 있습니다. 새로운 통찰력은 우리가 더 나은 AI를 구축하고 우리 자신을 더 잘 이해할 수 있도록 해줄 것입니다.
간단히 말해, 우리는 패러다임 전환의 영역에 있습니다.
패러다임 전환은 기존의 세계관과 양립 가능할 때 새로운 아이디어를 받아들이기 쉽지만 그렇지 않을 때는 더 어렵기 때문에 종종 난관에 부딪힙니다. 고전적인 예는 약 2천 년 동안 우주론적 사고를 지배했던 지구 중심 패러다임의 붕괴입니다. 지구 중심 모델에서는 태양이, 달, 행성 및 별들이 우리 주위를 공전하는 동안 지구는 가만히 서 있었습니다. 우리가 우주의 중심에 있다는 믿음은 당대의 주요 과학적 성과였던 프톨레마이오스의 주전원 이론에 의해 강화되었으며, 직관적이면서도 종교적 전통과 양립 가능했습니다. 따라서 코페르니쿠스의 태양 중심 패러다임은 단순한 과학적 진보가 아니라 뜨겁게 논쟁된 이단이었고, 어쩌면 어떤 이들에게는 벤자민 브래튼이 언급했듯이 실존적 트라우마였을 수도 있습니다. 오늘날 인공지능도 마찬가지입니다.

이 에세이에서 우리는 AI 개발에 영향을 미치는 다섯 가지 상호 연관된 패러다임 전환에 대해 설명할 것입니다.

자연적 컴퓨팅(Natural Computing) — 최초의 “인공 컴퓨터”를 만들기 훨씬 이전부터 컴퓨팅은 자연에 존재했습니다. 컴퓨팅을 자연 현상으로 이해하는 것은 컴퓨터 과학과 AI뿐만 아니라 물리학과 생물학에서도 근본적인 발전을 가능하게 할 것입니다.
신경 컴퓨팅(Neural Computing) — 우리의 뇌는 자연적 컴퓨팅의 정교한 사례입니다. AI를 구동하는 컴퓨터를 뇌와 더 유사하게 작동하도록 재설계하면 AI의 에너지 효율성은 물론 기능도 크게 향상될 것입니다.
예측 지능(Predictive Intelligence) — 대규모 언어 모델(LLM)의 성공은 지능의 본질에 대해 근본적인 것을 보여줍니다. 즉, 지능은 과거의 진화하는 지식, 관찰, 피드백을 바탕으로 미래(자신의 미래 행동 포함)를 통계적으로 모델링하는 것을 포함합니다. 이러한 통찰력은 현재 AI 모델의 설계, 훈련, 실행 간의 구분이 일시적임을 시사합니다. 더욱 정교한 AI는 우리처럼 지속적이고 상호 작용적으로 진화하고, 성장하며, 학습할 것입니다.
일반 지능(General Intelligence) — 지능이 반드시 생물학적 기반의 계산을 필요로 하는 것은 아닙니다. AI 모델은 계속 개선되겠지만, 이미 광범위한 능력을 갖추고 있으며, 점점 더 많은 범위의 인지 작업을 인간 개인의 능력에 근접하거나 경우에 따라 능가하는 수준의 기술로 처리하고 있습니다. 이런 의미에서 “인공 일반 지능”(AGI)은 이미 여기에 있을 수 있습니다. 단지 우리는 계속 목표를 바꾸고 있을 뿐입니다.
집단 지능(Collective Intelligence) — 뇌, AI 에이전트, 사회 모두 규모가 커짐에 따라 능력이 향상될 수 있습니다. 하지만 크기만으로는 충분하지 않습니다. 지능은 근본적으로 사회적이며, 많은 에이전트 간의 협력과 분업에 의해 구동됩니다. 인간(또는 “인간 이상의”) 지능의 본질을 다시 생각하게 만드는 것 외에도, 이 통찰력은 계산 비용을 줄이고 AI 이질성을 높이며 AI 안전 논쟁을 재구성할 수 있는 지능의 사회적 집합체와 AI 개발에 대한 다중 에이전트 접근 방식을 시사합니다.
하지만 우리 자신의 “지능 지구 중심주의”를 이해하려면 컴퓨팅의 본질에 대한 우리의 가정을 재평가하는 것으로 시작해야 합니다. 왜냐하면 그것이 AI와 (우리가 주장하겠지만) 어떤 형태의 지능의 기초이기 때문입니다.

자연적 컴퓨팅

“컴퓨터 과학”은 과연 과학일까요? 종종 그것은 공학 분야로 더 많이 간주됩니다. 제2차 세계 대전 시대의 전기 수치 적분 및 계산기(ENIAC)와 함께 탄생한 ENIAC은 최초의 완전 프로그래밍 가능한 범용 전자 컴퓨터이자 스마트폰의 먼 조상이었습니다.
하지만 이론 컴퓨터 과학은 컴퓨터 공학보다 앞서 있습니다. 영국의 수학자 앨런 튜링이 1936년에 발표한 획기적인 논문은 오늘날 우리가 튜링 머신이라고 부르는 상상 속 장치를 소개했습니다. 이 장치는 테이프를 따라 좌우로 움직일 수 있는 헤드로 구성되어 있으며, 일련의 규칙에 따라 테이프에 있는 기호를 읽고, 지우고, 쓸 수 있습니다. 적절한 규칙이 부여된 튜링 머신은 테이프에 인코딩된 지침, 즉 우리가 현재 컴퓨터 프로그램이나 코드라고 부르는 것을 따를 수 있으며, 이를 통해 이러한 “범용 튜링 머신”(UTM)은 임의의 계산을 수행할 수 있습니다. 반대로, 계산은 UTM이 할 수 있는 모든 것입니다. 1945년에 ENIAC이 완성되었을 때, 그것은 세계 최초의 실제 UTM이 되었습니다.
어쩌면 그렇지 않을 수도 있습니다. 요크 대학의 수잔 스텝니와 같이 물리학과 컴퓨터 과학 모두에서 깊은 배경 지식을 가진 작지만 늘어나는 이단 연구자들은 2014년 학술지 “왕립학회 회보 A(Proceedings of The Royal Society A)”에 자연계가 “명백한 인간 컴퓨터 사용자가 없는” 계산 시스템으로 가득 차 있다는 주장을 제기했습니다. 20세기 물리학의 거물인 존 휠러는 우주의 근본 구조가 계산적이라고 주장하는 급진적인 “it from bit” 가설을 옹호했습니다. 휠러에 따르면, 우리가 물리적이라고 여기는 기본 현상, 즉 쿼크, 전자, 광자는 인터넷 패킷이나 이미지 픽셀처럼 근본적인 계산의 산물입니다.
“AI 시대의 가장 큰 코페르니쿠스적 트라우마는 일반적인 비인간 지능이 얼마나 흔할 수 있는지를 단순히 받아들이는 것일지도 모릅니다.”
양자 역학의 일부 해석에서는 이러한 계산이 다중 우주에서 발생합니다. 즉, 서로 얽힌 우주에서 엄청난 수의 계산이 병렬로 이루어지는 것입니다. 근본적인 물리학을 어떻게 해석하든, 양자 컴퓨팅이라는 매우 현실적인 기술은 그 병렬성을 활용하여 오늘날 가장 강력한 슈퍼컴퓨터에서 우주의 수명보다 몇 배는 더 걸릴 특정 계산을 몇 분 안에 수행할 수 있게 해줍니다. 이것은 어떤 기준으로 보든 컴퓨팅의 패러다임 전환입니다.
컴퓨팅이 물리적 현실의 근간이라는 주장은 증명하거나 반증하기 어렵지만, 자연에서의 컴퓨팅에 대한 명확한 사례는 휠러의 “it from bit” 가설보다 훨씬 일찍 밝혀졌습니다. 저명한 수리 물리학자이자 컴퓨터 과학의 또 다른 창시자인 존 폰 노이만은 1951년에 컴퓨팅과 생물학 사이에 심오한 연관성을 발견했습니다.
폰 노이만은 복잡한 유기체가 번식하기 위해서는 스스로를 구축하기 위한 지침과 그 지침 “테이프”를 읽고 실행하는 기계가 필요하다는 것을 깨달았습니다. 테이프는 복사 가능해야 하며, 그것을 읽는 기계를 구축하기 위한 지침도 포함해야 합니다. 공교롭게도, 그러한 “범용 생성자”에 대한 기술적 요구 사항은 UTM에 대한 기술적 요구 사항과 정확히 일치합니다. 놀랍게도, 폰 노이만의 통찰력은 1953년에 DNA의 튜링 테이프와 같은 구조 및 기능 발견보다 앞섰습니다.
폰 노이만은 생명체가 본질적으로 계산적임을 보여주었습니다. 이것은 우리가 컴퓨터를 명백히 살아있지 않은 것으로, 살아있는 것을 컴퓨터가 아닌 것으로 생각하기 때문에 놀랍게 들릴 수 있습니다. 하지만 사실입니다. DNA는 코드입니다. 비록 그 코드는 역분석하기 어렵고 순차적으로 실행되지 않지만 말입니다. 살아있는 것은 번식뿐만 아니라 발달, 성장, 치유를 위해 필연적으로 계산합니다. 그리고 근본적인 생물학적 시스템을 편집하거나 프로그래밍하는 것이 점점 더 가능해지고 있습니다.
튜링 역시 이론 생물학에 중대한 기여를 했습니다. 그는 조직의 성장과 분화가 “형태형성소(morphogens)”라고 불리는 화학 신호를 감지하고 방출할 수 있는 세포에 의해 어떻게 구현될 수 있는지 설명했는데, 이는 강력한 형태의 아날로그 컴퓨팅입니다. 폰 노이만처럼 튜링은 생물학 연구실에 발을 들여놓은 적이 없었음에도 불구하고 이를 정확하게 파악했습니다.
생물학의 계산적 기반을 밝힘으로써 튜링과 폰 노이만은 인공 생명 또는 “ALife” 분야의 토대를 마련했습니다. 이 분야는 최근까지 인공지능이 그랬던 것처럼 오늘날에도 모호하고 전(前) 패러다임적 상태로 남아 있습니다.
그러나 AI가 그랬던 것처럼 ALife도 곧 꽃을 피울 모든 이유가 있습니다. AI의 진정한 발전은 뇌와 같은 복잡성에 접근하는 데 필요한 수십억 개의 뉴런 활동을 모델링(또는 최소한 모방)할 수 있을 만큼 충분한 “인공” 계산 능력을 확보할 때까지 기다려야 했습니다. *De novo* ALife는 지구상의 수십억 년의 진화를 반복해야 하므로 훨씬 더 나아가야 합니다. 그것은 여전히 엄청난 노력입니다. 하지만 우리는 진전을 이루고 있습니다.
구글의 우리의 “지능 패러다임” 팀이 최근 수행한 실험은 컴퓨팅을 지원할 수 있는 시뮬레이션된 장난감 우주에서 무작위성 외에는 아무것도 없는 상태에서 최소한의 “생명체”가 자발적으로 출현할 수 있음을 보여주었습니다. 그러한 실험 중 하나는 각각 64바이트 길이의 무작위 문자열 “수프”에서 시작하는 것입니다. 256개의 가능한 바이트 값 중 8개는 1990년대의 최소 프로그래밍 언어인 “Brainfuck”의 명령에 해당합니다. 이 바이트 문자열은 튜링 테이프로 생각할 수 있으며, 8개의 컴퓨터 명령은 튜링 머신의 기본 연산을 지정합니다. 이 실험은 수프에서 무작위로 두 개의 테이프를 반복적으로 선택하여 이어 붙이고, 이어 붙인 테이프를 “실행”하고, 테이프를 다시 분리하고, 수프에 다시 넣는 것으로 구성됩니다. 처음에는 별다른 일이 일어나지 않는 것처럼 보입니다. 우리는 무작위 테이프만 보며, 가끔 무작위로 보이는 바이트가 수정됩니다. 하지만 수백만 번의 상호 작용 후에 기능적인 테이프가 나타나 자가 복제를 시작합니다. 최소한의 인공 생명입니다.
인공 생명의 출현은 물이 얼거나 끓는 것처럼 상전이와 같습니다. 그러나 기존 물질의 상이 통계적 균일성(얼음의 경우 질서 정연한 원자 격자, 기체의 경우 무작위 원자 위치, 액체의 경우 그 중간 상태)으로 특징지어지는 반면, 살아있는 물질은 훨씬 더 복잡하며, 모든 규모에서 다양하고 목적 있는 구조를 보여줍니다. 이는 컴퓨팅이 기계, 유기체 또는 프로그램에서 분명히 드러나듯이 함께 작동해야 하는 개별적인 기능적 부분을 요구하기 때문입니다.
우리 시뮬레이션에서 무작위 노이즈에서 복잡하고 목적 있는 기능적 구조가 출현하는 것을 보는 것은 마법 같은 일입니다. 하지만 그것에는 초자연적이거나 기적적인 것은 없습니다. 수십억 년 전에 지구에서 비생명체에서 생명체로의 유사한 상전이가 발생했으며, 다른 생명 친화적인 행성이나 위성에서도 유사한 사건이 일어날 수 있다고 가설을 세울 수 있습니다.
“생명은 성장, 치유 또는 번식에 안정성이 달려 있기 때문에 계산적이며, 컴퓨팅 자체는 이러한 필수 기능을 지원하기 위해 진화해야 합니다.”
어떻게 생명의 복잡성이 무작위 환경에서 발생할 수 있을 뿐만 아니라 지속될 수 있을까요? 답은 자가 치유하거나 번식하는 생명과 같은 것은 무기물이나 비생명체보다 더 “동적 안정성”을 갖는다는 것입니다. 왜냐하면 살아있는 개체(또는 그 자손)는 미래에도 존재할 것이지만, 무생물은 시간이 지남에 따라 퇴화하여 무작위성에 굴복하기 때문입니다. 생명은 성장, 치유 또는 번식에 안정성이 달려 있기 때문에 계산적이며, 컴퓨팅 자체는 이러한 필수 기능을 지원하기 위해 진화해야 합니다.
생명에 대한 이러한 계산적 관점은 진화 시간 동안 생명의 복잡성이 증가하는 것에 대한 통찰력도 제공합니다. 생명체 자체를 포함한 계산적 물질은 함께 작동해야 하는 개별적인 부분으로 구성되어 있기 때문에 진화는 부분과 전체에 동시에 작용하며, 이는 생물학에서 “다수준 선택”으로 알려진 과정입니다.
기존 부분(또는 유기체)은 반복적으로 결합하여 점점 더 크고 복잡한 개체를 만들 수 있습니다. 오래 전 원시 바다 밑바닥에서 (현재 통용되는 이해에 따르면) 분자들이 모여 자가 복제 또는 “자가촉매” 반응 주기를 형성했습니다. 이러한 화학 주기는 지방 막과 결합하여 가장 초기 세포를 형성했습니다. 박테리아와 고세균이 결합하여 진핵 세포를 형성했습니다. 이러한 복잡한 세포들이 결합하여 다세포 유기체를 형성했으며, 등등입니다. 이러한 각각의 주요 진화적 전환은 기능적 공생을 수반했습니다. 이는 이전에 독립적이었던 개체들이 더 큰 전체를 만들기 위해 힘을 합치는 형태의 상호 의존성입니다.
이 진화적 사다리의 첫 번째 단계는 유전적 코드를 유전할 수 있는 살아있는 개체를 포함하지 않았습니다. 그러나 일단 힘을 합친 개체가 살아 있었고 (따라서 계산적이었기 때문에), 그 이후의 모든 조합은 공생적 전체의 잠재적 계산 능력을 증가시켰습니다. 그러한 가장 초기 생명체보다 훨씬 높은 단계인 인간 수준의 지능은 약 860억 개의 뉴런이 모두 병렬로 처리하는 결합된 계산에서 발생합니다.

신경 컴퓨팅

컴퓨팅 개척자들은 우리 뇌의 계산적 본질을 잘 알고 있었습니다. 사실, 1940년대에는 신생 컴퓨터 과학 분야와 신경 과학 분야 사이에 큰 차이가 없었습니다. 전자 컴퓨터는 이전 세기에 공장 기계가 육체 노동을 자동화하기 위해 개발되었던 것처럼 산업 규모로 정신 작용을 수행하기 위해 개발되었습니다. 원래 반복적인 정신 작업은 인간 컴퓨터에 의해 수행되었습니다. 전쟁 노력과 나중에는 우주 경쟁에 필요한 긴 계산을 수행한 여성들(“숨겨진 인물들”)과 같은 사람들이었습니다.
따라서 새로운 “인공” 컴퓨터의 핵심을 이루는 전자 회로를 구성하는 논리 게이트는 원래 인공 뉴런으로 구상되었습니다. 컴퓨터를 “전자 두뇌”라고 언급한 언론인들은 단순히 20세기 중반의 클릭베이트를 쓴 것이 아니었습니다. 그들은 컴퓨터 과학 개척자들의 야망을 묘사하고 있었습니다. 그리고 그러한 첫 번째 컴퓨터 과학자들이 어떤 종류의 사고든 재현하려고 노력한 것은 자연스러운 일이었습니다.
그러한 희망은 곧 무산되었습니다. 한편으로 디지털 컴퓨터는 우리가 지정하는 방법을 알고 있는 좁은 절차적 작업에서 엄청난 성공을 거두었습니다. 전자 컴퓨터는 로켓 궤도 계산부터 급여 추적에 이르기까지 인간 컴퓨터의 작업을 저렴하고 완벽하게 대규모로 수행하도록 프로그래밍될 수 있었습니다. 다른 한편으로, 1950년대에 신경 과학자들은 실제 뉴런이 논리 게이트보다 훨씬 더 복잡하다는 것을 발견했습니다.
더욱 나쁜 것은 시각 인식부터 기본적인 언어 이해에 이르기까지 가장 간단한 일상적인 인간 기능조차 수행할 수 있는 프로그램을 작성하는 것이 불가능하다는 것이 입증되었습니다. 미묘한 추론, 문학 분석 또는 예술적 창의성은 말할 것도 없습니다. 우리는 그런 것들에 대한 정확한 절차를 어떻게 작성해야 하는지 전혀 몰랐습니다. 그렇게 하려는 실패한 시도는 현재 “구식 인공지능” 또는 GOFAI로 알려져 있습니다. 우리는 HAL 9000을 만들려고 했지만, 대신 “약속을 잡으려면 1번을 누르세요. 기존 약속을 수정하려면 2번을 누르세요”라는 결과물을 얻었습니다.
GOFAI의 실패를 정당화하기 위한 그럴듯한 내러티브가 등장했습니다. 컴퓨터는 뇌가 아니고, 뇌는 컴퓨터가 아니라는 것입니다. 그 반대의 어떤 주장도 순진하거나, “과장”이거나, 기껏해야 부적절한 비유였습니다. 인간의 행동은 프로그래밍될 수 없다는 생각에는 아마도 어느 정도 안심할 수 있는 점이 있었을 것입니다. 대부분의 경우 신경 과학과 컴퓨터 과학은 각자의 길을 갔습니다.
그러나 “계산 신경 과학자”들은 뇌를 정보 처리 시스템으로 계속 연구했습니다. 비록 그것이 기존 전자 컴퓨터와는 근본적으로 다른 설계에 기반한 시스템일지라도 말입니다. 뇌는 중앙 처리 장치나 별도의 메모리 저장 장치가 없으며, 지침을 순차적으로만 실행하지도 않고, 이진 논리를 사용하지도 않습니다. 그래도 튜링이 보여주었듯이 컴퓨팅은 보편적입니다. 충분한 시간과 메모리가 주어진다면 어떤 컴퓨터든(생물학적이든 기술적이든) 다른 어떤 컴퓨터든 시뮬레이션할 수 있습니다. 실제로 수년에 걸쳐 신경 과학자들은 생물학적 뉴런과 신경망에 대한 점점 더 정확한 계산 모델을 구축해 왔습니다. 이러한 모델은 신경 활동을 가장 명확하게 특징짓는 전부 아니면 없음의 펄스 또는 “활동 전위”뿐만 아니라 화학 신호, 유전자 발현, 전기장 및 기타 여러 현상의 영향도 포함할 수 있습니다.
“가장 초기 생명체보다 훨씬 높은 단계인 인간 수준의 지능은 약 860억 개의 뉴런이 모두 병렬로 처리하는 결합된 계산에서 발생합니다.”
여기서 “모델”이라는 단어를 풀어보는 것이 중요합니다. 전통적인 용법에서 모델 철도나 금융 모델처럼 모델은 실제와는 단연코 다릅니다. 그것은 지도이지 실제 영토가 아닙니다. 신경 과학자들이 신경망 모델을 구축할 때는 일반적으로 이러한 맥락에서입니다. 그들은 뇌가 어떻게 작동하는지 배우려고 노력하는 것이지 컴퓨터가 생각하도록 만들려고 하는 것이 아닙니다. 따라서 그들의 모델은 극도로 단순화되어 있습니다.
그러나 계산 신경 과학은 뇌 또한 계산에 분주하다는 것을 상기시켜 줍니다. 그리고 그러한 뇌가 계산하는 기능 자체도 모델입니다. 따라서 영토는 지도입니다. 즉, 지도가 영토만큼 크다면 실제와 같을 것이며, 모델 철도가 실물 크기라면 그러할 것입니다. 다시 말해, 완전히 실현된 모델 뇌를 구축한다면, 그것은 우리를 모델링할 수도 있을 것입니다!
GOFAI가 반복적인 호황과 불황 주기를 겪는 동안에도 컴퓨터가 생각하도록 만드는 방법에 대한 대안적인 “연결주의” 학파는 계속 지속되었고, 종종 계산 신경 과학과 교차했습니다. 프로그래머가 지정한 규칙에 기반한 기호 논리 대신, 연결주의자들은 우리가 주로 그러하듯이 신경망이 경험을 통해 학습할 수 있는 “기계 학습”을 받아들였습니다.
종종 GOFAI에 의해 가려졌지만, 연결주의자들은 인공 신경망이 실제 인지 작업을 수행하도록 만드는 노력을 멈추지 않았습니다. 이러한 끈질긴 지지자들 중에는 기계 학습 연구로 작년에 노벨 물리학상을 수상한 제프리 힌튼과 존 홉필드가 있었습니다. 프랭크 로젠블랫과 제임스 맥클레랜드와 같은 미국의 심리학자들과 후쿠시마 쿠니히코와 같은 일본 컴퓨터 과학자들을 비롯한 이 분야의 다른 많은 개척자들은 덜 널리 인정받았습니다. 불행히도 20세기 컴퓨팅 패러다임은 (적어도 1990년대까지) 신경망에 대한 광범위한 회의론뿐만 아니라 프로그래밍이 본질적으로 상징적이었기 때문에 기계 학습에 불리했습니다. 컴퓨터는 순차적으로 지침을 실행하기 위해 만들어졌으며, 이는 신경 컴퓨팅에는 적합하지 않았습니다. 원래 이것은 설계 선택이었습니다.
최초의 논리 게이트는 진공관을 사용하여 만들어졌으며, 이는 신뢰할 수 없고 자주 교체해야 했습니다. 컴퓨팅을 가능한 한 강력하게 만들기 위해 각 튜브에 대해 구별 가능한 최소한의 “상태”(“꺼짐” 또는 “켜짐”)에 모든 계산을 기반으로 하는 것이 자연스러웠습니다. 따라서 0과 1만 사용하는 이진법이 사용되었으며, 이는 “참”(또는 1)과 “거짓”(또는 0)을 기본 기호로 사용하는 불 논리의 자연스러운 기반이기도 합니다.
또한 오류 발생 가능성이 적은 최소한의 튜브를 사용하여 “중앙 처리 장치”(CPU)를 구축하는 것이 자연스러웠으며, 이는 하나의 지침을 순서대로 실행하는 데 사용될 것입니다. 이것은 처리와 메모리를 분리하고 케이블 또는 “버스”를 사용하여 데이터와 지침을 메모리에서 CPU로, 그리고 다시 CPU에서 메모리로 순차적으로 전달하는 것을 의미했습니다.
이 “고전적” 컴퓨팅 패러다임은 무어의 법칙 덕분에 오랫동안 번성했습니다. 무어의 법칙은 칩 제조업체인 인텔의 미래 창립자인 고든 무어가 1965년에 발표한 유명한 관찰로서, 소형화가 매년 또는 2년마다 칩에 트랜지스터 수를 두 배로 늘린다는 것입니다. 트랜지스터가 작아짐에 따라 기하급수적으로 더 빠르고 저렴해졌으며 더 적은 전력을 소비했습니다. 따라서 거대하고 값비싼 메인프레임은 미니, 그런 다음 데스크톱, 노트북, 전화기, 웨어러블로 바뀌었습니다. 이제 주사바늘을 통과할 수 있을 만큼 작은 컴퓨터도 존재합니다. 노트북과 전화기는 주로 배터리와 화면으로 구성됩니다. 그러한 장치의 실제 컴퓨터, 즉 “시스템 온 칩”(SoC)은 면적이 약 1제곱센티미터에 불과하며 두께는 0.1밀리미터입니다. 한 방울의 물이 그 부피의 몇 배를 차지합니다.
이러한 규모의 진전은 놀랍지만 뇌 방향으로 이어지지는 않습니다. 여러분의 뇌는 작지도 빠르지도 않습니다. 스마트워치의 컴퓨터보다 훨씬 느리게 작동합니다. 하지만 약 860억 개의 뉴런이 동시에 작동하고 있다는 것을 기억하십시오. 이는 정말 방대한 양의 계산을 합산하며, 비교적 느리게 발생하고 로컬에 저장된 정보를 사용하기 때문에 에너지 효율적입니다. 인공 신경 컴퓨팅은 컴퓨터 속도가 빨라졌음에도 불구하고 계속 비효율적이었습니다. 왜냐하면 지침을 순차적으로 실행했기 때문입니다. 필요에 따라 별도의 메모리에서 데이터를 읽고 썼습니다.
엔비디아와 같은 회사들이 여러 프로세서를 병렬로 실행하는 칩을 설계하기 시작했을 때에야 비로소 의미 있는 크기의 신경망을 실행하는 것이 가능해졌습니다. 병렬화는 부분적으로 원래 형태의 무어의 법칙이 점차 사라지는 것에 대한 응답이었습니다. 트랜지스터는 계속 작아졌지만, 2006년경부터는 더 이상 빠르게 작동하게 만들 수 없었습니다. 실제적인 한계는 초당 수십억 사이클이었습니다.
“인공 신경 컴퓨팅은 컴퓨터 속도가 빨라졌음에도 불구하고 계속 비효율적이었습니다. 왜냐하면 지침을 순차적으로 실행했기 때문입니다.”
병렬화는 프로그래밍 모델을 변경하여 짧은 코드 조각(원래 “픽셀 셰이더”라고 불렸는데, 그래픽을 위해 설계되었기 때문입니다)이 많은 프로세서에서 동시에 실행되도록 선호하는 것을 의미했습니다. 셰이더는 신경망을 병렬화하는 데 이상적임이 밝혀졌습니다. 따라서 원래 게임을 위해 설계된 그래픽 처리 장치(GPU)가 현재 AI를 구동합니다. 구글의 텐서 처리 장치(TPU)는 유사한 설계 원리에 기반합니다.
GPU와 TPU는 올바른 방향으로의 진전이지만, 오늘날 AI 인프라는 여전히 고전적인 유산에 의해 방해받고 있습니다. 우리는 여전히 로컬에 저장된 데이터에서 모두 병렬로 작동하는 수십억 개의 프로세서가 장착된 칩과는 거리가 멀습니다. 그리고 AI 모델은 여전히 순차적인 지침을 사용하여 구현됩니다. 기존의 컴퓨터 프로그래밍, 칩 아키텍처, 시스템 설계는 단순히 뇌와 같지 않습니다. 우리는 고전적인 컴퓨터에서 신경 컴퓨팅을 시뮬레이션하고 있는데, 이는 비효율적입니다. 인간 계산 시대에 뇌로 고전적인 컴퓨팅을 시뮬레이션했던 것처럼 말입니다.
하지만 앞으로 몇 년 동안 우리는 진정한 신경 컴퓨팅 패러다임이 출현할 것으로 기대합니다. 신경 컴퓨팅은 결국 광자, 생물학, 화학, 양자 또는 기타 완전히 새로운 기판 위에서 달성될 수 있습니다. 그러나 “실리콘 뇌”가 익숙한 칩 기술을 사용하여 제조된다 하더라도, 그 구성 요소는 다르게 구성될 것입니다. 실리콘의 매 제곱 센티미터는 뉴런처럼 수백만 개의 정보 처리 노드를 포함할 것이며, 모두 동시에 작동할 것입니다.
이러한 신경 칩은 프로그램을 실행하지 않을 것입니다. 기능은 (오늘날 우리가 가지고 있는 종류의 코드가 아닌) 코드가 아니라 컴퓨팅 영역 전체에 저장된 수십억 또는 수조 개의 숫자 매개변수에 의해 결정될 것입니다. 신경 실리콘 뇌는 “플래시”될 수 있으며, 매개변수는 원하는 대로 초기화될 수 있습니다. 하지만 경험을 통해 학습하고 즉석에서 해당 매개변수를 수정할 수도 있습니다. 계산은 분산되고 강력할 것입니다. 가끔 발생하는 오류나 국지적인 손상은 중요하지 않을 것입니다. 이것이 뇌를 구축하기 위한 자연의 아키텍처와 유사하다는 것은 우연이 아닙니다.

예측 지능

초기 언어 모델 개발에 참여했던 우리에게는 다음 단어(또는 “다음 토큰”) 예측에만 기반한 AI의 명백한 일반성이 패러다임 전환적이었습니다. 비록 우리가 뇌가 계산적이라는 기본적인 전제를 받아들였지만, 대부분의 우리는 진정한 AI가 어떤 특별한 알고리즘을 발견해야 할 것이며, 그 알고리즘이 지능과 의식의 오랜 미스터리를 해명하는 데 도움이 될 것이라고 믿었습니다. 따라서 대규모로 적용된 다음 토큰 예측만으로 지능이 “해결”되었을 때 충격적이었습니다.
충격을 극복하고 우리는 이것이 남은 미스터리가 없거나, 의식이 실재하지 않거나, 마음이 “오즈의 마법사”의 환상이 아니라는 것을 의미하지 않는다는 것을 깨달았습니다. LLM 뒤에 있는 신경망은 엄청나게 크고, 프로그램을 실행하는 고전적인 컴퓨터처럼 어떤 계산도 수행할 수 있음이 입증되었습니다. 사실 LLM은 컴퓨터 과학자들이 발견하거나 발명한 것보다 더 넓은 범위의 알고리즘을 학습할 수 있습니다.
어쩌면 충격은 부당했을지도 모릅니다. 우리는 이미 뇌가 계산적이며 그것이 하는 모든 것은 진화나 경험에 의해 학습될 수 있어야 한다는 것을 알고 있었습니다. 그렇지 않으면 우리는 존재하지 않았을 것입니다. 우리는 단순히 완전히 이해하기 전에 무언가를 재현하는 이상한 위치에 놓였습니다. 튜링과 폰 노이만이 컴퓨터 과학에 기여했을 때 이론은 실제보다 앞섰습니다. 오늘날에는 실제가 이론보다 앞서 있습니다.
실험실에서 지능을 만들 수 있다는 것은 그 오랜 미스터리를 탐구할 수 있는 강력한 새로운 길을 제공합니다. 왜냐하면 그 반대의 주장에도 불구하고 인공 신경망은 “블랙박스”가 아니기 때문입니다. 우리는 그들의 사고 과정을 조사할 수 있을 뿐만 아니라 “인공 신경 과학”을 수행하기 위해 더 깊이 탐구하는 방법을 배우고 있습니다. 그리고 생물학적 뇌와 달리 우리는 그들의 활동의 모든 세부 사항을 기록하고 분석할 수 있으며, 대규모로 완벽하게 반복 가능한 실험을 실행하고, 네트워크의 어떤 부분이라도 켜거나 꺼서 그것이 무엇을 하는지 볼 수 있습니다.
AI 모델과 뇌 사이에는 많은 중요한 차이점이 있지만, 비교 분석 결과 그들 사이에는 놀라운 기능적 유사성도 발견되어 공통된 근본 원리를 시사합니다. 수십 년간의 뇌 연구에서 영감을 얻은 AI는 따라서 “뉴로AI”라는 기치 아래 신경 과학에 대한 빚을 갚기 시작했습니다.
LLM이 학습하는 알고리즘을 아직 완전히 이해하지 못하지만, 다음 토큰을 예측하는 학습이 왜 그렇게 잘 작동하는지 이해하기 시작했습니다. “예측적 뇌 가설”은 신경 과학에서 오랜 역사를 가지고 있습니다. 이 가설은 뇌가 지각 환경, 자기 자신, 자신의 행동, 그리고 자신과 환경에 대한 그 영향의 미래를 지속적으로 모델링하고 예측하도록 진화했다는 것을 주장합니다. 의도적이고 지능적으로 행동하는 우리의 능력은 그러한 모델에 의존합니다.
“우리는 고전적인 컴퓨터에서 신경 컴퓨팅을 시뮬레이션하고 있는데, 이는 비효율적입니다. 인간 계산 시대에 뇌로 고전적인 컴퓨팅을 시뮬레이션했던 것처럼 말입니다.”
컵에 손을 뻗는 것을 생각해 보세요. 세계와 자신의 몸을 모델링하여 손이 그 컵에 닿게 하고, 손가락으로 감싸고, 입술로 가져가 마시는 것을 몇 초 안에 수행하도록 배우는 것은 쉬운 일이 아닙니다. 이러한 움직임의 모든 단계에서 신경계는 예측을 계산하고 고유수용성 피드백과 비교합니다. 눈은 장면에 빠르게 움직이며 추가적인 오류 수정을 제공합니다.
더 높은 수준에서 여러분은 마시는 것이 갈증을 해소할 것이라고 예측합니다. 갈증 자체는 예측 신호이지만, 훨씬 더 긴 진화적 시간 척도에서 전체 종에 의해 “학습”된 것입니다. 물에 대한 필요성을 예측할 수 없는 유기체는 결함 있는 자기 모델을 전달할 만큼 오래 살아남지 못할 것입니다.
진화는 생식 성공 또는 죽음이라는 거친 신호로 요약된 수많은 이전 세대의 경험을 증류합니다. 신생아가 얼굴을 인식하거나, 뱀을 본 적 없는 고양이가 등 뒤에 몰래 놓인 오이를 보고 놀라 뛰는 것에서 진화적 학습이 작용합니다.
기계 학습은 평생 학습을 통해 강화되거나 약화되는 뉴런 간의 연결인 시냅스를 나타내는 것으로 일반적으로 이해되는 모델 매개변수를 조정하는 것을 포함합니다. 이러한 매개변수는 일반적으로 무작위로 초기화됩니다. 그러나 뇌에서는 뉴런이 유전적으로 코딩된(그리고 환경에 민감한) 발달 프로그램에 따라 연결됩니다. 미래의 AI 모델도 마찬가지로 스스로를 구축하도록 진화할 것으로 예상합니다. 고정된 매개변수 수를 가진 정적인 수작업 아키텍처를 갖는 대신 경험을 통해 동적으로 성장하고 발달할 것입니다.
시간 척도에 걸친 학습을 통합하면 현재 모델 훈련과 정상 작동(“추론”) 사이의 이분법도 사라질 수 있습니다. 오늘날 LLM의 최첨단 훈련은 극도로 비싸며, 몇 달 동안 엄청난 계산 자원을 요구하는 반면, 추론은 비교적 저렴하고 실시간으로 수행할 수 있습니다. 그러나 우리는 LLM이 배우는 가장 중요한 기술 중 하나가 학습 방법이라는 것을 알고 있습니다. 이는 채팅 세션 중에 새로운 아이디어, 단어 또는 작업을 처리할 수 있는 이유를 설명합니다.
하지만 현재로서는 새로 습득한 지식은 일시적이며 “컨텍스트 창” 안에 남아 있는 동안만 지속됩니다. 모델 매개변수는 변경되지 않습니다. 행동과 예측을 통합하는 미래 모델은 우리가 하는 것처럼 누적적이고 개방적으로 학습할 수 있어야 합니다.
비슷한 맥락에서 우리는 AI 모델의 능력이 초기 오프라인 훈련에 의해 제한된다는 개념에서, 모델이 단순히 응답을 생각하는 데 더 많은 시간을 할애함으로써 더욱 유능해지는 “테스트 시간 스케일링”으로의 전환을 보기 시작했습니다. 뇌와 같은 모델 설계는 이러한 즉각적인 개선이 우리처럼 축적되도록 하여 향후의 모든 응답이 이점을 얻을 수 있도록 해야 합니다.
LLM의 기반이 되는 신경망이 강력한 범용 예측기이기 때문에 언어, 소리, 비디오 모델링뿐만 아니라 앞선 물 한 잔에 손을 뻗는 예시처럼 로봇 공학을 혁신하는 데에도 능력이 입증된 것은 당연합니다. 수작업으로 프로그래밍된 GOFAI는 수십 년 동안 조립 라인의 반복적이고 일상적인 로봇 공학 외에는 어떤 것에도 어려움을 겪었습니다. 그러나 오늘날 LLM과 유사한 “시각-언어-행동” 모델은 Waymo 차량부터 휴머노이드(및 기타 여러) 형태에 이르기까지 모든 종류의 로봇 몸체를 제어하는 방법을 배울 수 있으며, 이는 점점 더 복잡하고 비정형적인 환경에 배치되고 있습니다.
큰 문제를 더 작은 중간 단계로 나누는 사고 과정과 추론 흔적을 사용함으로써 예측 모델은 잠재적 미래의 나무에서 선택하여 여러 가능한 결과나 우발 상황을 시뮬레이션할 수도 있습니다. 이러한 종류의 “선택적인” 예측은 우리의 자유 의지 개념의 근본 메커니즘일 수 있습니다.
궁극적으로 유기체가 하는 모든 것은 자가 달성 예측으로 생각할 수 있습니다. 생명은 스스로를 지속적인 존재로 예측하는 것이며, 증가하는 지능을 통해 그 예측은 더욱 정교해질 수 있습니다.
계획, 행동, 예측의 통합을 포함한 예측 처리 패러다임을 받아들이는 것은 언어 모델과 로봇 공학을 더욱 개선할 뿐만 아니라 기계 학습, 신경 과학, 심지어 이론 생물학의 이론적 토대를 공통 기반으로 가져오는 것을 약속합니다.

일반 지능

일부 사람들에 따르면 LLM은 위조된 지능입니다. 실제로는 그렇지 않으면서 지능적인 것처럼 보입니다. 이러한 회의론자들에 따르면 우리는 AI가 엄청난 수의 문장을 “자동 완성”하여 튜링 테스트를 통과하도록 훈련시켰으며, 이를 통해 “집에 누군가 있다”고 믿게 만드는 기계를 만들었다는 것입니다. 실제로는 아무도 없는데도 말입니다.
많은 사람들은 AI가 현실이며 “인공 일반 지능”(AGI) 달성의 문턱에 있다고 주장하는 반대 견해를 가지고 있습니다. 비록 그것을 정의하는 방법에 대한 광범위한 견해가 있지만 말입니다. 개인에 따라 이러한 전망은 흥미진진하거나, 불안하거나, 심지어 실존적으로 위협적일 수 있습니다.
“반대의 주장에도 불구하고 인공 신경망은 ‘블랙박스’가 아닙니다.”
그렇다면 어떤 입장이 옳을까요? 답은 “둘 다 아님”일 수 있습니다. 두 진영의 대부분은 AGI가 미래 언젠가 넘을 (또는 넘지 않을) 이산적인 문턱이라고 생각합니다. 현실적으로 그러한 문턱은 없는 것 같으며, 만약 있다면 우리는 이미 넘었을 수도 있습니다.
우선 회의론자들에게 답해봅시다. 많은 사람들에게 AI가 작업을 수행하는 능력(채팅, 시 쓰기, 자동차 운전, 심지어 완전히 새로운 일까지)은 무관합니다. 왜냐하면 AI가 구현되는 방식이 진정한 지능이 되는 것을 자격 미달로 만들기 때문입니다. 이러한 견해는 뇌가 “단순한” 예측 외에 다른 무언가를 해야 한다거나, 뇌는 컴퓨터가 아니거나, 단순히 AI 모델은 살아 있지 않다고 주장함으로써 정당화될 수 있습니다. 결과적으로 회의론자들은 종종 AI에 적용될 때 “지능”, “이해”, “행위”, “학습”, “환각”과 같은 용어는 부적절하게 의인화되었기 때문에 인용 부호가 필요하다고 주장합니다.
그러한 어휘 선택에 대한 고민이 정당할까요? 기능적 관점을 채택하면 그렇지 않다는 것을 알 수 있습니다. 우리는 새의 날개와 비행기의 날개를 “날개”라고 부릅니다. 그것들이 같은 재료로 만들어졌거나 같은 방식으로 작동하기 때문이 아니라 같은 기능을 수행하기 때문입니다. 비행기가 새와 다르게 비행을 달성하는 방식이 중요할까요? 우리의 관심사가 목적, 즉 새와 비행기가 애초에 날개를 가진 이유에 있다면 그렇지 않습니다.
기능주의는 유기체, 생태계, 기술을 포함한 모든 “목적 있는” 시스템의 특징입니다. 모든 “목적 있는” 것은 상호 의존적인 부분으로 구성되며, 각 부분은 다른 부분을 위한 목적(또는 기능)을 수행합니다. 그리고 이러한 부분들도 종종 그 자체로 더 작은 상호 의존적이고 목적 있는 부분들로 구성됩니다.
암묵적이든 명시적이든, 많은 AI 회의론자들은 무엇을 달성했는지(비행 또는 지능)보다 어떻게 달성했는지에 대해 더 많이 신경 씁니다. 그러나 자연은 “어떻게”에 무관심합니다. 유연성이나 견고성을 위해 엔지니어링된 시스템과 자연 시스템은 모두 같은 기능을 수행하지만 다르게 작동하는 부분을 대체하거나 동시에 사용하는 것을 포함합니다. 예를 들어, 물류에서는 기차와 트럭 모두 상품을 운송합니다. 고객으로서 여러분은 배달을 받는 것만 신경 씁니다. 여러분의 세포에서는 유산소 또는 무산소 호흡이 같은 기능을 수행할 수 있으며, 유산소 호흡이 따라가지 못할 정도로 너무 격렬하게 운동할 때 무산소 경로가 작동합니다.
신경계도 다르지 않습니다. 그것 또한 기능적 관계를 가진 부분들로 구성되며, 이것들도 기능적으로 동등한 것으로 교체될 수 있습니다. 우리는 이미 인공 와우 및 인공 망막으로 어느 정도 이것을 하고 있지만, 이러한 보철물은 아직 생물학적 귀나 눈의 품질에 근접할 수 없습니다. 그러나 결국 신경 보철물은 우리가 태어날 때 가지고 있는 감각 기관과 경쟁하거나 능가할 것입니다.
언젠가는 손상된 뇌 조직도 같은 방식으로 대체할 수 있을 것입니다. 이것이 작동하는 이유는 여러분에게 “호문쿨루스”가 없기 때문입니다. 뇌에 여러분의 “여러분” 부분이 사는 특별히 대체 불가능한 지점은 없습니다. 여러분을 여러분답게 만드는 것은 뇌나 몸의 어떤 한 부분, 또는 원자가 아닙니다. 그것들은 어쨌든 자주 교체됩니다. 또한 여러분의 모든 부분이 어떻게 구현되는지에 대한 세부 사항도 아닙니다. 여러분은 오히려 매우 복잡하고 역동적인 기능적 관계의 집합체입니다.
AI 모델은 어떨까요? LLM은 뇌와는 매우 다르게 구현될 뿐만 아니라, 우리와의 관계도 사람들 사이의 관계와 다릅니다. 그들은 몸이나 삶의 이야기, 친족 관계 또는 장기적인 애착을 가지고 있지 않습니다. 이러한 차이점은 AI의 윤리적, 법적 지위를 고려할 때 관련이 있습니다. 그러나 지능 및 이해와 같은 능력에 대한 질문에는 무관합니다.
일부 연구자들은 이론적으로 이러한 모든 전제에 동의하지만, AGI에 대한 문턱이 있고 현재 AI 시스템은 아직 그것을 넘지 않았다고 여전히 주장합니다. 그렇다면 그들이 언제 넘었는지 어떻게 알 수 있을까요? 답은 우리가 일반 지능을 구성한다고 믿는 능력을 테스트하기 위한 벤치마크를 포함해야 합니다.
많은 벤치마크가 제안되었습니다. AI 연구원 프랑수아 촐레의 “추상 및 추론 코퍼스”와 같은 일부는 IQ와 같은 테스트입니다. 다른 것들은 더 전체적입니다. 예를 들어 구글 딥마인드의 동료들은 과정보다는 능력에 초점을 맞춰 새로운 기술 학습과 같은 메타인지 작업을 포함한 “다양한 비물리적 작업”에서 일반 지능 에이전트가 유능해야 한다는 점을 강조했습니다. 하지만 어떤 작업을 평가해야 할까요? 경쟁 시장 내의 특정 잘 정의된 기술 외에는 우리 자신을 “유능”(50번째 백분위수), “전문가”(90번째 백분위수), “명인”(99번째 백분위수)으로 의미 있게 분류하기 어려울 수 있습니다.
“유연성이나 견고성을 위해 엔지니어링된 시스템과 자연 시스템은 모두 같은 기능을 수행하지만 다르게 작동하는 부분을 대체하거나 동시에 사용하는 것을 포함합니다.”
AGI의 원래 정의는 적어도 2002년으로 거슬러 올라가며, 컴퓨터 과학자 피터 보스와 믈라잔 요바노비치가 2023년 논문에서 언급했듯이 가장 간단하게 “인간에게 전형적인 일반 인지 능력”으로 설명할 수 있습니다. 그러나 일부는 이러한 능력을 경제적 측면으로만 규정합니다. OpenAI 웹사이트는 AGI를 “가장 경제적으로 가치 있는 작업에서 인간을 능가하는 고도로 자율적인 시스템”으로 정의합니다. 2023년, AI 기업가 무스타파 술레이만(현재 마이크로소프트 AI CEO)은 AI가 백만 달러를 벌 수 있을 때 일반적으로 “유능”해질 것이라고 제안했습니다.
그러한 문턱은 임의적이며 우리가 인간 지능에 대해 생각하는 방식과 일치하지 않습니다. 왜 경제 활동을 전혀 고집해야 할까요? 얼마나 많은 돈을 벌어야 똑똑하다고 간주될까요? 그리고 막대한 재산을 모으지 못한 우리는 일반적으로 지능적이지 않은 것일까요?
물론 우리는 과학적으로든, 경제적으로든, 사회적으로든 인류를 풍요롭게 하거나 확장할 가능성 때문에 AI를 구축하려는 동기를 가지고 있습니다. 하지만 생산성의 경제적 측정은 간단하지도 않고 지능과 명확하게 일치하지도 않습니다. 또한 경제적으로 가치가 계산되지 않는 많은 인간 노동을 제외합니다. 작업의 “생태학적 타당성”, 즉 경제적이든, 예술적이든, 사회적이든, 감정적이든, 다른 어떤 방식으로든 다른 사람들에게 중요한지 여부에 초점을 맞추는 것은 순전히 객관적인 성능 평가의 어려움을 강조합니다.
오늘날의 LLM은 이미 몇 년 전만 해도 어떤 합리적인 사람이라도 높은 지능을 요구한다고 동의했을 다양한 인지 작업(복잡한 주장을 해체하는 것부터 코드를 작성하고, 이메일의 어조를 부드럽게 하고, 온라인에서 주제를 조사하는 것까지)을 수행할 수 있습니다. 거의 모든 특정 영역에서 인간 전문가는 여전히 더 잘할 수 있습니다. (이것이 많은 현재 평가 방법론이 측정하려는 성능 격차입니다.) 하지만 어떤 단일 인간도 (아무리 지능적이라도) 이에 필적하는 폭넓은 기술을 소유하고 있지 않다는 점을 인정합시다. 지난 몇 년 동안 우리는 조용히 AI 성능을 어떤 사람과 비교하여 측정하는 것에서 모든 사람과 비교하여 측정하는 것으로 전환했습니다. 다시 말해, 개별 인간은 이제 AI 모델보다 덜 “일반적”입니다.
이러한 진전은 신속했지만 지속적이었습니다. 우리는 AGI 성공을 선언할 만한 결정적인 진전이 없기 때문에 목표 지점이 계속 이동한다고 생각합니다. 항상 더 할 일이 있습니다. 하지만 우리는 2002년의 AI 연구원이 오늘날의 LLM 중 어떤 것과라도 상호 작용할 수 있었다면, 그 연구원은 망설임 없이 AGI가 여기 있다고 말했을 것이라고 믿습니다.
AGI에서 “일반적”이라는 것을 달성하는 한 가지 열쇠는 “비지도 훈련”이었습니다. 이는 작업을 규정하지 않고 기계 학습을 수행하는 것을 포함합니다. 미세 조정 및 강화 학습은 일반적으로 특정 기술 및 행동 특성을 향상시키기 위해 나중에 적용되지만, 오늘날 대부분의 모델 훈련은 일반적입니다. AI의 광범위한 능력은 언어, 소리, 시각 또는 기타 모든 것을 모델링하는 학습을 통해 발생합니다. 모델이 그러한 양식을 일반적으로 처리할 수 있게 되면, 우리처럼 어떤 작업이든(심지어 완전히 새로운 작업이라도) 먼저 설명되거나, 추론되거나, 예시로 보여지는 한 수행하도록 지시받을 수 있습니다.
우리가 인공 일반 지능을 어떻게 달성했는지, 수십 년간의 실패한 시도 끝에 최근에야 왜 일어났는지, 그리고 이것이 우리 자신의 마음에 대해 무엇을 말해주는지 이해하려면 AI뿐만 아니라 컴퓨팅 자체의 본질에 대한 우리의 가장 근본적인 가정을 재검토해야 합니다.

집단 지능

“사회 지능 가설”은 우리와 같은 똑똑한 종에서 지능 폭발이 사회적 피드백 루프로 인해 발생했다는 것을 주장합니다. 우리의 생존과 생식 성공은 친구를 사귀고, 파트너를 유인하고, 공유 자원에 접근하고, 마지막으로 가장 중요한 것은 다른 사람들이 자녀를 돌보는 데 도움을 주도록 설득하는 능력에 달려 있습니다. 이 모든 것은 “마음 이론”, 즉 다른 사람의 입장이 되어 생각하는 능력을 필요로 합니다. 다른 사람은 무엇을 보고 느끼는가? 무엇을 생각하는가? 무엇을 알고 무엇을 모르는가? 어떻게 행동할 것인가?
다른 사람의 정신 상태를 추적하는 것은 인지적 도전입니다. 영장류 종에 걸쳐 연구자들은 뇌 크기와 집단 크기 사이의 상관관계를 관찰했습니다. 인간들 사이에서는 마음 이론과 관련된 뇌 영역의 부피가 친구 수와 상관관계가 있습니다. 우리는 또한 친구가 많은 사람들이 사회적으로 고립된 사람들보다 더 건강하고 더 오래 사는 경향이 있다는 것을 알고 있습니다. 이러한 관찰들을 종합하면, 사회적 뇌를 선호하는 지속적인 선택 압력의 증거가 됩니다.
“우리는 조용히 AI 성능을 어떤 사람과 비교하여 측정하는 것에서 모든 사람과 비교하여 측정하는 것으로 전환했습니다. 다시 말해, 개별 인간은 이제 AI 모델보다 덜 ‘일반적’입니다.”
마음 이론에는 마키아벨리적인 측면도 있지만, 인간을 특별하게 만드는 진보된 형태의 협력에도 필수적입니다. 가르침과 학습, 분업, 평판 유지 및 “외상(IOU)”의 정신적 회계는 모두 마음 이론에 의존합니다. 따라서 중요하지 않은 경제 시스템, 정치 시스템 또는 기술의 발전도 마찬가지입니다. 대규모로 협력할 수 있는 부족이나 공동체는 더 크고 더 유능한 전체로서 기능하기 때문에 마음 이론은 개인적인 이점만 제공하는 것이 아니라 집단에도 이점을 제공합니다.
이러한 집단 수준의 이점이 결정적이 되면, 마음의 사회적 집합체는 주요 진화적 전환으로 기울어집니다. 이는 이전에 독립적이었던 개체들이 힘을 합쳐 새롭고 더 위대한 무언가를 만드는 공생입니다. 집합의 대가는 이전에 독립적이었던 개체들이 더 이상 스스로 생존하고 번식할 수 없다는 것입니다. 이것은 현대 도시화된 사회를 공정하게 설명하는 것입니다. 우리 중 얼마나 많은 사람이 숲에서 혼자 살아남을 수 있을까요?
우리는 초유기체입니다. 따라서 우리의 지능은 이미 집단적이며, 어떤 의미에서는 초인적입니다. 그렇기 때문에 대규모 사람들의 집단적 결과물로 LLM을 훈련할 때, 우리는 이미 어떤 단일 개인보다 훨씬 더 넓은 범위와 평균 깊이를 가진 초지능을 만들고 있습니다. 비록 LLM이 전문 분야 내에서는 여전히 개별 인간 전문가에 미치지 못하는 경우가 많더라도 말입니다.
이것이 Humanity’s Last Exam을 만든 동기입니다. 이는 LLM이 아직 만점을 받지 못하는 AI 벤치마크를 만들기 위한 (다소 암울한 이름의) 최근 시도입니다. 시험 문제는 100개가 넘는 분야의 전문가 약 1,000명이 작성했으며, 로마 비석에서 팔미라 문자를 번역하거나 벌새의 종자골이 지지하는 짝을 이룬 힘줄이 몇 개인지 아는 것과 같은 기술을 요구합니다. 전문 고전학자는 전자를, 전문 조류학자는 후자를 답할 수 있겠지만, 시험에 대한 인간 중간값의 성능은 0에 가까울 것으로 예상합니다. 대조적으로 오늘날 최첨단 모델은 3.3%에서 18.8% 사이의 점수를 얻습니다.
인류는 인지 분업 덕분에 초지능입니다. 어떤 의미에서는 개별 뇌도 마찬가지입니다. AI 개척자 마빈 민스키는 “마음의 사회”를 묘사하며, 우리의 겉보기에 단일한 “자아”는 실제로는 많은 전문화된 상호 작용 에이전트로 구성된 집단 마음이라고 가정했습니다. 실제로 우리의 대뇌 피질은 수많은 피질 기둥 배열로 구성되어 있으며, 이는 확장된 표면을 형성하기 위해 반복적으로 배치된 신경 회로 단위입니다. 인간의 피질은 두께가 약 2~4.5밀리미터에 불과하지만, 면적은 최대 2,500제곱센티미터에 달할 수 있습니다(뇌의 주름진 모습은 큰 저녁 식탁용 냅킨 크기에 해당하는 것을 두개골에 밀어 넣은 결과입니다). 우리의 피질은 진화적 압력이 요구했을 때 정확히 그 모듈식 설계 때문에 빠르게 확장될 수 있었습니다. 사실상 우리는 단순히 피질 기둥을 더 추가했습니다.
피질 모듈성은 발달적일 뿐만 아니라 기능적이기도 합니다. 피질의 일부 영역은 시각 처리를 전문으로 하고, 다른 영역은 청각 처리, 촉각 등을 전문으로 합니다. 또 다른 영역은 사회 모델링, 글쓰기, 수리 능력을 전문으로 하는 것으로 보입니다. 이러한 작업이 매우 다양하기 때문에 각 해당 뇌 영역은 식기세척기와 복사기만큼이나 전문화되고 서로 다르다고 가정할 수 있습니다.
그러나 피질은 다릅니다. 영역들은 유아기부터 작업을 학습하기 시작합니다. 우리는 이 학습 능력이 강력하고 일반적이라는 것을 알고 있습니다. 읽기를 전문으로 하는 “시각 단어 형태 영역”과 같은 피질 영역의 존재를 고려할 때 말입니다. 읽기는 인간 역사에서 자연 선택을 통해 진화하기에는 너무 최근에 나타난 기술입니다. 우리의 피질은 읽도록 진화한 것이 아니라 읽는 방법을 학습할 수 있습니다. 각 피질 영역은 동일한 일반적인 “학습 알고리즘”을 구현했으며, 미리 정해진 기능을 가진 기기로 생각하기보다는 특정 영역을 학습한 인간 전문가로 생각하는 것이 가장 좋습니다.
이 “사회적 피질” 관점은 여러분의 뇌에 “여러분”이 거주하는 호문쿨루스나 CPU가 없다는 점을 강조합니다. 뇌는 공동체와 더 비슷합니다. 중앙 조정 없이 일관되게 기능하는 능력은 각 영역이 전문화된 작업을 수행하는 능력뿐만 아니라 이러한 영역들이 서로를 모델링하는 능력에도 달려 있습니다. 마치 사람들이 관계와 더 큰 사회적 단위를 형성하기 위해 마음 이론이 필요한 것처럼 말입니다.
뇌 영역 자체도 더 작은 부분들의 공동체로 기능할까요? 우리는 그렇다고 믿습니다. 피질 회로는 전문화된 작업을 수행할 뿐만 아니라 인근 뉴런을 모델링하는 방법을 학습하는 것으로 보이는 뉴런으로 구성됩니다. 이것은 “끝없이 이어지는 거북이”라는 익숙한 농담(무한 퇴행 개념에 대한 언급)을 반영하며, 지능은 단일하고 거대한 실체가 아니라 “사회적 프랙탈”로 이해하는 것이 가장 좋다는 것을 시사합니다.
“뇌 영역 자체도 더 작은 부분들의 공동체로 기능할까요? 우리는 그렇다고 믿습니다.”
또한 “끝없이 이어지는 거북이”일 수도 있습니다. 뇌가 커질수록 개체는 더 똑똑해질 수 있고, 개체 수가 많아질수록 사회는 더 똑똑해질 수 있습니다. 여기서 규모 사이에 흥미로운 피드백 루프가 있습니다. 우리는 다른 사람을 모델링하기 위해 뇌를 키움으로써만 더 큰 사회를 형성할 수 있었고, 우리의 뇌 자체는 유사한 내부 인지 분업을 통해 더 커진 것으로 보입니다.
AI 모델도 동일한 원리를 따르는 것으로 보입니다. 연구자들은 모델 크기(및 훈련 데이터 양)와 모델 능력 간의 “스케일링 법칙” 개념을 대중화했습니다. 첫 번째 근사치로, 더 큰 모델이 더 똑똑합니다. 마치 더 큰 뇌가 더 똑똑한 것처럼 말입니다. 그리고 뇌와 마찬가지로 AI 모델도 모듈식입니다. 사실, 많은 모델은 전문화된 하위 모델의 밀접하게 연결된 “집합체”를 명시적으로 훈련하는 것에 의존하는데, 이를 “전문가 혼합(Mixture of Experts)”이라고 합니다. 더욱이, 크고 거대한 모델조차도 “신흥 모듈성”을 보입니다. 그들도 스스로를 전문화된 모듈로 분할하고 정복하는 방법을 학습하여 확장됩니다.
많은 동시적인 규모에 걸쳐 사회성 및 인지 분업 측면에서 지능을 생각하는 것은 심오한 패러다임 전환을 의미합니다. 이는 정적이고 끊임없이 커지는 거대한 모델보다는 성장하는 소셜 네트워크와 더 유사한 AI 아키텍처를 탐색하도록 우리를 장려합니다. 또한 모델(및 하위 모델)이 점진적으로 전문화되어 인간 및 서로와 장기적인 협업을 형성하도록 허용하는 것도 필수적일 것입니다.
Humanity’s Last Exam에 기여한 1,000여 명의 전문가 중 누구든 인터넷에서 얻을 수 있는 학습에는 한계가 있다는 것을 알고 있습니다. 그 경계를 넘어서면 학습은 행동과 상호 작용과 분리할 수 없습니다. 지식의 경계는 새로운 학습(과학적 실험, 토론 또는 오프라인에서의 확장된 창의적 사고에서 발생하든 상관없이)이 공유될 때 확장됩니다.
오늘날 첨단 AI에 대한 접근 방식에서는 기존 인간 결과물이 집합되고 단일의 거대한 “기반 모델”로 증류되며, 그 가중치는 이후 고정됩니다. 그러나 AI 모델은 점점 더 자율적이고 주체적으로 될 것으로 보이며, 여기에는 다른 에이전트를 고용하거나 상호 작용하는 것도 포함됩니다. AI는 이미 짧고 집중적인 상호 작용에서 유용합니다. 하지만 우리가 집단적 인간 지식과 능력의 경계를 확장하는 더 큰 프로젝트에 도움을 주기를 원한다면, 우리는 그들이 우리처럼 상호 작용적으로 지속적으로 학습하고 다양화할 수 있도록 해야 합니다.
이는 일부 사람들에게 불안감을 줄 것이 확실합니다. 왜냐하면 AI가 개방적으로 능력을 진화시킬 가능성을 열어주기 때문입니다. 다시 말하지만, 우리가 하는 것처럼 말입니다. AI 안전 커뮤니티는 모델이 개방적으로 진화하는 능력을 “메사 최적화(mesa optimization)”라고 부르며, 이를 위협으로 간주합니다. 그러나 우리는 오늘날의 AI 모델조차도 메사 최적화자임을 발견했습니다. 예측은 본질적으로 즉석 학습을 포함하기 때문입니다. 챗봇이 새로운 작업을 수행하도록 지시받을 때 하는 일입니다. 이는 챗봇의 신경망 가중치가 고정되어 있더라도 모든 출력은 지금까지의 채팅 기록을 포함하는 전체 “컨텍스트 창”을 사용하기 때문에 작동합니다. 하지만 현재 챗봇은 일종의 기억 상실증을 겪습니다. 일반적으로 채팅 세션 또는 세션 컨텍스트를 넘어 학습 내용을 유지할 수 없습니다. 구글의 “Infini-attention” 및 장기 기억 개발은 둘 다 이전 자료를 압축하여 사실상 무제한적인 컨텍스트 창을 허용하며, 이 분야에서 최근의 중요한 발전입니다.
지능에 대한 사회적 관점은 AI 공학뿐만 아니라 의식의 “어려운 문제”와 같은 철학의 오랜 문제에 대한 새로운 관점도 제공합니다. 의식을 자신의 경험, 내면 생활 및 행위를 가진 존재로서의 명확한 자아 감각으로 이해한다면, 그 출현은 미스터리가 아닙니다. 우리는 “자아” 모델을 형성합니다. 왜냐하면 우리는 “자아”로 가득 찬 사회적 환경에 살고 있으며, 그들의 생각과 감정을 마음 이론을 사용하여 끊임없이 예측해야 하기 때문입니다. 물론 우리는 우리 자신이 “자아”라는 것을 이해해야 합니다. 우리 자신의 과거, 현재, 미래 경험이 매우 두드러질 뿐만 아니라, 다른 사람에 대한 우리의 모델에는 그들의 우리에 대한 모델도 포함되기 때문입니다!
마음 이론의 결함을 진단하기 위한 경험적 테스트는 수십 년 동안 존재해 왔습니다. 이러한 테스트를 LLM에서 실행하면 놀랍지 않게도 인간과 거의 같은 성능을 보입니다. 결국 “자아”와 마음 이론 작업은 LLM이 훈련받는 이야기, 대화 및 댓글 스레드에서 두드러지게 나타납니다. 우리는 챗봇에서도 마음 이론에 의존합니다. 모든 채팅에서 AI는 우리를 모델링해야 할 뿐만 아니라 친절하고 유용한 조수로 스스로를 모델링하고, 우리에 대한 우리의 모델을 모델링하는 등의 작업을 수행해야 합니다.

정상적인 AI 개발 그 이상

수십 년간 미미했던 AI 진전 이후, 우리는 이제 개별 인간 지능을 반영할 뿐만 아니라 우리의 집단적, 인간 이상의 지능을 확장할 수 있는 시스템을 향해 빠르게 발전하고 있습니다. 우리는 이러한 빠른 진전에 흥분하고 희망을 느끼는 동시에, 이것이 항상 그렇듯이 불안, 논쟁, 격변, 그리고 우리가 올바르게 파악해야 할 많은 고려 사항을 동반하는 중대한 패러다임 변화의 순간임을 인정합니다.
이러한 시기에는 기술적 진전뿐만 아니라 체스의 나이트처럼 그러한 진전을 인접 분야 또는 패러다임으로의 옆걸음과 결합하여 풍부한 새로운 지적 영역을 발견하고, 가정을 재검토하며, 우리의 토대를 재구상하는 “나이트의 움직임”을 우선시해야 합니다. 인류에게 이익이 되고, 과학을 발전시키며, 궁극적으로 개인으로서, 더 작은 지능의 생태계로서, 그리고 더 큰 전체의 구성원으로서 우리 자신을 이해하는 데 도움이 될 지능을 개발하기 위해서는 새로운 패러다임이 필요할 것입니다.

이 에세이에서 표현된 견해는 저자의 것이며 반드시 Google 또는 Alphabet의 견해를 반영하는 것은 아닙니다.