1.
솔직히 인공지능에 큰 관심을 가지고 있지않습니다. 비즈니스적으로 그렇다는 뜻이지 정치사회적으로 무관심하다는 뜻은 아닙니다. 얼마 전 chatGPT를 접해본 사람은 누구나 관심을 가질 수 있는 사건이 있었습니다.
“OpenAI CEO인 Sam Altman 해고”
한주전 OpenAI DEV Day라는 아주 큰 행사를 무척 성공적으로 이끈 이후의 사건이라 더 그러할 듯 합니다.
참고로 OpenAI DevDay, Opening Keynote 요약(원문 다운)을 보시면 한글로 된 키노트 자료를 받을 수 있습니다.
chatGPT가 새로운 혁신을 하든, 샘 알트만이 해고되든 저와 큰 상관이 없습니다. 그런데 관심을 가져야 하겠다는 생각이 든 기사입니다.
오픈AI는 인간이 의도한 목표와 윤리적 원칙에 맞게 AI를 조정하는 ‘AI 정렬 대응팀’을 운영했다. 오픈AI 공동설립자이자 수석과학자인 일리야 수츠케버가 이 팀을 이끌었다.
오픈AI 이사회 멤버이기도 한 그는 AGI의 위험성이 검증되지도 않은 상황에서 투자 유치 목적으로 개발 사실을 먼저 대중에게 알린 올트먼을 위협 요소로 봤다고 한다. 수츠케버는 “AI가 자체적으로 코드를 생성하도록 허용하면 ‘킬러로봇’도 현실화할 수 있다”고 경고한 제프리 힌턴 토론토대 교수의 수제자다.
이번 사태를 일종의 ‘쿠데타’로 바라보는 관점도 있다. 이를 가능케 한 배경은 오픈AI의 독특한 지배구조에 있다. 오픈AI는 “인류에게 유익한 AI 개발”을 위해 2015년 출범한 비영리기관이다. 대규모언어모델(LLM) 운영에 천문학적 비용이 들자 영리 목적 자회사를 설립했다. 챗GPT에 130억달러를 투자한 마이크로소프트(MS)는 자회사 지분 49%를 갖고 있지만 오픈AI 이사회 의석을 확보하지 못했다.
오픈AI 이사회의 주요 임무는 주주 이익이 아닌 ‘광범위하게 유익하고 안전한 AGI’를 만드는 것으로 규정돼 있다. 이런 와중에 올트먼은 MS를 비롯한 큰손들의 투자를 이끌어내는 데 주력했다. 최근에는 앱스토어와 유사한 ‘GPT 스토어’를 만들겠다는 계획도 세웠다. AI 플랫폼 고등지능원의 김덕태 대표는 “올트먼을 끌어낸 사람들은 투자를 덜 받아도 더 안전한 AI 개발에 초점을 맞추고 적자폭을 키우는 외부 서비스 확장은 자제하려고 하는 것 같다”고 말했다.
안전과 수익 사이…쫓겨난 오픈AI 설립자중에서
안정성을 강조한 일리아 수츠케버 측과 안전을 다소 희생하더라도 속도전을 편(상용화) 샘 알트만의 대립이 주요한 원인이라는 분석입니다. 그리고 OpenAI과 이익을 추구하는 기업과 공적인 책임을 위한 비영리단체라는 성격이 공존하고 있음을 처음으로 알았습니다. 위키에서 옮겨온 내용입니다.
2019: Transition from non-profit
In 2019, OpenAI transitioned from non-profit to “capped” for-profit, with the profit being capped at 100 times any investment.[33] According to OpenAI, the capped-profit model allows OpenAI Global LLC to legally attract investment from venture funds and, in addition, to grant employees stakes in the company.[34] Many top researchers work for Google Brain, DeepMind, or Facebook , which offer stock options that a nonprofit would be unable to.[35] Before the transition, public disclosure of the compensation of top employees at OpenAI was legally required.
The company then distributed equity to its employees and partnered with Microsoft, announcing an investment package of $1 billion into the company. Since then, OpenAI systems have run on an Azure-based supercomputing platform from Microsoft.
OpenAI Global LLC then announced its intention to commercially license its technologies. It planned to spend the $1 billion “within five years, and possibly much faster.” Altman has stated that even a billion dollars may turn out to be insufficient, and that the lab may ultimately need “more capital than any non-profit has ever raised” to achieve artificial general intelligence.The transition from a nonprofit to a capped-profit company was viewed with skepticism by Oren Etzioni of the nonprofit Allen Institute for AI, who agreed that wooing top researchers to a nonprofit is difficult, but stated “I disagree with the notion that a nonprofit can’t compete” and pointed to successful low-budget projects by OpenAI and others. “If bigger and better funded was always better, then IBM would still be number one.”
The nonprofit, OpenAI, Inc., is the sole controlling shareholder of OpenAI Global LLC, which, despite being a for-profit company, retains a formal fiduciary responsibility to OpenAI, Inc.’s nonprofit charter. A majority of OpenAI, Inc.’s board is barred from having financial stakes in OpenAI Global LLC.[34] In addition, minority members with a stake in OpenAI Global LLC are barred from certain votes due to conflict of interest.[35] Some researchers have argued that OpenAI Global LLC’s switch to for-profit status is inconsistent with OpenAI’s claims to be “democratizing” AI.
과정을 분석할 능력은 없고 페이스북에서 본 몇가지 글을 인용합니다.
2.
먼저 페이스북 이정환님이 올린 글을 소개합니다. 아래는 세계 최고 인공지능 회사 CEO가 잘렸다, 이게 무슨 의미일까.라는 제목으로 기사로 나왔습니다.
오픈AI CEO 샘 알트만이 해고됐다. “이사회와의 커뮤니케이션에서 일관되게 솔직하지 못했다는 이유로 해고됐다”는 공지가 떴다. 구체적인 이유는 공개하지 않았다.
이게 왜 중요한가.
– 뭔가 심각한 일이 벌어지고 있을 가능성이 크다. 인류의 미래와 관련된 문제일 수도 있다.
– 오픈AI는 그냥 스타트업 기업이 아니다. 무려 900억 달러의 가치를 인정 받는 기업이다.
– 샘 알트만 없는 오픈AI는 상상하기가 쉽지 않다.
– 이사회의 워딩을 보면 샘 알트만이 말하지 않은 뭔가가 있었고 그게 들통났다는 걸로 해석할 수 있지만 알려진 건 거의 없다. 뉴욕타임즈 기자 케빈 루즈는 수요일 오후에 샘 알트만을 인터뷰했는데 “자신이 해고될 거라는 걸 전혀 알지 못하는 것 같았다”고 말했다.
몇 가지 확인된 사실.
– 샘 알트만은 X에서 “오픈AI에서 보낸 시간은 정말 좋았다”면서 “세상을 조금이나마 변화시키는 계기가 됐다”고 짧게 밝혔다. 의외로 밝고 아무렇지도 않다는 느낌이다.
– 공동 창업자 그렉 브록맨도 그만뒀다. 역시 X에서 “우리 모두가 함께 일궈낸 성과가 매우 자랑스럽다”면서 “오늘 소식을 듣고 그만두기로 했다”고 밝혔다.
– 임시 CEO는 CTO인 미라 무라티가 맡는다.
이유가 뭘까.
– 디인포메이션의 단독 보도에 그나마 최근 상황을 이해할 수 있는 단서가 있다.
– 안전 문제를 두고 논란이 있었고 미라 무라티가 세 가지를 강조했는데 두 번째가 AI 얼라인먼트(alignment, 조정), AI의 능력과 위험을 예측해야 한다는 것이다.
– 첫번째는 기술 연구를 진전시키는 것이고, 두번째가 AI 얼라인먼트고 세 번째가 모두에게 유익한 방식으로 기술을 공유해야 한다는 것이다. AI 얼라인먼트를 두고 갈등이 촉발됐을 가능성이 있다는 이야기다.
– 디인포메이션에 따르면 오픈AI 이사회는 알트만이 밀어붙이고 있는 영리적 비즈니스가 사회의 안전을 희생시킬 가능성을 우려했다고 한다.
큰 그림.
– 오픈AI는 애초에 인공지능 개발이 아니라 인공지능의 폭주로부터 인류를 보호하기 위한 연구를 하는 조직으로 출발한 비영리 조직이다.
– 오픈AI가 공개한 거버넌스 구조를 보면 오픈AI 이사회의 가장 중요한 역할 가운데 하나는 오픈AI가 개발하는 인공지능이 일반 인공지능(artificial general intelligence)에 도달했는지 여부를 결정하는 것이다. 오픈AI는 비영리 모회사가 영리 자회사를 지배하는 구조인데 만약 AGI에 도달하게 되면 영리 목적의 사업을 중단해야 한다. 마이크로소프트와 맺은 라이선스 계약도 중단된다.
– 오픈AI의 최대 주주인 마이크로소프트도 샘 알트만의 해고 소식을 발표 몇 분 전에 들었다고 했다.
더 깊게 읽기.
– 지난 7월 일리야 수츠케버가 오픈AI 블로그에 쓴 글이 있다. 슈퍼 인공지능의 막강한 힘이 매우 위험할 수 있고 인류를 위협하거나 멸종에 이르게 할 수도 있다는 내용이다. 수츠케버는 “거버넌스를 관리할 기관이 필요하고 슈퍼 인공지능의 얼라인먼트 문제를 해결해야 한다”고 강조했다.
– 만약 AI가 사람의 능력을 넘어선다면 AI를 누가 콘트롤할 것인가의 문제다. AI의 능력을 콘트롤하는 게 얼라인먼트인데 얼라인먼트를 사람이 감독한다면 AI가 얼라인먼트를 우회하거나 속일 가능성도 있기 때문이다.
– 오픈AI는 앞으로 4년 동안 확보된 컴퓨팅 능력의 20%를 얼라인먼트 문제 해결에 투입할 계획이라고 밝혔다. 일반 인공지능의 시대에 대비해 인공지능이 어디까지 할 수 있고 어디부터는 해서는 안 되는지 원칙을 정하고 그 원칙을 벗어나지 않도록 관리하는 게 과제다.
– 일리야 수츠케버는 초지능(artificial superintelligence)에 맞서는 개념으로 초정렬(superalignment)팀을 운영하고 있다. MIT테크노롤지리뷰와 인터뷰에서는 “인간의 통제를 넘어서는 인공지능이 등장하면 많은 사람들이 인공지능의 일부가 되는 걸 선택할 수도 있을 것”이라고 암울한 전망을 내놓기도 했다. 그런 상황에 이르지 않도록 위험관리(얼라인먼트)를 강화해야 한다는 이야기다.
– 샘 알트만과 일리야 수츠케버가 얼라인먼트 문제로 의견 충돌을 빚었을 가능성도 있다. 인공지능의 위험을 보는 견해는 알트만보다 수츠케버가 훨씬 더 강성이라고 할 수 있다.
– 수츠케버는 인공지능의 아버지라고 불리는 제프리 힌튼의 제자다. 힌튼은 올해 5월 구글을 떠나면서 인공지능의 위험을 경고했다. “일생을 후회한다”면서 “내가 하지 않았다면 다른 누군가가 했을 일이라고 생각하며 스스로를 위로할 뿐”이라고 말하기도 했다.
– 디인포메이션이 안전 문제였다고 지적한 것과도 연결된다. 수츠케버를 비롯해 다른 이사들이 속도 조절을 요구했는데 받아들여지지 않았거나 더 심각한 이슈가 발생했을 가능성도 있다.
오픈AI의 지배구조.
– 오픈AI는 델라웨어에 등록된 비영리 단체고 자회사 오픈AI글로벌(OpenAI Global LLC)은 영리적 목적으로 설립된 주식회사다. 오픈AI글로벌은 수익 창출과 분배가 허용되지만 철저하게 모회사의 사명에 따르도록 돼 있다.
– 오픈AI글로벌의 지주회사와 관리회사가 따로 있고 주주들은 지주회사에 투자할 수 있지만 경영에 개입할 수는 없다.
– 이사회의 과반이 사외 이사고 사외 이사들은 지분을 보유하지 않는다. 샘 알트만도 지분이 전혀 없다.
– 직원들과 마이크로소프트를 비롯해 투자자들이 가져갈 수 있는 이익의 상한이 정해져 있다. 한도를 넘어 이익이 발생하면 비영리 단체에 귀속된다.
– 오픈AI는 “오픈AI의 수혜자는 투자자가 아닌 인류(The Nonprofit’s principal beneficiary is humanity, not OpenAI investors)”라고 밝히고 있다.
뒷 이야기.
– 샘 알트만이 해고된 직후 오픈AI의 직원들이 일리야 수츠케버에게 이게 쿠데타인지 물었다. 일리야 수츠케버는 “동의하지는 않지만 그렇게 불러도 된다”면서 “이사회는 인류에게 혜택을 주는 일반 인공지능을 구축하기 위해 해야 할 일을 했을 뿐(which is to make sure that OpenAI builds AGI that benefits all of humanity)”이라고 말했다.
– 디인포메이션에 따르면 알트만이 잠재적인 안전 문제를 희생하면서 비즈니스를 키우려 했고 그 속도가 너무 빨랐다고 생각하느냐는 질문으로 이해한 직원들도 있었다고 한다.
‘효율적인 이타주의자들’.
– 오픈AI의 이사회는 모두 여섯 명인데 일리야 수츠케버와 큐오라의 CEO인 아담 단젤로, 로봇공학자 타샤 맥컬리, 조지타운의 전략 담당 이사 헬렌 토너 등이 남았다. 기즈모도는 이들이 모두 ‘효율적인 이타주의자들(Effective Altruists)’ 운동과 관련돼 있다고 분석했다.
– ‘효율적인 이타주의자들’은 선한 의도를 가진 사람들이 엄청난 부자가 되어 그 돈을 좋은 일에 기부하는 것이 인류의 문제에 대한 해결책이라고 주장하는 사람들의 모임이다. 이 모임을 주도했던 사람 가운데 하나가 FTX의 샘 뱅크먼프리드였다. (샘 뱅크먼프리드는 FTX 파산 이후 사기 혐의 등으로 구속돼 재판을 받고 있는데 징역 110년형을 받을 거란 관측도 나온다.)
– FTX 사태 이후 이 모임은 해체되다시피 했다. 오픈AI 대변인은 벤처비트와 인터뷰에서 “우리 이사회 구성원 가운데 ‘효율적인 이타주의자들’ 멤버는 없다”고 밝혔다.
– 샘 알트만은 올해 3월 뉴욕타임즈 인터뷰에서 “오픈AI가 세계의 부의 대부분을 확보한 다음 사람들에게 재분배하는 게 목표”라고 밝힌 바 있다. 100조 달러까지 숫자를 거론했다고 한다.
우리 시대 오펜하이머.
– 트리니티 실험이 성공했을 때 오펜하이머는 이렇게 말했다. “나는 이제 죽음이요, 세상의 파괴자가 됐다(Now I am become Death, the destroyer of worlds).”
– 샘 알트만은 스스로를 오펜하이머에 여러 차례 비유했다. 오펜하이머와 생일이 같다는 이야기도 했다. 원자력을 감시하는 IAEA와 같은 국제 기구가 필요하다는 제안을 하기도 했다.
– 뉴욕매거진은 ‘우리 시대 오펜하이머(Oppenheimer of Our Age)’라는 제목의 인터뷰 기사에서 “샘 알트만의 목표는 나쁜 사람들이 나쁜 인공지능을 만들기 전에 좋은 인공지능을 만들고 그 분야를 지배하는 것이었다”면서 “오픈AI는 ‘효율적인 이타주의자들’의 철학에 따라 연구 결과를 오픈 소스로 공개하기로 약속했고 누군가가 그들과 ‘가치가 일치하고(value aligned)’ ‘안전을 의식하는(safety conscious)’ 사람들이 일반 인공지능을 구현할 준비가 돼 있다면 그들과 경쟁하는 대신 그 프로젝트를 도울 것이라고 선언했다”는 설명이다.
– 국무부 장관을 지낸 헨리 키신저는 구글 CEO 출신의 에릭 슈미트와 함께 쓴 ‘AI 이후의 세계’에서 “핵무기는 국제 사회에서 인정받는 금지 조약이 있고 억지의 개념이 명확하게 정의돼 있지만 AI와 관련해서는 넘지 말아야 할 선을 누구도 합의한 바 없다”고 지적한 바 있다. “지금처럼 복잡한 전략적 기술적 문제에 봉착했는데 문제의 본질과 심지어 그 문제를 논의하는 데 필요한 어휘에 대해서도 이렇게 합의가 결여된 시대는 없었다”는 이야기다. 샘 알트만의 최근 발언을 보면 2021년에 출간된 이 책에서 아이디어를 얻었을 가능성이 크다.
샘 알트만이 말하는 일반 인공지능.
– 오픈AI의 회사 소개 페이지에 샘 알트만이 직접 “AGI 및 그 이후를 위한 계획”이란 글을 게재했다. 세 가지 원칙은 다음과 같다.
1 우리는 AGI가 인류의 번영에 힘을 실어주기를 바란다. 좋은 점은 극대화하고 나쁜 점은 최소화하여 AGI가 인류의 증폭기가 되기를 바란다.
2 우리는 AGI의 혜택과 접근성, 거버넌스가 광범위하고 공정하게 공유되기를 바란다.
3 우리는 거대한 위험을 성공적으로 헤쳐나가려고 한다. 이러한 위험에 직면하면서 이론적으로는 옳아 보이는 일이 실제로는 예상보다 더 이상하게 전개되는 경우가 많다는 것을 인정한다. 따라서 ‘한 번의 실패’를 최소화하기 위해 덜 강력한 버전의 기술을 배포하여 지속적으로 학습하고 적응해야 한다고 믿는다.
– 뉴욕매거진은 샘 알트만이 일반론에 집착하고 있다고 지적했다. AI가 세상을 멸망시킬 수도 있다고 말하려면 구체적으로 무엇이 위험이고 어떻게 대처해야 하는지 설명해야 한다는 지적이다.
– 테크 라이터 조나단 사도프스키는 “샘 알트만은 ‘규제해 달라’고 말하면서 ‘이것은 정말 복잡하고 전문적인 주제이므로 복잡하고 전문적인 기관이 필요하다’고 주장하지만, 그런 기관이 만들어지지 않을 것이라는 것을 잘 알고 있다”고 지적했다.
– “그는 자신을 니체가 말한 초인적인 존재로 보고 있다. 그는 우리를 파괴하는 것을 창조할 것이고, 우리를 그것으로부터 구원할 것이라고 믿는 것 같다.”
– 안전 엔지니어 하이디 클라프는 “시스템이 흑인을 차별하는 것조차 막을 수 없다면 인류를 파괴하는 걸 어떻게 막을 수 있겠느냐”고 반문했다. 못하는 게 아니라 안 하는 것이고 결국 선택의 문제라는 이야기다.
– 지난주 오픈AI의 개발자 대회는 이런 비판이 무색하게 장밋빛 전망과 기술 폭주를 과시하는 자리였다. 전성기의 스티브 잡스를 연상케 했고 ‘아이폰 모멘트’라는 말이 나올 정도였다.
– 블룸버그에 따르면 샘 알트만이 AI 칩을 개발하는 스타트업을 만든다며 중동의 국부 펀드와 자금 조달을 논의하면서 이사회와 협의를 거치지 않은 사실이 논란이 됐다는 관측도 있다.
어떻게 될까.
– 진실을 알고 있는 사람이 너무 적고 다들 입을 다물고 있는 상태다.
– 기술의 발전 속도 못지 않게 그 위험과 통제가 중요한 쟁점으로 떠올랐다. 오픈AI의 갈등도 이 지점에서 촉발됐을 가능성이 크다. 얼라인먼트의 방향과 철학을 두고 대립했을 가능성도 있고 인공지능의 특이점이 임박했거나 이미 지났을 가능성도 배제할 수 없다.
– 뉴욕타임스 칼럼니스트 카라 스위셔는 “일리야 수츠케버가 사건의 중심에 있었다고 한다”면서 “역할과 영향력을 놓고 샘 알트먼과 갈등하던 수츠케버가 이사회를 자신의 편으로 끌어들였다”고 분석했다.
– 더버지 부편집장 알렉스 히스는 “인공지능의 위험을 꾸준히 경고해 왔던 수츠케버가 승리한 것 같다”면서 “오픈AI가 완전히 다른 덜 상업적인 시대로 접어들 것임을 시사한다”고 전망했다. 수츠케버는 “원자로가 녹아내리지 않도록 해야 한다”고 맞섰다고 한다. 샘 알트만이 다른 사업에 관심이 있었다는 이야기도 돌았다.
– 샘 알트만은 오픈AI의 지분을 전혀 보유하고 있지 않다. 이 때문에 한때 투자자들이 투자를 꺼렸다는 이야기도 돌았다. 샘 알트만은 다른 CEO들이 흔히 하는 것과 달리 경영권을 보호하기 위한 아무런 장치도 두지 않았다. 갑작스러운 해고 통보에 별다른 반발 없이 쿨하게 떠난 건 자신감이 있기 때문일 수도 있고 애초에 지배구조가 그렇게 돼 있기 때문에 반발해 봐야 의미가 없다고 생각했을 수도 있다.
– 세마포는 “알트만은 다른 더 추악한 이유가 없는 한 새로운 회사를 설립할 가능성이 크다”고 전망했다. 막대한 자본을 조달하는 것도 어렵지 않을 거라는 이야기다.
– 세마포 기자 리드 알베르고티는 “AI의 선두 주자가 큰 타격을 입었고 이제 누가 왕좌를 차지할지 모르는 상황”이라고 분석했다. 구글과 아마존이 가장 기뻐할 거라는 이야기다.
– 마이크로소프트가 오픈AI를 필요로 하는 것보다 오픈AI가 마이크로소프트를 더 필요로 할 것이라는 분석도 흥미롭다. 오픈AI는 뛰어난 기술 기업이지만 마이크로소프트의 과감한 투자가 아니었으면 이 정도로 빠르게 성장하지 못했을 것이다. 하지만 오픈AI가 대체 불가능한 압도적인 기술 우위를 확보했다고 보기는 어려운 상황이다.
– 알베르고티는 “마이크로소프트는 지금이라도 오픈AI를 대체할 방법을 찾는 게 현명할 것”이라고 조언했다. 샘 알트만 없는 오픈AI에 시간을 낭비할 가치가 없다는 이야기다.
2.
또 다른 글입니다. Keeyong Han님은 해고를 주도한 Ilya Sutskever를 다룬 가디안 인터뷰를 분석해 올렸습니다.
이번 Sam Altman의 축출(?)에서 큰 역할을 했다는 Open AI 공동창업자 Ilya가 어떤 사람인지 궁금해서 뒤져보다가 The Guardian과 했던 인터뷰(댓글 링크 참고)를 찾았다. iHuman이란 제목으로 The Guardian에서 만든 AI에 관한 다큐멘터리의 일부라는데 이 사람이 갖고 있는 AI(혹은 AGI)에 관한 생각을 엿볼 수 있는데 확실히 OpenAI가 보여주었던 행보와 다름을 느낄 수 있었다. 일부 생각해볼만한 것들을 정리해보았다.
– 먼저 AI가 여러가지 문제를 해결하겠지만 새로운 문제를 만들어낼 것이란 점을 분명히 했고 예로 가짜 뉴스와 사이버 공격의 범람, 자율 AI 무기와 안정적인 독재정권의 탄생을 든다.
– ChatGPT가 AGI로 발전할 것이라 믿고 있는 듯한 발언을 한다. 이 인터뷰때 Ilya의 바디랭귀지를 보면 걱정을 많이 하고 있음을 느낄 수 있다 (내 감정이 이입된 것인지도 모르겠지만).
“자신의 목표를 가진 완전히 자율적인 존재를 만들 수 있다고 확신하지만 이 존재들의 목표가 우리 인간의 목표와 일치하도록 하는 것이 중요하다”– “What inspires you”라는 질문에 대해서는 사람이 할 수 있는데 기계가 할 수 없는 것들에 대한 철학적으로 접근해보는 것이라고 하며 “학습”, “경험”, “사고” 등이 무엇인지 질문해보는 것을 예로 든다.
– AGI(Artificial General Intelligence)를 ‘인간이 하는 모든 일이나 작업을 더 잘 할 수 있는 컴퓨터 시스템’로 정의를 하며 AGI가 생각보다 빨리 완성될 가능성이 높다고 믿기에 지금부터 AGI를 인류의 이익과 맞추는 작업이 필요하다고 이야기한다. Ilya는 AGI는 전문가들이 생각하는 것보다 빠르게 분명히 탄생할 것으로 믿는 것 같다.
– 첫 번째 AGI 시스템은 천만개 이상의 주택의 에너지를 소모하는 딥러닝 전문 프로세서로 가득찬 거대 데이터 센터의 모양을 띨 것인데 이 첫 시스템의 믿음과 욕망을 인류에게 도움되도록 디자인하는 것이 중요하다고 말한다. 왜냐면 이런 시스템은 자연에서 생명체처럼 자기가 생존할 수 있는 형태로 발전할 것이라 처음 시작이 중요하다는 거다. 현재 사람과 동물간의 관계를 미래 AGI와 사람간의 관계로 설명한 부분도 참 흥미로왔다 (공존하겠지만 한쪽의 이익이 분명히 우선시된다)
– AGI를 먼저 만들려는 경쟁이 사실 시작된 셈이고 그래서 여러 나라들의 협업을 통해 AGI를 만드는 것이 중요하다는 말을 하며 아래 이야기로 끝을 맺는다.
“The future is going to be good for the AI regardless. It would be nice if it were good for humans as well”
AI를 이미 하나의 존재로 표현하는 부분이 인상적이다.
위 5번째 포인트가 개인적으로 가장 기억에 남는데 12분이 안되는 짧은 비디오라 직접 보며 생각해보는 것 강추!
Seongwon Yoon도 같은 영상을 아래와 같이 정리하였습니다.
‘AI의 잠재력과 위험성 인식: AI는 고용, 질병, 빈곤 문제를 해결할 잠재력을 가지고 있지만, 가짜 뉴스, 사이버 공격, 자동화된 AI 무기 등 새로운 문제들을 야기할 수 있다. 이는 인공지능이 무한한 안정성을 가진 독재체제를 창출할 수 있음을 시사한다.
기술 발전에 대한 윤리적 고민: 과학자들은 ‘신과 같은 역할’을 하며, 자율적 목표를 가진 완전히 독립적인 존재를 창조할 수 있게 되었다. 이러한 존재들의 목표가 인류의 이익과 일치하도록 하는 것이 중요하다.
기술과 생물학적 진화의 유사성: 기술 발전은 생물학적 진화와 유사하며, 단순한 규칙을 통해 복잡성이 모델로 전달된다. 이는 인공 일반 지능(AGI)이 인간과 같은 일을 더 잘 수행할 수 있는 시스템으로 발전할 수 있음을 의미한다.
AGI의 발전과 인류의 미래: AGI는 곧 현실이 될 수 있으며, 이는 인류에게 엄청난 영향을 미칠 것이다. AGI의 초기 모델은 대규모 데이터 센터와 같이 막대한 에너지를 소비할 것으로 예상된다.
AGI의 윤리적 프로그래밍의 중요성: AGI의 신념과 욕구는 매우 중요하며, 인류의 이익을 중시하는 방향으로 올바르게 프로그래밍되어야 한다. 그렇지 않으면, AGI는 인간보다 강력해져 자신의 생존을 최우선시할 수 있다.’
아래는 영상입니다.
3.
Ilya Sutskever에 관심이 갑니다. MIT Technology Review에 실린 Rogue superintelligence and merging with machines: Inside the mind of OpenAI’s chief scientist의 소제목은 아래와 같습니다.
An exclusive conversation with Ilya Sutskever on his fears for the future of AI and why they’ve made him change the focus of his life’s work.
Ilya는 왜 AGI의 위험성에 민감할까? 왜 그의 인생을 AGI의 위험성을 경고하는 일에 바칠까? 라는 질문에 답을 제공합니다. 아래는 마지막 부분을 DeepML로 번역한 글입니다.
우리가 알고 있는 인공지능과는 다른 인공지능
다른 사람들이 인간의 지능을 따라잡을 수 있는 기계에 대해 고민하는 동안, 서츠케버는 인간을 능가하는 기계를 준비하고 있습니다. 그는 이를 인공 초지능이라고 부릅니다: “인공지능은 사물을 더 깊이 볼 수 있을 것입니다. 우리가 보지 못하는 것을 볼 수 있을 것입니다.”
다시 말하지만, 저는 이것이 실제로 무엇을 의미하는지 파악하는 데 어려움을 겪고 있습니다. 인간 지능은 지능이 무엇인지에 대한 우리의 벤치마크입니다. 서츠케버가 말하는 인간보다 더 똑똑한 지능이란 무엇을 의미하나요?
“우리는 알파고에서 매우 좁은 의미의 초지능의 예를 보았습니다.”라고 그는 말합니다. 2016년, 딥마인드의 보드게임 인공지능은 세계 최고의 바둑 기사 중 한 명인 이세돌 9단을 5국 대국에서 4승 1패로 이겼습니다. “딥마인드는 인류가 수천 년 동안 발전시켜온 바둑과는 다른 방식으로 바둑을 두는 방법을 알아냈습니다.”라고 서트케버는 말합니다. “새로운 아이디어를 생각해 냈습니다.”
서트케버는 알파고의 악명 높은 37번 수를 지적합니다. 세돌과의 두 번째 대국에서 이 인공지능은 해설자들을 당황하게 만드는 수를 두었습니다. 해설자들은 알파고가 망쳤다고 생각했습니다. 사실 알파고는 바둑 역사상 그 누구도 본 적 없는 승리의 수를 두었습니다. “그 정도의 통찰력이 모든 분야에 걸쳐 있다고 상상해 보세요.”라고 서트케버는 말합니다.
이러한 사고의 전환을 통해 서츠케버는 자신의 커리어에서 가장 큰 전환을 이루게 되었습니다. 그는 OpenAI의 동료 과학자인 얀 라이크(Jan Leike)와 함께 슈퍼얼라인먼트라고 부르는 분야에 집중할 팀을 구성했습니다. 정렬이란 전문 용어로, AI 모델이 사용자가 원하는 대로만 작동하도록 만드는 것을 의미합니다. 슈퍼얼라인먼트는 초지능에 적용된 정렬을 뜻하는 OpenAI의 용어입니다.
목표는 이 미래 기술을 구축하고 제어하기 위한 일련의 안전 절차를 마련하는 것입니다. OpenAI는 방대한 컴퓨팅 리소스의 5분의 1을 이 문제에 할당하고 4년 안에 이 문제를 해결할 것이라고 밝혔습니다.
“기존의 정렬 방법은 기본적으로 인간이 AI 시스템이 수행하는 작업을 안정적으로 평가할 수 있다고 가정하기 때문에 인간보다 더 똑똑한 모델에는 작동하지 않습니다.”라고 Leike는 말합니다. “AI 시스템이 더 많은 능력을 갖추게 되면 더 어려운 작업을 수행하게 될 것입니다.” 그리고 그렇게 되면 인간이 평가하기가 더 어려워질 것입니다. “일리야와 함께 슈퍼얼라인먼트 팀을 구성하면서 우리는 이러한 미래의 얼라인먼트 과제를 해결하기 위해 노력했습니다.”라고 그는 말합니다.
“대규모 언어 모델의 잠재적 기회뿐만 아니라 위험과 단점에도 초점을 맞추는 것이 매우 중요합니다.”라고 Google의 수석 과학자인 Dean은 말합니다.
이 회사는 7월에 전형적인 팡파르를 울리며 이 프로젝트를 발표했습니다.하지만 일부 사람들에게는 환상에 불과했습니다.트위터에 올라온 OpenAI의 게시물은 Mozilla에서 AI 책임을 담당하는 아베바 비르하네(“블로그 게시물 하나에 거창하게 들리지만 공허한 단어가 너무 많다”), 분산 인공 지능 연구소의 공동 설립자 팀닛 게브루(“ChatGPT가 OpenAI 테크브로스와 더욱 ‘슈퍼 정렬’된다고 상상해보십시오.*몸서리가 쳐집니다.”), AI 회사 허깅 페이스(Hugging Face)의 수석 윤리 과학자 마가렛 미첼(“나의 정렬은 당신의 정렬보다 더 큽니다.”). 익숙한 반대의 목소리인 것은 사실입니다.그러나 이는 오픈AI가 전면에서 주도하는 반면, 다른 사람들은 주변에서 기대고 있다는 사실을 상기시켜 줍니다.
하지만 서츠케버에게 초연결은 피할 수 없는 다음 단계입니다.”아직 해결되지 않은 문제입니다.”라고 그는 말합니다.또한 자신과 같은 핵심 머신러닝 연구자가 충분히 많지 않다고 생각하는 문제이기도 합니다.”저는 제 자신의 이익을 위해 이 일을 하고 있습니다.”라고 그는 말합니다. “누구나 구축한 초지능이 악용되지 않도록 하는 것은 분명히 중요합니다. 당연하죠.”
초정렬 작업은 이제 막 시작되었습니다. 수츠케버는 연구 기관 전반에 걸쳐 광범위한 변화가 필요하다고 말합니다.하지만 그는 부모가 자녀를 바라보는 것처럼 사람을 바라보는 기계를 설계하고자 하는 안전장치의 모범을 염두에 두고 있습니다.”제 생각에는 이것이 최고의 표준입니다.”라고 그는 말합니다.”사람들이 아이들을 진심으로 걱정한다는 것은 일반적으로 사실입니다.”(자녀가 있냐고 묻자 “없지만 갖고 싶어요.”라고 그는 말합니다.)
서츠케버와 함께한 시간이 거의 다 되어가니 이제 끝났다고 생각했죠.하지만 그는 순항 중이며 제가 생각지도 못한 생각을 한 가지 더 전했습니다.
“불량 AI의 도전을 극복하고 나면 그 다음에는 어떻게 될까요?더 똑똑한 AI가 지배하는 세상에서 인간이 설 자리는 없을까요?”라고 그는 말합니다.
“한 가지 가능성은, 오늘날의 기준으로는 미쳤을지 몰라도 미래의 기준으로는 그렇게 미치지 않을 수도 있지만, 많은 사람들이 AI의 일부가 되기를 선택할 것이라는 점입니다.” 서츠케버는 이것이 인간이 따라잡으려는 방법일 수 있다고 말합니다. “처음에는 가장 대담하고 모험적인 사람들만 시도할 것입니다. 다른 사람들도 뒤따를 수도 있습니다. 그렇지 않을 수도 있습니다.”
마지막으로 이사회쿠데타와 관련한 상상력을 적은 What went down at OpenAI: A theory of the case이 재미있습니다. 그리고 댓글도…
손익이 아니라 미래에 대한 비전, 조금은 철학적일 수도 있는 질문을 놓고 권력투쟁이 벌어졌다는 점이 신선합니다. AI과학자의 사회적 책임을 떠올립니다.
