1.
몇 일 SNS를 장식하는 AI 모라토리옴에 관한 글이 있습니다. Pause Giant AI Experiments: An Open Letter입니다. 관련한 내용은 DeepL로 번역하였습니다. 몇 군데 손질을 했습니다.
OpenAI와 Future of life 재단 모두 AGI의 위험성을 공유합니다. 다만 위험성을 낮추고 인류에게 도움이 되기 위해 어떻게 해야하는지를 놓고 차이를 보입니다. 인류가 AGI를 받아드릴 수 있는 준비를 먼저 하자는 입장과 개발과 피드백을 통해 위험성을 통제하고 각 단계에 맞는 사회적 준비를 하자는 차이로 보입니다. 너무 단순한 비교인가요? Artificial General Intelligence(AGI)로의 진화라는 개념을 사용할 때 GPT-4가 초입이라고 합니다. 이 때 AI를 다룰 때 많이 언급하였던 Responsible AI와 Explainable AI라는 개념은 어떻게 보장할 수 있는지 궁금해집니다.
아마 이 모든 문제의 원인은 급속한 진화에서 출발하는 듯 합니다. AGI가 인간의 통제를 벗어나 터미네이터의 Skynet와 같은 수준으로 진화할지…
진화라는 표현이 맞지 않을 수 있습니다. 아직 인간은 개발이라고 표현합니다. 개발이라는 단어속에서 인간의 통제를 생각합니다. 그런데 진화라는 개념을 적용하는 때가 오면, 이미 때는 늦을 수 있죠.
광범위한 연구와 최고의 AI 연구소에서 인정한 바와 같이, 인간과 경쟁할 수 있는 지능을 갖춘 AI 시스템은 사회와 인류에 심각한 위험을 초래할 수 있습니다. 널리 승인된 아실로마 AI 원칙에 명시된 바와 같이, 고급 AI는 지구 생명체의 역사에 중대한 변화를 일으킬 수 있으므로 그에 상응하는 주의와 자원을 통해 계획 및 관리되어야 합니다. 안타깝게도 최근 몇 달 동안 AI 연구소는 그 누구도, 심지어 개발자를 포함한 그 누구도 이해하거나 예측하거나 안정적으로 제어할 수 없는 더욱 강력한 디지털 마인드를 개발하고 배포하기 위해 통제 불능의 경쟁에 몰두하고 있지만 이러한 수준의 계획과 관리가 이루어지지 않고 있습니다.
현대의 AI 시스템은 이제 일반적인 작업에서 인간과 경쟁할 수 있는 수준으로 발전하고 있으며, 우리는 스스로에게 다음과 같은 질문을 던져야 합니다:
“기계가 우리의 정보 채널을 선전과 비진리(propaganda and untruth)로 가득 채우도록 내버려둬야 할까요?”
“성취감을 주는(만족스러운) 일을 포함한 모든 일을 자동화해야 할까요? ”
“결국에는 인류보다 더 많아지고 더 똑똑하고, 어느 순간 더 쓸모없어진 우리를 대체할 수 있는 기계마인드를 개발해야 할까요? ”
“우리 문명에 대한 통제력을 상실할 위험을 감수해야 할까요?”이러한 결정을 선출되지 않은 기술 리더에게 위임해서는 안 됩니다. 강력한 인공지능 시스템은 그 효과가 긍정적이고 위험을 관리할 수 있다는 확신이 있을 때에만 개발되어야 합니다. 이러한 확신은 시스템의 잠재적 효과의 규모에 따라 정당화되고 증가해야 합니다. OpenAI는 최근 인공일반지능에 관한 성명에서 “어느 시점에서는 미래 시스템을 훈련하기 전에 독립적인 검토를 받고, 새로운 모델을 만드는 데 사용되는 컴퓨팅의 성장 속도를 제한하는 데 동의하는 것이 중요할 수 있다”고 언급했습니다. 저희도 동의합니다. 그 시점이 바로 지금입니다.
따라서 우리는 모든 인공지능 연구소가 GPT-4보다 더 강력한 인공지능 시스템의 학습을 최소 6개월 동안 즉시 중단할 것을 촉구합니다. 이 일시 중지는 공개적이고 검증 가능해야 하며 모든 주요 행위자를 포함해야 합니다. 이러한 중단 조치가 신속하게 시행될 수 없다면 정부가 나서서 유예 조치를 취해야 합니다.
AI 연구소와 독립 전문가들은 이번 일시 중단을 계기로 독립적인 외부 전문가가 엄격하게 감사하고 감독하는 고급 AI 설계 및 개발을 위한 일련의 공유 안전 프로토콜을 공동으로 개발하고 구현해야 합니다. 이러한 프로토콜을 준수하는 시스템은 합리적 의심의 여지가 없을 정도로 안전해야 합니다.[4] 이는 AI 개발 전반의 중단을 의미하는 것이 아니라 새로운 기능을 갖춘 예측할 수 없는 더 큰 블랙박스 모델을 향한 위험한 경쟁에서 한 발짝 물러나자는 의미일 뿐입니다.
AI 연구와 개발은 오늘날의 강력한 최첨단 시스템을 더욱 정확하고, 안전하고, 해석 가능하며, 투명하고, 견고하고, 일관되고, 신뢰할 수 있고, 충성도가 높은 시스템으로 만드는 데 다시 초점을 맞춰야 합니다.
이와 동시에 AI 개발자는 정책 입안자들과 협력하여 강력한 AI 거버넌스 시스템의 개발을 획기적으로 가속화해야 합니다. 이러한 시스템에는 최소한 다음과 같은 것들이 포함되어야 합니다. AI를 전담하는 새롭고 유능한 규제 당국, 고성능 AI 시스템과 대규모 연산 능력 풀에 대한 감독 및 추적, 진짜와 가짜를 구별하고 모델 유출을 추적하는 데 도움이 되는 출처 및 워터마킹 시스템, 강력한 감사 및 인증 생태계, AI로 인한 피해에 대한 책임, 기술적 AI 안전 연구를 위한 강력한 공공 자금, AI가 초래할 극심한 경제적, 정치적 혼란(특히 민주주의에 대한)에 대처할 수 있는 충분한 자원을 갖춘 기관.
인류는 AI와 함께 번영하는 미래를 누릴 수 있습니다. 강력한 AI 시스템을 만드는 데 성공한 우리는 이제 그 보상을 누리고, 모두에게 분명한 이득이 되도록 시스템을 설계하고, 사회에 적응할 기회를 주는 ‘AI의 여름’을 즐길 수 있습니다. 사회는 사회에 잠재적으로 치명적인 영향을 미칠 수 있는 다른 기술에 대해 잠시 멈춰 섰습니다.[5] 우리는 여기서 그렇게 할 수 있습니다. 준비되지 않은 가을로 서두르지 말고 긴 AI의 여름을 만끽합시다.
아래는 원문입니다.
AI systems with human-competitive intelligence can pose profound risks to society and humanity, as shown by extensive research[1] and acknowledged by top AI labs.[2] As stated in the widely-endorsed Asilomar AI Principles, Advanced AI could represent a profound change in the history of life on Earth, and should be planned for and managed with commensurate care and resources. Unfortunately, this level of planning and management is not happening, even though recent months have seen AI labs locked in an out-of-control race to develop and deploy ever more powerful digital minds that no one – not even their creators – can understand, predict, or reliably control.
Contemporary AI systems are now becoming human-competitive at general tasks,[3] and we must ask ourselves: Should we let machines flood our information channels with propaganda and untruth? Should we automate away all the jobs, including the fulfilling ones? Should we develop nonhuman minds that might eventually outnumber, outsmart, obsolete and replace us? Should we risk loss of control of our civilization? Such decisions must not be delegated to unelected tech leaders. Powerful AI systems should be developed only once we are confident that their effects will be positive and their risks will be manageable. This confidence must be well justified and increase with the magnitude of a system’s potential effects. OpenAI’s recent statement regarding artificial general intelligence, states that “At some point, it may be important to get independent review before starting to train future systems, and for the most advanced efforts to agree to limit the rate of growth of compute used for creating new models.” We agree. That point is now.
Therefore, we call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4. This pause should be public and verifiable, and include all key actors. If such a pause cannot be enacted quickly, governments should step in and institute a moratorium.
AI labs and independent experts should use this pause to jointly develop and implement a set of shared safety protocols for advanced AI design and development that are rigorously audited and overseen by independent outside experts. These protocols should ensure that systems adhering to them are safe beyond a reasonable doubt.[4] This does not mean a pause on AI development in general, merely a stepping back from the dangerous race to ever-larger unpredictable black-box models with emergent capabilities.
AI research and development should be refocused on making today’s powerful, state-of-the-art systems more accurate, safe, interpretable, transparent, robust, aligned, trustworthy, and loyal.
In parallel, AI developers must work with policymakers to dramatically accelerate development of robust AI governance systems. These should at a minimum include: new and capable regulatory authorities dedicated to AI; oversight and tracking of highly capable AI systems and large pools of computational capability; provenance and watermarking systems to help distinguish real from synthetic and to track model leaks; a robust auditing and certification ecosystem; liability for AI-caused harm; robust public funding for technical AI safety research; and well-resourced institutions for coping with the dramatic economic and political disruptions (especially to democracy) that AI will cause.
Humanity can enjoy a flourishing future with AI. Having succeeded in creating powerful AI systems, we can now enjoy an “AI summer” in which we reap the rewards, engineer these systems for the clear benefit of all, and give society a chance to adapt. Society has hit pause on other technologies with potentially catastrophic effects on society.[5] We can do so here. Let’s enjoy a long AI summer, not rush unprepared into a fall.
2.
위 성명에 나온 인용글입니다. 먼저 아실로마 AI 원칙입니다.
인공 지능은 이미 전 세계 사람들이 매일 사용하는 유용한 도구를 제공합니다. 다음과 같은 원칙에 따라, 인공지능의 지속적인 발전은 앞으로 수십 년 또는 수백 년 동안 사람들을 돕고 힘을 실어 줄 놀라운 기회를 제공할 것입니다.
연구 이슈
1) 연구목표 : 인공지능 연구의 목표는 방향성이 없는 지능을 개발하는 것이 아니라 인간에게 유용하고 이로운 혜택을 주는 지능을 개발하는 것이다.
2) 연구비 지원 : 인공지능에 대한 투자에는 컴퓨터 과학, 경제, 법, 윤리 및 사회 연구 등의 어려운 질문을 포함해 유익한 이용을 보장하기 위한 연구비 지원이 수반되어야 한다:어떻게 미래의 인공지능 시스템을 강력하게 만들어 오작동이나 해킹 피해 없이 우리가 원하는 대로 작업을 수행하도록 할 수 있나?
사람들의 자원과 목적을 유지하면서 자동화를 통해 우리 번영을 어떻게 성장시킬 수 있나?
인공지능과 보조를 맞추고 인공지능과 관련된 위험을 통제하기 위해, 보다 공정하고 효율적으로 법률 시스템을 개선할 수 있는 방법은 무엇인가?
인공지능은 어떤 가치를 갖추어야 하며, 어떤 법적 또는 윤리적인 자세를 가져야 하는가?3) 과학정책 연결 : 인공지능 연구자와 정책 입안자 간에 건설적이고 건전한 교류가 있어야 한다.
4) 연구문화 : 인공지능 연구자와 개발자 간에 협력, 신뢰, 투명성의 문화가 조성되어야 한다.
5) 경쟁 피하기 : 인공지능 시스템 개발팀들은 안전기준에 대비해 부실한 개발을 피하고자 적극적으로 협력해야 한다.윤리 및 가치
6) 안전 : 인공지능 시스템은 작동 수명 전반에 걸쳐 안전하고 또 안전해야 하며, 적용 가능하고 실현 가능할 경우 그 안전을 검증할 수 있어야 한다.
7) 장애 투명성 : 인공지능 시스템이 손상을 일으킬 경우 그 이유를 확인할 수 있어야 한다.
8) 사법적 투명성 : 사법제도 결정에 있어 자율시스템이 사용된다면, 권위 있는 인권기구가 감사 할 경우 만족스러운 설명을 제공할 수 있어야 한다.
9) 책임 : 고급 인공지능 시스템의 디자이너와 설계자는 인공지능의 사용, 오용 및 행동의 도덕적 영향에 관한 이해관계자이며, 이에 따라 그 영향을 형성하는 책임과 기회를 가진다.
10) 가치관 정렬 : 고도로 자율적인 인공지능 시스템은 작동하는 동안 그의 목표와 행동이 인간의 가치와 일치하도록 설계되어야 한다.
11) 인간의 가치 : 인공지능 시스템은 인간의 존엄성, 권리, 자유 및 문화적 다양성의 이상에 적합하도록 설계되어 운용되어야 한다.
12) 개인정보 보호 : 인공지능 시스템의 데이터를 분석 및 활용능력의 전제하에, 사람들은 그 자신들이 생산한 데이터를 액세스, 관리 및 통제할 수 있는 권리를 가져야 한다.
13) 자유와 개인정보 : 개인정보에 관한 인공지능의 쓰임이 사람들의 실제 또는 인지된 자유를 부당하게 축소해서는 안된다.
14) 공동이익 : 인공지능 기술은 최대한 많은 사람에게 혜택을 주고 힘을 실어주어야 한다.
15) 공동번영 : AI에 의해 이루어진 경제적 번영은 인류의 모든 혜택을 위해 널리 공유되어야 한다.
16) 인간의 통제력 : 인간이 선택한 목표를 달성하기 위해 인간은 의사결정을 인공지능 시스템에 위임하는 방법 및 여부를 선택해야 한다.
17) 비파괴 : 고도화된 인공지능 시스템의 통제로 주어진 능력은 건강한 사회가 지향하는 사회적 및 시정 과정을 뒤엎는 것이 아니라 그 과정을 존중하고 개선해야 한다.
18) 인공지능 무기 경쟁 : 치명적인 인공지능 무기의 군비 경쟁은 피해야 한다.장기 이슈
19) 인공지능 능력에관한 주의 : 합의가 없으므로 향후 인공지능 능력의 상한치에 관한 굳은 전제는 피해야 한다.
20) 중요성 : 고급 AI는 지구 생명의 역사에 심각한 변화를 가져올 수 있으므로, 그에 상응 한 관심과 자원을 계획하고 관리해야 한다.
21) 위험 : 인공지능 시스템이 초래하는 위험, 특히 치명적인 또는 실존적 위험에는, 예상된 영향에 맞는 계획 및 완화 노력이 뒷받침되어야 한다.
22) 재귀적 자기 개선 : 인공지능 시스템이 재귀적 자기 복제나 자기 개선을 통하여 빠른 수적 또는 품질 증가를 초래한다면, 설계된 시스템은 엄격한 안전 및 통제 조치를 받아야 한다.
23) 공동의 선 : 초지능은 널리 공유되는 윤리적 이상을 위해, 그리고 몇몇 국가나 조직이 아닌 모든 인류의 이익을 위해 개발되어야 한다.
그리고 OpenAI가 발표한 성명으로 위 글중 “인공일반지능에 관한 성명”라고 한 부분입니다.
우리의 임무는 일반적으로 인간보다 더 똑똑한 인공 일반 지능(AI 시스템)이 모든 인류에게 혜택을 줄 수 있도록 하는 것입니다.
AGI가 성공적으로 개발되면 이 기술은 풍요를 증진하고 세계 경제를 활성화하며 가능성의 한계를 바꾸는 새로운 과학 지식의 발견을 지원함으로써 인류를 향상시키는 데 도움이 될 수 있습니다.
AGI는 모든 사람에게 놀랍도록 새로운 능력을 부여할 수 있는 잠재력을 가지고 있으며, 거의 모든 인지 작업에 도움을 받을 수 있는 세상을 상상할 수 있으며, 인간의 독창성과 창의성을 크게 향상시킬 수 있습니다.반면에 AGI는 오용, 심각한 사고, 사회적 혼란을 초래할 수 있는 심각한 위험도 수반할 수 있습니다. AGI의 긍정적인 측면이 너무 크기 때문에 사회가 영원히 개발을 중단하는 것은 가능하지도 않고 바람직하지도 않다고 생각하며, 대신 사회와 AGI 개발자들이 올바른 방법을 찾아내야 합니다.예를 들어, AGI를 개발하려면 엄청난 양의 컴퓨팅이 필요하기 때문에 누가 작업하고 있는지 전 세계가 알게 될 것 같고, 초진화 RL 에이전트가 서로 경쟁하며 우리가 실제로 관찰할 수 없는 방식으로 지능을 진화시킨다는 원래의 개념은 원래 생각보다 가능성이 적고, 인류의 집단적 선호와 결과물로부터 학습할 수 있는 사전 훈련된 언어 모델에서 이 정도로 많은 진전을 이룰 것이라고 예측한 사람은 거의 없는 듯합니다.AGI는 조만간 또는 먼 미래에 실현될 수 있으며, 초기 AGI에서 더 강력한 후속 시스템으로의 도약 속도는 느릴 수도 있고 빠를 수도 있습니다. 많은 사람들이 이 2×2 행렬에서 가장 안전한 사분면은 짧은 타임라인과 느린 이륙 속도라고 생각합니다. 타임라인이 짧을수록 조율이 용이하고 컴퓨팅 오버행이 적어 이륙 속도가 느려질 가능성이 높으며, 이륙 속도가 느려지면 안전 문제를 해결하는 방법과 적응 방법을 경험적으로 파악할 시간이 더 많이 주어지기 때문입니다.앞으로 어떤 일이 일어날지 정확히 예측할 수 없고, 물론 현재 진행 상황이 벽에 부딪힐 수도 있지만, 우리가 가장 중요하게 생각하는 원칙은 명확히 알 수 있습니다:
1. 우리는 AGI가 인류가 우주에서 최대한 번영할 수 있도록 힘을 실어주기를 바랍니다. 우리는 미래가 완벽하지 않은 유토피아가 되기를 기대하지는 않지만, 좋은 점은 극대화하고 나쁜 점은 최소화하여 AGI가 인류의 증폭기가 되기를 원합니다.
2. 우리는 AGI의 혜택, 접근성, 거버넌스가 광범위하고 공정하게 공유되기를 바랍니다.
3. 우리는 거대한 위험을 성공적으로 헤쳐나가고자 합니다. 이러한 위험에 직면할 때, 이론적으로는 옳아 보이는 일이 실제로는 예상보다 이상하게 전개되는 경우가 많다는 사실을 인정합니다. 우리는 ‘한 번의 실패’를 최소화하기 위해 덜 강력한 버전의 기술을 배포하여 지속적으로 학습하고 적응해야 한다고 믿습니다.단기 과제
AGI를 준비하기 위해 지금 해야 할 중요한 일들이 몇 가지 있습니다.
첫째, 더욱 강력한 시스템을 지속적으로 개발하면서 이를 배포하고 실제 환경에서 운영 경험을 쌓는 것입니다. 이것이 AGI를 조심스럽게 현실화할 수 있는 최선의 방법이라고 생각합니다.
AGI가 있는 세상으로의 점진적인 전환이 갑작스러운 전환보다 낫기 때문입니다. 강력한 AI가 세상의 발전 속도를 훨씬 더 빠르게 만들 것으로 기대하며, 점진적으로 적응하는 것이 더 낫다고 생각합니다.점진적인 전환은 사람, 정책 입안자, 기관이 현재 상황을 이해하고, 이러한 시스템의 장단점을 직접 경험하고, 경제에 적응하고, 규제를 마련할 수 있는 시간을 제공합니다. 또한 사회와 AI가 함께 진화하고, 사람들이 상대적으로 적은 비용으로 원하는 바를 집단적으로 파악할 수 있게 해줍니다.현재로서는 빠른 학습과 신중한 반복을 통해 긴밀한 피드백 루프를 구축하는 것이 AI 배포 과제를 성공적으로 해결하는 가장 좋은 방법이라고 생각합니다. 사회는 AI 시스템의 허용 범위, 편견에 대처하는 방법, 일자리 대체에 대처하는 방법 등에 대한 주요 질문에 직면하게 될 것입니다.
최적의 결정은 기술이 나아가는 길에 따라 달라질 것이며, 다른 새로운 분야와 마찬가지로 지금까지 대부분의 전문가 예측이 틀린 경우가 많았습니다. 따라서 진공 상태에서 계획을 세우는 것은 매우 어렵습니다.예를 들어, 처음 OpenAI를 시작했을 때만 해도 확장이 지금처럼 중요할 것이라고는 예상하지 못했습니다. 확장성이 중요하다는 사실을 깨달았을 때, 비영리 단체로서의 사명을 달성하기 위해 충분한 자금을 모금할 수 없는 기존 구조가 작동하지 않을 것이라는 사실도 깨달았고, 그래서 새로운 구조를 고안했습니다.또 다른 예로, 개방성에 대한 기존의 생각이 틀렸다고 판단하여 모든 것을 공개해야 한다는 생각에서(일부 기능을 오픈소스화하고 있으며 앞으로 더 많은 기능을 오픈소스화할 예정입니다!) 시스템에 대한 접근과 혜택을 안전하게 공유할 수 있는 방법을 찾아야 한다는 생각으로 방향을 선회했습니다. 저희는 여전히 사회가 무슨 일이 일어나고 있는지 이해함으로써 얻을 수 있는 이점이 매우 크며, 그러한 이해를 가능하게 하는 것이 사회가 공동으로 원하는 것을 구축하는 가장 좋은 방법이라고 믿습니다(물론 여기에는 많은 뉘앙스와 갈등이 존재합니다).일반적으로 말하자면, 저희는 AI가 세상에 더 많이 사용될수록 더 좋은 결과를 가져올 것이라고 생각하며, 이를 촉진하고자 합니다(API에 모델을 넣거나 오픈소스를 공개하는 등의 방법으로). 또한 접근이 민주화되면 더 나은 연구, 분산된 권한, 더 많은 혜택, 더 많은 사람들이 새로운 아이디어를 제공하게 될 것이라고 믿습니다.
시스템이 AGI에 가까워짐에 따라 모델을 만들고 배포하는 데 점점 더 신중해지고 있습니다. 우리의 결정에는 사회가 일반적으로 신기술에 적용하는 것보다 훨씬 더 많은 주의가 필요하며, 많은 사용자가 원하는 것보다 더 많은 주의가 필요합니다. 인공지능 분야의 일부 사람들은 AGI(및 후속 시스템)의 위험성을 허구라고 생각하는데, 그 생각이 옳은 것으로 판명된다면 더할 나위 없이 좋겠지만, 우리는 이러한 위험이 실재하는 것처럼 운영할 것입니다.언젠가는 배포의 장점과 단점(악의적 행위자 권한 부여, 사회 및 경제적 혼란 야기, 안전하지 않은 경쟁 가속화 등) 사이의 균형이 바뀔 수 있으며, 이 경우 지속적인 배포에 대한 계획을 크게 변경할 것입니다.
둘째, 저희는 점점 더 조율되고 조정 가능한 모델을 만들기 위해 노력하고 있습니다. GPT-3의 첫 번째 버전과 같은 모델에서 인스트럭트GPT와 채팅GPT로 전환한 것이 그 초기 사례입니다.
특히, 사회가 AI를 사용할 수 있는 매우 넓은 범위에 합의하되, 그 범위 내에서 개별 사용자에게 많은 재량권을 부여하는 것이 중요하다고 생각합니다. 궁극적인 목표는 각 기관이 이러한 넓은 범위가 무엇인지에 대해 합의하는 것이며, 단기적으로는 외부의 의견을 수렴하기 위한 실험을 진행할 계획입니다. 세계 각국의 기관들은 AGI에 대한 복잡한 결정에 대비하기 위해 추가적인 역량과 경험을 강화해야 할 것입니다.제품의 ‘기본 설정’은 상당히 제한적일 가능성이 높지만, 사용자가 사용 중인 AI의 동작을 쉽게 변경할 수 있도록 할 계획입니다. Facebook은 개인이 스스로 결정을 내릴 수 있도록 권한을 부여하고 다양한 아이디어의 고유한 힘을 믿습니다.모델이 더욱 강력해짐에 따라 새로운 정렬 기술을 개발해야 하며, 현재 기술이 실패하는 시점을 파악하기 위한 테스트도 진행해야 합니다. 단기적으로는 인간이 더 복잡한 모델의 결과를 평가하고 복잡한 시스템을 모니터링하는 데 AI를 활용하고, 장기적으로는 더 나은 정렬 기법을 위한 새로운 아이디어를 떠올리는 데 AI를 활용할 계획입니다.중요한 것은 AI의 안전과 기능을 함께 발전시켜야 한다는 점입니다. 이 두 가지를 따로 떼어놓고 이야기하는 것은 잘못된 이분법이며, 여러 가지 면에서 상호 연관되어 있습니다. 최고의 안전 작업은 가장 유능한 모델과 함께 작업함으로써 이루어졌습니다. 즉, 안전과 역량 발전의 비율을 높이는 것이 중요합니다.
셋째, 이러한 시스템을 어떻게 운영할 것인지, 시스템에서 창출되는 혜택을 어떻게 공정하게 분배할 것인지, 접근 권한을 어떻게 공정하게 공유할 것인지 등 세 가지 핵심 질문에 대한 전 세계적인 논의가 이루어지기를 희망합니다.
이 세 가지 영역 외에도, 저희는 인센티브와 좋은 결과를 연계하는 방식으로 구조를 설정하려고 노력해 왔습니다. 저희는 헌장에 다른 조직이 AGI 개발 후기 단계에서 경쟁하는 대신 안전을 발전시킬 수 있도록 지원하는 조항을 두고 있습니다. 우리는 주주가 얻을 수 있는 수익에 상한선을 두어, 잠재적으로 재앙을 초래할 수 있는 위험을 무릅쓰고 무모하게 가치를 창출하려는 동기를 부여하지 않도록 하고 있습니다(물론 사회와 이익을 공유하기 위한 방법으로도). 저희는 안전을 위해 필요한 경우 주주에 대한 지분 의무를 취소하고 세계에서 가장 포괄적인 UBI 실험을 후원하는 등 인류의 이익을 위해 운영할 수 있는 비영리 단체를 운영하고 있으며, 이 단체는 모든 영리적 이해관계를 무시할 수 있습니다.저희와 같은 노력은 새로운 시스템을 출시하기 전에 독립적인 감사를 받는 것이 중요하다고 생각하며, 이에 대해서는 올해 후반에 더 자세히 설명할 예정입니다. 향후 시스템 훈련을 시작하기 전에 독립적인 검토를 받고, 새로운 모델을 만드는 데 사용되는 컴퓨팅의 증가 속도를 제한하는 데 동의하는 가장 진보된 노력이 어느 시점에서는 중요할 수 있습니다. 학습 실행을 중단하거나, 모델을 출시해도 안전하다고 판단하거나, 모델을 실제 사용에서 제외해야 하는 시점에 대한 공개 표준이 중요하다고 생각합니다. 마지막으로, 세계 주요 정부가 일정 규모 이상의 훈련 실행에 대한 인사이트를 확보하는 것이 중요하다고 생각합니다.
장기적 관점
트위터는 인류의 미래는 인류에 의해 결정되어야 하며, 진행 상황에 대한 정보를 대중과 공유하는 것이 중요하다고 믿습니다. AGI를 구축하려는 모든 노력에 대한 면밀한 조사와 주요 결정에 대한 대중의 협의가 있어야 합니다.
첫 번째 AGI는 지능의 연속선상에 있는 한 지점에 불과할 것입니다. 그 이후에도 지난 10년 동안 보아온 발전 속도를 장기간 유지할 수 있을 것으로 예상됩니다. 이것이 사실이라면 세상은 지금과는 매우 달라질 수 있으며, 그 위험은 엄청날 수 있습니다. 잘못 조정된 초지능 AGI는 전 세계에 심각한 해를 끼칠 수 있으며, 독재 정권이 초지능을 결정적으로 주도할 수도 있습니다.
과학을 가속화할 수 있는 AI는 생각해 볼 가치가 있는 특별한 경우이며, 어쩌면 다른 모든 것보다 더 영향력이 클 수도 있습니다. 자체적으로 발전을 가속화할 수 있는 능력을 갖춘 AGI는 놀라울 정도로 빠르게 큰 변화를 일으킬 수 있습니다(전환이 느리게 시작되더라도 최종 단계에서는 꽤 빠르게 진행될 것으로 예상됩니다). 느리게 이륙하는 것이 더 안전하다고 생각하며, 중요한 시점에 속도를 늦추기 위한 AGI 노력 간의 조정이 중요할 것입니다(기술 조정 문제를 해결하기 위해 이렇게 할 필요가 없는 세상에서도 사회가 적응할 시간을 충분히 주기 위해 속도를 늦추는 것이 중요할 수 있습니다).초지능이 있는 세상으로의 성공적인 전환은 아마도 인류 역사상 가장 중요하고 희망적이면서도 두려운 프로젝트일 것입니다. 성공이 보장되는 것은 아니며, 그 위험(무한한 단점과 무한한 장점)이 우리 모두를 하나로 묶어줄 수 있기를 바랍니다.
우리는 인류가 아직 완전히 상상할 수 없을 정도로 번영하는 세상을 상상할 수 있습니다. 우리는 그러한 번영에 부합하는 AGI가 세상에 기여하기를 희망합니다.
