[요즘AI] AI 에이전트의 한계

1.
5-Day Gen AI Intensive Course with Google라는 강좌가 있습니다.

  • Day 1: Foundational Models & Prompt Engineering – Explore the evolution of Large Language Models (LLMs), from transformers to techniques like fine-tuning, inference acceleration, and reasoning models. Get trained with the art of prompt engineering for optimal LLM interaction.
  • Day 2: Embeddings and Vector Stores/Databases – Learn about the conceptual underpinning of embeddings and vector databases, including embedding methods, vector search algorithms, and real-world applications with LLMs, as well as their tradeoffs.
  • Day 3: Generative AI Agents – Learn to build sophisticated AI agents by understanding their core components and the iterative development process, including recent agentspace development.
  • Day 4: Domain-Specific LLMs – Delve into the creation and application of specialized LLMs like SecLM and Med-PaLM, with insights from the researchers who built them.
  • Day 5: MLOps for Generative AI – Discover how to adapt MLOps practices for Generative AI and leverage Vertex AI’s tools for foundation models and generative AI applications.

Threads의 choi.openai님이 위 강좌에 올라온 글을 아래에서 소개하면서 관련한 백서를 다운받을 수 있도록 정보를 제공합니다.

Kaggle에서 진행중인 AI Agents Intensive 강의에서 Agent Ops, MCP, 메모리, 컨텍스트 엔지니어링, 세션, 평가 체계를 다룬 백서들을 공개했습니다.

Download (PDF, 9.03MB)


Download (PDF, 7.64MB)


Download (PDF, 7.33MB)


Download (PDF, 6.12MB)

2.
위 자료를 에이전트의 한계로 읽은 분이 계십니다. LinkedIN에 올라온 글입니다.

5개의 논문, 하나의 결론 – 구글은 에이전트의 미래를 연 것이 아니라, 사실 그 한계를 고백했다…

“LLM의 벽, 그리고 에이전트가 아직 가지 못한 길”

지난달, 구글은 5개의 에이전트 논문을 닷새 동안 연속으로, 그러나 이상하리 만큼 조용하게 공개했다. 대규모 행사도, 화려한 키노트도 없이, 마치 자연스럽게 스쳐 지나가길 바라는 듯한 방식으로 문서를 하나씩 떨구듯 내놓았던 것이다.하지만 나는 이 250여 페이지에 달하는 텍스트를 처음부터 끝까지 읽어 내려가면서, 그 속에 감춰진 진짜 메시지가 무엇인지 단번에 감지할 수 있었다.

이 문서들은 겉으로는 “에이전트의 미래를 여는 비전 선언”처럼 보이지만, 실상은 전혀 다르다. 오히려 “LLM 기반 에이전트가 도달할 수 있는 한계와 넘을 수 없는 벽을, 구글 스스로 고백한 보고서”에 훨씬 가깝다.이 문서들은 기술적 진보의 이야기라기 보다, LLM이라는 구조 그 자체가 만들어낼 수 없는 자율성에 대한 한계를 은연중에 드러내는 글들이라 할 수 있다. 그들이 정의한 에이전트는 겉보기에는 거대하고 정교한 것처럼 보이지만 실제로는 LLM을 중심으로 컨트롤러, 스케줄러, 실행기를 덧댄 반응적 오케스트레이션 구조에 불과하다. 내부 예측 모델도 없고, 스스로를 안정화하는 구조도 없으며, 실패를 감지하고 미리 재구성하는 능력 역시 존재하지 않는다.

이것은 자율적 존재가 아니라, 외부 입력이 들어올 때만 움직이는 고급형 워크플로우 엔진에 가깝다고 할 수 있다. 진정한 에이전트라면 가져야 할 내부적 세계관, 자기 조직화 능력, 자율적 안정성 같은 요소는 그 어느 곳에도 찾아 볼 수 없다. 이는 LLM이 본질적으로 단일 토큰 예측 기계이기 때문이다. 즉, 구글이 만든 것은 ‘에이전트’라는 이름을 가진 새로운 존재가 아니라 LLM을 더 잘 다루기 위한 겹겹의 포장과 제어 장치의 집합체에 불과하다.

MCP체계 역시 마찬가지다. 구글은 이를 통해 에이전트가 외부 도구와 더 일관되고 안정적으로 상호작용할 수 있도록 표준화를 시도한다. 그러나 에이전트가 환경을 근본적으로 이해하지 못하기 때문에, API 인터페이스를 깨끗이 정리해야만 시스템은 정상적으로 작동한다.에이전트는 사물을 지각하지 못하고, 세계의 구조를 이해하지 못하며, 물리적·기능적 제약을 스스로 모델링하지 못한다. 그래서 MCP는 지각을 확장하는 장치가 아니라 지각의 부재를 보완하는 보조 기구에 불과하다. 실재하는 ‘도구’를 만들어 주지 못하니 더 정확한 ‘도구 사용 설명서’를 만들어주는 셈이다.

구글이 제시한 ‘Agent Quality’ 문서도 같은 맥락에서 바라볼 수 있다. 정확성, 안정성, 반복성, 환각 제어, 멀티스텝 유효성 등 평가 기준을 체계화 하려는 시도다. 그러나 깊이 들여다보면 이것은 품질 향상이 아니라, LLM 기반 에이전트가 실패하는 방식이 늘 동일하고 구조적이라는 사실을 재확인하는 절차에 가깝다.
왜냐하면 LLM이라는 아키텍처가 내부적 예측, 구조적 안정성, 지속적 목표 상태를 구현할 수 없는 방식으로 태초부터 설계되어 있기 때문이다. 평가 지표를 아무리 정교하게 다듬어도, 내부 모델이 부재한 시스템은 본질적으로 같은 유형의 실패를 반복하게 된다. 구글은 문제를 정확히 인식하고 있지만, 해결 방식은 프롬프트 조정, 도구 체계 보완, 자동화된 루프 개선이라는 보정 공학의 범위를 벗어나지 못한다.

가장 흥미로운 고백은 ‘Context Engineering’ 문서에서 등장한다. 구글은 처음으로 다음 사실을 명확히 인정한다. 컨텍스트 윈도우는 메모리(기억)이 아니며, RAG도 메모리가 아니고, 벡터 저장소는 기억의 구조화된 경험이 아니며, 세션 연결은 자아의 연속성을 제공하지 않는다는 사실이다. 그래서 그들은 세션 스티칭, 지속 컨텍스트, 동적 윈도우 같은 기법을 제안한다.

이와 같은 방식은, 기술적으로는 똑똑해 보이지만, 결정적 간극이 존재한다.

기억은 엄연히 말하면 사실 저장이 아니다. 기억은 구조의 변화다. 진짜 기억이란 새로운 경험을 내부 모델에 통합하는 과정이며, 내부적 중력, 형태적 안정성, 제약 기반의 재구성, 경험에 따른 구조적 발달이 하나의 흐름을 만든다. 이것이 바로 RDDs 같은 축적 구조가 가능한 이유다. 하지만 이와 반대로, LLM은 어떤 경험을 하더라도 내부 구조가 근본적으로 재배치되지 않는다.

LLM의 파라미터는 학습 이후 고정되어 있으며, 실행 중에는 무질서한 상태 변화 없이 오직 토큰 확률만 계산한다. 즉, LLM은 ‘기억처럼 보이는 기록’을 다룰 수는 있지만 ‘기억을 생성하는 구조적 변화’를 수행할 수 없다. 이 한계는 아무리 세션을 연결하고 데이터를 저장한다고 해서 해결되지 않는다.

마지막 문서인 ‘Prototype to Production’은 거의 운영 가이드에 가깝다. 안전망을 만들고, 샌드박스에서 실행하고, guardrail을 두고, Human In the loop안에 포함시키며, 오류 전파를 차단하고, 테스트를 반복하라는 이야기다. 이는 실용적이지만 동시에 씁쓸한 사실 하나를 드러낸다.

신뢰받지 못하는 시스템을 실행하기 위해 필요한 것은 혁신이 아니라 보호 장치들이다. 만약 안정적이라면 이렇게 많은 안전망은 필요 없을 것이다. 이 문서는 사실상 “우리가 만든 시스템은 자율성이 없고 예측이 어렵기 때문에, 외부에서 안전하게 감싸야 한다”고 말하는 셈이다.

앞서 설명한 이 5개의 문서는 각기 다른 기술적 주제를 다루지만, 하나의 메타적 서사를 형성한다. 구글은 에이전트 기술의 벽을 보았고, 그 존재를 인정하고 있으며, 그 벽 앞에서 최선을 다해 우회로를 만들고 있다는 것이다.

그래서 결국 이 문서들은 선언이 아니라 일종의 자기고백이다.진정한 에이전트를 만들기 위해 필요한 것은 완전히 다른 종류의 구조, 즉 자기 조직화와 내부 물리학을 가진 새로운 인공지능의 등장이다. 그리고 바로 그 지점에서, AI업계는 조용히 분기하기 시작할 것이다.

Leave a Comment

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다

이 사이트는 Akismet을 사용하여 스팸을 줄입니다. 댓글 데이터가 어떻게 처리되는지 알아보세요.