1.
NeurIPS 2025를 보면 무척 많은 논문들이 나옵니다. 발표자들도 무척 다양합니다. 어느 때부터 금융회사들이 후원을 하고 직접 참여를 합니다. NeurIPS 2025를 통한 나온 논문들중 발표자가 금융회사소식인 논문을 소개합니다. AI에 대한 무슨 특별한 지식이 있어서 소개하는 것은 아닙니다. 월스트리트가 어떤 주제를 연구하고 있는지를 알고 싶고, 현재를 알면 어떤 한계와 가능성을 가지고 있는지도 알 수 있을 듯 하여 정리하였습니다.
먼저 JP Morgan입니다. 주제가 AI 환각(Halucination)입니다.
PHANTOM: A Benchmark for Hallucination Detection in Financial Long-Context QA
구글이 소개하는 AI환각입니다.
AI 할루시네이션이란 무엇인가요?
AI 할루시네이션은 AI 모델이 생성하는 잘못되거나 오해의 소지가 있는 결과입니다. 이러한 오류는 불충분한 학습 데이터, 모델의 잘못된 가정, 모델 학습에 사용된 데이터의 편향 등 다양한 요인으로 인해 발생할 수 있습니다. AI 할루시네이션은 의료 진단이나 금융 거래와 같은 중요한 결정을 내리는 데 사용되는 AI 시스템에 문제가 될 수 있습니다.AI 할루시네이션은 어떻게 발생할까요?
AI 모델은 데이터로 학습되며 데이터에서 패턴을 발견하여 예측하는 방법을 학습합니다. 그러나 이러한 예측 정확성은 학습 데이터의 품질과 완전성에 따라 달라지는 경우가 많습니다. 학습 데이터가 불완전하거나 편향되거나 결함이 있으면 AI 모델에서 잘못된 패턴을 학습하여 부정확한 예측이나 할루시네이션이 발생할 수 있습니다.결함이 있는 학습 데이터는 AI 할루시네이션이 발생할 수 있는 이유 중 하나에 불과합니다. 또 다른 요인은 적절한 그라운딩 부족입니다. AI 모델은 실제 지식, 물리적 속성 또는 사실에 기반한 정보를 정확하게 이해하는 데 어려움을 겪을 수 있습니다. 이러한 그라운딩의 결여로 인해 모델이 타당해 보이지만 실제로는 부정확하거나 관련이 없거나 잘못된 출력을 생성할 수 있습니다. 심지어 링크가 존재하지 않았던 웹페이지로 연결되도록 조작할 수도 있습니다.예를 들어 뉴스 기사의 요약을 생성하도록 설계된 AI 모델이 원본 기사에 없는 세부정보를 포함하거나 정보를 완전히 조작하는 요약을 생성할 수 있습니다.AI 할루시네이션의 잠재적 원인을 파악하는 것은 AI 모델을 사용하는 개발자에게 중요합니다. 개발자는 학습 데이터의 품질과 완전성을 신중하게 고려하고 적절한 그라운딩을 보장하면 AI 할루시네이션 위험을 최소화하고 모델의 정확성과 신뢰성을 보장할 수 있습니다.
AI 할루시네이션중에서
금융에서 소비자 보호는 무척이나 중요하니다. 잘못된 안내로 금융소비자가 피해를 보면 금융회사는 배상하여야 합니다. 불완전판매이기 때문입니다.이 때문에 JP Morgan이 환각을 연구하는 듯 합니다.
Evaluation frameworks – ways to judge whether models behave correctly – is the top research focus, with 13% of all the conference’s papers and more than 25% authored by banks. There’s a good reason: Scaling AI depends on knowing model outputs can be trusted. And that requires new ways to gauge how they perform in different, increasingly-complex situations.
JP Morgan의 또다른 논문은 Do LLMs Really Forget? Evaluating Unlearning with Knowledge Correlation and Confidence Awareness입니다. .
기계 학습 해제 기술은 대규모 언어 모델(LLM)에서 의도하지 않은 암기 현상을 완화하는 것을 목표로 합니다. 그러나 기존 접근법은 주로 고립된 사실의 명시적 제거에 집중하여, LLM 내 지식의 잠재적 추론적 의존성과 비결정적 특성을 종종 간과합니다. 결과적으로 잊혀진 것으로 추정된 사실들이 상관관계 있는 정보를 통해 암묵적으로 지속될 수 있습니다. 이러한 과제를 해결하기 위해, 우리는 관련 사실적 맥락을 신뢰도 점수가 부여된 지식 그래프로 표현함으로써 실제 지식의 암묵적 구조를 더 정확히 포착하는 지식 언러닝 평가 프레임워크를 제안합니다. 또한 강력한 LLM을 평가자로 활용하는 추론 기반 평가 프로토콜을 개발했습니다. 이 평가자들은 추출된 지식 부분 그래프에 대해 추론하여 언러닝 성공 여부를 판단합니다. 우리의 LLM 판정자는 신중하게 설계된 프롬프트를 활용하며, 신뢰성과 안정성을 보장하기 위해 인간 평가와 교정됩니다. 새로 구축한 벤치마크에 대한 광범위한 실험은 본 프레임워크가 더 현실적이고 엄격한 지식 제거 성능 평가를 제공함을 입증합니다. 또한 연구 결과는 현재 평가 전략이 지식 제거 효과를 과대평가하는 경향이 있음을 보여줍니다.
논문 초록을 보면 Machine Unlearning가 핵심주제입니다. ‘기계 기억삭제’라고 번역합니다.European Data Protection Supervisor가 Machine unlearning에서 정리한 내용입니다.
인공지능 시스템은 종종 개인으로부터 수집된 훈련 데이터를 포함하며, 여기에는 고유 식별자, 행동 데이터, 건강 관련 정보 등 민감한 개인정보가 포함될 수 있으며, 이는 최종 모델에 내재되어 이후 배포될 수 있습니다.훈련된 시스템에서 데이터를 제거해야 하는 이유는 다양하지만, 특히 개인정보가 관련된 경우 개인의 권리가 중요합니다. 모델 훈련 후 개인은 자신의 데이터 사용에 반대하고, 머신러닝 애플리케이션이 훈련에 사용된 특정 개인정보를 삭제하도록 요청할 수 있습니다. 학습 해제의 다른 이유로는 훈련 과정에서 저품질 데이터가 사용되어 모델 성능을 저해하는 오류나 편향이 발생했다는 사실이 발견되는 경우가 있습니다. 또한 모델 정확도를 높이기 위해 오래된 데이터를 제거해야 할 수도 있습니다.훈련된 머신러닝 모델에서 특정 데이터를 제거하려면, 해당 데이터 포인트나 데이터 부분이 추출된 특징과 모델 자체에 미칠 수 있는 모든 영향을 제거해야 합니다. 이 과정을 학습 해제(unlearning)라고 합니다.
예를 들어 금융소비자가 LLM으로 상담을 진행하였을 때 개인 정보가 시스템에 남아있을 때, 남아있는 데이타가 다른 이용자에게 영향을 줄 때 문제가 생길 수 있습니다. 기억삭제가 금융회사에 중요한 이유입니다.
2.
다음은 BNY의 논문입니다.
Detecting High-Stakes Interactions with Activation Probes
논문에서 중요한 표현은 High-Statkes입니다.
Systems where errors can lead to physical injury, financial ruin, or societal harm. High-stakes AI demands complete governance rigour: impact and risk assessments, formal verification or clinical trials, human-in-the-loop controls, and real-time monitoring. Certification and regulatory approval (FDA, FAA, EU AI Act) are typically required before deployment, and ongoing compliance audits are mandated.
High-Stakes AI중에서
앞서 환각과 같은 맥락입니다. 투자자의 판단에 심각한 위험을 줄 수 있는 결과가 나오지 않도록 연구하는 것입니다.
본 논문은 대규모 언어 모델(LLMs) 배포 시 안전 모니터링의 중요한 측면인 “중대한 상호작용(high-stakes interactions)” 탐지에 Activation Probes를 활용하는 방안을 탐구합니다. 중대한 상호작용은 LLM의 행동이나 출력이 상당한 실제 세계 피해로 이어질 수 있는 맥락을 의미하며, 이는 모니터링의 중요하지만 충분히 연구되지 않은 대상입니다.
Morgan Stanley의 논문은 정확한 예측을 다룹니다. Retrieval-Augmented Generation(RAG)가 주제입니다.
아마존이 제공하는 자료중 일부입니다.
검색 증강 생성이란 무엇인가요?
검색 증강 생성(RAG)은 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 훈련 데이터 소스 외부의 신뢰할 수 있는 기술 자료를 참조하도록 하는 프로세스입니다. 대규모 언어 모델(LLM)은 방대한 양의 데이터를 기반으로 훈련되며 수십억 개의 파라미터를 사용하여 질문에 대한 답변, 언어 번역, 문장 완성 등의 작업에서 독창적인 결과를 생성합니다. RAG는 이미 강력한 LLM의 기능을 특정 도메인이나 조직의 내부 기술 자료로 확장하므로 모델을 다시 훈련할 필요가 없습니다. 이는 LLM 결과를 개선하여 다양한 상황에서 연관성, 정확성 및 유용성을 유지하기 위한 비용 효율적인 접근 방식입니다.검색 증강 생성이 중요한 이유는 무엇인가요?
LLM은 지능형 챗봇 및 기타 자연어 처리(NLP) 애플리케이션을 지원하는 핵심 인공 지능(AI) 기술입니다. 신뢰할 수 있는 지식 소스를 상호 참조하여 다양한 상황에서 사용자 질문에 답변할 수 있는 봇을 만드는 것이 LLM의 목표입니다. 안타깝게도 LLM 기술의 특성상 LLM 응답에 대한 예측이 불가능합니다. 또한 LLM 훈련 데이터는 정적이며 보유한 지식은 일정 기간 동안만 유용합니다.LLM의 알려진 문제점은 다음과 같습니다.
답이 없을 때 허위 정보를 제공합니다.
사용자가 구체적이고 최신의 응답을 기대할 때 오래되었거나 일반적인 정보를 제공합니다.
신뢰할 수 없는 출처로부터 응답을 생성합니다.
다양한 훈련 소스에서 동일한 용어를 사용하여 다른 내용을 설명하면서 용어 혼동으로 인해 응답이 부정확합니다.
대형 언어 모델은 현재 상황에 대한 최신 정보는 없지만 항상 절대적인 자신감을 가지고 모든 질문에 답변하는 열정적인 신입 사원으로 생각할 수 있습니다. 안타깝게도 이러한 태도는 사용자 신뢰에 부정적인 영향을 미칠 수 있으며 챗봇이 모방해서는 안 되는 것입니다.RAG는 이러한 문제 중 일부를 해결하기 위한 접근 방식입니다. LLM을 리디렉션하여 신뢰할 수 있는 사전 결정된 지식 출처에서 관련 정보를 검색합니다. 조직은 생성된 텍스트 출력을 더 잘 제어할 수 있으며 사용자는 LLM이 응답을 생성하는 방식에 대한 인사이트를 얻을 수 있습니다.
검색 증강 생성(RAG)이란 무엇인가요?중에서
Capital One 논문입니다.
Dense Backpropagation Improves Training for Sparse Mixture-of-Experts
Mixture-of-Experts (MoE) architecture를 주제로 합니다. MoE가 왜 중요한지 찾아보았습니다.Nvidia 자료입니다.
Mixture of Experts(MoE) 거대 언어 모델(LLM) 아키텍처는 최근 GPT-4와 같은 독점 LLM은 물론 Mixtral 8x7B의 오픈 소스 출시와 함께 커뮤니티 모델에서도 등장하고 있습니다. Mixtral 모델의 강력한 상대적 성능으로 인해 MoE와 LLM 아키텍처에서의 사용에 대한 많은 관심과 수많은 질문이 제기되었습니다. 그렇다면 MoE란 무엇이며 왜 중요한 것일까요?
MoE는 하나의 레이어 또는 연산(예: 선형 레이어, MLP 또는 attention projection)의 계산을 여러 개의 “전문가(expert)” 하위 네트워크로 분할하는 신경망의 아키텍처 패턴입니다. 이러한 하위 네트워크는 각각 독립적으로 자체 연산을 수행하며, 그 결과를 결합하여 MoE 레이어의 최종 출력을 생성합니다. MoE 아키텍처는 모든 입력에 대해 모든 전문가가 사용되는 고밀도(dense) 또는 모든 입력에 대해 전문가 하위 집합이 사용되는 스파스(sparse) 아키텍처가 될 수 있습니다.
LLM 아키텍처에 Mixture of Experts(MoE)를 활용하기중에서
MoE Layer가 시스템에서 특정 업무에 대한 전문가역할을 하도록 만든 구조로 보입니다.
Hggingface의 Mixture of Experts Explained입니다.
What is a Mixture of Experts (MoE)?
The scale of a model is one of the most important axes for better model quality. Given a fixed computing budget, training a larger model for fewer steps is better than training a smaller model for more steps.
Mixture of Experts enable models to be pretrained with far less compute, which means you can dramatically scale up the model or dataset size with the same compute budget as a dense model. In particular, a MoE model should achieve the same quality as its dense counterpart much faster during pretraining.
So, what exactly is a MoE? In the context of transformer models, a MoE consists of two main elements:
- Sparse MoE layers are used instead of dense feed-forward network (FFN) layers. MoE layers have a certain number of “experts” (e.g. 8), where each expert is a neural network. In practice, the experts are FFNs, but they can also be more complex networks or even a MoE itself, leading to hierarchical MoEs!
- A gate network or router, that determines which tokens are sent to which expert. For example, in the image below, the token “More” is sent to the second expert, and the token “Parameters” is sent to the first network. As we’ll explore later, we can send a token to more than one expert. How to route a token to an expert is one of the big decisions when working with MoEs – the router is composed of learned parameters and is pretrained at the same time as the rest of the network.
