1.
The International Conference on Machine Learning (ICML)이라는 학술행사가 있다고 합니다. 홈페이지를 보니까 1996년부터 이어진 국제행사입니다. 2023년부터 월스트리트 투자은행 다수가 후원자로 참여하고 있습니다. 2023년을 보면 Citadel, Jane Street, Capitalone, Margan Stanley이 이름을 올렸습니다. 단순히 후원만 하지 않아고 논문을 제출도 합니다.
Evident Research에 따르면 ICML 2025에 참여한 투자은행들이 관심을 가진 분야는 아래와 같습니다.
Our analysis of new research from banks shows Wall Street has one big thing on its mind when it comes to AI: How to get LLMs to take on more ambitious tasks.
As AI’s top minds descend on Vancouver next week for ICML – one of the world’s top AI research conferences – the banks there are focusing on privacy, benchmarking and efficiency of LLMs as they ready the tech to handle more challenging workloads.
그래서 어떤 논문들을 발표하였는지 찾아보았습니다. 첫번째는 Captial One입니다.
Capital One’s latest AI research at ICML 2025
Capitalone이 AI in finance: innovation & emerging opportunities workshop에서 발표한 논문입니다.
Refining input guardrails for safer LLM applications으로 논문제목은 Refining Input Guardrails: Enhancing LLM-as-a-Judge Efficiency Through Chain-of-Thought Fine-Tuning and Alignment입니다.
위 논문에서 다루고 있는 Guardrail을 찾아보면 다음과 같은 의미를 지닙니다.
AI Guardrails은 AI의 책임 있는 사용을 보장하고 자동화 워크플로 중에 민감한 정보를 보호하는 중요한 안전장치입니다. 이는 사용자, 자동화, 그리고 LLM(대형 언어 모델) 간의 상호작용을 제어하도록 설계된 안전 및 거버넌스 메커니즘 역할을 합니다. AI Guardrails은 잠재적 위험을 완화하고, 정책을 시행하며, AI 시스템이 안전하고 윤리적이며 예측 가능한 방식으로 작동하도록 보장하는 데 집중합니다.
AI Guardrails의 핵심 기능
본질적으로 AI Guardrails은 주로 다음과 같은 방법으로 AI 기반 프로세스에서 정보와 작동의 흐름을 관리합니다.상호작용 모니터링: 가드레일은 LLM에 보내는 프롬프트(사용자 요청)와 LLM이 생성한 응답을 적극적으로 검사합니다. 이와 같은 모니터링에서는 유해성, 민감한 데이터 등 다양한 기준에 대해 콘텐츠를 분석하는 작업이 포함될 수 있습니다.
콘텐츠 통제: 가드레일은 이러한 상호작용의 내용을 관리하기 위한 규칙을 시행합니다. 여기에는 사전에 규정된 정책을 위반하는 프롬프트와 응답을 필터링하거나 수정하거나 결정적으로 차단하는 기능이 포함됩니다.
정책 시행: 조직은 가드레일을 통해 AI 사용에 대한 자체 정책을 규정하고 시행할 수 있습니다. 이에 따라 윤리 지침, 규제 요구 사항 및 내부 모범 사례와 부합하는 방식으로 운영할 수 있습니다.
AI Guardrails중에서
Capitalone의 논문은 Chain-of-Thought (CoT)이라는 기술을 사용합니다. 생각의 사슬이라고 번역하네요. IBM은 생각의 연결고리, 즉 CoT(Chain of Thought) 프롬프트를 “복잡한 작업을 최종 해결을 향한 일련의 논리적 단계로 세분화하여 인간과 유사한 추론 과정을 시뮬레이션하는 인공 지능의 접근 방식”이라고 설명합니다.
두번째 주제는 Uncertainty Estimation in LLM-Generated Content입니다. 워크샵 주제입니다.
The ability of Large Language Models (LLMs) to accurately estimate uncertainty is not just a theoretical concern; it’s a fundamental bottleneck hindering their safe and effective deployment in high-stakes, industrial-scale applications. The gap between model confidence and actual correctness poses an immediate and escalating risk. To mitigate these risks, this workshop convenes leading industry experts and academic researchers to confront the urgent challenges in LLM uncertainty estimation. We must define the state-of-the-art, establish rigorous evaluation standards, and forge a path toward reliable AI. This workshop will focus on:
– Calibration: How can we ensure LLMs’ confidence levels align with their true accuracy?
– Confidence-Aware Generation: What novel methods can enable LLMs to express their own uncertainty during content creation?
– Out-of-Distribution Detection: How do we equip LLMs to recognize and flag inputs that lie outside their training data?
– Uncertainty Communication: What are the most effective techniques for conveying LLM uncertainty to end-users, fostering trust and informed decision-making?
– Benchmarking: What are the various metrics to measure how well models and express quantify uncertainty.
위 행사때 어떤 내용을 소개했을지 알아보니까 TruthTorchLM: A Comprehensive Library for Predicting Truthfulness in LLM Outputs인 듯 합니다. TruthTorchLM: A Comprehensive Package for Assessing/Predicting Truthfulness in LLM Outputs는 관련한 코드입니다.
행사때 프레젠테이션한 내용중 일부입니다. LinkedIn Daben Liu에서 가져왔습니다.
2.
다음은 JP Morgan입니다. 어떤 곳에서는 EncryptedLLM이라고 부릅니다.
Privacy-Preserving Large Language Model Inference via GPU-Accelerated Fully Homomorphic Encryption
논문이 다루고 있는 Fully Homomorphic Encryption (FHE)는 아래와 같이 설명을 하고 있습니다. FHE는 “암호화된 데이터를 복호화하지 않고도 연산을 수행할 수 있게 해주는 암호화 기술”이라고 합니다.
FHE를 현실에 적용할 때 수백 혹은 수천배 느려지는 장멱이 있다고 합니다. 위 논문은 GPU를 이용하여 이를 줄이는 기술을 소개하고 있습니다. FHE전용 ASIC/FPGA를 대신하여 GPU를 사용한 논문입니다.
ICML을 통해 발표한 논문은 아니지만 위에서 다룬 불확실성, 안정성과 관련한 논문들입니다.
A Survey of Uncertainty Estimation in LLMs: Theory Meets Practice
Position: AI Safety Should Prioritize the Future of Work
이상과 같은 주제들을 연구하는 이유는 금융이기때문입니다. 금융은 규제산업입니다. 금융소비자 보호가 무척이나 엄격합니다. 또한 불확실한 정보로 인하여 위험을 키울 수 있습니다. 금융소비자를 위한 AI서비스를 도입하려고 할 때 xAI(설명가능한 AI)도 중요합니다. 우선 사내 직원들은 대상으로한 AI와 관련한 서비스를 먼저 한 이유일 듯 합니다.
