금융 LLM, AI4Finance과 The Fin AI

1.
한동안 관심을 끊었던 AI를 다시금 살펴보고 있습니다. 학습을 위한 자료 정리일 뿐입니다.

KRX-Bench를 조사하면서 보니까 금융특화 LLM이 BloombergGPT이후 많이 나왔네요. A Survey of Large Language Models for Financial Applications: Progress,Prospects and Challenges은 주요한 금융LLM을 분석한 논문입니다.

Download (PDF, 5.21MB)

금융/재무를 위한 거대언어모델 20選은 위 논문에서 소개한 모델을 분석, 정리하고 있습니다.

백본(Backbone) 모델이라는 표현이 궁금해서 찾아보았습니다. MM-LLMs: 멀티모달 대규모 언어 모델의 최근 발전에 대한 연구 (Recent Advances in MultiModal Large Language Models)에서 정리한 내용입니다.

LLM 백본(LLM Backbone)

LLM 백본(Backbone) 은 대규모 멀티모달 모델들의 핵심적인 구성 요소로서, 다양한 모달리티에서 얻은 표현을 처리하는 역할을 합니다. 이 구성 요소는 의미 이해(semantic understanding), 추론(reasoning), 그리고 입력에 대한 결정(decision-making regarding inputs)을 내리는 과정에 참여합니다. 이러한 과정에서 LLM Backbone은 다음 두 가지 주요 출력을 생성합니다​​:

1. 직접적인 텍스트 출력 $t$: 입력된 다양한 모달리티의 데이터를 바탕으로 생성된 텍스트 결과입니다.
2. 신호 토큰 $S_X$: 다른 모달리티($X$) 생성 시 사용할 수 있는 신호 토큰으로, 멀티모달 콘텐츠를 생성할지 여부와 생성할 콘텐츠의 종류를 지정하는 데 사용됩니다.

$t,S_X=LLM(P_X,F_T)$

즉, 이러한 신호 토큰은 생성기(generator)에게 멀티모달 콘텐츠 생성 여부와 생성할 콘텐츠의 내용을 지시하는 역할을 합니다. 다른 모달리티의 정렬된 표현($P_X$)은 LLM Backbone에 대한 소프트 프롬프트 튜닝(Soft Prompt Tuning)으로 간주될 수 있습니다. 또한, 일부 연구에서는 Parameter-Efficient Fine-Tuning (PEFT) 방법론을 도입하여, 추가적으로 학습 가능한 파라미터의 수를 전체 LLM 파라미터 수의 0.1% 미만으로 유지하는 등 매우 적은 수의 추가 파라미터만을 사용합니다. 주로 사용되는 PEFT 방법으로는 Prefix-tuning,Adapter,LoRA 등이 있습니다.

MM-LLMs에서 사용되는 일반적인 LLM 백본 모델로는 Flan-T5,ChatGLM,UL2,Qwen, Chinchilla, OPT,PaLM,LLaMA,LLaMA-2, Vicuna 등이 있습니다. 이 모델들은 제로-샷 일반화(Zero-Shot Generalization), Few-shot ICL(In-Context Learning), Chain-of-Thought (CoT), 지시문 따르기(Instruction Following) 등의 주목할 만한 특성을 MM-LLM들에 상속할 수 있습니다​​.

BLOOM: A 176B-Parameter Open-Access Multilingual Language Model
LLaMA: Open and Efficient Foundation Language Models

2.
위 언어모델중 제가 관심을 가지고 본 곳이 AI4Finance, The Fin AI입니다. 공교롭게 두 재단 혹은 프로젝트 모두 중국 엔지니어들이 주도하고 있습니다.

먼저 AI4Finance. 성숙도를 판단할 능력은 없지만 이 재단이 다루는 범위는 방대합니다.

FinRL: Deep reinforcement learning framework to automate trading in quantitative finance
FinGPT: Open-Source Financial Large Language Models
FinRobot: An Open-Source AI Agent Platform for Financial Applications
FinRL-Meta: A Metaverse of Market Environments and Benchmarks for Data-Driven Financial Reinforcement Learning
FinRL-Trading: Deep Reinforcement Learning for Automated Stock Trading: An Ensemble Strategy

The Fin AI도 AI4Finance와 비슷합니다.

FinData:Curating comprehensive open-source datasets for pre-training, fine-tuning, and evaluating financial LLMs, addressing the need for diverse and robust data resources.
FinBen:Developing holistic benchmarks incorporating instruction-based, multi-turn, multi-modal, multi-lingual, Retrieval-Augmented Generation (RAG) based, and agent-based evaluations to accurately assess financial LLM performance.
FinModel:Releasing a series of open-source financial LLMs including 1.5B, 8B, and 70B parameter models along with their checkpoints and training scripts, facilitating accessibility and innovation in model development.
FinCon:Building a multi-agent collaborative system equipped with human-like cognitive capabilities and quantified dynamic risk profiles, designed to optimize the quality of sequential, multi-turn financial decision-making processes. This innovative system leverages multi-modal financial data inputs, forging a robust link between intelligent system design and behavioral finance principles. It is versatile enough to be employed in a wide range of financial tasks

PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance
Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications

Download (PDF, 347KB)

Download (PDF, 3.94MB)

3.
그러면 금융과 관련한 한글언어모델은 어떨까요? 가장 먼저 모델을 공개한 곳은 KB국민은행입니다. KB-BERT: 금융 특화 한국어 사전학습 언어모델과 그 응용를 개발했고 이를 논문으로 발표하였습니다.

Download (PDF, 813KB)

현재 KB-ALBERT((A Lite BERT)를 github에 공개하고 있습니다.

또다른 모델은 K-금융 특화 AI입니다. BC카드가 공개한 모델입니다.

‘K-금융 특화 AI’는 BC카드 IT기획본부가 KT 기술혁신부문 산하 KT컨설팅그룹 AI Lead와 협업해 지난 6개월간의 연구 끝에 국내 금융권 최초로 한국에 최적화된 거대언어모델(Large Language Model, 이하 ‘LLM’)이다.LLM이란 인터넷 등에서 수집된 방대한 자료를 사람이 이해할 수 있는 문장으로 바꾸어 사용자가 쉽게 이해할 수 있도록 정보를 제공하는 딥러닝 AI 모델이다. 현재 범용적으로 사용되고 있는 ‘챗 GPT’ 역시 LLM 기반 서비스다.’K-금융 특화 AI’는 메타社(舊페이스북)의 거대 언어모델(LLama 3)를 기반으로 한국어 학습 능력은 물론 다양한 금융 지식 정보까지 탑재하고 있다.현재까지 국내에서 공개된 대부분의 LLM은 80억개 수준의 파라미터를 갖추고 있지만 ‘K-금융 특화 AI’는 200억개의 파라미터를 활용할 수 있어 타 LLM 대비 한발 앞선 기술이 적용됐다.파라미터는 생성형 AI가 정보를 학습하고 기억하기 위해 필요한 기본 단위다. 파라미터가 많을수록 축적된 자료를 바탕으로 복잡한 학습을 통해 학습하지 않았던 문제를 해결할 수 있을 뿐만 아니라 정교한 예측과 분석도 가능해진다.’K-금융 특화 AI’의 정확도는 91%를 기록해 범용 AI 대비 높은 정확도를 기록해 한국 금융에 대한 LLM 지식 수준을 한단계 더 끌어올렸다. 이는 한국은행 등 다양한 국책기관과 금융기관의 검증된 데이터만을 활용했기 때문인 것으로 분석된다.BC카드 측은 ‘K-금융 특화 AI’ 도입을 기점으로 기업 내부 프로세스 개선 및 효율화는 물론 왜곡된 금융 정보로 인한 2차 피해를 예방하는 등 다양한 분야에서 긍정적인 역할을 할 수 있을 것으로 내다봤다.특히 지난 7월 초 AI 모델 허브 플랫폼인 ‘Hugging Face(huggingface.co)’를 통해 ‘K-금융 특화 AI’의 LLM 모델과 2만여개의 금융지식 학습 데이터를 무상으로 공개했다.
국내 금융권 최초로 개발된 ‘K-금융 특화 AI’, 무상 공개 전격 발표중에서

Huggingface에 올라온 소개문구입니다.

Llama-3.1-Kor-BCCard-Finance-8B is a Korean financial knowledge model based on Meta-Llama-3.1 8B.

AI라고 할 때 카카오뱅크가 빠질 수 없습니다. FN가이드가 공동으로 작업한 KF-DeBERTa를 공개하였습니다. 카카오뱅크의 금융특화 언어모델 KF-DeBERTa 개발기에 올라온 개발과정입니다.

Transformer와 MLM (Masked Language Modeling) task가 핵심인 BERT 언어모델은 단방향(Uni-directional) 구조인 GPT 언어모델에 비해 자연어 문맥 이해 성능에 더 우수함을 보이고 있습니다.(대신 GPT 계열은 자연어 생성에 강점) 2018년 처음 발표된 이후 더 많은 데이터를 소화하기 위한 절차 변형과 새로운 학습 기법 도입, 모델 크기 경량화, 임베딩 표현 변경 등 개선이 지속적으로 이뤄지고 있습니다.

RoBERTa (2019) : batch 크기와 학습 step 확장, NSP (Next Sentence Prediction) task 제거
ALBERT (2019) : 경량화, NSP 대신 SOP (Sentence Order Prediction) task 사용
ELECTRA (2019) : MLM task의 계산 비효율성 개선한 RTD (Replaced Token Detection) task 사용
DeBERTa (2020) : Attention 매커니즘에 상대적 위치 정보 추가, content와 position 2가지 임베딩 사용

카카오뱅크와 에프엔가이드는 DeBERTa를 기반으로 ‘금융 도메인 뿐만 아니라 범용 도메인에서도 좋은 성능을 보이는 자체 언어모델’을 목표로 새로운 말뭉치 학습 데이터를 수집했습니다. 에프엔가이드는 20년 넘게 축적해온 데이터를 바탕으로 잘 정제된 금융 도메인 데이터를 제공하는 역할을 수행했고, 카카오뱅크는 범용 도메인 말뭉치 수집 및 언어모델 최적화를 담당했습니다.

그 결과 현재 공개된 양방향 언어모델들과 비교했을 때 가장 많은 학습 데이터를 확보했으며, 언어모델 사전학습(Pretraining)을 통해 성능을 끌어올렸습니다. 사전학습에 사용된 말뭉치는 문장단위 분할, HTML 태그 및 잘못된 문자 제거, 출처 정보 제거, 비한글 문장 제거, 숫자 비중 높은 문장 제거, 짧은 문장 제거(10 음절 이하) 등 전처리를 수행했습니다. 미세조정(Fine-tuing)을 위한 한국어 금융 데이터도 전문 금융 리포트와 관련 소식들 재가공해서 새로운 레이블링 작업과 기계 번역을 거쳐 완성했습니다.

신한은행은 AI에 대해 무척 적극적인 회사인데 LLM과 관련한 공개자료가 없네요.대신 모두의 연구소에서 김성현(신한AI)님의 “금융 특화 언어모델 기반 서비스”를 대신합니다.

이상에서 본 것처럼 금융특화 LLM은 다양하고 선택지가 넓습니다. 어떻게 활용해야 할까요? 이와 관련하여 삼성SDS 정천수님의 논문을 살펴보시면 좋을 듯 합니다.

Fine-tuning and Utilization Methods of Domain-specific LLMs
도메인 특화 LLM: Mistral 7B를 활용한 금융 업무분야 파인튜닝 및 활용 방법

Download (PDF, 3.03MB)

Download (PDF, 1.07MB)

지난 번에 정리한 KRX-Bench와 간접적으로 관련이 있는 강연이 있네요. 모두콘 2023에서 손규진(연세대학교)님이 발표한 “언어 모델은어떻게 평가해야 할까?”입니다.