LLM의 금융 편향 탐지 및 완화에 관한 연구

Are LLMs Rational Investors? A Study on Detecting and Reducing the Financial Bias in LLMs

1. 연구 개요

• 연구 연도 : 2024
• 게재처: ACL
• 연구 목적: LLM이 금융 분야에서 합리적 투자자처럼 판단하는지 검증
• 핵심 관심: 금융 편향 탐지, 원인 분석, 완화 방안 제시

2. 연구 배경

• LLM은 금융 뉴스 해석, 시장 분석, 투자 조언 등에 활용 확대
• 그러나 LLM 자체가 편향된 판단을 하면 금융시장 해석 오류 발생 가능
• 동일한 사건이라도 기업명·산업·표현 방식에 따라 다른 평가를 내리는 문제가 있음

3. 문제의식

• 기존 금융 LLM 연구는 주로 성능 향상에 집중
• 금융 판단의 합리성·편향성 평가는 상대적으로 부족
• 금융 자문 도구로 활용하기 전, LLM의 비합리성 검증 필요

4. 분석 프레임워크

• Financial Bias Indicators, 즉 FBI 프레임워크 제안
• 구성 요소는 다음과 같음

Bias Unveiler: 금융 편향 정의
Bias Detective: 편향 탐지
Bias Tracker: 편향 원인 추적
Bias Antidote: 편향 완화

• 행동재무학 이론을 기반으로 LLM의 금융 합리성 평가

5. 편향 유형

• 신념 편향(Belief Bias)

- 앵커링 효과 (Anchoring Effect)
- 대표성 편향 (Representativeness Bias)
- 과잉확신 (Overconfidence)

• 위험선호 편향

- 상황의존 편향 (Situational Dependence Bias)
- 손실회피 (Loss Aversion)
- 프레이밍 효과 (Framing Effect)

 

6. 분석 대상 및 데이터

• 총 23개 주요 LLM 평가
• 일반 LLM과 금융 특화 LLM 모두 포함
• 중국 A주 시장 기업 600개 활용
• 금융 뉴스 24건, 상호작용 질문 10쌍, 위험선호 질문 300개 등으로 실험

7. 주요 결과

• 대부분의 LLM에서 금융 비합리성 확인
• 동일 금융 뉴스라도 기업명이 바뀌면 평가 점수가 달라지는 앵커링 효과 발생
• 일부 모델은 특정 산업에 대해 일관된 긍정·부정 편향을 보임
• 금융 데이터로 학습된 모델이 오히려 더 큰 편향을 보이는 경우 존재
• 같은 계열 내에서는 모델 크기가 커질수록 편향이 줄어드는 경향 확인

8. 편향 원인

• 단순한 계산 능력 부족보다는 정보 해석 방식의 문제로 해석
• 일부 모델은 기업명, 산업명 등 본질적이지 않은 정보에 과도하게 주목
• 이로 인해 동일 사건에 대해서도 기업·산업에 따라 다른 판단을 내림

9. 편향 완화 방법

• 네 가지 프롬프트 기반 방법 실험

- Chain-of-Thought
- System 2 Attention
- Entity Replace
- FinCausal

• Entity Replace와 FinCausal 방식이 상대적으로 효과적
• CoT와 S2A는 일부 모델에서 오히려 편향을 키울 수 있음

10. 결론

• LLM은 금융 분석에 활용 가능성이 있으나, 투자 판단에 바로 적용하기에는 위험 존재
• 금융 특화 학습이 반드시 금융 합리성을 높이는 것은 아님
• 금융 LLM 개발 시 정확도뿐 아니라 편향, 안정성, 합리성 검증 필요
• 본 연구는 LLM의 금융 편향을 체계적으로 정의·측정·완화하는 프레임워크를 제시한 점에서 의의가 있음.