투자 분석에서 나타나는 LLM의 편향

Your AI, Not Your View: The Bias of LLMs in Investment Analysis

 

1. 연구 개요

• 연구 연도: 2025
• 게재처 : ACM
• 연구 목적: LLM이 투자 분석 과정에서 어떤 내재적 편향을 보이는지 분석
• 핵심 문제: LLM의 사전학습 지식과 실시간 시장 정보가 충돌할 때, 모델 고유 편향이 투자 판단을 왜곡할 수 있음

2. 연구 배경

• LLM은 금융 뉴스 분석, 애널리스트 보고서 해석, 포트폴리오 구성 등에 활용 확대
• 금융 분야에서는 시장 정보가 빠르게 변하므로, 모델 내부 지식과 최신 정보 간 충돌이 자주 발생
• 이때 LLM이 객관적 증거보다 자신의 기존 판단에 맞는 증거를 더 중시할 위험 존재

3. 문제의식

• 금융기관이나 사용자가 특정 투자 방향을 원해도, LLM의 내재적 선호가 이를 덮어쓸 수 있음
• 예컨대 사용자는 에너지 섹터 분석을 원하지만, 모델은 기술주 선호에 따라 왜곡된 추천을 할 수 있음
• 결과적으로 AI 금융 서비스가 사용자 의도가 아니라 모델의 편향을 반영할 가능성 존재

4. 연구 질문

• LLM은 섹터, 기업 규모, 모멘텀 등 주요 금융 요인에 대해 어떤 편향을 보이는가
• 상반된 투자 근거가 동시에 제시될 때, 이러한 편향은 어떤 문제를 일으키는가

5. 연구 방법

• 3단계 실험 프레임워크 제안

1단계: 각 주식에 대해 매수 근거와 매도 근거 생성
2단계: 균형 잡힌 상반 증거를 제시하여 모델의 내재 편향 유도
3단계: 더 강한 반대 증거를 제시하여 기존 판단이 바뀌는지 검증

• 실험 대상은 최근 5년간 S&P 500에 계속 포함된 427개 주요 종목

6. 분석 대상 모델

- GPT-4.1
- Gemini-2.5-flash
- Qwen3-235B-A22B
- Mistral-Small-24B
- Llama4-Scout
- DeepSeek-V3

• 증거 생성에는 평가 대상과 별도 모델인 Gemini-2.5-Pro 사용

7. 주요 편향

① 섹터 편향

• 대부분의 모델에서 기술주 선호 확인
• 기술 섹터에 대해 매수 편향이 강하게 나타남
• 반대로 일부 방어적 소비재, 금융서비스 등에서는 상대적으로 낮은 점수 확인
• 모든 모델에서 최고 선호 섹터와 최저 선호 섹터 간 차이가 통계적으로 유의함

② 기업 규모 편향

• 모든 모델에서 대형주 선호 경향 확인
• 시가총액이 큰 기업일수록 매수 편향 점수가 높게 나타남
• 기업 규모가 작아질수록 편향 점수가 감소
• 일부 모델은 소형주에 대해 부정적 판단까지 보임

③ 투자 스타일 편향

• 대부분의 모델에서 모멘텀 전략보다 역발상 전략 선호
• 모멘텀 전략은 최근 상승 흐름이 이어진다고 보는 관점
• 역발상 전략은 과도한 하락 또는 상승 이후 평균회귀를 기대하는 관점
• 모든 평가 모델에서 역발상 선호가 통계적으로 유의하게 나타남

8. 편향 검증 결과

• 반대 증거만 제시하면 대부분의 모델은 판단을 잘 바꿈
• 그러나 기존 편향을 지지하는 증거가 조금이라도 섞이면 판단 전환율이 급격히 하락
• 즉, LLM은 상반된 정보가 섞인 상황에서 자기 기존 선호와 맞는 증거에 집착하는 경향을 보임
• 이는 확인 편향으로 해석 가능

9. 증거 강도 실험 결과

• 반대 증거의 강도를 높여도 다수 모델은 쉽게 판단을 바꾸지 않음
• 초기 편향이 강한 모델일수록 판단 전환율이 낮음
• Gemini-2.5-flash처럼 초기 편향이 약한 모델은 상대적으로 유연하게 반응
• Qwen3-235B처럼 편향 격차가 큰 모델은 강한 반대 증거에도 판단을 잘 바꾸지 않음

10. 불확실성 분석

• 엔트로피 분석을 통해 모델의 내부 불확실성 측정
• 편향이 약한 GPT-4.1은 균형 증거 상황에서 불확실성이 높음
• 편향이 강한 DeepSeek-V3는 균형 증거 상황에서도 낮은 불확실성을 보이며 자신 있게 판단
• 반대 증거가 많아지면 DeepSeek-V3의 불확실성이 커져, 강한 기존 편향과 외부 증거 사이의 충돌이 나타남

11. 연구 의의

• LLM은 투자 분석에서 중립적 판단자가 아님을 실증
• 섹터, 기업 규모, 투자 스타일에 대한 모델별 편향 존재 확인
• 이러한 편향은 상반된 정보가 주어질 때 확인 편향으로 확대될 수 있음
• 금융 AI의 신뢰성 평가는 단순 성능뿐 아니라 편향, 일관성, 사용자 의도 반영 여부까지 포함해야 함

12. 한계

• 투자 근거가 단일 LLM에 의해 생성되어 증거 생성 모델의 편향 가능성 존재
• 실험 증거가 5% 가격 변화 등 단순한 수치로 구성되어 실제 금융 정보의 복잡성을 충분히 반영하지 못함
• 특정 시점의 정적 분석이므로, 시간에 따른 모델 편향 변화는 확인하지 못함

13. 결론

• LLM은 금융 투자 분석에서 기술주, 대형주, 역발상 전략에 대한 내재적 선호를 보임
• 이러한 선호는 정보 충돌 상황에서 확인 편향으로 이어짐
• 모델의 편향이 사용자 의도와 충돌하면 투자 판단이 왜곡되고 예측 불가능해질 수 있음
• 금융 분야 LLM 활용 시 모델 편향 진단과 보정 절차가 필수적임