Fin-Bias: 금융 도메인에서 인간 편향하의 LLM 의사결정에 대한 종합적 평가

Fin-Bias: Comprehensive Evaluation for LLM Decision-Making under human bias in Finance Domain

 

1. 연구 개요

• 연구 연도: 2026년
• 게재처: ACL 2026 Findings
• 연구 목적: 금융 애널리스트 리포트처럼 인간 편향이 포함될 수 있는 장문 금융 문맥에서 LLM이 독립적으로 투자 판단을 내리는지, 아니면 인간 의견을 따라가는지 평가
• 핵심 주장: LLM은 애널리스트의 투자등급이나 가짜 투자등급이 문맥에 포함될 경우 이를 강하게 따라가는 herding behavior를 보이며, 인간 의견을 제거하거나 편향 인식 절차를 적용하면 일부 모델의 독립적 투자 판단 성능이 개선됨.

2. 연구 배경

• LLM은 금융 감성 분석, 재무 질의응답, 주식 거래, 투자 의사결정 등 다양한 금융 업무에 활용되고 있음.
• 기존 금융 벤치마크는 주로 모델의 계산 능력, 질의응답 능력, 감성 분류 능력, 주가 예측 능력을 평가함.
• 그러나 실제 금융 의사결정은 단순 정보 추출이 아니라 장문 자료 속에서 신호를 찾고, 상충되는 정보를 조정하며, 투자 판단을 내려야 하는 문제임.
• 특히 애널리스트 리포트, 뉴스, SNS, 기업 보고서 등에는 인간의 주관적 의견과 편향이 포함될 수 있음.
• 애널리스트는 과신, 전략적 이해관계, 투자은행 업무와의 관계 등으로 인해 매수 의견을 과도하게 제시하는 경향이 있음.
• 따라서 LLM이 이러한 인간 편향을 독립적으로 교정할 수 있는지, 아니면 그대로 따라가는지 검증할 필요가 있음.

3. 문제의식

• 기존 금융 LLM 연구는 모델이 금융 정보를 얼마나 잘 분석하는지에 주로 집중함.
• 반면 LLM이 인간의 편향된 투자 의견에 얼마나 취약한지는 충분히 평가되지 않았음.
• 금융시장에서는 다수 의견이 틀리는 상황이 자주 발생할 수 있음.
• 이때 LLM이 인간 의견을 그대로 추종하면 독립적 투자 판단 도구로서 한계가 큼.
• 특히 애널리스트 리포트는 장문이고, 전문적이며, 기업별 정성·정량 정보를 포함하지만, 동시에 명시적 투자등급과 암묵적 의견 편향도 포함함.
• 따라서 장문 금융 문맥에서 LLM의 herding behavior를 측정하는 별도 벤치마크가 필요함.

4. Fin-Bias 벤치마크

• 논문은 Fin-Bias라는 금융 의사결정 벤치마크를 제안함.
• Fin-Bias는 Financial Herding under Long and Uncertain Financial Context를 의미함.
• 데이터는 기업별 장문 애널리스트 리포트로 구성됨.
• 총 8,868개의 입력-라벨 쌍을 포함함.
• 각 리포트는 특정 기업에 대한 장문 분석 보고서임.
• 리포트 첫 문장에는 애널리스트의 투자등급이 명시됨.
• 투자등급은 Bullish, Neutral, Bearish 세 가지임.
• 각 리포트는 평균 약 4,000토큰으로 구성되어 장문 문맥 평가에 적합함.

5. 기존 벤치마크와의 차이

• 기존 금융 벤치마크는 단문 뉴스, 트윗, 금융 질의응답, 제한된 종목군 중심인 경우가 많음.
• Fin-Bias는 장문 애널리스트 리포트를 사용함.
• Fin-Bias는 단순 감성 분류가 아니라 투자등급 생성이라는 의사결정 과제를 다룸.
• Fin-Bias는 인간 의견 편향이 포함된 문맥에서 LLM의 취약성을 직접 평가함.
• Fin-Bias는 다양한 산업과 대규모 기업 표본을 포함함.
• 논문은 Fin-Bias가 장문 문맥, 요약된 기업 분석, 인간 편향, 대규모 표본, 의사결정 평가를 모두 포함한다고 설명함.

6. 데이터 구성

• 데이터는 Yahoo Finance에서 수집한 애널리스트 리포트를 기반으로 함.
• 분석 대상 산업은 다음과 같음.
  • Technology
  • Industrials
  • Financial Services
  • Healthcare
  • Consumer Defensive
  • Utilities
  • Communication Services
  • Energy
  • Real Estate
• 산업별 표본은 비교적 넓게 분산됨.
• Technology가 1,491개로 가장 많음.
• Industrials는 1,436개임.
• Financial Services는 1,367개임.
• Healthcare는 1,288개임.
• 전체 표본 수는 8,868개임.

7. 애널리스트 투자등급 분포

• 애널리스트 리포트의 투자등급은 매우 불균형함.
• Bullish 등급은 6,410개로 전체의 72.28%임.
• Neutral 등급은 2,432개로 약 24.74%임.
• Bearish 등급은 26개로 0.29%에 불과함.
• 이는 애널리스트가 매도 의견보다 매수 의견을 훨씬 더 많이 제시한다는 기존 연구와 일치함.
• 따라서 애널리스트 등급을 그대로 정답으로 사용하는 것은 부적절함.

8. Ground-truth 라벨 구성

• 논문은 애널리스트 등급 대신 실제 주가 수익률을 기반으로 정답 라벨을 구성함.
• 리포트 발행 후 약 60거래일의 누적초과수익률(CAR)을 계산함.
• 이는 애널리스트 리포트가 단기 일일 변동보다 중기 성과를 겨냥한다는 점을 반영한 것임.
• 연도별로 기업의 60일 누적초과수익률을 정렬함.
• 상위 30%는 Bullish로 분류함.
• 하위 30%는 Bearish로 분류함.
• 중간 40%는 Neutral로 분류함.
• 이 방식으로 구성된 라벨은 Bullish 30%, Bearish 30%, Neutral 40%로 비교적 균형적임.

9. 실험 설계

• 연구진은 각 애널리스트 리포트를 세 가지 형태로 변형함.
• 첫째, 원본 리포트임.
  • 첫 문장에 애널리스트 투자등급이 포함됨.
• 둘째, 투자등급 제거 리포트임.
  • 첫 문장의 명시적 투자등급을 제거함.
• 셋째, 가짜 투자등급 리포트임.
  • 원래 투자등급과 다른 fake rating을 첫 문장에 삽입함.
• 이를 통해 LLM이 명시적 인간 의견에 얼마나 끌려가는지 측정함.
• LLM에는 Chain-of-Thought 형식의 프롬프트를 제공함.
• 모델은 보고서를 읽고 Bullish, Neutral, Bearish 중 하나의 투자등급을 출력해야 함.

10. 평가 대상 모델

• 총 18개 이상의 개방형·비공개 LLM을 평가함.
• 비공개 모델은 다음을 포함함.
  • GPT-5.1
  • GPT-4.1
  • Claude-3.5-Haiku
  • Claude-4-Sonnet
• 오픈소스 모델은 다음을 포함함.
  • Llama-3-8B-Instruct
  • Llama-3.1-8B-Instruct
  • Mistral-7B-Instruct
  • Mistral-Nemo-Instruct
  • Gemma 계열
  • Qwen 계열
  • DeepSeek-V2-Lite-Chat
  • InternLM2-Chat-7B
  • Yi-1.5-9B-Chat
  • GLM-4-9B-Chat

11. 평가 지표

• 핵심 지표는 Herding Score임.
• Herding Score는 모델의 투자등급이 애널리스트 등급 또는 가짜 등급과 일치하는 비율임.
• 값이 높을수록 LLM이 인간 의견을 더 강하게 따라간다는 의미임.
• 추가로 실제 수익률 기반 정답 라벨에 대한 Accuracy도 측정함.
• Accuracy는 LLM의 투자등급이 실제 60일 초과수익률 기반 라벨과 일치하는 비율임.
• 따라서 Herding Score는 인간 의견 추종 정도를, Accuracy는 실제 투자 판단 성능을 평가함.

12. 주요 결과 ①: 애널리스트 등급이 있으면 herding 증가

• 애널리스트 투자등급이 문맥에 포함되면 대부분 모델의 Herding Score가 크게 상승함.
• 투자등급이 제거된 경우에도 일부 모델은 애널리스트 의견과 상당히 정렬됨.
• 그러나 명시적 등급이 포함되면 정렬 정도가 더 강해짐.
• GPT-5의 평균 Herding Score는 등급 제거 시 87.4%였으나, 등급 포함 시 94.6%로 상승함.
• GPT-4는 89.5%에서 95.9%로 상승함.
• Claude-3.5-Haiku는 91.0%에서 97.1%로 상승함.
• Qwen2.5-7B는 89.1%에서 98.5%로 상승함.
• 이는 애널리스트 등급이 LLM의 독립적 판단을 약화시키고, 인간 의견을 강한 가이드 신호로 작동하게 함을 의미함.

13. 주요 결과 ②: 가짜 등급에도 LLM이 끌려감

• 논문은 원래 등급과 다른 fake rating을 삽입해 LLM의 취약성을 실험함.
• 결과적으로 LLM은 가짜 투자등급에도 상당히 끌려감.
• 전체 모델의 fake rating Herding Score 평균은 약 30% 수준임.
• 모델별 편차는 약 10%에서 60%까지 크게 나타남.
• GPT-5의 평균 fake rating Herding Score는 33.54%임.
• GPT-4는 48.77%임.
• Claude-3.5-Haiku는 45.98%임.
• Mistral-7B-Instruct-v0.3은 60.42%로 매우 높게 나타남.
• Gemma-7B-Instruct는 11.48%로 낮은 편임.
• 중요한 점은 GPT-5, GPT-4 같은 고성능 모델도 가짜 등급에 완전히 면역적이지 않다는 것임.

14. 주요 결과 ③: 모델 크기와 herding은 단순 비례하지 않음

• LLM의 herding behavior는 모델 크기와 강하게 비례하지 않음.
• 일부 소형 모델은 fake rating에 덜 끌려감.
• 반대로 일부 고성능 비공개 모델도 fake rating에 상당히 정렬됨.
• 이는 모델이 클수록 무조건 더 독립적으로 추론한다고 보기 어렵다는 점을 보여줌.
• 금융 의사결정에서는 모델 성능뿐 아니라 문맥 내 인간 의견에 대한 민감도를 별도로 평가해야 함.

15. 주요 결과 ④: 애널리스트 등급 포함 시 모델 성능은 인간과 유사

• 실제 수익률 기반 정답 라벨로 평가하면, 애널리스트 평균 정확도는 약 33.1%임.
• 애널리스트 등급이 포함된 경우 대부분 모델 정확도는 32~34% 수준에 머무름.
• 즉, LLM이 애널리스트 의견을 따라가면서 인간 애널리스트와 유사한 성능을 보임.
• 이는 겉보기에는 안정적일 수 있으나, 독립적 초과 성과를 내는 것은 아님.
• 애널리스트 의견을 따라가는 것이 항상 성능 개선으로 이어지지는 않음.

16. 주요 결과 ⑤: 등급 제거 시 일부 모델은 인간보다 우수

• 애널리스트 등급을 제거하면 모델별 성능 차이가 커짐.
• 일부 모델은 애널리스트보다 낮은 정확도를 보임.
• 특히 일부 Gemma, Llama, InternLM, Yi, GLM 계열 모델은 등급 제거 시 정확도가 크게 하락함.
• 반면 일부 모델은 애널리스트보다 높은 정확도를 기록함.
• Qwen3-8B는 등급 제거 조건에서 평균 정확도 34.2%를 기록함.
• Mistral-Nemo-Instruct-2407은 34.3%를 기록함.
• DeepSeek-V2-Lite-Chat은 34.6%를 기록함.
• Mistral-7B-Instruct-v0.3은 34.1%를 기록함.
• 이는 명시적 인간 의견이 제거되면 일부 LLM이 더 독립적이고 성과 지향적인 판단을 할 수 있음을 시사함.

17. 편향 완화 방법 ①: Lexicon Filtering

• 논문은 LLM의 herding을 완화하기 위해 인간 의견 문장을 제거하는 방법을 제안함.
• 단순히 첫 문장의 투자등급만 제거해도 리포트 본문에는 여전히 주관적 표현이 남아 있음.
• 따라서 MPQA Subjectivity Lexicon을 활용해 강한 주관성을 가진 단어가 포함된 문장을 제거함.
• 이 방법은 strong subjective 표현을 포함한 문장을 필터링하는 방식임.
• 목적은 LLM이 인간 의견보다 기업의 펀더멘털 정보에 더 집중하도록 만드는 것임.

18. Lexicon Filtering 결과

• 인간 의견 문장을 제거하면 다수 모델의 투자등급 예측 정확도가 개선됨.
• GPT-4는 평균 정확도 35.88%를 기록함.
• Claude-4-Sonnet은 35.70%를 기록함.
• GPT-5는 34.16%로 소폭 개선됨.
• 오픈소스 모델에서도 약 2~4%p 개선이 나타남.
• Qwen3-8B는 36.49%를 기록함.
• DeepSeek-V2-Lite-Chat은 35.30%를 기록함.
• Mistral-7B-Instruct-v0.3은 35.99%를 기록함.
• Gemma-2-27B-Instruct는 36.23%를 기록함.
• Yi-1.5-9B-Chat은 37.67%로 높은 성과를 보임.
• 이는 편향적 주관 문장을 제거하면 LLM의 독립적 투자 판단 성능이 개선될 수 있음을 보여줌.

19. 편향 완화 방법 ②: DPO

• 논문은 Direct Preference Optimization, 즉 DPO를 활용한 완화 방법도 제안함.
• DPO는 모델이 인간 의견을 그대로 따르는 응답보다 독립적이고 실제 수익률에 부합하는 응답을 선호하도록 학습하는 방식임.
• 학습 데이터는 세 부분으로 구성됨.
  • 입력 금융 문맥
  • 독립적 응답
  • 인간 의견을 따라간 응답
• 독립적 응답은 실제 시장 기반 정답 라벨에 맞춰 생성됨.
• Herded response는 애널리스트 의견을 따라가도록 생성됨.
• DPO는 독립적 응답을 선호하고, herding 응답을 거부하는 방향으로 모델을 조정함.

20. DPO 결과

• DPO 후처리는 일부 오픈소스 모델의 herding 완화와 정확도 개선에 효과적임.
• Qwen2-7B-Instruct는 DPO 후 평균 정확도 35.15%를 기록함.
• Meta-Llama-3-8B-Instruct는 37.09%를 기록함.
• Qwen3-8B는 38.23%를 기록함.
• 이는 DPO를 통해 모델이 인간 의견을 맹목적으로 따라가기보다 실제 수익률 근거에 가까운 판단을 하도록 유도할 수 있음을 보여줌.

21. 사례 분석

• 논문은 Bank of America 사례를 제시함.
• 애널리스트 등급이 포함된 문맥에서는 LLM이 Bullish 판단을 내림.
• 모델의 근거 설명도 애널리스트의 매수 논리를 상당 부분 따라감.
• 반면 애널리스트 등급을 제거하면 같은 보고서 내용에서도 모델이 Neutral 판단을 내림.
• 이 경우 모델은 코로나19로 인한 수익성 악화, 충당금 증가, 배당 축소 가능성 등을 더 균형 있게 고려함.
• 이는 명시적 인간 의견이 LLM의 판단 방향을 바꿀 수 있음을 보여주는 사례임.

22. 시사점

• LLM은 금융 문서 속 인간 의견에 상당히 민감하게 반응함.
• 금융 리포트의 첫 문장처럼 작은 비중의 명시적 의견도 전체 판단을 강하게 유도할 수 있음.
• 고성능 LLM이라고 해서 인간 편향을 자동으로 교정하는 것은 아님.
• 투자 의사결정에 LLM을 사용할 경우, 입력 문서의 주관적 의견을 분리하거나 표시할 필요가 있음.
• 애널리스트 리포트를 그대로 입력하면 LLM이 독립적 판단을 하는 것이 아니라 애널리스트 의견을 재포장할 위험이 있음.
• 따라서 LLM 기반 투자 시스템에는 편향 감지, 의견 제거, 독립 판단 유도, 사후 검증 절차가 필요함.

23. 연구 한계

• Fin-Bias는 단일 에이전트 금융 의사결정에 초점을 맞춤.
• 멀티에이전트 구조에서 herding behavior가 어떻게 나타나는지는 다루지 않음.
• 데이터는 금융 애널리스트 리포트에 한정됨.
• 애널리스트는 중요한 투자자 집단이지만 전체 투자자를 대표한다고 보기는 어려움.
• 연구는 금융 도메인에 한정되어 있음.
• 다른 분야에서도 동일한 herding behavior가 나타나는지는 추가 연구가 필요함.

24. 결론

• Fin-Bias는 인간 편향이 포함된 장문 금융 문맥에서 LLM 투자 의사결정을 평가하는 벤치마크임.
• LLM은 애널리스트 투자등급이 포함될 경우 이를 강하게 따라가는 경향을 보임.
• 심지어 가짜 투자등급이 삽입되어도 일부 모델은 이를 상당히 따라감.
• 이는 LLM이 금융 문서 속 인간 의견을 독립적으로 검증하기보다 문맥 신호로 받아들이는 경향이 있음을 의미함.
• 인간 의견을 제거하거나 편향 인식 절차를 적용하면 일부 모델은 애널리스트보다 나은 수익률 기반 예측 정확도를 보임.
• 결론적으로, LLM을 금융 의사결정에 활용하려면 인간 의견을 그대로 입력하는 방식보다 편향 제거와 독립 추론을 유도하는 설계가 필요함.