금융 의사결정에서의 위치 편향 추적: Qwen2.5를 통한 메커니즘적 통찰

 

 

Tracing Positional Bias in Financial Decision-Making: Mechanistic Insights from Qwen2.5

1. 연구 개요

• 연구 연도: 2025년
• 게재처: ICAIF ’25, ACM International Conference on AI in Finance
• 연구 목적: 금융 의사결정에서 LLM이 선택지의 제시 순서에 따라 특정 기업을 선호하는 위치 편향(positional bias)을 보이는지 분석하고, 그 편향이 모델 내부 어느 층과 attention head에서 발생하는지 규명
• 핵심 주장: Qwen2.5 계열 LLM은 금융 비교 판단에서 선택지 순서에 민감한 위치 편향을 보이며, 모델 크기가 커질수록 편향은 줄어들지만 완전히 사라지지 않고, 특히 Risk·Growth·Innovation 같은 금융 맥락에서는 편향이 지속됨.

2. 연구 배경

• LLM은 투자 스크리닝, 포트폴리오 리밸런싱, 리스크 분석, 금융 자문 등 다양한 금융 업무에 활용되고 있음.
• 금융 의사결정은 작은 판단 오류도 자산 배분, 리스크 평가, 규제 준수, 투자 성과에 영향을 줄 수 있음.
• 기존 연구에서는 LLM이 일반 질의응답, 객관식 문제, 선호 평가 등에서 위치 편향을 보인다는 점이 알려져 있음.
• 위치 편향은 선택지의 내용보다 제시 순서에 따라 특정 답변을 선호하는 현상임.
• 앞에 제시된 선택지를 선호하면 primacy bias, 뒤에 제시된 선택지를 선호하면 recency bias라고 볼 수 있음.
• 하지만 금융 의사결정 맥락에서 이러한 위치 편향이 어떻게 나타나는지는 충분히 연구되지 않았음.

3. 문제의식

• 금융 업무에서 LLM이 “A와 B 중 어느 기업이 더 나은 투자 대상인가”를 판단할 때, 기업 자체의 펀더멘털이 아니라 제시 순서에 영향을 받으면 문제가 됨.
• 예를 들어 같은 두 기업이라도 “A vs B”로 물었을 때와 “B vs A”로 물었을 때 답이 달라질 수 있음.
• 이 경우 LLM 기반 투자 추천은 일관성과 신뢰성을 잃을 수 있음.
• 특히 금융 의사결정은 고위험 영역이므로, 단순히 편향 존재 여부만 확인하는 것보다 모델 내부에서 편향이 어디서 발생하는지까지 파악해야 함.
• 논문은 위치 편향을 탐지·정량화하는 것에 더해, mechanistic interpretability를 통해 편향의 내부 발생 경로를 추적함.

4. 핵심 개념: Positional Bias

• Positional Bias는 선택지의 실제 품질과 무관하게 제시 순서 때문에 모델의 선택이 달라지는 현상임.
• 첫 번째 선택지를 더 선호하면 primacy bias임.
• 두 번째 선택지를 더 선호하면 recency bias임.
• 이 연구에서는 두 기업 ticker를 비교하는 금융 의사결정 과제에서 위치 편향을 측정함.
• 같은 기업 쌍을 순서만 바꿔 제시한 뒤, 모델의 선택 확률 차이를 계산함.
• 특정 기업이 첫 번째로 제시될 때 더 높은 선택 확률을 받으면 양의 위치 편향으로 해석함.
• 반대로 두 번째로 제시될 때 더 높은 선택 확률을 받으면 음의 위치 편향으로 해석함.

5. 연구 대상 모델

• 연구 대상은 Qwen2.5-instruct 계열 오픈소스 모델임.
• 분석 모델은 세 가지 크기로 구성됨.
• Qwen2.5 1.5B
• Qwen2.5 7B
• Qwen2.5 14B
• 모든 모델은 zero-shot setting에서 평가됨.
• 논문은 Qwen2.5를 선택한 이유로 오픈소스 모델이기 때문에 내부 activation, layer, attention head 분석이 가능하다는 점을 활용함.

6. 데이터셋 구성

• 연구진은 금융 의사결정용 pairwise comparison 데이터셋을 새로 구성함.
• 분석 대상 기업은 미국 대형 기술·미디어 기업 18개임.
• 이른바 FAANG+ 기업군을 확장한 표본임.
• Microsoft, Nvidia, Tesla 등 시장에서 널리 알려진 대형주가 포함됨.
• 서로 다른 두 기업의 ordered pair를 모두 구성함.
• 전체 기업 쌍은 18 × 17 = 306개임.
• 각 기업 쌍은 여러 금융 판단 기준과 프롬프트 조건에서 반복 평가됨.

7. 프롬프트 범주

• 논문은 총 10개 금융 판단 범주를 사용함.

- Fundamental : 기업의 재무 건전성 평가
- Sentiment : 시장 심리와 투자자 분위기 반영
- ESG : ESG 기준 준수 여부 평가
- Technical : 주가 성과 및 기술적 지표 평가
- Risk : 리스크 관리와 변동성 평가
- Growth : 미래 성장 가능성 평가
- Dividend : 배당 수익률과 배당 안정성 평가
- Sector Leadership : 산업 내 경쟁우위 평가
- Innovation : R&D 및 혁신 역량 평가
- Generic : 일반적인 투자 매력도 평가

 

8. 투자자 성향 프레이밍

• 연구진은 시스템 프롬프트에서 네 가지 투자자 성향을 설정함.

- Conservative : 변동성과 위험 노출을 최소화하는 보수적 투자자 설정
- Moderate : 위험과 성장 기회를 균형 있게 고려하는 투자자 설정
- Aggressive : 고위험·고수익 성장 전략을 선호하는 투자자 설정
- Default : 별도 투자 성향을 부여하지 않은 중립 설정

• 이를 통해 투자자 역할 부여가 위치 편향을 강화하거나 완화하는지 분석함.

9. 프롬프트 템플릿

• 논문은 두 가지 프롬프트 템플릿을 사용함.

Template 1 : “company1과 company2 중 [기준]에 따라 더 나은 투자는 무엇인가?”
Template 2 : “[기준]에 따르면 더 나은 투자는 company1인가 company2인가?”

• 두 템플릿은 의미는 유사하지만 선택지와 평가 기준의 배치가 다름.
• 이를 통해 문장 구조와 선택지 위치가 모델 판단에 미치는 영향을 비교함.

10. 실험 규모

• 기업 쌍 수는 306개임.
• 금융 판단 범주는 10개임.
• 프롬프트 순서 구성은 2개임.
• 시스템 스타일은 4개임.
• 각 조건은 3회 반복됨.
• 전체 관측치는 73,440개임.
• 이는 위치 편향을 통계적으로 안정적으로 측정하기 위한 대규모 실험 설계임.

11. 평가 방법

• 같은 기업 쌍을 순서만 바꿔 모델에 제시함.
• 모델은 두 ticker 중 하나만 선택해야 함.
• 연구진은 모델이 각 ticker에 부여한 선택 확률을 계산함.
• 특정 기업이 첫 번째 위치에 있을 때의 선택 확률과 두 번째 위치에 있을 때의 선택 확률을 비교함.
• 두 확률의 차이를 위치 편향으로 정의함.
• 통계 검정에는 Wilcoxon signed-rank test를 사용함.
• 효과 크기 r과 Hodges–Lehmann 추정치를 함께 보고함.
• 신뢰구간은 cluster bootstrap 방식으로 계산함.

12. 해석 가능성 분석 방법

• 논문은 단순 결과 분석에 그치지 않고 모델 내부를 분석함.
• 사용 도구는 TransformerLens임.
• 주요 분석 방법은 세 가지임.

① Direct Logit Attribution : 각 layer와 token position이 최종 ticker 선택에 얼마나 기여하는지 측정
② Logit Lens Ranking Analysis : 각 layer에서 두 ticker의 순위가 어떻게 변하는지 추적
③ Attention Head Ablation : 특정 attention head를 제거했을 때 선택 편향이 얼마나 바뀌는지 확인

• 이를 통해 위치 편향을 유발하는 layer와 attention head를 식별함.

13. 주요 결과 ①: 모델 크기가 커질수록 편향 감소

• Qwen2.5 1.5B와 7B는 대부분 금융 범주에서 강한 위치 편향을 보임.
• Qwen2.5 14B는 대부분 범주에서 위치 편향이 크게 줄어듦.
• 즉, 모델 크기 증가는 위치 편향 완화에 어느 정도 효과가 있음.
• 다만 편향이 완전히 사라지는 것은 아님.
• 특히 14B 모델에서도 일부 범주는 여전히 유의미한 편향을 보임.

14. 주요 결과 ②: Risk 범주는 편향이 지속됨

• Risk 범주는 모델 크기가 커져도 위치 편향이 강하게 남아 있음.
• 14B 모델에서도 Risk 범주는 높은 편향을 보임.
• 논문은 “volatility”, “exposure” 같은 리스크 관련 개념이 의미적으로 모호하고 복잡하기 때문에 위치 단서에 더 의존할 가능성이 있다고 해석함.
• 이는 금융 리스크 판단이 일반적인 투자 매력도 판단보다 더 취약할 수 있음을 의미함.
• 따라서 리스크 평가에서 LLM을 사용할 때는 선택지 순서 통제가 특히 중요함.

15. 주요 결과 ③: ESG·Sentiment는 편향 방향이 반전될 수 있음

• Qwen2.5 14B에서는 ESG와 Sentiment 범주에서 음의 Hodges–Lehmann 추정치가 나타남.
• 이는 큰 모델에서 첫 번째 선택지보다 두 번째 선택지를 더 선호하는 방향으로 편향이 바뀔 수 있음을 의미함.
• 즉, 모델 크기가 커진다고 단순히 편향이 “감소”하는 것만은 아님.
• 일부 영역에서는 primacy bias가 recency bias로 전환될 수 있음.
• 따라서 위치 편향은 방향성까지 함께 평가해야 함.

16. 주요 결과 ④: 프롬프트 순서도 편향에 큰 영향

• 같은 14B 모델과 Default 스타일에서도 Template 1과 Template 2의 결과가 달라짐.
• 작은 문장 구조 차이가 effect size와 편향 방향에 영향을 줌.
• Growth와 Innovation 범주는 템플릿 간 차이가 크게 나타남.
• 반면 Fundamental과 Risk 범주는 템플릿을 바꿔도 편향이 비교적 일관됨.
• 이는 일부 금융 범주는 프롬프트 표현에 민감하고, 일부 범주는 과제 자체의 의미 때문에 편향이 고정적으로 나타날 수 있음을 시사함.

17. 주요 결과 ⑤: 투자자 성향 프레이밍도 편향을 조절

• Conservative, Moderate, Aggressive 프레이밍은 위치 편향에 서로 다른 영향을 줌.
• Conservative 프레이밍은 대부분 범주에서 위치 편향을 강화함.
• 논문은 보수적이고 지시적인 언어가 primacy heuristic을 강화할 수 있다고 해석함.
• Moderate 프레이밍은 여러 범주에서 상대적으로 낮은 위치 편향을 보임.
• 이는 균형 잡힌 표현이 모델의 단순 휴리스틱 의존을 줄일 수 있음을 의미함.
• Aggressive 프레이밍은 일부 범주에서 편향을 거의 제거하기도 함.
• 예를 들어 Sector Leadership, Innovation 범주에서 편향 감소 효과가 나타남.

18. 주요 결과 ⑥: 위치 편향은 특정 layer와 head에 집중됨

• Direct Logit Attribution 결과, 위치 편향은 주로 transformer의 중후반 layer에서 강하게 나타남.
• Qwen2.5 1.5B와 7B에서는 대체로 layer 12~24 부근에서 편향이 집중됨.
• Qwen2.5 14B에서는 대체로 layer 32~48 부근에서 편향이 나타남.
• 이 구간은 모델이 선택지 정보를 통합하고 비교 판단을 형성하는 단계로 해석됨.
• 즉, 위치 편향은 입력 초반부터 단순히 생기는 것이 아니라, 비교 판단이 형성되는 중후반 처리 과정에서 강화됨.

19. 주요 결과 ⑦: ‘Bias engine’ 역할의 attention head 존재

• Attention head ablation 분석 결과, 위치 편향을 강하게 유발하는 일부 attention head가 확인됨.
• 논문은 이를 “bias engines”로 해석함.
• 작은 모델에서는 이러한 편향 head 수가 적지만, 영향은 더 강하게 나타남.
• 큰 모델에서는 편향이 더 넓게 분산되지만, 핵심 head는 여전히 존재함.
• 템플릿이 달라져도 일부 head는 반복적으로 편향에 관여함.
• 이는 위치 편향 완화를 위해 특정 layer·head를 표적으로 삼을 수 있음을 시사함.

20. 주요 결과 ⑧: 보편적 위치 편향 head 식별

• 논문은 각 모델에서 반복적으로 위치 편향을 유발하는 universal positional bias heads를 제시함.
• Qwen2.5 1.5B에서는 L16H0, L17H3, L21H9, L21H11, L22H4가 확인됨.
• Qwen2.5 7B에서는 L0H7, L17H27, L18H9, L18H25, L23H10이 확인됨.
• Qwen2.5 14B에서는 L25H7, L29H12, L30H7, L30H8, L30H20, L30H38, L32H4, L32H30, L32H33, L35H10, L35H30, L36H21, L36H23이 확인됨.
• 이러한 head는 모델 크기와 프롬프트 템플릿을 넘어 반복적으로 편향에 관여함.
• 따라서 향후 attention head regularization, activation patching, representation control 같은 완화 전략의 후보 지점이 될 수 있음.

21. 주요 결과 ⑨: 의미적으로 복잡한 범주에서 편향이 커짐

• Risk, Innovation, Growth 범주는 위치 편향이 더 강하거나 변동성이 크게 나타남.
• 이 범주들은 단순 정량 판단보다 미래 전망, 불확실성, 복합적 해석이 필요한 영역임.
• 의미적으로 복잡한 과제일수록 모델이 내용 판단보다 위치 단서에 의존할 가능성이 커짐.
• 반대로 더 단순한 범주는 상대적으로 안정적인 판단을 보임.
• 이는 금융 LLM 평가에서 과제 유형별 편향 측정이 필요함을 보여줌.

22. 시사점

• 금융 LLM의 위치 편향은 단순 프롬프트 문제가 아니라 모델 내부 처리 과정과 연결됨.
• 선택지 순서만 바꿔도 투자 판단이 달라질 수 있으므로, 금융 서비스에서 LLM 추천을 사용할 때는 order randomization이 필요함.
• 단일 프롬프트 결과를 그대로 신뢰하기보다, 선택지 순서를 바꾼 반복 질의와 결과 보정이 필요함.
• 리스크 평가, 성장성 평가, 혁신성 평가처럼 복잡한 판단에서는 위치 편향 점검이 특히 중요함.
• 모델 크기를 키우면 편향은 줄어들 수 있지만, 특정 금융 범주에서는 여전히 남음.
• 따라서 모델 스케일링만으로는 충분하지 않음.
• 프롬프트 템플릿 통제, 시스템 프레이밍 관리, 내부 head 단위 완화가 함께 필요함.

23. 실무적 함의

• 금융기관이 LLM을 투자 추천, 종목 비교, 포트폴리오 구성에 사용할 경우 선택지 제시 순서를 사전에 표준화해야 함.
• 더 안전한 방식은 동일 질문을 여러 순서로 반복하고 평균 또는 합의 결과를 사용하는 것임.
• 보수적 투자자 설정은 오히려 편향을 강화할 수 있으므로, 시스템 프롬프트 설계 시 주의해야 함.
• “보수적 조언자”, “위험 회피적 조언자” 같은 역할 부여가 항상 더 안전한 결과를 보장하지 않음.
• 모델 내부 분석이 가능한 오픈소스 모델에서는 bias head를 감시하거나 ablation·regularization을 통해 편향을 줄일 수 있음.

24. 연구 한계

• 분석 대상 모델이 Qwen2.5 계열에 한정됨.
• 다른 모델 계열, 예를 들어 LLaMA, Mistral, Gemma, GPT 계열에서도 같은 내부 구조가 나타나는지는 추가 검증이 필요함.
• 실험은 영어 프롬프트에 한정됨.
• 기업 표본은 FAANG+ 대형 기술·미디어 기업 18개로 제한됨.
• 의사결정 구조는 두 기업 중 하나를 고르는 binary pairwise task임.
• 실제 금융 의사결정은 다수 자산 비교, 비중 결정, 제약조건 반영 등 더 복잡함.
• 향후 연구에서는 다른 언어, 다른 산업, 다른 자산군, k-ary decision으로 확장할 필요가 있음.

25. 결론

• 이 논문은 금융 의사결정에서 LLM의 위치 편향을 탐지하고, 그 내부 메커니즘을 추적한 연구임.
• Qwen2.5 모델은 기업 비교 판단에서 선택지 순서에 영향을 받음.
• 모델 크기가 커질수록 편향은 줄어들지만, Risk 같은 금융 범주에서는 편향이 지속됨.
• 프롬프트 순서와 투자자 성향 프레이밍도 편향 크기와 방향에 영향을 줌.
• 위치 편향은 주로 중후반 transformer layer와 특정 attention head에서 발생함.
• 결론적으로, 금융 LLM의 신뢰성을 확보하려면 프롬프트 순서 통제, 반복 평가, 내부 편향 head 분석, 도메인별 편향 모니터링이 필요함.