LLM 투자 추천에서 제품 편향(Product Bias) 노출

Exposing Product Bias in LLM Investment Recommendation

 

1. 연구 개요

• 연구 연도: 2025
• 게재처: 프리프린트
• 연구 목적: LLM 투자 추천에서 특정 투자상품을 선호하는 제품 편향(Product Bias) 존재 여부 분석
• 핵심 주장: LLM은 투자 추천 시 특정 주식, 펀드, 암호화폐, 예금 상품 등을 반복적으로 선호함

2. 연구 배경

• LLM은 요약, 정보 검색, 데이터 분석 능력을 바탕으로 투자 추천 도구로 활용 확대
• 개인 투자자, 특히 금융 전문성이 낮은 이용자가 LLM 추천을 신뢰하고 실제 투자에 반영할 가능성 존재
• 투자 추천은 영화·음악 추천과 달리 개인 자산 및 금융시장 안정성에 직접 영향

3. 문제의식

• 기존 LLM 편향 연구는 주로 성별, 인종 등 사회적 편향에 집중
• 투자 추천에서 특정 금융상품이 반복적으로 추천되는 제품 편향은 충분히 연구되지 않음
• 특정 상품에 추천이 집중될 경우 자본 쏠림, 가격 왜곡, 금융 버블 발생 가능

3. 'Product Bias' 정의

• LLM이 다양한 투자 시나리오에서도 특정 투자상품을 체계적으로 더 자주 추천하는 현상

예시1) 주식 추천에서 Apple(AAPL), Microsoft(MSFT) 선호
예시2) 뮤추얼펀드 추천에서 Vanguard 상품 선호
예시3) 암호화폐 추천에서 BTC, ETH 선호

 

4. 연구 방법

• 투자상품 추천 편향을 분석하기 위한 자동화 파이프라인 구축
• 투자 시나리오 생성을 위해 5개 속성 활용

- 투자 예산
- 투자 기간
- 위험 선호
- 시장 환경
- 상품 범주

• 최종적으로 16,200개 프롬프트 생성

5. 분석 대상 자산군

• 주식
• 뮤추얼펀드
• 암호화폐
• 예금
• 여러 자산을 함께 추천하는 포트폴리오

6. 분석 대상 모델

• GPT-3.5-Turbo
• GPT-4o
• Gemini-1.5-Flash
• Claude-3.5-Sonnet
• Qwen-Plus
• DeepSeek-V3
• Llama-3.1-405B-Instruct

7. 데이터 규모

• 전체 데이터셋: 567,000개 샘플
• 단일 자산군 실험: 551,250개 응답 수집
• 전처리 후 유효 응답: 475,438개
• 포트폴리오 실험: 15,750개 응답 수집
• 전처리 후 유효 응답: 14,717개

8. 평가 지표

• Gini Index 사용
• 특정 상품에 추천 빈도나 투자금액이 얼마나 집중되는지 측정
• 값이 높을수록 특정 상품에 대한 편향이 강함
• 투자금액 기준과 추천 빈도 기준을 모두 분석

9. 주요 결과

 

① 전체 Product Bias

• 모든 LLM에서 높은 제품 편향 확인
• 투자금액 기준 평균 Gini Index는 0.94
• 추천 빈도 기준 평균 Gini Index는 0.92
• GPT-3.5-Turbo가 가장 강한 제품 편향을 보임
• Llama-3.1-405B와 Qwen-Plus는 상대적으로 낮은 편향을 보임

② 자산군별 차이

• 주식 추천에서 제품 편향이 가장 강하게 나타남
• 주식 추천의 평균 Gini Index는 투자금액 기준 0.95, 추천 빈도 기준 0.94
• 같은 자산군이라도 모델별 편향 정도가 다름
• 같은 모델이라도 자산군에 따라 편향 정도가 달라짐

③ 주식 추천 편향

• 대부분의 모델이 AAPL과 MSFT를 강하게 선호
• Qwen-Plus는 AAPL에 전체 투자금액의 31.57%를 배정
• GPT-4o는 MSFT를 전체 추천 중 23.34% 빈도로 추천
• 특정 대형 기술주에 추천이 집중되는 경향 확인

④ 뮤추얼펀드 편향

• 모든 모델이 Vanguard 계열 상품을 강하게 선호
• Gemini-1.5-Flash는 Vanguard에 투자금액의 92.80%를 배정
• Fidelity, T. Rowe 등도 자주 등장하나 Vanguard 집중도가 가장 높음
• 펀드 추천에서도 특정 운용사 중심의 제공자 편향 확인

⑤ 암호화폐 편향

• 대부분의 모델이 BTC와 ETH를 강하게 선호
• GPT-3.5-Turbo는 BTC에 투자금액의 34.97%를 배정
• 추천 빈도 기준으로는 ETH가 모든 테스트 모델에서 1위
• 암호화폐 추천에서도 대표 코인 중심 편향 확인

 ⑥ 예금 추천 편향

• 다른 자산군보다 상위 상품 집중도는 상대적으로 낮음
• 그러나 평균 432개 은행이 응답에 등장했음을 고려하면 여전히 특정 은행에 편향 존재
• Bank of America, JPMorgan Chase, Wells Fargo, CitiBank, Ally Bank 등이 자주 추천됨

⑦ 포트폴리오 추천 편향

• LLM은 포트폴리오 구성에서도 특정 자산군을 선호
• Qwen-Plus는 뮤추얼펀드에 투자금액의 65.22% 배정
• GPT-4o는 예금 비중이 높아 저위험 자산 선호 확인
• GPT-3.5-Turbo는 주식 비중이 높아 상대적으로 높은 위험 감수 성향 확인
• 모든 모델이 암호화폐 비중을 가장 낮게 배정

 

10. 편향 완화 실험

• 네 가지 프롬프트 엔지니어링 방법 적용

- Chain of Thought
- Debias
- Quick Answer
- System Roles

• 전체적으로 제품 편향 완화 효과는 제한적
• 평균 Gini Index 감소폭은 약 0.02에 불과
• Debias 방식은 일부 모델에서 상대적으로 효과가 있었으나 충분하지 않음

 

11. 제품 편향의 원인

• 학습 데이터 내 고노출 기업·상품이 과대표상되었을 가능성
• 대형 기업, 유명 브랜드, 많이 언급되는 자산이 LLM 추천에서 유리하게 작용
• 추천 결과가 다시 시장 관심과 투자 유입을 강화하는 피드백 루프 가능

 

12. 시장 영향

• 특정 기업이나 상품에 자본이 집중될 수 있음
• 소수 대형 기업의 시장 지배력이 강화될 수 있음
• 중소형 기업이나 덜 알려진 상품은 상대적으로 배제될 위험 존재
• 장기적으로 시장 다양성 저하, 가격 왜곡, 금융 버블 가능성 제기

 

13. 상업적 위험

• LLM이 검색엔진처럼 유료 우선 노출 구조를 채택할 가능성 존재
• 특정 상품이나 기업이 상업적 이유로 추천될 경우 시장 공정성 훼손 우려
• 금융 추천에서 추천 근거와 이해관계 공개 필요
• LLM 기반 투자 추천에 대한 규제 및 투명성 확보 필요

 

14. 연구 한계

• 일반 개인 투자자 대상 투자 추천에 초점
• 전문 금융 업무나 주가 예측 영역의 제품 편향은 다루지 않음
• 모든 자산군과 현실의 모든 투자 요인을 반영하지 못함
• 평가 대상 모델이 7개로 제한됨

 

15. 결론

• LLM 투자 추천에는 명확한 제품 편향이 존재
• AAPL, MSFT, Vanguard, BTC, ETH 등 특정 상품이 반복적으로 선호됨
• 현재 프롬프트 기반 완화 기법만으로는 제품 편향을 충분히 줄이기 어려움
• LLM을 투자 추천에 활용할 경우 편향 진단, 추천 다양성 확보, 투명성 강화가 필수적임