InvestAlign: 군집 행동 하의 투자자 의사결정 프로세스에 대한 LLM 정렬 시 데이터 희소성 극복 방안

 

InvestAlign: Overcoming Data Scarcity in Aligning Large Language Models with Investor Decision-Making Processes under Herd Behav

 

1. 연구 개요

• 연구 연도: 2025년
• 게재처: ACL Anthology
• 연구 목적: 군집행동(herd behavior)이 존재하는 투자 의사결정 상황에서, 실제 투자자 데이터 부족 문제를 해결하면서 LLM을 인간 투자자의 의사결정 과정에 정렬시키는 방법 제안
• 핵심 주장: InvestAlign은 실제 사용자 데이터를 대량으로 수집하지 않고도, 단순 투자 문제의 이론해를 활용해 SFT 데이터를 생성할 수 있으며, 이를 통해 fine-tuning한 InvestAgent는 기존 LLM보다 실제 투자자 의사결정에 더 가깝게 정렬됨.

2. 연구 배경

• 투자자는 일반적으로 자신의 위험 선호에 따라 투자 의사결정을 수행함.
• 투자 의사결정은 개인의 수익률과 위험뿐 아니라 금융시장 전체의 효율성과 안정성에도 영향을 줌.
• 실제 금융시장에서는 투자자가 독립적으로만 판단하지 않음.
• 금융 애널리스트, 펀드매니저, 투자 전문가, 주변 투자자의 행동을 참고하거나 모방하는 경우가 많음.
• 이러한 현상은 행동재무학에서 군집행동, 즉 herd behavior로 설명됨.
• 군집행동은 투자자가 타인의 투자 결정을 따라 하거나, 타인의 포트폴리오 변화율을 모방하는 행동을 의미함.
• 기존 수리경제학 연구는 군집행동이 존재하는 최적 투자 문제를 이론적으로 분석해 왔음.
• 그러나 복잡한 투자 문제에서는 이론해를 직접 구하기 어렵거나 계산 비용이 큼.
• 이에 따라 LLM을 활용해 복잡한 투자 의사결정 문제를 보조하거나 시뮬레이션하려는 필요가 있음.

3. 문제의식

• LLM을 투자자 의사결정 과정에 맞추려면 보통 Supervised Fine-Tuning, 즉 SFT가 필요함.
• SFT를 하려면 실제 투자자의 의사결정 데이터가 많이 필요함.
• 그러나 실제 사용자 투자 데이터는 수집 비용이 높음.
• 투자자의 위험 선호, 모방 성향, 투자 경험 등이 다양하기 때문에 충분한 표본 확보가 어려움.
• 또한 투자 결정은 민감한 개인정보와 금융정보를 포함하므로 프라이버시와 보안 문제가 큼.
• 따라서 실제 투자자 데이터를 대량 수집하지 않고도 LLM을 투자자 의사결정에 정렬시키는 방법이 필요함.
• 논문은 이 문제를 해결하기 위해 “단순하지만 유사한 투자 문제의 이론해”를 활용하는 InvestAlign을 제안함.

4. 핵심 개념: Herd Behavior

• Herd behavior는 투자자가 타인의 투자 결정을 모방하는 현상임.
• 논문은 두 가지 군집행동 유형을 구분함.
• 첫째, absolute herd behavior임.
  • 타인의 전체 투자 비중 또는 포트폴리오 수준 자체를 따라 하는 방식임.
  • 예를 들어 투자 보조자가 주식에 40% 투자하면 자신도 그 수준에 가까워지려는 행동임.
• 둘째, relative herd behavior임.
  • 타인의 투자 결정 변화율을 따라 하는 방식임.
  • 예를 들어 투자 보조자가 주식 비중을 매년 얼마나 늘리거나 줄이는지를 모방하는 행동임.
• 또한 영향 구조도 두 가지로 나눔.
• 첫째, unilateral influence임.
  • 한 투자자가 다른 투자자의 영향을 받지만, 반대 방향 영향은 없는 구조임.
• 둘째, mutual influence임.
  • 두 투자자가 서로 영향을 주고받는 구조임.

5. 연구 문제 설정

• 논문은 두 명의 투자자 또는 에이전트가 존재하는 최적 투자 문제를 설정함.
• 투자자는 예금과 주식에 자산을 배분함.
• 예금은 무위험 수익률을 제공함.
• 주식은 초과수익률과 변동성을 가짐.
• 각 투자자는 자신의 최종 자산 효용을 극대화하려 함.
• 동시에 군집행동을 고려해 다른 투자자의 결정과의 거리를 줄이려 함.
• 즉, 투자자는 “수익·위험 최적화”와 “타인 모방” 사이에서 균형을 잡음.
• 이때 핵심 투자 속성은 두 가지임.
  • 위험회피계수, risk aversion coefficient
  • 영향계수, influence coefficient

6. 세 가지 투자 문제

• 논문은 세 가지 투자 문제를 구분함.
• P1: relative herd behavior + unilateral influence
  • 투자자 A1이 A2의 투자 결정 변화율을 모방함.
  • A2는 A1의 영향을 받지 않음.
  • 복잡 문제로 설정됨.
• P2: absolute herd behavior + mutual influence
  • A1과 A2가 서로의 투자 결정 수준을 모방함.
  • 양방향 영향이 존재함.
  • 복잡 문제로 설정됨.
• P3: absolute herd behavior + unilateral influence
  • A1이 A2의 투자 결정 수준을 모방함.
  • A2는 A1의 영향을 받지 않음.
  • 상대적으로 단순하며 이론해를 쉽게 계산할 수 있음.
• InvestAlign은 P3의 이론해를 활용해 SFT 데이터를 만들고, 이를 통해 P1·P2 같은 복잡 문제에서도 LLM 성능을 개선하는 접근임.

7. InvestAlign의 핵심 아이디어

• 기존 방법은 복잡한 문제에 대해 실제 사용자 데이터를 수집하고, 이를 기반으로 LLM을 fine-tuning함.
• InvestAlign은 접근을 바꿈.
• 먼저 복잡한 문제와 수학적으로 유사한 단순 문제를 찾음.
• 그 단순 문제의 이론해를 계산함.
• 이 이론해를 기반으로 대량의 고품질 SFT 데이터를 생성함.
• 이후 LLM을 이 데이터로 fine-tuning함.
• fine-tuning된 모델을 InvestAgent라고 부름.
• 핵심은 실제 투자자 데이터를 직접 대량 수집하지 않고도, 이론해 기반 데이터로 투자자 의사결정에 가까운 모델을 만드는 것임.

8. 연구 질문

• Q1: 복잡한 투자 문제가 주어졌을 때, 이와 유사하면서도 단순한 문제를 어떻게 식별할 수 있는가.
• Q2: 단순 문제의 이론해가 실제 투자자의 투자 결정과 일치하는가.
• Q3: 이론해를 기반으로 SFT 데이터를 어떻게 생성할 수 있으며, 실제 사용자 데이터와 비교해 학습 효율은 어떤가.
• Q4: 이론해 기반 데이터로 fine-tuning한 LLM이 복잡한 투자 문제에서도 실제 투자자 의사결정에 잘 정렬되는가.

9. 실제 사용자 데이터 수집

• 연구진은 단순 문제 P3에 대해 실제 사용자 데이터를 수집함.
• 참여자는 119명임.
• 참여자는 주로 미시경제학과 행동재무학 분야의 전문가 및 학생임.
• 이는 투자 문제에 대한 이해 부족으로 인한 노이즈를 줄이기 위한 선택임.
• 참여자는 투자자 A1 역할을 수행함.
• A1은 투자 보조자 A2의 영향을 받는 상황으로 설정됨.
• 참여자는 10년 동안 매년 주식에 투자할 자금 비중을 결정함.
• 연구진은 설문을 통해 참여자의 위험회피계수와 영향계수도 추정함.

10. Pre-SFT LLM 평가

• 연구진은 fine-tuning 전 LLM이 실제 투자자 데이터와 얼마나 일치하는지 평가함.
• 평가 모델은 다음과 같음.
  • GPT-3.5-Turbo
  • Qwen-2-7B-Instruct
  • Meta-Llama-3.1-8B-Instruct
  • GLM-4-9B-CHAT
• LLM에는 투자 전문가 역할을 부여함.
• 투자 환경, 예금 수익률, 주식 수익률, 변동성, 투자 기간, 투자 보조자 추천, 투자자 속성 등을 프롬프트로 제시함.
• LLM은 10년 동안 매년 주식에 투자할 비중을 출력해야 함.
• 결과적으로 fine-tuning 전 LLM의 투자 결정은 실제 사용자 데이터와 상당한 차이를 보임.
• 즉, 기본 LLM은 군집행동이 존재하는 최적 투자 문제에서 인간 투자자의 의사결정을 잘 모사하지 못함.

11. 이론해와 실제 사용자 데이터의 일치성

• 연구진은 P3의 이론해와 실제 사용자 데이터를 비교함.
• 페이지 6의 Figure 2는 실제 사용자 데이터, 이론해, Pre-SFT LLM 결정을 함께 보여줌.
• 그래프상 이론해는 Pre-SFT LLM보다 실제 사용자 데이터에 훨씬 가깝게 나타남.
• 통계 검정도 수행함.
• 실제 투자 결정과 이론해의 차이에 대한 평균은 1% 유의수준에서 0과 유의하게 다르지 않음.
• 상관계수 평균도 1% 유의수준에서 0.85와 유의하게 다르지 않음.
• 이는 이론해가 실제 투자자 의사결정의 대체 데이터로 활용될 수 있음을 뒷받침함.

12. SFT 데이터 생성 방식

• InvestAlign은 P3의 이론해를 이용해 input-output pair를 생성함.
• 입력에는 투자 환경, 투자자 속성, 투자 보조자 추천 등이 포함됨.
• 출력에는 이론적으로 계산된 최적 주식 투자 비중 시퀀스가 포함됨.
• 투자자 속성은 자연어로 표현함.
• 즉, LLM에게 단순히 α, θ 같은 수치를 던지는 것이 아니라, 위험 선호와 보조자 의존도를 사람이 이해할 수 있는 설명으로 제공함.
• 위험회피계수 α1은 0.05부터 0.50까지 설정함.
• 영향계수 θ1은 1×10⁻⁸부터 1×10⁻⁷까지 설정함.
• 각 투자 속성 조합마다 이론적 최적 결정을 계산함.
• 무작위 교란을 고려해 각 조건을 10회 반복함.
• 최종 SFT 데이터셋은 1,000개 학습 샘플로 구성됨.

13. 이론해 기반 학습의 장점

• 논문은 이론해 기반 데이터가 실제 사용자 데이터보다 학습 효율이 높다고 주장함.
• 이유는 실제 사용자 데이터에는 노이즈가 많기 때문임.
• 반면 이론해는 동일한 조건에서 결정론적으로 계산됨.
• 따라서 학습 신호가 더 명확함.
• 논문은 수학적 분석을 통해 이론해 기반 데이터로 학습할 때 손실함수의 gradient norm이 더 크다고 보임.
• gradient norm이 크면 초기 학습 단계에서 더 빠른 수렴이 가능함.
• 실험에서도 Qwen-2와 Llama-3.1을 대상으로 확인함.
• 페이지 8의 Figure 3은 이론해 기반 데이터로 학습할 때 gradient norm이 실제 사용자 데이터 기반 학습보다 더 크게 나타남을 보여줌.
• 페이지 8의 Figure 4는 이론해 기반 데이터로 학습한 모델이 더 빠르게 training loss를 낮춘다는 점을 보여줌.

14. InvestAgent 성능: 단순 문제 P3

• 연구진은 InvestAlign으로 fine-tuning한 모델을 InvestAgent라고 부름.
• P3에서 InvestAgent의 투자 결정은 Pre-SFT LLM보다 실제 사용자 데이터와 훨씬 가까워짐.
• 페이지 9의 Figure 5는 GPT-3.5, Qwen-2, Llama-3.1에서 InvestAgent가 실제 사용자 데이터와 이론해에 더 가까운 투자 경로를 생성함을 보여줌.
• 전체 MSE 기준으로 성능이 크게 개선됨.
• P3에서 전체 MSE 감소율은 다음과 같음.
  • GPT-3.5: 61.26% 감소
  • Qwen-2: 45.59% 감소
  • Llama-3.1: 61.03% 감소
• 이는 이론해 기반 SFT가 단순 문제에서 인간 투자자 의사결정과의 정렬을 크게 개선함을 의미함.

15. InvestAgent 성능: 복잡 문제 P1

• InvestAlign은 P3의 데이터로 학습했지만, 복잡 문제 P1에도 적용됨.
• P1은 relative herd behavior와 unilateral influence가 결합된 문제임.
• 실제 사용자 데이터는 80명으로부터 수집됨.
• 실험 결과 InvestAgent는 Pre-SFT LLM보다 실제 사용자 데이터와 더 가까운 결정을 생성함.
• P1에서 전체 MSE 감소율은 다음과 같음.
  • GPT-3.5: 46.84% 감소
  • Qwen-2: 56.69% 감소
  • Llama-3.1: 44.52% 감소
• 이는 단순 문제의 이론해로 학습한 모델이 복잡한 군집행동 문제에도 일반화될 수 있음을 보여줌.

16. InvestAgent 성능: 복잡 문제 P2

• P2는 absolute herd behavior와 mutual influence가 결합된 문제임.
• 즉, 두 투자자가 서로의 투자 결정을 모방하는 상황임.
• 실제 사용자 데이터는 44명으로부터 수집됨.
• P2에서도 InvestAgent는 Pre-SFT LLM보다 실제 사용자 데이터와 더 가까운 결정을 보임.
• 전체 MSE 감소율은 다음과 같음.
  • Qwen-2: 60.92% 감소
  • Llama-3.1: 45.77% 감소
• 이는 InvestAlign이 단순히 학습 문제에만 맞춘 것이 아니라, 유사한 구조의 복잡 문제에도 효과가 있음을 시사함.

17. FinGPT 데이터셋과의 비교

• 논문은 InvestAgent를 FinGPT 데이터셋으로 fine-tuning한 모델과도 비교함.
• 비교 대상은 FinGPT-FinEval과 FinGPT-ConvFinQA임.
• 실험 결과 InvestAgent가 FinGPT 기반 fine-tuning 모델보다 더 낮은 MSE를 기록함.
• 이유는 FinGPT 데이터셋이 일반 금융 과제에 초점을 맞춘 반면, InvestAlign 데이터셋은 군집행동이 있는 최적 투자 문제에 특화되어 있기 때문임.
• 즉, 금융 도메인 데이터라고 해서 모두 같은 효과를 내는 것은 아님.
• 특정 행동재무 문제에는 해당 문제 구조에 맞는 데이터 생성이 더 중요함.

18. 경제 원리 반영 여부

• 논문은 InvestAgent가 경제학적 원리를 반영하는지도 검증함.
• 첫 번째 가설은 영향계수가 커질수록 투자자들의 투자 결정이 서로 가까워진다는 것임.
• P1과 P3에서는 A1의 결정이 A2의 최적 결정에 가까워지는지 확인함.
• P2에서는 A1과 A2의 결정이 서로 수렴하는지 확인함.
• 페이지 21의 Figure 8~10은 영향계수가 커질수록 투자 결정 간 거리가 줄어드는 경향을 보여줌.
• 두 번째 가설은 mutual influence 상황에서 영향계수가 커질수록 두 투자자의 최종 자산 합이 감소한다는 것임.
• 페이지 22의 Figure 11은 영향계수가 증가할수록 두 투자자의 최종 자산 합의 평균이 감소하는 경향을 보여줌.
• 이는 InvestAgent가 단순히 실제 사용자 데이터에 가까운 값만 내는 것이 아니라, 군집행동과 관련된 경제 원리도 어느 정도 반영함을 의미함.

19. 연구 시사점

• LLM을 투자자 의사결정에 정렬시키기 위해 반드시 대규모 실제 사용자 데이터만 필요한 것은 아님.
• 수리경제학 또는 행동재무학의 이론해를 활용하면 고품질 synthetic SFT 데이터를 만들 수 있음.
• 이론해 기반 데이터는 실제 사용자 데이터보다 노이즈가 적고 학습 수렴이 빠를 수 있음.
• 단순 문제에서 얻은 이론해 기반 지식이 유사한 복잡 문제로 이전될 가능성이 있음.
• 이는 금융 LLM 개발에서 이론 모델과 LLM fine-tuning을 결합하는 방향의 가능성을 보여줌.
• 특히 개인정보 보호와 데이터 부족 문제가 큰 금융 분야에서 유용한 접근임.

20. 기존 연구와의 차별점

• 기존 금융 LLM 연구는 주가 예측, 뉴스 분석, 리포트 요약, 투자 아이디어 생성 등에 초점을 맞춘 경우가 많음.
• 이 논문은 미시경제학과 행동재무학의 투자자 의사결정 과정 자체에 초점을 둠.
• 특히 herd behavior가 있는 최적 투자 문제를 다룸.
• 기존 LLM 투자 에이전트는 인간 투자자의 군집행동을 충분히 반영하지 못함.
• InvestAlign은 이론해 기반 SFT 데이터를 사용해 LLM을 인간 투자자의 의사결정 경로에 맞추려 함.
• 즉, “금융 지식을 많이 아는 LLM”이 아니라 “투자자처럼 결정하는 LLM”을 목표로 함.

21. 연구 한계

• InvestAlign은 모든 복잡한 최적 투자 문제에 보편적으로 적용된다고 주장하지 않음.
• 이론해가 실제 투자자의 모든 미묘한 행동을 포착하지 못할 수 있음.
• 실험은 두 명의 에이전트와 특정 형태의 군집행동 문제에 집중함.
• 실제 금융시장에서는 더 많은 투자자, 다양한 자산, 정보 비대칭, 거래비용, 제도적 제약 등이 존재함.
• 실제 사용자 데이터는 전문가와 관련 분야 학생 중심으로 수집됨.
• 일반 개인 투자자의 행동을 완전히 대표한다고 보기는 어려움.
• 향후 연구에서는 과신, 손실회피 등 다른 행동 편향으로 확장할 필요가 있음.
• 또한 SFT뿐 아니라 RLHF를 결합해 투자 의사결정 정렬 효과를 비교할 필요가 있음.

22. 결론

• 이 논문은 군집행동이 존재하는 투자 의사결정에서 LLM을 인간 투자자와 정렬시키기 위한 InvestAlign 프레임워크를 제안함.
• InvestAlign은 복잡한 문제와 유사한 단순 문제의 이론해를 활용해 SFT 데이터를 생성함.
• 이론해는 실제 사용자 데이터와 통계적으로 일관되며, Pre-SFT LLM보다 실제 투자자 의사결정에 더 가까움.
• 이론해 기반 데이터는 실제 사용자 데이터보다 노이즈가 적어 더 빠른 학습 수렴을 가능하게 함.
• InvestAgent는 P3뿐 아니라 P1, P2 같은 복잡 문제에서도 Pre-SFT LLM보다 실제 사용자 데이터에 더 잘 정렬됨.
• 결론적으로, InvestAlign은 금융 분야에서 데이터 부족과 개인정보 문제를 완화하면서, LLM을 행동재무학적 투자 의사결정 과정에 정렬시키는 유망한 방법임.