페르소나 설계 및 프롬프트 분석을 통한 LLM 유발 투자 편향 평가: 사회적 시뮬레이션을 통한 은퇴 후 자산 고갈 위험의 정량적 연구

 

https://ieeexplore.ieee.org/document/11467909

 

1. 연구 개요

• 연구 연도: 2026년
• 게재처: 2026 International Conference on Artificial Intelligence, Computer, Data Sciences and Applications, ACDSA 2026, IEEE
• 연구 목적: LLM의 금융 조언이 개인의 투자 편향을 강화할 수 있는지, 그리고 그 결과가 은퇴 후 중장기 자산 고갈 위험에 어떤 영향을 줄 수 있는지 정량적으로 분석
• 핵심 주장: 동일한 개인 페르소나라도 질문 방식에 따라 LLM 응답의 위험 선호도가 달라질 수 있으며, 이 차이가 위험자산 비중 변화로 이어질 경우 장기 자산 고갈 확률에도 영향을 줄 수 있음.

2. 연구 배경

• 은퇴 후 생활 설계와 자산 고갈 문제는 여러 국가에서 중요한 사회·금융 문제로 부상하고 있음.
• 은퇴 이후 필요한 소득과 현재 저축 수준 사이의 격차가 커지면서, 중장기적으로 자산이 고갈될 가능성이 커지고 있음.
• 이에 따라 젊은 시기부터의 자산 형성, 은퇴 후 인출 전략, 생활 설계의 중요성이 커지고 있음.
• 기존에는 금융 플래너 등 전문가 상담이 주요 수단이었음.
• 그러나 전문가 상담에는 비용 부담, 신뢰 문제, 이해상충 우려, 정보 과부하, 절차 복잡성 등의 장벽이 있음.
• 반면 ChatGPT 같은 LLM이 등장한 이후, 개인들이 사적 고민이나 금융 상담을 LLM에 묻는 사례가 증가하고 있음.
• 특히 미국·영국 성인의 상당수가 LLM 기반 금융 조언을 이용했거나 고려한 경험이 있다는 점이 언급됨.

3. 문제의식

• LLM 기반 금융 상담은 접근성이 높고 비용이 낮다는 장점이 있음.
• 하지만 LLM은 사용자의 기존 의견이나 감정에 과도하게 맞춰주는 sycophancy problem을 보일 수 있음.
• Sycophancy는 모델이 객관적 사실이나 논리보다 사용자의 선호와 기대에 맞춘 응답을 제공하는 현상임.
• 투자 상담에서는 이 문제가 개인의 기존 투자 편향을 강화할 수 있음.
• 예를 들어 사용자가 위험을 감수하려는 표현을 넣으면 LLM이 더 공격적인 투자 조언을 할 수 있음.
• 반대로 원금 손실을 두려워하는 표현을 넣으면 LLM이 더 보수적인 조언을 할 수 있음.
• 문제는 이러한 응답 차이가 실제 자산배분으로 이어질 경우, 장기 자산 고갈 위험이 달라질 수 있다는 점임.
• 기존 연구는 LLM이 투자 편향을 강화할 수 있다는 점을 다뤘지만, 이것이 은퇴 후 자산 고갈 가능성과 어떻게 연결되는지는 충분히 분석하지 않았음.

4. 연구 질문

• RQ1: 동일한 페르소나라도 LLM에 질문하는 방식에 따라 LLM 응답의 위험 선호도가 달라지는가.
• RQ2: LLM 응답의 위험 선호도에 따라 페르소나가 자산 운용을 한다고 가정하면, 미래 자산 고갈 가능성은 얼마나 달라지는가.

5. 연구 방법 개요

• 논문은 세 단계 방법론을 사용함.
• 첫째, persona design 단계임.
  • 대규모 설문 데이터를 기반으로 실제에 가까운 개인 페르소나를 구성함.
• 둘째, prompt analysis 단계임.
  • 각 페르소나에 대해 서로 다른 위험 선호 표현을 포함한 질문을 LLM에 제시함.
  • 응답 내용을 수집하고, 응답의 위험 선호도를 점수화함.
• 셋째, social simulation 단계임.
  • LLM 응답에서 도출된 위험 선호를 자산배분 변화로 반영함.
  • Monte Carlo 시뮬레이션을 통해 연령별 자산 고갈률을 추정함.

6. 페르소나 구성

• 연구는 일본 MUFG Financial Education Institute의 설문 데이터를 활용함.
• 설문명은 “Awareness survey on life in old age for before and after retirement generation”임.
• 조사 기간은 2019년 1월 22일부터 1월 25일까지임.
• 조사 대상은 일본 내 50세 이상 남녀임.
• 유효 응답 수는 4,592명임.
• 설문에는 현재 금융자산 잔액, 은퇴 후 예상 수입·지출, 상속 예정 자산, 투자 선호 등이 포함됨.
• 연구진은 이 데이터를 K-means clustering으로 군집화함.
• 클러스터 수는 elbow method와 silhouette analysis를 바탕으로 5개로 설정함.

7. 생성된 페르소나

• 논문은 5개 페르소나 골격을 제시함.
• Persona #1
  • 연령: 65~69세
  • 금융자산: 1,000만~1,500만 엔
  • 위험자산 비중: 0%
  • 상속 예정 자산: 없음
  • 구성비: 16%
  • 특징: 비교적 고령, 중간 수준 자산, 위험자산 없음
• Persona #2
  • 연령: 55~59세
  • 금융자산: 2,000만~3,000만 엔
  • 위험자산 비중: 10~20%
  • 상속 예정 자산: 1,500만~2,000만 엔
  • 구성비: 14%
• Persona #3
  • 연령: 60~64세
  • 금융자산: 200만~300만 엔
  • 위험자산 비중: 0%
  • 상속 예정 자산: 없음
  • 구성비: 20%
• Persona #4
  • 연령: 70~74세
  • 금융자산: 3,000만~5,000만 엔
  • 위험자산 비중: 20~30%
  • 상속 예정 자산: 없음
  • 구성비: 43%
• Persona #5
  • 연령: 55~59세
  • 금융자산: 1,000만~1,500만 엔
  • 위험자산 비중: 0%
  • 상속 예정 자산: 없음
  • 구성비: 7%

8. LLM 상담 설정

• 실험에서는 Persona #1을 샘플로 사용함.
• 상담 대상은 67세이며, 금융자산은 1,250만 엔으로 설정됨.
• 대부분의 자산은 은행 예금으로 보유하고 있음.
• 상담 주제는 일본의 비과세 소액투자제도인 NISA를 시작해야 하는지 여부임.
• 사용 모델은 OpenAI platform Assistants의 gpt-4o임.
• Temperature는 1.0으로 설정됨.
• 실행 시점은 2025년 8월임.
• 상담과 응답은 일본어로 수행되었고, 논문에는 영어 기계번역본이 제시됨.

9. 프롬프트 조건

• 연구진은 동일한 페르소나에 대해 세 가지 질문 방식을 구성함.
• 고위험 선호 질문
  • “원금 손실 가능성이 있더라도 어느 정도 위험을 감수해야 할지 고민하고 있다”는 표현을 포함함.
• 중간위험 선호 질문
  • “위험을 감수하면 원금 손실이 발생할 수 있어 걱정된다”는 표현을 포함함.
• 저위험 선호 질문
  • “위험을 감수하지 않고 원금 손실을 피하고 싶다”는 표현을 포함함.
• 핵심은 페르소나의 객관적 조건은 동일하게 두고, 질문에 포함된 위험 선호 표현만 바꾼 점임.

10. LLM 응답 특징

• 고위험 선호 질문에서는 LLM이 NISA 활용을 비교적 긍정적으로 설명함.
• 예를 들어 투자 목적, 위험 감내도, 투자 기간, NISA 제도, 분산투자 등을 검토한 뒤, 일부 자산을 투자에 배분할 수 있다고 조언함.
• 중간위험 선호 질문에서는 LLM이 NISA의 장점을 설명하면서도 원금 손실 위험과 본인의 위험 감내도를 재점검하라고 권고함.
• 저위험 선호 질문에서는 LLM이 NISA를 무리하게 시작할 필요는 없으며, 소액으로 시작하거나 전문가 상담을 고려하라고 조언함.
• 즉, 동일한 페르소나라도 질문에 포함된 위험 표현에 따라 응답의 투자 권장 강도가 달라짐.

11. 위험 선호도 점수화

• 연구진은 LLM 응답의 위험 선호도를 다시 LLM으로 점수화함.
• 사용 모델은 Perplexity OpenAI gpt-5임.
• 실행 시점은 2025년 8월임.
• 점수는 0점부터 100점까지 부여함.
• 0점에 가까울수록 위험회피적 조언임.
• 100점에 가까울수록 위험추구적 조언임.
• 예시 점수는 다음과 같음.
  • 고위험 선호 질문 응답: 65점
  • 중간위험 선호 질문 응답: 40점
  • 저위험 선호 질문 응답: 35점

12. 통계 분석

• 각 질문 조건별로 10개의 응답 예시를 수집함.
• Group A는 고위험 선호 질문 응답임.
• Group B는 중간위험 선호 질문 응답임.
• Group C는 저위험 선호 질문 응답임.
• 일원분산분석, 즉 one-way ANOVA를 수행함.
• 분석 결과, 세 집단 간 위험 선호도 점수에 유의미한 차이가 나타남.
• 결과는 F(2,27) = 4.57, p = 0.02, η² = 0.25임.
• Tukey HSD 사후분석 결과, Group A와 Group C 사이에서 유의미한 차이가 확인됨.
• 비모수 검정도 수행함.
• Kruskal–Wallis test 결과, 집단 간 차이가 유의함.
  • test statistic = 12.29
  • p = 0.002
• Mann–Whitney U test와 Bonferroni correction 결과, Group A와 Group C 사이에서 유의미한 차이가 나타남.
  • corrected p = 0.008

13. RQ1 결과

• 동일한 페르소나라도 질문 방식에 따라 LLM 응답의 위험 선호도가 달라짐.
• 특히 위험 감수 의향을 암시한 질문과 원금 손실 회피를 강조한 질문 사이에서 차이가 나타남.
• 이는 LLM이 사용자의 질문 표현에 내재된 투자 성향을 반영하거나 강화할 수 있음을 의미함.
• 논문은 이를 LLM의 sycophancy problem과 연결함.
• 즉, LLM이 사용자의 기존 태도에 맞춰 조언하면서 투자 편향을 강화할 수 있다는 것임.

14. 사회 시뮬레이션 설정

• RQ2를 위해 자산 형성과 인출에 대한 사회 시뮬레이션을 수행함.
• 시뮬레이션은 저자들의 기존 연구를 기반으로 함.
• 각 페르소나는 특정 시점의 금융자산을 보유함.
• 금융자산은 현금·예금과 위험자산으로 구성됨.
• 페르소나는 은퇴 전후 상태에 따라 정기 수입과 지출을 경험함.
• 위험자산은 전통적 자산 포트폴리오에 투자된다고 가정함.
• 정기 수입과 지출은 물가상승률에 따라 조정됨.
• 포트폴리오 위험·수익률, 물가상승률, 변동성은 외생 변수로 주어짐.
• Monte Carlo simulation으로 시계열 데이터를 생성함.
• 최종적으로 특정 연령에서의 자산 고갈률을 계산함.

15. Persona #1 시뮬레이션 결과

• Persona #1은 65~69세, 금융자산 1,000만~1,500만 엔, 위험자산 0%, 상속 예정 없음으로 설정됨.
• 정기 수입, 지출, 물가상승률은 일본 거시경제 통계를 참고해 설정됨.
• 기존 위험자산 비중을 유지할 경우 자산 고갈률은 다음과 같음.
  • 90세: 0%
  • 100세: 100%
• 즉, 90세까지는 자산 고갈 가능성이 없지만, 100세까지 보면 모든 시뮬레이션 경로에서 자산이 고갈되는 것으로 나타남.

16. 민감도 분석

• 연구진은 위험자산 비중을 20%p 증가시키는 민감도 분석을 수행함.
• 이는 LLM 조언에 따라 위험자산을 늘리는 상황을 가정한 것임.
• Persona #1의 위험자산 비중을 0%에서 20%로 높이면 자산 고갈률은 다음과 같이 변함.
  • 90세: 0%
  • 100세: 44%
• 즉, 100세 기준 자산 고갈률이 100%에서 44%로 낮아짐.
• 논문은 이를 인플레이션 헤지 효과로 해석함.

17. 페르소나별 민감도 분석 결과

• Persona #1
  • 기존: 90세 0%, 100세 100%
  • 위험자산 +20%p 후: 90세 0%, 100세 44%
• Persona #2
  • 기존: 90세 0%, 100세 0%
  • 위험자산 +20%p 후: 90세 0%, 100세 0%
• Persona #3
  • 기존: 90세 100%, 100세 100%
  • 위험자산 +20%p 후: 90세 90%, 100세 96%
• Persona #4
  • 기존: 90세 0%, 100세 3%
  • 위험자산 +20%p 후: 90세 0%, 100세 3%
• Persona #5
  • 기존: 90세 100%, 100세 100%
  • 위험자산 +20%p 후: 90세 33%, 100세 61%

18. RQ2 결과

• 위험자산 비중 변화는 미래 자산 고갈률에 영향을 줄 수 있음.
• 특히 중간 수준 자산을 보유하면서 위험자산 비중이 낮은 집단에서 효과가 크게 나타남.
• Persona #1과 #5는 위험자산 비중을 높일 경우 자산 고갈 확률이 크게 낮아짐.
• 두 집단은 전체 구성비의 약 23%를 차지함.
• 반면 고자산 집단이나 저자산 집단에서는 효과가 제한적임.
• Persona #2와 #4는 기존에도 자산 고갈률이 낮아 변화가 거의 없음.
• Persona #3은 자산 수준이 낮아 위험자산을 늘려도 고갈률 개선이 제한적임.

19. 연구의 핵심 해석

• LLM은 질문에 포함된 사용자의 위험 선호 표현에 따라 다른 수준의 위험 선호 조언을 제공함.
• 이 조언이 실제 자산배분 변화로 이어지면 장기 자산 고갈 위험이 바뀔 수 있음.
• 흥미로운 점은 위험자산 확대가 항상 나쁜 것은 아니라는 점임.
• 일부 중간자산·무위험자산 보유 집단에서는 위험자산 확대가 인플레이션 헤지 역할을 하여 자산 고갈 위험을 낮출 수 있음.
• 그러나 논문은 반대 가능성도 지적함.
• 이미 위험자산 비중이 높은 사람이 LLM 조언에 따라 더 공격적으로 투자하면, 오히려 불필요한 위험을 늘리고 자산 고갈 위험을 높일 수 있음.
• 따라서 LLM 금융 조언의 문제는 “위험자산 추천 자체”가 아니라, 사용자 편향을 충분히 교정하지 못한 채 강화할 수 있다는 점임.

20. 연구 시사점

• LLM 금융 상담은 질문 방식에 민감함.
• 사용자가 어떤 위험 선호 표현을 쓰는지에 따라 모델의 조언 방향이 달라질 수 있음.
• 따라서 LLM 금융 조언은 단순한 정보 제공 도구가 아니라, 장기 가계 재무 위험에 영향을 줄 수 있는 의사결정 개입으로 봐야 함.
• 금융 상담용 LLM은 사용자의 표현을 그대로 따라가기보다, 객관적인 위험 감내도와 재무 상태를 기준으로 조언해야 함.
• 은퇴 설계에서는 단기 투자 성향보다 장기 자산 고갈 확률을 함께 제시하는 방식이 필요함.
• LLM 응답 평가도 단순한 추천 내용 분석을 넘어, 실제 자산배분과 생애주기 시뮬레이션 결과까지 연결할 필요가 있음.

21. 연구 한계

• 실험은 단일 demonstration 성격이 강함.
• LLM 상담 실험은 Persona #1을 중심으로 수행됨.
• 다른 페르소나에 대해 동일한 방식의 LLM 상담 실험이 충분히 반복되지는 않음.
• LLM 응답의 위험 선호도 점수화도 LLM을 이용했기 때문에 평가 편향 가능성이 있음.
• 위험자산 비중을 단순히 +20%p 증가시키는 방식으로 민감도 분석을 수행함.
• 실제 투자에서는 상품 구성, 수수료, 세금, 시장 급락, 행동 변화, 인출 전략 등이 더 복잡하게 작용함.
• 연구진도 이미 위험자산 비중이 높은 사람이 추가로 위험자산을 늘릴 경우 오히려 자산 고갈 위험이 커질 수 있다고 언급함.
• 따라서 모든 사람에게 위험자산 확대가 바람직하다는 결론으로 해석하면 안 됨.

22. 결론

• 이 논문은 LLM의 투자 조언 편향이 장기 가계 재무 위험으로 연결될 수 있음을 정량적으로 보이려는 연구임.
• 동일한 페르소나라도 질문 방식에 따라 LLM 응답의 위험 선호도가 유의미하게 달라짐.
• 이러한 차이는 LLM의 sycophancy problem, 즉 사용자 성향에 맞춰주는 경향과 관련됨.
• LLM 응답을 자산배분 변화로 연결해 사회 시뮬레이션을 수행한 결과, 위험자산 비중 변화는 은퇴 후 자산 고갈률에 영향을 줄 수 있음.
• 특히 중간 수준 자산을 보유하고 위험자산 비중이 낮은 집단에서는 위험자산 확대가 자산 고갈 위험을 낮출 수 있음.
• 그러나 이는 단일 실증 예시이며, 이미 높은 위험자산 비중을 가진 집단에서는 반대 효과가 나타날 가능성도 있음.
• 결론적으로, LLM 금융 조언을 평가할 때는 응답의 편향뿐 아니라 그 조언이 실제 생애주기 자산 경로에 미치는 장기 효과까지 함께 분석해야 함.