FinCon: 향상된 금융 의사결정을 위한 개념적 언어 강화 기반 합성 LLM 멀티에이전트 시스템

FinCon: A Synthesized LLM Multi-Agent System with Conceptual Verbal Reinforcement for Enhanced Financial Decision Making

1. 연구 개요

• 연구 연도: 2024년
• 게재처: NeurIPS 2024
• 연구 목적: 금융 의사결정에서 LLM 기반 멀티에이전트 시스템이 단일 주식 거래와 포트폴리오 관리 과제를 효과적으로 수행할 수 있는지 검증
• 핵심 주장: FINCON은 매니저-애널리스트 계층 구조와 이중 리스크 통제 장치를 결합해 기존 LLM 에이전트 및 강화학습 기반 거래 모델보다 높은 수익률과 위험조정 성과를 달성함.

2. 연구 배경

• 금융시장은 변동성이 크고, 의사결정에 필요한 정보가 다양함.
• 주식 거래와 포트폴리오 관리는 단발성 판단이 아니라 연속적 의사결정 문제임.
• 투자 판단에는 주가 데이터, 뉴스, 공시, 애널리스트 리포트, 실적발표 음성 등 여러 정보원이 동시에 필요함.
• 기존 강화학습 기반 거래 시스템은 수치 데이터 중심으로 작동하는 경우가 많음.
• 최근 LLM은 추론, 계획, 도구 사용, 의사결정에서 강점을 보이며 금융 업무에도 적용되고 있음.
• 그러나 금융 의사결정에서는 단순히 정보를 많이 읽는 것보다, 정보를 역할별로 나누어 해석하고 리스크를 통제하는 구조가 중요함.

3. 문제의식

• 기존 LLM 금융 에이전트는 주로 단일 에이전트 구조에 의존함.
• 단일 에이전트는 뉴스, 공시, 가격 데이터, 리포트 등 다양한 정보를 한 번에 처리해야 하므로 부담이 큼.
• 이 경우 정보 처리 품질이 떨어지고, 문맥 길이 제한으로 중요한 정보가 누락될 수 있음.
• 기존 멀티에이전트 방식은 에이전트 간 토론을 많이 사용해 의사소통 비용이 커지는 문제가 있음.
• 또한 기존 시스템은 단일 주식 거래에 집중하는 경우가 많아 포트폴리오 관리로 확장하기 어려움.
• 단기 시장 변동에만 반응하면 장기 리스크 관리가 부족해질 수 있음.
• 이에 따라 금융회사 조직처럼 역할을 나누고, 리스크 통제를 포함한 멀티에이전트 구조가 필요함.

4. FINCON 개념

• FINCON은 금융 의사결정을 위한 LLM 기반 멀티에이전트 시스템임.
• 이름은 FINancial decision-making과 CONceptual verbal reinforcement를 결합한 개념임.
• 실제 투자회사 조직을 모방해 매니저-애널리스트 계층 구조를 사용함.
• 애널리스트 에이전트는 각자 특정 정보원을 분석함.
• 매니저 에이전트는 애널리스트들의 분석 결과를 종합해 최종 투자 결정을 내림.
• 리스크 통제 컴포넌트는 단기 위험과 장기 투자 신념을 함께 관리함.

5. 시스템 구조

• FINCON은 크게 두 구성요소로 이루어짐.
• 첫째, Manager-Analyst Agent Group임.
• 둘째, Risk-Control Component임.
• 애널리스트 에이전트는 시장 정보를 기능별로 나누어 처리함.
• 매니저 에이전트는 각 애널리스트의 결과를 통합해 매수, 매도, 보유 결정을 수행함.
• 포트폴리오 관리에서는 개별 종목 방향성을 정한 뒤, 평균-분산 최적화로 비중을 결정함.
• 이 구조는 불필요한 에이전트 간 토론을 줄이고, 정보 처리 효율을 높이는 것을 목표로 함.

6. 애널리스트 에이전트 역할

• FINCON은 여러 유형의 애널리스트 에이전트를 사용함.
• 뉴스 에이전트는 일별 금융 뉴스에서 투자 신호를 추출함.
• 공시 에이전트는 Form 10-Q, Form 10-K 등 기업 공시를 분석함.
• 애널리스트 리포트 에이전트는 외부 리서치 보고서의 투자 의견을 요약함.
• ECC 에이전트는 실적발표 컨퍼런스콜 음성 데이터를 분석함.
• 데이터 에이전트는 주가, 거래량, 모멘텀 등 수치 데이터를 처리함.
• 종목 선택 에이전트는 포트폴리오 후보군을 구성함.
• 각 에이전트는 하나의 정보원에 집중해 시장 잡음을 줄이고 핵심 투자 정보를 추출함.

7. 매니저 에이전트 역할

• 매니저 에이전트는 최종 의사결정자임.
• 애널리스트 에이전트가 제공한 투자 인사이트를 종합함.
• 리스크 통제 컴포넌트에서 제공하는 위험 경고를 반영함.
• 이전 투자 결정의 결과를 돌아보며 자기반성을 수행함.
• 단일 주식 거래에서는 매수, 매도, 보유 중 하나를 선택함.
• 포트폴리오 관리에서는 각 종목별 매수, 매도, 보유 방향을 정하고 비중을 산출함.

8. 이중 리스크 통제 구조

• FINCON의 핵심은 이중 리스크 통제 장치임.

첫째, Within-Episode Risk Control임.
둘째, Over-Episode Risk Control임.

• Within-Episode Risk Control은 한 거래 에피소드 안에서 일별 시장 위험을 감시함.
• 이때 CVaR를 사용해 최근 손실 위험을 측정함.
• CVaR가 급락하면 매니저 에이전트가 당일 보수적 투자 태도를 취하도록 유도함.
• Over-Episode Risk Control은 여러 에피소드 간 성과를 비교하며 투자 신념을 업데이트함.
• 수익을 낸 행동과 손실을 낸 행동을 비교해, 어떤 정보 관점이 유효했는지 개념화함.

9. Conceptual Verbal Reinforcement

• 논문은 Conceptual Verbal Reinforcement, 즉 CVRF를 제안함.
• CVRF는 수익성과 손실 경험을 자연어 형태의 투자 신념으로 정리하는 방식임.
• 기존 강화학습처럼 숫자 파라미터를 직접 업데이트하는 것이 아님.
• 대신 “어떤 정보에 더 주목해야 하는가”, “어떤 신호를 조심해야 하는가”를 문장 형태로 갱신함.
• 갱신된 투자 신념은 매니저 에이전트의 프롬프트에 반영됨.
• 필요한 경우 관련 애널리스트 에이전트에게만 선택적으로 전달됨.
• 이를 통해 전체 에이전트 간 불필요한 의사소통을 줄임.

10. 분석 데이터

• 실험은 실제 금융시장 데이터를 사용함.
• 데이터 기간은 2022년 1월 3일부터 2023년 6월 10일까지임.
• 학습 기간은 2022년 1월 3일부터 2022년 10월 4일까지임.
• 테스트 기간은 2022년 10월 5일부터 2023년 6월 10일까지임.
• 사용 데이터는 주가, 일별 금융 뉴스, Form 10-Q, Form 10-K, 애널리스트 리포트, 실적발표 컨퍼런스콜 음성 등임.
• 뉴스는 Reuters 기반 Refinitiv Real-Time News를 활용함.
• 주가 데이터는 Yahoo Finance를 사용함.
• 공시 자료는 SEC EDGAR 기반 자료를 사용함.
• 애널리스트 리포트는 Zacks Equity Research를 사용함.

11. 비교 대상 모델

• 단일 주식 거래에서는 여러 기존 모델과 비교함.
• 비교 대상은 Buy-and-Hold 전략임.
• 강화학습 기반 모델로 A2C, PPO, DQN을 사용함.
• LLM 기반 에이전트로 Generative Agent, FinGPT, FinMem, FinAgent를 사용함.
• 포트폴리오 관리에서는 Markowitz 평균-분산 포트폴리오, FinRL-A2C, 동일가중 ETF 전략과 비교함.
• 모든 LLM 기반 에이전트는 GPT-4-Turbo를 기반 모델로 사용함.

12. 평가 지표

• 성과 평가는 세 가지 지표를 사용함.

첫째, 누적수익률(CR)
둘째, 샤프비율(SR)
셋째, 최대낙폭(MDD)

• 누적수익률은 투자전략의 전체 수익 성과를 평가함.
• 샤프비율은 위험 대비 수익률을 평가함.
• 최대낙폭은 전략이 경험한 가장 큰 손실 폭을 의미함.
• 논문은 누적수익률과 샤프비율을 핵심 지표로 보고, 최대낙폭은 보조 위험 지표로 사용함.

13. 주요 결과 ①: 단일 주식 거래

• FINCON은 8개 종목 단일 주식 거래에서 대부분 최고 성과를 기록함.
• 분석 종목은 TSLA, AMZN, NIO, MSFT, AAPL, GOOG, NFLX, COIN임.
• TSLA 거래에서 FINCON은 누적수익률 82.871%, 샤프비율 1.972를 기록함.
• AMZN 거래에서 FINCON은 누적수익률 24.848%, 샤프비율 0.904를 기록함.
• MSFT 거래에서 FINCON은 누적수익률 31.625%, 샤프비율 1.538을 기록함.
• NFLX 거래에서 FINCON은 누적수익률 69.239%, 샤프비율 2.370을 기록함.
• COIN 거래에서 FINCON은 누적수익률 57.045%, 샤프비율 0.825를 기록함.
• 특히 COIN은 상장 기간이 짧아 강화학습 모델 학습이 어려웠으나, FINCON은 다양한 텍스트·멀티모달 정보를 활용해 우수한 성과를 보임.

14. 주요 결과 ②: 시장 상황별 강건성

• FINCON은 상승장, 하락장, 혼합장 모두에서 비교 모델보다 안정적 성과를 보임.
• GOOG, MSFT처럼 비교적 상승 흐름이 있는 종목에서도 우수한 성과를 보임.
• NIO처럼 하락장이 강한 종목에서도 손실을 회피하고 양의 수익률을 달성함.
• TSLA처럼 변동성이 큰 종목에서도 높은 누적수익률을 기록함.
• 이는 FINCON이 단순 감성 분석에 의존하지 않고, 다양한 정보원을 종합하며 위험을 통제했기 때문으로 해석됨.

15. 주요 결과 ③: 포트폴리오 관리

• FINCON은 포트폴리오 관리 과제에서도 기존 전략을 상회함.
• Portfolio 1은 TSLA, MSFT, PFE로 구성됨.
• Portfolio 2는 AMZN, GM, LLY로 구성됨.
• Portfolio 1에서 FINCON은 누적수익률 113.836%, 샤프비율 3.269, 최대낙폭 16.163%를 기록함.
• 같은 포트폴리오에서 Markowitz MV는 누적수익률 12.636%, FinRL-A2C는 19.461%, 동일가중 ETF는 9.344%에 그침.
• Portfolio 2에서도 FINCON은 누적수익률 32.922%, 샤프비율 1.371을 기록하며 비교 전략을 상회함.
• 이는 LLM 기반 멀티에이전트 구조가 단일 주식 거래뿐 아니라 다자산 포트폴리오에도 확장 가능함을 보여줌.

16. 주요 결과 ④: CVaR 리스크 통제 효과

• 논문은 CVaR 기반 리스크 통제 장치의 효과를 검증하기 위해 제거 실험을 수행함.
• GOOG 거래에서 CVaR를 사용한 FINCON은 누적수익률 25.077%를 기록함.
• CVaR를 제거한 경우 누적수익률은 -1.461%로 하락함.
• NIO 거래에서 CVaR 사용 시 누적수익률은 17.461%임.
• CVaR를 제거하면 누적수익률은 -52.887%로 크게 악화됨.
• Portfolio 1에서는 CVaR 사용 시 누적수익률 113.836%를 기록함.
• CVaR 제거 시 누적수익률은 14.699%에 그침.
• 이는 단기 시장 위험 감시가 투자 성과와 손실 방어에 매우 중요함을 보여줌.

17. 주요 결과 ⑤: 투자 신념 업데이트 효과

• Over-Episode Risk Control의 효과도 제거 실험으로 검증함.
• GOOG 거래에서 투자 신념 업데이트를 사용한 FINCON은 누적수익률 25.077%를 기록함.
• 신념 업데이트를 제거하면 누적수익률은 -11.944%로 하락함.
• NIO 거래에서 신념 업데이트 사용 시 누적수익률은 17.461%임.
• 제거 시 누적수익률은 8.197%로 낮아짐.
• Portfolio 1에서는 신념 업데이트 사용 시 누적수익률 113.836%, 샤프비율 3.269를 기록함.
• 제거 시 누적수익률은 28.432%, 샤프비율은 1.181에 그침.
• 이는 에피소드 단위의 자기반성과 투자 신념 갱신이 FINCON 성과의 핵심 요소임을 보여줌.

18. 기존 모델 대비 장점

• FINCON은 단일 에이전트가 모든 정보를 처리하지 않음.
• 정보원을 역할별 에이전트에게 분산해 처리 부담을 줄임.
• 매니저 에이전트는 정제된 투자 인사이트만 받아 최종 판단을 수행함.
• 이는 문맥 길이 제한과 정보 과부하 문제를 완화함.
• 기존 멀티에이전트 토론 방식과 달리, 불필요한 상호 토론을 줄여 의사소통 비용을 낮춤.
• 리스크 통제 장치를 통해 단기 손실 위험과 장기 투자 신념을 동시에 관리함.
• 포트폴리오 관리까지 확장 가능하다는 점에서 기존 LLM 거래 에이전트보다 적용 범위가 넓음.

19. 연구 한계

• 포트폴리오 관리 실험은 비교적 작은 포트폴리오에 한정됨.
• 대규모 포트폴리오로 확장할 경우 입력 길이와 정보 복잡성이 크게 증가할 수 있음.
• 멀티자산 의사결정에서는 LLM 환각 문제가 더 자주 발생할 수 있음.
• 실제로 논문은 FINCON이 때때로 존재하지 않는 메모리 이벤트 인덱스를 생성할 수 있다고 언급함.
• 모든 LLM 기반 실험은 GPT-4-Turbo를 기반으로 수행되어, 다른 기반 모델에서도 같은 성과가 나오는지는 추가 검증이 필요함.
• 거래비용, 시장충격, 유동성 제약 등 현실 운용 조건이 충분히 반영되었는지는 제한적임.

20. 결론

• FINCON은 금융 의사결정을 위한 LLM 기반 멀티에이전트 프레임워크임.
• 매니저-애널리스트 계층 구조를 통해 다양한 금융 정보를 효율적으로 종합함.
• CVaR 기반 단기 리스크 통제와 CVRF 기반 장기 투자 신념 업데이트를 결합함.
• 단일 주식 거래와 포트폴리오 관리 모두에서 기존 LLM 에이전트 및 강화학습 모델보다 우수한 성과를 보임.
• 특히 역할 분담, 정보 증류, 리스크 통제, 자기반성을 결합한 구조가 성과 개선의 핵심임.
• 결론적으로, FINCON은 LLM 에이전트를 단순 투자 조언 도구가 아니라 실제 금융 의사결정 시스템으로 확장할 가능성을 보여줌.