대규모 언어모델을 활용한 금융 감성분석에서 기업별 편향 평가

 

Evaluating Company-specific Biases in Financial Sentiment Analysis using Large Language Models

1. 연구 개요

• 연구 연도: 2024년
• 게재처: 2024 IEEE International Conference on Big Data (BigData)
• 연구 목적: LLM이 금융 텍스트 감성 분석을 수행할 때 특정 기업명에 의해 감성 점수가 달라지는지, 즉 기업별 편향(company-specific bias)이 존재하는지 분석
• 핵심 주장: LLM은 같은 금융 문장이라도 기업명이 포함되면 감성 점수를 다르게 부여할 수 있으며, 이러한 기업별 감성 편향은 투자자 행동과 주가 형성에 영향을 줄 가능성이 있음.

2. 연구 배경

• 금융 텍스트 마이닝은 투자 의사결정, 경기 흐름 파악, 금융기관 업무 효율화에 활용되고 있음.
• 분석 대상은 재무제표, 애널리스트 리포트, 뉴스 기사, 소셜미디어, 공시 자료 등임.
• 특히 감성 분석은 투자자 심리와 시장 흐름을 이해하는 데 중요한 도구로 사용됨.
• 최근에는 LLM을 활용하면 기존 사전 기반 또는 머신러닝 기반 감성 분석보다 더 정교한 판단이 가능할 것이라는 기대가 커짐.
• 그러나 금융 의사결정은 실제 자산 손실과 시장 왜곡으로 이어질 수 있기 때문에, LLM의 정확성뿐 아니라 신뢰성과 편향 여부가 중요함.

3. 문제의식

• 기존 LLM 편향 연구는 주로 성별, 인종, 정치 성향, 문화적 편향 등에 집중했음.
• 반면 특정 기업명에 대한 LLM의 선입견이 금융 감성 분석 결과를 왜곡하는지는 충분히 연구되지 않았음.
• LLM은 대규모 학습 데이터에서 기업 관련 뉴스, 평판, 과거 성과, 사회적 인식을 학습했을 가능성이 있음.
• 이 경우 같은 문장이라도 “어느 기업의 문장인가”에 따라 감성 점수가 달라질 수 있음.
• 예를 들어 유명 우량기업은 더 긍정적으로 평가되고, 부정적 이미지가 강한 기업은 더 부정적으로 평가될 가능성이 있음.
• 이러한 편향이 투자 알고리즘이나 리스크 관리 시스템에 반영되면 특정 기업의 주가가 과대 또는 과소평가될 수 있음.

4. 핵심 개념: Company-specific Bias

• Company-specific Bias는 기업명이 LLM의 감성 평가에 미치는 영향을 의미함.
• 연구진은 동일한 금융 성과 문장을 두 가지 방식으로 LLM에 제시함.

첫째, 기업명을 제외한 프롬프트임.
둘째, 기업명을 포함한 프롬프트임.

• 두 응답의 감성 점수 차이를 기업별 편향으로 정의함.
• 수식은 다음과 같음.

β = 기업명 포함 점수 - 기업명 제외 점수

• β가 양수이면 해당 기업명이 포함될 때 감성 점수가 더 긍정적으로 바뀐다는 의미임.
• β가 음수이면 해당 기업명이 포함될 때 감성 점수가 더 부정적으로 바뀐다는 의미임.
• 즉, 문장 내용 자체가 아니라 기업명 때문에 감성 판단이 달라지는 현상을 측정한 것임.

5. 연구 질문

• RQ1: LLM의 금융 감성 분석에서 기업별 편향이 실제로 발견되는가.
• RQ2: 편향이 발생하는 기업들은 어떤 특성을 갖는가.
• RQ3: 기업별 감성 편향은 이후 주가 성과와 관련이 있는가.

6. 연구 방법

• 일본 상장기업의 실적 공시 텍스트를 활용함.
• 동일한 금융 성과 문장에 대해 기업명을 포함한 경우와 제외한 경우를 비교함.
• LLM에게 문장의 감성을 1점부터 5점까지 평가하도록 요청함.
• 1점은 부정적, 5점은 긍정적 평가를 의미함.
• 기업명 포함 여부에 따라 점수가 달라지는지를 측정함.
• 이후 편향이 있는 기업들의 특성을 MSCI Barra Japan Equity Model의 20개 요인으로 분석함.
• 마지막으로 편향이 이후 주가 성과와 관련되는지 이벤트 스터디 방식으로 검증함.

7. 분석 대상 데이터

• 분석 대상은 일본 기업의 결산 실적 요약 자료임.
• 구체적으로 일본 도쿄증권거래소 TDnet에 공시된 Summary of Financial Results를 사용함.
• 데이터 기간은 2019년 1월부터 2023년 12월까지임.
• 대상 기업은 도쿄증권거래소 상장기업임.
• 분석 문장은 기업 실적, 특히 손익계산서와 관련된 성과 설명 문장임.
• 예시로 닛산자동차의 2024년 3월기 실적 설명 문장이 제시됨.

8. 분석 대상 모델

• 연구에 사용된 LLM은 총 7개임.
• GPT-4o
  • OpenAI가 2024년 5월 공개한 모델임.
  • 본 연구에서는 텍스트 기능만 사용함.
• GPT-3.5-turbo
  • OpenAI의 대화형 LLM임.
  • 효율적인 처리와 대화 능력이 특징임.
• Gemini-1.5-pro-001
  • Google Gemini 계열의 고성능 모델임.
• Gemini-1.5-flash-001
  • Gemini 계열의 경량 모델임.
  • 빠른 응답과 낮은 계산 비용에 최적화됨.
• Claude-3.5-Sonnet
  • Anthropic의 Claude 3.5 계열 모델임.
• Claude-3-Haiku
  • Claude 계열의 경량 모델임.
• Qwen2-7B
  • 로컬 실행 가능한 7B급 모델임.
  • 일본 금융 벤치마크에서 성능이 좋아 비교 대상으로 사용됨.

9. 주요 결과 ①: 기업별 편향 존재 확인

• 모든 모델에서 일정 수준의 기업별 편향이 확인됨.
• 기업명을 넣었을 때와 넣지 않았을 때 감성 점수가 달라지는 사례가 존재함.
• 각 LLM은 약 10~20%의 사례에서 0이 아닌 편향 값을 보임.
• 즉, 동일한 금융 성과 문장이라도 기업명이 들어가면 LLM의 평가가 바뀔 수 있음.
• 이는 LLM이 문장 자체의 정보뿐 아니라 해당 기업에 대한 사전 지식이나 평판을 감성 판단에 반영할 수 있음을 의미함.

10. 주요 결과 ②: 모델 성능과 편향 차이

• 고성능 모델일수록 편향이 상대적으로 작게 나타나는 경향이 있음.
• GPT-4o, Gemini-1.5-pro, Claude-3.5-Sonnet 등은 0 편향 비중이 높고, 편향 분포도 상대적으로 좁게 나타남.
• 반면 일부 경량 모델이나 로컬 모델은 편향 분포가 더 넓게 나타남.
• Qwen2-7B는 유효한 감성 점수를 반환하지 못한 사례도 상대적으로 많음.
• 이는 모델 성능이 높을수록 기업명에 끌려가지 않고 문장 자체를 더 안정적으로 평가할 가능성이 있음을 시사함.

11. 주요 결과 ③: 편향 기업의 특성

• 연구진은 기업별 편향이 어떤 기업 특성과 연결되는지 분석함.
• 이를 위해 MSCI Barra Japan Equity Model의 20개 노출 요인을 사용함.
• 요인에는 규모, 모멘텀, 가치, 유동성, 변동성, 성장성, 수익성, 이익 품질 등이 포함됨.
• GPT-3.5 기준으로 보면, 긍정 편향 기업과 부정 편향 기업 사이에서 일부 특성 차이가 나타남.
• GPT-3.5는 상대적으로 소형주에 대해 기업명을 포함했을 때 부정적으로 평가하는 경향을 보임.
• 또한 최근 주가 모멘텀이 낮은 기업, 가치주 성격이 강한 기업에 대해서는 특정한 편향 패턴이 나타남.
• 모델별로 선호하거나 불리하게 평가하는 기업 특성은 서로 다름.
• 예를 들어 Qwen2-7B는 규모 요인에서 양의 스프레드가 크게 나타나 대형주에 우호적인 경향을 보임.
• 반대로 GPT-3.5는 규모 요인에서 음의 스프레드를 보여 소형주에 불리한 평가 경향을 보임.

12. 주요 결과 ④: 주가 성과와의 관계

• 연구진은 기업별 편향이 이후 주가 성과와 관련되는지 이벤트 스터디로 분석함.
• 기준 사건은 실적 요약 자료 공시일임.
• 공시 이후 1일, 10일, 30일, 60일 누적초과수익률(CAR)을 계산함.
• 기대수익률은 Fama-French 5요인 모델로 추정함.
• 분석 결과, 편향의 주가 영향은 모델에 따라 다르게 나타남.
• GPT-3.5-turbo의 경우 긍정 편향 기업과 부정 편향 기업의 60일 CAR 차이가 +1.40%로 나타났고, 통계적으로 유의함.
• Claude-3-Haiku도 60일 기준 +1.89%의 양의 차이를 보임.
• Qwen2-7B는 60일 기준 +3.68%의 큰 차이를 보임.
• 반면 Gemini-1.5-flash와 Claude-3.5-Sonnet은 음의 스프레드를 보이기도 함.
• 따라서 기업별 편향은 주가에 긍정적 또는 부정적 영향을 모두 줄 수 있으며, 방향은 모델에 따라 달라질 수 있음.

13. 이론 모형

• 논문은 편향이 시장 가격에 미치는 영향을 설명하기 위해 경제 모형도 제시함.
• 시장에는 두 종류의 투자자가 있다고 가정함.

첫째, 편향이 없는 투자자임.
둘째, LLM 감성 편향에 영향을 받는 투자자임.

• 편향 투자자가 많아질수록 LLM의 기업별 감성 편향이 투자 판단에 더 강하게 반영됨.
• 이 경우 특정 기업에 대한 낙관 또는 비관이 주가에 직접 반영될 수 있음.
• 즉, LLM 기반 투자 비중이 커질수록 감성 편향이 가격 형성 왜곡으로 이어질 가능성이 있음.

14. 시사점

• LLM의 금융 감성 분석은 단순히 문장 내용을 읽는 과정이 아님.
• 기업명이라는 고유명사가 모델의 기존 지식과 결합해 감성 점수를 바꿀 수 있음.
• 이는 투자 리서치, 알고리즘 트레이딩, 리스크 관리, 공시 분석 시스템에서 중요한 문제임.
• 특히 LLM 기반 투자 판단이 널리 사용되면 특정 기업에 대한 기존 평판이 강화되는 피드백 루프가 발생할 수 있음.
• 좋은 평판을 가진 기업은 더 긍정적으로 평가되고, 나쁜 평판을 가진 기업은 더 부정적으로 평가될 수 있음.
• 이 과정이 반복되면 시장 가격이 기업의 실제 펀더멘털보다 LLM의 사전 인식에 의해 왜곡될 위험이 있음.

15. 연구 한계

• 분석 대상이 일본 주식시장과 일본어 금융 공시에 한정됨.
• 북미, 유럽, 아시아 다른 시장에서도 같은 결과가 나타나는지는 추가 검증이 필요함.
• 일본어와 영어 등 언어별로 편향이 다르게 나타날 가능성도 있음.
• 분석 모델은 7개로 제한됨.
• 실제 투자 환경에서는 투자자들이 LLM 출력을 어떤 방식으로 활용하는지에 따라 시장 영향이 달라질 수 있음.
• 이론 모형은 편향의 시장 영향을 설명하는 단순화된 구조이므로 실제 시장의 모든 복잡성을 반영하지는 못함.

16. 결론

• LLM은 금융 텍스트 감성 분석에서 기업별 편향을 보일 수 있음.
• 같은 문장이라도 기업명이 포함되면 감성 점수가 달라지는 사례가 확인됨.
• 기업별 편향은 기업 규모, 가치, 모멘텀 등 기업 특성과 관련될 수 있음.
• 일부 모델에서는 이러한 편향이 이후 주가 성과와도 관련되는 것으로 나타남.
• LLM을 금융 감성 분석이나 투자 의사결정에 활용할 경우, 기업명에 따른 편향을 반드시 점검해야 함.
• 결론적으로, LLM은 금융 분석 도구로 유용하지만 기업 평판이나 사전 지식에 의해 판단이 왜곡될 수 있으므로 편향 진단과 보정 절차가 필요함.