BERT와 GPT는 금융 애널리스트 보고서에서 더 많은 가치를 추출하는가?

https://www.semanticscholar.org/paper/LLMs-Analyzing-the-Analysts%3A-Do-BERT-and-GPT-More-Kim-Kim/4889f7913db6b632e5685271ec4b11b38c7573e9

 

1. 연구 개요

• 연구 연도: 2023년
• 게재처: ICAIF ’23, ACM International Conference on AI in Finance
• 연구 목적: 한국 증권사 애널리스트 리포트에서 LLM이 투자에 유용한 감성 정보를 추출할 수 있는지 분석
• 핵심 주장: GPT-3.5와 KR-FinBERT 등 LLM은 애널리스트 리포트의 숨은 감성 정보를 포착할 수 있으며, 이를 활용한 포트폴리오 전략은 단순 애널리스트 투자의견이나 시장 벤치마크보다 높은 성과를 낼 수 있음.

2. 연구 배경

• 금융시장에는 뉴스, 공시, 리포트 등 비정형 텍스트 데이터가 빠르게 증가하고 있음.
• 기존 금융 분석은 주가, 재무제표, 목표주가, 투자의견 등 정량 데이터 중심으로 이루어지는 경우가 많았음.
• 그러나 애널리스트 리포트에는 숫자로 드러나지 않는 정성적 정보가 포함됨.
• 예를 들어 기업 전망, 산업 흐름, 리스크 요인, 완곡한 부정 표현, 시장 분위기 등이 리포트 본문에 담김.
• 문제는 이러한 텍스트 정보가 복잡하고, 금융 용어가 많으며, 한국어 특유의 표현까지 포함하고 있어 전통적 NLP 기법만으로 해석하기 어렵다는 점임.
• 이에 따라 BERT, GPT 등 LLM을 활용하면 애널리스트 리포트에서 더 정교한 감성 정보를 추출할 수 있는지 검증할 필요가 있음.

3. 문제의식

• 기존 연구는 애널리스트의 목표주가, 투자의견, 추천 등급 등 명시적 정보에 주로 집중했음.
• 하지만 애널리스트 리포트의 본문 텍스트에 담긴 정성적 정보는 상대적으로 충분히 활용되지 못했음.
• 특히 한국 애널리스트 리포트는 매수 의견 편향이 강함.
• 대부분의 리포트가 ‘매수’ 또는 ‘강력 매수’에 가까운 의견을 제시하기 때문에, 단순 투자의견만으로는 종목 간 차이를 구분하기 어려움.
• 따라서 리포트의 숫자 점수보다 본문에 담긴 미묘한 감성, 우려, 긍정 신호를 분석하는 것이 중요함.
• 논문은 LLM이 이러한 숨은 정보를 추출해 실제 투자전략에 활용할 수 있는지 검증함.

4. 분석 대상 데이터

• 분석 대상은 한국 증권사 애널리스트 리포트임.
• 데이터 기간은 2016년 1월 4일부터 2023년 2월 28일까지임.
• 전체 리포트 수는 16,706개임.
• 총 21개 증권사의 리포트를 활용함.
• 리포트는 단일 종목에 대한 분석 보고서이며, 목표주가, 재무지표, 그래프, 텍스트 등을 포함함.
• 리포트 원본은 PDF 형식이었고, 텍스트 파일로 변환해 분석에 사용함.
• 분석 대상 종목은 KOSPI와 KOSDAQ 상장 종목임.
• 월평균 약 194개의 리포트가 발간됨.
• 월별 분석 종목 수는 평균 122개 수준임.

5. 분석 대상 모델

• 연구에 사용된 모델은 3개임.
• KoBERT
  • 한국어에 특화된 BERT 모델임.
  • 다만 일반 한국어 데이터 기반 모델이므로 금융 도메인 특화는 약함.
• KR-FinBERT
  • 한국어와 금융 도메인에 특화된 BERT 계열 모델임.
  • 한국 금융 뉴스와 애널리스트 리포트 등으로 추가 학습됨.
  • 한국 금융 텍스트의 미묘한 표현을 포착하는 데 유리함.
• GPT-3.5
  • 범용 대형언어모델임.
  • 다국어 처리가 가능하고, 긴 문맥을 문서 단위로 이해할 수 있음.
  • 리포트 전체의 분위기와 종합적 감성을 파악하는 데 활용됨.

6. 분석 방식

• 연구진은 애널리스트 리포트에서 두 종류의 점수를 추출함.
• 첫째, 애널리스트가 직접 제시한 투자의견 점수임.
• 둘째, LLM이 리포트 본문을 분석해 추출한 감성 점수임.
• 애널리스트 투자의견은 1~5점으로 변환함.
  • 1점: 매도
  • 2점: 중립
  • 3점: 보유
  • 4점: 매수
  • 5점: 강력 매수
• 문장 단위 모델인 KoBERT와 KR-FinBERT는 각 문장의 긍정·부정 감성을 추출한 뒤 평균 점수를 계산함.
• GPT-3.5는 문서 전체 단위로 리포트 감성을 분석함.
• 이후 이 점수들을 활용해 월별 포트폴리오를 구성함.

7. 포트폴리오 구성 방식

• 포트폴리오는 크게 두 가지 방식으로 구성됨.
• 첫째, 점수 기반 포트폴리오임.
  • 해당 월의 감성 점수 또는 애널리스트 점수가 높은 종목을 매수함.
  • 즉, “현재 평가가 좋은 종목”을 고르는 방식임.
• 둘째, 점수 변화 기반 포트폴리오임.
  • 전월 대비 점수가 개선된 종목을 매수함.
  • 즉, “평가가 좋아지고 있는 종목”을 고르는 방식임.
• 투자 방식은 다시 두 가지로 구분됨.
• Long-only 전략
  • 점수가 높은 종목만 매수함.
• Long-short 전략
  • 점수가 높은 종목은 매수함.
  • 점수가 낮은 종목은 공매도함.
• 포트폴리오는 월 단위로 리밸런싱함.
• 거래비용은 기본 실험에서는 고려하지 않음.

8. 주요 결과

① LLM 기반 전략은 대체로 시장 벤치마크를 상회함

• 논문은 KOSPI와 KOSPI 200 동일가중지수를 벤치마크로 사용함.
• LLM이 추출한 감성 점수를 활용한 전략은 상당수 실험에서 벤치마크보다 높은 성과를 기록함.
• 이는 애널리스트 리포트 본문에 투자에 활용 가능한 추가 정보가 존재함을 시사함.

② 단순 점수 기반 전략에서는 GPT-3.5 성과가 우수함

• 점수 기반 Long-only 전략에서 GPT-3.5가 가장 높은 성과를 보임.
• GPT-3.5의 연환산 수익률은 11.44%임.
• KR-FinBERT의 연환산 수익률은 10.38%임.
• KoBERT의 연환산 수익률은 8.40%임.
• 애널리스트 점수 기반 전략의 연환산 수익률은 7.31%임.
• 즉, 단순 애널리스트 투자의견보다 LLM 감성 점수를 활용한 전략이 더 나은 성과를 보임.

③ 점수 변화 기반 전략에서 성과가 크게 개선됨

• 가장 중요한 결과는 점수의 절대 수준보다 점수 변화가 더 유용했다는 점임.
• 점수 변화 기반 Long-only 전략에서 GPT-3.5는 연환산 수익률 37.87%를 기록함.
• KR-FinBERT는 33.03%를 기록함.
• KoBERT는 17.61%를 기록함.
• 애널리스트 점수 변화 기반 전략은 7.52%에 그침.
• 이는 “좋은 평가를 받은 종목”보다 “평가가 개선되는 종목”이 투자전략상 더 중요할 수 있음을 보여줌.

④ Long-short 전략에서는 KR-FinBERT가 가장 강함

• 점수 변화 기반 Long-short 전략에서 KR-FinBERT가 가장 높은 성과를 보임.
• KR-FinBERT의 연환산 수익률은 60.13%임.
• 샤프비율은 2.5487임.
• 최대낙폭은 -15.01%임.
• 이는 전체 실험 중 가장 우수한 성과임.
• 논문은 KR-FinBERT가 한국 애널리스트 리포트의 완곡한 부정 표현을 잘 포착했기 때문으로 해석함.

⑤ KoBERT는 상대적으로 낮은 성과를 보임

• KoBERT는 한국어 모델이지만 금융 도메인 특화가 부족함.
• 따라서 한국어 자체를 이해하는 것만으로는 금융 리포트의 미묘한 표현을 충분히 해석하기 어려움.
• 금융 텍스트 분석에서는 언어 특화뿐 아니라 도메인 특화가 중요함.

9. 모델별 해석

• GPT-3.5는 긴 문맥을 종합적으로 이해하는 데 강점이 있음.
• 이에 따라 리포트 전체의 긍정적 분위기나 성장 스토리를 포착하는 데 유리함.
• 그래서 Long-only 전략에서 강한 성과를 보임.
• KR-FinBERT는 한국어 금융 도메인에 특화되어 있음.
• 한국 애널리스트 리포트는 직접적인 부정 표현보다 완곡한 표현을 사용하는 경우가 많음.
• KR-FinBERT는 이러한 미묘한 부정 신호를 상대적으로 잘 포착함.
• 그래서 Long-short 전략, 특히 나쁜 종목을 걸러내거나 숏 포지션을 잡는 전략에서 강점을 보임.
• KoBERT는 일반 한국어 모델이기 때문에 금융 문맥 이해에서는 한계가 있음.

10. 추가 분석: 코로나19 초기 구간

• 논문은 코로나19 초기 구간에 대한 추가 분석도 수행함.
• 대상 업종은 항공, 호텔·리조트, 여행사임.
• 이 업종들은 코로나19 초기 충격을 크게 받은 산업임.
• 연구진은 각 모델이 해당 업종의 부정 감성을 얼마나 잘 포착하는지 비교함.
• KR-FinBERT는 피해 업종의 부정 감성을 비교적 일관되게 포착함.
• GPT-3.5도 일부 업종에서 강한 부정 신호를 잡았으나, 점수 변동성이 상대적으로 크게 나타남.
• KoBERT는 전반적으로 부정 감성 포착 능력이 약하게 나타남.

11. 연구 시사점

• 애널리스트 리포트의 핵심 정보는 투자의견이나 목표주가에만 있는 것이 아님.
• 리포트 본문에 담긴 정성적 표현도 투자에 유용한 정보를 포함함.
• LLM은 이 텍스트 정보를 구조화된 감성 점수로 변환할 수 있음.
• 특히 한국 리포트처럼 매수 의견 편향이 강한 환경에서는 본문 감성 분석이 더 중요할 수 있음.
• 투자전략 측면에서는 점수의 절대 수준보다 점수 변화가 더 강력한 신호가 될 수 있음.
• 금융 도메인에서는 범용 LLM과 금융 특화 모델을 함께 고려할 필요가 있음.

12. 연구 한계

• 기본 실험에서는 거래비용을 반영하지 않음.
• 실제 투자에서는 수수료, 슬리피지, 세금, 공매도 제약 등이 존재함.
• 따라서 논문상 성과가 실제 운용 성과로 그대로 이어진다고 보기는 어려움.
• KR-FinBERT는 일부 학습 데이터 기간이 실험 기간과 겹칠 가능성이 있어 데이터 누수 우려가 있음.
• 연구진은 추가 실험을 통해 큰 차이가 없었다고 설명하지만, 현실 적용 시에는 주의가 필요함.
• 분석 대상은 한국 애널리스트 리포트에 한정됨.
• 다른 국가, 다른 언어, 다른 리포트 문화에서도 같은 결과가 나오는지는 추가 검증이 필요함.

13. 결론

• LLM은 한국 애널리스트 리포트에서 투자에 유용한 감성 정보를 추출할 수 있음.
• 단순 애널리스트 투자의견보다 리포트 본문 감성 분석이 더 큰 투자 정보를 제공할 수 있음.
• 특히 감성 점수의 변화는 강력한 투자 신호로 작동함.
• GPT-3.5는 긴 문맥 이해를 바탕으로 Long-only 전략에서 우수한 성과를 보임.
• KR-FinBERT는 한국어 금융 표현에 특화되어 Long-short 전략에서 가장 강한 성과를 보임.
• 결론적으로, 애널리스트 리포트 분석에서 LLM은 단순 요약 도구를 넘어 투자 신호 추출 도구로 활용될 가능성이 있음.