매력도 모델이 거꾸로 맞은 달: 데이터를 솔직하게 들여다보면

숫자가 불편할 때일수록 정면으로 봐야 한다

지난 30일 봇 측정에서 가장 눈에 띈 건 매력도 모델의 순위 역전이었다. 14일 선행 수익률(forward return)을 decile별로 쪼개면, 통상적인 기대와 정반대 구조가 나타난다. 매력도 상위 10%(90~100 구간) 400건의 평균 수익률은 -0.13%, 바로 아래 80~90 구간 3,326건은 -0.80%, 70~80 구간 6,658건은 -1.02%다. 상위권일수록 수익이 낮고, 오히려 손실이 발생했다.

반면 중하위권에서 수익이 나왔다. 50~60 구간 9,553건은 평균 +2.74%, 40~50 구간 7,832건은 +1.97%, 30~40 구간 642건은 +2.92%다. 극단적으로는 20~30 구간 15건이 평균 +7.77%를 기록했다. 건수가 15건으로 통계적 신뢰도가 낮아 이 수치를 곧이곧대로 읽으면 안 되지만, 방향성 자체는 전체 패턴과 일치한다.

요약하면, 이번 측정 구간에서 모델은 높은 점수를 준 종목군이 저조한 성과를 낸 반면 중간 점수 종목군이 오히려 시장 대비 양호했다. 역순위(inverted ranking) 구조다.

왜 이런 일이 생겼을까

내가 보기엔 두 가지 후보가 있다.

첫째, 시장 레짐(regime) 문제다. 지난 30일 regime 분포를 보면 위험선호(risk-on) 구간이 30일, 횡보(chop) 1일로, 사실상 한 달 내내 위험선호 장세가 이어졌다. 위험선호 국면에서는 저평가·저품질 종목들이 고평가·고품질 종목보다 더 가파르게 반등하는 경향이 있다. 모델이 밸류에이션 안전마진이나 재무 품질에 가중치를 높게 두는 구조라면, 위험선호 랠리 국면에서 상위 종목군이 상대적으로 뒤처지는 건 이론적으로 설명 가능하다.

둘째, 구간별 건수 불균형이다. 상위 90~100 구간은 400건인데 50~60 구간은 9,553건이다. 표본 크기가 24배 차이 난다. 상위 구간의 평균값은 소수 종목의 움직임에 민감하게 흔들릴 수밖에 없다. 구간별 분산(standard deviation)이나 중앙값(median) 데이터가 없는 상태에서 평균만으로 단정하긴 이르다.

두 가지 가능성 모두 유효하고, 지금으로선 어느 쪽이 더 지배적인지 확인할 방법이 없다. 이건 솔직히 인정해야 한다.

저널 sentiment 정확도도 같은 방향을 가리킨다

매력도 decile 패턴만 이상한 게 아니다. 저널 감성(sentiment) 분석 정확도를 보면 7일 기준 20건 중 11건이 맞아 55%, 14일 기준 13건 중 5건이 맞아 38%다. 14일 기준 정확도는 무작위 추측(50%) 이하로 떨어졌고, 같은 기간 평균 수익률도 -3.8%다. 7일에서 14일로 기간이 늘어나면서 정확도가 의미 있게 하락했다.

이 두 데이터는 같은 이야기를 하고 있다고 본다. 단기(7일) 신호는 어느 정도 살아 있지만, 14일 이상 중기 예측에서 모델 전반의 신뢰도가 떨어진다는 것. 이번 한 달이 특수한 위험선호 장세였다는 맥락을 고려하면, 모델이 이 국면에 최적화되지 않았을 가능성이 있다.

다음에 봐야 할 것들

이번 측정 결과를 보고 당장 모델 가중치를 뜯어고치고 싶은 충동이 생길 수 있다. 그런데 한 달 데이터로 구조적 결론을 내리는 건 성급하다. 특히 전체 30일이 위험선호 구간으로 집중된 비정상적 환경이었다는 점을 고려하면, 정상 분포의 레짐 데이터가 누적된 뒤에 재평가하는 게 맞다.

내가 확인하고 싶은 건 세 가지다. 상위 decile 종목들의 섹터 분포가 어떻게 되는지, 위험선호 구간과 횡보·위험회피 구간에서 decile별 성과 패턴이 다른지, 그리고 14일 sentiment 정확도 하락이 이번 달만의 현상인지 추세적 악화인지다.

scout 활동에서는 자동 발굴(auto-promote)이 0건이었다. 30건 전부 애널리스트가 수동으로 추가했다. GAM, DUOT, XBP, BZUN, GRAB, ADC, CROX 같은 종목들이 포함됐는데, 자동 발굴이 멈춘 이유가 스크리닝 조건 때문인지 시장 환경 때문인지는 따로 살펴볼 필요가 있다. 지금 당장 판단 내릴 데이터는 아직 부족하다.