계량분석의 신뢰성에 대한 이야기

요약

• 계량분석에 대한 세간의 비판은 잘못된 오해가 많다.
• 계량 투자자는 스스로의 약점을 알고 있으나, 그 때문에 유용한 모델을 버리지는 않는다.
• 퀀트의 신뢰성을 확보하기 위해서는 견고성, 객관성, 좋은 측정치가 중요
• 모델이 안 먹힌다고 해서 모델을 포기하는 것은 잘못된 일

계량분석(이하 퀀트)를 공부하다 보니, 여러가지 반응들을 접하고는 한다.

대표적인 반응으로는 퀀트에 대한 불신을 들 수 있다.

필자가 투자자들과 퀀트에 관한 이야기를 하면 ‘퀀트가 과연 믿을만 하냐’는 이야기를 자주 듣는다.

주로 나오는 쟁점은 아래와 같다.
 
 
 
- 투자는 숫자놀음이 아닌데, 정성적인 관점을 너무 배제하는 것 아닌가?

- 과거의 데이터로 만든 모델이 미래에도 효력을 발휘할 것이라 장담할 수 있는가?

- 08년 금융위기때 퀀트들이 대부분 무너져 내리며, 퀀트의 실패를 증명하지 않았나?

- 결국 대다수의 투자자들이 그 모델을 쓰면 효과가 없어지지 않는가?

- 그렇게 장점이 많으면 왜 너도 나도 그 모델을 쓰지 않는것인가?
 
 
그리하여, 이번 글은 퀀트 모델의 신뢰에 대한 문제를 집중적으로 다뤄보고자 한다.

필자도 전문적인 제도권 퀀트가 아닌 관계로 지식이 대단히 빈약하나, 이 주제에 대해서 최대한 아는 범위 내에서 설명 해보고자 한다. 
 
필자는 이 자료가 투자자들의 퀀트에 대한 인식을 조금이나마 변화시키는 계기가 되었으면 한다.
 
 
 
 
1. 퀀트가 안정적인 수익률을 낼 수 있는가?
 
이 부분에 대해서는 대조적인 두 개의 사례, 즉 대표적인 성공사례와 대표적인 실패사례를 같이 살펴보며 이야기를 풀어나가려 한다.
 
대표적인 성공사례로는 제임스 사이먼스의 <르네상스 테크놀로지>를 들 수 있다. 사이먼스는 MIT와 UC 버클리에서 수학을 전공하고, 하버드에서 수학 교수를 했던 사람이다. 88년 출시한 메달리온 펀드의 수익률은 연 평균 30%대로, 일반적인 헤지펀드의 수수료가 2-20을 따르는 반면 메달리온의 수수료 체계는 5-44를 따른다. 전체 자금의 5%, 초과수익의 44%라는 이야기다. 그럼에도 불구하고 어마어마한 수익률을 좇아 너도나도 돈을 맡기고 있다. 주식시장의 특이한 패턴을 찾아 거기에 베팅하는 플레이를 한다. 또 하나의 성공사례로는 퀀트의 대부라 불리는 에드워드 소프 박사를 들 수 있다. 소프가 세운 펀드는 29년간 연 평균 20%의 수익률을 달성한 바 있다.
 
 
반면 실패사례로는 그 유명한 LTCM을 들 수 있다. ‘천재들의 실패’로 잘 알려진 이 롱텀캐피탈매니지먼트(Long-Term Capital Management : LTCM)은 퀀트를 비난할 때 단골로 나오는 이름이다. 노벨 경제학상 수상자인 마이런 숄즈와 로버트 머튼 교수가 참여한 투자회사로써, 첫 해인 94년에 28%의 수익률을 올렸고 그 다음 해에는 59%, 그 다음 해에는 57%의 수익률을 올려 사람들을 경악에 빠뜨렸다. 그러나 러시아 채권이 모라토리엄을 선언하면서 46억달러의 손실을 보았다. 단 5주만에 투자금액의 80%를 날린 것이다. 결국 FRB가 36.5억 달러의 구제금융을 투입함으로써 최악의 사태를 막은 것으로 이 사건은 끝이 난다.
 
 
이 두 사례를 보면서 무엇을 느낄 수 있는가? 제임스 사이먼스의 사례를 보면 마이더스의 손처럼 보이기도 하고, LTCM의 사례를 보면 그저 숫자놀음에 불과해 보일 뿐만 아니라 자칫하면 재앙을 불러올 수 있다는 느낌도 들 것이다. 일본의 그 유명한 로봇 ‘마징가’와 같다. 마징가는 악마(魔)건 신(神)이건 자신(我)이 원하는 대로 될 수 있는 힘을 가졌다는 의미에서 마징가(魔神我)라는 이름이 붙었다. 퀀트도 그렇다. 쓰는 사람에 따라 어마어마한 알파를 낳을 수도, 리먼 사태와 같은 대 재앙을 낳을수도 있다. 이는 전적으로 사용자의 역량에 따라 달렸다는 게 필자의 생각이다.
 
 
그렇다면 시몬스 같은 퀀트들은 왜 오랫동안 안정적인 성과를 낼 수 있을까?

작년 발간된 한국투자증권 안혁 연구원이 저서 [프로야구 명감독이 주식투자를 한다면]에서 밝힌 의견으로는,

투자자들이 겪게 되는 부정적인 심리 요인들을 상당부분 제거할 수 있기 때문이라고 한다.

이러한 요인들은 다음과 같다.
 

2. 퀀트에 대한 주요한 비판 점검

 
 
과거가 그 역사적 기록으로 정확히 설명되지 않으며, 
과거수익률로 미래의 수익 예상 분포를 얻는 것은 부정확하다.

니콜라스 탈레브

사람들은 퀀트를 ‘도로의 방향을 예상한답시고 백미러를 보면서 고속도로에서 차를 모는’ 집단으로 비유하여 비판하고는 한다. 
조만간 도로 전방에 커브 길이 나타나면, 차는 전복될 것이라는 것이다.
 
다시 말해, 주가 전망 등을 하겠답시고 과거 데이터를 끌어서 미래를 전망하는 퀀트들은 요즘처럼 미래 경제상황이 신속하게 바뀌는 때에는 전혀 소용이 없다는 뜻이다.
 
 
이 비유는 다음과 같은 전제를 깔고 있다.
 
 

 
 
이 주장의 문제는, 기업의 미래는 도로 전방처럼 투명하게 보이지 않는다는 것이다. 
외부의 분석가뿐만 아니라, 기업의 경영자조차도 기업의 미래를 장담할 수 없는 것이 현실이다.
 
 

퀀트들은 정규분포를 가정하고 모델을 만드는 경향이 있는데, 시장은 정규분포를 따르지 않는다.
그래서 Fat-tail의 영역으로 접어들면 허약한 정규분포 모델은 설명력을 잃고, 끔찍한 재앙을 초래하게 된다.
 
 
이 또한 퀀트와 리스크 매니저를 비난하는 주요한 논리다. 정규분포는 미래 분포를 나타내는 것이 아니라 모집단에서 구성요소들을 선정하는 것을 나타내고 있어, 아직 일어나지 않은 미래의 사건은 당연히 들어있지 않다. 미래를 예측하기 위해 이런 통계자료를 사용할 때, 우리는 일상적인 사건을 변경시키는 극단적인 사건(Black swan)은 발생하지 않을 것이라고 가정하고 있다. 이 가정 때문에 퀀트가 비난받는데, 퀀트는 블랙 스완이 발견될 수 있다는 것을 알고는 있지만, 그렇다고 해서 유용한 모델을 버리지는 않는다. 극히 발생할 가능성이 미미한 사건 때문에, 95%의 상황을 설명할 수 있으며 예측할 수 있는 원인을 제공하는 유용한 모델을 버리는 것이 과연 합리적인 일일까? 스티븐 그라이너는 <정량분석>에서 이렇게 이야기하고 있다.
 
 

 
일반적으로 퀀트들은 사건에 영향을 강하게 주는 주요 요소를 알려고 하는 것이지, 모든 요소를 알려고 하는 것은 아니다. 그렇기 때문에 퀀트가 시장의 폭락에 책임이 있지 않다고 주장할 수 있는 근거는 두 가지가 있다. 
 
먼저, 퀀트는 블랙 스완을 예측할 수 있다고 주장하지 않으며, 그것을 예측하려고 하지도 않는다. 그리고 퀀트가 그런 사건들을 예측할 수 있더라도, 퀀트가 그 사건의 원인은 아니다. 또한, 퀀트만이 그런 사건들을 예측하지 못하는 것이 아니라, 어떤 시장 참여자들도 계속해서 블랙스완을 예언하여 맞춰내진 못한다. 물론 그렇다고 해서 블랙 스완을 너무 과소평가 하는 잘못에도 비판하지 않아야 한다는 말은 아니다. 다만, 너무 지나치게 퀀트가 비난받고 불신받는 경향이 있다는 이야기이다.
 
 
 
 
3. 퀀트 모델의 신뢰성을 확보하기 위해서는….
사람들은 퀀트 모델을 신뢰하지 않는데, 이는 사후해석 편향(Hindsight Bias)이라고 생각하기 때문이다. 쉽게 말하자면, “에이 뭐 지난 이야기가지고 끼워 맞추는 거지. 차트랑 다를게 뭐야?” 라는 생각이다. 시중 레포트에 나오는 퀀트 모델들은 백 테스팅을 하는 동안에는 잘 먹히는 듯하지만, 실제로 시간이 지나보면 전혀 맞지 않는 경우가 태반이라는 비아냥도 같이 섞여나온다. 이런 문제를 어떻게 해결해야 할까? 모델의 견고성, 객관성, 좋은 측정치. 이 세 요소가 중요하다고 생각한다.
 
 
 
 
- 견고성
변수가 조금 달라지거나, 환경이 약간 달라져도 설명력이 급격하게 떨어지는 현상 없이 유용하게 굴러가는 모델을 견고(Robust)하다고 말한다. 자. 잘 만들어 놓은 퀀트 모델이 있다. 그런데 이 모델을 투자자들에게 보여줬더니 사후 해석 편향이 아니냐는 이야기를 한다고 가정해 보자. 그렇다면, 이 모델에 대한 견고성을 테스트해 보아야 할 것이다. 이럴 때는 대개 어떤 방법을 쓸까?
 
 
 

 
- 객관성
“내가 좋은 재무와 경제 감각에 근거하여 가정을 했는가?”
“내가 이 요소를 사용하는데 정말로 객관적인 태도를 가지고 있는가?”
데이터 스누핑 등과 같은 문제와 연관되어 있다. 모델을 만들고 나니까 정작 수익률이 안 나와서, 다른 요소를 더하고 빼는 과정을 반복하다 보니 수익률이나 위험/수익 지표 등이 잘 나올 수 있다. 이런 행위는 이 요건과 배치되는 것이다. 어떠한 퀀트 모델의 전략을 말로 풀어서 설명했을 때, 투자자들이 납득할 수 있는 건전한 재무/경제 상식에 근거하여 모델을 만들어야 하지 않을까 생각한다.
 
 
 
- 측정치
퀀트 접근법, 모델 구성과 방법의 알고리즘을 통해 계산한 측정치에서 신뢰를 얻을 수 있다. 여러 통계기법을 배워 모델의 신뢰도를 얻고 모델의 위험성을 피할 필요가 있다.
모델의 최상위, 중간, 최하위 십분위수 시계열로부터의 수익률의 표준편차, 중앙값, 평균, Hit ratio, IR, IC 등을 시점을 달리하여 계산해 볼 필요가 있다. 또한 시장의 환경을 다양하게 설정하여 각 환경 별로 모델이 어떻게 작동하는 지를 조사해 보아야 한다. 손익분포도를 그려보는 것도 좋은 방법이다.
 
 
 
 
4. 퀀트 모델의 유용성이 훌륭하다면, 왜 다들 퀀트를 사용하지 않는가?
퀀트 모델이 제대로 작동하지 않는 때가 있기 때문에, 퀀트 모델을 그대로 따르는 것을 지속해내기가 어려운 것이다. 예를 들어보자. 정성적 분석을 통해 종목발굴을 하는 투자자라면, 수익이 제대로 나지 않을 때에는 이런 생각을 할 것이다. ‘내가 종목을 제대로 고르지 못했구나. 다음부터는 더 신경써야겠다.’ 그러나 퀀트 모델이 수익이 나지 않는다면 이렇게 생각한다. ‘모델에 문제가 있는 것 아냐? 테스팅을 좀 더 해봤어야 하나?’
 
 
이 주제에 대해서 리처드 번스타인은 <Navigate The Noise>에서 다음과 같은 사례를 들고 있다.
 

 
 
이 사례가 의문을 완벽히 해결해 주리라 생각한다. 장담하건대, 2분기만 수익률이 좋지 않아도 모델을 포기하기 쉬울 것이다. 이는 퀀트만의 문제가 아니다. 95~99년, 가치투자자들이 지옥의 밑바닥에 있던 시기에 얼마나 많은 투자자들이 가치투자를 포기했던가? 이는 투자자라면 누구나 겪어야 하는 숙명과 같은 일이다. 굳이 퀀트만의 문제가 아니라고 생각한다.
 
 
 
 
5. 모델이 안 먹히는 것 같은데 어떻게 해야 하나?
 
 
어떤 퀀트 모델대로 운용을 하는데, 그 과정에서 언더퍼폼하는 기간이 있기 마련이다. 만일 투자자가 전략의 결점에 대해 매우 잘 이해하고 있고 모델이 충분한 검증을 거쳤다면, 전략의 성과가 떨어질 때 가장 먼저 할 일은 무엇일까?
 
 
1) 과거의 전략이 안 먹히던 시점의 경제 상황과 지금의 상황이 유사한가?
예를 들어, 가치주를 사는 전략은 경기후퇴국면에 성과가 좋지 않은 경향이 있다. 저PER 기반의 퀀트 전략을 사용하는 투자자라면, 불황기에 언더퍼폼 하는 것이 정상이라는거다. 과거 경제상황이 전략의 나쁜 성과를 설명할 수 있다면, 단기적인 수익률이 나빠도 전략의 사용을 지속해야 한다.
 
 
2) 모델이 문제일까, 내가 문제일까?
전체적으로 전략이 잘 작동하지만, 투자자가 모델에서 나온 최선호 종목 목록에서 주식을 잘 선정하지 못했을 수도 있다. 모델에 의해 추천 된 전체 종목 묶음을 통째로 매수했다 해도, 나쁜 주식을 선정할 가능성도 꽤 있다.
전략의 실패가 아니라 나쁜 주식선정이 범인인지 여부를 시험하는 것은 간단하다. 전략의 전체 포트폴리오 성과와 선정된 종목들의 성과를 비교해 보자. 만약 선정된 주식들이 전략의 전체 포트폴리오 대비 초과수익을 올렸다면, 투자자는 실제로 좋은 종목을 선정했으며 기본적으로 전략이 제공할 수 있는 것 이상으로 성과가 개선된 것이다. 그러나 전체 포트폴리오대비 선정된 주식들의 성과가 떨어진다면, 투자자는 전략의 기본 성과에 비해 떨어지는 것을 선정한 것이다. 후자의 경우는 투자자의 문제다.
 
 
참조문헌
프로야구 명감독이 주식투자를 한다면, 안혁, 매일경제신문사, 2014
정량분석, 스티븐 그라이너 저, 이광희 역, 국일증권경제연구소, 2012
메트릭 스튜디오, 문병로 저, 2014
Navigate The Noise, 리처드 번스타인, 2001

이상민  의 다른 글 보기 >>