Thumb

이상민

계량분석을 통한 투자전략 제시

계량분석의 신뢰성에 대한 이야기

2015/05/29 01:53PM

요약

계량분석(이하 퀀트)를 공부하다 보니, 여러가지 반응들을 접하고는 한다.

대표적인 반응으로는 퀀트에 대한 불신을 들 수 있다.

필자가 투자자들과 퀀트에 관한 이야기를 하면 ‘퀀트가 과연 믿을만 하냐’는 이야기를 자주 듣는다.

주로 나오는 쟁점은 아래와 같다.
 
 
 
- 투자는 숫자놀음이 아닌데, 정성적인 관점을 너무 배제하는 것 아닌가?


- 과거의 데이터로 만든 모델이 미래에도 효력을 발휘할 것이라 장담할 수 있는가?


- 08년 금융위기때 퀀트들이 대부분 무너져 내리며, 퀀트의 실패를 증명하지 않았나?


- 결국 대다수의 투자자들이 그 모델을 쓰면 효과가 없어지지 않는가?


- 그렇게 장점이 많으면 왜 너도 나도 그 모델을 쓰지 않는것인가?
 
 
그리하여, 이번 글은 퀀트 모델의 신뢰에 대한 문제를 집중적으로 다뤄보고자 한다.

필자도 전문적인 제도권 퀀트가 아닌 관계로 지식이 대단히 빈약하나, 이 주제에 대해서 최대한 아는 범위 내에서 설명 해보고자 한다. 
 
필자는 이 자료가 투자자들의 퀀트에 대한 인식을 조금이나마 변화시키는 계기가 되었으면 한다.
 
 
 
 
1. 퀀트가 안정적인 수익률을 낼 수 있는가?
 
이 부분에 대해서는 대조적인 두 개의 사례, 즉 대표적인 성공사례와 대표적인 실패사례를 같이 살펴보며 이야기를 풀어나가려 한다.
 
대표적인 성공사례로는 제임스 사이먼스의 <르네상스 테크놀로지>를 들 수 있다. 사이먼스는 MIT와 UC 버클리에서 수학을 전공하고, 하버드에서 수학 교수를 했던 사람이다. 88년 출시한 메달리온 펀드의 수익률은 연 평균 30%대로, 일반적인 헤지펀드의 수수료가 2-20을 따르는 반면 메달리온의 수수료 체계는 5-44를 따른다. 전체 자금의 5%, 초과수익의 44%라는 이야기다. 그럼에도 불구하고 어마어마한 수익률을 좇아 너도나도 돈을 맡기고 있다. 주식시장의 특이한 패턴을 찾아 거기에 베팅하는 플레이를 한다. 또 하나의 성공사례로는 퀀트의 대부라 불리는 에드워드 소프 박사를 들 수 있다. 소프가 세운 펀드는 29년간 연 평균 20%의 수익률을 달성한 바 있다.
 
 
반면 실패사례로는 그 유명한 LTCM을 들 수 있다. ‘천재들의 실패’로 잘 알려진 이 롱텀캐피탈매니지먼트(Long-Term Capital Management : LTCM)은 퀀트를 비난할 때 단골로 나오는 이름이다. 노벨 경제학상 수상자인 마이런 숄즈와 로버트 머튼 교수가 참여한 투자회사로써, 첫 해인 94년에 28%의 수익률을 올렸고 그 다음 해에는 59%, 그 다음 해에는 57%의 수익률을 올려 사람들을 경악에 빠뜨렸다. 그러나 러시아 채권이 모라토리엄을 선언하면서 46억달러의 손실을 보았다. 단 5주만에 투자금액의 80%를 날린 것이다. 결국 FRB가 36.5억 달러의 구제금융을 투입함으로써 최악의 사태를 막은 것으로 이 사건은 끝이 난다.
 
 
이 두 사례를 보면서 무엇을 느낄 수 있는가? 제임스 사이먼스의 사례를 보면 마이더스의 손처럼 보이기도 하고, LTCM의 사례를 보면 그저 숫자놀음에 불과해 보일 뿐만 아니라 자칫하면 재앙을 불러올 수 있다는 느낌도 들 것이다. 일본의 그 유명한 로봇 ‘마징가’와 같다. 마징가는 악마(魔)건 신(神)이건 자신(我)이 원하는 대로 될 수 있는 힘을 가졌다는 의미에서 마징가(魔神我)라는 이름이 붙었다. 퀀트도 그렇다. 쓰는 사람에 따라 어마어마한 알파를 낳을 수도, 리먼 사태와 같은 대 재앙을 낳을수도 있다. 이는 전적으로 사용자의 역량에 따라 달렸다는 게 필자의 생각이다.
 
 
그렇다면 시몬스 같은 퀀트들은 왜 오랫동안 안정적인 성과를 낼 수 있을까?

작년 발간된 한국투자증권 안혁 연구원이 저서 [프로야구 명감독이 주식투자를 한다면]에서 밝힌 의견으로는,

투자자들이 겪게 되는 부정적인 심리 요인들을 상당부분 제거할 수 있기 때문이라고 한다.

이러한 요인들은 다음과 같다.
 

 

- 대표성 편향 (Representative Bias)
‘이미 많이 떨어졌는 주식이기 때문에 더 올라갈 것이다.’
 
- 닻 내리기 오류 (Anchoring Trap)
‘이 회사는 과거 66만의 주가를 기록했던 기업이야. 19만원이라는 가격은 말도 안되지. 66만원까지 기다려야겠어.’
 
- 현상 유지 편향(Status quo bias)
‘이 기법은 옛날 옛적부터 사용되었던 전통적인 방법론인데 이걸 버리라는 것은 말도 안된다.’
 
- 과도한 자신감(Overconfidence Trap)
‘연 평균 55% 수익률이라니 역시 나는 천재야. 레버리지를 4배로 늘려야겠어.’

 

 

2. 퀀트에 대한 주요한 비판 점검


 
 
과거가 그 역사적 기록으로 정확히 설명되지 않으며, 
과거수익률로 미래의 수익 예상 분포를 얻는 것은 부정확하다.

니콜라스 탈레브

 

 

사람들은 퀀트를 ‘도로의 방향을 예상한답시고 백미러를 보면서 고속도로에서 차를 모는’ 집단으로 비유하여 비판하고는 한다. 
조만간 도로 전방에 커브 길이 나타나면, 차는 전복될 것이라는 것이다.
 
다시 말해, 주가 전망 등을 하겠답시고 과거 데이터를 끌어서 미래를 전망하는 퀀트들은 요즘처럼 미래 경제상황이 신속하게 바뀌는 때에는 전혀 소용이 없다는 뜻이다.
 
 
이 비유는 다음과 같은 전제를 깔고 있다.
 
 

▶ 퀀트와 달리 기본적 분석을 하는 투자자들은 전면 유리를 통해 미래를 볼 수 있다.

 
 
이 주장의 문제는, 기업의 미래는 도로 전방처럼 투명하게 보이지 않는다는 것이다. 
외부의 분석가뿐만 아니라, 기업의 경영자조차도 기업의 미래를 장담할 수 없는 것이 현실이다.
 
 

▶ 통계적 기법보다 자신의 생각이 더 정확한 예술이라 믿는 것은 분명한 근거가 없다.
    애초에 기본적 분석을 통해 운용한 펀드들 대다수의 수익률이 형편없었기에,
    인덱스펀드가 나왔다는 것을 떠올려보자.
▶ 그런 논리라면 과거 역사에서 얻은 교훈은 모두 버려야 할텐데, 과거의 역사 없이는 통찰도 존재할 수 없다.
▶ 저런 비판을 하는 투자자들이 이익추정치를 사용하는 것도 모순이다.
▶ 애초에 우리가 쓸 수 있는 데이터는 과거의 데이터밖에 없다.
    또한, 미래의 확률은 과거의 확률을 기반으로 할 수 밖에 없다.

 

 

퀀트들은 정규분포를 가정하고 모델을 만드는 경향이 있는데, 시장은 정규분포를 따르지 않는다.
그래서 Fat-tail의 영역으로 접어들면 허약한 정규분포 모델은 설명력을 잃고, 끔찍한 재앙을 초래하게 된다.
 
 
이 또한 퀀트와 리스크 매니저를 비난하는 주요한 논리다. 정규분포는 미래 분포를 나타내는 것이 아니라 모집단에서 구성요소들을 선정하는 것을 나타내고 있어, 아직 일어나지 않은 미래의 사건은 당연히 들어있지 않다. 미래를 예측하기 위해 이런 통계자료를 사용할 때, 우리는 일상적인 사건을 변경시키는 극단적인 사건(Black swan)은 발생하지 않을 것이라고 가정하고 있다. 이 가정 때문에 퀀트가 비난받는데, 퀀트는 블랙 스완이 발견될 수 있다는 것을 알고는 있지만, 그렇다고 해서 유용한 모델을 버리지는 않는다. 극히 발생할 가능성이 미미한 사건 때문에, 95%의 상황을 설명할 수 있으며 예측할 수 있는 원인을 제공하는 유용한 모델을 버리는 것이 과연 합리적인 일일까? 스티븐 그라이너는 <정량분석>에서 이렇게 이야기하고 있다.
 
 

우리는 안전벨트가 교통사고에서 우리를 보호해주기 때문에 그것을 맨다.
그런데, 40톤의 견인 트레일러가 시속 100km로 정면충돌하는 것과 같은 극단적인 사건이 발생하면
안전벨트는 별다른 안전성을 제공하지 못할 것이다.
견인 트레일러의 충돌이라는 우연한 가능성 때문에 안전벨트를 매지 않을 것인가?


 
일반적으로 퀀트들은 사건에 영향을 강하게 주는 주요 요소를 알려고 하는 것이지, 모든 요소를 알려고 하는 것은 아니다. 그렇기 때문에 퀀트가 시장의 폭락에 책임이 있지 않다고 주장할 수 있는 근거는 두 가지가 있다. 
 
먼저, 퀀트는 블랙 스완을 예측할 수 있다고 주장하지 않으며, 그것을 예측하려고 하지도 않는다. 그리고 퀀트가 그런 사건들을 예측할 수 있더라도, 퀀트가 그 사건의 원인은 아니다. 또한, 퀀트만이 그런 사건들을 예측하지 못하는 것이 아니라, 어떤 시장 참여자들도 계속해서 블랙스완을 예언하여 맞춰내진 못한다. 물론 그렇다고 해서 블랙 스완을 너무 과소평가 하는 잘못에도 비판하지 않아야 한다는 말은 아니다. 다만, 너무 지나치게 퀀트가 비난받고 불신받는 경향이 있다는 이야기이다.
 
 
 
 
3. 퀀트 모델의 신뢰성을 확보하기 위해서는….
사람들은 퀀트 모델을 신뢰하지 않는데, 이는 사후해석 편향(Hindsight Bias)이라고 생각하기 때문이다. 쉽게 말하자면, “에이 뭐 지난 이야기가지고 끼워 맞추는 거지. 차트랑 다를게 뭐야?” 라는 생각이다. 시중 레포트에 나오는 퀀트 모델들은 백 테스팅을 하는 동안에는 잘 먹히는 듯하지만, 실제로 시간이 지나보면 전혀 맞지 않는 경우가 태반이라는 비아냥도 같이 섞여나온다. 이런 문제를 어떻게 해결해야 할까? 모델의 견고성, 객관성, 좋은 측정치. 이 세 요소가 중요하다고 생각한다.
 
 
 
 
- 견고성
변수가 조금 달라지거나, 환경이 약간 달라져도 설명력이 급격하게 떨어지는 현상 없이 유용하게 굴러가는 모델을 견고(Robust)하다고 말한다. 자. 잘 만들어 놓은 퀀트 모델이 있다. 그런데 이 모델을 투자자들에게 보여줬더니 사후 해석 편향이 아니냐는 이야기를 한다고 가정해 보자. 그렇다면, 이 모델에 대한 견고성을 테스트해 보아야 할 것이다. 이럴 때는 대개 어떤 방법을 쓸까?
 
 
 


i) 표본 외 검증 (Out-of-sample Test)
예를 들어 수익률 데이터가 2000년부터 2013년까지 있다고 치자. 그러면 00~13년 데이터로 모델을 만드는게 아니라, 00~07년까지의 데이터 정도로 모델을 만든 이후, 최적화시켜 그 모델이 08~13년에도 먹히는지를 보는 것이다.
다시 말해 07년이 끝난 시점에서 미래에도 이 모델이 먹힐지를 모른다고 가정하고 모델을 만들어, 미래 6년간의 데이터를 써서 모델이 제대로 작동하는가를 테스트하는 것이다. 모델이 성과를 내는지를 알기 위해 6년을 굳이 기다릴 필요가 없게 된다. 이 방법은 데이터마이닝의 가능성을 줄이고 모델의 설명력을 높이기 위해 쓰는 방법이다.

그러나 문제가 있다. 표본 외 모집단을 만들기 위해서는 표본을 잘라내야 한다. 그렇게 되면 표본의 규모가 작아져 모델의 예측력이 다소 낮아지게 된다. 또한 표본외 테스트가 꼭 데이터마이닝 없이 가능하지도 않다. 표본 외 테스팅에서도 괜찮은 성과를 얻을 때 까지 계속해서 실험을 반복하는 데이터 스누핑의 가능성은 언제든지 있을 수 있다.
 
 
ii) 전진분석 (Forward Testing)
01년 1월 1일~ 02년 1월 1일간의 수익률, 위험/수익지표 등을 구해놓고…
01년 1월 2일~ 02년 1월 2일간의 수익률과 지표등을 구하고,
01년 1월 3일~ 02년 1월 3일까지 지표를 구하고. 이렇게 반복한다.
단지 모델의 수익률이 ‘운이 좋았을 뿐’인가, 아니면 적절하게 대체적으로 잘 작동하는가를 시험하는 기법.
 
 
iii) 몬테카를로 시뮬레이션
01년부터 13년까지 각 분기별 수익률데이터가 있다고 치자. 이러면 4 x 13 = 52분기의 수익률 데이터가 존재한다는 뜻이다. 그럼 52개 분기 중 랜덤하게 한 개의 분기 수익률 데이터를 선택해서 붙여넣고, 또 랜덤한 한 개 분기 수익률 데이터를 선택해 붙여넣고. 이런 식으로 대략 500번, 1000번, 10만번… 이렇게 나아가서 아웃퍼폼 할 확률을 구하거나, 예상되는 수익률의 분포도를 그리는 방법이다. 즉, 어떤 투자방법을 사용하였을 때 얻을 수 있는 성과가 어떨지는 정확히 알 수 없으나, 대략적인 분포도는 그릴 수 있다는 것이다.

다만 이 경우 랜덤으로 수익률을 이어 맞춰 나가는 방식인데, 이런 검증방법은 주가에 영향을 주는 여러 요인들(Ex. 경기 사이클)을 무시하고 주가가 완전히 랜덤하게 움직인다는 가정이 깔려있다. 이런 한계 때문에 이 방법을 그다지 좋아하지 않는 사람들도 많다.

데이비드 드레먼이 자신의 저서 <역발상 투자전략>에서 저PER, 저PBR 전략을 테스팅하는 방법으로 이 기법을 사용한 바 있다.


 
- 객관성
“내가 좋은 재무와 경제 감각에 근거하여 가정을 했는가?”
“내가 이 요소를 사용하는데 정말로 객관적인 태도를 가지고 있는가?”
데이터 스누핑 등과 같은 문제와 연관되어 있다. 모델을 만들고 나니까 정작 수익률이 안 나와서, 다른 요소를 더하고 빼는 과정을 반복하다 보니 수익률이나 위험/수익 지표 등이 잘 나올 수 있다. 이런 행위는 이 요건과 배치되는 것이다. 어떠한 퀀트 모델의 전략을 말로 풀어서 설명했을 때, 투자자들이 납득할 수 있는 건전한 재무/경제 상식에 근거하여 모델을 만들어야 하지 않을까 생각한다.
 
 
 
- 측정치
퀀트 접근법, 모델 구성과 방법의 알고리즘을 통해 계산한 측정치에서 신뢰를 얻을 수 있다. 여러 통계기법을 배워 모델의 신뢰도를 얻고 모델의 위험성을 피할 필요가 있다.
모델의 최상위, 중간, 최하위 십분위수 시계열로부터의 수익률의 표준편차, 중앙값, 평균, Hit ratio, IR, IC 등을 시점을 달리하여 계산해 볼 필요가 있다. 또한 시장의 환경을 다양하게 설정하여 각 환경 별로 모델이 어떻게 작동하는 지를 조사해 보아야 한다. 손익분포도를 그려보는 것도 좋은 방법이다.
 
 
 
 
4. 퀀트 모델의 유용성이 훌륭하다면, 왜 다들 퀀트를 사용하지 않는가?
퀀트 모델이 제대로 작동하지 않는 때가 있기 때문에, 퀀트 모델을 그대로 따르는 것을 지속해내기가 어려운 것이다. 예를 들어보자. 정성적 분석을 통해 종목발굴을 하는 투자자라면, 수익이 제대로 나지 않을 때에는 이런 생각을 할 것이다. ‘내가 종목을 제대로 고르지 못했구나. 다음부터는 더 신경써야겠다.’ 그러나 퀀트 모델이 수익이 나지 않는다면 이렇게 생각한다. ‘모델에 문제가 있는 것 아냐? 테스팅을 좀 더 해봤어야 하나?’
 
 
이 주제에 대해서 리처드 번스타인은 <Navigate The Noise>에서 다음과 같은 사례를 들고 있다.
 

내가 아는 한 애널리스트가 자신의 회사의 고객들에게 주식 선정 모델을 제공했다. 이 모델은 1980년대 말동안 백테스팅을 했으며, 91년 초에는 실시간 데이터가 사용되었다. 백 테스팅을 거친 기간과 실시간 성과의 조합으로, 이 모델은 S&P500을 12년 중 10년이나 누르고 초과수익을 냈다. 게다가, S&P500보다 리스크가 더 낮았다. 그러나 98~99년에는 이 모델의 성과가 처참했다.
 
비록 이 모델의 추종자들이 우월한 장기 성과에 관심있는 숙련된 투자자임을 가정하고 있지만, 이 애널리스트는 이 모델을 따르는 일부 투자자들로부터 메일 상으로 많은 비난을 받았다. 2000년 중반이 되자, 이 모델대로 운용하는 자금이 크게 줄었는데, 이는 '숙련된' 투자자들이 다른 전략을 따르기로 결정했기 때문이다. 내 추측으로는 그들은 장기성과는 나빴으나 98~99년에 초과수익을 낸 전략으로 갈아탔을 것이다.
 
투자자들은 이 모델을 무시하기 시작했고, 이 애널리스트는 모델에 관심을 끄기 시작했다. 말할 것도 없이, 이 모델은 2000년에 시장대비 초과수익을 올렸으며, 원래 궤도로 돌아왔다.

 
 
이 사례가 의문을 완벽히 해결해 주리라 생각한다. 장담하건대, 2분기만 수익률이 좋지 않아도 모델을 포기하기 쉬울 것이다. 이는 퀀트만의 문제가 아니다. 95~99년, 가치투자자들이 지옥의 밑바닥에 있던 시기에 얼마나 많은 투자자들이 가치투자를 포기했던가? 이는 투자자라면 누구나 겪어야 하는 숙명과 같은 일이다. 굳이 퀀트만의 문제가 아니라고 생각한다.
 
 
 
 
5. 모델이 안 먹히는 것 같은데 어떻게 해야 하나?
 
 
어떤 퀀트 모델대로 운용을 하는데, 그 과정에서 언더퍼폼하는 기간이 있기 마련이다. 만일 투자자가 전략의 결점에 대해 매우 잘 이해하고 있고 모델이 충분한 검증을 거쳤다면, 전략의 성과가 떨어질 때 가장 먼저 할 일은 무엇일까?
 
 
1) 과거의 전략이 안 먹히던 시점의 경제 상황과 지금의 상황이 유사한가?
예를 들어, 가치주를 사는 전략은 경기후퇴국면에 성과가 좋지 않은 경향이 있다. 저PER 기반의 퀀트 전략을 사용하는 투자자라면, 불황기에 언더퍼폼 하는 것이 정상이라는거다. 과거 경제상황이 전략의 나쁜 성과를 설명할 수 있다면, 단기적인 수익률이 나빠도 전략의 사용을 지속해야 한다.
 
 
2) 모델이 문제일까, 내가 문제일까?
전체적으로 전략이 잘 작동하지만, 투자자가 모델에서 나온 최선호 종목 목록에서 주식을 잘 선정하지 못했을 수도 있다. 모델에 의해 추천 된 전체 종목 묶음을 통째로 매수했다 해도, 나쁜 주식을 선정할 가능성도 꽤 있다.
전략의 실패가 아니라 나쁜 주식선정이 범인인지 여부를 시험하는 것은 간단하다. 전략의 전체 포트폴리오 성과와 선정된 종목들의 성과를 비교해 보자. 만약 선정된 주식들이 전략의 전체 포트폴리오 대비 초과수익을 올렸다면, 투자자는 실제로 좋은 종목을 선정했으며 기본적으로 전략이 제공할 수 있는 것 이상으로 성과가 개선된 것이다. 그러나 전체 포트폴리오대비 선정된 주식들의 성과가 떨어진다면, 투자자는 전략의 기본 성과에 비해 떨어지는 것을 선정한 것이다. 후자의 경우는 투자자의 문제다.
 
 
참조문헌
프로야구 명감독이 주식투자를 한다면, 안혁, 매일경제신문사, 2014
정량분석, 스티븐 그라이너 저, 이광희 역, 국일증권경제연구소, 2012
메트릭 스튜디오, 문병로 저, 2014
Navigate The Noise, 리처드 번스타인, 2001

이상민  의 다른 글 보기 >>