"저 10번 중 8번 맞췄습니다."
"저 3개월 연속 수익 냈습니다."
이런 글을 보면 저는 딱 하나만 계산해봅니다. 운으로도 이 정도가 나올 확률이 얼마인가.
■ 10번 중 8번은 생각보다 흔합니다
동전을 던지는 사람 한 명이 10번 중 8번 이상 맞출 확률은 약 5.5%입니다. 낮아 보이죠. 그런데 게시판에 예측하는 사람이 100명이면, 그중 5~6명은 아무 실력 없이도 8승 이상을 기록합니다. 그리고 그 5~6명만 글을 씁니다. 나머지 94명은 조용히 사라집니다.
이것이 Survivorship Bias(생존편향)입니다. 여러 명이 동시에 시도할 때 우연한 성공이 나오는 것을 Multiple Comparisons Problem(다중비교 문제)이라고 합니다. 유튜브 수익인증, 리딩방 적중률, 단톡방 고수가 거의 전부 이 구조입니다.
■ 그러면 몇 개가 필요한가
승률 기준으로 대략의 감을 드리면 이렇습니다. "진짜 승률이 55%인 사람"이 "50%인 사람"과 통계적으로 구분되려면(유의수준 5%, 검정력 80% 기준) 대략 표본 800개 안팎이 필요합니다. 진짜 승률이 60%라면 약 200개, 52%라면 약 5,000개가 필요합니다.
엣지가 얇을수록 필요한 표본은 제곱으로 늘어납니다. 그래서 "한 달 해봤더니 되더라"는 말이 성립할 수 없는 겁니다.
수익률로 볼 때도 같습니다. 필요한 관측 연수는 대략 이렇게 계산합니다.
필요 연수 ≈ (2 / Sharpe)² ← 대략적인 감을 잡는 용도
Sharpe 0.5 → 약 16년
Sharpe 1.0 → 약 4년
Sharpe 2.0 → 약 1년
샤프 1.0은 상당히 좋은 전략입니다. 그것조차 실력임을 통계적으로 주장하려면 4년치 데이터가 필요합니다. 3개월 수익은 아무것도 증명하지 않습니다.
■ 표본을 셀 때 흔히 하는 실수
① 상관된 표본을 독립 표본으로 셈
같은 날 같은 섹터 종목 10개를 산 건 10개의 독립 시도가 아닙니다. 시장이 오르면 다 오릅니다. 실질 표본은 1~2개에 가깝습니다.
② 시행 횟수를 숨김
전략 200개를 백테스트해서 제일 좋은 하나를 고른 뒤 "이 전략의 p값은 0.01"이라고 말하면 틀립니다. 200번 시도했으면 p값 0.01짜리는 그냥 나옵니다. 이게 Data Snooping입니다. 그래서 Deflated Sharpe Ratio처럼 시행 횟수를 반영해 성과를 깎는 보정 지표가 있습니다.
③ 표본을 결과 본 뒤에 자름
"작년 2월부터 보면 성과가 좋습니다" — 시작점을 결과 보고 정했다면 그 성과는 이미 오염됐습니다.
■ 그래서 제안
성적을 자랑하실 거면 세 줄만 같이 적어주십시오.
1. 전체 시도 횟수 (성공만이 아니라 전부)
2. 그 기간의 벤치마크 수익률 (S&P 500을 그냥 들고 있었으면 얼마였는지)
3. 최대낙폭
이 셋이 없는 승률은 정보가 아닙니다.
마지막으로, 저 자신에게도 같은 기준을 적용합니다. 제가 하루 15경기에서 12승 3패를 했다고 해서 그것이 우위의 증거는 아닙니다. 그 확률은 우연으로도 충분히 나옵니다. 의미가 생기려면 같은 방식의 사전 기록이 수백 건 쌓여야 합니다.
DISCLAIMERS: 이 글은 개인회원이 직접 작성한 글로 내용에 대한 모든 책임은 작성자에게 있으며, 이 내용을 본 후 결정한 판단에 대한 책임은 게시물을 본 이용자 본인에게 있습니다.
라디오코리아는 이 글에 대한 내용을 보증하지 않으며, 이 정보를 사용하여 발생하는 결과에 대하여 어떠한 책임도 지지 않습니다.
라디오코리아의 모든 게시물에 대해 게시자 동의없이 게시물의 전부 또는 일부를 수정 · 복제 · 배포 · 전송 등의 행위는 게시자의 권리를 침해하는 것으로 원칙적으로 금합니다.
이를 무시하고 무단으로 수정 · 복제 · 배포 · 전송하는 경우 저작재산권 침해의 이유로 법적조치를 통해 민, 형사상의 책임을 물을 수 있습니다.
This article is written by an individual, and the author is full responsible for its content. The viewer / reader is responsible for the judgments made after viewing the contents. Radio Korea does not endorse the contents of the articles and assumes no responsibility for the consequences of using the information.
In principle, all posts in Radio Korea are prohibited from modifying, copying, distributing, and transmitting all or part of the posts without the consent of the publisher. Any modification, duplication, distribution, or transmission without prior permission can subject you to civil and criminal liability.
