지난 글에서 예측을 확률로 LOCK하자고 했습니다. 그러면 질문이 따라옵니다.
"70%라고 했는데 틀렸으면 그건 틀린 예측인가요?"
아닙니다. 확률 예측은 한 건으로는 채점되지 않습니다. 70%라고 말했으면 30%는 틀리는 게 정상입니다. 오히려 70%라고 한 예측이 100번 중 100번 맞았다면 그 모델은 잘 맞춘 게 아니라 자기 확신을 과소 표기한 잘못된 모델입니다.
확률 예측을 채점하는 방법은 두 가지입니다.
■ 1) 보정(Calibration) — 숫자가 정직한가
예측들을 확률 구간별로 묶습니다.
내가 말한 확률 예측 건수 실제 적중 실제 비율
50~60% 42 23 54.8%
60~70% 31 20 64.5%
70~80% 18 11 61.1%
80~90% 9 6 66.7%
이 표에서 앞 두 구간은 잘 보정돼 있습니다. 뒤 두 구간은 과신(Overconfidence)입니다. 80% 이상이라고 확신한 예측이 실제로는 67%밖에 안 맞았다면, 내 모델은 높은 확신 구간에서 신뢰할 수 없다는 뜻입니다. 그러면 그 구간의 베팅 사이즈를 줄이거나 모델을 고쳐야 합니다.
이 표를 그림으로 그린 게 Reliability Diagram(신뢰도 곡선)입니다. 완벽하면 45도 대각선 위에 놓입니다.
■ 2) Brier Score — 얼마나 날카로운가
보정만으로는 부족합니다. 모든 예측을 "50%"라고만 말하면 보정은 완벽하지만 쓸모가 없습니다. 그래서 정확도와 날카로움을 동시에 재는 지표를 씁니다.
Brier Score = (1/N) × Σ (예측확률 − 실제결과)²
실제결과: 일어났으면 1, 아니면 0
- 0에 가까울수록 좋음, 1에 가까울수록 나쁨
- 무조건 50%만 말하는 사람: 0.25
- 0.25보다 못하면 동전 던지기보다 못한 것
예시:
- 70%라고 했는데 일어남 → (0.7−1)² = 0.09
- 70%라고 했는데 안 일어남 → (0.7−0)² = 0.49
- 95%라고 했는데 안 일어남 → 0.9025 (과신에 대한 벌점이 매우 큼)
Brier Score는 과신을 강하게 처벌합니다. 그래서 이 점수를 계속 기록하면 자기도 모르게 확신 표현이 정직해집니다.
■ 기준선을 반드시 같이 계산하십시오
내 Brier Score가 0.21이 나왔다고 좋아하기 전에, 같은 대상에 대해 아무 생각 없는 기준선이 몇 점인지 계산해야 합니다.
- 시장 암시확률(옵션 IV, 배당률)로 예측한 경우의 점수
- 과거 평균 빈도(Base Rate)로만 예측한 경우의 점수
이 기준선을 못 이기면 내 분석은 가치를 만들지 못한 것입니다. 시장보다 나은 확률을 못 내놓으면서 시장을 이기겠다는 건 성립하지 않습니다.
■ 정리
- 한 번 맞은 건 실력의 증거가 아닙니다
- 확률을 쓰면 채점이 가능해집니다
- 보정 표 + Brier Score + 기준선 비교, 이 셋이면 자기 예측의 품질을 스스로 감사할 수 있습니다
엑셀 한 장이면 충분합니다. 수식 세 개면 됩니다.
DISCLAIMERS: 이 글은 개인회원이 직접 작성한 글로 내용에 대한 모든 책임은 작성자에게 있으며, 이 내용을 본 후 결정한 판단에 대한 책임은 게시물을 본 이용자 본인에게 있습니다.
라디오코리아는 이 글에 대한 내용을 보증하지 않으며, 이 정보를 사용하여 발생하는 결과에 대하여 어떠한 책임도 지지 않습니다.
라디오코리아의 모든 게시물에 대해 게시자 동의없이 게시물의 전부 또는 일부를 수정 · 복제 · 배포 · 전송 등의 행위는 게시자의 권리를 침해하는 것으로 원칙적으로 금합니다.
이를 무시하고 무단으로 수정 · 복제 · 배포 · 전송하는 경우 저작재산권 침해의 이유로 법적조치를 통해 민, 형사상의 책임을 물을 수 있습니다.
This article is written by an individual, and the author is full responsible for its content. The viewer / reader is responsible for the judgments made after viewing the contents. Radio Korea does not endorse the contents of the articles and assumes no responsibility for the consequences of using the information.
In principle, all posts in Radio Korea are prohibited from modifying, copying, distributing, and transmitting all or part of the posts without the consent of the publisher. Any modification, duplication, distribution, or transmission without prior permission can subject you to civil and criminal liability.
