승률 신뢰구간 계산, AI 시그널 표본 겹침 보정표
이 포스팅에는 수수료 일부를 돌려받는 거래소 추천 링크가 포함되어 있으며, 가입·거래 시 운영자가 추천 보상을 받을 수 있습니다. 이용자가 내는 가격에는 영향이 없습니다. 투자 권유가 아니며, 가상자산·주식 거래는 원금 손실이 날 수 있습니다. 언급한 해외 거래소는 국내 가상자산사업자 신고 여부가 각기 다르므로, 가입 전에 신고 현황과 이용 약관을 직접 확인하세요.
한 줄 결론: AI 시그널 점수 구간별 승률의 승률 신뢰구간은 표본 수를 그대로 넣으면 실제보다 좁게 나옵니다. FuturesAI 공개 데이터(2026년 11월 2일 산출, 20일 보유, 표본 26,630건)에서 낮은 점수 구간(2~3구간) 승률은 36.9%(342건), 중간 이상(4~8구간)은 54.6%(26,288건)입니다. 그런데 20일 보유 표본은 매일 진입하면 19일씩 겹치므로, 독립 표본이 원래의 5분의 1 이하라고 놓고 다시 계산하면 두 묶음의 차이가 오차 범위에서 가려지는 순간이 옵니다. 아래 표로 어느 가정에서 결론이 유지되고 어디서 무너지는지 보여 드립니다.
FuturesAI에서 거래소별 수수료와 페이백 비율 보기 →
승률 신뢰구간이 왜 좁게 나오나: 표본 겹침 문제
승률 신뢰구간 공식은 “표본이 서로 독립”이라는 전제에서 나옵니다. 동전을 100번 던진 결과는 서로 영향을 주지 않으니 ±값이 공식대로 줄어듭니다. 그런데 “신호가 뜬 날 진입해서 20일 뒤 수익이 플러스였나”를 매일 세면 사정이 다릅니다. 오늘 진입한 거래와 어제 진입한 거래는 20일 중 19일이 같은 가격 흐름 위에 있습니다. 한 종목이 20일 동안 오르면 그 기간에 진입한 20개 표본이 한꺼번에 승리로 기록됩니다.
FuturesAI 공개 채점 데이터는 표본 26,630건, 종목 59개로 공개되어 있습니다. 나누면 종목당 평균 약 451건입니다. 이 표본이 종목마다 매일 하나씩 쌓인 것이라면(이 글의 가정이고, 공개 데이터에는 진입 간격이 적혀 있지 않습니다) 한 종목에서 서로 안 겹치는 20일 구간은 약 22.6개뿐입니다. 59개 종목을 합쳐도 완전히 독립인 표본은 1,330건 안팎이라는 계산입니다. 종목들이 같은 시장 흐름을 타는 것까지 따지면 더 적습니다. 그래서 아래에서는 “독립 표본이 원래의 1/5, 1/10, 1/20″인 경우를 나란히 놓고 승률 신뢰구간을 다시 계산했습니다. 어느 칸이 맞는지는 이 글이 정하지 않습니다. 결론이 어디서 바뀌는지만 봅니다.
구간별 승률과 신뢰구간 (11월 2일 산출)
공개 API 값을 그대로 옮기고 오른쪽 세 칸만 계산한 값입니다. 계산식은 ±1.96×√(승률×(1−승률)÷표본)입니다. 1·9·10구간은 표본이 0건이고 2구간은 1건이라 뺐습니다.

| 점수 구간 | 표본(건) | 승률 | 오차(원래 계산) | 오차(독립 1/20 가정) | 독립 1/20일 때 표본 |
|---|---|---|---|---|---|
| 3구간 | 341 | 37.0% | ±5.1%p | ±22.9%p | 17 |
| 4구간 | 4,578 | 55.5% | ±1.4%p | ±6.4%p | 229 |
| 5구간 | 11,550 | 54.9% | ±0.9%p | ±4.1%p | 578 |
| 6구간 | 8,454 | 53.2% | ±1.1%p | ±4.8%p | 423 |
| 7구간 | 1,585 | 56.7% | ±2.4%p | ±10.9%p | 79 |
| 8구간 | 121 | 55.4% | ±8.9%p | ±39.6%p | 6 |
표를 보면 표본이 가장 많은 5구간(11,550건)은 겹침을 최대로 잡아도 오차가 ±4.1%p라서 하한이 50.8%로 “승률 50%를 웃돈다”는 말이 버팁니다. 4구간(하한 49.1%)과 6구간(하한 48.4%)은 같은 보정에서 50%를 걸칩니다. 반대로 8구간은 121건이라 원래 계산에서도 ±8.9%p, 1/20로 보면 ±39.6%p입니다. 8구간 55.4%는 사실상 “아무것도 모른다”에 가깝습니다. 점수가 높을수록 승률이 오른다는 읽기는 이 표로 지지되지 않고, 단조 증가도 아닙니다(4구간 55.5%, 6구간 53.2%, 7구간 56.7%).
낮은 점수 묶음 vs 중간 이상 묶음, 가정별로 다시 계산
표본 겹침 보정을 위해 2~3구간을 낮은 점수 묶음, 4~8구간을 중간 이상 묶음으로 합쳐 표본 수로 가중평균을 냈습니다. 낮은 점수는 342건 승률 36.9%, 중간 이상은 26,288건 승률 54.6%로 격차는 17.7%p입니다. 차이의 z값은 (승률A−승률B)÷√(A의 분산+B의 분산)이고 1.96을 넘으면 우연으로 보기 어렵다고 읽습니다.
| 표본 겹침 가정 | 낮은 점수 표본 | 중간 이상 표본 | 낮은 점수 승률 95% 구간 | 중간 이상 승률 95% 구간 | 차이 z값 | 판정 |
|---|---|---|---|---|---|---|
| 겹침 무시(원래 계산) | 342 | 26288 | 31.8~42.0% | 54.0~55.2% | 6.73 | 뚜렷함 |
| 독립 표본이 5분의 1 | 68 | 5258 | 25.5~48.3% | 53.2~55.9% | 3.01 | 뚜렷함 |
| 독립 표본이 10분의 1 | 34 | 2629 | 20.7~53.1% | 52.7~56.5% | 2.13 | 뚜렷함 |
| 독립 표본이 20분의 1 | 17 | 1314 | 14.0~59.8% | 51.9~57.3% | 1.50 | 오차 안 |
겹침을 무시하면 z값이 6.7이라 압도적으로 보이고, 독립 표본이 1/10까지 줄어도 2.1로 간신히 버팁니다. 1/20로 줄이면 1.5로 내려가 “오차 안”이 됩니다. 정리하면 “낮은 점수 구간이 나쁘다”는 결론은 겹침이 10배 이하라는 가정에서만 살아남고, 20배 겹침까지 가정하면 이 표본만으로는 단정할 수 없습니다. 그리고 낮은 점수 묶음은 표본이 342건뿐이라서 겹침 보정 이전에도 구간 폭이 ±5.1%p입니다.
또 하나 눈에 띄는 점이 있습니다. 같은 사이트 데이터를 2026년 10월 31일에 읽은 글(smartlabs.kr의 AI 시그널 승률 계산 글)에서 낮은 점수 구간은 687건 승률 42.6%였는데, 11월 2일 산출분에서는 3구간이 341건 37.0%입니다. 이틀 사이 표본이 절반으로 줄고 승률이 5%p 넘게 움직였습니다. 점수 산출 기준이나 대상 종목이 갱신되는 것으로 보이며, 정확한 이유는 공개된 정보에 없습니다. 확실한 것은 “낮은 점수 구간의 승률 숫자 하나를 고정값처럼 인용하면 안 된다”는 점입니다.
그럼 몇 건이 쌓여야 믿을 수 있나: 필요 표본 계산
승률을 55% 안팎으로 보고, 신뢰구간 폭을 원하는 수준으로 좁히는 데 필요한 독립 표본은 n = 1.96²×승률×(1−승률)÷오차²입니다. 아래는 계산값이고, 오른쪽 칸은 20일 보유를 매일 진입으로 쌓을 때 겹침을 감안한 대략의 진입 건수(독립 표본×20)입니다.
| 원하는 오차 | 필요한 독립 표본 | 매일 진입으로 쌓을 때 대략 건수 |
|---|---|---|
| ±5%p | 381 | 7,620 |
| ±3%p | 1,057 | 21,140 |
| ±2%p | 2,377 | 47,540 |
| ±1%p | 9,508 | 190,160 |
예컨대 ±3%p를 원하면 독립 표본이 1,057건 필요합니다. 이 목표를 8구간(121건) 하나로 채우려면 독립 기준으로 아직 한참 모자랍니다. 고점수 구간을 믿으려면 표본이 수천 건 단위로 쌓이길 기다려야 하고, 그 전까지는 “높은 점수일수록 맞는다”는 문장을 쓸 근거가 없습니다.
내 매매에 쓰는 법: 세 단계
- 점수 구간별 승률을 볼 때는 표본 수 칸부터 봅니다. 표본이 200건 아래인 구간(이 데이터의 2구간·8구간)은 승률 숫자를 읽지 않습니다.
- “낮은 점수 구간을 피한다”는 규칙은 판단을 줄이는 용도로만 씁니다. 이 규칙이 수익을 보장한다는 데이터는 없습니다. 위 z값처럼 겹침 가정에 따라 확신도도 달라집니다.
- 20일 보유 승률은 단타 매매에 그대로 적용하지 못합니다. 하루 안에 끝내는 매매의 본전 승률은 수수료·슬리피지로 따로 계산해야 합니다. 내가 쓰는 거래소의 실효 수수료는 FuturesAI 페이백 페이지 표기값으로 확인할 수 있습니다.
거래소별 시장가·지정가 수수료와 페이백 비율 확인하기 →
자주 묻는 질문
승률 신뢰구간은 어떻게 계산하나요?
승률 ±1.96×√(승률×(1−승률)÷표본 수)입니다. 표본이 342건이고 승률이 36.9%이면 ±5.1%p, 표본이 26,288건이고 승률이 54.6%이면 ±0.6%p입니다. 표본이 서로 겹치면 이 폭은 실제보다 좁게 나옵니다.
표본이 겹친다는 건 정확히 무슨 뜻인가요?
20일 보유 성적을 매일 계산하면 어제 진입 거래와 오늘 진입 거래가 같은 19일의 가격 변동을 공유합니다. 서로 독립이 아니라서, 건수는 많아도 실제 정보량은 건수보다 적습니다.
그럼 AI 시그널의 낮은 점수 구간은 피하지 말아야 하나요?
그렇게 결론 내리지 않습니다. 이 글의 계산은 “숫자 하나로 단정하기 이르다”는 것이고, 낮은 점수 구간이 더 나쁘다는 방향 자체는 겹침 10배 이하 가정에서는 유지됩니다. 판단은 본인 몫이고 이 글은 투자 권유가 아닙니다.
이 데이터는 코인 선물에도 쓸 수 있나요?
공개된 점수 구간 데이터는 종목 59개를 20일 보유한 결과이며, 코인 선물의 단기 매매 성과를 보여주는 자료로 읽으면 안 됩니다.
출처
- FuturesAI 점수 구간별 승률 공개 API: futuresai.io/api/quant/score-deciles (2026년 11월 2일 확인, 산출 03:30 UTC)
- FuturesAI 거래소 수수료·페이백 안내: futuresai.io/payback
- smartlabs.kr 10월 31일 글 AI 시그널 승률 계산, 점수 높을수록 더 맞는지 검정표 (낮은 점수 3구간 687건 42.6% 수치 출처)
※ 2026년 11월 2일 기준 FuturesAI 공개 점수 구간 데이터(산출 시각 03:30 UTC)로 계산했습니다. 산출 기준과 표본은 갱신되므로 수치가 달라질 수 있으며, 매일 진입·종목별 독립 22.6구간은 이 글의 가정입니다. 본 글은 투자 자문이 아니고, 가상자산·주식 거래는 원금 손실이 날 수 있습니다.
