AI 시그널 신뢰도 확인, 구간별 표본 수와 오차 계산
이 포스팅은 제휴 활동의 일환으로 수수료 일부를 돌려받는 거래소 추천 링크가 포함되어 있으며, 가입·거래 시 운영자가 수수료 일부를 받을 수 있습니다. 구매 가격이나 이용자가 내는 수수료에는 영향이 없습니다. 투자 권유가 아니며, 투자에는 원금 손실이 날 수 있습니다. 언급한 해외 거래소는 국내 가상자산사업자 신고 여부가 각기 다르므로, 가입 전에 신고 현황과 이용 약관을 직접 확인하세요.
한 줄 결론: 2026년 11월 14일 공개 집계 기준으로 AI 시그널 신뢰도를 가르는 기준은 승률 숫자 자체가 아니라 표본 수입니다. 표본 12,070건인 D5의 승률 54.2%는 오차 범위가 53.3~55.1%라 50%를 확실히 넘지만, 표본 91건인 D8의 51.6%는 오차 범위가 41.3~61.9%로 50%를 포함해 우연과 구분되지 않습니다.
FuturesAI 페이백 페이지에서 거래소별 수수료 확인하기 →
AI 시그널 신뢰도를 보기 전에 표본 수부터 확인합니다
FuturesAI는 AI 시그널을 점수 순으로 10등분해 구간별 과거 성적을 공개 집계로 보여 줍니다. 20일 보유 기준, 59개 종목, 총 26,690건입니다. 보통은 승률이 높은 구간을 먼저 보게 되는데, 그 숫자가 몇 건에서 나왔는지를 같이 봐야 합니다. 같은 56%라도 100건에서 나온 56%와 1,440건에서 나온 56%는 믿을 수 있는 정도가 다릅니다.
먼저 공개 집계를 그대로 옮긴 표입니다. D1, D2, D9, D10은 신호가 0건이라 빠집니다.
표 1. 구간별 표본 수와 성적
| 점수 구간 | 표본 수 | 승률 | 평균 수익률 |
|---|---|---|---|
| D3 | 210건 | 35.7% | -2.51% |
| D4 | 4,321건 | 52.4% | +2.57% |
| D5 | 12,070건 | 54.2% | +2.46% |
| D6 | 8,558건 | 52.5% | +2.60% |
| D7 | 1,440건 | 56.2% | +3.77% |
| D8 | 91건 | 51.6% | +0.89% |
구간마다 표본 수 차이가 큽니다. 가장 많은 D5는 12,070건이고 가장 적은 D8은 91건으로, 약 130배 차이가 납니다. 승률만 나란히 놓고 D7(56.2%)이 제일 좋다고 읽으면 D7이 표본 1,440건이라는 점을 놓치게 됩니다.
표 2. 표본 수별 오차 범위를 직접 계산했습니다
승률의 오차는 표본 수의 제곱근에 반비례합니다. 승률 p, 표본 수 n일 때 표준오차는 √(p×(1-p)÷n)이고, 95% 오차 범위는 승률에서 표준오차의 1.96배를 더하고 뺀 값입니다. 아래 표는 이 단순 공식으로 계산한 것입니다.
| 점수 구간 | 표본 수 | 표준오차 | 95% 오차 범위(단순 계산) | 50%를 포함하나 |
|---|---|---|---|---|
| D3 | 210 | 3.31%p | 29.2~42.2% | 아래쪽 (50% 미만) |
| D4 | 4,321 | 0.76%p | 50.9~53.9% | 위쪽 (50% 초과) |
| D5 | 12,070 | 0.45%p | 53.3~55.1% | 위쪽 (50% 초과) |
| D6 | 8,558 | 0.54%p | 51.4~53.6% | 위쪽 (50% 초과) |
| D7 | 1,440 | 1.31%p | 53.6~58.8% | 위쪽 (50% 초과) |
| D8 | 91 | 5.24%p | 41.3~61.9% | 포함 (우연과 구분 어려움) |
해석은 이렇습니다. D3은 오차 범위가 29.2~42.2%로 50%보다 아래쪽에 있어, 표본 수가 210건으로 적어도 승률이 낮다는 결론은 유지됩니다. D5와 D7은 오차 범위가 50% 위쪽에만 있습니다. 반면 D8은 표본 수가 91건뿐이라 오차가 ±10.3%p나 돼서, 51.6%라는 숫자는 사실상 50%와 같다고 봐야 합니다.
표 3. 표본 수가 늘면 오차가 얼마나 줄어드는지
승률 50% 근처라고 가정하면 오차 범위는 표본 수만으로 대략 정해집니다. AI 시그널 신뢰도를 점검할 때 이 표를 기준자로 쓸 수 있습니다.
| 표본 수 | 승률 오차(±, 95%) | 읽는 법 |
|---|---|---|
| 30건 | ±17.9%p | 승률 51%와 56% 차이를 가리기 어려움 |
| 100건 | ±9.8%p | 승률 51%와 56% 차이를 가리기 어려움 |
| 210건 | ±6.8%p | 4~7%p 차이는 가려짐 |
| 1,000건 | ±3.1%p | 4~7%p 차이는 가려짐 |
| 4,321건 | ±1.5%p | 1~3%p 차이도 구분 가능 |
| 12,070건 | ±0.9%p | 1~3%p 차이도 구분 가능 |
표본을 4배로 늘려야 오차가 절반이 됩니다. 그래서 표본 수가 200건 안팎인 구간에서 나온 승률 차이는 신호 품질 차이로 받아들이기 어렵고, 1,000건을 넘어야 3%p 안팎 차이를 이야기할 수 있습니다.
표 4. 신호를 따라가기 전 세 가지 점검 질문
위 계산을 점검표로 바꿔 보았습니다. 구간마다 아래 세 질문을 던지면 AI 시그널 신뢰도를 숫자로 가늠할 수 있습니다.
| 점검 질문 | D3 | D4~D6 | D7 | D8 |
|---|---|---|---|---|
| 표본 수가 1,000건 이상인가 | 아니오 (210건) | 예 | 예 (1,440건) | 아니오 (91건) |
| 오차 범위가 50% 위쪽에만 있나 | 아니오 (아래쪽) | 예 | 예 | 아니오 (50% 포함) |
| 평균 수익률이 양수인가 | 아니오 (-2.51%) | 예 | 예 | 예 (+0.89%) |
| 세 질문을 모두 통과하나 | 통과 못 함 (피하는 쪽) | 통과 | 통과 | 판단 보류 |
세 질문 모두를 통과한 구간은 D4부터 D7입니다. D3은 통과하지 못하고, D8은 평균 수익률만 양수일 뿐 표본 수가 적어 판단을 보류하는 쪽이 맞습니다. 다만 이 점검은 과거 집계에 대한 것이고, 앞으로도 같은 성적이 나온다는 보장은 아닙니다.
직접 따라 한다면 내 표본 수는 얼마나 될까
공개 집계의 표본 수가 커도 내가 실제로 따라가는 매매 횟수는 훨씬 적습니다. 예를 들어 D5 신호만 골라 100번 따라간다고 하면 승률 오차는 ±9.8%p입니다. 54.2%라는 평균이 내 100번에서도 나온다는 보장이 없고, 실제로는 44~64% 사이 어디에서든 나올 수 있다는 뜻입니다. 이 점이 AI 시그널 신뢰도를 해석할 때 가장 자주 놓치는 부분입니다. 집계의 오차와 내 매매의 오차는 서로 다른 숫자이니 둘을 구분해서 보세요.
이 계산이 말해 주지 않는 것
- 독립 표본이 아닙니다. 같은 종목의 신호가 날마다 겹쳐 쌓이므로 실제로 독립된 관측은 표의 건수보다 적습니다. 위 오차 범위는 실제보다 좁게 나왔을 가능성이 큽니다.
- 주식 종목 20일 보유 기준입니다. 코인 선물의 단기 매매에 그대로 옮길 수 없습니다.
- 수수료와 슬리피지가 빠져 있습니다. 평균 수익률은 비용을 뺀 실거래 손익과 다릅니다.
- 집계는 계속 갱신됩니다. 이 글은 2026년 11월 14일 산출분이며, 구간별 숫자는 다른 날 달라질 수 있습니다.
AI 시그널 신뢰도를 점검하는 순서
- 공개 집계에서 구간별 표본 수를 먼저 적습니다.
- 표본 수가 1,000건 미만인 구간은 승률 차이를 해석하지 않습니다.
- 승률의 95% 오차 범위가 50%를 포함하면 우연과 같다고 봅니다.
- 평균 수익률이 음수인 구간은 따라가는 후보에서 뺍니다.
- 남은 구간에서도 거래소 수수료를 반영한 손익분기 승률을 따로 계산합니다.
자주 묻는 질문
표본 수가 몇 건이면 믿을 만한가요?
정해진 기준은 없습니다. 이 글에서는 승률 오차가 ±3%p 안쪽으로 들어오는 1,000건을 하나의 기준선으로 썼습니다. 표 3에서 보듯 1,000건이면 ±3.1%p입니다.
D8처럼 표본이 적은 구간은 쓸모가 없나요?
쓸모가 없다기보다 판단을 보류하는 구간입니다. 표본이 쌓이면 오차 범위가 줄어들어 결론이 달라질 수 있어서, 집계가 갱신될 때 다시 확인하는 편이 낫습니다.
승률이 50%를 넘으면 수익이 나는 건가요?
그렇지 않습니다. 이익과 손실의 크기, 거래소 수수료, 슬리피지에 따라 손익분기 승률이 달라집니다. 승률은 손익을 가르는 숫자 중 하나일 뿐입니다.
이 집계로 코인 선물 매매를 판단해도 되나요?
권하지 않습니다. 이 집계는 주식 종목 20일 보유 기준이라 매매 기간과 대상이 다릅니다. 참고 자료로만 보고, 투자 판단과 손실 책임은 본인에게 있습니다.
출처
- FuturesAI 점수 구간별 승률 공개 집계(20일 보유, 2026년 11월 14일 산출): futuresai.io 공개 데이터
- FuturesAI 페이백 안내: futuresai.io/payback
2026년 11월 14일 기준 FuturesAI 공개 집계입니다. 집계 값과 거래소 조건은 바뀔 수 있으니 이용 전 공식 페이지에서 다시 확인하세요. 이 글은 투자 권유가 아니며 원금 손실이 날 수 있습니다.
