# RTP 告警的第一版六天就換掉：從 ±1.5 個百分點到「還不能判斷」

> 第一版 RTP 告警在剛滿 1 萬注時用 ±1.5 個百分點判斷，示範 slot 重跑誤報 57.9%。新版用有效樣本數與 Bonferroni，未通過驗收的模型保留實際 RTP，但不判斷偏離。

原文：https://sheng.page/posts/rtp-monitoring-threshold/ · 發布：2026-11-22 · 作者：Sheng

我在一個專案裡寫過兩版 RTP 監控。第一版報表預設看最近 7 天，同一款遊戲、同一個幣別滿 10,000 注，實際 RTP 和 live 版本登記的理論值差超過 1.5 個百分點就標示告警。拿專案裡的示範 slot 重跑，等額下注、沒有任何錯誤，視窗剛好滿 10,000 注時，這條規則有 57.9% 機會響。

六天後第一版就換掉了。新版每天封存一個視窗，用遊戲自己的變異數算信賴區間；模型沒通過事先固定種子的 Monte Carlo 驗收，就回 model_unavailable，保留實際 RTP，但不判斷偏離。示範 slot 本身就沒通過。這個專案還沒部署到正式環境，兩版都只在開發環境跑過。

## 第一版錯在哪

示範 slot 三個輪軸，每軸五種符號的權重是 1、3、6、12、28（總和 50），三個相同才派彩，倍數分別是 500、80、25、10、4.3。理論 RTP 95.78688%，每局派彩倍數的標準差 2.859。

10,000 注時，觀測 RTP 的標準誤是 2.859 除以 100，約 2.86 個百分點。1.5 個百分點只有半個標準誤多一點，正常波動就會越線。注數越多誤報越少，按常態近似，7 天累積到 10 萬注時約 9.7%，要壓到 1% 單一視窗約需 24 萬局。

門檻看起來嚴格，剛過注數門檻時卻有六成機會在響，響了也分不出是運氣還是錯誤。推導寫在〈[slot 每轉標準差怎麼算：別把 30 步路線獎勵的週期變異數當成單轉量](/posts/slot-volatility-per-spin-sd/)〉與〈[Monte Carlo 測試的容差怎麼定：標準誤、誤拒率與位元重現](/posts/monte-carlo-test-tolerance-and-false-rejection/)〉。

## 換上去的版本怎麼判斷

新版記錄每局回報的數學版本與 SHA-256 hash，後端判定付費或免費模式，寫入後不能改。舊介面可不帶版本與 hash。檢定按「遊戲、數學版本、hash、幣別、模式」分組，每個 UTC 日各組第一局開局時登記假設，全天名單隨新組加入。

注額不同時，Kish 不等權重公式用總注額平方除以各注額平方和，算出的有效樣本數至少要達到模型門檻，底線是 10,000；最大單注平方占注額平方和不超過 1%，限制單注對變異數的影響。付費局用下注額，免費局用配到的名目注額，標準誤是模型變異數乘注額平方和再開根號、除以總注額。

一天檢定多組假設會增加誤報機會，所以用 Bonferroni 修正，整天的名目誤報率設為 1%。這個修正可能偏保守，單一檢定的常態近似仍要成立，理論值落在信賴區間外才算偏離。結果分成 ready、insufficient_sample、incomplete_window、model_unavailable，封存後不能改，應用程式的資料庫角色也沒有更新權限。

新版程式碼已拿掉舊規則。

## 示範模型未通過驗收

這套信賴區間靠常態近似。示範模型的 Monte Carlo 誤報檢查預先固定種子，跑 10,000 次試驗，每次一組 10 個假設、每個 10,000 等額下注局，整組有任何誤報就算一次；Wilson 單側 95% 上界不能超過 1.5%，名目誤報率是 1%。

示範 slot 登記結果是 406 次誤報，上界 4.4%，沒過。大獎機率是 1/125,000，10,000 局多半碰不到，這個分布的常態近似低估了尾端。migration 把它標成未驗證，完整視窗回 model_unavailable，實際 RTP 照樣列出。

在 Mac 上重跑專案慢速測試，一樣是 406/10,000、上界 4.40%。偵測力檢查通過：正、負 5 個百分點的偏差在 10 萬有效局時，偵測率分別是 98.96% 與 98.39%，門檻是 90%。

我用 Python 重跑同一個分布，種子不同，數字略有差異，結論相同。用 OrbStack 的 python:3.13.18-slim 容器重跑，輸出如下：

```python
"""The project's three-reel demo slot, checked two ways.

Reel weights 1, 3, 6, 12, 28 out of 50 on each of three reels; three of a kind
pays 500, 80, 25, 10 or 4.3 times the stake, anything else pays nothing.
"""
import math
import numpy as np

weights = np.array([1, 3, 6, 12, 28]) / 50
pays = np.array([500, 80, 25, 10, 4.3])
p_win = weights ** 3
prob = np.append(p_win, 1 - p_win.sum())         # last outcome: no win
mult = np.append(pays, 0.0)

mean = float(mult @ prob)
sd = math.sqrt(float((mult - mean) ** 2 @ prob))
print(f"RTP {mean:.7f}  per-round SD {sd:.4f}")

rng = np.random.default_rng(42)
TRIALS = 10_000


def rtp_samples(n, shape):
    return rng.multinomial(n, prob, size=shape) @ mult / n


# 1. The first rule: 10,000 rounds, alert if |actual - theory| > 1.5 points.
obs = rtp_samples(10_000, TRIALS)
print(f"old rule, 10,000 rounds: false alerts {np.mean(np.abs(obs - mean) > 0.015):.4f}"
      f"  (normal approx {math.erfc(0.015 / (sd / 100) / math.sqrt(2)):.4f})"
      f"  below theory {np.mean(obs < mean):.4f}")
print(f"rounds for 1% false alerts on a 1.5-point band: {math.ceil((2.5758 * sd / 0.015) ** 2):,}")

# 2. The replacement: a daily family of 10 hypotheses, two-sided, Bonferroni at 1%.
z = 3.2905267                                      # normal quantile 1 - 0.01 / (2 * 10)
for n in (10_000, 50_000, 200_000):
    fam = rtp_samples(n, (TRIALS, 10))
    se = sd / math.sqrt(n)
    rate = np.mean(np.any(np.abs(fam - mean) > z * se, axis=1))
    print(f"family of 10, n = {n:>7,}: any false alert {rate:.4f}  (target 0.0100)")
```

```text
RTP 0.9578688  per-round SD 2.8591
old rule, 10,000 rounds: false alerts 0.5785  (normal approx 0.5998)  below theory 0.5211
rounds for 1% false alerts on a 1.5-point band: 241,046
family of 10, n =  10,000: any false alert 0.0386  (target 0.0100)
family of 10, n =  50,000: any false alert 0.0186  (target 0.0100)
family of 10, n = 200,000: any false alert 0.0122  (target 0.0100)
```

這次模擬的第一版誤報率是 57.9%，常態近似是 60.0%；新版公式在 10,000 等額下注局時整組誤報 3.86%，接近專案記錄的 4.06%。拉到 20 萬局是 1.22%，Wilson 上界 1.41%，低於 1.5%，但這次探索結果還不能當成新版模型的驗收。

## 規範的方向

GLI-19 第 4.0 版附錄 A.5.2 要求按遊戲的波動度與玩量訂監控頻率、量測期間與容許偏差。英國博弈委員會的 testing strategy 說波動度是設定每款遊戲容許值的關鍵參數，live RTP 指引也說玩量少時容許值要寬，玩量增加才收窄。第一版的固定容許值沒反映這兩項，這些文件也沒指定這篇的檢定方法。

## 還沒解決的

model_unavailable 期間仍查得到實際 RTP，只是沒有信賴區間與偏離告警。常態近似不可信時，與其每天發一堆不能信的告警，我寧可系統直接說還不能判斷。賠付表載錯或版本不對，這項自動判斷發現不了，逐局記下的數學版本與 hash 可以另外核對。

示範 slot 可以評估提高樣本門檻或改用其他區間，再重新驗收，目前還沒採用。

## 補充筆記

- 第一版預設看近 7 天，同遊戲同幣別滿 10,000 注、偏差超過 1.5 個百分點時標示告警；示範 slot 每局 SD 2.859，剛滿 10,000 注時等額下注重跑誤報 57.9%。
- 按常態近似，同一個 1.5 個百分點在 10 萬注時誤報約 9.7%，壓到 1% 單一視窗約需 24 萬局。
- 新版按 UTC 日分組登記假設，Kish 有效樣本數底線是 10,000，最大單注平方占注額平方和不超過 1%，Bonferroni 的整天名目誤報率是 1%。
- 示範 slot 的 Monte Carlo 記錄是 406/10,000、Wilson 上界 4.4%（重跑專案測試結果相同），未通過驗收，完整視窗回 model_unavailable。
- model_unavailable 仍保留實際 RTP，偏離告警停用，版本與 hash 可以另外核對。

## 延伸閱讀

- GLI〈[GLI-19 Standards for Interactive Gaming Systems v4.0](https://gaminglabs.com/wp-content/uploads/2026/11/GLI-19-v4.0-Standards-for-Interactive-Gaming-Systems.pdf)〉（2026-11-03）：測試實驗室標準，附錄 A.5.2 規定依波動度與玩量訂監控門檻。
- UK Gambling Commission〈[Testing strategy: Live RTP monitoring](https://www.gamblingcommission.gov.uk/strategy/testing-strategy-for-compliance-with-remote-gambling-and-software-technical/5-live-rtp-monitoring)〉：主管機關配套文件，波動度是容許值的關鍵參數。
- UK Gambling Commission〈[Live return to player performance monitoring](https://www.gamblingcommission.gov.uk/licensees-and-businesses/guide/live-return-to-player-performance-monitoring-of-games-of-chance)〉：主管機關指引，容許值隨玩量收窄。
- Wikipedia〈[Bonferroni correction](https://en.wikipedia.org/wiki/Bonferroni_correction)〉：百科條目，多重檢定時把顯著水準除以檢定數。
- Wikipedia〈[Design effect](https://en.wikipedia.org/wiki/Design_effect)〉：百科條目，整理 Kish 1965 年的 design effect 與有效樣本數，列出不等權重公式。
- Wikipedia〈[Binomial proportion confidence interval](https://en.wikipedia.org/wiki/Binomial_proportion_confidence_interval)〉：百科條目，Wilson score interval 的公式。
- Wikipedia〈[Berry–Esseen theorem](https://en.wikipedia.org/wiki/Berry%E2%80%93Esseen_theorem)〉：百科條目，常態近似誤差和第三絕對動差的關係。

> 想法與技術判斷出自 Sheng，和 Claude 一起起草 · 範例以 Python 3.13.18、numpy 2.5.3 實測（雲端 Linux 與 OrbStack 容器），專案 Monte Carlo 測試以 Go 1.27.3 重跑；工具：Claude Code（Opus 5.5、Fable 5.1）、Codex（gpt-6-astra）、Grok CLI。