RTP 告警的第一版六天就換掉:從 ±1.5 個百分點到「還不能判斷」
我在一個專案裡寫過兩版 RTP 監控。第一版報表預設看最近 7 天,同一款遊戲、同一個幣別滿 10,000 注,實際 RTP 和 live 版本登記的理論值差超過 1.5 個百分點就標示告警。拿專案裡的示範 slot 重跑,等額下注、沒有任何錯誤,視窗剛好滿 10,000 注時,這條規則有 57.9% 機會響。
六天後第一版就換掉了。新版每天封存一個視窗,用遊戲自己的變異數算信賴區間;模型沒通過事先固定種子的 Monte Carlo 驗收,就回 model_unavailable,保留實際 RTP,但不判斷偏離。示範 slot 本身就沒通過。這個專案還沒部署到正式環境,兩版都只在開發環境跑過。
第一版錯在哪
示範 slot 三個輪軸,每軸五種符號的權重是 1、3、6、12、28(總和 50),三個相同才派彩,倍數分別是 500、80、25、10、4.3。理論 RTP 95.78688%,每局派彩倍數的標準差 2.859。
10,000 注時,觀測 RTP 的標準誤是 2.859 除以 100,約 2.86 個百分點。1.5 個百分點只有半個標準誤多一點,正常波動就會越線。注數越多誤報越少,按常態近似,7 天累積到 10 萬注時約 9.7%,要壓到 1% 單一視窗約需 24 萬局。
門檻看起來嚴格,剛過注數門檻時卻有六成機會在響,響了也分不出是運氣還是錯誤。推導寫在〈slot 每轉標準差怎麼算:別把 30 步路線獎勵的週期變異數當成單轉量〉與〈Monte Carlo 測試的容差怎麼定:標準誤、誤拒率與位元重現〉。
換上去的版本怎麼判斷
新版記錄每局回報的數學版本與 SHA-256 hash,後端判定付費或免費模式,寫入後不能改。舊介面可不帶版本與 hash。檢定按「遊戲、數學版本、hash、幣別、模式」分組,每個 UTC 日各組第一局開局時登記假設,全天名單隨新組加入。
注額不同時,Kish 不等權重公式用總注額平方除以各注額平方和,算出的有效樣本數至少要達到模型門檻,底線是 10,000;最大單注平方占注額平方和不超過 1%,限制單注對變異數的影響。付費局用下注額,免費局用配到的名目注額,標準誤是模型變異數乘注額平方和再開根號、除以總注額。
一天檢定多組假設會增加誤報機會,所以用 Bonferroni 修正,整天的名目誤報率設為 1%。這個修正可能偏保守,單一檢定的常態近似仍要成立,理論值落在信賴區間外才算偏離。結果分成 ready、insufficient_sample、incomplete_window、model_unavailable,封存後不能改,應用程式的資料庫角色也沒有更新權限。
新版程式碼已拿掉舊規則。
示範模型未通過驗收
這套信賴區間靠常態近似。示範模型的 Monte Carlo 誤報檢查預先固定種子,跑 10,000 次試驗,每次一組 10 個假設、每個 10,000 等額下注局,整組有任何誤報就算一次;Wilson 單側 95% 上界不能超過 1.5%,名目誤報率是 1%。
示範 slot 登記結果是 406 次誤報,上界 4.4%,沒過。大獎機率是 1/125,000,10,000 局多半碰不到,這個分布的常態近似低估了尾端。migration 把它標成未驗證,完整視窗回 model_unavailable,實際 RTP 照樣列出。
在 Mac 上重跑專案慢速測試,一樣是 406/10,000、上界 4.40%。偵測力檢查通過:正、負 5 個百分點的偏差在 10 萬有效局時,偵測率分別是 98.96% 與 98.39%,門檻是 90%。
我用 Python 重跑同一個分布,種子不同,數字略有差異,結論相同。用 OrbStack 的 python:3.13.18-slim 容器重跑,輸出如下:
"""The project's three-reel demo slot, checked two ways.
Reel weights 1, 3, 6, 12, 28 out of 50 on each of three reels; three of a kind
pays 500, 80, 25, 10 or 4.3 times the stake, anything else pays nothing.
"""
import math
import numpy as np
weights = np.array([1, 3, 6, 12, 28]) / 50
pays = np.array([500, 80, 25, 10, 4.3])
p_win = weights ** 3
prob = np.append(p_win, 1 - p_win.sum()) # last outcome: no win
mult = np.append(pays, 0.0)
mean = float(mult @ prob)
sd = math.sqrt(float((mult - mean) ** 2 @ prob))
print(f"RTP {mean:.7f} per-round SD {sd:.4f}")
rng = np.random.default_rng(42)
TRIALS = 10_000
def rtp_samples(n, shape):
return rng.multinomial(n, prob, size=shape) @ mult / n
# 1. The first rule: 10,000 rounds, alert if |actual - theory| > 1.5 points.
obs = rtp_samples(10_000, TRIALS)
print(f"old rule, 10,000 rounds: false alerts {np.mean(np.abs(obs - mean) > 0.015):.4f}"
f" (normal approx {math.erfc(0.015 / (sd / 100) / math.sqrt(2)):.4f})"
f" below theory {np.mean(obs < mean):.4f}")
print(f"rounds for 1% false alerts on a 1.5-point band: {math.ceil((2.5758 * sd / 0.015) ** 2):,}")
# 2. The replacement: a daily family of 10 hypotheses, two-sided, Bonferroni at 1%.
z = 3.2905267 # normal quantile 1 - 0.01 / (2 * 10)
for n in (10_000, 50_000, 200_000):
fam = rtp_samples(n, (TRIALS, 10))
se = sd / math.sqrt(n)
rate = np.mean(np.any(np.abs(fam - mean) > z * se, axis=1))
print(f"family of 10, n = {n:>7,}: any false alert {rate:.4f} (target 0.0100)")
RTP 0.9578688 per-round SD 2.8591
old rule, 10,000 rounds: false alerts 0.5785 (normal approx 0.5998) below theory 0.5211
rounds for 1% false alerts on a 1.5-point band: 241,046
family of 10, n = 10,000: any false alert 0.0386 (target 0.0100)
family of 10, n = 50,000: any false alert 0.0186 (target 0.0100)
family of 10, n = 200,000: any false alert 0.0122 (target 0.0100)
這次模擬的第一版誤報率是 57.9%,常態近似是 60.0%;新版公式在 10,000 等額下注局時整組誤報 3.86%,接近專案記錄的 4.06%。拉到 20 萬局是 1.22%,Wilson 上界 1.41%,低於 1.5%,但這次探索結果還不能當成新版模型的驗收。
規範的方向
GLI-19 第 4.0 版附錄 A.5.2 要求按遊戲的波動度與玩量訂監控頻率、量測期間與容許偏差。英國博弈委員會的 testing strategy 說波動度是設定每款遊戲容許值的關鍵參數,live RTP 指引也說玩量少時容許值要寬,玩量增加才收窄。第一版的固定容許值沒反映這兩項,這些文件也沒指定這篇的檢定方法。
還沒解決的
model_unavailable 期間仍查得到實際 RTP,只是沒有信賴區間與偏離告警。常態近似不可信時,與其每天發一堆不能信的告警,我寧可系統直接說還不能判斷。賠付表載錯或版本不對,這項自動判斷發現不了,逐局記下的數學版本與 hash 可以另外核對。
示範 slot 可以評估提高樣本門檻或改用其他區間,再重新驗收,目前還沒採用。
補充筆記
- 第一版預設看近 7 天,同遊戲同幣別滿 10,000 注、偏差超過 1.5 個百分點時標示告警;示範 slot 每局 SD 2.859,剛滿 10,000 注時等額下注重跑誤報 57.9%。
- 按常態近似,同一個 1.5 個百分點在 10 萬注時誤報約 9.7%,壓到 1% 單一視窗約需 24 萬局。
- 新版按 UTC 日分組登記假設,Kish 有效樣本數底線是 10,000,最大單注平方占注額平方和不超過 1%,Bonferroni 的整天名目誤報率是 1%。
- 示範 slot 的 Monte Carlo 記錄是 406/10,000、Wilson 上界 4.4%(重跑專案測試結果相同),未通過驗收,完整視窗回 model_unavailable。
- model_unavailable 仍保留實際 RTP,偏離告警停用,版本與 hash 可以另外核對。
延伸閱讀
- GLI〈GLI-19 Standards for Interactive Gaming Systems v4.0〉(2026-11-03):測試實驗室標準,附錄 A.5.2 規定依波動度與玩量訂監控門檻。
- UK Gambling Commission〈Testing strategy: Live RTP monitoring〉:主管機關配套文件,波動度是容許值的關鍵參數。
- UK Gambling Commission〈Live return to player performance monitoring〉:主管機關指引,容許值隨玩量收窄。
- Wikipedia〈Bonferroni correction〉:百科條目,多重檢定時把顯著水準除以檢定數。
- Wikipedia〈Design effect〉:百科條目,整理 Kish 1965 年的 design effect 與有效樣本數,列出不等權重公式。
- Wikipedia〈Binomial proportion confidence interval〉:百科條目,Wilson score interval 的公式。
- Wikipedia〈Berry–Esseen theorem〉:百科條目,常態近似誤差和第三絕對動差的關係。
想法與技術判斷出自 Sheng,和 Claude 一起起草 · 範例以 Python 3.13.18、numpy 2.5.3 實測(雲端 Linux 與 OrbStack 容器),專案 Monte Carlo 測試以 Go 1.27.3 重跑;工具:Claude Code(Opus 5.5、Fable 5.1)、Codex(gpt-6-astra)、Grok CLI。