📊 AegisAI L2 · 實測報告

詐騙偵測實測數據

聊天訊息級 · 繁體 · 社交工程詐騙 ｜ 測試集 26,137 則（詐騙 10,389）· 2026-05-22 · 數字由模型現場重算

0.981
fastText 整體 F1
98.5%
整體辨識率
2.4%
整體誤報率
0.892
YAML 規則 F1
// 01 · KEY FINDING

最重要的發現：資料對不對 > 模型多強

✗ 用錯資料（ChiFraud 網頁廣告）

漏 100%

ChiFraud 訓練的模型，測真實對話詐騙（Fraud-R1）→ 辨識率僅 0.1%。模型學的是「微信号／賣貨」廣告詞，看不懂禮貌的社交工程。

✓ 用對資料（對話型詐騙）

抓 100%

同一套 pipeline，改用對話詐騙資料重訓 → Fraud-R1 社交工程辨識率 99.6%、誤報 <3%。證明方法可行。

// 02 · BY SOURCE

逐來源辨識率（兩個模型）

資料來源類型樣本fastTextYAML 規則
Fraud-R1 社交工程詐騙2,559
99.6%
84.3%
辨識率
SMS 廣告詐騙詐騙3,993
98.2%
78.6%
辨識率
ChiFraud 廣告詐騙3,834
98.1%
88.8%
辨識率
SMS 正常正常9,968
0.8%
2.0%
誤報率
ChiFraud 正常正常5,783
3.0%
3.9%
誤報率

讀法：詐騙來源看「辨識率」（越高越好）、正常來源看「誤報率」（越低越好）。fastText 在最難的 Fraud-R1 社交工程上辨識率最高；規則略低但可解釋、可維護。

// 03 · TWO MODELS

兩個模型，相輔相成

①

YAML 規則

關鍵字／加權（log-odds 正負分）／AND 邏輯組合。可解釋、可維護、極輕、可遠端即時改。缺點：靜態，需持續餵新話術。

②

fastText（.ftz ~6MB）

char-level 量化模型，端上（WASM／Native）可跑、機率泛化、抓字面外變體。缺點：黑盒（可用 occlusion 反查理由）。

合用＝級聯：AI 先判 + 規則補抓，分級 block（低誤報）／warn（撈長尾）。

// 04 · HONEST LIMITS

誠實的限制（別過度樂觀）

  • ① 上面是 in-domain 樂觀值：Fraud-R1 為 LLM 生成、風格一致（雖按案例 held-out）。真實世界全新人為話術會更低。
  • ② 要有上線信心，需真實多樣的台灣對話詐騙語料（AegisTalk 使用者回報、165 curation）—— 由 AegisTrack 持續收集。
  • ③ 詐騙話術逐年漂移，門檻與模型需定期重訓重校。
// 05 · DATA

資料來源

來源內容用途
Fraud-R1多輪對話詐騙（冒充／釣魚／養套殺／假徵才／假服務）社交工程正樣本
中文 SMS 80萬spam／ham 標註簡訊短訊息 正／負樣本
ChiFraud網頁廣告詐騙 + 正常長文廣告正樣本 + 長正常負樣本
全部opencc s2twp 轉繁體對齊台灣產品

AegisAI · 資料收集由 AegisTrack 持續供給

← 回 AegisTalk 產品頁