黃金測試集工作台
換模型、改指令前後,用同一份題目驗證 AI 助理
尚未連線

連線到你的 MaiAgent 組織

只要填一次。工作台只會讀寫你填的這個組織;金鑰只放在你這台電腦的瀏覽器裡,工作台伺服器不保存。

A怎麼找組織網址
  1. 用瀏覽器登入 MaiAgent 後台。
  2. 如果你同時屬於好幾個組織,先在左上角切換到要測試的組織,再重新整理頁面。
  3. 複製瀏覽器網址列的整串網址,貼到「組織網址」欄位。

也可以直接貼組織 ID。

B怎麼取得 API 金鑰
  1. 確認左上角是要測試的組織(金鑰會建在目前所在的組織)。
  2. 點右上角頭像 → 帳號 → API 金鑰。
  3. 按「建立金鑰」(第一次是「建立第一把金鑰」),輸入名稱,例如「黃金測試集工作台」,到期時間可不填。
  4. 把畫面上的完整金鑰複製下來,再按「確認關閉」。
  • 完整金鑰只顯示這一次,關掉就看不到;遺失了就撤銷舊的、重建一把。
  • 金鑰的權限等於你在這個組織的角色,你在後台看不到的資料,工作台也讀不到。
  • 組織管理者也可以在組織設定 → API Key 管理 → 建立 API Key替成員產生金鑰。

工作台怎麼用六個步驟,從題庫到比對報告;比對完把問題修好,再回到「執行測試」驗證

  1. 1

    連線

    填組織網址與 API 金鑰

    確認連到你的組織
  2. 2

    匯入題目

    上傳 Excel/CSV 或直接貼上,自動清理、去重、分類

    測試集題目
  3. 3

    補標準答案

    選知識庫與草擬方式,AI 先寫答案草稿

    標準答案草稿
  4. 4

    點選審核

    逐題確認、修改或停用,標出邊界題

    人工確認的黃金測試集
  5. 5

    執行測試

    勾現行版(A)與新版本(B),評審模型逐題打分

    每題分數與通過率
  6. 6

    比對結果

    只看兩版結果不同的題目,逐題判讀

    比對報告(Excel/PDF)與修正建議
修好知識庫或指令後,回到 5 執行測試 再驗證一次

什麼時候用:換模型前後改 AI 助理指令前後更新知識庫前後上線前驗收

建立新測試集

確認