連線到你的 MaiAgent 組織
只要填一次。工作台只會讀寫你填的這個組織;金鑰只放在你這台電腦的瀏覽器裡,工作台伺服器不保存。
A怎麼找組織網址
- 用瀏覽器登入 MaiAgent 後台。
- 如果你同時屬於好幾個組織,先在左上角切換到要測試的組織,再重新整理頁面。
- 複製瀏覽器網址列的整串網址,貼到「組織網址」欄位。
也可以直接貼組織 ID。
B怎麼取得 API 金鑰
- 確認左上角是要測試的組織(金鑰會建在目前所在的組織)。
- 點右上角頭像 → 帳號 → API 金鑰。
- 按「建立金鑰」(第一次是「建立第一把金鑰」),輸入名稱,例如「黃金測試集工作台」,到期時間可不填。
- 把畫面上的完整金鑰複製下來,再按「確認關閉」。
- 完整金鑰只顯示這一次,關掉就看不到;遺失了就撤銷舊的、重建一把。
- 金鑰的權限等於你在這個組織的角色,你在後台看不到的資料,工作台也讀不到。
- 組織管理者也可以在組織設定 → API Key 管理 → 建立 API Key替成員產生金鑰。
工作台怎麼用六個步驟,從題庫到比對報告;比對完把問題修好,再回到「執行測試」驗證
- 1
連線
填組織網址與 API 金鑰
確認連到你的組織 - 2
匯入題目
上傳 Excel/CSV 或直接貼上,自動清理、去重、分類
測試集題目 - 3
補標準答案
選知識庫與草擬方式,AI 先寫答案草稿
標準答案草稿 - 4
點選審核
逐題確認、修改或停用,標出邊界題
人工確認的黃金測試集 - 5
執行測試
勾現行版(A)與新版本(B),評審模型逐題打分
每題分數與通過率 - 6
比對結果
只看兩版結果不同的題目,逐題判讀
比對報告(Excel/PDF)與修正建議
修好知識庫或指令後,回到 5 執行測試 再驗證一次
什麼時候用:換模型前後改 AI 助理指令前後更新知識庫前後上線前驗收
匯入題目
把題庫丟進來就好:Excel、CSV、或直接貼上(一行一題)。工作台會自動清理、去掉重複、分好類別。
1選擇題庫檔案
拖曳檔案到這裡,或
支援 .xlsx、.xls、.csv、.txt;客服紀錄匯出檔也可以
2清理結果工作台已經自動排除的題目,不用另外處理
3欄位對照告訴工作台:你的檔案裡哪一欄是「題目」、哪一欄是「標準答案」、哪一欄是「類別」
工作台已經先自動判斷好,通常不用改。如果判斷錯了(例如把「題號」當成題目),在下拉選單改成正確的欄位名稱;檔案裡沒有的欄位選「不使用」。
4很像的題目只差幾個字的題目常是故意的變化(例如「取消」和「修改」),請確認要不要合併
5預覽與分類每一題的自動分類;分錯了直接在表格改,也可以「+ 新增類別」
補標準答案
只處理還沒有標準答案的題目,已經有答案的不會被改動。AI 寫的都是草稿,下一步由你點選確認。
1選知識庫AI 會從這些知識庫找依據(「請 AI 助理先回答」不需要選)
連線後載入知識庫…
2選草擬方式開始前都會先估算花費,確認後才執行
建議
平台 AI 草擬
平台從知識庫找出最相關的段落寫草稿,依據段落存在平台上。
- 模型
- 平台預設評測模型
- 可否指定
- 不行,由平台決定
- 用量
- 每題一次模型呼叫
自選模型草擬
工作台先搜尋知識庫,再用你選的模型寫草稿(經 AI Gateway)。可以選便宜的模型省用量。
- 用量
- 每題一次知識庫搜尋+一次模型呼叫
請 AI 助理先回答
用現行 AI 助理回答每一題,把回覆當草稿。適合沒有前兩種功能的環境,或想以現行回覆為基準。
- 用量
- 每題一次完整對話(含檢索),三種裡最多
草擬中
點選審核
這個篩選條件下沒有題目了 🎉
AI 草擬依據的段落
鍵盤:A 或 Enter 確認採用 · X 不用 · S 稍後 · ← 上一題 · B 邊界題 · F 答案會變動 · 數字鍵換類別(兩位數連按,例如 1 0) · E 改答案(改完按 ⌘/Ctrl+Enter)
執行測試
勾要比的 AI 助理(例如「現行版」和「換新模型」),按一次就同時跑。每一題的回覆會由評審模型對照標準答案打分。
1測試範圍
2要測的 AI 助理先勾的是現行版(A),後勾的是新版本(B)
3評分方式
比對結果
選「現行版」和「新版本」兩次測試。兩邊結果一樣的題目會收起來,只留下結果不同的題目給你判讀;判讀完,下方「下一步」會帶你把問題修好、再驗證。
各類別