學生作業完美到可疑？紐約大學教授打造「AI考官」以毒攻毒

大學示意圖，非新聞當事人。圖／聯合報系資料照片

一名紐約大學史登商學院（Stern School of Business）教授帕諾斯・伊佩羅蒂斯（Panos Ipeirotis）在個人部落格發文表示，由於學生的作業「好到有點可疑」，其完美程度逼近麥肯錫備忘錄，因此他決定在課堂上隨機抽點學生，詢問他們作業相關問題，結果他們支支吾吾、回答不出來。這說明學生交出的資料與真實的認知有所落差，他們沒有真的理解所學的知識，只是爲了得高分，而打造看起來專業的內容，實質卻沒有吸收。

爲了不讓學生過於依賴AI、把搭便車心態視爲常態，伊佩羅蒂斯決定把期末考改成口試，並且「以毒攻毒」，用AI對付AI：採用ElevenLabs 的對話語音技術，打造AI考官，教授只要寫下提示詞（Prompt），描述代理人該問什麼問題，即設定完成。

口試過程分成兩部分，首先會由AI考官針對學生繳交的期末專案進行提問，要求學生說明目標、建模選擇、評估等分析過程，接着會隨機挑選課堂案例，請學生立即分析並回答。

評分也是交由AI處理，伊佩羅蒂斯採用3個大型語言模型：Claude、Gemini 和 ChatGPT獨立評估每份口試逐字稿，並讓3個AI互相審查對方的評分、修正分數，併產出最終成績。

這種期末考覈方式在學生間引發討論，只有13%的人喜歡AI口試形式，83%的人認爲這種方式比筆試壓力大。但有趣的是，70%的人認爲AI口試檢驗了他們對知識的實際理解，換言之，學生接受AI口試的結果，但不接受呈現方式。

當然，AI口試並非完美，伊佩羅蒂斯團隊也發現幾個問題，例如AI考官的聲音、一次詢問許多問題、沒有讓學生有思考的時間、缺乏隨機化、被要求重複問題時，換了一種方式改述等等。

即使有需要改善的地方，伊佩羅蒂斯也不打算放棄AI考官，他認爲教授們要不斷改進評估方式，才能真實檢驗學生是否對作業有所貢獻、有所瞭解。「口試」曾因費時費力被淘汰，如今AI使其再次具有應用能力。

延伸閱讀