大模型參加高考，能考多少分？近日，科技創(chuàng)新交流平臺極客公園發(fā)布高考新課標Ⅰ卷大模型評測報告，在參試大模型中，GPT-4o以562分的成績排名文科第一。參加評測的8款國產(chǎn)大模型中，字節(jié)跳動旗下的豆包成績是542.5分，其后依次是百度文心一言4.0的537.5分和百川智能“百小應”的521分。本次大模型高考評測與河南省考卷完全相同，以上3款國產(chǎn)大模型均超過河南文科一本線521分。GPT-4o的562分在河南文科考生中可排名8811名，相當于前2.45%；豆包處于前4.27%，接近頂尖大模型的水平。
文綜評測中，GPT-4o獲237分，優(yōu)于多數(shù)人類考生。國產(chǎn)大模型中，豆包文綜成績最高，得分224.5分，其中歷史達到82.5分，在所有9款大模型中排第一。地理考卷有大量圖片考題，圖像理解能力較強的GPT-4o得到最高分，但僅有68分。
語文、英語評測中，多家大模型在客觀題上拿滿分。但寫作文是弱項。多次參加全國高考語文閱卷的北京市級骨干教師、懷柔區(qū)語文學科帶頭人夏老師是本次評測的作文閱卷人。她認為，“AI作文有清晰完整的結(jié)構(gòu)，有邏輯性，語言通順流暢，但缺乏感情和感染力”。同理，在40分的英語寫作考試中，大模型的最高分只有29分，主要丟分在表達空泛、缺少細節(jié)上。
值得注意的是，大模型高考呈現(xiàn)出嚴重的偏科現(xiàn)象：數(shù)學、物理、化學等數(shù)理學科全線不及格，總分最高分不到480。而河南理科一本線是511分。最頂尖的大模型無法進入理科考生的前30%。
數(shù)學評測中，僅GPT-4o、文心一言4.0和豆包獲得60分以上成績（滿分150分）。大模型能準確運用求導公式和三角函數(shù)定理，但面對較為復雜的推導和證明問題就很難得分。物理有一道送分的選擇題，人類考生根據(jù)“時間不會倒流”可以輕易選對答案，大模型則全軍覆沒。
“目前的大語言模型本質(zhì)上是文字接龍，基于海量資料，預測下一個最可能出現(xiàn)的詞句。通過不斷預測，生成連貫和完整的文本。應對文科考試，大模型的用詞不準或用了近義詞，不太影響評分。但理科考試考驗推理和計算，比如一道題有五步推理，大模型走偏一步，答案就全錯。而且大模型的訓練數(shù)據(jù)中，文科語料要遠遠大于理科語料?！眹鴥?nèi)一位大模型研發(fā)專家告訴科技日報記者。
近期，有一些國內(nèi)外大模型在奧數(shù)題評測（非奧數(shù)現(xiàn)場比賽）上拿到不錯的成績。對此，該專家解釋，用大家都訓練過的公開數(shù)據(jù)集評測，大模型的準確率很高；但用比較新的數(shù)據(jù)集去測試，準確率就大大下降。最新的高考題是哪家大模型都沒有訓練過的，考驗的是數(shù)學推理和計算的泛化能力，這就暴露了大模型的短板。
北京大學計算語言學研究所教授穗志方近日也表示，大模型在中國高考、公務員考試和美國SAT考試等標準化考試中的表現(xiàn)是優(yōu)劣兼具的。一些大模型在SAT數(shù)學測試中表現(xiàn)優(yōu)異，但在復雜推理或特定知識領(lǐng)域中的表現(xiàn)不夠出色。
“在大模型內(nèi)在機理沒有探究清楚的情況下，我們目前的評測路徑只能依靠從外部表現(xiàn)來推測內(nèi)在能力?！彼胫痉秸f，未來應發(fā)展更系統(tǒng)的評測大綱、更具挑戰(zhàn)的評測任務、更科學的評測方法。AI是否比人類更適合考試？尚未可定論。
（責任編輯：梁艷）
晉公網(wǎng)安備 14090202000008號 
