日前，SuperCLUE發(fā)布首個(gè)中文原生的工業(yè)大模型測評基準（SC-Industry）。創(chuàng )新奇智工業(yè)大模型（奇智孔明AInno-15B-1128）位列國內第1和卓越領(lǐng)導者象限，總分65.2。
圖片來(lái)源：SuperCLUE
工業(yè)場(chǎng)景的特殊性對大模型的性能提出了更高的要求。工業(yè)數據往往包含大量專(zhuān)業(yè)術(shù)語(yǔ)、參數和標準，通用模型難以完全覆蓋。此外，工業(yè)應用對模型的分析推理能力、知識化表示能力等也有獨特的要求。在此背景下，SuperCLUE推出SC-Industry工業(yè)大模型測評基準，旨在從基礎能力和應用能力兩大維度，通過(guò)六大能力對大模型進(jìn)行效果評估，并加入了智能體Agent能力的測評。設計結合國際標準和中文特需，推動(dòng)工業(yè)大模型技術(shù)進(jìn)步與創(chuàng )新。
SuperCLUE對12個(gè)國內外代表性大模型進(jìn)行了測評，結論分析如下：
1. 國際大模型表現依然突出：GPT4-Turbo-0125作為目前國際領(lǐng)先的大模型，在中文工業(yè)測評中總分74.8分，高于其他國內外模型，并且在各項子能力上均有較大優(yōu)勢。
2. 在中文工業(yè)場(chǎng)景中國內模型很有競爭力：可以看到本次上榜的國內模型在工業(yè)基礎能力和應用能力上均表現不俗，如國內最高分的奇智孔明AInno-15B-1128。
3. 國內小模型在工業(yè)場(chǎng)景中表現不俗：奇智孔明AInno-15B-1128, qwen1.5-14b-chat, Baichuan2-13B-Chat均為200億以?xún)葏盗考壞Ｐ?，在工業(yè)測評中均有超過(guò)60分的表現，可見(jiàn)在工業(yè)具體落實(shí)場(chǎng)景中“小模型"可能是一個(gè)不錯選擇。
4. 在高難度任務(wù)上國內模型有較大優(yōu)化空間：難度較高的任務(wù)國內外最好模型具有較大區分度，如【工業(yè)理解計算】、【工業(yè)代碼生成】、【工業(yè)數據分析】任務(wù)上，國內模型依然有較大優(yōu)化空間。