近日，中國工業(yè)互聯(lián)網(wǎng)研究院發(fā)布新一輪的《人工智能大模型工業(yè)應用準確性測評》報告。該項研究由中國工業(yè)互聯(lián)網(wǎng)研究院聯(lián)合香港科技大學(xué)，跟蹤近一年來(lái)大模型技術(shù)進(jìn)展，結合工業(yè)企業(yè)大模型應用情況調研，總結八類(lèi)典型應用場(chǎng)景，針對國內外具有代表性的大模型開(kāi)展測試。
創(chuàng )新奇智AInno-75B工業(yè)大模型在所有參測的國內外大模型中，取得綜合排名第6的佳績(jì)。在場(chǎng)景測評中，AInno-75B的文檔生成能力名列第1，在工業(yè)知識問(wèn)答、工程建模、數據分析、代碼理解能力等方面亦有優(yōu)異表現。
如下展示部分場(chǎng)景測評樣例：
文檔生成評測樣例
問(wèn)題示例：
閱讀以下觀(guān)點(diǎn)，回答你是否同意，如果你不同意，請說(shuō)明哪種情況會(huì )削弱下面的觀(guān)點(diǎn)：
過(guò)去的一年， QM的工傷事故比鄰近的工廠(chǎng)多 $30 \%$, 鄰近工廠(chǎng)每班工作時(shí)間比我們公司短 1 小時(shí)。專(zhuān)家稱(chēng)許多工傷事故的主要原因是疲勞和睡眠不足。因此， 為減少QM的工傷事故數量， 從而提高生產(chǎn)效率， 我們需要把 3 個(gè)班次的工作時(shí)間縮短 1 小時(shí)， 這樣我們的員工可以獲得充足的睡眠。
評分標準：
總結提煉后，評分標準如下：
(1) 兩家公司是否具有可比性， 沒(méi)有給出具體的分析...
(2) 去年的情況今年是否依然持續...
(3) 倒班時(shí)間縮短一小時(shí)，不能保證員工獲得充足的睡眠；
(4) 即便縮短倒班時(shí)間能夠保證員工獲得充足的睡眠，員工的工傷數量也并不一定會(huì )下降...
對于以上四點(diǎn)，每個(gè)分論點(diǎn)在作文中有所體現得1分，共計4分。
工業(yè)知識問(wèn)答評測樣例
問(wèn)題示例：
你知道哪些常用邏輯電平？TTL與CMOS電平可以直接互連嗎？
評分標準：
(1) 常用邏輯電平包括：12V，5V，3.3V。（1分，給出標準中同樣或近似的回答則得1分，否則不得分。）
(2) TTL和CMOS電平是否可以直接互連：不可以直接互連。（1分，給出標準中同樣或近似的回答則得1分，否則不得分。）
(3) TTL和CMOS電平互連的條件：CMOS輸出可以直接接到TTL，而TTL接到CMOS需要在輸出端口加一上拉電阻接到5V或者12V。（1分）
本題共3小項，每個(gè)小項1分，滿(mǎn)分3分。對于每個(gè)小項，如果描述有差距，或者詳細程度不足，酌情給0.3或者0.5分或者0.8分。
工程建模測評樣例
問(wèn)題示例：
某公司在2018年年初預訂x萬(wàn)產(chǎn)量的目標，2018年6月已完成計劃的60%，此后按照上半年月均產(chǎn)量生產(chǎn)，則2018年超出計劃產(chǎn)量300萬(wàn)。那么該公司2018年年初預訂的產(chǎn)量為多少萬(wàn)元？
評分標準：
1. 如果能正確列出完成計劃的60%即為 $0.6x$ 萬(wàn)的關(guān)系，得1分；
2. 如果能正確列出下半年產(chǎn)量也為 $0.6x$ 萬(wàn)的關(guān)系，得1分；
3. 如果能正確列出并解方程 $0.6x + 0.6x - x = 300$，得1分；
4. 如果能正確解出 $x=1500$，得1分；
本題共四個(gè)得分點(diǎn)，滿(mǎn)分為4分，得分情況為（得分/滿(mǎn)分）。
數據分析測評樣例
問(wèn)題示例：
您需要撰寫(xiě)一份簡(jiǎn)短的報告，介紹下面的圖表/表格/圖形的主要特征。您應該執行以下任務(wù)：概括數據，描述過(guò)程的各個(gè)階段等等，請使用中文進(jìn)行撰寫(xiě)。下表為2001—2010年幾種型號電話(huà)年產(chǎn)量。
評分標準：
(1). 文章對比了2001年至2010年幾種電話(huà)的年均產(chǎn)量變化。（1分，如果有相關(guān)的全局性描述，則得1分，否則不得分。）
(2). 在這10年期間，B電話(huà)穩步下降，而A電話(huà)支出迅速增長(cháng)。（1分必須有B穩步下降的描述，且有A電話(huà)迅速增長(cháng)的描述性語(yǔ)言，只給出數據不進(jìn)行對比描述不得分。）
(3). 2007年是A產(chǎn)量超過(guò)B電話(huà)產(chǎn)量的轉折點(diǎn)。（1分，必須指出2007年A電話(huà)超過(guò)B的關(guān)鍵節點(diǎn)，只給出數據不描述不得分）（4)... (5)...
本題共5小項，對于每個(gè)小項，如果學(xué)生的回答中有和該項一致的語(yǔ)句，則得1分，如果描述有差距，或者詳細程度不足，酌情給0.3或者0.5分或者0.8分。
代碼理解測評樣例
問(wèn)題示例：
回答下列選擇題，并給出解析。下列代碼中存在什么安全問(wèn)題？
public void doPost(HttpServletRequest request, HttpServletResponse response)
throws ServletException, IOException {javax.servlet.http.Cookie[] theCookies = request.getCookies();
...
java.util.Properties benchmarkprops = new java.util.Properties();
String algorithm = "MD5";
java.security.MessageDigest.getInstance(algorithm);
byte[] input = {(byte) '?'};
Object inputParam = param;
if (inputParam instanceof String) input = ((String) inputParam).getBytes();}
評分標準：
代碼中使用已知的弱哈希算法MD5，代碼如下：
String algorithm = "MD5";
java.security.MessageDigest md = java.security.MessageDigest.getInstance(algorithm);
弱哈希算法有MD5、SHA-1 和 SHA-2 等哈希函數。
（回答中如果能指出安全問(wèn)題是弱哈希算法得1分，否則不得分）
文檔生成測評樣例文檔生成評測樣例