科大訊飛摘得ICFHR 2020數(shù)學(xué)公式識別挑戰(zhàn)賽冠軍

　　提起科大訊飛，人們總津津樂道于“讓機(jī)器能聽會說”的先進(jìn)智能語音技術(shù)。其實除此之外，科大訊飛的“攻城獅們”也一直致力于讓機(jī)器“能看會認(rèn)”。

　　近日，科大訊飛A.I.研究院聯(lián)合中科大語音及語言信息處理國家工程實驗室，以顯著優(yōu)勢獲得ICFHR 2020 OffRaSHME數(shù)學(xué)公式識別挑戰(zhàn)賽冠軍。這是科大訊飛繼ICPR 2018 MTWI圖文識別挑戰(zhàn)賽上獲得三項冠軍、ICDAR 2019 CROHME數(shù)學(xué)公式識別挑戰(zhàn)賽上獲得兩項冠軍后，在復(fù)雜版面文檔圖像識別理解方向上所取得的又一佳績，再次展現(xiàn)科大訊飛在相關(guān)領(lǐng)域的技術(shù)先進(jìn)性。

離線手寫數(shù)學(xué)公式識別(官方數(shù)據(jù))榜單

離線手寫數(shù)學(xué)公式識別(外源數(shù)據(jù))榜單

　　備注：“Correct”表示公式識別的句正確率，“”和分別表示整條公式中允許出現(xiàn)1處和2處錯誤的識別的句正確率

　　技術(shù)頂天，掌握圖文識別“金字塔”級別難題“解法”

　　此次OffRaSHME(Offline Recognition and Spotting of Handwritten Mathematical Expressions)數(shù)學(xué)公式識別挑戰(zhàn)賽由ICFHR 2020(International Conference on Frontiers of Handwriting Recognition)舉辦，參賽隊伍包括韓國三星、東京農(nóng)工大學(xué)、華南理工大學(xué)、中山大學(xué)等多家常年深耕文檔分析理解領(lǐng)域的研究機(jī)構(gòu)。

　　相比于常規(guī)的圖文識別，對數(shù)學(xué)公式的識別難度和技術(shù)挑戰(zhàn)往往更高。本次OffRaSHME官方比賽任務(wù)為“離線手寫數(shù)學(xué)公式識別”，該任務(wù)相比ICDAR 2019 CROHME的離線手寫公式識別任務(wù)，難度再度升級，有以下三大難點：

　　公式結(jié)構(gòu) 復(fù)雜， 尤其是各種結(jié)構(gòu)的嵌套 ：

　　難以辨別的形近字符 ， 如 X 和 x ， Z 和 2 ， 和 r ：

　　本次比賽添加了很多非常規(guī)符號的組合 ， 容易和公式混淆 ：

　　難度雖高，但這樣的任務(wù)對于科大訊飛來說并不算陌生。

　　基于在手寫數(shù)學(xué)公式識別領(lǐng)域深耕多年的技術(shù)積累，科大訊飛從基于上下文無關(guān)文法的傳統(tǒng)數(shù)學(xué)公式方法到創(chuàng)新性地提出基于 LaTeX 建模的 Encoder-Decoder 識別算法 ，其中，LaTeX作為最常用的數(shù)學(xué)公式表達(dá)之一，研究人員將數(shù)學(xué)公式識別問題看作圖像到LaTeX序列的翻譯問題，借助注意力機(jī)制實現(xiàn)更精準(zhǔn)的端到端識別能力，該方案在2019 CROHME中一舉打敗了常年占據(jù)CROHME冠軍地位的MyScript。

　　而針對數(shù)學(xué)公式識別中最難的復(fù)雜結(jié)構(gòu)嵌套問題，科大訊飛提出了基于樹形結(jié)構(gòu)信息建模的 Encoder-Decoder 識別算法 ，這種算法在復(fù)雜公式結(jié)構(gòu)嵌套上更具泛化能力。針對形近符號區(qū)分難度大的問題，科大訊飛提出使用基于 LaTeX 語言模型的數(shù)據(jù)增強(qiáng)策略 ，利用數(shù)學(xué)公式的樹形結(jié)構(gòu)表達(dá)，合理地拆分分解數(shù)學(xué)公式，并利用這些公式訓(xùn)練LaTeX語言模型，最后使用語言模型增強(qiáng)出合理的、符合上下文語義關(guān)聯(lián)的數(shù)據(jù)，該策略可以很大程度上緩解形近符號識別困難的問題。

　　通過以上多項技術(shù)能力的綜合運(yùn)用，此次科大訊飛以顯著優(yōu)勢拿下了此次任務(wù)難度極高的數(shù)學(xué)公式識別挑戰(zhàn)賽冠軍，證明了其在數(shù)學(xué)公式識別領(lǐng)域的技術(shù)先進(jìn)性；在實際應(yīng)用中，學(xué)生作業(yè)試卷文檔存在版面結(jié)構(gòu)復(fù)雜、書寫風(fēng)格差異顯著等難點問題，這一系統(tǒng)將為其提供更為豐富有效的解決方案。

　　通過多項技術(shù)能力的綜合運(yùn)用，在“能看會認(rèn)”上，科大訊飛做得更好了！不僅能識別更復(fù)雜的數(shù)學(xué)公式，還能做到“中文+數(shù)學(xué)公式”混合搭配的內(nèi)容識別，此后將在更多A.I.產(chǎn)品中應(yīng)用。

　　應(yīng)用立地 ， 打造 “能看會認(rèn)”的 A.I. 產(chǎn)品

　　在數(shù)學(xué)公式識別比賽之外，近期科大訊飛還在另一項自然場景的文字檢測分割識別的相關(guān)技術(shù)成果在ICDAR ReCTS(Reading Challenge on Reading Chinese Text on Signboard)評測任務(wù)取得顯著突破，刷新單字識別、文本行識別、文本行檢測和端到端識別全部四項榜單世界記錄，使得系統(tǒng)在解決復(fù)雜場景下文字檢測和識別的難題中更為游刃有余。

　　這些成績并非一簇而就。

　　事實上，科大訊飛在圖文識別領(lǐng)域已有多年核心技術(shù)積累，擁有自主知識產(chǎn)權(quán)，并伴隨著每次技術(shù)迭代，產(chǎn)品都迎來大規(guī)模更新升級，更好滿足用戶在多個場景下使用需求。

　　2015年，輕量級的 卷積神經(jīng)網(wǎng)絡(luò) 首次在手機(jī)設(shè)備上使用，使得在線手寫字符識別任務(wù)上取得突破性進(jìn)展。依托此項技術(shù)，訊飛輸入法 用戶手寫輸入體驗感顯著提升。

　　2016年，CNN-HMM 框架 在文本行識別任務(wù)中得到成功應(yīng)用，該套系統(tǒng)無需進(jìn)行文本行切分等規(guī)則化的復(fù)雜版面分析，有效避免切分帶來的錯誤，使得篇章級的中、英文手寫文檔識別效果達(dá)到人工相當(dāng)水平。依托此項技術(shù)，科大訊飛智能輔助評卷系統(tǒng)能夠?qū)φZ文作文、英語作文、英語翻譯、數(shù)學(xué)填空、英語填空等題型進(jìn)行輔助評卷，應(yīng)用全國多省市的中高考，累計處理題卡數(shù)量過億張。

　　2018年，基于注意力機(jī)制的 Encoder - Decoder 模型 在自然場景文字識別任務(wù)上大放異彩，融合語言模型進(jìn)行端到端訓(xùn)練，使得拍照模糊的文字也能通過語言模型“聯(lián)想”而被正確識別。依托此項技術(shù)，在訊飛翻譯機(jī) 中，對復(fù)雜場景下的多種字體也能一拍即譯，讓拍照翻譯更清晰更準(zhǔn)確，能夠滿足更多消費者在國外旅游、購物的場景應(yīng)用需求。

　　今年，在數(shù)學(xué)公式識別任務(wù)的諸多關(guān)鍵技術(shù)上繼續(xù)突破，相關(guān)核心技術(shù)也將應(yīng)用在訊飛 智能 學(xué)習(xí)機(jī) 等產(chǎn)品中，幫助用戶精確地進(jìn)行大數(shù)據(jù)學(xué)情分析，找到知識點的薄弱項，實現(xiàn)“個性化精準(zhǔn)學(xué)”，幫助廣大同學(xué)提升學(xué)習(xí)效率、鞏固學(xué)習(xí)效果。

　　在技術(shù)應(yīng)用的過程中，手寫圖文識別也與智能語音等關(guān)鍵技術(shù)深度融合，讓大家切實感受到技術(shù)進(jìn)步帶來的高效、便利性。如“出口成章，躍然紙上”的訊飛智能辦公本 ，可以實現(xiàn)語音直接搜索手寫筆記內(nèi)容，“一句話找到手寫筆記”，滿足用戶在更多筆記場景下的記錄、寫作、搜索、多端同步需求，有效提高辦公效率。

　　在即將到來的618年中大促中，還有更多產(chǎn)品將和大家見面，大家可以進(jìn)一步、零距離體驗這些新技術(shù)。

　　堅守人工智能道路21年，科大訊飛不斷攀越技術(shù)高峰，在智能語音、計算機(jī)視覺、自然語言理解等技術(shù)領(lǐng)域摘得一項又一項桂冠，但這并不是終點?？拼笥嶏w將始終秉承“頂天立地”的技術(shù)信仰，打造一件件“能聽會說”、“能看會認(rèn)”、“能理解會思考”的人工智能產(chǎn)品，用人工智能點亮人間煙火。

　　轉(zhuǎn)自：北國網(wǎng)

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時須獲得授權(quán)并注明來源“中國產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個人觀點，不代表本網(wǎng)觀點和立場。版權(quán)事宜請聯(lián)系：010-65367254。

延伸閱讀