如何將分類器和特征提取器集成到一個統(tǒng)一的模型框架中進行聯(lián)合優(yōu)化學(xué)習(xí)是人工智能算法設(shè)計中的一大挑戰(zhàn)，這將可以充分發(fā)揮特征提取器與分類器的性能，從而使系統(tǒng)的識別精度達到最佳狀態(tài)。

經(jīng)兩年多的嚴格評審，由深圳大學(xué)計算機與軟件學(xué)院計算機視覺所博士生張峻弘同學(xué)為第一作者、導(dǎo)師賴志輝教授為通訊作者，深圳市寶安區(qū)中心醫(yī)院甲乳外科主任孔恒、南京理工大學(xué)教授楊健為合作者完成的論文“”Learning the Optimal Discriminant SVM With Feature Extraction”，近日發(fā)表于計算機、人工智能領(lǐng)域權(quán)威期刊IEEE Transactions on Pattern Analysis and Machine Intelligence（IEEE TPAMI）。該期刊在中國計算機學(xué)會推薦的人工智能領(lǐng)域A類期刊中位列首位，最新影響因子為24.6（2023年），五年平均影響因子26.7，張峻弘同學(xué)為計算機軟件學(xué)院首篇發(fā)表TPAMI論文的在讀學(xué)生。據(jù)公開資料顯示，這是深圳大學(xué)第二篇在讀研究生以第一作者身份在該期刊發(fā)表的研究成果。

為解決上述問題，該文提出了最優(yōu)判別支持向量機（Optimal Discriminant Support Vector Machine，ODSVM）算法，通過設(shè)計判別信息的圖結(jié)構(gòu)保持優(yōu)化問題，將支持向量分類與判別性子空間學(xué)習(xí)無縫地設(shè)計到一個框架中進行聯(lián)合優(yōu)化，以同時獲得最優(yōu)判別子空間和最優(yōu)的SVM分類器，從而使SVM的分類性能達到最佳，從而使其在圖像識別、腫瘤分類等任務(wù)中實現(xiàn)優(yōu)異的性能。

該工作主要貢獻如下：

(1)在模型設(shè)計方面：提出基于圖正則重構(gòu)的判別特征提取準則，并由此設(shè)計了特征提取器與支持向量機分類器的聯(lián)合優(yōu)化學(xué)習(xí)框架，即ODSVM；

(2)在優(yōu)化算法方面：通過交替最小化法、對偶方法等技術(shù)求解二分類與多分類ODSVM問題，特別地，針對多分類情形設(shè)計帶剪枝的序列最小化算法，顯著提高了算法效率，從而可用于較大規(guī)模數(shù)據(jù)；

(3)在理論證明方面：嚴格證明了ODSVM的優(yōu)化算法的全局收斂性，為算法穩(wěn)定性提供了理論保證。本文首次為基于表示學(xué)習(xí)的SVM算法建立了收斂性基礎(chǔ)理論。

圖1.可視化ODSVM學(xué)習(xí)到的特征，不同顏色表示不同類別的數(shù)據(jù)，可見其性能之優(yōu)異。

圖2. ODSVM的收斂性與識別率變化情況。在不同的二分類、多分類任務(wù)中，ODSVM模型的目標(biāo)函數(shù)值能快速單調(diào)下降且收斂，分類準確率呈迅速上升并逼近最高精度。

該研究得到了國家自然科學(xué)基金、廣東省自然科學(xué)基金、深圳市科技計劃重點項目等的資助。論文鏈接與具體信息如下：

Junhong Zhang, Zhihui Lai*, Heng Kong, Jian Yang. Learning the optimal discriminant SVM with feature extraction, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 47, no. 4, pp. 2897-2911, 2025.（https://xplorestaging.ieee.org/document/10840348）