如何將分類器和特征提取器集成到一個統一的模型框架中進行聯合優(yōu)化學習是人工智能算法設計中的一大挑戰(zhàn)，這將可以充分發(fā)揮特征提取器與分類器的性能，從而使系統的識別精度達到最佳狀態(tài)。
經兩年多的嚴格評審，由深圳大學計算機與軟件學院計算機視覺所博士生張峻弘同學為第一作者、導師賴志輝教授為通訊作者，深圳市寶安區(qū)中心醫(yī)院甲乳外科主任孔恒、南京理工大學教授楊健為合作者完成的論文“”Learning the Optimal Discriminant SVM With Feature Extraction”，近日發(fā)表于計算機、人工智能領域權威期刊IEEE Transactions on Pattern Analysis and Machine Intelligence（IEEE TPAMI）。該期刊在中國計算機學會推薦的人工智能領域A類期刊中位列首位，最新影響因子為24.6（2023年），五年平均影響因子26.7，張峻弘同學為計算機軟件學院首篇發(fā)表TPAMI論文的在讀學生。據公開資料顯示，這是深圳大學第二篇在讀研究生以第一作者身份在該期刊發(fā)表的研究成果。
為解決上述問題，該文提出了最優(yōu)判別支持向量機（Optimal Discriminant Support Vector Machine，ODSVM）算法，通過設計判別信息的圖結構保持優(yōu)化問題，將支持向量分類與判別性子空間學習無縫地設計到一個框架中進行聯合優(yōu)化，以同時獲得最優(yōu)判別子空間和最優(yōu)的SVM分類器，從而使SVM的分類性能達到最佳，從而使其在圖像識別、腫瘤分類等任務中實現優(yōu)異的性能。
該工作主要貢獻如下：
(1)在模型設計方面：提出基于圖正則重構的判別特征提取準則，并由此設計了特征提取器與支持向量機分類器的聯合優(yōu)化學習框架，即ODSVM；
(2)在優(yōu)化算法方面：通過交替最小化法、對偶方法等技術求解二分類與多分類ODSVM問題，特別地，針對多分類情形設計帶剪枝的序列最小化算法，顯著提高了算法效率，從而可用于較大規(guī)模數據；
(3)在理論證明方面：嚴格證明了ODSVM的優(yōu)化算法的全局收斂性，為算法穩(wěn)定性提供了理論保證。本文首次為基于表示學習的SVM算法建立了收斂性基礎理論。
圖1.可視化ODSVM學習到的特征，不同顏色表示不同類別的數據，可見其性能之優(yōu)異。
圖2. ODSVM的收斂性與識別率變化情況。在不同的二分類、多分類任務中，ODSVM模型的目標函數值能快速單調下降且收斂，分類準確率呈迅速上升并逼近最高精度。
該研究得到了國家自然科學基金、廣東省自然科學基金、深圳市科技計劃重點項目等的資助。論文鏈接與具體信息如下：
Junhong Zhang, Zhihui Lai*, Heng Kong, Jian Yang. Learning the optimal discriminant SVM with feature extraction, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 47, no. 4, pp. 2897-2911, 2025.（https://xplorestaging.ieee.org/document/10840348）
