近日，醫(yī)學(xué)部生物醫(yī)學(xué)工程學(xué)院教授梁臻在情感計算頂級期刊IEEE Transactions on Affective Computing（影響因子9.6）上發(fā)表題為“Semi-Supervised Dual-Stream Self-Attentive Adversarial Graph Contrastive Learning for Cross-Subject EEG-based Emotion Recognition”的學(xué)術(shù)論文。深圳大學(xué)研究生葉煒珊同學(xué)和哈爾濱工業(yè)大學(xué)（深圳）張治國教授為共同第一作者，深圳大學(xué)副教授梁臻和電子科技大學(xué)教授徐鵬為共同通訊作者。深圳大學(xué)為第一作者單位和通訊單位。

腦電（EEG）是一種用于情感識別的客觀工具，因其提供的高時間分辨率和非侵入性檢測特性，在情感計算領(lǐng)域具有廣闊的前景。然而，盡管EEG具有巨大的潛力，其廣泛應(yīng)用卻面臨著一個主要挑戰(zhàn)，即標(biāo)簽數(shù)據(jù)的稀缺。這種數(shù)據(jù)稀缺性限制了現(xiàn)有模型在情感識別任務(wù)中的性能表現(xiàn)。為了解決這一問題，本研究提出了一種新穎的半監(jiān)督雙流自注意對抗圖對比學(xué)習(xí)框架，簡稱DS-AGC，用于基于EEG信號的跨被試情感識別。DS-AGC框架設(shè)計了一種智能的雙流結(jié)構(gòu)，通過這種結(jié)構(gòu)，能夠有效地提取并融合EEG信號中的非結(jié)構(gòu)化和結(jié)構(gòu)化信息。雙流結(jié)構(gòu)包含兩個并行的子網(wǎng)絡(luò)：一個用于處理原始的非結(jié)構(gòu)化EEG數(shù)據(jù)，另一個則用于處理基于圖結(jié)構(gòu)提取的EEG特征。隨后，這兩個子網(wǎng)絡(luò)的輸出通過自注意機制進(jìn)一步融合，以提升模型對情感狀態(tài)的識別能力。

為了驗證DS-AGC框架的有效性，研究者在多個benchmark數(shù)據(jù)庫上進(jìn)行了全面的實驗。這些實驗結(jié)果顯示，DS-AGC框架不僅能夠有效利用有標(biāo)簽的數(shù)據(jù)，還能充分挖掘無標(biāo)簽數(shù)據(jù)的信息，顯著提升情感識別的準(zhǔn)確性和魯棒性。尤其在有標(biāo)簽數(shù)據(jù)稀缺或獲取成本高昂的情況下，成為一種有前景的解決方案。

該研究獲得國家自然科學(xué)基金等項目資助。

原文鏈接：https://doi.org/10.1109/TAFFC.2024.3433470