近日，醫(yī)學部生物醫(yī)學工程學院梁臻老師課題組在情感計算領域頂級學術(shù)期刊《IEEE Transactions on Affective Computing》（影響因子11.2）上，發(fā)表了一篇題為“Unsupervised Time-Aware Sampling Network with Deep Reinforcement Learning for EEG-Based Emotion Recognition”的高質(zhì)量論文。深圳大學醫(yī)學部生物醫(yī)學工程學院博士生張永濤為第一作者。深圳大學醫(yī)學部生物醫(yī)學工程學院梁臻副教授和哈爾濱工業(yè)大學（深圳）張治國教授為共同通訊作者。深圳大學為第一作者單位。

從復雜、多變、且非恒定的腦電（EEG）時間序列中識別人類情感對情感腦機接口至關重要。然而，在實際應用過程中，連續(xù)標記不斷變化的情感狀態(tài)是不切實際的。現(xiàn)有方法只能為在引發(fā)情感的連續(xù)試驗中的所有EEG時間點分配固定標簽，這導致了高度動態(tài)的情感狀態(tài)和高度非恒定的EEG信號被忽視。

為了解決對固定標簽的高度依賴和對時變信息的無視，本文提出了一種使用深度強化學習（DRL：Deep Reinforcement Learning）進行無監(jiān)督情感識別的時間感知采樣網(wǎng)絡（TAS-Net: Time-Aware Sampling Network）（如圖一所示）。該網(wǎng)絡能夠檢測關鍵情感片段并忽略無關和誤導性的部分。

圖一：TAS-Net框架，包括深度特征提取、時間感知采樣和無監(jiān)督聚類三個模塊。模型提取的關鍵情感片段由兩部分構(gòu)成：檢測到的關鍵時刻（深紫色）以及根據(jù)人類情感中的"短期連續(xù)性"屬性計算得出的情感偏移（淺紫色）。最終的關鍵情感片段由深紫色和淺紫色部分組合而成，然后輸入到無監(jiān)督聚類模型中以進行情感預測。

在本文中，我們將從EEG時間序列中挖掘關鍵情感片段的過程形式化為馬爾可夫決策過程，并通過DRL訓練生成一個時間感知代理，無需使用標簽信息。首先，時間感知代理從特征提取器獲取深度特征作為輸入，并生成樣本級的重要性分數(shù)，反映了每個樣本包含的情感相關信息。然后，基于獲得的樣本級重要性分數(shù)，我們保留與情感高度相關的前X個連續(xù)EEG片段，同時丟棄其余部分。最后，我們將這些連續(xù)片段視為關鍵情感片段，并將它們輸入到一個超圖解碼模型中，以進行無監(jiān)督聚類。

我們在三個公共數(shù)據(jù)集（SEED、DEAP和MAHNOB-HCI）上進行了廣泛的實驗，采用被試留一交叉驗證方法進行情感識別。實驗結(jié)果表明，與現(xiàn)有無監(jiān)督情感識別方法相比，本文所提出的TAS-Net表現(xiàn)出更出色的性能,具有在實現(xiàn)更實際和準確的動態(tài)和無標簽情境下的情感腦機接口方面的巨大潛力。本文源代碼可在https://github.com/infinite-tao/TAS-Net上獲取。

研究成果鏈接：

https://ieeexplore.ieee.org/abstract/document/10264207

（醫(yī)學部）