依托國家重點研發計劃課題與國家自然科學基金支持，上海理工大學智能康復工程研究院科研團隊提出一種用戶-機器閉環協同適應策略。該創新方案融合多模態漸進域對抗神經網絡、增強現實反饋系統及基于場景的動態非對稱訓練策略，構建了跨環境自適應控制體系。實驗驗證表明，通過AR系統提供的實時視覺反饋與閉環域自適應算法的深度耦合顯著提升了復雜非訓練環境下的sEMG識別精度，為實現肌電接口從實驗室到真實場景的工程化應用提供了關鍵技術突破。研究成果為下一代神經假體的環境適應性設計提供了重要理論支撐。相關結果發表于《IEEE Transactions on Neural Systems and Rehabilitation Engineering》。 多功能肌電假肢是上肢缺失者首選的康復解決方案，但是長期的訓練對使用者的生理和心理要求都很高，經常會導致積極性降低，進而中斷訓練。因此，如何提高截肢者的積極性和訓練毅力成為一個關鍵而又具有挑戰性的問題。現有研究表明，在受控實驗室條件下，sEMG信號識別可以實現出色的性能。然而，現實世界中存在的信號噪聲、個體生理變化和環境干擾削弱了其魯棒性，嚴重阻礙了其廣泛應用。缺乏直觀、抗疲勞的肌電界面是阻礙假肢在截肢者中廣泛應用的根本障礙。目前的虛擬訓練系統存在多種局限性，包括訓練任務偏離實際假肢控制情況、依賴主觀評價指標以及任務過于簡單。最關鍵的是，這些系統往往忽略了感官保真度因素，如肌肉力量、環境交互反饋和位置感知。這種疏忽影響了在未經訓練的條件下驗證新興肌電接口可靠性的能力。先前的研究強調，雖然主觀評估和任務完成速度能提供有價值的見解，但肢體運動學和運動學變異性數據能提供更深刻的訓練效果見解。值得注意的是，與肢體完整的人相比，假肢使用者通常表現出更大的運動變異性，尤其是在關節軌跡方面。從長遠來看，本研究的目標是開發一種自然自適應肌電界面，使用戶能夠控制手部的多個自由度。這種界面將使用戶能夠根據不同的任務和環境需求調節肌肉活動水平并增強肌肉協調性，從而將假肢從半自動配件轉變為身體的延伸。此外，虛擬假肢系統需要準確復制真實假肢的功能和互動。這種能力將使用戶能夠在低風險環境中快速評估和評價假肢設計和控制功能。 本研究介紹了一種場景引導的自適應增量學習策略，通過整合多模態自適應算法、包含全息物體操作任務的AR環境以及基于場景的動態非對稱訓練方案，實現用戶與機器的共同適應。在算法方面，本研究創新性提出了一種稱為多模態漸進域對抗神經網絡（MPDANN）的域適應方法。MPDANN利用sEMG和慣性測量單元(Inertial Measurement Unit, IMU)數據，旨在解決離線訓練模型在多手臂位置條件下的長期實時部署難題。該框架實現了從粗域到細域的兩階段對齊機制，通過雙域對抗分類器分別處理卷積神經網絡（Convolutional Neural Network, CNN）中來自淺層的低級特征和來自深層的高級特征。這種分層對齊策略不僅實現了不同模態數據的特征解耦，更通過漸進式域適應過程促進知識的增量遷移，有效應對多源域差異帶來的泛化挑戰。圖1是本研究提出的MPDANN算法。 圖1：肌電界面自適應算法。(a) CNN。(b) MPDANN。 （圖片來自原文） 為了增強用戶的神經肌肉協調能力，本研究開發了兩個AR交互系統，可以將虛擬假肢疊加到現實世界的環境中，如圖2所示。兩個AR系統的核心差異在于是否集成虛擬力反饋模塊：AR-1環境僅提供物體的視覺映射，AR-2環境則疊加虛擬力反饋信號。通過這種設計，健全受試者可以看到虛擬假肢取代了自然手臂，而截肢受試者則可以看到虛擬假肢從殘肢延伸出來，從而為假肢的位置和手勢提供實時的視覺反饋。同時，全息物體操作任務設置在較大的空間范圍，并采用了未經訓練的姿勢，從而能夠系統地評估肢體姿勢和任務可變性對識別準確性的影響。 圖2：實驗裝置。(a) 沒有虛擬力反饋的AR-1環境中全息物體操作任務實時測試。(b) 有虛擬力反饋的AR-2環境中全息物體操作任務實時測試。(c) 成功完成全息對象操作任務的理想過程。(d) 成功完成全息對象操作任務的實際過程。(e) 沒有虛擬力反饋的AR-1環境實際測試場景。(f) 有虛擬力反饋的AR-2環境實際測試場景。(g) sEMG 臂環的佩戴位置。 （圖片來自原文） 為進一步提升訓練效能，本研究還設計了一種基于場景的動態非對稱訓練方案，如圖3所示。該方案由兩個不連續的階段組成：離線訓練階段收集了手臂五個矢狀位置的sEMG數據，以訓練有監督的初始域適應模型；實時識別階段通過八個空間位置的全息任務進行非對稱增量訓練。該階段引入無監督域適應機制，創新性地將任務上下文作為監督層，構建動態偽標簽生成器以優化特征對齊過程。通過整合MPDANN中的增量學習和AR環境中的增量訓練形成閉環，不斷更新和優化系統參數，使模型能夠持續捕捉受試者神經肌肉協調模式的動態變化。 圖3：基于場景的動態非對稱訓練方案 （圖片來自原文） 圖4直觀展現了AR-1環境中健全受試者和截肢受試者在不同階段的實時識別性能。在比較CNN和MPDANN的跨時段識別性能時，所有指標均具有顯著差異（p<0.01）。MPDANN在第一天和最后一天的訓練中也有顯著提高（p<0.01）。經過五天的實時訓練，使用CNN的健全受試者的平均成功轉移次數略高于70次，而MPDANN則接近80次。未拾取和掉落的物體數量也呈類似的下降趨勢，MPDANN穩定在1附近。使用CNN時，完成時間始終保持在8秒以上，而MPDANN則將這一指標從最初的8秒以上縮短到最后的4秒左右。CNN的完成率從68%到83%，而MPDANN的完成率一直超過80%，其中一名健全受試者的完成率最高達到98.75%。對于截肢受試者來說，最初的成功轉移物體數量與使用CNN的健全受試者相當，但經過五天的實時訓練后，成功轉移物體數量超過了使用CNN的健全受試者。未拾取物體的趨勢也反映了這一軌跡。雖然截肢者的掉落的物體數量始終低于使用CNN的健全受試者，但并沒有達到使用MPDANN的健全受試者的水平。完成率的趨勢與成功轉移物體數量的一致。截肢者的完成時間一開始與使用CNN的健全受試者相當，后來逐漸向MPDANN的性能水平靠攏。由于樣本量較小，因此未對截肢者進行統計分析。 圖4：AR-1環境實時識別性能。AB 代表健全受試者，AM 代表截肢受試者。(a) 成功轉移物體的數量，(b) 未被拾取的物體數量，(c) 掉落物體的數量，(d) 完成時間，以及 (e) 完成率。 （圖片來自原文） 受試者在AR-2環境中實時識別過程中的表現如圖5所示。在實時識別過程中，受試者使用開發的AR系統完成了虛擬假肢控制和虛擬物體操作任務。對于健全受試者，CNN和MPDANN在成功轉移物體數量、未拾取物體數量、掉落物體數量、破碎物體數量、完成時間和成功率方面的差異在各次訓練中均有顯著差異。MPDANN在第一天和最后一天的性能也有顯著差異（p<0.01）。經過五天的實時訓練后，對于身體健全的受試者而言，使用CNN時成功轉移物體數量在58個左右，而使用MPDANN時則在64個左右。未拾取物體和掉落物體的數量均呈現出下降的趨勢，最后都接近1。使用CNN時，完成時間始終高于8秒，而使用MPDANN時，完成時間從一開始就高于8秒，直到接近4秒。對于截肢受試者來說，成功轉移物體數量從一開始與使用CNN的健全受試者一致，到經過5天的實時訓練后，能夠超過使用CNN的健全受試者的結果。未被拾起物體的數量和破碎物體的數量也呈現出下降的趨勢。至于在轉移過程中掉落的物體，截肢受試者的結果始終高于使用CNN的健全受試者的結果，但沒有趕上使用MPDANN的健全受試者的結果。在完成時間方面，截肢受試者的測試結果與使用CNN的健全受試者一致，直到接近使用MPDANN的健全受試者的結果。由于參加實驗的受試者人數較少，因此未對截肢受試者進行統計分析。 圖5：AR-2環境中的實時識別性能。AB 代表健全受試者，AM 代表截肢受試者。(a) 成功轉移物體的數量。(b) 完成率。(c) 完成時間。(d) 未拾取物體的數量。(e) 掉落物體的數量。(f) 破碎物體的數量。 （圖片來自原文） 深度學習算法的一個顯著特點是能夠在訓練過程中生成大量數據。通過t-Distributed Stochastic Neighbor Embedding（t-SNE）利用稀疏、壓縮的數據表示揭示了數據的內在結構，增強了模型的可解釋性，并提供了分析復雜架構的工具。本研究采用t-SNE來可視化自適應算法中兩個領域對抗分類器在學習過程中的行為（圖6）。t-SNE可視化顯示了原始特征中模糊不清的決策邊界（圖6a）。經過低級特征域分類（圖6b）后，任務相關的組件呈現出聚類趨勢；通過高級特征域分類器（圖6c）進一步細化后，這些邊界變得更加清晰。單靠系統級性能指標無法將用戶適應與解碼器適應區分開來，因為性能波動可能來自其中任何一個部分。為了識別共同適應性交互，本研究使用sEMG調諧曲線來評估受試者的日常適應性--量化sEMG活動與預期手勢之間的關系。通過計算正確操作的前60秒內所有電極的sEMG調諧曲線（圖6d、e），對用戶的逐次嘗試行為進行了描述。圖6d比較了第一天和最后一天不同手勢的這些曲線，而圖6e則說明了不同肢體位置的變化。這些結果表明，通過五天的訓練，用戶能夠熟練地產生與目標手勢一致的肌肉激活。綜合實驗結果，本研究利用勢函數擬合了用戶與算法的交互模型，如圖6f所示。 圖6：肌電界面中的協同適應。(a) 原始特征的t-SNE可視化。(b) 低級特征域分類器特征的t-SNE可視化。(c) 高級特征域分類特征的t-SNE可視化。(d) 實時測試中第一天和最后一天每個手勢的 sEMG 調諧曲線。(e) 實時測試中第一天和最后一天每個位置的sEMG調諧曲線。(f) 描述用戶-算法協同適應模型動態的潛在函數可視化。 （圖片來自原文） 為了提高受試者在未知環境中借助sEMG執行全息物體操作任務的準確率和適應性，本研究提出了一種場景引導的自適應增量學習策略。該策略創新性提出了整合sEMG和IMU數據的漸進式領域適應算法MPDANN、以全息物體操作任務為特色的AR環境，以及基于場景的動態非對稱訓練方案。通過為期5天的實時實驗評估發現，使用MPDANN算法的任務完成率呈現漸進式提升趨勢，至實驗第5天，所有受試者的任務完成率均穩定超過80%。與此同時，受試者的肌肉激活模式也表現出顯著的適應性調整，反映出神經肌肉系統對新型控制策略的有效學習。總之，本研究的研究將閉環系統的視覺反饋與實時領域適應算法相結合。這種結合促進了用戶與算法之間的協作過程，允許即時糾錯并開發一致、穩定和個性化的控制策略。 參考文獻： Wei Li, Ping Shi, Sujiao Li, and Hongliu Yu, “Enhancing and Optimizing User-machine Closed-loop Co-adaptation in Dynamic Myoelectric Interface,” IEEE Trans. Neural Syst. Rehabil. Eng., pp. 1–1, 2025, doi: 10.1109/TNSRE.2025.3558687.