依托國家重點研發(fā)計劃課題與國家自然科學基金支持，上海理工大學智能康復(fù)工程研究院科研團隊提出一種用戶-機器閉環(huán)協(xié)同適應(yīng)策略。該創(chuàng)新方案融合多模態(tài)漸進域?qū)股窠?jīng)網(wǎng)絡(luò)、增強現(xiàn)實反饋系統(tǒng)及基于場景的動態(tài)非對稱訓練策略，構(gòu)建了跨環(huán)境自適應(yīng)控制體系。實驗驗證表明，通過AR系統(tǒng)提供的實時視覺反饋與閉環(huán)域自適應(yīng)算法的深度耦合顯著提升了復(fù)雜非訓練環(huán)境下的sEMG識別精度，為實現(xiàn)肌電接口從實驗室到真實場景的工程化應(yīng)用提供了關(guān)鍵技術(shù)突破。研究成果為下一代神經(jīng)假體的環(huán)境適應(yīng)性設(shè)計提供了重要理論支撐。相關(guān)結(jié)果發(fā)表于《IEEE Transactions on Neural Systems and Rehabilitation Engineering》。 多功能肌電假肢是上肢缺失者首選的康復(fù)解決方案，但是長期的訓練對使用者的生理和心理要求都很高，經(jīng)常會導(dǎo)致積極性降低，進而中斷訓練。因此，如何提高截肢者的積極性和訓練毅力成為一個關(guān)鍵而又具有挑戰(zhàn)性的問題。現(xiàn)有研究表明，在受控實驗室條件下，sEMG信號識別可以實現(xiàn)出色的性能。然而，現(xiàn)實世界中存在的信號噪聲、個體生理變化和環(huán)境干擾削弱了其魯棒性，嚴重阻礙了其廣泛應(yīng)用。缺乏直觀、抗疲勞的肌電界面是阻礙假肢在截肢者中廣泛應(yīng)用的根本障礙。目前的虛擬訓練系統(tǒng)存在多種局限性，包括訓練任務(wù)偏離實際假肢控制情況、依賴主觀評價指標以及任務(wù)過于簡單。最關(guān)鍵的是，這些系統(tǒng)往往忽略了感官保真度因素，如肌肉力量、環(huán)境交互反饋和位置感知。這種疏忽影響了在未經(jīng)訓練的條件下驗證新興肌電接口可靠性的能力。先前的研究強調(diào)，雖然主觀評估和任務(wù)完成速度能提供有價值的見解，但肢體運動學和運動學變異性數(shù)據(jù)能提供更深刻的訓練效果見解。值得注意的是，與肢體完整的人相比，假肢使用者通常表現(xiàn)出更大的運動變異性，尤其是在關(guān)節(jié)軌跡方面。從長遠來看，本研究的目標是開發(fā)一種自然自適應(yīng)肌電界面，使用戶能夠控制手部的多個自由度。這種界面將使用戶能夠根據(jù)不同的任務(wù)和環(huán)境需求調(diào)節(jié)肌肉活動水平并增強肌肉協(xié)調(diào)性，從而將假肢從半自動配件轉(zhuǎn)變?yōu)樯眢w的延伸。此外，虛擬假肢系統(tǒng)需要準確復(fù)制真實假肢的功能和互動。這種能力將使用戶能夠在低風險環(huán)境中快速評估和評價假肢設(shè)計和控制功能。 本研究介紹了一種場景引導(dǎo)的自適應(yīng)增量學習策略，通過整合多模態(tài)自適應(yīng)算法、包含全息物體操作任務(wù)的AR環(huán)境以及基于場景的動態(tài)非對稱訓練方案，實現(xiàn)用戶與機器的共同適應(yīng)。在算法方面，本研究創(chuàng)新性提出了一種稱為多模態(tài)漸進域?qū)股窠?jīng)網(wǎng)絡(luò)（MPDANN）的域適應(yīng)方法。MPDANN利用sEMG和慣性測量單元(Inertial Measurement Unit, IMU)數(shù)據(jù)，旨在解決離線訓練模型在多手臂位置條件下的長期實時部署難題。該框架實現(xiàn)了從粗域到細域的兩階段對齊機制，通過雙域?qū)狗诸惼鞣謩e處理卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）中來自淺層的低級特征和來自深層的高級特征。這種分層對齊策略不僅實現(xiàn)了不同模態(tài)數(shù)據(jù)的特征解耦，更通過漸進式域適應(yīng)過程促進知識的增量遷移，有效應(yīng)對多源域差異帶來的泛化挑戰(zhàn)。圖1是本研究提出的MPDANN算法。 圖1：肌電界面自適應(yīng)算法。(a) CNN。(b) MPDANN。 （圖片來自原文） 為了增強用戶的神經(jīng)肌肉協(xié)調(diào)能力，本研究開發(fā)了兩個AR交互系統(tǒng)，可以將虛擬假肢疊加到現(xiàn)實世界的環(huán)境中，如圖2所示。兩個AR系統(tǒng)的核心差異在于是否集成虛擬力反饋模塊：AR-1環(huán)境僅提供物體的視覺映射，AR-2環(huán)境則疊加虛擬力反饋信號。通過這種設(shè)計，健全受試者可以看到虛擬假肢取代了自然手臂，而截肢受試者則可以看到虛擬假肢從殘肢延伸出來，從而為假肢的位置和手勢提供實時的視覺反饋。同時，全息物體操作任務(wù)設(shè)置在較大的空間范圍，并采用了未經(jīng)訓練的姿勢，從而能夠系統(tǒng)地評估肢體姿勢和任務(wù)可變性對識別準確性的影響。 圖2：實驗裝置。(a) 沒有虛擬力反饋的AR-1環(huán)境中全息物體操作任務(wù)實時測試。(b) 有虛擬力反饋的AR-2環(huán)境中全息物體操作任務(wù)實時測試。(c) 成功完成全息對象操作任務(wù)的理想過程。(d) 成功完成全息對象操作任務(wù)的實際過程。(e) 沒有虛擬力反饋的AR-1環(huán)境實際測試場景。(f) 有虛擬力反饋的AR-2環(huán)境實際測試場景。(g) sEMG 臂環(huán)的佩戴位置。 （圖片來自原文） 為進一步提升訓練效能，本研究還設(shè)計了一種基于場景的動態(tài)非對稱訓練方案，如圖3所示。該方案由兩個不連續(xù)的階段組成：離線訓練階段收集了手臂五個矢狀位置的sEMG數(shù)據(jù)，以訓練有監(jiān)督的初始域適應(yīng)模型；實時識別階段通過八個空間位置的全息任務(wù)進行非對稱增量訓練。該階段引入無監(jiān)督域適應(yīng)機制，創(chuàng)新性地將任務(wù)上下文作為監(jiān)督層，構(gòu)建動態(tài)偽標簽生成器以優(yōu)化特征對齊過程。通過整合MPDANN中的增量學習和AR環(huán)境中的增量訓練形成閉環(huán)，不斷更新和優(yōu)化系統(tǒng)參數(shù)，使模型能夠持續(xù)捕捉受試者神經(jīng)肌肉協(xié)調(diào)模式的動態(tài)變化。 圖3：基于場景的動態(tài)非對稱訓練方案 （圖片來自原文） 圖4直觀展現(xiàn)了AR-1環(huán)境中健全受試者和截肢受試者在不同階段的實時識別性能。在比較CNN和MPDANN的跨時段識別性能時，所有指標均具有顯著差異（p<0.01）。MPDANN在第一天和最后一天的訓練中也有顯著提高（p<0.01）。經(jīng)過五天的實時訓練，使用CNN的健全受試者的平均成功轉(zhuǎn)移次數(shù)略高于70次，而MPDANN則接近80次。未拾取和掉落的物體數(shù)量也呈類似的下降趨勢，MPDANN穩(wěn)定在1附近。使用CNN時，完成時間始終保持在8秒以上，而MPDANN則將這一指標從最初的8秒以上縮短到最后的4秒左右。CNN的完成率從68%到83%，而MPDANN的完成率一直超過80%，其中一名健全受試者的完成率最高達到98.75%。對于截肢受試者來說，最初的成功轉(zhuǎn)移物體數(shù)量與使用CNN的健全受試者相當，但經(jīng)過五天的實時訓練后，成功轉(zhuǎn)移物體數(shù)量超過了使用CNN的健全受試者。未拾取物體的趨勢也反映了這一軌跡。雖然截肢者的掉落的物體數(shù)量始終低于使用CNN的健全受試者，但并沒有達到使用MPDANN的健全受試者的水平。完成率的趨勢與成功轉(zhuǎn)移物體數(shù)量的一致。截肢者的完成時間一開始與使用CNN的健全受試者相當，后來逐漸向MPDANN的性能水平靠攏。由于樣本量較小，因此未對截肢者進行統(tǒng)計分析。 圖4：AR-1環(huán)境實時識別性能。AB 代表健全受試者，AM 代表截肢受試者。(a) 成功轉(zhuǎn)移物體的數(shù)量，(b) 未被拾取的物體數(shù)量，(c) 掉落物體的數(shù)量，(d) 完成時間，以及 (e) 完成率。 （圖片來自原文） 受試者在AR-2環(huán)境中實時識別過程中的表現(xiàn)如圖5所示。在實時識別過程中，受試者使用開發(fā)的AR系統(tǒng)完成了虛擬假肢控制和虛擬物體操作任務(wù)。對于健全受試者，CNN和MPDANN在成功轉(zhuǎn)移物體數(shù)量、未拾取物體數(shù)量、掉落物體數(shù)量、破碎物體數(shù)量、完成時間和成功率方面的差異在各次訓練中均有顯著差異。MPDANN在第一天和最后一天的性能也有顯著差異（p<0.01）。經(jīng)過五天的實時訓練后，對于身體健全的受試者而言，使用CNN時成功轉(zhuǎn)移物體數(shù)量在58個左右，而使用MPDANN時則在64個左右。未拾取物體和掉落物體的數(shù)量均呈現(xiàn)出下降的趨勢，最后都接近1。使用CNN時，完成時間始終高于8秒，而使用MPDANN時，完成時間從一開始就高于8秒，直到接近4秒。對于截肢受試者來說，成功轉(zhuǎn)移物體數(shù)量從一開始與使用CNN的健全受試者一致，到經(jīng)過5天的實時訓練后，能夠超過使用CNN的健全受試者的結(jié)果。未被拾起物體的數(shù)量和破碎物體的數(shù)量也呈現(xiàn)出下降的趨勢。至于在轉(zhuǎn)移過程中掉落的物體，截肢受試者的結(jié)果始終高于使用CNN的健全受試者的結(jié)果，但沒有趕上使用MPDANN的健全受試者的結(jié)果。在完成時間方面，截肢受試者的測試結(jié)果與使用CNN的健全受試者一致，直到接近使用MPDANN的健全受試者的結(jié)果。由于參加實驗的受試者人數(shù)較少，因此未對截肢受試者進行統(tǒng)計分析。 圖5：AR-2環(huán)境中的實時識別性能。AB 代表健全受試者，AM 代表截肢受試者。(a) 成功轉(zhuǎn)移物體的數(shù)量。(b) 完成率。(c) 完成時間。(d) 未拾取物體的數(shù)量。(e) 掉落物體的數(shù)量。(f) 破碎物體的數(shù)量。 （圖片來自原文） 深度學習算法的一個顯著特點是能夠在訓練過程中生成大量數(shù)據(jù)。通過t-Distributed Stochastic Neighbor Embedding（t-SNE）利用稀疏、壓縮的數(shù)據(jù)表示揭示了數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，增強了模型的可解釋性，并提供了分析復(fù)雜架構(gòu)的工具。本研究采用t-SNE來可視化自適應(yīng)算法中兩個領(lǐng)域?qū)狗诸惼髟趯W習過程中的行為（圖6）。t-SNE可視化顯示了原始特征中模糊不清的決策邊界（圖6a）。經(jīng)過低級特征域分類（圖6b）后，任務(wù)相關(guān)的組件呈現(xiàn)出聚類趨勢；通過高級特征域分類器（圖6c）進一步細化后，這些邊界變得更加清晰。單靠系統(tǒng)級性能指標無法將用戶適應(yīng)與解碼器適應(yīng)區(qū)分開來，因為性能波動可能來自其中任何一個部分。為了識別共同適應(yīng)性交互，本研究使用sEMG調(diào)諧曲線來評估受試者的日常適應(yīng)性--量化sEMG活動與預(yù)期手勢之間的關(guān)系。通過計算正確操作的前60秒內(nèi)所有電極的sEMG調(diào)諧曲線（圖6d、e），對用戶的逐次嘗試行為進行了描述。圖6d比較了第一天和最后一天不同手勢的這些曲線，而圖6e則說明了不同肢體位置的變化。這些結(jié)果表明，通過五天的訓練，用戶能夠熟練地產(chǎn)生與目標手勢一致的肌肉激活。綜合實驗結(jié)果，本研究利用勢函數(shù)擬合了用戶與算法的交互模型，如圖6f所示。 圖6：肌電界面中的協(xié)同適應(yīng)。(a) 原始特征的t-SNE可視化。(b) 低級特征域分類器特征的t-SNE可視化。(c) 高級特征域分類特征的t-SNE可視化。(d) 實時測試中第一天和最后一天每個手勢的 sEMG 調(diào)諧曲線。(e) 實時測試中第一天和最后一天每個位置的sEMG調(diào)諧曲線。(f) 描述用戶-算法協(xié)同適應(yīng)模型動態(tài)的潛在函數(shù)可視化。 （圖片來自原文） 為了提高受試者在未知環(huán)境中借助sEMG執(zhí)行全息物體操作任務(wù)的準確率和適應(yīng)性，本研究提出了一種場景引導(dǎo)的自適應(yīng)增量學習策略。該策略創(chuàng)新性提出了整合sEMG和IMU數(shù)據(jù)的漸進式領(lǐng)域適應(yīng)算法MPDANN、以全息物體操作任務(wù)為特色的AR環(huán)境，以及基于場景的動態(tài)非對稱訓練方案。通過為期5天的實時實驗評估發(fā)現(xiàn)，使用MPDANN算法的任務(wù)完成率呈現(xiàn)漸進式提升趨勢，至實驗第5天，所有受試者的任務(wù)完成率均穩(wěn)定超過80%。與此同時，受試者的肌肉激活模式也表現(xiàn)出顯著的適應(yīng)性調(diào)整，反映出神經(jīng)肌肉系統(tǒng)對新型控制策略的有效學習。總之，本研究的研究將閉環(huán)系統(tǒng)的視覺反饋與實時領(lǐng)域適應(yīng)算法相結(jié)合。這種結(jié)合促進了用戶與算法之間的協(xié)作過程，允許即時糾錯并開發(fā)一致、穩(wěn)定和個性化的控制策略。 參考文獻： Wei Li, Ping Shi, Sujiao Li, and Hongliu Yu, “Enhancing and Optimizing User-machine Closed-loop Co-adaptation in Dynamic Myoelectric Interface,” IEEE Trans. Neural Syst. Rehabil. Eng., pp. 1–1, 2025, doi: 10.1109/TNSRE.2025.3558687.