簡介：十年研究
十年前，一群來自學術界和工業界的研究人員發現了上肢假肢控制領域中的工業和學術最新技術之間存在的對立。他們提出，如果解決了四個關鍵技術挑戰，就可以彌合這個差距，使學術研究能夠轉化為臨床和商業可行的產品。這些挑戰包括非直觀的控制方案、缺乏傳感反饋、魯棒性差和單一傳感器模態。在這里，我們對過去十年針對這些挑戰的研究工作進行了綜述，并討論了最近在上肢假肢控制研究中至關重要但在十年前的綜述中沒有預見到的三個研究領域：深度學習方法、表面肌電圖解析和開放源數據庫。為了總結這篇綜述，我們展望了上肢假肢控制及其他相關研究在不久的將來的發展前景。
表面肌電圖是骨骼肌活動的電學表現。它包含著豐富的神經控制信息，并且已被用作生物機器人和類似應用的非侵入式接口，比如多功能動力假肢、外骨骼、功能性電刺激器、虛擬現實和增強現實。從更廣泛的意義上來說，sEMG在建立直觀、方便和可訪問的非侵入性神經接口中起著核心作用。這種接口可以用作通用人機接口(HMI)，其潛在應用范圍從醫療和健康應用，包括神經康復、神經肌肉疾病的診斷和肌肉的生理監測狀態(例如疲勞或損傷)，到非醫療應用，例如機器人設備的遠程操作、元宇宙接口和主動生物識別。與侵入性方法相比，sEMG不僅使用方便且健康風險顯著降低，而且在臨床環境之外的實際應用中得到了很好的確立。
sEMG最顯著和最普遍的應用是電動多功能假肢，通常稱為肌電控制。經過幾十年的研究和開發，EMG控制的上肢假肢已經成為臨床和商業上可行的產品，為全世界數百萬截肢者服務。然而，十年后，商用sEMG控制的假肢在被截肢者中的普及率沒有顯著變化，有研究表明大約一半的上肢被截肢者在大量訓練后放棄了該設備。很顯然，學術界的研究重點與行業和設備終端用戶的需求之間存在巨大差距。
2012年，一群來自假肢行業的學術研究人員和專家研究了當時肌電控制領域的學術研究與假肢行業之間的差距。這篇綜述論文呼吁轉移該領域的研究重點，并確定了阻礙學術研究轉化為工業應用的四個關鍵問題:(I)模式識別算法提供的順序和開/關控制方案對用戶來說不直觀；(ii)缺乏感覺反饋導致開環控制方案；(iii)算法對于日常生活活動中普遍存在的非平穩因素缺乏魯棒性；以及(iv)即單獨的sEMG，為用戶提供了有限的功能和高精神負荷。
在過去的幾年中，EMG處理和肌電控制的最重要的發展之一是使用sEMG分解和分解的運動單位動作電位序列作為控制源。此外，深度學習(DL)算法的爆炸式發展在幾年前也并未被大部分人所預測到。使用DL方法的研究表明，與傳統的“基于特征”的算法相比，DL方法在多個方面的性能都有顯著提高。兩篇綜述論文的作者沒有提到的另一個方面是，開源sEMG數據集的可用性。這些數據集極大地降低了在sEMG處理和肌電控制領域進行研究的障礙，使以前無法訪問專用實驗基礎設施的研究人員能夠進行sEMG算法開發基礎設施。此外，通過使用相同數據集的測試和驗證，不同sEMG算法的客觀和有意義的比較成為可能。
過去大部分的工作都集中在橈側截肢者的肌電控制上，而對肱側截肢者的研究較少。對于經肱骨截肢者來說，最大的挑戰之一是肌電控制的殘余肌肉越少，假肢控制的自由度就越多。從這個意義上說，單獨的sEMG可能不足以提供足夠的信息來恢復神經假體的功能。腦電圖(EEG)信號反映了大腦中產生的精神活動的生物電，并且明顯較少依賴于截肢條件。因此，腦機接口(BCI)或腦機接口(身體質量指數)可能與這項研究的審查范圍高度相關。BCI/身體質量指數作為機器人控制的人機界面得到了廣泛的研究。這項研究還還簡要回顧了近10年來無創BCI研究以及肌電信號和EEG混合用于假肢控制的研究，以補充肌電信號相關的文獻。
自2012年論文發表以來，整整十年過去了。檢查肌電控制和相關領域的主要研究方向在過去10年中的進展是很重要的。下圖為所審查主題及其關系的示意圖。具體來說，這項研究旨在研究十年前發現的學術界和工業界之間的差距是否已經彌合，以及彌合的程度如何。此外，還試圖提供對這些領域新的研究方向的想法。
控制方案:趨向于直觀和自然的控制
在2012年審查中確定并在2014年審查中進一步闡述的第一個問題是整體肌電控制方案。對此，主要有三種不同的控制方案:傳統的直接控制(tDC)、基于模式識別的控制(PRC)和同步比例控制(SPC)。下表說明了基于EMG的假體控制方法的優缺點。
盡管肌電PRC和SPC相關的研究在過去十年中獲得了巨大的發展勢頭，但基于肌電信號接口在以下方面仍有很大的改進潛力。比如基于PRC的EMG接口的研究應該加速其向實際和臨床應用的轉變，例如提高對非結構環境的魯棒性，減少用戶的訓練工作，并提供更好的假體用戶體驗。為了實現自然、直觀的控制，基于SPC的肌電控制仍將是未來的研究熱點。在基于SPC的EMG接口中研究的自由度的數量仍然局限于手腕。探索開發具有更高自由度(可能是手指的自由度)的SPC來模仿人類靈巧的手部運動的潛力將吸引更多研究人員的注意。
感官反饋:關閉控制回路
從狹義上講，提供感覺反饋不是肌電控制的一部分。然而，當檢查整體假肢控制時，正向運動控制(由EMG驅動)和感覺反饋是感覺運動回路的兩個緊密耦合的部分。然而，目前假肢感覺反饋的技術水平明顯落后于它的前向控制對手。研究的數量在深度和廣度上都相對有限。不足為奇的是，沒有商業上可用的假體提供體感反饋功能，無論是觸覺的還是本體感受的。沒有感覺反饋，精確控制假肢的能力受到限制，截肢者必須嚴重依賴視覺反饋來執行功能性任務，不可避免地導致高認知和心理負擔。此外，感覺反饋的缺乏阻礙了靈巧手假體的功能和效率，這可能在假體排斥率中起重要作用。
正如2012年的綜述中所指出的，上肢假肢缺乏感覺反饋是假肢研究中的一個關鍵挑戰。關鍵的挑戰是感覺通路不能在假體硬件和人類感覺系統之間直接建立。因此，從嵌入在假體中的傳感器檢索的傳感信息只能通過中繼刺激機制引發重新映射的生理感覺而被傳遞給截肢者。具體而言，它需要感測各種觸覺(例如壓力和振動)和本體感受(位置和速度)信息，以及通過非侵入性或侵入性神經接口將信息傳達給截肢者。
人手的感覺神經末梢與皮膚中的四類機械感受器(默克爾圓盤、魯芬尼圓柱體、邁斯納小體和帕奇尼小體)相連，對各種觸覺和皮膚變形做出反應。支配手部無毛皮膚中各種機械感受器的神經纖維匯聚形成三種神經，即正中神經、尺神經和橈神經，它們相互支配五個手指。通過使用非侵入性(機械或電觸覺)和侵入性(直接神經和感覺皮層刺激)接口刺激備用觸覺感覺結構來誘發人工感覺。上肢截肢導致機械感受性終末器官的喪失。然而，體感神經和將信號從這些器官傳遞到中樞神經系統的上行通路仍保持功能。然而，自然的手-物體交互通常激活數百甚至數千個觸覺神經纖維，并且激活模式依賴于任務。在可預見的未來，高保真地復制如此復雜的“編碼”過程是不可能的。因此，相對于神經纖維的自然數量，神經假體的感覺恢復受到極少數刺激通道的限制。因此，目標不是高保真地再現自然的感官反饋。在給定有限的刺激通道，目標是產生對物體操縱有用的神經元激活模式，并促進假肢的實現。根據不同的神經接口技術，體感反饋可以分為機械觸覺、電觸覺和侵入式感覺反饋，如下圖所示。
機械觸覺刺激可以從假手向使用者傳遞模式匹配的反饋。已經表明，機械觸覺裝置可以有效地傳遞多個刺激部位和壓力強度。然而，由于其龐大的體積和沉重的結構，機械觸覺反饋很難集成到假手的插座中。作為機械觸覺反饋的一種形式，振動觸覺反饋是通過在目標皮膚區域的表面上應用一組振動器來產生的。一些商業肌電假肢，已經被用于驗證通過結合振動觸覺反饋來提高假肢控制的效率。
電觸覺反饋經皮電神經刺激(TENS)(也稱為電觸覺刺激)被認為是恢復感覺反饋的一種可行的非侵入性方法，它對來自假體裝置的觸覺信息進行編碼并將其提供給截肢者。由于它具有多個可調刺激參數(如脈沖幅度、脈沖寬度和頻率)、快速響應和低噪聲等優點，因此被廣泛采用。
而本體感受反饋與觸覺反饋的功能重建相比，實現假肢本體感受運動信息(包括患肢關節角度)與截肢者本體感受感知的匹配面臨更大的挑戰。
目前，先進的上肢假肢可以為運動功能喪失提供有意義的補償。然而，它們補償感覺功能喪失的能力相對有限。技術挑戰存在于許多方面，例如傳感器的集成、刺激設備的便攜性以及在假手和人類感覺系統之間建立神經感覺通路。出于這些目的，需要多模式感測能力(例如壓力、振動和溫度)和高密度傳感器單元來提供與不同物體的更好的交互體驗。此外，必須開發具有高級編碼策略的更加便攜和緊湊的刺激反饋硬件，以在無束縛假手系統中將從假肢取回的感測信息傳送給截肢者。
走出舒適區:強健的肌電控制
肌電控制算法開發中的一個普遍假設是，從EMG中提取的特征對于相同的運動或手勢是足夠穩定的。雖然這種假設在受控的實驗室條件下肯定成立，但對于來自真實世界場景的數據不再有效，在真實世界場景中，許多因素會將非平穩干擾引入數據。這些因素可以分為兩組:內部和外部。內因來自用戶，包括肌肉疲勞、肢體/軀干位置變化、肌肉收縮強度變化等。外部因素來自用戶以外的來源，包括電極位置的移動、電極-皮膚阻抗變化、電極故障等。自2012年回顧以來，提高對這些因素的魯棒性一直是肌電控制研究的關鍵主題之一。在這些因素中，電極移動、肌肉疲勞、肌肉收縮強度變化和上肢運動最受關注。
盡管現在的一些策略在不同程度上有效地提高了整個系統的魯棒性，但在存在干擾的情況下，報告的系統性能仍然低于原始狀態，表明控制仍然會受到影響。此外，許多研究僅關注單個因素的干擾。然而，在現實世界中，通常會同時出現多種因素。有必要研究多因素場景，并為其開發穩健的解決方案。
多模態傳感:1 + 1 > 2，不僅僅是肌電圖
盡管肌電信號包含了豐富的人體運動神經控制信息，但僅憑肌電信號還不足以準確解碼人體運動的意圖。因此，2012年的綜述呼吁傳感器融合方法進一步改善假體的控制性能和功能。與前三個挑戰類似，這一挑戰在過去十年中受到了相當大的關注。各種方法，如機械肌圖(MMG)，力肌圖(FMG)，慣性測量單元(IMU)，紅外光譜(NIRS)，超聲(US)，腦電圖和計算機視覺(CV)，已經進行了研究。有研究人員還采用一些模式與表面肌電信號融合，以提高對干擾的魯棒性。例如，MMG和FMG不會受到皮膚阻抗變化的影響，MMG對傳感器位置也不敏感；IMU可用于預測上肢位置，有利于消除其不良反應；近紅外光譜可以測量肌肉的狀態來預測疲勞。
EEG對截肢條件的依賴性較小，這使得它成為為肘部以上截肢者提供有形假肢控制解決方案的絕佳候選者。對于融合算法，可以在特征級對數據進行融合，將提取的特征進行融合，訓練整體模型。這種融合也可能發生在決策層面。
多模態傳感已被證明可以有效地提高系統的整體性能，包括交流精度、效率和魯棒性。由于每種傳感器模式都有其優點和局限性，因此設計特定的融合策略是相互補充和發揮其優勢的關鍵。傳感器融合策略不僅要考慮信號處理算法(軟件端)的問題，還要考慮傳感器集成、同步和電源管理(硬件端)的問題。多模態傳感系統從硬件到軟件的全棧實現及其實時性能測試是未來研究的必要內容，值得關注。
MUAPt:終極肌電控制？
在2014年的綜述中，首次提出嵌入在MUAPt中的直接神經控制信息是肌電控制的“終極特征”。從表面肌電信號中提取并發活動MUAPt的信號處理方法被稱為表面肌電信號分解。在2010年代之前，它并不是一個新概念，因為它一直是肌肉神經生理學和運動控制的重要研究工具。然而，直到最近十年，MUAPt才被明確地應用于肌電控制，并被提出作為一種高度魯棒的HMI來實現靈巧和直觀的控制。
基于MUAPt的肌電界面必須考慮兩個基本步驟:分解和投影(下圖)。前者顯著影響識別MUAPt的可靠性和準確性。后者旨在通過將獲得的MUAPts投影或映射到各自的運動運動學/動力學，從而將其轉換為設備的控制命令，建立基于MUAPts的控制方案。
基于MUAPt的肌電控制在人體運動解碼中顯示出良好的效果。然而，仍然有一些限制。主要的限制在于分解技術。已識別的MUAPts數量有限且不確定，因此無法將神經特征投射到復雜的任務中。此外，目前的分解技術可能無法解碼動態運動和長期應用中的神經活動，因為大多數分解算法假設一個固定的混合過程。目前的分解算法不能適應初始化階段后不斷變化的運動單元招募。對非平穩條件具有適應能力的在線分解方法應是另一個研究方向。另一個限制是分解系統的可穿戴集成。與傳統的基于肌電圖的方法相比，無論是在PRC還是SPC中，基于MUAPt的控制的硬件要求和實驗設置通常都是復雜和繁瑣的。需要更多的研究來降低系統的復雜性和簡化實驗方案。
新的武器:DL？
與目前討論的傳統算法相比，深度學習方法具有獨特的無特征或端到端學習特征。通過深度網絡結構進行隱式特征提取。深度學習方法越來越成為表面肌電信號和肌電控制研究各個方面的重要工具，與具有手工特征的傳統算法相比，深度學習方法表現出更優越的性能。
雖然基于DL的肌電圖接口是近十年來的研究熱點，但該方向仍存在計算成本高、數據依賴性大、缺乏可解釋性等問題。首先，在實驗室環境中可以獲得強大的計算資源，但是在成本合理的便攜式設備中卻無法獲得，功耗也很高。這限制了基于DL的肌電圖接口的實際應用。開發具有低功耗GPU的嵌入式系統是潛在的解決方案。其次，需要大量的數據來優化DL方法的參數，以確保其良好的性能。在未來的工作中，可以采用數據增強和遷移學習的方法，以更少的數據采樣點來增加數據量，提高穩定性。最后，大多數DL方法的內層既沒有物理意義，也沒有生理意義，無法用來解釋潛在的生理過程。提高深度學習方法的可解釋性是今后將深度學習方法更好地應用于肌電界面領域的一個重要研究方向。
更好的包容性:開放獲取EMG數據庫
在2010年代之前，肌電控制領域的不同研究小組將報告肌電信號算法，并從各自實驗室的數據集獲得結果。這些數據集通常不提供給各自實驗室以外的研究人員。很難客觀地比較不同算法的性能，這給沒有肌電圖儀器或缺乏必要的人類參與研究經驗的研究人員造成了障礙。為了建立一個更具包容性的研究社區，并促進其他研究人員更好地相互交流，公開表面肌電圖數據集在肌電控制研究社區越來越受歡迎。Ninapro是一個包含健全人和截肢者的肌電信號、關節運動學等信息的數據庫，可能是目前文獻中最流行的肌電信號數據庫。許多研究人員使用Ninapro的數據集發表了他們對PRC和SPC的創新研究。更多樣化的數據集，一些具有獨特的特征，如大型主題池，多會話和高清肌電圖，正在不斷發布。與此同時，質量開放存取數據集的一致性將不斷提高。
無創腦機接口在神經修復和生物機器人控制中的應用
在過去的十年中，表面肌電信號在假肢控制方面已經展示了它的力量，但對于經肱骨截肢者來說仍然面臨著巨大的挑戰。與表面肌電信號不同，來自中樞神經系統的信號包含了人類意圖的源信息。腦機接口技術從包括腦電圖(EEG)、腦磁圖(MEG)和功能磁共振成像(fMRI)在內的信號中解碼人類意圖。患有肌萎縮側索硬化癥等肌肉疾病的人可能有正常的大腦信號，但不能產生有效的肌電圖信號。因此，腦機接口繞過周圍神經系統，建立了從大腦到外部設備的直接接口。但本研究將范圍限制在腦電圖上，因為腦電圖似乎是與肌電圖融合的最可行的方式，可以解決經肱骨截肢者恢復運動功能的巨大挑戰。
基于腦機接口(BCI)技術的腦控機器人技術在過去十年中得到了廣泛的研究，并被應用于人類受試者的輔助和康復。成功的應用包括但不限于bci控制的神經假肢、機械臂和四軸飛行器。然而，這些演示仍然局限于控制良好的實驗室環境。腦機接口技術還處于起步階段，因為采集到的信號通常很弱，容易被表面肌電信號等信號污染。隨著新型傳感器和解碼方法的迅速發展，腦機接口已成為神經接口的一個重要分支，越來越受到學術界和工業界的關注。當然，腦機接口是生物機器人研究的重要組成部分。肌電圖和腦電圖的融合正在成為研究方向，為肘部以上截肢者提供神經假肢控制。對于腦機接口(BCI)，對各種事件產生的大腦信號被記錄下來，這些信號來自頭皮、皮層表面或大腦內部。對這些信號進行分析，以提取與用戶意圖相關的特征。然后將這些特征轉化為控制應用設備的命令，以替換、恢復、增強、補充或改善中樞神經系統(CNS)的自然輸出，如下圖所示。
討論和總結
自2012年以來，由于研究重點和跨部門合作的重大轉變，學術界和工業最先進的肌電控制之間的二分法已經顯著彌合。嵌入PRC算法的假肢，如Coapt和Myo Plus模式識別，已經商業化。當使用者和其他利益相關者正在評估其臨床和商業可行性時，世界各地正在投入大量研究工作，最終目標是使上肢假肢像生物手臂一樣自然。
十年前確定的四大挑戰在兩個層面上仍然具有相關性。首先，這四個挑戰沒有一個可以被認為是“解決”的，它們值得更多的研究。更重要的是，大多數研究只針對其中一個挑戰。然而，這些問題并不是孤立的，而是整個系統中緊密相連的方面。例如，PRC和SPC方案中的算法都面臨魯棒性挑戰;在開發多模態傳感方法時，應考慮肌電控制方案(tDC、PRC或SPC)的選擇;在感官反饋方法的設計過程中，應盡早注意魯棒性問題。因此，在今后的研究中必須采取更全面的方法。
在學術研究的最新技術能夠轉化為商業和臨床上可行的假肢產品，為截肢者提供有意義和負擔得起的功能替代物之前，還有很長的路要走。當前綜述的焦點是假肢技術的創新“軟”方面。在“硬”方面，即機械結構、機電一體化和電子設計，在過去幾十年中也取得了重大進展，例如高度擬人化特征的高超結構設計以及柔性電極和電子設備的集成。“軟”和“硬”兩方面創新的協同組合將是實現具有直觀功能、臨床實用性和經濟可行性的仿人假體的最終目標所必需的。
內容來源：https://academic.oup.com/nsr/article/10/5/nwad048/7057876?login=true
