研究前沿|迷走神經刺激器植入後的大型語言模型縱向症狀追蹤
簡介
植入迷走神經刺激(VNS)裝置後,患者狀況隨時間的變化通常會記錄在臨床紀錄中。這些紀錄可能描述患者在個別就診時的癲癇發作、情緒或疼痛。然而,由於紀錄格式缺乏結構,若要系統性比較數年間的變化,會相當困難。
2026 年發表於 JAMIA Open 的一項研究,評估大型語言模型(LLM)是否能從臨床紀錄中擷取症狀和嚴重程度評分,以建立患者層級的縱向變化軌跡。研究的主要重點,是評估一種臨床資訊擷取方法的表現。由此產生的變化軌跡,也初步呈現了患者之間的差異。
背景
臨床紀錄的限制
臨床紀錄必須區分「明確記載為不存在的症狀」與「未被提及的症狀」。前者表示該次就診曾進行相關評估;後者則不提供任何有關症狀狀態的資訊。紀錄中也可能提到某項持續存在的症狀,但沒有足夠細節可以判定其嚴重程度。如果把所有這類紀錄都分類為症狀不存在,就會在縱向變化估計中引入錯誤。
標準化量表可以提供一致的症狀評估,但不一定會在每次例行就診時完成。因此,研究人員檢視了是否能從現有臨床紀錄中可靠地擷取症狀,並追蹤其隨時間的變化。在使用這些紀錄進行更詳細的縱向分析之前,這是必要的方法學步驟。
方法
症狀擷取與嚴重程度分類
研究人員建立了 5 個資料集,共包括 95 名患者和 1,427 份由人工標註的臨床紀錄。訓練資料主要來自與 COVID 相關的紀錄,並加入接受 VNS 或其他手術照護患者的額外紀錄。資料以患者為單位,分為訓練集(58 名患者)、驗證集(8 名患者)和測試集(29 名患者),以避免同一名患者的紀錄同時出現在訓練和測試資料中。測試集包括 23 名 VNS 患者和 6 名接受其他手術的患者。
分析採用兩階段流程。第一階段辨識 13 種症狀類別,並將每項症狀分類為存在、明確否認或未提及。對於被分類為存在的症狀,第二階段會指定輕度、中度或重度的嚴重程度。若紀錄中的症狀缺乏足夠資訊,無法進行嚴重程度分類,則會獲得單獨的標籤。在縱向分析中,未被提及的症狀被視為缺失資料,並排除在平均嚴重程度的計算之外。研究人員將不同規模的模型與人工標註結果進行比較,然後依照相對於手術日期的日曆季度,整理 VNS 手術前和手術後的紀錄。
要納入癲癇發作嚴重程度軌跡分析,患者在手術前必須至少有 5 份相關紀錄,手術後也必須至少有 5 份。臨床上具意義的改善,被定義為相較於手術前基準值至少降低 1 個嚴重程度類別,並且在連續 2 個包含相關紀錄的術後季度中持續存在。這 2 個觀察到的季度之間,可以有沒有相關紀錄的季度。研究另納入 10 名未接受 VNS、而接受其他重大手術的患者作為描述性比較;其中 6 人也被納入模型測試集。兩組患者並未經過隨機分配或配對。研究沒有報告具體的 VNS 刺激參數。
結果
症狀分類表現
在 VNS 測試紀錄中辨識癲癇發作時,表現最佳的模型達到 0.98 的加權 F1 分數(95% 信賴區間為 0.96 至 0.99)。在其他手術患者的測試紀錄中,相應分數為 0.91。F1 分數綜合考量精確率和召回率。經過針對任務的訓練後,整體加權 F1 分數由 0.75 上升至 0.92,而符合預先指定格式的輸出比例則由 80% 上升至 100%。不同症狀的嚴重程度分類,其加權 F1 分數介於 0.76 至 0.96 之間。
這些總體結果仍需要加以限定。加權 F1 分數會受到各類別出現頻率的影響,可能掩蓋罕見症狀的漏判案例。在最大型模型中,VNS 紀錄對自殺意念的敏感度為 1.00,但其他手術患者紀錄中的敏感度為 0.80。雖然自我傷害分類的 F1 分數達到 0.99,但每組只記錄了 2 至 4 個陽性案例。如此少的案例數,不能證明模型能可靠地偵測這項臨床上重要的風險。
圖 3 按性別和種族分層呈現症狀分類表現。有些亞組只包括非常少的患者。此外,研究人員透過重新抽樣紀錄來估算信賴區間,卻沒有考慮同一患者多份重複紀錄之間的相關性。亞組分析可能找出值得進一步評估的差異,但不能證明模型在不同人口統計群體中具有相同的表現。

圖 1. 不同規模微調 LLaMA 模型在症狀分類上的加權平均表現。

圖 2. 微調 LLaMA-3.3-70B 模型在症狀嚴重程度分類上的加權平均表現。

圖 3. 不同規模 LLaMA 模型按種族和性別呈現的症狀分類表現。
縱向變化軌跡的差異
研究人員為測試集中的 23 名 VNS 患者建立了縱向變化軌跡,但只有 8 人符合癲癇發作嚴重程度分析所需的紀錄門檻。4 人符合預先指定的改善標準,2 人在最後一個有可用紀錄的季度中,嚴重程度高於其手術前基準值,另有 2 人不符合改善標準。在被分類為改善的 4 名患者中,首次符合標準的時間點分別位於術後第 0、0、1 和 2 季,中位數為 0.5 季。第 0 季表示手術後在同一個日曆季度內記錄到變化,但不能據此判定刺激效果在幾天或幾週內開始出現。
在圖 4 所呈現的患者中,根據人工標註計算的平均嚴重程度,由手術前的 1.80 降至手術後的 0.00。分數 0 表示紀錄中提到了癲癇發作,但根據現有文字無法判定其嚴重程度;它不表示癲癇發作已完全消失。因此,這一下降可能反映了紀錄詳細程度的差異,不能直接解讀為癲癇發作頻率或臨床負擔下降。模型預測在大多數時間點與人工標註一致,但在最後一次觀察時出現明顯差異:人工標籤維持為 0,而模型則將嚴重程度分類為高。這項差異說明,在解讀自動化軌跡時,需要核實個別觀察結果。

圖 4. 一名代表性 VNS 患者的癲癇發作嚴重程度縱向變化軌跡。

圖 5. 8 名 VNS 患者的群組層級癲癇發作嚴重程度熱圖,按手術日期對齊。
其他症狀的變化軌跡在時間上有所不同。在 14 名紀錄符合憂鬱症狀文件門檻的患者中,8 人符合改善標準。這些患者首次達到符合標準季度的中位時間為 14 季。由於某項症狀可能在很長一段時間內沒有再次被記錄,這些估計值代表首次記錄到改善的時間,而不是生理變化確切開始的時間。
接受其他手術患者的紀錄,沒有顯示相同的術後系統性下降。然而,兩組在診斷、手術前症狀、追蹤時間或紀錄頻率方面並未配對。研究也沒有進行可靠的組別與時間交互作用分析。因此,這項比較屬於描述性分析,無法證明 VNS 造成了觀察到的變化。

圖 6. 一名代表性 NSQIP 手術對照患者的癲癇發作嚴重程度縱向變化軌跡。
解讀
解讀和方法學限制
透過將分散在臨床紀錄中的資訊整理成季度變化軌跡,這種方法讓患者之間的差異更容易被觀察。然而,這項分析僅限於臨床接觸期間被記錄的症狀,無法描述兩次就診之間發生的事件。VNS 紀錄來自單一醫療中心,而嚴重程度評分則依賴人員對敘述性文字的解讀。需要進行外部驗證,才能判斷在其他醫療環境中是否能達到類似表現。
研究人員也在後續預測模型中檢視了症狀之間的關聯。可解釋性分析描述了模型如何使用症狀特徵;它沒有辨識 LLM 的內部決策過程,也沒有測試涉及迷走神經的生物途徑。這些關聯可能受到某些症狀罕見程度以及紀錄方式差異的影響。由於研究是以紀錄而非患者作為重新抽樣單位,部分患者提供了多份紀錄,可能導致信賴區間過窄。人口統計亞組規模較小,也無法對模型公平性得出確定結論。
未來研究
未來的多中心研究可以採用標準化症狀紀錄,並將模型建立的變化軌跡與患者自我報告量表、癲癇發作日誌和客觀評估進行比較,以判斷日常紀錄中缺少哪些資訊。罕見但具有重要臨床意義的症狀,包括自殺意念,需要更大型的驗證樣本,以及對假陰性率進行專門評估。若要判斷 VNS 相關變化是否超出疾病自然史或一般手術效果所能解釋的範圍,就需要在診斷、基線症狀和追蹤強度方面進行配對的比較組,並進行預先指定的組間分析。這類研究將有助於確定自動化病歷檢視在臨床追蹤中的適當角色。
這些發現與追蹤迷走神經刺激反應的更廣泛討論有關,但不應被解讀為支持消費者耳部裝置的證據。該研究檢視的是一套 LLM 工作流程,應用於接受植入式 VNS 患者的臨床紀錄。研究並未測試 ZenoWell 產品、家用 taVNS,或任何裝置改善症狀的能力。ZenoWell's Luna Plus 是以可重複作息為基礎的非侵入式耳部刺激裝置;Luna Plus 另提供可選的應用程式指引和療程歷史記錄。其功能和使用者回報的任何變化,都需要根據自身條件單獨評估。未來研究應以前瞻性症狀追蹤和明確定義的結果,研究家用裝置的實際效果。
參考文獻
Thakkar V, Silverman GM, Putzer M, et al. Longitudinal symptom severity tracking in vagus nerve stimulation patients: a 2-stage LLM-based pipeline with explainable AI. JAMIA Open. 2026;9(5):ooag195. https://doi.org/10.1093/jamiaopen/ooag195