摘要
目的 通过深度神经网络(deep neural network, DNN)分类模型揭示高里程跑者(high-mileage runner, HMR)和低里程跑者(low-mileage runner, LMR)跑步步态模式差异,并探讨逐层相关性传播(layer-wise relevance propagation, LRP)技术解释DNN分类器模型的决策有效性。方法 通过DNN对HMR和LMR总计1 200组跑步步态特征数据进行训练分类识别,采用LRP计算相关变量在不同步态阶段的相关性得分(relevance score, RS),提取高相关变量对步态模式差异进行解释性分析。结果 DNN对HMR和LMR的跑步步态模式特征分类精度达到91.25%。LRP计算结果显示支撑前期(1%～47%)各变量的成功分类贡献率高于支撑后期(48%～100%)。踝关节相关轨迹变量RS的贡献率总和达到43.10%,膝、髋关节贡献率分别为37.07%、19.83%。结论 膝、踝关节相关生物力学参数对识别HMR和LMR步态特征的贡献程度最高。跑步支撑早期可能包含更多步态模式信息,能够提升步态模式识别的有效性和敏感性。LRP实现了对模型预测结果的可行性解释,从而为分析步态模式提供了更有趣的见解和更有效的信息。
关键词:
跑步里程
步态模式识别
深度学习
运动生物力学
随着跑步运动越来越受欢迎,跑步相关损伤(running-related injuries, RRI)也不断增加 。RRI可能由多种外部因素和内部因素诱导叠加产生作用的结果 。例如：跑鞋类型、跑步地面状况、跑步时的着地方式等都是造成RRI的重要因素 。同时,每周跑步里程与RRI发生率也存在高相关性 [2,9] 。高里程跑者(high-mileage runner, HMR)和低里程跑者(low-mileage runner, LMR)的RRI部位也存在显著差异 。其中,HMR髋关节和腘绳肌损伤发生率较高 ,而LMR膝关节损伤发生率较高 。究其原因,可能是HMR和LMR存在不同的步态模式 。识别步态模式是解析步态特征的重要基础,对HMR和LMR的步态模式进行识别有助于理解跑步里程与损伤类型之间的关系,并可进一步预测RRI。
分析步态模式相关变量时,传统方法从高维度的时间序列变量中提取低维度离散变量会丢失大量信息,从而存在一定的局限性 。基于此,聚焦于步态模式分析的多变量分析及机器学习方法已逐渐应用于人体运动分析领域 [15-19] 。近年来,逐层相关性传播(layer-wise relevance propagation, LRP)技术被提出以解决机器学习预测结果可解释性缺乏的问题 。将LRP技术应用于步态模式分析,既能实现步态模式的识别与判定,也能完成对步态特征识别结果的可解释性分析 [14,21] 。因此,基于LRP深入解析HMR和LMR的步态模式对其存在不同RRI的内在原因具有重要启示,并可提供可靠的步态模式及损伤风险预测结果。
目前,机器学习已显示出解决临床生物力学问题的潜力,并提供来自复杂模型系统的新见解。本文旨在通过机器学习算法识别HMR与LMR跑步步态模式差异,并对步态特征识别结果进行可解释性分析,包括：① 通过DNN模型对HMR与LMR的步态模式进行分类识别;② 结合LRP技术分析相关变量在各步态阶段的相关性;③ 基于高相关性变量对HMR和LMR的步态模式差异进行可解释性分析。
共招募80名男性以及40名女性健康跑者,根据先前研究,LMR和HMR分别定义为每周跑步里程小于25 km和大于32 km [13,22] 。纳入标准为过去6个月无下肢肌肉骨骼损伤、手术史等。跑者具体信息如 表1 所示。实验方案通过宁波大学伦理委员会批准,所有受试者均签署书面知情同意书。
根据先前研究,反光标记点(直径：12.5 mm)被黏附于跑者髂前上棘、髂后上棘、内外髁、内外踝、第1/5跖骨、第2脚趾右侧远端指间 [23-24] 。8红外摄像头Vicon三维捕捉系统(Vicon Metrics公司, 英国)被置于测力台两侧3 m左右处以收集反光标记点轨迹,规格为60 cm×90 cm AMTI三维测力台(AMTI公司,美国)放置于20 m跑道中央同步采集地面反作用力,采集频率分别为0.2、1 kHz 。
跑者跑姿均为后跟着地模式,并穿着统一跑鞋测试。实验前,跑者按照自选速度完成10 min热身跑,然后对实验流程进行熟悉。基于先前的研究,选取3.14～3.47 m/s作为测试跑速 。跑者被要求从20 m跑道的初始位置出发,一共跑20 m到跑道的结束位置。每次测试完后,受试者回到跑道的初始位置,然后休息30 s,再进行下一次测试。将红外计时器放置在测力台中央的前/后3.3 m处以检测跑者的跑速。当红外计时器检测到速度在规定范围内,并且跑者右足完整踏在测力台上,则被定义为成功的测试。每个跑者被采集10次成功测试的数据。
跑步支撑期被定义为从右足后跟初始接触到地面(测力台采集到的地面反作用力大于10 N)到右足前掌完全离开地面 。将数据以C3D格式文件导出,随后导入Visual 3D 6.7.3(C-Motion 公司,美国)计算关节角度、力矩。本文采用的骨盆模型为CODA模型,其中髋关节的中心位置由回归方程定义 [23,28] 。选用的运动学指标为下肢关节角度,动力学指标为下肢关节力矩。最终选取120名跑者10次成功测试的下肢髋、膝、踝关节分别在矢状面、额状面、横截面的运动学和动力学数据,通过MATLAB脚本扩展成为100个数据点时间序列曲线,得到1 200行×1 800列的矩阵 M ：
M 运动学 =1 200 (120 受试者 ×10 数据 )×
900 (3 关节 ×3 平面 ×100 数据点 )
M 动力学 =1 200 (120 受试者 ×10 数据 )×
900 (3 关节 ×3 平面 ×100 数据点 )
M = M 运动学 + M 动力学 =1 200×1 800
本文设计了含有10层隐藏层的DNN,每一层的节点数由数据维度确定 [29-30] 。输入层、隐藏层和输出层的节点数分别为1 800、3 600和2。通过函数随机分布1 200个样本数据集,抽取80%作为训练集,20%作为测试集。如 图1 (a)所示,神经网络的层与层之间完全连接,通过1个线性关系函数以及1个双曲正切激活函数循环计算求解新值,最终得到模型结果。迭代间隔设为25,上限设为3 000 。输入 x 经过线性运算得到 z ,再通过激活函数运算得到1个新值,这个值相当于输入的 x ,用 a 表示,对于第 n 层的第 j 个神经元的输出
LRP的总体思路是理解在模式识别和分类任务中,数据集 x 的单个特征对分类器 f 做出的预测 f ( x )的贡献 。其在分类器设置中是1个映射 f ： R [
{
"name": "text",
"data": "v"
}
] → R 1 , f ( x )>0表示学习结构的存在性,分类的约束是找出相对于分类最不确定状态的微分贡献,然后用根点 f ( x 0 )=0表示。通过将预测 f ( x )分解为单个输入特征 x ( d )的和：
在分类器中,每一层都是运行分类算法后从数据集 x 中提取的特征的一部分。第 l 层模型是维度为 V ( l )的矢量 对于向量 z 在 l +1层的每个维度 能计算出1个相关性得分 最终,通过层与层之间的反向传播,计算出所有神经元的整体相关性 ：
相关性 提供了决策 f ( x ) 所需的层次特征分解,对分类器结果达到可解释性分析的目的。整个算法基于LRP工具箱在MATLAB中通过自编脚本实现 。
基于计算出的RS,通过定义逻辑变量对分类正确的步态模式相关性进行提取,并为每个输入变量分配1个RS,同时将LRP派生的关联模式归一化到各自的最大值。通过计算修正所有相关模式的平均值,然后模拟高斯滤波器平滑修正后的平均值(当前点被加权50%,前一个点和后一个点各被加权 25%)。这个过程重复3次后再将相关模式缩放为0(无相关性)～1(最高相关性)。最后选取前300个RS最高的变量对步态模式进行解释分析 。
对于分类器性能的评价,本文将分类模型结果合并成一个混淆矩阵 如 图1 (b)所示,该矩阵能够充分描述分类任务的结果 。本文将HMR和LMR的步态特征分别定义为正例和负例,同时计算 F 1 得分、马修斯相关系数(Matthew’s correlation coefficient, MCC)等指标来评价分类器性能。
通过随机函数抽取的240个测试集样本中含有128个正例,112个负例。经过分类器得到111个真正例,17个假正例,108个真负例以及4个假负例。模型对高低里程跑者步态特征的分类准确率达到91.25%,精确率也达到96.52%。在21个被错误分类的元组中,有17个正例,导致相对特异度高达96.43%,灵敏度仅达到86.72%。相对较低的灵敏度也造成分类器在(0 FPR ～0.5 FPR )×(0.9 TPR ～1 TPR )区域表现出较弱的分类性能。受试者工作特征(receiver operating characteristic,ROC)曲线如 图2 所示,其中ROC曲线下面积(area under curve,AUC)达到0.915 7。同时,模型也取得了较高的 F 1 得分 (0.913 6),以及很强的马修斯相关系数(0.830 3)。从整体性能评价指标来看,本研究设计的深度神经网络模型具有较佳的分类性能。
在整个支撑期变量的相对贡献如 图3 (a)所示,每1%支撑期间隔记录的变量与成功匹配的HMR和LMR的步态模式相关。在1%～47%支撑期阶段,各变量对成功分类的贡献达到51.21%,明显高于48%～100%支撑期阶段的47.94%。下肢各关节(踝、膝、髋关节)在各平面(矢状面、额状面、横截面)的运动学(关节角度)和动力学(关节力矩)RS具体细节如 图3 (b)所示。
轨迹变量RS的贡献率之和如 图3 (c)所示。踝关节相关轨迹变量RS的贡献率总和为43.10%,其中踝背/跖屈角度为9.26%,踝内/外翻角度为7.21%,踝内/外旋角度为6.87%,踝背/跖屈力矩为8.97%,踝内/外翻力矩为8.14%,踝内/外旋力矩为2.64%。膝关节相关轨迹变量RS的贡献率总和为37.07%,其中膝屈/伸角度为8.12%,膝内/外翻角度为1.81%,膝内/外旋角度为9.43%,膝屈/伸力矩为9.12%,膝内/外翻力矩为1.60%,膝内/外旋力矩为6.99%。髋关节相关轨迹变量RS的贡献率总和为19.83%,其中髋屈/伸角度为1.16%,髋内/外翻角度为8.33%,髋内/外旋角度为1.10%,髋屈/伸力矩为1.23%,髋内/外翻力矩为6.56%,髋内/外旋力矩为1.46%。
通过RS最高的前300个变量进行提取,列举的高相关性的变量能够解释支撑期阶段的步态模式差异(见 图4 )。从踝关节运动学层面分析,踝关节背屈/跖屈角度在支撑期1%～20%、48%～51%、79%～96%阶段、踝关节内翻/外翻角度在支撑期67%～76%和93%～100%阶段、踝关节内旋/外旋角度在支撑期9%～12%和16%～37%阶段与步态模式识别更具有相关性。对于膝关节运动学,膝关节屈曲/伸展角度在支撑期3%～22%阶段、膝关节内旋/外旋角度在支撑期4%～50%和79%～88%阶段与步态模式识别更具有相关性。对于髋关节运动学,仅髋关节内收/外展角度在支撑期63%～83%阶段与步态模式识别更具有相关性。
图4 下肢各关节在各平面中RS最高的前300个运动学和动力学变量具体分布
从踝关节动力学层面分析,踝关节背屈/跖屈力矩在支撑期1%～24%、27%～35%、96%～97%阶段,踝关节内翻/外翻角度在支撑期23%～46%阶段与步态模式识别更具有相关性。对于膝关节动力学,膝关节屈曲/伸展力矩在支撑期3%-34%阶段,膝关节内旋/外旋力矩在支撑期25%～34%阶段与步态模式识别更具有相关性。对于髋关节运动学,仅髋关节内收/外展力矩在支撑期33%～46%阶段与步态模式识别更具有相关性。
本文通过DNN模型对不同里程跑者步态特征进行模式识别与分类,并通过使用LRP技术计算输入变量对整体预测结果的贡献,从而实现对分类器结果的可靠性解释,为跑步步态模式的精准识别预测以及跑步相关运动损伤的预防提供参考。总体而言,LRP技术能够成功计算HMR和LMR步态模式相关生物力学变量在支撑期不同阶段的RS,并基于高相关性变量对DNN分类器模型的分类决策做出有效解释。
在步态模式识别相关研究中,为提升识别精度,往往需要测量记录大量的数据,这使得变量数量较少的前提下,很难完成对步态模式识别结果的准确解释 。因此,本文收集了120名跑者总计1 200组步态数据,对HMR和LMR的步态模式差异进行解析 。通过DNN分类模型发现,HMR和LMR在步态特征识别方面具体有高效稳定的模式可识别性(相关指标见 图2 ),但LRP的结果表明,并非所有变量都对不同里程跑者的步态模式识别有显著影响。如 图3 (a)所示,在支撑期的1%～47%阶段的变量对步态模式成功识别的贡献率高于48%～100%阶段,即支撑前期涵盖更多不同里程跑者在步态模式识别中的可解释性。Hoitz等 在使用LRP技术分析体能干预前后的步态模式差异时发现,最显著的步态特征出现在支撑前期,同时也发现支撑前期(1%～30%)比支撑后期对步态模式识别的贡献更高。虽然本研究与Hoitz等 所使用的是不同步态模式数据,但结果均表明支撑早期在识别步态模式差异时可能发挥更重要的作用。基于其他步态模式数据是否存在此类结果,还需要进一步探究。但就目前的研究结果而言,相关研究人员在解析不同步态模式时,可以更多地关注支撑早期。
HMR和LMR的运动学和动力学轨迹在下肢关节各平面的相关性贡献总和也不一致。如 图3 (c)所示,相关性得分最高前4个轨迹变量依次是膝关节内/外旋角度、踝关节背/跖屈角度、膝关节屈曲/伸展力矩和踝关节背/跖屈力矩。同时,踝关节相关轨迹变量RS的贡献率总和达到了43.10%,其次是膝关节的37.07%以及髋关节的19.83%。下肢踝、膝关节在矢状面和横截面提供了大量信息以识别步态模式,同时LMR的步态模式导致其表现出更大的膝盖弯曲和脚外翻,这也从侧面印证了跑步损伤主要发生在下肢踝关节和膝关节 [2,25,36] 。无论从运动学还是动力学角度来看,髋关节在识别HMR和LMR的步态模式方面似乎作用有限。然而,在提取相关性得分最高的前300个变量时,髋关节内收/外展角度在支撑期63%～83%阶段,以及在内收/外展力矩在支撑期的33%～46%阶段都对步态模式识别具有高度相关性。HMR比LMR表现出更大的髋关节内收模式,这也意味着HMR的髋关节相关运动损伤风险更高 [11,13] 。因此,使用髋关节额状面步态特征识别HMR和LMR的步态模式可以提供更多的损伤和个体特征信息,并为髋关节相关损伤预防提供参考。
本文通过LRP逐个计算DNN模型中每个输入变量对步态模式识别结果的贡献,提供了一个能够解释步态模式识别中非线性机器学习方法预测的全过程。LRP技术阐述了一个通用框架,有助于克服非线性机器学习方法固有的黑箱问题,并使其更加适用于步态分析。与传统的步态分析方法(基于预先选定的变量)相比,机器学习算法能够在多维度将人体运动模式与损伤风险进行关联 [17,19] 。尤其是在结合LRP时,本文表明,输出的相关结果并不只局限于单个步态特征,能够从多个时间点预测和分析步态周期的多个变量。同时,开源的LRP工具箱也为广大研究人员使用LRP提供了可行性 。因此,本文建议,在分析临床步态数据时可以结合LRP,这有助于特定情况如病理状态下的步态模式特征识别,从而实现个性化康复干预措施制定。
本研究存在以下局限性：① 纳入的女性跑者数量不足,从而造成男女受试者数量不一致,可能会造成某些步态模式识别关键信息遗漏。后续研究需要进一步增加女性受试者数量;② 收集120名受试者总计1 200组数据进行训练,基本满足DNN的训练要求 [21,29] 。但如果条件允许,还需要尽可能继续扩大样本量,以提升DNN模型预测与分类表现。
本文以跑步步态支撑期的步态特征数据集输入到DNN模型,并通过LRP计算相关生物力学变量在支撑期不同阶段的RS,发现HMR和LMR步态模式之间存在高度可识别性。其中,下肢膝、踝关节的步态特征对识别HMR和LMR步态模式的贡献更高。跑步支撑前期可能包含更多有效的步态模式信息,使其在识别步态模式差异时可能发挥更重要的作用。LRP技术能够完成对模型预测结果的可行性解释,从而为步态模式分析提供更加有效和可靠的信息。
微信
QQ空间
微博
QQ
