低成本实现人体运动图像实时检测
作者：王人成 黄昌华 杨年峰 金德闻
单位：清华大学精密仪器系康复工程研究中心，北京100084
关键词：人体运动图像；检测系统；步态分析；康复工程
现代康复000507
摘要 概述了人体运动检测技术的研究与进展；介绍了一种利用图像动态采集与自动识别跟踪技术实现运动图像在线检测分析方法；采用该方法的人体运动图像分析系统硬件造用通用产品，成本低、性能可靠、维护与升级容易。这种系统可以用于步态分析、假肢性能评定等方面。
中图分类号 R496 文献标识码 A 文章编号 1007-5496(2000)05-0662-02
Low cost real-time measurement of human motion image
, http://www.100md.com
WANG Ren-cheng
(Department of Precision Instruments,Tsinghua University,Beijing 100084,China)
HUANG Chang-hua
(Department of Precision Instruments,Tsinghua University,Beijing 100084,China)
YANG Nian-feng,et al.
(Department of Precision Instruments,Tsinghua University,Beijing 100084,China)
, 百拇医药 Abstract A new measurement method is presented after summarizing the research and development for measurement technic of human motion.This method realizes human motion measurement and analysis online by acquiring the images dynamically and recognizing and tracking the landmarks automatically.The measurement and analysis system based on this method using OEM,so it is low cost,high reliability,and maintenance and upgrade simply.This system can be applied in gait analysis and evaluation of artificial limbs performance,etc.
, 百拇医药
Key words human motion image;meassurement system;gait analysis;rehabilitation engineering
1 引言
研究比较不同人或同一人不同时间的运动姿态，尤其是行走姿态(步态)已经被广泛应用于临床诊断。人体运动姿态检测最简单的方法是利用目测观察，比较准确的方法是利用传感器通过测量身体各环节位移(角位移)、速度(角速度)或加速度(角加速度)定量描述其在空间与时间上的运动规律。
较常见的人体运动检测手段主要有基于电子测角器和摄像设备两种[1～7]。前者通过电子测角器记录运动过程中关节角度变化，这种仪器制造简单，但是由于使用时电子测角器需要固结在待测关节两侧的肢体上(见图1)，因此采用该方法对人体运动有一定影响；国外制造基于电子测角器的人体运动检测系统的厂商主要有BiometricsLtd.和Market-USA，国内有多家研究机构研发了类似产品，如上海第二医科大学附属第九医院研制的S9-2系统，上海交通大学研制固体记录器式步态分析系统，解放军208医院研制的靴式步态分析系统。后者通过拍摄人体运动过程然后分析其运动规律，这种方法早在19世纪末摄影技术刚刚兴起时就被用于研究四蹄动物奔跑时的运动规律[8]。最初人们用摄影胶片摄取运动图像，然后逐张胶片进行处理，整个分析过程复杂、周期长，目前应用的商业系统大多数都解决了图像自动处理问题，具有实时检测分析功能。这类系统通常比较复杂、成本较高，但是它比基于电子测角器的对人体运动影响要小且可以得到关节的空间绝对坐标。国外主要制造厂商有Ariel,BTS,Charnwood Dynamics,Motion Analysis,Northern Digital,Oxford Metrics,Peak Performance和Qualisys，国内清华大学开发了类似系统。此外，还有人利用频闪摄影、陀螺仪、超声定位等方法获取人体运动信息[9～11]。
, 百拇医药
图1 Penny ＆ Giles(BiometricsLtd.)系统的电子测角装置
前面介绍基于摄像设备的人体运动检测系统主要是通过摄取标志点发出或反射的红外线得到关节位置，如图2所示由Charnwood Dynamics生产的COD Ampx 30系统，将红外发光二极管作为标志点安置在待测部位，利用摄像机记录有源标志点发出的红外光点得到人体各环节运动信息；图3所示由oxford Metrics生产的Vicon370系统，它利用对红外线非常敏感的反光材料作为标志点安置在待测部位，工作时镜头周围特殊装置发出的红外线使人体上的无源标志点成为非常明显的亮点。这些系统使用专用设备，成本高且使用与维护复杂。与此同时，利用普通摄像设备代替专用设备开发低成本人体运动图像检测系统的工作在国内外也有所开展，如清华大学研制的基于多媒体的人体运动分析系统等，但是早期的系统大多数都是先将运动图像录制到磁带，然后进行处理的非在线系统[12,13]。
, 百拇医药
图2 Charnwood Dynamics制造的COD Ampx30系统的遥测LED主动标志点
图3 Oxford Metrics制造的Vicon370系统
本文介绍了一种利用普通面阵CCD摄镜头，采用非红外普通标志点实现人体运动图像实时检测方法。
2 检测系统
图4 是基于面阵CCD的人体运动图像检测系统原理示意图，采用一台CCD的单目系统可用于二维运动分析，采用二台CCD的双目系统(或二台以上的多目系统)可用于三维运动分析。系统工作原理：首先在被测关节(或肢体特定部位)粘贴特定颜色和形状的标志点，然后用CCD摄取人体运动过程，并由动态图像采集卡将图像转存成数字文件。图像处理即识别与跟踪标志点是该系统的技术核心，早期的系统采取人工查找记录标志点的方法，不仅工作强度大，而且其精度受操作者经验、生理状况、责任心等人为因素影响较大，因此自动识别与跟踪标志点的位置是该系统需重点攻克的技术难题。由于该系统的设计目标是能够在日常光照的背景下工作，因此标志点不明显，尤其是人体运动的个体性差异较大，在运动过程中经常出现标志点畸变或被掩现象，增加了图像处理的复杂程度。
, 百拇医药
图4 检测系统示意图
图像处理分以下几个步骤[3]:(1)标志点边缘锐化：标志点图像边缘锐化采用了快速模糊边缘增强算法，先将图像映射为模糊矩阵，然后对模糊矩阵进行非线性变换模糊增强，最后进行待处理图像到模糊矩阵的逆映射，得到模糊增强的图像。(2)标志点识别跟踪：标志点识别分粗略搜索和精细查找两步进行。标志点查找利用作者构造的一种连通域算法和模板筛选法判断标志点的位置。由于标志点识别采用了隐含标志点跟踪的“一阶预测-局部搜索”方法，因而只要相邻时刻同一标志点的位置变化在预测点的局部搜索范围内，且同一时刻的任意两标志点间距大于局部搜索范围，在局部搜索范围找到的点与前一时刻的点为同一点。对于人体运动测量，只要搜索范围大小选择得适当，就能满足这个条件。(3)标志点插补处理：识别跟踪标志点的目的是确定序列图像上待测关节的位置，以研究其运动规律。当某幅或几幅图像的标志点自动识别跟踪出现失误时，系统软件具有根据某种选定的算法进行丢失标志点插补的功能。并将标志点的重心位置叠加到图像上，可以通过回放手动进行修正。(4)滤波处理：由于在进行运动分析时，速度和加速度是通过对位移求导得到的，这种方法对噪声非常敏感。求一次导数后，信号与噪声振幅增加的倍数与频率成正比，逐次求导的结果将导致高频噪声的急剧增加，因此对数据进行了数字滤波处理。
, 百拇医药
3 实验结果
3.1 人体步态分析 由于人体行走的姿态(步态)与人体生理结构、运动控制系统、行为等生理和心理因素有关，因而步态分析被广泛应用于医疗诊断、康复评定、体育训练等领域。人体步态分析实验采用单目系统摄取矢状面运动图像，标志点采用黑色背景的白环。选用数字滤波器的传递函数为：
其中，A0为输出信号，A1为输出信号。
通过对摄取的运动图像进行处理，可以得到关节点(标志点所在位置)坐标，连接每幅图像上标志点将其按时间顺序排列就得到被广泛应用的运动棍图。已知关节点坐标就可以对其进行各种各样的运动学分析，图5是在一个步态周期中髋、膝和踝关节角度变化曲线，常规的步态分析系统还配备地面反力测量装置，这样通过数学模型可以求得各关节的力矩进行动力学研究。
, 百拇医药
图5髋、膝和踝关节角度变化
3.2 三维检测 三维重构采用DLT(Direct Linear Transformation)算法，其基本思路为：假设物方坐标(X，Y，Z)与像坐标(η，ζ)间映射关系为含若干待定系数的函数，根据一组已知的(X，Y，Z，η，ζ)即可求解出映射函数中各待定参数，从而得到(X，Y，Z)与(η，ζ)的映射关系。采用多部相机，分别标定得到各自的物像映射函数，根据物方点(X，Y，Z)在各相机的像坐标(η，ζ)及已标定出的物像映射函数即可联立解出物方坐标(X，Y，Z)。图6是我们为进行人手三维运动检测制作的标定架，它采用立体方框控制点布局方案，实验结果将另撰文在本刊发表。
图6 标定架
4 结束语
, 百拇医药 本文提出了一种低成本人体运动图像检测与分析技术，它采用通用的硬件大大降低了成本，并利用新的图像动态检测与处理方法有效地解决了导致传统摄影原理的人体运动信息分析系统后续处理过程复杂、耗时长的问题，实现了在线检测。尤其是二维系统使用简单方便，对检测环境无特殊要求，非常适合医疗机构进行人体步态分析等运动功能康复程度评定与诊断。
基金项目国家自然科学重点基金资助项目(39930070)；科技部攻关项目资助项目(96-920-20-14)
作者简介 王人成(1966-)，男，黑龙江人，讲师，俄罗斯圣彼堡精密光机学院物理学博士。研究方向：康复工程学。
参考文献
[1]Bontrager E.Instrumented gait analysis system[M].Rehabilitation re search and development sevice:Gait analysis in the science of rehabili-tation,1998.11～ 32
, 百拇医药
[2]丁海曙，容观澳，王广志.人体运动信息检测与处理[M].北京：宇航出版社，1992.38
[3]王季军.人体运动信息检测系统研制与食指触点运动质量评价[D].北京：清华大学精密仪器系，1998
[4]徐乃明，戴克戎，高天骆，等.微机化步态分析系统的研制[J].中国生物医学工程学报，1990，9(1)：13～20
[5]陈大跃，丁洪，周新宇，等.人体行走的步态测试与分析系统[J].中国生物医学工程学报，1997，16(2)：133～141
[6]门洪学，张国栋，吴其常，等.靴式步态分析系统的研制与应用[J].中国生物医学工程学报，1991，10(3)：142～148
[7]丁海曙，王广志，黄欣，等.用PSD传感器实现多点运动轨迹的二维和三维实时检测[J].清华大学学报(自然科学版)，1992，32(4)：79～85
, 百拇医药
[8]马培荪.步行机器人和动力假肢[M].北京：科学出版社，1983
[9]吴琪，朱敬德，朱秋煜，等.腰腿痛患者步态运动形象分析及研究[J].上海大学学报，1997，3(4)：394～399
[10]Tong Kaiyu,Granat MH.Practical gait analysis system using gyro scopes [J].Medical Engineering and Physics,1999,21(2):87～ 94
[11]杨衍明，林方，袁波，等.超声定位人体下肢步态分析仪[J].中国生物医学工程学报，1997，16(6)：298～303
[12]王人成，黄昌华，王季军，等.基于普通摄像机的人体运动信息检测系统[J].生物医学工程学杂志，1999，16(4)：448～452
[13]王军，刘亚平，张春礼，等.计算机视频图像处理技术在动态生物医学图像研究中的应用[J].中国运动医学杂志,1994,13(3)：135～139
(收稿：2000-01-18), 百拇医药
单位：清华大学精密仪器系康复工程研究中心，北京100084
关键词：人体运动图像；检测系统；步态分析；康复工程
现代康复000507
摘要 概述了人体运动检测技术的研究与进展；介绍了一种利用图像动态采集与自动识别跟踪技术实现运动图像在线检测分析方法；采用该方法的人体运动图像分析系统硬件造用通用产品，成本低、性能可靠、维护与升级容易。这种系统可以用于步态分析、假肢性能评定等方面。
中图分类号 R496 文献标识码 A 文章编号 1007-5496(2000)05-0662-02
Low cost real-time measurement of human motion image
, http://www.100md.com
WANG Ren-cheng
(Department of Precision Instruments,Tsinghua University,Beijing 100084,China)
HUANG Chang-hua
(Department of Precision Instruments,Tsinghua University,Beijing 100084,China)
YANG Nian-feng,et al.
(Department of Precision Instruments,Tsinghua University,Beijing 100084,China)
, 百拇医药 Abstract A new measurement method is presented after summarizing the research and development for measurement technic of human motion.This method realizes human motion measurement and analysis online by acquiring the images dynamically and recognizing and tracking the landmarks automatically.The measurement and analysis system based on this method using OEM,so it is low cost,high reliability,and maintenance and upgrade simply.This system can be applied in gait analysis and evaluation of artificial limbs performance,etc.
, 百拇医药
Key words human motion image;meassurement system;gait analysis;rehabilitation engineering
1 引言
研究比较不同人或同一人不同时间的运动姿态，尤其是行走姿态(步态)已经被广泛应用于临床诊断。人体运动姿态检测最简单的方法是利用目测观察，比较准确的方法是利用传感器通过测量身体各环节位移(角位移)、速度(角速度)或加速度(角加速度)定量描述其在空间与时间上的运动规律。
较常见的人体运动检测手段主要有基于电子测角器和摄像设备两种[1～7]。前者通过电子测角器记录运动过程中关节角度变化，这种仪器制造简单，但是由于使用时电子测角器需要固结在待测关节两侧的肢体上(见图1)，因此采用该方法对人体运动有一定影响；国外制造基于电子测角器的人体运动检测系统的厂商主要有BiometricsLtd.和Market-USA，国内有多家研究机构研发了类似产品，如上海第二医科大学附属第九医院研制的S9-2系统，上海交通大学研制固体记录器式步态分析系统，解放军208医院研制的靴式步态分析系统。后者通过拍摄人体运动过程然后分析其运动规律，这种方法早在19世纪末摄影技术刚刚兴起时就被用于研究四蹄动物奔跑时的运动规律[8]。最初人们用摄影胶片摄取运动图像，然后逐张胶片进行处理，整个分析过程复杂、周期长，目前应用的商业系统大多数都解决了图像自动处理问题，具有实时检测分析功能。这类系统通常比较复杂、成本较高，但是它比基于电子测角器的对人体运动影响要小且可以得到关节的空间绝对坐标。国外主要制造厂商有Ariel,BTS,Charnwood Dynamics,Motion Analysis,Northern Digital,Oxford Metrics,Peak Performance和Qualisys，国内清华大学开发了类似系统。此外，还有人利用频闪摄影、陀螺仪、超声定位等方法获取人体运动信息[9～11]。
, 百拇医药
图1 Penny ＆ Giles(BiometricsLtd.)系统的电子测角装置
前面介绍基于摄像设备的人体运动检测系统主要是通过摄取标志点发出或反射的红外线得到关节位置，如图2所示由Charnwood Dynamics生产的COD Ampx 30系统，将红外发光二极管作为标志点安置在待测部位，利用摄像机记录有源标志点发出的红外光点得到人体各环节运动信息；图3所示由oxford Metrics生产的Vicon370系统，它利用对红外线非常敏感的反光材料作为标志点安置在待测部位，工作时镜头周围特殊装置发出的红外线使人体上的无源标志点成为非常明显的亮点。这些系统使用专用设备，成本高且使用与维护复杂。与此同时，利用普通摄像设备代替专用设备开发低成本人体运动图像检测系统的工作在国内外也有所开展，如清华大学研制的基于多媒体的人体运动分析系统等，但是早期的系统大多数都是先将运动图像录制到磁带，然后进行处理的非在线系统[12,13]。
, 百拇医药
图2 Charnwood Dynamics制造的COD Ampx30系统的遥测LED主动标志点
图3 Oxford Metrics制造的Vicon370系统
本文介绍了一种利用普通面阵CCD摄镜头，采用非红外普通标志点实现人体运动图像实时检测方法。
2 检测系统
图4 是基于面阵CCD的人体运动图像检测系统原理示意图，采用一台CCD的单目系统可用于二维运动分析，采用二台CCD的双目系统(或二台以上的多目系统)可用于三维运动分析。系统工作原理：首先在被测关节(或肢体特定部位)粘贴特定颜色和形状的标志点，然后用CCD摄取人体运动过程，并由动态图像采集卡将图像转存成数字文件。图像处理即识别与跟踪标志点是该系统的技术核心，早期的系统采取人工查找记录标志点的方法，不仅工作强度大，而且其精度受操作者经验、生理状况、责任心等人为因素影响较大，因此自动识别与跟踪标志点的位置是该系统需重点攻克的技术难题。由于该系统的设计目标是能够在日常光照的背景下工作，因此标志点不明显，尤其是人体运动的个体性差异较大，在运动过程中经常出现标志点畸变或被掩现象，增加了图像处理的复杂程度。
, 百拇医药
图4 检测系统示意图
图像处理分以下几个步骤[3]:(1)标志点边缘锐化：标志点图像边缘锐化采用了快速模糊边缘增强算法，先将图像映射为模糊矩阵，然后对模糊矩阵进行非线性变换模糊增强，最后进行待处理图像到模糊矩阵的逆映射，得到模糊增强的图像。(2)标志点识别跟踪：标志点识别分粗略搜索和精细查找两步进行。标志点查找利用作者构造的一种连通域算法和模板筛选法判断标志点的位置。由于标志点识别采用了隐含标志点跟踪的“一阶预测-局部搜索”方法，因而只要相邻时刻同一标志点的位置变化在预测点的局部搜索范围内，且同一时刻的任意两标志点间距大于局部搜索范围，在局部搜索范围找到的点与前一时刻的点为同一点。对于人体运动测量，只要搜索范围大小选择得适当，就能满足这个条件。(3)标志点插补处理：识别跟踪标志点的目的是确定序列图像上待测关节的位置，以研究其运动规律。当某幅或几幅图像的标志点自动识别跟踪出现失误时，系统软件具有根据某种选定的算法进行丢失标志点插补的功能。并将标志点的重心位置叠加到图像上，可以通过回放手动进行修正。(4)滤波处理：由于在进行运动分析时，速度和加速度是通过对位移求导得到的，这种方法对噪声非常敏感。求一次导数后，信号与噪声振幅增加的倍数与频率成正比，逐次求导的结果将导致高频噪声的急剧增加，因此对数据进行了数字滤波处理。
, 百拇医药
3 实验结果
3.1 人体步态分析 由于人体行走的姿态(步态)与人体生理结构、运动控制系统、行为等生理和心理因素有关，因而步态分析被广泛应用于医疗诊断、康复评定、体育训练等领域。人体步态分析实验采用单目系统摄取矢状面运动图像，标志点采用黑色背景的白环。选用数字滤波器的传递函数为：
其中，A0为输出信号，A1为输出信号。
通过对摄取的运动图像进行处理，可以得到关节点(标志点所在位置)坐标，连接每幅图像上标志点将其按时间顺序排列就得到被广泛应用的运动棍图。已知关节点坐标就可以对其进行各种各样的运动学分析，图5是在一个步态周期中髋、膝和踝关节角度变化曲线，常规的步态分析系统还配备地面反力测量装置，这样通过数学模型可以求得各关节的力矩进行动力学研究。
, 百拇医药
图5髋、膝和踝关节角度变化
3.2 三维检测 三维重构采用DLT(Direct Linear Transformation)算法，其基本思路为：假设物方坐标(X，Y，Z)与像坐标(η，ζ)间映射关系为含若干待定系数的函数，根据一组已知的(X，Y，Z，η，ζ)即可求解出映射函数中各待定参数，从而得到(X，Y，Z)与(η，ζ)的映射关系。采用多部相机，分别标定得到各自的物像映射函数，根据物方点(X，Y，Z)在各相机的像坐标(η，ζ)及已标定出的物像映射函数即可联立解出物方坐标(X，Y，Z)。图6是我们为进行人手三维运动检测制作的标定架，它采用立体方框控制点布局方案，实验结果将另撰文在本刊发表。
图6 标定架
4 结束语
, 百拇医药 本文提出了一种低成本人体运动图像检测与分析技术，它采用通用的硬件大大降低了成本，并利用新的图像动态检测与处理方法有效地解决了导致传统摄影原理的人体运动信息分析系统后续处理过程复杂、耗时长的问题，实现了在线检测。尤其是二维系统使用简单方便，对检测环境无特殊要求，非常适合医疗机构进行人体步态分析等运动功能康复程度评定与诊断。
基金项目国家自然科学重点基金资助项目(39930070)；科技部攻关项目资助项目(96-920-20-14)
作者简介 王人成(1966-)，男，黑龙江人，讲师，俄罗斯圣彼堡精密光机学院物理学博士。研究方向：康复工程学。
参考文献
[1]Bontrager E.Instrumented gait analysis system[M].Rehabilitation re search and development sevice:Gait analysis in the science of rehabili-tation,1998.11～ 32
, 百拇医药
[2]丁海曙，容观澳，王广志.人体运动信息检测与处理[M].北京：宇航出版社，1992.38
[3]王季军.人体运动信息检测系统研制与食指触点运动质量评价[D].北京：清华大学精密仪器系，1998
[4]徐乃明，戴克戎，高天骆，等.微机化步态分析系统的研制[J].中国生物医学工程学报，1990，9(1)：13～20
[5]陈大跃，丁洪，周新宇，等.人体行走的步态测试与分析系统[J].中国生物医学工程学报，1997，16(2)：133～141
[6]门洪学，张国栋，吴其常，等.靴式步态分析系统的研制与应用[J].中国生物医学工程学报，1991，10(3)：142～148
[7]丁海曙，王广志，黄欣，等.用PSD传感器实现多点运动轨迹的二维和三维实时检测[J].清华大学学报(自然科学版)，1992，32(4)：79～85
, 百拇医药
[8]马培荪.步行机器人和动力假肢[M].北京：科学出版社，1983
[9]吴琪，朱敬德，朱秋煜，等.腰腿痛患者步态运动形象分析及研究[J].上海大学学报，1997，3(4)：394～399
[10]Tong Kaiyu,Granat MH.Practical gait analysis system using gyro scopes [J].Medical Engineering and Physics,1999,21(2):87～ 94
[11]杨衍明，林方，袁波，等.超声定位人体下肢步态分析仪[J].中国生物医学工程学报，1997，16(6)：298～303
[12]王人成，黄昌华，王季军，等.基于普通摄像机的人体运动信息检测系统[J].生物医学工程学杂志，1999，16(4)：448～452
[13]王军，刘亚平，张春礼，等.计算机视频图像处理技术在动态生物医学图像研究中的应用[J].中国运动医学杂志,1994,13(3)：135～139
(收稿：2000-01-18), 百拇医药