生物信息学  2017, Vol. 15 Issue (4): 235-241  DOI: 10.3969/j.issn.1672-5565.201703001
0

引用本文 

王子梅, 徐秀林, 安美君. 虚拟场景的下肢康复训练系统的设计与实现[J]. 生物信息学, 2017, 15(4): 235-241. DOI: 10.3969/j.issn.1672-5565.201703001.
WANG Zimei, XU Xiulin, AN Meijun. Design and implementation of lower limb rehabilitation training system based on virtual scene[J]. Chinese Journal of Bioinformatics, 2017, 15(4): 235-241. DOI: 10.3969/j.issn.1672-5565.201703001.

基金项目

上海市科学技术委员会科研计划项目(14441905100)

通信作者

徐秀林, 女, 教授, 研究方向:生物医学工程; E-mail:xxlin100@163.com

作者简介

王子梅,女,硕士研究生,研究方向:生物医学工程;E-mail:wzm_mz@126.com

文章历史

收稿日期: 2017-03-05
修回日期: 2017-07-21
虚拟场景的下肢康复训练系统的设计与实现
王子梅, 徐秀林, 安美君     
上海理工大学 医疗器械与食品学院,上海 200093
摘要: 大多数的脑卒中患者在下肢运动方面有障碍,给其生活带来了极大的不便,进行及时有效的康复训练是恢复下肢运动功能的关键。传统的下肢康复训练过程中重复性高,患者的参与度低和互动性差。为了解决该问题,本研究设计了一种基于虚拟场景的下肢康复训练系统。该系统实现了结合虚拟现实技术进行下肢康复训练和评估,采集和处理足底压力数据,控制虚拟场景中虚拟元素,显示训练的时间、得分和训练过程中足底压力的最大值、平均值。该系统由下位机硬件和上位机软件构成。硬件系统包括力传感模块和数据采集模块;软件系统是由虚拟场景模块和人机交互模块构成。基于SPSS软件的分析数据结果表明,系统不仅可以准确的采集足底脚掌与脚跟的压力值,而且组内相关系数均大于0.9,系统具有很好的可靠性。本研究的虚拟场景的趣味性很高,能有效地提高患者训练的积极性, 并有利于医生制定针对性的康复计划。
关键词: 虚拟场景    脑卒中    下肢康复    足底压力    康复评估    
Design and implementation of lower limb rehabilitation training system based on virtual scene
WANG Zimei , XU Xiulin , AN Meijun     
School of Medical Instrument and Food Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China
Abstract: The majority of stroke patients have some obstacles in the movement of the lower limbs, which bring great inconvenience to their life. And timely and effective rehabilitation training is the key to recover of lower limb motor function. The traditional rehabilitation training of lower limbs has high repeatability, low participation and poor interaction. To solve the problems, this study designed a lower limb rehabilitation training system based on the virtual scene.The system implemented the combination of virtual reality technology for rehabilitation training and evaluation of lower limbs. It can not only collect and deal with the plantar pressure to control the virtual elements in the virtual scene, but also display the training time, score, the maximum and average value of plantar pressure during training. The system is composed of lower computer hardware and upper computer software. The hardware system consists of force sensor module and data acquisition module. Based on the analysis data of SPSS software, the results show that the system can not only accurately collect the pressure value of plantar sole and heel, but also the intra-class correlation coefficient is greater than 0.9, and the system has good reliability. The software system is composed of virtual scene module and human-computer interaction module.In this study, the virtual scene is very interesting. It can effectively improve the enthusiasm of training for patients, and is conducive to develop the targeted rehabilitation programs.
Key Words: Virtual scene    Stroke    Lower limbs rehabilitation    Plantar pressure    Rehabilitation evaluation    

脑卒中是导致人类残疾的主要原因,也是世界上导致死亡的第2大原因[1]。根据卫生技术评估,大约有90%脑卒中患者的幸存者为残疾,其中很大一部分患者在下肢运动方面有障碍, 给其生活带来了巨大的困扰[2]。患者传统的治疗方式是采用人工的按摩、拔火罐、针灸等结合一些下肢训练机器进行康复训练,训练过程重复性高、单调无趣,使得患者训练积极性不高,训练效果差[3]

虚拟场景需要虚拟现实技术的支持,虚拟现实(virtual reality, VR)技术也称灵境技术,出现于20世纪60年代[4]。该技术具有多感知性、存在性、交互性和自主性4个特点,将其应用于下肢康复训练弥补了传统康复治疗的缺陷,是目前康复领域研究的热点[5]。结合虚拟场景的康复过程中,在生理上给患者提供一种真实自然的康复训练环境,可以使得患者投入到虚拟的环境中,有种身临其境的感觉;在心理上增加患者训练的趣味性,提高康复训练的积极性[6-7]

2016年Shen等[8]结合虚拟场景,开发了一种康复评价系统,提高患者的训练兴趣。2014年Zhang等[9]研制了一种基于步态的下肢康复机器人,该机器人结合了虚拟现实技术,设计了自由步态行走的虚拟场景,让患者有种身临其境的感觉。2013年Taherifar等[10]针对于脊髓损伤和中风患者,研制了一种新型的步态康复训练设备,通过传感器的数据控制虚拟场景中人物的行走速度,让虚拟环境与现实环境有了很好的结合,患者训练更有代入感。虽然设计了两个不同的虚拟场景,但没有训练时间的设置,不利于患者制定训练计划。目前,市面上已经有许多种类的下肢康复机,这些下肢康复机器有些虽然结合了虚拟现实技术,但虚拟场景设置较为单一,没有挑战性,患者的参与度较低;缺乏鼓励机制,导致患者训练的主动性不高;没有训练时间设置,不利于患者训练计划的制定。

本文针对有一定下肢运动能力的患者,开发了一种基于虚拟场景的坐姿下肢康复训练系统,可将常规的训练转化为虚拟现实的趣味游戏训练,以提高患者下肢的康复效果。该系统通过获取患者进行主动下肢康复的足底压力数据,控制虚拟环境中的虚拟元素,当达到一定位置和压力达到一定阈值时,训练得分就会增加并得到语音鼓励,不仅训练了患者的注意力,而且增加患者的参与度、挑战性和自信心。同时,医生可以根据患者的实际情况,对患者的康复训练时间进行设置,方便了医生对病人康复计划的制定。训练结束后,对训练过程中患者左右脚的平均压力和最大压力进行显示,该参数是医生对患者下肢康复评估的一个重要指标。

1 系统的构成

本系统主要由数据采集模块和虚拟现实软件两部分组成。数据采集模块利用传感器采集压力数据,处理后传至上位机,对虚拟场景中的虚拟元素进行控制;虚拟现实软件实现对虚拟环境的搭建,完成与患者的交互。系统原理示意图如图 1所示。

图 1 系统原理示意 Figure 1 System principle diagram
2 系统的硬件 2.1 传感器

本系统的力传感装置选用的是安徽博通电子科技公司生产的TH4805-Ⅱ踏板力传感器,如图 2所示。将4个传感器分别安装在双侧下肢功能训练脚踏板的脚掌和脚跟位置,能够精确实时的检测足底脚掌和脚跟的压力数据。

图 2 TH4805-Ⅱ踏板力传感器 Figure 2 TH4805-Ⅱ pedal force sensor
2.2 数据采集卡

本系统的数据采集使用的是研华PCI-1710/U数据采集卡,是一款PCI总线多功能数据采集卡,如图 3所示。PCI-1710/U包含12-bit A/D转换、D/A转换、16路数字量输入、16路数字量输出和计数器/定时器5种最重要的测量和控制功能。本系统采用差分式模拟信号连接,两个增益可编程的输入通道分别与两根信号线连接,降低了系统误差。为了进一步消除共模干扰电压影响,系统测量的是两个输入端的电压差。

图 3 研华PCI-1710/U数据采集卡 Figure 3 Yanhua PCI-1710/U data acquisition card
3 系统的软件 3.1 数据采集系统

数据采集系统流程图如图 4所示。本文使用VC++编程语言, 为数据采集系统编写CReceiveData类,控制数据采集的过程。数据传输采用多线程的方式进行,包含1个采集线程、1个滤波线程,分别启动1个发送监视线程和1个接收监视线程监视文件传输的进度,提高了程序的处理速度。为了提高数据采集过程中的稳定性,保证数据的准确性,对踏板力传感器采集到的数据进行离散卡尔曼滤波处理[11-12]。将PCI-1710数据采集卡的0、1通道分别与左脚踏板的前、后两个压力传感器相连接,将2、3通道分别与右脚踏板的前、后两个压力传感器相连接,经过滤波融合处理的4个足底压力值分别保存在数组m_lfFinalData中。

图 4 数据采集系统流程 Figure 4 The flow chart of data acquisition system
3.2 虚拟场景的搭建

本系统的虚拟场景模块是在Visual Studio 2010的MFC和DirectX SDK 9.29开发环境下,基于DirectX 11应用程序接口和VC++编程语言[13]完成。虚拟场景的构建主要基于DirectX 11中Direct3D图形程序接口进行图片的显示和3D模型的建立,并且可以实现人机交互,对虚拟元素进行控制。虚拟场景的搭建流程如图 5所示。

图 5 虚拟场景的搭建流程 Figure 5 The flow chart of virtual scene construction

为了提高3D篮球模型的表面质量, 采用二十面体来实现, 首先确定二十面体12个顶点的位置坐标,创建顶点数组position[12] (a=0.525 731f, b=0.850 651f),如图 6所示。

图 6 顶点数组 Figure 6 Vertex array

二十面体由20个全等的等边三角形构成,每个三角形有3个顶点,二十面体共需要60个顶点。为了节约系统资源并提高效率, 采用顶点缓存和索引缓存结合的方法绘制图形,因此, 只需要12个顶点缓存。根据索引数组中的索引值提取对应顶点的位置坐标, 每3个数字构成一个三角形。取二十面体的每个面三条边的中点,将每个三角形平分为4个等边三角形,取细分后的顶点映射到球体,该过程重复5次,后进行归一化处理生成单位球体。

虚拟场景是用长方体内部的6个面构成的室内篮球馆背景。场景中绘制的篮球、背景、篮筐和得分板,公用一个顶点和索引缓存区。使用对应的虚拟元素在顶点缓存区的起始位置、索引缓存区的起始位置和索引总数,确定该物体的位置。最后,用处理好的纹理图片一一映射到对应的位置,实现虚拟场景的搭建。

设定以第一人称的视角进行投篮,所以虚拟场景中的摄像机是模拟患者的眼睛。其中,摄像机的视点位置对应于人眼的位置,摄像机的观察点对应于人眼视觉目标点。以左手坐标系建立坐标,若是人眼处于(0, 0, 0)的位置,在人眼前方某一点的位置作为篮球的所在位置,投篮时求得位置变换都是相对于人眼的, 如图 7所示。

图 7 虚拟场景 Figure 7 Virtual scene

虚拟场景中的篮球投射出后时,其运动轨迹为一条抛物线,如图 8所示。图中,AB两点分别是投篮前篮球的位置和篮筐的位置,则篮球在z轴方向上的速度vz的计算公式为

$ \left\{ \begin{array}{l} t = Z/{v_z}\\ {v_y} = a{t_1}\\ H-h = at_2^2/2 \end{array} \right. $
图 8 篮球的运动轨迹 Figure 8 Trajectory of the basketball

由上式可得

$ {v_z} = \frac{Z}{t} = \frac{Z}{{\left( {\frac{{{v_y}}}{a} + \sqrt {\frac{{2\left( {H-h} \right)}}{a}} } \right)}} $

式中: vyy方向的速度; Z为篮球与篮筐z轴方向的距离; h为篮筐离地板的距离; H为最高点离地板的距离; a为篮球竖直向下时的加速度; t1为篮球投射出后运动至距离地板最高点位置所用的时间; t2为篮球从距离地板最高点位置运动至篮筐所用的时间; t为篮球投射出后运动至篮筐所用的时间.所以,篮球沿着z轴方向的运动位移为

$ Z = {v_x}t = \frac{{Zt}}{{\left( {\frac{{{v_y}}}{a} + \sqrt {\frac{{2\left( {H-h} \right)}}{a}} } \right)}} $

篮球沿着y轴方向的运动位移为

$ Y = {v_y}{t_1}-at_1^2/2 $
3.3 人机交互

虚拟场景中设置了难度和时间两个功能,程序运行界面如图 9所示,医生可以根据患者的自身情况,安排训练难度和时间。开始游戏时,使用SetTime( )定时器获取设置的时间变量m_GameTime的值, 进入倒计时;程序获取难度变量m_GameLevel的值,难度值越大,篮球与篮筐的距离就越远,篮球投入篮筐的难度就越大。通过数据采集系统得到数组m_lfFinalData[4]中4个足底压力值,控制虚拟环境中篮球的移动方向、移动速度和投篮动作,压力值的大小与篮球移动的速度成正比,同时投篮的视角亦随之变化。篮球与篮筐的碰撞采用AABB碰撞检测技术[14],投篮成功后得分板分数增加更新,并使用PlaySound( )函数播放鼓励语音,增加患者训练的动力,激励患者继续进行训练。训练结束后,分别计算出训练过程中4个足底压力值的最大压力值和平均压力值,程序运行界面如图 10所示。

图 9 训练难度和时间设置模块 Figure 9 Training difficulty and time setting module
图 10 评估模块 Figure 10 Evaluation module

足底压力变化的计算公式为:

最大压力Fmax=Max(Fi)

平均压力$\bar F{\rm{ = }}\frac{{\sum\limits_{i = 0}^{n-1} {{F_i}} }}{n}$

式中,Fi为压力值,i=0, 1, 2, …, n-1(i为整数,n为采样次数)。

4 系统测试试验

取一个10 kg和两个20 kg的砝码,分别对左右脚踏板进行测试。由于本文是基于坐姿的下肢康复训练仪器的,足底压力低于40 kg, 所以,分别以10、20、30、40 kg为基准进行测试,把相应质量的砝码分别放置在左、右脚踏板脚掌和脚跟的位置,采集时间设置为1 min,将采集到的压力与实际压力值进行比较。经过1周后,在同样的测试条件下重复进行实验,与1周前的实验数据导入SPSS数据分析软件,计算两组足底压力测试的组内相关系数(ICC值),判断系统的可靠性,见表 12

表 1 砝码为10、20 kg时压力值对应表 Table 1 The weights corresponding to the values of pressure at 10 kg and 20 kg
表 2 砝码为30、40 kg时压力值对应表 Table 2 The weights corresponding to the values of pressure at 30 kg and 40 kg

由实验数据可知,系统采集的压力值和实际压力值基本一致,表明该系统可以准确的采集足底脚掌和脚跟的压力值。测试结果显示,由表 12可见,数据组内相关系数(ICC值)均大于0.9,说明该系统有很好的可靠性。

5 结论

1) 该系统主要针对患者进行下肢康复运动,实现了下肢康复训练与虚拟场景的交互,系统测试试验说明该系统有很好的可靠性。

2) 该系统硬件使用的传感器精度高、运行稳定,可以准确的采集数据,患者可以通过下肢的运动控制虚拟场景中的虚拟元素。软件系统在虚拟场景中增加了背景音乐和音效,使患者更好的融入到虚拟场景中并且对完成任务的患者进行鼓励。医生可以根据评估模块中患者训练的数据,设置虚拟场景中的训练难度和时间,更加有利于患者的下肢康复。

3) 但是,该系统仅仅适用于单个病人在一个虚拟环境中进行下肢的康复训练,只能单独的进行训练,不能在虚拟的环境中和其他患者进行交流,缺乏互动性。在该系统的基础上,可以尝试采用分布式虚拟现实系统[15],实现异地的多名患者参与到同一虚拟环境中,共同完成同一任务训练,这样可以使医生获得在同一训练治疗方式下,不同患者获得的疗效情况,这将有待于进一步开发研究。

参考文献
[1]
刘敏, 方向华. 脑卒中后残疾的研究进展[J]. 中华流行病学杂志, 2013, 34(11): 1146-1150.
LIU Min, FANG Xianghua. Progress in the study of disability after stroke[J]. Chinese Journal of Epidemiology, 2013, 34(11): 1146-1150. DOI:10.3760/cma.j.issn.0254-6450.2013.011.023 (0)
[2]
LANGHORNE P, BERNHARDT J, KWAKKEL G. Stroke rehabilitation[J]. The Lancet, 2011, 377(9778): 1693-1702. DOI:10.1016/S0140-6736(11)60325-5 (0)
[3]
汤一格, 韦宇炜, 胡兆勇, 等. 虚拟现实在下肢康复治疗中的应用及设备研究[J]. 中国设备工程, 2016(16): 107-109.
TANG Yige, WEI Yuwei, HU Zhaoyong, et al. Virtual reality application and equipment study in rehabilitation of lower limbs[J]. China Plant Engineering, 2016(16): 107-109. DOI:10.3969/j.issn.1671-0711.2016.16.054 (0)
[4]
吴礼萍. 虚拟现实世界真精彩[J]. 厦门科技, 2015(4): 31-32.
WU Liping. The virtual reality world is wonderful[J]. Xiamen Science and Technology, 2015(4): 31-32. DOI:10.3969/j.issn.1007-1563.2015.04.010 (0)
[5]
胡风华, 郭丹峰, 刘冰. 虚拟现实探究[J]. 电脑知识与技术, 2009, 5(24): 6815-6817.
HU Fenghua, GUO Danfeng, LIU Bing. Virtual reality inquiry[J]. Computer Knowledge and Technology, 2009, 5(24): 6815-6817. DOI:10.3969/j.issn.1009-3044.2009.24.093 (0)
[6]
胡传龙, 韩建海, 王基威, 等. 下肢康复训练机器人虚拟环境设计[J]. 机电产品开发与创新, 2012, 25(2): 19-21.
HU Chuanlong, HAN Jianhai, WANG Jiwei, et al. The Design of the Lower Limb Rehabilitation Training Robot's Virtual Scene[J]. Development & Innovation of Machinery & Electrical Products, 2012, 25(2): 19-21. DOI:10.3969/j.issn.1002-6673.2012.02.007 (0)
[7]
张磊杰, 刘永久, 王慧, 等. 基于虚拟现实的步态训练康复机器人系统软件设计[J]. 计算机系统应用, 2012, 21(12): 8-11.
ZHANG Leijie, LIU Yongjiu, WANG Hui, et al. Design of the software of a rehabilitative gait training robotic system based on the virtual reality technology[J]. Application of Computer System, 2012, 21(12): 8-11. DOI:10.13214/j.cnki.cjotadm.2014.14.026 (0)
[8]
SHEN Shihui, GAO Chang, ZHAO Yong, et al. Development of lower limb rehabilitation evaluation system based on virtual reality technology[C]// IEEE International Conference on Real-Time Computing and Robotics. Angkor Wat, Cambodia: IEEE, 2016: 517-522. DOI: 10.1109/RCAR.2016.7784083. (0)
[9]
ZHANG Jianhua, LI Manhong, SONG Rui, et al. Development of a lower limb rehabilitation robot based on free gait and virtual reality[C]// IEEE International Conference on Robotics and Biomimetics. Bali, Indonesia: IEEE, 2014: 808-813. DOI: 10.1109/ROBIO.2014.7090431. (0)
[10]
TAHERIFAR A, HADIAN M R, MOUSAVI M, et al. LOKOIRAN-A novel robot for rehabilitation of spinal cord injury and stroke patients[C]// Rsi/ism International Conference on Robotics & Mechatronics. Tehran, Iran: IEEE, 2013: 218-223. DOI: 10.1109/ICRoM.2013.6510108. (0)
[11]
WELCH G, BISHOP G. An Introduction To The Kalman Filter[EB/OL]. [2001-08-12]. http://www.iro.umontreal.ca/~mignotte/IFT6150/ComplementCours/FiltrageKalman.pdf. DOI: 10.1016/0262-8856(92)90068-E. (0)
[12]
CHOUKROUN D, BAR-ITZHACK I Y, OSHMAN Y. A novel quaternion Kalman filter[J]. IEEE Transactions on Aerospace & Electronic Systems Aes, 2006, 42(1): 174-190. DOI:10.1109/TAES.2006.1603413 (0)
[13]
董士海. 人机交互的进展及面临的挑战[J]. 计算机辅助设计与图形学学报, 2004, 16(1): 1-13.
DONG Shihai. Progress and challenges of human computer interaction[J]. Journal of Computer Aided Design and Computer Graphics, 2004, 16(1): 1-13. DOI:10.3321/j.issn:1003-9775.2004.01.001 (0)
[14]
WANG Zhiliang, SHI Lin, LI Zhigang. Prototype of a virtual environment develop platform based on DirectX[C]// Proceedings of the 3rd IEEE Conference on Industrial Electronics and Applications. Singapore, Singapore: IEEE Xplore, 2008: 279-283. DOI: 10.1109/ICIEA.2008.4582524. (0)
[15]
KHARITONOV V Y. A software architecture for high-level development of component-based distributed virtual reality systems[C]// Proceedings of the 37th Computer Software and Applications Conference (COMPSAC). Kyoto, Japan: IEEE, 2013: 696-705. DOI: 10.1109/COMPSAC.2013.11. (0)