1. 大数据与人工智能:舌诊仪

随着中医诊疗技术的现代化发展,借鉴现代医学发展模式,研制和应用“既有现代工程技术手段、又符合中医内涵”的舌诊仪已经成为中医诊疗技术研究领域之一。工程中心根据舌诊辨证的特点结合色度学、光学、人工智能等技术研发的TFDA-1型舌诊仪,并已获得国家Ⅱ类医疗器械注册证。最大程度地保留了中医传统舌诊特色,目前广泛运用于中医教学、科研、医疗、保健等领域,促进中医现代诊疗和功能评估技术的发展和应用,带来积极的社会效益和经济效益。

TFDA—1型舌诊仪

工程中心研发团队多年来同时也在脉诊、面诊、问诊等中医诊疗技术领域进行深入研究并取得了十分重要的理论研究成果,并根据这些理论研究成果开发了相应的软硬件、技术方案等形成了相应知识产权,并与上海合参智能医疗科技有限公司就相关知识产权达成转让协议,转让金额1000万元。


  1. 基于现代中医诊断技术的皮肤病智能诊室系统

本项目利用中医四诊设备、皮肤病图像采集设备,首先对试点医院皮肤病患者数据进行分型研究,建立皮肤病患者动态健康画像,构造中医皮肤病智能模型,为实现皮肤病的个性化、精准化、智能化中医诊断及疗效评价,奠定数据与算法基础。重点针对银屑病、湿疹及有关疾病,建立真实世界样本队列,研发并迭代中医皮肤病诊疗人工智能算法,通过覆盖信息采集、数据训练、算法优化、智能辅助诊疗等环节的全数字化流程,打造成中医皮肤病智能诊室,成为中医皮肤科医生的临床智能辅助诊疗平台、临床大数据平台、临床科研管理平台、人工智能训练平台等。


全角度皮肤图像预分析系统

全身皮肤病检测的勾画分析系统

中医皮肤病智能专病系统


中医皮肤病数据集成平台


  1. 中医智能化可穿戴超声诊疗设备研发

针对肌少症的早期诊断和干预,工程中心方磊教授与柔性引进PI陈建刚教授合作,开发了基于手持超声的肌少症AI辅助诊断系统和柔性可穿戴低能量超声肌肉与穴位刺激系统,形成肌少症诊疗一体化解决方案。目前,已完成手持超声肌少症AI辅助诊断系统的AI模型设计(图23)及300例肌少症超声图像数据采集,已完成柔性可穿戴低能量超声肌肉与穴位刺激系统第一代样机的电路设计和传感器制作(如图45)。正计划开展动物实验和临床测试。








手持超声肌少症AI辅助诊断系统


用于诊断肌少症的基于ResNet架构的深度学习模型


可穿戴低能量超声发射硬件电路系统(上);无限级联超声探头设计图(下)


39 柔性超声传感器


  1.  “多靶点-多脑区”神经调控模式及产品研发

本工程中心单春雷、李源莉、王璁与深圳英智医疗科技有限公司联合合作,并基于现代脑科学理论与技术,从“多靶点-多脑区”时空协同技术层面去攻克脑卒中治疗瓶颈中的新型设备研制。共同研发“多通道-多脑区”的经颅电刺激样机,并在上海市第七人民医院康复医学科和神经内科开展临床研究和应用。经颅电刺激设备操作界面清晰、安全性能高、费用低、可在医院病房、门诊、社区中广泛应用推广,服务于大量脑卒中患者日常康复,提高其康复疗效、缩短其康复病程、减少药物使用量,最大程度减轻患者用药的副作用。成果的转化预计每年可服务上千人次患者,减轻医疗财政和患者的费用上千万支出,具有良好的学术价值与临床意义。

四通道经颅电刺激研发样机

(电刺激模式包括:直流电、交流电、随机脉冲电、伪刺激)

  1. 新型声光刺激神经调控装置与手机应用程序研发

团队开发了使用基于开源的电子原型平台的参数可调闪烁光刺激神经调控装置,通过计算机将Arduino IDE软件平台的代码载入Arduino UNO开发板,控制LED光源阵列产生相应的光闪烁刺激。该装置可通过修改软件代码的内容,调节光源强度、光源颜色,光脉冲频率,光脉冲时长、刺激总时间和刺激循环次数等刺激参数。该系统可以广泛应用于神经障碍治疗、脑卒中康复训练等场景。团队还开发了基于Android Studio的手机应用程序,患者使用时可以选择“居家”或者“非居家”两种模式,居家模式直接利用手机作为声光刺激设备,非居家模式通过蓝牙模块驱动专业的声光刺激设备。患者灵活设置训练的时间与刺激强度,同时留下治疗或者康复训练记录,为医生后期随访提供便利。截至2020,我国40岁以上人群中脑卒中患病人数超过1700万,假设5%左右的患者接受神经调控的治疗,该声光刺激设备与手机应用程序的研发成本约500/台,预估整套系统售价为1000元,预计市场规模可达8500万元。

目前该神经调控设备与手机应用程序已经申请国家发明专利2项(专利号20220626746.8202210656089.1),获得1项软件著作权授权(2022SR1254011)。

新型声光刺激神经调控装置与手机应用程序


  1. 3D脑电治疗仪的定位帽子支架

由于脑电磁刺激治疗中的刺激脑域数量较多、功能差异较大,因此治疗时临床医生需要耗费一定的时间进行电极固定;且患者头颅大小及形貌差异较大,脑电刺激的电极位置不准,且治疗时电极滑脱等问题,最终导致脑电治疗效率不高。因此本项目针对这些问题,利用3D打印技术研发出了精准化脑电磁刺激定位帽。

利用3D打印技术,研发出个性化精确3D打印定位帽的医疗应用设计。该定位帽是根据患者头部的外形和结构,以及相关功能影像扫描数据而打印出来的个性化定位产品,该定位帽与患者头皮间隔2—3mm,该定位帽在需要刺激的脑区部位设有圆形孔洞及文字标识,用于穿过治疗器械对脑功能区进行刺激。本发明可有效为临床患者提供专属定制的个性化定位帽,同时使临床的脑电刺激治疗更加便捷,并提高了脑电刺激的精准率。注册证申请主体为上海中医药大学,教育部工程中心人员参与申请。


  1. 智能康复机器人

1)下肢感觉运动康复训练系统

目前,国内外有关下肢助行康复机器人的机械设计基本上都是针对某一特定的需求去研制或定制,对训练场景的要求比较高,因此其灵活性受到一定限制。然而人体的行走活动是一个复杂的动力学过程并且是一种持续不平衡的状态,行走过程中的每一步都需要恢复人体平衡。现有的康复机器人,很少关注单独对于骨盆的运动控制机构,无法满足骨盆的六自由度运动需求。另外,脑功能康复的核心是特定神经环路的重塑,而目前虚拟现实康复训练技术较多关注视听场景带来的趣味性和沉浸度,导致其临床疗效处于瓶颈期。

工程研究中心作为医工交叉团队,是康复机器人产品转化和临床验证基地。基于科技部重点研发计划“基于运动辅助的智能虚拟现实康复训练技术和系统研发及临床示范应用”的项目研究,本中心医工交叉团队上海中医药大学康复医学院徐建光教授团队和上海大学机电工程与自动化学院郭帅教授团队研制了具备我国原创自主知识产权的下肢感觉运动康复训练系统:

1--软体机器人构型设计及其运动特性与可控性:为了解决刚性结构机器人在康复训练中刚性冲击给患者带来的不适问题,获得更安全、稳定的控制。从工程科学角度出发,研究面向患者特征参数的综合和尺度优化方法,设计刚柔耦合的机器人关节新构型,增强刚--软体机器人运动特性与可控性研究。

2)基于人--环境多模态生物信息的机器人感知系统:为了有效增加康复训练中本体感觉反馈的参与,解决新“激活”的功能区内重建有效的运动和感觉联系问题。我们从高级运动中枢、视觉中枢和听觉中枢等一系列的脑区反馈和调控的角度,研究综合利用位置、加速度和微电极等多传感器,构建人--环境多模态感知与交互的机器人感知系统。


下肢感觉运动康复训练系统样机模式图


下肢感觉运动康复训练系统VR“动”一体训练模式

2)言语认知康复训练系统

针对言语认知功能障碍的康复,本中心医工交叉团队基于科技部重点研发计划的研究,依据康复场景,融合人机工程学学、机器人学、康复医学、虚拟现实等技术,研制了具备我国原创自主知识产权的面向言语-认知-日常生活能力虚拟现实康复训练系统:

1)团队进行了基于运动学及生物力学的人体上肢运动理论关键技术研究,解决外骨骼所提供的辅助力矩与人体运动同步的关键问题,解决运动意图识别与人机相容的高效助力策略关键技术,构建言语认知功能的“视--动”一体训练模式。

2构建针对言语-认知-日常生活能力康复训练的虚拟现实场景库,解决虚拟现实环境下人//环境协同等关键技术问题。将具有言语-认知-日常生活动力的康复训练方法融入到各式虚拟情景的游戏中,构建“视--动”一体训练模式,利用虚拟现实技术构建沉浸式的训练环境,提高患者参与训练的积极性及康复训练效果。


言语认知康复训练系统样机模式图


言语认知康复训练系统VR“动”多感官实时交互场景


言语认知康复训练系统VR“动”一体训练模式

3)抑郁症认知康复训练系统

抑郁症认知康复训练系统(以下简称“训练系统”)利用虚拟现实技术结合虚拟现实眼镜套装构建出全沉浸式的三维视、听、触一体化的虚拟环境,将抑郁症患者的认知障碍的康复训练方法融入到各种虚拟现实情景游戏中,根据患者认知损害的不同的区域选择适合的康复情景进行康复训练,不仅提升训练的趣味性、互动性和可视性,而且可以提高患者参与训练的积极性和接受性,进而提高认知康复训练的效果。

通过头戴式虚拟现实眼镜套装进行虚拟环境下的康复模式训练,将在患者视角里出现虚拟场景,进而进行情景式康复训练,提高患者参与训练的趣味性。

抑郁症认知康复训练系统


4)中医智能艾灸机器人样机

艾灸机器人通过负离子艾烟吸收、现代传感器、光学腧穴定位等多种技术,将人工智能技术与机器人技术融合,目前已基本完成智能艾灸机器人研发。智能艾灸机器人应用感光元件、双边滤波和畸变校正等技术,实现腧穴定位、艾灸手法模拟、安全防护及艾烟净化等功能。经各项性能测试,本系统可执行常用的施灸方法,能实时切换运行模式,通过APP蓝牙传递指令满足临床治疗和保健的需要。本系统有效解决了现有艾灸器具操作不便、艾烟污染大及腧穴定位差等问题,辅助中医医师完成中医诊疗服务,为中医药特色服务提供新技术手段,形成独具中国特色的中医机器人系列产品。


智能艾灸机器人样机

5)穴位电刺激的软体外骨骼机器人

开展基于穴位电刺激的软体外骨骼机器人研发与应用,面向中风、脊椎损伤、帕金森症等患者和行动不便的老年人群的下肢康复需求,将传统的康复治疗模式(被动运动、穴位电刺激)与软体外骨骼机器人相结合,应用多传感器参数融合、人体步态参数检测与智能控制等技术,开发具有功能康复、助力行走于一体的穴位电刺激软体外骨骼机器人,为实现智能康复提供技术支持。

基于压力、加速度和陀螺仪等多参数传感器的智能步态模式识别研究,突破外界环境识别、人体意图分析和智能驱动等核心技术,完成了穿戴传感器结构设计、外骨骼动力箱结构设计、穿戴步态分析传感器系统搭建、新型穿戴动作传感器测试、外骨骼机器人测试、智能算法测试研究等单元工作,研制了用于下肢康复的中医特色软体外骨骼机器人。与此同时,课题结合中医经穴电刺激技术,设计了具有肌电反馈功能的电刺激装置,实现了开发具有功能康复、助力行走为一体的穴位电刺激软体外骨骼机器人,具有便携移动、穿戴方便、操作简便等特点,将传统的康复治疗模式(被动运动、穴位电刺激等)与软体外骨骼机器人相结合,为智能康复提供技术支持。

穴位电刺激的软体外骨骼机器人研发技术路线

  1. 脑机接口康复系统

1)脑控机器人臂系统

团队长期从事脑机接口研究,设计并开发了多套脑机接口系统,202313日中央17台《寻访中国传奇》栏目报道了团队在脑机接口领域所做工作https://tv.cctv.com/2023/01/03/VIDEAKB4d1

AqvldDbMMJPXLp230103.shtml),其中包括基于脑机接口的机器人臂抓取系统、基于脑机接口的轮椅控制系统等。

基于脑机接口的机械臂抓取系统,使用SSVEP脑机接口范式,通过对人大脑枕区产生的脑电信号进行解码,转化为具体的指令,利用TCP/IP通信将指令传输给机械臂进行拟人化抓取,让使用者通过自己的大脑来控制机器人臂拿到想要的物品。

基于脑机接口的轮椅控制系统,将脑机接口技术与AR设备结合,将系统搭载至电动轮椅上,使用者通过注视AR眼镜中的界面,系统会实时采集其脑电信号并进行意图解码,判断其此时想要移动的方向,成功解析后将控制指令传递给电动轮椅,控制轮椅进行相应的移动,让使用者能够利用自己的大脑来控制自身进行移动。

基于脑机接口的轮椅控制系统

2)任务驱动型运动想象脑机接口训练系统优化

第一代脑机接口康复训练系统原理:本系统使用运动想象实验范式,通过视频引导方式引导脑卒中患者想象左手运动与右手运动,同时采集脑卒中患者想象时大脑运动区的脑电数据,使用生成的算法模型在线识别患者想象的左右手运动,当患者想象左右手运动正确时,启动生物电刺激仪带动患者左右手运动,想象左右手运动错误时,不启动生物电刺激仪。

    


脑机接口康复训练系统

产品优化创新:通过脑卒中患者不断想象左右手运动并带动左右手运动的方式让脑卒中患者达到运动恢复的效果,前期在50多家医院试用。项目在岳阳医院通过临床测试中不断优化运动想象效率和范式,并通过神经调控与脑机接口协同,增强运动想象关联的皮层活性,促进这项技术的临床应用依从性和稳定性。第二代脑机接口康复训练系统目前正在取证,预计在5月份拿到注册证。

虚拟现实康复训练系统软件著作权和发明专利