彭宇新:细粒度多模态运动分析面临技术挑战-新华网
新华网 > > 正文
2024 08/19 09:12:38
来源:新华网

彭宇新:细粒度多模态运动分析面临技术挑战

字体:

  新华网天津8月19日电 16日,“大模型与生成式人工智能前沿技术论坛”在天开高教科创园举办。本次活动由天津市高校校友会科技经济融合研究会、天津市浙江商会、天津市先进技术成果转化平台、天津天开发展集团有限公司、中国产业发展促进会产业创新集群开发分会主办,天津市人工智能学会、中国计算机学会天津分部、校友(天津)共享科技智库发展有限公司共同承办。北京大学二级教授彭宇新带来题为《细粒度多模态运动分析》的主题报告。

  彭宇新介绍,在大模型技术驱动下,人体动作理解与生成技术在个性化训练、医疗康复、智能安全监控、社交媒体互动以及虚拟数字形象等领域展现出巨大潜力。彭宇新基于这一背景,指出运动分析的重要性。“运动是生命的基本要素。相较粗粒度、单模态的运动分析而言,细粒度、多模态运动分析技术能够更加准确描述真实世界,但也面临着更多技术上的挑战。”

  他介绍,细粒度多模态运动分析的核心在于综合利用文本、视频、3D姿态等多种信息源,实现对目标动作的精准识别、定位、评估乃至重建。“这当中,如何准确辨别时空界限模糊的细微动作,以及如何运用文本信息来实现人体动作的精细化重建,成为了这一领域亟待解决的问题。”

  主题报告中,彭宇新还分享了多篇CVPR 2024论文,涵盖了团队在细粒度多模态运动分析的近期工作进展,并对未来发展方向与趋势进行了展望。

【纠错】 【责任编辑:岳祥芝】