Logo
About Research People

情境感知

体态感知

手势感知

肌电交互

音乐舞蹈

面向创作的音乐与舞蹈的关联计算模型

项目背景和意义

我国的文化创意产业正处于蓬勃发展的阶段,音乐与舞蹈是与文化创意产业关系密切的两种艺术形式,也是非物质文化遗产的重要组成部分,在影视戏剧、动漫游戏等多种形式的文化作品中,配乐和编舞已成为烘托氛围,增强艺术感染力的最常见,也是最主要的艺术创作手段之一。

本项目的研究目标是面向文化创意产业中的编舞与配乐等创作需求,探索建立音乐与舞蹈的量化计算关联模型。一方面,针对深思熟虑、反复推敲的创作方式,从新颖度、匹配度等多个维度上力图建立音乐与舞蹈之间的映射与时变关联模型;另一方面,针对编舞与配乐的即兴创作,探索基于现场反应式人工智能原理和GPU并行机制的实时在线编排舞蹈和音乐的方法。

发表论文: Example-Based Automatic Music-Driven Conventional Dance Motion Synthesis

本项目初步实现了离线编排的原型系统。该原型系统主要包括四个模块,设置模块、动作演示模块、音乐波形演示模块和播放设置模块。在设置模块,可以载入需要进行编舞的音乐,并根据文件名载入与音乐同步的原始舞蹈动作,并放到动作演示模块中的左侧显示窗口作为演示。同时在设置模块中, 我们可以选择需要使用的切分方法,音乐的原始数据表示,舞蹈动作的原始数据。最后用户可以通过动作生成按钮,在设置好的各个参数基础上调用已离线生成好的模型,从而生成舞蹈动作,并在动作演示模块的右侧窗口展示。

论文:
[1] Jin B, Feng L, Liu G, et al. A hybrid approach to animating the murals with Dunhuang style[C]//2014 IEEE 16th International Workshop on Multimedia Signal Processing (MMSP). IEEE, 2014: 1–6
[2] Jin B, Geng W. Correspondence specification learned from master frames for automatic inbetweening[J]. Multimedia Tools and Applications, Springer US, 2015, 74(13): 4873–4889
[3] Du Y, Wong Y, Liu Y, et al. Marker-Less 3D Human Motion Capture with Monocular Image Sequence and Height-Maps[G]//Springer, Cham, 2016: 20–36
[4] Du Y, Wong Y, Jin W, et al. Semi-supervised learning for surface EMG-based gesture recognition[J]. IJCAI International Joint Conference on Artificial Intelligence, California: International Joint Conferences on Artificial Intelligence Organization, 2017: 1624–1630.
[5] Wang Z, Han F, Geng W. Image mosaicking for oversized documents with a multi-camera rig[C]//2017 IEEE 15th International Conference on Software Engineering Research, Management and Applications (SERA). IEEE, 2017: 161–167
[6] Wang Z, Geng W. Generation of view-dependent textures for an inaccurate model[C]//2017 IEEE/ACIS 16th International Conference on Computer and Information Science (ICIS). IEEE, 2017: 85–90
[7] Wang Z, Jin B, Geng W. Estimation of Antenna Pose in the Earth Frame Using Camera and IMU Data from Mobile Phones[J]. Sensors, Multidisciplinary Digital Publishing Institute, 2017, 17(4): 806
[8] Du Y, Jin W, Wei W, et al. Surface EMG-Based Inter-Session Gesture Recognition Enhanced by Deep Domain Adaptation[J]. Sensors, Multidisciplinary Digital Publishing Institute, 2017, 17(3): 458.

毕业论文:
[1] 金秉文,基于样例学习的风格化脸部动画生成方法研究
[2] 杜宇,基于深度机器学习的体态与手势感知计算关键技术研究
[3] 姜锦正,非接触式测量天线姿态的技术与系统
[4] 李霞,基于样例的敦煌壁画技法模拟技术与系统
[5] 兰恒,集合深度学习的音乐舞蹈一体化编排系统

专利:
[1] 浙江大学,结合高度图从无标记单目图像中恢复三维人体姿态的方法,申请号:CN201510970682.3,申请日:2015.12.21,公开号:CN105631861A,公开日:2016.06.01。

?????????????? Adobe Flash Player?

?? Adobe Flash Player

本项目获得国家自然科学基金资助。

链接:国家自然科学基金委员会