Photo Wake-Up：活见鬼？画里的人都向我奔来聊斋志异的改编剧有一种百用不厌的桥段： 从画中走出来的美丽女子。
▲阴阳师手游角色：花鸟卷 我们为何会对这种设定那么执着呢？ 看看这项技术你就知道啦！ 通过Photo Wake-Up，随便拿任意一张照片就能让它动起来，从静态的平面图片里走出来。 ▲从封面跳出来的人 ▲闭眼蹒跚的女孩 Photo Wake-Up是一种新形式的3D化技术，来自华盛顿大学的一组研究人员通过引入一种可以将2D图像转换为3D动画的技术，扩展了增强现实的概念，在AR技术的帮助下，可以从平面走进我们的现实。 该应用将SMPL的程序与深度学习相结合，研究人员设计了一种系统，能够从2D图像中剪切出主体，将其装配到预先构建的骨架，然后通过一系列预定动作（如跑步、走路、跳）。 ▲向你奔来的詹姆斯 2.1 模型不匹配 但是因为2D形象都是从某一个固定角度去看的，用3D模型的标准去控制的话，会出现不匹配的情况。更不用说毕加索画里的人，根本没有一个合适的人物模型来匹配。 ▲毕加索名画——玛雅和玩具船 2.2 身体重叠 让2D形象动起来还有一个难点，就是身体部位的重叠部分不好控制，根据动作的变化，各个角度下的身体部位显示效果不同。 ▲还原跑步时手臂摆动的状态 为了解决这些问题，让3D动画更加自然，研究团队决定使用AI算法。 ▲栩栩如生的库里 首先将2D形象与预先构建的3D形变模型进行匹配，标记出身体各部位的位置。然后按照形变算法，一步步构建网格。 接着，按照关键点位置控制网格，还原出皮肤数据，构建好贴图。 最后，把贴图放回到原图中，用算法填充背景，2D人物就可以来到现实了。
▲具体转换过程 团队还特别提到，头部姿势的准确性对动起来的表现效果十分重要，因为大部分人会将注意力放在人物的脸上。因此，他们的算法还可以识别形象的头部角度，还有注视方向。
▲识别头部角度 为了让这个算法可以实际应用，团队还提供一个调整的选项，允许使用者改动关键点的位置。 该软件适用于图片、卡通人物，甚至是抽象绘画。 ▲蹦蹦跳跳的悟空 ▲钢铁侠：坐下录个遗言…… 通过使用手机等智能设备，2D的图像就可以变成3D动画走向现实。该研究团队使用了70多张在线图片。包括本文中的库里、悟空、毕加索绘画的照片等。 但通过AR设备才可以真正地感受这款应用的魅力。 ▲360度无死角 该团队在接受麻省理工学院技术评论采访时表示：
▲啥样的人物图都能给你3D化
文章分类：
3D
|
关注我们：
靴子猫案例及产品介绍.pdf | 35.78MB | 下载 |