编程语言应用

首页 » 常识 » 问答 » 懂blender的注意,这个为图像数据集
TUhjnbcbe - 2023/6/21 19:25:00

做AI需要训练数据,数据当然不仅仅局限于文本数字,它还包括图像视频。而一提到作为训练的图像视频,特别是物理世界中实物相关的,我们往往倾向于认为它们应该是实拍或者辅助后期制作的,而搜集和整理数据集的过程,也不可能俯拾即是,往往要下大气力。

那么你有没有想过,用3D软件或者专业软件渲染生成的图像视频,是否可以当作实物元素的训练数据。或者机智客这么说,现在中搜集特定数量级的训练数据比较困难,能否用软件尤其是AI渲染的图像视频,再作为AI训练的训练?当然可以。

这就是来自谷歌、MIT、DeepMind、MILA和剑桥大学等11家机构的34名研究人员解决这个问题的初衷。他们的成果是联手打造了一个名叫Kubric的数据集生成器。没错,就是为人工智能训练而生的图像视频数据集生成器。既然是图像视频,那总不能太假吧,的确,这个支持(目前)13类CV任务,生成的图像数据足可以以假乱真。

既然是渲染图像视频数据集,那这个Kubric是内置渲染器纯代码生成吗?其实,它也是站在巨人的基础上,自带大量基础图像库3D模型,再基于跨平台开源的物理模拟引擎PyBullet和大名鼎鼎的跨平台3D动画制作软件Blender打造。前者用于模拟,后者用于渲染,相得益彰,完美。

值得注意的是,Kubric直接提供了从“渲染数据”到输出“AI训练数据”的管道,可以更快生成渲染,还包括光流、NeRF、姿态估计、3D重建等。更值得注意的是,它提供的接口是Python,我们在安装之后可以像写其他代码一样导入撰写脚本代码渲染生成图像数据。想想看,用一定量的脚本编程(稍微配合一下3D建模软件Blender)轻轻松松就能实现可观又可人图像或视频,那数据集搜集还愁吗?或者Blender一部分3D建模设计的工作,还保得住吗?

1
查看完整版本: 懂blender的注意,这个为图像数据集