Q:最顶尖的AI技术到底离我们有多远?
A:三行Python代码的距离。
最近AI作画确实很火,在DALL-E和Imagen崭露头角之后,ERNIE-ViLG、Stable-Diffusion(SD)、Disco-Diffusion相继开源开放,涌现出丰富多彩的AI作画作品。
ERNIE-ViLG效果
prompt:夕阳日落时,阳光落在云层上,海面波涛汹涌,风景,胶片感
prompt:巨大的纯白色城堡
Stable-Diffusion(SD)效果
Disco-Diffusion效果
prompt:小桥流水人家
prompt:在宁静的风景中画一幅美丽的建筑画 由Arthur Adams在artstation上所作
prompt:在artstation上的一幅美丽的画,一个独特的灯塔,照耀着它的光穿过喧嚣的血海
以上惊艳的文图生成效果,是通过PaddleHub三行Python代码实现的作品:
以上ernie_vilg替换为stable_diffusion或disco_diffusion_ernievil_base即可轻松体验不同的文图生成模型,用户也可自定义修改text_prompts来**不同的效果体验。
三行代码虽然简单,但是代码背后的文图生成模型可不简单,分别来源于现在文图生成领域最顶尖的开源成果:ERNIE-ViLG、Stable-Diffusion以及Disco Diffusion + ERNIE-ViL。以DD+ ERNIE-ViL为例,DD扩散模型负责从初始噪声或者指定初始图像中来生成目标图像,ERNIE-ViL负责引导生成图像的语义和输入的文本的语义尽可能接近,随着扩散模型在ERNIE-ViL的引导下不断的迭代生成新图像,最终能够生成文本所描述内容的图像。这种惊艳的效果,在PaddleHub这里只需要三行代码即可体验。也可以通过huggingface的ERNIE-ViLG空间体验,如图: