金磊 发自 凹非寺 量子位 报道 | QbitAI

AI画的简笔画能到什么水平？

给一张美国演员Rami Malek的照片，效果是这样的。

是不是和原图很逼近了？

再来看下输入《老友记》合影的效果。

虽然人物众多，但出来的简笔画效果，依旧还是能分清剧中的人物。

如果毛发特别浓密的人物照，AI还能hold得住吗？

**姐“**头”的边缘毛发，也算得上是完美还原了。

再近距离一些的呢？来看“霉霉”（Taylor Swift）照片的效果。

可以说是相当的细节了，把**的层次感、光感，以及衣物的褶皱，都发挥的“**尽致”。

……

这些就是出自一个叫ArtLine的AI的作品。

而且它在Reddit非常火爆，已经达到了1100+的热度。

如此惟妙惟肖的效果，你是不是认为又是GAN的功劳？

错！

ArtLine完全没有用到GAN：

也正因如此，ArtLine的效果真真儿的惊艳到了网友。

那么，它是如何做到的呢？

ArtLine背后的三大“法宝”

ArtLine的作者十分爽快地分享了其背后的三大技术：

Self-AttentionProgressive ResizingGenerator Loss

接下来，一起逐一看下各个技术背后的细节内容。

Self-Attention部分引用的技术，出自两年前GAN之父lan Goodfellow等人提出的研究。

等等，刚才不是还说“没用到GAN”吗？

作者对此的解释是：

并没有起到太大作用。

这项研究主要是在GAN生成中加入了注意力机制，同时将SNgan的思想引入到生成器当中。

所要解决的是**GAN自身存在的一些问题，例如：

使用小的卷积核很难发现图像中的依赖关系使用大的卷积核就会丧失卷积网络参数与计算的效率

研究中核心的自注意力机制如下图所示。

其中，f(x)，g(x)和h(x)都是普通的1x1卷积，差别只在于输出通道大小不同。

而后，将f(x)的输出转置，并和g(x)的输出相乘，再经过softmax归一化，**一个Attention Map。

**Attention Map之后，和h(x)逐像素点相乘，**自适应的注意力feature maps。

从结果上来看，引入自注意力机制的效果，确实在FID和IS两个性能指标下，**了**的效果。

ArtLine涉及到的第二个技术灵感，来自英伟达在2018年的一项研究。

这项研究主要提出了一种新的训练对抗神经网络的方法。

核心思想是逐步训练生成器和判别器：从低分辨率开始，随着训练**推进，逐步**新的层来提炼细节。

这种方法不仅加快了训练速度并且更加稳定，可以产生高**的图像。

ArtLine所涉及到的最后一个技术，是来自斯坦福大学李飞飞团队在2016年提出的研究。

这项研究主要解决了实现的风格转换，比较费时的问题。

风格转换部分主要用了上面的网络模型，这个模型可以分为两部分：左侧是图像转换网络，而右侧是损耗网络。

其超分辨率重建也是采用上面的网络模型，只是具体内部的图像转换网络部分稍有区别。

这个网络与之前的研究相比，效果达到了相当的水平，但速度却提升了百倍之多，达到3个数量级。

关于作者

ArtLine的项目作者叫做Vijish Madhavan。

他在GitHub中坦言自己并非程序员出身，也道出了ArtLine目前存在的一些缺陷，例如处理像素低于500px的图像时，效果并不**等。

现在，ArtLine可以在线玩了！

感兴趣的读者，可以戳下方链接体验一下。

Colab链接：

https://colab.research.google.com/git**/vijishmadhavan/Light-Up/blob/master/ArtLine(Try_it_on_Colab).ipynb.ipynb)https://colab.research.google.com/git**/vijishmadhavan/Light-Up/blob/master/ArtLine.ipynb

GitHub项目地址：

https://git**.com/vijishmadhavan/ArtLine

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态