三次元风景照秒变宫崎骏动画，还能把石原里美吉卜力化，AnimeGAN已开源

　　鱼羊 发自 凹非寺

　　量子位 报道 | 公众号 QbitAI

　　看到这样的街角，是不是想问这是哪一部日本动画电影里的场景？

　　宫崎骏、新海诚的电影常常从现实场景中获取灵感，这张“日本动漫”截图同样有对应的真实空间。

　　但这一次，打破次元壁的却不是人类画师，而是一只名叫AnimeGAN的GAN。

　　繁华街道，车水马龙，几秒即可在二次元场景中复现：

　　即便是西方街景，在AnimeGAN的画笔下，也能毫无违和转化成日漫画风：

　　看完AnimeGAN的作品展示，我产生了一个大胆的想法。

　　看，我的二次元和三次元老婆完美统一了！

　　风格迁移+生成对抗网络（GAN）

　　这项来自武汉大学和湖北工业大学的研究，采用的是神经风格迁移 + 生成对抗网络（GAN）的组合。

　　除了解决生成图像动画风格纹理不明显、丢失原始图像内容这样的问题，AnimeGAN最大的特点是快。

　　比如上面的石原里美，在V100上跑了1.64s就完成了次元的跃迁。

　　那么，这个轻量级的GAN有什么样的特别之处呢？

　　AnimeGAN架构

　　作者介绍，AnimeGAN是基于CartoonGAN的改进，并提出了一个更加轻量级的生成器架构。

　　AnimeGAN的生成器可以视作一个对称的编码器-解码器网络，由标准卷积、深度可分离卷积、反向残差块、上采样和下采样模块组成。

　　为了有效减少生成器的参数数量，AnimeGAN的网络中使用了8个连续且相同的IRB（inverted residual blocks）。

　　在生成器中，具有1×1卷积核的最后一个卷积层不使用归一化层，跟随其后的是tanh非线性激活函数。

　　上图中，K为内核大小，C为特征图数量，S为每个卷积层的跨度，H是特征图的高度，W是特征图的宽度，Resize值用于设置特征图大小的插值方法，⊕表示逐元素加法。

　　损失函数

　　论文还提出了三个新的损失函数，以提升风格化的动漫视觉效果。

　　△不同权重的定性比较

　　灰度风格损失：

　　灰度对抗损失：

　　生成器网络的颜色重建损失（基于图像像元的损失）：

　　实验结果

　　与CartoonGAN相比，可以明显看出AnimeGAN参数更少，模型更小，计算量更少，推理速度更快，是一个相对轻量级的GAN。

　　细节甚至还更胜一筹。

　　与此前的SOTA方法相比，可以看出，CartoonGAN生成的动漫图像中通常会存在颜色伪影区域（图中红框），ComixGAN生成的动漫图像中通常会存在过度风格化的区域(失去了原始照片的内容，目标纹理难以辨识），而AnimeGAN很好地解决了这些问题。

　　定性分析，AnimeGAN取得了比SOTA方法更高质量的视觉动漫效果。

　　目前，AnimeGAN已经开源，数据集和预训练模型均可下载。如果你也想把自己记录的风景用宫崎骏/新海诚/今敏的风格呈现，不妨一试~

　　One More Thing

　　或许你已经猜出来了，AnimeGAN的作者们本身也是二次元文化爱好者，出于兴趣开始了这样一个研究项目，真·「我的兴趣就是我的工作」。

　　论文作者，是湖北工业大学刘罡副教授，陈颉博士，以及他们的学生Xin Chen。

　　此前，刘教授和Xin Chen还研究了一个动漫线稿自动上色模型，GitHub用户@pradeeplam根据他们的论文进行了复现，效果也很不错。

本文首发于微信公众号：量子位。文章内容属作者个人观点，不代表和讯网立场。投资者据此操作，风险请自担。