人工智能python实现-用Keras实现DeepDream

8.2 DeepDream
8.2.1 用 Keras实现 DeepDream

8.2 DeepDream

DeepDream是一种艺术性的图像修改技术,它用到了卷积神经网络学到的表示。DeepDream由 Google于  2015年夏天首次发布,使用   Caffe深度学习库编写实现(当时比    TensorFlow的首次公开发布要早几个月)。它很快在网上引起了轰动,这要归功于它所生成的迷幻图像(比如图 8-3),图像中充满了算法生成的错觉式伪影、鸟羽毛和狗眼睛。这是 DeepDream卷积神经网络在 ImageNet上训练的副作用,因为  ImageNet中狗和鸟的样本特别多。

图 8-3 DeepDream输出图像示例

DeepDream算法与第  5章介绍的卷积神经网络过滤器可视化技术几乎相同,都是反向运行一个卷积神经网络:对卷积神经网络的输入做梯度上升,以便将卷积神经网络靠顶部的某一层的某个过滤器激活最大化。DeepDream使用了相同的想法,但有以下这几个简单的区别。

  • 使用  DeepDream,我们尝试将所有层的激活最大化,而不是将某一层的激活最大化,因此需要同时将大量特征的可视化混合在一起。
  • 不是从空白的、略微带有噪声的输入开始,而是从现有的图像开始,因此所产生的效果能够抓住已经存在的视觉模式,并以某种艺术性的方式将图像元素扭曲。
  • 输入图像是在不同的尺度上[叫作八度(octave)]进行处理的,这可以提高可视化的质量。我们来生成一些 DeepDream图像。

8.2.1 用 Keras实现   DeepDream

我们将从一个在 ImageNet上预训练的卷积神经网络开始。  Keras中有许多这样的卷积神经网络:VGG16、VGG19、Xception、ResNet50等。我们可以用其中任何一个来实现  DeepDream,但我们选择的卷积神经网络会影响可视化的效果,因为不同的卷积神经网络架构会学到不同的特征。最初发布的 DeepDream中使用的卷积神经网络是一个  Inception模型,在实践中,人们已经知道 Inception能够生成漂亮的   DeepDream图像,所以我们将使用   Keras内置的   Inception V3模型。

代码清单 8-8 加载预训练的 Inception V3模型

接下来,我们要计算损失(loss),即在梯度上升过程中需要最大化的量。在第  5章的过滤器可视化中,我们试图将某一层的某个过滤器的值最大化。这里,我们要将多个层的所有过滤器的激活同时最大化。具体来说,就是对一组靠近顶部的层激活的    L2范数进行加权求和,然后将其最大化。选择哪些层(以及它们对最终损失的贡献)对生成的可视化结果具有很大影响,所以我们希望让这些参数变得易于配置。更靠近底部的层生成的是几何图案,而更靠近顶部的层生成的则是从中能够看出某些 ImageNet类别(比如鸟或狗)的图案。我们将随意选择   4层的配置,但你以后一定要探索多个不同的配置。

代码清单 8-9 设置 DeepDream配置

接下来,我们来定义一个包含损失的张量,损失就是代码清单 8-9中层激活的  L2范数的加权求和。

代码清单 8-10 定义需要最大化的损失

下面来设置梯度上升过程。

代码清单 8-11 梯度上升过程

最后就是实际的 DeepDream算法。首先,我们来定义一个列表,里面包含的是处理图像的尺度(也叫八度)。每个连续的尺度都是前一个的 1.4倍(放大  40%),即首先处理小图像,然后逐渐增大图像尺寸(见图 8-4)。

图 8-4 DeepDream过程:空间处理尺度的连续放大(八度)与放大时重新注入细节

对于每个连续的尺度,从最小到最大,我们都需要在当前尺度运行梯度上升,以便将之前定义的损失最大化。每次运行完梯度上升之后,将得到的图像放大 40%。

在每次连续的放大之后(图像会变得模糊或像素化),为避免丢失大量图像细节,我们可以使用一个简单的技巧:每次放大之后,将丢失的细节重新注入到图像中。这种方法是可行的,因为我们知道原始图像放大到这个尺寸应该是什么样子。给定一个较小的图像尺寸   S和一个较大的图像尺寸 L,你可以计算将原始图像大小调整为 L与将原始图像大小调整为  S之间的区别,这个区别可以定量描述从 S到 L的细节损失。

代码清单 8-12 在多个连续尺度上运行梯度上升

注意,上述代码使用了下面这些简单的  Numpy辅助函数,其功能从名称中就可以看出来。它们都需要安装 SciPy。

代码清单 8-13 辅助函数

注意

因为原始 Inception V3网络训练识别尺寸为   299×299的图像中的概念,而上述过程中将图像尺寸减小很多,所以  DeepDream实现在尺寸介于  300×300和  400×400之间的图像上能够得到更好的结果。但不管怎样,你都可以在任何尺寸和任何比例的图像上运行同样的代码。

最开始的照片是在旧金山湾和   Google校园之间的小山上拍摄的,我们从这张照片得到的DeepDream图像如图  8-5所示。

图 8-5 在示例图像上运行 DeepDream代码

我们强烈建议你调节在损失中使用的层,从而探索能够得到什么样的结果。网络中更靠近底部的层包含更局部、不太抽象的表示,得到的梦境图案看起来更像是几何形状。更靠近顶部的层能够得到更容易识别的视觉图案,这些图案都是基于    ImageNet中最常见的对象,比如狗眼睛、鸟羽毛等。你可以随机生成 layer_contributions字典中的参数,从而快速探索多种不同的层组合。对于一张自制美味糕点的图像,图   8-6给出了利用不同的层配置所得到的一系列结果。

图 8-6 在一张示例图像上尝试一系列 DeepDream配置

8.2.2 小结

  • DeepDream的过程是反向运行一个卷积神经网络,基于网络学到的表示来生成输入。
  • 得到的结果是很有趣的,有些类似于通过迷幻剂扰乱视觉皮层而诱发的视觉伪影。
  • 注意,这个过程并不局限于图像模型,甚至并不局限于卷积神经网络。它可以应用于语音、音乐等更多内容。

作者:

喜欢围棋和编程。

 
发布于 分类 编程标签

发表评论

电子邮件地址不会被公开。