Introduction
GAN Inversion的船新版本,已知,以往方法都是通过改变来生成符合的图片输出,参数往往是固定的。而该方法和之前的另一个方法PTI则反其道而行之,只使用一个从Encoder生成的初始值,然后对参数进行更新
我之前也想过是否可以改变参数,可以通过网络生成参数,和这篇思路差不多,或者直接反向传播时更新参数,猜测应该和PTI差不多,但是后来仔细一想,更新参数应该是会出现问题的,而该论文中的实验恰好提供了证据,会在后面进行讨论
Method
方法可以说是很简单,使用了一个Hypernetwork H生成参数的偏移,输入是ground truth ,以及使用一个Encoder预测出的潜在编码输入到生成器中生成的图片,然后对生成器的参数通过以下公式进行更新
Hypernetwork H使用了一个ResNet作为Backbone,然后使用一组细化块生成每一层的参数。而为了减少需要生成的参数量,对于一些细化块,使用了共享权重的全连接层。同时只对除了toRGB以外的层进行更新
为了不断细化网络,还引用了和ReStyle一样的迭代机制,令,之后的每次迭代生成并将参数更新为,然后生成新的重建图像
Loss就还是常规的那几个,L2损失、感知损失以及身份损失
Experiments
重建效果如上
编辑效果如上
重建效果是很好的,可以与优化方法相比,编辑效果也还不错,因为潜在编码依旧位于潜在空间中编辑效果较好的位置
上图中左边是计算的不同编辑强度下与原图的身份相似度,右边好像是微笑的强度吧,文中并没有具体的说明,可以看到该方法的编辑效果是还不错的,而且在较强编辑力度下能获得比其他方法更好的相似度
总结
在思考参数更新时,我想到了以下问题
对于一张图片以及其对应的潜在编码,对进行反演生成预测的不是很准确的潜在编码,以及对应的图片。之前的方法是改变让他尽量与相同,从而使与尽量相同。而优化参数的话,如果不会进行改变,那么就是改变参数使对应的图片尽量接近,这种方法的最终效果应该是可以很好,但是有一个问题,就是对应的图片可能将不会是,会发生一些改变,而且就算不发生改变,和非常接近,他们附近的分布也会发生扭曲,因为在原本的分布中是不对应的
不管是以上两种情况中的哪种,或者对于不同的图片会出现两种不同的情况,附近的分布都一定会有所改变,如果改变只存在于局部地区,那对编辑效果来说一定是有影响的
带着这个问题去看了下实验,发现确实有证据证明我的猜想,图六对身份相似性的实验中,更改参数的方法HyperStyle和PTI在0左右都有一个大幅下降再上升的过程,这应该就是附近分布扭曲导致的,HyperStyle得益于多次的迭代,可以令分布更加平滑,所以幅度不是很大,而且远处也有优化,相似度比其他方法更高
不论如何,更新生成器参数都是一个新的思路,但是并不完美,可以考虑是否可以同时更新,减少对分布的影响,使整个分布更加平滑,编辑效果也会更好