2023.2.13
目前的情况就是，有两种3D-Aware GAN的方法，一个是StyleSDF，一个是eg3d，两者各有利弊
StyleSDF参数量明显少，生成1024图片的模型只需要200多M，但是生成的图片连续性可以说是很差，在变换角度的过程中会出现图像属性的变换，比如视线朝向、牙齿、头发等，都有类似StyleGAN编辑时的痕迹，可以从视频中看出
Eg3d在效果上就明显好很多，在视角变幻的过程中一致性保持的很好，只有某些结果中视线会有所改变，但是缺点就是参数量很大，视频中生成的是512的图片，参数量已经达到近400M了，如果生成1024的图像，保守估计参数量会达到1G以上
StyleSDF运用的方法类似于将StyleGAN中pose这个属性独立了出来，单独设置了一个latent code，然后用这个条件控制生成的图片的视角，本质上还是一种StyleGAN的编辑行为。而eg3d则不同，他直接运用StyleGAN生成了一个NeRF，渲染过程中就完全不需要StyleGAN参与了，所以最终结果不会有StyleGAN的那些问题
那么目前的想法就是，如何即能保持低参数量，又能使StyleSDF获得想eg3d那种效果，或者只是对StyleSDF进行一定程度的改进也可以，但是想来想去也没有什么好办法克服StyleGAN的缺点，现在唯一想尝试的就是不让StyleGAN去生成pose属性，只用他提高图像的分辨率，具体来说就是用一个模块生成一个类似于eg3d中tri-plane的东西，可以直接通过输入不同视角渲染出对应视角的低分辨率图片或特征，然后再使用StyleGAN提高分辨率。这种方法能想到的问题，一是不能确定最终效果是否会出现与StyleSDF一样的问题，但是感觉大概率会有所改善，二是StyleGAN只参与分辨率的提高，与视角生成没有关系，所以可能会出现高分辨率图像一致性不高的问题，但是可以通过添加StyleGAN与其他部分的交互来改善，所以感觉这个思路有尝试的价值