Introduction
该方法专注于NeRF中需要消耗巨大资源的渲染过程,采用NeRF的生成器往往需要昂贵的时间和硬件成本来进行训练,因此该论文使用了隐式曲面来辅助在光线上的采样,从而在减少采样点的数量的同时,消除了蒙特卡洛模拟引入的随机噪声,使生成器可以学到更细致高质量的结果
Approach
该方法与其他方法几乎没有区别,将三维坐标点、方向和latent code 输入网络,然后输出对应的颜色和密度,再使用对抗损失进行训练
唯一不同的地方就是对于点的采样,并不像其他方法一样随机采样或者在光线上均匀采样,而是训练了一个网络,生成一个标量值
通过此网络获得个不同等级的等值面
而我们在渲染时仅对这些等值面与光线的交点进行采样,在计算上也就是采样的点,对于光线,采样的点集为
为了可以计算梯度进行反向传播,使用以下线性插值的方法计算交点,对与交点附近的两个点、,以及他们对应的等级、,使用下面公式计算
训练策略与其他方法一致,判别器除了判别真假还预测pose,最后计算对抗损失与姿势损失进行训练
Experiments
生成的结果如上,与其他方法结果和分数上的对比如下
分数比之前方法要高,但是低于同期的StyleSDF和eg3d
最主要的是等值面的效果,该论文给出了实验结果
训练前后等值面的变化,训练之后对等值面进行取样,结果如下
结论
StyleSDF目前还没有训练出很好的结果,我使用eg3d中的方法,将低分辨率图片上采样和高分辨率图片拼起来一起输入到判别器中,但是结果不仅训不好,而且一致性还是不高,究其原因,其实是低分辨率图像的分辨率有点过于低了。因为虽然一致性还是不好,而且还是带有StyleGAN的特点,但是结果的背景和人像都与低分辨率图像更加一致了,然而因为低分辨率图像的质量实在太低,所以导致与低分图像高度对齐的最终结果也无法获得很高的质量
所以最终还是回到了要提高第一阶段渲染图像的质量,这篇论文中的方法感觉可以一试,之前训不动的128分辨率模型应该可以减少一部分参数,而且SDF中训了一个表示与表面的距离,我们可以尝试只采样为整数的点,目前感觉技术上能实现,可以尝试一下
关于将第一阶段的低分辨率图像换成triplane的想法,目前除了将eg3d中的StyleGAN直接拿过来外,没有更好的想法,而且上面结论说明最终结果的质量与低分辨率图像的质量是相关的,所以如果直接搬过来效果估计会很好,但是基本都归功于eg3d,并不能做出新的贡献