2023.3.24

PartNeRF: Generating Part-Aware Editable 3D Shapes without 3D Supervision

[ArXiv2303][PDF]

引用：

  1. GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images

被引用：

今年三月刚发在ArXiv上的论文，想拿来看一下最新的工作是什么情况

Method

看起来跟GIRAFFE思路很像，将一个完整的对象分成几个不同的部分，分别生成NeRF，然后再合在一起渲染

Decomposition Network从shape code和texture code生成M个不同的part，对每一个part都生成一个NeRF，并映射到同一个空间，最后使用下图方法渲染

大概意思就是，对于每条光线，只渲染遇到的第一个part里的点，其余的点直接忽略

总结

“Local control can be achieved with part-aware models, but existing methods require 3D supervision and cannot produce textures. ”

局部控制可以使用部分感知模型实现，但是需要3D的监督，并且只能在无纹理的形状上进行操作，该方法可用于解决上述问题

contributions:

  1. We propose the first part-aware generative model that parametrizes parts as NeRFs. 大概意思应该是首个将parts用NeRF表述的方法
  2. 首个明确不需要3D监督，并且可以对形状和纹理进行编辑的工作

该方法看起来好像没有对part的分割进行监督，所以不同部分的定义可能是用户无法选择的，没看过相关领域的论文，所以不知道其他方法是怎样的

GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images

[NeurIPS2022][PDF]

引用：

  1. Modular Primitives for High-Performance Differentiable Rendering
    被引用：
  2. PartNeRF: Generating Part-Aware Editable 3D Shapes without 3D Supervision

这篇论文是在看PartNeRF是发现的，他的渲染好像用的不是NeRF，所以拿来看了看

Method

上下两个分支，从高斯分布采样并映射到一个新的空间，w1w_1用于生成形状，w1w_1和w2w_2共同生成颜色，最后使用了一个可微的渲染方法（但不是NeRF）进行渲染

生成形状使用了DMTet，四个顶点定义一个四面体，使用网络生成多个四面体，每个顶点都有对应的SDF值，也就是与物体表面的距离，那么如果两个顶点的SDF值符号相反，就可以使用公式mi,j=vi′sj−vj′sisj−sim_{i,j}=\frac{\mathbf v_i's_j-\mathbf v_j's_i}{s_j-s_i}计算出物体表面上的点

下面分支生成颜色时使用了triplane进行表示

总结

“Prior works on 3D generative modeling either lack geometric details, are limited in the mesh topology they can produce, typically do not support textures, or utilize neural renderers in the synthesis process, which makes their use in common 3D software non-trivial”

该论文认为之前的3D生成模型缺少形状的细节，忽视了mesh中的拓扑结构，我的理解是之前的方法很少对mesh有所限制，基本都是自动生成。同时他认为使用NeRF渲染也是一种缺点，会让模型普遍在3D软件中应用困难

该模型使用MDTet和可微的渲染方法尝试解决上述问题，从结果上看效果是比最好的EG3D要好，但是没有对比FFHQ数据集，估计可能比不过，EG3D基于StyleGAN，该方法的拓扑结构还是更适合生成椅子、车等物体，所以能获得更高的分数

至于他使用的可微的渲染方法，我找来那篇论文看了看，但实在是看不懂

Modular Primitives for High-Performance Differentiable Rendering

[TOG2020][PDF]

引用：

被引用：

  1. GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images

看了一天没看懂，好像不是CV领域的，里面好多词不理解，像看明白估计需要很多时间，所以等之后如果使用到再深入研究

STYLENERF: A STYLE-BASED 3D-AWARE GENERATOR FOR HIGH-RESOLUTION IMAGE SYNTHESIS

[ArXiv2021][PDF]

引用：

被引用：

  1. GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images

GET3D中引用了这篇论文，和PiGAN、EG3D放在一起，看起来与StyleGAN相关就去看了看，但没太看明白，由于是21年的论文了，就没再花精力去研究

没有看到明确的NeRF渲染的地方，根据公式和pipline猜测应该是StyleGAN的forward等价于对光线的渲染，最后直接输出图片，然后upsample成高分辨率图像

“Existing approaches either cannot synthesize high-resolution images with fine details or yield noticeable 3D-inconsistent artifacts. In addition, many of them lack control over style attributes and explicit 3D camera poses.”

这个问题描述看起来也很老了，还是关于图像分辨率的，所以就没再读代码，文中讲的不清楚，但看看代码应该可以搞明白他是怎么做的，但还是等有必要的时候再看

2023.3.27

HeadNeRF: A Real-time NeRF-based Parametric Head Model

Zero-Shot Contrastive Loss for Text-Guided Diffusion Image Style Transfer

[ArXiv2303][PDF]

引用：

被引用：