小论文方法

pi-GAN

image-20231219205002454

image-20231221113745085

1. Learning Dense Correspondence for NeRF-Based Face Reenactment

项目地址： https://songlin1998.github.io/planedict/（还没有开源）

img

1. 可尝试添加模块，canonical Tri-Planes规范三平面，super resolution超分辨率（提高图像分辨率与质量）

2. EG3D

image-20231219154538508

1. Fourier feature encoding（傅里叶特征编码），加入到MLP网络中，从低频的图像中学习高频信息。
2. 三平面表示的特征平面可以使用现成的基于2D CNN的生成器生成（例如StyleGAN1 2 3）
3. tri-plane decoder，轻量解码器，采用小型MLP网络。
4. 2D CNN-base super-resolution module 进行上采样并且改善RGB图像的特征图。（用于提升分辨率）

3. FENERF

image-20231224170922298

1. 采用了两个映射网络 \(Z_s, Z_t\)，上面的那个输入到MLP网络中用来生成，下面这个输入到颜色输出分支来进行纹理调节。

   train.py

1. 添加一个额外的可学习特征网格，用来补偿高频图像细节

1. 采用 \(Z_t\)，也加入到pi-GAN的颜色输出分支，形成一个新的损失函数。需要添加参数

   siren.py
   self.geo_mapping_network = CustomMappingNetwork(z_geo_dim, 256, len(self.network)*hidden_dim*2)
   self.app_mapping_network = CustomMappingNetwork(z_app_dim, 256, len(self.color_layer_sine)*hidden_dim*2)
   
   generator.py
   frequencies_geo, phase_shifts_geo = self.siren.geo_mapping_network(z_geo)
   frequencies_app, phase_shifts_app = self.siren.app_mapping_network(z_app)

2. 将可学习特征网格一同加入

4. 3D-aware Image Synthesis via Learning Structural and Textural Representations https://genforce.github.io/volumegan

1. maps 3D coordinates to pixel values, as a 3D prior。

5. EpiGRAF: Rethinking training of 3D GANs

具体细节前往 论文随记（2024.1.4-1.5）论文随记（2024.1.4-1.5） - Seul (seulqxq.top)

采用批块方法训练生成器，并且每次输入到辨别器的图像都是通过快来实现。