DiffIR2VR-Zero
DiffIR2VR-Zero DiffIR2VR-Zero DiffIR2VR-Zero
DiffIR2VR-Zero
DiffIR2VR-Zero 是一种用于视频修复的无训练方法，通过使用预训练的图像扩散模型来处理视频修复任务，包括降噪和高达8倍的超分辨率。
DiffIR2VR-Zero使用场景
- 视频降噪 ：可以显著降低视频中的噪声，使视频画面更加清晰流畅。
- 视频超分辨率 ：能够提升视频的分辨率，最多支持提升至原分辨率的8倍，使低分辨率视频变得高清。
- 无训练数据需求 ：无需专门针对视频修复进行训练，只需使用预训练的图像扩散模型即可实现高质量的视频修复。
安装与使用
- 安装
git clone https://github.com/jimmycv07/DiffIR2VR-Zero.git cd DiffIR2VR-Zero conda create -n diffir2vr python=3.10 conda activate diffir2vr pip install -r requirements.txt
- 预训练权重 将预训练权重放置在以下目录结构中：
weights ├── gmflow_sintel-0c07dcb3.pth ├── v2.pth └── v2-1_512-ema-pruned.ckpt
- 推理命令示例
- 视频降噪
python -u inference.py
–version v2
–task dn
–upscale 1
–cfg_scale 4.0
–batch_size 10
–input inputs/noise_50/flamingo
–output results/Denoise/flamingo
–config configs/inference/my_cldm.yaml
–final_size “(480, 854)”
–merge_ratio “(0.6, 0)”
–better_start
- 视频超分辨率
python -u inference.py
–version v2
–task sr
–upscale 4
–cfg_scale 4.0
–batch_size 10
–input inputs/BDx4/rhino
–output results/SR/rhino
–config configs/inference/my_cldm.yaml
–final_size “(480, 854)”
–merge_ratio “(0.6, 0)”
引用
如果你的研究中使用了DiffIR2VR-Zero，请参考以下BibTeX条目进行引用：
@article{yeh2024diffir2vr, title={DiffIR2VR-Zero: Zero-Shot Video Restoration with Diffusion-based Image Restoration Models}, author={Chang-Han Yeh and Chin-Yang Lin and Zhixiang Wang and Chi-Wei Hsiao and Ting-Hsuan Chen and Yu-Lun Liu}, journal={arXiv}, year={2024} }