Da ich während des Secret Santa 2020 selber Bedarf hatte und im Anschluss oftmals gefragt wurde, dachte ich, ich schreib mal paar Zeilen zu Video2x/Waifu2x.
Video2x ist eine Video-Upscaling-Software, die mit Waifu2x, Anime4K, SRMD und RealSR arbeitet.
Waifu2x und Co. sind Skalierungs-Algorithmen, die mit Neural Network arbeiten und für Anime optimiert wurden, und daher oftmals überraschend detailreiche(re) Bilder erzeugen verglichen mit SplineResize, LanczosResize oder BicubicResize.
Die einfachste Anwendung folgt dem Win32-Full-Release von Video2x: Releases · k4yt3x/video2x · GitHub (Aktuell: video2x-4.8.1-win32-full.zip ). Einfach entpacken und video2x_gui.exe ausführen.
Dann seht ihr folgende GUI:
- Driver Settings - Hier kann man den Skalierer feinjustieren
- FFmpeg Settings - Hier kann man Encoding-Parameter festlegen
- Hier kommt die Quell-Datei rein, z.B. ein fertiges AMV, ein Clip oder eine ganze Folge Anime
- Dateipfad für die hochskalierte Datei
- Dateifpfad wo temporäre Dateien hinkommen. Das sind insbesondere extrahierte Frames aus dem Quellvideo und entsprechende hochskalierte Frames (könnte einige Gigabyte benötigen)
- Hier lässt sich der Driver bzw. Skalierer einstellen:
Waifu2x, SRMD, RealSR, Anime4K sind unterschiedliche Skalierer (Driver), die unterschiedliche Resultate hervorbringen und unterschiedlich schnell arbeiten. Waifu2x ist visuell oft am besten, Anime4K am schnellsten.
- Waifu2x Caffee (Waifu2x mit Nvidia-GPU)
- Waifu2x Converter CPP (für GPUs mit OpenCL, OpenCV)
- Waifu2x NCNN Vulkan (für GPUs mit Vulkan)
- SRMD NCNN Vulkan (SRMD für GPUs mit Vulkan)
- RealSR NCNN Vulkan (RealSR für GPUs mit Vulkan)
- Anime4KCPP (Anime4k)
- Scale Ratio - Wie groß soll das entstehende Video werden. Ratio 2 macht bspw. aus 640x480 > 1280x960.
- Start - startet den Prozess, der lange dauert! Gegenwärtige GPUs schaffen 1-2fps
Exemplarische Driver-Settings für Nvidia-User
- Noise Level - Wie stark soll der Denoiser arbeiten: 0 - deaktiviert , 3 - maximal (hier muss man für seine Source experimentieren, was am besten aussieht. Hier kann unter Umständen viel Detail wegpoliert werden, wenn man nicht aufpasst)
- Process - Hier kann man einstellen, welche Einheit die Berechnungen anstellen soll:
- GPU - GPU berechnet die neuen Frames durch die CUDA Pipeline
- CUDNN - GPU berechnet die neuen Frames durch die Neural Network Pipeline (am schnellsten)
- CPU - CPU berechnet die neuen Frames (am langsamsten!)
Exemplarische FFmpeg Settings
11. Hier sieht man die Standard-Einstellung: x264 Encode mit CRF 17. Das lässt sich mit den entsprechenden Parametern natürlich anpassen (z.B. x265 oder lossless)
Abschließend kann ich sagen, dass man mit Video2x/Waifu2x alten DVD-Quellen (die keine Liebe mehr bekommen haben) durchaus noch mal Leben einhauchen kann. Allerdings ist es auch ein Experimentieren (mit Einstellungen), denn das Endergebnis kann stark variieren und dauert relativ lange um zu entstehen. Ich persönlich seh den Nutzen hauptsächlich bei altem Bildmaterial und weniger in solchen, die schon auf Bluray bzw. 1080p existieren.
