【TecoGAN⑤】動画を綺麗にするTecoGANを導入【応用編】
【とりあえず判ったこと】
・動画をPNG画像に変換して画像を変換する
・AIにより画像の前と後ろを比較して不鮮明部分を修復する。
その為、静止画像は処理できない。
・メモリに読み込む容量制限があり、動画容量やサイズが大きいとすぐパンクしてエラーとなる。
・数分のコンバートでもめちゃくちゃ時間がかかる。
GeForce3060のPCと7年前のPCと比較したら5倍ぐらい処理時間が違った。
・どうしてもエラーになる動画もある。
画像の変換の仕方に問題があるのか、サイズ制限があるのか不明
①コンバートする動画を準備
②下記から「ffmpeg」をダウンロードして解凍し、任意のフォルダに置く
https://github.com/BtbN/FFmpeg-Builds/releases
ffmpeg-N-104495-g945b2dcc63-win64-gpl-shared.zip
例:E:\ffmpe配下にコピーする
③コマンドプロンプトで動画のあるフォルダに移動し、動画→PNG画像に解体する
E:\ffmpeg\ffmpeg -i input.mp4 -vcodec png image_%03d.png
※「input.mp4」は動画ファイル名
④「C:\TecoGAN\LR\calendar」にPNG化したファイルをコピーしてコンバートを実行する
cd C:\TecoGAN
python generate.py --model ./tecogan_model.h5
もしくは「C:\TecoGAN\LR」配下と「C:\TecoGANresults」配下にフォルダを作成し下記コマンドでコンバートする
python generate.py --model ./tecogan_model.h5 --input-dir-lr ./LR/フォルダ名 --output-dir ./results/フォルダ名
⑤コマンドプロンプトで「C:\TecoGAN\results\calendar」に移動し、下記コマンドでPNGの連番→動画にする
E:\ffmpeg\ffmpeg -r 30 -i output_image_%03d.png -vcodec libx264 -pix_fmt yuv420p -r 60 out.mp4
※『output_image_%03d.png』は、『TacoGAN』で生成された連番の『PNG』です
『out.mp4』は作成する動画名です。
⑥作成した動画を、動画加工ツールなどで元動画より音声を付け替える
いくつか試しに変換してみましたが結構、制限に引っかかってしまい簡単にエラーになってしまいます。
そして、思ったほど綺麗じゃなかったりします。
試行錯誤してどうしたらうまく動くか教えてください。
Good Luck!
【TecoGAN④】動画を綺麗にするTecoGANを導入【TecGAN編】 - ワンダフルなブログ
|