【TecoGAN⑤】動画を綺麗にするTecoGANを導入【応用編】

【とりあえず判ったこと】

・動画をPNG画像に変換して画像を変換する

・AIにより画像の前と後ろを比較して不鮮明部分を修復する。

 その為、静止画像は処理できない。

・メモリに読み込む容量制限があり、動画容量やサイズが大きいとすぐパンクしてエラーとなる。

・数分のコンバートでもめちゃくちゃ時間がかかる。

 GeForce3060のPCと7年前のPCと比較したら5倍ぐらい処理時間が違った。

・どうしてもエラーになる動画もある。

 画像の変換の仕方に問題があるのか、サイズ制限があるのか不明

 

①コンバートする動画を準備

②下記から「ffmpeg」をダウンロードして解凍し、任意のフォルダに置く

https://github.com/BtbN/FFmpeg-Builds/releases

ffmpeg-N-104495-g945b2dcc63-win64-gpl-shared.zip

例:E:\ffmpe配下にコピーする

コマンドプロンプトで動画のあるフォルダに移動し、動画→PNG画像に解体する

E:\ffmpeg\ffmpeg -i input.mp4 -vcodec png image_%03d.png

※「input.mp4」は動画ファイル名

④「C:\TecoGAN\LR\calendar」にPNG化したファイルをコピーしてコンバートを実行する

cd C:\TecoGAN

python generate.py --model ./tecogan_model.h5

もしくは「C:\TecoGAN\LR」配下と「C:\TecoGANresults」配下にフォルダを作成し下記コマンドでコンバートする

python generate.py --model ./tecogan_model.h5 --input-dir-lr ./LR/フォルダ名 --output-dir ./results/フォルダ名

コマンドプロンプトで「C:\TecoGAN\results\calendar」に移動し、下記コマンドでPNGの連番→動画にする

E:\ffmpeg\ffmpeg -r 30 -i output_image_%03d.png -vcodec libx264 -pix_fmt yuv420p -r 60 out.mp4
※『output_image_%03d.png』は、『TacoGAN』で生成された連番の『PNG』です

 『out.mp4』は作成する動画名です。

⑥作成した動画を、動画加工ツールなどで元動画より音声を付け替える

 

いくつか試しに変換してみましたが結構、制限に引っかかってしまい簡単にエラーになってしまいます。

そして、思ったほど綺麗じゃなかったりします。

試行錯誤してどうしたらうまく動くか教えてください。

 

Good Luck!

 

【TecoGAN④】動画を綺麗にするTecoGANを導入【TecGAN編】 - ワンダフルなブログ

nyandadafuru.hatenablog.jp