2021-11-17

【TecoGAN⑤】動画を綺麗にするTecoGANを導入【応用編】

【とりあえず判ったこと】

・動画をPNG画像に変換して画像を変換する

・AIにより画像の前と後ろを比較して不鮮明部分を修復する。

　その為、静止画像は処理できない。

・メモリに読み込む容量制限があり、動画容量やサイズが大きいとすぐパンクしてエラーとなる。

・数分のコンバートでもめちゃくちゃ時間がかかる。

　GeForce3060のPCと7年前のPCと比較したら５倍ぐらい処理時間が違った。

・どうしてもエラーになる動画もある。

　画像の変換の仕方に問題があるのか、サイズ制限があるのか不明

①コンバートする動画を準備

②下記から「ffmpeg」をダウンロードして解凍し、任意のフォルダに置く

https://github.com/BtbN/FFmpeg-Builds/releases

ffmpeg-N-104495-g945b2dcc63-win64-gpl-shared.zip

例：E:\ffmpe配下にコピーする

③コマンドプロンプトで動画のあるフォルダに移動し、動画→PNG画像に解体する

E:\ffmpeg\ffmpeg -i input.mp4 -vcodec png image_%03d.png

※「input.mp4」は動画ファイル名

④「C:\TecoGAN\LR\calendar」にPNG化したファイルをコピーしてコンバートを実行する

cd C:\TecoGAN

python generate.py --model ./tecogan_model.h5

もしくは「C:\TecoGAN\LR」配下と「C:\TecoGANresults」配下にフォルダを作成し下記コマンドでコンバートする

python generate.py --model ./tecogan_model.h5 --input-dir-lr ./LR/フォルダ名 --output-dir ./results/フォルダ名

⑤コマンドプロンプトで「C:\TecoGAN\results\calendar」に移動し、下記コマンドでPNGの連番→動画にする

E:\ffmpeg\ffmpeg -r 30 -i output_image_%03d.png -vcodec libx264 -pix_fmt yuv420p -r 60 out.mp4
※『output_image_%03d.png』は、『TacoGAN』で生成された連番の『PNG』です

　『out.mp4』は作成する動画名です。

⑥作成した動画を、動画加工ツールなどで元動画より音声を付け替える

いくつか試しに変換してみましたが結構、制限に引っかかってしまい簡単にエラーになってしまいます。

そして、思ったほど綺麗じゃなかったりします。

試行錯誤してどうしたらうまく動くか教えてください。

Good Luck！

【TecoGAN④】動画を綺麗にするTecoGANを導入【TecGAN編】 - ワンダフルなブログ

nyandadafuru.hatenablog.jp

[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]

MSI エムエスアイGF RTX3060 12GB OC グラフィックスボード GE FORCE RTX3060 VENTUS 2X(2508163)送料無料
価格：79800円（税込、送料無料) (2021/11/16時点)

楽天で購入

2021-11-17

【TecoGAN④】動画を綺麗にするTecoGANを導入【TecGAN編】

【参考】【TecoGAN】動画の超解像をやってみる【NNabla】 | FarmL

■TecoGANの導入

１．下記にアクセスします。

https://github.com/sony/nnabla-examples/

２．右上「Code」-「Download.ZIP」を選択してファイルをダウンロードします。

　※IEでは選択できません。

f:id:wandafuru:20211117103330j:plain — ダウンロード場所

３．ダウンロードした下記を解凍します。

nnabla-examples-master.zip

４．解凍した「nnabla-examples-master\nnabla-examples-master\GANs\tecogan」の
tecoganの下の全部を任意のフォルダ(ここではC:\TecoGAN)にコピーします。

５．下記にアクセスして、「Neu-1.5.tar.gz」をダウンロードします。

https://mirrors.huaweicloud.com/repository/pypi/simple/neu/

６．ダウンロードしてきた「Neu-1.5.tar.gz」を7zipなどを用いて２度解凍します。

7zipでgz→tar→と解凍

７．解凍した「Neu-1.5.tar\dist\Neu-1.5\Neu-1.5\Neu\model」の下全部を「C:\TecoGAN\utils」に上書きにコピーします。

８．C:\TecoGANの下にある「generate.py」をメモ帳などで編集し”(clear_buffer=True))”の”後ろの)”が2つある場合は1つ多いので消してください。

２か所同じ間違いがあります。

　※修正されている場合は編集不要です。
９．下記ページの中央少し下あたりにありにある「TecoGAN pre-trained weights」から「tecogan_model.h5」ダウンロードし「C:\TecoGAN」へコピーします。

https://github.com/sony/nnabla-examples/tree/master/GANs/tecogan

f:id:wandafuru:20211117102521j:plain — ダウンロード場所

以上で構築は終わりです。

では、実行してみましょう。

■TecoGAN実行テスト

・コンバート前PNG画像サンプルが下記に格納されていると思います。
LR\calendar

・コンバート後PNG画像は下記に出力されます。
results\calendar

１．コマンドプロンプト（管理者）を起動します。

２．下記コマンドを実行します。

cd C:\TecoGAN

python generate.py --model ./tecogan_model.h5

コンバートが始まるまで時間がかかるので辛抱して待ちます。

　　　・　　　

下記のように表示されれば成功です。

f:id:wandafuru:20211117103946j:plain — 実行結果

上記のようにならなければ、ハードが動作条件を満たしていないか、モジュールのバージョンが合っていないか、インストール漏れが無いかなど様々な原因があると思いますので頑張って調べて対処してください。

成功すれば、「 C:\TecoGAN\results\calendar」フォルダに画像が出力されています。

f:id:wandafuru:20211117105108p:plain — TecoGAN結果

【TecoGAN③】動画を綺麗にするTecoGANを導入【Python編】 - ワンダフルなブログ

【TecoGAN⑤】動画を綺麗にするTecoGANを導入【応用編】 - ワンダフルなブログ

MSI エムエスアイGF RTX3060 12GB OC グラフィックスボード GE FORCE RTX3060 VENTUS 2X(2508163)送料無料
価格：79800円（税込、送料無料) (2021/11/16時点)

楽天で購入

2021-11-17

【TecoGAN③】動画を綺麗にするTecoGANを導入【Python編】

【参考】Windows版Pythonのインストール: Python環境構築ガイド - python.jp

https://blog.hatena.ne.jp/wandafuru/nyandadafuru.hatenablog.jp/edit?entry=13574176438033559363

■Python 3.7をダウンロードする

１．下記へアクセスします。

https://pythonlinks.python.jp/ja/index.html

２．「python-3.7.9-amd64.exe」をダウンロードします。

※3.8以降では動かないかも

３．「python-3.7.9-amd64.exe」を右クリック、管理者として実行をクリックします。

４．"Add Python 3.x to PATH" をチェック【※重要】して「Install Now」でインストールします。

５．「スタートメニュー」で「 Windows PowerShell」-「Windows PowerShell 」を起動します。

６．下記を１回だけ実行します。

Set-ExecutionPolicy RemoteSigned -Scope CurrentUser -Force

■Python 3.7を設定する

１．コマンドプロンプト（管理者）を開きます。

２．下記を順番に実行してインストールします。

※うまく実行できない場合はpipの前に「py -3.7 -m 」をつけてみてください。

・pip install --upgrade pip

・pip install --upgrade pip --user

・pip install -U pip setuptools

・pip install -U jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder

・pip uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow_datasets tensorflow-hub keras

・pip install --upgrade tensorflow-gpu

または　pip install --upgrade tensorflow-gpu==2.7.0

※実績はtensorflow-gpu　2.7.0　です。

・pip install --upgrade nnabla

・pip install nnabla-ext-cuda110

【参考】https://nnabla.readthedocs.io/ja/latest/python/pip_installation_cuda.html

・pip install opencv-python

３．下記のコマンドを実行する

・python -c "import nnabla_ext.cuda, nnabla_ext.cudnn"

下記のようなメッセージが出ればＯＫ

　2018-06-26 15:20:36,085 [nnabla][INFO]: Initializing CPU extension...
　2018-06-26 15:20:36,257 [nnabla][INFO]: Initializing CUDA extension...
　2018-06-26 15:20:36,257 [nnabla][INFO]: Initializing cuDNN extension...

上記メッセージが出なければ、たぶん動きません。

頑張って試行錯誤してください。

【参考】インストールモジュール一覧コマンド：pip list

※動作実績

Python 3.7

nnabla 1.22.0
nnabla-ext-cuda110 1.22.0

tensorflow-gpu 2.7.0

以上でPythonのインストールは終わりです。

次回はTecoGANに移ります。

【TecoGAN②】動画を綺麗にするTecoGANを導入【NVIDIA編】 - ワンダフルなブログ

【TecoGAN④】動画を綺麗にするTecoGANを導入【TecGAN編】 - ワンダフルなブログ

MSI エムエスアイGF RTX3060 12GB OC グラフィックスボード GE FORCE RTX3060 VENTUS 2X(2508163)送料無料
価格：79800円（税込、送料無料) (2021/11/16時点)

楽天で購入

2021-11-17

【TecoGAN②】動画を綺麗にするTecoGANを導入【NVIDIA編】

TecoGANの導入にはT. Nukui氏のブログ

『【TecoGAN】動画の超解像をやってみる【NNabla】 | FarmL』

をメインで参考にさせて頂きました。

■導入するOSは「Windows10」/「Windows11」です。

■NVIDIA CUDA ツールキット導入

【参考】https://www.kkaneko.jp/tools/win/tf115py37.html

１．下記にアクセスします。

https://developer.nvidia.com/cuda-toolkit-archive

２．下記をダウンロードします。（それ以外のバージョンは試していません）

CUDA Toolkit 11.4.2 (September 2021), Versioned Online Documentation

最新は

https://developer.nvidia.com/cuda-downloads

「Select Target Platform」-「Windows」-「10」-「exe(local)」

３．ダウンロードした下記を右クリックから「管理者として実行」でインストールします。

cuda_11.4.2_471.41_win10.exe

■cuDNN(CUDAのバージョンにあった物を使ってください)

１．下記にアクセスします。

https://developer.nvidia.com/cudnn

２．下記項目をクリックしてダウンロードします。

ユーザ登録は必須なので頑張って登録してください。

「Download cuDNN」-「ログイン(ユーザ登録必須)」

-チェック「I Agree To the Terms of the cuDNN Software License Agreement」

「Archived cuDNN Releases 」クリック

「Download cuDNN v8.2.4 (September 2nd, 2021), for CUDA 11.4」をダウンロード

３．ダウンロードした下記を解凍します。

cudnn-11.4-windows-x64-v8.2.4.15

４．解凍したすべてを下記へコピーします。

「C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4」

５．Windowsの「システムの詳細設定」を開き、「システムのプロパティ」から「詳細設定」タブの「環境変数」ボタンを押し下記を設定します。

CUDNN_PATH
「C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4」

CUDA_PATH_V11_4
「C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4」

NVCUDASAMPLES_ROOT
「C:\ProgramData\NVIDIA Corporation\CUDA Samples\v11.4」
NVCUDASAMPLES11_4_ROOT
「C:\ProgramData\NVIDIA Corporation\CUDA Samples\v11.4」
NVTOOLSEXT_PATH
「C:\Program Files\NVIDIA Corporation\NvToolsExt\」
path
「C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\bin」追加
「C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\libnvvp」追加
TF_FORCE_GPU_ALLOW_GROWTH
「true」