人工知能でアニメの作画監督の仕事を助けよう 〜検証編〜

こんにちは。ぼへみあです。

前回の記事、人工知能でアニメの作画監督の仕事を助けよう　〜準備編〜では、作画監督の苦労を減らすべく、ディープラーニングで作画判定できるかを検証すべく、SHIROBAKOを題材として、各話数の宮森の顔のデータセットを作りました。

今日は学習結果について検証して、今後の展望を述べたいと思います。

おさらい

作画監督のグループを作り、作監がかぶらないように抽出する話数を決めました。

グループ	話数	作画監督
グループ1	8話	秋山有希さん　大東百合恵さん
グループ2	13話	しまだひであきさん　松坂定俊さん
グループ3	15話	野田康行さん　齊藤佳子さん
グループ4	20話	渡辺佳奈子さん　佐野陽子さん　深澤謙二さん

そして、各グループのデータセット例はこんな感じです。

このように、正解が与えられてても、僕は全く見分けがつきません。 人でも区別ができないものがディープラーニングで学習させてどの程度判別できるようになるのか試しましょう。

学習環境

基本的におそ松さんの時と同じです。
chainer1.5.1のimageNetの、ちょい古いですがNetwork in Networkモデル使用です。

データセットは、以下の通り。アニメ前半の7割を訓練用に、残り後半3割を検証用に分割した後、こんなこんな感じで水増ししてます。

グループ	train枚数	test枚数
グループ1	1735	410
グループ2	1430	380
グループ3	1165	310
グループ4	1040	240

学習過程

GTX750で4時間ほど学習させたところ、テスト画像における精度はこんな感じで下がっていきました。

一応学習係数とかバッチ数とか変えて、軽くチューニングはしてありますが、厳密にはやってません。
最終的なエラー率としては、25%前後でした。4クラス分類におけるランダムのエラーレートが75%なので、思ったより作画を学習して、判別できるようになっています。

検証

学習したモデルで検証してみましょう。まず目視で誤判定のケースを見ていきましょう。

こちらはグループ2のしまだひであきさん、松坂定俊さんの作画監督回ですが、判定はグループ1の秋山有希さん、大東百合恵さんになっています。

こちらはグループ3の野田康行さん、齊藤佳子さん回が、グループ4の渡辺佳奈子さん佐野陽子さん深澤謙二さんグループへの誤判定。

こちらはグループ4→グループ1の間違い

このように、そもそも人が見ても判別できなかったものを目視で確認しても、何の知見も得られません。
そこで、混同行列(confusion matrix)で分析してみます。

縦軸が正解、横軸がどのグループに投票したかを示しています。対角線上が正解、それ以外はどのように間違ったのかを分析できます。
特筆すべきは、グループ1の正答率の高さと、グループ4→グループ1の誤判定率の高さ。

これについては、データセットの枚数の偏りの影響があるかと思います。 グループ1の枚数が最も多く、グループ4が最も少ないため、全体的にグループ1と判別されるケースが多くなってしまっていると考えられます。

しかしながら、それ以上に混同行列が偏っているため、一定の判別における特徴を考察することができると考えられます。

ある程度は作画監督判定はできる。しかし・・・

これらの結果から、4クラス分類で約75%の精度で作画監督の特定ができました。 また、混同行列の結果から、グループ4はグループ1と似ている、グループ2は他のものと見分けづらいことが分かります。

普通のクラス分類であれば、どうすれば精度を高くできるか、という方向に行くと思いますが、今回の作画監督特定タスクでは、どれとどれを見誤ったのか、というところに価値があると思います。
作画監督とは、作画の品質担保を目的として置かれているポジションです。
すると、他の作画監督の成果物と比較して、見分けがつかないということは、作画のクオリティが安定していることに結びつき、 逆に判別精度が高いということは、その作画監督の回の作画が尖っていることを意味します。
つまり、作画監督は、ディープラーニングで見分けがつかないように作画修正をしなければいけないと考えられます。

このように、ある程度の精度で作画監督を見分けることができるという成果は、ディープラーニングの技術が作画監督支援の役に立つ可能性を示唆していると考えます。

データセットの限界

しかしあくまで可能性があるということであり、本質的にはまだまだ出来ていません。というのも、今回作成したデータセットに問題があるからです。

例えば、SHIROBAKOでは作画監督が複数いるため、あるシーンの作画をどちらの作画監督が担当したか分かりません。もし前半後半と偏っていた場合、それぞれの作画監督の特徴をちゃんと学習できていないことになります。

また特定の作画マンが複数回にまたがって作画している可能性もあり、作画監督ではなく作画マンの特徴を学習してしまっている可能性もあります。さらに、作画だけではなく色彩や効果も学習している可能性があり、純粋に作画監督の特徴のみを学習している状態ではありません。

これは、公開されている情報からだけでは、どのシーンをどの作画監督が担当したかという正確な正解データを作成できないことにあります。
もしこれを見てくださっているアニメ業界の偉い方がいて、人工知能によるアニメ業界の効率化に興味があって、今回の取り組みに可能性があると感じてくださった方がいましたら、ぜひデータセットを提供していただけると嬉しいです。
ここでいうデータセットとは、作画データと、その担当作画、担当作画監督の組み合わせです。より詳細に検証できると思います。

もしくは、ここは〇〇さんの作画だ！ と、SHIROBAKOの作画に詳しい人がいれば、データセットを作ってくださると助かります。

以上、人工知能でアニメの作画監督の支援を行う試みでした。