人工知能でアニメの作画監督の仕事を助けよう　〜準備編〜

こんにちは。ぼへみあです。

SHIROBAKO Advent Calendar 2016の26日目を勝手にやります。今年は申し込み忘れてしまったので。

SHIROBAKOを見て、仕事を頑張る人の人間関係や仕事の進め方に大きく感銘を受けたのですが、同時にアニメ業界の過酷さを世に広めた作品でもあります。

また最近では、製作会社のP.Aワークスの動画マンの待遇がブラックすぎるということで炎上騒ぎになってしまいました。
社会一般的な待遇と比較すると厳しいものがあるのですが、アニメ制作会社の中ではこれでも育成に力を入れているとのことです。
詳しくは、こちらのP.AワークスのQ&Aを読めば分かります。

P.A.WORKSが必要としているのは原画マンです。誤解を招くかもしれませんが、動画は原画育成のための先行投資として考えています。動画はスピード、物量、単価の面から業界全体が海外への依存度を高めています。これを食い止めることは出来ません。日本のアニメーションの生き残る道は、多様な原画の表現の継承にしか無いと考えています。条件面で頑張っているのは、この規模の会社が、地方で作画を育成することの大きな可能性を信じているからです。

状況が厳しい中頑張っていらっしゃるですが、それでも炎上してしまう待遇ということは、そもそもアニメ業界全体が存続の危機にあると見ています。そうした状況で、少しでもアニメ業界の効率化のためのアイデアとして、作画監督の補佐AIが作れないか、検証してみたいと思います。

作画監督のお仕事

作画監督が何をしているか、SHIROBAKO知識しかないのですが、簡単に振り返ります。劇中では、原画マンの絵麻ちゃんが提出した原画に対して、作画監督の瀬川さんにリテイクを出すお話がありました。
図にするとこんな感じです。
f:id:bohemian916:20161226232614j:plain

また公式用語集には、このような説明があります。

f:id:bohemian916:20161226163707p:plain 公式用語集より

このように、原画マンとリテイクなどのやりとりを通して、クオリティを高める役割を持っています。
ソフトウェアエンジニアの、ソースレビューにおけるレビュアーみたいなものだと理解しています。

SHIROBAKOの作監は？

ここでSHIROBAKOの作監の状況を見てみます。wikipediaにリストがありました。

SHIROBAKO - Wikipedia

f:id:bohemian916:20161226165641p:plain

SHIROBAKO劇中では、各話１人づつ作監を担当していましたが、 SHIROBAKOの制作では、各話ほとんど複数人の担当を置いていたようです。先ほどの用語集で、
スケジュールがひっ迫した場合、１話数で数名の作画監督が立ち、作業を分担する事もある とあったことから、スケジュールがひっ迫していたことが伺えます。

作画監督を見分けるAIを作ろう

かつておそ松さんを見分けるネタをやった時に、こんなコメントがありました。

ディープラーニングでおそ松さんの六つ子は見分けられるのか〜実施編〜 - bohemia日記
おもったより精度たかかった。アニメーターが作画監督のかわりにでぃぷらん監督のOKをもらう時代に
2015/11/23 00:58

b.hatena.ne.jp

ディープラーニングでおそ松さんの六つ子は見分けられるのか〜実施編〜 - bohemia日記
ディープラーニングでアニメのパートごとの作画担当を判別できるようにしたい
2015/11/22 22:01

b.hatena.ne.jp

確かに、こういうことができれば、作画監督の労力が少なくなるのでは、と思いました。

しかし、作画監督が要らないとは全然思っていません。ソースレビューと同じく、作画監督のリテイクには、作画マンを成長させる側面があると思います。何が良くて何が悪いかのフィードバックこそが、良い原画マン、ひいては作画監督への道に続いていると思います。

また人の感性を揺らすものというのは、人工知能では全くできない分野であり、絶対的に人の目による確認が必要だと思っています。

そこで目指すのは、最低限の品質の担保です。原画マンが闇雲に原画を出すと、無駄なリテイクが増え、効率が良くありません。
また作画監督側も、他の作画監督と同じクオリティを保てているか、絵の方向性が異なっていないか確認する手間があるのでは、と思います。

(この辺り、SHIROBAKO知識しかないから合ってるか分かりません。)

どの作画監督か見分けられるだけの特徴をディープラーニングで抽出して判別することができるなら、こうした問題を解決する作画監督補佐AIもありうると思います。
f:id:bohemian916:20161226232706j:plain

作画監督判別のためのデータセット作成

というわけで、いつも通りデータセットを作りましょう。

前述の通り、SHIROBAKOの作画監督は、各話ほぼ複数人で担当されています。僕には、作画監督を見分ける能力なんてないので、個々の作画監督の正解データを作ることができません。
そこで、作画監督が3人までの話数を抽出し、作画監督のグループを判別したいと思います。

作画監督が3人までの話数は以下の通りです。
f:id:bohemian916:20161226173219p:plain

さらに、同じ作画監督が複数のグループにいるとおかしなことになるので、重複を避け、グループ分けします。

その結果、

グループ	話数	作画監督
グループ1	8話	秋山有希さん　大東百合恵さん
グループ2	13話	しまだひであきさん　松坂定俊さん
グループ3	15話	野田康行さん　齊藤佳子さん
グループ4	20話	渡辺佳奈子さん　佐野陽子さん　深澤謙二さん

という４グループになりました。

さらに、同じものを書いている部分を比較しないと、ディープラーニングが別のものを学習してしまう可能性があるため、
学習対象は、主人公のみゃーもりの顔のみとします。理由は、ちゃんと毎回登場してくれて、データセットの数がそこそそ担保できそうだからです。

というわけで、アニメ画像から顔を切り取り、宮森だけ取り出すと、合計1342枚のみゃーもりデータセットができました。
方法は、OpenCVのアニメ顔検出使っただけです。
一応自分の学習を含めて、アニメを見ながら宮森が写っているコマを全部スクリーンショットで切り取っています。
その結果、口パクの繰り返しなどで全く同じ画像は省かれています。