「ディープネットワークを用いた白黒写真の自動色付け」― モノクロ写真をカラーにする人工知能で遊んでみた（natsuki）

こんにちは、natsukiです。最近様々な分野でよく聞くようになった「AI(人工知能)」。何を以って「人工知能」と言えるのかはさておき、手軽なソフトやサービスの中にも、「プログラムが判断する」ことによる今までにない面白いものが数多く登場してきています。今回はそんな中の一つで、とても感動したWEBサービスがありましたので紹介してみたいと思います。

サンプル画像

1.「ディープネットワークを用いた白黒写真の自動色付け」

何のひねりもないタイトルのこのWEBサービスは、早稲田大学の研究プロジェクトが開発したもので、その名の通り、モノクロ写真に自動で色を付けるというものです。目標とすることは極めて明快なのですが、はたしてそんなことができるのでしょうか、試してみました。
ディープネットワークを用いた白黒写真の自動色付け

このプロジェクトのメンバーは、前に「全層畳込みニューラルネットワークによるラフスケッチの自動線画化」という技術なんかも開発していて、こちらもWEBサービスとして利用できます。

使い方は簡単。WEBサービスのページを開いて、「ファイルを選択」を押して対象ファイルを選び、「色を付ける」ボタンを押すだけです。対応形式は詳しくは分かりませんが、とりあえず「jpg」と「png」は大丈夫でした。

このような感じで、自動で着色された画像がすぐに表示されます。なお、サイズは自動で長辺512ピクセルにまで縮小されてしまいます。カラー写真を放り込んだ場合でも大丈夫で、自動でいったん白黒にされてから(左側に表示)、あらためてカラーに変換し直されます。ページ上に表示するだけでオシマイなので、変換された画像を取得する場合は右クリックで保存しましょう。

2.その実力を試してみた

ではでは、その実力やいかに？いくつかのテーマで試してみました。左側が元の写真。中央がモノクロ化したもの。右側が変換結果です。

クリックで拡大します

まずは、風景。おお、これは素晴らしい！　ほぼ文句の付けようがありません。後方の空気感なんかもよく再現されています。

クリックで拡大します

お次は、花にいってみましょう。これもすごい。葉っぱと花びらを、ほとんど正確に見分けてますね。色も、一つだけ全く違う色になっている以外はだいたい合ってる。　特に、黄色い花と白い花はモノクロだと差が無いはずなのに、どこから判断しているんだろう？

クリックで拡大します

だんだん意地悪になっていきます。顔がもろに写るので採りあげていませんが、人間を認識して肌に色を付けるのは得意としているようだったので、下のアウグストゥス像は人間と誤認して着色することを期待したのですが、しっかり「大理石像」のままですねぇ。やるな。さりげなく、マーライオンの後方のビル群にカラーバリエーションを持たせて、それっぽく再現しているところも見逃せません。

クリックで拡大します

お次は、建物。さすがにこれは無理か。セピア系にしてごまかしてる感じになりますね。でも、上のモスクなんかは、知らなければ信じちゃうくらい違和感は少ないですね。

クリックで拡大します

猫です。困ったときはセピア系で、という思考パターンが見えてきた気がします。

クリックで拡大します

まあ、これは知らなきゃ人間でも原色再現は不可能なもの。上はバチカンのスイス人傭兵。下はキョムボックンの衛兵交代セレモニー。勝手に想像して、思い切った色を付けてしまうところまでは、さすがにできないようです。

色々試してみると、人物の肌と風景、特に、植物の葉と幹、空、水を得意としていることが分かってきます。一方で、あたりまえかもしれませんが、どんな色でも付けられる人工物は苦手なようですね。それでも、マーライオンのビルのように、セピア系「だけ」を使わずに色の系統をそれなりに散らして違和感を少なくする努力をしているあたり、あなどれません。

3.本領発揮！　モノクロ時代の写真を変換

さあ、本領発揮は、モノクロ時代の写真です。左側が、スキャンした元の画像、右側が変換後のものになります。

クリックで拡大します

これは…、！！

写真は、昭和17年8月から18年5月頃にかけて、祖父が出征先で撮ったものです。この臨場感の蘇り方(元がモノクロなので「蘇る」というのも変かもしれませんが)には、ただ、絶句するしかありません。特に水の質感には恐るべきものがあります。正直、これを変換したときは涙が出てきました。

4.おわりに

このサービス、元がカラーでもOKなので、とりあえず、手元にある画像を片っ端から放り込んでみるだけでも、どんな色で再現されるか、かなり楽しめます。

一方で、残念ながらサイズが長辺512ピクセルに縮小されてしまうため、あまり実用的ではありません。WEBサービスという形態上、やむを得ない制限だとは思います。しかし、セピア色のモノクロ写真が鮮やかに色づく様は圧巻です。大学のプロジェクトによる実験的技術のため、ライセンスの問題とか色々あるのでしょうが、是非、サイズ制限を緩和してローカルで実行できるようなものを提供して欲しいところです。