スタンダードノート 
モバイルノート 
スマートフォン 
ゲーミングノート 
タブレット 
ミニPC 
デスクトップPC 
周辺機器 
こんにちは、あおぴです。AIによる「線画に対しての」自動着色サービス「PaintsChainer」が話題になりましたね。Preferred Networks社がオープンソース公開しているディープラーニングライブラリ「Chainer」を使ったプログラムで、開発者は同じくPreferred Networks社所属のエンジニア、米辻泰山さん（@tai2an）。これはもう散々色々な人が試して、「すごい」ということが証明されています。
さて今月22日、スマートフォンにおけるお絵かきアプリの雄、「ibisPaint」にもディープラーニングを利用した自動着色機能が実装されました。ほほう・・・！？やるじゃないか・・・！「ibisPaint」はiOS、androidのどちらにも対応している上ユーザーの意見が反映されやすく、貪欲に新機能を実装し、インターフェースもブラッシュアップし続けている非常に好感の持てるアプリです。
だって・・・コマ割りもできるしClip(クリスタ対応ファイル形式)でも描き出せちゃうし紙に描いた線画を透過取り込みもお手の物とくれば、もう最初にリリースされたころとは別物の何でもできるアプリに成長してるんですもん。これからも贔屓にさせてもらいますよ、アイビスさん。
そんなわけで（どんなわけで？）今回は、この二つの自動着色サービスを同じ素材を使って比較検証してみました。素材は以前にレビューした「Cube i7 Book（レビュー1）（レビュー2）」とCLIP STUDIO PAINTでざざっと描いたボブのお姉さんです。
1つは純粋な線画のみ。
もう一つは、グレースケールで下塗り済のものです。
普段だったらこの上にオーバーレイのレイヤーで色を重ねていくのですが、今回はその部分を自動着色に任せてみましょう。
PaintsChainer編
まずはPaintsChainer。Pixiv Sketchと提携していて、違いはPixiv Sketchの場合は線画を描くところから同一ブラウザ上で完結できるという点です(PaintsChainerはアップロードされた線画に色を付けるサービス)。要はもともとブラウザ上でのお絵かきアプリだったPixiv SketchにPaintsChainerの自動着色機能を実装したということです。もう線画ができているので特に意味はないですが、今回はPixiv Sketchからやってみました。
まずはアクセス。
「画像からキャンバスを作成」
線画のみをアップしてみます。あ、画質が下がってしまうのですね・・・。右がオリジナル。
さて、いよいよ自動着色してみます。着色パターンは「さつき」「たんぽぽ」の二種類。
こちらが「さつき」
こちらが「たんぽぽ」
「さつき」のほうが後からリリースされているパターンですが、くっきりと鮮やかな着色の印象を受けます。袖を白と判断したのも大胆で、興味深いです。一方「たんぽぽ」はふんわりとやわらかい塗り方で、色合いも暖色系が強いようです。水彩画ちっく。少し線画が弱くなっていますね。鉛筆で書いたアナログ線画によく合いそう。逆に、「さつき」はデジタルでくっきりと強弱をつけた線画がよい結果が得られそうです。
さて、今度はカラーヒントを与えて２パターンの結果を見てみます。
「さつき」
「たんぽぽ」
おぉ〜！同じカラーヒントでもここまでの差が出るとは！永遠の中二病なので銀髪赤目を指定したのですが、「さつき」では赤の色味が強く出すぎてしまい、思ったより怖い印象に。逆に、髪の青みがかったグラデーションなんて「私が塗るよりよっぽど良くない？」と思うぐらいにグッとくる仕上がり！
「たんぽぽ」は全体的に丁寧な雰囲気で、目のゾーニングなんかも完璧です。髪の影の質感もいいですね。なんだよ・・・自分で塗らなくていいじゃんもう・・・いいじゃんこれ・・・！
さて、お次はグレースケールで下塗りをしておいたもので試してみます。
「さつき」
「たんぽぽ」
これはだいぶくっきりと差が出ました。「さつき」のほうが相性がいいですね！こちらはまさに、グレースケールの下絵に「オーバーレイ」で色を重ねていったような色味になっています。前髪あたりの色合いなんかめちゃくちゃ好きですね。ただ唇真っ黒になっちゃって、下絵もう少し薄く描けばよかったなぁ。「たんぽぽ」はセピア写真のような風合い。やはり、こちらだと「さつき」に比べると絵全体がぼやけてしまいますが、これはこれで味があって好きです。
次に、カラーヒントを与えてみます。
「さつき」
「たんぽぽ」
あ〜〜ちょっ・・・「さつき」めっちゃいいわ！！自分で塗らなくてもよくない！？つい「さつき」贔屓になってしまう私ですが。いかがでしょう。例えば、鼻の下の影や顔の左半分などを見るとはっきりわかりますが、明暗やコントラスト情報の処理の方法がだいぶ違うようです。
また、「さつき」は元絵を侵食せずに色を重ねる処理で、「たんぽぽ」は絵の上から水彩絵の具で着色したかのような質感です。にじみも紙質のようなテクスチャだと思えば良さそう。
ibisPaint編
では次に、ibisPaintの自動着色を試してみます。
｢新規キャンバス｣→｢写真読み込み｣
これで線画を取り込めました。
次に｢フィルター｣
｢自動色塗り｣
ハイ。自動色塗りされました。かなり淡い色合いです！アレに似てる。ほらあの・・・ファミレスのレジ前とかで売ってる塗り絵・・・筆がついててあの・・・お水だけでできるやつ・・・
・・・わかったーーー！！水塗り絵だ！！！
・・・はい、話が逸れました。
かなり淡い着彩ですね。風合いはPaintsChainerの「たんぽぽ」と近いものがありますが、こちらは線画を全く侵食していません。画用紙に線画をデジタル出力して水多めの水彩絵具で塗ったような印象を受けます。デフォルトだと髪の毛は黄色よりになる傾向があるようですね。
では次にカラーヒントを与えてみます。
結果がこちら。カラーヒントの画像をスクショし忘れてしまいました・・・が、PaintsChainerで行ったのとほぼ同じような色と位置に置いています。近親色を逸脱しない範囲で、暗度と色相でゾーンごとの塗り分けと明暗を表現しているようです。狙った塗り色との相違という意味では「間違いがない」ですね。黒にじみの範囲もPaintsChainerの「たんぽぽ」と似ています。
お次は、グレスケで下塗りした方の絵。
なるほど〜！ PaintsChainerでは肌の部分が綺麗な肌色になっていましたが、ibisPaintの方ではだいぶグレースケールの雰囲気が強いままですね。
少し顔色悪いけど、銀髪のお姉さんになりました！瞳にヒントを入れ忘れましたが、赤目っぽくなっています。髪付近の前髪に入れた灰色がかったピンクを拾ってくれたんでしょうか。また、カラーヒントなしの時にはあった肩のあたりの滲んだテクスチャが滑らかになっているのが興味深いです。
髪色が、カラーヒントなしのデフォルトで緑になっていたことも面白いです。PaintsChainerの「さつき」でもややその傾向がありました。Twitterに投稿された自動着色タグの画像をざっと見た印象だと、今の所、白っぽい絵だと黄色、黒っぽい絵だと緑色になる傾向があるのかもしれません。
まとめ
ibisもPaintsChainerもデフォルトだと黄色（主に髪）・オレンジ・ピンク（毛先）を基調とした着色になるようですが、これはAIとしての作りを考えれば当たり前のことに思えます。
画像を分析したときに「肌色の領域」を見分けるのは比較的容易なんだそうで、例えばもっと前からある白黒写真に色を載せる技術でも、既に肌色はほぼ完璧に識別できているんですね。
で、その上で白黒から髪の色や服の色を判別するのは難しく、（というか人間でも不可能ですよね）実際にPaintsChainer開発初期はセピア色の画像ばかりになったそうです。
それに対して「セピア色の着彩結果」を「不正解」として検出するネットワークを当て込み、それに対抗するためにAIはまた別の色を試す・・・というように学習していった結果が今なんですね。PaintsChainerでは６０万件の線画と着色済み完成イラストを教師データとして学習させているとのことで、その中に金髪のキャラクターが多かったのかもしれません。（実際アニメキャラクターは明度と彩度の高い髪色のキャラクターが多いですよね）
これからより多くの人が使い、カラーヒントのパターンが増えていけば学習結果次第でまた違った傾向が現れそうです。
あと個人的にグレスケで下塗りして自動着色にカラーヒントしてぶちこむという手の抜き方、アリじゃないですか！？思った以上の結果だったのでどんどん使おうと思いました。多分アニメ塗りでも行けると思いますので、最近話題の投げ縄塗り（https://twitter.com/clip_celsys/status/862596745108176896）と組み合わせるの、超・爆速色ぬり裏技なのでは！？
お絵かき界の新しいスタンダードになりそうな自動着色技術。これから実装するソフトも増えると思いますし、例えばイラストレーターの方がいくつも提出しなければならないカラー指定のラフ案を自動着色に任せる、といった使い方もありそうです。
普段絵はあまり描かれないみなさんも、線画だけ描きさえすれば試せちゃいますよ！ibisPaintなら紙と鉛筆があれば大丈夫。是非あそんでみてください！