Ridge-i（リッジアイ）はNHKアート様と、過去の白黒フィルム時代の映像の自動カラー化実証実験に取り組んできております。
この度、過去の大相撲取組を機械学習（ディープラーニング）により自動でカラー化し、そこにプロのフィニッシュ作業が加えられた映像が5/21（日）のNHKの大相撲中継内で放送されました。
6/11までNHKスポーツオンラインでも視聴できますので、ぜひ一度ご覧ください。
http://www1.nhk.or.jp/sports2/movie/index.html?cate_id=sumo
開発の背景
機械学習による画像変換タスクについては、ちょうど今年の1月末にPreferred Networksから線画自動着色システムのPaintsChainerが公開されたこともあり、このような生成モデルが一定の精度でコンテンツを出力できることが分かってきており、本案件も同様のジャンルに属するタスクとなります。
しかし、従来の手法では学習には数百万枚レベルの教師データが必要となります。今回のタスクはそもそもプロの着色工程を軽減するためのAI(機械学習・ディープラーニング）の導入であるため、基準とするプロの着色後フレームを多く用意することは出来ません。
そのため、教師データが少ない中でいかに高精度の着色結果を出力するかが中心となる課題に焦点を当て、プロが着色した数枚程度のカラー化フレームを効率的に学習することで、狙った色を精度高く自動カラー化が達成できることを実証いたしました。
数枚のデータのみでの教師による着色モデルがそもそも作成可能かどうかについては、NHKアート様から頂いた紅葉や海などといった一般的な風景の映像を用いて実験しました。実際に学習・着色してみた映像が以下となります。
紅葉： https://drive.google.com/open?id=0BxARt-sg3zKHd0t6Ml9NSi02QTQ
波： https://drive.google.com/open?id=0BxARt-sg3zKHNTBiX2VfRE1CaDQ
紅葉の映像については、空や雲に対しては常に正しい色が着色できていそうに見えますが、葉の部分に対しては同じ場所について異なるフレーム間で別の色を着色してしまっています。
今回用いた手法の都合上、どのあたりに映っている葉がどのような色をしているかという情報まで含めて学習してしまうため、同じような特徴を持つ葉に対してはあまり上手く着色することが出来ませんでした。
特にズームイン・アウトしている途中の映像については失敗が多く、今後解決すべき課題と捉えています。
波の映像については、カメラがずっと固定で単調な映像なため、映像中のたった1フレームのみを用いた学習でも映像全体を上手く着色することが出来ました。
このようにシーンによってディープラニングの得手・不得手があります。
今回の大相撲の彩色でも、旗のはためきなど、人間が行うのは厳しい作業をAIが一瞬で行ってしまうこともあれば、移動が多い部分では人作業を多くしたりと、長所・短所をうまく使いこなしながら全体として効率良く作品を作り上げていきました。
5/29 追記）Yahoo!およびIT Mediaに取り上げて頂きました。
IT Media
http://www.itmedia.co.jp/news/articles/1705/22/news098.html
Yahoo! Headline (IT Mediaの再掲）
https://headlines.yahoo.co.jp/hl?a=20170522-00000051-zdn_n-sci
人作業とAI作業の最適なバランスを追求
ディープラーニングは彩色に限らず、さまざまな応用が考えられる要素技術ですが、ビジネス要件を満たす精度を出すためには様々な工夫が必要となります。
今回の実証実験および大相撲での放映にむけて、NHKアート様と密接に連携をとり、人作業とAI作業の最適なバランスを見極めることで、放送品質を維持しながら全体の作業工程を大幅に削減しつつ、人はデザインコンセプト作りなどより効果的な作業に集中する体制を作ることができました。
AI(機械学習・ディープラーニング技術）のビジネスへの応用に興味がある方は、是非一度弊社までお気軽にお問合せください。
また、このような機械学習のビジネスへの導入に興味があるエンジニアの採用も現在積極的に行っております。
機械学習エンジニアリングを中心とするプロジェクトに参加してみたいと思う方はお気軽にご連絡ください。