柳原です。ディープラーニングの実用事例、ということで、日経新聞をはじめとして、様々なメディアで荏原環境プラント様とのAI搭載自動ごみ処理クレーンを取り上げて頂いています。
https://www.nikkei.com/article/DGXMZO44652340Q9A510C1000000/
https://ridge-i.com/news/bylinearticle_190620?main_cat=1
また、これまでもNHKでのカラー化AIの実用でも結構取り上げて頂きました。
https://www.dhbr.net/articles/-/5357
とても嬉しい反面、いかに世の中にAI実用が少ないのかな、という危機感もあります。
（※私がAIという時、ディープ・機械学習を中心とした統計的学習手法全般、もしくはより広義で、人の認知・判断を代替する技術全般を指してます）
一番恐ろしいのは「PoC祭り」というAI担当者とって不名誉な状況が続き、ディープラーニングの可能性・革新性が実現する前に、マーケット自体が委縮してしまうことです。
こうなると、日本全体にとって大きな損失です。なので、少ないながらもNHKで放送実績のあるカラー化AIと、ごみ処理クレーンAIという実用経験から、「PoCを超えてビジネスに使えるノウハウ」として出来る範囲で発表しています。
最近で大きいのですとマイクロソフト de:code 2019の発表です。
▼[AI05] Deep Learning は実用段階に。PoC を乗り越えてビジネスで使われるためのノウハウを、AI 搭載自動ごみ処理クレーンなどの事例を中心に紹介
詳しくは中身を見て頂けると嬉しいですが、主な要点は以下になります。
・解きたい課題は何か。
・その課題に合わせて、AI（機械学習など統計的学習手法）とルール（従来開発）が適切に設計されているか。
・当事者間で正しい「AI」の認識は出来ているのか。同床異夢になっていないか
・今あるデータ、必要なデータ、新しくでるデータとの差分はどれくらいか。
・ディープラーニングが動きそう はプロジェクトの1合目と割り切る
・DLを目的に応じてカスタマイズする能力が必須。DLの理論だけでなく、画像処理など周辺の必須知識に強いエンジニアがいるベンダーか。
・アノテーション（ラベル）の定義、工数、質 はビジネス要件とプロジェクト成否を決める超重要アイテム
・精度評価は実用を見据えた正しい指標を設定する
・プロジェクト運営も、ルール（従来開発）よりも遥かにアジャイル。クライアント・ベンダーというより、パートナーとしての一体感が重要
・導入後も見据えた、精度維持の仕組みの設計
この中でもひときわ大事なのが アノテーションの定義 です。
重要なシステムに向けたディープラーニングを開発していたら製造者責任を問われます。
現実のビジネスで責任のあるシステムを作るうえでは設計と検証が重要ですが、それがディープラーニングではアノテーションの定義とその精度検証になります。
例えば、このような状況を想定します。
（状況）
自動運転車に搭載されたディープラーニングが、 足だけ写った人を見逃して轢いてしまった。
このケースを考えると、アノテーションの重要性がわかってくると思います。
その中で、多分以下のような点を検証するでしょう。
（検証ポイント）
• 足だけ写った人を、見つけたい対象としてアノテーションしていたか？
•足のケースをどれだけ学習したか？
• 足の映り方のバリエーションは適切だったか？
• 精度評価について適切だったか？（この場合Recall重視）
• 誤認識した場合に、クリティカルな事象を避ける仕組みはあったか？
このように、アノテーションの定義によって、どうデータを検証して精度評価したかの基準が変わってきます。
そもそも足を対象していなかったら、足だけ写ったケースは別の機能が代替するべきパートになります。
このようにアノテーションはプロジェクトの成否だけでなく、運用時の製造者責任にも影響が出るので、弊社がプロジェクトを進める場合は、必ず課題の目的とアノテーションの定義の設計に充分な議論と時間を割いております。
ちなみに、上記の自動運転のケースを想定すると感じると思うのですが、AI=ブラックボックス議論は学習過程・結果の可読性であって大事な論点ではない と考えています。
ブラックボックス議論で製造者責任をあいまいにせず、どういうラベル定義でどう学習させたか、というのはクリスタルクリアになっているべきだと考えています。
この辺りの重要性は、私が理事になっているAIデータ活用コンソーシアムでも提言していきます。