Blog
もう豆まきしましたか？比戸です。
1月17日に、エンジニアサポートCROSSで機械学習のセッションをオーナーとして主催させて頂きました。今回はその報告と内容のまとめをさせて頂きます。
エンジニアサポートCROSSは今年で3回目を迎える、主にWeb系のエンジニアが集まる技術イベントで、今年も800人以上が集まったそうです。すごいですね。
並列開催されるパネルディスカッションを基本とするイベントで、有名なWeb関連サービスを持っているわけではないPFIの私がオーナーということで、持てる人脈をフル活用してパネリストをお願いしたところ、お声がけした方全員にご登壇いただけることになりました。
- Yahoo!JAPAN研究所 田島さん
- 楽天技術研究所 平手さん
- ALBERT 小宮さん
- FFRI 村上さん
- 産総研 油井さん
- Gunosy 福島さん
大手Web企業から尖ったサービスの会社、アカデミア周辺まで、様々な立場の方を集めて有意義な議論ができたと自負しています。当日の模様はUstream録画で公開されています。（消滅したようです）
セッション前半ではまず事例紹介ということで、機械学習「超」入門のあとにパネリストが実際に機械学習をどう応用しているかについてプレゼン頂きました。
普段目にしているWebサイトで情報の精度を高めるためにどのようなことが行われているか（例：ECサイトで質の低い商品画像を取り除く）や、その裏で動いているWeb広告やセキュリティ製品でどういう風に使われているのかなど、機械学習の縁の下の力持ち的な役割についてご理解いただけたのではないかと思います。
後半はこちらのお題に従ってディスカッションしていきました。当日のメモから、要旨を再現します（私の聞き間違い・記憶違いの可能性があります）。
1. 機械学習導入の展望：どこから導入が進むのか
田島さん：間違えても怒られない分野、最後は人間が見るのだがその前さばき、業務効率化として
平手さん：ほぼ全て、とくにビジネス側でお手上げのところから依頼がくる、人間ができないところ
小宮さん：あくまで機械学習は手段であって目的はCVR向上など、なのでやはり利益アップが見込めるところ、あるいはマーケ部門にとっては在庫最適化などコストカットになるところ
村上さん：セキュリティでは説明責任が重要、なので最後は人が見るが、数が多すぎると破綻するのでそれの補助になる。ただユーザーの文化、例えば国毎に何を重視するか、嗜好は違う
油井さん：コストや利益という軸でなく、質の良い訓練データがありかつ利益向上など明確な目的に直接関われる、分析結果に文句を言われないところ。シリコンバレーのIT企業では研究者が最先端のアルゴリズムを導入している
福島さん：ECや広告は結果が出れば儲かるから進みやすい、あとはタスクの切り出し方と結果の解釈性が必要かどうか（人間が絡むか）が関係する
比戸：Yahoo!の事例では利益とは異なる目的でも使ってるようだったが？
田島さん：社会的にまずいミス・漏れを防止できれば企業としての印象やブランドの維持ができる、そのためというのもある
2. 機械学習は精度で⼈間に勝てるのか
田島さん：人間に勝てたとしてもブラックボックスが許されるケースは少ない、最終的には後処理の人手のルールでまずいのは弾くようになる、ので相補的に使う
平手さん：高次元データになると機械学習が有利になる、そこにフロンティアがある
小宮さん：手段なので精度よりも売り上げが重要。（では価格がより高いものに重み付けしてコストセンシティブ学習する可能性も？）あるえると思う
村上さん：セキュリティではやはりまだ人間が強い、最終的には人が見れば分かる、人が常に上である分野。解釈性だけでは上手く行かない。オペレータの前さばきが落ち着くところ。
油井さん：コンピュータのチェスや将棋にも機械学習が応用されているが、あれはトッププロの定石から学習できるものがポイントで、弱い人間のプレイから学習しても勝てない。専門家の経験や判断をデータ化できるか、がポイント
福島さん：（あえて極端な意見として）勝てると思っている、とはいえ機械学習を活かすにも解釈性が必要で、それがないと専門知識を活かしたチューニングができない、ただサービスで使っていると最終的には特徴エンジニアリングの勝負になることが多い
福島さん：アカデミアと実サービスでは精度と売上げなど、評価基準が違う。するとベストプラクティスのようなものはアカデミアにもどこにもないため自分で一から百まで試す必要がある。どこかで共有する仕組みはないのか
田島さん：やはり最初のKPI設定が大事で、それをベースにしてPDCAを回していくしか無い
油井さん：アルゴリズム選択としては、様々なモデルを統合して安定化するアンサンブルを使うのがいいのではないか。Kaggleというデータサイエンティストの精度コンテストの上位は大抵アンサンブルを使っている
3. 役⽴つケースとそうでないケースの違うは何か
田島さん：企業で行う何らかの改善策をストラテジーとオペレーションに分けると、機械学習が向いているのは仮定した状況下での最適化を図る後者になる。前者は状況が変わるような話を含むので不向きである
平手さん：正解データの質が重要である、例えば不正検知をしたい場合には不正ケースは日々上がってくるが、正常ケースがなかなか集まってこないためモデルが立てられない
小宮さん：繰り返しになるが機械学習は手段なので、ヒューリスティクスを入れて勝負する場面も出てくる。（他社事例でダメなものは？）ECサイトで、冷蔵庫を検索中に冷蔵庫を奨めているものがあったがあれは良くない。ViewイベントとClickイベントは意味が違うのでまたそのログデータも扱いを変える必要がある
村上さん：セキュリティの分野では本質的に機械学習の適用が難しいと思っている、そこでどう価値を出せるかにチャレンジしている段階
油井さん：共同研究で実データを解析してわかったのは、必ずしもデータが多ければ良いわけではないこと。ノイズ特徴があっても無視できるが、アベノミクスの前後ように全体の傾向が変わると対応できない。ビッグデータ特有の難しさは特徴選択やコンセプトドリフトとして捉えられる
福島さん：問題設定に意味がなければ何をやっても価値が無いのでダメである。手段を目的化しないようにやっていく必要がある
4. それを⽀える技術やツールとしては何が有望か
5. どのように導⼊を進めていけば良いのか
（すでに答えがだいたい出た、ツールの話題は単にJubatus等を売り込みたかっただけなので割愛）
こうやって書き出してみると、私自身の経験から「確かに」と頷ける意見から、まったく予想していなかった答え、機械学習活用に対するアプローチやスタンス、アプリケーションの違いから生じる差など、非常に興味深いディスカッションになっていたと思います。これをご覧になっている方にも役立つ情報が含まれていれば幸いです。
このようなパネルセッションを主催するのが初めてで、「150人くらい人が来る！」と言い張って二番目に大きな会場をお貸し頂いたので、どれくらい人が来て盛り上がるか当日まで不安だったのですが最終的には180人収容の8割ほどお客さんが入ってほっとしました。Web業界での機械学習の応用はまだこれからだと思うのですが、皆さんの興味の高さが伺え、今後の進展に期待が持てると思いました。
当日の模様については、togetterにまとめがあり、ALBERTさんのブログでも紹介されていますのでこちらもご覧ください。
（追記：技術評論社の公式レポート、FFRI村上さんの@ITレポートも公開されました。）
改めて、登壇者の皆さん、聴衆の皆さん、並びにCROSS主催者とスタッフ、スポンサーの方々にお礼を申し上げます。ありがとうございました。
