こんにちは、ブレインズテクノロジーの中澤貴明です。
今回はImpulseにて利用される用語を説明します。
機械学習もモデルが良いか悪いかを評価する上で避けて通れない精度指標について解説します。ここで説明する精度指標については、機械学習では一般用語となるため、決して弊社独自の、Impulse固有の言葉ではありませんので、インターネット上で検索していただければその意味を解説しているサイトを見つけられるでしょう。ここでは、Impulseにて分析を行った際を想定し、その結果として出力された精度指標について、その考え方とともに意味を説明します。
まず、今回は以下の分析結果について、具体的に指標を挙げてその内容について説明します。
各データに対してどれだけ正確に判定ができたかを指す指標。
計算式は以下の通り。
先程の結果に当てはめて計算すると、
となります。
本指標はモデルの精度をシンプルに評価できているように見えますが、この指標のみで精度を検討するのは適切でないケースが多いです。次のケースをご覧ください。
必ず正常と判定するモデルのケース
何でもかんでも正常と判定するモデルがあるとします。
本モデルを用いて、今回のデータを判定させると当然ながら正答率は70%となり、元のモデルより精度が良い結果となります。では、元のモデルより本モデルかと言われれば答えはノーでしょう。一般的に異常データより正常データの方が多いケースが多いため、正答率のみをモデルの良し悪しの指標として利用するのはあまり適切では有りません。目的を異常検知とするならば、その点をきちんと評価することがまず重要となってきます。
True Positive Rateの略で、異常の検知がどれだけ適切に行われたかを指す指標です。再現率（Recallとも呼ばれます）
計算式は以下の通り。
先程の結果に当てはめて計算すると、
となります。
False Positive Rate
正常をどれだけ誤って異常と判定したかを指す指標です。
計算式は以下の通り。
先程の結果に当てはめて計算すると、
となります。
よくユーザ様より「いくつか指標があることは分かったが、ではどの指標が一番重要なのか？」というという質問をいただきます。また、近い質問として「TPRはいくつならばよいのか？」といった質問もよく聞きます。
答えとしては「それはユーザ様が決めること」になります。
もちろん全ての指標が100点の精度であれば言うことはありません。（この業界にいると逆にこの精度は怪しい結果ですが）そのため、なんらかの指標間でトレードオフが発生します。どちらをどの程度許容するかは運用を想定したときに、どちらがどの程度インパクトあるかから設定していくものとなりますので、いくつかの結果と共に考察ください。
今回は分析結果として表れる精度指標について、いくつか代表的なもの、よく使われるものを説明しました。指標については今回説明したもの以外にも存在しますため、またの機会に紹介します。