本日は反事実機械学習に軽く入門してみようと思います。Causal InferenceやCounterfactual MLは個人的にはまだ若い分野だと思っていて非常に今後が楽しみです。ちなみに共分散構造分析(SEM)も気になります。
表記とか
反事実機械学習とは「オフライン環境下での新しいポリシーの学習・評価」のことです。まず記事中の表記は下の通りです。
が報酬ですね。ちなみに
はContextとありますがこれは文脈バンディットの文脈にあたります。Contextual Banditとは各ユーザーのデータをその特徴ベクトルし、バンディット問題を達成するアルゴリズムです。この特徴ベクトルをcontextといいます。広告を例にとりますとこんな感じです。
より以下を目標とします。いわばこれが反事実機械学習の考え方の核です。（ちなみにデータのことをポリシー
によるログデータともいいます。）
そこで重要なのが評価指標です。CTRなどは前回解説しました。他にも次のようなものがあります。
Reward Prediction
systemを評価する方法の一つ目がReward Predictorです。これは報酬関数を学習により得ようとする方針です。報酬関数がわかれば新たなポリシーに対してシミュレーションができます。
がバイアスに影響を受けやすいようです。考えられるバイアスとしてはモデルバイアスとセレクションバイアスがあります。モデルバイアスとは特徴量とモデルに依存します。セレクションバイアスはポリシーによる過学習（過表現）です。
Counterfactual model
そこで登場する手法が反事実モデルです。報酬関数を高い精度で得るためにまずはポリシーの分布を近づけてバイアスを消そうというアイデアです。
選択していないアクションはCounterfactorと呼ばれます。従来のポリシーの評価では選択したアクションのみが評価対象でした、ここでは反事実つまり、選択されなかったアクションも評価にいれます。ではどうやって導入して、さらには指標として生かすのかみていきます。
Inverse Propensity Score Estimator
IPSと呼ばれる指標を紹介します。
IPS Utility Estimator
このIPSを用いて次のように改めて定義します。先ほどの指示関数のところが新しいポリシーによる確率分布に変わりました。分母は変わらず傾向スコアです。
最後にその他の指標について軽く触れておきます。少しでも理解しておきたい、、、、
Self-Normalized Estimator
どうやらIPSにおける定数問題を解決した指標らしい
Doubly Robust Estimator
二つの手法のいいとこ取りをした指標らしい
