インクリメンタリティテストという手法がさまざまな計測、分析ツールで出てきて幾分経ちますが、大体はアナリスト不在の場所でそれを上手く活用できているケースを周りでは聞かず、どうすればこのテストを活用できるのかということが気になっています。たとえばデジタル広告の計測ツールでツールベンダーの純増しているかどうかが重要です！という言葉に押されてインクリメンタリティ計測をした結果、同じ広告接触ユーザーと未接触ユーザーのCVの差を統計的優位差が出たとして、これだけだと、広告がないと何割の人はCVしなかったかもしれないとは言えても、広告のターゲットの特性やクリエイティブなどが要因だったとまでは言えないと考えています。またデジタル広告はリアルタイムに近い形で成果を可視化することができ、いくつかある変数を組み合わせて最大の成果を出すゲーム、みたいな要素もあり、そんな環境で因果推論をすること自体どこまで重要視すべきか、ということが判断できないでいます。仮説が立てられていない、という一言で済むとは思うのですが、私の発言から考えられる、不足している要素やそもそものインクリメンタリティテストの役割の履き違えなど、TJOさんのご意見を伺えないでしょうか。

本来であれば多要因と言いますか多変量であることを前提としてラテン方格などの実験計画に沿って要因同士を均衡させた、条件統制のされた複数実験を組み合わせることで、どの要因がCV増に貢献したかを推定するのが在るべき姿だと考えます。が、現実にはそんなことが出来る広告マーケティングの現場など存在しないので、差し当たり意思決定にとって必要な最低限の条件統制だけ行った実験を実施して、その結果に基づいて大雑把な意思決定をしているというのが関の山かと思われます。