統計的検定のビジネスでの使い方

ビジネスにおける仮説検定の使い方について書いてみたいと思う

仮説検定は、統計学で一番最初に勉強する項目だけど、データが山ほど集まるようになった昨今、仮説検定そのものの使い方が見つからないなーと長らく思ってきた

というのも、サンプルサイズが上がると、何でも有意になるからだ

当たり前だけど、データ量に比例して、検定が通る可能性は増える。だけど、よく考えてみれば、例えば、2つの平均値が全く同じになることなど、そもそもあり得ない。なぜならば、世の中なんでも、似ているものは沢山あるけど、全く同じものなどないからだ。つまり、2つの平均値が異なることと、その2つのデータに統計的な差に、商売上の価値があることとは別問題なのだ

そんな事情もあって、仮説検定をどうやって使ってよいものやらとよく思ってきた。といいつつ、他人を説得できそうなときは、体よく使ってきたのだけど。

でも、このサイトをみて、ひらめいた。というか、納得した。

クックパッドの開発者ブログ
仮説検証とサンプルサイズの基礎
http://techlife.cookpad.com/entry/2016/09/26/111601


ビジネス上の価値がある差に基づいて、必要なサンプルサイズを決めなさい、それだけのことだ。必要なサンプルサイズに基づいて仮説検定を行えば、ビジネスの価値と仮説検定の価値を同じにできる。仮説検定を通れば、ビジネスでも価値がある。

ビジネス上の価値は、どうやって決めるべきか？

これは簡単。たとえば、投入する販促コストを回収するための売上目標や利益目標がわかればOK。売上なり利益の推定値が、目標値よりも統計的に上回っていれば、その販促には意味があるし、下回っていれば価値がない。目標と推定値（予算）との差によって、証明すべきサンプルサイズは決まる、はず。

ということだと思われますが、能力の低さと、ただいま芋焼酎で酔っ払っいながら書いているので、正確なところはよくわかりません。

-----------------

17/1/16追記

と書いてはみたものの、やっぱりあまり自信がないことに気がついた。
仮説検定そのものより、統計的なモデリングと信頼区間のほうが知ることの範囲も多く、使いやすい気がいたします