効果検証入門 ～正しい比較のための因果推論

効果検証入門
～正しい比較のための因果推論／計量経済学の基礎
安井翔太(2020) 技術評論社

 

因果関係と相関関係を混同しちゃダメという話を初めて聞いたのは、たしか統計の授業だった。そして時は流れ２０数年、いまや実務家までもが、因果と相関の違いを口にするようになった。がしかし、じゃあ、因果関係をどうやって立証すればいいのかと問われると、ふと困ってしまう人大半。多少、気の利いた人ならばABテストするしかないと答えるはず。しかし、現実的には、単純なABテストできる物わかりがよい状況ばかりじゃない。ABテストができなかったり、あるいは、すでにキャンペーンをした後から、効果（＝因果）を知りたいというグタグダなケースも、少なからずある。

因果関係とは、実務的に言い換えると効果検証のことだ。そして、効果検証は、開発・計量経済学で発展した。なぜか？たとえば、先進国は、途上国にODAなどで多額の開発資金を投入している。が、使ったお金は税金。その効果を納税者に説明する義務が、政治家や役人にはある。で、経済学者と統計学者は協力して、実験が難しい状況で効果測定するすべを考えた。そして、そのノウハウは、いまやわれわれ実務家に広まりつつある。しかも、PythonやRを使えばタダで。そのエッセンスを手っ取り早くつかみたければ、この本を読めばいい。

一般的な回帰による検証を試すと同時に、その限界を示す。そして、本題の傾向スコアと回帰不連続デザインの説明に進む。Rコードも記載していて、この上なく親切。星野先生の本を先に読んだ（→といっても全部理解したわけではない）身としては、先に読んでおきたかったと思うこと数知れず。

「原因と結果」の経済学・学力の経済学の続編

AIについて

AIについて書いてみる

正直なところ、Deep learning祭りが、こんなにも盛り上がるとは思わなかった。囲碁や将棋で人間を打ち負かせたり、Googleの音声認識や翻訳が劇的に改善したりと、Deep learningは、要素技術として実用段階に近づきつつある。

がしかし、私の考えでは、ビジネスで使えるためには、もう少し時間がかかると思う。

理由は、技術が未成熟といよりも、ビジネス側の受け入れ準備が整っていないことにある。AIを入れるためには、AIを動かせるような体制やデータの準備が必要だ。

考えてみれば、当たり前のこと。AIで将棋や囲碁のプロを打ち負かすために、Googleは一体いくらのお金を費やしたのだろうか？Deep learningが、ネコの画像をネコと見分けるために、研究者は、一体どれだけの時間と労力を費やしたのだろうか？Deep learningの効果は、Deep learningを仕込んだ人たちの労力と、それ自身の性能をセットで考える必要があると思う。

実は、ここ数か月、業務効率改善のために、Deep learningが使えないか模索していた。結論は、単純だった。ビジネス側の準備が整っていない。

ビジネス側の準備を整えずに、AI（もどき）を導入した企業の話も聞いてみた。答えは、みんな同じだった。AIは、ロクな働き方をしないと。

AIは、何もしなくても賢くなる道具ではない。AIを賢くするためには、ちゃんと手をかけて育てなければならない。人間がバカだと、AIもバカになる。それだけのこと。

AIは、使う人の能力次第。
ここまで来て気がついた、よく働くAIを作るのは、子育てと全く同じだと。

「原因と結果」の経済学

「原因と結果」の経済学

中室牧子・津川友介
ダイヤモンド社 (2017/2)

相関関係と因果関係が違うことを、改めて説明した本

心理学を学ぶ人ならば、イの一番に、統計学と実験計画のお作法を習う。そして、その時に、実験計画を研究に組み入れる理由を学ぶのだが、まさにそれが、相関と因果の違いを区別するためだ。心理学や、一部の計量モデルをつかう社会学・経済学の人たちにとって、この本が書いていることは、特段目新しくも何でもないと思う。がしかし、誰かにとって当たり前でも、その他の人にとっては当たり前ではなく、そこを新しい商売のネタを見つけるというのは、世の中を生き抜くうえで重要なテクニックなんだろうと思ったりする

アメリカの経済学者が、びっくりするような予算を獲得して、研究に社会実験（ランダム化比較試験）を行っていることに、アメリカ人の大胆さに感心したり、あきれたりしてしまう。他人との調和とか、あらゆる人の平等のプライオリティーが高い日本では、未来永劫、こんなことはできない気がしてならない。

ビジネス分野でランダム化比較試験にあたるのはA/Bテストだ。たとえばお客さんを2つのグループに分けて、片方だけ販促を行い、両者の売り上げを比較し、投資効果の検証を行う。アイデアとしては、バカげているほど単純だけど、何も知らない上司や、稟議を審査する経営茶坊主たちを説得するには便利なツールなのだ。科学的な装いを担保しつつ、簡単でバカでも理解できるツールを使えば、何も知らない上にプライドが高いやつらを簡単に説得できる。

回帰不連続デザインや操作変数法も、カンと地頭がよいビジネスマンならば、普通に上手に使って誰かを説得しているのではないだろうか。ただし、この手のものは、バカとハサミは使いようというのと同じで、マニアックで凝った比較デザインのデータを見せられても、つまらないことにこだわっているようにしか見えない時がママある。比較の正しさにこだわった結果、なんか一般性が低くねえか？的なことだ。この辺のサジ加減は結構難しい。

お前が作った分析には考慮していない要因がある、というのもありがちな突っ込みだ。第三の変数があるだろうと。実は、自分の場合、その変数を無視した理由を上げつつ、無視して何が悪いと逆に居直ることが多いのだが、そうも言ってられないこともたまにはある。そういう時は、回帰分析をするしかない。回帰分析も便利なツールなのだが、いかんせん、何も知らない上司や経営茶坊主たちに分かりやする説明するのが面倒。自分の感覚では、SQLで数字をつくり、Rをこねくりまわし、モデルが当てはまりましたという段階は、まだ6合目あたりでしかない。モデルが当てはまるようにいじくりまわした変数たちを、上司や経営茶坊主たちが、素直に納得し、それでいて発見があり、かつ適当にほめられつつ、けなされつつ、なおかつ、見て楽しい図にまとめる必要がある。塔がったった中年オヤジたちを相手にするとは、まったく面倒な話なのだ。

ごちゃごちゃ書いたけど、相関と因果の違いを知りたい人は、まずこの本でお勉強するのがよろしいかと思われます。

統計的検定のビジネスでの使い方

ビジネスにおける仮説検定の使い方について書いてみたいと思う

仮説検定は、統計学で一番最初に勉強する項目だけど、データが山ほど集まるようになった昨今、仮説検定そのものの使い方が見つからないなーと長らく思ってきた

というのも、サンプルサイズが上がると、何でも有意になるからだ

当たり前だけど、データ量に比例して、検定が通る可能性は増える。だけど、よく考えてみれば、例えば、2つの平均値が全く同じになることなど、そもそもあり得ない。なぜならば、世の中なんでも、似ているものは沢山あるけど、全く同じものなどないからだ。つまり、2つの平均値が異なることと、その2つのデータに統計的な差に、商売上の価値があることとは別問題なのだ

そんな事情もあって、仮説検定をどうやって使ってよいものやらとよく思ってきた。といいつつ、他人を説得できそうなときは、体よく使ってきたのだけど。

でも、このサイトをみて、ひらめいた。というか、納得した。

クックパッドの開発者ブログ
仮説検証とサンプルサイズの基礎
http://techlife.cookpad.com/entry/2016/09/26/111601


ビジネス上の価値がある差に基づいて、必要なサンプルサイズを決めなさい、それだけのことだ。必要なサンプルサイズに基づいて仮説検定を行えば、ビジネスの価値と仮説検定の価値を同じにできる。仮説検定を通れば、ビジネスでも価値がある。

ビジネス上の価値は、どうやって決めるべきか？

これは簡単。たとえば、投入する販促コストを回収するための売上目標や利益目標がわかればOK。売上なり利益の推定値が、目標値よりも統計的に上回っていれば、その販促には意味があるし、下回っていれば価値がない。目標と推定値（予算）との差によって、証明すべきサンプルサイズは決まる、はず。

ということだと思われますが、能力の低さと、ただいま芋焼酎で酔っ払っいながら書いているので、正確なところはよくわかりません。

-----------------

17/1/16追記

と書いてはみたものの、やっぱりあまり自信がないことに気がついた。
仮説検定そのものより、統計的なモデリングと信頼区間のほうが知ることの範囲も多く、使いやすい気がいたします

価値がある分析とはなに？

転職後、仕事の内容や会社の雰囲気にもだいぶ慣れ、時間も気持ちもかなり余裕が出てきた。ということで、数年来、ぜんぜんできていなかった統計の勉強のために、会社の行きかえりでつれづれ本を読んでいる

で、いま読んでいるのがこの本

データ解析のための統計モデリング入門

一般化線形モデル・階層ベイズモデル・MCMC (2012/5）

久保 拓弥

まだ読み始めたばっかりだけど、正直、楽しい。難しい内容なんだけど、寄り添うような、やさしい語り口で書いてあるのが文系の僕としてはとっても嬉しい。前半は、Agrestiのカテゴリデータ解析入門と似ている。というか、Agrestiも、彼の本で、モデリングは仮説検定よりもずっと役に立つと書いていたし、実際、モデルのあてはめや変数選択・縮約について丁寧に説明してあったので、まあ当然といえば当然かもしれない。

といいつつ、今日はそんなことを書きたいわけじゃない。この本を読んでいて、小難しいテクを使うことの是非について思いをめぐらしたのだ。

私は、データ分析とは、分析対象の課題を解決するためにおこなうものだと思っている。もちろん、データ分析だけを研究している統計学者がいることはよく理解している。けど、ぼくはサラリーマンなので、おおざっぱにいうと、数学的な理論やテクニカルなところにはあまり興味がないし、そもそも、バカなのでよくわからない（ただし、理論が重要ではないという意味ではない、この本が言うように正しく統計モデルをつかうことは、統計ユーザーの責務なのだ）。そう考えると、分析対象と分析技術で、このようなマトリックスを描くことができるはずだ。

分析といったとき、じつは2つ意味がある。一つは、分析課題、もう一つが分析方法。統計学者は分析方法の開発がミッション。逆に言えば、分析方法を第一優先となるのは、統計学者だけだと思う。その他のデータ分析者は、分析課題にまずコミットする必要があるはずだ。となると、これらの2要因の優先順位は、こんなことになると思う。

まず、課題も方法も新しければ、それはそれは素晴らしい。科学の発展とは、こういうことだ。

次に重要なのは、方法が古くても、課題が新しいパターンだ。別に目新しいテクを使ってなくても、新しい課題を解けるというもの。たぶん、これはセンスがいいってパターンで、瓢箪から駒というかコロンブスの卵的なやつだ。コストの小ささとリターンの大きさから考えると、サラリーマン的人生では、一番ハッピーになれる人かもしれない。

次にありがちなのは、方法も課題も古いパターン。まあ、一見ダメそうなんだけど、サラリーマンとは、普通、こんなもんだと思うので、何も言うべきことはない。そうそう、古い方法論とは、エクセルで計算できるようなレベル（構成比）とか、回帰・因子・クラスター・決定木といった、数十年前に開発された手法のことです。あと、普通、分析者は依頼者（サラリーマンならば、会社の取締役など経営層）に対して説明責任を負うので、小難しいテクを使い、分析結果を説明できないというのは、選択肢としてありえない。使いこなせる技術を正しく理解して使うというのは、手間という面でも、わかりやすさという面でも、とっても重要なことだおもう。(分析結果を説明できるとは、社内のだれもが知っている要因だけを使って、たった1つの最大3×3×3のクロス表だけで、分析結果を説明して納得してもらうことでございます）

最後は、課題は古いけど、方法が新しいパターン。方法が新しいとは、聞いたこともないような機械学習や統計学を使うことだ。実は、これは、評価が難しい。というか、よっぽどのことがない限り、わざわざこんなパターンに手を出す気がしれない。

もちろん、たまには目新しい技術に取り組む必要があると思う。だけど、それも、なにかの課題があってのことという気がする。分析が好きな人は、すぐに目新しい手法を取り入れたがるけど、個人的には、それは、分析対象の課題に向き合うということから、データ分析者が逃げている気がしてならない。

こういう逃げ分析者は、冷たいことを言うと、外科医でたとえるならば、メスは超うまく使えるとけど、何が病巣かは判断できませんといっているに等しく、訳も分からず病巣でない部分、たとえば正常な神経、、、をすごく正確にぶった切る可能性があり、そんな人は、何もしないほうがましなのではないか？と思うわけです。

といったことを、つれづれ考えた晩秋の夜

-------------

とおもったけど、きっと、自分が想像もできない分野もあり、そういう分野での分析も、どんどんうまれつつある昨今なので、きっと、思いもよらない展開がこの先増えていく気もしなくもない、といった感じでモヤモヤした気分の日曜の夜

-------------

またしても、その後、モヤモヤ考えたのだが、分析結果の活用といったとき、2種類あるかもしれない。一つは、今のところどうすればよいか一向に見当がつかないけど、分析結果を未来の打ち手のヒントにしたいとき。もう一つは、どうすればいいかは明確にわかっているけど、人の手ではやり切れいない時。この二つ。

ビッグデータといったとき、この二つがごっちゃになっている気がする

後者は、まあ、純粋に統計処理のはなしとして扱えるわけで、すでに、理論や技術が確立していれば、あとはそれを問題に適用するだけなので、話としては単純な類かもしれない。もちろん、現実にモデルをちゃんと当てはめるのは難しいけど、なにすればよいかは明確。なにか時系列データに、何やら高度な分析を当てはめた結果、何やらパラメーターがきれいに推定された、といったたぐいの話である。ただし、何やらパラメーターがきれいに推定できること自体に、常に高いビジネス価値があるかどうかは、分析が置かれた文脈次第（依頼者のニーズ・社内のパワーバランス・上司たちの意向など・・）。いずれにしても、ビッグデータ話のうち、現実的な活用方法はこれにちがいない。

もう一つは、何が問題かはわからないけど、ビッグデータの中に何か答えがあるはずだというパターン。これは、なにを解くべきかすら分かっていないため、どんな分析技術を使うべきかも結論が出ないという悪問だ。これは、実は技術以前の問題なので、本来的には、データ分析では答えが出っこないはず。こういうものにケッタイなテクニックを大上段に振りかざして分析結果を報告すると、オーディエンスにドン引きされるか、敵意満載に否定されるかのどちらかという気がする。そういう意味で、ビッグデータを分析してなにかヒントをだせ？と言われるときは、期待も大きい結果、失望はさらに大きくなるため、きわめて慎重な対応方法が必要なのではないか、と思う今日このごろなのです。

ベイズ統計初心者本2冊感想文

史上最強図解　これならわかる！ベイズ統計学 （2012/2）

涌井 良幸 (著), 涌井 貞美 (著)

ナツメ社

図解入門 よくわかる最新ベイズ統計の基本と仕組み (2010/12)

松原望

秀和システム

ベイズ統計初心者本2冊読んでみた

すぐにすたれると思われたベイズ。だけど、微妙なブームが去る様子はまったくない

というわけで、初心者本2冊、さらりと読んでみた

ベイズといえば、統計を勉強し始めて最初のほう、いわばなんとか分布が云々というところでちょっと出てきて以来。練習問題を何題かといてそれっきり。まあ、それは、ベイズ統計というよりも、ベイズの定理だったけど。で、それから、はや十何年。以下、本を読んだ感想

涌井さんの図解最強・・・は、ベイズ統計というよりも、ベイズの定理を、すごく丁寧に説明している。これでわからなかったら、もうどうしようもないと思えるほど。電車の中で立ち読みしながら、暗算で計算方法を追うことができるレベル。かくいう私も、この本の内容を一つ一つ確かめながら読んだら、ベイズの定理が、いったい何者だったのかを、思い出すことができたのであった。ベイジアンネットとか、ベイズ統計学のさわりも、さらりとふれてある。だけど、まあ、かるいご紹介レベルとおもわれる。

松原先生の基本としくみのほうが、やや難しい。最初のほうに、ベイズは簡単ってかいてあったけど、絶対ウソだとおもう。こちらも前半は、ベイズの定理の説明に終始している。だけど、図解最強ほど、懇切丁寧かつ、しつこく解説していない。まあ、かんたんだからこんなんでいいでしょー感が満載か。後半は、ベイズ統計のさわりと応用をさらりと紹介している。事前共役分布（だったか？）をつかうと、かんたんに事後分布を導出できるとか、ベイジアンネットってこう計算するんだよ的な内容が書いてあるけど、淡泊すぎて意味不明。だからといって、マニアックに説明されてもわからないんだけど。まあ、いずれにしても、こんな感じですが、どうでしょう的な内容なわけです

まあ、当たり前といえば、そうなんだけど、この手の本だけで使いこなせるようになるわけでなく、やっぱり、もっと本気度満載なテキストを、それなりにじっくり読んで考える必要はありそうだ。

あと、理論はまあおいておいて、理論を具体例に当てはめた例は、水産系の人たちの話が役に立ちそうな気がする。魚の資源管理の話（どのくらい魚が取れるか？）と、自社顧客の維持（どれくらい買ってくれそうか？カタログの反応率）は、結局同じことだと思うからです。

そうそう、自分が使うとなった時に根本的に疑問なことがある。なにかといえば、STPというかクラスタリングの問題なのです。たいていの場合、わたしは、お客さんがどのクラスターに属するかをいつも考えている。なぜならば、クラスターごとの反応率、言い換えれば尤度は大体わかっているからだ。でも実は、われわれとして一番興味があるのは、どんなクラスターにすると、尤度を最大にできるか？なのだ。その意味で、クラスター定義とは、購買確率に基づいてきめたい。その意味で、クラスター定義は、どっちかといえば、従属変数とか、最適化する相手になる。

だけど、ベイズを使うと、クラスター定義と尤度は所与になる（とおもう）。つまり、とあるお客さんがなにかアクションをしたとき、どのクラスターに属するか？を計算する。だけど、こちらとしては、今のクラスター定義がベターなのかを知りたいのであり、それを置いておいて、どのクラスターに入りそうだといわれても、なんとなくピントがずれている気がしなくもない、と感じるわけです

といったことを、つれずれ考えて読み終わりました。