分かるといえばわかる。けど、賛同できない

はよ寝んと、明日もしんどいのだが、湧き上がる自分の才能が、筆を進めるわけです。まあ、それはそれとして、こんなブログ見つけた。

ところてん
http://www16.atwiki.jp/tokoroten/pages/1256.html
～大手通信会社の研究所を辞めて、ソーシャルゲーム屋さんに行きます～

さて、そんなわけで2012年1月31日付けで大手通信会社の研究所を辞めました。

（中略)

（色々あって、研究所内のデータ分析チームに異動したけど）、研究所におけるビッグデータ研究のためのアプローチが全力で間違っていた。

（中略)

研究所は外面からビッグデータに見えればよいという姿勢で、hadoopのクラスタを持ってることをアピールしたり、PFIさんと一緒にOSS開発をしているというアピールをしていた。小規模なデータ解析や仮説構築に関して完全に手を抜いていた。

（中略)

（そこで、自分なりに分析を進めようと思って）運用部隊からデータを貰おうにも、運用部隊は孫会社や外注がやってるからデータを貰うのにもひと苦労。事業会社と共同研究しようにも、（中略）どのような成果が出るかを明らかにしないと一緒にやらせてもらえない。データマイニングって、どのような結果が出るか分かってからやるもんだったっけ？さらには、事業会社と一緒にやりましょうとなっても、当の運用部隊にやる気がない（余計な仕事が降ってきたという認識）。こんな状態でどうやって研究をしろと？ （省略）

まあ、この人の気持ち、分かるといえばわかる。けど、なんかどうかねー。

まず、大手通信会社だったから、分析に力を入れるつもりはなかったんでしょ。というか、力を入れるつもりないってのは、なかなか妥当な選択だと思います。だって、データを眺めたら、なにか、あらたな発見があると思ったら大間違いだからです。ふうつ、ぼんやりデータを眺めても、なぞがなぞを呼ぶだけです。その意味で、理系の通信系エンジニア集団と思われる通信会社の研究所が、DBに力を入れるってのは、普通のビジネスマンの普通の選択だと思います。天下のIBMの大和研究所の人も、ビジネス・マーケティング系のデータ分析には、二の足を踏んでる雰囲気あったし、もっといっちゃうと、わが社に講演に来た人たちは正直ビビッて他。まあ、だから、SPSSを買収したんでしょ、きっと。

で、つぎ。

事業会社と共同研究しようにも、（中略）どのような成果が出るかを明らかにしないと一緒にやらせてもらえない。データマイニングって、どのような結果が出るか分かってからやるもんだったっけ？

そうですよ。分析とは、どんな結論がでうるか？を提示した上でやるものです。そんなの、老舗だろうがベンチャーだろうが、同じですよ。そもそも、どんな結論が出るか皆目見当が付かない研究所の分析に、事業会社が付き合うわけないじゃん。事業会社は、金稼いでナンボなの。研究所の研究に付き合うほど、みんなヒマじゃないんです。

勘違いしているところは２つあると思われる

ひとつ目
「分析とは、誰もがびっくりするような結論を出すことだ」

だれもがびっくりする結論なんて、あるわけない。前も書いた気がするけど、びっくりする結論とは、常識を疑っていないとダメなの。そして、だれもが体験的に知っている常識をデータから導くことが、常識を疑える第一歩なの。そして、データ分析だからこそ、常識を客観視することができるの。体験だと、こうはいかない。データ分析の基本的な価値は、まずこれですよ。

ふたつ目
「仮説はあたらなきゃいけない・分析者は当たる仮設を提示しなきゃいけない」

仮説はあたっても、あたらなくても、価値があるんですよ。なぜなら、仮説とは、現在認識している構造のことだから。そして、現在の構造では計り知れない問題があるから、分析するんです。そして、現在の構造から類推したとき、計り知れない問題がどうなっているのか？を考えるのが仮説です。で、仮説を検証するのがデータ分析ですよ。だから、分析結果が仮説を棄却しようが、受け入れようが、どっちでも言いわけ。むしろ、仮説が外れたときの方が、現在の認識が間違っていることが分かったんだから、次の進歩の足がかりになるんですよ。そして、仮説があたったときと、外れたときのビジネスにおける含意を、事業会社の人に伝えるのは、まさに分析者の役割です。「Big Dataが流行ってる」とか「大量データには、なにかビジネスチャンスが潜んでいるかもしれない」という理由ってのは、分析をするための理由にはなりません。

まあ、ということの壁にぶち当たって転職したんですよね

事業会社の人と一緒に仕事すると、問題認識が良く分かるからいいかもね。でも、問題を認識できるからといって、解決策（のヒント）につながる分析ができるわけでない。この二つには、信じられないくらいふかーーい溝があるのです。言い換えると、解決策のヒントは、ビジネスそのものと、データとの狭間に潜んでいる。その意味で、分析に取り組めば取り組むほど、プログラミングスキルでは、到底解決できない問題にさいまれることでしょう。