ビッグデータと人材育成～データサイエンス技術者育成のボトルネック：統計的品質管理

カテゴリー

統計的品質管理

ビッグデータと人材育成～データサイエンス技術者育成のボトルネック

ビッグデータの活用においては、別に一人がすべての知識・技術を持っている必要はありません。マネジメント、オペレーション、統計解析などの分野ごとに、それぞれに長じた人材を持ち、連携した方が合理的と言えます。しかし、こと統計分野においては、実は十分な教育環境が整っているとは言い切れない状況です。

実際に世間一般で行われている「ビッグデータ」と題される研修を見てみると、全体的な概論やマネジメント論、あるいはシステムベンダーによるデータオペレーションのセミナーは実施されています。しかし、統計分野については、既存のSQC手法の範疇の研修に留まっているのが多数のようです。SQC手法は必要ですが、ビッグデータと呼ばれる大規模データを対象とし、有効な分析を進めようとすれば、どうしてもベイズ統計学のような知識・技術が必要となります。しかし、それらを社内教育で育成しようとしても、ハードルが高く、なかなか育成が進まないのです。

従来のSQCに分類される統計手法は古典統計学と呼ばれる分類に属します。これはこれで、品質管理などに適用するのに適した性質を持っており、有効に機能します。ここで考えなければならないのは、従来扱われてきたデータとビッグデータの間にどのような違いがあるのか、という点です。現在、このビッグデータに特に注目しているのはマーケティングの分野です。マーケティングにおいては、市場情報、あるいは顧客の行動調査などさまざまなデータを扱いますが、そこにはどうしても“不確かさ”　“あいまいさ”が入り込んでしまいます。

逆の見方をすれば、品質管理などの分野で扱われているような厳密で均質なデータが揃わないケースが考えられるのです。こういった場合、従来の統計学では対応しにくい状況が考えられます。そこで注目されてきたのがベイズ統計学と呼ばれるものです。このベイズ統計学自体は、別にビッグデータのために開発されたわけではなく、かなり前から存在するものです（命名の元となったトーマス・ベイズ自身は18世紀の人間です）。このベイズ統計学と古典統計学では“確率”に対する解釈の仕方が異なっているのが大きな違いです。ここでは詳細を書ききれませんのでさわりだけ紹介すると、ベイズ統計学では上記のような“不確かさ”“あいまいさ”を受け入れやすい素地を持っており、そのためビッグデータの解析に適している、と言われています。

このベイズ統計学、欧米では“ベイジアン”と呼ばれるベイズ統計学を扱う統計学者が増えているようですが、日本ではまだそこまでではないようです。さらに言えば、そのベイズ統計学などの従来とは少しばかり違う統計学の分野で教育・育成にあたれる人材はさらに限られることになってしまいます。もっと言えば、その教育の素材、しかもビッグデータでの活用を意識したものとなると、さらに限られてくることは想像に難くありません。これがビッグデータの活用を考えたときの、統計人材育成のネックの一つになっているのです。

いずれにせよ、今後、データサイエンス分野の技術者を育成していくには、そのネックをいかにして解消していくか、という課題を避けて通ることはできないでしょう。
　ビッグデータと人材育成～データサイエンス技術者育成のボトルネック