ビッグデータをデータマイニングする時のリスク

解析するデーターが大きければ大きく
調査する項目が多岐にわたり
調査期間が長ければ長いほど
その検証の中に予期せぬ間違いが存在するかしないかを発見するのが難しくなる。

解析データの一部、相場の連続する様々な数値データを記録するとあっという間に恐ろしいほど巨大なデータとなります。

最近ふとした事から解析用に書いたプログラムコードに１箇所小さなバグを発見して思ったことです。たいした間違いではなかったから良い物の致命的な間違いであった場合はここ１年近く調査してきた結果が水の泡になるかと思うと、最悪だなと思いましたので書いておきます。

解決案

解析を行うプロセスやプログラムコードが1度検証して正しいと言う結果が出ても常に疑いの目を持ち、調査と平行して 月一回など定例で多角的に何度も確認し続ける事が解決の鍵かと思いました。

参考：データマイニングの宝箱　http://www5.ocn.ne.jp/~shinya91/
↑データマイニングについてわかりやすく解説されています、私はこのサイトをほぼ全文読みました。（笑）.