ここでは、研究不正となるp-hackingについて、どんなことがhackingなのか、なぜダメなのか、どうすれば良いかについて紹介します。
再現性が大事
再現性とは同じ実験や分析を別の研究者が行ったときに同じ結果が得られることを指します。しかし、統計分析における不正行為、特にp-hacking（ピー・ハッキング）は、再現性の低下を引き起こし、研究結果の信頼性を損なう原因となります。
ビジネスの現場でも、PDCAのCheckに当たる部分が分析だとすると再現性のない結果を基にしてActionを取るのは危険です。
p-hackingとは何か
p-hackingは有意水準（通常はp値が0.05未満）を満たす結果を得るためにデータを操作することです。これにより、真の効果が存在しない場合でも有意とする結果を作り出すことができます。p-hackingはデータの操作やHARKINGによる行われ、意図的であれ無意識であれ、以下のような行為が含まれます。
- 恣意的なデータの操作
- データの一部を選択的に使用：結果が有意になるように、データセットの一部を除外したり、特定のサンプルを選択的に使用する。
- データの収集を途中で止める：p値が有意な結果を示すまでデータ収集を続け、適当なp値が得られたところでデータ収集を終了する。
- 変数の操作：独立変数や従属変数を変更したり、新たな変数を追加して分析を行う。
- データのトリミング：外れ値や極端なデータポイントを除去し、有意な結果が得られるようにデータを調整する。
- HARKING
- 複数の統計的検定を実施：同じデータセットに対して複数の統計的検定を繰り返し行い、有意な結果が得られるまで試行錯誤する。
- 事後的な仮説の提示：データ分析後に、有意な結果に基づいて新たな仮説を立て、それを元々の仮説であったかのように報告する。
- 閾値の変更：p値の閾値（例えば、0.05）を変更して、有意な結果を得る。
なぜやってしまうのか
今でこそ再現性の危機とかでp-hackingは不正であるという認識が広まってきたので、知ってさえすれば上記のようなことは避けるのが現代の研究者・分析者だと思います。しかし、こういったことが行われてきた背景としては、キャリアのためには結果を出さないといけないというプレッシャーや統計学の知識の不足などが重なったのだと思います。
また、ビジネスの現場では意思決定者の納得が得られれば良いので、それっぽい数字を持ち出して誘導するということもあるとかないとか。
p-hackingを避けるための方法
p-hackingをしてしまわないためには、まずは上述の恣意的なデータ操作やHARKINGはダメだと理解することです。
特にマーケティング系のビジネスの現場では平均を比較するだけでなんとなく納得してくれる人が大半なので、p-hackingというよりは定性的な話であるHARKINGを避けるというのが第一です。その上で、データを適切に扱うことができれば後ろ指を刺されることはないでしょう。
あとは、例えば施策の効果の分析などにおいて、「無いものは無い」と言い続けられる胆力でしょうか。