まずは以下の文章をお読みください。
A君とB君が、1回目と2回目で合わせて100問解くというテストで勝負した。
1回目のテストでは、A君の正解率は90%、B君の正解率は80%だった。
2回目のテストでは、A君の正解率は50%、B君の正解率は40%だった。
どう見てもA君が勝ったように見えます。
しかし、結論から言うと、これだけでは「A君が勝利した」とは限らないのです。
では上記の問題を「正解率」だけでなく、割り算する前の「正解数/問題数」も併記してみます。
A君とB君が、1回目と2回目で合わせて100問解くというテストで勝負した。
1回目のテストでは、A君の正解数は90%(9/10問)、B君の正解数は80%(72/90問)だった。
2回目のテストでは、A君の正解数は50%(45/90問)、B君の正解数は40%(4/10問)だった。
こうなるとどうでしょう。
2回のテストの点数を合計すると、A君の正解数は54/100問、B君の正解数は76/100問となります。
実は多く正解していたのはB君でした。
B君のほうが正解数が多いのに、テストを分割したそれぞれの結果だとB君の0勝2敗になってしまうのですね。
このような、「グループ全体としての結果」と「グループを分割したチームごとの結果」は異なる場合がある、という事例を「シンプソンのパラドックス」と呼びます。
統計学のトリックとしてはとても有名なものですが、確かに意識せずに一番上だけの問題を見せられると騙されてしまいそうです。
統計データはその「割合」だけで評価せず、きちんとその「母数」も確認の上で評価を行いましょう、という良い事例ではないでしょうか。