「朝食はいい！ それもご飯食がいい！」との主張
引き続き朝食をCiNiiってるわけなんですが、「ご飯朝食を摂取した学生とその成績」において、上記のような主張がなされてたのでした。
- 著者は大学・短大の先生
- 自分の講義の最後に、毎回小テストを行った。その際に、朝食を食べてきたかどうか、食べてきたとしたら、ご飯かパンかを記入してもらった。
- 熱心に聴講した学生（ほとんど休まず出席。全15回なら、試験日とオリエンテーション、それから補講日1日をのぞいた12回のうち、10回以上出席した者）を対象に集計。
- 6年間、のべ27科目について行った。
というもの。結果は、ご飯摂取者の評点がパン摂取者のそれよりも高かったのが16科目、逆に低かったものが4科目、同レベルであったものが7科目であったとしています。この結果だけ見れば、ご飯食の圧勝です。
しかしながら、文中では結果を年度を下るかたちで各年度ごとに示していて、しかも丁寧なことに図でもって、朝食摂取者に何点取った者はこれだけいました、パン食の者の点数分布はこちらですと見せてくれるのですが、この点数分布の図を見たあとに年度の結果を読むと、違和感があることこの上ないです。
たとえば
このような得点分布が*1あるのですが、著者はこれを「ご飯食が高レベルであった」と判定しています。この判定が、ほぼ同じ範囲にならんでいる見た目に反していて、ものすごい違和感があります。
もちろん、見た目には同じでも統計的には有意に差があるのだというのは、おそらくはおおいにあることなのでしょう。ですから、「本当にこれで差があるの？」との思いは抱えながら読み進めていたのです。
ところが、考察においてこのような記述がありました。
熱心な学生たちであるから、いずれの成績も90点前後に分布している。したがって評点を算出して比較する場合、点数にして1.0差があれば有意と判定した。
えー、有意差ってそんな適当に決めていいものなの？ 普通分散がどうだとかt検定がどうだとか、そういうのをやるもんなんじゃないの？ 詳しくは知らないけどさ！
いやまあ、「p<0.05で有意差あり」なんてのもその人がその水準で有意差があると定めているわけですから、著者が特定の値でもって有意な差であると判定するのは、ひょっとすると普通のことなのかもしれません。でも「点数が1.0差あれば有意」っていうのは、さすがにアバウトで杜撰すぎるように思います。
上記で例に挙げた分布は、この有意判定のおかげで「有意差あり」になっていますが、分布図から得点を推定して*2、等分散でないと仮定した両側検定でt検定を行えば、p = 0.46になります。一般的にはp < 0.05で有意差ありと判定すると聞き及んでいますので、この結果から有意な差があるとは言えないということになります。
以上のことから講義を熱心に聴講し試験に良好な成績を収めるためには平素ご飯を食べるほうがパンを食べるほうよりも望ましいと考えられる。
と著者は結んでいますが、「点数が1.0差であれば有意」というのを、もう少し統計的に処理して判定した場合、おそらくは違った答えが出るんじゃないでしょうか。
