【あと一週間！】t検定ベタ打ちの妥当性

同一人のある条件での脳活動を記録した、波形データAと、異なる条件での脳活動を記録した、波形データBを記録しています。
それぞれのデータの記録時間は（ホントは違うけど、まあ話をわかりやすくするために）300msで、サンプリング周波数が600Hzなので、各データは300*600/1000=180個の連続データで表されます。

AとBのような条件下での脳波は、ある区間で差が生じることが広く知られており、（もちろん、フィルタ処理とかベースライン処理とかはあるけど、とりあえず省略して）まずはその区間の平均値をとって有意な差があるかを検定したかったので、

個々人でAとBの、検定したい区間の平均値を求める（n=10)
　　　　　　　↓
Aの平均値とBの平均値に差がないという帰無仮説を立て、対応のあるt検定を行う
という手続きを踏んだところ、有意な値は出ませんでした。


さて、ここからが問題で、ひとまず目視で総加算平均波形を見ると、
従来見られていた区間(長さ200ms)より100ms短い区間に、どうも差がありそうに見えます。
この「ありそうな差」をどのように考えるか？ということが本日のテーマなのですが、眠くなってきたので、続きはまたおきてから。

＜つづき＞

さて、じゃあこの区間に有意な差があるか？という検定をしたいのですが、どういう方法が考えられるでしょうか。

１．差があるっぽい区間の平均値をとって、対応のあるt検定を行う
２．とにかく300ms全区間の（180個のデータの）対応のあるt検定を行う
３．差の信頼区間を求める

考えられたのが上の３つの方法で、このうち３．は、
“差があるっぽい”データに対して、信頼区間を求めると、
一番大きい差を含んだ100%データのうち、95%信頼区間からはみ出た値を有意な差、
と考えるのは、なんとなくトートロジーっぽい感じがします。



（結局、全データ範囲で「100％」なんだから、差が大きいところは95%範囲を超えてあたりまえでしょ？みたいな）

どっかに差はあるんだろうけど、どこにあるかはわからない、という場合この手法は有効かもしれませんが、今回は没に。

次に、１．ですが、区間をどうやって設定するか？が問題になりそうです。
「見た目で差がありそうな区間」を選んで検定するのは、どうなの？ということですね。
これも、探索的な研究であれば、見た目で差があるところを選んでも良いと思うんですが、
今回のデータは本来わりと良く知られた区間なので、それ以外の区間をとるにはなんらかの合理的理由が必要になりそうな気がします。

で、３．ですが、その前に検定の多重性について
多重比較をごらんください。

今まで悩んでいたのが、180個のデータに対して、180回t検定をする、というのは検定の多重性がひどいことになるんじゃないんですか、ということなんです。

上のリンクで指摘されている

足立堅一氏の「らくらく生物統計学」では次のようなケースで多重性が問題になると指摘している。

(c)経時的ﾃﾞｰﾀの輪切り検定（例えば、Ａ、Ｂの２群間の降圧作用の差を各時点について順次比較し検定する場合）

というところですね。

まあしかしこれは、
A群が統制群で、B群が降圧剤服用群、ということになるでしょうから、
対応のあるデータに対しての指摘では（多分）ありません。
*もちろん、180個のデータだから、有意水準5%だと、単純計算で9個のデータは有意な差がなくても「有意」とみなされてしまう可能性があります。
で、ERPについてのQ & A:ERPについての解説記事(pdf注意)によれば、このような方法は認められているようです。

じゃあ、なぜこの方法が認められうるか、ということなんですが、
続きはまた今度。