• 大学院集中講義(魔法大学院心理学科)メタ分析(2)−理論と実際複数の研究結果から新たな知見を得る統計的手法山田・井上(2012)より
  • [2日目の集中講義の前に]メタ分析集中講義二日目(主な内容)1限 メタ分析の手続き;クーパーの7段階モデル2限 効果量;研究を統合する「共通の物差し」3限 メタ分析の統計解析の手順4限 メタ分析の具体的研究事例5限 まとめサイ子「昨日の講義でメタ分析について,かなり理解できました。でも実際にどのように分析し,どんな研究が行われるのですか?」先生「では,今日は,アメリカの研究を紹介しながら,右の表に沿って基本的な手順や研究事例の紹介をしましょう。メタ分析の基礎や歴史は,昨日の資料を参考にして下さい。」
  • [1限:メタ分析の手続き(Cooper, 2009)]• メタ分析の手続きを,クーパー(Cooper, 2009)の7段階モデルを参考に紹介します。1段階 問題の定式化 ( formulating the problem )2段階 文献探索 ( searching the literature )3段階 研究からの情報の収集 ( gathering information from studies )4段階 研究の質の評価 ( evaluating the quality of studies )5段階 研究結果の分析と集積 ( analyzing and integrating theoutcomes of studies )6段階 エビデンスの解釈 ( interpreting the evidence )7段階 結果の公表 ( presenting the results )
  • [Cooper(2009)の7段階モデル]• 1. 問題の定式化:メタ分析で扱うリサーチクエスチョンを設定します。メタ分析の対象となるテーマは何か,その概念的定義と操作的定義を明らかにします。さらに,メタ分析に含めるべき研究の基準,内的妥当性・外的妥当性への対処も検討しておくことが必要です。• 2. 文献探索:PsycINFOやERICなどの文献データベース,Web of Scienceのような引用文献データベース,Google Scholar等のwebによる方法の他に,様々な手段を活用して文献を収集します。灰色文献(Gray literature)と言われるタイプの文献にもアクセスし,情報を集める努力も必要です。研究が集まった段階で,事前に記載された的確性基準(研究に含めるか除外するかの基準)に従って,メタ分析の対象となる研究の絞り込みを行います。
  • [Cooper(2009)の7段階モデル]• 3. 研究から情報を集める:コーディングを行う段階です。コーディングとは,メタ分析の対象となる研究論文から必要な情報を抽出し,電子媒体へと変換するプロセスのことです。コーディングを行うには,コーディングマニュアルとコーディングシートを事前に準備しておく必要があります。また,コーディングの作業は通常複数の手によって行われるため,コーダーに対して事前に訓練を実施して,コーダ−によって結果が異ならないような対策が重要です。• 4. 研究の質を評価する:事前に定めておいた「研究の質の基準」をもとに,メタ分析に含める研究のそれぞれの質の高さを評価します。研究の質の高低が効果量の変動を説明する要因になっているかについて検討が行われます。あるいは,あまりに質の低い研究はメタ分析の対象から除外することもあります。
  • [Cooper(2009)の7段階モデル]• 5. 研究結果の分析と集積:メタ分析に含まれた研究それぞれについて効果量とその信頼区間を求めます。さらに,効果量の統合を行い,平均効果量とその標準誤差を求めます。そして,効果量のバラツキについての検討を行います。• 6. エビデンスの解釈:効果量の大きさを解釈します。平均効果量の値から,メタ分析に含まれる研究全体についての結論を導きます。研究間の効果量が等質であるか検討し,等質でない場合は,変動の原因について分析を行います。さらに関連して,公表バイアスや,メタ分析についての様々な問題なども考慮に入れます。• 7. 結果を公表する:第1段階から第6段階までの結果をまとめて,研究論文として公表する段階です。報告書としての書式や,どのように結果をわかりやすく表示するかが重要です。フォレストプロットや漏斗(じょうご)プロットなどの視覚的表現が有用です。
  • [2限;効果量]• 効果量(Effect size)とは,研究結果を統合するための「共通の物さし」です。• 効果量には様々な種類があります(Cumming,2012; 大久保・岡田,2012; 山田・井上, 2012; などを参照して下さい)。ここでは最も基本的な効果量の1つである,「標準化された平均値差」を紹介します。• 効果量を用いることによって,個々の研究の測定単位に関係なく,同じ仮説を検証している異なった研究結果を要約し,量的に介入効果を表すことが可能となるのです。
  • [効果量(標準化された平均値差)]• 標準化された平均値差 =(介入群の平均値 – 統制群の平均値) ÷ 統制群の標準偏差• この効果量は,グラスのΔ(デルタ)と呼ばれる効果量です。• ここで,式の分母にある「統制群の標準偏差」とは,統制群のデータのバラツキの大きさを表す値と考えて下さい。• この効果量(標準化された平均値差)によって,複数の研究結果(異なる尺度で測定された研究結果)を,標準偏差(データのバラツキの指標)を単位とする共通の尺度で表すことができるようになります。例えば,「効果量が0.4である」というのは,介入群の平均値が統制群よりも,統制群の標準偏差の単位で,0.4標準偏差だけ大きいことを示しています。
  • [3限;メタ分析における統計解析の基礎]• 個々の研究から効果量を算出したら,それらを用いて,研究結果の統合を行います。このために,メタ分析における統計解析が実行されます。• メタ分析における統計解析について,代表的なものにヘッジスとオルキン(Hedges & Olkin,1985)の方法があります。• 次のスライドで,一般的な「メタ分析における統計解析の手順」を紹介します。• 手順の1つ1つの詳細については,山田・井上(2012)や,ボレンステインら(Borenstein et al., 2009)を参照して下さい。
  • [メタ分析における統計解析の基礎]1. 個々の研究から効果量,効果量の分散(誤差分散),標準誤差,重み(誤差分散の逆数)を計算します。サンプルサイズが小さい場合は,効果量に対する修正を行います。2. 平均効果量とその分散,標準誤差を求めます。このために,固定効果モデルと変量効果モデルを利用することができます。3. 効果量について検定を行います。あるいは,信頼区間を求めます。4. 効果量のバラツキについて検討します。このために,効果量の等質性の検定,あるいは,効果量の異質性の程度を査定する記述統計量を算出します。5. 効果量の等質性の検定の結果有意になった場合は,さらに効果量が等質でない原因を検討するための分析が行われます(分散分析的アプローチや回帰分析的アプローチなど)。
  • [4限;メタ分析研究の紹介(Amato & Keith,1991)]• 実際のメタ分析研究の例として,アマトとキース(Amato & Keith,1991)が行ったメタ分析を紹介します。• 問題と目的:1950年代以降,アメリカでは親が離婚した子どもの数が急増している。親の離婚が子どもの発達やウェルビーイングに与える影響が公的・科学的に懸念され,多くの質的なレビューが行われているが,それらの結果は必ずしも一致していない。• メタ分析の目的;(a)子どものウェルビーイングに及ぼす離婚の影響の程度,(b) 効果量の変動を説明する研究特性,(c)離婚を経験した子どもへの影響に関連すると思われる3つの理論的展望(親の欠如,経済的不利,家庭内不和) ,について検討すること。
  • [メタ分析研究の紹介(Amato & Keith,1991)]• 適格性基準:①「親の離婚・別居により片親のもとで暮らす子ども」「両親のもとで暮らす子ども」両方のサンプルを含むこと。② ウェルビーイングの量的指標を少なくとも1つ含むこと。③少なくとも 1つの効果量を算出できること。④ 両親の離婚を経験した子どもを対象とする(大学生は含むが,成人は除外)。• これらの基準を満たした研究は92,子どもの人数の合計は13,000人以上であった。• 文献の探索・収集:Psychological Abstracts, Sociological Abstracts, Social Sciences Indexを用いた手作業による検索,コンピュータを用いたデータベース検索,レビュー論文の引用文献リストを用いた検索という3つの方法。
  • [メタ分析研究の紹介(Amato & Keith,1991)]• コーディング:ウェルビーイングに関する測定指標のコーディングは,学業達成,行為,心理的適応,自己概念,社会的適応,母子関係,父子関係,その他。研究特性に関するコーディングは,サンプル収集法,サンプルサイズ,従属変数の測定指標,統計的な統制の有無,従属変数の報告者。男女構成,各群の平均年齢段階,子どもが両親と暮らせなくなった平均年数,データを収集した年,研究が実施された国。• 効果量:標準化された平均値差。• コーダーの信頼性:評定の一致度は.84(比較的高い一致)。不一致についてはコーダ−間で協議して解決。
  • [メタ分析研究の紹介(Amato & Keith,1991)]• 結果: 効果量の平均は-0.17,中央値は-0.14。「その他」以外の平均効果量は全て負。Fail-safe Nの値も十分大きい。
  • [メタ分析研究の紹介(Amato & Keith,1991)]• 結果: 1950・60年代に実施した研究の方が近年のものよりも大きな影響を示す傾向にあった。前のスライドの表とあわせて見ると,QT=QB+QWになっていることがわかる。たとえば,学力について,85.6 = 5.1 + 36.8 + 28.2+ 15.5。
  • [メタ分析研究の紹介(Amato & Keith,1991)]• 結果:このメタ分析の目的である,3つの理論的展望に関して検討した結果,家庭内不和から導出された仮説を支持する結果が最も強力であった。• たとえば,両親の間で激しい衝突が生じている家庭と,両親が離婚した家庭の子ども達のウェルビーイングの側面を比較した結果,家庭内で激しい衝突のある子ども達の方が低いウェルビーイングを示した。• しかし,どれか 1つの展望がすべての影響を説明するというよりも,離婚が子どもに影響を及ぼすメカニズムを完全に理解するためには,親の欠如,経済的不利,家庭内不和の観念すべてが必要であることが明らかとなった。
  • [5限;まとめ]• メタ分析とは,同じテーマについて行われた複数の研究結果を,統計的な方法を用いて統合すること。• 複数の研究結果を統合するために,効果量を共通の物さしとして用いる。• メタ分析の一般的な手順は,①問題の定式化,②文献探索,③研究からの情報の収集,④研究の質の評価,⑤研究結果の分析と集積,⑥エビデンスの解釈,⑦結果の公表,となる(クーパーの7段階モデル)。• アマトとキース(Amato & Keith,1991)は,メタ分析を行い,92の研究,13,000人以上の子どものデータを統合して,親の離婚と子どもの発達やウェルビーイングの関係を示した。
  • [参考文献]• Amato, P. A., & Keith, B (1991). Parental divorce and the well-being ofchildren: A meta-analysis, Psychological Bulletin, 110, 26-46.• Borenstein,M., Hedges,L.V., Higgins, J.P.T., & Rothstein, H.R., (2009).Introduction to meta-analysis. Chichester, UK: Wiley.• Cooper, H. (2009). Research synthesis and meta-analysis: A step-bystepapproach(4th ed.). Thousand Oaks, CA: Sage.• Cooper, H., & Hedges, L. V. (Eds.). (1994). The handbook of researchsynthesis. New York, NY: Russell Sage Foundation.• Cooper, H., Hedges, L. V., & Valentine, J. C. (Eds.). (2009). Thehandbook of research synthesis and meta-analysis (2nd ed.). New York,NY: Russell Sage Foundation.• Cumming, G. (2012). Understanding the new statistics: Effect sizes,confidence intervals, and meta-analysis. New York, NY: Routlege.
  • [参考文献]• Eysenck, H. J. (1952). The effects of psychotherapy: An evaluation.Journal of Consulting Psychology, 16, 319-324.• Eysenck, H. J. (1978). An exercise in mega-silliness. AmericanPsychologist, 33, 517.• Eysenck, H. J. (1994). Systematic reviews: Meta-analysis and itsproblems. British Medical Journal, 309, 789-792.• Glass, G. V. (1976). Primary, secondary, and meta-analysis of research.Educational Researcher, 5, 3-8.• Hedges, L. V., & Olkin, I. (1985). Statistical methods for meta-analysis.Orlando, FL: Academic Press.• Lipsey, M.W., & Wilson,D.B. (2001). Practical meta-analysis. ThousandOaks, CA: Sage Publications.• Littell,J.H., Corcoran, J., & Pillai, V., (2008). Systematic reviews andmeta-analysis. New York, NY: Oxford University Press.
  • [参考文献]• 大久保街亜・岡田謙介 (2012). 伝えるための心理統計 勁草書房• Rosenthal, R., & Rubin, D. B. (1978). Interpersonal expectancy effects:The first 345 studies. The Behavioral and Brain Science, 3, 377-415.• Schmidt, F. L., & Hunter, J. E. (1977). Development of a general solutionto the problem of validity generalization. Journal of Applied Psychology,62, 529-540.• Smith,M.L., & Glass,G.V. (1977). Meta-analysis of psychotherapyoutcome studies ,American Psychologist, 32, 752-760.• Torgerson, C. J. (2003). Systematic reviews. London:UK, ContinuumBooks.• 山田剛史・井上俊哉(編) (2012). メタ分析入門−心理・教育研究の系統的レビューのために 東京大学出版会
  • [お薦め図書]• Cumming, G. (2012). Understanding the newstatistics: Effect sizes, confidence intervals, and metaanalysis.New York, NY: Routlege.• 大久保街亜・岡田謙介 (2012). 伝えるための心理統計 勁草書房• 山田剛史・井上俊哉(編) (2012). メタ分析入門−心理・教育研究の系統的レビューのために 東京大学出版会(このスライドは,上記の山田・井上(2012)の1章と9章の一部を要約したものです)
  • [製作者]山田 剛史(岡山大学大学院教育学研究科)&井上俊哉(東京家政大学人文学部)(作成協力 青木多寿子)2014年3月25日