• 大学院集中講義(魔法大学院心理学科) メタ分析(1)−基礎と歴史 複数の研究結果から新たな知見を得る統計的手法山田・井上(2012)より
  • [大学院で集中講義を受ける]大学院生になったサイ子ちゃん,統計学の2日間の集中講義をとりました。テーマはメタ分析。 サイ子「メタ分析って,要するに,方法が違う似た研究を,集約する方法ですか」 先生「サイ子ちゃん,卒論書くとき,研究をレビューしたよね?レビューは研究の価値を決める大切です。メタ分析とは,研究ではなく,データをレビューする方法です。」
  • [1限;メタ分析とは]メタ分析とは,同じテーマで行われた複数の研究結果を,統計的な方法を用いて統合することです。 メタ分析は,統計的なレビュー,系統的なレビュー(systematic review)と呼ばれることがあります。 メタ分析と一般的な研究(一次研究)では,そのプロセスに共通点も多く見られます。 しかし,メタ分析は「(一次研究の)研究結果」を対象とするところが,一次研究との大きな違いです。 メタ分析では,研究で報告された統計情報(分析結果)を用いて研究の統合を行うため,データを用いない理論研究や質的な事例研究をメタ分析の対象にすることはできません。
  • [系統的レビューとメタ分析]系統的レビューとメタ分析を以下のように区別することもあります。 系統的レビュー(Systematic review):同一のテーマについて行った複数の研究結果を量的に統合する一連の手続きのこと。Research synthesisと呼ばれることもある。 メタ分析(Meta-analysis):系統的レビュー全体における統計解析の部分のみを指す。
  • [2限;なぜ,レビュー研究が必要なのか?]レビュー研究が大切な理由は,以下のように考えることができます。 先行研究で明らかになっていることとなっていないこと,つまり問題点を明確にできる。 1つの研究の限界:単一の研究で決定的な結論を導くことはできません。1つの研究の結果は,標本変動を避けられません。多くの研究を統合することで正確な推論が可能になります。結論の一般化:個々の研究が行われた特定の状況を超えて結論を一般化するには,研究デザインの種類,介入の種類,被験者の性質等が異なる複数の研究結果を統合することが必要となります。
  • [レビュー研究の必要性]トーガーソン(Torgerson , 2003)も,単一の研究結果に頼ることの危険性を述べています。 ある教育プログラムが開発され,その効果が確認されたとします。しかし,その研究がアメリカで行われたとしたら,そのプログラムをそのままイギリスで実施して,同様の効果が得られるでしょうか? 反対に,教育プログラムの効果検証が,アメリカでも,カナダでも,オーストラリアでも行われ,それぞれ効果が確認されたとしましょう。この場合,このプログラムをイギリスで実施してもおそらく効果があると判断できるでしょう。 1つの研究結果に依存せず,複数の研究結果を統合し,全体的な結論を導くこと,すなわち,レビューを行うことは重要な意味を持つのです。
  • [記述的レビューとメタ分析]記述的レビュー(ナラティブ・レビュー:narrative review)とは,レビュアー(レビューをする人)が個々の研究を精読し,その研究結果をまとめるレビューの方法です。 この方法では,研究結果をデータとする統計解析は行われません。また,文献収集から結論に至る過程といったレビューの手続きに関しては詳細に語られないことが一般的です。この方法には様々な問題点が指摘されています。 メタ分析は,記述的レビューの問題点を克服する方法とされています。 メタ分析が,記述的レビューに対する批判にどのように応えているのか,次のスライドの表を見てみましょう(表は,山田・井上(2012)より引用しました)。
  • [3限;メタ分析の歴史を概観する]メタ分析という名称を初めて用いたのは,グラス(Glass,1976)です。しかし,グラスよりもずっと前から量的な研究の統合は行われていました。 最初の研究の統合は,1904年にピアソン(Pearson)により行われた研究であるといわれています。この研究は,腸チフスに対するワクチンの効果について実施された複数の研究結果を統合したものです。 ピアソンは複数の研究で報告された相関係数の結果を統合して,ワクチンの効果についてより妥当な結論を導き出しています。 メタ分析という用語が導入される数十年前から,複数の研究結果を統合する試みは行われていたのです。
  • [メタ分析の歴史を概観する]アイゼンク(Eysenck,1952)は,心理療法に効果はないと主張しました。このアイゼンクの主張により,大きな議論が起こりました。スミスとグラス(Smith & Glass,1977)は,心理療法の効果を実証的に検討することを目的にメタ分析を実施しました。このメタ分析は,非常に有名な研究で,「心理学を変えた40の研究」でも紹介されています。 スミスとグラス(1977)は,Psychological Abstracts およびDissertation Abstractsを中心に心理療法の効果研究のうち,介入群と統制群の比較,または異なる治療を受けた群の間の比較を行っている375件の研究を対象とし,メタ分析を行いました。 375の研究から,全部で833個の効果量(効果量とは,異なる研究を統合するための共通の物さしです)を算出しました。
  • [4限;メタ分析の歴史を概観する]• 833個の効果量の平均は0.68となりました。効果量が0.68というのは,介入群の平均が,統制群だと上位25%に位置づけられることになり,比較的明瞭な治療効果が見られたことになります。• この結果から,スミスとグラス(1977)は心理療法には効果があると結論づけました。• スミスとグラス(1977)の心理療法の効果についてのメタ分析には様々な批判が起こります。とくにアイゼンクは,メタ分析のことを「ものすごく愚かなこと(Mega-Silliness)」と強烈に批判します(Eysenck,1978)。• アイゼンクの批判にもかかわらず,その後,メタ分析は急速に普及します。しかし,アイゼンクは一貫してメタ分析には意味がないと言い続けています(Eysenck,1994など)。
  • [メタ分析の歴史を概観する]• スミスとグラス(1977)が初めてのメタ分析を報告したほぼ同時期に,同様の研究が行われました。• ローゼンタールとルビン(Rosenthal & Rubin,1978)は,対人関係における期待効果について。シュミットとハンター(Schmidt &Hunter,1977)は,産業組織心理学における人事テストの妥当性について。それぞれ領域は異なるが,同じ年代に統計的方法による系統的レビューを実施しています。• 1980年代に入り,メタ分析のテキストが相次いで出版されます。特に,Hedges & Olkin(1985)は,メタ分析はその方法論,すなわち,統計解析に関しても洗練され,さらに普及していくこととなります。
  • [メタ分析の歴史を概観する]• メタ分析研究の成果は,クーパーとヘッジス(Cooper & Hedges,1994)によりまとめられ,1994年にHandbook of ResearchSynthesisが出版されました。この本は600ページ近いボリュームを持ち,32の章はそれぞれの分野の代表的な研究者により寄稿されています。• さらに,2009年にハンドブックの第2版が出版されました。こちらは,クーパー,ヘッジス,バレンタイン(Cooper, Hedges, &Valentine,2009)の3名の編者によりまとめられた大著で,29の章に渡り,メタ分析に関する様々なトピックが紹介されています。メタ分析を学ぶ人にとっては,必携の文献と言えるでしょう。
  • [Cochrane Collaboration,Campbell Collaboration]• コクランコラボレーション(http://www.cochrane.org/) :1993年に設立された国際的なNPO団体。世界中の保健医療(health care)領域の効果研究についての情報を提供している。保健医療についてのメタ分析を提供し,普及することを目的とする。• キャンベルコラボレーション(http://www.campbellcollaboration.org/) :2000年に設立。社会,心理学,教育,犯罪学といった社会科学分野のメタ分析を集めている。• 各ウェブサイトでは,メタ分析に関する膨大な情報が掲載されている。最新の系統的レビューの研究論文がpdfで公開されている。さらに,系統的レビュー,メタ分析を実践するために役立つ情報が多い。
  • [5限;まとめ]• メタ分析とは,同じテーマについて行われた複数の研究結果を,統計的な方法を用いて統合すること。• メタ分析は,統計的なレビュー,あるいは,系統的なレビュー(systematic review)と呼ばれることがある。• レビュー研究は,①1つの研究の限界を克服できる。②結論の一般化が可能になる。という点で重要。• メタ分析は,記述的レビューの弱点を補える。• メタ分析の歴史は古い。
  • [参考文献]• Amato, P. A., & Keith, B (1991). Parental divorce and the well-being ofchildren: A meta-analysis, Psychological Bulletin, 110, 26-46.• Borenstein,M., Hedges,L.V., Higgins, J.P.T., & Rothstein, H.R., (2009).Introduction to meta-analysis. Chichester, UK: Wiley.• Cooper, H. (2009). Research synthesis and meta-analysis: A step-bystepapproach(4th ed.). Thousand Oaks, CA: Sage.• Cooper, H., & Hedges, L. V. (Eds.). (1994). The handbook of researchsynthesis. New York, NY: Russell Sage Foundation.• Cooper, H., Hedges, L. V., & Valentine, J. C. (Eds.). (2009). Thehandbook of research synthesis and meta-analysis (2nd ed.). New York,NY: Russell Sage Foundation.• Cumming, G. (2012). Understanding the new statistics: Effect sizes,confidence intervals, and meta-analysis. New York, NY: Routlege.
  • [参考文献]• Eysenck, H. J. (1952). The effects of psychotherapy: An evaluation.Journal of Consulting Psychology, 16, 319-324.• Eysenck, H. J. (1978). An exercise in mega-silliness. AmericanPsychologist, 33, 517.• Eysenck, H. J. (1994). Systematic reviews: Meta-analysis and itsproblems. British Medical Journal, 309, 789-792.• Glass, G. V. (1976). Primary, secondary, and meta-analysis of research.Educational Researcher, 5, 3-8.• Hedges, L. V., & Olkin, I. (1985). Statistical methods for meta-analysis.Orlando, FL: Academic Press.• Lipsey, M.W., & Wilson,D.B. (2001). Practical meta-analysis. ThousandOaks, CA: Sage Publications.• Littell,J.H., Corcoran, J., & Pillai, V., (2008). Systematic reviews andmeta-analysis. New York, NY: Oxford University Press.
  • [参考文献]• 大久保街亜・岡田謙介 (2012). 伝えるための心理統計 勁草書房• Rosenthal, R., & Rubin, D. B. (1978). Interpersonal expectancy effects:The first 345 studies. The Behavioral and Brain Science, 3, 377-415.• Schmidt, F. L., & Hunter, J. E. (1977). Development of a general solutionto the problem of validity generalization. Journal of Applied Psychology,62, 529-540.• Smith,M.L., & Glass,G.V. (1977). Meta-analysis of psychotherapyoutcome studies ,American Psychologist, 32, 752-760.• Torgerson, C. J. (2003). Systematic reviews. London:UK, ContinuumBooks.• 山田剛史・井上俊哉(編) (2012). メタ分析入門−心理・教育研究の系統的レビューのために 東京大学出版会
  • [お薦め図書]• Cumming, G. (2012). Understanding the new statistics: Effectsizes, confidence intervals, and meta-analysis. New York, NY:Routlege.• 大久保街亜・岡田謙介 (2012). 伝えるための心理統計 勁草書房• 山田剛史・井上俊哉(編) (2012). メタ分析入門−心理・教育研究の系統的レビューのために 東京大学出版会• このスライドは,山田・井上(2012)の1章の一部を要約したものです。
  • [製作者]山田 剛史(岡山大学大学院教育学研究科)&井上俊哉(東京家政大学人文学部)(作成協力 青木多寿子)2014年3月25日