指定討論
日本心理学会第83回大会シンポジウム：あなたは「伝えるための心理統計」 を実践できていますか？―著者・ 査読者・編集者に向けた諸提言―

宇佐美慧 (東京大学)
Email: usami@ct.u-tokyo.ac.jp
HP: http://www.satoshiusami.com/

日本心理学会シンポジウム2019 宇佐美慧

1/24

基本的なスタンス・p値のみの報告という実践…×。
・推定値の誤差情報（標準誤差・信頼区間）の活用…〇。
・効果量等の情報を活用した、スコア及びその個人内変化・集団差についての有意味性（実質的有用性）についての積極的解釈、および各研究領域における基準値の設定の試み…〇。
・「p値を使わない実践」のあり方は必ずしも「ベイズ統計学を活用した確率的評価に基づく解釈」を指すわけではない。

＊ベイズは有用であるが、ベイズでも頻度論でも、結論の確からしさまたは実質的有用性の判断についての基準値を考える必要性（とそのルーティン化によるリスク）は変わらない。ベイズの適用がそのまま帰無仮説検定に関わる諸問題を全て解決するとは言えない。

日本心理学会シンポジウム2019 宇佐美慧

2/24

基本的なスタンス （続き）
• 比較的複雑な統計モデルにおいては、周辺分布・条件付分布を評価する上での有用性から、計算機統計学的手法（e.g.,ブートストラップ法・MCMC)を活用。←ベイズ統計学の活用。
• (1)帰無仮説検定に代わる母数評価上の利点、(2)計算機統計学的手法との親和性、(3)(認知)モデリング上の柔軟性• 特に(2)や(3)が、ベイズ統計学（と言うより、計算機統計学的手法？）の普及に大きな貢献をした。しかしこれが、一部の利用者において、「p値を使わない実践」＝「ベイズ統計学(e.g., Bayes factor)の活用」と安易に結びつける傾向を助長してしまっている？
日本心理学会シンポジウム2019 宇佐美慧

5/24

How to use NHBT properly:１、Set up hypotheses ２、Priors(sensitivity analysis)３、Interpretation (posterior model probability
rather than Bayes factors)

Any data analysis is incomplete without at least some indication of
the magnitude and precision of the estimate of the effect of interest.

国際賞講演（2017）にて（教育心理学年報2016を引用）
・教育測定・心理統計における専門家の不足は古くから問題。
・心理統計学に関わる目的やその人の立場は様々。
1、例えば学部生など、心理統計学を初めて学ぶ人
2、心理統計学の基礎は一通り学んでいるが苦手意識を感じている
学生・研究者
3、心理統計学が得意で、自身の行う心理学研究に統計を活用する
学生・研究者
4、心理統計学の専門家(教育者・研究者)を目指す学生
5、心理統計学の教育者 *勿論、複数に跨っている場合も多くあります。
6、心理統計学の研究者 宇佐美慧 (2016). 教育心理学年報、 55、 83-100.
・応用研究者にとって身近な、また半ば「ルーチン化」した実践の中にも実は大きな問題点を伴う場合があり、なおかつ心理統計学の先端の研究に直結したテーマでもある場合がある。
・特に、国内の研究力の強化、また「4、心理統計学の専門家(教育者・研究者)を目指す学生」の育成が今後より重要であろう。

日本心理学会シンポジウム2019 宇佐美慧

8/24

基本的なスタンス （続き）
• 特に学生さんには（心理学も）統計学ももっと（自律的に）勉強して欲しいと思っている。
• 心理統計学者がもっと増えて、国内の研究力が高くなって、大学院教育が充実して、ユーザーである応用研究者は（心理）統計学者（および他分野の研究者）と協働して研究できる環境がもっと整備されていくと良いと思っている。
• しかし、この環境の整備のあり方と、「研究者・学生はどこまで心理統計学を勉強するべきか」ということは、私自身の中でまだはっきりと整理できていない（心理統計学の勉強ばっかりというわけには現実的にはいかないだろう）。
日本心理学会シンポジウム2019 宇佐美慧

10/24

宇佐美（2016、教育心理学年報）から（一部修正）
・調査研究において、回帰係数、パス係数、媒介効果の推定結果から因果推論を行う場合、より厳格な分析と解釈が必要。
・「尺度(構成概念)の過剰な氾濫」が指摘されてきているが、開発された当該尺度が、測定を意図する構成概念が既存の類似した構成概念と具体的にどのように違うのかという点が十分に論文内で述べられていないケースは未だに多い。
・効果量を報告している場合であっても、その大きさを既存の指標に則って機械的に解釈しているだけでは十分でない。すな
わち、当該研究領域において、有意義とされる効果量の水準値がどの程度なのか相対的に論じる試みが増えて行くことが必要。
ベイズ統計学の観点からベイズファクターを利用する場合も同様。つまり、効果の大きさに絶対的な基準を見出すことは難しいため、その判断を統計学者任せにしていてはいけない。

日本心理学会シンポジウム2019 宇佐美慧

11/24

• そして当該の分析目的やデータの特性に応じた積極的なモデル構成や方法論の選択はもっと心理学研究において実践され、また奨励されてよいように思われる。
• 先端的、或いは重要度の高い統計学的話題を理解し、それを教育または研究を介して伝える役目を担う5と6のタイプの研究者自体が限られているため、 本邦において語られる統計的手法や方法論的話題についてのタイムラグや偏りがどうしても生じやすくなってしまうのではないか。
• また、さらには、語られる統計的手法が限定的になるという点が、統計的方法を適用する上でのルーチン化を促進したり、分析目的に応じた方法論の選択やモデル構成の試みが阻害される一つの原因にもなってしまっているように思われる。
日本心理学会シンポジウム2019 宇佐美慧

12/24

スコアとその個人内変化・集団差に関する（効果量＋αとしての）「伝える」評価のために• 詳細な観察・面接等に基づく質的な記述から（あるスコアやその変化を示した対象についての状態・行動上の特徴）。
• 得点の相対的評価から…尺度の標準化。基準点を超えるサンプルの割合や優越率（ある群のサンプルが別の群のサンプルの値を上回る確率：効果量の関数）等の指標の活用。分布への着目も〇。
• 得点の絶対的評価から…「系統レビューとエキスパートパネル等での専門家でのコンセンサス形成が重要」（竹林さん）の点やMIC等の基準値の設定に賛成。上述の「質的な記述」に基づく、Can do statementの作成のような実践も有効では。
• 特に、行動的側面としての基準に還元しにくい、（例えば）感情・認知的な構成概念の測定を意図したスコアの場合、（絶対的）基準の設定やCan-do の作成は相対的に難しい可能性。

日本心理学会シンポジウム2019 宇佐美慧

13/24

絶対的な基準値の設定(can do statement)• 得点の水準に応じてできること（認知・行動上の特徴）を記述。
変化や差の解釈にも活用しやすい。

https://www.slideshare.net/tokutaisei/cefr-putting-the-grammar-back-into-cando-statements より引用。

日本心理学会シンポジウム2019 宇佐美慧

14/24

統計的実践の（好ましくない）ルーチンを打破するには？
• 吉田・村山（2013）…「なぜ学習者は専門家が学習に有効だと考えている方略を必ずしも使用しないのか 。」→学習者（ユーザー）は専門家が学習（研究実践）に有効だと考えている方略（統計手法）を必ずしも使用していない。
「コスト感阻害仮説」…「わかってはいるけど面倒くさくてやらない」「テスト有効性阻害仮説」…「わかってはいるけど目先のテストの方（論文を通す事）が大事」「学習有効性の誤認識仮説」…そもそもどのような方略（統計手法）が有効であるのかを学習者（ユーザー）が的確に認識できていない。
• 中学生（N＝715）と専門家（N＝4）を対象にした数学の学習方略に関する質問紙調査をの結果、 学習者は専門家が有効と考えている方略を必ずしも使用していなかった（「学習有効性の誤認識仮説」）。
• 心理統計学の学習の場合は3つの仮説全てが関わっている？
日本心理学会シンポジウム2019 宇佐美慧

15/24

「コスト感阻害仮説」…「わかってはいるけど面倒くさくてやらない」→特に、専門家との協働のための環境整備（先述）の問題。
「テスト有効性阻害仮説」…「わかってはいるけど目先のテストの方（論文を通す事）が大事」→（気持ちはとても分かるのですが）「（効果的に）伝わらない」
実践は、エビデンスの質が不十分な実践の蓄積でもあり、一時的に適応できても、いつかは「詰んでしまう」のではないかという心配。
→証拠のレベルへの「嗅覚」の鋭敏性をどう引きあげるか？
「学習有効性の誤認識仮説」…そもそもどのような方略（統計手法）が 有効であるのかを学習者（ユーザー）が的確に認識できていない。
→特に、教育（先述） の問題。
日本心理学会シンポジウム2019 宇佐美慧

16/24

話題提供者への質問• ベイズ統計学の実践が、効果量や信頼区間の利用を超えて、帰無仮説検定の問題の解決や「伝える統計」の実践にどれだけ寄与すると考えていますか。
＊宇佐美は、「ベイズ統計学自体は有用であるが、研究目的に応じた適正な効果量や信頼区間(+αの指標）の利用、質的な記述、スコアの意味付け(e.g. 標準化）、分野に応じた評価基準値の設定といった実践がまず重要」というスタンスです。

• より良い教育・協働のあり方を考える上で、そもそも、ユーザーは心理統計学をどこのレベルまで学ぶべきだと思いますか（宇佐美自身はPsychological methodsが何とか理解できるくらい、をイメージしています）。心理統計学の「先端」は勉強する必要がありますか？
• 心理統計学者は、ユーザーがより良い実践を実現できるために、特に、何をもっと頑張るべきでしょうか？

日本心理学会シンポジウム2019 宇佐美慧

17/24

個別の質問（樫原さん）• （差得点だけでなく）効果量の信頼区間の報告も、もっと心理学研究の中で実践されるべき点かと思いました。
• 『両群を通じた中央値 (0.44)』を利用するのも手ですが、ややわかりにくい印象もあります。変化や差の解釈の基準値の指標として他にどのような方法が考えられるでしょうか。変化量が正であった個人の割合や、優越率の指標の活用についてはどう考えていますか？
• 査読のコメント時に、観点別の評価項目を設定して、その中に（量的研究の場合、）効果量についての適切な利用と解釈がなされているのかどうか、といったものを入れると良いと思いますが、いかがでしょうか。
日本心理学会シンポジウム2019 宇佐美慧

18/24

個別の質問（樫原さん）• 論文の簡潔性も一つのフィロソフィーかと思います。（出版に係る諸事情も絡むでしょうが）JPRは、広い領域からの、また若い研究者からの論文の投稿を求めていることを踏まえると、紙幅の上限はもう少し緩めてもよいかもしれない。
• 一方、 モデルの概要や分析手続き等における、論文の内容からして（必要だが）マイナーと考えられる部分は、Supplementary Information（補足資料）を活用しながら、必要に応じて「伝えるための」記述をより厚くすることを推奨することも重要か。

日本心理学会シンポジウム2019 宇佐美慧

19/24

個別の質問（竹林さん）• 「効果量で示されても効果の大きさが直感的に理解できない」という点はとても強く共感しました。
• MICのような基準値の設定はとても良いことだと思います。
他にも、「伝える」工夫として、幾つかの可能性（標準化、優越率などの指標、can do statement)を述べましたが、これらの有用性についてはどうお考えでしょうか。
• 臨床的(実践的)有意性に基づく基準値の設定について、「学会の部会レベルのエキスパートパネルでコンセンサスを形成」というのは国内の学会ということでしょうか？その場合、国内と海外の間で基準の乖離が生じえないでしょうか？逆に、ローカル（国内）で設定しても良い場合があれば、それはどのようなときでしょうか？
日本心理学会シンポジウム2019 宇佐美慧

20/24

個別の質問（竹林さん）• 現在の研究勢力図（概して、米国など海外の方がレベルが高い）からすると、国際誌等の中で効果量等の基準値に関する共通認識が徐々に形成されていく方向性が予想されますが、竹林さんの研究領域でも同様でしょうか？とすると（国内にいる）私たちは、適正なコンセンサスの形成のために特に何をする必要があるでしょうか。

日本心理学会シンポジウム2019 宇佐美慧

21/24

個別の質問（市川さん）• 主体的に研究を進めているはずの、研究者や院生が「実験・調査をやったけど分析方法が分からない（誤認識仮説？）」となったら大問題ですね（「伝える」方法のルーティン化以前の問題ですね）。
• 「何％の確率でxxを何％削減できるか示したい」…これはベイズ統計学と相性の良い問かと思いますが、ベイズ統計学（または機械学習などの、他分野における方法論）は普段の業務の中で活用されていますか？
• 「そう難しい解析は行わない」ということですが、普段、他分野の専門家または非専門家の方と協働される中で、心理統計学の専門家がその輪の中に入ることにはどのような利点（と欠点）があるでしょうか。
日本心理学会シンポジウム2019 宇佐美慧

22/24

個別の質問（市川さん）• 「工学研究者の解析」としての「記述統計 → モデル構築」や「データの法則性のモデル化」は心理学者（のデータ分析）ではできない（または苦手な）ことなのでしょうか？とすればなぜでしょうか？
• 他分野の方と協働する上で、質問紙・テストの測定論（信頼性・妥当性）は特に心理学が貢献できるところではないかと思います。しかし同時に、しばしば理解されにくい点でもあります。この点を伝える上で実践されている工夫や、または困った経験などについて、もしあれば教えてもらえないでしょうか。

日本心理学会シンポジウム2019 宇佐美慧

23/24

引用文献
• Tendeiro, J. & Kiers, H. A. L. (2019). A review of issues about null hypothesis
Bayesian testing, Psychological Methods, in press.
• Usami, S. (2010). Individual differences multidimensional Bradley-Terrymodel using reversible jump Markov chain Monte Carlo algorithm.
Behaviormetrika, 37, 135-155.
• 宇佐美慧 (2010). 採点者側と受験者側のバイアス要因の影響を同時に評価する多値型項目反応モデル. 教育心理学研究, 58, 163-175.
• 宇佐美慧 (2016). 測定・評価・研究法に関する研究の動向と展望 ―教育
測定・心理統計の専門家の不足および心理統計教育の問題の再考と「専門家による専門家の育成」の必要性― 教育心理学年報, 55, 83-100.
• Usami, S., Murayama, K., & Hamaker, E.L. (2019). A unified framework oflongitudinal models to examine reciprocal relations. Psychological Methods, inpress.
• 吉田 寿夫・村山 航 (2013). なぜ学習者は専門家が学習に有効だと考えている方略を必ずしも使用しないのか ―各学習者内での方略間変動に着目した検討― 教育心理学研究, 61, 32– 43.
日本心理学会シンポジウム2019 宇佐美慧

24/24