『経済セミナー』連載「EBPM の思考法――やってみようランダム化比較試験！」第 5 回（2019 年 12 月・2020 年 1 月号）「ランダム化比較試験の実施工程（2）」

第５回連載

演習

サンプルサイズの見積もりは Stata や R といった統計解析用のソフトウェアを用いて行うことができるが、ここでは Optimal Design というソフトウェアを用いて演習を行う。
Optimal Design は the William T. Grant Foundation の支援の下、Stephen Raudenbush らが開発したサンプルサイズの設計に特化した専用ソフトウェアであり、無償で提供されている1。Optimal Design は本文の表 1 や表 2 で示したような 2 つのパラメータの関係を平易な操作で作図することができる。
Optimal Design のインストール
Optimal Design は以下の公式サイトからダウンロードすることができる。やや分かりづらいが、図 1 の赤枠で囲った箇所をクリックすることでダウンロードページが開く。

https://sites.google.com/site/optimaldesignsoftware/home

図 1. Optimal Design Software の公式 HP

ダウンロードページには Optimal Design の詳細なマニュアルも公開されている。本マニ
ュアルはソフトウェアの使い方のみならず、検出力分析の非常に分かりやすいテキストにもなっている。特にクラスターランダム化比較試験における検出力分析の説明が詳しい。是非、読者は本文と併せて本マニュアルを活用し、サンプルサイズ設計の理解を深めて欲しい。

1

残念ながら Mac には対応していない。公式 HP では、「Unfortunately no, there isn't. To

run on a Mac you will need a virtual machine (e.g., virtualbox.org).」とのつれない記載がある。

Optimal Design の使い方：シンプルなランダム化比較試験の場合
必用サンプルサイズを定めるためには、効果量（介入群と統制群におけるアウトカムの平均値の差）、アウトカムの分散、有意水準、検出力（Power）の 4 つの要素を決める必要があった。本文でも説明した通り、通常は有意水準 5%に設定し、介入効果として価値が認められると判断された標準化効果量（効果量を標準偏差で除した値）を所与とした時、どの程度のサンプルサイズがあれば 80%の検出力を確保できるかを考えていく。
放課後寺子屋事業を例とした本文の表 1（下記に再掲する）は、効果量を所与とした時のサンプルサイズと検出力の関係を示していた（この例では、効果量は 5 点/7.5 点= 0.67）。
表から、ランダム化比較試験によって放課後寺子屋事業の有効性を検証するためには、介入群 40 人、統制群 40 人からなる計 80 人弱の生徒が必要なことが読み取れた。この表 1 に示されていたサンプルサイズと検出力の関係を Optimal Design を用いて作図してみよう。
表１. サンプルサイズ別の検出力
サンプルサイズ

10205080

100200

15.4％

29.2％

63.7％

83.76％

91.0％

99.7％

（両群合計）
検出力

Step 1. 作成する図の種類を選択する。
をダブルクリックすると、図 2 のような Optimal Design の起動画面が表示される。
図 2. Optimal Design の起動画面

2ランダム化比較試験といっても、非常にシンプルなものからクラスターランダム化比較試験のような複雑な構造を持つものまで様々な種類がある。Optimal Design はそうした各種デザインに応じて設計者が必要とする作図を行うことができる。そこで、まず初めに上部に並ぶメニューの「Design」から、どのようなデザインにおけるサンプルサイズ設計を行うのかを選択する。
表 1 が念頭に置いているデザインは、個々の生徒を対象にランダム割付を行うというものである。そこで、「Design」をクリックし、その後表示される「Person RandomizedTrials」、「Single Level Trial」を順次選ぶ2。すると最後に、縦軸と横軸に何を取った図を作成するのかを選択することになるので、ここでは「Power vs. Total number of people(n)」をクリックする（図 3）。
図 3. デザインと図の選択

すると、以下のような作図のためのサブウィンドウが表示される（図 4）。
図 4. 描画画面

2

Optimal Design では、アウトカムの測定単位とランダム割付の測定単位が一致するランダム化比較試験のことを Person Randomized Trials と呼んでいる。
3

Step 2. 有意水準、効果量の値を設定する。
次に、赤枠で囲ったアイコンをクリックし、有意水準と標準化効果量の値をそれぞれ入力する。まず、 をクリックすると図 5 左のようなウィンドウが開くので、有意水準を入力する。ここでは有意水準は 5%（0.050）とする3。すると、サブウィンドウに図が表示されるが、一旦気にせずに操作を進めて欲しい。次に、 をクリックして表示されるウィンドウ上で効果量の値を入力する（図 5 右）
。入力欄が 3 つあるが、ここでは最上部の一つのみ入力すればよい4。ここでは先の標準化効果量 0.67 を入力する。これでパラメータの入力作業は終わりとなる。
図 5. 有意水準と効果量の入力Step.3 サンプルサイズと検出力の関係を読み取る。
必要なパラメータの入力が終わると、描画ウィンドウ内に次頁のような図が描かれる（図 6）。この青の曲線がサンプルサイズと検出力の関係を表している。右上に先ほど設定したパラメータの値（有意水準α=0.05、標準化効果量δ=0.67）が表示されているので、誤りがないか確認して欲しい。なお、横軸のサンプルサイズ（Total number of subjects）
は介入群と統制群に 1:1 で割付けた場合の合計人数を表している。

3

Optimal Design では有意水準のデフォルト値は 5%となっているため、有意水準を 5%とする場合は、この入力作業は省くことができる。
4

実際のサンプルサイズの見積もりにおいてはアウトカムの分散の値が不確定になるため、いくつかの効果量を想定して必要サンプルサイズの比較を行う必要性に駆られることも少なくない。そのような時は、ここで最大 3 つの効果量を設定することで、3 つのシナリオを同時に図示化することができる。読者は例えば 0.2、0.5 といった値を入力して、どのような図が描かれるか試してみて欲しい。
4

図 6. サンプルサイズと検出力の関係

曲線上にカーソルを移動し左クリックをすると、その座標値が表示される。縦軸上の 0.8から水平移動して曲線とぶつかる辺りで左クリックをすると必要サンプルサイズとして約74 人が必要であることが読み取れるであろう（図 7）。Optimal Design は、この座標の読み取りに若干の癖があり、操作しづらい点が否めない。
図 7. 必要サンプルサイズの読み取り

デフォルトでは横軸のサンプルサイズの最大値が 199 となっているが、標準化効果量が小さい場合、このサンプルサイズでは曲線が検出力 0.8 に達する領域を表示できない。その場合は、 をクリックし適宜横軸の最大値を調整する。値を入力すると、図が更新される。

5

最後に、本文７節「検出力をあげるための工夫」で触れた分析時における説明変数の追加について補足しておく。ランダム割付を行っていれば、分析は原則介入群と統制群のアウトカムの単純な平均値比較を行うことで平均介入効果をバイアスなく推定することができる。
しかしランダム割付を行っていたとしても、アウトカム水準に影響を与えうる要素を回帰分析における説明変数として用いることで介入効果の推定精度を高め、結果として検出力をあげることができる。つまり、同一の検出力を確保するために必用となるサンプルサイズを小さくすることが可能となる。では説明変数の影響を考慮して、サンプルサイズを見積もるにはどうしたらよいだろうか？
先の Step2 では有意水準と標準化効果量の 2 要素のみを指定したが、この時、更に をクリックすることで説明変数の説明力を入力することができる。本文中でも述べたが、このような共変量の最も有力な候補はアウトカム変数のベースライン値である。もしこうした変数がサンプルサイズ設計時に利用可能な場合は、 を指定するとよいだろう。しかし、説明力がどの程度かを正確に見積もることは容易な作業ではない。そこで、説明変数の影響を加味する際は、脚注 4 でも触れたように、いくつかの値を設定し説明力によってどの程度必要サンプルサイズが変動するか確認することで慎重な判断を行って欲しい（図 8）。
図 8. 共変量の説明力を加味した場合以上で、Optimal Design の基本操作は終了となる。上記の Step1 では「Power vs. Total
number of people (n)」を選択したが、ここで「MDES vs. Total number of people (n)」を選択すれば、本文表 2 のようなサンプルサイズとその下で検出可能な最小効果量の関係を描くこともできる。図 9 は縦軸を標準化効果量、横軸をサンプルサイズとしたものである。
作図にあたっては、先とは違い有意水準と検出力を設定することになる。 の代わりに というアイコンが表示されるので、ここから 80%といった検出力を入力して欲しい。なお、
6

本文の表 2 ではアウトカムであるテストの得点をそのまま用いていたが、この図では標準化効果量が縦軸に取られていることに注意すること。（標準化）効果量が大きくなるほど、必要サンプルサイズが小さくなっていくことが見て取れる。
図 9. 効果量とサンプルサイズ

これ以外にも、Optimal Design を用いることで 2 軸に様々なパラメータをとった作図ができる。本文でも説明したが、目的に応じて適切な作図を行いサンプルサイズの検討を行って欲しい。

7

演習１：シンプルなランダム化比較試験におけるサンプルサイズの見積もり

Optimal Design を用いて、最もシンプルなランダム化比較試験におけるサンプルサイズの見積もりを行ってみよう。
発展途上国の製造業分野における中小零細企業は、帳簿すらつけておらず、作業効率も悪いことが少なくない。サブサハラアフリカに位置する A 国では、こうした経営状況を改善するために、企業経営者に対してカイゼン研修を提供し利益向上をはかる事業を全国規模で展開することを検討している。事業開始前に十分な数の中小零細企業に対して現状把握のための予備調査を行った結果、ここ数年は毎年、年間の総売上額が平均 25,000 ドル、標準偏差が 10,000 ドルであることが分かっている。
A 国政府は、この事業によって中小零細企業の年間総売上額が 10%向上することを期待している。本事業が全国展開に値するかを判断するために、パイロット事業を実施し、ランダム化比較試験によって有効性を検証する。

演習課題１
以下のステップに沿いながら、必要サンプルサイズを見積もってみよう。なお、各ステップでは解答に到る思考過程や仮定も明示すること。
① 介入実施後の介入群の平均アウトカム（年間総売上額）は幾らと想定したらよいだろうか？
② もし介入がなかったとしたら平均アウトカムは幾らと想定したらよいだ
ろうか？
③ ①と②から標準化効果量の値はいくつになるか？
④ OD を用いて、必要サンプルサイズを見積もってみよう。

演習課題２
10%向上としていた期待効果を 20%向上に倍増させた場合、必要サンプルサイズはいくつになるだろうか（何倍になるか）？

8

演習課題３
予備調査の標準偏差の値に誤りがあることが発覚した。正しい値は 10,000 ドルではな
く 13,000 ドルである。この時、必要サンプルサイズはいくつになるか（期待効果は 10%向上とする）？

演習課題４
13,000 ドルと推定された標準偏差は±5000 ドルの誤差を見込んだ方がよいことが分かった。この場合、サンプルサイズの見積もりはどのように行うことが適切だろうか？

9