330

特集：地域保健活動における評価の現状と課題
保健活動における評価の現状と課題
尾島俊之
浜松医科大学健康社会医学講座

Assessment and Evaluation of Public Health Programs
Toshiyuki OJIMA
Department of Community Health and Preventive Medicine,
Hamamatsu University School of Medicine

抄録
評価には，事前評価と事後評価（地域全体の評価や事業参加者の評価）がある．全国の市町村での実施割合は，何らかの保健事業の評価８割，地域の状況を把握するための既存資料の分析７割等である．住民の健康指標等の把握割合は，死因別死亡者数・各種保健事業参加率等は９割，標準化死亡比（ＳＭＲ）５割等である．事業評価のデザインとして，ケース
スタディーデザイン，前後比較デザイン，準実験デザイン，実験デザイン（無作為比較対照試験）等がある．実験デザイ
ンは科学的に最も正しい方法であると言われることが多いが，倫理的な問題や外部妥当性などの欠点がある．現場での評
価には前後比較デザインが最もお薦めであるが，事業以外の影響による変化等の問題に注意を要する．事業の改善を目的とした評価においては，質的評価，特に観察が重要である．
キーワード：

事前評価，事後評価，前後比較デザイン，実験デザイン，質的評価

Abstract
This paper outlines the assessment and evaluation of public health programs. Among municipalities in Japan, 80％ haveevaluated public health programs and 70％ have analyzed existing data on their jurisdictions. The proportions of municipalities
that have monitored statistics were 90％ for cause-specific mortality and participation rates of various programs, and 50％ for
standardized mortality ratios. Programs have been evaluated by various types of design, including case study design, beforeafter design, quasi-experimental design, and experimental design（randomized controlled trials）. Although experimental
design are usually regarded as the best design, this approach has limitations including ethical difficulties and poor
generalizability. Here, the adoption of the before-after design is recommended for practical evaluation of programs, paying
attention to outside effects other than the programs themselves. In conducting evaluation to improve programs, qualitative
methods, especially on-site observation, are useful.
keywords: assessment, evaluation, before-after design, experimental design, qualitative methods

〒４
３
１３
-１
９
２ 静岡県浜松市東区半田山１丁目２
０１
1-20-1 Handayama, Higashi-ku, Hamamatsu-city, Shizuoka 431-3192 Japan.
TEL：053-435-2333

FAX：053-435-2341

E-mail：ojima@hama-med.ac.jp

J. Natl. Inst. Public Health, 58（4）: 2009

尾島俊之

Ⅰ．はじめに

331

Ⅱ．事前評価と事後評価

高齢化社会を迎え，財政が逼迫する中で，科学的根拠に評価には，事前評価assessmentと事後評価evaluationが基づく保健活動の重要性が叫ばれている．すなわち，地域ある．例えば，健康増進計画の策定の際には，ほとんどの特性などをしっかりと把握し，真に必要性や効果の高い事

場合に，事前評価，即ち地域診断が行われている．その際業を見分けて実施していくことが求められている．そこで，に，既存の統計資料を用いたり，一定の年齢の住民を無作

健康増進計画の策定やその中間評価，生活習慣病予防プロ為抽出してアンケート調査を行ったりすることが多い．まグラムの評価の実際などを踏まえながら，保健活動におけた，住民へのインタビューや座談会（フォーカスグループ

る評価の現状と課題を考察したい．なお，「評価」という

ディスカッション）によって質的な情報の収集が行われる

概念にはどのようなことまでが含まれるか，いろいろな考ことも多い．既存統計資料としては，国勢調査・住民基本え方がありうるだろうが，本稿では表１に示すようになる台帳による属性別人口，人口動態統計による死亡数・死因

べく広めにとらえたい．

別死亡割合・標準化死亡比（SMR），健康診査のデータ，
国民健康保険レセプト，介護保険データなどが一般的に有用である．事前評価の分析方法としては，記述疫学として行うのが王道である．具体的には，ヒト：性・年齢階級別の分析，場所：自分の地域と県や国などの広域との比較や表１．評価の種類

地域間の比較，時間：年次推移を見ることが基本である．
事後評価としては，健康増進計画の中間評価などでは，

事前評価 assessment
事後評価 evaluation
地域全体の評価
事業参加者の評価

事前評価と同様の項目の評価を再度行い，事前評価時との変化を見る形が一般的である．一方で，ある事業の評価を行う場合には，地域住民全体ではなく，その事業の参加者

数量的手法
質的手法

などを対象にして評価を行う場合が多い．その際の評価デザインなどについては，後に詳述する．

事前評価に有用な既存資料の種類
国勢調査，住民基本台帳
人口動態統計
健康診査データ
国民健康保険レセプト
介護保険データ

Ⅲ．全国の市町村における評価の実施状況
全国保健センター連合会の調査による市町村における評価の実施状況を図１に示す．最近は，特定健診・保健指導に焦点を絞った評価の状況に関する調査などは行われてい事業の評価のデザイン
ケーススタディーデザイン
前後比較デザイン
準実験デザイン実験デザイン（無作為比較対照試験）

ると考えられるが，幅広く評価の状況を調べたものとしては若干古いデータになってしまい恐縮である．
「よくしている」または「多少している」と回答した市町村の割合は，

0%

20%

40%

60%

80%

100%

地域の状況を把握するための新規調査
地域の状況を把握するための既存資料の分析
保健事業の中で住民から聞いた話を保健計画や実施計画の参考にする
地域の健康問題の優先順位について検討
何らかの保健事業の評価
健康診査等の委託先の内容の質を評価する努力

よくしている

多少しているしたことがあるしたことがない

平成16年全国保健センター連合会調べ

図１．市町村における評価の実施状況（過去３年間の実施状況）

J. Natl. Inst. Public Health, 58（4）: 2009

無回答

Ｎ＝2,573332

保健活動における評価の現状と課題
0%

20%

40%

60%

80%

100%

死亡統計：死因別死亡者数
死亡統計：死因別死亡割合
死亡統計：粗死亡率
死亡統計：標準化死亡比（SMR）
死亡統計：上記のいずれかの推移
健康増進計画指標の推移
住民アンケート調査結果の推移
各種保健事業参加者・受診者数などの推移
基本健診の結果：血圧測定結果の推移
基本健診の結果：血液検査の推移
基本健診の結果：生活習慣の推移
要介護認定者数等の推移
国民健康保険レセプト：紙の資料を参照
国民健康保険レセプト：磁気データを取り寄せて参照
国民健康保険レセプト：レセプト原票を参照
質的な方法による評価
把握した

まあまあ把握した

把握していない

平成17年全国保健センター連合会調べ

無回答

Ｎ＝1,844

図２．住民の健康に関する指標等の把握（過去３年間の実施状況）
0%

20%

40%

60%

80%

100%

＜がん検診について＞
要精検率の毎年の変化に気をつけている
要精密検査者中でがんであった者の割合の毎年の変化に気をつけている異常なしであったが，その後死亡やがん発見された数を把握している判定基準の設定をしている＜基本健康診査について＞
血液検査の外部精度管理の方法を把握している
血液検査の内部精度管理の方法を把握している
血圧測定の精度確保の方策を委託先と協議している＜基本健康診査・がん検診共通＞
健診の質とは何かについて，市町村内部で話し合っている
受診者の満足度を調査している
待ち時間をより短くする方法について委託先と協議している
生活習慣改善に結びつくような健診や事後指導の方法を協議している
健診や事後指導による，生活習慣改善効果を評価している各都道府県が設置する「成人病検診管理指導協議会」を活用している

はい

いいえ

無回答

平成17年全国保健センター連合会調べ

図３．健診の評価及び精度管理の状況

J. Natl. Inst. Public Health, 58（4）: 2009

Ｎ＝1,844

尾島俊之

333

何らかの保健事業の評価において８割近くに上る．また，診による血圧測定結果の推移７割，基本健診による生活習地域の状況を把握するための既存資料の分析は７割程度に慣の推移５割とまだまだ少ない．国民健康保険レセプトの上るが，地域の状況を把握するための新規調査は４割程度

活用については最も多い紙の資料の参照でも６割強に留まにとどまる．保健事業の中で住民から聞いた話などの質的る．質的な方法による評価は５割程度であったが，ちょっな情報の活用は９割近くに及ぶ．

とした質的評価を含めるともっと多いのではないかと考え

住民の健康に関する指標等の把握の状況を図２に示す．

られる．

「把握した」または「まあまあ把握した」との回答が多い

健診の評価及び精度管理の状況を図３に示す．要精検率

指標としては，死因別死亡者数，死因別死亡割合，各種保や，要精密検査者中でがんであった者の割合（陽性反応適健事業参加者数・受診者数などの推移について９割近くに中度）の毎年の変化に気をつけていると回答した市町村は達した．一方で，標準化死亡比（SMR）５割強，基本健８割近くに上った．しかし，異常なしであったがその後死

0

20

40

60

支援を受けた（相談を含む）
都道府県保健所
自治体内の他部署
大学
都道府県（保健所以外）
コンサルタント
ＮＰＯ・住民組織
その他
支援は受けていない
無回答
平成17年全国保健センター連合会調べ

Ｎ＝1,844

図４．情報収集や活用において支援を受けたか（過去３年以内の状況）

0

10

20

30

40

50

60

住民へのアンケート調査を実施
委員に住民が参加
既存組織からの意見聴取
広報による評価に関する情報公開
委員を住民から公募
住民と協働して評価する項目がある
評価方法の企画から住民が参加
グループインタビュー等の実施
ネット上で，評価に関する情報公開
その他の住民参加で評価を実施
地区別懇談会等の実施
以上のようなことは実施していない
無回答
平成17年全国保健センター連合会調べ Ｎ＝659
健康増進計画中間評価に取り組んでいる市町村のみが回答

図５．健康増進計画中間評価における住民参加の状況

J. Natl. Inst. Public Health, 58（4）: 2009％70

保健活動における評価の現状と課題

334

亡やがん発見された数（敏感度）を把握している市町村は

特定健康診査結果で１年間の変化を比較するなどの方法で２割強に限られていた．健診や事後指導による生活習慣改ある．対照群を設けているため，前述の前後比較デザイン

善効果を評価していると回答した市町村は約４割であった．

での猛暑の影響などを取り除くことができる．しかし，準情報収集や活用において支援を受けている状況を図４に実験デザインにも致命的な問題がある．それは，事業への示す．全体で６割の市町村が支援を受けており，最も多参加を希望するような人は，そもそも健康への関心が高い

かったのは都道府県保健所からの支援であり５割弱の市町ため，仮に事業の効果がなかったとしても自分の力で健康村が受けていた．次いで，自治体内の他部署の支援２割弱，状態を改善している可能性がある点である．
実験デザインexperimental design（無作為比較対照試験

大学の支援１割強であった．
健康増進計画中間評価における住民参加の状況を図５にrandomized controlled trials）は，無作為にくじ引きなど示す．最も多いものは，住民へのアンケート調査を実施でによって介入群と対照群を割り付ける方法である．健康へ

６割強である．評価方法の企画から住民が参加，グループの関心度を含めて，あらゆる交絡因子が介入群と対照群でインタビュー等の実施は２割弱に留まった．

均等になることが期待され，科学的に最も正しい方法であると言われている．しかし，実験デザインにも致命的な欠Ⅳ．事業評価のデザイン点がある．ひとつは，倫理的な問題である．ある意味，人事業の評価を行う際には，どのようなデザイン，つまり体実験であるため，きちんとしたインフォームドコンセン

大枠としての方法を採用するかが重要である．評価のデザトを受けて実施する必要がある．また健康教育の介入を行

インには表１に示したような種類がある．

う場合，対照群に選ばれてしまった人は健康教育を受ける

ケーススタディーデザインcase study designは，事業のことができないという不利益が生じる．この点については後に１回だけ調査を行う方法である．また，ある一人一人

解決策があり，対照群には，研究期間が終了した後に，時のケースについて，物語的narrativeに変化を記述する方法

間差で健康教育を行うなどの方法がとられることが多い．

も含まれると考えられる．このデザインは，事業の改善すもうひとつの問題は，外部妥当性である．実験デザインのべき点などを質的に評価しようとする場合には有用である．

被験者になっても良いという人は，非常に特殊な，奇特なしかしながら，効果の度合を数量的に検証することはでき人であると考えることができる．そこで，ある実験デザイ

ない．ただし，思い出しバイアスの影響が大きい可能性がンで出た結果が，一般の人にも適用できるかというと大きあるものの，事業後の１回の調査で，事業前の状態と，事な疑問である．ある健康教育について，実験デザインによ

業後の状態の両方を調査して，数量的に検討を行おうとする研究としては効果が出たが，それを一般集団に適用したる場合もある．

場合には，対象集団のモチベーションの違いなどによって，前後比較デザインbefore-after design, time series design

ほとんど効果がでなかったということもありえるのである．

は，事業の前と事業の後の２回，同じような調査を行って，しかしながら，もし実験デザインの対象者でさえ効果が出

その変化を分析することによって効果を検証しようとする

なかったら，一般集団ではもっと効果がでないだろうと言方法である．保健現場で事業の評価を行おうとする際に，うこともできる．

十分に実施可能であり，最もお薦めの方法である．特定保以上をまとめると，どの方法も一長一短あり，どのデザ

健指導の評価においても，事業前後の体重や腹囲，また生インが絶対によい，または絶対に悪いということはなさそ

活習慣の変化によって効果を評価しようとする試みは多い．

うである．私見としては，現場での事業効果の評価には実しかしながら，前後比較デザインの最大の欠点は，事業以施上簡便である前後比較デザインが最も適すると考えてい外の理由によって改善したものと，事業の効果とを区別でる．また，ケーススタディーデザインで物語的に評価するきない点である．例えば，保健指導によって体重が減った方法も魅力的である．一方で，国を挙げて，新しい事業をのではなく，猛暑による夏やせで体重が減ったなどの可能

始めようとする場合には，いくつかのモデル地区で，現場性があるかもしれない．そのようなことがないかを含めて，と研究者の連携によって実験デザインによる検証を行って結果を解釈する必要がある．前後比較デザインのもう一つおくことが重要であると考えられる．

の重要な問題としては「平均への回帰」がある．詳細は成書をご覧頂きたいが，個別健康教育においては，平均へのⅤ．質的評価の重要性

回帰の問題を軽減するために，健診の後の健康教育の第１事業の評価を行おうとする際に，その目的は２つあると回目の時に再度採血を行うようになっている．特定保健指考えられる．ひとつは，事業の効果があるかないかの検証，導においては，保健指導の際に採血は行わないのが標準的

もうひとつは事業の改善である．現場においては，特に後な方法となっているため，そのような定めはない．

者の目的で評価を行うことも多いと考えられる．前項の準実験デザインquasi-experimental designは，本人の希

種々のデザインで数量的に評価を行った際に，効果の有無

望等による対照群を設定する方法である．例えば，特定保についての結果は出すことができるが，事業の実施方法の

健指導該当者にその案内を行い，参加を希望した人を介入

どこをどのように改善すべきかということについては，答群，希望しなかった人を対照群とする．そして，１年後のえがでないことが多い．事業の改善のためには，数量的評

J. Natl. Inst. Public Health, 58（4）: 2009

尾島俊之

335

価よりも質的評価の方が役に立つのではないだろうか．質ができた．次に，各項目について，改善，維持，悪化がど的評価のための情報収集としては，インタビュー，フォーのような割合であったかについて図６にまとめた．ここでカスグループディスカッション，アンケート調査の記述回

は数値に少しでも変化があった場合には改善または悪化と答質問，観察などがある．いずれも有用であるが，特に観分類し，全く変化が無かった場合に維持とした．これも，察が有用であると個人的には思っている．事業を実施しな

体重，腹囲，HDLコレステロール等で改善者が多いといがら，健康教育の話の内容やそれに対する参加者の反応な

う結果となった．

どを観察することにより，いろいろな改善点を挙げること

検査値の有効数字が細かく変化に対して鋭敏な項目につができるであろう．製造現場における改善や品質管理におい て は，ほ と ん ど が 改 善 ま た は 悪 化 に 分 類 さ れ，逆 にいても，数量的なデータ収集を行うこともあるが，まずはHbA1cなど検査値の有効数字が粗い項目については維持の現場の観察が行われる．なお，質的評価によって，事業の割合が大きい．この評価において，体重は０１. kgだけ減っ

改善案ができたが，現行の方法と，改善案の方法と，どちた場合でも，改善したと大きな声で言って良いのか，例えらの方が効果が高いか確信が持てないという場合には，数ば３kg以上減った場合に改善とした方が良いのではない

量的な評価で効果の大小を検証することも有用であろう．

かという意見が出た．そこで，どの程度改善した人が何％

ただし，本来的には，１つの実施方法の違い毎に，それぞくらいいるのかを分析した結果を図７に示す．やや左に裾れきちんとした数量的評価を行う必要が生じる．改善可能を引いたベル型曲線となった．図６のように０１. kg以上の性のある方法の変更箇所が１００箇所あった場合には，１００個改善で良ければ改善者割合は７１１. ％であるが，図７で３kgの評価研究を行わなくてはならないことになる．そこで，以上改善した人は１８１. ％という結果であった．合格ライン

実務的には，ほとんどの改善箇所について，直感的に考えを甘くすれば合格者は多く，厳しくすれば少ないというこて効果が高そうな方法を選ぶのが良いのだろうと思う．

とになる．その評価の検討において，この合格ラインを決
めたいという話も出たが結局断念した．権威のある専門家

Ⅵ．生活習慣病予防事業評価の例が集まって，コンセンサスが得られれば，エイヤアと合格

事業評価の例として，日本看護協会で，特定保健指導がラインを決めることもできるだろうが，科学的根拠を持っ始まる前の平成１９年度にモデル的に実施した生活習慣病予て決めることは不可能であろうと考えている．図７におい防事業について，その評価分析の結果をお示ししたい．評て，このベル型曲線の面積を左右にちょうど半々に分ける

価デザインは，実施の容易さを考えて，前後比較デザイン

ような線を引くことができる．それは表２で示した体重のを採用した．４回シリーズの保健指導（グループ支援等）

差の平均値である−１３. ５kgである．この値で評価するのがにより，生活習慣改善を目指すプログラムである．通常の最も良いのではないかと考えている．

特定保健指導とは異なり，１回目と４回目の保健指導の際

日本看護協会のこの事業は，その後も毎年実施方法及びに採血も行っているが，それ以外の項目については，通常

評価方法を改善しながら継続している．平成２０年度の保健の特定保健指導でも同様の評価を行うことができる．表２

指導については，平成２
１年度の健診結果も使いながら現在に検査値の変化の結果を示した．基本的に，個々人につい評価を行っているところで，今年度中に報告書をまとめるて，１回目と４回目の差を計算し，その平均値を求め，ま予定である．また，平成２１年度については事業前後の質問

た対応のあるｔ検定を行った．その結果，体重，腹囲，票等を改善して，現在，保健指導を行っているところであHbA1c等で統計学的有意に効果があることを検証すること

る．

表２．プログラムの１回目と４回目の検査値の差
差の９５％信頼区間

n

１回目
平均値

４回目
平均値

差の
平均値

下限

上限

体重

３８１

６３８
.０

６２４
.６

−１３
.５

−１５
. ７４

−１１
. １７

＜０.００１

BMI

３２０

２４６
.１

２４０
.４

−０５
.８

−０６
. ８５

−０４
. ６８

＜０.００１

有意確率

腹囲

３７８

８７５
.４

８５７
.４

−１８
.１

−２２
. ０５

−１４
. ０９

＜０.００１

HbA1c

４０７

５６
.１

５５
.６

−００
.５

−００
. ８３

−００
. １９

０.００２

血糖

２９５

１０６０
.３

１０５３
.２

−０７
.１

−３１
. ５４

１７
. ３０

０５
. ６７

中性脂肪

２６７

１５３０
.８

１４９６
.７

−３４
.１

−１７５
. ０９

１０６
. ９２

０６
. ３５

LDL

２６９

１３４０
.７

１３６２
.４

２１
.７

−０６
. ０５

４９
. ４７

０１
. ２５

HDL

２７２

５５９
.１

５８３
.８

２４
.７

１４
. ７６

３４
. ６４

＜０.００１

SBP

３２１

１３５８
.２

１３４８
.９

−０９
.３

−２５
. ３８

０６
. ８１

０２
. ５７

DBP

３２１

８２５
.３

８１６
.０

−０９
.３

−２１
. ０１

０２
. ３２

０１
. １６

J. Natl. Inst. Public Health, 58（4）: 2009

保健活動における評価の現状と課題

336

0%

20%

40%

60%

80%

体重

n＝381

71.1

3.7

25.2

BMI

n＝320

70.9

5.6

23.4

腹囲

n＝378

66.4

HbA1c

n＝407

47.9

血糖

n＝295

47.8

中性脂肪

n＝267

LDL

n＝269

HDL

n＝272

SBP

n＝321

49.2

3.7

47.0

DBP

n＝321

47.0

9.0

43.9

6.3

27.2

21.1

31.0

4.4

47.8
42.7

57.3
1.1

44.2

100%

54.6
2.9

60.7

改善

維持

36.4

悪化

図６．プログラム１回目と４回目の検査値の改善

25%
20%
15%
10%
5%
0%
≦−７ ≦−６ ≦−５ ≦−４ ≦−３ ≦−２ ≦−１ ≦０

≦１ ≦２

≦３ ３＜

体重の増減（kg）
n＝381，ちょうど境界の場合は下の階級に含まれている．

図７．体重の１回目と４回目の差の分布うことであろうと考えている．そこで，評価を行う場合にⅦ．まとめ

は，アウトカム評価や科学的により正しい評価を追求する

保健事業のPDCA（Plan-Do-Check-Action）サイクルの中ことに加えて，住民の心に響く評価も重要なのであろうとで，評価Checkをしっかりと行っていく必要がある．しか思う．住民に広報する場合など，一人の事例のリアルな質しながら，PDCAの中で最も重要なことは実施Doであると的評価の方が，数字の羅列よりも力強い説得力を持つ場合

私は思っている．時々，計画や評価に熱心になる余り，実も有ろう．

施がおろそかになっている例を見かけることがあるが，そ評価においては，情報の利用が必須となるが，最近，いれでは本末転倒であろう．大部分の力を実施に注ぎつつ，くつかの法的環境の変化が起きている．そのひとつとして，適度な労力の割合で評価を行っていく必要が有ろう．

平成２１年度から施行された統計法の改正がある．新統計法

また，評価デザインで述べたように，科学的に完璧な評では，公的統計は「国民にとって合理的な意思決定を行う

価は不可能である．一方で，完璧な評価でなくても，有るための基盤となる重要な情報である」とし，「公的統計は，程度の事業効果の検証や，また事業の改善は行うことがで

広く国民が容易に入手し，効果的に利用できるものとしてきる．平成２１年に成立した民主党政権は，官僚主導から政提供されなければならない」という基本理念が掲げられて治主導へということをひとつの旗印にしている．このこといる．地方の現場にある業務上の情報と，この統計法によは言い換えると，専門家の視点から住民の視点重視へといる公的統計とは完全に重なるわけではないが，この理念は

J. Natl. Inst. Public Health, 58（4）: 2009

尾島俊之

337

非常に重要なものであると考えられる．評価を行う際に，ター及び類似施設調査市町村保健活動調査

その評価だけを目的に新たに情報収集することは多大な労結果報告書．２００６．

力と経費を要する．個人情報の保護を万全にしつつ，既存の情報を有効に活用して評価を行っていくことが必要であ

調査研究

３）日本看護協会．平成１９年度先駆的保健活動交流推進事
業

生活習慣病予防活動支援モデル事業報告書．２００８．

４）武藤孝司，福渡靖．健康教育・ヘルスプロモーション

ろう．

の評価．東京：篠原出版；１９９４．

参考文献

５）尾島俊之．調査デザインの基礎．柳川洋，他編集．地１）全国保健センター連合会．市町村保健センターのあり

域保健活動のための疫学
生協会；２００６．p.２６６７- ３．

方研究会報告書．２００５．
２）全国保健センター連合会．平成１７年度市町村保健セン

J. Natl. Inst. Public Health, 58（4）: 2009

第２版．東京：日本公衆衛