Ⅲ 評価実施の具体的な流れ
１ 評価実施の考え方と評価の視点
第三者評価の目的
福祉サービス第三者評価の目的は、･ 利用者のサービスの選択及び事業の透明性の確保のための情報提供･ 事業者のサービスの質の向上に向けた取り組みを促進の２つにより、「利用者本位の福祉」の実現を図ることです。この目的を見失うことなく、第三者評価を実施していくことが最も重要です。
① 理念・方針と事業活動の整合性
利用者のニーズは様々なものであり、また同時にサービス事業者の特性も多様なものです。
よって単に「良いか、できているか」「悪いか、できていないか」を評価するのではなく「何を目指しているのか」や「事業者が大切にしている考えは何か」ということなどの、事業者が実現しようとしている価値、利用者・地域・組織運営の状況を踏まえ、最善の意思決定と行動を行っているかどうかを明らかにします。
② 事業活動のしくみ
福祉サービスは、利用者の状態が変化しやすいという特性に加え、地域のニーズやサービスを取り巻く環境が著しく変化している現状の中で、サービスレベルを常に維持・向上するための取り組み（しくみ）が重要になってきています。評価時点におけるサービスのレベルの高さも大切ですが、以前と同じことをしていては、レベルの低下を招きかねない環境にあります。
そこで、事業者が現状をどのように理解しており、どのような問題認識に基づき、どのような方針によって対応策を講じているのか、対応策は場当たり的なものになっていないか、実際に機能しているのかなどの取り組み（しくみ）に着目した評価を重視しています。
③ 評価の構成要素評価をする際の価値や基準の構成要素として、以下のものがあります。
・利用者本位……価値基準を利用者ニーズに置くこと
・独自能力………独自の見方、考え方、方法によって価値の実現を追求すること・職員重視………組織の目標達成にあたり、職員の自主性と独創性を重視すること・社会との調和…社会価値と調和し、社会に貢献すること
東京都の第三者評価制度では具体的な構成要素として、共通評価項目を定めています。

－ 評価のベースとなっている考え方 －大きな枠組みとして、「日本経営品質賞（http://www.jqac.com 参照）」を事業評価に活用しています。
東京都の福祉サービス第三者評価は、利用者調査と事業評価をあわせて実施するものですが、このうちの事業評価及び評価全体の枠組みづくりに日本経営品質賞の取り組みを参考にしています。
事業評価の各項目に照らしあわせながら、事業者のしくみや様々な活動の状態を評価することで、事業者の良い点や改善点等を把握し、継続的な改善・革新に活かすことができます。

16

評価実施の具体的な流れ（１）第三者評価実施における必要な考え方

（２）評価者のスタンス
評価者は、公表を見る利用者にとっての分かりやすさとともに、サービスの向上に向けた事業者の取り組みを促すフィードバックのコメント作成が求められています。
①

基本姿勢

評価実施の具体的な流れ○

利用者や事業者の役に立つという貢献動機で臨んでいる（この制度の最終的な利用者である都民へ貢献）○

事業者が大切にしている価値を正しく把握し、尊重する○

価値を実現するための事業プロセスを理解する②

評価の際のポイント○

考え方や方針・目標の設定根拠はどのようなものになっているのか○

考え方を実行する方法があるか○

考え方とやっていることに一貫性と整合性があるか○

部分最適ではなく全体の最適化を図ろうとしているか○

事業プロセスがしくみとして機能しているかどうか○

しくみを見直すプロセスを持っているかどうか○

改善へのプロセスが適切であるか③

評価で“陥りやすい点・やってはいけないこと”<評価を行うとき>○

監査、検査的視点･･･あるかないか、やっている・やっていないのチェック○

部分最適･･･特定の状態やレベルなどに惑わされて、その部分だけを評価してしまうこと

○

自己満足

･･･評価者の「うぬぼれ」や思い込み、勝手な解釈<合議を行うとき>○話し合う計画を立てない･･･内容が決まらず、時間内で終わらないケースが多い○

依存的手抜き･･･グループ作業のために誰かが努力する量を減らすこと

○

同調圧力

･･･合議の中で、強い意見に引っ張られてしまうこと<評価結果報告書及びフィードバックレポート作成、フィードバックのとき〉○一般論で固められたもの･･･事業者名を変えればどこでも通用してしまうもの○

不明確なコメント･･･何を言いたいのかキーメッセージが不明確○

指導的なコメント･･･「○○すべき」という指導的な改善提示まで行うこと（「例えば～」という提案レベルの表現が望ましい）○④

現実的でないコメント ･･･組織として実現不可能な改善を要求してしまう
評価結果報告書及びフィードバックレポートの重要性
評価結果報告書及びフィードバックレポートは、利用者や事業者にとって非常に重要なものです。以下の項目をチェックポイントとして確認し、必要な場合は修正してください。
○

誰が読んでも理解できる表現になっているか？

○

キーメッセージは明確になっているか？

○

事業者にとっての優先事項を軸にした内容であるか？

○

一歩前に進めるような気づきを与える内容であるか？

○改善に向けて「やる気」になる内容になっているか？

17

（３）評価の視点
ここまでに記されてきた第三者評価実施における必要な考え方や目的、評価者としてのスタンス、評価項目、評価の方法についての全体感を持ちながら、事業者の特性に応じた評価を行うための考え方について整理します。
第三者評価実施における必要な考え方（P.16 参照）の中に、「事業者が実現しようとして いる 価値、 利用 者・地 域・ 組織運 営の 状況を 踏ま え、最 善の 意思決 定と 行動を 行っ ているかどうかを明らかにする」という記述があります。
そのために評価の最終成果である評価結果報告書には、「評価項目ごとの“評点”とカテゴリーおよび全体を通しての“講評（特に良いと思う点・さらなる改善が望まれる点）”」の記載が求められています。
「評点」は先に述べたとおり標準項目を満たしている数を表し、「講評」は事業者の現状を文章で表しています。
「特に良いと思う点」は、現状の中でも「事業者が目指していることの実現に向けて、特に成果があがっている事項」について記述し、「さらなる改善が望まれる点」は「事業者が目指していることの実現に向けて、現状を踏まえて今後必要な取り組み」を記述するものです。このことから、評価を通して「事業者が目指していること」「現状」「必要な取り組み」を明らかにしていくことが重要となります。
したがって、どの事業者の評価においても、評価者は次の「３つの問いかけ」の重要性を、常に認識しておく必要があります。
(a)

事業者が目指していることは何か？
(理念・方針など)(b) 現状はどうなっているか？
(利用者・地域・職員からの声・評判、様々な取り組みの実態)(c ) 課題は何か？
(事業者が目指していることの実現に向けて必要な取り組み)②「評価の視点」の必要性
標準項目は評点に客観性を持たせるため、その一つひとつの「根拠」も確認するため、評価者が細かな確認作業に追われがちになるという一面もあわせ持っていると考えられます。
このため、事業者の特徴をより深く理解していく方法を用いることが、従来以上に必要になってきました。特に、「事業者が特に力を入れている取り組み」のコメント、カテゴリーおよび全体を通しての講評（特に良いと思う点・さらなる改善が望まれる点）ではその傾向が強まっています。
また、評価者は「この事業者は○○ではないか？それを明らかするためには△△を確認すればいいのではないか？」という視点（以下、「評価の視点」という）を持つことで、評価対象の事業者の特徴をより深く理解できると考えられます。そしてその結果、前述した評価者として「３つの問いかけ」の答えを見つけていくことができると考えられます。そこで、「評価の視点」を以下のように定義します。「評価の視点」を用いることにより、評価を効果的・効率的に進めることにつながると考えられます。

評価の視点

事業者がおかれている環境を踏まえ、理念・方針を実現するための重要なポイントであり、より重点的に確認することが必要な事項

18

評価実施の具体的な流れ① 評価を行うための基本認識

③「評価の視点」の導き出し方
評価者は、評価を実施する中で対象事業者ごとに「評価の視点」を見つけ出していくことになります。その導き出し方としては、「演繹法的な方法」と「帰納法的な方法」の２つのパターンが考えられます。ただし、実際の評価ではこの２つの方法を組み合わせて、評価実施の具体的な流れ「評価の視点」を更新していくことで、事業者に対する理解がより深まっていくと考えられます。

ア パターン１（演繹法的な方法）
先にあげた「３つの問いかけ」における「(a)事業者が目指していることは何か？（理念・方針など）」は、他に先がけて確認する必要があるものです。
事業者が目指していること（理念・方針など）が確認できると、「そのためには何が必要か？そのためには？そのためには？・・・」を繰り返すことで、より具体的な「評価の視点」を次々と導き出すことができます。
評価の経験が浅い場合は少し時間はかかりますが、目指していること（理念・方針など）に該当するカテゴリーはどれか？
該当する標準項目はどれか？

その中で該当する評価項目はどれか？

さらにと丹念に探して行く方法も有効と考えられます。

イ パターン２（帰納法的な方法）
評価の段階が進んでくると、事業者に関する様々な情報が増えてきます。これは、「３つの問いかけ」における「「(b)現状はどうなっているか？」についての理解を深めることにつながります。そして、この「現状」と「目指していること（理念・方針など）」を比較する中で、新たな「評価の視点」が導き出されます。
例えば、「理念・方針にあり、利用者の評判が高い事項は？それはなぜ？なぜ？…」「理念・方針にあるが、利用者の評判が低い事項は？それはなぜ？なぜ？…」など

ウ 上記２つのパターンの組み合わせ
評価の基本理念に「事業者が実現しようとしている価値、利用者・地域・組織運営の状況を踏まえ、最善の意思決定と行動を行っているかどうかを明らかにする」とあるよ
うに、事業者が実現しようとしている価値（上記パターン１）と利用者・地域・組織運営の状況（上記パターン２）の両方のパターンを組み合わせて評価を進める必要があると認識されます。パターン１だけの場合は実態を踏まえにくく、パターン２だけの場合は現状寄りとなるため全体感を見失いがちになるためです。

エ 「評価の視点」の体系的整理・更新「評価の視点」の数が増えてくると｢評価の視点｣には様々なレベルのものがあることが分かってきます。そこで体系的な整理を行います。整理にあたって評価項目の体系を活用し、「理念・方針レベル」「カテゴリーレベル」「評価項目レベル」「標準項目レベル」に整理します。これによって、事業者特性の理解につながる重要な事項を体系的に認識でき、後の資料やインタビューによる確認が効果的・効率的なものとなります。
また、新たな情報が得られることで「評価の視点」が更新され、事業者に対する理解が深まりやすくなります。

19

④「評価の視点」の活用・有効性

ア 評価のプロセスにおける活用場面「評価の視点」を持つことは、評価の初期段階から最終段階までどの場面でも有効と考えられますが、特に「「事前分析」や「訪問調査」、「最終的な取りまとめ」には欠「評価の視点」が一連のプロセスの中で活用されることで、評価者としての「３つの問いかけ」における「(c)課題は何か？（事業者が目指していることの実現に向けて必要な取り組み）」の精度が徐々にあがっていくものと考えられます。

イ 評価者間での活用
評価は一人の評価者だけで行うものでなく、複数の評価者で実施することが求められていることから、評価者間の合議により意思統一を図るということにおいても効果を発揮します。

ウ 評価実施の積み重ねに伴う効果・効率性のアップ
この「評価の視点」を実際の評価現場で応用しようとすると、慣れないうちは時間がかかり大変な印象につながるかもしれませんが、継続していくうちに、効果的であるだ
けでなく効率がよいことも実感されると思われます。
⑤ 評価実施にあたり活用するもの（再確認）
評価結果報告書に至るまでに活用するものとして以下のものがあります。これらを用いることで「評価の視点」を発見し、より事業者の特性を踏まえた評価結果を導き出すことが可能となります。
なお、自己評価、利用者調査とステップを踏むたびに情報量が増えてきますので、その都度評価の視点を更新することも大切です。

ア 評価の考え方・手法など○

評価の基本となる考え（基本理念・目的、評価者のスタンスなど）○

評価項目とその体系（カテゴリー、評価項目、標準項目、利用者調査項目など）○評価の実施方法（評価手法、評価基準、実施ステップなど）

イ 評価のプロセスで得られるもの○

利用者調査結果、自己評価結果○

事業者からの情報（事業計画、事業概要、対話内容など）○

一般的に得られる公表・公開情報（パンフレット、ホームページ、福ナビからの事
業所情報や以前の評価結果など）○

実体験として得られる情報（訪問時の様子及びそこから得られる実感など）

20

評価実施の具体的な流れくことができないものと考えられます。

「評価の視点」の第一歩～まずは事業者の基本情報の把握から～評価実施の具体的な流れ機構に提出された評価結果報告書の中には、３名で合議をされて作成されたはずのものにもかかわらず、評価項目ごとに事業者に対する評価のスタンスや書き方が明らかに違っている、標準項目で「あり」とされているにもかかわらず講評では「○○が取り組まれていない」といった表現がある、あるいは内容に矛盾が見受けられるなど、評価機関として事業者の見方に一貫性を欠いたものが散見されます。
事業者の特徴を理解し、評価機関としての一貫性を持ってよりよい評価結果を導くためには「評価の視点」を持つことは不可欠であると考えています。
まずは、事業者の基本情報を把握し、事業者の姿を推測することから始めてください。
事業者の基本情報には、運営主体や設置主体、職員配置、利用者像、理念・方針などが挙げられます。
事業者によっては、不慣れや多忙のため、評価に必要な情報の列挙が不十分なこともあることが想定されます。しかし、事業者からどんな情報を引き出すか、まさにそこが評価者の腕の見せ所であり、今後他の評価機関との差がはっきり出てくるところだと言えるでしょう。
なお、事業者の基本情報を把握する手助けとして、機構では「事業プロフィル」を標準調査票として用意しています。事業プロフィルの活用も、事業者の基本情報を引き出すためには有効な手段と言えます。

21