(57)【要約】【課題】被説明者である患者が説明時の状況を容易に思い返すことができる技術を提供することができる。【解決手段】第一の資料と前記第一の資料を補足するための第二の資料とに対する行動を示す行動情報を取得する行動情報取得手段と、前記第一の資料に対する行動情報に基づいて、前記第一の資料の説明箇所情報を取得する説明箇所情報取得手段と、前記第二の資料に対する行動情報に基づいて、前記第二の資料の資料情報を取得する資料情報取得手段と、前記説明箇所情報と前記資料情報とが対応付けられた資料を生成する生成手段と、を有することによって課題を解決する。【選択図】図２
2015138457.tif 000002
【特許請求の範囲】
【請求項１】
第一の資料と前記第一の資料を補足するための第二の資料とに対する行動を示す行動情報を取得する行動情報取得手段と、
前記第一の資料に対する行動情報に基づいて、前記第一の資料の説明箇所情報を取得する説明箇所情報取得手段と、
前記第二の資料に対する行動情報に基づいて、前記第二の資料の資料情報を取得する資料情報取得手段と、
前記説明箇所情報と前記資料情報とが対応付けられた資料を生成する生成手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記説明箇所情報取得手段は、前記説明箇所情報と時間情報とを対応付けて取得し、
前記資料情報取得手段は、前記資料情報と時間情報とを対応付けて取得し、
前記生成手段は、前記説明箇所情報と対応付けられた時間情報と、前記資料情報と対応付けられた時間情報とに基づいて、前記説明箇所情報と前記資料情報とが並べてレイアウトされた資料を生成することを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記行動情報が示す行動の主体を判定する行動主体判定手段と、
前記判定された主体の行動に係る前記行動情報に基づいて、前記主体の行動が対象とする資料が前記第一の資料であるか前記第二の資料であるかを判定する対象資料判定手段と、
を更に有し、
前記説明箇所情報取得手段は、前記第一の資料と判定された場合、前記第一の資料に対する行動情報に基づいて前記説明箇所情報を取得し、
前記資料情報取得手段は、前記第二の資料と判定された場合、前記第二の資料に対する行動情報に基づいて前記資料情報を取得することを特徴とする請求項１又は２記載の情報処理装置。
【請求項４】
前記行動主体判定手段は、前記行動情報が示す行動の主体が説明者であるか被説明者であるかを判定することを特徴とする請求項３記載の情報処理装置。
【請求項５】
前記第一の資料は、説明者が被説明者によらず説明に利用する資料であり、
前記第二の資料は、前記説明者が前記被説明者に応じて前記第一の資料の説明の補足に利用する資料であることを特徴とする請求項１乃至４何れか１項記載の情報処理装置。
【請求項６】
前記資料情報取得手段は、前記第二の資料に対する行動情報から説明者が手書きで前記第二の資料を作成した際の手書きのストローク情報を前記資料情報として取得することを特徴とする請求項１乃至５何れか１項記載の情報処理装置。
【請求項７】
前記資料情報取得手段は、前記第二の資料に対する行動情報から説明者が既存の資料である前記第二の資料を引用して説明した際のキャプチャ画像を前記資料情報として取得することを特徴とする請求項１乃至５何れか１項記載の情報処理装置。
【請求項８】
前記行動情報取得手段は、前記行動情報として説明者及び被説明者の視線情報を取得し、
前記説明箇所情報取得手段は、前記説明者の前記視線情報が示す視線の範囲と、前記被説明者の前記視線情報が示す視線の範囲とに基づいて、前記説明箇所情報を取得することを特徴とする請求項１乃至７何れか１項記載の情報処理装置。
【請求項９】
前記行動情報取得手段は、前記行動情報として説明者及び被説明者の発話音声情報を取得し、
前記説明箇所情報取得手段は、前記第一の資料に含まれるテキストのうち前記発話音声情報から認識される用語と関連する用語が含まれるテキストを前記説明箇所情報として取得することを特徴とする請求項１乃至７何れか１項記載の情報処理装置。
【請求項１０】
前記行動情報取得手段は、前記行動情報として説明者及び被説明者のジェスチャ情報を取得し、
前記説明箇所情報取得手段は、前記ジェスチャ情報が示すジェスチャに係る範囲に基づいて、前記説明箇所情報を取得することを特徴とする請求項１乃至７何れか１項記載の情報処理装置。
【請求項１１】
前記説明箇所情報と前記資料情報とを対応付ける際に、前記行動情報に基づいて前記説明箇所情報と前記資料情報との関連性を評価する対応付け手段を更に有し、
前記生成手段は、前記説明箇所情報と前記資料情報とが対応付けられた資料であって、かつ、前記関連性に応じて対応関係が強調された資料を生成することを特徴とする請求項１乃至１０何れか１項記載の情報処理装置。
【請求項１２】
前記説明箇所情報を時間情報と、重要度情報と共に管理する管理手段を更に有し、
前記生成手段は、前記説明箇所情報と前記資料情報とが対応付けられた資料であって、かつ、前記重要度情報が示す重要度に応じてレイアウトされた資料を生成することを特徴とする請求項１乃至１１何れか１項記載の情報処理装置。
【請求項１３】
情報処理装置が実行する情報処理方法であって、
第一の資料と前記第一の資料を補足するための第二の資料とに対する行動を示す行動情報を取得する行動情報取得ステップと、
前記第一の資料に対する行動情報に基づいて、前記第一の資料の説明箇所情報を取得する説明箇所情報取得ステップと、
前記第二の資料に対する行動情報に基づいて、前記第二の資料の資料情報を取得する資料情報取得ステップと、
前記説明箇所情報と前記資料情報とが対応付けられた資料を生成する生成ステップと、
を含むことを特徴とする情報処理方法。
【請求項１４】
コンピュータを、請求項１乃至１２何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
医療現場では、医師が患者に対して医療行為を行う際には、その内容を患者が十分に理解した上での合意を得ることが求められる（インフォームドコンセント）。そのようなインフォームドコンセントのための説明は、患者毎の状態や治療方針に応じた内容となるが、作業時間的な制約から、医師は多くの患者に利用可能な汎用的な説明資料を使った説明を行う。そのような汎用的な説明資料には、個々の患者にとって必ずしも関係のある情報だけが含まれているとは限らないため、医師がその患者にとって重要な内容をピックアップして説明する。その際、患者の理解を助けるために、医師は必要に応じて治療部位や病状について、図を描いたり、図鑑を参照したりしながら適宜補足説明を加える。このようにして医師は患者に対して十分な説明を行った後で、最終的な合意を患者から署名という形で得る。
【０００３】
ここで重要なことは、患者が合意した旨の署名を行うのは、多くの場合、医師から詳細な説明を受けたときではなく、その後である点にある。これは、患者が内容を吟味したり、場合によっては家族に相談したりしながら、更に時間をかけて合意の判断を行うためだが、説明を受けてから時間が経過するほど、受けた説明に対する理解度が低下してしまう。患者に、いかに説明を受けたときの理解度を低下させずに維持させるかが、インフォームドコンセントにおいては重要である。このような背景に対して、説明時の説明内容をまとめた資料を作ることが考えられるが、多忙な医師が手作業でそのような資料を逐次用意することは困難である。特許文献１には、一般的な会議を想定したものではあるが、会議中の説明者の発言内容である音声を認識してテキスト情報に変換し、議事録として残す技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１１２９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、素人である患者にとって、従来技術のように手元に発言内容の資料があるだけでは汎用的な説明資料との関係がわかりづらいため、説明時の状況を容易に思い返すことは困難である。説明から合意までの時間経過による患者の理解度の低下を回避するためには、患者が手元に残された情報から説明時の状況を容易に思い返すことのできる技術が必要である。本発明は、被説明者である患者が説明時の状況を容易に思い返すことができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明の情報処理装置は、第一の資料と前記第一の資料を補足するための第二の資料とに対する行動を示す行動情報を取得する行動情報取得手段と、前記第一の資料に対する行動情報に基づいて、前記第一の資料の説明箇所情報を取得する説明箇所情報取得手段と、前記第二の資料に対する行動情報に基づいて、前記第二の資料の資料情報を取得する資料情報取得手段と、前記説明箇所情報と前記資料情報とが対応付けられた資料を生成する生成手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、被説明者である患者が説明時の状況を容易に思い返すことができる技術を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】コンピュータのハードウェア構成の一例を示す図である。
【図２】コンピュータの機能構成の一例を示す図である。
【図３】コンピュータの処理の一例を示すフローチャート（その１）である。
【図４】コンピュータの処理の一例を示すフローチャート（その２）である。
【図５】第一の資料の一例を示す図である。
【図６】第二の資料の一例を示す図である。
【図７】まとめ資料の一例を示す図（その１）である。
【図８】まとめ資料の一例を示す図（その２）である。
【図９】まとめ資料の一例を示す図（その３）である。
【図１０】まとめ資料の一例を示す図（その４）である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について図面を用いて説明する。なお、以下に説明する実施形態は、説明者である医師が被説明者である患者に対して「インフォームドコンセント」のための説明を行うような場面を想定している。また、そこで説明者である医師が被説明者である患者によらず説明に利用する汎用的な説明資料を第一の資料とする。更に、医師が第一の資料に関して患者に応じた内容等を適宜補足する目的で作成、参照する補足資料を第二の資料とする。
【００１０】
＜実施形態１＞
図１は、コンピュータ１００を含む本実施形態における情報処理装置のハードウェア構成の一例を示す図である。情報処理装置は、単一のコンピュータで実現されても良いし、必要に応じた複数のコンピュータに各機能を分散して実現されるようにしても良い。情報処理装置が複数のコンピュータで構成される場合は、前記複数のコンピュータが互いに通信可能なようにＬｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ（ＬＡＮ）等を介して互いに接続されている。
【００１１】
Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）１０１は、コンピュータ１００全体を制御する。Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）１０２は、変更を必要としないプログラムやパラメータを格納するメモリである。Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）１０３は、外部装置等から供給されるプログラムやデータを一時記憶するメモリである。外部記憶装置１０４は、コンピュータ１００に固定して設置されたハードディスクやメモリカード等を含む記憶装置である。また、外部記憶装置１０４は、コンピュータ１００から着脱可能なフレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔ  Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカード等を含む記憶装置であっても良い。ＣＰＵ１０１は、ＲＯＭ１０２や外部記憶装置１０４に記憶されているプログラムを実行することにより、コンピュータ１００の機能構成及び後述するフローチャートの処理を実現する。
【００１２】
入力インタフェース１０５は、利用者の操作を受けるポインティングデバイスやキーボード、カメラ、マイク等の入力デバイス１０８とのインタフェースである。本実施形態では、ＣＰＵ１０１が利用者の行動に関する行動情報を赤外ＬＥＤや赤外線カメラ等を利用して取得するが、入力デバイス１０８もこれらのデバイスに該当する。出力インタフェース１０６は、プログラムの実行結果を出力するためのモニタやプリンタ等の出力デバイス１０９とのインタフェースである。本実施形態では、ＣＰＵ１０１が第一の資料を表示するディスプレイや、生成したまとめ資料を出力するプリンタ等のデバイスが出力デバイス１０９に該当する。システムバス１０７は、上記の各ユニットを通信可能に接続するバスである。
【００１３】
図２は、コンピュータ１００の機能構成の一例を示す図である。行動情報取得部２０１は、資料の説明をしたり説明を受けたりする際の利用者（例えば医者及び患者）の行動情報を取得する。行動情報とは、視線や手、指、腕といった体の動き（ジェスチャ）、利用者による発話等の情報である。行動情報取得部２０１は、センサやカメラ等の各種の入力デバイス１０８を介して行動情報を取得する。行動情報には、第一の資料の説明、第二の資料の作成、引用といった、利用者の行動を示す情報が含まれる。行動情報取得部２０１は、これらの行動情報を既存のデバイス及び手法を利用して取得する。
【００１４】
例えば、体の動きの情報を取得する方法としては、赤外ＬＥＤやその反射光を捉える赤外線カメラといった入力デバイス１０８を利用して、各人体部位のカメラからの深度情報を得ることにより取得する方法が知られている。視線の情報を取得する方法についても同様に、ディスプレイ等の表示デバイス上の赤外線カメラを利用する方法がある。赤外線カメラで瞳孔の位置、動きを認識し、視線を追跡する。現在は、簡単な初期設定（キャリブレーション）を行うことによって、頭の位置を厳密に制限する必要なく視線を検出可能なものもあり、表示デバイスに資料を表示する場合等には、これらの技術を利用することができる。なお、実際には視線を追尾する対象が紙媒体であることも多い。この場合にも、紙を置く位置を制限したり、キャリブレーションの手続きを行う仕組みを設けたり、紙の資料を電子的な情報として取得して視線位置と対応付けたりする必要はあるが、同等の技術が適用可能である。また、他にも、眼鏡型デバイスのような入力デバイス１０８で視線を追尾する技術等もあり、この場合は媒体の種類は問わない。
【００１５】
本実施形態において、行動情報取得部２０１は、これら何れかの方法を用いて利用者の視線情報を取得すれば良い。また、行動情報取得部２０１は、資料の媒体に応じた技術を利用、併用するようにしても良い。本実施形態において、行動情報取得部２０１は、説明者（医者）及び被説明者（患者）の視線情報を同時に取得する。赤外ＬＥＤと赤外線カメラとを入力デバイス１０８として利用する場合、既存の顔領域の認識・追尾技術と組み合わせることで、各顔領域の目に対してそれぞれキャリブレーションを行えば良い。これに限らず、それぞれの人物の目を同時に撮影しない位置に別々のカメラを設置して視線を捉えるようにしても良い。他にも、眼鏡型デバイスを人数分用意すれば、行動情報取得部２０１は、同時に人数分の視線情報を取得可能である。また、例えば、患者が自然な状態で説明を受けられるように、視線検出を受ける側の負荷が少ない赤外ＬＥＤと赤外線カメラとを利用し、医師が眼鏡型デバイスを利用するようにしても、行動情報取得部２０１は、両者の視線情報を同時に取得することができる。このように、行動情報取得部２０１は、何れかの方法で説明者の視線情報と被説明者の視線情報とを同時に取得する。
【００１６】
また、行動情報取得部２０１が図やメモの作成といった行動情報を詳しく取得するには高い認識解像度を必要とするが、こういった行動情報を取得する際も、既存の手法・デバイスを利用することができる。先に述べた赤外ＬＥＤと赤外線カメラとを利用して、手や指の詳細な動きを検出するデバイスも存在する。また、行動情報取得部２０１は、動作のストロークに関するストローク情報を取得することができるペンデバイスを利用して行動情報を取得しても良い。また、行動情報取得部２０１は、俯瞰することができる位置に配置した可視光カメラを介して行動情報を取得しても良い。他にも、デジタイザ、ペンタブレット、タッチパネルといった入力デバイス１０８を利用して、行動情報取得部２０１は、行動情報を取得することもできる。このように、行動情報取得部２０１が図やメモを作成する行動情報を取得することができれば、何れの手法を用いても良い。
【００１７】
他にも、行動情報取得部２０１は、利用者の発話音声をマイクのような入力デバイス１０８で取得し、発話行為を前記利用者の行動情報として取得するようにしても良い。このように、行動情報取得部２０１が様々な行動情報を取得することができる場合は、それぞれの情報の解析結果や情報の組み合わせによって生じる統計的な偏りから、例えば、説明をしている行動やその範囲を、より精度よく取得することができるようになる。なお、本実施形態では、行動情報取得部２０１が説明者及び被説明者の視線情報を取得するために、第一の資料を赤外ＬＥＤと赤外線カメラとを搭載した表示デバイスに表示する。また、行動情報取得部２０１が第二の資料の資料情報を取得するため、紙媒体でのストローク情報を取得可能なペンデバイスを利用する。ここでいう資料情報には、第二の資料を新たに作成した際の作成情報や既存の第二の資料を引用した際の引用情報等が含まれる。なお、本実施形態では、医師が第二の資料を新たに作成する場合を想定している。更に、行動情報取得部２０１が説明者による発話音声情報を取得するため、マイクが配置されているものとする。
【００１８】
行動主体判定部２０２は、行動情報取得部２０１が取得した行動情報から、行動の主体である利用者が説明者であるか被説明者であるかを判定する。本実施形態における利用者は、説明者又は被説明者である。行動主体判定部２０２は、行動情報取得部２０１が取得した行動情報毎に判定を行う。即ち、行動主体判定部２０２は、体の動きや視線の情報毎に、それらの行動の主体の人物が説明者であるか否かを判定する。行動主体判定部２０２は、このような判定を、例えば、顔認証や明示的なログイン作業等の認証作業を通して行っても良い。先に述べた視線情報を取得する例であれば、行動主体判定部２０２は、顔画像を同時に得やすいため、既存の顔認証の処理等を利用すれば良い。また、行動主体判定部２０２は、キャリブレーションを行う際のログイン操作を通して主体を判定するようにしても良い。
【００１９】
また、説明者と被説明者とを識別可能な情報を格納した非接触タグやＩＣカードを利用者が持つようにし、行動主体判定部２０２は、その非接触タグやＩＣカードから行動の主体を判定する等しても良い。これによって、行動主体判定部２０２は、予め登録された利用者である医師であるか否か、即ち、説明者であるか被説明者であるかを判定することができる。行動主体判定部２０２は、体の動きの情報（ジェスチャ情報）を利用する場合も同様にして主体を判定すれば良い。また、認証等の処理に限らず、座る位置によって予め説明者・被説明者を決めておいて、行動主体判定部２０２が、行動情報取得部２０１によりその位置から取得された情報毎に主体を判定するようにしても良い。例えば、先に述べた赤外ＬＥＤと赤外線カメラとによる方法であれば、行動情報取得部２０１は、カメラの撮影範囲に入っている複数人の行動情報を同時に取得することが可能である。そのため、行動主体判定部２０２は、座る位置によって得られた情報を区別するラベルを付けるといった簡単な規則で判定処理をすることができる。
【００２０】
他にも、行動情報取得部２０１における行動情報取得のための入力デバイス１０８を利用者毎に設置して、そのデバイスが行動情報を捉えた際に、行動主体判定部２０２が主体を判定するようにしても良い。例えば、説明者が座る位置を限定し、行動情報取得部２０１がその位置からのみ情報を取得するように入力デバイス１０８を設置し、行動主体判定部２０２がその入力デバイス１０８からの入力情報は、説明者の行動情報であるとみなすようにすれば良い。これにより、行動主体判定部２０２は、より確実に行動の主体を判定することができる。
【００２１】
音声についても同様であり、行動主体判定部２０２は、行動情報取得部２０１がマイク等の入力デバイス１０８から得た音声の特徴量による話者認証に関する既存手法を利用するようにしても良い。この場合、行動主体判定部２０２は、予め説明者である医師の音声特徴を学習しておき、医師とそれ以外の話者とを区別するような従来の手法を利用すれば良い。また、説明者の音声を捉えられるように指向性の強いマイクを用意しても良い。先に述べたペンデバイスも同じであり、利用者がデバイスを保持した際に指紋認証を行ったり、説明者用のペンデバイスを用意したりして行動主体判定部２０２が主体を判定すれば良い。このようにして、行動主体判定部２０２は、行動情報取得部２０１が取得した行動情報の主体が説明者であるか被説明者であるかを判定する。
【００２２】
対象資料判定部２０３は、行動主体判定部２０２で主体を区別した行動情報について、それぞれ第一の資料に対する行動によるものか、第二の資料に対する行動によるものかを判定する。対象資料判定部２０３は、入力デバイス１０８によって行動の対象の資料を区別できる場合は、そのデバイス毎に判定すれば良い。本実施形態では、第一の資料は赤外線カメラを含むディスプレイに表示され、第二の資料は紙にペンデバイスで書かれるものとしたので、対象資料判定部２０３は、入力デバイスによって対象を判定することができる。ただし、判定手法は、これに限る必要はない。
【００２３】
同じ入力デバイスで第一の資料、第二の資料の両資料に対する行動も取得する場合には、予め第一の資料の領域を同定することができるような情報を付与しておき、行動主体判定部２０２は、その資料を同定した後でその資料に対する行動か否かを判定する。例えば、第一の資料及び第二の資料共に紙媒体であり、手や腕によるジェスチャ情報を同じ入力デバイスで取得する場合を考える。この場合は、予め固定しておいた可視光カメラ等で第一の資料の位置及び領域を追跡しておき、行動主体判定部２０２は、第一の資料に対するジェスチャか、それ以外の資料に対するジェスチャであるかを判定する。例えば、予め資料を作成する際に、識別可能なパターンを前記資料の境界領域部分（角や辺）に印刷しておく等し、行動主体判定部２０２は、前記パターンの有無を画像から認識することで、第一の資料の位置及び領域を判定すれば良い。その上で、利用者のジェスチャ情報として手や腕の位置（深度や座標）情報が得られるので、行動主体判定部２０２は、何れの資料の近くで行われたジェスチャ情報であったか区別することができる。
【００２４】
また、これまで述べてきたような赤外ＬＥＤと赤外線カメラとを用いて、第一、第二の両資料に対する行動情報として、同一の入力デバイスから得た視線の情報を利用する場合も、行動主体判定部２０２は、同じようにして主体を区別する。即ち、行動主体判定部２０２は、第一の資料の位置・領域の情報を取得した上で、視線の位置が何れの資料にあるかを特定して区別すれば良い。なお、行動主体判定部２０２は、複数の行動情報が取得される場合は、それらの行動情報を併用して判定するようにしても良い。例えば、説明者の視線情報とジェスチャ情報とが取得される場合、視線は何れの資料を対象にしているか定まる一方で、ジェスチャが第一の資料にも第二の資料にも近い位置で行われたものではなく、何れの資料を対象としているか定まらないといったことがあり得る。この際、行動主体判定部２０２は、視線が向いている資料を対象とするように判定するようにしても良い。
【００２５】
第一資料説明箇所同定部２０４は、対象資料判定部２０３において第一の資料に対するものであると判定した行動情報から、第一の資料の説明箇所を同定し、同定した説明箇所を示す説明箇所情報を取得する。第一資料説明箇所同定部２０４が実行する処理は、説明箇所情報取得処理の一例である。ここでは、被説明者が後から説明を思い返すことができるようにすることが目的であることから、第一資料説明箇所同定部２０４は、被説明者が説明を受けたであろう箇所を同定することが望ましい。そのような説明箇所については、説明時に、説明者と被説明者との間で、説明箇所を共有する何らかの行動が含まれる。本実施形態では、先に述べた通り表示デバイスを経由して、説明者・被説明者の視線情報が得られているため、第一資料説明箇所同定部２０４は、この視線情報を利用する。
【００２６】
より具体的には、第一資料説明箇所同定部２０４は、説明箇所を共有する行動として、予め定められた近傍のある時間範囲内で、両者の視線が類似した領域内に滞留することを利用する。即ち、第一資料説明箇所同定部２０４は、第一の資料に対して説明者の視線がある領域に滞留していて、更に、ある時間範囲の予め定められた近傍において、被説明者の視線が同等の領域に滞留したか否かを判定する。第一資料説明箇所同定部２０４は、この領域を被説明者が説明を受けたと認識した説明箇所として同定する。なお、ここでの時間範囲は、利用者の動作対象が第二の資料に移行した時点から遡って決定した範囲とする。第二の資料の情報で補足した第一の資料の説明箇所は、直前に説明した箇所である可能性が高い。被説明者にとっては、第二の資料によって補足説明を受けた際に、第一の資料のどこを参照していたかの対応関係がわかるようになるため、対応付ける対象として利用価値がある。
【００２７】
第一資料説明箇所管理部２０５は、第一資料説明箇所同定部２０４で同定した第一の資料の説明箇所を示す説明箇所情報を管理する。後述するまとめ資料生成部２０９は、まとめ資料を生成する際に第一の資料の説明箇所を特定の順番で配置する。そのため、第一資料説明箇所管理部２０５は、その配置順のキーになる情報と共に、第一の資料の説明箇所情報を管理する。本実施形態では、第一資料説明箇所管理部２０５は、説明箇所情報を時間情報と共に管理する。第一資料説明箇所管理部２０５が管理する情報については、まとめ資料生成部２０９がまとめ資料を生成する際に再現可能な情報であれば特に形式は問わない。例えば、本実施形態のようにディスプレイに電子的な情報として表示されているのであれば電子データ中のどこを表示したかがわかるので、第一資料説明箇所管理部２０５は、その部分への電子的な参照情報と範囲の情報とを記録して管理すれば良い。
【００２８】
また、前記電子データが論理的に構造化された情報であれば、第一資料説明箇所管理部２０５は、論理的な構造情報を記録して管理しても良い。本実施形態では、汎用的な説明文書である第一の説明資料は構造化されているものとし、第一資料説明箇所管理部２０５は、論理的な構造情報として記録する。即ち、第一資料説明箇所管理部２０５は、ｙｙｙｙ．ｍｍ．ｄｄ．ｈｈ．ｍｍ．ｓｓ：Ｎページ：Ｘ行目〜Ｙ行目等の情報を記録する。それ以外にも、可視光カメラ等で資料の説明箇所を適宜画像としてキャプチャし、第一資料説明箇所管理部２０５が、前記キャプチャされた画像を記録して管理するようにしても良い。まとめ資料に載せる情報として利用することができるため、説明箇所情報は画像であっても良い。特に、第一の資料として紙媒体を利用する場合は、構造化された電子データではないため、第一資料説明箇所管理部２０５は、論理構造の情報で管理することはできないので、画像として管理するようにしても良い。
【００２９】
第二資料情報取得部２０６は、対象資料判定部２０３で第二の資料に対する説明者のものであると判定した行動情報から、第二の資料の資料情報を取得する。第二資料情報取得部２０６が実行する処理は、資料情報取得処理の一例である。本実施形態では、第二の資料として、説明者である医師が手書きして作成する資料を想定する。例えば、医師が病変部分の説明を行うような場合に書かれる人体構造や病変部等の図を第二の資料として想定する。ここでは、これらの図は、先に述べたように、ペンデバイスの利用によって得られるものとし、第二資料情報取得部２０６は、前記ペンデバイス経由で入力されたペンのストローク情報を第二の資料の資料情報として取得する。
【００３０】
なお、第二資料情報取得部２０６がストローク情報を取得する時間の範囲は、行動情報が示す行動の対象が第二の資料から次に第一の資料に移行するまでの時間の範囲であるものとする。後述する第二資料情報管理部２０７は、その範囲毎にストローク情報をまとめて管理する。なお、第二資料情報取得部２０６が第二の資料の資料情報を取得する方法は、ペンデバイスを介した方法に限るものではない。例えば、俯瞰したカメラで利用者を撮影する場合、第二資料情報取得部２０６は、説明者が作成する図を捉えた動画フレームを利用しても良い。
【００３１】
第二資料情報管理部２０７は、第二資料情報取得部２０６で取得した第二の資料の資料情報を管理する。ここでは、先に述べた第一資料説明箇所管理部２０５で管理している情報との対応付けが可能な情報と共に管理する。本実施形態では、第一資料説明箇所管理部２０５が時間情報と共に説明箇所情報を管理しているので、第二資料情報管理部２０７も、時間情報と共に前記資料情報を管理する。第二資料情報管理部２０７が管理する情報は、説明箇所の補足説明をした情報として再現可能な情報であれば良い。例えば、第二資料情報管理部２０７は、資料情報をストローク情報として管理しておけば、説明箇所毎に作成された図を再現することができる。また、第二資料情報管理部２０７は、ペンデバイスで書かれた図をストローク情報から再現した図の情報（画像）で管理しておいても良い。また、俯瞰したカメラにより動画フレームを取得する例について述べたが、その場合も説明者が第二の資料として作成した図を取得することができるため、第二資料情報管理部２０７は、資料情報を動画フレームとして管理することができる。
【００３２】
資料対応付け部２０８は、第一の資料の説明箇所情報と、その説明箇所で利用された第二の資料の資料情報とを対応付ける。資料対応付け部２０８は、第一の資料の説明箇所情報を第一資料説明箇所管理部２０５から取得する。また、資料対応付け部２０８は、第二の資料の資料情報を第二資料情報管理部２０７から取得する。本実施形態において、第一の資料の説明箇所情報と第二の資料の資料情報とは、各々時間情報と共に管理されているため、資料対応付け部２０８は、両者を時間情報と共に取得する。一般的な説明の流れでは、説明者は、第一の資料を説明した後で、前記説明部分に補足が必要であれば、第二の資料を作成・引用して補足説明を加える。そこで、資料対応付け部２０８は、第一の資料の説明箇所情報に、時間的に直後に出現する第二の資料の資料情報を対応付ける。ここでの第二の資料の資料情報は、次の第一の資料の説明箇所情報が出現する直前までのものが該当する。先に述べたように第二資料情報管理部２０７が第二の資料の資料情報をストローク情報として管理しているのであれば、資料対応付け部２０８は、そこまでの情報を対応付ける。
【００３３】
まとめ資料生成部２０９は、第一の資料の説明箇所と、それに対応する第二の資料との対応がわかるように関連付けてレイアウトした新たな資料を生成する。まとめ資料生成部２０９が実行する処理は、前記新たな資料を生成する生成処理の一例である。まとめ資料生成部２０９は、第一の資料の説明箇所を予め定められた順で配置すると共に、各説明箇所に対応した第二の資料をその予め定められた近傍に配置する。本実施形態では、まとめ資料生成部２０９は、説明した順に第一の資料の説明箇所を配置するように設定されているものとする。なお、まとめ資料生成部２０９で生成されたまとめ資料は、出力デバイス１０９経由で被説明者に出力される。コンピュータ１００は、まとめ資料を被説明者が所有する表示デバイスに電子的に表示しても良いし、プリンタ等のデバイスによって紙媒体として出力しても良い。
【００３４】
第一資料説明箇所同定部２０４は、説明箇所情報と時間情報とを対応付けて取得することが好ましい。また、第二資料情報取得部２０６は、資料情報と時間情報とを対応付けて取得することが好ましい。これにより、まとめ資料生成部２０９は、説明箇所情報と対応付けられた時間情報と、資料情報と対応付けられた時間情報とに基づいて、説明箇所情報と資料情報とが並べてレイアウトされた資料を生成することができる。
【００３５】
次に、本実施形態のコンピュータ１００における処理の手順について、図３、４のフローチャートを用いて説明する。図３は、コンピュータ１００が第一の資料の説明箇所情報と、第二の資料の資料情報（作成情報）とを記録するまでの処理の一例を示すフローチャートである。なお、上述したように、ここでいう作成情報は資料情報の一例である。ステップＳ３０１では、行動情報取得部２０１が、入力デバイス１０８を介して利用者の行動情報を取得する。ステップＳ３０２では、行動主体判定部２０２が、ステップＳ３０１で取得された行動情報の主体が説明者であるか、被説明者であるかを判定する。
【００３６】
ステップＳ３０３では、対象資料判定部２０３が、ステップＳ３０２で判定された主体毎に、行動情報が示す行動の対象が変化したか否かを適宜判定する。より具体的に説明すると、対象資料判定部２０３が、前記主体毎に、第一の資料と第二の資料との何れか一方の資料から他方の資料へと行動の対象が変わったか否かを判定する。そして、対象資料判定部２０３が、対象が変化したと判定した場合は、一連の同一対象への行動に区切りがあったとみなして、ステップＳ３０４へ移行する。一方、対象資料判定部２０３が、対象に変化がないと判定した場合、即ち、説明者の行動情報が同一の対象に対するものである間は、ステップＳ３０１へ戻り、入力デバイス１０８からの行動情報の取得を継続する。ステップＳ３０４では、対象資料判定部２０３が、ステップＳ３０３の判定によって得られた一連の行動情報が第一の資料に対する行動であるか否かを判定する。このとき、対象資料判定部２０３が、第一の資料に対する行動であると判定した場合は、ステップＳ３０５へ移行し、そうでないと判定した場合は、ステップＳ３０７へ移行する。
【００３７】
ステップＳ３０５では、第一資料説明箇所同定部２０４が、説明者及び被説明者の第一の資料に対する一連の行動情報を受け取り、前記行動情報から第一の資料について説明を行った箇所を同定する。本実施形態では先に述べた通り、第一資料説明箇所同定部２０４が、両者の視線情報を利用して第一の資料の説明箇所を同定する。ステップＳ３０６では、第一資料説明箇所管理部２０５が、ステップＳ３０５で同定された第一の資料の説明箇所を示す説明箇所情報を時間情報と共に外部記憶装置１０４に記録して管理し、図３の処理を終了する。
【００３８】
ステップＳ３０７の処理は、ステップＳ３０４の判定により、ステップＳ３０２で得られた一連の行動情報が第二の資料に対する行動であった場合に行われる処理である。ステップＳ３０７では、第二資料情報取得部２０６が、第二の資料に対する一連の行動情報を受け取り、前記行動情報から第二の資料の資料情報を取得する。ステップＳ３０８では、第二資料情報管理部２０７が、ステップＳ３０７で取得された第二の資料の資料情報を時間情報と共に外部記憶装置１０４に記録して管理し、図３の処理を終了する。なお、図３の処理は、説明者による被説明者に対する説明が終了するまで繰り返し行われる。
【００３９】
図４は、コンピュータ１００が第一の資料の説明箇所と、前記説明箇所を補足した第二の資料の資料情報とを対応付け、まとめ資料を生成するまでの処理の一例を示すフローチャートである。なお、本実施形態において、図４のフローチャートの処理は、図３のフローチャートの処理とは非同期的に行われるものとする。コンピュータ１００は、医師による患者に対する説明が終了すると、一気に図４の処理によってまとめ資料を生成するように動作しても良い。ただし、これに限るものではなく、コンピュータ１００は、適当なタイミングで適宜動作するようにしても良いし、図３の処理が終わる毎に同期的に動作するようにしても良い。
【００４０】
ステップＳ４０１では、資料対応付け部２０８が、第一資料説明箇所管理部２０５で管理されている第一の資料の説明箇所情報を時間順に時間情報と共に取得する。ステップＳ４０２では、資料対応付け部２０８が、前記説明箇所情報を取得することができたかどうかを判定し、取得することができたと判定した場合は、ステップＳ４０３へ移行する。一方、資料対応付け部２０８が、取得することができなかったと判定した場合は、その時点で取得可能な全ての説明箇所情報について処理が終わっているため、図４の処理を終了する。なお、説明者による被説明者に対する説明が終了するまでは、図３に示したフローチャートの処理は繰り返し行われるため、第一資料説明箇所管理部２０５が第一の資料の説明箇所情報を適宜追加記録して管理する。このため、説明者による説明が終了するまでは、図４の処理も適宜繰り返し行われる。
【００４１】
ステップＳ４０３では、資料対応付け部２０８が、第二資料情報管理部２０７から、ステップＳ４０１で取得された第一の資料の説明箇所情報に対応する第二の資料の資料情報を取得する。先に述べた通り、第二資料情報管理部２０７は、第一の資料の説明箇所情報に付随する時間情報の直後の時間からの第二の資料の資料情報を、前記説明箇所情報に対応する作成情報として取得する。ステップＳ４０４では、まとめ資料生成部２０９が、ステップＳ４０１で取得された第一の資料の説明箇所に該当する内容の情報を、まとめ資料に配置する。ステップＳ４０５では、まとめ資料生成部２０９が、ステップＳ４０４で配置した第一の資料の説明箇所に該当する情報の予め定められた近傍に、ステップＳ４０３で取得された第二の資料の資料情報を配置する。詳細については、図７等を用いて後述する。
【００４２】
以下では、これまで述べた内容について、より具体的な例を用いて説明する。例えば、大腸の早期がんの手術について医師が説明している場面を想定する。ここで利用される第一の資料、即ち、汎用的な説明資料は、図５のページ５０１〜５０３の３ページ分の資料であるとする。なお、図５は、第一の資料の一例を示す図である。この資料の中で、医師が病変部分に関する説明を行い、対応可能な手術を説明するものとする。その説明箇所５０４〜５０６は、資料に記載の順番通りとなっているとは限らない。ここでの例では、医師が説明箇所５０４、５０６、５０５の順で患者に説明したものとする。説明箇所５０４は、病変部の説明箇所であり、説明箇所５０５、５０６は、手術の方法に関する説明が記載されている説明箇所であるものとする。
【００４３】
このとき、まず、医師は、説明箇所５０４を見ながら病変部分の説明を開始する。医師は前記病変部分の説明である旨を患者に述べ、患者の視線も説明箇所５０４に近い領域に滞留する。医師は、第一の資料である汎用資料を一通り参照した後、具体的な病変部分について図を描きながら補足する。このとき、医師が作成する図の例が図６の（ａ）である。なお、図６は、医師が作成する第二の資料の一例を示す図である。医師は、そのときの説明対象である患者に合わせて、病変部分の大きさや状態等を説明する。医師が説明箇所５０４を説明した後に図６の（ａ）に示す図を作成する作業に移行すると、第一資料説明箇所同定部２０４は、医師が説明箇所５０４を参照する際の医師、患者双方の視線情報から説明箇所５０４を第一の資料における説明箇所として同定する。そして、第一資料説明箇所管理部２０５は、説明箇所５０４を示す説明箇所情報を記録して管理する。その後、医師が、図６の（ａ）を作成する作業とそれについての説明とを終えて、汎用資料に戻って次の説明に移行したときに、第二資料情報取得部２０６は、図６の（ａ）を作成した際のストローク情報を取得する。そして、第二資料情報管理部２０７は、第二の資料の資料情報として前記ストローク情報を記録して管理する。
【００４４】
次に、医師は汎用資料に戻って手術の方法を説明する。このとき汎用資料の中では、医師が想定している内視鏡による手術（例えばＥＳＤ）が説明箇所５０６の部分に記載されていたとする。このため、医師は先に説明箇所５０６を参照して説明を開始する。医師は、説明箇所５０４を説明した場合と同様に、説明箇所５０６を一通り説明した後、説明箇所５０６に記述されていた内容で手術を行った場合に切除する部分を、先ほど記載した図６の（ａ）に示す図に加えて記載する。その結果、図６の（ｂ）のような図になり、医師は、これを用いて、勧める術式のメリット等を説明する。なお、医師が説明箇所５０６の説明後に図６の（ｂ）に示す図の作成を行ったので、第一資料説明箇所管理部２０５は、説明箇所５０６を示す説明箇所情報を記録して管理する。また、第二資料情報取得部２０６は、図６の（ｂ）で加えた切除部位の加筆情報をストローク情報として取得する。そして、第二資料情報管理部２０７は、第二の資料の資料情報として前記ストローク情報を記録して管理する。
【００４５】
その後、手術に関する代替案又は対比のための過去の手術の手法として、医師は説明箇所５０５に記載の手術の方法の説明をしたとする。例えば、説明箇所５０５に記載の内容が開腹手術によって腫瘍病変部分を含む周辺領域を臓器の外側から切除するものであったとすると、医師は、これまでの説明で使った図６の（ｂ）に示す図に、更に加筆した図６の（ｃ）のような図を描く。ここでも、これまで同様、第一資料説明箇所管理部２０５が、説明箇所５０５を示す説明箇所情報を記録して管理する。そして、第二資料情報管理部２０７は、図６の（ｂ）から図６の（ｃ）までにおいて加筆されたストローク情報を第二の資料の資料情報として記録して管理する。
【００４６】
医師による以上の説明後、まとめ資料生成部２０９は、まとめ資料を生成する。ここでは、まず、資料対応付け部２０８が、第一資料説明箇所管理部２０５で管理されている説明箇所情報、即ち、説明箇所５０４、５０６、５０５と、第二資料情報管理部２０７で管理されている図６の（ａ）、（ｂ）、（ｃ）での加筆情報とを対応付ける。即ち、資料対応付け部２０８は、第一の資料のそれぞれの説明箇所に、それぞれの説明箇所を説明した直後の加筆情報（作成情報）、即ち、第二の資料の資料情報を対応付ける。そして、まとめ資料生成部２０９は、説明箇所５０４〜５０６と、その予め定められた近傍に第二の資料情報である図６の（ａ）〜（ｃ）とを配置した資料を生成する。図７は、まとめ資料生成部２０９が生成したまとめ資料の一例を示す図である。図７に示すように、まとめ資料生成部２０９は、医師の説明順に第一の資料の説明箇所の内容を配置し、前記説明箇所の説明の直後に説明された第二の資料である図を対応付けて配置したまとめ資料を生成する。
【００４７】
以上述べたように、本実施形態によって、インフォームドコンセントのようなケースにおいて、汎用的な資料を使った説明箇所と、前記説明箇所について他の資料を使って補足した内容との関係がわかるようなまとめ資料を自動で生成することができるようになる。これによって、医師が従来に比べて特段の手間をかけるようなことをしなくても、患者が説明時の状況を容易に思い返すことができるようになり、説明時の理解度を維持することができるようになる。
【００４８】
＜実施形態２＞
実施形態１では、第一資料説明箇所同定部２０４が視線情報を利用して第一の資料の説明箇所を同定したが、更に、他の行動情報を利用して説明箇所を同定するようにしても良い。例えば、説明者が、第一の資料に対して、指で指示したり、丸く囲うようなジェスチャ動作を行ったりすることが考えられる。第一資料説明箇所同定部２０４は、こういった手や腕のジェスチャが共起した範囲を説明箇所として同定するようにしても良い。第一資料説明箇所同定部２０４は、視線情報から説明箇所の範囲を厳密に同定することが困難な場合もあるため、これらのジェスチャ情報を併用することで、説明箇所の範囲を明確に同定することができる。
【００４９】
他にも、説明者の発話音声を利用することも考えられる。この場合、コンピュータ１００が予めインフォームドコンセントのための説明の際によく使われる特徴的な用語を学習し外部記憶装置１０４に記憶しておく。そして、第一資料説明箇所同定部２０４は、行動情報取得部２０１で取得された説明者の発話音声情報の内容から上記の用語を認識する。そして、第一資料説明箇所同定部２０４は、第一の資料の説明箇所に含まれるテキスト情報を解析して得られた用語と、前記発話音声情報から認識した用語の類似性、関連性によって、説明箇所を同定するようにしても良い。即ち、第一資料説明箇所同定部２０４は、前記発話音声情報から認識した用語と類似、関連する用語を含むテキストを第一の資料における説明箇所として同定するようにしても良い。このとき、医療用語は表現の揺れが大きいため、既存のシソーラス等を利用し、概念的な近さを考慮して用語の類似性を評価することが望ましい。なお、第一資料説明箇所同定部２０４は、以上の技術を併用して説明箇所を同定するようにしても良い。以上のようにすることで、第一資料説明箇所同定部２０４による説明箇所やその範囲の同定精度が上がり、被説明者にとって実際に説明のあった箇所に絞った資料を生成することができるようになる。
【００５０】
＜実施形態３＞
実施形態１では、資料対応付け部２０８が、第二の資料の資料情報を第一の資料の説明箇所情報に対応付ける際に、第二の資料に医師の行動の対象が移行した直前の説明箇所情報に対応付けた。先に述べた通り、これらが対応付く可能性は高いが、その説明箇所よりも前の部分が対応付く場合も考えられる。そこで、対応付けに関してより精度を上げるために、行動情報取得部２０１が第二の資料を作成した際の発話内容やメモ書きも取得するようにしても良い。そして、資料対応付け部２０８が、第一の資料の説明箇所に記載してある内容と発話内容やメモ書きの内容が近い説明箇所に、その発話内容やメモ書きと関連する第二の資料の資料情報を対応付けるようにしても良い。
【００５１】
例えば、資料対応付け部２０８は、第二の資料の作成の際の発話内容として、「○○リンパがここで…」といった発話や手書きのメモがある場合、その第二の資料と、○○リンパに該当する用語を含む第一の資料の説明箇所とを対応付ける。こういった用語については、先に述べた通り揺れがあるので、ここでもシソーラスによる概念的な近さを考慮するようにしても良い。なお、資料対応付け部２０８は、シソーラスによる概念的な近さを考慮した場合としなかった場合との両方において対応付けを行うようにしても良い。以上により、資料対応付け部２０８が内容を踏まえて対応関係にある説明箇所と第二の資料とを対応付けられるようになるため、被説明者が説明箇所の内容をより容易に思い返しやすくなる。
【００５２】
＜実施形態４＞
実施形態１では、資料対応付け部２０８が、各対応する情報を特に区別することなく同じように対応付けるようにしたが、これに限るものではない。資料対応付け部２０８が、行動情報取得部２０１で取得した視線情報やジェスチャ情報や発話情報等を解析し、第一の資料と、第二の資料との間、又は両資料中の一部分の間を相互に参照する動きを検出した場合に、その部分間を強く対応付けるようにしても良い。例えば、第一資料説明箇所同定部２０４が視線情報から第一の資料の説明箇所を同定した場合に、第二の資料に視線の対象が移行して、その後再度第一の資料に視線が戻ったとする。その場合、資料対応付け部２０８は、前記説明箇所と同等の部分に視線が滞留したら、前記第二の資料と前記説明箇所との対応関係（関連性）は強いとみなす。このように、資料対応付け部２０８は、第一の資料の説明箇所と第二の資料との対応関係の強さを評価し、対応関係の強さを示す強度情報（強度を示す値等）を取得することができる。
【００５３】
また、このように対応関係の強さに差があることを利用して、まとめ資料生成部２０９は、生成するまとめ資料中の各情報の配置場所やレイアウトを補正しても良い。例えば、実施形態１では、説明箇所の直後に、第二の資料を配置するだけであったが、対応関係の強い部分はより対応関係を強調して配置するため、対応関係のある情報を枠で囲ったり、他よりも近い位置に配置したりしても良い。また、まとめ資料生成部２０９は、レイアウトを図７のように縦に並べるだけではなく、対応関係の強い部分については横並びで配置する等しても良い。図８の例１００１は、まとめ資料生成部２０９が説明箇所と第二の資料とを横並びにして枠で囲った例である。なお、図８は、まとめ資料の一例を示す図である。
【００５４】
また、まとめ資料生成部２０９は、視線情報等から第一の資料と第二の資料との間で相互に参照した位置が詳細に取得できているのであれば、特に参照関係がはっきりしている部分間に線をひく等しても良い。より具体的には、第一の資料の説明箇所が同定された後、視線が第二の資料に移行し、再度第一の資料に視線が戻った際に視線が滞留した領域の範囲が、説明箇所として同定した範囲よりも限定的であった場合等が考えられる。このような場合、資料対応付け部２０８は、第二の資料の情報が上記のように限定した領域とより強い対応関係があるとみなすようにしても良い。また、この際、資料対応付け部２０８は、発話音声を認識する上述の方法を利用して、概念的な近さを判定することで確度を上げるようにしても良い。このようにすることで、第一の資料と第二の資料との間の対応関係を、被説明者がより正しく把握することができるようになる。
【００５５】
＜実施形態５＞
実施形態１では、第一資料説明箇所管理部２０５は、説明箇所情報を時間情報と共に管理したが、これに加えて、例えば、第一の資料の記載順が区別可能な情報と共に説明箇所情報を管理するようにしても良い。また、第一資料説明箇所管理部２０５は、説明時間の長さや患者からの質疑の量（予め定めた時間内の質疑のやりとり数）、被説明者からの質疑のキーワード（わからない、不安だ）等から、被説明者にとっての説明内容の重要度を評価する。何度も質問や確認を繰り返したり、不安を口にしたりした部分は、被説明者にとっては合意時に思い出したい、より重要な部分と言える。第一資料説明箇所管理部２０５は、説明の長さや質疑の量であれば、その長さや量に応じた大きさの重要度を評価すれば良いし、キーワードを利用する場合はキーワード毎に予め重要度を設定しておく等して、重要度を評価すれば良い。また、他の部分に比べて説明時間が長かった、特定のキーワードを発した、といった二値的な判定でも良く、その場合、第一資料説明箇所管理部２０５は、特に重要かそうでないかの評価を与えてもよい。そして、第一資料説明箇所管理部２０５は、前記評価した重要度を示す重要度情報と共に説明箇所情報を管理するようにしても良い。このとき、まとめ資料生成部２０９が何れかの情報でソートしてレイアウトしたり、重要度に相当する情報を付加して強調表示したりする。なお、ソートの方法や、重要度の見せ方等は、予めコンピュータ１００に設定されているものとする。第一資料説明箇所管理部２０５は、その設定に応じて上記情報を加えて管理するようにする。以上のようにすることで、まとめ資料生成部２０９は、患者にとってより分かりやすい順のレイアウトを選択してまとめ資料を生成することができるようになる。
【００５６】
＜実施形態６＞
実施形態１では、まとめ資料生成部２０９が図７のようなまとめ資料を生成するものとしたが、これに限るものではない。例えば、図６の（ｃ）のような記載では、二つの手術の内容が重なって記載されているため、補足資料としては分かりづらい。そこで、例えば、まとめ資料生成部２０９は、第一の資料の説明箇所が同等の内容、即ち、ここではどちらも手術方法についての記載であることを判定して、同等の内容の場合は、それぞれの説明箇所で加えた情報だけを、第二の資料の資料情報とするようにしても良い。これによって、まとめ資料生成部２０９は、例えば図９に示すようなまとめ資料を生成することができる。なお、図９は、まとめ資料の一例を示す図である。ここでは、内視鏡による切除範囲８０１、及び開腹手術による切除範囲８０２が、それぞれの説明箇所の予め定められた近傍に配置される。このように、まとめ資料生成部２０９は、個々の説明箇所での説明内容をより分かりやすく配置したまとめ資料を生成することができるようになる。
【００５７】
なお、まとめ資料生成部２０９は、説明箇所が同等の内容であるか否かを、文書構造を解析して判定する。例えば、３章が治療方法の説明、３．２節が内視鏡による手術の説明、３．３節が開腹手術の説明、といった場合であれば、まとめ資料生成部２０９は、構造上同等に位置する両者を同等の内容とみなすようにすれば良い。また、まとめ資料生成部２０９は、実施形態１で述べたように第一の説明資料が予め構造化されている場合は、その構造情報を利用する等して説明箇所が同等の内容であるか否かを判定するようにしても良い。これによって、まとめ資料生成部２０９は、説明箇所毎に説明者によって追加された記述を区別したまとめ資料を生成することができる。また、被説明者は、説明箇所の説明を受けた際に医師が追加した記述が何であったかを区別して知ることができるようになり、個々の説明箇所の状況をより正確に把握しやすくなる。なお、上述した３．２節、３．３節の例では、代替手段が列挙されたような場合について述べた。しかし、これに限らず、例えば同様の文書構造で、手順を説明するような場合も考えられる。そのような場合であっても、まとめ資料生成部２０９は、手順が進むにつれて全てが混在した図ではなく、個々の手順毎の図を示すことができるようになるため、被説明者にとって分かりやすい資料を生成することができる。
【００５８】
＜実施形態７＞
実施形態１に記載したように、基本的には第二の資料は第一の資料の補足説明に用いられる資料であるため、第二資料情報取得部２０６は、第二の資料の資料情報を説明者の行動情報から得る。しかし、第二資料情報取得部２０６は、第二の資料に対する被説明者による行動情報を、説明者の行動情報と併せて取得するようにしても良い。より具体的には、第二の資料を説明者と被説明者とで共有するようなケースが考えられる。例えば、説明者が紙媒体に書いた説明図について、被説明者が前記紙媒体に質問に合わせて書き込みを行った場合、第二資料情報取得部２０６は、これらの書き込み情報も第二の資料の資料情報として利用するようにしても良い。前記書き込み情報は、被説明者が後で医師の説明を思い返すための重要な情報となり得るため、被説明者の理解度の維持に対してより高い効果が期待できる。
【００５９】
＜実施形態８＞
実施形態１においては、第一資料説明箇所同定部２０４が第一の資料の説明箇所を資料の構造単位で同定する例を示したが、これに限るものではない。第一資料説明箇所同定部２０４は、デバイスの精度等の要因で、行動情報を厳密に取得することができないこともある。このような場合であっても、第一資料説明箇所同定部２０４は、おおよその説明箇所を同定することができれば良い。例えば、表示デバイスを利用して医師がページ毎に表示しながら説明するような場合、第一資料説明箇所同定部２０４は、少なくともそれらのページの何れかのページが説明箇所であるとみなすようにしても良い。
【００６０】
また、医師が紙を１ページずつ説明する場合は、第一資料説明箇所同定部２０４は、紙１ページ全体を説明箇所とみなすようにしても良い。そのような場合、そのページから複数回第二の資料に説明の対象が移ることがあり得るが、資料対応付け部２０８は、１ページの説明箇所に対して複数の第二の資料を全て対応付けるようにすれば良い。その結果、まとめ資料生成部２０９は、図１０に示すようなレイアウトのまとめ資料を生成することができる。なお、図１０は、まとめ資料の一例を示す図である。図１０の例で言えば、説明９０１は、第一の資料として医師が説明した１ページであり、第二の資料９０２、９０３は、医師が同ページを参照した直後に作成した図である。これにより、まとめ資料の生成においてデバイス面の制約をより受けないで済むようになる。
【００６１】
＜実施形態９＞
実施形態１においては、第二資料情報取得部２０６が、第二の資料の資料情報として、ペンデバイス経由で取得した図を作成するようなストローク情報を取得する場合を例に述べたが、これに限るものではない。より具体的には、医師は、第二の資料を作成するのではなく、既存の資料を引用するようにしても良い。例えば、物理的な資料であれば、医師は患者に分かりやすい図鑑等を用いること等が考えられる。この場合、行動情報取得部２０１は、第一の資料以外の資料に対するジェスチャ情報を取得するようにする。更に、前記ジェスチャ情報中に、第一の資料以外の資料中の領域を指で示したり囲ったりする情報が含まれている場合、前記示された領域付近の予め定められた範囲の情報を俯瞰位置に予め設置した可視光カメラでキャプチャする。そして、第二資料情報取得部２０６は、そのキャプチャ画像を第二の資料の資料情報として取得する。これにより、まとめ資料生成部２０９は、医師が第二の資料を作成せずに既存の資料を引用した場合においても、患者が説明を受けた際の状況を容易に思い返すことができるまとめ資料を生成することができる。
【００６２】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００６３】
以上、上述した各実施形態によれば、被説明者である患者が説明時の状況を容易に思い返すことができる技術を提供することができる。より具体的には、インフォームドコンセントのための説明時の状況を患者が思い返しやすくするようなまとめ資料を提供することができるようになるため、説明後の患者の理解度を維持しやすくなる。これにより、患者にとっては合意の精度が上がり、より納得のいった状態で治療を受けられるようになる。また医師としても、患者が十分に理解した上での医療行為の合意を得られるようになるため、訴訟のリスク低減や、再説明の手間の抑制といった効果が期待できる。
【００６４】
以上、本発明の好ましい形態について詳述したが、本実施形態は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図１】
2015138457.tif 000003
【図２】
2015138457.tif 000004
【図３】
2015138457.tif 000005
【図４】
2015138457.tif 000006
【図５】
2015138457.tif 000007
【図６】
2015138457.tif 000008
【図７】
2015138457.tif 000009
【図８】
2015138457.tif 000010
【図９】
2015138457.tif 000011
【図１０】
2015138457.tif 000012