(57)【要約】【課題】視線の注視点と音声が発せられた時間との時間差を補正することができる情報処理装置、情報処理方法およびプログラムを提供する。【解決手段】情報処理装置１は、視線データに基づいて、表示部１２が表示する補正用画像の複数の観察箇所の各々に対する利用者の視線の注視度が所定の値以上となる注視期間を解析する解析部１７と、補正用音声データ記憶部１６５が記録する補正用音声データに基づいて、音声データに対して音声が発声された時間を重要音声期間として設定する設定部１８と、注視期間と重要音声期間との時間差を利用者のキャリブレーションデータとして生成して記録部１６へ記録するキャリブレーション生成部１９と、を備える。【選択図】図１
2019202131.tif 000002
【特許請求の範囲】
【請求項１】
複数の観察箇所の各々の座標位置が設定された補正用画像を表示する表示部と、
前記補正用画像の前記複数の観察箇所の各々で発声される音声が設定された補正用音声データを記録する補正用音声データ記録部と、
利用者の視線を連続的に検出することによって視線データを生成する視線検出部と、
前記利用者の音声の入力を受け付けることによって前記視線データと同じ時間軸が対応付けられた音声データを生成する音声入力部と、
前記視線検出部によって生成された視線データに基づいて、前記複数の観察箇所の各々に対する前記利用者の視線の注視度が所定の値以上となる注視期間を解析する解析部と、
前記補正用音声データ記録部が記録する前記補正用音声データに基づいて、前記音声データに対して前記音声が発声された期間を重要音声期間として設定する設定部と、
前記注視期間と前記重要音声期間との時間差に基づき前記利用者のキャリブレーションデータを生成して記録部へ記録するキャリブレーション生成部と、
を備える情報処理装置。
【請求項２】
前記キャリブレーション生成部は、前記注視期間と前記重要音声期間との時間差を複数回算出し、該複数回の算出結果の統計的な特徴に基づき、前記キャリブレーションデータを生成する
請求項１に記載の情報処理装置。
【請求項３】
前記キャリブレーションデータは、前記視線データおよび前記音声データのどちらか一方の開始時刻または終了時刻を基準にしたときの時刻差にかかわるものである
請求項１または２に記載の情報処理装置。
【請求項４】
前記キャリブレーションデータは、前記視線データおよび前記音声データのどちらか一方を基準にしたときの期間の長さにかかわるものである
請求項１または２に記載の情報処理装置。
【請求項５】
前記キャリブレーション生成部は、前記注視期間の開始時刻と前記重要音声期間の開始時刻との時間差または前記注視期間の終了時間と前記重要音声期間の終了時刻の時間差を前記キャリブレーションデータとして生成する
請求項１〜４のいずれか一つに記載の情報処理装置。
【請求項６】
前記設定部は、外部から入力された操作信号に応じて予め指定されたキーワードが発声された期間を前記重要音声期間としてさらに設定する
請求項１〜５のいずれか一つに記載の情報処理装置。
【請求項７】
前記視線検出部は、
前記キャリブレーション生成部が前記キャリブレーションデータを生成した後に、前記利用者の視線を連続的に検出することによって新たな視線データを生成し、
前記音声入力部は、
前記キャリブレーション生成部が前記キャリブレーションデータを生成した後に、前記利用者の音声の入力を受け付けることによって前記新たな視線データと同じ時間軸が対応付けられた新たな音声データを生成し、
前記解析部は、前記新たな視線データに基づいて、前記利用者の視線の新たな注視度が所定の値以上となる新たな注視期間を解析し、
前記設定部は、前記キャリブレーションデータに基づいて、前記新たな注視期間と前記新たな音声データに含まれる新たな重要音声期間の時間差を補正する
請求項１〜６のいずれか一つに記載の情報処理装置。
【請求項８】
前記設定部は、前記新たな音声データに対して、前記新たな注視度と前記キャリブレーションデータとを用いて前記新たな注視度に応じた重要度を割り当てて前記記録部へ記録する
請求項７に記載の情報処理装置。
【請求項９】
前記設定部は、
前記新たな音声データに対して、前記新たな音声データの中で発声された発声期間を設定し、かつ、前記新たな音声データに対して、前記発声期間と前記新たな注視度と前記キャリブレーションデータとを用いて前記新たな注視度に応じた重要度を割り当てて前記記録部へ記録する
請求項７に記載の情報処理装置。
【請求項１０】
前記設定部は、前記新たな音声データの中で所定のキーワードが発声された期間を新たな重要発声期間として設定し、かつ、前記新たな視線データに対して、前記新たな重要発声期間と前記キャリブレーションデータとを用いて前記新たな重要発声期間に応じた重要度を割り当てて前記記録部へ記録する
請求項７に記載の情報処理装置。
【請求項１１】
前記設定部は、前記新たな音声データの中で所定のキーワードが発声された期間を新たな重要発声期間として設定し、かつ、前記新たな視線データに対して、前記新たな注視期間と前記新たな重要発声期間と前記キャリブレーションデータとを用いて前記重要発声期間に応じた重要度を割り当てて前記記録部へ記録する
請求項７に記載の情報処理装置。
【請求項１２】
前記解析部は、
前記視線の移動速度、一定の時間内における前記視線の移動距離、一定領域内における前記視線の滞留時間のいずれか一つを検出することによって、前記注視度を解析する
請求項８〜１１のいずれか一つに記載の情報処理装置。
【請求項１３】
外部から入力される画像データに対応する画像上に前記解析部が解析した前記新たな注視度および該新たな注視度の座標情報を関連付けた視線マッピングデータを生成する生成部をさらに備える
請求項８〜１１のいずれか一つに記載の情報処理装置。
【請求項１４】
前記解析部は、前記新たな視線データに基づいて、前記利用者の視線の軌跡をさらに解析し、
前記生成部は、前記解析部が解析した前記軌跡を前記画像上にさらに関連付けて前記視線マッピングデータを生成する
請求項１３に記載の情報処理装置。
【請求項１５】
前記新たな音声データを文字情報に変換する変換部をさらに備え、
前記生成部は、前記座標情報に前記文字情報をさらに関連付けて前記視線マッピングデータを生成する
請求項１３または１４に記載の情報処理装置。
【請求項１６】
標本を観察する観察倍率を変更可能であり、前記利用者が前記標本の観察像を観察可能な接眼部を有する顕微鏡と、
前記顕微鏡に接続され、前記顕微鏡が結像した前記標本の観察像を撮像することによって画像データを生成する撮像部をさらに備え、
前記視線検出部は、前記顕微鏡の接眼部に設けられ、
前記設定部は、前記観察倍率に応じて前記重要度の重み付けを行う
請求項１３に記載の情報処理装置。
【請求項１７】
被検体に挿入可能な挿入部の先端部に設けられ、被検体内の体内を撮像することによって画像データを生成する撮像部と、視野を変更するための各種の操作の入力を受け付ける操作部と、を有する内視鏡と、
をさらに備える
請求項１３に記載の情報処理装置。
【請求項１８】
前記新たな注視期間に該当する前記新たな注視度を有する前記新たな視線データと、前記新たな重要音声期間に該当する前記重要度を有する前記新たな音声データと、を関連付けたデータを生成する生成部をさらに備える、
請求項８〜１１のいずれか一つに記載の情報処理装置。
【請求項１９】
複数の観察箇所の各々の座標位置が設定された補正用画像を表示する表示ステップと、
利用者の視線を連続的に検出することによって視線データを生成する視線検出ステップと、
前記利用者の音声の入力を受け付けることによって前記視線データと同じ時間軸が対応付けられた音声データを生成する音声入力ステップと、
前記視線検出ステップによって生成された視線データに基づいて、前記複数の観察箇所の各々に対する前記利用者の視線の注視度が所定の値以上となる注視期間を解析する解析ステップと、
前記補正用画像の前記複数の観察箇所の各々で発声される音声が設定された補正用音声データを記録する補正用音声データ記録部が記録する前記補正用音声データに基づいて、前記音声データに対して前記音声が発声された時間を重要音声期間として設定する設定ステップと、
前記注視期間と前記重要音声期間との時間差を前記利用者のキャリブレーションデータとして生成して記録部へ記録するキャリブレーション生成ステップと、
を含む情報処理方法。
【請求項２０】
情報処理装置に、
複数の観察箇所の各々の座標位置が設定された補正用画像を表示する表示ステップと、
利用者の視線を連続的に検出することによって視線データを生成する視線検出ステップと、
前記利用者の音声の入力を受け付けることによって前記視線データと同じ時間軸が対応付けられた音声データを生成する音声入力ステップと、
前記視線検出ステップによって生成された視線データに基づいて、前記複数の観察箇所の各々に対する前記利用者の視線の注視度が所定の値以上となる注視期間を解析する解析ステップと、
前記補正用画像の前記複数の観察箇所の各々で発声される音声が設定された補正用音声データを記録する補正用音声データ記録部が記録する前記補正用音声データに基づいて、前記音声データに対して前記音声が発声された時間を重要音声期間として設定する設定ステップと、
前記注視期間と前記重要音声期間との時間差を前記利用者のキャリブレーションデータとして生成して記録部へ記録するキャリブレーション生成ステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、音声データと視線データとを処理する情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、画像データ等の情報を処理する情報処理装置において、利用者の音声を検出したときから、所定の時間遡った期間において、表示部が表示する画像上における複数の表示領域に対して、利用者の視線が最も長く停留した画像の表示領域を注目情報として検出するとともに、この注目情報と音声とを対応付けて記録する技術が知られている（特許文献１参照）。
【０００３】
また、注視注釈システムにおいて、コンピューティングデバイスの表示デバイスが表示する画像に対して、注視追跡デバイスによって検出された利用者が注視する注視点の近くに注釈アンカーを表示するとともに、この注釈アンカーに音声によって情報を入力する技術が知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２８２３４３号公報
【特許文献２】特開２０１６−１８１２４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、使用者によっては、視線の注視点と音声を発する時間とが異なる場合がある。しかしながら、上述した特許文献１，２では、視線の注視点と音声が発せられた時間との時間差については何ら考慮されていなかった。
【０００６】
本発明は、上記に鑑みてなされたものであって、視線の注視点と音声が発せられた時間との時間差を使用者に合わせて補正することができる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本開示に係る情報処理装置は、複数の観察箇所の各々の座標位置が設定された補正用画像を表示する表示部と、前記補正用画像の前記複数の観察箇所の各々で発声される音声が設定された補正用音声データを記録する補正用音声データ記録部と、利用者の視線を連続的に検出することによって視線データを生成する視線検出部と、前記利用者の音声の入力を受け付けることによって前記視線データと同じ時間軸が対応付けられた音声データを生成する音声入力部と、前記視線検出部によって生成された視線データに基づいて、前記複数の観察箇所の各々に対する前記利用者の視線の注視度が所定の値以上となる注視期間を解析する解析部と、前記補正用音声データ記録部が記録する前記補正用音声データに基づいて、前記音声データに対して前記音声が発声された期間を重要音声期間として設定する設定部と、前記注視期間と前記重要音声期間との時間差に基づき前記利用者のキャリブレーションデータを生成して記録部へ記録するキャリブレーション生成部と、を備える。
【０００８】
また、本開示に係る情報処理装置は、上記開示において、前記キャリブレーション生成部は、前記注視期間と前記重要音声期間との時間差を複数回算出し、該複数回の算出結果の統計的な特徴に基づき、前記キャリブレーションデータを生成する。
【０００９】
また、本開示に係る情報処理装置は、上記開示において、前記キャリブレーションデータは、前記視線データおよび前記音声データのどちらか一方の開始時刻または終了時刻を基準にしたときの時刻差にかかわるものである。
【００１０】
また、本開示に係る情報処理装置は、上記開示において、前記キャリブレーションデータは、前記視線データおよび前記音声データのどちらか一方を基準にしたときの期間の長さにかかわるものである。
【００１１】
また、本開示に係る情報処理装置は、上記開示において、前記キャリブレーション生成部は、前記注視期間の開始時刻と前記重要音声期間の開始時刻との時間差または前記注視期間の終了時間と前記音声重要期間の終了時刻の時間差を前記キャリブレーションデータとして生成する。
【００１２】
また、本開示に係る情報処理装置は、上記開示において、前記設定部は、外部から入力された操作信号に応じて予め指定されたキーワードが発声された期間を前記重要音声期間としてさらに設定する。
【００１３】
また、本開示に係る情報処理装置は、上記開示において、前記視線検出部は、前記キャリブレーション生成部が前記キャリブレーションデータを生成した後に、前記利用者の視線を連続的に検出することによって得られる新たな視線データを取得し、前記音声入力部は、前記キャリブレーション生成部が前記キャリブレーションデータを生成した後に、前記利用者の音声の入力を受け付けることによって得られ、前記新たな視線データと同じ時間軸が対応付けられた新たな音声データを生成し、前記解析部は、前記新たな視線データに基づいて、前記利用者の視線の新たな注視度が所定の値以上となる新たな注視期間を解析し、前記設定部は、前記キャリブレーションデータに基づいて、前記新たな注視期間と前記新たな音声データに含まれる新たな重要音声期間の時間差を補正する。
【００１４】
また、本開示に係る情報処理装置は、上記開示において、前記設定部は、前記新たな音声データに対して、前記新たな注視度と前記キャリブレーションデータとを用いて前記新たな注視度に応じた重要度を割り当てて前記記録部へ記録する。
【００１５】
また、本開示に係る情報処理装置は、上記開示において、前記設定部は、前記新たな音声データに対して、前記新たな音声データの中で発声された発声期間を設定し、かつ、前記新たな音声データに対して、前記発声期間と前記新たな注視度と前記キャリブレーションデータとを用いて前記新たな注視度に応じた重要度を割り当てて前記記録部へ記録する。
【００１６】
また、本開示に係る情報処理装置は、上記開示において、前記設定部は、前記新たな音声データの中で所定のキーワードが発声された期間を新たな重要発声期間として設定し、かつ、前記新たな視線データに対して、前記新たな重要発声期間と前記キャリブレーションデータとを用いて前記新たな重要発声期間に応じた重要度を割り当てて前記記録部へ記録する。
【００１７】
また、本開示に係る情報処理装置は、上記開示において、前記設定部は、前記新たな音声データの中で所定のキーワードが発声された期間を新たな重要発声期間として設定し、かつ、前記新たな視線データに対して、前記新たな注視期間と前記新たな重要発声期間と前記キャリブレーションデータとを用いて前記重要発声期間に応じた重要度を割り当てて前記記録部へ記録する。
【００１８】
また、本開示に係る情報処理装置は、上記開示において、前記解析部は、前記視線の移動速度、一定の時間内における前記視線の移動距離、一定領域内における前記視線の滞留時間のいずれか一つを検出することによって、前記注視度を解析する。
【００１９】
また、本開示に係る情報処理装置は、上記開示において、外部から入力される画像データに対応する画像上に前記解析部が解析した前記新たな注視度および該新たな注視度の座標情報を関連付けた視線マッピングデータを生成する生成部をさらに備える。
【００２０】
また、本開示に係る情報処理装置は、上記開示において、前記解析部は、前記新たな視線データに基づいて、前記利用者の視線の軌跡をさらに解析し、前記生成部は、前記解析部が解析した前記軌跡を前記画像上にさらに関連付けて前記視線マッピングデータを生成する。
【００２１】
また、本開示に係る情報処理装置は、上記開示において、前記新たな音声データを文字情報に変換する変換部をさらに備え、前記生成部は、前記座標情報に前記文字情報をさらに関連付けて前記視線マッピングデータを生成する。
【００２２】
また、本開示に係る情報処理装置は、上記開示において、標本を観察する観察倍率を変更可能であり、前記利用者が前記標本の観察像を観察可能な接眼部を有する顕微鏡と、前記顕微鏡に接続され、前記顕微鏡が結像した前記標本の観察像を撮像することによって画像データを生成する撮像部をさらに備え、前記視線検出部は、前記顕微鏡の接眼部に設けられ、前記設定部は、前記観察倍率に応じて前記重要度の重み付けを行う。
【００２３】
また、本開示に係る情報処理装置は、上記開示において、被検体に挿入可能な挿入部の先端部に設けられ、被検体内の体内を撮像することによって画像データを生成する撮像部と、視野を変更するための各種の操作の入力を受け付ける操作部と、を有する内視鏡と、をさらに備える。
【００２４】
また、本開示に係る情報処理装置は、上記開示において、前記新たな注視期間に該当する前記新たな注視度を有する前記新たな視線データと、前記新たな重要音声期間に該当する前記重要度を有する前記新たな音声データと、を関連付けたデータを生成する生成部をさらに備える。
【００２５】
また、本開示に係る情報処理方法は、複数の観察箇所の各々の座標位置が設定された補正用画像を表示する表示ステップと、利用者の視線を連続的に検出することによって視線データを生成する視線検出ステップと、前記利用者の音声の入力を受け付けることによって前記視線データと同じ時間軸が対応付けられた音声データを生成する音声入力ステップと、前記視線検出ステップによって生成された視線データに基づいて、前記複数の観察箇所の各々に対する前記利用者の視線の注視度が所定の値以上となる注視期間を解析する解析ステップと、前記補正用画像の前記複数の観察箇所の各々で発声される音声が設定された補正用音声データを記録する補正用音声データ記録部が記録する前記補正用音声データに基づいて、前記音声データに対して前記音声が発声された時間を重要音声期間として設定する設定ステップと、前記注視期間と前記重要音声期間との時間差を前記利用者のキャリブレーションデータとして生成して記録部へ記録するキャリブレーション生成ステップと、を含む。
【００２６】
また、本開示に係るプログラムは、情報処理装置に、複数の観察箇所の各々の座標位置が設定された補正用画像を表示する表示ステップと、利用者の視線を連続的に検出することによって視線データを生成する視線検出ステップと、前記利用者の音声の入力を受け付けることによって前記視線データと同じ時間軸が対応付けられた音声データを生成する音声入力ステップと、前記視線検出ステップによって生成された視線データに基づいて、前記複数の観察箇所の各々に対する前記利用者の視線の注視度が所定の値以上となる注視期間を解析する解析ステップと、前記補正用画像の前記複数の観察箇所の各々で発声される音声が設定された補正用音声データを記録する補正用音声データ記録部が記録する前記補正用音声データに基づいて、前記音声データに対して前記音声が発声された時間を重要音声期間として設定する設定ステップと、前記注視期間と前記重要音声期間との時間差を前記利用者のキャリブレーションデータとして生成して記録部へ記録するキャリブレーション生成ステップと、を実行させる。
【発明の効果】
【００２７】
本開示によれば、視線の注視点と音声が発せられた時間との時間差を補正することができるという効果を奏する。
【図面の簡単な説明】
【００２８】
【図１】図１は、本開示の実施の形態１に係る情報処理装置の機能構成を示すブロック図である。
【図２】図２は、本開示の実施の形態１に係る情報処理装置が実行する処理の概要を示すフローチャートである。
【図３】図３は、本開示の実施の形態１に係る解析部による視線の注視度が所定の値以上となる注視期間の解析方法を模式的に説明する図である。
【図４】図４は、本開示の実施の形態１に係る設定部による音声データの重要音声期間の設定方法を模式的に説明する図である。
【図５Ａ】図５Ａは、本開示の実施の形態１に係るキャリブレーション生成部によるキャリブレーションデータの生成方法を模式的に説明する図である。
【図５Ｂ】図５Ｂは、本開示の実施の形態１に係るキャリブレーション生成部によるキャリブレーションデータの別の生成方法を模式的に説明する図である。
【図６Ａ】図６Ａは、本開示の実施の形態２に係る情報処理装置の機能構成を示すブロック図である。
【図６Ｂ】図６Ｂは、本開示の実施の形態２に係る情報処理装置が実行する処理の概要を示すフローチャートである。
【図７Ａ】図７Ａは、本開示の実施の形態２の変形例に係る情報処理装置の機能構成を示すブロック図である。
【図７Ｂ】図７Ｂは、本開示の実施の形態２の変形例に係る情報処理装置が実行する処理の概要を示すフローチャートである。
【図８】図８は、本開示の実施の形態３に係る情報処理システムの機能構成を示すブロック図である。
【図９】図９は、本開示の実施の形態３に係る情報処理装置が実行する処理の概要を示すフローチャートである。
【図１０】図１０は、本開示の実施の形態３に係る表示部が表示する画像の一例を模式的に示す図である。
【図１１】図１１は、本開示の実施の形態３に係る表示部が表示する画像の別の一例を模式的に示す図である。
【図１２】図１２は、本開示の実施の形態３の変形例に係る情報処理システムの機能構成を示すブロック図である。
【図１３】図１３は、本開示の実施の形態３の変形例に係る情報処理装置が実行する処理の概要を示すフローチャートである。
【図１４】図１４は、本開示の実施の形態４に係る情報処理装置の構成を示す概略図である。
【図１５】図１５は、本開示の実施の形態４に係る情報処理装置の構成を示す概略図である。
【図１６】図１６は、本開示の実施の形態４に係る情報処理装置の機能構成を示すブロック図である。
【図１７】図１７は、本開示の実施の形態４に係る情報処理装置が実行する処理の概要を示すフローチャートである。
【図１８】図１８は、本開示の実施の形態４に係る表示部が表示する視線マッピング画像の一例を示す図である。
【図１９Ａ】図１９Ａは、本開示の実施の形態４に係る表示部が表示する視線マッピング画像の別の一例を示す図である。
【図１９Ｂ】図１９Ｂは、本開示の実施の形態４の変形例に係る視線データと音声データの関連付けられたデータの一例を示す図である。
【図２０】図２０は、本開示の実施の形態５に係る顕微鏡システムの構成を示す概略図である。
【図２１】図２１は、本開示の実施の形態５に係る顕微鏡システムの機能構成を示すブロック図である。
【図２２】図２２は、本開示の実施の形態５に係る顕微鏡システムが実行する処理の概要を示すフローチャートである。
【図２３】図２３は、本開示の実施の形態６に係る内視鏡システムの構成を示す概略図である。
【図２４】図２４は、本開示の実施の形態６に係る内視鏡システムの機能構成を示すブロック図である。
【図２５】図２５は、本開示の実施の形態６に係る内視鏡システムが実行する処理の概要を示すフローチャートである。
【図２６】図２６は、本開示の実施の形態６に係る画像データ記録部が記録する複数の画像データに対応する複数の画像の一例を模式的に示す図である。
【図２７】図２７は、本開示の実施の形態６に係る画像処理部が生成する統合画像データに対応する統合画像の一例を示す図である。
【図２８】図２８は、本開示の実施の形態７に係る情報処理システムの機能構成を示すブロック図である。
【図２９】図２９は、本開示の実施の形態７に係る情報処理システムが実行する処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００２９】
以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものではない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものでない。
【００３０】
（実施の形態１）
〔情報処理装置の構成〕
図１は、実施の形態１に係る情報処理装置の機能構成を示すブロック図である。図１に示す情報処理装置１は、視線検出部１０と、音声入力部１１と、表示部１２と、操作部１３と、制御部１４と、時間計測部１５と、記録部１６と、解析部１７と、設定部１８と、キャリブレーション生成部１９と、プログラム記憶部１６４と、補正用音声データ記憶部１６５と、キャリブレーションデータ記憶部１６６と、を備える。
【００３１】
視線検出部１０は、近赤外線を照射するＬＥＤ光源と、角膜上の瞳孔点と反射点を撮像する光学センサ（例えばＣＭＯＳ、ＣＣＤ等）と、を用いて構成される。視線検出部１０は、制御部１４の制御のもと、表示部１２が表示する補正用画像に対する利用者の視線を検出することによって視線データを生成し、この視線データを制御部１４へ出力する。具体的には、視線検出部１０は、制御部１４の制御のもと、ＬＥＤ光源等から近赤外線を利用者の角膜に照射し、光学センサが利用者の角膜上の瞳孔点と反射点を撮像することによって視線データを生成する。そして、視線検出部１０は、制御部１４の制御のもと、光学センサによって生成されたデータに対して画像処理等によって解析した解析結果に基づいて、利用者の瞳孔点と反射点のパターンから利用者の視線や視線を連続的に算出することによって所定時間の視線データを生成し、この視線データを後述する視線検出制御部１４１へ出力する。なお、視線検出部１０は、単に光学センサのみで利用者の瞳を周知のパターンマッチングを用いることによって瞳を検出することによって、利用者の視線を検出した視線データを生成してもよいし、他のセンサや他の周知技術を用いて利用者の視線を検出することによって視線データを生成してもよい。
【００３２】
音声入力部１１は、音声が入力されるマイクと、マイクが入力を受け付けた音声をデジタルの音声データに変換するとともに、この音声データを増幅することによって制御部１４へ出力する音声コーデックと、を用いて構成される。音声入力部１１は、制御部１４の制御のもと、利用者の音声の入力を受け付けることによって音声データを生成し、この音声データを制御部１４へ出力する。なお、音声入力部１１は、音声の入力以外にも、音声を出力することができるスピーカ等を設け、音声出力機能を設けてもよい。
【００３３】
表示部１２は、制御部１４の制御のもと、複数の観察箇所の各々の座標位置が設定された補正用画像を表示する。表示部１２は、液晶または有機ＥＬ（Electro  Luminescence）等の表示パネル等を用いて構成される。
【００３４】
操作部１３は、情報処理装置１に関する各種操作の入力を受け付ける。操作部１３は、例えば、スイッチ、タッチパネル、キーボードおよびマウス等を用いて構成される。
【００３５】
制御部１４は、ＣＰＵ（Central  Processing  Unit）、ＦＰＧＡ（Field  Programmable  Gate  Array）およびＧＰＵ（Graphics  Processing  Unit）等を用いて構成され、視線検出部１０、音声入力部１１および表示部１２を制御する。制御部１４は、視線検出制御部１４１と、音声入力制御部１４２と、表示制御部１４３と、を有する。
【００３６】
視線検出制御部１４１は、視線検出部１０を制御する。具体的には、視線検出制御部１４１は、視線検出部１０を所定のタイミング毎に近赤外線を利用者Ｕ１へ照射させるとともに、利用者Ｕ１の瞳を視線検出部１０に撮像させることによって視線データを生成させる。また、視線検出制御部１４１は、視線検出部１０から入力された視線データに対して、各種の画像処理を行って記録部１６へ出力する。
【００３７】
音声入力制御部１４２は、音声入力部１１を制御し、音声入力部１１から入力された音声データに対して各種の処理、例えばゲインアップやノイズ低減処理等を行って記録部１６へ出力する。
【００３８】
表示制御部１４３は、表示部１２の表示態様を制御する。表示制御部１４３は、記録部１６に記録された画像データに対応する画像または生成部１１３によって生成された視線マッピングデータに対応する視線マッピング画像を表示部１２に表示させる。
【００３９】
時間計測部１５は、タイマーやクロックジェネレータ等を用いて構成され、視線検出部１０によって生成された視線データおよび音声入力部１１によって生成された音声データ等に対して時刻情報を付与する。
【００４０】
記録部１６は、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成され、情報処理装置１ｂに関する各種の情報を記録する。記録部１６は、視線データ記録部１６１と、音声データ記録部１６２と、画像データ記録部１６３と、を有する。
【００４１】
視線データ記録部１６１は、視線検出制御部１４１から入力された視線データを記録するとともに、視線データを解析部１７へ出力する。
【００４２】
音声データ記録部１６２は、音声入力制御部１４２から入力された音声データを記録するとともに、音声データを変換部１３５へ出力する。
【００４３】
画像データ記録部１６３は、複数の画像データを記録する。具体的には、画像データ記録部１６３は、複数の観察箇所の各々の座標位置が設定された補正用画データを記録する。
【００４４】
プログラム記憶部１６４は、情報処理装置１ｂが実行する各種プログラム、各種プログラムの実行中に使用するデータ（例えば辞書情報やテキスト変換辞書情報）および各種プログラムの実行中の処理データを記憶する。
【００４５】
補正用音声データ記憶部１６５は、表示部１２が表示する補正用画像の複数の観察箇所の各々で発声される音声が設定された補正用音声データを記憶する。
【００４６】
キャリブレーションデータ記憶部１６６は、後述するキャリブレーション生成部１９によって生成されたキャリブレーションデータを記憶する。
【００４７】
解析部１７は、視線データ記録部１６１が記録する視線データに基づいて、表示部１２が表示する補正用画像上における複数の観察箇所の各々に対する利用者の視線の注視度が所定の値以上となる注視期間を解析する。具体的には、解析部１７は、視線データに基づいて、視線の移動速度、一定の時間内における視線の移動距離、一定領域内における視線の滞留時間のいずれか１つを検出することによって、視線（注視点）の注視度が所定の値以上となる注視期間を解析する。解析部１７は、例えばＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。
【００４８】
設定部１８は、補正用音声データ記憶部１６５が記録する補正用音声データに基づいて、音声データ記録部１６２が記録する音声データに対して補正用画像における複数の観察箇所の各々で発声される音声が発声された期間（時間）を重要音声期間として設定する。設定部１８は、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。
【００４９】
キャリブレーション生成部１９は、解析部１７によって解析された注視期間と設定部１８によって設定された重要音声期間との時間差を利用者のキャリブレーションデータとして生成して記録部１６のキャリブレーションデータ記憶部１６６へ記録する。キャリブレーションデータは、前記視線データおよび前記音声データのどちらか一方の開始時刻または終了時刻を基準にしたときの時刻差、または視線データおよび音声データのどちらか一方を基準にしたときの期間の長さにかかわるものである。なお、キャリブレーション生成部１９は、注視期間と重要音声期間との時間差を複数回算出し、この複数回の算出結果の統計的な特徴に基づき、キャリブレーションデータを生成する。また、キャリブレーション生成部１９は、注視期間の開始時刻と重要期間の開始時刻との時間差または注視期間の終了時間と音声重要期間の終了時刻の時間差をキャリブレーションデータとして生成してもよい。例えば、校正者や利用者は、図示していないが、補正用の画像の表示と重要単語の両方を用意する。具体的には、顕微鏡の画像の場合、校正者や利用者は、あらかじめ所定の病変が有ることが分かっている画像を用意し、重要単語としては、その病変にかかわる用語（キーワード）を用意する。キャリブレーション生成部１９は、使用者が病変に着目してから所定の重要単語を発するまでの時間差を計測することでキャリブレーションデータとしてもよい。また、キャリブレーション生成部１９は、キャリブレーションデータの精度を上げるために、複数回の測定を行うことが望ましい。
【００５０】
〔情報処理装置の処理〕
次に、情報処理装置１が実行する処理について説明する。図２は、情報処理装置１が実行する処理の概要を示すフローチャートである。
【００５１】
図２に示すように、まず、表示制御部１４３は、画像データ記録部１６３が記録する補正用画像データに対応する補正用画像を表示部１２に表示させる（ステップＳ１０１）。
【００５２】
続いて、制御部１４は、視線検出部１０によって生成された視線データおよび音声入力部１１によって生成された音声データの各々と時間計測部１３３によって計測された時間とを対応付けて視線データ記録部１６１および音声データ記録部１６２に記録する（ステップＳ１０２）。
【００５３】
その後、操作部１３から表示部１２が表示する補正用画像の観察を終了する指示信号が入力された場合（ステップＳ１０３：Ｙｅｓ）、情報処理装置１は、後述するステップＳ１０３へ移行する。これに対して、操作部１３から表示部１２が表示する補正用画像の観察を終了する指示信号が入力されていない場合（ステップＳ１０３：Ｎｏ）、情報処理装置１は、上述したステップＳ１０２へ戻る。
【００５４】
ステップＳ１０４において、解析部１７は、視線データ記録部１６１が記録する視線データに基づいて、表示部１２が表示する補正用画像上における複数の観察箇所の各々に対する利用者の視線の注視度が所定の値以上となる注視期間を解析する。ステップＳ１０４の後、情報処理装置１は、後述するステップＳ１０５へ移行する。
【００５５】
図３は、解析部１７による視線の注視度が所定の値以上となる注視期間の解析方法を模式的に説明する図である。図３の（ａ）および図３の（ｂ）において、横軸が時間を示し、図３の（ａ）の縦軸が移動速度を示し、図３の（ｂ）の縦軸が注視度を示す。また、図３の（ａ）の曲線Ｌ１が視線の移動速度の時間変化を示し、図３の（ｂ）の曲線Ｌ２が注視度の時間変化を示す。
【００５６】
一般には、視線の移動速度が大きいほど、利用者の注視度が低く、視線の移動速度が小さいほど、利用者の視線の注視度が高いと解析することができる。即ち、図３の曲線Ｌ１および曲線Ｌ２に示すように、解析部１７は、利用者の視線の移動速度が大きいほど、利用者の視線の注視度が低いと解析し、視線の移動速度が小さいほど（視線の移動速度が小さい注視期間Ｄ１を参照）、利用者の視線の注視度が高いと解析する。このように、解析部１７は、利用者が補正用画像の観察や読影を行っている時間の視線データに対して、利用者の視線の注視度を解析し、かつ、この注視度が所定の値以上となる注視期間（例えば注視期間Ｄ１）として解析する。なお、図３では、解析部１７は、利用者の視線の移動速度を解析することによって、利用者の視線の注視度を解析していたが、これに限定されることなく、一定の時間内における利用者の視線の移動距離および一定領域内における利用者の視線の滞留時間のいずれか１つを検出することによって、視線の注視度を解析してもよい。
【００５７】
図２に戻り、ステップＳ１０５以降の説明を続ける。
ステップＳ１０５において、設定部１８は、補正用音声データ記憶部１６５が記録する補正用音声データに基づいて、音声データ記録部１６２が記録する音声データに対して補正用画像における複数の観察箇所の各々で発声される音声が発声された時間を重要音声期間として設定する。ステップＳ１０５の後、情報処理装置１は、後述するステップＳ１０６へ移行する。
【００５８】
図４は、設定部１８による音声データの重要音声期間の設定方法を模式的に説明する図である。図４において、横軸が時間を示し、図４の（ａ）の縦軸が音声データ（発音）を示し、図４の（ｂ）の縦軸が音声重要度を示す。また、図４の（ａ）の曲線Ｌ３が音声データの時間変化を示し、図４の（ｂ）の曲線Ｌ４が音声データの音声重要度の時間変化を示す。
【００５９】
図４の曲線Ｌ３および曲線Ｌ４に示すように、設定部１８は、補正用音声データ記憶部１６５が記録する補正用音声データに基づいて、音声データ記録部１６２が記録する音声データに対して補正用画像における複数の観察箇所の各々で発声される音声が発声された期間（時間）を重要音声期間として設定する。例えば、設定部１８は、補正用音声データ記憶部１６５が記録する補正用音声データに「癌」がある場合、利用者が「癌」を発声した時間（音声重要区間Ｄ２）を重要音声期間として設定する。
【００６０】
図２に戻り、ステップＳ１０６以降の説明を続ける。
ステップＳ１０６において、キャリブレーション生成部１９は、キャリブレーションデータを生成する。ステップＳ１０６の後、情報処理装置１は、後述するステップＳ１０７へ移行する。
【００６１】
図５Ａは、キャリブレーション生成部１９によるキャリブレーションデータの生成方法を模式的に説明する図である。図５Ａにおいて、横軸が時間を示し、図５Ａの（ａ）の縦軸が注視度を示し、図５Ａの（ｂ）の縦軸が音声重要度を示す。また、図５Ａの（ａ）の曲線Ｌ２が注視度の時間変化を示し、図５Ａの（ｂ）の曲線Ｌ４が音声重要度の時間変化を示す。
【００６２】
図５Ａの曲線Ｌ２および曲線Ｌ４に示すように、キャリブレーション生成部１９は、解析部１７によって解析された注視期間Ｄ１の開始時刻ｔ１と設定部１８によって設定された重要音声期間Ｄ２の開始時刻ｔ２との時間差Ｄ３を利用者のキャリブレーションデータとして生成する。
【００６３】
また、この変形例として、使用者の注視度が高い期間と重要単語を発話する期間とのタイミングが測定毎にばらつく場合は、そのばらつき期間を考慮してもよい。すなわち、図５Ｂで示すように、キャリブレーション生成部１９は、ばらつきの大きさに応じて、時間枠を設定する前後のマージンＤＤ２，ＤＤ３を調整し、ばらつきが大きいほどマージンを大きくしたキャリブレーションデータとする。
【００６４】
図２に戻り、ステップＳ１０７以降の説明を続ける。
ステップＳ１０７において、キャリブレーション生成部１９は、ステップＳ１０６で生成したキャリブレーションデータをキャリブレーションデータ記憶部１６６に記録する。ステップＳ１０７の後、情報処理装置１は、本処理を終了する。
【００６５】
以上説明した実施の形態１によれば、キャリブレーション生成部１９が解析部１７によって解析された注視期間Ｄ１と設定部１８によって設定された重要音声期間Ｄ２との時間差Ｄ３を利用者のキャリブレーションデータとして生成するので、視線の注視点と音声が発せられた時間との時間差を補正することができる。
【００６６】
また、実施の形態１によれば、キャリブレーション生成部１９が解析部１７によって解析された注視期間Ｄ１の開始時刻ｔ１と設定部１８によって設定された重要音声期間Ｄ２の開始時刻ｔ２との時間差Ｄ３を利用者のキャリブレーションデータとして生成するので、視線の注視点と音声が発せられた時間との時間差をより正確に補正することができる。
【００６７】
なお、実施の形態１では、キャリブレーション生成部１９が複数の注視期間と複数の重要音声期間の各々の時間差を複数回算出し、この複数回の算出結果の統計的な特徴に基づき、キャリブレーションデータを生成してもよい。これにより視線の注視点と音声が発せられた時間との時間差をより正確に補正することができる。
【００６８】
（実施の形態２）
次に、本開示の実施の形態２について説明する。上述した実施の形態１では、設定部１８が補正用音声データに基づいて、音声データの重要音声期間を設定していたが、実施の形態２では、操作部１３から入力された操作信号に応じて予め指定されたキーワードが発声された期間を音声データの重要音声期間として設定する。以下においては、実施の形態２に係る情報処理装置の構成を説明後、実施の形態２に係る情報処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る情報処理装置１と同一の構成には同一の符号を付して詳細な説明は省略する。
【００６９】
〔情報処理装置の構成〕
図６Ａは、実施の形態２に係る情報処理装置の機能構成を示すブロック図である。図６Ａに示す情報処理装置１ａは、上述した実施の形態１に係る情報処理装置１の記録部１６に換えて、記録部１６ａを備える。さらに、情報処理装置１ａは、変換部２０と、抽出部２１と、重要単語記憶部１６８と、を備える。
【００７０】
記録部１６ａは、上述した実施の形態１に係る記録部１６の構成に加えて、操作部１３から過去に入力された複数のキーワードを記録するキーワード履歴記録部１６７を備える。ここで、過去に入力された複数のキーワードとは、例えば、操作部１３を経由して過去に入力された単語の頻度を解析することで設定されたキーワードを抽出したものである。
【００７１】
変換部２０は、音声データに対して周知のテキスト変換処理を行うことによって、音声データを文字情報（テキストデータ）に変換し、この文字情報を抽出部２１へ出力する。
なお、音声の文字変換はこの時点で行わない構成も可能であり、その際には、音声情報のまま重要度を設定し、その後文字情報に変換するようにしても良い。
【００７２】
抽出部２１は、操作部１３から入力された指示信号に対応するキーワード、キーワード履歴記録部１６７が記録するキーワードおよび重要単語記憶部１６８が記録するキーワードを、変換部２０によって変換された文字情報から抽出し、この抽出結果を設定部１８へ出力する。
【００７３】
重要単語記憶部１６８は、予め設定された重要単語である複数のキーワードを記憶する。ここで、予め設定された重要単語とは、情報処理装置１ａが出荷させる前または図示しないネットワークを経由してメーカ等によって設定された単語（キーワード）である。
【００７４】
〔情報処理装置の処理〕
次に、情報処理装置１ａが実行する処理について説明する。図６Ｂは、情報処理装置１ａが実行する処理の概要を示すフローチャートである。図６Ｂにおいて、ステップＳ２０１およびステップＳ２０２は、上述した図２のステップＳ１０１およびステップＳ１０３それぞれに対応する。
【００７５】
ステップＳ２０３において、変換部２０は、音声データ記録部３４２が記録する音声データを文字情報に変換する。ステップＳ２０３の後、情報処理装置１ａは、後述するステップＳ２０４へ移行する。ステップＳ２０４およびステップＳ２０５は、上述した図２のステップＳ１０３およびステップＳ１０４それぞれに対応する。ステップＳ２０５の後、情報処理装置１ａは、ステップＳ２０６へ移行する。
【００７６】
続いて、抽出部２１は、変換部２０が変換した文字情報からキーワード履歴記録部１６７が記録するキーワードまたは重要単語記憶部１６８が記録するキーワードが出現する発声時間を抽出する（ステップＳ２０６）。
【００７７】
その後、設定部１８は、抽出部２１が抽出した発声時間に基づいて、音声データ記録部１６２が記録する音声データに対して補正用画像における複数の観察箇所の各々で発声される音声が発声された時間を重要音声期間として設定する（ステップＳ２０７）。
【００７８】
ステップＳ２０８およびステップＳ２０９は、上述した図２のステップＳ１０６およびステップＳ１０７それぞれに対応する。ステップＳ２０９の後、情報処理装置１ａは、本処理を終了する。
【００７９】
以上説明した実施の形態２によれば、キャリブレーション生成部１９が解析部１７によって解析された注視期間の開始時刻と設定部１８によって設定された重要音声期間の開始時刻との時間差を利用者のキャリブレーションデータとして生成するので、視線の注視点と音声が発せられた時間との時間差を補正することができる。なお、実施形態１と同様に複数回の測定においてばらつきが生じる場合はそれを考慮したキャリブレーションデータとする。
【００８０】
（実施の形態２の変形例）
次に、本開示の実施の形態の変形例について説明する。上述した実施の形態１では、設定部１８が補正用音声データに基づいて、音声データの重要音声期間を設定していたが、実施の形態２の変形例では、音声データを文字情報に変換せずに音声が発せられた期間を重要音声期間として設定する。以下においては、実施の形態の変形例に係る情報処理装置の構成を説明後、実施の形態２の変形例に係る情報処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る情報処理装置１と同一の構成には同一の符号を付して詳細な説明は省略する。
【００８１】
〔情報処理装置の構成〕
図７Ａは、実施の形態２の変形例に係る情報処理装置の機能構成を示すブロック図である。図７Ａに示す情報処理装置１ａｂは、上述した実施の形態１に係る情報処理装置１から、補正用音声データ記憶部１６５を削除した構成となっている。また、設定部１８ａｂは実施の形態１に係る情報処理装置１の設定部１８と異なり、音声データ記録部１６２から出力された音声データのうち、音声の内容に関わらず発話がある重要音声期間であって、例えば音量を表すレベルが所定の期間において一定値を超えている、と認識される期間を重要音声期間として設定する。
【００８２】
〔情報処理装置の処理〕
次に、情報処理装置１ａｂが実行する処理について説明する。図７Ｂは、情報処理装置ａｂが実行する処理の概要を示すフローチャートである。図７Ｂにおいて、ステップＳ２１１、ステップＳ２１２、ステップＳ２１３、及びステップＳ２１４は、上述した図２のステップＳ１０１、ステップＳ１０２、ステップＳ１０３およびステップＳ１０４にそれぞれに対応する。
【００８３】
ステップＳ２１５において、設定部１８ａｂは、音声データ記録部１６２が記録する音声データに対して内容によらず補正用画像における複数の観察箇所の各々で発声される音声が発声された時間を重要音声期間として設定する。ステップＳ２１５の後、情報処理装置１ａｂは、後述するステップＳ２１６へ移行する。
【００８４】
ステップＳ２１６、及びステップＳ２１７は、上述した図２のステップＳ１０６およびステップＳ１０７それぞれに対応する。ステップＳ２１７の後、情報処理装置１ａａは、本処理を終了する。
【００８５】
ここで、重要音声期間としては、発せられた言葉の内容によらず、注視期間の近傍時間（注視期間及びその前後の所定の期間）で声が発せられた期間で定義するようにしている。具体的には、設定部１８ａｂは、注視期間の近傍時間内における音声期間が複数存在する場合、例えば最も音量（レベル）の大きい音声が発せられた期間を重要音声期間として、および注視期間の中央との時間差が最小となる音声が発せられた期間を重要音声期間として、いずれかを１つ以上を設定する。
【００８６】
また、キャリブレーションデータのもととなる注視期間と重要な音声期間の時間差としては、上述した図５Ａおよび図５Ｂにある注視期間の開始時刻と重要音声期間の開始時刻、または注視期間の終了時刻と重要音声期間の終了時刻の少なくとも一方とだけに限定されるわけでない。具体的には、キャリブレーションデータのもととなる注視期間と重要な音声期間の時間差としては、注視期間の中間に相当する時刻と重要音声期間の中間に相当する時刻との差、または、注視期間の注目度および重要音声期間の音量（レベル）の大きさと時間を積分することで算出される注視期間および重要音声期間の面積の重心に相当する時刻の差である。
【００８７】
また、キャリブレーション生成部１９は、複数の注視期間と重要音声期間から算出される時間差を統合してキャリブレーションデータを生成するようにしてもよい。キャリブレーション生成部１９は、例えば複数の時間差の平均から一意のキャリブレーションデータを生成する、複数の時間差の統計情報をふまえて、平均から標準偏差の所定の倍数のばらつきを持たせた「時間範囲」としてのキャリブレーションデータを生成してもよい。さらに、キャリブレーション生成部１９は、対応する注視期間と重要音声期間の面積の大きさに応じて重みを乗じて統計情報を算出してキャリブレーションデータを生成ようにしてもよい。
【００８８】
以上説明した実施の形態２の変形例によれば、キャリブレーション生成部１９が解析部１７によって解析された注視期間と設定部１８ａｂによって設定された重要音声期間との時間差に基づき利用者のキャリブレーションデータとして生成するので、視線の注視点と音声が発せられた時間との時間差を補正することができる。
【００８９】
（実施の形態３）
次に、本開示の実施の形態３について説明する。上述した実施の形態１，２では、利用者に対するキャリブレーションデータを生成していたが、実施の形態３では、上述した実施の形態１，２で生成されたキャリブレーションデータを用いて利用者の視線と発声との時間差を補正する。なお、上述した実施の形態１に係る情報処理装置１と同一の構成には同一の符号を付して詳細な説明は省略する。
【００９０】
〔情報処理システムの構成〕
図８は、実施の形態３に係る情報処理システムの機能構成を示すブロック図である。図８に示す情報処理システム１ｃは、外部から入力される視線データ、音声データおよび画像データに対して各種の処理を行う情報処理装置１００と、情報処理装置１００から出力された各種データを表示する表示部１２０と、を備える。なお、情報処理装置１００と表示部１２０は、無線または有線によって双方向に接続されている。
【００９１】
〔情報処理装置の構成〕
まず、情報処理装置１００の構成について説明する。
図８に示す情報処理装置１００は、例えばサーバやパーソナルコンピュータ等にインストールされたプログラムを用いて実現され、ネットワークを経由して各種データが入力される、または外部の装置で取得された各種データが入力される。図１に示すように、情報処理装置１００は、解析部１１１と、設定部１１２と、生成部１１３と、記録部１１４と、表示制御部１１５と、を備える。
【００９２】
解析部１１１は、外部から入力される利用者の視線を検出した所定時間の視線データ（新たな視線データ）に基づいて、利用者の視線の注視度を解析する。ここで、視線データとは、角膜反射法に基づくものである。具体的には、視線データは、上述した実施の形態１の視線検出部１０（アイトラッキング）に設けられたＬＥＤ光源等から近赤外線が利用者の角膜赤に照射された際に、視線検出部１０である光学センサが角膜上の瞳孔点と反射点を撮像することによって生成されたデータである。そして、視線データは、光学センサが角膜上の瞳孔点と反射点を撮像することによって生成されたデータに対して画像処理等を行うことによって解析した解析結果に基づく利用者の瞳孔点と反射点のパターンから利用者の視線を算出したものである。
【００９３】
また、図示していないが、図示しない視線検出部１０を備える装置が視線データを計測する際には、対応する画像データを使用者（利用者）に提示したうえで、視線データを計測している。この場合、図示しない視線検出部１０を備える装置は、使用者に表示している画像が固定している場合、すなわち表示領域の時間とともに絶対座標が変化しないとき、視線に計測領域と画像の絶対座標の相対的に位置関係を固定値として与えていれば良い。ここで、絶対座標とは、画像の所定の１点を基準に表記している座標を指している。
【００９４】
利用形態が内視鏡システムや光学顕微鏡の場合、視線を検出するために提示している視野が画像データの視野となるため、画像の絶対座標にたいする観察視野の相対的な位置関係は変わらない。また、利用形態が内視鏡システムや光学顕微鏡においては、動画として記録している場合、視野のマッピングデータを生成するために、視線検出データと、視線の検出と同時に記録された画像または提示された画像を用いる。
【００９５】
一方で、利用形態がＷＳＩ（Ｗｈｏｌｅ  Ｓｌｉｄｅ  Ｉｍａｇｉｎｇ）では、顕微鏡のスライドサンプルの一部を視野として使用者が観察しており、時刻とともに観察視野が変化する。この場合、全体の画像データのどの部分が視野として提示されている。すなわち全体の画像データに対する表示領域の絶対座標の切り替えの時間情報も、視線・音声の情報と同じく同期化して記録する。
【００９６】
解析部１１１は、外部から入力される利用者の視線を検出した所定時間の視線データに基づいて、視線の移動速度、一定の時間内における視線の移動距離、一定領域内における視線の滞留時間のいずれか１つを検出することによって、視線（注視点）の注視度が所定の値以上となる新たな注視期間を解析する。なお、図示しない視線検出部１０は、所定の場所に載置されることによって利用者を撮像することによって視線を検出するものであってもよいし、利用者が装着することによって利用者を撮像することによって視線を検出するものであってもよい。また、視線データは、これ以外にも、周知のパターンマッチングによって生成されたものであってもよい。解析部１１１は、例えばＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。
【００９７】
設定部１１２は、外部から入力される利用者の音声データ（新たな音声データ）であって、視線データと同じ時間軸が対応付けられた音声データに対して、解析部１１１が解析した注視度およびキャリブレーションデータ記憶部１１６が記録するキャリブレーションデータに応じた重要度を音声データに割り当てて記録部１１４へ記録する。具体的には、設定部１１２は、音声データのフレーム毎に、キャリブレーションデータに基づいて、利用者の音声の発声時間と視線が注視する注視時間との時間差を補正し、この補正した音声データに対して、解析部１１１が解析した注視度に応じた重要度（例えば数値）を割り当てて記録部１１４へ記録する。また、外部から入力される利用者の音声データは、視線データと同じタイミングで図示しないマイク等の音声入力部によって生成されたものである。設定部１１２は、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。
【００９８】
生成部１１３は、外部から入力される画像データに対応する画像上に解析部１１１が解析した注視度を関連付けた視線マッピングデータを生成し、この生成した視線マッピングデータを記録部１１４および表示制御部１１５へ出力する。具体的には、生成部１１３は、外部から入力される画像データに対応する画像上の所定領域毎に、解析部１１１が解析した注視度を画像上の座標情報に関連付けた視線マッピングデータを生成する。さらに、生成部１１３は、注視度に加えて、外部から入力される画像データに対応する画像上に解析部１１１が解析した利用者の視線の軌跡を関連付けて視線マッピングデータを生成する。生成部１１３は、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。上述のWSIで使用する場合は、生成部１１３は、上述の様に視線マッピングデータを画像の絶対座標として得るとき、視線を計測した際の表示と画像の絶対座標の相対的位置関係を使用する。また、上述の様に、生成部１１３は、観察視野が時々刻々と変化する場合には、表示領域＝視野の絶対座標（例えば表示画像の左上が元の画像データに絶対座標でどこに位置するか）の経時変化を入力する。
【００９９】
記録部１１４は、設定部１１２から入力された音声データと、所定の時間間隔毎に割り当たれた重要度と、解析部１１１が解析した注視度と、を対応付けて記録する。また、記録部１１４は、生成部１１３から入力された視線マッピングデータを記録する。また、記録部１１４は、情報処理装置１００が実行する各種プログラムおよび処理中のデータを記録する。記録部１１４は、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成される。
【０１００】
表示制御部１１５は、外部から入力される画像データに対応する画像上に、生成部１１３が生成した視線マッピングデータを重畳して外部の表示部１２０に出力することによって表示させる。表示制御部１１５は、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。なお、上述した解析部１１１、設定部１１２、視線マッピングおよび表示制御部１１５をＣＰＵ、ＦＰＧＡおよびＧＰＵのいずれか１つを用いて各機能が発揮できるように構成してもよいし、もちろん、ＣＰＵ、ＦＰＧＡおよびＧＰＵを組み合わせて各機能が発揮できるように構成してもよい。
【０１０１】
〔表示部の構成〕
次に、表示部１２０の構成について説明する。
表示部１２０は、表示制御部１１５から入力された画像データに対応する画像や視線マッピングデータに対応する視線マッピング情報を表示する。表示部１２０は、例えば有機ＥＬ（Electro  Luminescence）や液晶等の表示モニタを用いて構成される。
【０１０２】
〔情報処理装置の処理〕
次に、情報処理装置１００の処理について説明する。図９は、情報処理装置１００が実行する処理の概要を示すフローチャートである。
【０１０３】
図９に示すように、まず、情報処理装置１００は、外部から入力される視線データ、音声データおよび画像データを取得する（ステップＳ３０１）。
【０１０４】
続いて、解析部１１１は、視線データに基づいて、利用者の視線の注視度を解析する（ステップＳ３０２）。具体的には、解析部１１１は、上述した実施の形態１の図３で説明した方法によって利用者の視線の注視度を解析する。
【０１０５】
その後、設定部１１２は、視線データと同期化された音声データに対して、キャリブレーションデータ記憶部１１６が記録するキャリブレーションデータおよび解析部１１１が解析した注視度に応じた重要度を音声データに割り当てる設定を行って記録部１１４に記録する（ステップＳ３０３）。具体的には、設定部１１２は、上述した実施の形態１の図４および図５で説明した方法によって、所定の時間間隔毎に解析部１１１が解析した注視度に応じた重要度を音声データに割り当てる設定を行って記録部１１４に記録する。
【０１０６】
続いて、生成部１１３は、画像データに対応する画像上に解析部１１１が解析した注視度を関連付けた視線マッピングデータを生成する（ステップＳ３０４）。
【０１０７】
続いて、表示制御部１１５は、画像データに対応する画像上に、生成部１１３が生成した視線マッピングデータを重畳して外部の表示部１２０に出力する（ステップＳ３０５）。ステップＳ３０５の後、情報処理装置１００は、本処理を終了する。
【０１０８】
図１０は、表示部１２０が表示する画像の一例を模式的に示す図である。図１０に示すように、表示制御部１１５は、画像データに対応する画像上に、生成部１１３が生成した視線マッピングデータに重畳した視線マッピング画像Ｐ１を表示部１２０に表示させる。図１０においては、視線の注視度が高いほど、等高線の本数が多いヒートマップＭ１〜Ｍ５の視線マッピング画像Ｐ１を表示部１２０に表示させる。
【０１０９】
図１１は、表示部１２０が表示する画像の別の一例を模式的に示す図である。図１１に示すように、表示制御部１１５は、画像データに対応する画像上に、生成部１１３が生成した視線マッピングデータに重畳した視線マッピング画像Ｐ２を表示部１２０に表示させる。図１１においては、視線の注視度が高いほど、円の領域が大きい注視度のマークＭ１１〜Ｍ１５が重畳された視線マッピング画像Ｐ２を表示部１２０に表示させる。さらに、表示制御部１１５は、利用者の視線の軌跡Ｋ１および注視度の順番を数字で表示部１２０に表示させる。なお、図１１においては、表示制御部１１５は、各注視度の期間（時間）で利用者が発した音声データを、周知の文字変換技術を用いて変換した文字情報を、マークＭ１１〜Ｍ１５の近傍または重畳して表示部１２０に表示させてもよい。
【０１１０】
以上説明した実施の形態３によれば、設定部１１２が外部から入力された音声データ（新たな音声データ）に対して、キャリブレーションデータ記憶部１６６が記録する利用者のキャリブレーションデータおよび解析部１１１が新たに解析した新たな注視度に応じた重要度を音声データに割り当てる設定を行って記録部１１４に記録するので、音声データのどの期間が重要であるか否かを把握することができる。
【０１１１】
さらにまた、実施の形態３では、生成部１１３が外部から入力される画像データに対応する画像上に解析部１１１が解析した注視度、およびこの注視度の座標情報を関連付けた視線マッピングデータを生成するので、利用者が直感的に画像上における重要な位置を把握することができる。
【０１１２】
なお、実施の形態３では、設定部１１２が外部から入力される音声データ（新たな音声データ）に対して、この音声データの中で発声された発声期間を設定し、かつ、この音声データに対して、発声期間と解析部１１１が新たに解析した新たな注視度とキャリブレーションデータ記憶部１１６が記憶するキャリブレーションデータとを用いて解析部１１１が解析した新たな注視度に応じた重要度を割り当てて記録部１１４へ記録してもよい。これにより、音声データのどの期間が重要であるか否かを把握することができる。
【０１１３】
また、実施の形態３では、設定部１１２が外部から入力される音声データ（新たな音声データ）の中で所定のキーワードが発声された期間を新たな重要発声期間として設定し、かつ、外部から入力された視線データ（新たな視線データ）に対して、新たな重要発声期間とキャリブレーションデータ記憶部１１６が記憶するキャリブレーションデータとを用いて新たな重要発声期間に応じた重要度を割り当てて記録部１１４へ記録してもよい。視線データのどの期間が重要であるか否かを把握することができる。
【０１１４】
また、実施の形態３では、設定部１１２が外部から入力される音声データ（新たな音声データ）の中で所定のキーワードが発声された期間を新たな重要発声期間として設定し、かつ、外部から入力される視線データ（新たな視線データ）に対して、新たな注視期間と新たな重要発声期間とキャリブレーションデータ記憶部１１６が記憶するキャリブレーションデータとを用いて重要発声期間に応じた重要度を割り当てて記録部１１４へ記録してもよい。これにより、音声データのどの期間が重要であるか否かを把握することができる。
【０１１５】
また、実施の形態３では、記録部１１４が設定部１１２によって重要度を割り当てた音声データを記録するので、ディープラーニング等の機械学習で用いる視線のマッピングに基づく画像データと音声との対応関係を学習する際の学習データを容易に取得することができる。
【０１１６】
（実施の形態３の変形例）
次に、本開示の実施の形態３の変形例について説明する。上述した実施の形態３では、設定部１１２が解析部１１１によって解析された注視度に応じた重要度を音声データに割り当てて記録部１１４へ記録していたが、実施の形態３の変形例では、設定部１１２が生成部１１３によって生成された視線マッピングデータに基づいて、重要度を音声データに割り当てて記録部１１４へ記録する。以下においては、実施の形態３の変形例に係る情報処理システムの構成を説明後、実施の形態３の変形例に係る情報処理装置が実行する処理について説明する。なお、上述した実施の形態３に係る情報処理システム１ｃと同一の構成には同一の符号を付して詳細な説明は省略する。
【０１１７】
〔情報処理システムの構成〕
図１２は、実施の形態３の変形例に係る情報処理システムの機能構成を示すブロック図である。図１２に示す情報処理システム１ａａは、上述した実施の形態１に係る情報処理装置１００に代えて、情報処理装置１００ａを備える。情報処理装置１００ａは、上述した実施の形態１に係る設定部１１２に代えて、設定部１１２ａを備える。
【０１１８】
設定部１１２ａは、生成部１１３によって生成された視線マッピングデータに基づいて、所定の時間間隔毎に重要度を音声データに割り当てて記録部１１４へ記録する。
【０１１９】
〔情報処理装置の処理〕
次に、情報処理装置１００ａが実行する処理について説明する。図１３は、情報処理装置１００ａが実行する処理の概要を示すフローチャートである。図１３において、ステップＳ４０１およびステップＳ４０２は、上述した図９のステップＳ３０１およびステップＳ３０２それぞれに対応する。また、ステップＳ４０３は、上述した図９のステップＳ３０４に対応する。
【０１２０】
ステップＳ４０４において、設定部１１２は、キャリブレーションデータ記憶部１１６が記録するキャリブレーションデータと生成部１１３によって生成された利用者の注視度を画像上に関連付けた視線マッピングデータに基づいて、キャリブレーションデータおよび注視度に応じた重要度を音声データに割り当てる設定を行って記録部１１４に記録する。ステップＳ４０４の後、情報処理装置１００ａは、ステップＳ４０５へ移行する。ステップＳ４０５は、上述した図９のステップＳ３０５に対応する。
【０１２１】
以上説明した実施の形態３の変形例によれば、設定部１１２が生成部１１３によって生成された利用者の注視度を画像上に関連付けた視線マッピングデータに基づいて、所定の時間間隔毎に注視度に応じた重要度を音声データに割り当てる設定を行って記録部１１４に記録するので、音声データのどの期間が重要であるか否かを把握することができる。
【０１２２】
また、実施の形態３および実施の形態３の変形例では、注視度とキャリブレーションデータを用いて、音声・発話の重要度を付与する実施形態について説明した。これらの変形例として、所定の単語（キーワード）を発した期間である重要音声期間に対応する視線データの期間（あるいは画像にマッピングした後は画像の領域・位置）抽出するために、重要音声期間とあらかじめ取得しキャリブレーションデータを用いてもよい。
【０１２３】
（実施の形態４）
次に、本開示の実施の形態４について説明する。実施の形態３では、外部から視線データおよび音声データの各々が入力されていたが、実施の形態４では、視線データおよび音声データを生成する。以下においては、実施の形態４に係る情報処理装置の構成を説明後、実施の形態４に係る情報処理装置が実行する処理について説明する。なお、上述した実施の形態３に係る情報処理システム１ｃと同一の構成には同一の符号を付して詳細な説明は適宜省略する。
【０１２４】
〔情報処理装置の構成〕
図１４は、実施の形態４に係る情報処理装置の構成を示す概略図である。図１５は、実施の形態４に係る情報処理装置の構成を示す概略図である。図１６は、実施の形態４に係る情報処理装置の機能構成を示すブロック図である。
【０１２５】
図１４〜図１６に示す情報処理装置１ｂは、解析部１１１と、表示部１２０と、視線検出部１３０と、音声入力部１３１と、制御部１３２と、時間計測部１３３と、記録部３４と、変換部１３５と、抽出部１３６と、操作部１３７と、設定部１３８と、生成部１３９と、プログラム記憶部と、キャリブレーションデータ記憶部３４５と、を備える。
【０１２６】
視線検出部１３０は、近赤外線を照射するＬＥＤ光源と、角膜上の瞳孔点と反射点を撮像する光学センサ（例えばＣＭＯＳ、ＣＣＤ等）と、を用いて構成される。視線検出部１３０は、利用者Ｕ１が表示部１２０を視認可能な情報処理装置１ｂの筐体の側面に設けられる（図１４および図１５を参照）。視線検出部１３０は、制御部１３２の制御のもと、表示部１２０が表示する画像に対する利用者Ｕ１の視線を検出した視線データを生成し、この視線データを制御部１３２へ出力する。具体的には、視線検出部１３０は、制御部１３２の制御のもと、ＬＥＤ光源等から近赤外線を利用者Ｕ１の角膜に照射し、光学センサが利用者Ｕ１の角膜上の瞳孔点と反射点を撮像することによって視線データを生成する。そして、視線検出部１３０は、制御部１３２の制御のもと、光学センサによって生成されたデータに対して画像処理等によって解析した解析結果に基づいて、利用者Ｕ１の瞳孔点と反射点のパターンから利用者の視線や視線を連続的に算出することによって所定時間の視線データを生成し、この視線データを後述する視線検出制御部３２１へ出力する。なお、視線検出部１３０は、単に光学センサのみで利用者Ｕ１の瞳を周知のパターンマッチングを用いることによって瞳を検出することによって、利用者Ｕ１の視線を検出した視線データを生成してもよいし、他のセンサや他の周知技術を用いて利用者Ｕ１の視線を検出することによって視線データを生成してもよい。
【０１２７】
音声入力部１３１は、音声が入力されるマイクと、マイクが入力を受け付けた音声をデジタルの音声データに変換するとともに、この音声データを増幅することによって制御部１３２へ出力する音声コーデックと、を用いて構成される。音声入力部１３１は、制御部１３２の制御のもと、利用者Ｕ１の音声の入力を受け付けることによって音声データを生成し、この音声データを制御部１３２へ出力する。なお、音声入力部１３１は、音声の入力以外にも、音声を出力することができるスピーカ等を設け、音声出力機能を設けてもよい。
【０１２８】
制御部１３２は、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成され、視線検出部１３０、音声入力部１３１および表示部１２０を制御する。制御部１３２は、視線検出制御部３２１と、音声入力制御部３２２と、表示制御部３２３と、を有する。
【０１２９】
視線検出制御部３２１は、視線検出部１３０を制御する。具体的には、視線検出制御部３２１は、視線検出部１３０を所定のタイミング毎に近赤外線を利用者Ｕ１へ照射させるとともに、利用者Ｕ１の瞳を視線検出部１３０に撮像させることによって視線データを生成させる。また、視線検出制御部３２１は、視線検出部１３０から入力された視線データに対して、各種の画像処理を行って記録部３４へ出力する。
【０１３０】
音声入力制御部３２２は、音声入力部１３１を制御し、音声入力部１３１から入力された音声データに対して各種の処理、例えばゲインアップやノイズ低減処理等を行って記録部３４へ出力する。
【０１３１】
表示制御部３２３は、表示部１２０の表示態様を制御する。表示制御部３２３は、記録部３４に記録された画像データに対応する画像または生成部１１３によって生成された視線マッピングデータに対応する視線マッピング画像を表示部１２０に表示させる。
【０１３２】
時間計測部１３３は、タイマーやクロックジェネレータ等を用いて構成され、視線検出部１３０によって生成された視線データおよび音声入力部１３１によって生成された音声データ等に対して時刻情報を付与する。
【０１３３】
記録部３４は、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成され、情報処理装置１ｂに関する各種の情報を記録する。記録部３４は、視線データ記録部３４１と、音声データ記録部３４２と、画像データ記録部３４３と、プログラム記憶部と、キャリブレーションデータ記憶部３４５と、を有する。
【０１３４】
視線データ記録部３４１は、視線検出制御部３２１から入力された視線データを記録するとともに、視線データを解析部１１１へ出力する。
【０１３５】
音声データ記録部３４２は、音声入力制御部３２２から入力された音声データを記録するとともに、音声データを変換部１３５へ出力する。
【０１３６】
画像データ記録部３４３は、複数の画像データを記録する。この複数の画像データは、情報処理装置１ｂの外部から入力されたデータ、または記録媒体によって外部の撮像装置によって撮像されたデータである。
【０１３７】
プログラム記憶部は、情報処理装置１ｂが実行する各種プログラム、各種プログラムの実行中に使用するデータ（例えば辞書情報やテキスト変換辞書情報）および各種プログラムの実行中の処理データを記録する。
【０１３８】
キャリブレーションデータ記憶部３４５は、利用者毎のキャリブレーションデータを記録する。
【０１３９】
変換部１３５は、音声データに対して周知のテキスト変換処理を行うことによって、音声データを文字情報（テキストデータ）に変換し、この文字情報を抽出部１３６へ出力する。なお、音声の文字変換はこの時点で行わない構成も可能であり、その際には、音声情報のまま重要度を設定し、その後文字情報に変換するようにしても良い。
【０１４０】
抽出部１３６は、後述する操作部１３７から入力された指示信号に対応する文字や単語（キーワード）を、変換部１３５によって変換された文字情報から抽出し、この抽出結果を設定部１３８へ出力する。なお、抽出部１３６は、後述する操作部１３７から指示信号が入力されていない場合、変換部１３５から入力されたままの文字情報を設定部１３８へ出力する。
【０１４１】
操作部１３７は、マウス、キーボード、タッチパネルおよび各種スイッチ等を用いて構成され、利用者Ｕ１の操作の入力を受け付け、入力を受け付けた操作内容を制御部１３２へ出力する。
【０１４２】
設定部１３８は、キャリブレーションデータ記憶部３４５が記録するキャリブレーションデータと、所定の時間間隔毎に解析部１１１が解析した注視度と、抽出部１３６によって抽出された文字情報と、に基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度および変換部１３５によって変換された文字情報を割り当てて記録部３４へ記録する。
【０１４３】
生成部１３９は、表示部１２０が表示する画像データに対応する画像上に解析部１１１が解析した注視度および変換部１３５が変換した文字情報を関連付けた視線マッピングデータを生成し、この視線マッピングデータを画像データ記録部３４３または表示制御部３２３へ出力する。
【０１４４】
〔情報処理装置の処理〕
次に、情報処理装置１ｂが実行する処理について説明する。図１７は、情報処理装置１ｂが実行する処理の概要を示すフローチャートである。
【０１４５】
図１７に示すように、まず、表示制御部３２３は、画像データ記録部３４３が記録する画像データに対応する画像を表示部１２０に表示させる（ステップＳ５０１）。この場合、表示制御部３２３は、操作部１３７の操作に応じて選択された画像データに対応する画像を表示部１２０に表示させる。
【０１４６】
続いて、制御部１３２は、視線検出部１３０が生成した視線データおよび音声入力部１３１が生成した音声データの各々と時間計測部１３３によって計測された時間とを対応付けて視線データ記録部３４１および音声データ記録部３４２に記録する（ステップＳ５０２）。
【０１４７】
その後、変換部１３５は、音声データ記録部３４２が記録する音声データを文字情報に変換する（ステップＳ５０３）。なお、このステップは、後述のステップＳ５０６の後に行っても良い。
【０１４８】
続いて、操作部１３７から表示部１２０が表示する画像の観察を終了する指示信号が入力された場合（ステップＳ５０４：Ｙｅｓ）、情報処理装置１ｂは、後述するステップＳ５０５へ移行する。これに対して、操作部１３７から表示部１２０が表示する画像の観察を終了する指示信号が入力されていない場合（ステップＳ５０４：Ｎｏ）、情報処理装置１ｂは、ステップＳ５０２へ戻る。
【０１４９】
ステップＳ５０５は、上述した図９のステップＳ３０２に対応する。ステップＳ５０５の後、情報処理装置１ｂは、後述するステップＳ５０６へ移行する。
【０１５０】
ステップＳ５０６において、設定部１３８は、キャリブレーションデータ記憶部３４５が記録するキャリブレーションデータと、解析部１１１が解析した注視度と、抽出部１３６によって抽出された文字情報と、に基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度および変換部１３５によって変換された文字情報を割り当てて記録部３４へ記録する。この場合、設定部１３８は、利用者Ｕ１に対応するキャリブレーションを用いて視線が注視する注視期間と音声が発声された音声発声時間との時間差を補正した後に、抽出部１３６によって抽出された文字情報に対応する音声データの重要度の重み付けを行って記録部３４へ記録する。例えば、設定部１３８は、重要度に、抽出部１３６によって抽出された文字情報に基づく係数を注視度に乗じた値を重要度として音声データに割り当てを行って記録部３４へ記録する。
【０１５１】
続いて、生成部１３９は、表示部１２０が表示する画像データに対応する画像上に解析部１１１が解析した注視度および変換部１３５が変換した文字情報を関連付けた視線マッピングデータを生成する（ステップＳ５０７）。
【０１５２】
続いて、表示制御部３２３は、生成部１３９が生成した視線マッピングデータに対応する視線マッピング画像を表示部１２０に表示させる（ステップＳ５０８）。
【０１５３】
図１８は、表示部１２０が表示する視線マッピング画像の一例を示す図である。図１８に示すように、表示制御部３２３は、生成部１１３が生成した視線マッピングデータに対応する視線マッピング画像Ｐ３を表示部１２０に表示させる。視線マッピング画像Ｐ３には、視線の注視領域に対応するマークＭ１１〜Ｍ１５および視線の軌跡Ｋ１が重畳されるとともに、この注視度のタイミングで発せされた音声データの文字情報が関連付けられている。また、マークＭ１１〜Ｍ１５は、番号が利用者Ｕ１の視線の順番を示し、大きさ（領域）が注視度の大きさを示す。さらに、利用者Ｕ１が操作部１３７を操作してカーソルＡ１を所望の位置、例えばマークＭ１４に移動させた場合、マークＭ１４に関連付けられた文字情報Ｑ１、例えば「ここで癌があります。」が表示される。なお、図１８では、表示制御部３２３が文字情報を表示部１２０に表示させているが、例えば文字情報を音声に変換することによって音声データを出力してもよい。これにより、利用者Ｕ１は、重要な音声内容と注視していた領域とを直感的に把握することができる。さらに、利用者Ｕ１の観察時における視線の軌跡を直感的に把握することができる。
【０１５４】
図１９Ａは、表示部１２０が表示する視線マッピング画像の別の一例を示す図である。図１９Ａに示すように、表示制御部３２３は、生成部１１３が生成した視線マッピングデータに対応する視線マッピング画像Ｐ４を表示部１２０に表示させる。さらに、表示制御部３２３は、文字情報と、この文字情報が発声された時間とを対応付けたアイコンＢ１〜Ｂ５を表示部１２０に表示させる。さらに、表示制御部３２３は、利用者Ｕ１が操作部１３７を操作してマークＭ１１〜Ｍ１５のいずれかを選択した場合、例えばマークＭ１４を選択した場合、マークＭ１４を表示部１２０に強調表示するとともに、マークＭ１４の時間に対応する文字情報、例えばアイコンＢ４を表示部１２０に強調表示させる（例えば枠をハイライト表示または太線で表示）。これにより、利用者Ｕ１は、重要な音声内容と注視していた領域とを直感的に把握することができるうえ、発声した際の内容を直感的に把握することができる。
【０１５５】
また、注視度のもととなる視線データと、文字情報のもととなる音声データは、キャリブレーションデータにより補正されることで、時間差が補正前に比べて小さくなっている。そのため、ユーザが画像のある部分を注視しながら発声している場合において、視線データの注視度が割り当てられている期間と音声データの重要度が割り当てられている期間は、時間的に重なる割合が補正前に比べて大きくなる。これに基づき、生成部１３９は、視線マッピングデータの中に視線データと音声データを時刻によって紐づけて関連付けるフォーマットを含むデータを生成する。
【０１５６】
図１９Ｂは、視線データと音声データを時刻によって関連付けたデータの一例であって、データのデータフォーマットの内容を表す。図１９Ｂの表Ｔ１では、視線データの開始時刻と終了時刻、音声データの開始時刻と終了時刻がＩｎｄｅｘ番号により関連付けられている。
【０１５７】
これにより、生成部１３９は、図１９Ｂの表Ｔ１に示すように、例えばＩｎｄｅｘ番号により視線データを取り出して、それに該当する音声データを取り出す、ということができる。これに対して、生成部１３９は、音声が発せられた期間（重要音声期間）からそのときに画像のどこを注視していたか、という（視線データの）情報をＩｎｄｅｘ番号により取り出すこともできる。逆に、生成部１３９は、観察画像における視線の注視位置（領域）から、そこを見ていたに発していた音声（文字情報）をＩｎｄｅｘ番号により取り出して、注視位置に対応する文字情報を視覚化して提示することも可能である。  上記以外の方法として、生成部１３９は、視線の特徴量（移動距離、停留時間）の経時変化と音声データを関連付けても良い。
【０１５８】
図１７に戻り、ステップＳ５０９以降の説明を続ける。
ステップＳ５０９において、操作部１３７によって複数の注視領域に対応するマークのいずれか一つが操作された場合（ステップＳ５０９：Ｙｅｓ）、制御部１３２は、操作に応じた動作処理を実行する（ステップＳ５１０）。具体的には、表示制御部３２３は、操作部１３７によって選択された注視領域に対応するマークを表示部１２０に強調表示させる（例えば図１８を参照）。また、音声入力制御部３２２は、注視度の高い領域に関連付けられた音声データを音声入力部１３１に再生させる。ステップＳ５１０の後、情報処理装置１ｂは、後述するステップＳ５１１へ移行する。
【０１５９】
ステップＳ５０９において、操作部１３７によって複数の注視度領域に対応するマークのいずれか一つが操作されていない場合（ステップＳ５０９：Ｎｏ）、情報処理装置１ｂは、後述するステップＳ５１１へ移行する。
【０１６０】
ステップＳ５１１において、操作部１３７から観察の終了を指示する指示信号が入力された場合（ステップＳ５１１：Ｙｅｓ）、情報処理装置１ｂは、本処理を終了する。これに対して、操作部１３７から観察の終了を指示する指示信号が入力されていない場合（ステップＳ５１１：Ｎｏ）、情報処理装置１ｂは、上述したステップＳ５０８へ戻る。
【０１６１】
以上説明した実施の形態４によれば、生成部１１３が表示部１２０によって表示される画像データに対応する画像上に解析部１１１が解析した注視度および変換部１３５が変換した文字情報を関連付けた視線マッピングデータを生成するので、利用者Ｕ１は、重要な音声内容と注視していた領域とを直感的に把握することができるうえ、発声した際の内容を直感的に把握することができる。
【０１６２】
また、実施の形態４によれば、表示制御部３２３は、生成部１１３が生成した視線マッピングデータに対応する視線マッピング画像を表示部１２０に表示させるので、画像に対する利用者の観察の見逃し防止の確認、利用者の読影等の技術スキルの確認、他の利用者に対する読影や観察等の教育およびカンファレンス等に用いることができる。
【０１６３】
（実施の形態５）
次に、本開示の実施の形態５について説明する。上述した実施の形態３では、情報処理装置１ｂのみで構成されていたが、実施の形態５では、顕微鏡システムの一部に情報処理装置を組み込むことによって構成する。以下においては、実施の形態５に係る顕微鏡システムの構成を説明後、実施の形態５に係る顕微鏡システムが実行する処理について説明する。なお、上述した実施の形態４に係る情報処理装置１ｂと同一の構成には同一の符号を付して詳細な説明は適宜省略する。
【０１６４】
〔顕微鏡システムの構成〕
図２０は、実施の形態５に係る顕微鏡システムの構成を示す概略図である。図２１は、実施の形態５に係る顕微鏡システムの機能構成を示すブロック図である。
【０１６５】
図２０および図２１に示すように、顕微鏡システム１１０は、情報処理装置１１０ｃと、表示部１２０と、音声入力部１３１と、操作部１３７と、顕微鏡２００と、撮像部２１０と、視線検出部２２０と、を備える。
【０１６６】
〔顕微鏡の構成〕
まず、顕微鏡２００の構成について説明する。
顕微鏡２００は、本体部２０１と、回転部２０２と、昇降部２０３と、レボルバ２０４と、対物レンズ２０５と、倍率検出部２０６と、鏡筒部２０７と、接続部２０８と、接眼部２０９と、を備える。
【０１６７】
本体部２０１は、標本ＳＰが載置される。本体部２０１は、略Ｕ字状をなし、回転部２０２を用いて昇降部２０３が接続される。
【０１６８】
回転部２０２は、利用者Ｕ２の操作に応じて回転することによって、昇降部２０３を垂直方向へ移動させる。
【０１６９】
昇降部２０３は、本体部２０１に対して垂直方向へ移動可能に設けられている。昇降部２０３は、一端側の面にレボルバが接続され、他端側の面に鏡筒部２０７が接続される。
【０１７０】
レボルバ２０４は、互いに倍率が異なる複数の対物レンズ２０５が接続され、光軸Ｌ１に対して回転可能に昇降部２０３に接続される。レボルバ２０４は、利用者Ｕ２の操作に応じて、所望の対物レンズ２０５を光軸Ｌ１上に配置する。なお、複数の対物レンズ２０５には、倍率を示す情報、例えばＩＣチップやラベルが添付されている。なお、ＩＣチップやラベル以外にも、倍率を示す形状を対物レンズ２０５に設けてもよい。
【０１７１】
倍率検出部２０６は、光軸Ｌ１上に配置された対物レンズ２０５の倍率を検出し、この検出した検出結果を情報処理装置１１０ｃへ出力する。倍率検出部２０６は、例えば対物切り替えのレボルバ２０４の位置を検出する手段を用いて構成される。
【０１７２】
鏡筒部２０７は、対物レンズ２０５によって結像された標本ＳＰの被写体像の一部を接続部２０８に透過するとともに、接眼部２０９へ反射する。鏡筒部２０７は、内部にプリズム、ハーフミラーおよびコリメートレンズ等を有する。
【０１７３】
接続部２０８は、一端が鏡筒部２０７と接続され、他端が撮像部２１０と接続される。接続部２０８は、鏡筒部２０７を透過した標本ＳＰの被写体像を撮像部２１０へ導光する。接続部２０８は、複数のコリメートレンズおよび結像レンズ等を用いて構成される。
【０１７４】
接眼部２０９は、鏡筒部２０７によって反射された被写体像を導光して結像する。接眼部２０９は、複数のコリメートレンズおよび結像レンズ等を用いて構成される。
【０１７５】
〔撮像部の構成〕
次に、撮像部２１０の構成について説明する。
撮像部２１０は、接続部２０８が結像した標本ＳＰの被写体像を受光することによって画像データを生成し、この画像データを情報処理装置１１０ｃへ出力する。撮像部２１０は、ＣＭＯＳまたはＣＣＤ等のイメージセンサおよび画像データに対して各種の画像処理を施す画像処理エンジン等を用いて構成される。
【０１７６】
〔視線検出部の構成〕
次に、視線検出部２２０の構成について説明する。
視線検出部２２０は、接眼部２０９の内部または外部に設けられ、利用者Ｕ２の視線を検出することによって視線データを生成し、この視線データを情報処理装置１１０ｃへ出力する。視線検出部２２０は、接眼部２０９の内部に設けられ、近赤外線を照射するＬＥＤ光源と、接眼部２０９の内部に設けられ、角膜上の瞳孔点と反射点を撮像する光学センサ（例えばＣＭＯＳ、ＣＣＤ）と、を用いて構成される。視線検出部２２０は、情報処理装置１１０ｃの制御のもと、ＬＥＤ光源等から近赤外線を利用者Ｕ２の角膜に照射し、光学センサが利用者Ｕ２の角膜上の瞳孔点と反射点を撮像することによって生成する。そして、視線検出部２２２は、情報処理装置１１０ｃの制御のもと、光学センサによって生成されたデータに対して画像処理等によって解析した解析結果に基づいて、利用者Ｕ２の瞳孔点と反射点のパターンから利用者の視線を検出することによって視線データを生成し、この視線データを情報処理装置１１０ｃへ出力する。
【０１７７】
〔情報処理装置の構成〕
次に、情報処理装置１１０ｃの構成について説明する。
情報処理装置１１０ｃは、上述した実施の形態２に係る情報処理装置１ｂの制御部１３２、記録部３４および設定部１３８に換えて、制御部１３２ｃ、記録部３４ｃ、設定部１３８ｃと、を備える。
【０１７８】
制御部１３２ｃは、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成され、表示部１２０、音声入力部１３１、撮像部２１０および視線検出部２２０を制御する。制御部１３２ｃは、上述した実施の形態４の制御部１３２の視線検出制御部３２１、音声入力制御部３２２、表示制御部３２３に加えて、撮影制御部３２４および倍率算出部３２５をさらに備える。
【０１７９】
撮影制御部１３２４は、撮像部２１０の動作を制御する。撮影制御部１３２４は、撮像部２１０を所定のフレームレートに従って順次撮像させることによって画像データを生成させる。撮影制御部１３２４は、撮像部２１０から入力された画像データに対して処理の画像処理（例えば現像処理等）を施して記録部３４ｃへ出力する。
【０１８０】
倍率算出部３２５は、倍率検出部２０６から入力された検出結果に基づいて、現在の顕微鏡２００の観察倍率を算出し、この算出結果を設定部１３８ｃへ出力する。例えば、倍率算出部３２５は、倍率検出部２０６から入力された対物レンズ２０５の倍率と接眼部２０９の倍率とに基づいて、現在の顕微鏡２００の観察倍率を算出する。
【０１８１】
記録部３４ｃは、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成される。記録部３４ｃは、上述した実施の形態２に係る画像データ記録部３４３に換えて、画像データ記録部３４６を備える。画像データ記録部３４６は、撮影制御部１３２４から入力された画像データを記録し、この画像データを生成部１１３へ出力する。
【０１８２】
設定部１３８ｃは、キャリブレーションデータ記憶部３４５が記録するキャリブレーションデータと、解析部１１１が解析した注視度と、倍率算出部３２５が算出した算出結果と、に基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度および変換部１３５によって変換された文字情報を割り当てて記録部３４ｃへ記録する。具体的には、設定部１３８ｃは、解析部１１１が解析した注視度に、倍率算出部３２５が算出した算出結果に基づく係数を乗じた値を、音声データのフレーム毎の重要度（例えば数値）として割り当てて記録部３４ｃへ記録する。すなわち、設定部１３８ｃは、表示倍率が大きいほど重要度が高くなるような処理を行う。設定部１３８ｃは、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。
【０１８３】
〔顕微鏡システムの処理〕
次に、顕微鏡システム１１０が実行する処理について説明する。図２２は、顕微鏡システム１１０が実行する処理の概要を示すフローチャートである。
【０１８４】
図２２に示すように、まず、制御部１３２ｃは、視線検出部１３０が生成した視線データ、音声入力部１３１が生成した音声データ、および倍率算出部３２５が算出した観察倍率の各々を時間計測部１３３によって計測された時間を対応付けて視線データ記録部３４１および音声データ記録部３４２に記録する（ステップＳ６０１）。ステップＳ６０１の後、顕微鏡システム１１０は、後述するステップＳ６０２へ移行する。
【０１８５】
ステップＳ６０２〜ステップＳ６０４は、上述した図１７のステップＳ５０３〜ステップＳ５０５それぞれに対応する。ステップＳ６０４の後、顕微鏡システム１１０は、ステップＳ６０５へ移行する。
【０１８６】
ステップＳ６０５において、設定部１３８ｃは、キャリブレーションデータ記憶部３４５が記録するキャリブレーションデータと、所定の時間間隔毎に解析部１１１が解析した注視度と、倍率算出部３２５が算出した算出結果と、に基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度および変換部１３５によって変換された文字情報を割り当てて記録部３４ｃへ記録する。ステップＳ６０５の後、顕微鏡システム１１０は、ステップＳ６０６へ移行する。
【０１８７】
ステップＳ６０６〜ステップＳ６１０は、上述した図１７のステップＳ５０７〜ステップＳ５１１それぞれに対応する。
【０１８８】
以上説明した実施の形態５によれば、設定部１３８ｃがキャリブレーションデータ記憶部３４５によって記録されたキャリブレーションデータと、解析部１１１によって解析された注視度と、倍率算出部３２５が算出した算出結果と、に基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度および変換部１３５によって変換された文字情報を割り当てて記録部３４ｃすることによって、観察倍率および注視度に基づいた重要度が音声データに割り当てられるので、観察内容および注視度を加味した音声データの重要な期間を把握することができる。
【０１８９】
なお、実施の形態５では、倍率算出部３２５が算出した観察倍率を記録部１１４に記録していたが、利用者Ｕ２の操作履歴を記録し、この操作履歴をさらに加味して音声データの重要度を割り当ててもよい。
【０１９０】
（実施の形態６）
次に、本開示の実施の形態６について説明する。実施の形態６では、内視鏡システムの一部に情報処理装置を組み込むことによって構成する。以下においては、実施の形態６に係る内視鏡システムの構成を説明後、実施の形態６に係る内視鏡システムが実行する処理について説明する。なお、上述した実施の形態３に係る情報処理装置１ｂと同一の構成には同一の符号を付して詳細な説明は適宜省略する。
【０１９１】
〔内視鏡システムの構成〕
図２３は、実施の形態６に係る内視鏡システムの構成を示す概略図である。図２４は、実施の形態６に係る内視鏡システムの機能構成を示すブロック図である。
【０１９２】
図２３および図２４に示す内視鏡システム３００は、表示部１２０と、内視鏡４００と、ウェアラブルデバイス５００と、入力部６００と、情報処理装置１ｄと、を備える。
【０１９３】
〔内視鏡の構成〕
まず、内視鏡４００の構成について説明する。
内視鏡４００は、医者や術者等の利用者Ｕ３が被検体Ｕ４に挿入することによって、被検体Ｕ４の内部を撮像することによって画像データを生成し、この画像データを情報処理装置１ｄへ出力する。内視鏡４００は、撮像部４０１と、操作部４０２と、を備える。
【０１９４】
撮像部４０１は、内視鏡４００の挿入部の先端部に設けられる。撮像部４０１は、情報処理装置１ｄの制御のもと、被検体Ｕ４の内部を撮像することによって画像データを生成し、この画像データを情報処理装置１ｄへ出力する。撮像部４０１は、観察倍率を変更することができる光学系と、光学系が結像した被写体像を受光することによって画像データを生成するＣＭＯＳやＣＣＤ等のイメージセンサ等を用いて構成される。
【０１９５】
操作部４０２は、利用者Ｕ３の各種の操作の入力を受け付け、受け付けた各種操作に応じた操作信号を情報処理装置１ｄへ出力する。
【０１９６】
〔ウェアラブルデバイスの構成〕
次に、ウェアラブルデバイス５００の構成について説明する。
ウェアラブルデバイス５００は、利用者Ｕ３に装着され、利用者Ｕ３の視線を検出するとともに、利用者Ｕ３の音声の入力を受け付ける。ウェアラブルデバイス５００は、視線検出部５１０と、音声入力部５２０と、を有する。
【０１９７】
視線検出部５１０は、ウェアラブルデバイス５００に設けられ、利用者Ｕ３の視線の注視度を検出することによって視線データを生成し、この視線データを情報処理装置１ｄへ出力する。視線検出部５１０は、上述した実施の形態３に係る視線検出部２２０と同様の構成を有するため、詳細な構成は省略する。
【０１９８】
音声入力部５２０は、ウェアラブルデバイス５００に設けられ、利用者Ｕ３の音声の入力を受け付けることによって音声データを生成し、この音声データを情報処理装置１ｄへ出力する。音声入力部５２０は、マイク等を用いて構成される。
【０１９９】
〔入力部の構成〕
入力部６００の構成について説明する。
入力部６００は、マウス、キーボード、タッチパネルおよび各種のスイッチを用いて構成される。入力部６００は、利用者Ｕ３の各種の操作の入力を受け付け、受け付けた各種操作に応じた操作信号を情報処理装置１ｄへ出力する。
【０２００】
〔情報処理装置の構成〕
次に、情報処理装置１ｄの構成について説明する。
情報処理装置１ｄは、上述した実施の形態５に係る情報処理装置１１０ｃの制御部１３２ｃ、記録部３４ｃ、設定部１３８ｃ、生成部１３９に換えて、制御部１３２ｄ、記録部３４ｄ、設定部１３８ｄおよび生成部１３９ｄを備える。さらに、情報処理装置１ｄは、画像処理部１４０をさらに備える。
【０２０１】
制御部１３２ｄは、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成され、内視鏡４００、ウェアラブルデバイス５００および表示部１２０を制御する。制御部１３２ｄは、視線検出制御部３２１、音声入力制御部３２２、表示制御部３２３、撮影制御部３２４に加えて、操作履歴検出部３２６を備える。
【０２０２】
操作履歴検出部３２６は、内視鏡４００の操作部４０２が入力を受け付けた操作の内容を検出し、この検出結果を記録部３４ｄに出力する。具体的には、操作履歴検出部３２６は、内視鏡４００の操作部４０２から拡大スイッチが操作された場合、この操作内容を検出し、この検出結果を記録部３４ｄに出力する。なお、操作履歴検出部３２６は、内視鏡４００を経由して被検体Ｕ４の内部に挿入される処置具の操作内容を検出し、この検出結果を記録部３４ｄに出力してもよい。
【０２０３】
記録部３４ｄは、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成される。記録部３４ｄは、上述した実施の形態５に係る記録部３４ｃの構成に加えて、操作履歴記録部３４７をさらに備える。
【０２０４】
操作履歴記録部３４７は、操作履歴検出部３２６から入力された内視鏡４００の操作部４０２に対する操作の履歴を記録する。
【０２０５】
設定部１３８ｄは、キャリブレーションデータ記憶部３４５が記録するキャリブレーションデータと、解析部１１１が解析した注視度と、操作履歴記録部３４７が記録する操作履歴と、に基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度および変換部１３５によって変換された文字情報を割り当てて記録部３４ｄへ記録する。具体的には、設定部１３８ｄは、キャリブレーションデータ記憶部３４５が記録するキャリブレーションデータと、解析部１１１が解析した注視度と、操作履歴記録部３４７が記録する操作履歴とに基づいて、音声データのフレーム毎に重要度（例えば数値）を割り当てて記録部３４ｄへ記録する。すなわち、設定部１３８ｄは、操作履歴の内容に応じて設定された係数が大きいほど重要度が高くなるような処理を行う。設定部１３８ｄは、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。
【０２０６】
生成部１３９ｄは、画像処理部１４０が生成した統合画像データに対応する統合画像上に、解析部１１１が解析した注視度および文字情報を関連付けた視線マッピングデータを生成し、この生成した視線マッピングデータを記録部３４ｄおよび表示制御部３２３へ出力する。
【０２０７】
画像処理部１４０は、画像データ記録部３４６が記録する複数の画像データを合成することによって３次元画像の統合画像データを生成し、この統合画像データを生成部１３９ｄへ出力する。
【０２０８】
〔内視鏡システムの処理〕
次に、内視鏡システム３００が実行する処理について説明する。図２５は、内視鏡システム３００が実行する処理の概要を示すフローチャートである。
【０２０９】
図２５に示すように、まず、制御部１３２ｄは、視線検出部１３０が生成した視線データ、音声入力部１３１が生成した音声データ、および操作履歴検出部３２６が検出した操作履歴の各々を時間計測部１３３によって計測された時間と対応付けて視線データ記録部３４１、音声データ記録部３４２および操作履歴記録部３４７に記録する（ステップＳ７０１）。ステップＳ７０１の後、内視鏡システム３００は、後述するステップＳ７０２へ移行する。
【０２１０】
ステップＳ７０２〜ステップＳ７０４は、上述した図１７のステップＳ５０３〜ステップＳ５０５それぞれに対応する。ステップＳ７０４の後、内視鏡システム３００は、ステップＳ７０５へ移行する。
【０２１１】
ステップＳ７０５において、設定部１３８ｄは、キャリブレーションデータ記憶部３４５が記録するキャリブレーションデータと、解析部１１１が解析した注視度と、操作履歴記録部３４７が記録する操作履歴と、に基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度および変換部１３５によって変換された文字情報を割り当てて記録部３４ｄへ記録する。
【０２１２】
続いて、画像処理部１４０は、画像データ記録部３４６が記録する複数の画像データを合成することによって３次元画像の統合画像データを生成し、この統合画像データを生成部１３９ｄへ出力する（ステップＳ７０６）。図２６は、画像データ記録部３４６が記録する複数の画像データに対応する複数の画像の一例を模式的に示す図である。図２７は、画像処理部１４０が生成する統合画像データに対応する統合画像の一例を示す図である。図２６および図２７に示すように、画像処理部１４０は、時間的に連続する複数の画像データＰ１１〜ＰＮ（Ｎ＝整数）を合成することによって統合画像データに対応する統合画像Ｐ１００を生成する。
【０２１３】
その後、生成部１３９ｄは、画像処理部１４０が生成した統合画像データに対応する統合画像Ｐ１００上に、解析部１１１が解析した注視度、視線および文字情報を関連付けた視線マッピングデータを生成し、この生成した視線マッピングデータを記録部３４ｄおよび表示制御部３２３へ出力する（ステップＳ７０７）。この場合、生成部１３９ｄは、画像処理部１４０が生成した統合画像データに対応する統合画像Ｐ１００上に、解析部１１１が解析した注視度、視線Ｋ２および文字情報に加えて、操作履歴を関連付けてもよい。ステップＳ７０７の後、内視鏡システム３００は、後述するステップＳ７０８へ移行する。
【０２１４】
ステップＳ７０８〜ステップＳ７１１は、上述した図１７のステップＳ５０８〜ステップＳ５１１それぞれに対応する。
【０２１５】
以上説明した実施の形態６によれば、設定部１３８ｄが解析部１１１によって解析された注視度と操作履歴記録部３４７が記録する操作履歴とに基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度および変換部１３５によって変換された文字情報を割り当てて記録部３４ｄへ記録することによって、操作履歴および注視度に基づいた重要度が音声データに割り当てられるので、操作内容および注視度を加味した音声データの重要な期間を把握することができる。
【０２１６】
また、実施の形態６では、内視鏡システムであったが、例えばカプセル型の内視鏡、被検体を撮像するビデオマイクロスコープ、撮像機能を有する携帯電話および撮像機能を有するタブレット型端末であっても適用することができる。
【０２１７】
また、実施の形態６では、軟性の内視鏡を備えた内視鏡システムであったが、硬性の内視鏡を備えた内視鏡システム、工業用の内視鏡を備えた内視鏡システムであっても適用することができる。
【０２１８】
また、実施の形態６では、被検体に挿入される内視鏡を備えた内視鏡システムであったが、副鼻腔内視鏡および電気メスや検査プローブ等の内視鏡システムであっても適用することができる。
【０２１９】
（実施の形態７）
次に、本開示の実施の形態７について説明する。上述した実施の形態３〜６は、利用者が一人の場合を想定していたが、実施の形態７では、２人以上の利用者を想定する。さらに、実施の形態７では、複数の利用者で画像を閲覧する情報処理システムに情報処理装置を組み込むことによって構成する。以下においては、実施の形態７に係る閲覧システムの構成を説明後、実施の形態７に係る情報処理システムが実行する処理について説明する。なお、上述した実施の形態３に係る情報処理装置１ｂと同一の構成には同一の符号を付して詳細な説明は適宜省略する。
【０２２０】
〔情報処理システムの構成〕
図２８は、実施の形態７に係る情報処理システムの機能構成を示すブロック図である。図２８に示す情報処理システム７００は、表示部１２０と、第１ウェアラブルデバイス７１０と、第２ウェアラブルデバイス７２０と、検出部７３０と、情報処理装置１ｅと、を備える。
【０２２１】
〔第１ウェアラブルデバイスの構成〕
まず、第１ウェアラブルデバイス７１０の構成について説明する。
第１ウェアラブルデバイス７１０は、利用者に装着され、利用者の視線を検出するとともに、利用者の音声の入力を受け付ける。第１ウェアラブルデバイス７１０は、第１視線検出部７１１と、第１音声入力部７１２と、を有する。第１視線検出部７１１および第１音声入力部７１２は、上述した実施の形態４に係る視線検出部５１０および音声入力部５２０と同様の構成を有するため、詳細な構成は省略する。
【０２２２】
〔第２ウェアラブルデバイスの構成〕
次に、第２ウェアラブルデバイス７２０の構成について説明する。
第２ウェアラブルデバイス７２０は、上述した第１ウェアラブルデバイス７１０と同様の構成を有し、利用者に装着され、利用者の視線を検出するとともに、利用者の音声の入力を受け付ける。第２ウェアラブルデバイス７２０は、第２視線検出部７２１と、第２音声入力部７２２と、を有する。第２視線検出部７２１および第２音声入力部７２２は、上述した実施の形態４に係る視線検出部５１０および音声入力部５２０と同様の構成を有するため、詳細な構成は省略する。
【０２２３】
〔検出部の構成〕
次に、検出部７３０の構成について説明する。
検出部７３０は、複数の利用者の各々を識別する識別情報を検出し、この検出結果を情報処理装置１ｅへ出力する。検出部７３０は、複数の利用者の各々を識別する識別情報（例えばＩＤや名前等）を記録するＩＣカードから利用者の識別情報を検出し、この検出結果を情報処理装置１ｅへ出力する。検出部７３０は、例えば、ＩＣカードを読み取るカードリーダ等を用いて構成される。なお、検出部７３０は、複数の利用者の顔を撮像することによって生成した画像データに対応する画像に対して、予め設定された利用者の顔の特徴点および周知のパターンマッチングを用いて利用者を識別し、この識別結果を情報処理装置１ｅへ出力するようにしてもよい。もちろん、検出部７３０は、操作部１３７からの操作に応じて入力された信号に基づいて、利用者を識別し、この識別結果を情報処理装置１ｅへ出力するようにしてもよい。
【０２２４】
〔情報処理装置の構成〕
次に、情報処理装置１ｅの構成について説明する。
情報処理装置１ｅは、上述した実施の形態４に係る情報処理装置１ｄの制御部１３２ｄ、記録部３４ｄおよび設定部１３８ｄに換えて、制御部１３２ｅ、記録部３４ｅおよび設定部１３８ｅを備える。
【０２２５】
制御部１３２ｅは、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成され、第１ウェアラブルデバイス７１０、第２ウェアラブルデバイス７２０、検出部７３０および表示部１２０を制御する。制御部１３２ｅは、視線検出制御部３２１、音声入力制御部３２２、表示制御部３２３に加えて、識別検出制御部３２７を備える。
【０２２６】
識別検出制御部３２７は、検出部７３０を制御し、検出部７３０が取得した取得結果に基づいて、複数の利用者の各々を識別し、この識別結果を記録部３４ｅへ出力する。
【０２２７】
記録部３４ｅは、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成される。記録部３４ｅは、上述した実施の形態３に係る記録部３４ｃの構成に加えて、識別情報記録部３４８をさらに備える。
【０２２８】
識別情報記録部３４８は、識別検出制御部３２７から入力された複数の利用者の各々の識別情報を記録する。
【０２２９】
設定部１３８ｅは、キャリブレーションデータ記憶部３４５が記録する利用者毎のキャリブレーションデータと、解析部１１１が解析した各解析結果と、抽出部１３６が抽出した文字情報と、識別情報記録部３４８が記録する識別情報と、に基づいて、所定の時間間隔毎に視線データと同じ時間軸が対応付けられた音声データに重要度および変換部１３５によって変換された文字情報を割り当てて記録部３４ｅに記録する。さらに、設定部１３８ｅは、識別情報記録部３４８が記録する各利用者の識別情報に応じて重要度の重み付けを行う。すなわち、設定部１３８ｅは、重要な利用者（例えば役職に応じて設定されたランク）ほど重要度が高くなる処理を行う。
【０２３０】
〔情報処理システムの処理〕
次に、情報処理システム７００が実行する処理について説明する。図２９は、情報処理システム７００が実行する処理の概要を示すフローチャートである。
【０２３１】
図２９に示すように、表示制御部３２３は、画像データ記録部３４３が記録する画像データに対応する画像を表示部１２０に表示させる（ステップＳ８０１）。
【０２３２】
続いて、制御部１３２ｅは、第１ウェアラブルデバイス７１０および第２ウェアラブルデバイス７２０の各々が生成した視線データ、音声データ、および検出部７３０が取得した識別情報の各々を時間計測部１３３によって計測された時間と対応付けて視線データ記録部３４１、音声データ記録部３４２および識別情報記録部３４８に記録する（ステップＳ８０２）。ステップＳ８０２の後、情報処理システム７００は、ステップＳ８０３へ移行する。
【０２３３】
ステップＳ８０３およびステップＳ８０４は、上述した図１７のステップＳ５０３およびステップＳ５０４それぞれに対応する。ステップＳ８０４の後、情報処理システム７００は、後述するステップＳ８０５へ移行する。
【０２３４】
ステップＳ８０５において、解析部１１１は、第１ウェアラブルデバイス７１０が生成した第１視線データおよび第２ウェアラブルデバイス７２０が生成した第２視線データに基づいて、各利用者の視線の注視度を解析する。
【０２３５】
続いて、設定部１３８ｅは、所定の時間間隔毎に解析部１１１が解析した各注視度と、識別情報記録部３４８が記録する識別情報とに基づいて、視線データと同じ時間軸が対応付けられた第１音声データおよび第２音声データの各々に重要度および変換部１３５によって変換された文字情報を割り当てて記録部３４ｅへ記録する（ステップＳ８０６）。
【０２３６】
ステップＳ８０７〜ステップＳ８１１は、上述した図１７のステップＳ５０７〜ステップＳ５１１それぞれに対応する。
【０２３７】
以上説明した実施の形態７によれば、設定部１３８ｅが解析部１１１によって解析された各利用者の注視度と、識別情報記録部３４８が記録する識別情報とに基づいて、視線データと同じ時間軸が対応付けられた第１音声データおよび第２音声データの各々に重要度および変換部１３５によって変換された文字情報を割り当てて記録部３４ｅへ記録することによって、識別情報よび注視度に基づいた重要度が第１音声データまたは第２音声データに割り当てられるので、利用者に応じた注視度を加味した音声データの重要な期間を把握することができる。
【０２３８】
なお、実施の形態７では、設定部１３８ｅが解析部１１１によって解析された各利用者の注視度と、識別情報記録部３４８が記録する各利用者の識別情報とに基づいて、視線データと同じ時間軸が対応付けられた第１音声データおよび第２音声データの各々に重要度および変換部１３５によって変換された文字情報を割り当てて記録部３４ｅへ記録していたが、これに限定されることなく、例えば複数の利用者の各々の位置を検出し、この検出結果と各利用者の注視度とに基づいて、第１音声データおよび第２音声データの各々に重要度および変換部１３５によって変換された文字情報を割り当てて記録部３４ｅへ記録してもよい。
【０２３９】
（その他の実施の形態）
上述した実施の形態１〜７に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態１〜５に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した実施の形態１〜５で説明した構成要素を適宜組み合わせてもよい。
【０２４０】
また、実施の形態１〜７において、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
【０２４１】
また、実施の形態１〜７に係る情報処理装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０２４２】
また、実施の形態１〜７に係る情報処理装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、実施の形態１〜５に係る情報処理装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するようにしてもよい。
【０２４３】
また、実施の形態１〜７では、伝送ケーブルを経由して各種機器から信号を送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、各機器から信号を送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。
【０２４４】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【０２４５】
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【符号の説明】
【０２４６】
１，１ａ，１ｂ，１ｄ，１ｅ，１００，１００ａ，１１０ｃ  情報処理装置
１ａａ，１ｃ，７００  情報処理システム
１０，１３０，２２０，２２２，５１０  視線検出部
１１，１３１，５２０  音声入力部
１２，１２０  表示部
１３，１３７，４０２  操作部
１４，１３２，１３２ｃ，１３２ｄ，１３２ｅ  制御部
１５  時間計測部
１６，１６ａ，３４，３４ｃ，３４ｄ，３４ｅ，１１４  記録部
１７，１１１  解析部
１８，１１２，１１２ａ，１３８，１３８ｃ，１３８ｄ，１３８ｅ  設定部
１９  キャリブレーション生成部
２０，１３５  変換部
２１，１３６  抽出部
１１０  顕微鏡システム
１１３，１３９，１３９ｄ  生成部
１１５，１４３，３２３  表示制御部
１１６，１６６，３４５  キャリブレーションデータ記憶部
１３３  時間計測部
１４０  画像処理部
１４１，３２１  視線検出制御部
１４２，３２２  音声入力制御部
１６１，３４１  視線データ記録部
１６２，３４２  音声データ記録部
１６３，３４３，３４６  画像データ記録部
１６４，３４４  プログラム記憶部
１６５  補正用音声データ記憶部
１６７  キーワード履歴記録部
１６８  重要単語記憶部
２００  顕微鏡
２０１  本体部
２０２  回転部
２０３  昇降部
２０４  レボルバ
２０５  対物レンズ
２０６  倍率検出部
２０７  鏡筒部
２０８  接続部
２０９  接眼部
２１０，４０１  撮像部
３００  内視鏡システム
３２５  倍率算出部
３２６  操作履歴検出部
３４７  操作履歴記録部
３４８  識別情報記録部
４００  内視鏡
５００  ウェアラブルデバイス
６００  入力部
７１０  第１ウェアラブルデバイス
７１１  第１視線検出部
７１２  第１音声入力部
７２０  第２ウェアラブルデバイス
７２１  第２視線検出部
７２２  第２音声入力部
７３０  検出部
３２４  撮影制御部
３２７  識別検出制御部
【図１】
2019202131.tif 000003
【図２】
2019202131.tif 000004
【図３】
2019202131.tif 000005
【図４】
2019202131.tif 000006
【図５Ａ】
2019202131.tif 000007
【図５Ｂ】
2019202131.tif 000008
【図６Ａ】
2019202131.tif 000009
【図６Ｂ】
2019202131.tif 000010
【図７Ａ】
2019202131.tif 000011
【図７Ｂ】
2019202131.tif 000012
【図８】
2019202131.tif 000013
【図９】
2019202131.tif 000014
【図１０】
2019202131.tif 000015
【図１１】
2019202131.tif 000016
【図１２】
2019202131.tif 000017
【図１３】
2019202131.tif 000018
【図１４】
2019202131.tif 000019
【図１５】
2019202131.tif 000020
【図１６】
2019202131.tif 000021
【図１７】
2019202131.tif 000022
【図１８】
2019202131.tif 000023
【図１９Ａ】
2019202131.tif 000024
【図１９Ｂ】
2019202131.tif 000025
【図２０】
2019202131.tif 000026
【図２１】
2019202131.tif 000027
【図２２】
2019202131.tif 000028
【図２３】
2019202131.tif 000029
【図２４】
2019202131.tif 000030
【図２５】
2019202131.tif 000031
【図２６】
2019202131.tif 000032
【図２７】
2019202131.tif 000033
【図２８】
2019202131.tif 000034
【図２９】
2019202131.tif 000035