(57)【要約】  情報記録システムにおいて、対象物情報取得部は、対象物に関する対象物情報を取得する。画像取得部は、前記対象物情報がどのような状況で取得されているのかを示す画像情報を取得する。記録部は、前記対象物情報、前記画像情報、および時刻情報を互いに関連付けて記録媒体に記録する。イベント検出部は、前記記録媒体に記録された前記対象物情報および前記画像情報の少なくとも１つに基づいてイベントを検出する。読み出し部は、イベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記画像情報を前記記録媒体から読み出す。表示部は、前記対象物情報および前記画像情報を互いに関連付けて表示する。
2018138834.tif 000002
【特許請求の範囲】
【請求項１】
対象物に関する対象物情報を取得する対象物情報取得部と、
前記対象物情報がどのような状況で取得されているのかを示す画像情報を取得する画像取得部と、
前記対象物情報、前記画像情報、および時刻情報を互いに関連付けて記録媒体に記録し、前記時刻情報は、前記対象物情報および前記画像情報の各々が取得された時刻を示す記録部と、
前記記録媒体に記録された前記対象物情報および前記画像情報の少なくとも１つに基づいてイベントを検出し、前記イベントは、前記記録媒体に記録された前記対象物情報および前記画像情報の少なくとも１つが所定の条件を満たす状態であるイベント検出部と、
前記イベントが発生した時刻であるイベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記画像情報を前記記録媒体から読み出す読み出し部と、
前記読み出し部によって読み出された前記対象物情報および前記画像情報を互いに関連付けて表示する表示部と、
を有する情報記録システム。
【請求項２】
前記対象物情報がどのような状況で取得されているのかを示し、かつ前記対象物の画像情報を除く情報である状況情報を取得する状況情報取得部をさらに有し、
前記記録部は、前記対象物情報、前記画像情報、前記状況情報、および前記時刻情報を互いに関連付けて前記記録媒体に記録し、前記時刻情報は、前記対象物情報、前記画像情報、および前記状況情報の各々が取得された時刻を示し、
前記イベント検出部は、前記記録媒体に記録された前記対象物情報、前記画像情報、および前記状況情報の少なくとも１つに基づいてイベントを検出し、前記イベントは、前記記録媒体に記録された前記対象物情報、前記画像情報、および前記状況情報の少なくとも１つが所定の条件を満たす状態である
請求項１に記載の情報記録システム。
【請求項３】
前記対象物を観察する観察者が発した音声に基づく音声情報を取得する音声取得部をさらに有し、
前記記録部は、前記対象物情報、前記画像情報、前記音声情報、および前記時刻情報を互いに関連付けて前記記録媒体に記録し、前記時刻情報は、前記対象物情報、前記画像情報、および前記音声情報の各々が取得された時刻を示し、
前記イベント検出部は、前記記録媒体に記録された前記対象物情報、前記画像情報、および前記音声情報の少なくとも１つに基づいてイベントを検出し、前記イベントは、前記記録媒体に記録された前記対象物情報、前記画像情報、および前記音声情報の少なくとも１つが所定の条件を満たす状態である
請求項１に記載の情報記録システム。
【請求項４】
前記音声情報は、時系列の音声信号であり、
前記読み出し部は、前記音声信号を前記記録媒体から読み出し、かつ前記イベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記画像情報を前記記録媒体から読み出し、
前記表示部は、前記読み出し部によって読み出された前記音声信号を、前記音声信号の時間変化が視認できるように時系列グラフに表示し、
前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記画像情報を前記時系列グラフに関連付けて表示し、
前記表示部は、前記イベント発生時刻に対応する時刻における前記時系列グラフ上の位置を表示する
請求項３に記載の情報記録システム。
【請求項５】
前記対象物を観察する観察者が発した音声に基づく音声情報を取得する音声取得部と、
前記音声取得部によって取得された前記音声情報をテキスト情報に変換する音声処理部と、
をさらに有し、
前記記録部は、前記対象物情報、前記画像情報、前記テキスト情報、および前記時刻情報を互いに関連付けて前記記録媒体に記録し、前記時刻情報は、前記対象物情報および前記画像情報の各々が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示し、
前記イベント検出部は、前記記録媒体に記録された前記対象物情報、前記画像情報、および前記テキスト情報の少なくとも１つに基づいてイベントを検出し、前記イベントは、前記記録媒体に記録された前記対象物情報、前記画像情報、および前記テキスト情報の少なくとも１つが所定の条件を満たす状態である
請求項１に記載の情報記録システム。
【請求項６】
前記対象物を観察する観察者が発した音声に基づく音声情報を取得する音声取得部と、
音声処理部と、
をさらに有し、
前記記録部は、前記対象物情報、前記画像情報、前記音声情報、および前記時刻情報を互いに関連付けて前記記録媒体に記録し、前記時刻情報は、前記対象物情報、前記画像情報、および前記音声情報の各々が取得された時刻を示し、
前記読み出し部は、前記音声情報を前記記録媒体から読み出し、
前記音声処理部は、前記読み出し部によって読み出された前記音声情報をテキスト情報に変換し、
前記記録部は、前記記録媒体に記録された前記対象物情報、前記画像情報、および前記時刻情報に前記テキスト情報を関連付け、かつ前記テキスト情報を前記記録媒体に記録し、前記時刻情報は、前記テキスト情報の元になった前記音声情報が取得された時刻を示し、
前記イベント検出部は、前記記録媒体に記録された前記対象物情報、前記画像情報、および前記テキスト情報の少なくとも１つに基づいてイベントを検出し、前記イベントは、前記記録媒体に記録された前記対象物情報、前記画像情報、および前記テキスト情報の少なくとも１つが所定の条件を満たす状態である
請求項１に記載の情報記録システム。
【請求項７】
前記イベント検出部によって検出された前記イベントのいずれか１つを選択するイベント選択指示を受け付ける指示受付部をさらに有し、
前記読み出し部は、選択イベントの前記イベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記画像情報を前記記録媒体から読み出し、前記選択イベントは、前記指示受付部によって受け付けられた前記イベント選択指示に対応する前記イベントである
請求項１に記載の情報記録システム。
【請求項８】
前記対象物を観察する観察者が発した音声に基づく音声情報を取得し、前記音声情報は、時系列の音声信号である音声取得部をさらに有し、
前記記録部は、前記対象物情報、前記画像情報、前記音声信号、および前記時刻情報を互いに関連付けて前記記録媒体に記録し、前記時刻情報は、前記対象物情報、前記画像情報、および前記音声信号の各々が取得された時刻を示し、
前記読み出し部は、前記音声信号を前記記録媒体から読み出し、かつ前記選択イベントの前記イベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記画像情報を前記記録媒体から読み出し、
前記表示部は、前記読み出し部によって読み出された前記音声信号を、前記音声信号の時間変化が視認できるように時系列グラフに表示し、
前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記画像情報を前記時系列グラフに関連付けて表示し、
前記表示部は、前記選択イベントの前記イベント発生時刻に対応する時刻における前記時系列グラフ上の位置を表示する
請求項７に記載の情報記録システム。
【請求項９】
前記表示部によって表示された前記音声信号においてイベント位置が指定されたとき、前記指示受付部は前記イベント選択指示を受け付け、前記イベント位置は、前記選択イベントの前記イベント発生時刻に対応する位置であり、
前記指示受付部によって前記イベント選択指示が受け付けられた後、前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記画像情報を前記時系列グラフに関連付けて表示する
請求項８に記載の情報記録システム。
【請求項１０】
前記対象物情報が示す前記対象物の状態が、イベント検出条件として予め定義された状態である場合、前記イベント検出部は、前記イベントを検出する
請求項１に記載の情報記録システム。
【請求項１１】
前記画像取得部は、前記対象物と前記対象物の周辺との少なくとも１つを含む前記画像情報を取得し、
前記画像情報が示す前記対象物と前記対象物の前記周辺との少なくとも１つの状態が、イベント検出条件として予め定義された状態である場合、前記イベント検出部は、前記イベントを検出する
請求項１に記載の情報記録システム。
【請求項１２】
前記対象物を観察する観察者が発した音声に基づく音声情報を取得し、前記音声情報は、時系列の音声信号である音声取得部をさらに有し、
前記音声信号の振幅またはパワーが、イベント検出条件として予め定義された閾値を超えた場合、前記イベント検出部は、前記イベントを検出する
請求項１に記載の情報記録システム。
【請求項１３】
前記対象物を観察する観察者が発した音声に基づく音声情報を取得する音声取得部をさらに有し、
前記音声情報が示す音声が、イベント検出条件として予め定義されたキーワードの音声と一致した場合、前記イベント検出部は、前記イベントを検出する
請求項１に記載の情報記録システム。
【請求項１４】
前記対象物を観察する観察者が発した音声に基づく音声情報を取得する音声取得部と、
前記音声取得部によって取得された前記音声情報をテキスト情報に変換する音声処理部と、
をさらに有し、
前記テキスト情報が示すキーワードが、イベント検出条件として予め定義されたキーワードと一致した場合、前記イベント検出部は、前記イベントを検出する
請求項１に記載の情報記録システム。
【請求項１５】
対象物に関する対象物情報と、前記対象物情報がどのような状況で取得されているのかを示す画像情報とが入力される入力部と、
前記対象物情報、前記画像情報、および時刻情報を互いに関連付けて記録媒体に記録し、前記時刻情報は、前記対象物情報および前記画像情報の各々が取得された時刻を示す記録部と、
前記記録媒体に記録された前記対象物情報および前記画像情報の少なくとも１つに基づいてイベントを検出し、前記イベントは、前記記録媒体に記録された前記対象物情報および前記画像情報の少なくとも１つが所定の条件を満たす状態であるイベント検出部と、
前記イベントが発生した時刻であるイベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記画像情報を前記記録媒体から読み出す読み出し部と、
を有する情報記録装置。
【請求項１６】
対象物情報取得部が、対象物に関する対象物情報を取得する対象物情報取得ステップと、
画像取得部が、前記対象物情報がどのような状況で取得されているのかを示す画像情報を取得する画像取得ステップと、
記録部が、前記対象物情報、前記画像情報、および時刻情報を互いに関連付けて記録媒体に記録し、前記時刻情報は、前記対象物情報および前記画像情報の各々が取得された時刻を示す記録ステップと、
イベント検出部が、前記記録媒体に記録された前記対象物情報および前記画像情報の少なくとも１つに基づいてイベントを検出し、前記イベントは、前記記録媒体に記録された前記対象物情報および前記画像情報の少なくとも１つが所定の条件を満たす状態であるイベント検出ステップと、
読み出し部が、前記イベントが発生した時刻であるイベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記画像情報を前記記録媒体から読み出す読み出しステップと、
表示部が、前記読み出し部によって読み出された前記対象物情報および前記画像情報を互いに関連付けて表示する表示ステップと、
を有する情報記録方法。
【請求項１７】
対象物に関する対象物情報と、前記対象物情報がどのような状況で取得されているのかを示す画像情報とが入力部に入力される入力ステップと、
記録部が、前記対象物情報、前記画像情報、および時刻情報を互いに関連付けて記録媒体に記録し、前記時刻情報は、前記対象物情報および前記画像情報の各々が取得された時刻を示す記録ステップと、
イベント検出部が、前記記録媒体に記録された前記対象物情報および前記画像情報の少なくとも１つに基づいてイベントを検出し、前記イベントは、前記記録媒体に記録された前記対象物情報および前記画像情報の少なくとも１つが所定の条件を満たす状態であるイベント検出ステップと、
読み出し部が、前記イベントが発生した時刻であるイベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記画像情報を前記記録媒体から読み出す読み出しステップと、
を有する情報記録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報記録システム、情報記録装置、および情報記録方法に関する。
【背景技術】
【０００２】
データ利用の促進および不正防止のために、観察により得られた情報の記録だけでなく、観察現場の状況の記録が重要視されている。例えば、観察現場の状況の記録に関する例として、研究者のラボノート、医師の所見、および建設現場の配筋レポートなどの例がある。また、少子高齢化および技能者不足はあらゆる現場で課題となっている。技能継承および教育のためにも現場状況の記録の重要性はますます高くなってきている。【０００３】
従来の観察機器は対象物の観察により得られた対象物の情報のみを記録する。現状では、ユーザが観察現場の状況を手書きで記録している。一方、現場ではユーザはさまざまな環境および状況で作業をしているため、現場での記録が困難であるケースがある。安全上もしくは衛生上の理由などによりユーザが手を使えないケースもある。これらのようなケースでは、ユーザが観察後にあいまいな記憶を頼りに現場状況を記録することにより、記録漏れまたは誤記録を招く可能性があった。【０００４】
一方、対象物の情報と他の情報とを関連付けて記録する技術が開示されている。例えば、特許文献１に開示された技術では、対象物の外観が撮像され、かつ撮像の際に操作者が発した音声が取得される。取得された対象物の画像と操作者の音声とが関連付けて記録される。特許文献２に開示された技術では、カメラから、画像とそれに対応付けられた音声とがサーバに送信される。サーバは、受信された音声をテキストに変換し、かつその結果に基づいて、画像に付加される情報を生成する。サーバは、受信された画像と、音声に基づいて生成された情報とを関連付けて保管する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】日本国特開２００８−１９９０７９号公報
【特許文献２】日本国特開２００８−０８５５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術において、撮影された画像の識別、検索、および整理を効率化するために、対象物が撮影され、かつ対象物および撮影条件に関する情報が音声で入力される。また、音声に基づいて生成された情報が、撮影された画像に付加され、かつ記録される。【０００７】
しかしながら、撮影の状況を画像で記録するための手段は提供されていない。このため、対象物の画像がどのような状況で得られたかを示す記録を残すことはできない。例えば、従来技術では、観察により画像を取得し、それに音声のコメントをつけることはできる。しかし、従来技術では、その画像がどのようにして得られたかを画像で記録することはできないため、正確な手順の再現および検証を実施できない場合がある。【０００８】
前述したように、現場での記録が困難であるケースあるいはユーザが手を使えないケースがある。このため、ユーザの手を煩わせない記録手段が求められる。その観点から、動画および音声などの情報の自動記録が優れている。しかし、これらのケースは、再生および表示における閲覧性および検索性の観点では不利である。例えば、時系列情報であるこれらの情報の再生には記録とほぼ同じ時間を要するため、ユーザが所望の情報を探し出すのに時間がかかる場合がある。【０００９】
本発明は、対象物情報がどのような状況で取得されているのかを示す視覚的な情報を記録することができ、かつユーザによる情報の効率的な閲覧を支援することができる情報記録システム、情報記録装置、および情報記録方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の態様によれば、情報記録システムは、対象物情報取得部、画像取得部、記録部、イベント検出部、読み出し部、および表示部を有する。前記対象物情報取得部は、対象物に関する対象物情報を取得する。前記画像取得部は、前記対象物情報がどのような状況で取得されているのかを示す画像情報を取得する。前記記録部は、前記対象物情報、前記画像情報、および時刻情報を互いに関連付けて記録媒体に記録する。前記時刻情報は、前記対象物情報および前記画像情報の各々が取得された時刻を示す。前記イベント検出部は、前記記録媒体に記録された前記対象物情報および前記画像情報の少なくとも１つに基づいてイベントを検出する。前記イベントは、前記記録媒体に記録された前記対象物情報および前記画像情報の少なくとも１つが所定の条件を満たす状態である。前記読み出し部は、前記イベントが発生した時刻であるイベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記画像情報を前記記録媒体から読み出す。前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記画像情報を互いに関連付けて表示する。【００１１】
本発明の第２の態様によれば、第１の態様において、前記情報記録システムは、前記対象物情報がどのような状況で取得されているのかを示し、かつ前記対象物の画像情報を除く情報である状況情報を取得する状況情報取得部をさらに有してもよい。前記記録部は、前記対象物情報、前記画像情報、前記状況情報、および前記時刻情報を互いに関連付けて前記記録媒体に記録してもよい。前記時刻情報は、前記対象物情報、前記画像情報、および前記状況情報の各々が取得された時刻を示す。前記イベント検出部は、前記記録媒体に記録された前記対象物情報、前記画像情報、および前記状況情報の少なくとも１つに基づいてイベントを検出してもよい。前記イベントは、前記記録媒体に記録された前記対象物情報、前記画像情報、および前記状況情報の少なくとも１つが所定の条件を満たす状態である。【００１２】
本発明の第３の態様によれば、第１の態様において、前記情報記録システムは、前記対象物を観察する観察者が発した音声に基づく音声情報を取得する音声取得部をさらに有してもよい。前記記録部は、前記対象物情報、前記画像情報、前記音声情報、および前記時刻情報を互いに関連付けて前記記録媒体に記録してもよい。前記時刻情報は、前記対象物情報、前記画像情報、および前記音声情報の各々が取得された時刻を示す。前記イベント検出部は、前記記録媒体に記録された前記対象物情報、前記画像情報、および前記音声情報の少なくとも１つに基づいてイベントを検出してもよい。前記イベントは、前記記録媒体に記録された前記対象物情報、前記画像情報、および前記音声情報の少なくとも１つが所定の条件を満たす状態である。【００１３】
本発明の第４の態様によれば、第３の態様において、前記音声情報は、時系列の音声信号であってもよい。前記読み出し部は、前記音声信号を前記記録媒体から読み出し、かつ前記イベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記画像情報を前記記録媒体から読み出してもよい。前記表示部は、前記読み出し部によって読み出された前記音声信号を、前記音声信号の時間変化が視認できるように時系列グラフに表示してもよい。前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記画像情報を前記時系列グラフに関連付けて表示してもよい。前記表示部は、前記イベント発生時刻に対応する時刻における前記時系列グラフ上の位置を表示してもよい。【００１４】
本発明の第５の態様によれば、第１の態様において、前記情報記録システムは、音声取得部および音声処理部をさらに有してもよい。前記音声取得部は、前記対象物を観察する観察者が発した音声に基づく音声情報を取得する。前記音声処理部は、前記音声取得部によって取得された前記音声情報をテキスト情報に変換する。前記記録部は、前記対象物情報、前記画像情報、前記テキスト情報、および前記時刻情報を互いに関連付けて前記記録媒体に記録してもよい。前記時刻情報は、前記対象物情報および前記画像情報の各々が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す。前記イベント検出部は、前記記録媒体に記録された前記対象物情報、前記画像情報、および前記テキスト情報の少なくとも１つに基づいてイベントを検出してもよい。前記イベントは、前記記録媒体に記録された前記対象物情報、前記画像情報、および前記テキスト情報の少なくとも１つが所定の条件を満たす状態である。【００１５】
本発明の第６の態様によれば、第１の態様において、前記情報記録システムは、音声取得部および音声処理部をさらに有してもよい。前記音声取得部は、前記対象物を観察する観察者が発した音声に基づく音声情報を取得する。前記記録部は、前記対象物情報、前記画像情報、前記音声情報、および前記時刻情報を互いに関連付けて前記記録媒体に記録してもよい。前記時刻情報は、前記対象物情報、前記画像情報、および前記音声情報の各々が取得された時刻を示す。前記読み出し部は、前記音声情報を前記記録媒体から読み出してもよい。前記音声処理部は、前記読み出し部によって読み出された前記音声情報をテキスト情報に変換してもよい。前記記録部は、前記記録媒体に記録された前記対象物情報、前記画像情報、および前記時刻情報に前記テキスト情報を関連付け、かつ前記テキスト情報を前記記録媒体に記録してもよい。前記時刻情報は、前記テキスト情報の元になった前記音声情報が取得された時刻を示す。前記イベント検出部は、前記記録媒体に記録された前記対象物情報、前記画像情報、および前記テキスト情報の少なくとも１つに基づいてイベントを検出してもよい。前記イベントは、前記記録媒体に記録された前記対象物情報、前記画像情報、および前記テキスト情報の少なくとも１つが所定の条件を満たす状態である。【００１６】
本発明の第７の態様によれば、第１の態様において、前記情報記録システムは、前記イベント検出部によって検出された前記イベントのいずれか１つを選択するイベント選択指示を受け付ける指示受付部をさらに有してもよい。前記読み出し部は、選択イベントの前記イベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記画像情報を前記記録媒体から読み出してもよい。前記選択イベントは、前記指示受付部によって受け付けられた前記イベント選択指示に対応する前記イベントである。【００１７】
本発明の第８の態様によれば、第７の態様において、前記情報記録システムは、前記対象物を観察する観察者が発した音声に基づく音声情報を取得し、前記音声情報は、時系列の音声信号である音声取得部をさらに有してもよい。前記記録部は、前記対象物情報、前記画像情報、前記音声信号、および前記時刻情報を互いに関連付けて前記記録媒体に記録してもよい。前記時刻情報は、前記対象物情報、前記画像情報、および前記音声信号の各々が取得された時刻を示す。前記読み出し部は、前記音声信号を前記記録媒体から読み出し、かつ前記選択イベントの前記イベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記画像情報を前記記録媒体から読み出してもよい。前記表示部は、前記読み出し部によって読み出された前記音声信号を、前記音声信号の時間変化が視認できるように時系列グラフに表示してもよい。前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記画像情報を前記時系列グラフに関連付けて表示してもよい。前記表示部は、前記選択イベントの前記イベント発生時刻に対応する時刻における前記時系列グラフ上の位置を表示してもよい。【００１８】
本発明の第９の態様によれば、第８の態様において、前記表示部によって表示された前記音声信号においてイベント位置が指定されたとき、前記指示受付部は前記イベント選択指示を受け付けてもよい。前記イベント位置は、前記選択イベントの前記イベント発生時刻に対応する位置である。前記指示受付部によって前記イベント選択指示が受け付けられた後、前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記画像情報を前記時系列グラフに関連付けて表示してもよい。【００１９】
本発明の第１０の態様によれば、第１の態様において、前記対象物情報が示す前記対象物の状態が、イベント検出条件として予め定義された状態である場合、前記イベント検出部は、前記イベントを検出してもよい。【００２０】
本発明の第１１の態様によれば、第１の態様において、前記画像取得部は、前記対象物と前記対象物の周辺との少なくとも１つを含む前記画像情報を取得してもよい。前記画像情報が示す前記対象物と前記対象物の前記周辺との少なくとも１つの状態が、イベント検出条件として予め定義された状態である場合、前記イベント検出部は、前記イベントを検出してもよい。【００２１】
本発明の第１２の態様によれば、第１の態様において、前記情報記録システムは、前記対象物を観察する観察者が発した音声に基づく音声情報を取得し、前記音声情報は、時系列の音声信号である音声取得部をさらに有してもよい。前記音声信号の振幅またはパワーが、イベント検出条件として予め定義された閾値を超えた場合、前記イベント検出部は、前記イベントを検出してもよい。【００２２】
本発明の第１３の態様によれば、第１の態様において、前記情報記録システムは、前記対象物を観察する観察者が発した音声に基づく音声情報を取得する音声取得部をさらに有してもよい。前記音声情報が示す音声が、イベント検出条件として予め定義されたキーワードの音声と一致した場合、前記イベント検出部は、前記イベントを検出してもよい。【００２３】
本発明の第１４の態様によれば、第１の態様において、前記情報記録システムは、音声取得部および音声処理部をさらに有してもよい。前記音声取得部は、前記対象物を観察する観察者が発した音声に基づく音声情報を取得する。前記音声処理部は、前記音声取得部によって取得された前記音声情報をテキスト情報に変換する。前記テキスト情報が示すキーワードが、イベント検出条件として予め定義されたキーワードと一致した場合、前記イベント検出部は、前記イベントを検出してもよい。【００２４】
本発明の第１５の態様によれば、情報記録装置は、入力部、記録部、イベント検出部、および読み出し部を有する。対象物に関する対象物情報と、前記対象物情報がどのような状況で取得されているのかを示す画像情報とが前記入力部に入力される。前記記録部は、前記対象物情報、前記画像情報、および時刻情報を互いに関連付けて記録媒体に記録する。前記時刻情報は、前記対象物情報および前記画像情報の各々が取得された時刻を示す。前記イベント検出部は、前記記録媒体に記録された前記対象物情報および前記画像情報の少なくとも１つに基づいてイベントを検出する。前記イベントは、前記記録媒体に記録された前記対象物情報および前記画像情報の少なくとも１つが所定の条件を満たす状態である。前記読み出し部は、前記イベントが発生した時刻であるイベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記画像情報を前記記録媒体から読み出す。【００２５】
本発明の第１６の態様によれば、情報記録方法は、対象物情報取得ステップ、画像取得ステップ、記録ステップ、イベント検出ステップ、読み出しステップ、および表示ステップを有する。前記対象物情報取得ステップにおいて、対象物情報取得部が、対象物に関する対象物情報を取得する。前記画像取得ステップにおいて、画像取得部が、前記対象物情報がどのような状況で取得されているのかを示す画像情報を取得する。前記記録ステップにおいて、記録部が、前記対象物情報、前記画像情報、および時刻情報を互いに関連付けて記録媒体に記録する。前記時刻情報は、前記対象物情報および前記画像情報の各々が取得された時刻を示す。前記イベント検出ステップにおいて、イベント検出部が、前記記録媒体に記録された前記対象物情報および前記画像情報の少なくとも１つに基づいてイベントを検出する。前記イベントは、前記記録媒体に記録された前記対象物情報および前記画像情報の少なくとも１つが所定の条件を満たす状態である。前記読み出しステップにおいて、読み出し部が、前記イベントが発生した時刻であるイベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記画像情報を前記記録媒体から読み出す。前記表示ステップにおいて、表示部が、前記読み出し部によって読み出された前記対象物情報および前記画像情報を互いに関連付けて表示する。【００２６】
本発明の第１７の態様によれば、情報記録方法は、入力ステップ、記録ステップ、イベント検出ステップ、および読み出しステップを有する。前記入力ステップにおいて、対象物に関する対象物情報と、前記対象物情報がどのような状況で取得されているのかを示す画像情報とが入力部に入力される。前記記録ステップにおいて、記録部が、前記対象物情報、前記画像情報、および時刻情報を互いに関連付けて記録媒体に記録する。前記時刻情報は、前記対象物情報および前記画像情報の各々が取得された時刻を示す。前記イベント検出ステップにおいて、イベント検出部が、前記記録媒体に記録された前記対象物情報および前記画像情報の少なくとも１つに基づいてイベントを検出する。前記イベントは、前記記録媒体に記録された前記対象物情報および前記画像情報の少なくとも１つが所定の条件を満たす状態である。前記読み出しステップにおいて、読み出し部が、前記イベントが発生した時刻であるイベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記画像情報を前記記録媒体から読み出す。
【発明の効果】
【００２７】
上記の各態様によれば、情報記録システム、情報記録装置、および情報記録方法は、対象物情報がどのような状況で取得されているのかを示す視覚的な情報を記録することができ、かつユーザによる情報の効率的な閲覧を支援することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施形態の情報記録システムの構成を示すブロック図である。
【図２】本発明の第１の実施形態の情報記録システムによる処理の手順を示すフローチャートである。
【図３】本発明の第１の実施形態の顕微鏡システムの概略構成を示す図である。
【図４】本発明の第１の実施形態の内視鏡システムの概略構成を示す図である。
【図５】本発明の第１の実施形態の診察システムの概略構成を示す図である。
【図６】本発明の第１の実施形態の検査システムの概略構成を示す図である。
【図７】本発明の第１の実施形態の作業記録システムの概略構成を示す図である。
【図８】本発明の第１の実施形態の情報記録システムにおける対象物情報に基づくイベント検出を示す参考図である。
【図９】本発明の第１の実施形態の情報記録システムにおける対象物情報に基づくイベント検出を示す参考図である。
【図１０】本発明の第１の実施形態の情報記録システムにおける音声情報に基づくイベント検出を示す参考図である。
【図１１】本発明の第１の実施形態の情報記録システムにおける音声情報に基づくイベント検出を示す参考図である。
【図１２】本発明の第１の実施形態の情報記録システムにおける表示部の画面を示す参考図である。
【図１３】本発明の第１の実施形態の情報記録システムにおけるイベント発生時刻とイベント期間との関係を示す参考図である。
【図１４】本発明の第１の実施形態の第１の変形例の情報記録システムの構成を示すブロック図である。
【図１５】本発明の第１の実施形態の第１の変形例の情報記録システムにおける表示部の画面を示す参考図である。
【図１６】本発明の第１の実施形態の第２の変形例の情報記録システムの構成を示すブロック図である。
【図１７】本発明の第１の実施形態の第３の変形例の情報記録システムの構成を示すブロック図である。
【図１８】本発明の第１の実施形態の第３の変形例の情報記録システムによる処理の手順を示すフローチャートである。
【図１９】本発明の第１の実施形態の第３の変形例の情報記録システムにおける表示部の画面を示す参考図である。
【図２０】本発明の第２の実施形態の情報記録システムの構成を示すブロック図である。
【図２１】本発明の第２の実施形態の情報記録装置の構成を示すブロック図である。
【図２２】本発明の第２の実施形態の情報記録装置による処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００２９】
図面を参照し、本発明の実施形態を説明する。
【００３０】
（第１の実施形態）
図１は、本発明の第１の実施形態の情報記録システム１０の構成を示す。図１に示すように、情報記録システム１０は、対象物情報取得部２０、画像取得部３０、音声取得部４０、音声処理部５０、記録部６０、記録媒体７０、イベント検出部７５、読み出し部８０、表示部９０、および音声出力部１００を有する。
【００３１】
対象物情報取得部２０は、対象物に関する対象物情報を取得する。対象物は、観察の対象となる物体である。観察は、物体の状態を把握する行為である。観察は、診断、診察、および検査などの行為を含んでもよい。観察のために取得される対象物情報は、必ずしも、物体の外部または内部の視覚的な情報すなわち画像情報でなくてもよい。例えば、対象物情報取得部２０は、顕微鏡、内視鏡、熱線映像装置、Ｘ線装置、およびＣＴ（Ｃｏｍｐｕｔｅｄ  Ｔｏｍｏｇｒａｐｈｙ）装置などの画像機器に搭載されたカメラである。これらの画像機器は、対象物の画像情報を取得する。これらの画像機器は、センサから得られた信号に基づいて画像情報を生成するカメラを含んでもよい。これらの画像機器によって取得される画像情報は、動画情報および静止画情報のどちらであってもよい。対象物情報取得部２０は、対象物の温度、加速度、圧力、電圧、および電流などの情報を取得するセンサであってもよい。対象物が生物である場合、対象物情報取得部２０は、対象物のバイタル情報を取得するバイタルセンサであってもよい。例えば、バイタル情報は、体温、血圧、脈拍、心電、および血中酸素飽和度などの情報である。対象物情報取得部２０は、対象物が発した音に基づく音声情報を取得するマイクであってもよい。例えば、音声情報は、打音検査における音、反響音、心音、および騒音などの情報である。対象物情報取得部２０によって取得された対象物情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、対象物情報取得部２０は、対象物情報が取得された時刻を示す時刻情報を対象物情報に付加し、かつ時刻情報が付加された対象物情報を出力する。対象物情報が時系列情報である場合、複数の異なる時刻を特定できる時刻情報が対象物情報に付加される。例えば、対象物情報に関連付けられる時刻情報は、対象物情報の取得が開始された時刻と、サンプリングレートとを含む。
【００３２】
画像取得部３０は、対象物情報がどのような状況で取得されているのかを示す画像情報を取得する。画像取得部３０によって取得される画像情報は、対象物情報が取得されるときの対象物と対象物の周辺との少なくとも１つの状態を示す。つまり、画像取得部３０によって取得される画像情報は、観察状況を示す。画像取得部３０は、カメラを含む画像機器である。画像取得部３０は、対象物情報取得部２０による対象物情報の取得と並行して、画像情報を取得する。画像取得部３０によって取得される画像情報は、動画情報および静止画情報のどちらであってもよい。例えば、画像取得部３０は、対象物と対象物の周辺との少なくとも１つを含む画像情報を取得する。例えば、対象物の周辺は、対象物情報取得部２０が搭載された機器を含む。この場合、対象物と、対象物情報取得部２０が搭載された機器との少なくとも１つを含む画像情報が取得される。対象物の周辺は、対象物を観察する観察者を含んでもよい。この場合、対象物および観察者の少なくとも１つを含む画像情報が取得される。画像取得部３０は、対象物と対象物の周辺との少なくとも１つを撮影範囲に含むように配置される。
【００３３】
画像取得部３０によって取得される画像情報が対象物を含む場合、その画像情報は対象物の一部または全部を含む。画像取得部３０によって取得される画像情報が、対象物情報取得部２０が搭載された機器を含む場合、その画像情報はその機器の一部または全部を含む。画像取得部３０によって取得される画像情報がユーザを含む場合、その画像情報はそのユーザの一部または全部を含む。対象物情報取得部２０が画像機器であり、かつ対象物情報が対象物の画像である場合、画像取得部３０の撮影視野は、対象物情報取得部２０の撮影視野よりも広い。例えば、対象物情報取得部２０は対象物の一部の画像情報を取得し、かつ画像取得部３０は対象物の全体の画像情報を取得する。画像取得部３０は、ユーザすなわち観察者が装着するウェアラブルカメラであってもよい。例えば、ウェアラブルカメラは、観察者の視点に応じた画像情報を取得できるように観察者の目の近傍に装着されるヘッドマウント型のカメラである。したがって、画像取得部３０は、対象物を観察する観察者の視点の位置または視点の近傍位置に配置されてもよい。画像取得部３０によって取得された画像情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、画像取得部３０は、画像情報が取得された時刻を示す時刻情報を画像情報に付加し、かつ時刻情報が付加された画像情報を出力する。画像情報が時系列情報である場合、複数の異なる時刻を特定できる時刻情報が画像情報に付加される。例えば、画像情報に関連付けられる時刻情報は、画像情報の取得が開始された時刻と、サンプリングレートとを含む。
【００３４】
音声取得部４０は、対象物を観察する観察者が発した音声に基づく音声情報を取得する。例えば、音声取得部４０は、マイクである。音声取得部４０は、観察者が装着するウェアラブルマイクであってもよい。ウェアラブルマイクは、観察者の口の近傍に装着される。音声取得部４０は、観察者の音声のみを取得するために指向性を有するマイクであってもよい。この場合、音声取得部４０は観察者の口の近傍に装着されなくてもよい。これにより、音声取得部４０の配置の自由度が得られる。観察者の音声以外のノイズが排除されるため、テキスト情報の生成および検索における効率が向上する。音声取得部４０は、対象物情報取得部２０による対象物情報の取得と並行して、音声情報を取得する。音声取得部４０によって取得された音声情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、音声取得部４０は、音声情報が取得された時刻を示す時刻情報を音声情報に付加し、かつ時刻情報が付加された音声情報を出力する。音声情報が時系列情報である場合、複数の異なる時刻を特定できる時刻情報が音声情報に付加される。例えば、音声情報に関連付けられる時刻情報は、音声情報の取得が開始された時刻と、サンプリングレートとを含む。
【００３５】
音声処理部５０は、音声取得部４０によって取得された音声情報をテキスト情報に変換する。例えば、音声処理部５０は、音声処理を行う音声処理回路を含む。音声処理部５０は、音声認識部５００およびテキスト生成部５１０を有する。音声認識部５００は、音声取得部４０によって取得された音声情報に基づいてユーザすなわち観察者の音声を認識する。テキスト生成部５１０は、音声認識部５００によって認識された音声をテキスト情報に変換することにより、ユーザの音声に対応するテキスト情報を生成する。テキスト生成部５１０は、連続する音声を適切なブロックに分け、かつブロックごとにテキスト情報を生成してもよい。音声処理部５０によって生成されたテキスト情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、音声処理部５０（テキスト生成部５１０）は、テキスト情報が生成された時刻を示す時刻情報をテキスト情報に付加し、かつ時刻情報が付加されたテキスト情報を出力する。テキスト情報が時系列情報である場合、複数の異なる時刻に対応する時刻情報がテキスト情報に付加される。テキスト情報の時刻は、そのテキスト情報に関連付けられた音声情報の開始時刻に対応する。
【００３６】
対象物情報取得部２０によって取得された対象物情報、画像取得部３０によって取得された画像情報、音声取得部４０によって取得された音声情報、および音声処理部５０によって生成されたテキスト情報は、記録部６０に入力される。記録部６０は、対象物情報、画像情報、音声情報、テキスト情報、および時刻情報を互いに関連付けて記録媒体７０に記録する。このとき、記録部６０は、対象物情報、画像情報、音声情報、およびテキスト情報を、時刻情報に基づいて互いに関連付ける。例えば、記録部６０は、情報の記録処理を行う記録処理回路を含む。対象物情報、画像情報、音声情報、およびテキスト情報の少なくとも１つは圧縮されてもよい。したがって、記録部６０は、情報を圧縮するための圧縮処理回路を含んでもよい。記録部６０は、記録処理および圧縮処理のためのバッファを含んでもよい。時刻情報は、対象物情報、画像情報、および音声情報の各々が取得された時刻を示す。テキスト情報と関連付けられる時刻情報は、そのテキスト情報の元になった音声情報が取得された時刻を示す。例えば、対象物情報、画像情報、音声情報、およびテキスト情報の各々に対して時刻情報が付加される。対象物情報、画像情報、音声情報、およびテキスト情報は、時刻情報を介して互いに関連付けられる。
【００３７】
対象物情報、画像情報、音声情報、およびテキスト情報は、共通の対象物に関する情報として互いに関連付けられる。対象物情報、画像情報、音声情報、およびテキスト情報は、互いに関連する複数の対象物に関する情報として互いに関連付けられてもよい。例えば、対象物情報、画像情報、音声情報、およびテキスト情報の各々が１つのファイルで構成され、かつ記録部６０は各ファイルを記録媒体７０に記録する。この場合、対象物情報、画像情報、音声情報、およびテキスト情報の各ファイルを関連付ける情報が記録媒体７０に記録される。
【００３８】
記録媒体７０は、不揮発性の記憶装置である。例えば、記録媒体７０は、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、およびハードディスクドライブの少なくとも１つである。記録媒体７０は、観察現場に配置されなくてもよい。例えば、情報記録システム１０がネットワークインターフェースを有し、かつ情報記録システム１０が、インターネットまたはＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などのネットワークを介して記録媒体７０と接続してもよい。情報記録システム１０が無線通信インターフェースを有し、かつ情報記録システム１０がＷｉ−Ｆｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）などの規格に従った無線通信により記録媒体７０と接続してもよい。したがって、情報記録システム１０が記録媒体７０を直接的に含んでいなくてもよい。
【００３９】
イベント検出部７５は、記録媒体７０に記録された対象物情報、画像情報、音声情報、およびテキスト情報の少なくとも１つに基づいてイベントを検出する。イベントは、記録媒体７０に記録された対象物情報、画像情報、音声情報、およびテキスト情報の少なくとも１つが所定の条件を満たす状態である。例えば、イベント検出部７５は、情報処理を行う情報処理回路を含む。イベント検出部７５が画像情報を処理する場合、イベント検出部７５は画像処理回路を含む。イベント検出部７５が音声情報を処理する場合、イベント検出部７５は音声処理回路を含む。例えば、記録媒体７０に記録された対象物情報、画像情報、音声情報、およびテキスト情報の少なくとも１つが読み出し部８０によって読み出される。イベント検出部７５は、読み出し部８０によって読み出された情報に基づいてイベントを検出する。また、記録媒体７０に記録された時刻情報が読み出し部８０によって読み出される。イベント検出部７５は、読み出し部８０によって読み出された時刻情報と、イベントが発生した情報との関連性に基づいて、イベントが発生した時刻であるイベント発生時刻を認識する。記録部６０は、イベント検出部７５によって認識されたイベント発生時刻を記録媒体７０に記録してもよい。
【００４０】
読み出し部８０は、対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体７０から読み出す。これによって、読み出し部８０は、記録媒体７０に記録された対象物情報、画像情報、音声情報、およびテキスト情報を再生する。例えば、読み出し部８０は、情報の読み出し処理を行う読み出し処理回路を含む。記録媒体７０に記録された対象物情報、画像情報、音声情報、およびテキスト情報の少なくとも１つは圧縮されてもよい。したがって、読み出し部８０は、圧縮された情報を伸張するための伸張処理回路を含んでもよい。読み出し部８０は、読み出し処理および伸張処理のためのバッファを含んでもよい。読み出し部８０は、イベントが発生した時刻であるイベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体７０から読み出す。例えば、読み出し部８０は、イベント発生時刻に対応する同一の時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を読み出す。各情報に関連付けられた時刻情報が互いに同期していない場合、読み出し部８０は、基準時刻に対する各時刻情報の差を考慮して各情報を読み出してもよい。
【００４１】
表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、音声情報、およびテキスト情報を互いに関連付けて表示する。表示部９０は、液晶ディスプレイなどの表示機器である。例えば、表示部９０は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）のモニタである。表示部９０は、ユーザが装着するスマートグラスなどのウェアラブルディスプレイであってもよい。表示部９０は、対象物情報取得部２０が搭載された機器の表示部であってもよい。表示部９０は、情報共有用の大型モニタであってもよい。表示部９０は、タッチパネルディスプレイであってもよい。例えば、表示部９０は、対象物情報、画像情報、音声情報、およびテキスト情報を同時に表示する。このとき、表示部９０は、対象物情報、画像情報、音声情報、およびテキスト情報を、各情報が並べられた状態で表示する。同一のイベントに対応する対象物情報、画像情報、およびテキスト情報のうち選択された情報が表示部９０に表示され、かつ表示部９０に表示される情報をユーザが切り替えることができてもよい。例えば、センサまたはバイタルセンサによって取得された対象物情報は時系列のセンサ信号で構成される。例えば、表示部９０は、センサ信号の波形をグラフで表示する。例えば、音声情報は時系列の音声信号で構成される。例えば、表示部９０は、音声信号の振幅またはパワーの時間変化をグラフで表示する。
【００４２】
音声出力部１００は、読み出し部８０によって読み出された音声情報に基づく音声を出力する。例えば、音声出力部１００は、スピーカである。
【００４３】
対象物情報取得部２０によって取得された対象物情報が画像情報である場合、その対象物情報は、表示部９０に出力されてもよい。表示部９０は、対象物情報取得部２０による対象物情報の取得と並行して、対象物情報を表示してもよい。画像取得部３０によって取得された画像情報は、表示部９０に出力されてもよい。表示部９０は、対象物情報取得部２０による対象物情報の取得と並行して、画像取得部３０によって取得された画像情報を表示してもよい。これによって、ユーザは、対象物の状態および観察状況をリアルタイムに把握することができる。
【００４４】
音声処理部５０、記録部６０、イベント検出部７５、および読み出し部８０は、１つまたは複数のプロセッサで構成されてもよい。例えば、プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）の少なくとも１つである。音声処理部５０、記録部６０、イベント検出部７５、および読み出し部８０は、特定用途向け集積回路（ＡＳＩＣ）またはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）で構成されてもよい。
【００４５】
情報記録システム１０において、音声の取得および記録は必須ではない。したがって、情報記録システム１０は、音声取得部４０、音声処理部５０、および音声出力部１００を有していなくてもよい。この場合、記録部６０は、対象物情報、画像情報、および時刻情報を互いに関連付けて記録媒体７０に記録する。時刻情報は、対象物情報および画像情報の各々が取得された時刻を示す。イベント検出部７５は、記録媒体７０に記録された対象物情報および画像情報の少なくとも１つに基づいてイベントを検出する。イベントは、記録媒体７０に記録された対象物情報および画像情報の少なくとも１つが所定の条件を満たす状態である。読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報および画像情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された対象物情報および画像情報を互いに関連付けて表示する。
【００４６】
情報記録システム１０は音声処理部５０を有していなくてもよい。この場合、記録部６０は、対象物情報、画像情報、音声情報、および時刻情報を互いに関連付けて記録媒体７０に記録する。時刻情報は、対象物情報、画像情報、および音声情報の各々が取得された時刻を示す。イベント検出部７５は、記録媒体７０に記録された対象物情報、画像情報、および音声情報の少なくとも１つに基づいてイベントを検出する。イベントは、記録媒体７０に記録された対象物情報、画像情報、および音声情報の少なくとも１つが所定の条件を満たす状態である。読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、および音声情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、および音声情報を互いに関連付けて表示する。音声出力部１００は、読み出し部８０によって読み出された音声情報に基づく音声を出力する。イベントの検出に音声情報が使用されるが、音声情報は表示されなくてもよい。また、音声出力部１００によって音声が出力されなくてもよい。
【００４７】
情報記録システム１０は音声出力部１００を有さず、かつ記録部６０は音声情報を記録しなくてもよい。この場合、記録部６０は、対象物情報、画像情報、テキスト情報、および時刻情報を互いに関連付けて記録媒体７０に記録する。時刻情報は、対象物情報および画像情報の各々が取得された時刻を示し、かつテキスト情報の元になった音声情報が取得された時刻を示す。イベント検出部７５は、記録媒体７０に記録された対象物情報、画像情報、およびテキスト情報の少なくとも１つに基づいてイベントを検出する。イベントは、記録媒体７０に記録された対象物情報、画像情報、およびテキスト情報の少なくとも１つが所定の条件を満たす状態である。読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。イベントの検出にテキスト情報が使用されるが、テキスト情報は表示されなくてもよい。
【００４８】
情報記録システム１０は、ユーザによる操作を受け付ける操作部を有してもよい。例えば、操作部は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つを含んで構成される。
【００４９】
図２は、情報記録システム１０による処理の手順を示す。図２を参照し、情報記録システム１０による処理の手順を説明する。
【００５０】
対象物情報取得部２０は、対象物に関する対象物情報を取得する（ステップＳ１００（対象物情報取得ステップ））。ステップＳ１００において取得された対象物情報は、記録部６０内のバッファに蓄積される。対象物情報取得部２０による対象物情報の取得と並行して、画像取得部３０は、対象物情報がどのような状況で取得されているのかを示す画像情報を取得する（ステップＳ１０５（画像取得ステップ））。ステップＳ１０５において取得された画像情報は、記録部６０内のバッファに蓄積される。対象物情報取得部２０による対象物情報の取得と並行して、ステップＳ１１０における処理が行われる。ステップＳ１１０は、ステップＳ１１１（音声取得ステップ）およびステップＳ１１２（音声処理ステップ）を含む。ステップＳ１１１において音声取得部４０は、対象物を観察する観察者が発した音声に基づく音声情報を取得する。ステップＳ１１２において音声処理部５０は、音声取得部４０によって取得された音声情報をテキスト情報に変換する。ステップＳ１１０において、ステップＳ１１１およびステップＳ１１２における処理が繰り返される。ステップＳ１１１において取得された音声情報と、ステップＳ１１２において生成されたテキスト情報とは、記録部６０内のバッファに蓄積される。また、各情報が生成された時刻に対応する時刻情報が記録部６０内のバッファに蓄積される。
【００５１】
ステップＳ１００、ステップＳ１０５、およびステップＳ１１０の各々における処理の開始タイミングは同一でなくてもよい。ステップＳ１００、ステップＳ１０５、およびステップＳ１１０の各々における処理の終了タイミングは同一でなくてもよい。ステップＳ１００、ステップＳ１０５、およびステップＳ１１０の各々における処理が行われる期間の少なくとも一部が互いに重なる。
【００５２】
対象物情報、画像情報、および音声情報の取得が終了した後、記録部６０は、記録部６０内のバッファに蓄積された対象物情報、画像情報、音声情報、テキスト情報、および時刻情報を互いに関連付けて記録媒体７０に記録する（ステップＳ１１５（記録ステップ））。
【００５３】
ステップＳ１１５の後、イベント検出部７５は、記録媒体７０に記録された対象物情報、画像情報、音声情報、およびテキスト情報の少なくとも１つに基づいてイベントを検出する（ステップＳ１２０（イベント検出ステップ））。
【００５４】
ステップＳ１２０の後、読み出し部８０は、イベントが発生した時刻であるイベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体７０から読み出す（ステップＳ１２５（読み出しステップ））。ユーザが各情報の読み出しのタイミングを指定できてもよい。
【００５５】
ステップＳ１２５の後、表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、音声情報、およびテキスト情報を互いに関連付けて表示する。また、音声出力部１００は、読み出し部８０によって読み出された音声情報に基づく音声を出力する（ステップＳ１３０（表示ステップおよび音声出力ステップ））。
【００５６】
情報記録システム１０が音声取得部４０、音声処理部５０、および音声出力部１００を有していない場合、ステップＳ１１０における処理は行われない。また、ステップＳ１１５において記録部６０は、対象物情報、画像情報、および時刻情報を互いに関連付けて記録媒体７０に記録する。ステップＳ１２０においてイベント検出部７５は、記録媒体７０に記録された対象物情報および画像情報の少なくとも１つに基づいてイベントを検出する。ステップＳ１２５において読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報および画像情報を記録媒体７０から読み出す。ステップＳ１３０において表示部９０は、ステップＳ１２５において読み出し部８０によって読み出された対象物情報および画像情報を互いに関連付けて表示する。
【００５７】
情報記録システム１０が音声処理部５０を有していない場合、ステップＳ１１２における処理は行われない。また、ステップＳ１１５において記録部６０は、対象物情報、画像情報、音声情報、および時刻情報を互いに関連付けて記録媒体７０に記録する。ステップＳ１２０においてイベント検出部７５は、記録媒体７０に記録された対象物情報、画像情報、および音声情報の少なくとも１つに基づいてイベントを検出する。ステップＳ１２５において読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、および音声情報を記録媒体７０から読み出す。ステップＳ１３０において表示部９０は、ステップＳ１２５において読み出し部８０によって読み出された対象物情報、画像情報、および音声情報を互いに関連付けて表示する。音声情報が表示されなくてもよい。また、ステップＳ１３０において音声出力部１００は、ステップＳ１２５において読み出し部８０によって読み出された音声情報に基づく音声を出力する。音声が出力されなくてもよい。
【００５８】
情報記録システム１０が音声出力部１００を有さず、かつ記録部６０が音声情報を記録しない場合、ステップＳ１１５において記録部６０は、対象物情報、画像情報、テキスト情報、および時刻情報を互いに関連付けて記録媒体７０に記録する。ステップＳ１２０においてイベント検出部７５は、記録媒体７０に記録された対象物情報、画像情報、およびテキスト情報の少なくとも１つに基づいてイベントを検出する。ステップＳ１２５において読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体７０から読み出す。ステップＳ１３０において表示部９０は、ステップＳ１２０において読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。テキスト情報が表示されなくてもよい。
【００５９】
上記のように、対象物情報が対象物情報取得部２０によって取得され、かつ対象物情報がどのような状況で取得されているのかを示す画像情報が画像取得部３０によって取得される。取得された対象物情報および画像情報は、記録部６０によって記録媒体７０に記録される。これによって、情報記録システム１０は、対象物情報がどのような状況で取得されているのかを示す視覚的な情報を記録することができる。
【００６０】
上記の方法では、対象物情報がどのような状況で取得されているのかを示す情報の記録にかかるユーザの負担は小さい。また、ユーザが手を使えないケースであっても必要な情報を記録することができ、記録漏れまたは誤記録が減る。したがって、情報記録システム１０は、対象物情報がどのような状況で取得されているのかを示す記録を正確かつ効率的に残すことができる。
【００６１】
上記の方法では、対象物情報が取得されたときのユーザコメントが音声として記録され、かつその音声に対応するテキストが対象物情報および画像情報と関連付けられて記録される。対象物情報、画像情報、および音声情報に対して、テキストによる“タグ”が付与されることにより、各情報の閲覧性および検索性が向上する。また、ユーザは、各情報が取得されたときの状況の理解を容易にすることができる。
【００６２】
上記の方法では、記録媒体７０に記録された対象物情報および画像情報の少なくとも１つに基づいてイベントが検出され、かつイベント発生時刻に対応する対象物情報および画像情報が互いに関連付けられて表示される。これによって、情報記録システム１０は、ユーザによる情報の効率的な閲覧を支援することができる。
【００６３】
上記の方法では、情報記録システム１０は、観察現場で記録された複数かつ多量の情報から、ユーザが注目する有用な場面およびそれに関する情報の一覧を抽出することができる。したがって、ユーザは、ユーザが注目するタイミングで発生したイベントに関する情報を効率的に閲覧することができる。
【００６４】
以下では、情報記録システム１０の具体的な例を説明する。
【００６５】
（顕微鏡による観察）
図３は、情報記録システム１０の例である顕微鏡システム１１の概略構成を示す。図３に示すように、顕微鏡システム１１は、顕微鏡２００、カメラ３１ａ、カメラ３１ｂ、カメラ３１ｃ、マイク４１、サーバ２０１、およびＰＣ２０２を有する。
【００６６】
顕微鏡２００は、対象物ＯＢ１を拡大して観察するための機器である。顕微鏡２００に接続されたカメラ２１が対象物情報取得部２０を構成する。このカメラ２１は、顕微鏡２００により拡大された対象物ＯＢ１の画像情報を対象物情報として取得する。例えば、このカメラ２１は、動画情報を取得する。
【００６７】
カメラ３１ａ、カメラ３１ｂ、およびカメラ３１ｃは、画像取得部３０を構成する。カメラ３１ａ、カメラ３１ｂ、およびカメラ３１ｃの各々の撮影視野は、顕微鏡２００に接続されたカメラの撮影視野よりも広い。例えば、カメラ３１ａ、カメラ３１ｂ、およびカメラ３１ｃは、動画情報を取得する。
【００６８】
カメラ３１ａは、顕微鏡２００の対物レンズ先端の近傍に配置されている。カメラ３１ａは、顕微鏡２００の対物レンズ先端の近傍を撮影することにより、対象物ＯＢ１および顕微鏡２００の対物レンズ先端を含む画像情報を取得する。これにより、対象物ＯＢ１および顕微鏡２００の対物レンズ先端の位置関係が画像情報として記録される。観察者であるユーザは、対象物ＯＢ１および顕微鏡２００の対物レンズ先端に接近してそれらの状態を確認する必要はない。ユーザは、カメラ３１ａによって取得された画像情報を閲覧することにより、対象物ＯＢ１のどの部分が観察されているのか、および顕微鏡２００の対物レンズ先端が対象物ＯＢ１にどれ位接近しているのかなどの状況を容易に把握することができる。
【００６９】
カメラ３１ｂは、観察が行われる室内に配置されている。カメラ３１ｂは、対象物ＯＢ１と顕微鏡２００との全体を撮影することにより、対象物ＯＢ１と顕微鏡２００との全体を含む画像情報を取得する。これにより、観察現場の全体の状況が画像情報として記録される。ユーザは、カメラ３１ｂによって取得された画像情報を閲覧することにより、ユーザが注目している部分とは異なる部分で発生する事象などの状況を容易に把握することができる。対象物ＯＢ１が生物である場合、対象物ＯＢ１の状態が、観察により得られる対象物情報に影響を与える可能性がある。例えば、対象物ＯＢ１の死および生に関する状態が対象物情報から判別しにくい場合であっても、ユーザは、カメラ３１ｂによって取得された画像情報を閲覧することにより、対象物ＯＢ１の状態を容易に把握することができる。カメラ３１ｂは、ユーザを含む画像情報を取得してもよい。
【００７０】
カメラ３１ｃは、ウェアラブルカメラとして構成されている。カメラ３１ｃは、ユーザが頭部に装着できるアクセサリ２０３に装着されることにより、ウェアラブルカメラとして構成されている。ユーザがアクセサリ２０３を装着しているとき、カメラ３１ｃは、ユーザの視点の近傍位置に配置される。カメラ３１ｃは、対象物ＯＢ１および顕微鏡２００を撮影することにより、対象物ＯＢ１および顕微鏡２００を含む画像情報を取得する。あるいは、カメラ３１ｃは、顕微鏡２００を撮影することにより、対象物ＯＢ１を含まず、かつ顕微鏡２００を含む画像情報を取得する。これにより、観察においてユーザが注目している部分に応じた観察状況が画像情報として記録される。これにより、顕微鏡システム１１は、対象物ＯＢ１が顕微鏡ステージにセットアップされるまでの状況、顕微鏡２００の調整手順、および顕微鏡２００の調整状態などの観察の様子を記録することができる。ユーザおよび他の人などは、それを閲覧することにより、リアルタイムに、もしくは観察の終了後に観察時の状況を容易に把握することができる。
【００７１】
マイク４１は、音声取得部４０を構成する。マイク４１は、アクセサリ２０３に装着されることにより、ウェアラブルマイクとして構成されている。
【００７２】
サーバ２０１は、音声処理部５０、記録部６０、記録媒体７０、イベント検出部７５、および読み出し部８０を有する。カメラ２１によって取得された対象物情報と、カメラ３１ａ、カメラ３１ｂ、およびカメラ３１ｃによって取得された画像情報と、マイク４１によって取得された音声情報とがサーバ２０１に入力される。
【００７３】
ＰＣ２０２は、サーバ２０１に接続されている。ＰＣ２０２の画面９１は、表示部９０を構成する。スマートグラスが表示部９０を構成してもよい。スマートグラスは、対象物情報の取得と並行して、対象物情報である画像情報と、カメラ３１ａ、カメラ３１ｂ、およびカメラ３１ｃの各々によって取得された画像情報とを表示してもよい。ユーザは、スマートグラスを装着することにより、対象物ＯＢ１の状態および観察状況をリアルタイムに把握することができる。
【００７４】
情報記録システム１０は、多光子励起顕微鏡（Ｍｕｌｔｉｐｈｏｔｏｎ  ｅｘｃｉｔａｔｉｏｎ  ｆｌｕｏｒｅｓｃｅｎｃｅ  ｍｉｃｒｏｓｃｏｐｅ）を使用する顕微鏡システムに適用されてもよい。多光子励起顕微鏡は、暗室内で使用される。多光子励起顕微鏡に接続されたカメラが対象物情報取得部２０を構成する。例えば、カメラ３１ａ、カメラ３１ｂ、およびカメラ３１ｃが赤外線カメラとして画像取得部３０を構成する。赤外線カメラは、対象物と多光子励起顕微鏡との全体を撮影することにより、対象物と多光子励起顕微鏡との全体を含む画像情報を取得する。例えば、観察者であるユーザは、音声取得部４０を構成するウェアラブルマイクを装着する。ＰＣなどの機器は、音声処理部５０、記録部６０、記録媒体７０、イベント検出部７５、および読み出し部８０を有する。多光子励起顕微鏡に接続されたカメラによって取得された対象物情報と、赤外線カメラによって取得された画像情報と、ウェアラブルマイクによって取得された音声情報とが機器に入力される。機器の画面は、表示部９０を構成する。
【００７５】
暗い環境では、ユーザが顕微鏡の状態および実験の状況を把握すること、および把握された状態および状況をユーザが手で紙に書くことが困難である。情報記録システム１０が適用されたシステムでは、ユーザは、顕微鏡の状態および実験の状況を知るために、実験を中断して照明をつける必要はない。また、ユーザは、そのために顕微鏡を一旦停止させる必要および暗室内を覗く必要はない。また、ユーザは、顕微鏡の状態および実験の状況を手で紙に書く必要はない。
【００７６】
（内視鏡による検査）
図４は、情報記録システム１０の例である内視鏡システム１２の概略構成を示す。図４に示すように、内視鏡システム１２は、内視鏡２１０、カメラ３２、マイク４２、およびＰＣ２１１を有する。
【００７７】
内視鏡２１０は、対象物ＯＢ２の内部に挿入される。対象物ＯＢ２は、内視鏡検査を受ける人物すなわち患者である。内視鏡２１０は、対象物ＯＢ２の体内を観察するための機器である。内視鏡２１０の先端に配置されたカメラが対象物情報取得部２０を構成する。このカメラは、対象物ＯＢ２の体内の画像情報を対象物情報として取得する。例えば、このカメラは、動画情報および静止画情報を取得する。
【００７８】
カメラ３２は、画像取得部３０を構成する。カメラ３２は、検査が行われる室内に配置されている。例えば、カメラ３２は、対象物ＯＢ２および内視鏡２１０を撮影することにより、対象物ＯＢ２および内視鏡２１０を含む動画情報を画像情報として取得する。これにより、検査の状況が画像情報として記録される。カメラ３２は、ユーザＵ１を含む画像情報を取得してもよい。例えば、ユーザＵ１は、医師である。これにより、内視鏡システム１２は、内視鏡２１０を挿入する手順および方法、対象物ＯＢ２の動き、およびユーザＵ１の動きなどの検査の様子を記録することができる。ユーザＵ１、他の医師、およびアシスタントなどは、それを閲覧することにより、リアルタイムに、もしくは検査の終了後に検査時の状況を容易に把握することができる。
【００７９】
マイク４２は、音声取得部４０を構成する。マイク４２は、ウェアラブルマイクとしてユーザＵ１に装着されている。ユーザＵ１は、内視鏡２１０による検査と同時にコメントを発する。ユーザＵ１が発したコメントは、対象物情報および画像情報と関連付けられて記録される。このため、ユーザＵ１は、所見、学会発表用の資料、および経験が少ない医師向けの教育用コンテンツの作成などの目的で使用される正確な検査記録を効率よく作成することができる。
【００８０】
ＰＣ２１１は、音声処理部５０、記録部６０、記録媒体７０、イベント検出部７５、および読み出し部８０を有する。内視鏡２１０の先端に配置されたカメラによって取得された対象物情報と、カメラ３２によって取得された画像情報と、マイク４２によって取得された音声情報とがＰＣ２１１に入力される。ＰＣ２１１の画面９２は、表示部９０を構成する。
【００８１】
（救急現場における診察）
図５は、情報記録システム１０の例である診察システム１３の概略構成を示す。図５に示すように、診察システム１３は、バイタルセンサ２３、カメラ３３、マイク４３、および機器２２０を有する。
【００８２】
バイタルセンサ２３は、対象物ＯＢ３に装着される。対象物ＯＢ３は、診察を受ける人物すなわち患者である。バイタルセンサ２３は、対象物情報取得部２０を構成する。バイタルセンサ２３は、対象物ＯＢ３の体温、血圧、および脈拍などの生体情報を対象物情報として取得する。
【００８３】
カメラ３３は、画像取得部３０を構成する。カメラ３３は、ウェアラブルカメラとしてユーザＵ２に装着されている。例えば、カメラ３３は、動画情報を取得する。カメラ３３は、対象物ＯＢ３およびユーザＵ２の手などの現場の状況を撮影することにより、対象物ＯＢ３およびユーザＵ２の手などの現場の状況を含む画像情報を取得する。これにより、現場、患者の容態、および診察状況などが画像情報として記録される。例えば、ユーザＵ２は、医師または救急隊員である。これにより、診察システム１３は、診察の手順、対象物ＯＢ３に対する処置の内容、および対象物ＯＢ３の状態などの状況を記録することができる。ユーザＵ２および他の医師などは、それを閲覧することにより、リアルタイムに、もしくは診察の終了後に現場、患者の容態、および診察状況などを容易に把握することができる。
【００８４】
マイク４３は、音声取得部４０を構成する。マイク４３は、ウェアラブルマイクとしてユーザＵ２に装着されている。ユーザＵ２は、バイタルセンサ２３による対象情報の取得と同時にコメントを発する。ユーザＵ２が発したコメントは、対象物情報および画像情報と関連付けられて記録される。このため、ユーザＵ２は、対象物ＯＢ３に対する現場での所見を正確に他の医師などの人物に効率よく伝達することができる。
【００８５】
機器２２０は、音声処理部５０、記録部６０、記録媒体７０、イベント検出部７５、および読み出し部８０を有する。バイタルセンサ２３によって取得された対象物情報と、カメラ３３によって取得された画像情報と、マイク４３によって取得された音声情報とが機器２２０に入力される。各情報は、無線で機器２２０に送信される。機器２２０は、各情報を無線で受信する。機器２２０の画面は、表示部９０を構成する。機器２２０は、入力された各情報を無線でサーバに送信してもよい。例えば、そのサーバは、音声処理部５０、記録部６０、記録媒体７０、イベント検出部７５、および読み出し部８０を有する。病院にいる医師は、サーバによって受信された各情報を閲覧することにより、患者の様子を容易に把握することができる。
【００８６】
（非破壊検査）
図６は、情報記録システム１０の例である検査システム１４の概略構成を示す。図６に示すように、検査システム１４は、プローブ２３０、カメラ３４、マイク４４、および機器２３１を有する。
【００８７】
プローブ２３０は、対象物情報取得部２０を構成する。プローブ２３０は、対象物ＯＢ４の表面の欠陥に応じた電流などの信号を対象物情報として取得する。対象物ＯＢ４は、検査対象の工業製品である。例えば、対象物ＯＢ４は、プラントのパイプまたは航空機の機体である。
【００８８】
カメラ３４は、画像取得部３０を構成する。カメラ３４は、ウェアラブルカメラとしてユーザＵ３に装着されている。例えば、カメラ３４は、動画情報を取得する。カメラ３４は、対象物ＯＢ４およびプローブ２３０を撮影することにより、対象物ＯＢ３およびプローブ２３０を含む画像情報を取得する。これにより、非破壊検査の状況が画像情報として記録される。例えば、ユーザＵ３は、検査者である。これにより、検査システム１４は、対象物ＯＢ３における検査位置および検査手順などの検査状況を記録することができる。ユーザＵ３および他の技術者などは、それを閲覧することにより、リアルタイムに、もしくは検査の終了後に検査時の状況を容易に把握することができる。
【００８９】
マイク４４は、音声取得部４０を構成する。マイク４４は、ウェアラブルマイクとしてユーザＵ３に装着されている。ユーザＵ３は、プローブ２３０による対象情報の取得と同時にコメントを発する。ユーザＵ３が発したコメントは、対象物情報および画像情報と関連付けられて記録される。このため、ユーザＵ３は、対象物ＯＢ４の検査に関する作業報告書を正確、かつ効率よく作成することができる。
【００９０】
機器２３１は、音声処理部５０、記録部６０、記録媒体７０、イベント検出部７５、および読み出し部８０を有する。プローブ２３０によって取得された対象物情報と、カメラ３４によって取得された画像情報と、マイク４４によって取得された音声情報とが機器２３１に入力される。機器２３１の画面９４は、表示部９０を構成する。機器２３１は、各情報を無線でサーバに送信してもよい。例えば、そのサーバは、音声処理部５０、記録部６０、記録媒体７０、イベント検出部７５、および読み出し部８０を有する。現場から離れた場所にいる技能者は、サーバによって受信された各情報を閲覧することにより、検査の様子を容易に把握することができる。また、ユーザＵ３は、機器２３１またはその他の受信機器によって、技能者から送信された情報を受信することにより、遠隔地にいる技能者から指示を仰ぐことができる。
【００９１】
情報記録システム１０は、工業用内視鏡を使用する検査システムに適用されてもよい。工業用内視鏡は、ボイラ、タービン、エンジン、および化学プラントなどの物体の内部における傷および腐食などの対象物の画像情報を取得する。スコープが対象物情報取得部２０を構成する。例えば、検査者であるユーザは、画像取得部３０を構成するウェアラブルカメラと、音声取得部４０を構成するウェアラブルマイクとを装着する。内視鏡の本体は、音声処理部５０、記録部６０、記録媒体７０、イベント検出部７５、および読み出し部８０を有する。スコープによって取得された対象物情報と、ウェアラブルカメラによって取得された画像情報と、ウェアラブルマイクによって取得された音声情報とが本体に入力される。本体の画面は、表示部９０を構成する。
【００９２】
（作業記録システム）
図７は、情報記録システム１０の例である作業記録システム１５の概略構成を示す。図７に示すように、作業記録システム１５は、カメラ２５、カメラ３５、マイク４５、およびＰＣ２４０を有する。
【００９３】
カメラ２５は、対象物情報取得部２０を構成する。カメラ２５は、ウェアラブルカメラとしてユーザＵ４に装着されている。カメラ２５は、対象物ＯＢ５の画像情報を対象物情報として取得する。例えば、カメラ２５は、動画情報を取得する。例えば、ユーザＵ４は、作業者である。例えば、対象物ＯＢ５は、回路基板である。
【００９４】
カメラ３５は、画像取得部３０を構成する。カメラ３５は、対象物ＯＢ５の修理または組立などの作業が行われる室内に配置されている。カメラ３５の撮影視野は、カメラ２５の撮影視野よりも広い。例えば、カメラ３５は、動画情報を取得する。カメラ３５は、対象物ＯＢ５と、ユーザＵ４が使用する道具２４１とを撮影することにより、対象物ＯＢ５および道具２４１を含む画像情報を取得する。これにより、作業の状況が画像情報として記録される。これにより、作業記録システム１５は、対象物ＯＢ５における作業位置および作業手順などの状況を記録することができる。ユーザＵ４および他の技術者などは、それを閲覧することにより、リアルタイムに、もしくは作業の終了後に作業時の状況を容易に把握することができる。
【００９５】
マイク４５は、音声取得部４０を構成する。マイク４５は、ウェアラブルマイクとしてユーザＵ４に装着されている。ユーザＵ４は、カメラ２５による対象情報の取得と同時にコメントを発する。ユーザＵ４が発したコメントは、対象物情報および画像情報と関連付けられて記録される。このため、ユーザＵ４は、対象物ＯＢ５に対する作業に関する作業報告書および経験が少ない作業者向けの教育用コンテンツの作成などの目的で使用される正確な作業記録を効率よく作成することができる。また、ユーザＵ４は、作業記録を対象物に対する作業履歴として保管することにより、問題が発生したときなどに、作業履歴に基づいて作業を容易にトレースすることができる。
【００９６】
ＰＣ２４０は、音声処理部５０、記録部６０、記録媒体７０、イベント検出部７５、および読み出し部８０を有する。カメラ２５によって取得された対象物情報と、カメラ３５によって取得された画像情報と、マイク４５によって取得された音声情報とがＰＣ２４０に無線で、もしくは図示していない有線で入力される。ＰＣ２４０の画面９５は、表示部９０を構成する。
【００９７】
以下では、イベント検出部７５によるイベント検出の具体例を説明する。
【００９８】
図８および図９は、対象物情報に基づくイベント検出の例を示す。図８および図９において、対象物情報は、顕微鏡に接続されたカメラによって取得された対象物の画像情報（顕微鏡画像）である。
【００９９】
図８に示すように、対象物ＯＢ１０が画像Ｇ１０に含まれる。画像Ｇ１０が撮影された時刻よりも後の時刻において、画像Ｇ１１が撮影される。対象物ＯＢ１０が画像Ｇ１１に含まれる。画像Ｇ１０および画像Ｇ１１の間で対象物ＯＢ１０の形状は異なる。つまり、対象物ＯＢ１０の形状は時間に応じて変化する。対象物ＯＢ１０の形状が変化した場合、イベント検出部７５は、イベントを検出する。例えば、イベント検出部７５は、異なる時刻に取得された複数フレームの画像情報を比較することにより、対象物ＯＢ１０の形状が変化するイベントが発生したか否かを判断する。
【０１００】
図９に示すように、対象物ＯＢ１１、対象物ＯＢ１２、対象物ＯＢ１３、および対象物ＯＢ１４が画像Ｇ１２に含まれる。画像Ｇ１２が撮影された時刻よりも後の時刻において、画像Ｇ１３が撮影される。対象物ＯＢ１１から対象物ＯＢ１４に加えて、対象物ＯＢ１５、対象物ＯＢ１６、および対象物ＯＢ１７が画像Ｇ１３に含まれる。画像Ｇ１２および画像Ｇ１３の間で対象物ＯＢ１５から対象物ＯＢ１７が加わる。つまり、対象物の数は時間に応じて変化する。対象物の数が変化した場合、イベント検出部７５は、イベントを検出する。例えば、イベント検出部７５は、異なる時刻に取得された複数フレームの画像情報を比較することにより、対象物の数が変化するイベントが発生したか否かを判断する。
【０１０１】
対象物情報が示す対象物の状態が、イベント検出条件として予め定義された状態である場合、イベント検出部７５は、イベントを検出する。例えば、イベント検出条件は、予め記録媒体７０に記録される。読み出し部８０は、イベント検出条件を記録媒体７０から読み出す。イベント検出部７５は、読み出し部８０によって読み出されたイベント検出条件に基づいてイベントを検出する。これにより、イベント検出部７５は、対象物が所定の状態になる現象をイベントとして検出することができる。
【０１０２】
画像取得部３０は、対象物と対象物の周辺との少なくとも１つを含む画像情報を取得する。画像情報が示す対象物と対象物の周辺との少なくとも１つの状態が、イベント検出条件として予め定義された状態である場合、イベント検出部７５は、イベントを検出する。例えば、画像情報の特徴が、イベント検出条件として予め定義された特徴と一致した場合、イベント検出部７５は、イベントを検出する。例えば、多光子励起顕微鏡を使用する顕微鏡システムにおいて、暗室に光が入ったことが画像情報から検出された場合、イベント検出部７５は、イベントを検出する。例えば、診察システム１３において、患者の出血または発作などの状態が画像情報から検出された場合、イベント検出部７５は、イベントを検出する。例えば、上記の特徴を示す特徴情報がイベント検出条件として予め記録媒体７０に記録される。イベント検出部７５は、画像情報から特徴情報を抽出する。読み出し部８０は、イベント検出条件を記録媒体７０から読み出す。イベント検出部７５は、画像情報から抽出された特徴情報と、読み出し部８０によって読み出されたイベント検出条件である特徴情報とを比較する。画像情報から抽出された特徴情報と、イベント検出条件である特徴情報とが一致または類似する場合、イベント検出部７５は、イベントを検出する。これにより、イベント検出部７５は、画像情報が示す観察状況が所定の状態になる現象をイベントとして検出することができる。
【０１０３】
図１０および図１１は、音声情報に基づくイベント検出の例を示す。図１０および図１１において、音声情報は時系列の音声信号（音声データ）である。音声信号は、複数の時刻の各々における音声の振幅情報を含む。図１０は音声信号Ａ１０のグラフを示し、かつ図１１は音声信号Ａ１１のグラフを示す。図１０および図１１のグラフにおける横方向は時間を示し、かつ縦方向は振幅を示す。
【０１０４】
図１０に示す音声信号Ａ１０は、工業用内視鏡による検査時の音声である。例えば、図１０に示す期間Ｔ１０、期間Ｔ１１、および期間Ｔ１２において音声信号の振幅が閾値を超える。閾値は０よりも大きい。ユーザは検査者である。例えば、期間Ｔ１０において、ユーザは、２５０ｍｍの位置に傷があることを意味する音声を発している。例えば、期間Ｔ１１において、ユーザは、３２０ｍｍの位置に直径５ｍｍの穴があることを意味する音声を発している。例えば、期間Ｔ１２において、ユーザは、４７０ｍｍの位置に錆びがあることを意味する音声を発している。音声信号の振幅が所定の閾値を超えた場合、イベント検出部７５は、イベントを検出する。ユーザが一連の音声を発した場合でも、そのときの音声信号には振幅の小さな期間が含まれる。所定時間内に複数のイベントが連続的に検出される場合には、イベント検出部７５は、それらを１つのイベントとして集約してもよい。もしくは、イベント検出部７５は、所定時間内の振幅の平均値などを代表値として使用し、かつ所定時間ごとにイベントの有無を検出してもよい。このようにして、イベント検出部７５は、ユーザが音声を発した期間に対応する期間Ｔ１０、期間Ｔ１１、および期間Ｔ１２においてイベントを検出する。
【０１０５】
閾値は０よりも小さくてもよい。音声信号の振幅が、０よりも小さい閾値よりも小さい場合、音声信号の振幅が閾値を超える。音声信号のパワーが所定の閾値を超えた場合、イベント検出部７５は、イベントを検出してもよい。例えば、音声信号のパワーは、振幅の２乗平均値である。
【０１０６】
前述したように、音声取得部４０は、対象物を観察する観察者が発した音声に基づく音声情報を取得する。音声情報は、時系列の音声信号である。音声信号の振幅またはパワーが、イベント検出条件として予め定義された閾値を超えた場合、イベント検出部７５は、イベントを検出する。例えば、所定の音声情報の振幅またはパワーに基づいて決定された閾値、または観察者であるユーザによって指定された閾値がイベント検出条件として予め記録媒体７０に記録される。読み出し部８０は、イベント検出条件を記録媒体７０から読み出す。イベント検出部７５は、音声取得部４０によって取得された音声信号の振幅またはパワーと、読み出し部８０によって読み出されたイベント検出条件である閾値とを比較する。音声信号の振幅またはパワーが閾値を超えた場合、イベント検出部７５は、イベントを検出する。これにより、イベント検出部７５は、ユーザがコメントを発したときの現象をイベントとして検出することができる。
【０１０７】
図１１に示す音声信号Ａ１１は、医療用の内視鏡による検査時の音声である。ユーザは医師である。例えば、図１１に示す期間Ｔ１３において、ユーザは「ポリープ」という語を発している。予め「ポリープ」がイベント検出のキーワードとして登録されている場合、イベント検出部７５は、期間Ｔ１３においてイベントを検出する。
【０１０８】
前述したように、音声取得部４０は、対象物を観察する観察者が発した音声に基づく音声情報を取得する。音声情報が示す音声が、イベント検出条件として予め定義されたキーワードの音声と一致した場合、イベント検出部７５は、イベントを検出する。例えば、キーワードの音声を取得することにより生成された音声情報がイベント検出条件として予め記録媒体７０に記録される。読み出し部８０は、イベント検出条件を記録媒体７０から読み出す。イベント検出部７５は、音声取得部４０によって取得された音声情報と、読み出し部８０によって読み出されたイベント検出条件である音声情報とを比較する。例えば、２つの音声情報が一致した場合、すなわち２つの音声情報の類似度が所定値以上である場合、イベント検出部７５は、イベントを検出する。これにより、イベント検出部７５は、観察者であるユーザが所定のキーワードを発したときの現象をイベントとして検出することができる。
【０１０９】
イベント検出部７５は、テキスト情報に基づいてイベントを検出してもよい。前述したように、音声取得部４０は、対象物を観察する観察者が発した音声に基づく音声情報を取得する。前述したように、音声処理部５０は、音声取得部４０によって取得された音声情報をテキスト情報に変換する。テキスト情報が示すキーワードが、イベント検出条件として予め定義されたキーワードと一致した場合、イベント検出部７５は、イベントを検出する。例えば、観察者であるユーザによって入力されたキーワードのテキスト情報がイベント検出条件として予め記録媒体７０に記録される。読み出し部８０は、イベント検出条件を記録媒体７０から読み出す。イベント検出部７５は、音声処理部５０によって取得されたテキスト情報と、読み出し部８０によって読み出されたイベント検出条件であるテキスト情報とを比較する。例えば、２つのテキスト情報が一致した場合、すなわち２つのテキスト情報の類似度が所定値以上である場合、イベント検出部７５は、イベントを検出する。
【０１１０】
観察現場において、ユーザが対象物の状態または観察状況を認識し、かつその状態または観察状況に対するコメントを発する場合が多い。このため、イベント検出部７５が音声情報またはテキスト情報に基づいてイベントを検出することにより、イベント検出部７５は、ユーザが注目するイベントをより容易に検出することができる。
【０１１１】
以下では、表示部９０による各情報の表示の具体例を説明する。図１２は、表示部９０の画面に表示されたウィンドウＷ１０を示す。
【０１１２】
同一の対象物に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報がウィンドウＷ１０に表示される。この例では、顕微鏡による観察における各情報が表示される。音声情報はウィンドウＷ１０の領域３００に表示される。図１２において音声情報は時系列の音声信号である。領域３００に表示された音声信号のグラフにおける縦方向は時間を示し、かつ横方向は振幅を示す。音声信号の表示状態を変更するためのユーザインターフェースであるスライダーバー４００およびスライダーバー４０１が表示される。閲覧者であるユーザは、スライダーバー４００を操作することにより、音声信号のグラフを振幅方向に拡大または縮小することができる。ユーザは、スライダーバー４０１を操作することにより、音声信号のグラフを時間方向に拡大または縮小することができる。
【０１１３】
イベント検出部７５によって検出されたイベントに対応する対象物情報、画像情報、およびテキスト情報がウィンドウＷ１０に表示される。対象物情報、画像情報、およびテキスト情報は、音声信号と関連付けられて表示される。音声信号において、線Ｌ１０、線Ｌ１１、および線Ｌ１２が表示される。線Ｌ１０、線Ｌ１１、および線Ｌ１２は、イベント発生時刻に対応する音声信号のグラフ上の位置を示す。線Ｌ１０は、イベント１に対応する。例えば、イベント１は、観察開始時に発生する。線Ｌ１１は、イベント２に対応する。例えば、イベント２は、顕微鏡のセットアップの完了時に発生する。線Ｌ１２は、イベント３に対応する。例えば、イベント３は、対象物情報の変化時に発生する。例えば、イベント検出部７５は、音声信号の振幅が閾値を超えた時刻においてイベントを検出する。対象物情報、画像情報、およびテキスト情報は、音声信号においてイベント発生時刻に対応するグラフ上の位置に関連付けられた状態で表示される。
【０１１４】
イベント検出部７５は、複数のイベント発生時刻を検出する。読み出し部８０は、複数のイベント発生時刻の各々に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報をイベント発生時刻毎に互いに関連付けて表示する。
【０１１５】
図１２において、複数のイベントのうち３つのイベントに対応する対象物情報、画像情報、およびテキスト情報が示されている。同一のイベントに対応する対象物情報、画像情報、およびテキスト情報は、互いに関連付けられて表示される。同一のイベントに対応する対象物情報、画像情報、およびテキスト情報は、横方向に並べられる。同一のイベントに対応する対象物情報、画像情報、およびテキスト情報は、横方向に平行な線によって関連付けられている。表示部９０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を、音声信号において、そのイベント発生時刻に対応するグラフ上の位置に関連付けて表示する。イベント１に対応する対象物情報、画像情報、およびテキスト情報は、ウィンドウＷ１０の領域３０１に表示される。イベント１に対応する対象物情報、画像情報、およびテキスト情報は、イベント１の発生時刻を示す線Ｌ１０に関連付けられる。イベント２に対応する対象物情報、画像情報、およびテキスト情報は、ウィンドウＷ１０の領域３０２に表示される。イベント２に対応する対象物情報、画像情報、およびテキスト情報は、イベント２の発生時刻を示す線Ｌ１１に関連付けられる。イベント３に対応する対象物情報、画像情報、およびテキスト情報は、ウィンドウＷ１０の領域３０３に表示される。イベント３に対応する対象物情報、画像情報、およびテキスト情報は、イベント３の発生時刻を示す線Ｌ１２に関連付けられる。
【０１１６】
対象物情報は、顕微鏡に接続されたカメラによって生成された画像である。対象物情報は、ウィンドウＷ１０の領域３０４に表示される。イベント１およびイベント２が発生したとき、対象物情報はまだ取得されていない。このため、イベント１およびイベント２の各々に対応する対象物情報は表示されない。画像情報は、ウィンドウＷ１０の領域３０５および領域３０６に表示される。ユーザに装着されたウェアラブルカメラによって生成された画像情報は領域３０５に表示される。顕微鏡の対物レンズ先端の近傍を撮影するカメラによって生成された画像情報は領域３０６に表示される。テキスト情報は、ウィンドウＷ１０の領域３０７に表示される。
【０１１７】
読み出し部８０によって読み出された情報が時系列の複数の数値情報を含む場合、表示部９０は、複数の数値情報を可視化する。例えば、複数の数値情報は、音声信号を構成する。複数の数値情報は、音声信号の振幅またはパワーである。表示部９０は、音声信号を構成する複数の数値情報をグラフで表示する。例えば、複数の数値情報は、センサまたはバイタルセンサによって取得されたセンサ信号を構成する。例えば、表示部９０は、センサ信号を構成する複数の数値情報をグラフで表示する。
【０１１８】
音声情報は、時系列の音声信号である。読み出し部８０は、音声信号を記録媒体７０から読み出す。また、読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体７０から読み出す。図１２に示すように、表示部９０は、読み出し部８０によって読み出された音声信号を、音声信号の時間変化が視認できるように時系列グラフに表示する。表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を時系列グラフに関連付けて表示する。表示部９０は、イベント発生時刻に対応する時刻における時系列グラフ上の位置を表示する。例えば、図１２に示すように、表示部９０は、線Ｌ１０、線Ｌ１１、および線Ｌ１２を表示する。
【０１１９】
記録媒体７０に記録された対象物情報が時系列に複数に分割されている場合、読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた代表的な対象物情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された代表的な対象物情報を表示する。例えば、対象物情報は対象物の画像情報であり、かつ対象物の画像情報は動画情報である。動画情報は、互いに異なる時刻に生成された複数フレームの画像情報を含む。この場合、読み出し部８０は、イベント発生時刻に最も近い時刻に生成された１フレームの対象物の画像情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された１フレームの対象物の画像情報を表示する。イベント発生時刻に最も近い時刻に生成された１フレームのサムネールが表示されてもよい。
【０１２０】
記録媒体７０に記録された画像情報が時系列に複数に分割されている場合、読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた代表的な画像情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された代表的な画像情報を表示する。例えば、画像取得部３０によって取得された画像情報は動画情報である。対象物情報が対象物の画像情報である場合と同様に、読み出し部８０は、イベント発生時刻に最も近い時刻に生成された１フレームの画像情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された１フレームの画像情報を表示する。イベント発生時刻に最も近い時刻に生成された１フレームのサムネールが表示されてもよい。
【０１２１】
記録媒体７０に記録された対象物情報が時系列に複数に分割されている場合、読み出し部８０は、イベント発生時刻に対応するイベント期間に含まれる時刻に対応する時刻情報に関連付けられた対象物情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された対象物情報を表示する。例えば、対象物情報は対象物の画像情報であり、かつ対象物の画像情報は動画情報である。この場合、読み出し部８０は、イベント期間に生成された複数フレームの対象物の画像情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された複数フレームの対象物の画像情報を順次表示する。例えば、ユーザがアイコン４０２を操作した場合、表示部９０は、イベント期間における対象物の動画を表示する。イベント期間については、後述する。
【０１２２】
記録媒体７０に記録された画像情報が時系列に複数に分割されている場合、読み出し部８０は、イベント発生時刻に対応するイベント期間に含まれる時刻に対応する時刻情報に関連付けられた画像情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された画像情報を表示する。例えば、画像取得部３０によって取得された画像情報は動画情報である。この場合、読み出し部８０は、イベント期間に生成された複数フレームの画像情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された複数フレームの画像情報を順次表示する。例えば、ユーザがアイコン４０３またはアイコン４０４を操作した場合、表示部９０は、イベント期間における観察状況を示す動画を表示する。
【０１２３】
上記のように、読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた音声情報を記録媒体７０から読み出す。音声出力部１００は、読み出し部８０によって読み出された音声情報に基づく音声を出力する。例えば、読み出し部８０は、イベント発生時刻に対応するイベント期間に含まれる時刻に対応する時刻情報に関連付けられた音声情報を記録媒体７０から読み出す。例えば、ユーザがアイコン４０５を操作した場合、音声出力部１００は、イベント期間における音声を出力する。
【０１２４】
音声信号のグラフにおける横方向が時間を示し、かつ縦方向が振幅を示すように音声信号が表示されてもよい。この場合、同一のイベントに対応する対象物情報、画像情報、およびテキスト情報は、縦方向に並べられる。
【０１２５】
以下では、イベント期間について説明する。読み出し部８０は、イベント発生時刻に対応するイベント期間に含まれる時刻に対応する時刻情報に関連付けられた対象物情報および画像情報を記録媒体７０から読み出す。また、読み出し部８０は、イベント発生時刻に対応するイベント期間に含まれる時刻に対応する時刻情報に関連付けられた音声情報およびテキスト情報を記録媒体７０から読み出す。
【０１２６】
図１３は、イベント発生時刻とイベント期間との関係を示す。イベント発生時刻Ｔ２０は、イベント開始時刻ｔａからイベント終了時刻ｔｂまでの時刻である。このイベントは、イベント開始時刻ｔａからイベント終了時刻ｔｂまで継続的に発生している。
【０１２７】
イベント期間Ｔ２１は、イベント発生時刻Ｔ２０と同一である。イベント期間Ｔ２２、イベント期間Ｔ２３、およびイベント期間Ｔ２４は、イベント発生時刻Ｔ２０よりも前の時刻を含む。イベント期間Ｔ２２の終点はイベント終了時刻ｔｂである。イベント期間Ｔ２４の終点はイベント開始時刻ｔａである。イベント期間Ｔ２５、イベント期間Ｔ２６、およびイベント期間Ｔ２７は、イベント発生時刻Ｔ２０よりも後の時刻を含む。イベント期間Ｔ２５の始点はイベント開始時刻ｔａである。イベント期間Ｔ２７の始点はイベント終了時刻ｔｂである。イベント期間Ｔ２８は、イベント発生時刻の一部のみを含む。イベント期間Ｔ２８は、イベント開始時刻ｔａよりも後の時刻かつイベント終了時刻ｔｂよりも前の時刻のみを含む。
【０１２８】
上記の説明において、イベント発生時刻よりも前の時刻およびイベント発生時刻よりも後の時刻の少なくとも１つは、予め設定された所定時刻であってもよい。あるいは、これらの少なくとも１つは、イベント期間に対応するイベント発生時刻を基準に、相対的に設定される時刻であってもよい。また、これらの少なくとも１つは、イベント期間に対応するイベントの前または後のイベントの発生時刻を基準に設定されてもよい。イベントは、ある程度の時間連続して検出され続けてもよい。あるいは、イベントは、短時間にトリガ的に検出されてもよい。この場合、イベント発生時刻は、イベント終了時刻とほぼ等しい。例えば、イベント期間は、音声信号の振幅が閾値を超えるイベントが検出される５秒前のタイミングから、対象物の画像において対象物の増加が停止するイベントが検出されるタイミングまでの期間であってもよい。
【０１２９】
イベント期間は、第１の時刻から第２の時刻までの期間よりも短い。第１の時刻は、対象物情報が関連付けられた時刻情報が示す最も早い時刻である。第２の時刻は、対象物情報が関連付けられた時刻情報が示す最も遅い時刻である。イベント検出部７５によって１つのイベントのみが検出された場合、イベント期間は第１の時刻から第２の時刻までの期間と同一であってもよい。画像情報、音声情報、およびテキスト情報の各々に関するイベント期間は、対象物情報に関するイベント期間と同様である。
【０１３０】
イベント発生時刻は、ユーザが注目するタイミングである。上記のように、イベント発生時刻の前または後の所定期間に対応する情報が記録媒体７０から読み出される。このため、ユーザは、ユーザが注目するタイミングで発生したイベントに関する情報を効率的に閲覧することができる。
【０１３１】
（第１の実施形態の第１の変形例）
図１４は、本発明の第１の実施形態の第１の変形例の情報記録システム１０ａの構成を示す。図１４に示す構成について、図１に示す構成と異なる点を説明する。
【０１３２】
情報記録システム１０ａは、図１に示す情報記録システム１０の構成に加えて状況情報取得部１１０を有する。状況情報取得部１１０は、対象物情報がどのような状況で取得されているのかを示し、かつ対象物の画像情報を除く情報である状況情報を取得する。例えば、状況情報は、時刻、場所、および対象物の周辺環境の少なくとも１つに関する情報である。例えば、対象物の周辺環境は、温度、湿度、気圧、および照度などの条件を示す。状況情報が時刻情報である場合、状況情報取得部１１０は、時刻情報を生成する機器から時刻情報を取得する。例えば、状況情報取得部１１０は、スマートフォンおよびＰＣなどの端末から時刻情報を取得する。状況情報が場所情報である場合、状況情報取得部１１０は、場所情報を生成する機器から場所情報を取得する。例えば、状況情報取得部１１０は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）機能が搭載されたスマートフォンなどの端末から場所情報を取得する。状況情報が周辺環境情報である場合、状況情報取得部１１０は、周辺環境値を測定する機器から周辺環境情報を取得する。例えば、状況情報取得部１１０は、温度計、湿度計、気圧計、および照度計などのセンサから周辺環境情報を取得する。
【０１３３】
状況情報は、対象物情報取得部２０を含む機器に関する機器情報であってもよい。機器情報は、機器の設定値であってもよい。例えば、多光子励起顕微鏡において、機器の設定値は、レンズ倍率、観察光量、レーザーパワー、およびステージ位置などの値である。状況情報取得部１１０によって取得された、時刻情報以外の状況情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、状況情報取得部１１０は、状況情報が取得された時刻を示す時刻情報を状況情報に付加し、かつ時刻情報が付加された状況情報を出力する。状況情報が時系列情報である場合、複数の異なる時刻を特定できる時刻情報が状況情報に付加される。例えば、状況情報に関連付けられる時刻情報は、状況情報の取得が開始された時刻と、サンプリングレートとを含む。
【０１３４】
記録部６０は、対象物情報、画像情報、音声情報、テキスト情報、状況情報、および時刻情報を互いに関連付けて記録媒体７０に記録する。時刻情報は、対象物情報、画像情報、音声情報、テキスト情報、および状況情報の各々が取得された時刻を示す。対象物情報、画像情報、音声情報、テキスト情報、および状況情報は、時刻情報を介して互いに関連付けられる。状況情報は圧縮されてもよい。
【０１３５】
イベント検出部７５は、記録媒体７０に記録された対象物情報、画像情報、音声情報、テキスト情報、および状況情報の少なくとも１つに基づいてイベントを検出する。イベントは、記録媒体７０に記録された対象物情報、画像情報、音声情報、テキスト情報、および状況情報の少なくとも１つが所定の条件を満たす状態である。例えば、記録媒体７０に記録された対象物情報、画像情報、音声情報、テキスト情報、および状況情報の少なくとも１つが読み出し部８０によって読み出される。イベント検出部７５は、読み出し部８０によって読み出された情報に基づいてイベントを検出する。
【０１３６】
読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、音声情報、テキスト情報、および状況情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、音声情報、テキスト情報、および状況情報を互いに関連付けて表示する。例えば、表示部９０は、対象物情報、画像情報、音声情報、テキスト情報、および状況情報を同時に表示する。このとき、表示部９０は、対象物情報、画像情報、音声情報、テキスト情報、および状況情報を、各情報が並べられた状態で表示する。対象物情報、画像情報、音声情報、テキスト情報、および状況情報のうち選択された情報が表示部９０に表示され、かつ表示部９０に表示される情報をユーザが切り替えることができてもよい。イベントの検出に状況情報が使用されるが、状況情報は表示されなくてもよい。
【０１３７】
上記以外の点について、図１４に示す構成は、図１に示す構成と同様である。
【０１３８】
状況情報が示す状況が、イベント検出条件として予め定義された状態である場合、イベント検出部７５は、イベントを検出する。例えば、状況情報は、温度計から取得された周囲環境情報すなわち温度である。状況情報が示す温度が、イベント検出条件として予め定義された閾値を超えた場合、イベント検出部７５は、イベントを検出する。例えば、ユーザによって指定された閾値がイベント検出条件として予め記録媒体７０に記録される。読み出し部８０は、イベント検出条件を記録媒体７０から読み出す。イベント検出部７５は、状況情報取得部１１０によって取得された状況情報が示す温度と、読み出し部８０によって読み出されたイベント検出条件である閾値とを比較する。温度が閾値を超えた場合、イベント検出部７５は、イベントを検出する。
【０１３９】
状況情報が記録されることにより、情報記録システム１０ａは、対象物情報がどのような状況で取得されているのかを示す情報として、視覚的な情報に加えて、それ以外の情報も記録することができる。これにより、情報記録システム１０ａは、観察状況をより正確に記録することができる。したがって、ユーザは、正確な手順の再現および検証をより確実に行うことができる。
【０１４０】
以下では、表示部９０による各情報の表示の具体例を説明する。図１５は、表示部９０の画面に表示されたウィンドウＷ１１を示す。図１５に示すウィンドウＷ１１について、図１２に示すウィンドウＷ１０と異なる点を説明する。
【０１４１】
図１５に示す領域３０６において、図１２に示す画像情報の代わりに状況情報が表示される。領域３０６に表示された状況情報は、機器情報である。図１５に示す例では、機器情報はステージ位置である。同一の対象物に関連付けられた状況情報がウィンドウＷ１１に表示される。また、イベント検出部７５によって検出されたイベントに対応する状況情報がウィンドウＷ１１に表示される。状況情報は、音声信号に関連付けられて表示される。状況情報は、音声信号においてイベント発生時刻に対応する時系列グラフ上の位置に関連付けられた状態で表示される。
【０１４２】
読み出し部８０によって読み出された情報が時系列の複数の数値情報を含む場合、表示部９０は、複数の数値情報を可視化する。例えば、複数の数値情報は、状況情報を構成する。複数の数値情報は、各時刻におけるステージ位置で構成される。表示部９０は、各時刻におけるステージ位置を２次元のマップで表示する。
【０１４３】
上記以外の点について、図１５に示すウィンドウＷ１１は、図１２に示すウィンドウＷ１０と同様である。
【０１４４】
（第１の実施形態の第２の変形例）
図１６は、本発明の第１の実施形態の第２の変形例の情報記録システム１０ｂの構成を示す。図１６に示す構成について、図１に示す構成と異なる点を説明する。
【０１４５】
記録部６０は、対象物情報、画像情報、音声情報、および時刻情報を互いに関連付けて記録媒体７０に記録する。時刻情報は、対象物情報、画像情報、および音声情報の各々が取得された時刻を示す。読み出し部８０は、音声情報を記録媒体７０から読み出す。音声処理部５０は、読み出し部８０によって読み出された音声情報をテキスト情報に変換する。記録部６０は、記録媒体７０に記録された対象物情報、画像情報、音声情報にテキスト情報を関連付け、かつテキスト情報を記録媒体７０に記録する。テキスト情報の時刻情報は、元になった音声情報が取得された時刻を示す。イベント検出部７５は、記録媒体７０に記録された対象物情報、画像情報、およびテキスト情報の少なくとも１つに基づいてイベントを検出する。イベントは、記録媒体７０に記録された対象物情報、画像情報、およびテキスト情報の少なくとも１つが所定の条件を満たす状態である。
【０１４６】
上記以外の点について、図１６に示す構成は、図１に示す構成と同様である。
【０１４７】
情報記録システム１０ｂにおいて、音声情報の全体が記録媒体７０に記録された後、音声処理が音声処理部５０によって行われる。一般的に、音声処理の負荷は高い。音声処理速度が音声情報の取得レートよりも遅い場合でも、情報記録システム１０ｂはテキスト情報を記録することができる。
【０１４８】
（第１の実施形態の第３の変形例）
図１７は、本発明の第１の実施形態の第３の変形例の情報記録システム１０ｃの構成を示す。図１７に示す構成について、図１に示す構成と異なる点を説明する。
【０１４９】
情報記録システム１０ｃは、図１に示す情報記録システム１０の構成に加えて指示受付部１１５を有する。指示受付部１１５は、イベント検出部７５によって検出されたイベントのいずれか１つを選択するイベント選択指示を受け付ける。例えば、指示受付部１１５は、操作部として構成されている。指示受付部１１５は、操作部と無線通信を行う通信部として構成されてもよい。ユーザは、指示受付部１１５を介してイベント選択指示を入力する。読み出し部８０は、選択イベントのイベント発生時刻に対応する時刻情報に関連付けられた対象物情報および画像情報を記録媒体７０から読み出す。選択イベントは、指示受付部１１５によって受け付けられたイベント選択指示に対応するイベントである。表示部９０は、読み出し部８０によって読み出された対象物情報および画像情報を互いに関連付けて表示する。つまり、表示部９０は、選択イベントに対応する対象物情報および画像情報を互いに関連付けて表示する。
【０１５０】
表示部９０は、イベント検出部７５によって検出されたイベントのイベント発生時刻に対応する時刻情報に関連付けられた対象物情報および画像情報のうち、選択イベントのイベント発生時刻に対応する時刻情報に関連付けられた対象物情報および画像情報のみを表示する。例えば、イベント検出部７５によって複数のイベントが検出された場合、表示部９０は、複数のイベントのうち１つ以上の選択イベントのイベント発生時刻に対応する時刻情報に関連付けられた対象物情報および画像情報のみを表示する。表示部９０は、イベント検出部７５によって検出されたイベントのイベント発生時刻に対応する時刻情報に関連付けられた対象物情報および画像情報のうち、選択イベントのイベント発生時刻に対応する時刻情報に関連付けられた対象物情報および画像情報をより強調して表示してもよい。
【０１５１】
前述したように、音声取得部４０は、対象物を観察する観察者が発した音声に基づく音声情報を取得する。音声情報は、時系列の音声信号である。記録部６０は、対象物情報、画像情報、音声信号、および時刻情報を互いに関連付けて記録媒体７０に記録する。時刻情報は、対象物情報、画像情報、および音声信号の各々が取得された時刻を示す。読み出し部８０は、音声信号を記録媒体７０から読み出し、かつ選択イベントのイベント発生時刻に対応する時刻情報に関連付けられた対象物情報および画像情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された音声信号を、音声信号の時間変化が視認できるように時系列グラフに表示する。表示部９０は、読み出し部８０によって読み出された対象物情報および画像情報を時系列グラフに関連付けて表示する。表示部９０は、選択イベントのイベント発生時刻に対応する時刻における時系列グラフ上の位置を表示する。
【０１５２】
表示部９０によって表示された音声信号においてイベント位置が指定されたとき、指示受付部１１５はイベント選択指示を受け付ける。イベント位置は、選択イベントのイベント発生時刻に対応する位置である。例えば、閲覧者であるユーザは、指示受付部１１５を介して、イベント位置を指定する指示を入力する。指示受付部１１５は、イベント位置を指定する指示をイベント選択指示として受け付ける。指示受付部１１５によってイベント選択指示が受け付けられた後、表示部９０は、読み出し部８０によって読み出された対象物情報および画像情報を時系列グラフに関連付けて表示する。
【０１５３】
上記以外の点について、図１７に示す構成は、図１に示す構成と同様である。
【０１５４】
情報記録システム１０ｃにおいて、イベント選択指示に対応する選択イベントに関連付けられた対象物情報および画像情報が表示される。これによりユーザは、ユーザが注目するタイミングで発生したイベントに関する情報を効率的に閲覧することができる。
【０１５５】
図１８は、情報記録システム１０ｃによる処理の手順を示す。図１８に示す処理について、図２に示す処理と異なる点を説明する。
【０１５６】
ステップＳ１２０の後、指示受付部１１５は、ステップＳ１２０においてイベント検出部７５によって検出されたイベントのいずれか１つを選択するイベント選択指示を受け付ける（ステップＳ１３５（指示受付ステップ））。イベント選択指示により、選択イベントが選択される。
【０１５７】
ステップＳ１３５の後、読み出し部８０は、選択イベントのイベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体７０から読み出す（ステップＳ１４０（読み出しステップ））。
【０１５８】
ステップＳ１４０の後、表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。つまり、表示部９０は、選択イベントに対応する対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。また、音声出力部１００は、読み出し部８０によって読み出された音声情報に基づく音声を出力する。つまり、音声出力部１００は、選択イベントに対応する音声情報に基づく音声を出力する。（ステップＳ１４５（表示ステップおよび音声出力ステップ））。
【０１５９】
上記以外の点について、図１８に示す処理は、図２に示す処理と同様である。
【０１６０】
図１９は、表示部９０の画面に表示されたウィンドウＷ１２を示す。図１９に示すウィンドウＷ１２について、図１２に示すウィンドウＷ１０と異なる点を説明する。
【０１６１】
読み出し部８０は、音声情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された音声情報を表示する。表示部９０は、音声情報の時間変化が視認できるように音声信号として音声情報を表示する。音声信号が領域３００に表示され、かつイベント位置を示す線Ｌ１０、線Ｌ１１、および線Ｌ１２が音声信号上に表示される。このとき、対象物情報、画像情報、およびテキスト情報は、表示されていない。また、ユーザがイベント位置を指定するためのアイコン４０６がウィンドウＷ１２に表示される。ユーザは、指示受付部１１５を介して、アイコン４０６を移動させる。指示受付部１１５を介してユーザによって指定された位置にアイコン４０６が表示される。
【０１６２】
アイコン４０６が線Ｌ１０、線Ｌ１１、および線Ｌ１２のいずれか１つと重なったとき、ユーザは指示受付部１１５を介してイベント選択指示を入力する。このとき、指示受付部１１５はイベント選択指示を受け付ける。イベント選択指示が受け付けられたときにアイコン４０６と重なる線に対応するイベントが選択イベントである。例えば、図１９に示すように、アイコン４０６が線Ｌ１２と重なったとき、ユーザは指示受付部１１５を介してイベント選択指示を入力する。これによって、線Ｌ１２に対応するイベント３が選択イベントとして選択される。このとき、読み出し部８０は、選択イベントすなわちイベント３のイベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体７０から読み出す。
【０１６３】
表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を表示する。イベント３に対応する対象物情報、画像情報、およびテキスト情報は、ウィンドウＷ１２の領域３０８に表示される。イベント３に対応する対象物情報、画像情報、およびテキスト情報は、イベント３の発生時刻を示す線Ｌ１２に関連付けられる。表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を拡大表示してもよい。ユーザがアイコン４０５を操作した場合、音声出力部１００は、イベント３に対応するイベント期間における音声を出力する。
【０１６４】
指示受付部１１５が第１のイベント選択指示を受け付けた後、指示受付部１１５は、第１のイベント選択指示と異なる第２のイベント選択指示を受け付けてもよい。例えば、上記のように、ユーザが、イベント３に対応するイベント選択指示を入力した後、ユーザはイベント１に対応するイベント選択指示を入力してもよい。つまり、ユーザは、指示受付部１１５を介して、アイコン４０６を線Ｌ１２の位置から線Ｌ１０の位置に移動させる。アイコン４０６が線Ｌ１０と重なったとき、ユーザは指示受付部１１５を介してイベント選択指示を入力する。これによって、イベント１が選択イベントとして選択される。指示受付部１１５が第２のイベント選択指示を受け付けたとき、表示部９０は、第１のイベント選択指示に対応する第１の選択イベントに関連付けられた対象物情報、画像情報、およびテキスト情報を非表示にする。つまり、表示部９０は、イベント３に対応する対象物情報、画像情報、およびテキスト情報を非表示にする。
【０１６５】
読み出し部８０は、第２の選択イベントのイベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体７０から読み出す。第２の選択イベントは、第２のイベント選択指示に対応するイベントである。表示部９０が、第１のイベント選択指示に対応する第１の選択イベントに関連付けられた対象物情報、画像情報、およびテキスト情報を非表示にした後、表示部９０は、第２の選択イベントに関連付けられた対象物情報、画像情報、およびテキスト情報を表示する。つまり、表示部９０は、イベント１に対応する対象物情報、画像情報、およびテキスト情報を表示する。
【０１６６】
上記以外の点について、図１９に示すウィンドウＷ１２は、図１２に示すウィンドウＷ１０と同様である。
【０１６７】
図１２に示すウィンドウＷ１０または図１５に示すウィンドウＷ１１において、表示部９０は、選択イベントのイベント発生時刻に対応する時刻情報に関連付けられた対象物情報および画像情報をより強調して表示してもよい。例えば、イベント３が選択イベントとして選択された場合、表示部９０は、イベント３に対応する情報をイベント１およびイベント２に対応する情報よりも強調して表示する。例えば、表示部９０は、選択イベントに対応する情報に関連付けられた線を、選択イベント以外のイベントに関連付けられた線よりも太く表示する。表示部９０は、選択イベントに対応する情報を、選択イベント以外のイベントに対応する情報よりも大きく表示してもよい。
【０１６８】
（第２の実施形態）
図２０は、本発明の第２の実施形態の情報記録システム１０ｄの構成を示す。図２０に示す構成について、図１に示す構成と異なる点を説明する。
【０１６９】
図２０に示すように、情報記録システム１０ｄは、対象物情報取得部２０、画像取得部３０、音声取得部４０、情報記録装置１２０、表示部９０、および音声出力部１００を有する。対象物情報取得部２０、画像取得部３０、音声取得部４０、表示部９０、および音声出力部１００は、図１に示す、各構成に対応する構成と同様である。図２０に示す情報記録システム１０ｄにおいて、図１に示す情報記録システム１０における音声処理部５０、記録部６０、記録媒体７０、イベント検出部７５、および読み出し部８０が情報記録装置１２０に変更される。
【０１７０】
上記以外の点について、図２０に示す構成は、図１に示す構成と同様である。
【０１７１】
図２１は、情報記録装置１２０の構成を示す。図２１に示すように、情報記録装置１２０は、音声処理部５０、記録部６０、記録媒体７０、イベント検出部７５、読み出し部８０、入力部１３０、および出力部１４０を有する。
【０１７２】
音声処理部５０、記録部６０、記録媒体７０、イベント検出部７５、および読み出し部８０は、図１に示す、各構成に対応する構成と同様である。対象物情報取得部２０からの対象物情報、画像取得部３０からの画像情報、および音声取得部４０からの音声情報が入力部１３０に入力される。例えば、対象物情報取得部２０、画像取得部３０、および音声取得部４０の少なくとも１つと情報記録装置１２０とは、ケーブルにより接続される。この場合、入力部１３０は、ケーブルが接続される入力端子である。対象物情報取得部２０、画像取得部３０、および音声取得部４０の少なくとも１つと情報記録装置１２０とは、無線により接続されてもよい。この場合、入力部１３０は、対象物情報取得部２０、画像取得部３０、および音声取得部４０の少なくとも１つと無線通信を行う無線通信回路である。
【０１７３】
出力部１４０は、読み出し部８０によって読み出された対象物情報、画像情報、音声情報、およびテキスト情報を出力する。つまり、出力部１４０は、対象物情報、画像情報、音声情報、およびテキスト情報を表示部９０に出力し、かつ音声情報を音声出力部１００に出力する。例えば、表示部９０および音声出力部１００の少なくとも１つと情報記録装置１２０とは、ケーブルにより接続される。この場合、出力部１４０は、ケーブルが接続される出力端子である。表示部９０および音声出力部１００の少なくとも１つと情報記録装置１２０とは、無線により接続されてもよい。この場合、出力部１４０は、表示部９０および音声出力部１００の少なくとも１つと無線通信を行う無線通信回路である。
【０１７４】
情報記録装置１２０が、プログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。つまり、情報記録装置１２０の機能はソフトウェアにより実現されてもよい。このプログラムは、音声処理部５０、記録部６０、イベント検出部７５、および読み出し部８０の動作を規定する命令を含む。このプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。また、上述したプログラムは、このプログラムが保存された記憶装置等を有するコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により情報記録装置１２０に伝送されてもよい。プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように、情報を伝送する機能を有する媒体である。また、上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、前述した機能をコンピュータに既に記録されているプログラムとの組合せで実現できる差分ファイル（差分プログラム）であってもよい。
【０１７５】
図１に示す情報記録システム１０に適用される様々な変形は、図２０に示す情報記録システム１０ｄにも同様に適用されてよい。例えば、情報記録システム１０ｄは、音声取得部４０、音声処理部５０、および音声出力部１００を有していなくてもよい。この場合、対象物情報および画像情報が入力部１３０に入力される。記録部６０は、対象物情報、画像情報、および時刻情報を互いに関連付けて記録媒体７０に記録する。イベント検出部７５は、記録媒体７０に記録された対象物情報および画像情報の少なくとも１つに基づいてイベントを検出する。読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報および画像情報を記録媒体７０から読み出す。出力部１４０は、読み出し部８０によって読み出された対象物情報および画像情報を出力する。表示部９０は、出力部１４０によって出力された対象物情報および画像情報を互いに関連付けて表示する。
【０１７６】
情報記録システム１０ｄは音声処理部５０を有していなくてもよい。この場合、対象物情報、画像情報、および音声情報が入力部１３０に入力される。記録部６０は、対象物情報、画像情報、音声情報、および時刻情報を互いに関連付けて記録媒体７０に記録する。イベント検出部７５は、記録媒体７０に記録された対象物情報、画像情報、および音声情報の少なくとも１つに基づいてイベントを検出する。読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、および音声情報を記録媒体７０から読み出す。出力部１４０は、読み出し部８０によって読み出された対象物情報、画像情報、および音声情報を出力する。表示部９０は、出力部１４０によって出力された対象物情報、画像情報、および音声情報を互いに関連付けて表示する。音声出力部１００は、出力部１４０によって出力された音声情報に基づく音声を出力する。イベントの検出に音声情報が使用されるが、音声情報は情報記録装置１２０から出力されなくてもよい。
【０１７７】
情報記録システム１０ｄは音声出力部１００を有さず、かつ記録部６０は音声情報を記録しなくてもよい。この場合、対象物情報、画像情報、および音声情報が入力部１３０に入力される。記録部６０は、対象物情報、画像情報、テキスト情報、および時刻情報を互いに関連付けて記録媒体７０に記録する。イベント検出部７５は、記録媒体７０に記録された対象物情報、画像情報、およびテキスト情報の少なくとも１つに基づいてイベントを検出する。読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体７０から読み出す。出力部１４０は、読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を出力する。表示部９０は、出力部１４０によって出力された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。イベントの検出にテキスト情報が使用されるが、テキスト情報は情報記録装置１２０から出力されなくてもよい。
【０１７８】
図２２は、情報記録装置１２０による処理の手順を示す。図２２を参照し、情報記録装置１２０による処理の手順を説明する。
【０１７９】
対象物に関する対象物情報が入力部１３０に入力される（ステップＳ２００（入力ステップ））。ステップＳ２００において入力された対象物情報は、記録部６０内のバッファに蓄積される。入力部１３０への対象物情報の入力と並行して、対象物情報がどのような状況で取得されているのかを示す画像情報が入力部１３０に入力される（ステップＳ２０５（入力ステップ））。ステップＳ２０５において入力された画像情報は、記録部６０内のバッファに蓄積される。入力部１３０への対象物情報の入力と並行して、ステップＳ２１０における処理が行われる。ステップＳ２１０は、ステップＳ２１１（音声入力ステップ）およびステップＳ２１２（音声処理ステップ）を含む。ステップＳ２１１において、対象物を観察する観察者が発した音声に基づく音声情報が入力部１３０に入力される。ステップＳ２１２において音声処理部５０は、入力部１３０に入力された音声情報をテキスト情報に変換する。ステップＳ２１０において、ステップＳ２１１およびステップＳ２１２における処理が繰り返される。ステップＳ２１１において入力された音声情報と、ステップＳ２１２において生成されたテキスト情報とは、記録部６０内のバッファに蓄積される。
【０１８０】
ステップＳ２００、ステップＳ２０５、およびステップＳ２１０の各々における処理の開始タイミングは同一でなくてもよい。ステップＳ２００、ステップＳ２０５、およびステップＳ２１０の各々における処理の終了タイミングは同一でなくてもよい。ステップＳ２００、ステップＳ２０５、およびステップＳ２１０の各々における処理が行われる期間の少なくとも一部が互いに重なる。
【０１８１】
対象物情報、画像情報、および音声情報の入力が終了した後、記録部６０は、記録部６０内のバッファに蓄積された対象物情報、画像情報、音声情報、テキスト情報、および時刻情報を互いに関連付けて記録媒体７０に記録する（ステップＳ２１５（記録ステップ））。
【０１８２】
ステップＳ２１５の後、イベント検出部７５は、記録媒体７０に記録された対象物情報、画像情報、音声情報、およびテキスト情報の少なくとも１つに基づいてイベントを検出する（ステップＳ２２０（イベント検出ステップ））。
【０１８３】
ステップＳ２２０の後、読み出し部８０は、イベントが発生した時刻であるイベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体７０から読み出す（ステップＳ２２５（読み出しステップ））。ユーザが各情報の読み出しのタイミングを指定できてもよい。
【０１８４】
ステップＳ２２５の後、出力部１４０は、読み出し部８０によって読み出された対象物情報、画像情報、音声情報、およびテキスト情報を出力する。表示部９０は、出力部１４０によって出力された対象物情報、画像情報、音声情報、およびテキスト情報を互いに関連付けて表示する。また、音声出力部１００は、出力部１４０によって出力された音声情報に基づく音声を出力する（ステップＳ２３０（出力ステップ、表示ステップ、および音声出力ステップ））。
【０１８５】
情報記録システム１０ｄが音声取得部４０および音声処理部５０を有していない場合、ステップＳ２１０における処理は行われない。また、ステップＳ２１５において記録部６０は、対象物情報、画像情報、および時刻情報を互いに関連付けて記録媒体７０に記録する。ステップＳ２２０においてイベント検出部７５は、記録媒体７０に記録された対象物情報および画像情報の少なくとも１つに基づいてイベントを検出する。ステップＳ２２５において読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報および画像情報を記録媒体７０から読み出す。ステップＳ２３０において出力部１４０は、読み出し部８０によって読み出された対象物情報および画像情報を出力する。また、ステップＳ２３０において表示部９０は、出力部１４０によって出力された対象物情報および画像情報を互いに関連付けて表示する。
【０１８６】
情報記録システム１０ｄが音声処理部５０を有していない場合、ステップＳ２１２における処理は行われない。また、ステップＳ２１５において記録部６０は、対象物情報、画像情報、音声情報、および時刻情報を互いに関連付けて記録媒体７０に記録する。ステップＳ２２０においてイベント検出部７５は、記録媒体７０に記録された対象物情報、画像情報、および音声情報の少なくとも１つに基づいてイベントを検出する。ステップＳ２２５において読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、および音声情報を記録媒体７０から読み出す。ステップＳ２３０において出力部１４０は、ステップＳ２２５において読み出し部８０によって読み出された対象物情報、画像情報、および音声情報を出力する。また、ステップＳ２３０において表示部９０は、出力部１４０によって出力された対象物情報、画像情報、および音声情報を互いに関連付けて表示する。また、ステップＳ２３０において音声出力部１００は、出力部１４０によって出力された音声情報に基づく音声を出力する。イベントの検出に音声情報が使用されるが、音声情報は情報記録装置１２０から出力されなくてもよい。
【０１８７】
情報記録システム１０ｄが音声出力部１００を有さず、かつ記録部６０が音声情報を記録しない場合、ステップＳ２１５において記録部６０は、対象物情報、画像情報、テキスト情報、および時刻情報を互いに関連付けて記録媒体７０に記録する。ステップＳ２２０においてイベント検出部７５は、記録媒体７０に記録された対象物情報、画像情報、およびテキスト情報の少なくとも１つに基づいてイベントを検出する。ステップＳ２２５において読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体７０から読み出す。ステップＳ２３０において出力部１４０は、ステップＳ２２５において読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を出力する。また、ステップＳ２３０において表示部９０は、出力部１４０によって出力された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。イベントの検出にテキスト情報が使用されるが、テキスト情報は情報記録装置１２０から出力されなくてもよい。
【０１８８】
音声処理部５０および記録媒体７０の少なくとも１つは、情報記録装置１２０の外部に配置されてもよい。音声処理部５０が情報記録装置１２０の外部に配置された場合、音声処理部５０からのテキスト情報が入力部１３０に入力される。記録媒体７０は、情報記録装置１２０への装着および情報記録装置１２０からの取り外しができてもよい。情報記録装置１２０がネットワークインターフェースを有し、かつ情報記録装置１２０が、ネットワークを介して記録媒体７０と接続してもよい。情報記録装置１２０が無線通信インターフェースを有し、かつ情報記録装置１２０が無線通信により記録媒体７０と接続してもよい。
【０１８９】
情報記録装置１２０は、出力部１４０を有していなくてもよい。例えば、記録媒体７０は、情報記録装置１２０への装着および情報記録装置１２０からの取り外しができるように構成される。読み出し部８０は、イベント検出部７５によって認識されたイベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体７０から読み出す。記録部６０は、読み出し部８０によって読み出された対象物情報、画像情報、音声情報、およびテキスト情報を互いに関連付けて記録媒体７０に記録する。記録媒体７０が情報記録装置１２０から取り外され、かつ情報記録装置１２０の外部の装置に装着されることにより、その装置は、記録媒体７０に記録された情報を利用することができる。情報記録装置１２０が出力部１４０を有していない場合、情報記録装置１２０はステップＳ２３０における処理を行わない。
【０１９０】
上記のように、対象物情報が入力部１３０に入力され、かつ対象物情報がどのような状況で取得されているのかを示す画像情報が入力部１３０に入力される。入力された対象物情報および画像情報は、記録部６０によって記録媒体７０に記録される。これによって、情報記録装置１２０は、対象物情報がどのような状況で取得されているのかを示す視覚的な情報を記録することができる。
【０１９１】
上記のように、記録媒体７０に記録された対象物情報および画像情報の少なくとも１つに基づいてイベントが検出され、かつイベント発生時刻に対応する対象物情報および画像情報が互いに関連付けられて表示される。これによって、情報記録装置１２０は、ユーザによる情報の効率的な閲覧を支援することができる。第１の実施形態の情報記録システム１０において得られる効果は、第２の実施形態の情報記録装置１２０においても同様に得られる。
【０１９２】
図３から図７に示す各システムにおいて、音声処理部５０、記録部６０、記録媒体７０、イベント検出部７５、および読み出し部８０に対応する部分が、情報記録装置１２０に対応する構成に変更されてもよい。第１の実施形態の第１から第３の変形例に開示された事項は、第２の実施形態の情報記録装置１２０に同様に適用されてもよい。したがって、情報記録システム１０ｄが状況情報取得部１１０を有し、かつ状況情報取得部１１０によって取得された状況情報が入力部１３０に入力されてもよい。あるいは、情報記録システム１０ｄが指示受付部１１５を有し、かつ指示受付部１１５によって受け付けられたイベント選択指示が入力部１３０に入力されてもよい。
【０１９３】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
【産業上の利用可能性】
【０１９４】
本発明の各実施形態によれば、情報記録システム、情報記録装置、および情報記録方法は、対象物情報がどのような状況で取得されているのかを示す視覚的な情報を記録することができ、かつユーザによる情報の効率的な閲覧を支援することができる。
【符号の説明】
【０１９５】
１０，１０ａ，１０ｂ，１０ｃ，１０ｄ  情報記録システム
１１  顕微鏡システム
１２  内視鏡システム
１３  診察システム
１４  検査システム
１５  作業記録システム
２０  対象物情報取得部
２３  バイタルセンサ
３０  画像取得部
２１，２５，３１ａ，３１ｂ，３１ｃ，３２，３３，３４，３５  カメラ
４０  音声取得部
４１，４２，４３，４４，４５  マイク
５０  音声処理部
６０  記録部
７０  記録媒体
７５  イベント検出部
８０  読み出し部
９０  表示部
９１，９２，９４，９５  画面
１００  音声出力部
１１０  状況情報取得部
１１５  指示受付部
１２０  情報記録装置
１３０  入力部
１４０  出力部
２００  顕微鏡
２０１  サーバ
２０２，２１１，２４０  ＰＣ
２０３  アクセサリ
２１０  内視鏡
２２０，２３１  機器
２３０  プローブ
２４１  道具
５００  音声認識部
５１０  テキスト生成部
【図１】
2018138834.tif 000003
【図２】
2018138834.tif 000004
【図３】
2018138834.tif 000005
【図４】
2018138834.tif 000006
【図５】
2018138834.tif 000007
【図６】
2018138834.tif 000008
【図７】
2018138834.tif 000009
【図８】
2018138834.tif 000010
【図９】
2018138834.tif 000011
【図１０】
2018138834.tif 000012
【図１１】
2018138834.tif 000013
【図１２】
2018138834.tif 000014
【図１３】
2018138834.tif 000015
【図１４】
2018138834.tif 000016
【図１５】
2018138834.tif 000017
【図１６】
2018138834.tif 000018
【図１７】
2018138834.tif 000019
【図１８】
2018138834.tif 000020
【図１９】
2018138834.tif 000021
【図２０】
2018138834.tif 000022
【図２１】
2018138834.tif 000023
【図２２】
2018138834.tif 000024
【国際調査報告】
2018138834.tif 000025
2018138834.tif 000026
2018138834.tif 000027
2018138834.tif 000028