(57)【要約】  情報記録システムにおいて、音声処理部は、音声情報からテキスト情報への変換の過程において変換候補単語を生成する。記録部は、前記テキスト情報および前記変換候補単語を互いに関連付けて記録媒体に記録する。検索部は、キーワードに基づく検索を行い、かつ前記テキスト情報中の単語および前記変換候補単語のうちキーワードと一致する単語を抽出する。読み出し部は、前記キーワードと一致する前記単語を含む前記テキスト情報を前記記録媒体から読み出す。表示部は、前記テキスト情報を、前記キーワードと一致する前記単語に対応する部分とそれ以外の部分とが区別できるように表示する。
2018138826.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが発した音声に基づく音声情報を取得する音声取得部と、
前記音声取得部によって取得された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも１つの変換候補単語を生成する音声処理部と、
前記テキスト情報および前記変換候補単語を互いに関連付けて記録媒体に記録する記録部と、
キーワードを受け付けるキーワード受付部と、
前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する検索部と、
前記キーワードと一致する前記単語に対応する第１の部分を含む前記テキスト情報を前記記録媒体から読み出す読み出し部と、
前記読み出し部によって読み出された前記テキスト情報を、前記第１の部分と、前記第１の部分以外の第２の部分とが区別できるように表示する表示部と、
を有する情報記録システム。
【請求項２】
対象物に関する対象物情報を取得する対象物情報取得部と、
前記対象物を観察する観察者が発した音声に基づく音声情報を取得する音声取得部と、
前記音声取得部によって取得された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも１つの変換候補単語を生成する音声処理部と、
前記対象物情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録し、前記時刻情報は、前記対象物情報が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す記録部と、
キーワードを受け付けるキーワード受付部と、
前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する検索部と、
前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出す読み出し部と、
前記読み出し部によって読み出された前記対象物情報を表示する表示部と、
を有する情報記録システム。
【請求項３】
前記記録部は、前記対象物情報、前記音声情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録し、前記時刻情報は、前記対象物情報および前記音声情報の各々が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示し、
前記情報記録システムは、
前記記録媒体に記録された前記対象物情報および前記音声情報の少なくとも１つに基づいてイベントを検出し、前記イベントは、前記記録媒体に記録された前記対象物情報および前記音声情報の少なくとも１つが所定の条件を満たす状態であるイベント検出部
をさらに有し、
前記読み出し部は、前記イベントが発生した時刻であるイベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出し、
前記表示部は、前記読み出し部によって読み出された前記対象物情報を表示し、
前記検索部は、前記イベント発生時刻に対応する前記時刻情報に関連付けられた前記テキスト情報および前記変換候補単語において、前記キーワード受付部によって受け付けられた前記キーワードを検索し、
前記表示部は、前記キーワードと一致する前記単語が検出された前記イベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報を他の前記対象物情報と区別して表示する
請求項２に記載の情報記録システム。
【請求項４】
前記記録部は、前記対象物情報、前記音声情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録し、前記時刻情報は、前記対象物情報および前記音声情報の各々が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示し、
前記情報記録システムは、
前記記録媒体に記録された前記対象物情報および前記音声情報の少なくとも１つに基づいてイベントを検出し、前記イベントは、前記記録媒体に記録された前記対象物情報および前記音声情報の少なくとも１つが所定の条件を満たす状態であるイベント検出部
をさらに有し、
前記読み出し部は、前記イベントが発生した時刻であるイベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記テキスト情報を前記記録媒体から読み出し、
前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記テキスト情報を表示し、
前記検索部は、前記イベント発生時刻に対応する前記時刻情報に関連付けられた前記テキスト情報および前記変換候補単語において、前記キーワード受付部によって受け付けられた前記キーワードを検索し、
前記表示部は、前記キーワードと一致する前記テキスト情報中の前記単語を他の単語と区別して表示し、かつ前記キーワードと一致する前記変換候補単語に関連付けられた前記テキスト情報中の前記単語を他の単語と区別して表示する
請求項２に記載の情報記録システム。
【請求項５】
前記対象物情報が示す前記対象物の状態が、イベント検出条件として予め定義された状態である場合、前記イベント検出部は、前記イベントを検出する
請求項３または請求項４に記載の情報記録システム。
【請求項６】
前記音声情報は、時系列の音声信号であり、
前記音声信号の振幅またはパワーが、イベント検出条件として予め定義された閾値を超えた場合、前記イベント検出部は、前記イベントを検出する
請求項３または請求項４に記載の情報記録システム。
【請求項７】
前記音声情報が示す音声が、イベント検出条件として予め定義されたキーワードの音声と一致した場合、前記イベント検出部は、前記イベントを検出する
請求項３または請求項４に記載の情報記録システム。
【請求項８】
前記読み出し部は、前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報および前記テキスト情報を前記記録媒体から読み出し、
前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記テキスト情報を表示し、
前記表示部は、前記キーワードと一致する前記テキスト情報中の前記単語を他の単語と区別して表示し、かつ前記キーワードと一致する前記変換候補単語に関連付けられた前記テキスト情報中の前記単語を他の単語と区別して表示する
請求項２に記載の情報記録システム。
【請求項９】
前記記録部は、前記対象物情報、前記音声情報、および前記時刻情報を互いに関連付けて前記記録媒体に記録し、前記時刻情報は、前記対象物情報および前記音声情報の各々が取得された時刻を示し、
前記読み出し部は、前記音声情報を前記記録媒体から読み出し、
前記音声処理部は、前記読み出し部によって読み出された前記音声情報を前記テキスト情報に変換し、かつ前記変換候補単語を生成し、
前記記録部は、前記記録媒体に記録された前記対象物情報および前記時刻情報に前記テキスト情報および前記変換候補単語を関連付け、かつ前記テキスト情報および前記変換候補単語を前記記録媒体に記録し、前記時刻情報は、前記テキスト情報の元になった前記音声情報が取得された時刻を示す
請求項２に記載の情報記録システム。
【請求項１０】
ユーザが発した音声に基づく音声情報が入力される入力部と、
前記入力部に入力された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも１つの変換候補単語を生成する音声処理部と、
前記テキスト情報および前記変換候補単語を互いに関連付けて記録媒体に記録する記録部と、
キーワードを受け付けるキーワード受付部と、
前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する検索部と、
前記キーワードと一致する前記単語に対応する部分を含む前記テキスト情報を前記記録媒体から読み出す読み出し部と、
を有する情報記録装置。
【請求項１１】
対象物に関する対象物情報と、前記対象物を観察する観察者が発した音声に基づく音声情報とが入力される入力部と、
前記入力部に入力された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも１つの変換候補単語を生成する音声処理部と、
前記対象物情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録し、前記時刻情報は、前記対象物情報が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す記録部と、
キーワードを受け付けるキーワード受付部と、
前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する検索部と、
前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出す読み出し部と、
を有する情報記録装置。
【請求項１２】
音声取得部が、ユーザが発した音声に基づく音声情報を取得する音声取得ステップと、
音声処理部が、前記音声取得部によって取得された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも１つの変換候補単語を生成する音声処理ステップと、
記録部が、前記テキスト情報および前記変換候補単語を互いに関連付けて記録媒体に記録する記録ステップと、
キーワード受付部がキーワードを受け付けるキーワード受付ステップと、
検索部が、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する検索ステップと、
読み出し部が、前記キーワードと一致する前記単語に対応する第１の部分を含む前記テキスト情報を前記記録媒体から読み出す読み出しステップと、
表示部が、前記読み出し部によって読み出された前記テキスト情報を、前記第１の部分と、前記第１の部分以外の第２の部分とが区別できるように表示する表示ステップと、
を有する情報記録方法。
【請求項１３】
対象物情報取得部が、対象物に関する対象物情報を取得する対象物情報取得ステップと、
音声取得部が、前記対象物を観察する観察者が発した音声に基づく音声情報を取得する音声取得ステップと、
音声処理部が、前記音声取得部によって取得された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも１つの変換候補単語を生成する音声処理ステップと、
記録部が、前記対象物情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録し、前記時刻情報は、前記対象物情報が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す記録ステップと、
キーワード受付部がキーワードを受け付けるキーワード受付ステップと、
検索部が、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する検索ステップと、
読み出し部が、前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出す読み出しステップと、
表示部が、前記読み出し部によって読み出された前記対象物情報を表示する表示ステップと、
を有する情報記録方法。
【請求項１４】
ユーザが発した音声に基づく音声情報が入力部に入力される入力ステップと、
音声処理部が、前記入力部に入力された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも１つの変換候補単語を生成する音声処理ステップと、
記録部が、前記テキスト情報および前記変換候補単語を互いに関連付けて記録媒体に記録する記録ステップと、
キーワード受付部がキーワードを受け付けるキーワード受付ステップと、
検索部が、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する検索ステップと、
読み出し部が、前記キーワードと一致する前記単語に対応する部分を含む前記テキスト情報を前記記録媒体から読み出す読み出しステップと、
を有する情報記録方法。
【請求項１５】
対象物に関する対象物情報と、前記対象物を観察する観察者が発した音声に基づく音声情報とが入力部に入力される入力ステップと、
音声処理部が、前記入力部に入力された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも１つの変換候補単語を生成する音声処理ステップと、
記録部が、前記対象物情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録し、前記時刻情報は、前記対象物情報が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す記録ステップと、
キーワード受付部がキーワードを受け付けるキーワード受付ステップと、
検索部が、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する検索ステップと、
読み出し部が、前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出す読み出しステップと、
を有する情報記録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報記録システム、情報記録装置、および情報記録方法に関する。
【背景技術】
【０００２】
会議およびインタビューなどの場面において音声を記録し、かつ後でその音声を利用することがよく行われる。例えば、音声を再生し、かつその音声に基づくテキストを作成することにより、議事録および記事を作成することができる。音声認識技術の発達により、音声認識ソフトを使用して音声からテキストを生成することもできる。【０００３】
従来の観察機器は対象物の観察により得られた対象物の情報のみを記録する。データ利用の促進および不正防止のために、観察により得られた情報の記録だけでなく、観察現場の状況の記録が重要視されている。例えば、観察現場の状況の記録に関する例として、研究者のラボノート、医師の所見、および建設現場の配筋レポートなどの例がある。また、少子高齢化および技能者不足はあらゆる現場で課題となっている。技能継承および教育のためにも現場状況の記録の重要性はますます高くなってきている。対象物の情報に加えて、観察者の音声に基づくテキストを記録することにより、観察現場の状況をより詳細に記録することができる。また、テキストにおいて、観察現場の状況を表す単語を検索することにより、所望の状況における対象物の情報を効率的に抽出することができる。【０００４】
対象物の情報と音声とを関連付けて記録する技術が開示されている。例えば、特許文献１に開示された技術では、対象物の外観が撮像され、かつ撮像の際に操作者が発した音声が取得される。取得された対象物の画像と操作者の音声とが関連付けて記録される。特許文献２に開示された技術では、カメラから、画像とそれに対応付けられた音声とがサーバに送信される。サーバは、受信された音声をテキストに変換し、かつその結果に基づいて、画像に付加される情報を生成する。サーバは、受信された画像と、音声に基づいて生成された情報とを関連付けて保管する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】日本国特開２００８−１９９０７９号公報
【特許文献２】日本国特開２００８−０８５５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
音声認識処理において、所定の確度以上で認識された複数の候補単語が抽出され、かつその候補単語のうち最も確からしい単語が選択される。単語の選択において、文脈などの要素が考慮される。選択された単語を含むテキストが生成される。しかし、音声認識処理において単語が誤認識される場合がある。このため、テキストに対して所望の単語で検索が行われた場合、その単語を検出できないことによる検索の漏れ（見逃し）が発生しうる。生成されたテキストにおいて所望の単語を漏れなく検索できるようにするためには、テキスト全体に対して、誤認識された単語を手作業により事前に修正する必要があった。【０００７】
本発明は、テキスト情報における単語の検索の漏れを低減することができる情報記録システム、情報記録装置、および情報記録方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の態様によれば、情報記録システムは、音声取得部、音声処理部、記録部、キーワード受付部、検索部、読み出し部、および表示部を有する。前記音声取得部は、ユーザが発した音声に基づく音声情報を取得する。前記音声処理部は、前記音声取得部によって取得された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも１つの変換候補単語を生成する。前記記録部は、前記テキスト情報および前記変換候補単語を互いに関連付けて記録媒体に記録する。前記キーワード受付部は、キーワードを受け付ける。前記検索部は、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する。前記読み出し部は、前記キーワードと一致する前記単語に対応する第１の部分を含む前記テキスト情報を前記記録媒体から読み出す。前記表示部は、前記読み出し部によって読み出された前記テキスト情報を、前記第１の部分と、前記第１の部分以外の第２の部分とが区別できるように表示する。【０００９】
本発明の第２の態様によれば、情報記録システムは、対象物情報取得部、音声取得部、音声処理部、記録部、キーワード受付部、検索部、読み出し部、および表示部を有する。前記対象物情報取得部は、対象物に関する対象物情報を取得する。前記音声取得部は、前記対象物を観察する観察者が発した音声に基づく音声情報を取得する。前記音声処理部は、前記音声取得部によって取得された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも１つの変換候補単語を生成する。前記記録部は、前記対象物情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録する。前記時刻情報は、前記対象物情報が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す。前記キーワード受付部は、キーワードを受け付ける。前記検索部は、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する。前記読み出し部は、前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出す。前記表示部は、前記読み出し部によって読み出された前記対象物情報を表示する。【００１０】
本発明の第３の態様によれば、第２の態様において、前記記録部は、前記対象物情報、前記音声情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録してもよい。前記時刻情報は、前記対象物情報および前記音声情報の各々が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す。前記情報記録システムは、イベント検出部をさらに有してもよい。前記イベント検出部は、前記記録媒体に記録された前記対象物情報および前記音声情報の少なくとも１つに基づいてイベントを検出する。前記イベントは、前記記録媒体に記録された前記対象物情報および前記音声情報の少なくとも１つが所定の条件を満たす状態である。前記読み出し部は、前記イベントが発生した時刻であるイベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出してもよい。前記表示部は、前記読み出し部によって読み出された前記対象物情報を表示してもよい。前記検索部は、前記イベント発生時刻に対応する前記時刻情報に関連付けられた前記テキスト情報および前記変換候補単語において、前記キーワード受付部によって受け付けられた前記キーワードを検索してもよい。前記表示部は、前記キーワードと一致する前記単語が検出された前記イベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報を他の前記対象物情報と区別して表示してもよい。【００１１】
本発明の第４の態様によれば、第２の態様において、前記記録部は、前記対象物情報、前記音声情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録してもよい。前記時刻情報は、前記対象物情報および前記音声情報の各々が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す。前記情報記録システムは、イベント検出部をさらに有してもよい。前記イベント検出部は、前記記録媒体に記録された前記対象物情報および前記音声情報の少なくとも１つに基づいてイベントを検出する。前記イベントは、前記記録媒体に記録された前記対象物情報および前記音声情報の少なくとも１つが所定の条件を満たす状態である。前記読み出し部は、前記イベントが発生した時刻であるイベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記テキスト情報を前記記録媒体から読み出してもよい。前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記テキスト情報を表示してもよい。前記検索部は、前記イベント発生時刻に対応する前記時刻情報に関連付けられた前記テキスト情報および前記変換候補単語において、前記キーワード受付部によって受け付けられた前記キーワードを検索してもよい。前記表示部は、前記キーワードと一致する前記テキスト情報中の前記単語を他の単語と区別して表示し、かつ前記キーワードと一致する前記変換候補単語に関連付けられた前記テキスト情報中の前記単語を他の単語と区別して表示してもよい。【００１２】
本発明の第５の態様によれば、第３または第４の態様において、前記対象物情報が示す前記対象物の状態が、イベント検出条件として予め定義された状態である場合、前記イベント検出部は、前記イベントを検出してもよい。【００１３】
本発明の第６の態様によれば、第３または第４の態様において、前記音声情報は、時系列の音声信号であってもよい。前記音声信号の振幅またはパワーが、イベント検出条件として予め定義された閾値を超えた場合、前記イベント検出部は、前記イベントを検出してもよい。【００１４】
本発明の第７の態様によれば、第３または第４の態様において、前記音声情報が示す音声が、イベント検出条件として予め定義されたキーワードの音声と一致した場合、前記イベント検出部は、前記イベントを検出してもよい。【００１５】
本発明の第８の態様によれば、第２の態様において、前記読み出し部は、前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報および前記テキスト情報を前記記録媒体から読み出してもよい。前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記テキスト情報を表示してもよい。前記表示部は、前記キーワードと一致する前記テキスト情報中の前記単語を他の単語と区別して表示し、かつ前記キーワードと一致する前記変換候補単語に関連付けられた前記テキスト情報中の前記単語を他の単語と区別して表示してもよい。【００１６】
本発明の第９の態様によれば、第２の態様において、前記記録部は、前記対象物情報、前記音声情報、および前記時刻情報を互いに関連付けて前記記録媒体に記録してもよい。前記時刻情報は、前記対象物情報および前記音声情報の各々が取得された時刻を示す。前記読み出し部は、前記音声情報を前記記録媒体から読み出してもよい。前記音声処理部は、前記読み出し部によって読み出された前記音声情報を前記テキスト情報に変換し、かつ前記変換候補単語を生成してもよい。前記記録部は、前記記録媒体に記録された前記対象物情報および前記時刻情報に前記テキスト情報および前記変換候補単語を関連付け、かつ前記テキスト情報および前記変換候補単語を前記記録媒体に記録してもよい。前記時刻情報は、前記テキスト情報の元になった前記音声情報が取得された時刻を示す。【００１７】
本発明の第１０の態様によれば、情報記録装置は、入力部、音声処理部、記録部、キーワード受付部、検索部、および読み出し部を有する。対象物に関する対象物情報と、前記対象物を観察する観察者が発した音声に基づく音声情報とが前記入力部に入力される。前記音声処理部は、前記入力部に入力された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも１つの変換候補単語を生成する。前記記録部は、前記対象物情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録する。前記時刻情報は、前記対象物情報が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す。前記キーワード受付部は、キーワードを受け付ける。前記検索部は、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する。前記読み出し部は、前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出す。【００１８】
本発明の第１１の態様によれば、情報記録装置は、入力部、音声処理部、記録部、キーワード受付部、検索部、および読み出し部を有する。ユーザが発した音声に基づく音声情報が前記入力部に入力される。前記音声処理部は、前記入力部に入力された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも１つの変換候補単語を生成する。前記検索部は、前記テキスト情報および前記変換候補単語を互いに関連付けて記録媒体に記録する。前記キーワード受付部は、キーワードを受け付ける。前記検索部は、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する。前記読み出し部は、前記キーワードと一致する前記単語に対応する部分を含む前記テキスト情報を前記記録媒体から読み出す。【００１９】
本発明の第１２の態様によれば、情報記録方法は、音声取得ステップ、音声処理ステップ、記録ステップ、キーワード受付ステップ、検索ステップ、読み出しステップ、および表示ステップを有する。前記音声取得ステップにおいて、音声取得部が、ユーザが発した音声に基づく音声情報を取得する。前記音声処理ステップにおいて、音声処理部が、前記音声取得部によって取得された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも１つの変換候補単語を生成する。前記記録ステップにおいて、記録部が、前記テキスト情報および前記変換候補単語を互いに関連付けて記録媒体に記録する。前記キーワード受付ステップにおいて、キーワード受付部がキーワードを受け付ける。前記検索ステップにおいて、検索部が、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する。前記読み出しステップにおいて、読み出し部が、前記キーワードと一致する前記単語に対応する第１の部分を含む前記テキスト情報を前記記録媒体から読み出す。前記表示ステップにおいて、表示部が、前記読み出し部によって読み出された前記テキスト情報を、前記第１の部分と、前記第１の部分以外の第２の部分とが区別できるように表示する。【００２０】
本発明の第１３の態様によれば、情報記録方法は、対象物情報取得ステップ、音声取得ステップ、音声処理ステップ、記録ステップ、キーワード受付ステップ、検索ステップ、読み出しステップ、および表示ステップを有する。前記対象物情報取得ステップにおいて、対象物情報取得部が、対象物に関する対象物情報を取得する。前記音声取得ステップにおいて、音声取得部が、前記対象物を観察する観察者が発した音声に基づく音声情報を取得する。前記音声処理ステップにおいて、音声処理部が、前記音声取得部によって取得された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも１つの変換候補単語を生成する。前記記録ステップにおいて、記録部が、前記対象物情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録する。前記時刻情報は、前記対象物情報が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す。前記キーワード受付ステップにおいて、キーワード受付部がキーワードを受け付ける。前記検索ステップにおいて、検索部が、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する。前記読み出しステップにおいて、読み出し部が、前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出す。前記表示ステップにおいて、表示部が、前記読み出し部によって読み出された前記対象物情報を表示する。【００２１】
本発明の第１４の態様によれば、情報記録方法は、入力ステップ、音声処理ステップ、記録ステップ、キーワード受付ステップ、検索ステップ、および読み出しステップを有する。前記入力ステップにおいて、対象物に関する対象物情報と、前記対象物を観察する観察者が発した音声に基づく音声情報とが入力部に入力される。前記音声処理ステップにおいて、音声処理部が、前記入力部に入力された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも１つの変換候補単語を生成する。前記記録ステップにおいて、記録部が、前記対象物情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録する。前記時刻情報は、前記対象物情報が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す。前記キーワード受付ステップにおいて、キーワード受付部がキーワードを受け付ける。前記検索ステップにおいて、検索部が、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する。前記読み出しステップにおいて、読み出し部が、前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出す。【００２２】
本発明の第１５の態様によれば、情報記録方法は、入力ステップ、音声処理ステップ、記録ステップ、キーワード受付ステップ、検索ステップ、および読み出しステップを有する。前記入力ステップにおいて、ユーザが発した音声に基づく音声情報が入力部に入力される。前記音声処理ステップにおいて、音声処理部が、前記入力部に入力された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも１つの変換候補単語を生成する。前記記録ステップにおいて、記録部が、前記テキスト情報および前記変換候補単語を互いに関連付けて記録媒体に記録する。前記キーワード受付ステップにおいて、キーワード受付部がキーワードを受け付ける。前記検索ステップにおいて、検索部が、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する。前記読み出しステップにおいて、読み出し部が、前記キーワードと一致する前記単語に対応する部分を含む前記テキスト情報を前記記録媒体から読み出す。
【発明の効果】
【００２３】
上記の各態様によれば、情報記録システム、情報記録装置、および情報記録方法は、テキスト情報における単語の検索の漏れを低減することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施形態の情報記録システムの構成を示すブロック図である。
【図２】本発明の第１の実施形態の情報記録システムによる処理の手順を示すフローチャートである。
【図３】本発明の第１の実施形態の顕微鏡システムの概略構成を示す図である。
【図４】本発明の第１の実施形態の情報記録システムにおける検索部による検索の方法を示す参考図である。
【図５】本発明の第１の実施形態の情報記録システムにおける表示部の画面を示す参考図である。
【図６】本発明の第１の実施形態の情報記録システムにおけるイベント発生時刻とイベント期間との関係を示す参考図である。
【図７】本発明の第１の実施形態の第１の変形例の情報記録システムの構成を示すブロック図である。
【図８】本発明の第１の実施形態の第２の変形例の情報記録システムの構成を示すブロック図である。
【図９】本発明の第１の実施形態の第３の変形例の情報記録システムの構成を示すブロック図である。
【図１０】本発明の第１の実施形態の第３の変形例の情報記録システムによる処理の手順を示すフローチャートである。
【図１１】本発明の第１の実施形態の第３の変形例の情報記録システムにおける対象物情報に基づくイベント検出を示す参考図である。
【図１２】本発明の第１の実施形態の第３の変形例の情報記録システムにおける対象物情報に基づくイベント検出を示す参考図である。
【図１３】本発明の第１の実施形態の第３の変形例の情報記録システムにおける音声情報に基づくイベント検出を示す参考図である。
【図１４】本発明の第１の実施形態の第３の変形例の情報記録システムにおける音声情報に基づくイベント検出を示す参考図である。
【図１５】本発明の第１の実施形態の第３の変形例の情報記録システムにおける表示部の画面を示す参考図である。
【図１６】本発明の第２の実施形態の情報記録システムの構成を示すブロック図である。
【図１７】本発明の第２の実施形態の情報記録装置の構成を示すブロック図である。
【図１８】本発明の第２の実施形態の情報記録装置による処理の手順を示すフローチャートである。
【図１９】本発明の第３の実施形態の情報記録システムの構成を示すブロック図である。
【図２０】本発明の第３の実施形態の情報記録システムによる処理の手順を示すフローチャートである。
【図２１】本発明の第３の実施形態の情報記録システムにおける音声処理部による確定単語と変換候補単語の生成、および検索部による検索状況を示す参考図である。
【図２２】本発明の第３の実施形態の情報記録システムにおける表示部によって表示されるテキスト情報を示す参考図である。
【図２３】本発明の第４の実施形態の情報記録システムの構成を示すブロック図である。
【図２４】本発明の第４の実施形態の情報記録装置による処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００２５】
図面を参照し、本発明の実施形態を説明する。
【００２６】
（第１の実施形態）
図１は、本発明の第１の実施形態の情報記録システム１０の構成を示す。図１に示すように、情報記録システム１０は、対象物情報取得部２０、画像取得部３０、音声取得部４０、音声処理部５０、キーワード受付部５５、記録部６０、検索部６５、記録媒体７０、読み出し部８０、表示部９０、および音声出力部１００を有する。
【００２７】
対象物情報取得部２０は、対象物に関する対象物情報を取得する。対象物は、観察の対象となる物体である。観察は、物体の状態を把握する行為である。観察は、診断、診察、および検査などの行為を含んでもよい。観察のために取得される対象物情報は、必ずしも、物体の外部または内部の視覚的な情報すなわち画像情報でなくてもよい。例えば、対象物情報取得部２０は、顕微鏡、内視鏡、熱線映像装置、Ｘ線装置、およびＣＴ（Ｃｏｍｐｕｔｅｄ  Ｔｏｍｏｇｒａｐｈｙ）装置などの画像機器に搭載されたカメラである。これらの画像機器は、対象物の画像情報を取得する。これらの画像機器は、センサから得られた信号に基づいて画像情報を生成するカメラを含んでもよい。これらの画像機器によって取得される画像情報は、動画情報および静止画情報のどちらであってもよい。対象物情報取得部２０は、対象物の温度、加速度、圧力、電圧、および電流などの情報を取得するセンサであってもよい。対象物が生物である場合、対象物情報取得部２０は、対象物のバイタル情報を取得するバイタルセンサであってもよい。例えば、バイタル情報は、体温、血圧、脈拍、心電、および血中酸素飽和度などの情報である。対象物情報取得部２０は、対象物が発した音に基づく音声情報を取得するマイクであってもよい。例えば、音声情報は、打音検査における音、反響音、心音、および騒音などの情報である。対象物情報取得部２０によって取得された対象物情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、対象物情報取得部２０は、対象物情報が取得された時刻を示す時刻情報を対象物情報に付加し、かつ時刻情報が付加された対象物情報を出力する。対象物情報が時系列情報である場合、複数の異なる時刻を特定できる時刻情報が対象物情報に付加される。例えば、対象物情報に関連付けられる時刻情報は、対象物情報の取得が開始された時刻と、サンプリングレートとを含む。
【００２８】
画像取得部３０は、対象物情報がどのような状況で取得されているのかを示す画像情報を取得する。画像取得部３０によって取得される画像情報は、対象物情報が取得されるときの対象物と対象物の周辺との少なくとも１つの状態を示す。つまり、画像取得部３０によって取得される画像情報は、観察状況を示す。画像取得部３０は、カメラを含む画像機器である。画像取得部３０は、対象物情報取得部２０による対象物情報の取得と並行して、画像情報を取得する。画像取得部３０によって取得される画像情報は、動画情報および静止画情報のどちらであってもよい。例えば、画像取得部３０は、対象物と対象物の周辺との少なくとも１つを含む画像情報を取得する。例えば、対象物の周辺は、対象物情報取得部２０が搭載された機器を含む。この場合、対象物と、対象物情報取得部２０が搭載された機器との少なくとも１つを含む画像情報が取得される。対象物の周辺は、対象物を観察する観察者を含んでもよい。この場合、対象物および観察者の少なくとも１つを含む画像情報が取得される。画像取得部３０は、対象物と対象物の周辺との少なくとも１つを撮影範囲に含むように配置される。
【００２９】
画像取得部３０によって取得される画像情報が対象物を含む場合、その画像情報は対象物の一部または全部を含む。画像取得部３０によって取得される画像情報が、対象物情報取得部２０が搭載された機器を含む場合、その画像情報はその機器の一部または全部を含む。画像取得部３０によって取得される画像情報がユーザを含む場合、その画像情報はそのユーザの一部または全部を含む。対象物情報取得部２０が画像機器であり、かつ対象物情報が対象物の画像である場合、画像取得部３０の撮影視野は、対象物情報取得部２０の撮影視野よりも広い。例えば、対象物情報取得部２０は対象物の一部の画像情報を取得し、かつ画像取得部３０は対象物の全体の画像情報を取得する。画像取得部３０は、ユーザすなわち観察者が装着するウェアラブルカメラであってもよい。例えば、ウェアラブルカメラは、観察者の視点に応じた画像情報を取得できるように観察者の目の近傍に装着されるヘッドマウント型のカメラである。したがって、画像取得部３０は、対象物とを観察する観察者の視点の位置または視点の近傍位置に配置されてもよい。画像取得部３０によって取得された画像情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、画像取得部３０は、画像情報が取得された時刻を示す時刻情報を画像情報に付加し、かつ時刻情報が付加された画像情報を出力する。画像情報が時系列情報である場合、複数の異なる時刻を特定できる時刻情報が画像情報に付加される。例えば、画像情報に関連付けられる時刻情報は、画像情報の取得が開始された時刻と、サンプリングレートとを含む。
【００３０】
音声取得部４０は、対象物を観察する観察者が発した音声に基づく音声情報を取得する。例えば、音声取得部４０は、マイクである。音声取得部４０は、観察者が装着するウェアラブルマイクであってもよい。ウェアラブルマイクは、観察者の口の近傍に装着される。音声取得部４０は、観察者の音声のみを取得するために指向性を有するマイクであってもよい。この場合、音声取得部４０は観察者の口の近傍に装着されなくてもよい。これにより、音声取得部４０の配置の自由度が得られる。観察者の音声以外のノイズが排除されるため、テキスト情報の生成および検索における効率が向上する。音声取得部４０は、対象物情報取得部２０による対象物情報の取得と並行して、音声情報を取得する。音声取得部４０によって取得された音声情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、音声取得部４０は、音声情報が取得された時刻を示す時刻情報を音声情報に付加し、かつ時刻情報が付加された音声情報を出力する。音声情報が時系列情報である場合、複数の異なる時刻を特定できる時刻情報が音声情報に付加される。例えば、音声情報に関連付けられる時刻情報は、音声情報の取得が開始された時刻と、サンプリングレートとを含む。
【００３１】
音声処理部５０は、音声取得部４０によって取得された音声情報をテキスト情報に変換し、かつ音声情報からテキスト情報への変換の過程において音声に対応する少なくとも１つの変換候補単語を生成する。例えば、音声処理部５０は、音声処理を行う音声処理回路を含む。音声処理部５０は、音声認識部５００およびテキスト生成部５１０を有する。音声認識部５００は、音声取得部４０によって取得された音声情報に基づいてユーザすなわち観察者の音声を認識する。テキスト生成部５１０は、音声認識部５００によって認識された音声をテキスト情報に変換することにより、ユーザの音声に対応するテキスト情報を生成する。テキスト生成部５１０は、連続する音声を適切なブロックに分け、かつブロックごとにテキスト情報を生成してもよい。例えば、ブロックは、一文または一節を構成する。ブロックは、所定の条件を満たす部分で構成されてもよい。例えば、ブロックは、「あー」という発声部または無音部などで構成されてもよい。ブロックは、後述するイベントに対応していてもよい。また、テキスト生成部５１０は、音声情報からテキスト情報への変換の過程において音声に対応する少なくとも１つの変換候補単語を生成する。例えば、テキスト生成部５１０は、音声認識部５００によって所定の確度以上で認識された候補単語を抽出する。テキスト生成部５１０は、候補単語のうち確度が最も高い単語を確定単語として選択する。テキスト生成部５１０は、確定単語を含むテキスト情報を生成する。また、テキスト生成部５１０は、候補単語のうち確定単語を除く単語を変換候補単語として生成する。変換候補単語の読み方は確定単語の読み方に類似する。生成された変換候補単語は、テキスト情報を構成する確定単語に関連付けられる。音声処理部５０（テキスト生成部５１０）は、テキスト情報および変換候補単語を出力する。音声処理部５０によって生成されたテキスト情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、音声処理部５０（テキスト生成部５１０）は、テキスト情報が生成された時刻を示す時刻情報をテキスト情報に付加し、かつ時刻情報が付加されたテキスト情報を出力する。このとき、音声処理部５０（テキスト生成部５１０）は、時刻情報を確定単語に付加する。あるいは、音声処理部５０（テキスト生成部５１０）は、時刻情報を変換候補単語および確定単語に付加する。つまり、音声処理部５０（テキスト生成部５１０）は、時刻情報を単語ごとにテキスト情報に付加する。時刻情報は、ブロックごと、あるいは後述するイベントごとにテキスト情報に付加されてもよい。テキスト情報が時系列情報である場合、複数の異なる時刻に対応する時刻情報がテキスト情報に付加される。テキスト情報の時刻は、そのテキスト情報に関連付けられた音声情報の開始時刻に対応する。
【００３２】
対象物情報取得部２０によって取得された対象物情報、画像取得部３０によって取得された画像情報、音声取得部４０によって取得された音声情報、音声処理部５０によって生成されたテキスト情報、および音声処理部５０によって生成された変換候補単語は、記録部６０に入力される。記録部６０は、対象物情報、画像情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する。このとき、記録部６０は、対象物情報、画像情報、音声情報、テキスト情報、および変換候補単語を、時刻情報に基づいて互いに関連付ける。例えば、記録部６０は、情報の記録処理を行う記録処理回路を含む。対象物情報、画像情報、音声情報、テキスト情報、および変換候補単語の少なくとも１つは圧縮されてもよい。したがって、記録部６０は、情報を圧縮するための圧縮処理回路を含んでもよい。記録部６０は、記録処理および圧縮処理のためのバッファを含んでもよい。時刻情報は、対象物情報、画像情報、および音声情報の各々が取得された時刻を示す。テキスト情報と関連付けられる時刻情報は、そのテキスト情報の元になった音声情報が取得された時刻を示す。例えば、対象物情報、画像情報、音声情報、およびテキスト情報の各々に対して時刻情報が付加される。対象物情報、画像情報、音声情報、およびテキスト情報は、時刻情報を介して互いに関連付けられる。テキスト情報を構成する確定単語および変換候補単語は、互いに関連付けられる。時刻情報が変換候補単語に付加されてもよい。この場合、対象物情報、画像情報、音声情報、テキスト情報、および変換候補単語は、時刻情報を介して互いに関連付けられる。
【００３３】
対象物情報、画像情報、音声情報、テキスト情報、および変換候補単語は、共通の対象物に関する情報として互いに関連付けられる。対象物情報、画像情報、音声情報、テキスト情報、および変換候補単語は、互いに関連する複数の対象物に関する情報として互いに関連付けられてもよい。例えば、対象物情報、画像情報、音声情報、テキスト情報、および変換候補単語の各々が１つのファイルで構成され、かつ記録部６０は各ファイルを記録媒体７０に記録する。この場合、対象物情報、画像情報、音声情報、テキスト情報、および変換候補単語の各ファイルを関連付ける情報が記録媒体７０に記録される。
【００３４】
記録媒体７０は、不揮発性の記憶装置である。例えば、記録媒体７０は、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、およびハードディスクドライブの少なくとも１つである。記録媒体７０は、観察現場に配置されなくてもよい。例えば、情報記録システム１０がネットワークインターフェースを有し、かつ情報記録システム１０が、インターネットまたはＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などのネットワークを介して記録媒体７０と接続してもよい。情報記録システム１０が無線通信インターフェースを有し、かつ情報記録システム１０がＷｉ−Ｆｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）などの規格に従った無線通信により記録媒体７０と接続してもよい。したがって、情報記録システム１０が記録媒体７０を直接的に含んでいなくてもよい。
【００３５】
キーワード受付部５５は、キーワードを受け付ける。例えば、キーワード受付部５５は、操作部として構成されている。例えば、操作部は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つを含んで構成される。キーワード受付部５５は、操作部と無線通信を行う通信部として構成されてもよい。ユーザは、キーワード受付部５５を介して検索のためのキーワードを入力する。キーワードは、１つまたは複数の単語で構成されている。
【００３６】
検索部６５は、キーワード受付部５５によって受け付けられたキーワードをテキスト情報および変換候補単語において検索し、かつテキスト情報中の単語（確定単語）および変換候補単語のうちキーワードと一致する単語を抽出する。例えば、検索部６５は、情報処理を行う情報処理回路を含む。例えば、記録媒体７０に記録されたテキスト情報および変換候補単語が読み出し部８０によって読み出される。検索部６５は、読み出し部８０によって読み出されたテキスト情報および変換候補単語においてキーワードを検索する。検索の結果、確定単語および変換候補単語のいずれか１つがキーワードと一致しうる。あるいは、確定単語および変換候補単語のいずれもキーワードと一致しない。また、記録媒体７０に記録された時刻情報が読み出し部８０によって読み出される。確定単語がキーワードと一致した場合、検索部６５は、その確定単語に関連付けられた時刻情報を特定する。これにより、検索部６５は、キーワードに対応する音声が発せられた時刻である発声時刻を特定する。変換候補単語がキーワードと一致した場合、検索部６５は、変換候補単語もしくはそれに対応する確定単語に関連付けられた時刻情報を特定する。ブロックごとに時刻情報がテキスト情報に関連付けられている場合、検索部６５は、そのブロックに関連付けられた時刻情報を特定する。後述するイベントごとに時刻情報がテキスト情報に関連付けられている場合、検索部６５は、そのイベントに関連付けられた時刻情報を特定する。記録部６０は、検索部６５によって特定された発声時刻を記録媒体７０に記録してもよい。
【００３７】
読み出し部８０は、対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体７０から読み出す。これによって、読み出し部８０は、記録媒体７０に記録された対象物情報、画像情報、音声情報、およびテキスト情報を再生する。例えば、読み出し部８０は、情報の読み出し処理を行う読み出し処理回路を含む。記録媒体７０に記録された対象物情報、画像情報、音声情報、およびテキスト情報の少なくとも１つは圧縮されてもよい。したがって、読み出し部８０は、圧縮された情報を伸張するための伸張処理回路を含んでもよい。読み出し部８０は、読み出し処理および伸張処理のためのバッファを含んでもよい。読み出し部８０は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体７０から読み出す。例えば、読み出し部８０は、検索部６５によって特定された発声時刻に対応する同一の時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を読み出す。各情報に関連付けられた時刻情報が互いに同期していない場合、読み出し部８０は、基準時刻に対する各時刻情報の差を考慮して各情報を読み出してもよい。
【００３８】
表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。表示部９０は、液晶ディスプレイなどの表示機器である。例えば、表示部９０は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）のモニタである。表示部９０は、ユーザが装着するスマートグラスなどのウェアラブルディスプレイであってもよい。表示部９０は、対象物情報取得部２０が搭載された機器の表示部であってもよい。表示部９０は、情報共有用の大型モニタであってもよい。表示部９０は、タッチパネルディスプレイであってもよい。例えば、表示部９０は、対象物情報、画像情報、およびテキスト情報を同時に表示する。このとき、表示部９０は、対象物情報、画像情報、およびテキスト情報を、各情報が並べられた状態で表示する。同一のブロックもしくは後述するイベントなどに対応し、かつ互いに関連付けられた一連の対象物情報、画像情報、およびテキスト情報のうち選択された情報が表示部９０に並べて表示されてもよい。また、表示部９０に表示される情報をユーザが切り替えることができてもよい。例えば、センサまたはバイタルセンサによって取得された対象物情報は時系列のセンサ信号で構成される。例えば、表示部９０は、センサ信号の波形をグラフで表示する。
【００３９】
表示部９０は、読み出し部８０によって読み出された音声情報を文字情報または図表として視覚的に表示してもよい。この場合、表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、音声情報、およびテキスト情報を互いに関連付けて表示する。例えば、音声情報は時系列の音声信号で構成される。例えば、表示部９０は、音声信号の振幅またはパワーの時間変化をグラフで表示する。
【００４０】
音声出力部１００は、読み出し部８０によって読み出された音声情報に基づく音声を出力する。例えば、音声出力部１００は、スピーカである。
【００４１】
対象物情報取得部２０によって取得された対象物情報が画像情報である場合、その対象物情報は、表示部９０に出力されてもよい。表示部９０は、対象物情報取得部２０による対象物情報の取得と並行して、対象物情報を表示してもよい。画像取得部３０によって取得された画像情報は、表示部９０に出力されてもよい。表示部９０は、対象物情報取得部２０による対象物情報の取得と並行して、画像取得部３０によって取得された画像情報を表示してもよい。これによって、ユーザは、対象物の状態および観察状況をリアルタイムに把握することができる。
【００４２】
音声処理部５０、記録部６０、検索部６５、および読み出し部８０は、１つまたは複数のプロセッサで構成されてもよい。例えば、プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）の少なくとも１つである。音声処理部５０、記録部６０、検索部６５、および読み出し部８０は、特定用途向け集積回路（ＡＳＩＣ）またはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）で構成されてもよい。
【００４３】
情報記録システム１０において、画像情報の取得および記録は必須ではない。したがって、情報記録システム１０は、画像取得部３０を有していなくてもよい。この場合、記録部６０は、対象物情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する。時刻情報は、対象物情報および音声情報の各々が取得された時刻を示し、かつテキスト情報の元になった音声情報が取得された時刻を示す。読み出し部８０は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、音声情報、およびテキスト情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された対象物情報およびテキスト情報を互いに関連付けて表示する。音声出力部１００は、読み出し部８０によって読み出された音声情報に基づく音声を出力する。
【００４４】
情報記録システム１０は音声出力部１００を有さず、かつ記録部６０は音声情報を記録しなくてもよい。この場合、記録部６０は、対象物情報、画像情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する。時刻情報は、対象物情報および画像情報の各々が取得された時刻を示し、かつテキスト情報の元になった音声情報が取得された時刻を示す。読み出し部８０は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。
【００４５】
図２は、情報記録システム１０による処理の手順を示す。図２を参照し、情報記録システム１０による処理の手順を説明する。
【００４６】
対象物情報取得部２０は、対象物に関する対象物情報を取得する（ステップＳ１００（対象物情報取得ステップ））。ステップＳ１００において取得された対象物情報は、記録部６０内のバッファに蓄積される。対象物情報取得部２０による対象物情報の取得と並行して、画像取得部３０は、対象物情報がどのような状況で取得されているのかを示す画像情報を取得する（ステップＳ１０５（画像取得ステップ））。ステップＳ１０５において取得された画像情報は、記録部６０内のバッファに蓄積される。対象物情報取得部２０による対象物情報の取得と並行して、ステップＳ１１０における処理が行われる。ステップＳ１１０は、ステップＳ１１１（音声取得ステップ）およびステップＳ１１２（音声処理ステップ）を含む。ステップＳ１１１において音声取得部４０は、対象物を観察する観察者が発した音声に基づく音声情報を取得する。ステップＳ１１２において音声処理部５０は、音声取得部４０によって取得された音声情報をテキスト情報に変換し、かつ音声情報からテキスト情報への変換の過程において音声に対応する少なくとも１つの変換候補単語を生成する。ステップＳ１１０において、ステップＳ１１１およびステップＳ１１２における処理が繰り返される。ステップＳ１１１において取得された音声情報と、ステップＳ１１２において生成されたテキスト情報と、ステップＳ１１２において生成された変換候補単語とは、記録部６０内のバッファに蓄積される。また、各情報が生成された時刻に対応する時刻情報が記録部６０内のバッファに蓄積される。
【００４７】
ステップＳ１００、ステップＳ１０５、およびステップＳ１１０の各々における処理の開始タイミングは同一でなくてもよい。ステップＳ１００、ステップＳ１０５、およびステップＳ１１０の各々における処理の終了タイミングは同一でなくてもよい。ステップＳ１００、ステップＳ１０５、およびステップＳ１１０の各々における処理が行われる期間の少なくとも一部が互いに重なる。
【００４８】
対象物情報、画像情報、および音声情報の取得が終了した後、記録部６０は、記録部６０内のバッファに蓄積された対象物情報、画像情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する（ステップＳ１１５（記録ステップ））。
【００４９】
ステップＳ１１５の後、キーワード受付部５５は、キーワードを受け付ける（ステップＳ１２０（キーワード受付ステップ））。
【００５０】
ステップＳ１２０の後、検索部６５は、キーワード受付部５５によって受け付けられたキーワードをテキスト情報および変換候補単語において検索し、かつテキスト情報中の単語および変換候補単語のうちキーワードと一致する単語を抽出する（ステップＳ１２５（検索ステップ））。
【００５１】
ステップＳ１２５の後、読み出し部８０は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体７０から読み出す（ステップＳ１３０（読み出しステップ））。ユーザが各情報の読み出しのタイミングを指定できてもよい。
【００５２】
ステップＳ１３０の後、表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。また、音声出力部１００は、読み出し部８０によって読み出された音声情報に基づく音声を出力する（ステップＳ１３５（表示ステップおよび音声出力ステップ））。
【００５３】
情報記録システム１０が画像取得部３０を有していない場合、ステップＳ１０５における処理は行われない。また、ステップＳ１１５において記録部６０は、対象物情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する。ステップＳ１３０において読み出し部８０は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、音声情報、およびテキスト情報を記録媒体７０から読み出す。ステップＳ１３５において表示部９０は、ステップＳ１３０において読み出し部８０によって読み出された対象物情報およびテキスト情報を互いに関連付けて表示する。また、ステップＳ１３５において音声出力部１００は、ステップＳ１３０において読み出し部８０によって読み出された音声情報に基づく音声を出力する。
【００５４】
情報記録システム１０が音声出力部１００を有さず、かつ記録部６０が音声情報を記録しない場合、ステップＳ１１５において記録部６０は、対象物情報、画像情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する。ステップＳ１３０において読み出し部８０は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体７０から読み出す。ステップＳ１３５において表示部９０は、ステップＳ１３０において読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。
【００５５】
従来の観察現場では、ユーザが観察現場の状況を手書きで記録している。一方、現場ではユーザはさまざまな環境および状況で作業をしているため、現場での記録が困難であるケースがある。安全上もしくは衛生上の理由などによりユーザが手を使えないケースもある。これらのようなケースでは、ユーザが観察後にあいまいな記憶を頼りに現場状況を記録することにより、記録漏れまたは誤記録を招く可能性があった。
【００５６】
上記のように、対象物情報が対象物情報取得部２０によって取得され、かつ対象物情報がどのような状況で取得されているのかを示す画像情報が画像取得部３０によって取得される。取得された対象物情報および画像情報は、記録部６０によって記録媒体７０に記録される。これによって、情報記録システム１０は、対象物情報がどのような状況で取得されているのかを示す視覚的な情報を記録することができる。
【００５７】
上記の方法では、対象物情報がどのような状況で取得されているのかを示す情報の記録にかかるユーザの負担は小さい。また、ユーザが手を使えないケースであっても必要な情報を記録することができ、記録漏れまたは誤記録が減る。したがって、情報記録システム１０は、対象物情報がどのような状況で取得されているのかを示す記録を正確かつ効率的に残すことができる。
【００５８】
上記の方法では、対象物情報が取得されたときのユーザコメントが音声として記録され、かつその音声に対応するテキストが対象物情報および画像情報と関連付けられて記録される。対象物情報、画像情報、および音声情報に対して、テキストによる“タグ”が付与されることにより、各情報が取得されたときの状況の理解を容易にすることができる。
【００５９】
上記の方法では、音声情報からテキスト情報への変換の過程において生成された変換候補単語が記録部６０によって記録媒体７０に記録される。検索部６５は、キーワード受付部５５によって受け付けられたキーワードをテキスト情報および変換候補単語において検索し、かつテキスト情報中の単語および変換候補単語のうちキーワードと一致する単語を抽出する。音声認識処理において誤認識された単語が検索によりテキスト情報から抽出できない場合でも、検索部６５は、その誤認識された単語に対応する変換候補単語を抽出することができる。したがって、情報記録システム１０は、テキスト情報における単語の検索の漏れ（見逃し）を低減することができる。その結果、情報記録システム１０は、キーワード受付部５５によって受け付けられたキーワードに対応する対象物情報、画像情報、音声情報、およびテキスト情報をユーザに提供することができる。
【００６０】
以下では、情報記録システム１０の具体的な例を説明する。図３は、情報記録システム１０の例である顕微鏡システム１１の概略構成を示す。図３に示すように、顕微鏡システム１１は、顕微鏡２００、カメラ３１ａ、カメラ３１ｂ、カメラ３１ｃ、マイク４１、サーバ２０１、およびＰＣ２０２を有する。
【００６１】
顕微鏡２００は、対象物ＯＢ１を拡大して観察するための機器である。顕微鏡２００に接続されたカメラ２１が対象物情報取得部２０を構成する。このカメラ２１は、顕微鏡２００により拡大された対象物ＯＢ１の画像情報を対象物情報として取得する。例えば、このカメラ２１は、動画情報を取得する。
【００６２】
カメラ３１ａ、カメラ３１ｂ、およびカメラ３１ｃは、画像取得部３０を構成する。カメラ３１ａ、カメラ３１ｂ、およびカメラ３１ｃの各々の撮影視野は、顕微鏡２００に接続されたカメラの撮影視野よりも広い。例えば、カメラ３１ａ、カメラ３１ｂ、およびカメラ３１ｃは、動画情報を取得する。
【００６３】
カメラ３１ａは、顕微鏡２００の対物レンズ先端の近傍に配置されている。カメラ３１ａは、顕微鏡２００の対物レンズ先端の近傍を撮影することにより、対象物ＯＢ１および顕微鏡２００の対物レンズ先端を含む画像情報を取得する。これにより、対象物ＯＢ１および顕微鏡２００の対物レンズ先端の位置関係が画像情報として記録される。観察者であるユーザは、対象物ＯＢ１および顕微鏡２００の対物レンズ先端に接近してそれらの状態を確認する必要はない。ユーザは、カメラ３１ａによって取得された画像情報を閲覧することにより、対象物ＯＢ１のどの部分が観察されているのか、および顕微鏡２００の対物レンズ先端が対象物ＯＢ１にどれ位接近しているのかなどの状況を容易に把握することができる。
【００６４】
カメラ３１ｂは、観察が行われる室内に配置されている。カメラ３１ｂは、対象物ＯＢ１と顕微鏡２００との全体を撮影することにより、対象物ＯＢ１と顕微鏡２００との全体を含む画像情報を取得する。これにより、観察現場の全体の状況が画像情報として記録される。ユーザは、カメラ３１ｂによって取得された画像情報を閲覧することにより、ユーザが注目している部分とは異なる部分で発生する事象などの状況を容易に把握することができる。対象物ＯＢ１が生物である場合、対象物ＯＢ１の状態が、観察により得られる対象物情報に影響を与える可能性がある。例えば、対象物ＯＢ１の死および生に関する状態が対象物情報から判別しにくい場合であっても、ユーザは、カメラ３１ｂによって取得された画像情報を閲覧することにより、対象物ＯＢ１の状態を容易に把握することができる。カメラ３１ｂは、ユーザを含む画像情報を取得してもよい。
【００６５】
カメラ３１ｃは、ウェアラブルカメラとして構成されている。カメラ３１ｃは、ユーザが頭部に装着できるアクセサリ２０３に装着されることにより、ウェアラブルカメラとして構成されている。ユーザがアクセサリ２０３を装着しているとき、カメラ３１ｃは、ユーザの視点の近傍位置に配置される。カメラ３１ｃは、対象物ＯＢ１および顕微鏡２００を撮影することにより、対象物ＯＢ１および顕微鏡２００を含む画像情報を取得する。あるいは、カメラ３１ｃは、顕微鏡２００を撮影することにより、対象物ＯＢ１を含まず、かつ顕微鏡２００を含む画像情報を取得する。これにより、観察においてユーザが注目している部分に応じた観察状況が画像情報として記録される。これにより、顕微鏡システム１１は、対象物ＯＢ１が顕微鏡ステージにセットアップされるまでの状況、顕微鏡２００の調整手順、および顕微鏡２００の調整状態などの観察の様子を記録することができる。ユーザおよび他の人などは、それを閲覧することにより、リアルタイムに、もしくは観察の終了後に観察時の状況を容易に把握することができる。
【００６６】
マイク４１は、音声取得部４０を構成する。マイク４１は、アクセサリ２０３に装着されることにより、ウェアラブルマイクとして構成されている。
【００６７】
サーバ２０１は、音声処理部５０、キーワード受付部５５、記録部６０、検索部６５、記録媒体７０、および読み出し部８０を有する。カメラ２１によって取得された対象物情報と、カメラ３１ａ、カメラ３１ｂ、およびカメラ３１ｃによって取得された画像情報と、マイク４１によって取得された音声情報とがサーバ２０１に入力される。
【００６８】
ＰＣ２０２は、サーバ２０１に接続されている。ＰＣ２０２の画面９１は、表示部９０を構成する。スマートグラスが表示部９０を構成してもよい。スマートグラスは、対象物情報の取得と並行して、対象物情報である画像情報と、カメラ３１ａ、カメラ３１ｂ、およびカメラ３１ｃの各々によって取得された画像情報とを表示してもよい。ユーザは、スマートグラスを装着することにより、対象物ＯＢ１の状態および観察状況をリアルタイムに把握することができる。
【００６９】
情報記録システム１０は、多光子励起顕微鏡（Ｍｕｌｔｉｐｈｏｔｏｎ  ｅｘｃｉｔａｔｉｏｎ  ｆｌｕｏｒｅｓｃｅｎｃｅ  ｍｉｃｒｏｓｃｏｐｅ）を使用する顕微鏡システムに適用されてもよい。多光子励起顕微鏡は、暗室内で使用される。多光子励起顕微鏡に接続されたカメラが対象物情報取得部２０を構成する。例えば、カメラ３１ａ、カメラ３１ｂ、およびカメラ３１ｃが赤外線カメラとして画像取得部３０を構成する。赤外線カメラは、対象物と多光子励起顕微鏡との全体を撮影することにより、対象物と多光子励起顕微鏡との全体を含む画像情報を取得する。例えば、観察者であるユーザは、音声取得部４０を構成するウェアラブルマイクを装着する。ＰＣなどの機器は、音声処理部５０、キーワード受付部５５、記録部６０、検索部６５、記録媒体７０、および読み出し部８０を有する。多光子励起顕微鏡に接続されたカメラによって取得された対象物情報と、赤外線カメラによって取得された画像情報と、ウェアラブルマイクによって取得された音声情報とが機器に入力される。機器の画面は、表示部９０を構成する。
【００７０】
暗い環境では、ユーザが顕微鏡の状態および実験の状況を把握すること、および把握された状態および状況をユーザが手で紙に書くことが困難である。情報記録システム１０が適用されたシステムでは、ユーザは、顕微鏡の状態および実験の状況を知るために、実験を中断して照明をつける必要はない。また、ユーザは、そのために顕微鏡を一旦停止させる必要および暗室内を覗く必要はない。また、ユーザは、顕微鏡の状態および実験の状況を手で紙に書く必要はない。
【００７１】
情報記録システム１０は、内視鏡システムに適用されてもよい。内視鏡は、人物すなわち患者の体内を観察するための機器である。ユーザすなわち医師は、内視鏡による検査と同時にコメントを発する。ユーザが発したコメントは、正確な検査記録の作成に使用することができる。この検査記録は、所見、学会発表用の資料、および経験が少ない医師向けの教育用コンテンツの作成などの目的で使用される。
【００７２】
情報記録システム１０は、救命救急現場における診察システムに適用されてもよい。診察システムにおいて、バイタルセンサが診察を受ける人物すなわち患者に装着される。バイタルセンサは、患者の体温、血圧、および脈拍などの生体情報を対象物情報として取得する。ユーザすなわち医師は、バイタルセンサによる対象情報の取得と同時にコメントを発する。ユーザが発したコメントは、患者に対する現場での所見を他の医師などの人物に正確かつ効率よく伝達するために使用することができる。
【００７３】
情報記録システム１０は、検査システムに適用されてもよい。検査システムにおいて、プローブは、航空機の機体などの工業製品の表面の欠陥に応じた電流などの信号を対象物情報として取得する。ユーザは、プローブによる対象物情報の取得と同時にコメントを発する。ユーザが発したコメントは、検査に関する作業報告書の作成に使用することができる。情報記録システム１０は、工業用内視鏡を使用する検査システムに適用されてもよい。工業用内視鏡は、ボイラ、タービン、エンジン、および化学プラントなどの中空物体の内部における傷および腐食などの対象物の画像情報を取得する。
【００７４】
情報記録システム１０は、作業記録システムに適用されてもよい。作業記録システムにおいて、カメラは、回路基板などの対象物の画像情報を対象物情報として取得する。ユーザは、カメラによる対象情報の取得と同時にコメントを発する。ユーザが発したコメントは、正確な作業記録の作成に使用することができる。この作業記録は、対象物に対する作業に関する作業報告書および経験が少ない作業者向けの教育用コンテンツの作成などの目的で使用される。また、ユーザは、作業記録を作業履歴として保管することにより、問題が発生したときなどに、作業履歴に基づいて作業を容易にトレースすることができる。
【００７５】
以下では、検索部６５による検索の方法を説明する。図４は、検索部６５による検索の方法を示す。図４に示す例では、「実験条件」というキーワードが指定されている。「実験条件」は、日本語で「ｊｉｋｋｅｎ  ｊｙｏｕｋｅｎ」と発せられる。図４に示す例では、音声認識処理において「実験条件」は正しく認識されず、「十件要件」と認識されている。「十件要件」は、日本語で「ｊｙｕｋｋｅｎ  ｙｏｕｋｅｎ」と発せられる。「十件要件」がテキスト情報に含まれている。キーワードである「実験条件」はテキスト情報に含まれていない。このため、従来技術により「実験条件」で検索が行われた場合、これを誤認識した「十件要件」を含む部分はテキスト情報から抽出されない。すなわち検索漏れが生じる。
【００７６】
キーワードである「実験条件」は、「実験」および「条件」という２つの単語に分割される。「実験」は、日本語で「ｊｉｋｋｅｎ」と発せられる。「条件」は、日本語で「ｊｙｏｕｋｅｎ」と発せられる。音声認識処理の後の確定単語であるテキスト情報中の「十件」という単語に対して、「実験」、「事件」、および「受験」という３つの変換候補単語が関連付けられている。これらはいずれも、発音が似通っており、かつ誤認識しやすい単語の例である。「事件」は、日本語で「ｊｉｋｅｎ」と発せられる。「受験」は、日本語で「ｊｙｕｋｅｎ」と発せられる。キーワードに含まれる「実験」と、変換候補単語における「実験」とが一致する。同様に、テキスト情報中の「要件」という単語に対して、発音が似ている「証券」、「条件」、および「実験」という３つの変換候補単語が関連付けられている。「証券」は、日本語で「ｓｙｏｕｋｅｎ」と発せられる。キーワードに含まれる「条件」と、変換候補単語における「条件」とが一致する。キーワードである「実験条件」は、テキスト情報中の単語と一致しない。しかし、キーワードを構成する２つの単語は、変換候補単語と一致する。このため、検索部６５は、変換候補単語に関連付けられた「十件要件」を該当部分としてテキスト情報から抽出する。
【００７７】
上記の例では、日本語による検索方法を説明した。上記の方法は、日本語以外の言語における検索に対しても適用できる。
【００７８】
以下では、表示部９０による各情報の表示の具体例を説明する。図５は、表示部９０の画面９２を示す。
【００７９】
キーワード入力欄３００が画面９２に表示される。例えば、ユーザは、操作部を操作することにより、キーワードをキーワード入力欄３００に入力することができる。キーワードがキーワード入力欄３００に入力された場合、キーワード受付部５５は、キーワード入力欄３００に入力されたキーワードを受け付ける。図５に示す例では、「実験条件」がキーワードとしてキーワード入力欄３００に入力されている。
【００８０】
検索部６５は、キーワード受付部５５によって受け付けられたキーワードに基づいて検索を行う。検索部６５は、テキスト情報中の単語（確定単語）および変換候補単語のうちキーワードと一致する単語を抽出する。検索部６５は、キーワードと一致する単語に対応する時刻情報を特定することにより、発声時刻を特定する。読み出し部８０は、発声時刻に対応する同一の時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を読み出す。表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を関連付けて表示する。同一の対象物に関連付けられた対象物情報、画像情報、およびテキスト情報が画面９２に表示される。この例では、図３に示す顕微鏡システム１１による観察における各情報が表示される。
【００８１】
図５において、対象物情報、画像情報、およびテキスト情報の２つの組が表示されている。テキスト情報は、一文および一節などの適切なブロックごとに表示される。ここではこのブロックに関連付けられる時刻情報に基づいて、対応する対象物情報、画像情報、およびテキスト情報が同一の組として表示されている。同一の組に対応する対象物情報、画像情報、およびテキスト情報は、横方向に並べられる。各組の対象物情報、画像情報、およびテキスト情報は、縦方向の同一の位置に並べられる。第１の組に対応する対象物情報、画像情報、およびテキスト情報は、画面９２の領域３０１に表示される。第２の組に対応する対象物情報、画像情報、およびテキスト情報は、画面９２の領域３０２に表示される。
【００８２】
対象物情報は、顕微鏡２００に接続されたカメラによって生成された画像である。対象物情報は、画面９２の領域３０３に表示される。画像情報は、画面９２の領域３０４、領域３０５、および領域３０６に表示される。顕微鏡の対物レンズ先端の近傍を撮影するカメラ３１ａによって生成された画像情報は領域３０４に表示される。対象物ＯＢ１と顕微鏡２００との全体を撮影するカメラ３１ｂによって生成された画像情報は領域３０５に表示される。ユーザに装着されたカメラ３１ｃによって生成された画像情報は領域３０６に表示される。テキスト情報は、画面９２の領域３０７に表示される。第１の組に対応するテキスト情報は、キーワードである「実験条件」を誤認識した「十件要件」を含む。第２の組に対応するテキスト情報は、キーワードである「実験条件」を正しく認識したテキストを含む。
【００８３】
記録媒体７０に記録された対象物情報が時系列に複数に分割されている場合、読み出し部８０は、発声時刻に対応するイベント期間内の時刻情報に関連付けられた対象物情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された対象物情報を表示する。例えば、対象物情報は対象物の画像情報であり、かつ対象物の画像情報は動画情報である。動画情報は、互いに異なる時刻に生成された複数フレームの画像情報を含む。この場合、読み出し部８０は、イベント期間に生成された複数フレームの対象物の画像情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された複数フレームの対象物の画像情報を順次表示する。例えば、ユーザがアイコン４０１を操作した場合、表示部９０は、イベント期間における対象物の動画を表示する。イベント期間については、後述する。
【００８４】
記録媒体７０に記録された対象物情報が時系列に複数に分割されている場合、読み出し部８０は、発声時刻に対応する時刻情報に関連付けられた代表的な対象物情報を記録媒体７０から読み出してもよい。表示部９０は、読み出し部８０によって読み出された代表的な対象物情報を表示してもよい。例えば、対象物情報は対象物の画像情報であり、かつ対象物の画像情報は動画情報である。この場合、読み出し部８０は、発声時刻に最も近い時刻に生成された１フレームの対象物の画像情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された１フレームの対象物の画像情報を表示する。発声時刻に最も近い時刻に生成された１フレームのサムネールが表示されてもよい。
【００８５】
記録媒体７０に記録された画像情報が時系列に複数に分割されている場合、読み出し部８０は、発声時刻に対応するイベント期間内の時刻情報に関連付けられた画像情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された画像情報を表示する。例えば、画像取得部３０によって取得された画像情報は動画情報である。この場合、読み出し部８０は、イベント期間に生成された複数フレームの画像情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された複数フレームの画像情報を順次表示する。例えば、ユーザがアイコン４０２、アイコン４０３、およびアイコン４０４のいずれか１つを操作した場合、表示部９０は、イベント期間における観察状況を示す動画を表示する。
【００８６】
記録媒体７０に記録された画像情報が時系列に複数に分割されている場合、読み出し部８０は、発声時刻に対応する時刻情報に関連付けられた代表的な画像情報を記録媒体７０から読み出してもよい。表示部９０は、読み出し部８０によって読み出された代表的な画像情報を表示してもよい。例えば、画像取得部３０によって取得された画像情報は動画情報である。読み出し部８０は、発声時刻に最も近い時刻に生成された１フレームの画像情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された１フレームの画像情報を表示する。発声時刻に最も近い時刻に生成された１フレームのサムネールが表示されてもよい。
【００８７】
読み出し部８０は、発声時刻に対応する時刻情報に関連付けられた音声情報を記録媒体７０から読み出す。音声出力部１００は、読み出し部８０によって読み出された音声情報に基づく音声を出力する。例えば、読み出し部８０は、発声時刻に対応するイベント期間内の時刻情報に関連付けられた音声情報を記録媒体７０から読み出す。例えば、ユーザがアイコン４０５を操作した場合、音声出力部１００は、イベント期間における音声を出力する。
【００８８】
表示部９０は、キーワードと一致するテキスト情報中の単語を他の単語と区別して表示し、かつキーワードと一致する変換候補単語に関連付けられたテキスト情報中の単語を他の単語と区別して表示してもよい。つまり、表示部９０は、キーワードと一致するテキスト情報中の単語を第１の表示形態で表示し、キーワードと一致する変換候補単語に関連付けられたテキスト情報中の単語を第２の表示形態で表示し、かつ他の単語を第１および第２の表示形態と異なる第３の表示形態で表示してもよい。第１の表示形態と第２の表示形態とは、同じでもよい。例えば、表示部９０は、キーワードと一致するテキスト情報中の単語、およびキーワードと一致する変換候補単語に関連付けられたテキスト情報中の単語をそれぞれ他の単語よりも強調して表示する。例えば、表示部９０は、上記の単語を他の単語とは異なる色で表示する。表示部９０は、上記の単語を他の単語よりも太い文字で表示してもよい。表示部９０は、上記の単語を他の単語よりも大きい文字で表示してもよい。特定の単語を他の単語と区別する方法は、上記の方法に限らない。テキスト情報においてキーワードに対応する単語が他の単語と区別されて表示されることにより、ユーザは検索結果を容易に確認することができる。
【００８９】
同一の組に対応する対象物情報、画像情報、およびテキスト情報は、縦方向に並べられてもよい。この場合、各組の対象物情報、画像情報、およびテキスト情報は、横方向の同一の位置に並べられる。
【００９０】
以下では、イベント期間について説明する。読み出し部８０は、発声時刻に対応するイベント期間に含まれる時刻に対応する時刻情報に関連付けられた対象物情報および画像情報を記録媒体７０から読み出す。また、読み出し部８０は、発声時刻に対応するイベント期間に含まれる時刻に対応する時刻情報に関連付けられた音声情報およびテキスト情報を記録媒体７０から読み出す。
【００９１】
図６は、イベント発生時刻とイベント期間との関係を示す。イベント発生時刻Ｔ２０は、イベント開始時刻ｔａからイベント終了時刻ｔｂまでの時刻である。このイベントは、イベント開始時刻ｔａからイベント終了時刻ｔｂまで継続的に発生している。
【００９２】
イベント期間Ｔ２１は、イベント発生時刻Ｔ２０と同一である。イベント期間Ｔ２２、イベント期間Ｔ２３、およびイベント期間Ｔ２４は、イベント発生時刻Ｔ２０よりも前の時刻を含む。イベント期間Ｔ２２の終点はイベント終了時刻ｔｂである。イベント期間Ｔ２４の終点はイベント開始時刻ｔａである。イベント期間Ｔ２５、イベント期間Ｔ２６、およびイベント期間Ｔ２７は、イベント発生時刻Ｔ２０よりも後の時刻を含む。イベント期間Ｔ２５の始点はイベント開始時刻ｔａである。イベント期間Ｔ２７の始点はイベント終了時刻ｔｂである。イベント期間Ｔ２８は、イベント発生時刻の一部のみを含む。イベント期間Ｔ２８は、イベント開始時刻ｔａよりも後の時刻かつイベント終了時刻ｔｂよりも前の時刻のみを含む。
【００９３】
上記の説明において、イベント発生時刻よりも前の時刻およびイベント発生時刻よりも後の時刻の少なくとも１つは、予め設定された所定時刻であってもよい。あるいは、これらの少なくとも１つは、イベント期間に対応するイベント発生時刻を基準に、相対的に設定される時刻であってもよい。また、これらの少なくとも１つは、イベント期間に対応するイベントの前または後のイベントの発生時刻を基準に設定されてもよい。イベントは、ある程度の時間連続して検出され続けてもよい。あるいは、イベントは、短時間にトリガ的に検出されてもよい。この場合、イベント発生時刻は、イベント終了時刻とほぼ等しい。例えば、イベント期間は、音声信号の振幅が閾値を超えるイベントが検出される５秒前のタイミングから、対象物の画像において対象物の増加が停止するイベントが検出されるタイミングまでの期間であってもよい。
【００９４】
イベント期間は、第１の時刻から第２の時刻までの期間よりも短い。第１の時刻は、対象物情報が関連付けられた時刻情報が示す最も早い時刻である。第２の時刻は、対象物情報が関連付けられた時刻情報が示す最も遅い時刻である。イベント検出部７５によって１つのイベントのみが検出された場合、イベント期間は第１の時刻から第２の時刻までの期間と同一であってもよい。画像情報、音声情報、およびテキスト情報の各々に関するイベント期間は、対象物情報に関するイベント期間と同様である。
【００９５】
発声時刻は、ユーザが注目するタイミングである。上記のように、発声時刻の前または後の所定期間に対応する情報が記録媒体７０から読み出される。このため、ユーザは、ユーザが注目するタイミングで発生したイベントに関する情報を効率的に閲覧することができる。
【００９６】
（第１の実施形態の第１の変形例）
図７は、本発明の第１の実施形態の第１の変形例の情報記録システム１０ａの構成を示す。図７に示す構成について、図１に示す構成と異なる点を説明する。
【００９７】
情報記録システム１０ａは、図１に示す情報記録システム１０の構成に加えて状況情報取得部１１０を有する。状況情報取得部１１０は、対象物情報がどのような状況で取得されているのかを示し、かつ対象物の画像情報を除く情報である状況情報を取得する。例えば、状況情報は、時刻、場所、および対象物の周辺環境の少なくとも１つに関する情報である。例えば、対象物の周辺環境は、温度、湿度、気圧、および照度などの条件を示す。状況情報が時刻情報である場合、状況情報取得部１１０は、時刻情報を生成する機器から時刻情報を取得する。例えば、状況情報取得部１１０は、スマートフォンおよびＰＣなどの端末から時刻情報を取得する。状況情報が場所情報である場合、状況情報取得部１１０は、場所情報を生成する機器から場所情報を取得する。例えば、状況情報取得部１１０は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）機能が搭載されたスマートフォンなどの端末から場所情報を取得する。状況情報が周辺環境情報である場合、状況情報取得部１１０は、周辺環境値を測定する機器から周辺環境情報を取得する。例えば、状況情報取得部１１０は、温度計、湿度計、気圧計、および照度計などのセンサから周辺環境情報を取得する。
【００９８】
状況情報は、対象物情報取得部２０を含む機器に関する機器情報であってもよい。機器情報は、機器の設定値であってもよい。例えば、多光子励起顕微鏡において、機器の設定値は、レンズ倍率、観察光量、レーザーパワー、およびステージ位置などの値である。状況情報取得部１１０によって取得された、時刻情報以外の状況情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、状況情報取得部１１０は、状況情報が取得された時刻を示す時刻情報を状況情報に付加し、かつ時刻情報が付加された状況情報を出力する。状況情報が時系列情報である場合、複数の異なる時刻を特定できる時刻情報が状況情報に付加される。例えば、状況情報に関連付けられる時刻情報は、状況情報の取得が開始された時刻と、サンプリングレートとを含む。
【００９９】
記録部６０は、対象物情報、画像情報、音声情報、テキスト情報、変換候補単語、状況情報、および時刻情報を互いに関連付けて記録媒体７０に記録する。時刻情報は、対象物情報、画像情報、音声情報、テキスト情報、および状況情報の各々が取得された時刻を示す。対象物情報、画像情報、音声情報、テキスト情報、変換候補単語、および状況情報は、時刻情報を介して互いに関連付けられる。状況情報は圧縮されてもよい。
【０１００】
読み出し部８０は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、画像情報、テキスト情報、および状況情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、テキスト情報、および状況情報を互いに関連付けて表示する。例えば、表示部９０は、対象物情報、画像情報、テキスト情報、および状況情報を同時に表示する。このとき、表示部９０は、対象物情報、画像情報、テキスト情報、および状況情報を、各情報が並べられた状態で表示する。対象物情報、画像情報、テキスト情報、および状況情報のうち選択された情報が表示部９０に表示され、かつ表示部９０に表示される情報をユーザが切り替えることができてもよい。
【０１０１】
上記以外の点について、図７に示す構成は、図１に示す構成と同様である。
【０１０２】
状況情報が記録されることにより、情報記録システム１０ａは、対象物情報がどのような状況で取得されているのかを示す情報として、視覚的な情報に加えて、それ以外の情報も記録することができる。これにより、情報記録システム１０ａは、観察状況をより正確に記録することができる。したがって、ユーザは、正確な手順の再現および検証をより確実に行うことができる。
【０１０３】
（第１の実施形態の第２の変形例）
図８は、本発明の第１の実施形態の第２の変形例の情報記録システム１０ｂの構成を示す。図８に示す構成について、図１に示す構成と異なる点を説明する。
【０１０４】
記録部６０は、対象物情報、画像情報、音声情報、および時刻情報を互いに関連付けて記録媒体７０に記録する。時刻情報は、対象物情報、画像情報、および音声情報の各々が取得された時刻を示す。読み出し部８０は、音声情報を記録媒体７０から読み出す。音声処理部５０は、読み出し部８０によって読み出された音声情報をテキスト情報に変換し、かつ変換候補単語を生成する。記録部６０は、記録媒体７０に記録された対象物情報、画像情報、音声情報、および時刻情報にテキスト情報および変換候補単語を関連付け、かつテキスト情報および変換候補単語を記録媒体７０に記録する。時刻情報は、テキスト情報の元になった音声情報が取得された時刻を示す。
【０１０５】
上記以外の点について、図８に示す構成は、図１に示す構成と同様である。
【０１０６】
情報記録システム１０ｂにおいて、音声情報の全体が記録媒体７０に記録された後、音声処理が音声処理部５０によって行われる。一般的に、音声処理の負荷は高い。音声処理速度が音声情報の取得レートよりも遅い場合でも、情報記録システム１０ｂはテキスト情報を記録することができる。
【０１０７】
（第１の実施形態の第３の変形例）
図９は、本発明の第１の実施形態の第３の変形例の情報記録システム１０ｃの構成を示す。図９に示す構成について、図１に示す構成と異なる点を説明する。
【０１０８】
情報記録システム１０ｃは、図１に示す情報記録システム１０の構成に加えてイベント検出部７５を有する。イベント検出部７５は、記録媒体７０に記録された対象物情報、画像情報、および音声情報の少なくとも１つに基づいてイベントを検出する。イベントは、記録媒体７０に記録された対象物情報、画像情報、および音声情報の少なくとも１つが所定の条件を満たす状態である。例えば、イベント検出部７５は、情報処理を行う情報処理回路を含む。イベント検出部７５が画像情報を処理する場合、イベント検出部７５は画像処理回路を含む。イベント検出部７５が音声情報を処理する場合、イベント検出部７５は音声処理回路を含む。例えば、記録媒体７０に記録された対象物情報、画像情報、および音声情報の少なくとも１つが読み出し部８０によって読み出される。イベント検出部７５は、読み出し部８０によって読み出された情報に基づいてイベントを検出する。また、記録媒体７０に記録された時刻情報が読み出し部８０によって読み出される。イベント検出部７５は、読み出し部８０によって読み出された時刻情報と、イベントが検出された情報との関連性に基づいて、イベントが発生した時刻であるイベント発生時刻を特定する。記録部６０は、イベント検出部７５によって特定されたイベント発生時刻を記録媒体７０に記録してもよい。
【０１０９】
読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を表示する。検索部６５は、イベント発生時刻に対応する時刻情報に関連付けられたテキスト情報および変換候補単語において、キーワード受付部５５によって受け付けられたキーワードを検索する。表示部９０は、キーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を他の対象物情報、画像情報、およびテキスト情報と区別して表示する。つまり、表示部９０は、キーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を第１の表示形態で表示し、かつ他の対象物情報、画像情報、およびテキスト情報を第１の表示形態と異なる第２の表示形態で表示する。表示形態は、例えば、各情報を表示する枠の色および太さなどの変更による強調表示の程度により区別される。
【０１１０】
テキスト情報を構成する確定単語には時刻情報が付加されている。あるいは、確定単語および変換候補単語には時刻情報が付加されている。キーワードと一致する単語が検出されたイベント発生時刻は、その単語に付加されている時刻情報が示す時刻である。変換候補単語は、テキスト情報を構成する確定単語に関連付けられている。時刻情報が付加されていない変換候補単語がキーワードと一致する場合、その変換候補単語に関連付けられた確定単語に付加されている時刻情報は、その変換候補単語が検出されたイベント発生時刻を示す。
【０１１１】
時刻情報は、イベント検出部７５によって検出されたイベントごとにテキスト情報に付加されてもよい。つまり、イベント発生時刻がテキスト情報に付加されてもよい。
【０１１２】
情報記録システム１０ｃが画像取得部３０を有していない場合、記録部６０は、対象物情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する。イベント検出部７５は、記録媒体７０に記録された対象物情報および音声情報の少なくとも１つに基づいてイベントを検出する。読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、音声情報、およびテキスト情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された対象物情報およびテキスト情報を互いに関連付けて表示する。音声出力部１００は、読み出し部８０によって読み出された音声情報に基づく音声を出力する。表示部９０は、キーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に関連付けられた対象物情報およびテキスト情報を他の対象物情報およびテキスト情報と区別して表示する。
【０１１３】
情報記録システム１０ｃは音声出力部１００を有さず、かつ記録部６０は音声情報を記録しなくてもよい。この場合、記録部６０は、対象物情報、画像情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する。イベント検出部７５は、記録媒体７０に記録された対象物情報および画像情報の少なくとも１つに基づいてイベントを検出する。読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報およびテキスト情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。表示部９０は、キーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に関連付けられた対象物情報およびテキスト情報を他の対象物情報およびテキスト情報と区別して表示する。
【０１１４】
上記以外の点について、図９に示す構成は、図１に示す構成と同様である。
【０１１５】
図１０は、情報記録システム１０ｃによる処理の手順を示す。図１０に示す処理について、図２に示す処理と異なる点を説明する。
【０１１６】
ステップＳ１１５の後、イベント検出部７５は、記録媒体７０に記録された対象物情報、画像情報、および音声情報の少なくとも１つに基づいてイベントを検出する（ステップＳ１４０（イベント検出ステップ））。
【０１１７】
ステップＳ１４０の後、読み出し部８０は、イベントが発生した時刻であるイベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体７０から読み出す（ステップＳ１４５（読み出しステップ））。ユーザが各情報の読み出しのタイミングを指定できてもよい。
【０１１８】
ステップＳ１４５の後、表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。また、音声出力部１００は、読み出し部８０によって読み出された音声情報に基づく音声を出力する（ステップＳ１５０（表示ステップおよび音声出力ステップ））。ステップＳ１５０の後、ステップＳ１２０における処理が行われる。
【０１１９】
ステップＳ１２５の後、表示部９０は、キーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を他の対象物情報、画像情報、およびテキスト情報と区別して表示する（ステップＳ１５５（表示ステップ））。
【０１２０】
上記以外の点について、図１０に示す処理は、図２に示す処理と同様である。
【０１２１】
情報記録システム１０ｃが画像取得部３０を有していない場合、ステップＳ１０５における処理は行われない。また、ステップＳ１１５において記録部６０は、対象物情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する。ステップＳ１４０においてイベント検出部７５は、記録媒体７０に記録された対象物情報および音声情報の少なくとも１つに基づいてイベントを検出する。ステップＳ１４５において読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、音声情報、およびテキスト情報を記録媒体７０から読み出す。ステップＳ１５０において表示部９０は、読み出し部８０によって読み出された対象物情報およびテキスト情報を互いに関連付けて表示する。また、ステップＳ１５０において音声出力部１００は、読み出し部８０によって読み出された音声情報に基づく音声を出力する。ステップＳ１５５において表示部９０は、キーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に関連付けられた対象物情報およびテキスト情報を他の対象物情報およびテキスト情報と区別して表示する。
【０１２２】
情報記録システム１０ｃが音声出力部１００を有さず、かつ記録部６０が音声情報を記録しない場合、ステップＳ１１５において記録部６０は、対象物情報、画像情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する。ステップＳ１４０においてイベント検出部７５は、記録媒体７０に記録された対象物情報および画像情報の少なくとも１つに基づいてイベントを検出する。ステップＳ１４５において読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報およびテキスト情報を記録媒体７０から読み出す。ステップＳ１５０において表示部９０は、読み出し部８０によって読み出された対象物情報およびテキスト情報を互いに関連付けて表示する。ステップＳ１５５において表示部９０は、キーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に関連付けられた対象物情報およびテキスト情報を他の対象物情報およびテキスト情報と区別して表示する。
【０１２３】
上記のように、記録媒体７０に記録された対象物情報、画像情報、および音声情報の少なくとも１つに基づいてイベントが検出される。イベントに対応する情報のうちキーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に関連付けられた情報が他の情報と区別されて表示される。これによって、情報記録システム１０ｃは、ユーザによる情報の効率的な閲覧を支援することができる。
【０１２４】
上記の方法では、情報記録システム１０ｃは、観察現場で記録された複数かつ多量の情報から、ユーザが注目する有用な場面およびそれに関する情報の一覧を抽出することができる。また、情報記録システム１０ｃは、この一覧から、キーワードに対応する情報を抽出することができる。したがって、ユーザは、ユーザが注目するタイミングで発生したイベントに関する情報を効率的に閲覧することができる。
【０１２５】
以下では、イベント検出部７５によるイベント検出の具体例を説明する。
【０１２６】
図１１および図１２は、対象物情報に基づくイベント検出の例を示す。図１１および図１２において、対象物情報は、顕微鏡に接続されたカメラによって取得された対象物の画像情報（顕微鏡画像）である。
【０１２７】
図１１に示すように、対象物ＯＢ１０が画像Ｇ１０に含まれる。画像Ｇ１０が撮影された時刻よりも後の時刻において、画像Ｇ１１が撮影される。対象物ＯＢ１０が画像Ｇ１１に含まれる。画像Ｇ１０および画像Ｇ１１の間で対象物ＯＢ１０の形状は異なる。つまり、対象物ＯＢ１０の形状は時間に応じて変化する。対象物ＯＢ１０の形状が変化した場合、イベント検出部７５は、イベントを検出する。例えば、イベント検出部７５は、異なる時刻に取得された複数フレームの画像情報を比較することにより、対象物ＯＢ１０の形状が変化するイベントが発生したか否かを判断する。
【０１２８】
図１２に示すように、対象物ＯＢ１１、対象物ＯＢ１２、対象物ＯＢ１３、および対象物ＯＢ１４が画像Ｇ１２に含まれる。画像Ｇ１２が撮影された時刻よりも後の時刻において、画像Ｇ１３が撮影される。対象物ＯＢ１１から対象物ＯＢ１４に加えて、対象物ＯＢ１５、対象物ＯＢ１６、および対象物ＯＢ１７が画像Ｇ１３に含まれる。画像Ｇ１２および画像Ｇ１３の間で対象物ＯＢ１５から対象物ＯＢ１７が加わる。つまり、対象物の数は時間に応じて変化する。対象物の数が変化した場合、イベント検出部７５は、イベントを検出する。例えば、イベント検出部７５は、異なる時刻に取得された複数フレームの画像情報を比較することにより、対象物の数が変化するイベントが発生したか否かを判断する。
【０１２９】
対象物情報が示す対象物の状態が、イベント検出条件として予め定義された状態である場合、イベント検出部７５は、イベントを検出する。例えば、イベント検出条件は、予め記録媒体７０に記録される。読み出し部８０は、イベント検出条件を記録媒体７０から読み出す。イベント検出部７５は、読み出し部８０によって読み出されたイベント検出条件に基づいてイベントを検出する。これにより、イベント検出部７５は、対象物が所定の状態になる現象をイベントとして検出することができる。
【０１３０】
画像取得部３０は、対象物と対象物の周辺との少なくとも１つを含む画像情報を取得する。画像情報が示す対象物と対象物の周辺との少なくとも１つの状態が、イベント検出条件として予め定義された状態である場合、イベント検出部７５は、イベントを検出する。例えば、画像情報の特徴が、イベント検出条件として予め定義された特徴と一致した場合、イベント検出部７５は、イベントを検出する。例えば、多光子励起顕微鏡を使用する顕微鏡システムにおいて、暗室に光が入ったことが画像情報から検出された場合、イベント検出部７５は、イベントを検出する。例えば、診察システム１３において、患者の出血または発作などの状態が画像情報から検出された場合、イベント検出部７５は、イベントを検出する。例えば、上記の特徴を示す特徴情報がイベント検出条件として予め記録媒体７０に記録される。イベント検出部７５は、画像情報から特徴情報を抽出する。読み出し部８０は、イベント検出条件を記録媒体７０から読み出す。イベント検出部７５は、画像情報から抽出された特徴情報と、読み出し部８０によって読み出されたイベント検出条件である特徴情報とを比較する。画像情報から抽出された特徴情報と、イベント検出条件である特徴情報とが一致または類似する場合、イベント検出部７５は、イベントを検出する。これにより、イベント検出部７５は、画像情報が示す観察状況が所定の状態になる現象をイベントとして検出することができる。
【０１３１】
図１３および図１４は、音声情報に基づくイベント検出の例を示す。図１３および図１４において、音声情報は時系列の音声信号（音声データ）である。音声信号は、複数の時刻の各々における音声の振幅情報を含む。図１３は音声信号Ａ１０のグラフを示し、かつ図１４は音声信号Ａ１１のグラフを示す。図１３および図１４のグラフにおける横方向は時間を示し、かつ縦方向は振幅を示す。
【０１３２】
図１３に示す音声信号Ａ１０は、工業用内視鏡による検査時の音声である。例えば、図１３に示す期間Ｔ１０、期間Ｔ１１、および期間Ｔ１２において音声信号の振幅が閾値を超える。閾値は０よりも大きい。ユーザは検査者である。例えば、期間Ｔ１０において、ユーザは、２５０ｍｍの位置に傷があることを意味する音声を発している。例えば、期間Ｔ１１において、ユーザは、３２０ｍｍの位置に直径５ｍｍの穴があることを意味する音声を発している。例えば、期間Ｔ１２において、ユーザは、４７０ｍｍの位置に錆びがあることを意味する音声を発している。音声信号の振幅が所定の閾値を超えた場合、イベント検出部７５は、イベントを検出する。ユーザが一連の音声を発した場合でも、そのときの音声信号には振幅の小さな期間が含まれる。所定時間内に複数のイベントが連続的に検出される場合には、イベント検出部７５は、それらを１つのイベントとして集約してもよい。もしくは、イベント検出部７５は、所定時間内の振幅の平均値などを代表値として使用し、かつ所定時間ごとにイベントの有無を検出してもよい。このようにして、イベント検出部７５は、ユーザが音声を発した期間に対応する期間Ｔ１０、期間Ｔ１１、および期間Ｔ１２においてイベントを検出する。
【０１３３】
閾値は０よりも小さくてもよい。音声信号の振幅が、０よりも小さい閾値よりも小さい場合、音声信号の振幅が閾値を超える。音声信号のパワーが所定の閾値を超えた場合、イベント検出部７５は、イベントを検出してもよい。例えば、音声信号のパワーは、振幅の２乗平均値である。
【０１３４】
前述したように、音声取得部４０は、対象物を観察する観察者が発した音声に基づく音声情報を取得する。音声情報は、時系列の音声信号である。音声信号の振幅またはパワーが、イベント検出条件として予め定義された閾値を超えた場合、イベント検出部７５は、イベントを検出する。例えば、所定の音声情報の振幅またはパワーに基づいて決定された閾値、または観察者であるユーザによって指定された閾値がイベント検出条件として予め記録媒体７０に記録される。読み出し部８０は、イベント検出条件を記録媒体７０から読み出す。イベント検出部７５は、音声取得部４０によって取得された音声信号の振幅またはパワーと、読み出し部８０によって読み出されたイベント検出条件である閾値とを比較する。音声信号の振幅またはパワーが閾値を超えた場合、イベント検出部７５は、イベントを検出する。これにより、イベント検出部７５は、ユーザがコメントを発したときの現象をイベントとして検出することができる。
【０１３５】
図１４に示す音声信号Ａ１１は、医療用の内視鏡による検査時の音声である。ユーザは医師である。例えば、図１４に示す期間Ｔ１３において、ユーザは「ポリープ」という語を発している。予め「ポリープ」がイベント検出のキーワードとして登録されている場合、イベント検出部７５は、期間Ｔ１３においてイベントを検出する。
【０１３６】
前述したように、音声取得部４０は、対象物を観察する観察者が発した音声に基づく音声情報を取得する。音声情報が示す音声が、イベント検出条件として予め定義されたキーワードの音声と一致した場合、イベント検出部７５は、イベントを検出する。例えば、キーワードの音声を取得することにより生成された音声情報がイベント検出条件として予め記録媒体７０に記録される。読み出し部８０は、イベント検出条件を記録媒体７０から読み出す。イベント検出部７５は、音声取得部４０によって取得された音声情報と、読み出し部８０によって読み出されたイベント検出条件である音声情報とを比較する。例えば、２つの音声情報が一致した場合、すなわち２つの音声情報の類似度が所定値以上である場合、イベント検出部７５は、イベントを検出する。これにより、イベント検出部７５は、観察者であるユーザが所定のキーワードを発したときの現象をイベントとして検出することができる。
【０１３７】
観察現場において、ユーザが対象物の状態または観察状況を認識し、かつその状態または観察状況に対するコメントを発する場合が多い。このため、イベント検出部７５が音声情報に基づいてイベントを検出することにより、イベント検出部７５は、ユーザが注目するイベントをより容易に検出することができる。
【０１３８】
以下では、表示部９０による各情報の表示の具体例を説明する。図１５は、表示部９０の画面９３を示す。
【０１３９】
イベント検出部７５は、記録媒体７０に記録された対象物情報、画像情報、および音声情報の少なくとも１つに基づいてイベントを検出する。読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。
【０１４０】
イベント検出部７５は、複数のイベント発生時刻を検出する。読み出し部８０は、複数のイベント発生時刻の各々に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報をイベント発生時刻毎に互いに関連付けて表示する。この例では、図３に示す顕微鏡システム１１による観察における各情報が表示される。
【０１４１】
図１５において、複数のイベントのうち５つのイベントに対応する対象物情報、画像情報、およびテキスト情報が示されている。同一のイベントに対応する対象物情報、画像情報、およびテキスト情報は、互いに関連付けられて表示される。同一のイベントに対応する対象物情報、画像情報、およびテキスト情報は、横方向に並べられる。各イベントにおける対象物情報、画像情報、およびテキスト情報は、縦方向の同一の位置に関連付けられる。イベント１に対応する対象物情報、画像情報、およびテキスト情報は、画面９３の領域３０８に表示される。イベント２に対応する対象物情報、画像情報、およびテキスト情報は、画面９３の領域３０９に表示される。イベント３に対応する対象物情報、画像情報、およびテキスト情報は、画面９３の領域３１０に表示される。イベント４に対応する対象物情報、画像情報、およびテキスト情報は、画面９３の領域３１１に表示される。イベント５に対応する対象物情報、画像情報、およびテキスト情報は、画面９３の領域３１２に表示される。
【０１４２】
対象物情報は、顕微鏡２００に接続されたカメラによって生成された画像である。対象物情報は、画面９３の領域３１３に表示される。画像情報は、画面９３の領域３１４、領域３１５、および領域３１６に表示される。顕微鏡の対物レンズ先端の近傍を撮影するカメラ３１ａによって生成された画像情報は領域３１４に表示される。対象物ＯＢ１と顕微鏡２００との全体を撮影するカメラ３１ｂによって生成された画像情報は領域３１５に表示される。ユーザに装着されたカメラ３１ｃによって生成された画像情報は領域３１６に表示される。テキスト情報は、画面９３の領域３１７に表示される。
【０１４３】
記録媒体７０に記録された対象物情報が時系列に複数に分割されている場合、読み出し部８０は、イベント発生時刻に対応するイベント期間内の時刻情報に関連付けられた対象物情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された対象物情報を表示する。例えば、ユーザがアイコン４０１を操作した場合、表示部９０は、イベント期間における対象物の動画を表示する。読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた代表的な対象物情報を記録媒体７０から読み出してもよい。表示部９０は、読み出し部８０によって読み出された代表的な対象物情報を表示してもよい。例えば、代表的な対象物情報は、イベント発生時刻に最も近い時刻に生成された１フレームの対象物の画像情報である。代表的な対象物情報は、イベント発生時刻に最も近い時刻に生成された１フレームのサムネールであってもよい。
【０１４４】
記録媒体７０に記録された画像情報が時系列に複数に分割されている場合、読み出し部８０は、イベント発生時刻に対応するイベント期間内の時刻情報に関連付けられた画像情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出された画像情報を表示する。例えば、ユーザがアイコン４０２、アイコン４０３、およびアイコン４０４のいずれか１つを操作した場合、表示部９０は、イベント期間における観察状況を示す動画を表示する。読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた代表的な画像情報を記録媒体７０から読み出してもよい。表示部９０は、読み出し部８０によって読み出された代表的な画像情報を表示してもよい。例えば、代表的な画像情報は、イベント発生時刻に最も近い時刻に生成された１フレームの画像情報である。代表的な画像情報は、イベント発生時刻に最も近い時刻に生成された１フレームのサムネールであってもよい。
【０１４５】
読み出し部８０は、イベント発生時刻に対応する時刻情報に関連付けられた音声情報を記録媒体７０から読み出す。音声出力部１００は、読み出し部８０によって読み出された音声情報に基づく音声を出力する。例えば、読み出し部８０は、イベント発生時刻に対応するイベント期間内の時刻情報に関連付けられた音声情報を記録媒体７０から読み出す。例えば、ユーザがアイコン４０５を操作した場合、音声出力部１００は、イベント期間における音声を出力する。
【０１４６】
第１の実施形態におけるイベント期間の説明は、第１の実施形態の第３の変形例におけるイベント期間の説明に対して適用できる。前述した説明における発声時刻は、イベント発生時刻に置き換えられる。
【０１４７】
図１５に示す各イベントの情報が表示された後、ユーザは、操作部を操作することにより、キーワードをキーワード入力欄３００に入力することができる。キーワードがキーワード入力欄３００に入力された場合、キーワード受付部５５は、キーワード入力欄３００に入力されたキーワードを受け付ける。図１５に示す例では、「実験条件」がキーワードとしてキーワード入力欄３００に入力されている。
【０１４８】
検索部６５は、イベント期間内の時刻情報に関連付けられたテキスト情報および変換候補単語において、キーワード受付部５５によって受け付けられたキーワードを検索する。つまり、検索部６５は、表示部９０によって表示されたテキスト情報と、そのテキスト情報中の単語に関連付けられた変換候補単語とにおいてキーワードを検索する。検索部６５は、テキスト情報中の単語（確定単語）および変換候補単語のうちキーワードと一致する単語を抽出する。表示部９０は、キーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に対応するイベント期間内の対象物情報、画像情報、およびテキスト情報を他の対象物情報、画像情報、およびテキスト情報と区別して表示する。
【０１４９】
図１５に示す例では、イベント１に対応するテキスト情報は、キーワードである「実験条件」は含まないが、これを誤認識した結果である「十件要件」を含む。また、イベント１に対応するテキスト情報に関連付けられた変換候補単語は、キーワードである「実験条件」を含む。イベント３に対応するテキスト情報は、キーワードである「実験条件」を含む。このため、表示部９０は、イベント１およびイベント３の各々に対応する対象物情報、画像情報、およびテキスト情報を、イベント２、イベント４、およびイベント５の各々に対応する対象物情報、画像情報、およびテキスト情報と区別して表示する。具体的には、表示部９０は、イベント１およびイベント３の各々に対応する対象物情報、画像情報、およびテキスト情報を、イベント２、イベント４、およびイベント５の各々に対応する対象物情報、画像情報、およびテキスト情報よりも強調して表示する。例えば、イベント１およびイベント３の各々に対応する対象物情報、画像情報、およびテキスト情報は、太い線で囲まれる。
【０１５０】
表示部９０は、イベント１およびイベント３の各々に対応する対象物情報、画像情報、およびテキスト情報を明るく表示してもよい。表示部９０は、イベント１およびイベント３の各々に対応する対象物情報、画像情報、およびテキスト情報を拡大表示してもよい。キーワードと一致する単語が検出されたイベント発生時刻に対応するイベントの情報を他のイベントの情報と区別する方法は、上記の方法に限らない。
【０１５１】
表示部９０は、キーワードと一致するテキスト情報中の単語を他の単語と区別して表示し、かつキーワードと一致する変換候補単語に関連付けられたテキスト情報中の単語を他の単語と区別して表示してもよい。
【０１５２】
上記のように、イベントに対応する情報のうちキーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に関連付けられた情報が他の情報と区別されて表示される。このため、ユーザは、所望のキーワードに対応する情報を容易に認識することができる。また、テキスト情報においてキーワードに対応する単語が他の単語と区別されて表示されることにより、ユーザは検索結果を容易に確認することができる。
【０１５３】
情報記録システム１０ｃは、図７に示す情報記録システム１０ａにおける状況情報取得部１１０を有してもよい。状況情報が示す状況が、イベント検出条件として予め定義された状態である場合、イベント検出部７５は、イベントを検出してもよい。例えば、状況情報は、温度計から取得された周囲環境情報すなわち温度である。状況情報が示す温度が、イベント検出条件として予め定義された閾値を超えた場合、イベント検出部７５は、イベントを検出する。例えば、ユーザによって指定された閾値がイベント検出条件として予め記録媒体７０に記録される。読み出し部８０は、イベント検出条件を記録媒体７０から読み出す。イベント検出部７５は、状況情報取得部１１０によって取得された状況情報が示す温度と、読み出し部８０によって読み出されたイベント検出条件である閾値とを比較する。温度が閾値を超えた場合、イベント検出部７５は、イベントを検出する。
【０１５４】
（第２の実施形態）
図１６は、本発明の第２の実施形態の情報記録システム１０ｄの構成を示す。図１６に示す構成について、図１に示す構成と異なる点を説明する。
【０１５５】
図１６に示すように、情報記録システム１０ｄは、対象物情報取得部２０、画像取得部３０、音声取得部４０、情報記録装置１２０、表示部９０、および音声出力部１００を有する。対象物情報取得部２０、画像取得部３０、音声取得部４０、表示部９０、および音声出力部１００は、図１に示す、各構成に対応する構成と同様である。図１６に示す情報記録システム１０ｄにおいて、図１に示す情報記録システム１０における音声処理部５０、キーワード受付部５５、記録部６０、検索部６５、記録媒体７０、および読み出し部８０が情報記録装置１２０に変更される。
【０１５６】
上記以外の点について、図１６に示す構成は、図１に示す構成と同様である。
【０１５７】
図１７は、情報記録装置１２０の構成を示す。図１７に示すように、情報記録装置１２０は、音声処理部５０、キーワード受付部５５、記録部６０、検索部６５、記録媒体７０、読み出し部８０、入力部１３０、および出力部１４０を有する。
【０１５８】
音声処理部５０、キーワード受付部５５、記録部６０、検索部６５、記録媒体７０、および読み出し部８０は、図１に示す、各構成に対応する構成と同様である。対象物情報取得部２０からの対象物情報、画像取得部３０からの画像情報、および音声取得部４０からの音声情報が入力部１３０に入力される。例えば、対象物情報取得部２０、画像取得部３０、および音声取得部４０の少なくとも１つと情報記録装置１２０とは、ケーブルにより接続される。この場合、入力部１３０は、ケーブルが接続される入力端子である。対象物情報取得部２０、画像取得部３０、および音声取得部４０の少なくとも１つと情報記録装置１２０とは、無線により接続されてもよい。この場合、入力部１３０は、対象物情報取得部２０、画像取得部３０、および音声取得部４０の少なくとも１つと無線通信を行う無線通信回路である。
【０１５９】
出力部１４０は、読み出し部８０によって読み出された対象物情報、画像情報、音声情報、およびテキスト情報を出力する。つまり、出力部１４０は、対象物情報、画像情報、およびテキスト情報を表示部９０に出力し、かつ音声情報を音声出力部１００に出力する。例えば、表示部９０および音声出力部１００の少なくとも１つと情報記録装置１２０とは、ケーブルにより接続される。この場合、出力部１４０は、ケーブルが接続される出力端子である。表示部９０および音声出力部１００の少なくとも１つと情報記録装置１２０とは、無線により接続されてもよい。この場合、出力部１４０は、表示部９０および音声出力部１００の少なくとも１つと無線通信を行う無線通信回路である。
【０１６０】
情報記録装置１２０が、プログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。つまり、情報記録装置１２０の機能はソフトウェアにより実現されてもよい。このプログラムは、音声処理部５０、記録部６０、検索部６５、および読み出し部８０の動作を規定する命令を含む。このプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。また、上述したプログラムは、このプログラムが保存された記憶装置等を有するコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により情報記録装置１２０に伝送されてもよい。プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように、情報を伝送する機能を有する媒体である。また、上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、前述した機能をコンピュータに既に記録されているプログラムとの組合せで実現できる差分ファイル（差分プログラム）であってもよい。
【０１６１】
図１に示す情報記録システム１０に適用される様々な変形は、図１６に示す情報記録システム１０ｄにも同様に適用されてよい。例えば、情報記録システム１０ｄは画像取得部３０を有していなくてもよい。この場合、対象物情報および音声情報が入力部１３０に入力される。記録部６０は、対象物情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する。読み出し部８０は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報およびテキスト情報を記録媒体７０から読み出す。出力部１４０は、読み出し部８０によって読み出された対象物情報、音声情報、およびテキスト情報を出力する。表示部９０は、出力部１４０によって出力された対象物情報およびテキスト情報を互いに関連付けて表示する。テキスト情報は情報記録装置１２０から出力されなくてもよい。音声出力部１００は、出力部１４０によって出力された音声情報に基づく音声を出力する。
【０１６２】
情報記録システム１０ｄは音声出力部１００を有さず、かつ記録部６０は音声情報を記録しなくてもよい。この場合、対象物情報、画像情報、および音声情報が入力部１３０に入力される。記録部６０は、対象物情報、画像情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する。読み出し部８０は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体７０から読み出す。出力部１４０は、読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を出力する。表示部９０は、出力部１４０によって出力された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。テキスト情報は情報記録装置１２０から出力されなくてもよい。
【０１６３】
図１８は、情報記録装置１２０による処理の手順を示す。図１８を参照し、情報記録装置１２０による処理の手順を説明する。
【０１６４】
対象物に関する対象物情報が入力部１３０に入力される（ステップＳ２００（入力ステップ））。ステップＳ２００において入力された対象物情報は、記録部６０内のバッファに蓄積される。入力部１３０への対象物情報の入力と並行して、対象物情報がどのような状況で取得されているのかを示す画像情報が入力部１３０に入力される（ステップＳ２０５（入力ステップ））。ステップＳ２０５において入力された画像情報は、記録部６０内のバッファに蓄積される。入力部１３０への対象物情報の入力と並行して、ステップＳ２１０における処理が行われる。ステップＳ２１０は、ステップＳ２１１（音声入力ステップ）およびステップＳ２１２（音声処理ステップ）を含む。ステップＳ２１１において、対象物を観察する観察者が発した音声に基づく音声情報が入力部１３０に入力される。ステップＳ２１２において音声処理部５０は、入力部１３０に入力された音声情報をテキスト情報に変換し、かつ音声情報からテキスト情報への変換の過程において音声に対応する少なくとも１つの変換候補単語を生成する。ステップＳ２１０において、ステップＳ２１１およびステップＳ２１２における処理が繰り返される。ステップＳ２１１において入力された音声情報と、ステップＳ２１２において生成されたテキスト情報と、ステップＳ２１２において生成された変換候補単語とは、記録部６０内のバッファに蓄積される。
【０１６５】
ステップＳ２００、ステップＳ２０５、およびステップＳ２１０の各々における処理の開始タイミングは同一でなくてもよい。ステップＳ２００、ステップＳ２０５、およびステップＳ２１０の各々における処理の終了タイミングは同一でなくてもよい。ステップＳ２００、ステップＳ２０５、およびステップＳ２１０の各々における処理が行われる期間の少なくとも一部が互いに重なる。
【０１６６】
対象物情報、画像情報、および音声情報の入力が終了した後、記録部６０は、記録部６０内のバッファに蓄積された対象物情報、画像情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する（ステップＳ２１５（記録ステップ））。
【０１６７】
ステップＳ２１５の後、キーワード受付部５５は、キーワードを受け付ける（ステップＳ２２０（キーワード受付ステップ））。
【０１６８】
ステップＳ２２０の後、検索部６５は、キーワード受付部５５によって受け付けられたキーワードをテキスト情報および変換候補単語において検索し、かつテキスト情報中の単語および変換候補単語のうちキーワードと一致する単語を抽出する（ステップＳ２２５（検索ステップ））。
【０１６９】
ステップＳ２２５の後、読み出し部８０は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体７０から読み出す（ステップＳ２３０（読み出しステップ））。ユーザが各情報の読み出しのタイミングを指定できてもよい。
【０１７０】
ステップＳ２３０の後、出力部１４０は、読み出し部８０によって読み出された対象物情報、画像情報、音声情報、およびテキスト情報を出力する。表示部９０は、出力部１４０によって出力された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。また、音声出力部１００は、出力部１４０によって出力された音声情報に基づく音声を出力する（ステップＳ２３５（出力ステップ、表示ステップ、および音声出力ステップ））。
【０１７１】
情報記録システム１０ｄが画像取得部３０を有していない場合、ステップＳ２０５における処理は行われない。また、ステップＳ２１５において記録部６０は、対象物情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する。ステップＳ２３０において読み出し部８０は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、音声情報、およびテキスト情報を記録媒体７０から読み出す。ステップＳ２３５において出力部１４０は、ステップＳ２３０において読み出し部８０によって読み出された対象物情報、音声情報、およびテキスト情報を出力する。また、ステップＳ２３５において表示部９０は、出力部１４０によって出力された対象物情報およびテキスト情報を互いに関連付けて表示する。テキスト情報は情報記録装置１２０から出力されなくてもよい。また、ステップＳ２３５において音声出力部１００は、ステップＳ２３０において読み出し部８０によって読み出された音声情報に基づく音声を出力する。
【０１７２】
情報記録システム１０ｄが音声出力部１００を有さず、かつ記録部６０が音声情報を記録しない場合、ステップＳ２１５において記録部６０は、対象物情報、画像情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する。ステップＳ２３０において読み出し部８０は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体７０から読み出す。ステップＳ２３５において出力部１４０は、ステップＳ２３０において読み出し部８０によって読み出された対象物情報、画像情報、およびテキスト情報を出力する。また、ステップＳ２３５において表示部９０は、出力部１４０によって出力された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。テキスト情報は情報記録装置１２０から出力されなくてもよい。
【０１７３】
音声処理部５０および記録媒体７０の少なくとも１つは、情報記録装置１２０の外部に配置されてもよい。音声処理部５０が情報記録装置１２０の外部に配置された場合、音声処理部５０からのテキスト情報が入力部１３０に入力される。記録媒体７０は、情報記録装置１２０への装着および情報記録装置１２０からの取り外しができてもよい。情報記録装置１２０がネットワークインターフェースを有し、かつ情報記録装置１２０が、ネットワークを介して記録媒体７０と接続してもよい。情報記録装置１２０が無線通信インターフェースを有し、かつ情報記録装置１２０が無線通信により記録媒体７０と接続してもよい。
【０１７４】
情報記録装置１２０は、出力部１４０を有していなくてもよい。例えば、記録媒体７０は、情報記録装置１２０への装着および情報記録装置１２０からの取り外しができるように構成される。読み出し部８０は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体７０から読み出す。記録部６０は、読み出し部８０によって読み出された対象物情報、画像情報、音声情報、およびテキスト情報を互いに関連付けて記録媒体７０に記録する。記録媒体７０が情報記録装置１２０から取り外され、かつ情報記録装置１２０の外部の装置に装着されることにより、その装置は、記録媒体７０に記録された情報を利用することができる。情報記録装置１２０が出力部１４０を有していない場合、情報記録装置１２０はステップＳ２３５における処理を行わない。
【０１７５】
上記のように、対象物情報が入力部１３０に入力され、かつ対象物情報がどのような状況で取得されているのかを示す画像情報が入力部１３０に入力される。入力された対象物情報および画像情報は、記録部６０によって記録媒体７０に記録される。これによって、情報記録装置１２０は、対象物情報がどのような状況で取得されているのかを示す視覚的な情報を記録することができる。
【０１７６】
上記のように、音声情報からテキスト情報への変換の過程において生成された変換候補単語が記録部６０によって記録媒体７０に記録される。検索部６５は、キーワード受付部５５によって受け付けられたキーワードをテキスト情報および変換候補単語において検索し、かつテキスト情報中の単語および変換候補単語のうちキーワードと一致する単語を抽出する。音声認識処理において誤認識された単語が検索時にテキスト情報から抽出できない場合でも、検索部６５は、その誤認識された単語に対応する変換候補単語から所望の単語を抽出することができる。したがって、情報記録装置１２０は、テキスト情報における単語の検索の漏れ（見逃し）を低減することができる。その結果、情報記録装置１２０は、キーワード受付部５５によって受け付けられたキーワードに対応する対象物情報、画像情報、音声情報、およびテキスト情報をユーザに提供することができる。第１の実施形態の情報記録システム１０において得られる効果は、第２の実施形態の情報記録装置１２０においても同様に得られる。
【０１７７】
第１の実施形態の第１から第３の変形例に開示された事項は、第２の実施形態の情報記録装置１２０に同様に適用されてもよい。したがって、情報記録システム１０ｄが状況情報取得部１１０を有し、かつ状況情報取得部１１０によって取得された状況情報が入力部１３０に入力されてもよい。あるいは、情報記録装置１２０は、イベント検出部７５を有してもよい。
【０１７８】
（第３の実施形態）
図１９は、本発明の第３の実施形態の情報記録システム１０ｅの構成を示す。図１９に示す構成について、図１に示す構成と異なる点を説明する。
【０１７９】
図１９に示す情報記録システム１０ｅは、図１に示す情報記録システム１０における対象物情報取得部２０および画像取得部３０を有していない。記録部６０は、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する。読み出し部８０は、キーワードと一致する単語に対応する第１の部分を含むテキスト情報を記録媒体７０から読み出す。表示部９０は、読み出し部８０によって読み出されたテキスト情報を、第１の部分と、第１の部分以外の第２の部分とが区別できるように表示する。
【０１８０】
また、読み出し部８０は、キーワードと一致する単語に対応する時刻情報に関連付けられた音声情報を記録媒体７０から読み出す。音声出力部１００は、読み出し部８０によって読み出された音声情報に基づく音声を出力する。
【０１８１】
情報記録システム１０ｅは音声出力部１００を有していなくてもよい。この場合、記録部６０は、テキスト情報および変換候補単語を互いに関連付けて記録媒体７０に記録する。読み出し部８０は、キーワードと一致する単語に対応する第１の部分を含むテキスト情報を記録媒体７０から読み出す。変換候補単語は、テキスト情報を構成する確定単語に関連付けられるため、時刻情報は記録されなくてもよい。
【０１８２】
上記以外の点について、図１９に示す構成は、図１に示す構成と同様である。
【０１８３】
図２０は、情報記録システム１０ｅによる処理の手順を示す。図２０に示す処理について、図２に示す処理と異なる点を説明する。
【０１８４】
図２に示すステップＳ１００およびステップＳ１０５における処理は行われない。ステップＳ１１０の後、記録部６０は、記録部６０内のバッファに蓄積された音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する（ステップＳ１６０（記録ステップ））。
【０１８５】
ステップＳ１２５の後、読み出し部８０は、キーワードと一致する単語に対応する第１の部分を含むテキスト情報を記録媒体７０から読み出す。また、読み出し部８０は、キーワードと一致する単語に対応する時刻情報に関連付けられた音声情報を記録媒体７０から読み出す（ステップＳ１６５（読み出しステップ））。
【０１８６】
ステップＳ１６５の後、表示部９０は、読み出し部８０によって読み出されたテキスト情報を、第１の部分と、第１の部分以外の第２の部分とが区別できるように表示する。また、音声出力部１００は、読み出し部８０によって読み出された音声情報に基づく音声を出力する（ステップＳ１７０（表示ステップおよび音声出力ステップ））。
【０１８７】
情報記録システム１０ｅが音声出力部１００を有していない場合、ステップＳ１６０において記録部６０は、テキスト情報および変換候補単語を互いに関連付けて記録媒体７０に記録する。ステップＳ１６５において読み出し部８０は、キーワードと一致する単語に対応する第１の部分を含むテキスト情報を記録媒体７０から読み出す。ステップＳ１７０において表示部９０は、読み出し部８０によって読み出されたテキスト情報を、第１の部分と、第１の部分以外の第２の部分とが区別できるように表示する。
【０１８８】
上記以外の点について、図２０に示す処理は、図２に示す処理と同様である。
【０１８９】
図２１を参照し、検索部６５による検索の例を説明する。図２１において音声信号Ａ２０のグラフが示されている。このグラフにおける横方向は時間を示し、かつ縦方向は振幅を示す。期間Ｔ３０、期間Ｔ３１、および期間Ｔ３２において音声信号の振幅が閾値を超える。これらの期間において、ユーザが音声を発している。
【０１９０】
期間Ｔ３０の時刻情報に関連付けられたテキスト情報から、音声処理部５０によって変換候補単語が生成される。図２１に示す例では、確定単語であるテキスト情報中の「十件」という単語に対して、「実験」、「事件」、および「受験」という３つの変換候補単語が関連付けられている。同様に、テキスト情報中の「要件」という単語に対して、「証券」、「条件」、および「実験」という３つの変換候補単語が関連付けられている。同様に、テキスト情報中の「変更」という単語に対して、「返納」という変換候補単語が関連付けられている。「変更」は、日本語で「ｈｅｎｋｏｕ」と発せられる。「返納」は、日本語で「ｈｅｎｎｏｕ」と発せられる。
【０１９１】
同様に、期間Ｔ３０および期間Ｔ３１の各々の時刻情報に関連付けられたテキスト情報から、音声処理部５０によって変換候補単語が生成される。図２１において、これらの変換候補単語は省略されている。
【０１９２】
「実験条件」というキーワードが指定されたとき、検索部６５は、そのキーワードをテキスト情報および変換候補単語において検索する。検索部６５は、期間Ｔ３０に対応する変換候補単語から、キーワード中の「実験」と一致する変換候補単語およびキーワード中の「条件」と一致する変換候補単語を抽出する。また、検索部６５は、期間Ｔ３２に対応するテキスト情報から、キーワード中の「実験条件」と一致する単語を抽出する。
【０１９３】
図２２は、表示部９０によって表示されるテキスト情報を示す。表示部９０は、期間Ｔ３０に対応するテキスト情報ＴＸ１０と、期間Ｔ３１に対応するテキスト情報ＴＸ１１と、期間Ｔ３２に対応するテキスト情報ＴＸ１２とを表示する。表示部９０は、テキスト情報ＴＸ１０において、キーワードと一致する単語に対応する第１の部分に枠Ｆ１０を表示する。テキスト情報ＴＸ１０における第１の部分は、キーワードと一致する変換候補単語に対応する確定単語を含む。また、表示部９０は、テキスト情報ＴＸ１２において、キーワードと一致する単語に対応する第１の部分に枠Ｆ１１を表示する。テキスト情報ＴＸ１２における第１の部分は、キーワードと一致する確定単語を含む。テキスト情報ＴＸ１０において、枠Ｆ１０が表示されている第１の部分以外の部分は、キーワードと一致する単語に対応する単語を含まない第２の部分を構成する。テキスト情報ＴＸ１１は、第２の部分を構成する。テキスト情報ＴＸ１２において、枠Ｆ１１が表示されている第１の部分以外の部分は第２の部分を構成する。
【０１９４】
表示部９０は、第１の部分を第１の表示形態で表示し、かつ第２の部分を第１の表示形態と異なる第２の表示形態で表示してもよい。例えば、表示部９０は、第１の部分を第２の部分よりも強調して表示する。例えば、表示部９０は、第１の部分中の単語を第２の部分中の単語とは異なる色で表示する。表示部９０は、第１の部分中の単語を第２の部分中の単語よりも太い文字で表示してもよい。表示部９０は、第１の部分中の単語を第２の部分中の単語よりも大きい文字で表示してもよい。第１の部分を第２の部分と区別する方法は、上記の方法に限らない。
【０１９５】
情報記録システム１０ｅは、テキスト情報における単語の検索の漏れ（見逃し）を低減することができる。その結果、情報記録システム１０ｅは、キーワード受付部５５によって受け付けられたキーワードに対応するテキスト情報をユーザに提供することができる。
【０１９６】
上記のように、テキスト情報において、キーワードと一致する単語に対応する第１の部分と、それ以外の第２の部分とが区別されて表示される。このため、ユーザは検索結果を容易に確認することができる。
【０１９７】
第１の実施形態の第２の変形例に開示された事項は、第３の実施形態の情報記録システム１０ｅに同様に適用されてもよい。
【０１９８】
（第４の実施形態）
図２３は、本発明の第４の実施形態の情報記録システム１０ｆの構成を示す。図２３に示す構成について、図１５に示す構成と異なる点を説明する。
【０１９９】
図２３に示す情報記録システム１０ｆは、図１５に示す情報記録システム１０ｄにおける対象物情報取得部２０および画像取得部３０を有していない。
【０２００】
上記以外の点について、図２３に示す構成は、図１５に示す構成と同様である。
【０２０１】
情報記録装置１２０の構成は、以下の点を除いて、図１７に示す情報記録装置１２０の構成と同様である。音声取得部４０からの音声情報が入力部１３０に入力される。記録部６０は、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する。読み出し部８０は、キーワードと一致する単語に対応する部分を含むテキスト情報を記録媒体７０から読み出す。また、読み出し部８０は、キーワードと一致する単語に対応する時刻情報に関連付けられた音声情報を記録媒体７０から読み出す。出力部１４０は、読み出し部８０によって読み出された音声情報およびテキスト情報を出力する。つまり、出力部１４０は、テキスト情報を表示部９０に出力し、かつ音声情報を音声出力部１００に出力する。
【０２０２】
情報記録システム１０ｆは音声出力部１００を有していなくてもよい。この場合、記録部６０は、テキスト情報および変換候補単語を互いに関連付けて記録媒体７０に記録する。読み出し部８０は、キーワードと一致する単語に対応する部分を含むテキスト情報を記録媒体７０から読み出す。出力部１４０は、読み出し部８０によって読み出されたテキスト情報を出力する。変換候補単語は、テキスト情報を構成する確定単語に関連付けられるため、時刻情報は記録されなくてもよい。
【０２０３】
図２４は、情報記録装置１２０による処理の手順を示す。図２４に示す処理について、図１８に示す処理と異なる点を説明する。
【０２０４】
図１８に示すステップＳ２００およびステップＳ２０５における処理は行われない。ステップＳ２１０の後、記録部６０は、記録部６０内のバッファに蓄積された対象物情報、画像情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体７０に記録する（ステップＳ２１５（記録ステップ））。
【０２０５】
ステップＳ２２５の後、読み出し部８０は、キーワードと一致する単語に対応する第１の部分を含むテキスト情報を記録媒体７０から読み出す。また、読み出し部８０は、キーワードと一致する単語に対応する時刻情報に関連付けられた音声情報を記録媒体７０から読み出す（ステップＳ２４５）。
【０２０６】
ステップＳ２４５の後、出力部１４０は、読み出し部８０によって読み出された音声情報およびテキスト情報を出力する。表示部９０は、出力部１４０によって出力されたテキスト情報を、第１の部分と、第１の部分以外の第２の部分とが区別できるように表示する。また、音声出力部１００は、読み出し部８０によって読み出された音声情報に基づく音声を出力する（ステップＳ２５０（出力ステップ、表示ステップ、および音声出力ステップ））。
【０２０７】
情報記録システム１０ｆが音声出力部１００を有していない場合、ステップＳ２４０において記録部６０は、テキスト情報および変換候補単語を互いに関連付けて記録媒体７０に記録する。ステップＳ２４５において読み出し部８０は、キーワードと一致する単語に対応する第１の部分を含むテキスト情報を記録媒体７０から読み出す。ステップＳ２５０において出力部１４０は、読み出し部８０によって読み出されたテキスト情報を出力する。また、ステップＳ２５０において表示部９０は、読み出し部８０によって読み出されたテキスト情報を、第１の部分と、第１の部分以外の第２の部分とが区別できるように表示する。
【０２０８】
上記以外の点について、図２４に示す処理は、図１８に示す処理と同様である。
【０２０９】
情報記録装置１２０は、テキスト情報における単語の検索の漏れ（見逃し）を低減することができる。その結果、情報記録装置１２０は、キーワード受付部５５によって受け付けられたキーワードに対応するテキスト情報をユーザに提供することができる。
【０２１０】
上記のように、テキスト情報において、キーワードと一致する単語に対応する第１の部分と、それ以外の第２の部分とが区別されて表示される。このため、ユーザは検索結果を容易に確認することができる。
【０２１１】
第１の実施形態の第２の変形例に開示された事項は、第４の実施形態の情報記録システム１０ｆに同様に適用されてもよい。
【０２１２】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
【産業上の利用可能性】
【０２１３】
本発明の各実施形態によれば、情報記録システム、情報記録装置、および情報記録方法は、テキスト情報における単語の検索の漏れを低減することができる。
【符号の説明】
【０２１４】
１０，１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅ，１０ｆ  情報記録システム
１１  顕微鏡システム
２０  対象物情報取得部
３０  画像取得部
３１ａ，３１ｂ，３１ｃ  カメラ
４０  音声取得部
４１  マイク
５０  音声処理部
５５  キーワード受付部
６０  記録部
６５  検索部
７０  記録媒体
７５  イベント検出部
８０  読み出し部
９０  表示部
９１，９２，９３  画面
１００  音声出力部
１１０  状況情報取得部
１２０  情報記録装置
１３０  入力部
１４０  出力部
２００  顕微鏡
２０１  サーバ
２０２  ＰＣ
２０３  アクセサリ
５００  音声認識部
５１０  テキスト生成部
【図１】
2018138826.tif 000003
【図２】
2018138826.tif 000004
【図３】
2018138826.tif 000005
【図４】
2018138826.tif 000006
【図５】
2018138826.tif 000007
【図６】
2018138826.tif 000008
【図７】
2018138826.tif 000009
【図８】
2018138826.tif 000010
【図９】
2018138826.tif 000011
【図１０】
2018138826.tif 000012
【図１１】
2018138826.tif 000013
【図１２】
2018138826.tif 000014
【図１３】
2018138826.tif 000015
【図１４】
2018138826.tif 000016
【図１５】
2018138826.tif 000017
【図１６】
2018138826.tif 000018
【図１７】
2018138826.tif 000019
【図１８】
2018138826.tif 000020
【図１９】
2018138826.tif 000021
【図２０】
2018138826.tif 000022
【図２１】
2018138826.tif 000023
【図２２】
2018138826.tif 000024
【図２３】
2018138826.tif 000025
【図２４】
2018138826.tif 000026
【国際調査報告】
2018138826.tif 000027
2018138826.tif 000028
2018138826.tif 000029
2018138826.tif 000030