(57)【要約】  再生時に閲覧者が所望の画像音声の再生開始位置に容易かつ的確に到達可能とする。  記述者が記述部に記述しながら説明している状態を撮像して得られた動画像データとこの動画像データに対応した音声データにタイムコードを付加して記録部に記録する。動画像データを処理して記述部に記述された記述部分を判断し、この記述部分と判断された各部分を索引記述として表示するための索引画像データを生成して記録部に記録する。索引画像データには、索引記述を構成する各画素に関連付けて記述時刻に対応したタイムコードの値がタイムスタンプとして付加されている。
2018168508.tif 000002
【特許請求の範囲】
【請求項１】
記述者が記述部に記述しながら説明している状態を撮像して得られた動画像データと該動画像データに対応した音声データにタイムコードを付加して記録部に記録する画像音声記録部と、
上記動画像データを処理して上記記述部に記述された記述部分を判断し、該記述部分と判断された各部分を索引記述として表示するための索引画像データを生成して記録部に記録する索引画像記録部を備え、
上記索引画像データには、上記索引記述を構成する各画素に関連付けて記述時刻に対応した上記タイムコードの値がタイムスタンプとして付加されている
記録装置。
【請求項２】
上記索引画像記録部は、
現在のフレーム画像と基準フレーム画像との間で画素毎の差分値を抽出し、該差分値が閾値以上である画素が連続する纏まりを把握し、該纏まり毎に上記記述部分であるか否かを判断する
請求項１に記載の記録装置。
【請求項３】
上記索引画像記録部は、
上記纏まり毎に、形状評価値、抽出時間評価値および静止時間評価値を用いて上記記述部分であるか否かを判断し、
上記索引画像記録部は、
上記形状評価値を、上記纏まりを包含する最小四角形と上記纏まりの内部に包含される最大四角形の縦横比の関係性から求め、
上記抽出時間評価値を、上記纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける上記基準フレーム画像との間の差分値に基づいて求め、
上記静止時間評価値を、上記纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける１フレーム前のフレーム画像との間の差分値に基づいて求める
請求項２に記載の記録装置。
【請求項４】
上記索引画像記録部は、
上記記述部に記述された記述部分の消去状態が一定時間に一定回数以上認識された場合、それまでに生成された索引画像データを一つの索引画像データとして確定すると共に、新たな索引画像データの生成処理に移行する
請求項１に記載の記録装置。
【請求項５】
上記索引記述に対して文字認識を行って単語を認識する文字認識部をさらに備え、
上記索引画像データには、上記認識された単語に対応した索引記述を構成する各画素に関連付けて該単語のデータが付加されている
請求項１に記載の記録装置。
【請求項６】
画像音声記録部が、記述者が記述部に記述しながら説明している状態を撮像して得られた動画像データと該動画像データに対応した音声データにタイムコードを付加して記録部に記録する画像音声記録ステップと、
索引画像記録部が、上記動画像データを処理して上記記述部に記述された記述部分を判断し、該記述部分と判断された各部分を索引記述として表示するための索引画像データを生成して記録部に記録する索引画像記録ステップを有し、
上記索引画像データには、上記索引記述を構成する各画素に関連付けて記述時刻に対応した上記タイムコードの値がタイムスタンプとして付加されている
記録方法。
【請求項７】
記録部から索引画像データを読み出し、該索引画像データに基づいて索引画像表示部に索引記述を持つ索引画像を表示する索引画像表示制御部を備え、
上記索引画像データには、上記索引記述を構成する各画素に関連付けて記述時刻に対応したタイムコードの値がタイムスタンプとして付加されており、
上記表示部に表示されている索引画像の索引記述の任意の位置を指定するユーザ操作部と、
上記指定された位置の画素に関連付けて上記索引画像データに付加されているタイムスタンプに基づいて記録部に記録されている動画像データおよび音声データの再生開始位置を制御する再生制御部をさらに備える
再生装置。
【請求項８】
上記再生制御部は、
再生を開始する前に、再生画像表示部に上記再生開始位置の画像を静止画表示する
請求項７に記載の再生装置。
【請求項９】
上記再生制御部は、
上記再生画像表示部に再生開始位置の画像が静止画表示されている状態で上記ユーザ操作部から再生が指示されるとき、上記再生開始位置から上記動画像データおよび上記音声データの再生を開始する
請求項８に再生装置。
【請求項１０】
上記再生制御部は、
上記再生画像表示部に再生開始位置の画像が静止画表示されている状態で画像一覧表示部に上記再生開始位置を含む所定範囲のフレームのサムネイル画像を表示する
請求項８に記載の再生装置。
【請求項１１】
上記再生制御部は、
上記ユーザ操作部で所定のサムネイル画像が選択されるとき、該サムネイル画像のフレームの位置に再生開始位置を変更する
請求項１０に記載の再生装置。
【請求項１２】
上記索引画像データには、文字認識で認識された単語に対応した索引記述を構成する各画素に関連付けて該単語のデータが付加されており、
上記ユーザ操作部で指定された位置の画素に関連付けて上記索引画像データに付加されている単語のデータに基づいて、該単語に係る情報を取得する情報取得部をさらに備え、
上記再生制御部は、
上記再生開始位置の画像に、上記取得された情報を重畳表示する
請求項８に記載の再生装置。
【請求項１３】
上記索引画像データには、文字認識で認識された単語に対応した索引記述を構成する各画素に関連付けて該単語のデータが付加されており、
上記再生制御部は、
上記画像表示部に再生開始位置の画像が静止画表示されている状態で画像一覧表示部に上記再生開始位置のフレームのサムネイル画像と共に、上記指定された位置の画素に関連付けて付加されている単語のデータと同一の単語のデータが関連付けて付加されている他の位置の画素に関連付けて付加されているタイムスタンプの位置のサムネイル画像を表示する
請求項８に記載の再生装置。
【請求項１４】
上記再生制御部は、
上記ユーザ操作部で所定のサムネイル画像が選択されるとき、該サムネイル画像のフレームの位置に再生開始位置を変更する
請求項１３に記載の再生装置。
【請求項１５】
索引画像表示制御部が、記録部から索引画像データを読み出し、該索引画像データに基づいて表示部に索引記述を持つ索引画像を表示する索引画像表示制御ステップを有し、
上記索引画像データには、上記索引記述を構成する各画素に関連付けて記述時刻に対応した上記タイムコードの値がタイムスタンプとして付加されており、
再生制御部が、上記表示部に表示されている索引画像の索引記述の任意の位置の指定に応じて、該指定された位置の画素に関連付けて上記索引画像データに付加されているタイムスタンプに基づいて記録部に記録されている動画像データおよび音声データの再生開始位置を制御する再生制御ステップをさらに有する
再生方法。
【請求項１６】
記述者が記述部に記述しながら説明している状態を撮像して得られた動画像データと該動画像データに対応した音声データにタイムコードを付加して第１の記録部に記録する画像音声記録部と、
上記動画像データを処理して上記記述部に記述された記述部分を判断し、該記述部分と判断された各部分を索引記述として表示するための索引画像データを生成して第２の記録部に記録する索引画像記録部を備え、
上記索引画像データには、上記索引記述を構成する各画素に関連付けて記述時刻に対応した上記タイムコードの値がタイムスタンプとして付加されており、
上記第２の記録部から索引画像データを読み出し、該索引画像データに基づいて表示部に索引記述を持つ索引画像を表示する索引画像表示制御部と、
上記表示部に表示されている索引画像の索引記述の任意の位置を指定するユーザ操作部と、
上記指定された位置の画素に関連付けて上記索引画像データに付加されているタイムスタンプに基づいて上記第１の記録部に記録されている動画像データおよび音声データの再生開始位置を制御する再生制御部をさらに備える
記録再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、記録装置、記録方法、再生装置、再生方法および記録再生装置に関し、詳しくは、記述者が記述部に記述しながら説明している状態における動画像データおよび音声データを記録する記録装置等に関する。
【背景技術】
【０００２】
従来、記述者が記述部に記述しながら説明している状態の画像音声の記録時に索引項目を生成することが知られている。例えば、特許文献１には、記述者の記述が一定時間途切れたら索引項目を生成する手法が提案されている。しかしながら、この手法によって生成される索引項目は記述内容に依るものではなく、また記述が途切れないと索引項目は生成されない。そのため、再生時において、閲覧者がその索引項目から所望の再生開始位置に到達することは困難である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１０１３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本技術の目的は、再生時に閲覧者が所望の画像音声の再生開始位置に容易かつ的確に到達可能とすることにある。
【課題を解決するための手段】
【０００５】
本技術の概念は、
記述者が記述部に記述しながら説明している状態を撮像して得られた動画像データと該動画像データに対応した音声データにタイムコードを付加して記録部に記録する画像音声記録部と、
上記動画像データを処理して上記記述部に記述された記述部分を判断し、該記述部分と判断された各部分を索引記述として表示するための索引画像データを生成して記録部に記録する索引画像記録部を備え、
上記索引画像データには、上記索引記述を構成する各画素に関連付けて記述時刻に対応した上記タイムコードの値がタイムスタンプとして付加されている
記録装置にある。【０００６】
本技術において、画像音声記録部により、記述者が記述部に記述しながら説明している状態を撮像して得られたが動画像データとこの動画像データに対応した音声データにタイムコードが付加されて記録部に記録される。【０００７】
索引画像記録部により、動画像データが処理されて記述部に記述された記述部分が判断される。例えば、索引画像記録部は、現在のフレーム画像と基準フレーム画像との間で画素毎の差分値を抽出し、この差分値が閾値以上である画素が連続する纏まりを把握し、この纏まり毎に記述部分であるか否かを判断する、ようにされてもよい。【０００８】
この場合、例えば、索引画像記録部は、纏まり毎に、形状評価値、抽出時間評価値および静止時間評価値を用いて記述部分であるか否かを判断し、索引画像記録部は、形状評価値を、纏まりを包含する最小四角形と上記纏まりの内部に包含される最大四角形の縦横比に基づいて求め、抽出時間評価値を、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける基準フレーム画像との間の差分値に基づいて求め、静止時間評価値を、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける１フレーム前のフレーム画像との間の差分値に基づいて求める、ようにされてもよい。【０００９】
索引画像記録部により、記述部分と判断された各部分を索引記述として表示するための索引画像データが生成されて記録部に記録される。この記録部は、動画像データや音声データを記録する記録部と同じであっても別であってもよい。ここで、索引画像データには、索引記述を構成する各画素に関連付けて記述時刻に対応したタイムコードの値がタイムスタンプとして付加されている。【００１０】
例えば、索引画像記録部は、記述部に記述された記述部分の消去状態が一定時間に一定回数以上認識された場合、それまでに生成された索引画像データを一つの索引画像データとして確定すると共に、新たな索引画像データの生成処理に移行する、ようにされてもよい。これにより、記述部に記述された記述部分が記述者によって大幅に消去される毎に新たな索引画像データの生成がなされる。【００１１】
このように本技術においては、動画像データが処理されて記述部分と判断された各部分を索引記述として表示するための索引画像データが生成されて記録部に記録されると共に、索引画像データには索引記述を構成する各画素に関連付けて記述時刻に対応したタイムコードの値がタイムスタンプとして付加されるものである。そのため、再生時に索引画像データを用いて索引記述を持つ索引画像を表示でき、閲覧者は索引記述の記述内容に基づいて任意の位置を指定して、その指定位置の記述時刻に対応した画像音声の再生開始位置に容易かつ的確に到達できる。【００１２】
なお、本技術において、例えば、索引記述に対して文字認識を行って単語を認識する文字認識部をさらに備え、索引画像データには、認識された単語に対応した索引記述を構成する各画素に関連付けてこの単語のデータが付加されている、ようにされてもよい。これにより、再生時には、当該文字認識された単語のデータを用いて、関連する情報を取得してその表示を行うことなどが可能となる。【００１３】
また、本技術の他の概念は、
記録部から索引画像データを読み出し、該索引画像データに基づいて索引画像表示部に索引記述を持つ索引画像を表示する索引画像表示制御部を備え、
上記索引画像データには、上記索引記述を構成する各画素に関連付けて記述時刻に対応したタイムコードの値がタイムスタンプとして付加されており、
上記表示部に表示されている索引画像の索引記述の任意の位置を指定するユーザ操作部と、
上記指定された位置の画素に関連付けて上記索引画像データに付加されているタイムスタンプに基づいて記録部に記録されている動画像データおよび音声データの再生開始位置を制御する再生制御部をさらに備える
再生装置にある。【００１４】
本技術において、索引画像表示制御部により、記録部から索引画像データが読み出され、この索引画像データに基づいて索引画像表示部に索引記述を持つ索引画像が表示される。ここで、索引画像データには、索引記述を構成する各画素に関連付けて記述時刻に対応したタイムコードの値がタイムスタンプとして付加されている。動画像データおよび音声データが記録部にタイムコードが付加されて記録されている。【００１５】
ユーザ操作部により、表示部に表示されている索引画像の索引記述の任意の位置が指定される。再生制御部により、指定位置の画素に関連付けて索引画像データに付加されているタイムスタンプに基づいて記録部に記録されている動画像データおよび音声データの再生開始位置が制御される。【００１６】
例えば、再生制御部は、再生を開始する前に、再生画像表示部に再生開始位置の画像を静止画表示する、ようにされてもよい。この場合、例えば、再生制御部は、再生画像表示部に再生開始位置の画像が静止画表示されている状態でユーザ操作部から再生が指示されるとき、再生開始位置から動画像データおよび音声データの再生を開始する、ようにされてもよい。この場合、閲覧者は、再生開始位置の画像を確認してから再生指示を行うことが可能となる。【００１７】
また、再生制御部は、再生画像表示部に再生開始位置の画像が静止画表示されている状態で画像一覧表示部に再生開始位置を含む所定範囲のフレームのサムネイル画像を表示する、ようにされてもよい。この場合、例えば、再生制御部は、ユーザ操作部で所定のサムネイル画像が選択されるとき、このサムネイル画像のフレームの位置に再生開始位置を変更する、ようにされてもよい。この場合、閲覧者は、再生開始位置の変更を、サムネイル画像を参照して容易かつ適切に行い得る。【００１８】
このように本技術においては、索引画像データに基づいて索引記述を持つ索引画像が表示される。索引記述の任意の位置が指定されることで、その位置の画素に関連付けて索引画像データに付加されているタイムスタンプに基づいて記録部に記録されている動画像データおよび音声データの再生開始位置が制御される。そのため、閲覧者は索引記述の記述内容に基づいて任意の位置を指定して、その指定位置の記述時刻に対応した画像音声の再生開始位置に容易かつ的確に到達できる。【００１９】
なお、本技術において、例えば、索引画像データには、文字認識で認識された単語に対応した索引記述を構成する各画素に関連付けてこの単語のデータが付加されており、ユーザ操作部で指定された位置の画素に関連付けて索引画像データに付加されている単語のデータに基づいて、この単語に係る情報を取得する情報取得部をさらに備え、再生制御部は、再生開始位置の画像に、取得された情報を重畳表示する、ようにされてもよい。【００２０】
また、本技術において、例えば、索引画像データには、文字認識で認識された単語に対応した索引記述を構成する各画素に関連付けて該単語のデータが付加されており、再生制御部は、画像表示部に再生開始位置の画像が静止画表示されている状態で画像一覧表示部に再生開始位置のフレームのサムネイル画像と共に、指定位置の画素に関連付けて付加されている単語のデータと同一の単語のデータが関連付けて付加されている他の位置の画素に関連付けて付加されているタイムスタンプの位置のサムネイル画像を表示する、ようにされてもよい。そして、この場合、再生制御部は、ユーザ操作部で所定のサムネイル画像が選択されるとき、このサムネイル画像のフレームの位置に再生開始位置を変更する、ようにされてもよい。
【発明の効果】
【００２１】
本技術によれば、再生時に閲覧者が所望の画像音声の再生開始位置に容易かつ的確に到達できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００２２】
【図１】実施の形態としての記録再生システムの構成例を示すブロック図である。
【図２】カメラによるあるフレームの撮像画像の一例を示す図である。
【図３】索引画像データによる索引画像の一例を示す図である。
【図４】索引記述を構成する各画素に関連付けて記述時刻に対応したタイムコードの値がタイムスタンプとして付加される（埋め込まれる）ことを示す図である。
【図５】再生時における表示画面の一例を示す図である。
【図６】記録再生装置の構成例を示すブロック図である。
【図７】索引画像生成部における処理を説明するためのフローチャートである。
【図８】形状評価の値の求め方を説明するための図である。
【図９】索引画像に含まれる索引記述に対して文字認識を行う場合における記録再生装置の構成例を示すブロック図である。
【図１０】索引画像データに付加される単語のデータに基づく参照情報の表示を説明するための図である。
【発明を実施するための形態】
【００２３】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００２４】
＜１．実施の形態＞
［記録再生システムの構成例］
図１は、実施の形態としての画像処理システム１０の構成例を示している。この画像処理システム１０は、カメラ１０１と、記録再生装置１０２を有している。
【００２５】
カメラ１０１は、記述者２０１が記述部２０２に記述２０３を加えながら説明（補足、解説）を口頭で行っている状態を撮像して動画像データを得ると共に、その動画像データに対応した音声データを得る。この場合、カメラ１０１は、記述者２０１および記述部２０２が撮像可能な画角に固定され、さらに記述者２０１の口頭での説明が集音可能な位置に位置される。
【００２６】
図２は、カメラ１０１によるあるフレームの撮像画像の一例を示している。この撮像画像においては、記述部２０２の上に記述２０３が存在し、その前側に記述者２０１が存在している。記述者２０１が移動や身振りや手振りをすることで、このフレームでは記述者２０１で隠されている記述２０３の部分も、この後のフレームにおいてカメラ１０１で撮像できる。
【００２７】
記述者２０１としては、例えば、大学の講義室で学生に講義を行う教授などの講義者、会社の会議室で他の社員にプレゼンテーションを行う社員などが想定される。記述部２０２は、ホワイトボードや黒板などの記述可能な部分であり、講義室や会議室の記述可能な壁部であってもよい。
【００２８】
記録再生装置１０２は、記録時には、以下の処理をする。すなわち、記録再生装置１０２は、カメラ１０１で得られた動画像データおよび音声データにタイムコードを付加して記録部に記録する。また、記録再生装置１０２は、カメラ１０１で得られた動画像データを処理して記述部分を判断し、この記述部分と判断された各部分を索引記述として表示するための索引画像データを生成して記録部に記録する。なお、動画像データおよび音声データを記録する記録部と索引画像データを記録する記録部は同じであっても別であってもよく、例えば半導体メモリで構成される。
【００２９】
記録再生装置１０２は、現在のフレーム画像と基準フレーム画像との間で画素毎の差分値を抽出し、この差分値が閾値以上である画素が連続する纏まりを把握し、この纏まり毎に記述部分であるか否かを判断する。具体的には、記録再生装置１０２は、纏まり毎に、形状評価値、抽出時間評価値および静止時間評価値を用いて記述部分であるか否かを判断する。
【００３０】
記録再生装置１０２は、形状評価値を、纏まりを包含する最小四角形と纏まりの内部に包含される最大四角形の縦横比の関係性から求める。また、画像処理装置１０２は、抽出時間評価値を、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける基準フレーム画像との間の差分値に基づいて求める。また、画像処理装置１０２は、静止時間評価値を、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける１フレーム前のフレーム画像との間の差分値に基づいて求める。
【００３１】
記録再生装置１０２は、記述部２０２に記述された記述２０３の部分の消去状態が一定時間に一定回数以上認識された場合、それまでに生成された索引画像データを一つの索引画像データとして確定すると共に、新たな索引画像データの生成処理に移行する。これにより、記録再生装置１０２は、記述部２０２に記述された記述２０３の部分が記述者２０１によって全面的に消去される毎に新たに索引画像データを生成する。これにより、記録終了時には、記録部に、動画像データおよび音声データの他に、一つの索引画像データ、または複数の索引画像データ（索引画像データ群）が記録された状態となる。
【００３２】
この索引画像データには、索引記述を構成する各画素に関連付けて記述時刻に対応したタイムコードの値がタイムスタンプとして付加される。図３は、索引画像データによる画像、つまり索引画像の一例を示している。この索引画像には索引記述２０３Ａが存在する。
【００３３】
図４は、索引記述を構成する各画素に関連付けて記述時刻に対応したタイムコードの値がタイムスタンプとして付加される（埋め込まれる）ことを示している。図示の例において、「Ａ」のキャラクタの頂部を構成する各画素には、当該各画素が記述された時刻に対応したタイムスタンプ「ｔ０」が関連付けされている。また、図示の例において、「Ｂ」のキャラクタの底部を構成する各画素には、当該各画素が記述された時刻に対応したタイムスタンプ「ｔ１」が関連付けされている。
【００３４】
また、記録再生装置１０２は、再生時には、以下の処理をする。すなわち、記録再生装置１０２は、記録部から索引画像データを読み出し、この索引画像データに基づいて索引画像表示部に索引記述を持つ索引画像を表示する。この状態で、閲覧者が、ユーザ操作部を操作して、索引画像内の索引記述のうち所望の記述内容の位置を指定した場合、記録再生装置１０２は、指定位置の画素に関連付けて索引画像データに付加されているタイムスタンプに基づいて、記録部に記録されている動画像データおよび音声データの再生開始位置を制御する。
【００３５】
この場合、記録再生装置１０２は、再生を開始する前に、再生画像表示部に、再生開始位置の画像を静止画表示する。この状態で、閲覧者が、ユーザ操作部を操作して、再生を指示した場合、記録再生装置１０２は、再生開始位置から動画像データおよび音声データの再生を開始し、画像表示および音声出力を開始する。
【００３６】
また、記録再生装置１０２は、画像表示部に再生開始位置の画像が静止画表示されている状態で、画像一覧表示部に、再生開始位置を含む所定範囲のフレームのサムネイル画像を表示する。この所定範囲は、例えば、再生開始位置から前の範囲のみ、あるいは再生開始位置から前あるいは後の双方の範囲とされる。この状態で、閲覧者が、ユーザ操作部を操作して、所望のサムネイル画像を選択するとき、記録再生装置１０２は、再生開始位置を当該選択されたサムネイル画像のフレーム位置に変更する。
【００３７】
図５は、再生時における表示画面の一例を示している。この表示画面には、索引画像表示部３０１、画像一覧表示部３０２と、再生画像表示部３０３が存在する。索引画像表示部３０１には、上述したように、索引画像データによる索引画像が表示される。図示の例においては、“Index 00”、“Index 01”、“Index 02”でそれぞれ識別される３つの索引画像が存在しており、閲覧者が選択した“Index 00”の索引画像が最前面に表示されている。
【００３８】
また、図示の例においては、閲覧者により、ユーザ操作部が操作されて、“Index 00”の索引画像内の索引記述のうちマウスポインタ３０４で示される位置（二次元座標位置）が指定された場合を示している。再生画像表示部３０３に、指定位置の画素に関連付けて索引画像データに付加されているタイムスタンプで示されるタイムコード値のフレーム画像が、再生開始位置の画像として静止画表示されている。
【００３９】
画像一覧表示部３０２に、再生開始位置を含む所定範囲のフレームのサムネイル画像が表示されている。図示の例においては、再生開始位置から前あるいは後の双方の範囲のサムネイル画像が時系列的に表示されている。この状態で、閲覧者が、所望のサムネイル画像を選択した場合には、再生開始位置は当該選択されたサムネイル画像のフレーム位置に変更され、この再生開始位置の変更に伴って、再生画像表示部３０３の静止画表示や画像一覧表示部３０２のサムネイル画像の表示も変化する。
【００４０】
なお、図示の例においては、再生開始位置のフレームの他、前に２フレーム、後に１フレームの４フレーム分のサムネイル画像が表示されているが、表示フレームの数はこれに限定されない。また、各表示フレームの間隔は１フレームである必要はなく、所定のフレーム間隔であってもよい。また、このフレーム間隔は、ユーザが任意に調整可能としてもよい。
【００４１】
再生画像表示部３０３に再生開始位置のフレーム画像が静止画表示されている状態で、閲覧者が、ユーザ操作部を操作して、再生を指示した場合、再生開始位置から動画像データおよび音声データの再生が開始され、従って再生画像表示部３０３には再生開始位置からの再生画像が順次表示される。なお、再生画像の表示と同期して、図示しない音声出力部から再生音声の出力もなされる。
【００４２】
［記録再生装置の構成］
図６は、記録再生装置１０２の構成例を示している。この記録再生装置１０２は、制御部１２１と、ユーザ操作部１２２と、通信インタフェース（通信Ｉ/Ｆ）１２３を有している。また、この記録再生装置１０２は、データ入力部１３１と、符号化部１３２と、記録再生部１３３と、索引画像生成部１３４と、復号化部１３５と、表示処理部１３６と、画像表示部１３７と、音声出力部１３８を有している。
【００４３】
制御部１２１は、記録再生装置１０２の各部の動作を制御する。ユーザ操作部１２２は、ユーザインタフェースを構成し、ユーザ（再生時は閲覧者）が各種操作を行うためのキー、タッチパネル、リモコンなどである。通信インタフェース１２３は、制御部１２１の制御のもと、インターネット等のネットワーク上に存在するサーバとの間で通信を行って、例えばこのサーバから所望の情報を取得する。
【００４４】
データ入力部１３１は、カメラ１０１で得られた動画像データおよび音声データを入力する部分である。例えば、このデータ入力部１３１は、カメラ１０１との間を接続するケーブルコネクト部であってもよい。また、例えば、このデータ入力部１３１は、カメラ１０１との間を通信で接続する場合には、無線あるいは有線の通信インタフェースであってもよい。
【００４５】
符号化部１３２は、データ入力部１３１に入力されたた動画像データおよび音声データを符号化する。記録再生部１３３は、記録時には、符号化部１３２で得られた画像および音声の符号化データを、図示しない例えば半導体メモリ等の記録媒体に、タイムコードＴＣを付加して記録する。
【００４６】
索引画像生成部１３４は、データ入力部１３１に入力された動画像データを処理して記述部２０２に記述された記述２０３の部分を判断し、記述部分と判断された各部分を索引記述として表示するための索引画像データを生成する。この場合、この索引画像データには、索引記述を構成する各画素に関連付けて記述時刻に対応したタイムコードＴＣの値が付加される。索引画像生成部１３４は、フレーム毎に、図７のフローチャートのスタートからエンドまでの処理を、例えばプログラムに基づいてソフトウェアで実行する。
【００４７】
まず、索引画像生成部１３４は、ステップＳＴ１において、あるフレームで、そのフレームの画像と基準フレーム画像（最初は記述部２０２に記述が行われる前の状態のフレーム画像）との間で画素毎の差分を抽出し、その差分抽出結果から、画素値差分の大きな画素、つまり基準フレーム画像の状態から変化が生じた画素を抽出し、そのような画素が連続する纏まり（所定数）を把握する。
【００４８】
このようにステップＳＴ１で把握される纏まりには、記述２０３の部分が含まれるが、その他に記述者２０１等の部分も含まれる。以下のステップでは、纏まり毎に、記述２０３の部分であるか否かを判断する。この判断には、形状評価、抽出時間評価および静止時間評価の値を用いる。
【００４９】
次に、索引画像生成部１３４は、ステップＳＴ２において、形状評価の値αを求める。索引画像生成部１３４は、この値αを、纏まりを包含する最小四角形（外部四角形）と纏まりの内部に包含される最大四角形（内部四角形）の縦横比の関係性に基づいて求める。図８（ａ）は、記述２０３の部分に対応した纏まりの一例を示しており、矢印Ｐｏで示す四角形が外部四角形であり、矢印Ｐｉで示す四角形が内部四角形である。また、図８（ｂ）は、記述者２０１の部分に対応した纏まりの一例を示しており、矢印Ｑｏで示す四角形が外部四角形であり、矢印Ｑｉで示す四角形が内部四角形である。
【００５０】
記述２０３の部分に対応した纏まりの場合、外部四角形（Ｐｏ）に比べて内部四角形（Ｐｉ）は小さくなることから、形状評価の値αは高くなる。一方、記述者２０１の部分に対応した纏まりの場合、記述２０３の部分に対応した纏まりに比べて大きな纏まりとなることから、外部四角形（Ｑｏ）に比べて内部四角形（Ｑｉ）も一定の大きさを持つ。そのため、形状評価の値αは低くなる。
【００５１】
次に、索引画像生成部１３４は、ステップＳＴ３において、抽出時間評価の値βを求める。索引画像生成部１３４は、この値βを、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける基準フレーム画像との間の差分値に基づいて求めるものであり、差分値が大きなフレームが多くあるほどその値は高くなる。
【００５２】
例えば、索引画像生成部１３４は、纏まりに含まれる画素（全部の画素あるいは一部の画素）について、基準フレーム画像からの差分が大きかったフレーム（差分抽出フレーム）か否かの結果を蓄積していき、連続した差分抽出フレーム数（この評価が複数画素で行われるときは例えば平均値）を評価値βとする。
【００５３】
記述２０３の部分のような場合、記述された後に大きな差分が抽出され続けるので、評価値βは高くなる。一方、移動している記述者２０１の部分のような場合、記述者２０１が通過しきると大きな差分の抽出が途切れるので、評価値βは低くなる。ただし、記述者２０１が移動せずに止まる場合、記述者２０１の部分であるにも関わらず評価値βが高くなることがある。
【００５４】
次に、索引画像生成部１３４は、ステップＳＴ４において、静止状態評価の値γを求める。索引画像生成部１３４は、この値γを、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける１フレーム前のフレーム画像との間の差分値に基づいて求めるものであり、差分値が大きなフレームが多くあるほどその値は低くなる。
【００５５】
例えば、索引画像生成部１３４は、纏まりに含まれる画素（全部の画素あるいは一部の画素）について、１フレーム前との画素差分を蓄積していき、その差分値の大きさの逆数（この評価が複数画素で行われるときは例えば平均値）を評価値γとする。
【００５６】
記述２０３の部分のような場合、１フレーム前の画像との間の画素差分値はゼロとなるか、あるいは小さいため、評価値γは高くなる。一方、移動や身振り手振りする記述者２０１の部分のような場合、１フレーム前の画像との間の画素差分値が大きくなるため、評価値γは低くなる。
【００５７】
次に、索引画像生成部１３４は、ステップＳＴ５において、ステップＳＴ２からステップＳＴ４で求めた各評価の値α、β、γを評価関数Ｅ（α、β、γ）に代入して、記述か否かを判断するための評価値を得る。そして、索引画像生成部１３４は、このステップＳＴ５において、さらに、評価値が閾値ＴＨｒより大きいとき、纏まりは、記述部分（記述２０３の部分）であると判断する。
【００５８】
次に、索引画像生成部１３４は、ステップＳＴ６において、ステップＳＴ５で記述部分と判断された纏まりに含まれる各画素を索引記述の画素として保持する。なお、このように記述部分と判断された纏まりには、以前に記述部分として保持されている画素からなる纏まりも含まれる。この纏まりに関してはその後に消去された状態になったものと認識し、索引記述の画素としての再保持はしない。
【００５９】
ここで、保持するとは、例えば、記述部分と判断された纏まりに含まれる各画素の値をフレームメモリの対応画素位置に書き込んで保持しておくことである。なお、記述部分と判断された纏まりに含まれる各画素の値そのものをフレームメモリの対応画素位置に書き込んでおく代わりに、記述部分と判断された纏まりに含まれる各画素の画素位置の情報のみを保持しておく構成であってもよい。
【００６０】
索引画像生成部１３４は、記述部分と判断された纏まりに含まれる各画素を索引記述の画素として保持する際に、各画素に関連付けて記述時刻に対応したタイムコードの値、例えば記述部分と判断された時点のタイムコードＴＣの値をタイムスタンプとして付加する（図４参照）。
【００６１】
次に、索引画像生成部１３４は、ステップＳＴ７において、現時点で索引記述として保持されている各画素の値を記述２０３に対応した値としたフレーム画像を生成し、当該フレーム画像を新たな基準フレーム画像とする。次のフレームにおける記述判断処理では、このように更新された基準フレーム画像が用いられることとなる。
【００６２】
次に、索引画像生成部１３４は、ステップＳＴ８において、一つの索引画像データの生成終了判断をする。この場合、上述の消去された状態が一定時間に一定回数以上認識された場合、一つの索引画像データの生成が終了したものと判断し、それまでに生成された索引画像データを一つの索引画像データとして確定すると共に、新たな索引画像データの生成処理に移行する。なお、索引画像生成部１３４は、動画像データおよび音声データの記録終了時にも一つの索引画像データの生成が終了したものと判断し、それまでに生成された索引画像データを一つの索引画像データとして確定する。
【００６３】
図６に戻って、記録再生部１３３は、記録時には、上述したように符号化部１３２で得られた画像および音声の符号化データにタイムコードＴＣを付加して記録媒体に記録すると共に、索引画像生成部１３４で生成された所定数の索引画像データを記録媒体に記録する。
【００６４】
また、記録再生部１３３は、再生時には、記録媒体から所定数の索引画像データを再生して表示処理部１３６に送る。また、記録再生部１３３は、閲覧者の再生開始位置の指定、再生指示などの操作に応じて、制御部１３３の制御のもと、画像表示や音声出力のために必要とする画像や音声の符号化データを記録媒体から再生して復号化部１３３に送る。復号化部１３５は、画像や音声の符号化データを復号化して、画像データや音声データを得る。
【００６５】
表示処理部１３６は、復号化部１３５で得られる画像データ、記録再生部１３３で得られる索引画像データに基づいて、さらにはユーザ操作部１２２からの閲覧者の操作に応じて、制御部１２１の制御のもと、表示画面（図５参照）を得るための表示画像データを生成する。画像表示部１３７は、表示処理部１３６で得られた表示画像データによる表示画面を提示する。また、音声出力部１３８は、復号化部１３５で得られた音声データによる音声を出力する。
【００６６】
図６に示す記録再生装置の動作を簡単に説明する。最初に、記録時の動作を説明する。データ入力部１３１に、カメラ１０１で得られた動画像データおよび音声データが入力される。これらの動画像データおよび音声データは、符号化部１３２に供給されて、符号化される。画像および音声の符号化データは、記録再生部１３３に供給され、タイムコードＴＣが付加されて記録媒体に記録される。
【００６７】
また、データ入力部１３１にカメラ１０１から入力された動画像データは、索引画像生成部１３４に供給される。索引画像生成部１３４では、動画像データが処理されて記述部２０２に記述された記述２０３の部分が判断され、記述部分と判断された各部分を索引記述として表示するための索引画像データが生成される。この索引画像データは、記録再生部１３３に供給され、記録媒体に記録される。
【００６８】
次に、再生時の動作を説明する。記録再生部１３３では記録媒体から索引画像データが再生され、表示処理部１３６に供給される。表示処理部１３６では、この索引画像データに基づいて、表示画面の索引画像表示部３０１に索引画像を表示するための表示画像データを生成する。この表示画像データは、画像表示部１３７に供給され、索引画像表示部３０１に索引画像が表示された表示画面が提示される。
【００６９】
この状態において、閲覧者によりユーザ操作部１２２が操作されて索引画像内の索引記述のうち所望の位置（二次元座標位置）が指定されると、制御部１２１は、当該指定位置の画素に関連付けて索引画像データに付加されているタイムスタンプで示されるタイムコード値のフレームが再生開始位置と認識する。
【００７０】
このとき、記録再生部１３３では、制御部１２１の制御のもと、その再生開始位置とその前後のフレームの符号化画像データが再生され、符号化部１３５で復号化されて表示処理部１３６に供給される。表示処理部１３６では、各フレームの画像データに基づいて、表示画面の再生画像表示部３０３に再生開始位置の画像を静止画表示し、また画像一覧表示部３０２に再生開始位置の前後のフレームのサムネイル画像を表示するための表示画像データが生成される。
【００７１】
この表示画像データは、画像表示部１３７に供給され、索引画像表示部３０１に索引画像が表示される他に、再生画像表示部３０３に再生開始位置の画像が表示されると共に、画像一覧表示部３０２に再生開始位置の前後のフレームのサムネイル画像が時系列で表示された表示画面（図５参照）が提示される。
【００７２】
この状態において、閲覧者によりユーザ操作部１２２が操作されて再生開始位置のサムネイル画像とは別のサムネイル画像が選択されると、制御部１２１では、当該選択されたサムネイル画像のフレーム位置に再生開始位置が変更されたものと認識する。このとき、記録再生部１３３では、制御部１２１の制御のもと、その変更後の再生開始位置とその前後のフレームの符号化画像データが再生され、符号化部１３５で復号化されて表示処理部１３６に供給される。これにより、画像表示部１３７で提示される表示画面において、再生画像表示部３０３と画像一覧表示部３０２の画像表示は再生開始位置の変更後に対応したものとなる。
【００７３】
再生画像表示部３０３に再生開始位置の画像が静止画表示されている状態で、閲覧者によりユーザ操作部１２２が操作されて再生が指示されると、制御部１２１の制御のもと、記録再生部１３３では、再生開始位置から画像および音声の符号化データが再生され、復号化部１３５で復号化されて動画像データおよび音声データが得られる。
【００７４】
復号化部１３５で得られた動画像データは表示処理部１３６に供給される。表示処理部１３６では、動画像データに基づいて、表示画面の再生画像表示部３０３に動画像を表示するための表示画像データを生成する。この表示画像データは、画像表示部１３７に供給され、再生画像表示部３０３に動画像が表示された表示画面が提示される。なお、この場合、画像表示部１３７で提示される表示画面の全体に動画像が表示されるように構成されてもよい。
【００７５】
また、復号化部１３５で得られた音声データは音声出力部１３８に供給される。この音声出力部１３８では、画像表示部１３７に表示される動画像データに対応した音声出力が得られる。
【００７６】
なお、別な再生開始位置からの再生を希望する場合、閲覧者は、画像表示部１３７に提示されている表示画面の索引画像表示部３０１において、所望の索引画像を選択し、選択された索引画像内で索引記述の所望位置を指定する操作を行えばよい。
【００７７】
上述したように、図１に示す記録再生システム１０において、記録再生装置１０２では、記録時には、動画像データが処理されて記述部分と判断された各部分を索引記述として表示するための索引画像データが生成されて記録されると共に、索引画像データには索引記述を構成する各画素に関連付けて記述時刻に対応したタイムコードの値がタイムスタンプとして付加される。そのため、再生時に索引画像データを用いて索引記述を持つ索引画像を表示でき、閲覧者は索引記述の記述内容に基づいて任意の位置を指定して、その指定位置の記述時刻に対応した画像音声の再生開始位置に容易に到達できる。
【００７８】
また、図１に示す記録再生システム１０において、記録再生装置１０２では、再生時には、索引画像データに基づいて索引記述を持つ索引画像が表示され、索引記述の任意の位置が指定されることで、その位置の画素に関連付けて索引画像データに付加されているタイムスタンプに基づいて動画像データおよび音声データの再生開始位置が制御される。そのため、閲覧者は索引記述の記述内容に基づいて任意の位置を指定して、その指定位置の記述時刻に対応した画像音声の再生開始位置に容易かつ的確に到達できる。
【００７９】
また、図１に示す記録再生システム１０において、記録再生装置１０２では、再生時には、再生が開始される前に再生画像表示部３０３に再生開始位置の画像が静止画表示され、その状態で閲覧者の再生指示があることで、再生開始位置から動画像データおよび音声データの再生が開始される。そのため、閲覧者は、再生開始位置の画像を確認してから再生指示を行うことが可能となる。
【００８０】
また、図１に示す記録再生システム１０において、記録再生装置１０２では、再生時には、再生画像表示部３０３に再生開始位置の画像が静止画表示されている状態で画像一覧表示部３０２に再生開始位置を含む所定範囲のフレームのサムネイル画像が表示され、閲覧者が所定のサムネイル画像が選択されるとき、このサムネイル画像のフレームの位置に再生開始位置が変更される。そんため、閲覧者は、再生開始位置の変更を、サムネイル画像を参照して容易かつ適切に行い得る。
【００８１】
講義を音声映像に記録する例において、多くの講義を重ねるごとに記録された画像音声の量は増え続け、延べ記録時間が膨大になることが予想される。閲覧時にその膨大な記録画像音声を全て見返すことは不可能であり、必要な箇所の閲覧を的確かつ迅速に行える必要がある。
【００８２】
本技術では、索引画像が記述者の記述した内容そのものを投影しているため、まず索引画像を見ることで画像全体の概要を把握することができる。さらには、索引画像中の詳細を閲覧したい項目に関して、その項目を示す記述内容を手がかりにして即時に求める内容の画像音声を閲覧することができる。これは、閲覧者が講義を画像音声から理解することを助け、より短時間での内容理解を実現させることにつながる。
【００８３】
また、会議を記録する例に置き換えると、後から会議の必要な内容の部分を迅速に閲覧できるようになるため、ビジネスの場においても効率化や実工数の削減を促すことができる。
【００８４】
＜２．変形例＞
なお、上述実施の形態においては、索引画像データには索引記述を構成する各画素に関連付けて記述時刻に対応したタイムコードの値がタイムスタンプとして付加されることを述べた。索引画像に含まれる索引記述に対して文字認識を行って単語を認識し、索引画像データには、さらに、認識された単語に対応した索引記述を構成する各画素に関連付けてその単語のデータ（テキストデータ）が付加されてもよい。
【００８５】
図９は、索引画像に含まれる索引記述に対して文字認識を行う場合における記録再生装置１０２Ａの構成例を示している。この記録再生装置１０２Ａは、図６に示す記録再生装置１０２Ａと同様に構成され、文字認識部１３９をさらに有している。
【００８６】
文字認識部１３９は、制御部１２１の制御のもと、記録再生部１３３の記録媒体に記録されている索引画像データを読み出し、この索引画像データに基づいて、索引画像に含まれる索引記述に対して文字認識処理を行って索引記述に含まれる単語を認識する。また、この文字認識部１３９において、索引画像データには、認識された単語に対応した索引記述を構成する各画素に関連付けてこの単語のデータ（テキストデータ）がさらに付加される。このように単語のデータが付加された索引画像データは、記録再生部１３３に供給され、記録媒体に再記録されて保持される。
【００８７】
索引画像データに索引記述に含まれる単語のデータが付加されることで、例えば出現頻度の高い単語をトリガとして、その出現時刻全ての画像を連続再生したり、あるいは、その単語の意味や関連画像を参照情報として表示したりすることも可能となる。この参照情報は、例えば、通信インタフェース１２３によってインターネット上のサーバから取得される。
【００８８】
図１０は、参照情報の表示の一例を示している。図示の例は、閲覧者が、ユーザ操作部を操作して、“Index 00”の索引画像内の索引記述のうちマウスポインタ３０４で示される位置（二次元座標位置）が指定された場合を示している。この場合、再生画像表示部３０３に、指定位置の画素に関連付けて索引画像データに付加されているタイムスタンプで示されるタイムコード値のフレーム画像が、再生開始位置の画像として静止画表示される。
【００８９】
また、図示の例では、指定位置の画素に関連付けて、「ＡＢＣＤ」の単語データが付加されていた場合を示している。そのため、「ＡＢＣＤ」の単語に係る参照情報が取得されて、再生画像表示部３０３には、その参照情報画像３０５が重畳表示されている。なお、図示の例は、閲覧者が、「Ｄ」のキャラクタ部分を指定しているが、例えば「Ａ」〜「Ｃ」のいずれのキャラクタ部分を指定した場合にあっても、索引画像データにはそれらに関連付けて「ＡＢＣＤ」の単語データが付加されるので、同様の参照情報表示がなされることになる。
【００９０】
また、索引画像データに索引記述に含まれる単語のデータが付加されることで、認識された単語が記録動画像内で現れた箇所を特定する索引画像内さらには索引画像間の検索例も考えられる。その場合、図５の画像一覧表示部３０２には、時系列のサムネイル画像が表示されるのではなく、閲覧者の指定位置に対応した再生開始位置のフレームのサムネイル画像だけではなく、その指定位置の単語と同一の単語が現れた他のフレームのサムネイル画像も並べて表示される。そして、閲覧者によって所望のサムネイル画像が選択されるとき、そのサムネイル画像のフレームの位置に再生開始位置が変更される。
【００９１】
なお、上述したように索引画像データに認識された単語に対応した索引記述を構成する各画素に関連付けてその単語のデータ（テキストデータ）が付加される際に、さらに、同一の単語が現れる他の一つあるいは複数のフレームのタイムコードＴＣの値がタイムスタンプとして付加されるようにされてもよい。
【００９２】
また、上述実施の形態においては、記述者２０１が記述部２０２、例えばホワイトボード、黒板などに記述２０３を加えながら説明している状態を撮像して得られた動画像データを処理するものであったが、その他の同様の動画像データを処理することもできる。例えば、記述者が机上で紙に記述を加えながら説明している状態を撮像して得られた動画像データを同様に処理して、再生時の便宜を図ることも可能である。
【００９３】
また、記述部２０２上の記述は、文字だけに限定されるものではなく、図形やマークであってもよく、また、筆記によるものだけでなく、記述部２０２上に掲示されたものであってもよい。
【００９４】
また、本技術は、以下のような構成を取ることもできる。
（１）記述者が記述部に記述しながら説明している状態を撮像して得られた動画像データと該動画像データに対応した音声データにタイムコードを付加して記録部に記録する画像音声記録部と、
上記動画像データを処理して上記記述部に記述された記述部分を判断し、該記述部分と判断された各部分を索引記述として表示するための索引画像データを生成して記録部に記録する索引画像記録部を備え、
上記索引画像データには、上記索引記述を構成する各画素に関連付けて記述時刻に対応した上記タイムコードの値がタイムスタンプとして付加されている
記録装置。
（２）上記索引画像記録部は、
現在のフレーム画像と基準フレーム画像との間で画素毎の差分値を抽出し、該差分値が閾値以上である画素が連続する纏まりを把握し、該纏まり毎に上記記述部分であるか否かを判断する
前記（１）に記載の記録装置。
（３）上記索引画像記録部は、
上記纏まり毎に、形状評価値、抽出時間評価値および静止時間評価値を用いて上記記述部分であるか否かを判断し、
上記索引画像記録部は、
上記形状評価値を、上記纏まりを包含する最小四角形と上記纏まりの内部に包含される最大四角形の縦横比の関係性から求め、
上記抽出時間評価値を、上記纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける上記基準フレーム画像との間の差分値に基づいて求め、
上記静止時間評価値を、上記纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける１フレーム前のフレーム画像との間の差分値に基づいて求める
前記（２）に記載の記録装置。
（４）上記索引画像記録部は、
上記記述部に記述された記述部分の消去状態が一定時間に一定回数以上認識された場合、それまでに生成された索引画像データを一つの索引画像データとして確定すると共に、新たな索引画像データの生成処理に移行する
前記（１）から（３）のいずれかに記載の記録装置。
（５）上記索引記述に対して文字認識を行って単語を認識する文字認識部をさらに備え、
上記索引画像データには、上記認識された単語に対応した索引記述を構成する各画素に関連付けて該単語のデータが付加されている
前記（１）から（４）のいずれかに記載の記録装置。
（６）画像音声記録部が、記述者が記述部に記述しながら説明している状態を撮像して得られた動画像データと該動画像データに対応した音声データにタイムコードを付加して記録部に記録する画像音声記録ステップと、
索引画像記録部が、上記動画像データを処理して上記記述部に記述された記述部分を判断し、該記述部分と判断された各部分を索引記述として表示するための索引画像データを生成して記録部に記録する索引画像記録ステップを有し、
上記索引画像データには、上記索引記述を構成する各画素に関連付けて記述時刻に対応した上記タイムコードの値がタイムスタンプとして付加されている
記録方法。
（７）記録部から索引画像データを読み出し、該索引画像データに基づいて索引画像表示部に索引記述を持つ索引画像を表示する索引画像表示制御部を備え、
上記索引画像データには、上記索引記述を構成する各画素に関連付けて記述時刻に対応したタイムコードの値がタイムスタンプとして付加されており、
上記表示部に表示されている索引画像の索引記述の任意の位置を指定するユーザ操作部と、
上記指定された位置の画素に関連付けて上記索引画像データに付加されているタイムスタンプに基づいて記録部に記録されている動画像データおよび音声データの再生開始位置を制御する再生制御部をさらに備える
再生装置。
（８）上記再生制御部は、
再生を開始する前に、再生画像表示部に上記再生開始位置の画像を静止画表示する
前記（７）に記載の再生装置。
（９）上記再生制御部は、
上記再生画像表示部に再生開始位置の画像が静止画表示されている状態で上記ユーザ操作部から再生が指示されるとき、上記再生開始位置から上記動画像データおよび上記音声データの再生を開始する
前記（８）に再生装置。
（１０）上記再生制御部は、
上記再生画像表示部に再生開始位置の画像が静止画表示されている状態で画像一覧表示部に上記再生開始位置を含む所定範囲のフレームのサムネイル画像を表示する
前記（８）または（９）に記載の再生装置。
（１１）上記再生制御部は、
上記ユーザ操作部で所定のサムネイル画像が選択されるとき、該サムネイル画像のフレームの位置に再生開始位置を変更する
前記（１０）に記載の再生装置。
（１２）上記索引画像データには、文字認識で認識された単語に対応した索引記述を構成する各画素に関連付けて該単語のデータが付加されており、
上記ユーザ操作部で指定された位置の画素に関連付けて上記索引画像データに付加されている単語のデータに基づいて、該単語に係る情報を取得する情報取得部をさらに備え、
上記再生制御部は、
上記再生開始位置の画像に、上記取得された情報を重畳表示する
前記（８）から（１１）のいずれかに記載の再生装置。
（１３）上記索引画像データには、文字認識で認識された単語に対応した索引記述を構成する各画素に関連付けて該単語のデータが付加されており、
上記再生制御部は、
上記画像表示部に再生開始位置の画像が静止画表示されている状態で画像一覧表示部に上記再生開始位置のフレームのサムネイル画像と共に、上記指定された位置の画素に関連付けて付加されている単語のデータと同一の単語のデータが関連付けて付加されている他の位置の画素に関連付けて付加されているタイムスタンプの位置のサムネイル画像を表示する
前記（８）から（１２）のいずれかに記載の再生装置。
（１４）上記再生制御部は、
上記ユーザ操作部で所定のサムネイル画像が選択されるとき、該サムネイル画像のフレームの位置に再生開始位置を変更する
前記（１３）に記載の再生装置。
（１５）索引画像表示制御部が、記録部から索引画像データを読み出し、該索引画像データに基づいて表示部に索引記述を持つ索引画像を表示する索引画像表示制御ステップを有し、
上記索引画像データには、上記索引記述を構成する各画素に関連付けて記述時刻に対応した上記タイムコードの値がタイムスタンプとして付加されており、
再生制御部が、上記表示部に表示されている索引画像の索引記述の任意の位置の指定に応じて、該指定された位置の画素に関連付けて上記索引画像データに付加されているタイムスタンプに基づいて記録部に記録されている動画像データおよび音声データの再生開始位置を制御する再生制御ステップをさらに有する
再生方法。
（１６）記述者が記述部に記述しながら説明している状態を撮像して得られた動画像データと該動画像データに対応した音声データにタイムコードを付加して第１の記録部に記録する画像音声記録部と、
上記動画像データを処理して上記記述部に記述された記述部分を判断し、該記述部分と判断された各部分を索引記述として表示するための索引画像データを生成して第２の記録部に記録する索引画像記録部を備え、
上記索引画像データには、上記索引記述を構成する各画素に関連付けて記述時刻に対応した上記タイムコードの値がタイムスタンプとして付加されており、
上記第２の記録部から索引画像データを読み出し、該索引画像データに基づいて表示部に索引記述を持つ索引画像を表示する索引画像表示制御部と、
上記表示部に表示されている索引画像の索引記述の任意の位置を指定するユーザ操作部と、
上記指定された位置の画素に関連付けて上記索引画像データに付加されているタイムスタンプに基づいて上記第１の記録部に記録されている動画像データおよび音声データの再生開始位置を制御する再生制御部をさらに備える
記録再生装置。
【符号の説明】
【００９５】
１０・・・記録再生システム
１０１・・・カメラ
１０２，１０２Ａ・・・記録再生装置
１２１・・・制御部
１２２・・・ユーザ操作部
１２３・・・通信インタフェース
１３１・・・データ入力部
１３２・・・符号化部
１３３・・・記録再生部
１３４・・・索引画像生成部
１３５・・・復号化部
１３６・・・表示処理部
１３７・・・画像表示部
１３８・・・音声出力部
１３９・・・文字認識部
３０１・・・索引画像表示部
３０２・・・再生画像表示部
３０３・・・画像一覧表示部
３０４・・・マウスポインタ
３０５・・・参照情報画像
【図１】
2018168508.tif 000003
【図２】
2018168508.tif 000004
【図３】
2018168508.tif 000005
【図４】
2018168508.tif 000006
【図５】
2018168508.tif 000007
【図６】
2018168508.tif 000008
【図７】
2018168508.tif 000009
【図８】
2018168508.tif 000010
【図９】
2018168508.tif 000011
【図１０】
2018168508.tif 000012
【国際調査報告】
2018168508.tif 000013
2018168508.tif 000014