(57)【要約】【課題】  本発明は、高速度画像観察装置および高速度画像コマ戻し方法に関し、圧縮符号化された映像データのデコードにより映像再生するシステムにおける映像のコマ戻しをスムーズにかつ迅速に行うことを目的とする。【解決手段】  ＭＰＥＧ４形式で圧縮符号化された映像データをデコードすることにより映像を表示再生する。かかる表示再生が行われた際に、既に表示再生が行われたフレームのＢＭＰ形式の表示データを、現に表示再生されているフレームから時系列的に戻し側に位置する複数のフレーム分だけ静止画データとしてキャッシュメモリ３６に格納する。そして、キャッシュメモリ３６から格納された表示データを読み出して静止画を用いた映像のコマ戻し再生を行う。【選択図】  図２
2005109904.tif 000002
【特許請求の範囲】
【請求項１】
圧縮符号化された映像データのデコードにより映像を表示再生する際に、表示再生されたフレームのデータを連続した所定フレーム数だけ静止画データとしてメモリに格納する再生フレーム格納手段と、
前記メモリから前記フレームのデータを読み出して静止画を用いた映像のコマ戻しを行うコマ戻し再生手段と、
を備えることを特徴とする高速度画像観察装置。
【請求項２】
前記メモリに格納すべきフレームの範囲を指定する範囲指定手段を備え、
前記再生フレーム格納手段は、前記範囲指定手段により指定された範囲のフレームのデータを映像再生時にそれぞれ静止画データとして前記メモリに格納することを特徴とする請求項１記載の高速度画像観察装置。
【請求項３】
圧縮符号化された映像データのデコードにより映像を表示再生する際に、表示再生されたフレームのデータを連続した所定フレーム数だけ静止画データとしてメモリに格納する再生フレーム格納ステップと、
前記メモリから前記フレームのデータを読み出して静止画を用いた映像のコマ戻しを行うコマ戻し再生ステップと、
を備えることを特徴とする高速度画像コマ戻し方法。
【請求項４】
前記メモリに格納すべきフレームの範囲を指定する範囲指定ステップを備え、
前記再生フレーム格納ステップは、前記範囲指定ステップにおいて指定された範囲のフレームのデータを映像再生時にそれぞれ静止画データとして前記メモリに格納することを特徴とする請求項３記載の高速度画像コマ戻し方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高速度画像観察装置および高速度画像コマ戻し方法に係り、特に、圧縮符号化された映像データのデコードにより映像を表示再生するシステムにおける１フレームごとの映像のコマ戻しを行ううえで好適な高速度画像観察装置および高速度画像コマ戻し方法に関する。
【背景技術】
【０００２】
従来より、圧縮符号化された映像データをデコードすることにより映像を表示再生するシステムが知られている（例えば、特許文献１参照）。このシステムにおいては、表示再生に用いる複数のデータユニットが記録媒体に記録されている。各データユニットはそれぞれ、フレーム相関を利用して圧縮された所定数の複数フレーム分の映像データを含んでいる。かかる構成においては、一のデータユニットの複数フレーム分の映像データが順に記録媒体から読み出されてデコードされると、再生映像が得られる。
【０００３】
また、このシステムにおいては、映像をコマ戻し再生する機能が設けられている。具体的には、現在再生中のフレームとそのフレームの属するデータユニット中の先頭フレームとの中間に位置するフレームのデコード出力（データ）をメモリに格納する。そして、映像のコマ戻し再生時にはメモリにデータが格納されたフレームから順にデコードを行い、現在再生中のフレームの直前の目標フレームについてコマ戻し再生を行う。従って、上記従来のシステムによれば、映像のコマ戻し再生を行ううえでデータユニット中の先頭フレームから順にデコードする必要はなく、このため、迅速なコマ戻し再生を実現することができる。
【特許文献１】特開平７−１７７４５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来のシステムでは、一のデータユニットのうち先頭フレーム及びメモリにデータが格納された中間フレーム以外のフレームについては直接にアクセスして映像再生することは不可能である。このため、特に現在再生中のフレームの直前に位置する複数のフレームを連続してコマ戻し再生するようなとき、１フレームのコマ戻し毎に、データユニットの先頭フレーム又は中間フレームにアクセスしてそのフレームから順次デコードを行うことにより目標フレームのデータを得る必要があり、スムーズかつ迅速なコマ戻し再生が困難である。
【０００５】
本発明は、上述の点に鑑みてなされたものであり、圧縮符号化された映像データのデコードにより映像再生するシステムにおける映像のコマ戻しをスムーズにかつ迅速に行うことが可能な高速度画像観察装置および高速度画像コマ戻し方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的は、請求項１に記載する如く、圧縮符号化された映像データのデコードにより映像を表示再生する際に、表示再生されたフレームのデータを連続した所定フレーム数だけ静止画データとしてメモリに格納する再生フレーム格納手段と、
前記メモリから前記フレームのデータを読み出して静止画を用いた映像のコマ戻しを行うコマ戻し再生手段と、
を備える高速度画像観察装置により達成される。
【０００７】
また、上記の目的は、請求項３に記載する如く、圧縮符号化された映像データのデコードにより映像を表示再生する際に、表示再生されたフレームのデータを連続した所定フレーム数だけ静止画データとしてメモリに格納する再生フレーム格納ステップと、
前記メモリから前記フレームのデータを読み出して静止画を用いた映像のコマ戻しを行うコマ戻し再生ステップと、
を備える高速度画像コマ戻し方法により達成される。
【０００８】
請求項１及び３記載の発明において、圧縮符号化された映像データがデコードされることにより映像再生が行われる際、既に映像再生されたフレームのデータが、連続した所定フレーム数だけ静止画データとしてメモリに格納される。そして、そのメモリからフレームのデータが読み出されて静止画を用いた映像のコマ戻しが行われる。かかる構成においては、既に映像再生された複数のフレームにおける静止画データがメモリに格納されるので、現に映像再生が行われたフレームからコマ戻し再生を行う場合には、メモリに格納されている直前のフレームに迅速にアクセスすることができ、映像のコマ戻しをスムーズにかつ迅速に行うことができる。
【０００９】
この場合、請求項２に記載する如く、請求項１記載の高速度画像観察装置において、前記メモリに格納すべきフレームの範囲を指定する範囲指定手段を備え、前記再生フレーム格納手段は、前記範囲指定手段により指定された範囲のフレームのデータを映像再生時にそれぞれ静止画データとして前記メモリに格納することとすれば、また、
請求項４に記載する如く、請求項３記載の高速度画像コマ戻し方法において、前記メモリに格納すべきフレームの範囲を指定する範囲指定ステップを備え、前記再生フレーム格納ステップは、前記範囲指定ステップにおいて指定された範囲のフレームのデータを映像再生時にそれぞれ静止画データとして前記メモリに格納することとすれば、指定範囲中のフレームに迅速にアクセスすることができ、映像のコマ戻しをスムーズにかつ迅速に行うことができる。
【発明の効果】
【００１０】
請求項１及び３記載の発明によれば、圧縮符号化された映像データのデコードにより映像再生するシステムにおける映像のコマ戻しをスムーズにかつ迅速に行うことができる。
【００１１】
また、請求項２及び４記載の発明によれば、指定範囲中のフレームへの映像のコマ戻しをスムーズにかつ迅速に行うことができる。
【発明を実施するための最良の形態】
【００１２】
図１は、本実施例のシステムの全体構成図を示す。本実施例のシステムは、例えば車両の衝突試験等における人の目で見ることのできない高速現象を高速度カメラで映像化して解析・評価するためのシステムである。本実施例のシステムは、図１に示す如く、複数の高速度デジタルカメラ１０、カメラ制御装置１２、高速並列処理装置１４、映像データ保管装置１６、管理情報保管装置１８、及び、高速度画像観察装置２０を備えている。カメラ制御装置１２と高速並列処理装置１４と映像データ保管装置１６とは、ギガビットＬＡＮやファイバチャンネル等の専用高速通信線２２を介して接続されている。また、映像データ保管装置１６と管理情報保管装置１８と高速度画像観察装置２０とは、専用高速通信線２４を介して接続されている。
【００１３】
各高速度デジタルカメラ１０は、例えば１２８０×１０２４ピクセル程度の解像度を有し、それぞれ車両衝突試験等における高速現象を所定の位置から撮影し記録する。カメラ制御装置１２は、各高速度デジタルカメラ１０それぞれについてのシャッタスピードや撮影コマ速度等のカメラ設定を行うと共に、各高速度デジタルカメラ１０からそれぞれ高品質・高時間分解能の大容量映像データを読み出し補間処理を行う。高速並列処理装置１４は、カメラ制御装置１２から高速で転送されるデータを映像データとカメラ設定等の試験管理情報とに分離すると共に、複数のコンピュータを用いて、カメラ制御装置１２に読み出され補間処理が施された各高速度デジタルカメラ１０からの大容量映像データを、高度な動画フォーマットに対応するＭＰＥＧ４による圧縮符号化方式を採用して高速並列フォーマット変換する。
【００１４】
圧縮符号化により得られた高画質・低容量の映像データ（ＭＰＥＧ４データ）は、映像データ保管装置１６を経由して、映像データベース２６に階層的に保管される。また、試験管理情報は、管理情報保管装置１８を経由して、管理データベース２８に階層的に保管される。映像データベース２６及び管理データベース２８はそれぞれ、２０ＧＢ程度の容量を有するハードディスクにより構成されている。高速度画像観察装置２０は、管理データベース２８に保管されている試験管理情報に従った試験映像を映像データベース２６に保管されているＭＰＥＧ４データに基づいて表示再生すると共に、その試験映像から車両衝突現象を解析する。
【００１５】
図２は、本実施例の高速度画像観察装置２０の詳細な構成図を示す。高速度画像観察装置２０は、例えば１．０ＧＨｚ程度のクロック周波数を有するＣＰＵからなるシステム制御部３０を備えており、システム制御部３０により制御される。システム制御部３０には、マウスやキーボードからなる操作者による操作が可能な操作部３２、上記した映像データベース２６及び管理データベース２８、並びに操作者に視認可能な表示部３４が接続されている。操作部３２には、少なくとも、映像データの表示再生として、連続した複数のフレーム分の映像を連続して再生する通常再生（例えば１秒当たり３０フレーム），１フレーム分の映像を再生するスチル再生，コマ送り再生，コマ戻し再生，逆方向再生等を行うための入力、及び、表示再生すべき映像フレームを任意に指定するための入力が設けられている。
【００１６】
システム制御部３０は、操作部３２における表示再生すべき映像フレームの入力操作に従って管理データベース２８から指定された映像データの保管場所を検索し、その検索結果に従って映像データベース２６に保管されているＭＰＥＧ４データを読み出す。そして、そのＭＰＥＧ４データをデコードし、ＭＰＥＧ４データ（映像データ）に基づく車両衝突試験における映像を表示部３４に表示再生する。
【００１７】
システム制御部３０には、また、そのＣＰＵが使用したデータを一時的に格納する半導体素子によるキャッシュメモリ３６が接続されている。キャッシュメモリ３６は、上記した映像データベース２６及び管理データベース２８のものよりもデータの書き込み／読み出し速度が高速であって、例えば２５６ＭＢ程度の容量を有している。キャッシュメモリ３６には、後に詳述する如く、システム制御部３０によりＭＰＥＧ４データがデコードされて得られた映像の表示データがビット・マップ・データ（ＢＭＰ）に変換されて保存・格納される。
【００１８】
図３は、従来より行われている映像のコマ戻し再生の手法を説明するための図を示す。ところで、ＭＰＥＧ４による圧縮符号化方式は、時系列的に並んだ複数のフレームについて隣り合うフレーム相互の関係を利用してデータを圧縮する技術である。このため、高速並列処理装置１４によりフォーマット変換された結果得られるＭＰＥＧ４データは、直前の映像フレームと異なる部分の映像のデータのみにより構成される。例えば、図３に示す如く５つのフレームを用いて黒丸形状から黒四角形状へ至る動画の再生画像が得られる場合には、第ｎフレームにおけるＭＰＥＧ４データは、第ｎフレームの映像が第（ｎ−１）フレームの映像と異なる部分の映像データのみを有する（ｎ＝２〜５）。尚、第１フレームはキーフレームであり、そのＭＰＥＧ４データは全画素のデータを有する。
【００１９】
この場合、ＭＰＥＧ４データに基づく映像の表示再生は、まず、映像データベース２６から第１フレームのＭＰＥＧ４データを読み出してデコードしその映像を再生し、次に、第２フレームのＭＰＥＧ４データを読み出してデコードし第１フレームの表示データを用いて伸長して第２フレームの映像を再生し、更に、第３フレームのＭＰＥＧ４データを読み出してデコードし第２フレームの表示データを用いて伸長して第３フレームの映像を再生し、以後、これと同様の手法により第４フレーム及び第５フレームの映像を再生することにより実現される。
【００２０】
しかしながら、このように高速度カメラ１０による大容量映像データをＭＰＥＧ４方式により圧縮し、低容量のＭＰＥＧ４データを映像データベース２６に保管するシステムにおいては、現在再生中の映像フレームから１フレームずつコマ戻しを行いたい場合、スムーズかつ迅速なコマ戻し再生を行うことができない不都合が生じ得る。具体的には、図３に示す如く、例えば第５フレームの映像が現に再生されている際に、その第５フレームの直前の第４フレームの映像のコマ戻し再生が要求された場合、映像データベース２６に保管されているＭＰＥＧ４データのみを用いるものとすると、まず、全画素データを有するキーフレームとしての第１フレームにアクセスしそのＭＰＥＧ４データをデコードし、次に、順次第２〜第４フレームにアクセスし各ＭＰＥＧ４データをデコードして第４フレームの表示データを得る必要があり、キーフレームからの再構築を伴うことに起因して目標フレームのスムーズかつ迅速なコマ戻し再生を行うことは困難である。
【００２１】
そこで、本実施例のシステムは、圧縮符号化された低容量の映像データ（ＭＰＥＧ４データ）をデコードすることにより映像再生するシステムにおいてスムーズかつ迅速な映像のコマ戻し再生を行い得る点に特徴を有している。以下、本実施例の特徴部について説明する。
【００２２】
図４は、本実施例の高速度画像観察装置２０において行われる映像のコマ戻し再生の手法を説明するための図を示す。尚、図４には、高速度画像観察装置２０の有するシステム制御部３０が実行する制御ルーチンの一例が示されていると共に、その制御ルーチンの各ステップに対応して読み出されるデータ又は表示部３４に表示される映像が示されている。図４に示すルーチンは、その処理が終了するごとに繰り返し起動されるルーチンである。図４に示すルーチンが起動されると、まずステップ１００の処理が実行される。
【００２３】
ステップ１００では、操作部３２に映像の通常再生を行うべき入力操作が行われたか否かが判別される。本ステップ１００の処理は、再生操作が行われるまで繰り返し実行される。その結果、肯定判定がなさ、通常再生が要求されたと判別された場合は、次にステップ１０２の処理が実行される。
【００２４】
ステップ１０２では、映像データベース２６から、操作部３２の入力操作に従って指定されたＭＰＥＧ４形式の圧縮符号化された映像データ（ＭＰＥＧ４データ）を時系列順（フレーム順）に順次読み出す処理が実行される。尚、本ステップ１０２におけるＭＰＥＧ４データの読み出しは、最初に全画素のデータを有するキーフレームから行われる。
【００２５】
ステップ１０４では、上記ステップ１０２で読み出されたＭＰＥＧ４データをフレーム順に順次デコードして伸長し、表示部３４に映像を表示再生する処理が実行される。本ステップ１０４の処理が実行されると、例えば図４に示す如く黒丸形状から黒四角形状へ至る動画が表示再生されることとなる。
【００２６】
ステップ１０６では、上記ステップ１０４において映像の表示再生が行われる際、表示再生されている映像フレームの表示データをＢＭＰに変換し、そのデータをキャッシュメモリ３６に保存・格納する処理が実行される。キャッシュメモリ３６へのキャッシュは、既に表示再生が行われたフレーム番号の連続する複数（例えば最大で１５個）のフレームについて連続して行われるので、現に表示再生されている映像フレームから時系列的に戻し側に位置する複数のフレームの表示データ（ＢＭＰ形式）がキャッシュされる。かかる処理が実行されると、現に表示再生されている映像の映し出す衝突現象の直前における衝突現象が静止画データとしてキャッシュメモリ３６に記録されていることとなる。本ステップ１０６の処理が終了すると、次にステップ１０８の処理が実行される。
【００２７】
ステップ１０８では、操作部３２に映像のコマ戻し再生を行うべき入力操作が行われたか否かが判別される。本ステップ１０８の処理は、コマ戻し操作が行われるまで繰り返し実行される。その結果、肯定判定がなされ、コマ戻し再生が要求されたと判別された場合は、次にステップ１１０の処理が実行される。
【００２８】
ステップ１１０では、キャッシュメモリ３６から、現に表示再生されているフレーム（例えば図４では第５フレーム）から一つ前のフレーム（第４フレーム）の表示データを読み出す処理が実行される。また、連続したコマ戻し再生が要求されている場合には、一つ前のフレームの表示データを順に一定時間ごとに読み出す処理が実行される。尚、第５フレームの映像が現に表示再生されているので、第１〜第４フレームの映像は既に表示再生が完了しており、それらの表示データは、圧縮が施されておらず伸長されてキャッシュメモリ３６にキャッシュされている。
【００２９】
ステップ１１２では、上記ステップ１１０で読み出されたフレームの表示データ（ＢＭＰ形式）に従って、表示部３４に映像を表示再生する処理が実行される。本ステップ１１２の処理が実行されると、表示再生されていたフレームから一つ前のフレームの映像がコマ戻し再生されて表示されることとなる。本ステップ１１２の処理が終了すると、今回のルーチンが終了される。
【００３０】
上記図４に示すルーチンによれば、現に映像の表示再生が行われているフレームから戻し側に位置する既に映像再生が行われた複数のフレームにおける表示データを、連続した所定フレーム数だけ静止画データとしてキャッシュメモリ３６に格納することができ、その後、コマ戻し再生が要求された際に、キャッシュメモリ３６からそのキャッシュメモリ３６に格納されている表示データを読み出して静止画を用いた映像のコマ戻し再生を実行することができる。
【００３１】
かかる構成によれば、高速度デジタルカメラ１０による大容量映像データを、時系列的に並んだ複数のフレームについて隣り合うフレーム相互の関係を利用してデータ圧縮を行うＭＰＥＧ４方式により圧縮符号化し、その圧縮された低容量の映像データを映像データベース２６に保管するシステムにおいて、現に映像の表示再生が行われているフレームから所定のフレーム分だけコマ戻し再生を行う場合にも、全画素のデータを有するキーフレームにアクセスしてから順にＭＰＥＧ４データをデコードしていくことは不要である。すなわち、キャッシュメモリ２６から既に伸長されているＢＭＰによる表示データを読み出すことにより、映像再生が行われていたフレームの直前のフレームに迅速にアクセスすることができる。
【００３２】
従って、本実施例の高速度画像観察装置２０によれば、圧縮符号化された映像データのデコードにより映像再生を行うシステムにおける現在表示再生中のフレームからの映像のコマ戻し再生を、画質及び圧縮率を下げることなくスムーズにかつ迅速に行うことができ、映像のコマ戻し再生に要する時間を上記した従来の手法に比べて低減することができる。このため、本実施例のシステムによれば、車両の衝突試験等における高速現象の、高速度デジタルカメラ１０による映像データを用いた解析・評価を迅速にかつ詳細な動作に対応して行うことが可能となっている。
【００３３】
尚、上記の実施例においては、高速並列処理装置１４でＭＰＥＧ４方式により高速度デジタルカメラ１０による映像データが圧縮符号化された結果得られたＭＰＥＧ４データが特許請求の範囲に記載した「映像データ」に、キャッシュメモリ３６が特許請求の範囲に記載した「メモリ」に、それぞれ相当していると共に、システム制御部３０が、上記図４に示すルーチン中ステップ１０６の処理を実行することにより特許請求の範囲に記載した「再生フレーム格納手段」及び「再生フレーム格納ステップ」が、ステップ１１０及び１１２の処理を実行することにより特許請求の範囲に記載した「コマ戻し再生手段」及び「コマ戻し再生ステップ」が、それぞれ実現されている。
【００３４】
ところで、上記の実施例においては、現に表示再生されている映像フレームから時系列的に戻し側に位置する直近の所定フレーム数分だけ表示データをキャッシュメモリ３６にキャッシュすることとしているが、キャッシュメモリ３６にキャッシュするフレームの始点と終点との間の連続した範囲を操作部３２における操作者の入力操作により指定するようにし、かかるフレームの映像が表示再生される際にその表示データをキャッシュメモリ３６にキャッシュすることとしてもよい。かかる構成によれば、指定範囲中のフレームの表示データが静止画データとしてキャッシュメモリ３６に保持されるため、その指定フレームへの迅速アクセスが可能となり、その映像のコマ戻し再生をスムーズかつ迅速に行うことが可能となる。この場合には、システム制御部３０が、操作者による操作部３２への入力操作に従ってキャッシュメモリ３６にキャッシュすべきフレームの範囲を指定することにより特許請求の範囲に記載した「範囲指定手段」及び「範囲指定ステップ」が実現される。
【００３５】
また、上記の実施例では、キャッシュメモリ３６にキャッシュするフレームの数のみを任意に指定できるようにしてもよい。
【００３６】
また、上記の実施例においては、キャッシュメモリ３６にフレームの表示データをキャッシュすることで映像のコマ戻しをスムーズかつ迅速に行うことが可能であるが、同様に、キャッシュメモリ３６に表示データがキャッシュされていればそのフレームに迅速にアクセスすることができるので、その表示データがキャッシュされたフレームの通常再生やスチル再生をスムーズかつ迅速に行うことが可能となる。
【００３７】
また、上記の実施例においては、ＭＰＥＧ４データがデコードされて得られた映像の表示データをＢＭＰとして半導体素子によるキャッシュメモリ３６にキャッシュすることとしているが、ハードディスクにキャッシュすることとしてもよい。この場合には、ハードディスクが特許請求の範囲に記載した「メモリ」に相当する。また、メモリ使用量の削減を図るために、ＭＰＥＧ４データがデコードされて得られた映像の表示データを圧縮した状態でキャッシュメモリ３６やハードディスクに保持することとしてもよい。この場合には、圧縮されたデータによる映像をコマ戻し再生することが可能となる。
【００３８】
更に、上記の実施例においては、高速度デジタルカメラ１０による大容量映像データをＭＰＥＧ４方式により圧縮符号化することとしているが、データを圧縮する手法はこれに限定されるものではなく、動画フォーマットに対応して時系列的に並んだ複数のフレームについて隣り合うフレーム相互の関係を利用してデータを圧縮する方式であればよい。
【図面の簡単な説明】
【００３９】
【図１】本実施例のシステムの全体構成図である。
【図２】本実施例の高速度画像観察装置の詳細な構成図である。
【図３】従来より行われている映像のコマ戻し再生の手法を説明するための図である。
【図４】本実施例の高速度画像観察装置において行われる映像のコマ戻し再生の手法を説明するための図である。
【符号の説明】
【００４０】
２０  高速度画像観察装置
２６  映像データベース
３０  システム制御部
３４  表示部
３６  キャッシュメモリ
【図１】
2005109904.tif 000003
【図２】
2005109904.tif 000004
【図３】
2005109904.tif 000005
【図４】
2005109904.tif 000006