(57)【要約】【課題】所定の規格の映像データを符号化記録再生するとともに、高速撮影した映像データをその映像サイズを変えずに複数の異なる時間サンプリング周波数の映像データとして符号化記録再生する。【解決手段】本発明の映像符号化記録再生装置は、所定の規格よりも高い時間サンプリング周波数で撮影された高速撮影映像データを、所定の規格の時間サンプリング周波数の映像データとその映像データを除く複数の映像データに分割する手段と、分割した映像データをそれぞれ符号化する手段と、それらを異なる複数のフォルダに分けて記録する手段と、所定の規格の時間サンプリング周波数の映像データを復号化再生するとともに、該複数の映像データと組み合わせて複数の異なる時間サンプリング周波数の映像データとなるように復号化再生する手段とを備える。【選択図】図１
2009212759.tif 000002
【特許請求の範囲】
【請求項１】
所定の規格に基づく映像の時間サンプリング周波数で撮影された通常撮影映像データ、および前記所定の規格に基づく映像の時間サンプリング周波数よりも高い時間サンプリング周波数で撮影された高速撮影映像データを圧縮符号化して記録再生する映像符号化記録再生装置であって、
前記高速撮影映像データを、前記所定の規格に基づく時間サンプリング周波数の映像データ（以下、映像データＡと称す）と、前記映像データＡを除く複数の映像データに分割する分割手段と、
前記分割手段において分割された前記映像データＡと前記映像データＡを除く前記複数の映像データをそれぞれ圧縮符号化する符号化手段と、
前記符号化手段において圧縮符号化された前記映像データＡを前記所定の規格に準拠したフォルダａに記録するとともに、前記複数の映像データを前記フォルダａとは異なる複数のフォルダにそれぞれ別々に記録する記録手段と、
前記記録手段において前記フォルダａおよび前記フォルダａとは異なる前記複数のフォルダにそれぞれ圧縮符号化して記録された映像データのうち、少なくとも前記映像データＡを復号化し前記所定の規格に基づく映像として再生するとともに、前記複数の映像データを復号化し、復号化された前記映像データＡおよび前記複数の映像データを組み合わせて複数の異なる時間サンプリング周波数の映像となるように再生する復号化再生手段と、
を備えたことを特徴とする画像符号化記録再生装置。
【請求項２】
前記所定の規格は、ＡＶＣＨＤ規格であることを特徴とする請求項１記載の画像符号化記録再生装置。
【請求項３】
前記所定の規格に基づく映像の時間サンプリング周波数は、フィールド周波数で５０Ｈｚまたは５９．９７Ｈｚであることを特徴とする請求項１記載の画像符号化記録再生装置。
【請求項４】
前記所定の規格に基づく映像は、飛び越し走査方式の映像であることを特徴とする請求項１記載の画像符号化記録再生装置。
【請求項５】
前記映像データＡを除く前記複数の映像データのうちの一つの映像データは、前記映像データＡと同じ時間サンプリング周波数を有し、前記映像データＡの飛び越し走査とは逆位相の飛び越し走査となる映像データであることを特徴とする請求項４記載の画像符号化記録再生装置。
【請求項６】
前記映像データＡを除く前記複数の映像データのうちの一つの映像データは、前記映像データＡおよび前記映像データＡと同じ時間サンプリング周波数を有し、前記映像データＡの飛び越し走査とは逆位相の飛び越し走査となる映像データとを除く映像データであることを特徴とする請求項４記載の画像符号化記録再生装置。
【請求項７】
前記映像データＡを符号化する前記符号化手段において、参照Ｂピクチャは他のＢピクチャを参照できないことを特徴とする請求項１記載の画像符号化記録再生装置。
【請求項８】
所定の規格に基づく映像の時間サンプリング周波数で撮影された通常撮影映像データ、および前記所定の規格に基づく映像の時間サンプリング周波数よりも高い時間サンプリング周波数で撮影された高速撮影映像データを圧縮符号化して記録再生する映像符号化記録再生方法であって、
前記高速撮影映像データを、前記所定の規格に基づく時間サンプリング周波数の映像データ（以下、映像データＡと称す）と、前記映像データＡを除く複数の映像データに分割する分割ステップと、
前記分割ステップにおいて分割された映像データＡと前記映像データＡを除く前記複数の映像データをそれぞれ圧縮符号化する符号化ステップと、
前記符号化ステップにおいて圧縮符号化された前記映像データＡを前記所定の規格に準拠したフォルダａに記録するとともに、前記複数の映像データを前記フォルダａとは異なる複数のフォルダにそれぞれ別々に記録する記録ステップと、
前記記録ステップにおいて前記フォルダａおよび前記フォルダａとは異なる前記複数のフォルダにそれぞれ圧縮符号化して記録された映像データのうち、少なくとも前記映像データＡを復号化し前記所定の規格に基づく映像として再生するとともに、前記複数の映像データを復号化し、復号化された前記映像データＡおよび前記複数の映像データを組み合わせて複数の異なる時間サンプリング周波数の映像となるように再生する復号化再生ステップと、
を備えたことを特徴とする画像符号化記録再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化記録再生装置並びに画像符号化記録再生方法に関するものであり、特に、ＡＶＣＨＤ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｅｃ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）規格に準拠した映像ストリームを記録再生できるとともに、ＡＶＣＨＤ規格の時間サンプリング周波数よりも高い時間サンプリング周波数で高速撮影された映像を記録再生することができる装置並びに方法に関する。
【背景技術】
【０００２】
通常撮影されたビデオ（映像）とともに高速撮影された映像も記録できるようにする装置としては、例えば、特許文献１に、既存のビデオ記録装置に高速撮影画像を記録できるビデオ記録装置に関する技術が開示されている。特許文献１に開示されているビデオ記録装置は、ビデオの垂直同期信号の周期の１／ｎ（ｎは２以上の整数）の期間でそれぞれ撮影されたｎ個の画像を各垂直同期期間に含む第１のビデオ信号を記録媒体に記録する第１の記録モード、すなわち、ビデオの空間分解能は１／ｎであるが通常のフレームレートのｎ倍の高速撮影ビデオモードと、単一の画像を各垂直同期期間に含む第２のビデオ信号を該記録媒体に記録する第２の記録モード、すなわち、通常フレームレートの通常撮影ビデオモードの２つの異なる記録モードを有することを特徴とするものである。
【０００３】
また、非特許文献１には、異なる時間サンプリング周波数で映像を圧縮符号化し復号する方法として時間階層符号化が紹介されている。時間階層符号化は、ＳＶＣ（Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）の一つであるが、特に、Ｈ．２６４の拡張方式として提案された階層Ｂピクチャを利用した時間階層符号化では、図１１に示すように、Ｂピクチャ（Ｂピクチャ：時間的に前後のピクチャから予測可能なピクチャ）を参照画像として用いた上で参照構造が階層的になるように制限されている。
【０００４】
なお、図１１は、階層Ｂピクチャを利用した時間階層符号化における参照符号化構造の一例を示す図であり、図中の[  ]の中の数字は表示順番を示し、矢印の向きは参照される方向を指している。また、図の上段から下段へ符号化が行われる。例えば、図１１の上から２段目のＢ１ピクチャは、その上段の２つのＩ／Ｐピクチャを参照している。上から３段目のＢ２ピクチャは、Ｉ／ＰピクチャとＢ１ピクチャを参照している。そして上から４段目のＢ３ピクチャはＩ／ＰピクチャとＢ２ピクチャを参照している。このように階層構造を時間解像度のレベルに合わせることで、時間スケーラビリティを実現している。
【０００５】
この仕組みは、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４ならではの新しい機能、すなわち、画像の種類によらず参照画像とすることが可能で、特にＢピクチャも参照画像とすることができる機能を利用することで実現している。図１２に、図１１に示すような参照構造を用いた階層Ｂピクチャにより、複数（この場合は４通り）の時間サンプリング周波数で表示できることを示す。なお、図１２は、階層Ｂピクチャを利用した時間階層符号化における時間スケーラビリティ符号化の表示の一例を示す図である。
【特許文献１】特開平９−１０７５１６号公報
【非特許文献１】http://www.oki.com/jp/Home/JIS/Books/KENKAI/n208/pdf/208_R19.pdf 動画像符号化技術動向  沖テクニカルレビュー  2006年10月／第208号Vol.73  No.4
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されているビデオ記録装置においては、高速撮影ビデオモードと通常撮影ビデオモードのいずれかのビデオモードで撮影し記録することはできる。しかしながら、高速撮影ビデオモードで撮影された映像は、通常撮影ビデオモードの映像をｎ分割した映像、すなわち、１／ｎに縮小された映像の高速撮影であって本来の映像サイズで高速撮影されたものではない。それゆえ、高速撮影された映像をスロー再生し、映像の細部を詳しく分析するといった用途には空間分解能が低くなるため向いていない。
【０００７】
また、非特許文献１に紹介されている時間階層符号化方式では、時間スケーラビリティを利用して複数の異なる時間サンプリング周波数の映像を再生することはできるが、現在このような時間階層符号化方式を商品レベルで実現している符号化装置は存在しない。現在商品化されているＡＶＣＨＤ規格のビデオカメラ装置は、上記の階層Ｂピクチャの圧縮符号化方式と同じＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４の規格に準拠しているが、参照構造が制限されている。
【０００８】
階層Ｂピクチャの圧縮符号化方式においては、例えば、図１１を参照すると、Ｂ２ピクチャは上の段のＢ１ピクチャを参照していると同時に、下の段のＢ３ピクチャの参照ピクチャともなることができる。しかしながら、ＡＶＣＨＤ規格では、実用化レベルでの参照ピクチャの枚数（メモリ量）と符号化効率のバランスを考慮し、Ｂピクチャが他のＢピクチャを参照すると同時に自らも他のＢピクチャの参照ピクチャとなることはできない。すなわち、ＡＶＣＨＤ規格では、階層ＢピクチャのＢ２のようなＢピクチャは使用できないようになっている。
【０００９】
このため、既存のＡＶＣＨＤ規格との互換性を保持したまま、映像サイズを変えずに高速撮影ビデオモードでの撮影を可能にし、しかも、複数の時間サンプリング周波数での表示を可能とする方式として階層Ｂピクチャの圧縮符号化方式をそのまま利用することはできないという課題を有していた。
【００１０】
本発明は、かかる課題を解決するためになされたものであり、既存の圧縮符号化規格、具体的にはＡＶＣＨＤ規格に基づく映像信号を圧縮符号化して記録再生するとともに、高速撮影した映像信号を、その映像サイズを変えずに複数の異なる時間サンプリング周波数の映像信号として圧縮符号化し、記録再生することが可能な映像符号化記録再生装置および映像符号化記録再生方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本願の第１の発明の映像符号化記録再生装置は、所定の規格に基づく映像の時間サンプリング周波数で撮影された通常撮影映像データ、および前記所定の規格に基づく映像の時間サンプリング周波数よりも高い時間サンプリング周波数で撮影された高速撮影映像データを、圧縮符号化して記録再生する映像符号化記録再生装置であって、前記高速撮影映像データを、前記所定の規格に基づく時間サンプリング周波数の映像データ（以下、映像データＡと称す）と、前記映像データＡを除く複数の映像データに分割する分割手段と、前記分割手段において分割された映像データＡと前記映像データＡを除く前記複数の映像データをそれぞれ圧縮符号化する符号化手段と、前記符号化手段において圧縮符号化された前記映像データＡを前記所定の規格に準拠したフォルダａに記録するとともに、前記複数の映像データを前記フォルダａとは異なる複数のフォルダにそれぞれ別々に記録する記録手段と、前記記録手段において前記フォルダａおよび前記フォルダａとは異なる前記複数のフォルダにそれぞれ圧縮符号化して記録された映像データのうち、少なくとも前記映像データＡを復号化し前記所定の規格に基づく映像として再生するとともに、前記複数の映像データを復号化し、復号化された前記映像データＡおよび前記複数の映像データを組み合わせて複数の異なる時間サンプリング周波数の映像となるように再生する復号化再生手段と、を備えたことを特徴とするものである。
【００１２】
また、本願の第２の発明の映像符号化記録再生装置は、本願の第１の発明の映像符号化記録再生装置において、前記所定の規格は、ＡＶＣＨＤ規格であることを特徴とするものである。
【００１３】
また、本願の第３の発明の映像符号化記録再生装置は、本願の第１の発明の映像符号化記録再生装置において、前記所定の規格に基づく映像の時間サンプリング周波数は、フィールド周波数で５０Ｈｚまたは５９．９７Ｈｚであることを特徴とするものである。
【００１４】
また、本願の第４の発明の映像符号化記録再生装置は、本願の第１の発明の映像符号化記録再生装置において、前記所定の規格に基づく映像は、飛び越し走査方式の映像であることを特徴とするものである。
【００１５】
また、本願の第５の発明の映像符号化記録再生装置は、本願の第４の発明の映像符号化記録再生装置において、前記映像データＡを除く前記複数の映像データのうちの一つの映像データは、前記映像データＡと同じ時間サンプリング周波数を有し、前記映像データＡの飛び越し走査とは逆位相の飛び越し走査となる映像データであることを特徴とするものである。
【００１６】
また、本願の第６の発明の映像符号化記録再生装置は、本願の第４の発明の映像符号化記録再生装置において、前記映像データＡを除く前記複数の映像データのうちの一つの映像データは、前記映像データＡおよび前記映像データＡと同じ時間サンプリング周波数を有し、前記映像データＡの飛び越し走査とは逆位相の飛び越し走査となる映像データとを除く映像データであることを特徴とするものである。
【００１７】
また、本願の第７の発明の映像符号化記録再生装置は、本願の第１の発明の映像符号化記録再生装置において、前記映像データＡを符号化する前記符号化手段において、参照Ｂピクチャは他のＢピクチャを参照できないことを特徴とするものである。
【００１８】
また、本願の第８の発明の映像符号化記録再生方法は、所定の規格に基づく映像の時間サンプリング周波数で撮影された通常撮影映像データ、および前記所定の規格に基づく映像の時間サンプリング周波数よりも高い時間サンプリング周波数で撮影された高速撮影映像データを、圧縮符号化して記録再生する映像符号化記録再生方法であって、前記高速撮影映像データを、前記所定の規格に基づく時間サンプリング周波数の映像データ（以下、映像データＡと称す）と、前記映像データＡを除く複数の映像データに分割する分割ステップと、前記分割ステップにおいて分割された映像データＡと前記映像データＡを除く前記複数の映像データをそれぞれ圧縮符号化する符号化ステップと、前記符号化ステップにおいて圧縮符号化された前記映像データＡを前記所定の規格に準拠したフォルダａに記録するとともに、前記複数の映像データを前記フォルダａとは異なる複数のフォルダにそれぞれ別々に記録する記録ステップと、前記記録ステップにおいて前記フォルダａおよび前記フォルダａとは異なる前記複数のフォルダにそれぞれ圧縮符号化して記録された映像データのうち、少なくとも前記映像データＡを復号化し前記所定の規格に基づく映像として再生するとともに、前記複数の映像データを復号化し、復号化された前記映像データＡおよび前記複数の映像データを組み合わせて複数の異なる時間サンプリング周波数の映像となるように再生する復号化再生ステップと、を備えたことを特徴とするものである。
【発明の効果】
【００１９】
本発明に係る映像符号化記録再生装置によれば、既存の圧縮符号化規格の映像（具体的には、ＡＶＣＨＤ規格の映像）信号を圧縮符号化して記録再生することができるとともに、高速撮影した映像信号を、その映像サイズを変えずに複数の異なる時間サンプリング周波数の映像信号として圧縮符号化して記録再生することができる。このため、既存の圧縮符号化規格に基づく映像信号の記録再生と互換性を維持することができるだけでなく、映像サイズを縮小することなく複数の異なるスピードで映像を再生できるため、映像を細かく分析したり、映像を編集したりする上で極めて有用である。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２１】
（実施の形態１）
図１は、本発明の実施の形態１における映像符号化記録再生装置の構成を示すブロック図である。
【００２２】
図１において、映像符号化記録再生装置１００は、入力される所定の規格、例えば、ＡＶＣＨＤ規格に基づく映像の時間サンプリング周波数で通常撮影された、あるいは、所定の規格に基づく映像の時間サンプリング周波数よりも高い時間サンプリング周波数で高速撮影された映像データを符号化して記録し再生する装置であって、映像データをフィールド単位あるいはフレーム単位で時間的に分割する分割手段１１０と、分割手段１１０において分割されたそれぞれの分割映像データをそれぞれ符号化する、第１の符号化手段１２１、第２の符号化手段１２２および第３の符号化手段１２３で構成される符号化手段１２０と、第１の符号化手段１２１〜第３の符号化手段１２３において符号化されたそれぞれの分割された映像データ（分割映像データ）の符号化ストリームを、それぞれ異なるフォルダとして記録する第１の記録フォルダ１３１、第２の記録フォルダ１３２および第３の記録フォルダ１３３で構成される記録手段１３０と、第１の記録フォルダ１３１〜第３の記録フォルダ１３３に記録された分割映像データの符号化ストリームをそれぞれ復号化し、必要に応じてそれらの復号化された映像データを組み合わせて（合成して）１つの映像データとして再生する復号化再生手段１４０とで構成されている。
【００２３】
次に、以上のように構成された映像符号化記録再生装置１００の動作について説明する。なお、本発明をより具体的に説明するため、分割手段１１０に入力される撮影映像データは、その時間サンプリング周波数が、ここでは高速撮影された、例えば、フィールド周波数で２００Ｈｚあるいは２３９．７６Ｈｚ（以下、２３９．７６Ｈｚを２４０ｉと呼ぶ）の映像データであるとする。
【００２４】
まず、分割手段１１０は、フィールド周波数で２００Ｈｚあるいは２３９．７６Ｈｚ（２４０ｉ）の入力映像データをフィールド単位で３分割する。
【００２５】
ここで、分割手段１１０における入力映像データの分割の一例を、図２を用いて説明する。なお、図２は、本発明の実施の形態１に係る映像符号化記録再生装置の分割手段における分割の一例を示す図である。
【００２６】
まず、分割手段１１０に入力された高速撮影された映像データを、所定の規格、例えば、ＡＶＣＨＤ規格に基づく映像の時間サンプリング周波数の映像データと、所定の規格に基づく映像の時間サンプリング周波数の映像データを除く複数の映像データに分割する。
【００２７】
具体的には、図２に示すように、高速撮影された映像（高速撮影映像）データの時間サンプリング周波数がフィールド周波数で２００Ｈｚあるいは２３９．７６Ｈｚ（２４０ｉ）の場合、分割手段１１０における分割後の時間サンプリング周波数を、分割１では、所定の規格に基づく映像の時間サンプリング周波数の映像データとして、フィールド周波数で５０Ｈｚあるいは５９．９４Ｈｚ（以下、フィールド周波数５９．９４Ｈｚを６０ｉと呼ぶ）に、また分割２では、フィールド周波数で５０Ｈｚあるいは５９．９４Ｈｚ（６０ｉ）、但し分割１のフィールドと逆位相のフィールド（同一の時間フレームで、分割１のフィールドが奇数フィールドなら分割２のフィールドが偶数フィールド、逆に分割１のフィールドが偶数フィールドなら分割２のフィールドが奇数フィールド）に、そして分割３では、フィールド周波数で１００Ｈｚあるいは１１９．８８Ｈｚ（以下、フィールド周波数１１９．８８Ｈｚを１２０ｉと呼ぶ）に、それぞれ分割する。
【００２８】
さらに、図２および図３を参照しながら、分割手段１１０における入力映像データの分割の一例を説明する。なお、図３は、本発明の実施の形態１に係る映像符号化記録再生装置の分割手段、符号化手段および復号化再生手段における映像構造の一例を示す図である。また、図３において、ｏは奇数フィールドを意味し、ｅは偶数フィールドを意味する。
【００２９】
分割手段１１０に入力された映像データが、図３の（ｂ）に示すような２４０ｉのフィールド構造の場合、図２に示す分割１は、図３（ｃ）に示すような６０ｉ（ｍａｉｎ：主フィールド）のフィールド構造からなる飛び越し走査（インターレス）映像データになり、分割２は、図３（ｄ）に示すような６０ｉ（ｓｕｂ１：副フィールド）のフィールド構造からなる飛び越し走査（インターレス）方式の映像データになり、そして分割３は、図３（ｅ）に示すような１２０ｉ（ｓｕｂ２）のフィールド構造からなる飛び越し走査（インターレス）方式の映像データになる。
【００３０】
なお、ここでは、第１の符号化手段１２１、第２の符号化手段１２２および第３の符号化手段１２３の各符号化手段において処理される動画像圧縮符号化方式は、動画像圧縮符号化方式の一つであるＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４であるとする。ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４においては、時間的に前後の参照ピクチャから予測可能なＢピクチャも参照ピクチャとなることができる。このため、時間的に相関が高い連続ピクチャからなる高速撮影映像において、Ｂピクチャを参照ピクチャとして使うことは、符号化効率を向上させることができ有効である。
【００３１】
但し、本発明の実施の形態１に係る画像符号化記録再生装置は、すでに述べたように、現在商品化されているＡＶＣＨＤ規格との互換性を考慮し、既存のＡＶＣＨＤ規格に基づく映像として出力できるとともに、高速撮影された映像を出力することができることを特徴としているため、従来技術として図１１に示した階層Ｂピクチャによる時間階層符号化の構造とは幾分異なる参照符号化構造を取ることになる。
【００３２】
例えば、ＡＶＣＨＤ規格において、図１１に示される時間階層符号化に似た構造を取るとした場合、図４に示すような構造になる。なお、図４は、本発明の実施の形態１に係る映像符号化記録再生装置の符号化手段におけるピクチャの参照符号化構造の一例を示す図である。
【００３３】
図４において、特徴的なことは、参照ピクチャとなるＢピクチャ（Ｂｒ）は他のＢピクチャを参照できないことであり、この点が階層Ｂピクチャによる時間階層符号化の構造とは異なる。なお、図４において、矢印は参照される方向を示し、[ ]内の数字は再生表示の順番を表す。
【００３４】
次に、図１における記録手段１３０の動作について説明する。
【００３５】
記録手段１３０における第１の記録フォルダ１３１、第２の記録フォルダ１３２および第３の記録フォルダ１３３の各記録フォルダは、それぞれ、第１の符号化手段１２１、第２の符号化手段１２２および第３の符号化手段１２３の符号化手段１２０において符号化された分割映像データの符号化ストリームを記録するフォルダであり、この内少なくとも第１の記録フォルダ１３１は該所定の規格に準拠したフォルダとなっている。
【００３６】
具体的には、符号化された分割映像データの符号化ストリームは、記録媒体、例えば、メモリカード、ハードディスクあるいはＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）やＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）などのディスクメディアにおいて、図５に示すように異なるフォルダ（ここではフォルダ１〜フォルダ３）に分けて記録される。この場合、フォルダ１には図３の（ｃ）に示される６０ｉ（ｍａｉｎ）の符号化ストリームが、フォルダ２には図３の（ｄ）に示される６０ｉ（ｓｕｂ１）の符号化ストリームが、そしてフォルダ３には図３の（ｅ）に示される１２０ｉ（ｓｕｂ２）の符号化ストリームが、それぞれのフォルダ１〜３に分けて記録される。なお、図５は、本発明の実施の形態１に係る映像符号化記録再生装置の記録手段における記録フォルダの構成の一例を示す図である。
【００３７】
次に、図１における復号化再生手段１４０の動作について説明する。
【００３８】
復号化再生手段１４０は、第１の記録フォルダ１３１、第２の記録フォルダ１３２および第３の記録フォルダ１３３にそれぞれ記録された分割映像データの符号化ストリームをそれぞれ復号化し、必要に応じて復号化したそれぞれの符号化ストリームの映像データを組み合わせて（合成して）１つの連続した映像データとして再生する。
【００３９】
例えば、復号化再生手段１４０は、後述する図６に示すように、第１の記録フォルダ１３１に記録された符号化ストリームからは復号１として、フィールド周波数で５０Ｈｚあるいは５９．９４Ｈｚ（６０ｉ）の分割映像データを復号化し、また、第２の記録フォルダ１３２に記録された符号化ストリームからは復号２として、フィールド周波数で５０Ｈｚあるいは５９．９４Ｈｚ（６０ｉ）の分割映像データ（但し、復号１の映像データとはフィールドが逆位相）を復号化し、さらに、第３の記録フォルダ１３３に記録された符号化ストリームからは復号３として、フィールド周波数で１００Ｈｚあるいは１１９．８８（１２０ｉ）の分割映像データを復号化する。復号化された各々の分割映像データは、一旦所定のバッファなどの記録手段（図示せず）に蓄積され、ユーザの再生フォーマットの選択操作によって、以下に示す３通り（３つのフォーマット）の時間サンプリング周波数の再生映像データとして再生される。
【００４０】
ここで、図６を用いて、上記３つのフォーマットについて説明する。なお、図６は、本発明の実施の形態１に係る映像符号化記録再生装置の復号化再生手段における復号化と再生映像の一例を示す図である。
【００４１】
まず、第１のフォーマットは、図６に示される復号１のみの映像データを再生し、時間サンプリング周波数が５０Ｈｚあるいは５９．９４Ｈｚ（６０ｉ）の所定の規格、例えば、既存のＡＶＣＨＤ規格に基づく映像の時間サンプリング周波数で通常撮影された場合の映像データに相当する映像データとして再生するフォーマットである。また、第２のフォーマットは、図６に示される復号１と復号２を組み合わせ、時間サンプリング周波数が１００Ｈｚあるいは１１９．８８Ｈｚ（１２０ｉ）の既存のＡＶＣＨＤ規格に基づく映像の２倍のフィールド周波数の映像データとして再生するフォーマットである。そして、第３のフォーマットは、図６に示される復号１と復号２および復号３を組み合わせ、時間サンプリング周波数が２００Ｈｚあるいは２３９．７６Ｈｚ（２４０ｉ）の既存のＡＶＣＨＤ規格に基づく映像の４倍のフィールド周波数の映像データとして再生するフォーマットである。なお、第３のフォーマットとして再生される映像データは、高速撮影映像データとして分割手段１１０に入力された映像データと同じ時間サンプリング周波数となる。
【００４２】
ここで、上記の３つのフォーマットにおける再生映像データを図３と関連付けて説明する。
【００４３】
まず、第１のフォーマットにおける再生映像データは、図３の（ｃ）の並びのフィールド構造からなる既存のＡＶＣＨＤ規格６０ｉに相当する。また、第２のフォーマットにおける再生映像データは、図３の（ｃ）と（ｄ）の並びのフィールド構造を加算してなる既存のＡＶＣＨＤ規格６０ｉの２倍の時間サンプリング周波数の１２０ｉになる。そして第３のフォーマットにおける再生映像データは、図３の（ｃ）、（ｄ）および（ｅ）の並びのフィールド構造をすべて加算してなる既存のＡＶＣＨＤ規格６０ｉの４倍の時間サンプリング周波数の２４０ｉになる。
【００４４】
以上のように構成することにより、所定の規格の時間サンプリング周波数の分割映像データ（以下、映像データＡと称す）と、映像データＡを除く複数の分割映像データの１つであり、映像データＡと同じ時間サンプリング周波数を有し映像データＡとはフィールドが逆位相の分割映像データ（以下、映像データＢと称す）とを復号多重化することで、該所定の規格の時間サンプリング周波数の２倍の時間サンプリング周波数の映像を再生することができる。さらに、映像データＡと映像データＢに、映像データＡを除く複数の分割映像データの１つで、かつ映像データＢを除く分割映像データを加えて復号多重化することで、該所定の規格の時間サンプリング周波数の４倍の時間サンプリング周波数の映像を再生することができる。
【００４５】
また、該所定の規格の時間サンプリング周波数の映像データを符号化する符号化手段１２０において、参照Ｂピクチャが他のＢピクチャを参照できないようにしているため、該所定の規格に基づく映像データを符号化して記録再生することができる。
【００４６】
なお、上記の実施例においては、分割手段１１０に入力される映像データが所定の規格例えば、既存のＡＶＣＨＤ規格に基づく映像の時間サンプリング周波数よりも高い時間サンプリング周波数で撮影された高速撮影映像データの場合について説明したが、分割手段１１０に入力される映像データが所定の規格に基づく映像の時間サンプリング周波数で撮影された通常撮影映像データの場合は、分割手段１１０における分割１、符号化手段１２０における第１の符号化手段１２１、記録手段１３０における第１の記録フォルダ１３１および復号化手段１４０における復号１をそれぞれ用いて、上記の実施例と同様、符号化して記録した後に復号化して所定の規格に基づく映像を再生することができる。
【００４７】
また、分割手段１１０に入力される映像データが通常撮影の映像データか高速撮影の映像データかを判別し、その判別結果に基づき、分割手段１１０、符号化手段１２０、記録手段１３０および復号化再生手段１４０におけるそれぞれの処理動作を切り替えるようにしてもよい。
【００４８】
以上の本発明の実施の形態１においては、分割手段１１０に入力される撮影映像データとして、飛び越し走査（インターレス）方式の映像データを例に挙げて説明したが、次に、図１を用いて、分割手段１１０に入力される撮影映像データが順次走査（プログレッシブ）方式の場合について説明する。
【００４９】
なお、より具体的に説明するため、分割手段１１０に入力される映像データは、その時間サンプリング周波数が上記の飛び越し走査（インターレス）方式の場合と同様に、図７に示すような順次走査（プログレッシブ）方式のフレーム周波数で１００Ｈｚあるいは１１９．８８Ｈｚ（以下、順次走査方式のフレーム周波数１１９．８８Ｈｚを１２０ｐと呼ぶ）の高速撮影された映像データであるとする。
【００５０】
この場合も、分割手段１１０に入力される映像データが、上記の飛び越し走査（インターレス）方式の高速撮影映像データの場合と同様、基本的には図１に示す構成により、入力された順次走査（プログレッシブ）方式の映像データを分割、符号化、記録した後に復号化再生することによって、既存のＡＶＣＨＤ規格の順次走査（プログレッシブ）方式の映像データを再生するとともに、以下に示す３通り（第Ｉ〜第IIIのフォーマット）の異なる時間サンプリング周波数の再生映像データとして再生することが可能である。なお、図７は、本発明の実施の形態１に係る映像符号化記録再生装置の分割手段における分割の他の例を示す図であり、図７における分割Ｉ、IIおよびIIIは、それぞれ、飛び越し走査（インターレス）方式の場合の図２における分割１、２および３に対応する。
【００５１】
次に、図８を用いて、上記の第Ｉ〜第IIIのフォーマットについて説明する。なお、図８は、本発明の実施の形態１に係る映像符号化記録再生装置の復号化再生手段における復号化と再生映像の他の例を示す図である。
【００５２】
まず、既存のＡＶＣＨＤ規格の映像データ、すなわち第Ｉのフォーマットの映像データとしては、飛び越し走査方式として撮影された２４０ｉの高速撮影映像データが分割手段１４０に入力された場合と同じ映像データ（フィールド周波数５０Ｈｚあるいは５９．９４Ｈｚ（６０ｉ））を再生するが、他の復号化再生映像データ、すなわち第IIおよび第IIIのフォーマットの映像データとしては、それぞれの時間サンプリング周波数が、フレーム周波数で５０Ｈｚあるいは５９．９４Ｈｚ（以下、順次走査方式のフレーム周波数５９．９４Ｈｚを６０ｐと呼ぶ）のフォーマットの映像データ、およびフレーム周波数で１００Ｈｚあるいは１１９．８８Ｈｚ（１２０ｐ）のフォーマットの映像データとして再生される。
【００５３】
ここで、上記の第IIIのフォーマット（１２０ｐ）の再生映像データを、飛び越し走査方式の場合の図３に対応する図である図９と関連付けて説明する。なお、図９は、本発明の実施の形態１に係る映像符号化記録再生装置の分割手段、符号化手段および復号化再生手段における映像構造の他の例を示す図である。
【００５４】
１２０ｐの映像データは、順次走査方式の映像データであるため、基本的にフレーム構造である。このため、図９の（ｂ）に示すようにフレーム内にｏで示される奇数フィールドとｅで示される偶数フィールドが合体したものとなっており、飛び越し走査方式における映像データのように奇数フィールドと偶数フィールドに時間的なズレがない。従って、分割手段１１０に入力される映像データが順次走査方式の場合は、飛び越し走査方式の６０ｉの映像データを既存のＡＶＣＨＤ規格の映像データとして再生させるため、１２０ｐの各フレームの映像データを奇数フィールド（ｏ）と偶数フィールド（ｅ）に敢えて分割し、そのうち奇数フィールドが最初のフィールドとなるように分割したのが、図９の（ｃ）に示される６０ｉ（ｍａｉｎ）の映像データであり、この６０ｉ（ｍａｉｎ）の映像データが既存のＡＶＣＨＤ規格の映像データに相当する。また、図９の（ｃ）に示される６０ｉ（ｍａｉｎ）の映像データとフィールド逆位相に相当するのが図９の（ｄ）に示される６０ｉ（ｓｕｂ１）の映像データである。そして残余となる分割映像データが図９の（ｅ）に示される６０ｐ（ｓｕｂ２）の映像データである。
【００５５】
符号化については、上記の飛び越し走査方式の２４０ｉの映像データを分割手段１１０に入力して分割し、第１の符号化手段１２１〜第３の符号化手段１２３において符号化した場合と同様であり、また、第１の記録フォルダ手段１３１〜第３の記録フォルダ手段１３３に記録される映像データの内容は、図１０に示すように、図５に示される飛び越し走査方式の場合とは若干異なるものの、記録フォルダ手段の動作としては基本的には同じである。なお、図１０は、本発明の実施の形態１に係る映像符号化記録再生装置の記録手段における記録フォルダの構成の他の例を示す図である。
【００５６】
さらに、復号化再生手段１４０における復号化動作も基本的には飛び越し走査方式の場合と同じである。但し、復号化再生手段１４０において復号化され再生される映像データのフォーマットは、図９に示すように飛び越し走査方式の場合と少し異なり、図９の（ｃ）と（ｄ）の６０ｉのフィールド構造の映像データを復号化し組み合わせて再生したフォーマットは６０ｐの映像データになる。また、図９の（ｃ）、（ｄ）および（ｅ）のすべてを復号化し組み合わせて再生したフォーマットは１２０ｐの映像データになる。
【００５７】
なお、本発明の実施の形態１においては、２４０ｉと１２０ｐの２つの高速撮影された映像データの場合を例に挙げて説明したが、２４０ｉおよび１２０ｐよりもさらに高速に撮影された映像データであっても、２４０ｉあるいは１２０ｐの高速撮影された映像データの場合と同様に、既存のＡＶＣＨＤ規格の映像データと互換性を保ちつつ映像データを分割符号化し再生することができることは明白である。
【００５８】
また、本発明の実施の形態１においては、映像撮影手段が映像符号化記録再生装置１００に含まれない場合を例に挙げて説明したが、映像撮影手段が映像符号化記録再生装置１００に具備される構成であってもかまわず、その場合も同様の効果を発揮することは明らかである。
【００５９】
また、本発明は、本発明の実施の形態１に示したような画像符号化記録再生装置として実現することができるばかりでなく、画像符号化記録再生装置としての機能を実現する集積回路や、画像符号化記録再生方法およびその方法をコンピュータに実行させる画像符号化記録再生プログラム、並びにその画像符号化記録再生プログラムを記録した記録媒体として実現することも可能であることは言うまでもない。
【産業上の利用可能性】
【００６０】
本発明は、ビデオカメラやデジタルカメラなどの撮影した動画像データを圧縮符号化して記録再生する機器に適しており、特に、既に商品化されている既存の規格映像信号、具体的にはＡＶＣＨＤ規格に基づく映像信号と互換性を維持しつつ、高速撮影された映像信号を圧縮符号化して記録再生できる機器などに適用できる。
【図面の簡単な説明】
【００６１】
【図１】本発明の実施の形態１における映像符号化記録再生装置の構成を示すブロック図
【図２】本発明の実施の形態１に係る映像符号化記録再生装置の分割手段における分割の一例を示す図
【図３】本発明の実施の形態１に係る映像符号化記録再生装置の分割手段、符号化手段および復号化再生手段における映像構造の一例を示す図
【図４】本発明の実施の形態１に係る映像符号化記録再生装置の符号化手段におけるピクチャの参照符号化構造の一例を示す図
【図５】本発明の実施の形態１に係る映像符号化記録再生装置の記録手段における記録フォルダの構成の一例を示す図
【図６】本発明の実施の形態１に係る映像符号化記録再生装置の復号化再生手段における復号化と再生の一例を示す図
【図７】本発明の実施の形態１に係る映像符号化記録再生装置の分割手段における分割の他の例を示す図
【図８】本発明の実施の形態１に係る映像符号化記録再生装置の復号化再生手段における復号化と再生映像の他の例を示す図
【図９】本発明の実施の形態１に係る映像符号化記録再生装置の分割手段、符号化手段および復号化再生手段における映像構造の他の例を示す図
【図１０】本発明の実施の形態１に係る映像符号化記録再生装置の記録手段における記録フォルダの構成の他の例を示す図
【図１１】階層Ｂピクチャを利用した時間階層符号化における参照符号化構造の一例を示す図
【図１２】階層Ｂピクチャを利用した時間階層符号化における時間スケーラビリティ符号化の表示の一例を示す図
【符号の説明】
【００６２】
１００  映像符号化記録再生装置
１１０  分割手段
１２０  符号化手段
１２１  第１の符号化手段
１２２  第２の符号化手段
１２３  第３の符号化手段
１３０  記録手段
１３１  第１の記録フォルダ
１３２  第２の記録フォルダ
１３３  第３の記録フォルダ
１４０  復号化再生手段
【図１】
2009212759.tif 000003
【図２】
2009212759.tif 000004
【図５】
2009212759.tif 000005
【図６】
2009212759.tif 000006
【図７】
2009212759.tif 000007
【図８】
2009212759.tif 000008
【図１０】
2009212759.tif 000009
【図３】
2009212759.tif 000010
【図４】
2009212759.tif 000011
【図９】
2009212759.tif 000012
【図１１】
2009212759.tif 000013
【図１２】
2009212759.tif 000014