(57)【要約】【課題】動画像を符号化する際に各ピクチャに最適な符号化パラメータを簡単に適用することができ、より良い画質のストリームを容易に得ることができる画像圧縮符号化装置および画像圧縮符号化方法を提供する。【解決手段】本発明に係る画像圧縮符号化装置１０は、シーンチェンジ検出部１２、符号化部群１４などを有する。符号化部群１４はｎ個の符号化部１４−１〜１４−ｎを有する。符号化部１４−１〜１４−ｎは、ＭＰＥＧ−２やＭＰＥＧ−４  ＡＶＣ（Ｈ．２６４）規格に準拠してフレーム間圧縮符号化を行う。また、符号化部１４−１〜１４−ｎは、互いに異なる符号化パラメータを適用して符号化を行うことにより、それぞれ互いに異なるビットストリームを出力する。符号化部１４−１〜１４−ｎは、シーンチェンジ検出部１２から動画像のシーンチェンジ情報を受け、シーンチェンジ点で区切られたシーンごとに独立して復号化可能となるように符号化を行う。【選択図】  図１
2009159374.tif 000002
【特許請求の範囲】
【請求項１】
入力された動画像について、互いに異なる符号化パラメータを適用して符号化を行うことにより互いに異なるビットストリームを出力し、前記符号化を、シーンチェンジ点で区切られたシーンごとに独立して復号化可能となるように行う複数の符号化手段と、
前記互いに異なるビットストリームを記憶する符号化データ記憶手段と、
前記シーンごとに最も画質がよい復号動画像を与える前記ビットストリームの情報を取得する選択情報取得手段と、
前記シーンごとに選択された前記ビットストリームの情報に基づいて前記符号化データ記憶手段を検索し、前記選択されたビットストリームを前記シーンごとに抽出して接続するストリーム編集手段と、
を備えたことを特徴とする画像圧縮符号化装置。
【請求項２】
前記互いに異なるビットストリームを復号して互いに異なる復号動画像を出力する復号化手段と、
前記出力された復号動画像を表示する表示手段と、
をさらに備え、
前記選択情報取得手段は、
前記表示手段に表示された復号動画像に基づいて前記シーンごとに１つずつ選択された前記ビットストリームの情報を取得する、
請求項１記載の画像圧縮符号化装置。
【請求項３】
前記シーンごとに最も画質がよい復号動画像を設定可能な操作手段、
をさらに備えた請求項１記載の画像圧縮符号化装置。
【請求項４】
前記入力された動画像のシーンチェンジ点を検出し、この検出したシーンチェンジ点の情報を前記複数の符号化手段に与えるシーンチェンジ検出手段、
をさらに備えた請求項１記載の画像圧縮符号化装置。
【請求項５】
前記複数の符号化手段による符号化は、Ｈ．２６４規格に準拠した符号化であり、
前記複数の符号化手段は、
前記シーンチェンジ点で区切られたシーンごとに独立して復号化可能とするために、前記シーンチェンジ点直後のＩピクチャをＩＤＲピクチャに変更するとともに、前記シーンチェンジ点直後のＩピクチャのcpb_removal_delayが全ての前記符号化手段で同一となるように前記シーンチェンジ点直前のＩピクチャ間のフレーム数を所定の数にする、
請求項１記載の画像圧縮符号化装置。
【請求項６】
前記複数の符号化手段は、
仮想バッファの占有量が所定の占有量となるよう符号量の調整を行う、
請求項１記載の画像圧縮符号化装置。
【請求項７】
前記仮想バッファはＶＢＶ（Video Buffering Verifier）である、
請求項６記載の画像圧縮符号化装置。
【請求項８】
入力された動画像について、互いに異なる符号化パラメータを適用して符号化を行うことにより互いに異なるビットストリームを出力する複数の符号化手段と、
前記互いに異なるビットストリームを記憶する符号化データ記憶手段と、
前記シーンごとに最も画質がよい復号動画像を与える前記ビットストリームの情報を取得する選択情報取得手段と、
前記互いに異なる符号化パラメータの全てを適用可能に構成され、前記シーンごとに最も画質がよい復号動画像を与える前記ビットストリームの情報を受ける編集用符号化手段と、
を備え、
前記編集用符号化手段は、
前記シーンごとに最も画質がよい復号動画像を与える前記ビットストリームの情報を受けると、再度入力される前記動画像について、前記最も画質がよい復号動画像を与える前記ビットストリームに対応する前記符号化パラメータを前記シーンごとに適用して符号化を行うことを特徴とする画像圧縮符号化装置。
【請求項９】
前記互いに異なるビットストリームを復号して互いに異なる復号動画像を出力する復号化手段と、
前記出力された動画像を表示する表示手段と、
をさらに備え、
前記選択情報取得手段は、
前記表示手段に表示された復号動画像に基づいて前記シーンごとに１つずつ選択された前記ビットストリームの情報を取得する、
請求項８記載の画像圧縮符号化装置。
【請求項１０】
前記シーンごとに最も画質がよい復号動画像を設定可能な操作手段、
をさらに備えた請求項８記載の画像圧縮符号化装置。
【請求項１１】
入力された動画像のシーンチェンジ点を検出し、この検出したシーンチェンジ点の情報を前記複数の符号化手段に与えるシーンチェンジ検出手段、
をさらに備えた請求項８記載の画像圧縮符号化装置。
【請求項１２】
入力された動画像について、互いに異なる符号化パラメータを適用して複数の符号化を並行して行うことにより互いに異なるビットストリームを出力し、前記符号化を、シーンチェンジ点で区切られたシーンごとに独立して復号化可能となるように行うステップと、
前記互いに異なるビットストリームを記憶するステップと、
前記シーンごとに最も画質がよい復号動画像を与える前記ビットストリームの情報を取得するステップと、
前記シーンごとに選択された前記ビットストリームの情報に基づいて前記符号化データ記憶手段を検索し、前記選択されたビットストリームを前記シーンごとに抽出して接続するステップと、
を有することを特徴とする画像圧縮符号化方法。
【請求項１３】
前記互いに異なるビットストリームを復号して互いに異なる復号動画像を出力するステップと、
前記出力された復号動画像を表示手段に表示するステップと、
をさらに備え、
前記ビットストリームの情報を取得するステップは、
前記表示手段に表示された復号動画像に基づいて前記シーンごとに１つずつ選択された前記ビットストリームの情報を取得するステップである、
請求項１２記載の画像圧縮符号化方法。
【請求項１４】
前記シーンごとに最も画質がよい復号動画像を与える前記ビットストリームを、操作手段から入力される情報に基づいて選択するステップ、
をさらに有する請求項１２記載の画像圧縮符号化方法。
【請求項１５】
前記入力された動画像のシーンチェンジ点を検出し、この検出したシーンチェンジ点の情報を前記複数の符号化手段に与えるステップ、
をさらに有する請求項１２記載の画像圧縮符号化方法。
【請求項１６】
前記複数の符号化手段による符号化は、Ｈ．２６４規格に準拠した符号化であり、
前記符号化を行うステップは、
前記シーンチェンジ点で区切られたシーンごとに独立して復号化可能とするために、前記シーンチェンジ点直後のＩピクチャをＩＤＲピクチャに変更するステップと、
前記シーンチェンジ点直後のＩピクチャのcpb_removal_delayが全ての前記符号化手段で同一となるように前記シーンチェンジ点直前のＩピクチャ間のフレーム数を所定の数にするステップと、
を有する請求項１２記載の画像圧縮符号化方法。
【請求項１７】
前記符号化を行うステップは、
仮想バッファの占有量が所定の占有量となるよう動画像の符号化を行うステップ、
を有する請求項１２記載の画像圧縮符号化方法。
【請求項１８】
前記仮想バッファはＶＢＶ（Video Buffering Verifier）である、
請求項１７記載の画像圧縮符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを圧縮符号化する画像圧縮符号化装置および画像圧縮符号化方法に関する。
【背景技術】
【０００２】
一般に、ＭＰＥＧによる圧縮符号化を行う符号化部は、あらかじめ定められたパラメータ群（以下、符号化パラメータという）を用いて入力される画像の符号化を行う。１つの符号化部は、あらかじめ定められた１つの符号化パラメータを用いて一連の入力ピクチャの符号化を行う。
【０００３】
ここで、符号化パラメータとは、量子化におけるスケーリングのパラメータである量子化マトリックスや、マクロブロックに関するＤＣＴタイプなど、符号化に必要な全てのパラメータからなるパラメータ群をいうものとする。
【０００４】
一方、動画像は複数のピクチャにより構成される。各ピクチャに最適な符号化パラメータは、符号化の目的や各ピクチャの内容（シーン）に応じて決めることができる。符号化の目的としては、たとえば画質のよい再生画像を得ることや、動画像全体の符号量を減らして極力データを圧縮することなどをあげることができる。
【０００５】
このため、動画像を１つのみの符号化部で符号化する際には、動画像に含まれる全てのピクチャをユーザの目的に沿った最適な符号化パラメータを用いて符号化することは非常に難しい。たとえば、ユーザの目的が画質のよい画像を得ることである場合には、作成されたビットストリームをデコードして画像を目視し、問題があるピクチャを異なる符号化パラメータで再度符号化する作業を、何度も繰り返す必要がある。
【０００６】
従来、この種の各ピクチャに最適な符号化パラメータを適用して符号化する技術に、特開２００３−２９９０９５号公報（特許文献１）に開示されたものがある。
【０００７】
この特許文献１に開示された動画像処理装置は、入力された画像の符号化を行う複数の符号化部と、この複数の符号化部のそれぞれから出力されたビットストリームから２つ以上のビットストリームを選択し接続して出力させる選択部とを備え、各符号化部は、それぞれ互いに異なる符号化パラメータで符号化を行うことにより、一度の動画像の入力で異なる符号化パラメータが適用されたビットストリームが作成され、各ストリームから目的にかなった部分をつなぎ合わせることにより、入力された動画像全体でユーザの目的にかなった符号化を行うことができるようになっている。
【特許文献１】特開２００３−２９９０９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来の技術は、一度に異なる符号化パラメータを適用したストリームを複数作成することはできるものの、ストリームのつなぎ目で、バッファの不整合や編集による参照画像の欠落などが生じてしまう。これは、従来の技術が、全体で均一な圧縮歪みとなるようなストリームを作成することを目的とし、画質の向上を目的としたものではないことに一員がある。
【０００９】
このため、従来の技術では、より良い画質のストリームを選択してストリームの編集を行うためには、ストリームを加工したり更なる符号化を実行したりするなどの複雑な処理を行う必要がある。また、従来の技術は、最近符号化の際に用いられるようになってきたＭＰＥＧ−４  ＡＶＣ（Ｈ．２６４）規格に準拠した符号化でも同様にストリームの加工をしたり更なる符号化を実行したりするなどの複雑な処理を行う必要がある。
【００１０】
本発明は、動画像を符号化する際に各ピクチャに最適な符号化パラメータを簡単に適用することができ、より良い画質のストリームを容易に得ることができる画像圧縮符号化装置および画像圧縮符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る画像圧縮符号化装置は、上述した課題を解決するために、入力された動画像について、互いに異なる符号化パラメータを適用して符号化を行うことにより互いに異なるビットストリームを出力し、前記符号化を、シーンチェンジ点で区切られたシーンごとに独立して復号化可能となるように行う複数の符号化手段と、前記互いに異なるビットストリームを記憶する符号化データ記憶手段と、前記シーンごとに最も画質がよい復号動画像を与える前記ビットストリームの情報を取得する選択情報取得手段と、前記シーンごとに選択された前記ビットストリームの情報に基づいて前記符号化データ記憶手段を検索し、前記選択されたビットストリームを前記シーンごとに抽出して接続するストリーム編集手段と、を備えたことを特徴とするものである。
【００１２】
また、本発明に係る画像圧縮符号化装置は、上述した課題を解決するために、入力された動画像について、互いに異なる符号化パラメータを適用して符号化を行うことにより互いに異なるビットストリームを出力する複数の符号化手段と、前記互いに異なるビットストリームを記憶する符号化データ記憶手段と、前記シーンごとに最も画質がよい復号動画像を与える前記ビットストリームの情報を取得する選択情報取得手段と、前記互いに異なる符号化パラメータの全てを適用可能に構成され、前記シーンごとに最も画質がよい復号動画像を与える前記ビットストリームの情報を受ける編集用符号化手段と、を備え、前記編集用符号化手段は、前記シーンごとに最も画質がよい復号動画像を与える前記ビットストリームの情報を受けると、再度入力される前記動画像について、前記最も画質がよい復号動画像を与える前記ビットストリームに対応する前記符号化パラメータを前記シーンごとに適用して符号化を行うことを特徴とするものである。
【００１３】
一方、本発明に係る画像圧縮符号化方法は、上述した課題を解決するために、入力された動画像について、互いに異なる符号化パラメータを適用して複数の符号化を並行して行うことにより互いに異なるビットストリームを出力し、前記符号化を、シーンチェンジ点で区切られたシーンごとに独立して復号化可能となるように行うステップと、前記互いに異なるビットストリームを記憶するステップと、前記シーンごとに最も画質がよい復号動画像を与える前記ビットストリームの情報を取得するステップと、前記シーンごとに選択された前記ビットストリームの情報に基づいて前記符号化データ記憶手段を検索し、前記選択されたビットストリームを前記シーンごとに抽出して接続するステップと、を有することを特徴とする方法である。
【発明の効果】
【００１４】
本発明に係る画像圧縮符号化装置および画像圧縮符号化方法によれば、動画像を符号化する際に各ピクチャに最適な符号化パラメータを簡単に適用することができ、より良い画質のストリームを容易に得ることができる。
【発明を実施するための最良の形態】
【００１５】
本発明に係る画像圧縮符号化装置および画像圧縮符号化方法の実施の形態について、添付図面を参照して説明する。
【００１６】
図１は、本発明に係る画像圧縮符号化装置の第１実施形態を示す概略的な全体構成図である。
【００１７】
画像圧縮符号化装置１０は、動画像入力端子１１、シーンチェンジ検出部１２、シーンチェンジ情報記憶部１３、符号化部群１４、符号化データ記憶部１５、復号化部１６、表示部１７、操作部１８、選択情報取得部１９、選択情報記憶部２０およびストリーム編集部２１を有する。
【００１８】
動画像入力端子１１から入力された動画像は、シーンチェンジ検出部１２および符号化部に与えられる。
【００１９】
シーンチェンジ検出部１２は、入力される動画像について、連続した画像のフレーム間の差分データにもとづき、この差分データの絶対値の総和がある一定値以上大きい場合には画像間でシーンチェンジが発生していると判断（シーンチェンジ検出）する。シーンチェンジ検出部１２は、シーンチェンジが発生した画像の情報をシーンチェンジ情報としてシーンチェンジ情報記憶部１３に記憶させておく。
【００２０】
なお、本実施形態においては、まず、シーンチェンジ検出部１２に一連の動画像が入力されてこの動画像のシーンチェンジ情報がすべてシーンチェンジ情報記憶部１３に記憶されたのち、同一の動画像が符号化部群１４に入力される場合の例について示す。もちろん、シーンチェンジ検出部１２によるシーンチェンジ検出と符号化部群１４による符号化とが並行して実行されてもかまわない。ただし、並行して実行される場合は、符号化群には所要のサイズのフレームメモリが必要となることに注意する。
【００２１】
シーンチェンジ情報記憶部１３に記憶された動画像のシーンチェンジ情報は、シーンチェンジ検出部１２から符号化部群１４に与えられる。符号化部群１４は、動画像の符号化の際、このシーンチェンジ情報を利用する。
【００２２】
符号化部群１４は、複数の符号化部を有する。本実施形態においては、符号化部群１４がｎ個の符号化部１４−１〜１４−ｎ（ｎは自然数を表す）を有する場合の例について示す。
【００２３】
符号化部１４−１〜１４−ｎは、ＭＰＥＧ−２やＭＰＥＧ−４  ＡＶＣ（Ｈ．２６４）規格に準拠してフレーム間圧縮符号化を行う。ただし、符号化部１４−１〜１４−ｎは、すべて同じコーデックを使用する。また、符号化部１４−１〜１４−ｎは、互いに異なる符号化パラメータを適用して符号化を行うことにより、それぞれ互いに異なるビットストリームＢＳ１〜ＢＳｎを出力する。
【００２４】
ここで、符号化パラメータとは、フレーム内圧縮を行うピクチャであるＩピクチャの間隔ＮおよびＩピクチャと単方向予測を使用してフレーム間圧縮を行うピクチャであるＰピクチャおよびＰピクチャの間隔Ｍなどのピクチャ符号化タイプに関する符号化パラメータや、量子化におけるスケーリングのパラメータである量子化マトリックスや、ScalingList、マクロブックに関するＤＣＴタイプ、ジグザグスキャンの方法、DeBlocking Filter等、さらにレート制御におけるフレーム内圧縮とフレーム間圧縮ピクチャとの発生符号量の比率や動的にピクチャ内の量子化値Ｑを変更する方法といった、符号化部１４−１〜１４−ｎが設定できる全てのパラメータを指す。
【００２５】
符号化部１４−１〜１４−ｎは、シーンチェンジ検出部１２から動画像のシーンチェンジ情報を受け、シーンチェンジ点で区切られたシーンごとに独立して復号化可能となるように符号化を行う。つまり、シーンチェンジが発生した画像（シーンチェンジ点）で各ビットストリームＢＳ１〜ＢＳｎが編集可能点を有するようにする。
【００２６】
符号化データ記憶部１５は、シーンチェンジ点で編集可能に構成されたビットストリームＢＳ１〜ＢＳｎを符号化部１４−１〜１４−ｎからそれぞれ受け、このビットストリームＢＳ１〜ＢＳｎを記憶する。また、符号化データ記憶部１５は、ストリーム編集部２１から受けた編集されたビットストリームを記憶する。
【００２７】
復号化部１６は、符号化データ記憶部１５に記憶されたビットストリームＢＳ１〜ＢＳｎを復号して互いに異なる復号動画像ＭＩ１〜ｎを取得し、この復号動画像ＭＩ１〜ｎを出力して表示部１７に表示させる。なお、復号化部１６は、符号化部１４−１〜１４−ｎが出力したビットストリームＢＳ１〜ＢＳｎの全てを選択して復号できるものとする。また、復号化部１６は、ビットストリームＢＳ１〜ＢＳｎと復号動画像ＭＩ１〜ｎの対応関係の情報を選択情報取得部１９に与える。
【００２８】
表示部１７は、たとえば液晶ディスプレイやＣＲＴディスプレイなどの一般的な表示出力装置により構成される。
【００２９】
操作部１８は、たとえばキーボード、タッチパネル、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を出力する。たとえば、ユーザは、この操作部１８を介して、シーンごとに、表示部１７に表示された復号動画像ＭＩ１〜ｎから１つずつ、最も画質がよいと思われる復号動画像（以下、最適復号動画像という）の選択（設定）情報を画像圧縮符号化装置１０に与えることができる。
【００３０】
選択情報取得部１９は、操作部１８を介してユーザから受けた最適復号動画像の情報と、復号化部１６から受けたビットストリームＢＳ１〜ＢＳｎと復号動画像ＭＩ１〜ｎの対応関係の情報とにもとづき、各シーンについて、最適復号動画像を与えるビットストリーム（以下、最適ビットストリームという）の情報を取得する。そして、選択情報取得部１９は、それぞれのシーンと最適ビットストリームの情報とを関連付けて、選択情報記憶部２０に記憶させる。
【００３１】
また、選択情報取得部１９は、入力された動画像に含まれる全てのシーンについて最適ビットストリームを取得すると、選択情報記憶部２０に記憶された各シーンの最適ビットストリームの選択情報をストリーム編集部２１に与える。
【００３２】
図２は、各シーンの最適ビットストリームをつなぎ合わせて新たなビットストリームに編集する際の様子を示す説明図である。
【００３３】
ストリーム編集部２１は、図２に示すように、選択情報取得部１９から各シーンの最適ビットストリームの情報（図２の星印参照）を受け、シーンごとに選択された最適ビットストリームを抽出して接続することにより、新たなビットストリームを編集し、この編集したビットストリームを符号化データ記憶部１５に記憶させる。
【００３４】
次に、本実施形態に係る画像圧縮符号化装置１０の動作の一例について説明する。
【００３５】
図３は、本発明に係る画像圧縮符号化装置１０により、動画像を符号化する際に各ピクチャ（各シーン）に最適な符号化パラメータを簡単に適用し、より良い画質のストリームを容易に得る際の手順を示すフローチャートである。図３において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。
【００３６】
この手順は、シーンチェンジ検出部１２が一連の動画像のシーンチェンジ情報をすべて取得してこのシーンチェンジ情報を符号化部群１４に与え、同一の動画像が符号化部群１４に入力された時点でスタートとなる。
【００３７】
まず、ステップＳ１において、符号化部群１４に対してピクチャが入力される。
【００３８】
次に、ステップＳ２において、符号化部群１４は、シーンチェンジ情報にもとづいて、この画像がシーンチェンジの発生した画像（シーンチェンジ点）か否か判定する。シーンチェンジ点である場合はステップＳ３に進む。一方、シーンチェンジ点でない場合はステップＳ５に進む。
【００３９】
次に、ステップＳ３およびステップＳ４において、符号化部群１４は、入力されたピクチャの符号化を行い、順次符号化データ記憶部１５に記憶させる。
【００４０】
ステップＳ３では、符号化部群１４は、仮想バッファが所定の占有量になるよう符号量の調整を行う。符号化部１４−１〜１４−ｎがＭＰＥＧ−２規格に準拠してフレーム間圧縮符号化を行う場合には、ＶＢＶ（Video Buffering Verifier）バッファが事前に定めた所定の占有量となるように符号量の調整を行う。また、符号化部１４−１〜１４−ｎがＭＰＥＧ−４  ＡＶＣ（Ｈ．２６４）規格に準拠してフレーム間圧縮符号化を行う場合には、ＣＰＢ（Coded Picture Buffer）バッファが事前に定めた所定の占有量となるように符号量の調整を行う。
【００４１】
また、ステップＳ４では、符号化部群１４は、シーンチェンジ点前後でフレーム間予測のピクチャの参照が生じないようピクチャの符号化タイプを変更する。
【００４２】
図４は、シーンチェンジ点前後のピクチャに対する符号化タイプの変更の一例について説明するための図である。
【００４３】
符号化部１４−１〜１４−ｎがＭＰＥＧ−２規格に準拠してフレーム間圧縮符号化を行う場合には、シーンチェンジ点からＧＯＰが始まり、このＧＯＰがＣｌｏｓｅｄ  ＧＯＰとなるように、ピクチャの符号化タイプを変更する。また、符号化部１４−１〜１４−ｎがＭＰＥＧ−４  ＡＶＣ（Ｈ．２６４）規格に準拠してフレーム間圧縮符号化を行う場合には、図４の最下部に示すように、シーンチェンジ後のＩピクチャをＩＤＲピクチャに変更する。
【００４４】
さらに、符号化部１４−１〜１４−ｎがＭＰＥＧ−４  ＡＶＣ（Ｈ．２６４）規格に準拠してフレーム間圧縮符号化を行う場合には、符号化順でシーンチェンジ直後のピクチャに付くcpb_removeal_delayが同じ値になるようにする。cpb_removeal_delayの値は直前のIピクチャの間隔Ｎで決まる。
【００４５】
図５は、ＭＰＥＧ−２におけるシーンチェンジ前後のＩピクチャの間隔Ｎの一例について説明するための図である。
【００４６】
本実施形態においては、符号化部１４−１〜１４−ｎがそれぞれ異なる符号化パラメータで符号化を行う。このため、図５に示すように、シーンチェンジ直前のＩピクチャの間隔Ｎは、ビットストリームＢＳ１〜ＢＳｎごとに異なってしまう。このような場合でも、ＭＰＥＧ−２規格では、符号化および復号化において問題が生じない。そもそもcpb_removeal_delayを規格上含んでいないためである。
【００４７】
図６は、ＭＰＥＧ−４  ＡＶＣ（Ｈ．２６４）においてシーンチェンジ直前のＩピクチャの間隔Ｎをそろえた場合の一例を示す説明図である。
【００４８】
ＭＰＥＧ−４  ＡＶＣ（Ｈ．２６４）規格に準拠した符号化では、cpb_removeal_delayの値が影響する。cpb_removeal_delayの値は、各ピクチャのデコードのタイミングを示している。cpb_removeal_delayの値は、直前のIピクチャの間隔Ｎで決まる。このため、図５に示すような、シーンチェンジ直前のＩピクチャの間隔ＮがビットストリームＢＳ１〜ＢＳｎごとに異なる場合には、各ビットストリームＢＳ１〜ＢＳｎのシーンチェンジ直後のIピクチャに存在するcpb_removeal_delayの値が異なってしまう。この場合、シーンチェンジ点でビットストリームＢＳ１〜ＢＳｎを編集すると規格違反の正常にデコードできないストリームとなってしまう。
【００４９】
したがって、符号化部１４−１〜１４−ｎがＭＰＥＧ−４  ＡＶＣ（Ｈ．２６４）規格に準拠してフレーム間圧縮符号化を行う場合には、図６に示すように、シーンチェンジ直前のＩピクチャの間隔Ｎを所定の数にしておくことにより、符号化順でシーンチェンジ直後のピクチャに付くcpb_removeal_delayが同じ値になるようにする。
【００５０】
次に、ステップＳ５において、符号化部群１４は、次に入力されるピクチャがあるかどうか判定する。次ピクチャがある場合は、ステップＳ１に戻る。一方、次ピクチャがない場合は、符号化処理は終了となり、ステップＳ６に進む。
【００５１】
次に、ステップＳ６において、復号化部１６は、符号化データ記憶部１５に記憶されたビットストリームＢＳ１〜ＢＳｎを復号して互いに異なる復号動画像ＭＩ１〜ｎを取得する。
【００５２】
次に、ステップＳ７において、表示部１７は、復号化部１６から受けた復号動画像ＭＩ１〜ｎを表示する。
【００５３】
次に、ステップＳ８において、選択情報取得部１９は、操作部１８を介してユーザから受けた最適復号動画像の情報と、復号化部１６から受けたビットストリームＢＳ１〜ＢＳｎと復号動画像ＭＩ１〜ｎの対応関係の情報とにもとづいて、各シーンについて、最適ストリームの選択情報を取得し、各シーンと最適ビットストリームの情報とを関連付けて選択情報記憶部２０に記憶させる。このステップＳ８は、ユーザにより入力された動画像に含まれる全てのシーンについて最適画像の選択が行われるまで、各シーンについて繰り返される。もちろん、全てのシーンについて、一度に選択情報が与えられるようにしても構わない。
【００５４】
次に、ステップＳ９において、ストリーム編集部２１は、シーンごとに選択された最適ビットストリームを抽出して接続することにより、新たなビットストリームを編集する。各シーンは、ステップＳ３およびステップＳ４でビットストリーム化された際に、シーンごとに編集可能となるように符号化されている。このため、ストリーム編集部２１は、単に符号化データ記憶部１５からシーンごとにビットストリームデータを抽出して並べるだけで、新たなビットストリームを容易に編集することができる。
【００５５】
そして、ステップＳ１０において、ストリーム編集部２１は、この編集したビットストリームを符号化データ記憶部１５に記憶させる。
【００５６】
以上の手順により、動画像を符号化する際に各ピクチャ（各シーン）に最適な符号化パラメータを簡単に適用することができ、より良い画質のストリームを容易に得ることができる。
【００５７】
本実施形態に係る画像圧縮符号化装置１０は、複数の符号化部１４−１〜１４−ｎを有し、符号化部１４−１〜１４−ｎのそれぞれは、互いに異なる符号化パラメータで入力動画像を全て符号化する。また、この符号化は、シーンごとに編集可能となるようにおこなわれる。このため、本実施形態に係る画像圧縮符号化装置１０によれば、シーンごとにビットストリームデータを抽出して並べるだけで、新たなビットストリームを容易に編集することができる。
【００５８】
また、本実施形態に係る画像圧縮符号化装置１０は、入力される動画像について、複数の符号化パラメータで符号化されたビットストリームＢＳ１〜ＢＳｎを一度に得ることができる。このため、動画像を符号化する際に各ピクチャに最適な符号化パラメータを簡単に利用することができる。したがって、この画像圧縮符号化装置１０によれば、容易によい画質のビットストリームを得ることができる。
【００５９】
次に、本発明に係る画像圧縮符号化装置１０の第２実施形態について説明する。
【００６０】
図７は、本発明に係る画像圧縮符号化装置１０の第２実施形態を示す概略的な全体構成図である。
【００６１】
この第２実施形態に示す画像圧縮符号化装置１０Ａは、ストリーム編集部２１が必要ないかわりに新たな編集用符号化部１４―Ｓを備える点および符号化部１４−１〜１４−ｎの機能の一部が第１実施形態に示す画像圧縮符号化装置１０と異なる。他の構成および作用については図１に示す画像圧縮符号化装置１０と実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。
【００６２】
編集用符号化部１４−Ｓは、符号化部１４−１〜１４−ｎの全ての符号化パラメータを利用可能に構成される。編集用符号化部１４−Ｓは、各シーンの最適ビットストリームの選択情報を選択情報取得部１９から受ける。また、シーンチェンジ情報をシーンチェンジ検出部１２から受ける。
【００６３】
そして、編集用符号化部１４−Ｓは、各シーンの最適ビットストリームの選択情報と、シーンチェンジ情報とにもとづいて、再度入力される動画像について、各シーンの最適ビットストリームに対応する符号化パラメータをシーンごとに適用して符号化を行うことにより、新たなビットストリームを得ることができる。
【００６４】
このため、新たなビットストリームを得る際に、ビットストリームをつなぎ合わせる必要がなくなる。
【００６５】
図８は、第２実施形態に係る画像圧縮符号化装置１０により、動画像を符号化する際に各ピクチャ（各シーン）に最適な符号化パラメータを簡単に適用し、より良い画質のストリームを容易に得る際の手順を示すフローチャートである。図８において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。図３と同等のステップには同一符号を付し、重複する説明を省略する。
【００６６】
本実施形態においては、各フレームの最適ビットストリームが取得されると、編集用符号化部１４−Ｓにより再度符号化が行われる。このため、得られる新たなビットストリームは、１つの符号化部（編集用符号化部１４−Ｓ）によって作成される。したがって、ビットストリームＢＳ１〜ＢＳｎ同士の接続について考慮する必要はなく、ビットストリームＢＳ１〜ＢＳｎをシーンチェンジ点で編集可能に構成する必要がない。
【００６７】
ステップＳ２１において、符号化部群１４は、シーンチェンジ点前後でピクチャの参照が生じないようピクチャの符号化タイプを変更する。これは、シーンチェンジ点を編集可能点とすることを目的にするものではなく、所属するシーンが異なるピクチャ間で参照が生じることによる画質の劣化を未然に防ぐことを目的とするものである。
【００６８】
また、符号化部１４−１〜１４−ｎがＭＰＥＧ−４  ＡＶＣ（Ｈ．２６４）規格に準拠してフレーム間圧縮符号化を行う場合に図３のステップＳ４で実行される、符号化順でシーンチェンジ直後のピクチャに付くcpb_removeal_delayが同じ値になるようにする処理は必要ない。シーンチェンジ点で編集可能である必要がないためである。
【００６９】
ステップＳ２２において、編集用符号化部１４−Ｓは、各シーンの最適ビットストリームの選択情報と、シーンチェンジ情報とにもとづいて、再度入力される動画像について、各シーンの最適ビットストリームに対応する符号化パラメータをシーンごとに適用して符号化を行うことにより、新たなビットストリームを得る。
【００７０】
以上の手順によっても、動画像を符号化する際に各ピクチャ（各シーン）に最適な符号化パラメータを簡単に適用することができ、より良い画質のストリームを容易に得ることができる。
【００７１】
第２実施形態に係る画像圧縮符号化装置１０Ａによっても、第１実施形態に係る画像圧縮符号化装置１０と同様の作用効果を奏する。
【００７２】
また、本実施形態に係る画像圧縮符号化装置１０Ａは、第１実施形態に係る画像圧縮符号化装置１０にくらべ、仮想バッファが所定の占有量になるよう符号量の調整を行う必要がない（図３のステップＳ３および図８参照）。仮想バッファが所定の占有量になるよう符号量の調整を行う場合、仮想バッファの占有量が所定の量より少ない場合には、あえてダミーデータを加えることにより符号量を調整する必要がある。また、仮想バッファの占有量が所定の量より多い場合は、データの一部を削る必要がある。
【００７３】
本実施形態に係る画像圧縮符号化装置１０Ａはこの符号量の調整が必要ない。このため、ビットストリームＢＳ１〜ＢＳｎのデータをより多く画像情報に振り分けることができる。したがって、本実施形態に係る画像圧縮符号化装置１０Ａによれば、よりよい画質を得ることができる。
【００７４】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。たとえば、上述した画像圧縮符号化装置における構成の一部または全部を、コンピュータによりプログラムを実行させて機能させることもできる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
【００７５】
また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
【図面の簡単な説明】
【００７６】
【図１】本発明に係る画像圧縮符号化装置の第１実施形態を示す概略的な全体構成図。
【図２】各シーンの最適ビットストリームをつなぎ合わせて新たなビットストリームに編集する際の様子を示す説明図。
【図３】本発明に係る画像圧縮符号化装置により、動画像を符号化する際に各ピクチャ（各シーン）に最適な符号化パラメータを簡単に適用し、より良い画質のストリームを容易に得る際の手順を示すフローチャート。
【図４】シーンチェンジ点前後のピクチャに対する符号化タイプの変更の一例について説明するための図。
【図５】ＭＰＥＧ−２におけるシーンチェンジ前後のＩピクチャの間隔Ｎの一例について説明するための図。
【図６】ＭＰＥＧ−４  ＡＶＣ（Ｈ．２６４）においてシーンチェンジ直前のＩピクチャの間隔Ｎをそろえた場合の一例を示す説明図。
【図７】本発明に係る画像圧縮符号化装置の第２実施形態を示す概略的な全体構成図。
【図８】第２実施形態に係る画像圧縮符号化装置により、動画像を符号化する際に各ピクチャ（各シーン）に最適な符号化パラメータを簡単に適用し、より良い画質のストリームを容易に得る際の手順を示すフローチャート。
【符号の説明】
【００７７】
１０  画像圧縮符号化装置
１１  動画像入力端子
１２  シーンチェンジ検出部
１３  シーンチェンジ情報記憶部
１４  符号化部群
１４−１〜１４−ｎ  符号化部
１４−Ｓ  編集用符号化部
１５  符号化データ記憶部
１６  復号化部
１７  表示部
１８  操作部
１９  選択情報取得部
２０  選択情報記憶部
２１  ストリーム編集部
【図１】
2009159374.tif 000003
【図２】
2009159374.tif 000004
【図３】
2009159374.tif 000005
【図４】
2009159374.tif 000006
【図５】
2009159374.tif 000007
【図６】
2009159374.tif 000008
【図７】
2009159374.tif 000009
【図８】
2009159374.tif 000010