(57)【要約】【課題】  同じ画像から作る解像度の異なる画像の符号化画質を改善する。【解決手段】  解像度変換部（１０５）は、画像信号入力端子（１０１）からの画像信号を低解像度の画像信号に変換する。符号化部（１０２）は、画像信号入力端子（１０１）からの画像信号を符号化し、符号化部（１０６）は、解像度変換部（１０５）からの画像信号を符号化する。制御部（１０９）は符号化部（１０２，１０６）に互いに異なる符号化順序を設定し、異なる順序で各フレームを符号化させ、符号化部（１０２，１０６）の同じフレームに対する符号化情報を相互に参照させる。【選択図】  図１
2012249116.tif 000002
【特許請求の範囲】
【請求項１】
入力された動画像を解像度変換する解像度変換手段と、
前記入力された動画像における各フレームを、設定される符号化順序に従い符号化する第１の符号化手段と、
前記解像度変換手段から出力される動画像における各フレームを、設定される符号化順序に従い符号化する第２の符号化手段と、
前記第１及び第２の符号化手段による符号化を制御する制御手段であって、前記第１及び第２の符号化手段に対して互いに異なる符号化順序を設定すると共に、前記第１又は第２の一方の符号化手段によって時間的に先行して符号化された所定のフレームの符号化情報を、符号化順序が異なることによって前記所定のフレームと同じ時間のフレームを遅れて符号化することになる他方の符号化手段に設定する制御手段
とを具備することを特徴とする画像符号化装置。
【請求項２】
前記制御手段は、さらに前記第１及び第２の符号化手段に対して異なる符号化の開始タイミングを設定することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記制御手段は、符号化順序を設定するために符号化ピクチャのＧＯＰ構造を規定することを特徴とする請求項１又は２に記載の画像符号化装置。
【請求項４】
前記第１の符号化手段のＧＯＰ構造がＩピクチャまたはＰピクチャの周期が３であり、前記第２の符号化手段のＧＯＰ構造がＩピクチャまたはＰピクチャの周期が２であり、
前記第１の符号化手段に設定するＧＯＰ構造の開始が、前記第２の符号化手段に設定するＧＯＰ構造の開始より１フレーム、遅延する
ことを特徴とする請求項３に記載の画像符号化装置。
【請求項５】
前記第１の符号化手段のＧＯＰ構造がＩピクチャまたはＰピクチャの周期が３であり、前記第２の符号化手段のＧＯＰ構造がＩピクチャまたはＰピクチャの周期が２であり、
前記第２の符号化手段に設定するＧＯＰ構造の開始が、前記第１の符号化手段に設定するＧＯＰ構造の開始より１フレーム、遅延する
ことを特徴とする請求項３に記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置に関し、異なる解像度の画像を符号化する画像符号化装置に関する。
【背景技術】
【０００２】
従来、動画を圧縮符号化する方式として、ＭＰＥＧ２及びＨ．２６４等が知られている。これらの圧縮符号化方式は、画像をマクロブロックと呼ばれる所定サイズの画素ブロックに分割し、動き補償予測、直交変換、量子化及びエントロピー符号化を施すことによって、画像データの情報量を圧縮する。
【０００３】
また、ＭＰＥＧ２やＨ．２６４等の符号化方式による符号化装置を搭載した撮像装置が、既に商品化されている。また、同じ動画又は静止画を、高画質のまま圧縮符号化して記録しつつ、公開／アップロード用途として低画質で圧縮符号化して送信するという撮像装置の使用法が注目されている。特許文献１には、撮影画像を第１の符号化手段で符号化して記録し、撮影画像を解像度変換してから第２の符号化手段で同時に符号化する符号化装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１２８１７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の従来技術は、動き補償手段を共用するものの、異なる解像度の２つの画像を独立に符号化する２つの符号化手段を並列且つ独立に動作させるものである。従って、得られる符号化画像データの符号化画質は、使用される符号化手段の符号化条件に依存しており、元々が同じ画像であることが考慮されていない。
【０００６】
このような問題は、画面当たりの画素数が同じでありながら、符号化条件を異ならせることで、データ量の異なる２つの符号化画像データを生成する場合にも、同様に存在する。
【０００７】
本発明は、このような問題に鑑み、同じ画像を異なる符号化条件で符号化する際の符号化画質を改善した画像符号化装置を提示することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像符号化装置は、入力された動画像を解像度変換する解像度変換手段と、前記入力された動画像における各フレームを、設定される符号化順序に従い符号化する第１の符号化手段と、前記解像度変換手段から出力される動画像における各フレームを、設定される符号化順序に従い符号化する第２の符号化手段と、前記第１及び第２の符号化手段による符号化を制御する制御手段であって、前記第１及び第２の符号化手段に対して互いに異なる符号化順序を設定すると共に、前記第１又は第２の一方の符号化手段によって時間的に先行して符号化された所定のフレームの符号化情報を、符号化順序が異なることによって前記所定のフレームと同じ時間のフレームを遅れて符号化することになる他方の符号化手段に設定する制御手段とを具備することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、複数の符号化部で生成されるそれぞれの画像の符号化画質を向上させる事ができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】本実施例のタイミング図である。
【図３】本実施例の別のタイミング図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１２】
図１は、本発明に係る画像符号化装置の一実施例の概略構成ブロック図を示す。画像信号入力端子１０１には、図示しない撮像装置で撮影された動画像などの画像信号が入力される。画像信号入力端子１０１に入力した画像信号は、符号化部１０２（第１の符号化部）および解像度変換部１０５に入力される。
【００１３】
解像度変換部１０５は、画像信号入力端子１０１からの画像信号を低解像度の画像信号に変換する。例えば、入力画像信号が高精細度テレビ方式の画像信号である場合、解像度変換部１０５は、標準テレビ方式の画像信号に変換する。変換された画像信号は符号化部１０６（第２の符号化部）に入力される。
【００１４】
符号化部１０２，１０６は、ＭＰＥＧ２方式等の動画符号化方式により入力画像信号を符号化する。符号化部１０２，１０６は、入力画像信号をマクロブロックと呼ばれる所定サイズの画素ブロックに分割し、動き補償予測、直交変換、変換係数の量子化及びエントロピー符号化を施して圧縮符号化する。符号化データは、フレーム内符号化のＩピクチャ、前方予測符号化のＰピクチャ、双方向予測符号化のＢピクチャを、所定数の画面からなるＧＯＰ（Group Of Pictures）を単位として構造化した構成からなる。ここでは、説明例でとして、ＧＯＰのピクチャ数を１２フレームとするが、ＧＯＰの長さはそれ以外であっても良い。
【００１５】
記録部１０３（第１の記録部）は、符号化部１０２で符号化された画像データを記録媒体１０４（第１の記録媒体）に記録する。記録部１０７（第２の記録部）は、符号化部１０６で符号化された画像データを記録媒体１０８（第２の記録媒体）に記録する。符号化部１０６で符号化された画像データは、外部出力部１１０から外部の記録装置やサーバ等に送出される。外部出力部１１０は、無線や有線による通信部を備える。記録媒体１０４と記録媒体１０８は、説明用に分離しただけであり、実際の装置構成では単一の記録媒体に符号化部１０２，１０６の符号化画像ファイルが互いに識別可能に記録されてもよい。
【００１６】
制御部１０９は、マイクロコンピュータ等を備え、符号化部１０２及び１０６の符号化を連動制御する。具体的には、制御部１０９は、符号化部１０２の符号化情報を取得して、符号化部１０６に設定する。符号化情報は、例えば、予測画像の品質、発生符号量、ベクトル符号発生量及び量子化パラメータの一部又は全部である。制御部１０９はまた、符号化部１０６から同様の符号化情報を取得して符号化部１０２に設定することもある。これらの作用の詳細は後述する。
【００１７】
一般にＭＰＥＧ２方式等の動き予測補償符号化において、符号化画質は入力画像の絵柄や動きに大きく依存する。例えば、精細で複雑な絵柄や、動きの激しい画像は、画質劣化が発生し易い。これに対し、符号化の前段で絵柄の複雑度又は画面全体の動き量を検出し、画質劣化が発生しそうな画像に符号量の割り当てを増やすことで、画質劣化を低減することが行われる。しかし、全ての画像で絵柄の複雑度や画面全体の動き量を正確に検出できるとは限らず、画像によっては誤検出もありうる。画像の性質を正確に把握するには、対象とする画像を実際に符号化し、予測画像の品質、発生符号量、ベクトル符号発生量及び量子化パラメータの値などの符号化情報を取得する事が望ましい。
【００１８】
本実施例は、符号化部１０２，１０６において実際に符号化して得られた符号化情報を他方に又は双方向に設定することで、符号化情報を共有し、相互に符号化画質の向上を図るものである。符号化部１０２，１０６は同時に符号化を実行しても、一方（例えば、符号化部１０２）が時間的に先行して符号化を実施し、他方（例えば、符号化部１０６）が先行した符号化の符号化条件を参照して符号化を実施しても良い。
【００１９】
符号化部１０２，１０６が同時に並行して符号化を行う場合の動作を説明する。制御部１０９は、符号化に先立ち符号化部１０２，１０６に対して、それぞれ符号化ピクチャのＧＯＰ構造を規定し、ＧＯＰ構造に従った符号化順序で符号化するよう設定する。
【００２０】
図２は、符号化すべき画像と符号化のタイミング例を示す。Ｆ０〜Ｆ１４は、画像信号入力端子１０１に入力する動画像のフレームを示す。図２では、１ＧＯＰを構成する１２ピクチャ分のみを図示してあるが、同様のシーケンスがＧＯＰ単位で繰り返されるものである。Ｉ，Ｐ，Ｂはピクチャタイプを示し、添え字はＧＯＰ内でのフレーム番号を示す。
【００２１】
図２（ａ）は符号化部１０２に設定する各フレームの符号化順序（ＧＯＰ構造）の例を示す。制御部１０９は、符号化部１０２にフレームＦ０〜Ｆ１４をＢＢＩＢＢＰＢＢＰＢＢＰのピクチャタイプ順で符号化するように指示する。このＧＯＰ構造は、ＩピクチャまたはＰピクチャの周期を３（Ｍ値）としたものである。図２（ｂ）は、符号化部１０６に設定する各フレームの符号化順序（ＧＯＰ構造）の例を示す。制御部１０９は、符号化部１０６にフレームＦ０〜Ｆ１４をＢＩＢＰＢＰＢＰＢＰＢＰのピクチャタイプ順で符号化するように指示する。このＧＯＰ構造は、ＩピクチャまたはＰピクチャの周期を２（Ｍ値）としたものである。なお、各フレーム（ピクチャ）に添えられた数字は時間順を表しており、数字が同じフレームは同じ時間のフレームである。
【００２２】
制御部１０９は、それぞれ図２（ｃ），（ｄ）に示すタイミングで符号化を実行するように、符号化部１０２，１０６に符号化開始を指示し、矢印２０１〜２０８，２１１，２１２で示すように、符号化情報を相互に参照させる。図２（ｃ）は、符号化部１０２の符号化処理タイミングを示し、図２（ｄ）は、符号化部１０６の符号化処理タイミングを示す。制御部１０９は、図２（ｃ），（ｄ）のように、符号化部１０２，１０６に対して異なる符号化の開始タイミングを設定する。
【００２３】
ＧＯＰにおける最初の符号化はＩピクチャから行なう必要がある。符号化部１０２は、図２（ｃ）に示すように、ＩピクチャとすべきフレームＦ２に続くフレームＦ３の期間にフレームＦ２をＩピクチャとして符号化する。これにより、符号化データＩ２の符号化データが生成される。以降、フレームＦ４〜Ｆ１４の期間に、フレームＦ０，Ｆ１，Ｆ３〜Ｆ１２が符号化される。これにより、図２（ｃ）に示すような符号化データ列ＩＢＢＰＢＢＰＢＢＰＢＢが生成される。
【００２４】
他方、符号化部１０６は、図２（ｂ）に示すように、フレームＦ１をＩピクチャとして符号化するように設定されている。従って、符号化部１０６は、図２（ｄ）に示すように、ＩピクチャとすべきフレームＦ１に続くフレームＦ２の期間にフレームＦ１をＩピクチャとして符号化する。これにより、符号化データＩ１が生成される。以降、フレームＦ３〜Ｆ１３の期間に、フレームＦ０，Ｆ２〜Ｆ１２が符号化される。これにより、図２（ｄ）に示すような符号化データ列ＩＢＢＰＢＢＰＢＢＰＢＢが生成される。
【００２５】
符号化部１０２，１０６間での符号化情報の利用方法を説明する。制御部１０９は、図２（ｃ）と同（ｄ）との間に矢印２０１〜２０８で示すように、符号化部１０６の符号化情報を符号化部１０２に設定し、矢印２１１，２１２で示すように符号化部１０２の符号化情報を符号化部１０６に設定する。
【００２６】
矢印２０１について説明する。制御部１０９は、フレームＦ２の期間でのピクチャＩ１の符号化完了後に符号化部１０６からフレームＦ１に対する符号化情報を取得する。符号化部１０２はフレームＦ１をフレームＦ５の期間に符号化するので、制御部１０９は、符号化部１０６から取得したフレームＦ１に対する符号化情報を、フレームＦ５の期間の前に符号化部１０２に設定する。符号化部１０２は、符号化部１０６からのフレームＦ１に対する符号化情報を利用してフレームＦ１を符号化し、符号化データＢ１を生成する。このようにして、符号化部１０２は、フレームＦ１の符号化に、先行して符号化を実行した符号化部１０６のフレームＦ１に対する符号化情報を利用できる。
【００２７】
他の矢印２０２〜２０８も、基本的に、符号化部１０２が同じフレームについて、先行して符号化を実行した符号化部１０６の符号化情報を利用することを示している。
【００２８】
他方、矢印２１１は、符号化部１０６がフレームＦ２について、先行して符号化を実行した符号化部１０２のフレームＦ２に対する符号化情報を利用することを示している。また、矢印２１２は、符号化部１０６がフレームＦ８について、先行して符号化を実行した符号化部１０２のフレームＦ８に対する符号化情報を利用することを示している。
【００２９】
符号化部１０２，１０６は共に、符号化の前段に画像の性質を検出する手段を具備しており、他の符号化部からの符号化情報を用いる事で、画質劣化を低減した符号化を行える。
【００３０】
制御部１０９は、符号化部１０２，１０６に互いに符号化情報を参照しない状態で符号化を実行させることができる。このときには、制御部１０９は、例えば、符号化部１０２，１０６に同じＧＯＰ構造、例えば、ＢＢＩＢＢＰＢＢＰＢＢＰのピクチャタイプ構成を設定する。
【００３１】
本実施例は、互いに異なる符号化順序に従って、一方の符号化部によって時間的に先行して符号化された所定のフレームの符号化情報を、符号化順序が異なることによって前記所定のフレームと同じ時間のフレームを遅れて符号化することになる他方の符号化部に設定することに相当する。これにより、先に決定された符号化情報を再利用でき、符号化の処理を軽減し、符号化画質を改善できる。
【実施例２】
【００３２】
図２に示す例では，符号化部１０６が符号化部１０２より先に符号化を開始しているが、符号化部１０６が符号化部１０２より遅れて符号化を開始しても良い。図３に、その説明例を示す。
【００３３】
図３に示す例でも、制御部１０９は、図２（ａ），（ｂ）と同様のＧＯＰ構成をそれぞれ符号化部１０２，１０６に設定する。図３（ａ）は符号化部１０２に設定するＧＯＰ構造例を示し、図３（ｂ）は、符号化部１０６に設定するＧＯＰ構造例を示す。
【００３４】
制御部１０９はまた、それぞれ図３（ｃ），（ｄ）に示すタイミングで符号化を実行するように、符号化部１０２，１０６に符号化開始を指示し、矢印３０１〜３０４，３１１〜３１８で示すように、符号化情報を相互に参照させる。図３（ｃ）は、符号化部１０２の符号化タイミング例を示し、図２（ｃ）と同じである。他方、図３（ｄ）は符号化部１０６の符号化タイミング例を示し、図２（ｄ）より２フレーム分、遅延している。結局、符号化部１０６は、符号化部１０２より１フレーム遅れて、符号化を開始する。
【００３５】
符号化部１０２，１０６間での符号化情報の利用方法を説明する。制御部１０９は、図３（ｃ）と同（ｄ）との間に矢印３０１〜３０４で示すように、符号化部１０６の符号化情報を符号化部１０２に設定し、矢印３１１〜３１８で示すように符号化部１０２の符号化情報を符号化部１０６に設定する。
【００３６】
矢印３０１について説明する。制御部１０９は、フレームＦ４の期間でのピクチャＩ１の符号化完了後に符号化部１０６からフレームＦ１に対する符号化情報を取得する。符号化部１０２はフレームＦ１をフレームＦ５の期間に符号化するので、制御部１０９は、符号化部１０６から取得したフレームＦ１に対する符号化情報を、フレームＦ５の期間の前に符号化部１０２に設定する。符号化部１０２は、符号化部１０６からのフレームＦ１に対する符号化情報を利用してフレームＦ１を符号化し、符号化データＢ１を生成する。このようにして、符号化部１０２は、フレームＦ１の符号化に、先行して符号化を実行した符号化部１０６のフレームＦ１に対する符号化情報を利用できる。
【００３７】
他の矢印３０２〜３０４も、基本的に、符号化部１０２が同じフレームについて、先行して符号化を実行した符号化部１０６の符号化情報を利用することを示している。
【００３８】
他方、矢印３１１は、符号化部１０６がフレームＦ０について、先行して符号化を実行した符号化部１０２のフレームＦ０に対する符号化情報を利用することを示している。また、以降の矢印３１２〜３１８は、符号化部１０６が、符号化しようとするフレームについて、先行して符号化を実行した符号化部１０２の同じフレームに対する符号化情報を利用することを示している。
【００３９】
実施例２では、実施例１と比較して、符号化部１０２から符号化部１０６に符号化情報を受け渡すピクチャ数が増加するので、符号化部１０６での符号化画質が向上する。
【図１】
2012249116.tif 000003
【図２】
2012249116.tif 000004
【図３】
2012249116.tif 000005