(57)【要約】【課題】撮像素子の限られた性能内では同一時刻の高解像度画と低解像度画を必要とするスケーラブル映像符号化を適用するには課題があった。この解決手段として、高解像度画と低解像度画を交互に撮像し、高解像度画と低解像度画間の相関を導出し、高解像度画の相関の高い部分を切り出し、低解像度画と画素混合して解像度感を高める手法があるが、単純に画素混合を行なうと、相関導出単位の画素境界で輝度レベルの差が視覚的な歪となる課題があった。【解決手段】検出された動き検出位置の画素と縮小参照画画素間の輝度レベル差を補正値とし、動き検出位置を高解像度画の位置情報にスケーリング処理した位置情報を用いて高解像度画を参照し、この参照位置画素の輝度レベルを、補正値で補正後、低解像度画を拡大処理した基準画画素と、補正済み画素を相関度に応じた混合比で画素混合し、拡大処理した基準画に書き戻す。【選択図】図１
2011015262.tif 000002
【特許請求の範囲】
【請求項１】
第１の解像度と第２の解像度とが混在して撮像された画像がそれぞれの解像度毎に符号化された符号化データを復号して得られた画像データ群を入力とし、
前記第１の解像度の画像データを第２の解像度に変換した縮小画像データを参照画像データとして、前記第２の解像度の画像データとの間で所定の画素単位毎に動き検出を行い、
前記動き検出手段の検出結果を用いて、前記縮小画像データと、前記第２の解像度の画像データとの相関情報を導出し、
前記第２の解像度の画像データを前記第１の解像度に変換した拡大参照画像データと、前記第１の解像度の画像データとを前記相関情報を用いて、前記第１の解像度の出力画像データを生成する画像復号化装置。
【請求項２】
前記第１の解像度は前記第２の解像度より高精細度である請求項１記載の画像復号化装置。
【請求項３】
前記動き検出は、所定の矩形領域画素のブロックマッチング法で用いる事を特徴とした請求項１記載の画像復号化装置。
【請求項４】
前記動き検出は、前記第１の解像度の画像データを第２の解像度に変換した縮小画像データを参照画像データとして、前記第２の解像度の画像データとの間で整数画素精度の疎探索後、前記第１の解像度の画素精度で密探索を行なう事を特徴とした請求項１記載の画像復号化装置。
【請求項５】
前記相関情報は、前記縮小画像データ中の前記動き検出結果の位置にある画素と、前記第２の解像度の画像データ中の対象画素との輝度レベルの差の絶対値を前記第２の解像度単位で得ることを特徴とした請求項１記載の画像復号化装置。
【請求項６】
前記動き検出によって得られた前記第２の解像度の検出結果を前記第１の解像度にあわせてスケーリングした位置の前記第１の解像度の画像データの画素と、前記拡大参照画像データの対応画素とを、前記第１の解像度の画素単位で混合し前記画出力画像データを得る際に、前記相関情報が小さいほど、前記第１の解像度の画像データ側の混合比を大きくする事を特徴とする請求項４記載の画像復号化装置。
【請求項７】
前記動き検出によって得られた前記第２の解像度の検出結果を前記第１の解像度にあわせてスケーリングした位置の前記第１の解像度の画像データの画素と、
前記拡大参照画像データの対応画素とを、前記第１の解像度の画素単位で混合し前記画出力画像データを得る際に、
前記縮小画像データ中の前記動き検出結果の位置にある画素と、前記第２の解像度の画像データ中の対象画素との輝度レベルの差を輝度レベル補正値とし、
前記第１の解像度の画像データ側の前記輝度レベル補正値を減じてから画素混合する事を特徴とする請求項５記載の画像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号に対して動き検出と動き補償を用いて解像度の改善処理を施す画像処理方法に関するものである。
【背景技術】
【０００２】
ＭＰＥＧビデオ方式に代表される従来の画像符号化方式においては、画面を予め定めた単位に分割し、その分割単位で符号化を行う。例えば、ＭＰＥＧ−４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）方式（非特許文献１）においては、画面（ピクチャ）をマクロブロックと呼ばれる水平１６画素、垂直１６画素の単位で処理を行う。
【０００３】
そして、動き補償を行う場合には、マクロブロックを矩形のブロック（最小で水平４画素、垂直４画素）に分割して、ブロック毎に異なる動きベクトルを用いて動き補償が可能である。
【０００４】
更に、非特許文献２では、高解像度の入力画像を縮小して低解像度画像に変換し、低解像度画像に対して符号化を実施する第１の符号化部と、第１の符号化部により得られた低解像度画像に対する局所復号画像を拡大処理した画像と高解像度の入力画像との差分画像に対して符号化を実施する第２の符号化部とを有する階層的動画像符号化方式が開示されている。
【０００５】
また、復号化時に解像度の改善を図る従来技術レベルの実施形態として、特許文献１及び特許文献２があげられる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】H.264/AVC ISO/IEC 14496-10 MPEG-4 Advanced Video Coding規格書
【非特許文献２】H.264/AVC Annex G Scalable Video Coding（スケーラブル映像符号化）
【特許文献】
【０００７】
【特許文献１】特開２００７−９６７０９号公報
【特許文献２】特開２００８−３１２１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献２を例に、従来の複合化装置を説明する。
【０００９】
図１５は従来の画像復号化装置の構成図である。録画処理で符号化された動画像データを復号し再生するには、先ず、エントロピー復号手段１５００によって、可変長符号化や算術符号化された符号化データのビット列を通常符号に復号する。復号された情報の内、画素係数情報は逆ＤＣＴ手段１５０１、逆量子化手段１５０２を経て画素情報として取り出される。
【００１０】
フレーム内符号化の場合は画像フレームメモリ１５０３に格納される。
【００１１】
フレーム間予測符号化の場合は、得られた画素情報は動き補償時の残差信号であり、エントロピー復号手段１５００が復号した動きベクトル情報に従って、画像フレームメモリ１５０３に格納されている既に復号済みの画素データの参照位置から読み出された画素データは加算器１５０４で加算され、画像フレームメモリ１５０３に格納される。
【００１２】
画像フレームメモリ１５０３に格納された動画像データは順次超解像処理（拡大処理）されフレームメモリ１５１０に格納される。
【００１３】
一方、定期的、或いは散発的に上記画像データの一部のフレームと同時刻に撮像符号化された高解像度の静止画符号化データは、上述同様にエントロピー復号手段１５０５によって、可変長符号化や算術符号化された符号化データのビット列を通常符号に復号し、画素係数情報は逆ＤＣＴ手段１５０６、逆量子化手段１５０７を経て画素情報としてフレームメモリ１５０８に格納される。
【００１４】
続いて、フレームメモリ１５１０中の上述の高解像度画に対応する時刻の画像フレームを参照画としたフレームメモリ１５１０内の画像フレーム間で動き予測を行ない、得られた動き情報でフレームメモリ１５０８内の高解像度画を参照し、参照フレームメモリ１５１０内の画像フレームと画素合成を行なう。画素合成は、合成対象の画素値の差に応じて重み付けが制御され、画素値の差が少ないほど高解像度画がより強く重み付けされる。
【００１５】
合成後の画素は、フレームメモリ１５１０に書き戻され、所定のフレーム数蓄積後、表示読出制御手段１５１４によって所定の表示順で表示出力される。
【００１６】
上述の文献の方法では、高解像度画像は、低解像度画像の局所復号画像を拡大した画像との差分画像として符号化される。そしてこの差分画像を符号化する際には、低解像度画像を符号化したときに用いた符号化モードや動きベクトル等の符号化情報が利用される。
【００１７】
しかしながら、高解像度画像と、低解像度画像は同一時刻の画像を符号化する必要があり、第１、第２の符号化部と各解像度に応じた複数の符号化手段が必要であり、高い処理性能或いはハードウェアの増大を招くという課題を有していた。
【００１８】
また、撮像素子からの取得した画像情報を符号化する装置の場合、ＣＭＯＳやＣＣＤセンサーに代表される一般的な撮像素子は、撮像データ読出し性能の制約から、静止画撮影用に高解像度画像データを低フレームレートで取り出すか、動画撮影用に静止画用より低い解像度画像データを連続で取り出すことは可能であるが、高解像度画像データを高フレームレートで取り出すことはできず、従来の高解像度画像を縮小して同一時刻の低解像度画像を作り出し符号化する手順を実現する事が困難であった。
【００１９】
また、特許文献１及び２の従来方式のように、動き補償を用いて高解像度画と低解像度画の混合比を制御して合成するだけでは、動き補償単位の画素境界で視覚上の段差が生じたりする課題があった。
【課題を解決するための手段】
【００２０】
（相関度導出）
高解像度画を縮小処理した縮小参照画と、低解像度画間で相関度の導出を行い、低解像画の画素と最も相関の高い縮小参照画の画素を相関度に応じて画素混合を行なうものであり、相関度の導出は、縮小参照画と、低解像度画間で所定領域の画素で動き検出を行ない、縮小参照画の動き検出位置の画素と、低解像度画の画素の輝度レベル差を求め、輝度レベル差の絶対値が小さいほど相関度が高いものとする。
【００２１】
求めた輝度レベル差は、低解像度画の画素の輝度レベルに、縮小参照画の画素の輝度レベルを近づける補正値情報とする。
【００２２】
（画素混合）
画素混合は、高解像度画と、低解像度画を拡大処理した拡大基準画の画素を用いて行なわれ、相関度導出時の動き検出位置を高解像度画の位置情報にスケーリング処理した拡大位置情報を用いて参照した高解像度画の参照画素を、相関度導出で求めた補正値情報で輝度レベルを補正し、拡大基準画も低解像度画の処理対象画素位置に相当する位置の画素とを相関度に応じた混合比で画素混合し、拡大基準画に書き戻す。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態１における画像複号化装置の構成図
【図２】本発明の実施の形態１における画像データのタイミング図
【図３】本発明の実施の形態１におけるピクチャ単位フロー図
【図４】本発明の実施の形態１における相関導出フロー図
【図５】本発明の実施の形態１における画素混合フロー図
【図６】本発明の実施の形態１における画素縮小処理の模式図
【図７】本発明の実施の形態１における画素拡大処理の模式図
【図８】本発明の実施の形態１における動き検出処理の模式図
【図９】本発明の実施の形態１における動き検出結果のスケーリング処理の模式図
【図１０】本発明の実施の形態１における輝度補正の無い場合の模式図
【図１１】本発明の実施の形態１における輝度補正有りの場合の模式図
【図１２】本発明の実施の形態２における相関導出フロー図
【図１３】本発明の実施の形態３における動き検出処理の模式図
【図１４】本発明の実施の形態２における動き検出結果のスケーリング処理の模式図
【図１５】従来の画像複号化装置の構成図
【発明を実施するための形態】
【００２４】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００２５】
本発明の実施の形態の構成中、従来の画像復号装置の処理内容と共通する部分の説明は省略する。
【００２６】
図１は従来例図１５で説明した低解像度の動画像データに加えて、録画処理で撮像素子のデータ取り出し能力内で、低解像度の動画像データの取り出し中に高解像度の画像データの取り出し区間を挿入し、低解像度画の符号化と高解像度画の符号化を独立して並行に行なって得られた２つの符号化データを復号する画像復号化装置の構成図である。
【００２７】
フレームメモリ１０３には低解像度画が、フレームメモリ１０８には高解像度画が格納された状態から説明を続ける。
【００２８】
フレームメモリ１０８に格納された高解像度画は縮小処理手段１１３で低解像画と同じ解像度まで縮小処理され参照画としてフレームメモリ１１４に格納される。
【００２９】
一方、フレームメモリ１０３の低解像度画は拡大処理手段１１０によってフレームメモリ１０８の高解像度画と同じ解像度に変換されフレームメモリ１１１に格納される。
【００３０】
次に、動き検出相関判定手段１１５はフレームメモリ１１４の参照画と、フレームメモリ１０３の処理対象画との間で動き検出処理を行なう。得られた低解像度精度の動き情報は、高解像度精度にスケーリング処理され、フレームメモリ１０８の対応フレームが参照される。
【００３１】
フレームメモリ１１１の処理対象画素とフレームメモリ１０８の参照画素は重み付け混合手段１１６で合成され、フレームメモリ１１１に書き戻されるのが基本的な処理の流れである。
【００３２】
図２−２００は、低解像度の動画像データと高解像度画の時間的並びを模式したものである。
【００３３】
（実施の形態１）
実施の形態１を処理フロー図３、図４，図５を用いながら更に詳しく説明を加える。
【００３４】
図３は画素フレーム単位の処理の流れを示しており、参照画縮小処理３００、処理対象の基準画の拡大処理３０１に続いて、１フレームを所定のブロックに分割し３０２、ブロック単位で相関度導出処理３０３、画素混合処理３０４がブロック数分ループ処理されている流れを表している。
【００３５】
図４は相関度導出の処理内容のフローであり、動き検出処理４００に続いて基準画と参照画の画素値の差も求め、画素混合の混合比を算出迄を示している。
【００３６】
図５は画素混合処理のフローであり、相関導出処理で求めた混合比で重み付け混合し、フレームメモリに書き戻すまでを示している。
【００３７】
図６は参照画縮小処理３００の処理内容の模式図であり、高解像度と低解像度の解像度が水平垂直共２倍である場合の例であり、高解像度画の４画素平均を低解像画の１画素として縮小する様子を模式している。
【００３８】
図７は処理対象の基準画の拡大処理３０１の模式図であり、高解像度と低解像度の解像度が水平垂直共２倍である場合の例であり、低解像度画の１画素を２×２の４画素同値として複製し拡大する様子を模式している。
【００３９】
図８は動き検出処理４００がブロックマッチング法で所定の矩形領域単位で動き検出を行なっている模式図である。図８中、Ｂｌｏｃｋ  ｎの処理で、低解像度画素精度で矢印の示す動きベクトルｍｖ（ｘ，ｙ）が得られた様子を示している。
【００４０】
図９は画素混合処理３０４での動きベクトルのスケーリング処理５０１の内容を模式しており、スケーリング後も低解像度画素精度の動きベクトルとなっている様子を示している。
【００４１】
図１１は画素混合処理３０４での重み付け混合５０４の内容を模式しており、画素値のレベル差を補正することで前後の画素と滑らかに混合している様子を示している。
【００４２】
図１０は、画素値のレベル差の補正処理を行なわない場合の例を示しており、補正の無い場合は視覚的な劣化となる輝度レベルの段差が生じている。
【００４３】
（実施の形態２）
実施の形態２は、図１２のフローに示すように、前述の相関導出処理３０３の処理内容毎に視覚的改善効果が得られるようにしたものであり、ブロック単位の動き検出１２００に続いて、この動き検出単位ブロック内の画素毎に相関度を求めるものである。
【００４４】
（実施の形態３）
実施の形態３は、図１３で模式するように、動き検出処理４００の動きベクトル検出精度を低解像度画の半画素精度（高解像度画の整数画素精度）とするもので、縮小した参照画で疎探索後、得られた動きベクトルの周辺を縮小前の高解像度画を参照画として密探索することで最終的にあらわれる動きベクトルを高解像度画の整数画素精度まで高め、続く画素混合後の合成画の視覚的解像度を改善するものである。
【産業上の利用可能性】
【００４５】
本発明にかかる画像復号化装置は、デジタルビデオカメラや、デジタルスチルカメラの動画の自己録再機能を有する機器において、これらの機器が元々備えていた録画時にしか動作しなかった動き検出処理等の機能を再生時に活用することで、非常に安価に動画再生時の解像度感を改善することができ有用である。
【符号の説明】
【００４６】
１００、１０５  エントロピー復号手段
１０１，１０６  逆ＤＣＴ手段
１０２、１０７  逆量子化手段
１０３  画像フレームメモリ
１０８  画像フレームメモリ
１１１  画像フレームメモリ
１１４  画像フレームメモリ
１０４，１０９  加算器
１１０  拡大処理手段
１１２  表示読出制御手段
１１３  縮小処理手段
１１５  動き検出相関判定手段
１１６  補正付き重み付け混合手段
１５００、１５０５  エントロピー復号手段
１５０１，１５０６  逆ＤＣＴ手段
１５０２、１５０７  逆量子化手段
１５０３  画像フレームメモリ
１５０４  加算器
１５０８  画像フレームメモリ
１５０９  超解像処理手段
１５１０  画像フレームメモリ
１５１１  動き予測手段
１５１２  残差検出・合成比制御手段
１５１３  重み付け混合手段
１５１４  表示読出制御手段
【図２】
2011015262.tif 000003
【図３】
2011015262.tif 000004
【図４】
2011015262.tif 000005
【図５】
2011015262.tif 000006
【図６】
2011015262.tif 000007
【図７】
2011015262.tif 000008
【図８】
2011015262.tif 000009
【図９】
2011015262.tif 000010
【図１０】
2011015262.tif 000011
【図１２】
2011015262.tif 000012
【図１３】
2011015262.tif 000013
【図１４】
2011015262.tif 000014
【図１】
2011015262.tif 000015
【図１１】
2011015262.tif 000016
【図１５】
2011015262.tif 000017