(57)【要約】      （修正有）【課題】動画像信号に対して、動き検出と動き補償を用いて解像度の改善処理を施す画像処理方法を提供する。【解決手段】撮像素子のデータ取り出し能力内で、低解像度の動画像データの取り出し中に高解像度の画像データの取り出し区間を挿入し、低解像度画の符号化と並行して、高解像度画の符号化を独立して行う。この２つの符号化データを復号化して得られた低解像度画Ａと、撮像時間軸上で前後に位置する高解像度画Ｂを縮小した画像Ｃとの間で動き検出を行い、動き検出で得た位置の画像Ｃ上の画素と、低解像度画Ａの画素との相関度に応じて、低解像度画Ａを拡大処理して得た画像Ｄと、動き検出位置に相当する高解像度画Ｂの画素の混合比を制御し、高解像度の画素単位で混合して画像Ｅを得る。画像Ｅと、高解像度画Ｂを撮像時の時間順で表示することで、低解像度で符号化している画像の解像度感を改善する。【選択図】図１
2011015261.tif 000002
【特許請求の範囲】
【請求項１】
第１の解像度と第２の解像度が混合して撮像された画像がそれぞれの解像度毎に符号化された符号化データを復号して得られた画像データ群を入力とし、
連続して撮影された前記第２の解像度の画像データを画像データ群Ａ、
前記画像データ群Ａの直前に前記第１の解像度で連続して撮影された画像データを画像データ群Ｂ１、
前記画像データ群Ａの直後に前記第１の解像度で連続して撮影された画像データを画像データ群Ｂ２とした場合に、
前記画像データ群Ａの各々の画像データａに対して、
（１）前記画像データ群Ｂ１、前記画像データ群Ｂ２を第２の解像度に変換した画像データ群Ｃを参照画像データとして、所定の画素単位毎に動き検出を行い、
（２）前記動き検出手段の検出結果を用いて、前記画像データ群Ｃとの相関を検出して、相関情報を生成し、
（３）前記画像データａを前記第１の解像度に変換した画像データＤと、前記画像データ群Ｂ１及び前記データ群Ｂ２と、前記相関情報を用いて、前記第１の解像度の画像データＥを生成する画像復号化装置。
【請求項２】
前記第１の解像度は前記第２の解像度より高精細度である請求項１記載の画像復号化装置。
【請求項３】
前記動き検出は、前記画像データ群Ｃを参照画像とした、前記画像データ群Ａの各々の画像データａ間とで、所定の矩形領域画素のブロックマッチング法で用いる事を特徴とした請求項１記載の画像復号化装置。
【請求項４】
前記相関情報は、前記画像データ群Ｃ中の前記動き検出結果の位置にある画素と、前記画像データ群Ａ中の対象画素との輝度レベルの差の絶対値を前記第２の解像度単位で得ることを特徴とした請求項１記載の画像復号化装置。
【請求項５】
前記動き検出によって得られた前記第２の解像度の検出結果を前記第１の解像度にあわせてスケーリングした位置の前記画像データ群Ｂ１、２の画素と、前記画像データＤの対応画素とを、前記第１の解像度の画素単位で混合し前記画像データＥを得る際に、前記相関情報が小さいほど、前記画像データ群Ｂ１、２側の混合比を大きくする事を特徴とする請求項４記載の画像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号に対して動き検出と動き補償を用いて解像度の改善処理を施す画像処理方法に関するものである。
【背景技術】
【０００２】
近年、入力される低解像度の画像から高解像度の画像を生成する超解像技術が提案されている。この超解像技術を実現するための１つに、スケーラブル符号化がある。このスケーラブル符号化は、高解像度の入力画像を縮小して低解像度画像に変換し、低解像度画像に対して符号化を実施する第１の符号化部と、第１の符号化部により得られた低解像度画像に対する局所復号画像を拡大処理した画像と高解像度の入力画像との差分画像に対して符号化を実施する第２の符号化部とを有する構成となっている。
【０００３】
上記のスケーラブル符号化の問題点を解決するために、特許文献１が提案されている。特許文献１においては、スケーラブル符号化において予測後の残差量が増大するという課題に対して、第１の低解像度画像の画素または画素群に対して第２の低解像度画像からの動き量を求める動き検出ステップと、前記第２の低解像度画像に対応する第２の高解像度画像に対して、前記動き量を用いて動き補償を施すことにより、動き補償画像を生成する動き補償ステップとからなり、前記動き補償画像を前記第１の低解像度画像に対応する第１の高解像度画像とすることを特徴とする画像処理方法を提供している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−９６７０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記従来の方法では、高解像度画像は、低解像度画像の局所復号画像を拡大した画像との差分画像として符号化される。そしてこの差分画像を符号化する際には、低解像度画像を符号化したときに用いた符号化モードや動きベクトル等の符号化情報が利用される。
【０００６】
しかしながら、高解像度画像と、低解像度画像は同一時刻の画像を符号化する必要があり、第１、第２の符号化部と各解像度に応じた複数の符号化手段が必要であり、高い処理性能或いはハードウェアの増大を招くという課題を有していた。
【０００７】
また、撮像素子からの取得した画像情報を符号化する装置の場合、ＣＭＯＳやＣＣＤセンサーに代表される一般的な撮像素子は、撮像データ読出し性能の制約から、静止画撮影用に高解像度画像データを低フレームレートで取り出すか、動画撮影用に静止画用より低い解像度画像データを連続で取り出すことは可能であるが、高解像度画像データを高フレームレートで取り出すことはできず、従来の高解像度画像を縮小して同一時刻の低解像度画像を作り出し符号化する手順を実現する事が困難であった。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の画像復号化装置は、第１の解像度と第２の解像度が混合して撮像された画像がそれぞれの解像度毎に符号化された符号化データを復号して得られた画像データ群を入力とし、連続して撮影された第２の解像度の画像データを画像データ群Ａ、画像データ群Ａの直前に第１の解像度で連続して撮影された画像データを画像データ群Ｂ１、画像データ群Ａの直後に第１の解像度で連続して撮影された画像データを画像データ群Ｂ２とした場合に、画像データ群Ａの各々の画像データaに対して、（１）画像データ群Ｂ１、画像データ群Ｂ２を第２の解像度に変換した画像データ群Ｃを参照画像データとして、所定の画素単位毎に動き検出を行い、（２）動き検出手段の検出結果を用いて、画像データ群Ｃとの相関を検出して、相関情報を生成し、（３）画像データaを第１の解像度に変換した画像データＤと、画像データ群Ｂ１及び画像データ群Ｂ２と、相関情報を用いて、第１の解像度の画像データＥを生成することを特徴とする。
【発明の効果】
【０００９】
以上のように、本発明の画像復号化装置によれば、撮像素子のデータ取り出し能力内で、低解像度の動画像データの取り出し中に高解像度の画像データの取り出し区間を挿入し、低解像度画の符号化と高解像度画の符号化を独立して並行に行なって得られた２つの符号化データを復号する画像復号化装置であって、この２つの符号化データを復号化して得られた低解像度画Ａと、撮像時間軸上で前後に位置する高解像度画Ｂを縮小した画像Ｃとの間で動き検出を行い、動き検出で得た位置の画像Ｃ上の画素と、低解像度画Ａの画素との相関度に応じて、低解像度画Ａを拡大処理して得た画像Ｄと、動き検出位置に相当する高解像度画Ｂの画素の混合比を制御し、高解像度の画素単位で混合して画像Ｅを得る。
画像Ｅと、高解像度画Ｂを撮像時の時間順で表示することで、低解像度で符号化している画像の解像度感を改善する。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態２における画像複号化装置の構成図
【図２】本発明の実施の形態における画像データのタイミング図と画素配列の模式図
【図３】本発明の実施の形態１における画像複号化装置の構成図
【図４】従来の画像複号化装置の構成図
【図５】従来の画像複号化装置の構成図
【図６】従来の画像データのタイミング図と画素配列の模式図
【発明を実施するための形態】
【００１１】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００１２】
本発明の実施の形態の説明に先立ち、従来の画像復号装置の処理内容と共通する部分を簡単に説明する。
【００１３】
図５は従来の画像復号化装置の構成図である。録画処理で符号化された画像データを復号し再生するには、先ず、エントロピー復号手段５００によって、可変長符号化や算術符号化された符号化データのビット列を通常符号に復号する。復号された情報の内、画素係数情報は逆ＤＣＴ手段５０１、逆量子化手段５０２を経て画素情報として取り出される。
フレーム内符号化の場合は画像フレームメモリ５０３に格納される。
【００１４】
フレーム間予測符号化の場合は、得られた画素情報は動き補償時の残差信号であり、エントロピー復号手段５００が復号した動きベクトル情報に従って、画像フレームメモリ５０３に格納されている既に復号済みの画素データの参照位置から読み出された画素データが加算器５０４で加算され、画像フレームメモリ５０３に格納される。
【００１５】
格納された画像データは、所定のフレーム数蓄積後、表示読出制御手段５０５によって所定の表示順で表示出力される。
【００１６】
次に、図４は上記図５で説明した単一解像度の画像に加えて、録画処理で撮像素子のデータ取り出し能力内で、低解像度の動画像データの取り出し中に高解像度の画像データの取り出し区間を挿入し、低解像度画の符号化と高解像度画の符号化を独立して並行に行なって得られた２つの符号化データを復号する画像復号化装置の構成図である。
【００１７】
図６は、低解像度の動画像データを符号化データＡ、高解像度の画像データを符号化データＢとして画像データの並び方を模式した図である。
【００１８】
図４では、上記図５で説明した手順で、それぞれの符号化データを復号しそれぞれの画像フレームメモリ４０３、４０８に格納する。ここで、表示出力を高解像度の画像に合わせる場合、画像フレームメモリ４０３内の画像を拡大処理手段４１０で画像フレームメモリ４１１に複製する。図６では、符号化データＢは符号化データＡの水平垂直共に倍の解像度の場合を模式しており、拡大処理により低解像の１画素が高解像の２＊２画素に同一値で複製している様子を示している。
【００１９】
表示解像度（表示画素レート）の揃った画像フレームメモリ４１１と、画像フレームメモリ４０８の画像データは表示読出制御手段４１２によって撮像された順序で表示される。
【００２０】
しかしながら、画像フレームメモリ４１１内の画像は拡大複製されただけであるので、視覚的な解像度はそのままで、表示品質は改善されていない。
【００２１】
（実施の形態１）
図３は、本発明の実施の形態１における画像復号化装置のブロック図である。図２は、図３で示した本発明の実施の形態１における画像符号化装置が処理する低解像度の動画像データを符号化データＡ、高解像度の画像データを符号化データＢとして画像データの並び方を模式した図である。
【００２２】
図４の処理と異なるのは、低解像度の符号化データＡの復号結果を拡大処理した画像に対して、時間的に前後に位置する高解像度の符号化データＢの復号結果から類似な部分を見つけ出し、高解像度の画素単位で画素混合し視覚的な解像度感を改善することである。
【００２３】
上記類似部分を見つけ出す方法として、符号化データＢの復号結果を縮小処理手段３１３により低解像度に縮小処理した画像フレームメモリ３１４上の参照画と、画像フレームメモリ３０３の基準画間で所定の矩形画素範囲でブロックマッチング法で動き検出を行う。
【００２４】
続いて、得られた動き検出結果位置の画素を比較して相関度を求める。
【００２５】
相関度は、画像フレームメモリ３１４上の動き検出位置の画素と、画像フレームメモリ３０３の画素とを比較し、画素値の差の絶対値が所定の閾値よりも小さいほど相関が高いと判断する。
【００２６】
求めた相関度に応じて、重み付け混合手段３１６で画像フレームメモリ３１１と、前述で求めた動き検出結果を画像フレームメモリ３０８の解像度にスケーリングした位置の画素を１画素毎に混合処理し、画像フレームメモリ３１１に書き戻す。
【００２７】
表示解像度（表示画素レート）の揃った画像フレームメモリ３１１と、画像フレームメモリ３０８の画像データは表示読出制御手段３１２によって撮像された順序で表示される。
【００２８】
画像フレームメモリ３１１内の画像は高解像度の画素分解能で画素混合されているので、視覚的な解像度が改善される。
【００２９】
視覚的な解像度改善効果が最大となる例を挙げると、フレーム間で殆ど動きの無い静止画の連続のような撮像画像を処理する場合、動き検出は静止していることを見つけ、画素値の差も殆ど無いのであれば、相関度が常に高い状態となるので画像フレームメモリ３０８の画素データがそのまま画像フレームメモリ３１１に書き戻される結果となり、表示される画像が全て高解像度の画像となる。
【００３０】
（実施の形態２）
図１は、本発明の実施の形態２における画像復号化装置のブロック図である。図１は、図３で示した本発明の実施の形態１における各処理手段の共用化を図った構成としたものである。符号化データＡ及びＢは同時処理の必要は必ずしもなく、符号化データＡ及びＢを交互に復号処理することも可能である。
【００３１】
また、図３で示した本発明の実施の形態１では説明の簡単化の為に、専用化された画像フレームメモリを複数個配置したが、１つのメモリに集約してもよい。
【産業上の利用可能性】
【００３２】
本発明にかかる画像復号化装置は、デジタルビデオカメラや、デジタルスチルカメラの動画の自己録再機能を有する機器において、これらの機器が元々備えていた録画時にしか動作しなかった動き検出処理等の機能を再生時に活用することで、非常に安価に動画再生時の解像度感を改善することができ有用である。
【符号の説明】
【００３３】
１００、１０８、１０９  切り替え手段
１０１  エントロピー復号手段
１０２  逆ＤＣＴ手段
１０３  逆量子化手段
１０４  画像統合フレームメモリ
１０５  加算器
１０６、１０７  乗算器
１１０  拡大処理手段
１１１  縮小処理手段
１１２  動き検出、相関判定手段
１１３  表示読出制御手段
３００、３０５  エントロピー復号手段
３０１、３０６  逆ＤＣＴ手段
３０２、３０７  逆量子化手段
３０３  画像フレームメモリ
３０４、３０９  加算器
３０８  画像フレームメモリ
３１０  拡大処理手段
３１１  画像フレームメモリ
３１２  表示読出制御手段
３１３  縮小処理手段
３１４  画像フレームメモリ
３１５  動き検出、相関判定手段
３１６  重み付け混合手段
４００、４０５  エントロピー復号手段
４０１、４０６  逆ＤＣＴ手段
４０２、４０７  逆量子化手段
４０３  画像フレームメモリ
４０４、４０９  加算器
４０８  画像フレームメモリ
４１０  拡大処理手段
４１１  画像フレームメモリ
４１２  表示読出制御手段
５００  エントロピー復号手段
５０１  逆ＤＣＴ手段
５０２  逆量子化手段
５０３  画像フレームメモリ
５０４  加算器
５０５  表示読出制御手段
【図１】
2011015261.tif 000003
【図２】
2011015261.tif 000004
【図３】
2011015261.tif 000005
【図４】
2011015261.tif 000006
【図５】
2011015261.tif 000007
【図６】
2011015261.tif 000008