(57)【要約】【課題】消費電力を抑制することができる立体画像復号表示装置を提供すること。【解決手段】本発明の一態様に係る立体画像復号表示装置１００は、符号化された立体画像信号を復号する復号化処理回路１０４と、復号化処理回路１０４により復号化された立体画像信号に基づいて、立体画像に含まれるオブジェクトの表示位置を示す距離情報を算出する立体画像情報処理回路１０５と、距離情報に応じてポスト処理の実行頻度を変更するポスト処理情報を算出する制御回路１０７と、ポスト処理情報に応じて立体画像信号にポスト処理を実行し、表示画像データを生成するポスト処理部１０６とを備える。【選択図】図１
2011172161.tif 000002
【特許請求の範囲】
【請求項１】
符号化された立体画像信号を復号する復号化処理回路と、
前記復号化処理回路により復号化された立体画像信号に基づいて、立体画像に含まれるオブジェクトの表示位置を示す距離情報を算出する立体画像情報処理回路と、
前記距離情報に応じて、ポスト処理の実行頻度を変更するポスト処理情報を算出する制御回路と、
前記ポスト処理情報に応じて前記立体画像信号にポスト処理を実行し、表示画像データを生成するポスト処理部と、
を備える立体画像復号表示装置。
【請求項２】
前記制御回路は、前記オブジェクトが背景画像である場合のポスト処理の実行頻度が、当該背景画像以外に対するポスト処理の実行頻度よりも少なくなるように、前記ポスト処理情報を算出することを特徴とする請求項１に記載の立体画像復号表示装置。
【請求項３】
前記制御回路は、前記オブジェクトの動きベクトル情報に基づいて、前記ポスト処理の実行頻度を決定することを特徴とする請求項１又は２に記載の立体画像復号表示装置。
【請求項４】
前記制御回路は、前記復号化された立体画像の更新領域情報に基づいて、更新不要な画像領域を決定することを特徴とする請求項１〜３のいずれか１項に記載の立体画像復号表示装置。
【請求項５】
前記制御回路は、異なる時刻のフレームに基づいて生成されたフレーム間予測情報が生成された場合に、前記オブジェクトに対する前記ポスト処理の実行頻度を変更することを特徴とする請求項１〜４のいずれか１項の記載の立体画像復号表示装置。
【請求項６】
前記制御回路は、異なる時刻のフレームに基づいて生成されたフレーム間予測情報が生成されておらず、復号化された立体画像信号に含まれるオブジェクトが、前記ポスト処理を実行しないタイミングのオブジェクトと同一である場合には、当該タイミングにおいてポスト処理を実行しないことを特徴とする請求項１〜５のいずれか１項に記載の立体画像復号表示装置。
【請求項７】
前記立体画像信号は、視差を利用したものであることを特徴とする請求項１〜６のいずれか１項に記載の立体画像復号表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視差を利用した立体画像の画像信号を復号する立体画像復号表示装置に関する。
【背景技術】
【０００２】
近年、携帯型情報端末機器開発においては、長時間駆動のための低消費電力化が重要な項目である。とりわけ、動画の画像符号化信号を伸長して表示する際の消費電力が大きく、これらの処理にかかる低消費電力化が急務の課題となっている。また、視差を利用した立体動画の画像符号化信号を伸張して表示する処理では、平面動画の画像符号化信号を伸張して表示する処理に比べ消費電力が大きくなることから、この処理においても低消費電力化が求められている。
【０００３】
特許文献１には、平面動画の画像符号化信号を伸張して表示する際の消費電力を抑える技術が開示されている。特許文献１に開示された技術は、動画処理において、時系列的に連続する２つの画像の相関が高いという点に着目し、直前の画像から更新される領域に対してのみ、リサイズや色空間変換といった画像復号化後の処理（以降、「ポスト処理」と呼ぶ。）を実施することにより、ポスト処理にかかる演算量を削減し、低消費電力化を実現するという技術である。
【０００４】
特許文献１に記載の技術について、図７を参照して説明する。図７は、特許文献１に記載の画像復号表示装置の構成を示す図である。図７に示すように、画像復号表示装置６００は、メモリ６０１、メモリ制御回路６０２、画像符号化信号受信回路６０３、復号化処理回路６０４、ポスト処理回路６０５、圧縮処理回路Ａ６０６、圧縮処理回路Ｂ６０７、伸張処理回路Ａ６０８、伸張処理回路Ｂ６０９、制御回路６１０を備えている。
【０００５】
メモリ制御回路６０２は、画像信号のメモリ６０１への書き込み、読み出しを制御する。画像符号化信号受信回路６０３は、入力される画像符号化信号の受信処理を行う。復号化処理回路６０４は、画像符号化信号の復号処理を行う回路であり、内部回路の説明は省略する。ポスト処理回路６０５は、復号された画像から表示画像を生成する。圧縮処理回路Ａ６０６、圧縮処理回路Ｂ６０７は、生成された表示画像を圧縮処理する。伸張処理回路Ａ６０８、伸張処理回路Ｂ６０９は、圧縮処理された表示画像を伸張処理する。制御回路６１０は、上記の各回路を制御して圧縮処理・伸張処理・ポスト処理の効率化を図り処理負荷の軽減を実現する。
【０００６】
圧縮処理回路Ａ６０６、圧縮処理回路Ｂ６０７、伸張処理回路Ａ６０８、伸張処理回路Ｂ６０９はメモリ使用量削減の目的で導入されている回路であり、説明は省略する。
【０００７】
画像符号化信号受信回路６０３は、画像符号化信号（圧縮符号化信号）を受信すると、画像符号化信号をメモリ制御回路６０２を介して、メモリ６０１に格納する。制御回路６１０は、復号化処理回路６０４内で復号処理を行い、その結果をメモリ６０１に格納し、次の画像符号化信号を受信するまで待機状態になる。
【０００８】
制御回路６１０は、上記の復号処理後、表示画像の出力タイミングにおいて、前回出力した表示画像の圧縮データがメモリ６０１に存在するか否かを判断する。制御回路６１０は、表示画像の出力タイミングにおいて、前回出力した表示画像の圧縮データがメモリ６０１に存在しない場合は、伸張処理回路Ａ６０８を制御して復号画像をポスト処理回路６０５に転送する。
【０００９】
次いで、制御回路６１０は、ポスト処理回路６０５に対しポスト処理用パラメータを設定し、表示画像を生成させる。制御回路６１０は、ポスト処理回路６０５を制御して、生成された表示画像を外部の表示デバイスに出力させる。その後、制御回路６１０は、表示画像出力タイミング待ち状態となる。
【００１０】
次に、図８を用いて、制御回路６１０における表示画像出力処理を説明する。制御回路６１０は、表示画像の出力タイミングにおいて（ステップＳＴ７０１）、前回出力した表示画像の圧縮データが存在する場合は（ステップＳＴ７０２：ＹＥＳ）、ポスト処理回路６０５に設定したポスト処理用パラメータが前回のポスト処理時から変更されているか否かを判断する（ステップＳＴ７０３）。
【００１１】
ポスト処理用パラメータが前回のポスト処理時から変更されている場合は（ステップＳＴ７０３：ＮＯ）、制御回路６１０は、全ての復号画像領域に対してポスト処理を実行する必要があるため、前回出力した表示画像の圧縮データが存在しない場合（ステップＳＴ７０２）と同様に、ステップＳＴ７１０〜ステップＳＴ７１２、ステップＳＴ７０６の処理を実行する。
【００１２】
また、制御回路６１０は、表示画像の出力タイミングにおいて（ステップＳＴ７０１）、前回出力した表示画像の圧縮データが存在し（ステップＳＴ７０２：ＹＥＳ）、ポスト処理回路６０５に設定したポスト処理用パラメータが前回のポスト処理時から変更されていない場合は（ステップＳＴ７０３：ＹＥＳ）、前回の表示画像生成タイミング以降、新たに復号画像が生成されているか否かを判断する（ステップＳＴ７０４）。
【００１３】
前回の表示画像生成タイミング以降、新たに復号画像が生成されていない場合（ステップＳＴ７０４：ＹＥＳ）、制御回路６１０は、ポスト処理済データをメモリに格納し（ステップＳＴ７０５）、表示画像として外部に出力させ（ステップＳＴ７０６）、表示画像出力タイミング待ち状態となる。
【００１４】
また、制御回路６１０は、表示画像の出力タイミングにおいて（ステップＳＴ７０１）、前回出力した表示画像の圧縮データが存在し（ステップＳＴ７０２：ＹＥＳ）、ポスト処理回路６０５に設定したポスト処理用パラメータが前回のポスト処理時から変更されていない場合で（ステップＳＴ７０３：ＹＥＳ）、前回の表示画像生成タイミング以降、新たに復号画像が生成されている場合は（ステップＳＴ７０４：ＮＯ）、伸張処理回路Ａ６０８を制御して復号画像をポスト処理回路６０５に転送させる。
【００１５】
このとき、制御回路６１０は、Ｎｏｔ  Ｃｏｄｅｄ情報や、受信した画像符号化信号に対するエラー重畳の情報から領域別に画像更新の有無を判断し、Ｎｏｔ  Ｃｏｄｅｄ領域やコンシールメント領域以外の更新画像領域のみの復号画像を、伸張処理回路Ａ６０８を制御してポスト処理回路６０５に転送させる。ただし、ポスト処理に必要な画像情報がある場合、例えば、周辺画素情報のフィルタを使用している場合などは、その領域も転送させる。
【００１６】
次いで、制御回路６１０は、ポスト処理回路６０５に対しポスト処理用パラメータを設定し、転送された領域のみの表示画像を生成させる（ステップＳＴ７０８）。そして、制御回路６１０は、メモリ制御回路６０２を介してメモリ６０１の該当する画像領域に格納させる（ステップＳＴ７０９）。制御回路６１０は、表示画像として外部に出力させ(ステップＳＴ７０６)、表示画像出力タイミング待ち状態となる。
【００１７】
近年、視差を利用した立体動画の処理を行う表示システムの開発のニーズが高まっている。このような視差を利用した立体動画の仕組みについて、図９を用いて説明する。視差を利用した立体動画を実現するためには、同一の被写体を異なる位置から撮影した画像を観察者の左右の目にそれぞれ視認させる必要がある。図９に示す例では、立体オブジェクト９０１を左目画像９０２と右目画像９０３として記録し、これらを合成することにより立体画像を生成する。
【００１８】
左目用と右目用の２枚の平面画像の画像信号を用いることで、平面動画表示システムを立体動画表示システムとして適用することができる。特許文献１の技術を左目用画像と右目用画像それぞれに適用し、この２枚の画像信号をそれぞれ左右の目で見ることによる視差を利用することにより、２枚の平面画像を立体的に見せることができる。
【００１９】
特許文献１に記載の画像復号表示装置を用いて立体画像を生成する場合、以下のような処理が行われる。まず、画像符号化信号受信回路６０３は、左目画像９０２、右目画像９０３の画像符号化信号を受信するとメモリ制御回路６０２を用いてメモリ６０１に画像符号化信号を格納する。
【００２０】
制御回路６１０は、復号化処理回路６０４を用いて、左目画像９０２、右目画像９０３を復号化する。復号化回路６０４は、左目用の画像を処理する復号化回路と、右目用を処理する復号化回路を有する。制御回路６０７は表示タイミングにおいて、ポスト処理回路６０５を用いて左目画像９０２、右目画像９０３のポスト処理を行い、表示画像を生成する。しかしながら、特許文献１の技術を立体画像の生成に適用した場合には、平面動画を再生する場合の２倍の消費電力が必要となるという問題がある。
【先行技術文献】
【特許文献】
【００２１】
【特許文献１】特開２００５−００６２２４号公報
【発明の概要】
【発明が解決しようとする課題】
【００２２】
このように、特許文献１に記載の画像復号表示装置を立体画像の処理に適用すると、消費電力が増大するという問題がある。
【課題を解決するための手段】
【００２３】
本発明の一態様に係る立体画像復号表示装置は、符号化された立体画像信号を復号する復号化処理回路と、前記復号化処理回路により復号化された立体画像信号に基づいて、立体画像に含まれるオブジェクトの表示位置を示す距離情報を算出する立体画像情報処理回路と、前記距離情報に応じて、ポスト処理の実行頻度を変更するポスト処理情報を算出する制御回路と、前記ポスト処理情報に応じて前記立体画像信号にポスト処理を実行し、表示画像データを生成するポスト処理部とを備えるものである。
【００２４】
このような構成により、立体画像の空間的な表示位置を利用して人間の着目位置を決定し、それに基づいてポスト処理の実行頻度を調整することができる。これにより、立体動画の表示画像データの生成における演算量を削減し、消費電力を抑制することができる。
【発明の効果】
【００２５】
本発明によれば、消費電力を抑制することができる立体画像復号表示装置を提供することが可能である。
【図面の簡単な説明】
【００２６】
【図１】実施の形態１に係る立体画像復号表示装置の構成を示す図である。
【図２】実施の形態１に係る立体画像復号表示装置において用いられる立体動画情報処理回路の構成を示す図である。
【図３Ａ】立体動画に含まれる距離情報について説明するための図である。
【図３Ｂ】立体動画に含まれる距離情報について説明するための図である。
【図３Ｃ】立体動画に含まれる距離情報について説明するための図である。
【図４】実施の形態１に係る立体画像復号表示装置における処理を説明するためのフロー図である。
【図５】実施の形体に係る立体画像復号表示装置におけるポスト処理を説明するためのフロー図である。
【図６Ａ】立体動画の一例を示す図である。
【図６Ｂ】立体動画の一例を示す図である。
【図６Ｃ】立体動画の一例を示す図である。
【図７】特許文献１に記載の画像復号表示装置の構成を示す図である。
【図８】図７に記載の画像復号表示装置における処理を説明するためのフロー図である。
【図９】視差を利用した立体動画についての仕組みを説明するための図である。
【図１０】図１に記載の立体画像復号表示装置と比較するため、図７に示す画像復号表示装置を簡略化した図である。
【発明を実施するための形態】
【００２７】
実施の形態１．
本発明の実施の形態１に係る立体画像復号表示装置１００の構成について、図１を参照して説明する。図１に示すように、立体画像復号表示装置１００は、メモリ１０１、メモリ制御回路１０２、画像符号化信号受信回路１０３、復号化処理回路１０４、立体画像情報処理回路１０５、ポスト処理回路１０６、制御回路１０７を備えている。
【００２８】
メモリ制御回路１０２は、入力される画像符号化信号やこれを復号した画像信号のメモリ１０１への書き込みと読み出しを制御する。画像符号化信号受信回路１０３は、入力される画像符号化信号の受信処理を行う。復号化処理回路１０４は、画像符号化信号の復号処理を行い、画像信号を生成する。立体画像情報処理回路１０５は、復号化処理回路１０４によって復号された画像信号から立体動画情報を計算する。立体画像情報処理回路１０５については、後述する。
【００２９】
ポスト処理回路１０６は、復号化処理回路１０４によって復号された画像信号に対してリサイズや色空間変換といった画像復号化後の処理であるポスト処理を行い、表示画像データを作成する。制御回路１０７は、ポスト処理回路１０６を制御する。
【００３０】
ここで、図１に示す本実施の形態に係る立体画像復号表示装置１００と特許文献１に記載の画像復号表示装置６００とを比較する。図１の立体画像復号表示装置と比較するため、図１０に図７に示す画像復号表示装置６００を簡略化した図を示す。図１と図１０とを比較すると、立体画像復号表示装置１００は、特許文献１に記載の画像復号表示装置６００に対して、立体画像情報処理回路１０５が追加された構成となる。
【００３１】
図１と図１０とを用いて、本実施の形態に係る立体画像復号表示装置１００と特許文献１に記載の画像復号表示装置６００との差異について説明する。画像符号化信号受信回路１０３は、特許文献１に画像符号化信号受信回路６０３と略同等の回路である。ただし、画像符号化信号受信回路１０３は、立体動画を扱うために、右目用画像と左目用画像の２つの画像符号化信号を処理できる構成を有している。
【００３２】
復号化処理回路１０４は、復号化処理回路６０４と同様に復号処理を行う回路である。復号化処理回路１０４は、特許文献１と同様に復号化処理回路６０４から出力される更新画像領域情報に加え、フレーム間予測情報を制御回路１０７に入力する。復号化処理回路１０４も立体動画を扱うために、２つの画像符号化信号を処理することができる。
【００３３】
更新画像領域情報とは、特許文献１に記載されているように、復号画像における前回の表示画像から更新があった領域の情報である。具体的には、Ｎｏｔ  Ｃｏｄｅｄ情報や受信した画像符号化信号に対するエラー情報から領域別に画像更新の有無を判断することにより決定される情報であって、Ｎｏｔ  Ｃｏｄｅｄ領域やコンシールメント領域以外の更新された復号画像のみの情報である。
【００３４】
フレーム間予測情報とは、動画像の圧縮符号化において高い圧縮効率を得るために、異なる時刻のフレームに基づいて予測画像を生成し、入力画像と予測画像の差分（誤差）画像を符号化した情報である。
【００３５】
立体画像情報処理回路１０５は、本発明において新たに追加された回路である。図２は、立体画像情報処理回路１０５の構成を示す図である。図２に示すように、立体画像情報処理回路１０５は、右目画像入力回路２０１、左目画像入力回路２０２、オブジェクト差分算出回路２０３、オブジェクト検出回路２０４、距離情報出力回路２０５を備える。立体画像情報処理回路１０５は、算出した立体動画情報のうち距離情報を制御回路１０７に出力する。
【００３６】
右目画像入力回路２０１、左目画像入力回路２０２は、それぞれ入力される右目画像信号、左目画像信号の受信処理を行う。オブジェクト検出回路２０４は、左目画像と右目画像から画像内のオブジェクトを検出する。オブジェクト差分算出回路２０３は、右目画像信号と左目画像信号に基づいて立体動画情報を算出する。距離情報出力回路２０５は、立体動画情報を、オブジェクト検出回路２０４により検出されたオブジェクトの表示位置が、前景、中景、背景のいずれであるかを示す距離情報として出力する。
【００３７】
ここで、図３Ａ−３Ｃを参照して、立体動画情報に含まれる距離情報について説明する。視差を利用した立体動画には、同一の被写体を異なる位置から撮影した左目画像と右目画像が含まれる。左目画像、右目画像の２枚の画像には、距離情報が含まれている。
【００３８】
図３Ａ−３Ｃに示すように、画像信号１００５〜１０１０にはオブジェクト１００１を左目位置１００３、右目位置１００４から見た時の、表示面１００２における画像が記録されている。図３Ａに示すように、左目画像１００５内のオブジェクトの表示位置が、右目画像１００６のオブジェクト位置よりも左側にある場合は、このオブジェクトを立体動画として視認すると、オブジェクトはディスプレイ表示面の後ろ側に表示されているように見える。
【００３９】
図３Ｂに示すように、左目画像１００７と右目画像１００８のオブジェクトの表示位置が同じ場合、そのオブジェクトは立体動画として視認した場合、ディスプレイ表示面１００２の距離に表示されているように見える。図３Ｃに示すように、左目画像１００９内のオブジェクトの表示位置が、右目画像１０１０のオブジェクト位置よりも右側にある場合は、このオブジェクトを立体動画として視認すると、オブジェクトはディスプレイ表示面の前側に表示されているように見える。
【００４０】
立体動画では、このように２枚の画像信号から表示距離の情報を知ることができる。本発明では、背景として表示される画像は前面に表示される画像よりも人間の着目率が低く、時間軸での画像間差分を認識しにくい。この点を利用して、背景画像について適切な間隔でポスト処理を実施することにより、立体動画表示の演算量を削減し、低消費電力化を実現する。
【００４１】
制御回路１０７は、特許文献１に記載の制御回路６１０に立体画像情報処理回路１０５の出力する距離情報の入力機構、及びフレーム間予測情報の入力機構が追加されている。制御回路１０７は、ポスト処理回路１０６の制御に距離情報及びフレーム間予測情報を使用する。なお、メモリ１０１、メモリ制御回路１０２、ポスト処理回路１０６は特許文献１と同様の回路動作であり、説明を省略する。
【００４２】
ここで、図４を参照して、本実施の形態に係る立体画像復号表示装置１００における処理について説明する。図４は、立体画像復号表示装置１００における処理を説明するためのフロー図である。まず、画像符号化信号受信回路１０３が画像符号化信号（圧縮符号化信号）を受信する（ステップＳＴ３０１）。そして、画像符号化信号受信回路１０３は、画像符号化信号をメモリ制御回路１０２に引き渡し、メモリ１０１に格納させる（ステップＳＴ３０２)。
【００４３】
画像符号化信号受信回路１０３は、メモリ制御回路１０２を通して画像符号化信号を復号化処理回路１０４へ送信する。（ステップＳＴ３０３）。復号化処理回路１０４は、入力された画像符号化信号に対して復号処理を実施する（ステップＳＴ３０４）。復号化処理回路１０４から出力される復号化後の画像信号はメモリ制御回路１０２によりメモリ１０１に格納される（ステップＳＴ３０５）。
【００４４】
また、復号化処理回路１０４は、今回の画像信号における前回復号を行った画像信号からの更新画像領域情報とフレーム間予測情報とを含む画像情報を制御回路１０７に送信する（ステップＳＴ３０６）。
【００４５】
左目画像信号と右目画像信号が生成されると、立体動画情報処理回路１０５に左右両方の画像信号が入力される（ステップＳＴ３０７）。立体動画情報処理回路１０５はこの左右の画像信号より、立体動画情報を算出する（ステップＳＴ３０８）。
【００４６】
立体動画情報の算出（ステップＳＴ３０８）は次の動作となる。オブジェクト検出回路２０４は、左目画像と右目画像から画像内のオブジェクトを検出する。この処理は例えば特開平９−３３２４９号公報に（３）式として開示されている相関関数などの評価関数に従って対応点探索が行われる。
【００４７】
オブジェクト差分算出回路２０３はオブジェクト検出回路２０４によって検出されたオブジェクトに対して、そのオブジェクトが上記の３パターン（オブジェクトが背面に存在する場合（背景）、オブジェクトが中間に存在する場合（中景）、オブジェクトが前面に存在する場合（前景））のいずれに適合するかを算出する。ここで計算された立体動画情報は距離情報として、距離情報出力回路２０５を通して制御回路１０７に入力される（ステップＳＴ３０９）。
【００４８】
制御回路１０７では、更新画像領域情報、フレーム間予測情報、距離情報を使用して、前回のポスト処理後に更新すべき箇所を決定し、ポスト処理情報を算出する（ステップＳＴ３１０）。更新すべき箇所は次の方法で決定する。
【００４９】
手順１  特許文献１と同様に、復号化処理回路１０４から更新画像領域として出力されない箇所は非更新領域とする。
手順２  フレーム間予測を使用しており、かつ距離情報で背景画像と判別された箇所の所定の更新間隔を決定する。現在の表示タイミングが更新間隔から導かれる更新タイミングで無ければ非更新タイミングとする。
【００５０】
手順３  背景画像のオブジェクト領域がフレーム間予測を使用せずに復号された場合、その領域が非更新タイミングに指定されている背景オブジェクトと同一のオブジェクトであるならば、非更新タイミングとする。
手順４  更新タイミングが指定されていない更新領域を更新タイミングにする。
【００５１】
手順２では、例えば距離情報で、前景や中景にあるオブジェクトに対して３０ｆｐｓ（Frames Per Second）のフレームレートで更新処理を行うとすると、背景にあるオブジェクトに対してはこれによりもフレームレートが低い１５ｆｐｓで更新処理を行うといった条件を決めることができる。これは、前方画像に対して、後方画像の方が、人間の注目率も低く、時間軸での画像間の差分を認識しにくいためである。
【００５２】
その後、制御回路１０７は、ポスト処理回路１０６にポスト処理情報を送信する（ステップＳＴ３１１）。ポスト処理回路１０６は、ポスト処理情報に基づいてポスト処理を行って、表示画像データを生成し出力する。（ステップＳＴ３１２）。その後、次の画像符号化信号入力待ちとなる（ステップＳＴ３１３）。
【００５３】
ポスト処理（ステップＳＴ３１２）については、図５に示すフロー図に従って処理が行われる。なお、ステップＳＴ４０２：ＮＯ、ステップＳＴ４０３：ＮＯ、ステップＳＴ４０４：ＹＥＳのパスについては特許文献１と同様の処理となるため、詳細な説明は省略する。
【００５４】
制御回路１０７は、表示画像の出力タイミングにおいて（ステップＳＴ４０１）、前回出力した表示画像データが存在し（ステップＳＴ４０２：ＹＥＳ）、ポスト処理回路１０６に設定したポスト処理用パラメータが前回のポスト処理時から変更されていない場合で（ステップＳＴ４０３：ＹＥＳ）、前回の表示画像生成タイミング以降、新たに復号画像が生成されている場合（ステップＳＴ４０４：ＮＯ）、更新対象領域の更新タイミングをチェックする（ステップＳＴ４０７）。更新タイミングであれば（ステップＳＴ４０７：ＹＥＳ）、復号化処理回路１０４で復号した画像信号をポスト処理回路１０６（ステップＳＴ４０８）に転送させる。
【００５５】
次に、制御回路１０７は、ポスト処理回路１０６に対しポスト処理パラメータを送信し、転送された領域のみのポスト処理を行って、表示画像データを生成させる（ステップＳＴ４０９）。そして、制御回路１０７は、メモリ制御回路１０２を介してメモリ１０１の該当する画像領域に格納させる（ステップＳＴ４１０）。その後、ＳＴ４０７〜ＳＴ４１１を更新画像領域が存在する間繰り返す（ステップＳＴ４１１：ＮＯ）
【００５６】
すべての更新画像領域が処理されると（ステップＳＴ４１１：ＹＥＳ）、制御回路１０６は、更新しない領域についてポスト処理済みデータをメモリへ格納し（ステップＳＴ４０５）、表示画像データとして外部に出力させる（ステップＳＴ４０６）。その後、表示画像出力タイミング待ち状態となる。
【００５７】
以上説明したように、本発明によれば、背景画像箇所のポスト処理の実行頻度を下げることにより、ポスト処理演算量を削減することができる。ここで、図６Ａ−６Ｃを参照して、ポスト処理の演算量の削減量について説明する。図６Ａ−６Ｃは、立体動画の一例を示す図である。なお、ポスト処理の演算量は画像サイズに比例するものである。
【００５８】
図６Ａ−６Ｃは、一連の立体動画を示している。図６Ａは１枚目画像５０１、図６Ｂは２枚目画像５０２、図６Ｃは３枚目画像５０３である。それぞれの画像には、動きのある背景画像領域５０４、動きのない前面画像領域５０５、動きのある前面画像領域５０６が含まれている。
【００５９】
２枚目画像５０２には、動きのある背景画像領域５０４が動くことによって２枚目画像５０２で新規に現れる背景画像領域５０７と、動きのある前面画像領域５０６が動くことによって、２枚目画像５０２で新規に現れる前面画像領域５０８が含まれている。
【００６０】
３枚目画像５０３には、動きのある背景画像領域５０４が動くことによって３枚目画像５０３で新規に現れる背景画像領域５０９と、動きのある前面画像領域５０６が動くことによって、３枚目画像５０３で新規に現れる前面画像領域５１０が含まれている。
【００６１】
１枚目画像５０１、２枚目画像５０２、３枚目画像５０３それぞれの画像サイズをｘ、それぞれの画像に対して、すべての画像領域に対するポスト処理の演算量をＸ１とする。また、動きのある前面画像領域５０６の画像サイズをｙ１、動きのある背景画像領域５０４の画像サイズｙ２、２枚目画像５０２及び３枚目画像５０３で新規に現れる前面画像領域５０８、５１０の画像サイズをｚ１、２枚目及び３枚目で新規に現れる背景画像領域５０７と５０９の画像サイズをｚ２とする。
【００６２】
１枚目画像５０１と２枚目画像５０２とを比較すると、更新画像領域は、背景画像領域５０４、前面画像領域５０６、背景画像領域５０７、前面画像領域５０８となる。特許文献１に記載の画像復号表示装置において、図６Ｂに示す立体画像をポスト処理した場合の演算量Ｘ２は、以下の式で表わされる。
Ｘ２＝（（ｙ１＋ｙ２＋ｚ１＋ｚ２）／ｘ）×Ｘ１
【００６３】
本発明では、背景画像のポスト処理の実行頻度を前景又は中景の画像の実行頻度よりも少なくしている。つまり、１枚目画像５０１及び３枚目画像５０３に対してのポスト処理量は特許文献１と変わらないが、２枚目画像の動きのある背景画像領域５０４及び、２枚目画像５０２で新規に現れる背景画像領域５０７に対するポスト処理が削減できる。
【００６４】
図６Ｂに示される例では、背景画像領域５０４、背景画像領域５０７のポスト処理の実行頻度は、前面画像領域５０６、前面画像領域５０８よりも少ない。本発明において、背景画像が更新タイミングでないときの演算量Ｘ３は、以下の式で表わされる。
Ｘ３＝（（ｙ１＋ｚ１）／ｘ）×Ｘ１
【００６５】
背景画像の更新間隔を前景画像の１／２とすると、図６Ａ、６Ｂに示される例の１枚の画像あたりのポスト処理における平均演算量Ｘ４は、以下の式となる。
Ｘ４＝（Ｘ２＋Ｘ３）／２
【００６６】
例えば、ｘ＝１００、Ｘ１＝１００、ｙ１＝２５、ｙ２＝５０、ｚ１＝５、ｚ２＝５とすると、Ｘ１＝１００、Ｘ２＝８５、Ｘ３＝３０、Ｘ４＝５７．５となり、通常ポスト処理を行う場合に対して約４２％の演算量の削減、特許文献１に対しても約３２％の演算量が削減される。
【００６７】
なお、本発明における復号化処理回路１０４は、一般の復号処理回路と同等であり、出力する更新画像領域情報は復号化処理時に使用する情報であるため、大きな処理量の増加とはならない。
【００６８】
また、立体画像情報処理回路１０５内では、左右の画像において、パターンマッチング処理を行う必要がある。しかし、本発明でのパターンマッチングの目的は背景領域を特定することであり、厳密にパターンマッチング処理を行う必要は無い。従って、エッジフィルタ等の演算量の少ない手法でのオブジェクトの検出や、最適化アルゴリズムを用いたマッチングを行うことにより、演算量の増加を抑制できる。
【００６９】
立体画像情報処理回路１０５における距離情報は、オブジェクトの位置関係のみを表わすものであるため、処理量の増加は少ない。本発明では、このような情報を用いて、背景画像のポスト処理の実行頻度を低減させることができるため、ポスト処理の演算量削減が期待できる。
【００７０】
実施の形態２．
実施の形態１においては、制御回路１０７に対して背景画像の更新間隔をユーザーが設定する必要があった。本実施の形態では、復号化処理回路１０４から制御回路１０７に画像情報を送信する際に（ステップＳＴ３０６）、動きベクトル情報をさらに送信する。この動きベクトル情報量に応じて、自動的に背景画像の更新間隔を設定することができる。
【００７１】
本実施の形態における更新タイミングの計算は以下の手順となる。
手順１  特許文献１と同様に、復号化処理回路１０４から更新画像領域として出力されない箇所は非更新領域とする。
【００７２】
手順２  フレーム間予測を使用しており、かつ距離情報で背景画像と判別された箇所の所定の更新間隔を決定する。現在の表示タイミングが更新間隔から導かれる更新タイミングで無ければ非更新タイミングとする。
【００７３】
手順３  背景画像のオブジェクト領域がフレーム間予測を使用せずに復号された場合、その領域が非更新タイミングに指定されている背景オブジェクトと同一のオブジェクトであるならば、非更新タイミングとする。
【００７４】
手順４  次回更新タイミングにおけるオブジェクトの動き量がユーザーの与える値Ｘよりも小さければ更新しない。
手順５  更新タイミングが指定されていない領域を更新領域にする。
【００７５】
上記手順４において、実施の形態１で更新タイミングと設定される領域が、非更新タイミングに設定されることがある。このため、ポスト処理にかかる処理量が削減され、低消費電力化をさらに進めることができる。
【００７６】
以上説明したように、立体画像復号表示装置において、背景画像の領域を特定し、その領域に対するポスト処理実施間隔を背景画像でない領域よりも長くすることによって、演算量を低下させることができ、低消費電力を実現しすることが可能である。
【００７７】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００７８】
１００  立体画像復号表示装置
１０１  メモリ
１０２  メモリ制御回路
１０３  画像符号化信号受信回路
１０４  復号化処理回路
１０５  立体画像情報処理回路
１０６  ポスト処理回路
１０７  制御回路
２０１  右目画像入力回路
２０２  左目画像入力回路
２０３  オブジェクト差分算出回路
２０４  オブジェクト検出回路
２０５  距離情報出力回路
５０１  １枚目画像
５０２  ２枚目画像
５０３  ３枚目画像
５０４、５０７、５０９  背景画像領域
５０５、５０６、５０８、５１０  前面画像領域
１００１  オブジェクト
１００２  表示面
１００３  左目位置
１００４  右目位置
１００５、１００７、１００９  左目画像
１００６、１００８、１０１０  右目画像
【図１】
2011172161.tif 000003
【図２】
2011172161.tif 000004
【図３Ａ】
2011172161.tif 000005
【図３Ｂ】
2011172161.tif 000006
【図３Ｃ】
2011172161.tif 000007
【図４】
2011172161.tif 000008
【図５】
2011172161.tif 000009
【図６Ａ】
2011172161.tif 000010
【図６Ｂ】
2011172161.tif 000011
【図６Ｃ】
2011172161.tif 000012
【図７】
2011172161.tif 000013
【図８】
2011172161.tif 000014
【図９】
2011172161.tif 000015
【図１０】
2011172161.tif 000016