(57)【要約】【課題】適切な参照画像を選択する。【解決手段】第１カメラで撮影された第１対象画像及び第２カメラで撮影された第２対象画像を符号化する画像符号化方法であって、第１局所復号画像又は第２局所復号画像を参照することで、第２対象画像の動きを検出する動き検出ステップ（Ｓ１０６）と、第１局所復号画像を参照した場合に、被写体の像を含む第１対象画像の第１領域の動きを示す第１動き情報を算出し、かつ、上記被写体の像を含む第２対象画像の第２領域の動きを示す第２動き情報を算出し、比較することで、被写体の視差を算出する視差算出ステップ（Ｓ１０９）と、第２局所復号画像を参照した場合に、第２領域の動きを示す第２動き情報を算出し、被写体の動きを算出する動き算出ステップ（Ｓ１０８）と、被写体の視差又は動きに基づいて第２カメラによって撮影された次の画像を符号化する際の参照画像を選択する選択ステップ（Ｓ１１２、Ｓ１１３）とを含む。【選択図】図５
2011130030.tif 000002
【特許請求の範囲】
【請求項１】
第１カメラ及び第２カメラのそれぞれによって被写体が撮影された画像を交互に符号化する画像符号化方法であって、
前記第１カメラによって撮影された第１対象画像より過去の画像を符号化及び復号することで、第１局所復号画像を生成する第１局所復号画像生成ステップと、
前記第２カメラによって撮影された第２対象画像より過去の画像を符号化及び復号することで、第２局所復号画像を生成する第２局所復号画像生成ステップと、
前記第１対象画像から、前記被写体の像を含む第１領域を検出する第１領域検出ステップと、
前記第１局所復号画像を参照することで、前記第１対象画像の動きを検出する第１動き検出ステップと、
前記第２対象画像から、前記被写体の像を含む第２領域を検出する第２領域検出ステップと、
前記第１局所復号画像又は前記第２局所復号画像を参照することで、前記第２対象画像の動きを検出する第２動き検出ステップと、
前記第２動き検出ステップにおいて前記第１局所復号画像を参照した場合に、前記第１動き検出ステップにおいて検出された第１対象画像の動きに基づいて前記第１領域の動きを示す第１動き情報を算出し、かつ、前記第２動き検出ステップにおいて検出された第２対象画像の動きに基づいて前記第２領域の動きを示す第２動き情報を算出し、前記第１動き情報と前記第２動き情報とを比較することで、前記被写体の視差を算出する視差算出ステップと、
前記第２動き検出ステップにおいて前記第２局所復号画像を参照した場合に、前記第２動き検出ステップにおいて検出された第２対象画像の動きに基づいて前記第２領域の動きを示す第２動き情報を算出し、当該第２動き情報に基づいて前記被写体の動きを算出する動き算出ステップと、
前記被写体の視差、又は、前記被写体の動きに基づいて、前記第２カメラによって撮影された前記第２対象画像の次の画像を前記第２対象画像として符号化する際の参照画像を選択する参照画像選択ステップとを含む
画像符号化方法。
【請求項２】
前記第１領域検出ステップでは、前記第１対象画像から、前記被写体の像として人の顔の像を含む第１領域を検出し、
前記第２領域検出ステップでは、前記第２対象画像から、前記被写体の像として前記人の顔の像を含む第２領域を検出する
請求項１記載の画像符号化方法。
【請求項３】
前記参照画像選択ステップでは、前記被写体の視差が所定の閾値より大きいか否かを判定し、前記視差が前記閾値より大きい場合に、前記第２局所復号画像を前記参照画像として選択し、前記視差が前記閾値以下の場合に、前記第１局所復号画像を前記参照画像として選択する
請求項１記載の画像符号化方法。
【請求項４】
前記参照画像選択ステップでは、前記被写体の動きが所定の閾値より大きいか否かを判定し、前記動きが前記閾値より大きい場合に、前記第１局所復号画像を前記参照画像として選択し、前記動きが前記閾値以下の場合に、前記第２局所復号画像を前記参照画像として選択する
請求項１記載の画像符号化方法。
【請求項５】
前記視差算出ステップでは、前記第１領域のブロック毎の第１動きベクトルを前記第１動き情報として算出し、かつ、前記第２領域のブロック毎の第２動きベクトルを前記第２動き情報として算出し、前記第１領域と前記第２領域とにおいて対応するブロック毎に前記第１動きベクトルと前記第２動きベクトルとを比較することで、前記被写体の視差を算出する
請求項１記載の画像符号化方法。
【請求項６】
前記視差算出ステップでは、前記第１対象画像及び前記第１局所復号画像の時間間隔である第１期間と、前記第２対象画像及び前記第１局所復号画像の時間間隔である第２期間との比率に基づいて、前記第１動きベクトル及び前記第２動きベクトルを正規化し、正規化された第１動きベクトルと正規化された第２動きベクトルとを比較することで、前記被写体の視差を算出する
請求項５記載の画像符号化方法。
【請求項７】
前記視差算出ステップでは、前記第１領域と前記第２領域とにおいて対応するブロック毎に前記正規化された第１動きベクトルと前記正規化された第２動きベクトルとの差分を算出し、算出された差分をブロック毎に示す動きベクトル分布に基づいて前記被写体の視差を算出する
請求項６記載の画像符号化方法。
【請求項８】
前記視差算出ステップでは、前記動きベクトル分布の平均値を前記被写体の視差として算出する
請求項７記載の画像符号化方法。
【請求項９】
前記視差算出ステップでは、前記第１領域のブロック毎の第１動きベクトルに重み付けを行うことで生成されるフレーム全体の第１動きベクトル分布を前記第１動き情報として算出し、かつ、前記第２領域のブロック毎の第２動きベクトルに重み付けを行うことで生成されるフレーム全体の第２動きベクトル分布を前記第２動き情報として算出し、前記第１動きベクトル分布と前記第２動きベクトル分布とを比較することで、前記被写体の視差を算出する
請求項１記載の画像符号化方法。
【請求項１０】
前記視差算出ステップでは、前記第１対象画像及び前記第１局所復号画像の時間間隔である第１期間と、前記第２対象画像及び前記第１局所復号画像の時間間隔である第２期間との比率に基づいて、前記第１動きベクトル分布及び前記第２動きベクトル分布を正規化し、正規化された第１動きベクトル分布と正規化された第２動きベクトル分布とを比較することで、前記被写体の視差を算出する
請求項９記載の画像符号化方法。
【請求項１１】
前記視差算出ステップでは、前記正規化された第１動きベクトル分布と前記正規化された第２動きベクトル分布との差分を算出し、算出された差分である第３動きベクトル分布に基づいて前記被写体の視差を算出する
請求項１０記載の画像符号化方法。
【請求項１２】
前記視差算出ステップでは、前記第３動きベクトル分布の平均値を前記被写体の視差として算出する
請求項１１記載の画像符号化方法。
【請求項１３】
第１カメラ及び第２カメラのそれぞれによって被写体が撮影された画像を交互に符号化する画像符号化装置であって、
前記第１カメラによって撮影された第１対象画像より過去の画像を符号化及び復号することで、第１局所復号画像を生成し、かつ、前記第２カメラによって撮影された第２対象画像より過去の画像を符号化及び復号することで、第２局所復号画像を生成する局所復号画像生成部と、
前記第１対象画像から、前記被写体の像を含む第１領域を検出し、かつ、前記第２対象画像から、前記被写体の像を含む第２領域を検出する領域検出部と、
前記第１局所復号画像を参照することで、前記第１対象画像の動きを検出し、かつ、前記第１局所復号画像又は前記第２局所復号画像を参照することで、前記第２対象画像の動きを検出する動き検出部と、
前記動き検出部において、前記第２対象画像の動きを検出する際に前記第１局所復号画像を参照した場合に、前記動き検出部において検出された第１対象画像の動きに基づいて前記第１領域の動きを示す第１動き情報を算出し、かつ、前記動き検出部において検出された第２対象画像の動きに基づいて前記第２領域の動きを示す第２動き情報を算出し、前記第１動き情報と前記第２動き情報とを比較することで、前記被写体の視差を算出する視差算出部と、
前記動き検出部において、前記第２対象画像の動きを検出する際に前記第２局所復号画像を参照した場合に、前記動き検出部において検出された第２対象画像の動きに基づいて前記第２領域の動きを示す第２動き情報を算出し、当該第２動き情報に基づいて前記被写体の動きを算出する動き算出部と、
前記被写体の視差、又は、前記被写体の動きに基づいて、前記第２カメラによって撮影された前記第２対象画像の次の画像を前記第２対象画像として符号化する際の参照画像を選択する参照画像選択部とを備える
画像符号化装置。
【請求項１４】
請求項１３記載の画像符号化装置を含む画像処理回路と、
前記被写体からの光を結像する光学系と、
前記光学系からの光を光電変換し、光電変換により生成された画像信号を前記画像処理回路に、前記第１対象画像及び前記第２対象画像として出力するセンサーとを備える
撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化方法及び画像符号化装置に関し、特に、主カメラ及び従カメラのそれぞれによって撮影された画像を符号化する画像符号化方法及び画像符号化装置に関する。
【背景技術】
【０００２】
近年、立体視を用いた映像表現が注目を浴びている。なかでも、立体視を用いた映画が多数上映されるようになってきており、今後本格的な普及が見込まれている。立体視は、２台のカメラ（主カメラと従カメラ）で撮影された映像（ステレオ画像）をそれぞれ左右の目で見ることにより実現される。このとき、ステレオ画像は、通常の映像に比べ２倍のデータ量になるため、効率良くステレオ画像を符号化する符号化技術が必要になる。
【０００３】
動画像データを符号化する標準技術として、ＩＳＯ／ＩＥＣ  ＪＴＣ１のＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）が策定した、ＭＰＥＧ−４  Ｐａｒｔ１０：Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（以下では、ＭＰＥＧ−４  ＡＶＣと記載する）がある。このＭＰＥＧ−４  ＡＶＣをベースに、複数のカメラから撮影された動画像を効率的に符号化するために拡張した、ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）の規格化が進められている。
【０００４】
このＭＶＣでは、ステレオ画像の符号化効率を高めるために、フレーム間予測の参照画像として、符号化対象画像と同じカメラで撮影された時間的に前の画像を符号化及び復号した画像だけでなく（同チャンネル参照）、異なるカメラで撮影された画像を符号化及び復号した画像を参照することも可能である（異チャンネル参照）。
【０００５】
特許文献１には、複数のカメラから撮影された画像を符号化する際に、動き探索で得られた動きベクトルを元に、パニングなどのカメラの動きを検出し、検出された動きの方向に位置するカメラの画像を参照するように選択する方法が記載されている。
【０００６】
このように、従来は、撮影された画像の動きに基づいて、どのカメラによって撮影された画像、すなわち、どのチャンネルの画像を参照画像として選択するかを判定する。例えば、動きが大きい場合には異チャンネル参照を行い、動きが小さい場合には同チャンネル参照を行うことで、より正確な予測画像を生成し、符号化効率を高めている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際公開第２００６／０７２９９２号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来技術では、適切な参照画像を選択することができないという課題がある。
【０００９】
撮影する時刻が主カメラ及び従カメラで異なる場合には、異チャンネル参照をした場合の動き探索で得られる動きベクトルには視差の影響と、被写体又はカメラの動きによる影響とが含まれているため、動きと視差とを区別することができない。したがって、動きに基づいた参照画像の選択を行うことができないので、適切な参照画像を選択することができない。
【００１０】
そこで、本発明は、上記従来の問題を解決するもので、適切な参照画像を選択することができる画像符号化方法及び画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記従来の課題を解決するために、本発明に係る画像符号化方法は、第１カメラ及び第２カメラのそれぞれによって被写体が撮影された画像を交互に符号化する画像符号化方法であって、前記第１カメラによって撮影された第１対象画像より過去の画像を符号化及び復号することで、第１局所復号画像を生成する第１局所復号画像生成ステップと、前記第２カメラによって撮影された第２対象画像より過去の画像を符号化及び復号することで、第２局所復号画像を生成する第２局所復号画像生成ステップと、前記第１対象画像から、前記被写体の像を含む第１領域を検出する第１領域検出ステップと、前記第１局所復号画像を参照することで、前記第１対象画像の動きを検出する第１動き検出ステップと、前記第２対象画像から、前記被写体の像を含む第２領域を検出する第２領域検出ステップと、前記第１局所復号画像又は前記第２局所復号画像を参照することで、前記第２対象画像の動きを検出する第２動き検出ステップと、前記第２動き検出ステップにおいて前記第１局所復号画像を参照した場合に、前記第１動き検出ステップにおいて検出された第１対象画像の動きに基づいて前記第１領域の動きを示す第１動き情報を算出し、かつ、前記第２動き検出ステップにおいて検出された第２対象画像の動きに基づいて前記第２領域の動きを示す第２動き情報を算出し、前記第１動き情報と前記第２動き情報とを比較することで、前記被写体の視差を算出する視差算出ステップと、前記第２動き検出ステップにおいて前記第２局所復号画像を参照した場合に、前記第２動き検出ステップにおいて検出された第２対象画像の動きに基づいて前記第２領域の動きを示す第２動き情報を算出し、当該第２動き情報に基づいて前記被写体の動きを算出する動き算出ステップと、前記被写体の視差、又は、前記被写体の動きに基づいて、前記第２カメラによって撮影された前記第２対象画像の次の画像を前記第２対象画像として符号化する際の参照画像を選択する参照画像選択ステップとを含む。
【００１２】
これにより、異チャンネル参照を選択した場合には、第１動き情報と第２動き情報とを比較することで、動きと視差とを区別することが可能となるので、適切な参照画像を選択することができる。
【００１３】
また、前記第１領域検出ステップでは、前記第１対象画像から、前記被写体の像として人の顔の像を含む第１領域を検出し、前記第２領域検出ステップでは、前記第２対象画像から、前記被写体の像として前記人の顔の像を含む第２領域を検出してもよい。
【００１４】
また、前記参照画像選択ステップでは、前記被写体の視差が所定の閾値より大きいか否かを判定し、前記視差が前記閾値より大きい場合に、前記第２局所復号画像を前記参照画像として選択し、前記視差が前記閾値以下の場合に、前記第１局所復号画像を前記参照画像として選択してもよい。
【００１５】
これにより、視差が小さい場合には異チャンネル間の画像は互いに類似した画像であるため、予測誤差を小さくすることができ、符号化効率を高めることができる。
【００１６】
また、前記参照画像選択ステップでは、前記被写体の動きが所定の閾値より大きいか否かを判定し、前記動きが前記閾値より大きい場合に、前記第１局所復号画像を前記参照画像として選択し、前記動きが前記閾値以下の場合に、前記第２局所復号画像を前記参照画像として選択してもよい。
【００１７】
これにより、動きが小さい場合には同チャンネル間の画像は互いに類似した画像であるため、予測誤差を小さくすることができ、符号化効率を高めることができる。
【００１８】
また、前記視差算出ステップでは、前記第１領域のブロック毎の第１動きベクトルを前記第１動き情報として算出し、かつ、前記第２領域のブロック毎の第２動きベクトルを前記第２動き情報として算出し、前記第１領域と前記第２領域とにおいて対応するブロック毎に前記第１動きベクトルと前記第２動きベクトルとを比較することで、前記被写体の視差を算出してもよい。
【００１９】
これにより、ブロック毎の動きベクトルを比較するので、動きと視差とをより精度良く区別することができる。
【００２０】
また、前記視差算出ステップでは、前記第１対象画像及び前記第１局所復号画像の時間間隔である第１期間と、前記第２対象画像及び前記第１局所復号画像の時間間隔である第２期間との比率に基づいて、前記第１動きベクトル及び前記第２動きベクトルを正規化し、正規化された第１動きベクトルと正規化された第２動きベクトルとを比較することで、前記被写体の視差を算出してもよい。
【００２１】
これにより、画像間の時間間隔が大きい程、動きが大きくなるので、動きベクトルを正規化することにより、同じスケールで第１動きベクトルと第２動きベクトルとを比較することができる。
【００２２】
また、前記視差算出ステップでは、前記第１領域と前記第２領域とにおいて対応するブロック毎に前記正規化された第１動きベクトルと前記正規化された第２動きベクトルとの差分を算出し、算出された差分をブロック毎に示す動きベクトル分布に基づいて前記被写体の視差を算出してもよい。
【００２３】
また、前記視差算出ステップでは、前記動きベクトル分布の平均値を前記被写体の視差として算出してもよい。
【００２４】
また、前記視差算出ステップでは、前記第１領域のブロック毎の第１動きベクトルに重み付けを行うことで生成されるフレーム全体の第１動きベクトル分布を前記第１動き情報として算出し、かつ、前記第２領域のブロック毎の第２動きベクトルに重み付けを行うことで生成されるフレーム全体の第２動きベクトル分布を前記第２動き情報として算出し、前記第１動きベクトル分布と前記第２動きベクトル分布とを比較することで、前記被写体の視差を算出してもよい。
【００２５】
これにより、第１領域及び第２領域のブロック毎の動きベクトルが重み付けられているので、動きと視差とをより精度良く区別することができる。
【００２６】
また、前記視差算出ステップでは、前記第１対象画像及び前記第１局所復号画像の時間間隔である第１期間と、前記第２対象画像及び前記第１局所復号画像の時間間隔である第２期間との比率に基づいて、前記第１動きベクトル分布及び前記第２動きベクトル分布を正規化し、正規化された第１動きベクトル分布と正規化された第２動きベクトル分布とを比較することで、前記被写体の視差を算出してもよい。
【００２７】
これにより、画像間の時間間隔が大きい程、動きが大きくなるので、動きベクトルを正規化することにより、同じスケールで第１動きベクトルと第２動きベクトルとを比較することができる。
【００２８】
また、前記視差算出ステップでは、前記正規化された第１動きベクトル分布と前記正規化された第２動きベクトル分布との差分を算出し、算出された差分である第３動きベクトル分布に基づいて前記被写体の視差を算出してもよい。
【００２９】
また、前記視差算出ステップでは、前記第３動きベクトル分布の平均値を前記被写体の視差として算出してもよい。
【００３０】
また、本発明に係る画像符号化装置は、第１カメラ及び第２カメラのそれぞれによって被写体が撮影された画像を交互に符号化する画像符号化装置であって、前記第１カメラによって撮影された第１対象画像より過去の画像を符号化及び復号することで、第１局所復号画像を生成し、かつ、前記第２カメラによって撮影された第２対象画像より過去の画像を符号化及び復号することで、第２局所復号画像を生成する局所復号画像生成部と、前記第１対象画像から、前記被写体の像を含む第１領域を検出し、かつ、前記第２対象画像から、前記被写体の像を含む第２領域を検出する領域検出部と、前記第１局所復号画像を参照することで、前記第１対象画像の動きを検出し、かつ、前記第１局所復号画像又は前記第２局所復号画像を参照することで、前記第２対象画像の動きを検出する動き検出部と、前記動き検出部において、前記第２対象画像の動きを検出する際に前記第１局所復号画像を参照した場合に、前記動き検出部において検出された第１対象画像の動きに基づいて前記第１領域の動きを示す第１動き情報を算出し、かつ、前記動き検出部において検出された第２対象画像の動きに基づいて前記第２領域の動きを示す第２動き情報を算出し、前記第１動き情報と前記第２動き情報とを比較することで、前記被写体の視差を算出する視差算出部と、前記動き検出部において、前記第２対象画像の動きを検出する際に前記第２局所復号画像を参照した場合に、前記動き検出部において検出された第２対象画像の動きに基づいて前記第２領域の動きを示す第２動き情報を算出し、当該第２動き情報に基づいて前記被写体の動きを算出する動き算出部と、前記被写体の視差、又は、前記被写体の動きに基づいて、前記第２カメラによって撮影された前記第２対象画像の次の画像を前記第２対象画像として符号化する際の参照画像を選択する参照画像選択部とを備える。
【００３１】
また、本発明に係る撮像システムは、上記の画像符号化装置を含む画像処理回路と、前記被写体からの光を結像する光学系と、前記光学系からの光を光電変換し、光電変換により生成された画像信号を前記画像処理回路に、前記第１対象画像及び前記第２対象画像として出力するセンサーとを備える。
【発明の効果】
【００３２】
本発明に係る画像符号化方法及び画像符号化装置によれば、適切な参照画像を選択することができる。
【図面の簡単な説明】
【００３３】
【図１】本実施の形態に係る画像符号化装置の構成の一例を示すブロック図である。
【図２】本実施の形態に係る画像符号化装置の構成の一部の詳細を示すブロック図である。
【図３】同チャンネル参照の一例を示す模式図である。
【図４】異チャンネル参照の一例を示す模式図である。
【図５】本実施の形態に係る画像符号化装置における参照画像選択の一例を示すフローチャートである。
【図６Ａ】背景に動きがある場合に動きベクトル分布から視差を算出する方法を説明するための模式図である。
【図６Ｂ】顔領域に含まれるブロック毎の動きベクトルの一例を示す模式図である。
【図７】背景に動きがある場合に動きと視差とを区別することができないことを説明するための模式図である。
【図８】本実施の形態に係る画像符号化装置を利用した撮像システムの一例を示すブロック図である。
【発明を実施するための形態】
【００３４】
以下、本発明に係る画像符号化方法及び画像符号化装置の実施の形態について、図面を参照しながら詳細に説明する。
【００３５】
（実施の形態１）
本実施の形態に係る画像符号化方法は、第１カメラで被写体が撮影された第１対象画像及び第２カメラで上記被写体が撮影された第２対象画像を符号化する画像符号化方法であって、第１局所復号画像又は第２局所復号画像を参照することで、第２対象画像の動きを検出する動き検出ステップと、動き検出ステップにおいて第１局所復号画像を参照した場合に、上記被写体の像を含む第１領域の動きを示す第１動き情報を算出し、かつ、上記被写体の像を含む第２領域の動きを示す第２動き情報を算出し、第１動き情報と第２動き情報とを比較することで、被写体の視差を算出する視差算出ステップと、動き検出ステップにおいて第２局所復号画像を参照した場合に、上記第２領域の動きを示す第２動き情報を算出し、当該第２動き情報に基づいて被写体の動きを算出する動き算出ステップと、被写体の視差、又は、被写体の動きに基づいて、第２カメラによって撮影された次の画像を第２対象画像として符号化する際の参照画像を選択する参照画像選択ステップとを含むことを特徴とする。
【００３６】
図１は、本実施の形態に係る画像符号化装置１００の構成の一例を示すブロック図である。
【００３７】
図１に示す画像符号化装置１００は、主カメラから入力される第１映像と、従カメラから入力される第２映像とを符号化する。主カメラ及び従カメラは、互いに異なる位置に配置され、同一の被写体を異なる視点から撮影する。例えば、主カメラは、被写体に向かって従カメラの左側に配置され、従カメラは、被写体に向かって主カメラの右側に配置される。
【００３８】
第１映像及び第２映像は、立体視用の映像であり、例えば、第１映像は、視聴者の左眼に入力されるべき左眼用の映像であり、第２映像は、視聴者の右眼に入力されるべき右眼用の映像である。第１映像及び第２映像はそれぞれ、複数のピクチャから構成されている。画像符号化装置１００は、第１映像と第２映像とをピクチャ毎に交互に符号化する。
【００３９】
図１に示すように、本実施の形態に係る画像符号化装置１００は、入力フレームバッファ１０１と、差分器１０２と、直交変換部１０３と、量子化部１０４と、エントロピー符号化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、加算器１０８と、第１フレームメモリ１０９と、第２フレームメモリ１１０と、イントラ予測部１１１と、インター予測部１１２と、セレクタ１１３と、イントラ・インター判定部１１４と、オブジェクト領域検出部１１５と、参照画像選択部１１６とを備える。
【００４０】
入力フレームバッファ１０１は、入力画像を格納するメモリの一例である。入力フレームバッファ１０１は、主カメラから入力される第１入力画像（左眼用画像）と、従カメラから入力される第２入力画像（右眼用画像）とを格納する。
【００４１】
なお、第１入力画像及び第２入力画像はそれぞれ、１フレーム分の画像である。入力フレームバッファ１０１は、第１入力画像を格納する第１メモリ領域と第２入力画像を格納する第２メモリ領域とを含む論理的に分割された物理的に１つのメモリでもよく、あるいは、時間的に分割された物理的に１つのメモリでもよい。また、入力フレームバッファ１０１は、物理的に異なる２つのメモリでもよい。
【００４２】
差分器１０２は、第１入力画像又は第２入力画像と、セレクタ１１３から出力される予測画像との差分を算出する。例えば、差分器１０２は、第１入力画像又は第２入力画像から予測画像を減算することで、差分画像を生成する。差分画像は、直交変換部１０３へ出力される。
【００４３】
直交変換部１０３は、差分画像に直交変換を行うことで、空間領域の差分画像を周波数領域の変換係数に変換する。例えば、直交変換部１０３は、直交変換の一例として、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）を差分画像に対して行うことで、変換係数を生成する。変換係数は、量子化部１０４へ出力される。
【００４４】
量子化部１０４は、変換係数を量子化することで、量子化係数を生成する。量子化係数は、エントロピー符号化部１０５と逆量子化部１０６とへ出力される。
【００４５】
エントロピー符号化部１０５は、量子化係数をエントロピー符号化することで、ビットストリームを生成する。なお、エントロピー符号化部１０５は、例えば、第１入力画像を元に生成される第１符号化画像と第２入力画像を元に生成される第２符号化画像とを、１つのビットストリームとして出力する。あるいは、エントロピー符号化部１０５は、第１符号化画像と第２符号化画像とを、それぞれ異なるビットストリームとして出力してもよい。
【００４６】
逆量子化部１０６は、量子化係数を逆量子化することで、逆量子化された変換係数を生成する。逆量子化された変換係数は、逆直交変換部１０７へ出力される。
【００４７】
逆直交変換部１０７は、逆量子化された変換係数に逆直交変換を行うことで、周波数領域の変換係数を空間領域の局所復号された差分画像に変換する。例えば、逆直交変換部１０７は、逆量子化された変換係数に対して逆ＤＣＴを行うことで、局所復号された差分画像を生成する。局所復号された差分画像は、加算器１０８へ出力される。
【００４８】
加算器１０８は、局所復号された差分画像と、セレクタ１１３から出力される予測画像とを加算することで、局所復号画像を生成する。局所復号画像は、第１フレームメモリ１０９及び第２フレームメモリ１１０に格納される。
【００４９】
第１フレームメモリ１０９は、イントラ予測に用いられる参照画像として、局所復号画像を格納するメモリの一例である。
【００５０】
第２フレームメモリ１１０は、インター予測に用いられる参照画像として、局所復号画像を格納するメモリの一例である。
【００５１】
第１フレームメモリ１０９及び第２フレームメモリ１１０はそれぞれ、物理的に異なる２つのメモリであってもよく、あるいは、論理的に空間分割又は時分割された物理的に１つのメモリであってもよい。
【００５２】
イントラ予測部１１１は、第１フレームメモリ１０９に格納される局所復号画像を参照画像として参照してイントラ予測を行うことで、イントラ予測画像を生成する。イントラ予測画像は、セレクタ１１３へ出力される。
【００５３】
インター予測部１１２は、第２フレームメモリ１１０に格納される局所復号画像を参照画像として参照してインター予測を行うことで、インター予測画像を生成する。例えば、インター予測部１１２は、動き検出及び動き補償を行うことで、インター予測画像を生成する。インター予測画像は、セレクタ１１３へ出力される。また、インター予測部１１２は、動き検出により生成された動き情報を参照画像選択部１１６へ出力する。
【００５４】
セレクタ１１３は、イントラ・インター判定部１１４による判定結果に基づいて、イントラ予測画像及びインター予測画像のいずれかを選択し、選択した画像を予測画像として差分器１０２及び加算器１０８へ出力する。
【００５５】
イントラ・インター判定部１１４は、イントラ予測部１１１及びインター予測部１１２のそれぞれから出力される情報に基づいて、イントラ予測画像及びインター予測画像のうち選択すべき画像を判定する。そして、イントラ・インター判定部１１４は、セレクタ１１３に、選択すべきと判定した画像を予測画像として選択させる。
【００５６】
なお、イントラ予測部１１１及びインター予測部１１２のそれぞれから出力される情報は、例えば、イントラ予測画像及びインター予測画像の符号量（又は、符号量の予測値）である。イントラ予測部１１１及びインター予測部１１２は、例えば、符号量が小さい方の画像を予測画像として選択すべき画像として判定する。
【００５７】
オブジェクト領域検出部１１５は、入力フレームバッファ１０１から第１入力画像又は第２入力画像を読み出し、読み出した画像から所定の被写体の像を含む領域（以下、オブジェクト領域とも記載する）、すなわち、被写体が写った領域を検出する。例えば、オブジェクト領域検出部は、所定の被写体の像として人の顔の像を含む顔領域を検出する。そして、オブジェクト領域検出部１１５は、検出したオブジェクト領域の位置、サイズなどを示す領域情報を参照画像選択部１１６へ出力する。
【００５８】
参照画像選択部１１６は、オブジェクト領域検出部１１５から出力される領域情報と、インター予測部１１２から出力される動き情報とに基づいて、参照画像を選択する。
【００５９】
続いて、本実施の形態に係る画像符号化装置１００の構成のうち、第２フレームメモリ１１０と、インター予測部１１２と、オブジェクト領域検出部１１５と、参照画像選択部１１６との詳細な構成について説明する。
【００６０】
図２は、本実施の形態に係る画像符号化装置１００の構成の一部を詳細に示すブロック図である。
【００６１】
第２フレームメモリ１１０は、主カメラ用フレームメモリ２０１と、従カメラ用フレームメモリ２０２とを備える。
【００６２】
主カメラ用フレームメモリ２０１は、主カメラによって撮影された第１入力画像が符号化及び復号されることで生成された第１局所復号画像を格納するメモリである。具体的には、差分器１０２、直交変換部１０３、量子化部１０４、逆量子化部１０６、逆直交変換部１０７及び加算器１０８が第１入力画像を符号化及び復号することで、第１局所復号画像を生成する。主カメラ用フレームメモリ２０１は、生成された第１局所復号画像を格納する。
【００６３】
従カメラ用フレームメモリ２０２は、従カメラによって撮影された第２入力画像が符号化及び復号されることで生成された第２局所復号画像を格納するメモリである。具体的には、差分器１０２、直交変換部１０３、量子化部１０４、逆量子化部１０６、逆直交変換部１０７及び加算器１０８が第２入力画像を符号化及び復号することで、第２局所復号画像を生成する。従カメラ用フレームメモリ２０２は、生成された第２局所復号画像を格納する。
【００６４】
なお、主カメラ用フレームメモリ２０１及び従カメラ用フレームメモリ２０２は、物理的に異なる２つのメモリであってもよく、あるいは、論理的に空間分割又は時分割された物理的に１つのメモリであってもよい。
【００６５】
また、図２に示すように、インター予測部１１２は、動き探索部２１１と、動き補償部２１２とを備える。
【００６６】
動き探索部２１１は、動き検出部の一例であり、対象画像が第１入力画像である場合に、主カメラ用フレームメモリ２０１に格納された第１局所復号画像を参照画像として参照することで、第１入力画像の動きを検出する。また、動き探索部２１１は、対象画像が第２入力画像である場合に、主カメラ用フレームメモリ２０１に格納された第１局所復号画像、又は、従カメラ用フレームメモリ２０２に格納された第２局所復号画像を参照画像として参照することで、第２入力画像の動きを検出する。
【００６７】
動き補償部２１２は、動き探索部２１１によって検出された動きに基づいて、第１入力画像又は第２入力画像に動き補償を行うことで、インター予測画像を生成する。
【００６８】
オブジェクト領域検出部１１５は、上述したように第１入力画像又は第２入力画像から所定の被写体（例えば、人の顔）の像を含む領域を検出する。具体的には、オブジェクト領域検出部１１５は、対象画像が第１入力画像である場合に、第１入力画像から所定の被写体の像を含む第１領域を検出する。また、オブジェクト領域検出部１１５は、対象画像が第２入力画像である場合には、第２入力画像から上記被写体の像を含む第２領域を検出する。
【００６９】
なお、第１領域及び第２領域は、１以上のブロックを含んでいる。また、ブロックは、１以上の画素を含んでいる。
【００７０】
なお、第１領域及び第２領域には同じ被写体の像が含まれるように、オブジェクト領域検出部１１５によって第１領域及び第２領域が検出される。このため、第１領域と第２領域とにおいて対応するブロックとは、第１領域内の所定の位置のブロックと、当該ブロックと同じ位置の第２領域内のブロックとを意味する。例えば、第１領域及び第２領域が矩形の場合、第１領域の左端上のブロックと第２領域の左端上のブロックとが、対応するブロックである。
【００７１】
また、図２に示すように、参照画像選択部１１６は、視差算出部２２１と、動き算出部２２２と、選択部２２３とを備える。
【００７２】
視差算出部２２１は、第２入力画像の動き探索の際に、動き探索部２１１が第１局所復号画像を参照画像として選択した場合に、動き探索部２１１によって検出された第１入力画像の動きに基づいて、オブジェクト領域検出部１１５によって検出された第１領域の動きを示す第１動き情報を算出する。さらに、視差算出部２２１は、動き探索部２１１によって検出された第２入力画像の動きに基づいて、オブジェクト領域検出部１１５によって検出された第２領域の動きを示す第２動き情報を算出する。そして、視差算出部２２１は、第１動き情報と第２動き情報とを比較することで、第１領域及び第２領域に含まれる被写体の視差を算出する。
【００７３】
ここで、第１動き情報は、例えば、第１領域のブロック毎の動きベクトルを示す第１動きベクトルである。また、第２動き情報は、例えば、第２領域のブロック毎の動きベクトルを示す第２動きベクトルである。したがって、視差算出部２２１は、第１領域と第２領域とにおいて対応するブロック毎に、第１動きベクトルと第２動きベクトルとを比較することで被写体の視差を算出する。
【００７４】
さらに、視差算出部２２１は、第１動きベクトル及び第２動きベクトルを正規化し、正規化された第１動きベクトルと正規化された第２動きベクトルとを比較してもよい。具体的には、視差算出部２２１は、第１動きベクトルを算出する際に用いた第１局所復号画像と第１入力画像との時間間隔である第１期間と、第２動きベクトルを算出する際に用いた第１局所復号画像と第２入力画像との時間間隔である第２期間との比率に基づいて、第１動きベクトル及び第２動きベクトルを正規化する。このときの時間間隔は、撮影順におけるそれぞれのフレーム間の時間である。
【００７５】
より具体的には、視差算出部２２１は、正規化された第１動きベクトルと正規化された第２動きベクトルとの差分をブロック毎に算出し、算出された差分をブロック毎に示す差分動きベクトル分布に基づいて被写体の視差を算出する。差分動きベクトル分布は、動きベクトルの差分と、その頻度とを対応付けた分布である。例えば、視差算出部２２１は、差分を示す動きベクトル分布の平均値を被写体の視差として算出する。
【００７６】
動き算出部２２２は、第２入力画像の動き探索の際に、動き探索部２１１が第２局所復号画像を参照画像として選択した場合に、動き探索部２１１によって検出された第２入力画像の動きに基づいて、オブジェクト領域検出部１１５によって検出された第２領域の動きを示す第２動き情報を算出する。そして、動き算出部２２２は、第２動き情報に基づいて被写体の動きを算出する。
【００７７】
選択部２２３は、視差算出部２２１によって算出された被写体の視差、又は、動き算出部２２２によって算出された被写体の動きに基づいて、従カメラによって撮影された次の画像を第２入力画像として符号化する際の参照画像を選択する。言い換えると、選択部２２３は、次の第２入力画像を符号化する際に、同チャンネル参照及び異チャンネル参照のいずれを選択するかを決定する。
【００７８】
具体的には、選択部２２３は、被写体の視差が所定の第１閾値より大きいか否かを判定し、視差が第１閾値より大きい場合には第２局所復号画像を参照画像として選択し、視差が第１閾値以下の場合には第１局所復号画像を参照画像として選択する。つまり、選択部２２３は、視差が第１閾値より大きい場合に同チャンネル参照を選択し、視差が第１閾値以下の場合に異チャンネル参照を選択する。
【００７９】
また、選択部２２３は、被写体の動きが所定の第２閾値より大きいか否かを判定し、動きが第２閾値より大きい場合には第１局所復号画像を参照画像として選択し、動きが第２閾値以下の場合には第２局所復号画像を参照画像として選択する。つまり、選択部２２３は、動きが第２閾値より大きい場合に異チャンネル参照を選択し、動きが第２閾値以下の場合に同チャンネル参照を選択する。
【００８０】
以上の構成により、本実施の形態に係る画像符号化装置１００は、第１入力画像の動きに基づいて第１領域の動きを示す第１動き情報を算出するとともに、第２入力画像の動きに基づいて第２領域の動きを示す第２動き情報を算出し、第１動き情報と第２動き情報とを比較することで、第１領域及び第２領域に含まれる被写体の視差を算出する。これにより、被写体の視差と被写体の動きとを区別することができるので、適切な参照画像を選択することができる。
【００８１】
また、動きが大きい場合又は視差が小さい場合には異チャンネル参照を選択し、動きが小さい場合又は視差が大きい場合には同チャンネル参照を選択するので、適切な参照画像を選択することができ、予測誤差を小さくすることができる。したがって、符号化効率を向上させることができる。
【００８２】
以下では、同チャンネル参照と異チャンネル参照とについて説明する。つまり、立体視用のステレオ画像を符号化する際に実行される動き探索におけるピクチャ間の参照関係について説明する。具体的には、主カメラによって撮影された左眼用映像に含まれる左眼用画像（以下、左チャンネル画像又はＬｃｈ画像とも記載する）と、従カメラによって撮影された右眼用映像に含まれる右眼用画像（以下、右チャンネル画像又はＲｃｈ画像とも記載する）との間の参照関係について説明する。
【００８３】
主カメラによって撮影された左眼用映像に含まれるＬｃｈ画像は、同一チャンネルの画像、すなわち、Ｌｃｈ画像のみを参照して符号化される。これに対して、従カメラによって撮影された右眼用映像に含まれるＲｃｈ画像は、同一チャンネルの画像、すなわち、Ｒｃｈ画像、又は、異なるチャンネルの画像、すなわち、Ｌｃｈ画像を参照して符号化される。このように、本実施の形態に係る画像符号化装置１００は、従カメラによって撮影された画像を符号化する際には、主カメラによって撮影された画像を参照して符号化することができる。
【００８４】
以下では、従カメラによって撮影された画像を符号化する際に従カメラによって撮影された過去の画像を参照することを同チャンネル参照と記載し、従カメラによって撮影された画像を符号化する際に主カメラによって撮影された画像を参照することを異チャンネル参照と記載する。つまり、同チャンネル参照は、Ｒｃｈ画像を符号化する際にＲｃｈ画像を参照することであり、異チャンネル参照は、Ｒｃｈ画像を符号化する際にＬｃｈ画像を参照することである。
【００８５】
図３は、同チャンネル参照の一例を示す模式図である。図３に示すように、従カメラによって撮影されたＲｃｈ画像は、従カメラによって撮影された過去のＲｃｈ画像を参照して符号化される。
【００８６】
同チャンネル参照は、例えば、主カメラ及び従カメラと被写体との間の距離が近く、Ｌｃｈ画像とＲｃｈ画像とにおいて、同一被写体の位置のずれ量、すなわち、視差（オフセット）が大きい場合に利用される。画像符号化装置１００は、Ｌｃｈ画像とＲｃｈ画像との差異が大きい場合に同チャンネル参照を選択することで、動き予測での予測誤差を小さくすることができる。
【００８７】
図４は、異チャンネル参照の一例を示す模式図である。図４に示すように、従カメラによって撮影されたＲｃｈ画像は、主カメラによって撮影されたＬｃｈ画像を参照して符号化される。
【００８８】
異チャンネル参照は、同チャンネル参照に比べて時間的に近い画像が参照画像として選択されるので、例えば、被写体又は主カメラ及び従カメラが動いている場合に利用される。画像符号化装置１００は、画像の動きが大きい場合に異チャンネル参照を選択することで、動き予測での予測誤差を小さくすることができる。
【００８９】
以上のように、本実施の形態に係る画像符号化装置１００は、画像の動きが所定の閾値より大きい場合に異チャンネル参照を選択し、画像の動きが上記閾値より小さい場合に同チャンネル参照を選択する。これにより、動き予測における予測誤差を小さくすることができるので、予測の精度を向上させることができ、符号化効率を高めることができる。
【００９０】
次に、本実施の形態に係る画像符号化装置１００の動作のうち、参照画像の選択について説明する。
【００９１】
図５は、本実施の形態１に係る画像符号化装置１００における参照画像の選択処理の一例を示すフローチャートである。
【００９２】
まず、画像符号化装置１００は、主カメラから入力された第１入力画像を符号化及び局所復号することで、第１局所復号画像を生成し、生成した第１局所復号画像を主カメラ用フレームメモリ２０１に格納する（Ｓ１０１）。なお、ここでの第１入力画像は、主カメラによって撮影された画像であり、次に符号化の対象となる第１入力画像（第１対象画像）より過去の画像である。
【００９３】
次に、画像符号化装置１００は、従カメラから入力された第２入力画像を符号化及び局所復号することで、第２局所復号画像を生成し、生成した第２局所復号画像を従カメラ用フレームメモリ２０２に格納する（Ｓ１０２）。なお、ここでの第２入力画像は、従カメラによって撮影された画像であり、次に符号化の対象となる第２入力画像（第２対象画像）より過去の画像である。
【００９４】
なお、第２局所復号画像を生成する際には、以下で説明する方法に従って同チャンネル参照及び異チャンネル参照のいずれかを選択して、動き探索が行われる。
【００９５】
次に、オブジェクト領域検出部１１５は、主カメラから入力された第１入力画像に対して顔領域検出処理を行うことで、人の顔を含む第１顔領域を検出する（Ｓ１０３）。そして、オブジェクト領域検出部１１５は、検出された第１顔領域を示す顔領域情報を出力する。顔領域検出処理の方法としては、例えば、テンプレートマッチングを用いた方法などがある。
【００９６】
次に、動き探索部２１１は、主カメラから入力された第１入力画像に対して第１局所復号画像を参照画像として動き探索処理を行うことで、第１入力画像の動きを検出する（Ｓ１０４）。動き探索処理の方法としては、例えば、ブロックマッチングを用いた方法などがある。例えば、動き探索部２１１は、第１入力画像を構成するブロック毎に動き探索処理を行うことで、ブロック毎の動きベクトルを示す動きベクトル情報を生成する。
【００９７】
次に、オブジェクト領域検出部１１５は、従カメラから入力された第２入力画像に対して顔領域検出処理を行うことで、第１顔領域に含まれる顔と同一の顔を含む第２顔領域を検出する（Ｓ１０５）。そして、オブジェクト領域検出部１１５は、検出された第２顔領域を示す顔領域情報を出力する。
【００９８】
次に、動き探索部２１１は、従カメラから入力された第２入力画像に対して第１局所復号画像及び第２局所復号画像のいずれかを参照画像として動き探索処理を行い、第２入力画像の動きを検出する（Ｓ１０６）。つまり、動き探索部２１１は、同チャンネル参照及び異チャンネル参照のいずれかを選択し、選択した参照方法に基づいて動き探索処理を行う。例えば、動き探索部２１１は、第２入力画像を構成するブロック毎に動き探索処理を行うことで、ブロック毎の動きベクトルを示す動きベクトル情報を生成する。なお、動き探索部２１１が第１局所復号画像及び第２局所復号画像のいずれを選択するかは、参照画像選択部１１６によって決定される。
【００９９】
次に、参照画像選択部１１６は、動き探索部２１１によって選択された参照方法に基づいて判定を行う（Ｓ１０７）。
【０１００】
参照方法が同チャンネル参照である場合（Ｓ１０７でＹｅｓ）、動き算出部２２２は、第２入力画像の動きを算出する（Ｓ１０８）。具体的には、動き算出部２２２は、第２入力画像の動き探索処理（Ｓ１０６）によって得られた動きベクトル情報と、第２入力画像の顔領域検出処理（Ｓ１０５）によって得られた顔領域情報とに基づいて、顔領域の動き情報を算出する。
【０１０１】
例えば、動き算出部２２２は、動きベクトル情報と顔領域情報とに基づいて顔領域の動きベクトル分布を生成し、被写体及びカメラの動きを算出する。動きベクトル分布に基づいた動きの算出方法としては、例えば、動きベクトル分布の平均値を取り、平均値の大きさを動き情報として出力する方法がある。なお、動きベクトル分布は、動き検出部２１１から出力される動きベクトル情報が示すブロック毎の動きベクトルを、動きベクトルの大きさ及び向き毎に、その頻度（出現回数）を示すグラフである（図６Ａ参照）。
【０１０２】
次に、選択部２２３は、動き算出部２２２によって算出された動きを示す動き情報に基づいて動きがあるかどうかを判定する（Ｓ１１０）。
【０１０３】
動きがあると判定された場合は（Ｓ１１０でＹｅｓ）、選択部２２３は、次の対象画像である第２入力画像の動き探索の際の参照方法として、異チャンネル参照を選択する（Ｓ１１２）。動きがないと判定された場合は（Ｓ１１０でＮｏ）、選択部２２３は、次の対象画像である第２入力画像の動き探索の際の参照方法として、同チャンネル参照を選択する（Ｓ１１３）。
【０１０４】
なお、動き情報からの判定方法としては、動き算出部２２２から動き情報として動きベクトル分布の平均値の大きさが出力される場合には、出力された動きベクトル分布の平均値の大きさが所定の閾値より大きい場合に「動きあり」、所定の閾値以下の場合に「動きなし」と判定する方法がある。
【０１０５】
参照方法が異チャンネル参照である場合（Ｓ１０７でＮｏ）、視差算出部２２１は、第２入力画像の視差を算出する（Ｓ１０９）。具体的には、まず、視差算出部２２１は、オブジェクト領域検出部１１５によって第１入力画像から検出された顔領域情報と、動き探索部２１１によって出力された第１入力画像の動きベクトル情報とから、主カメラ側の第１入力画像における顔領域の第１動きベクトル分布を算出する。次に、視差算出部２２１は、オブジェクト領域検出部１１５によって第２入力画像から検出された顔領域情報と、動き探索部２１１によって出力された第２入力画像の動きベクトル情報とから、従カメラ側の第２入力画像における顔領域の第２動きベクトル分布を算出する。
【０１０６】
そして、視差算出部２２１は、第１動きベクトル分布と第２動きベクトル分布とを比較することで、被写体の視差を算出する。第１動きベクトル分布は、例えば、第１入力画像の顔領域を構成するブロック毎の動きベクトルとその頻度とを示している。また、第２動きベクトル分布は、例えば、第２入力画像の顔領域を構成するブロック毎の動きベクトルとその頻度とを示している。
【０１０７】
したがって、視差算出部２２１は、対応するブロック毎の第１動きベクトルと第２動きベクトルとの差分を算出することで、算出した差分をブロック毎に示す動きベクトル分布を生成することで、被写体の視差を算出する。そして、例えば、視差算出部２２１は、生成した差分の動きベクトル分布の平均値の大きさを視差として算出する。
【０１０８】
次に、選択部２２３は、視差算出部２２１によって算出された視差を示す視差情報に基づいて視差があるかどうかを判定する（Ｓ１１１）。
【０１０９】
視差があると判定された場合は（Ｓ１１１でＹｅｓ）、選択部２２３は、次の対象画像である第２入力画像の動き探索の際の参照方法として、同チャンネル参照方法を選択する（Ｓ１１３）。視差がないと判定された場合は（Ｓ１１１でＮｏ）、選択部２２３は、次の対象画像である第２入力画像の動き探索の際の参照方法として、異チャンネル参照方法を選択する（Ｓ１１２）。
【０１１０】
以上のようにして、本実施の形態に係る画像符号化装置１００では、被写体の視差と被写体の動きとを区別することができるので、適切な参照画像を選択することができる。
【０１１１】
続いて、視差算出部２２１が行う視差の算出処理（Ｓ１０９）について、例を挙げて説明する。
【０１１２】
図６Ａは、背景に動きがある場合に動きベクトル分布から視差を算出する方法を説明するための模式図である。図６Ａにおいて、２台のカメラのうち被写体に向かって左側のカメラが主カメラ、右側のカメラが従カメラである。
【０１１３】
また、Ｌｃｈは主カメラからの入力される画像を示し、Ｒｃｈは従カメラから入力される画像を示す。また、Ｒｃｈ（Ｎ）は、従カメラから入力されるＮ番目の画像（フレーム）３０４であり、Ｌｃｈ（Ｎ−１）は、画像３０４より１フレーム前の主カメラから入力される画像３０２及び３０３であり、Ｌｃｈ（Ｎ−３）は、画像３０４より３フレーム前の主カメラから入力される画像３０１である。
【０１１４】
視差算出部２２１は、ステップＳ１０３においてオブジェクト領域検出部１１５によって画像３０２から第１顔領域として検出された顔領域３０５と、ステップＳ１０４において動き探索部２１１によって検出された動きベクトル情報とから、第１動きベクトル分布３０７を算出する。同様に、視差算出部２２１は、ステップＳ１０５においてオブジェクト領域検出部１１５によって画像３０４から第２顔領域として検出された顔領域３０６と、ステップＳ１０６において動き探索部２１１によって検出された動きベクトル情報とから、第２動きベクトル分布３０８を算出する。
【０１１５】
図６Ｂは、顔領域３０５と顔領域３０６とに含まれるブロック毎の動きベクトルを示す模式図である。図６Ｂに示す例では、顔領域３０５及び３０６はそれぞれ１６個のブロックを含んでいる。
【０１１６】
図６Ａに示すように、画像３０１と画像３０２とを比較すると、対象画像である画像３０２の顔領域３０５に含まれる被写体の顔は、参照画像である画像３０１の被写体の顔より右側に存在する。したがって、図６Ｂに示すように、顔領域３０５に含まれる多くのブロック（１２個のブロック）では、左方向の動きベクトルが検出される。画像３０１と画像３０２とは同チャンネルの画像であるから、検出された左方向の動きベクトルは、被写体の動きに相当する。
【０１１７】
ここで、右方向の動きベクトルを正の動きベクトル、左方向の動きベクトルを負の動きベクトルとすると、図６Ａに示すような第１動きベクトル分布３０７が生成される。つまり、第１動きベクトル分布３０７の左のピークは、被写体の顔の動きベクトルに相当する。
【０１１８】
また、図６Ａに示すように、画像３０３と画像３０４とを比較すると、対象画像である画像３０４の顔領域３０６に含まれる被写体の顔は、参照画像である画像３０３の被写体の顔の左側に存在する。したがって、図６Ｂに示すように、顔領域３０６に含まれる多くのブロック（１０個のブロック）では、左方向の動きベクトルが検出される。
【０１１９】
ただし、このとき、顔領域３０６の右側には背景の木が含まれているため、顔領域の右側の４つのブロックでは、左方向の動きベクトルが検出される。したがって、図６Ａに示すような第２動きベクトル分布３０８が生成される。つまり、第２動きベクトル分布３０８の右側のピークは、被写体の顔の動き量に相当し、第２動きベクトル分布３０８の左側のピークは、被写体の背景の動きベクトルに相当する。
【０１２０】
なお、画像３０３と画像３０４とは異チャンネルの画像であるから、検出された動きベクトルは、被写体の動きによる影響と、視差による影響とを含んでいる。
【０１２１】
視差算出部２２１は、以上のようにして生成される第１動きベクトル分布３０７と第２動きベクトル分布３０８とを減算することで、差分動きベクトル分布３０９を生成する。つまり、視差算出部２２１は、顔領域３０５と顔領域３０６との対応するブロック毎に動きベクトルを減算する。これにより、図６Ｂに示すように、顔領域３１０の差分動きベクトルが生成される。この差分動きベクトルの分布が、図６Ａに示す差分動きベクトル分布３０９に相当する。
【０１２２】
なお、動き探索部２１１は、画像３０２の動き情報を生成する際には、画像３０２より２フレーム前の画像３０１を参照して、画像３０２の動き探索を行っている。これに対して、動き探索部２１１は、画像３０４の動き情報を生成する際には、画像３０４より１フレーム前の画像３０３を参照して、画像３０４の動き探索を行っている。したがって、第１動きベクトル分布３０７と第２動きベクトル分布３０８とでは、対象画像と参照画像との時間間隔が異なっている。
【０１２３】
このため、第１動きベクトル分布３０７と第２動きベクトル分布３０８とを比較するときは、動き探索における対象画像と参照画像との時間間隔を考慮することが好ましい。つまり、視差算出部２２１は、画像３０２と画像３０１との時間間隔である第１期間と、画像３０４と画像３０３との時間間隔である第２期間との比率に基づいて、第１動きベクトル分布３０７と第２動きベクトル分布３０８とを正規化する。そして、視差算出部２２１は、正規化された第１動きベクトル分布３０７と正規化された第２動きベクトル分布との差分を算出する。
【０１２４】
図６Ａ及び図６Ｂに示す例では、差分を算出する前に第１動きベクトル分布３０７の各動きベクトルに１／２を乗算することで、１フレーム分の動きベクトルにする。そして、１／２を乗じられた第１動きベクトル分布３０７と第２動きベクトル分布３０８との差分を算出することにより、差分動きベクトル分布３０９を生成する。そして、視差算出部２２１は、生成された差分動きベクトル分布３０９の平均値を視差として算出する。
【０１２５】
図７は、背景に動きがある場合に動きと視差とを区別することができないことを説明するための模式図である。
【０１２６】
従カメラから入力された画像４０２が主カメラから入力された画像４０１を参照して動き探索を行う際、画像４０１と画像４０２とが撮影された時間が異なる場合、被写体の視差だけでなく、背景の動きも検出されてしまう。すなわち、背景の動きによる動きベクトル４０３と、被写体の視差による動きベクトル４０４とが検出される。
【０１２７】
このために、図７に示すような動きベクトル分布４０５が生成されるので、視差と動きとを区別することができない。したがって、動きの有無及び視差の有無に基づいて適切な参照画像を選択することができない。
【０１２８】
これに対して、本実施の形態に係る画像符号化装置１００によれば、上述したように、被写体の動きと視差とを区別することができるので、有無及び視差の有無に基づいて適切に参照画像を選択することができる。
【０１２９】
以上、本発明に係る画像符号化装置及び画像符号化方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１３０】
例えば、本実施の形態では、視差算出部２２１は、顔領域の動きベクトル情報のみを用いて視差算出を行ったが、本発明はこれに限られるものではなく、顔領域の動きベクトル情報が視差算出において信頼度が高いと考えられるため、顔領域の動きベクトル情報に重み付けを行い、フレーム全体の動きベクトル情報を用いて視差算出を行ってもよい。
【０１３１】
また、本実施の形態では、説明のために被写体に向かって左側のカメラを主カメラ、右側のカメラを従カメラとして説明したが、本発明はこれに限るものではなく、右側のカメラを主カメラ、左側のカメラを従カメラとしてもよい。
【０１３２】
なお、本発明は、上記の画像符号化方法を利用する撮像システムとしても実現することができる。以下では、例えば、デジタルスチルカメラ又はテレビ会議システム用カメラ等の撮像システム（映像システム）の一例を示す。
【０１３３】
図８は、本実施の形態に係る画像符号化装置を利用した撮像システムの一例を示すブロック図である。
【０１３４】
図８の撮像システムは、主カメラ５１２と、従カメラ５１３と、画像処理回路５０７と、記録・転送部５０８と、再生部５０９と、タイミング制御回路５１０と、システム制御回路５１１とを備える。
【０１３５】
主カメラ５１２は、光学系５０１と、センサー５０２と、Ａ／Ｄ変換回路５０３とを備える。主カメラ５１２では、レンズなどの光学系５０１を通って入射した光がセンサー５０２上に結像される。そして、センサー５０２において、入射した光は光電変換され、光電変換によって得られた電気信号は、Ａ／Ｄ変換回路５０３によりデジタル値に変換される。デジタル値に変換された画像信号は、例えば、図１に示した画像符号化装置１００を含む画像処理回路５０７に入力される。
【０１３６】
従カメラ５１３は、光学系５０４と、センサー５０５と、Ａ／Ｄ変換回路５０６とを備える。従カメラ５１３においても主カメラ５１２と同様に、レンズなどの光学系５０４を通って入射した光がセンサー５０５上に結像される。そして、センサー５０５において、入射した光は光電変換され、光電変換によって得られた電気信号は、Ａ／Ｄ変換回路５０６によりデジタル値に変換される。デジタル値に変換された画像信号は、画像処理回路５０７に入力される。
【０１３７】
画像処理回路５０７においては、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、及び、画像符号化装置１００によるＪＰＥＧやＭＰＥＧ等の画像圧縮／伸張処理、画像圧縮されたストリームの制御等が行われる。
【０１３８】
記録・転送部５０８は、画像処理された信号を、メディアへ記録、又は、インターネット等を介して伝送する。
【０１３９】
再生部５０９は、記録又は転送された信号を再生する。
【０１４０】
タイミング制御回路５１０は、センサー５０２及び５０５、並びに画像処理回路５０７による処理を制御する。
【０１４１】
システム制御回路５１１は、光学系５０１及び５０４、記録・転送部５０８、再生部５０９及びタイミング制御回路５１０を制御する。
【０１４２】
以上のような構成を有する撮像システムとしても本発明を実現することができる。
【０１４３】
また、本実施の形態に係る画像符号化装置１００は、典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは、個別に１チップ化されてもよく、一部又は全てを含むように１チップ化されてもよい。
【０１４４】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１４５】
また、本発明は、上述したように、画像符号化装置及び画像符号化方法として実現できるだけではなく、本実施の形態の画像符号化方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。
【０１４６】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。また、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１４７】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【産業上の利用可能性】
【０１４８】
本発明に係る画像符号化方法及び画像符号化装置は、適切な参照画像の選択を行うことができるという効果を奏し、ステレオ画像を撮影するカメラシステムなどに利用することができる。
【符号の説明】
【０１４９】
１００  画像符号化装置
１０１  入力フレームバッファ
１０２  差分器
１０３  直交変換部
１０４  量子化部
１０５  エントロピー符号化部
１０６  逆量子化部
１０７  逆直交変換部
１０８  加算器
１０９  第１フレームメモリ
１１０  第２フレームメモリ
１１１  イントラ予測部
１１２  インター予測部
１１３  セレクタ
１１４  イントラ・インター判定部
１１５  オブジェクト領域検出部
１１６  参照画像選択部
３０１、３０２、３０３、３０４、４０１、４０２  画像
３０５、３０６、３１０  顔領域
３０７  第１動きベクトル分布
３０８  第２動きベクトル分布
３０９  差分動きベクトル分布
４０３、４０４  動きベクトル
４０５  動きベクトル分布
５０１、５０４  光学系
５０２、５０５  センサー
５０３、５０６  Ａ／Ｄ変換回路
５０７  画像処理回路
５０８  記録・転送部
５０９  再生部
５１０  タイミング制御回路
５１１  システム制御回路
５１２  主カメラ
５１３  従カメラ
【図１】
2011130030.tif 000003
【図２】
2011130030.tif 000004
【図３】
2011130030.tif 000005
【図４】
2011130030.tif 000006
【図５】
2011130030.tif 000007
【図６Ａ】
2011130030.tif 000008
【図６Ｂ】
2011130030.tif 000009
【図７】
2011130030.tif 000010
【図８】
2011130030.tif 000011