(57)【要約】【課題】符号化処理、復号化処理の高速化、消費電力の低減化、並びに符号化後のデータ量の削減を図る。【解決手段】第１符号化処理系１８は、第１カメラ１２からの第１画像を符号化処理する第１符号化回路２４と、第１画像の動き補償予測を行う第１動き補償回路２６とを有する。第２符号化処理系２０は、第２カメラ１４からの第２画像を符号化処理する第２符号化回路６０と、第２画像の動き補償予測を行う第２動き補償回路６２とを有する。さらに、第２符号化処理系２０は、第１画像に対する第２画像のずれ情報（ずれ方向及びずれ量）が記憶された記憶部９０と、第２動き補償回路６２での第２画像の動きベクトルの探索範囲を、記憶部９０に記憶されたずれ情報に基づいて変更する探索範囲変更回路９２とを有する。【選択図】図１
2008211502.tif 000002
【特許請求の範囲】
【請求項１】
第１画像に対する第２画像のずれ情報が記憶された記憶部と、
前記第１画像の動き補償予測を行う第１動き補償手段と、
前記第２画像の動き補償予測を行う第２動き補償手段と、
前記第２動き補償手段での前記第２画像の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更する探索範囲変更手段とを有することを特徴とする画像符号化装置。
【請求項２】
請求項１記載の画像符号化装置において、
被写体を撮像して前記第１画像を得る第１カメラと前記被写体を撮像して前記第２画像を得る第２カメラとの輻輳角、並びに前記第１カメラの光軸と前記第２カメラの光軸の間隔のうち、少なくとも一方に基づいて、前記ずれ情報を設定して前記記憶部に記憶する手段を有することを特徴とする画像符号化装置。
【請求項３】
請求項１又は２記載の画像符号化装置において、
前記第２動き補償手段は、
前記探索範囲変更手段にて変更された前記探索範囲に含まれる複数のマクロブロックと、前記第１画像に含まれる複数のマクロブロックとをそれぞれ順番に比較する比較手段と、
前記比較手段からの比較結果が一致又はほぼ一致することを示す場合に、前記第２画像の複数のマクロブロックのうち、前記比較結果の対象となっているマクロブロックに代えて、該マクロブロックと比較した前記第１画像のマクロブロックを示すコード情報を出力する出力手段とを有することを特徴とする画像符号化装置。
【請求項４】
請求項１記載の画像符号化装置において、
前記第１画像に関するマクロブロック単位の奥行き情報に基づいて、マクロブロック単位のずれ情報を設定して前記記憶部に記憶する手段を有し、
前記探索範囲変更手段は、前記第２動き補償手段での前記第２画像のマクロブロック単位の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更することを特徴とする画像符号化装置。
【請求項５】
請求項１又は４記載の画像符号化装置において、
前記第２動き補償手段は、
前記探索範囲変更手段にて変更された前記探索範囲に含まれるマクロブロックと、前記第１画像に含まれるマクロブロックとを比較する比較手段と、
前記比較手段からの比較結果が一致又はほぼ一致することを示す場合に、前記第２画像の複数のマクロブロックのうち、前記比較結果の対象となっているマクロブロックに代えて、該マクロブロックと比較した前記第１画像のマクロブロックを示すコード情報を出力する出力手段とを有することを特徴とする画像符号化装置。
【請求項６】
第１画像の符号化データを復号して前記第１画像に復元する第１復元手段と、
前記第１画像に対する第２画像のずれ情報に基づいて関連付けされたコード情報を含む前記第２画像の符号化データを復号して前記第２画像に復元する第２復元手段とを有し、
前記第２復元手段は、
前記コード情報に基づいて、前記第２画像の符号化データと、復元された前記第１画像とを関連付けさせる関連付け手段を有することを特徴とする画像復号化装置。
【請求項７】
請求項６記載の画像復号化装置において、
前記関連付け手段は、
前記第２画像の符号化データのうち、前記第１画像のマクロブロックを示すコード情報が記録されたマクロブロックの復号化データとして、前記第１画像のマクロブロックの復号化データとすることを特徴とする画像復号化装置。
【請求項８】
被写体を撮像して第１画像を得る第１カメラと、
前記被写体を撮像して第２画像を得る第２カメラと、
前記第１カメラと前記第２カメラの輻輳角、並びに前記第１カメラの光軸と前記第２カメラの光軸の間隔のうち、少なくとも一方に基づいて、前記第１画像に対する前記第２画像のずれ情報を設定して記憶部に記憶する手段と、
前記第１画像の動き補償予測を行う第１動き補償手段と、
前記第２画像の動き補償予測を行う第２動き補償手段と、
前記第２動き補償手段での前記第２画像の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更する探索範囲変更手段とを有することを特徴とする撮像装置。
【請求項９】
被写体を撮像して第１画像を得る第１カメラと、
前記被写体を撮像して第２画像を得る第２カメラと、
前記第１画像に関するマクロブロック単位の奥行き情報に基づいて、マクロブロック単位のずれ情報を設定して前記記憶部に記憶する手段と、
前記第１画像の動き補償予測を行う第１動き補償手段と、
前記第２画像の動き補償予測を行う第２動き補償手段と、
前記第２動き補償手段での前記第２画像のマクロブロック単位の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更する探索範囲変更手段とを有することを特徴とする撮像装置。
【請求項１０】
第１画像の動き補償予測を行う第１動き補償ステップと、
第２画像の動き補償予測を行う第２動き補償ステップと、
前記第２動き補償ステップに先立って行われ、前記第２動き補償ステップでの前記第２画像の動きベクトルの探索範囲を、記憶部に記憶された前記第１画像に対する前記第２画像のずれ情報に基づいて変更する探索範囲変更ステップを有することを特徴とする画像符号化方法。
【請求項１１】
請求項１０記載の画像符号化方法において、
さらに、
被写体を撮像して前記第１画像を得る第１カメラと前記被写体を撮像して前記第２画像を得る第２カメラとの輻輳角、並びに前記第１カメラの光軸と前記第２カメラの光軸の間隔のうち、少なくとも一方に基づいて、前記ずれ情報を設定して前記記憶部に記憶するステップを有することを特徴とする画像符号化方法。
【請求項１２】
請求項１０又は１１記載の画像符号化方法において、
前記第２動き補償ステップは、
前記探索範囲変更ステップにて変更された前記探索範囲に含まれる複数のマクロブロックと、前記第１画像に含まれる複数のマクロブロックとをそれぞれ順番に比較する比較ステップと、
前記比較ステップからの比較結果が一致又はほぼ一致することを示す場合に、前記第２画像の複数のマクロブロックのうち、前記比較結果の対象となっているマクロブロックに代えて、該マクロブロックと比較した前記第１画像のマクロブロックを示すコード情報を出力する出力ステップとを有することを特徴とする画像符号化方法。
【請求項１３】
請求項１０記載の画像符号化方法において、
さらに、
前記第１画像に関するマクロブロック単位の奥行き情報に基づいて、マクロブロック単位のずれ情報を設定して前記記憶部に記憶するステップを有し、
前記探索範囲変更ステップは、前記第２動き補償ステップでの前記第２画像のマクロブロック単位の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更することを特徴とする画像符号化方法。
【請求項１４】
請求項１０又は１３記載の画像符号化方法において、
前記第２動き補償ステップは、
前記探索範囲変更ステップにて変更された前記探索範囲に含まれるマクロブロックと、前記第１画像に含まれるマクロブロックとを比較する比較ステップと、
前記比較ステップからの比較結果が一致又はほぼ一致することを示す場合に、前記第２画像の複数のマクロブロックのうち、前記比較結果の対象となっているマクロブロックに代えて、該マクロブロックと比較した前記第１画像のマクロブロックを示すコード情報を出力する出力ステップとを有することを特徴とする画像符号化方法。
【請求項１５】
第１画像の符号化データを復号して前記第１画像に復元する第１復元ステップと、
前記第１画像に対する第２画像のずれ情報に基づいて関連付けされたコード情報を含む前記第２画像の符号化データを復号して前記第２画像に復元する第２復元ステップとを有し、
前記第２復元ステップは、
前記コード情報に基づいて、前記第２画像の符号化データと、復元された前記第１画像とを関連付けさせる関連付けステップを有することを特徴とする画像復号化方法。
【請求項１６】
請求項１５記載の画像復号化方法において、
前記関連付けステップは、
前記第２画像の符号化データのうち、前記第１画像のマクロブロックを示すコード情報が記憶されたマクロブロックの復号化データとして、前記第１画像のマクロブロックの復号化データとすることを特徴とする画像復号化方法。
【請求項１７】
被写体を撮像して第１画像を得る第１カメラと、
前記被写体を撮像して第２画像を得る第２カメラとを有する撮像装置の制御方法において、
前記第１カメラと前記第２カメラの輻輳角、並びに前記第１カメラの光軸と前記第２カメラの光軸の間隔のうち、少なくとも一方に基づいて、前記第１画像に対する前記第２画像のずれ情報を設定して記憶部に記憶するステップと、
前記第１画像の動き補償予測を行う第１動き補償ステップと、
前記第２画像の動き補償予測を行う第２動き補償ステップと、
前記第２動き補償ステップに先立って行われ、前記第２動き補償ステップでの前記第２画像の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更する探索範囲変更ステップとを有することを特徴とする撮像装置の制御方法。
【請求項１８】
被写体を撮像して第１画像を得る第１カメラと、
前記被写体を撮像して第２画像を得る第２カメラとを有する撮像装置の制御方法において、
前記第１画像に関するマクロブロック単位の奥行き情報に基づいて、マクロブロック単位のずれ情報を設定して前記記憶部に記憶するステップと、
前記第１画像の動き補償予測を行う第１動き補償ステップと、
前記第２画像の動き補償予測を行う第２動き補償ステップと、
前記第２動き補償ステップに先立って行われ、前記第２動き補償ステップでの前記第２画像のマクロブロック単位の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更する探索範囲変更ステップとを有することを特徴とする撮像装置の制御方法。
【請求項１９】
第１画像に対する第２画像のずれ情報が記憶された記憶部を有するコンピュータを、
前記第１画像の動き補償予測を行う第１動き補償手段、
前記第２画像の動き補償予測を行う第２動き補償手段、
前記第２動き補償手段での前記第２画像の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更する探索範囲変更手段、
として機能させるためのプログラム。
【請求項２０】
第１画像に対する第２画像のずれ情報が記憶された記憶部を有するコンピュータを、
前記第１画像の符号化データを復号して前記第１画像に復元する第１復元手段、
前記第２画像の符号化データを復号して前記第２画像に復元する第２復元手段、
前記第２復元手段に含まれ、前記記憶部に記憶された前記ずれ情報に基づいて、前記第２画像の符号化データと、復元された前記第１画像とを関連付けさせる関連付け手段、
として機能させるためのプログラム。
【請求項２１】
被写体を撮像して第１画像を得る第１カメラと、
前記被写体を撮像して第２画像を得る第２カメラとを有する撮像装置を、
前記第１カメラと前記第２カメラの輻輳角、並びに前記第１カメラの光軸と前記第２カメラの光軸の間隔のうち、少なくとも一方に基づいて、前記第１画像に対する前記第２画像のずれ情報を設定して記憶部に記憶する手段、
前記第１画像の動き補償予測を行う第１動き補償手段、
前記第２画像の動き補償予測を行う第２動き補償手段、
前記第２動き補償手段での前記第２画像の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更する探索範囲変更手段、
として機能させるためのプログラム。
【請求項２２】
被写体を撮像して第１画像を得る第１カメラと、
前記被写体を撮像して第２画像を得る第２カメラとを有する撮像装置を、
前記第１画像に関するマクロブロック単位の奥行き情報に基づいて、マクロブロック単位のずれ情報を設定して前記記憶部に記憶する手段、
前記第１画像の動き補償予測を行う第１動き補償手段、
前記第２画像の動き補償予測を行う第２動き補償手段、
前記第２動き補償手段での前記第２画像のマクロブロック単位の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更する探索範囲変更手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元画像の画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法、撮像装置、撮像装置の制御方法及びプログラムに関する。
【背景技術】
【０００２】
近時、デジタルカメラやデジタルビデオ等の普及に伴い、三次元動画の符号化処理についての技術が種々提案されている。
【０００３】
例えば特許文献１には、三次元ボリュームデータの動き補償予測に関して、奥行き階層に対する相関等を利用したり、適応的な動き補償を行うことで、演算量を削減することが開示されている。
【０００４】
特許文献２には、輻輳点を固定する立体撮像装置において、電子ズームの倍率によって、輻輳点がずれることによって発生する問題を解決することが開示されている。
【０００５】
特許文献３には、三次元画像を対象にしたＤＶＤビデオ規格において、奥行き情報をオプション領域に記憶することで、汎用のＤＶＤで二次元及び三次元の画像が利用可能になることが開示されている。
【０００６】
特許文献４には、ＭＰＥＧ−４で定義されているＭＡＣを利用して、立体ビデオ画像を符号化、復号化することが開示されている。
【０００７】
特許文献５には、動き補償予測において、縦方向処理を行い、さらに、ＭＰＥＧの横方向処理又はＨ．２６１の横方向処理のいずれかを切り替えて行うことが開示されている。
【０００８】
特許文献６には、立体画像ビデオカメラで、左右及び正面の３台のビデオカメラで、正面を基準にして左右画像を比較して左右画像の動きを予測し、予測ベクトルの方向に参照画像をシフトすることが開示されている。
【０００９】
特許文献７には、右目画像及び左目画像の視差に基づく方向を考慮して、対応部分を求めるためのサーチ範囲を決定することが開示されている。
【００１０】
【特許文献１】特開平６−１１１００４号公報
【特許文献２】特開平９−３７３０２号公報
【特許文献３】特開２００６−１９１３５７号公報
【特許文献４】特表２００６−５１２８０９号公報
【特許文献５】特開平６−１１３２６５号公報
【特許文献６】特開平１１−６９３８１号公報
【特許文献７】特開２０００−１６５９０９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上述した特許文献１〜７を含め、従来の三次元画像の符号化処理は、複数の画像をそれぞれ独立して符号化するようにしている。この場合、従来から用いられている二次元画像の符号化方式やシステムをそのまま利用できるため、容易に実現させることができるという利点がある。
【００１２】
しかしながら、このような複数の画像をそれぞれ独立に符号化する方法は、複数の画像の相関が高いことを考慮していないため、以下のような問題がある。
【００１３】
（１）符号化された後のデータ量が二次元画像の２倍の容量になる。
【００１４】
（２）動きベクトルの探索に要する処理量、時間が二次元画像の場合よりも大幅に増大する。
【００１５】
（３）消費電力も増加する。
【００１６】
（４）復号化に要する処理量、時間も符号化と同様に大幅に増大する。
【００１７】
本発明はこのような課題を考慮してなされたものであり、三次元画像やマルチ画像の符号化処理、復号化処理に適用した場合において、動き補償予測にかかる処理量、時間を削減することができ、符号化処理、復号化処理の高速化、消費電力の低減化、並びに符号化後のデータ量の削減を図ることができる画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法、撮像装置、撮像装置の制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
第１の本発明に係る画像符号化装置は、第１画像に対する第２画像のずれ情報が記憶された記憶部と、前記第１画像の動き補償予測を行う第１動き補償手段と、前記第２画像の動き補償予測を行う第２動き補償手段と、前記第２動き補償手段での前記第２画像の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更する探索範囲変更手段とを有することを特徴とする。
【００１９】
これにより、三次元画像やマルチ画像の符号化処理に適用した場合において、動き補償予測にかかる処理量、時間を削減することができ、符号化処理の高速化、消費電力の低減化、並びに符号化後のデータ量の削減を図ることができる。
【００２０】
そして、第１の本発明において、被写体を撮像して前記第１画像を得る第１カメラと前記被写体を撮像して前記第２画像を得る第２カメラとの輻輳角、並びに前記第１カメラの光軸と前記第２カメラの光軸の間隔のうち、少なくとも一方に基づいて、前記ずれ情報を設定して前記記憶部に記憶する手段を有するようにしてもよい。この場合、光軸の間隔や、輻輳角に応じて、動きベクトルの探索範囲を変更できるため、被写体や撮影目的の画像に応じた最適な符号化処理を行うことができる。
【００２１】
また、第１の本発明において、前記第２動き補償手段は、前記探索範囲変更手段にて変更された前記探索範囲に含まれる複数のマクロブロックと、前記第１画像に含まれる複数のマクロブロックとをそれぞれ順番に比較する比較手段と、前記比較手段からの比較結果が一致又はほぼ一致することを示す場合に、前記第２画像の複数のマクロブロックのうち、前記比較結果の対象となっているマクロブロックに代えて、該マクロブロックと比較した前記第１画像のマクロブロックを示すコード情報を出力する出力手段とを有するようにしてもよい。この場合、動きベクトルの探索処理の簡略化、処理時間の削減、並びに符号化後のデータ量の削減を図ることができる。
【００２２】
また、第１の本発明において、前記第１画像に関するマクロブロック単位の奥行き情報に基づいて、マクロブロック単位のずれ情報を設定して前記記憶部に記憶する手段を有し、前記探索範囲変更手段は、前記第２動き補償手段での前記第２画像のマクロブロック単位の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更するようにしてもよい。この場合、マクロブロックの距離情報に応じて動きベクトルの探索範囲を変更することができるため、被写体や撮影目的の画像に応じた最適な符号化処理を行うことができる。
【００２３】
また、第１の本発明において、前記第２動き補償手段は、前記探索範囲変更手段にて変更された前記探索範囲に含まれるマクロブロックと、前記第１画像に含まれるマクロブロックとを比較する比較手段と、前記比較手段からの比較結果が一致又はほぼ一致することを示す場合に、前記第２画像の複数のマクロブロックのうち、前記比較結果の対象となっているマクロブロックに代えて、該マクロブロックと比較した前記第１画像のマクロブロックを示すコード情報を出力する出力手段とを有するようにしてもよい。この場合、動きベクトルの探索処理の簡略化、処理時間の削減、並びに符号化後のデータ量の削減を図ることができる。
【００２４】
次に、第２の本発明に係る画像復号化装置は、第１画像の符号化データを復号して前記第１画像に復元する第１復元手段と、前記第１画像に対する第２画像のずれ情報に基づいて関連付けされたコード情報を含む前記第２画像の符号化データを復号して前記第２画像に復元する第２復元手段とを有し、前記第２復元手段は、前記コード情報に基づいて、前記第２画像の符号化データと、復元された前記第１画像とを関連付けさせる関連付け手段を有することを特徴とする。
【００２５】
これにより、三次元画像やマルチ画像の復号化処理に適用した場合において、画像の復元にかかる処理量、時間を削減することができ、復号化処理の高速化、消費電力の低減化を図ることができる。
【００２６】
そして、第２の本発明において、前記関連付け手段は、前記第２画像の符号化データのうち、前記第１画像のマクロブロックを示すコード情報が記録されたマクロブロックの復号化データとして、前記第１画像のマクロブロックの復号化データとするようにしてもよい。この場合、画像の復元処理の簡略化、処理時間の削減を図ることができる。
【００２７】
次に、第３の本発明に係る撮像装置は、被写体を撮像して第１画像を得る第１カメラと、前記被写体を撮像して第２画像を得る第２カメラと、前記第１カメラと前記第２カメラの輻輳角、並びに前記第１カメラの光軸と前記第２カメラの光軸の間隔のうち、少なくとも一方に基づいて、前記第１画像に対する前記第２画像のずれ情報を設定して記憶部に記憶する手段と、前記第１画像の動き補償予測を行う第１動き補償手段と、前記第２画像の動き補償予測を行う第２動き補償手段と、前記第２動き補償手段での前記第２画像の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更する探索範囲変更手段とを有することを特徴とする。
【００２８】
次に、第４の本発明に係る撮像装置は、被写体を撮像して第１画像を得る第１カメラと、前記被写体を撮像して第２画像を得る第２カメラと、前記第１画像に関するマクロブロック単位の奥行き情報に基づいて、マクロブロック単位のずれ情報を設定して前記記憶部に記憶する手段と、前記第１画像の動き補償予測を行う第１動き補償手段と、前記第２画像の動き補償予測を行う第２動き補償手段と、前記第２動き補償手段での前記第２画像のマクロブロック単位の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更する探索範囲変更手段とを有することを特徴とする。
【００２９】
これら第３及び第４の本発明においては、三次元画像やマルチ画像の符号化処理に適用した場合において、動き補償予測にかかる処理量、時間を削減することができ、符号化処理の高速化、消費電力の低減化、並びに符号化後のデータ量の削減を図ることができる。
【００３０】
次に、第５の本発明に係る画像符号化方法は、第１画像の動き補償予測を行う第１動き補償ステップと、第２画像の動き補償予測を行う第２動き補償ステップと、前記第２動き補償ステップに先立って行われ、前記第２動き補償ステップでの前記第２画像の動きベクトルの探索範囲を、記憶部に記憶された前記第１画像に対する前記第２画像のずれ情報に基づいて変更する探索範囲変更ステップを有することを特徴とする。
【００３１】
そして、第５の本発明において、さらに、被写体を撮像して前記第１画像を得る第１カメラと前記被写体を撮像して前記第２画像を得る第２カメラとの輻輳角、並びに前記第１カメラの光軸と前記第２カメラの光軸の間隔のうち、少なくとも一方に基づいて、前記ずれ情報を設定して前記記憶部に記憶するステップを有するようにしてもよい。
【００３２】
この場合、前記第２動き補償ステップは、前記探索範囲変更ステップにて変更された前記探索範囲に含まれる複数のマクロブロックと、前記第１画像に含まれる複数のマクロブロックとをそれぞれ順番に比較する比較ステップと、前記比較ステップからの比較結果が一致又はほぼ一致することを示す場合に、前記第２画像の複数のマクロブロックのうち、前記比較結果の対象となっているマクロブロックに代えて、該マクロブロックと比較した前記第１画像のマクロブロックを示すコード情報を出力する出力ステップとを有するようにしてもよい。
【００３３】
また、第５の本発明において、さらに、前記第１画像に関するマクロブロック単位の奥行き情報に基づいて、マクロブロック単位のずれ情報を設定して前記記憶部に記憶するステップを有し、前記探索範囲変更ステップは、前記第２動き補償ステップでの前記第２画像のマクロブロック単位の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更するようにしてもよい。
【００３４】
この場合、前記第２動き補償ステップは、前記探索範囲変更ステップにて変更された前記探索範囲に含まれるマクロブロックと、前記第１画像に含まれるマクロブロックとを比較する比較ステップと、前記比較ステップからの比較結果が一致又はほぼ一致することを示す場合に、前記第２画像の複数のマクロブロックのうち、前記比較結果の対象となっているマクロブロックに代えて、該マクロブロックと比較した前記第１画像のマクロブロックを示すコード情報を出力する出力ステップとを有するようにしてもよい。
【００３５】
次に、第６の本発明に係る画像復号化方法は、第１画像の符号化データを復号して前記第１画像に復元する第１復元ステップと、前記第１画像に対する第２画像のずれ情報に基づいて関連付けされたコード情報を含む前記第２画像の符号化データを復号して前記第２画像に復元する第２復元ステップとを有し、前記第２復元ステップは、前記コード情報に基づいて、前記第２画像の符号化データと、復元された前記第１画像とを関連付けさせる関連付けステップを有することを特徴とする。
【００３６】
前記関連付けステップは、前記第２画像の符号化データのうち、前記第１画像のマクロブロックを示すコード情報が記録されたマクロブロックの復号化データとして、前記第１画像のマクロブロックの復号化データとするようにしてもよい。
【００３７】
次に、第７の本発明に係る撮像装置の制御方法は、被写体を撮像して第１画像を得る第１カメラと、前記被写体を撮像して第２画像を得る第２カメラとを有する撮像装置の制御方法において、前記第１カメラと前記第２カメラの輻輳角、並びに前記第１カメラの光軸と前記第２カメラの光軸の間隔のうち、少なくとも一方に基づいて、前記第１画像に対する前記第２画像のずれ情報を設定して記憶部に記憶するステップと、前記第１画像の動き補償予測を行う第１動き補償ステップと、前記第２画像の動き補償予測を行う第２動き補償ステップと、前記第２動き補償ステップに先立って行われ、前記第２動き補償ステップでの前記第２画像の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更する探索範囲変更ステップとを有することを特徴とする。
【００３８】
次に、第８の本発明に係る撮像装置の制御方法は、被写体を撮像して第１画像を得る第１カメラと、前記被写体を撮像して第２画像を得る第２カメラとを有する撮像装置の制御方法において、前記第１画像に関するマクロブロック単位の奥行き情報に基づいて、マクロブロック単位のずれ情報を設定して前記記憶部に記憶するステップと、前記第１画像の動き補償予測を行う第１動き補償ステップと、前記第２画像の動き補償予測を行う第２動き補償ステップと、前記第２動き補償ステップに先立って行われ、前記第２動き補償ステップでの前記第２画像のマクロブロック単位の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更する探索範囲変更ステップとを有することを特徴とする。
【００３９】
次に、第９の本発明に係るプログラムは、第１画像に対する第２画像のずれ情報が記憶された記憶部を有するコンピュータを、前記第１画像の動き補償予測を行う第１動き補償手段、前記第２画像の動き補償予測を行う第２動き補償手段、前記第２動き補償手段での前記第２画像の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更する探索範囲変更手段として機能させるためのプログラムである。
【００４０】
次に、第１０の本発明に係るプログラムは、第１画像に対する第２画像のずれ情報が記憶された記憶部を有するコンピュータを、前記第１画像の符号化データを復号して前記第１画像に復元する第１復元手段、前記第２画像の符号化データを復号して前記第２画像に復元する第２復元手段、前記第２復元手段に含まれ、前記記憶部に記憶された前記ずれ情報に基づいて、前記第２画像の符号化データと、復元された前記第１画像とを関連付けさせる関連付け手段として機能させるためのプログラムである。
【００４１】
次に、第１１の本発明に係るプログラムは、被写体を撮像して第１画像を得る第１カメラと、前記被写体を撮像して第２画像を得る第２カメラとを有する撮像装置を、前記第１カメラと前記第２カメラの輻輳角、並びに前記第１カメラの光軸と前記第２カメラの光軸の間隔のうち、少なくとも一方に基づいて、前記第１画像に対する前記第２画像のずれ情報を設定して記憶部に記憶する手段、前記第１画像の動き補償予測を行う第１動き補償手段、前記第２画像の動き補償予測を行う第２動き補償手段、前記第２動き補償手段での前記第２画像の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更する探索範囲変更手段として機能させるためのプログラムである。
【００４２】
次に、第１２の本発明に係るプログラムは、被写体を撮像して第１画像を得る第１カメラと、前記被写体を撮像して第２画像を得る第２カメラとを有する撮像装置を、前記第１画像に関するマクロブロック単位の奥行き情報に基づいて、マクロブロック単位のずれ情報を設定して前記記憶部に記憶する手段、前記第１画像の動き補償予測を行う第１動き補償手段、前記第２画像の動き補償予測を行う第２動き補償手段、前記第２動き補償手段での前記第２画像のマクロブロック単位の動きベクトルの探索範囲を、前記記憶部に記憶された前記ずれ情報に基づいて変更する探索範囲変更手段として機能させるためのプログラムである。
【発明の効果】
【００４３】
以上説明したように、本発明に係る画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法、撮像装置、撮像装置の制御方法及びプログラムによれば、三次元画像やマルチ画像の符号化処理、復号化処理に適用した場合において、動き補償予測にかかる処理量、時間を削減することができ、符号化処理、復号化処理の高速化、消費電力の低減化、並びに符号化後のデータ量の削減を図ることができる。
【発明を実施するための最良の形態】
【００４４】
以下、本発明に係る画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法、撮像装置、撮像装置の制御方法及びプログラムの実施の形態例を図１〜図２４を参照しながら説明する。
【００４５】
先ず、第１の実施の形態に係る画像符号化装置（以下、第１符号化装置１０Ａと記す）は、図１に示すように、被写体を撮像して被写体の動画を得る２つのカメラ（第１カメラ１２及び第２カメラ１４）と、第１カメラ１２から出力される動画を符号化処理して例えば記録媒体１６に記録する第１符号化処理系１８と、第２カメラ１４から出力される動画を符号化処理して例えば記録媒体１６に記録する第２符号化処理系２０とを有する。
【００４６】
第１符号化処理系１８は、第１カメラ１２から出力される動画をフレーム単位に保持する第１バッファメモリ２２と、第１バッファメモリ２２に保持された画像（第１画像）を符号化処理する第１符号化回路２４と、第１画像の動き補償予測を行う第１動き補償回路２６と、第１画像の圧縮符号化データを一時的に保持する第２バッファメモリ２８とを有する。
【００４７】
図２に示すように、第１符号化回路２４は、第１バッファメモリ２２からの第１画像に対して離散コサイン変換を行う第１ＤＣＴ器３０と、第１ＤＣＴ器３０からのデータを所定ビットに量子化する第１量子化器３２と、量子化されたデータを可変長符号化して第２バッファメモリ２８に格納する第１可変長符号化器３４と、第２バッファメモリ２８から送信されてきた発生符号量データと目標となる符号量との間の誤差符号量を検出して第１量子化器３２にフィードバックする第１符号量制御器３６とを有する。また、第１符号化回路２４は、フレーム内予測符号化の際にオンとなる第１スイッチ３８と、順方向予測や双方向予測の際に、第１バッファメモリ２２からの第１画像と第１動き補償回路２６からの出力データとの減算データを得る第１減算器４０を有する。
【００４８】
第１動き補償回路２６は、第１逆量子化器４２と、第１逆ＤＣＴ器４４と、第１加算器４６と、第１画像メモリ４８と、第２スイッチ５０と、第１動き補償予測器５２とを有する。離散コサイン変換及び量子化処理された第１画像あるいは差分データが第１逆量子化器４２及び第１逆ＤＣＴ器４４を介して復元され、第１画像メモリ４８に格納される。特に、復元された差分データは、第２スイッチ５０を介して第１動き補償予測器５２からのデータが第１加算器４６にて加算されるようになっている。
【００４９】
従って、例えば図３に示すように、ｎ−１フレーム、ｎフレーム及びｎ＋１フレームの各第１画像５４ａ〜５４ｃを考えたとき、先ず、ｎ−１フレームの第１画像５４ａが符号化されて第２バッファメモリ２８に書き込まれると共に、復元されたｎ−１フレームの第１画像５４ａが第１画像メモリ４８に書き込まれ、さらに、第１バッファメモリ２２にｎフレームの第１画像５４ｂが蓄積される。
【００５０】
そして、第１動き補償予測器５２において、今回のｎフレームの第１画像５４ｂと第１画像メモリ４８に蓄積されたｎ−１フレームの第１画像５４ａとの間でマクロブロック毎のパターンマッチング処理が行われ、この結果得られた動きベクトルだけシフトされたｎ−１フレームの第１画像が参照画像５４ａｒとして第１減算器４０及び第１加算器４６にそれぞれ供給される。
【００５１】
第１減算器４０からは、ｎフレームの第１画像５４ｂとｎ−１フレームの参照画像５４ａｒ（動き補償予測されたｎ−１フレームの第１画像）との差分データが出力される。参照画像５４ａｒは、例えば図３に示すように、ボールの画像５６がｎフレームの第１画像５４ｂと同じ位置になるように破線で示す位置にシフトされた画像となる。従って、第１減算器４０から出力される差分データは、動き補償予測しない場合と比して大幅にデータ量が削減されたデータとなる。そして、差分データは、第１ＤＣＴ器３０、第１量子化器３２、第１可変長符号化器３４を経ることによって符号化される。このとき、第１動き補償予測器５２により得られた動きベクトルも第１可変長符号化器３４に送られて可変長符号化される。符号化されたデータは第２バッファメモリ２８に蓄積され、所定の転送レートで読み出されて外部に出力され、記録媒体１６に記録されることになる。
【００５２】
上述の例は、順方向予測を主体に説明したが、ＭＰＥＧ（Motion Picture Experts Group）にて規定されているように、双方向予測も行われる。
【００５３】
その一方で、差分データは第１逆量子化器４２、第１逆ＤＣＴ器４４を経て復元され、さらに、この復元された差分データと、第１動き補償予測器５２から第２スイッチ５０を介して供給された参照画像５４ａｒ（動き補償済みのｎ−１フレームの第１画像）とが第１加算器４６にて加算されてｎフレームの第１画像５４ｂとして第１画像メモリ４８に蓄積される。
【００５４】
その後、上述した一連の処理と同様に、第１動き補償予測器５２において、今回のｎ＋１フレームの第１画像５４ｃと第１画像メモリ４８に蓄積されたｎフレームの第１画像５４ｂとの間でマクロブロック毎のパターンマッチング処理が行われ、この結果得られた動きベクトルだけシフトされたｎフレームの第１画像が参照画像５４ｂｒとして第１減算器４０及び第１加算器４６にそれぞれ供給される。
【００５５】
第１減算器４０からは、ｎ＋１フレームの第１画像５４ｃと参照画像５４ｂｒ（動き補償予測されたｎフレームの第１画像）との差分データが出力される。参照画像５４ｂｒは、例えば図３に示すように、ボールの画像５６がｎ＋１フレームの第１画像５４ｃと同じ位置になるように破線で示す位置にシフトされた画像となる。
【００５６】
差分データは、第１ＤＣＴ器３０、第１量子化器３２、第１可変長符号化器３４を経ることによって符号化され、また、第１動き補償予測器５２により得られた動きベクトルも第１可変長符号化器３４に送られて可変長符号化される。符号化されたデータは第２バッファメモリ２８に蓄積される。
【００５７】
また、差分データは第１逆量子化器４２、第１ＤＣＴ器４４を経て復元され、さらに、この復元された差分データと、第１動き補償予測器５２から第２スイッチ５０を介して供給された参照画像５４ｂｒ（動き補償済みのｎフレームの第１画像）とが第１加算器４６にて加算されてｎ＋１フレームの第１画像５４ｃとして第１画像メモリ４８に蓄積される。
【００５８】
上述した処理が繰り返されて、第１カメラ１２からの動画が符号化されて第２バッファメモリ２８に蓄積されたデータは、所定の転送レートで読み出されて外部に出力され、例えば外部の記録媒体１６に記録されることになる。
【００５９】
一方、図１に示すように、第２符号化処理系２０は、上述した第１符号化処理系１８と同様に、第２カメラ１４から出力される動画をフレーム単位に保持する第３バッファメモリ５８と、第３バッファメモリ５８に保持された画像（第２画像）を符号化処理する第２符号化回路６０と、第２画像の動き補償予測を行う第２動き補償回路６２と、第２画像の圧縮符号化データを一時的に保持する第４バッファメモリ６４とを有する。
【００６０】
図４に示すように、第２符号化回路６０は、上述した第１符号化回路２４と同様に、第３バッファメモリ５８からの第２画像に対して離散コサイン変換を行う第２ＤＣＴ器６６と、第２ＤＣＴ器６６からのデータを所定ビットに量子化する第２量子化器６８と、量子化されたデータを可変長符号化して第４バッファメモリ６４に格納する第２可変長符号化器７０と、第４バッファメモリ６４から送信されてきた発生符号量データと目標となる符号量との間の誤差符号量を検出して第２量子化器６８にフィードバックする第２符号量制御器７２とを有する。また、第２符号化回路６０は、フレーム内予測符号化の際にオンとなる第３スイッチ７４と、順方向予測や双方向予測の際に、第３バッファメモリ５８からの第２画像と第２動き補償回路６２からの出力データとの減算データを得る第２減算器７６を有する。
【００６１】
第２動き補償回路６２は、上述した第１動き補償回路２６と同様に、第２逆量子化器７８と、第２逆ＤＣＴ器８０と、第２加算器８２と、第２画像メモリ８４と、第４スイッチ８６と、第２動き補償予測器８８とを有する。離散コサイン変換及び量子化処理された第２画像あるいは差分データが第２逆量子化器７８及び第２逆ＤＣＴ器８０を介して復元され、第２画像メモリ８４に格納される。特に、復元された差分データは、第４スイッチ８６を介して第２動き補償予測器８８からのデータが第２加算器８２にて加算されるようになっている。
【００６２】
さらに、この第２符号化処理系２０は、図１に示すように、第１画像に対する第２画像のずれ情報（ずれ方向及びずれ量）が記憶された記憶部９０と、第２動き補償回路６２での第２画像の動きベクトルの探索範囲を、記憶部９０に記憶されたずれ情報に基づいて変更する探索範囲変更回路９２とを有する。ずれ方向は、複数のカメラの設置方向（水平方向、垂直方向）を示し、ずれ量は、例えば１つのカメラから被写体までの距離に基づいたずれ量を示す。
【００６３】
ここで、探索範囲変更回路９２の機能について図５〜図７を参照しながら説明する。
【００６４】
先ず、図５に示すように、第１カメラ１２にて撮像して得られる第１画像５４に含まれる被写体の画像と、第２カメラ１４にて撮像して得られる第２画像９４に含まれる被写体の画像との間には、被写体までの距離に起因するずれ９６が存在する。例えば第１カメラ１２と第２カメラ１４とが水平方向に沿って併設されていれば、図５に示すように、水平方向にずれ９６が生じ、第１カメラ１２と第２カメラ１４とが垂直方向に沿って併設されていれば、図６に示すように、垂直方向にずれ９６が生じる。４つのカメラをマトリクス状に配設した場合は、図７に示すように、水平方向のずれ９６と垂直方向のずれ９６が生じることになる。簡単のために、ここでは、図５に示すように、一般的な使用形態である２つのカメラ（第１カメラ１２及び第２カメラ１４）を水平方向に併設した場合を主体に説明する。
【００６５】
上述のように、第１画像５４と第２画像９４との間に水平方向にずれ９６が存在する場合、第１画像５４のうち、重複部分９８に対応する被写体の画像と、第２画像９４のうち、重複部分９８に対応する被写体の画像は、ほぼ一致したものとなる。この特性を利用して、第２動き補償予測器８８での第２画像９４に対するマクロブロック単位の動きベクトルの探索範囲を、記憶部９０に記憶されたずれ情報に基づいて変更すれば、第１画像５４に対する動き補償予測と同じ処理になる。
【００６６】
通常、第２画像９４の左端からマクロブロック単位の動きベクトルの探索が行われるが、本実施の形態では、図５に示すように、第２画像９４の左端からずれ９６分だけシフトした位置からマクロブロック単位の動きベクトルの探索を行う。しかも、第１画像５４に対する動き補償予測が既に終了していれば、そのデータを利用することで、第２画像９４に対する符号化に係る処理時間、符号化データの量も大幅に削減することができる。
【００６７】
従って、上述した探索範囲変更回路９２から、記憶部９０に記憶されたずれ情報に基づいて、第１画像５４からマクロブロック単位に読み出すための順序を示す情報（第１読出順序情報）と、第２画像９４からマクロブロック単位に読み出すための順序を示す情報（第２読出順序情報）とが出力されるようにすれば、第１読出順序情報に基づいて読み出された第１画像５４のマクロブロックと、第２読出順序情報に基づいて読み出された第２画像９４のマクロブロックとを比較することが可能となり、上述したように、複数のカメラの設置位置に拘わらず、第１画像５４と第２画像９４とがほぼ一致する部分を容易に検出することができる。
【００６８】
そこで、図４に示すように、第２動き補償回路６２には、上述した各種回路に加えて、第１抽出回路１００と、第２抽出回路１０２と、比較回路１０４と、コード情報作成回路１０６と、コード情報転送回路１０８と、圧縮処理テーブル作成回路１１０と、第３抽出回路１１２とが設けられている。
【００６９】
第１抽出回路１００は、探索範囲変更回路９２からの第１読出順序情報に基づいて、第１バッファメモリ２２の第１画像５４からマクロブロック単位にデータを読み出す。
【００７０】
第２抽出回路１０２は、探索範囲変更回路９２からの第２読出順序情報に基づいて、第３バッファメモリ５８の第２画像９４からマクロブロック単位にデータを読み出す。
【００７１】
比較回路１０４は、第１抽出回路１００によって読み出された第１画像５４のマクロブロックと、第２抽出回路１０２によって読み出された第２画像９４のマクロブロックとを比較する。１つの例で示すと、例えば第１画像５４の左端を基準とした１行１列に関するマクロブロックと、第２画像９４のずれ９６分だけシフトした位置を基準とした１行１列に関するマクロブロックとが比較される。同様に、第１画像５４の左端を基準とした１行２列についてのマクロブロックと、第２画像９４のずれ９６分だけシフトした位置を基準とした１行２列に関するマクロブロックとが比較される。
【００７２】
コード情報作成回路１０６は、図８に示すコード情報１１４を作成する。このコード情報１１４は、先頭にコード情報１１４の開始を示すデータコード（開始コード１１６）と、終端にコード情報１１４の最終を示すデータコード（終端コード１１８）が配置され、開始コード１１６と終端コード１１８との間に複数のアドレスコード１２０が配置されたフォーマット構成となっている。
【００７３】
そして、図４に示すように、コード情報作成回路１０６は、探索範囲変更回路９２からの探索開始信号に基づいて開始コード１１６を生成してコード情報１１４の先頭に配置する。その後、第１抽出回路１００によって読み出された第１画像５４のマクロブロックと、第２抽出回路１０２によって読み出された第２画像９４のマクロブロックとが比較回路１０４で比較されて、該比較回路１０４からの比較結果が一致又はほぼ一致することを示す場合に、比較対象の第１画像５４のマクロブロックのアドレスと第２画像９４のマクロブロックのアドレスとを含むアドレスコード１２０（図８参照）を生成して開始コード１１６の次に配置する。
【００７４】
同様に、第１抽出回路１００によって順次読み出される第１画像５４のマクロブロックと、第２抽出回路１０２によって順次読み出される第２画像９４のマクロブロックとがそれぞれ比較回路１０４にて比較され、比較結果が一致又はほぼ一致することを示す場合に、それぞれ比較対象の第１画像５４のマクロブロックのアドレスと第２画像９４のマクロブロックのアドレスとを含むアドレスコード１２０が生成されて順次配置される。
【００７５】
そして、コード情報作成回路１０６は、探索範囲変更回路９２からの探索終了信号に基づいて終端コード１１８を生成してコード情報１１４の終端に配置する。これらの一連の処理によってコード情報１１４が作成される。
【００７６】
コード情報１１４が作成されると、コード情報作成回路から転送指示信号が出力されてコード情報転送回路１０８に供給される。
【００７７】
コード情報転送回路１０８は、コード情報作成回路１０６からの転送指示信号が供給された時点で、コード情報１１４を第２可変長符号化器７０に転送する。これによって、コード情報１１４は可変長符号化され、その後、第４バッファメモリ６４に格納される。
【００７８】
一方、圧縮処理テーブル作成回路１１０は、作成されたコード情報１１４に登録された第２画像９４のマクロブロックのアドレスに基づいて、該コード情報１１４に登録されていない第２画像９４のマクロブロックのアドレスが配列された圧縮処理テーブル１２２を作成する。つまり、この圧縮処理テーブル１２２に配列されたアドレスは、第２画像９４のうち、重複部分９８（例えば図５参照）から外れたマクロブロックのアドレス又は第１画像と一致（又はほぼ一致）しなかったマクロブロックのアドレスを示すものであり、通常の動き補償予測が必要なマクロブロックのアドレスを示す。
【００７９】
第３抽出回路１１２は、第３バッファメモリ５８に格納された第２画像９４のうち、圧縮処理テーブル１２２に格納されたアドレスに対応したマクロブロックを読み出して第２符号化回路６０に供給する。
【００８０】
従って、例えばｎ−１フレーム及びｎフレームの各第２画像９４を考えたとき、先ず、ｎ−１フレームの第２画像９４のうち、圧縮処理テーブル１２２に格納されたアドレスに対応したマクロブロック群（以下、部分画像と記す）が符号化されて第４バッファメモリ６４に書き込まれると共に、復元されたｎ−１フレームの部分画像が第２画像メモリ８４に書き込まれ、さらに、第３バッファメモリ５８にｎフレームの第２画像９４が蓄積される。
【００８１】
そして、第２動き補償予測器８８において、今回のｎフレームの第２画像９４のうち、圧縮処理テーブル１２２に格納されたアドレスに対応したマクロブロック群（ｎフレームの部分画像）と、第２画像メモリ８４に蓄積されたｎ−１フレームの部分画像との間でマクロブロック毎のパターンマッチング処理が行われ、この結果得られた動きベクトルだけシフトされたｎ−１フレームの部分画像が参照画像として第２減算器７６及び第２加算器８２にそれぞれ供給される。
【００８２】
第２減算器７６からは、ｎフレームの部分画像と動き補償予測されたｎ−１フレームの部分画像（参照画像）との差分データが出力される。差分データは、第２ＤＣＴ器６６、第２量子化器６８、第２可変長符号化器７０を経ることによって圧縮符号化される。このとき、第２動き補償予測器８８により得られた動きベクトルも第２可変長符号化器７０に送られて可変長符号化される。圧縮符号化されたデータは第４バッファメモリ６４に蓄積される。上述の例は、順方向予測を主体に説明したが、ＭＰＥＧにて規定されているように、双方向予測も行われる。
【００８３】
第４バッファメモリ６４に蓄積された圧縮符号化されたデータ（コード情報１１４を含む）は、所定の転送レートで読み出されて外部に出力され、例えば外部の記録媒体１６に記録されることになる。
【００８４】
このように、第２動き補償回路６２の第２動き補償予測器８８は、第２画像９４の全てについて動きベクトルを探索するのではなく、第２画像９４のうち、圧縮処理テーブル１２２に配列されたアドレスに対応するマクロブロックについての動きベクトルを探索する。そのため、第２画像９４に対する圧縮符号化に係る処理時間を大幅に短縮させることができる。しかも、コード情報１１４をテキストデータにて構成することができるため、符号化データの量も大幅に削減することができる。
【００８５】
次に、第１符号化装置１０Ａの基本的な処理動作について図９を参照しながら説明する。
【００８６】
図９に示すように、先ず、ステップＳ１において、第２符号化処理系２０の探索範囲変更回路９２は、記憶部９０からずれ情報を読み出す。
【００８７】
その後、ステップＳ２において、探索範囲変更回路９２は、読み出したずれ情報に基づいて、第２画像９４の動きベクトルの探索範囲を設定する。
【００８８】
そして、ステップＳ３において、第１符号化処理系１８は、第１画像５４の圧縮符号化を行い、圧縮符号化された第１画像５４を第２バッファメモリ２８を介して記録媒体１６に保存する。
【００８９】
一方、ステップＳ４において、コード情報作成回路１０６は、コード情報１１４を作成する。すなわち、変更された探索範囲のうち、第１画像５４と一致又はほぼ一致する部分を抽出し、抽出した部分のアドレス情報等に基づいてコード情報１１４を作成する。
【００９０】
その後、ステップＳ５において、第２符号化処理系２０は、作成されたコード情報１１４を符号化し、符号化されたコード情報１１４を第４バッファメモリ６４を介して記録媒体１６に保存する。
【００９１】
その後、ステップＳ６において、第２符号化処理系２０は、第２画像９４のうち、残りの部分画像の圧縮符号化を行い、圧縮符号化された部分画像を第４バッファメモリ６４を介して記録媒体１６に保存する。
【００９２】
そして、撮影が終了するまで、ステップＳ１〜６の処理を繰り返す（ステップＳ７）。
【００９３】
図９の例では、第１符号化処理系１８での圧縮符号化処理をステップＳ３に示し、第２符号化処理系２０での圧縮符号化処理をステップＳ４〜ステップＳ６に示したが、第１符号化処理系１８での圧縮符号化処理と第２符号化処理系２０での圧縮符号化処理はマルチタスク方式にて行われるようになっている。
【００９４】
次に、図９に示す基本的動作の具体的な処理動作の一例について図１０〜図１２を参照しながら説明する。
【００９５】
先ず、第１符号化処理系１８の処理動作について図１０を参照しながら説明する。
【００９６】
図１０のステップＳ１０１において、第１符号化処理系１８は、フレームの計数を行うカウンタｍに初期値「１」を格納する。
【００９７】
その後、ステップＳ１０２において、第１符号化処理系１８は、ｍフレーム目の第１画像５４を第１バッファメモリ２２に格納する。
【００９８】
次いで、ステップＳ１０３において、第１符号化処理系１８の第１符号化回路２４は、ｍフレーム目の第１画像５４をフレーム内予測符号化して第２バッファメモリ２８に格納する。このとき、第１動き補償回路２６は、ｍフレームの符号化された第１画像５４を復号化してｍフレーム目の第１画像５４として第１画像メモリ４８に記録する。
【００９９】
その後、ステップＳ１０４において、第１符号化処理系１８は、ｍ＋１フレーム目の第１画像５４を第１バッファメモリ２２に格納する。
【０１００】
その後、ステップＳ１０５において、第１動き補償回路２６は、ｍフレーム目の第１画像５４の動き補償予測を行う。これによって、順方向予測による差分データ及び双方向予測による差分データが第１符号化回路２４によって圧縮符号化されて第２バッファメモリ２８に格納される。
【０１０１】
その後、ステップＳ１０６において、ｍフレーム目の第１画像５４の圧縮符号化データ（動き補償予測データを含む）は、第２バッファメモリ２８から所定の転送レートで読み出されて、例えば外部の記録媒体１６に記録される。
【０１０２】
その後、ステップＳ１０７において、第１符号化処理系１８は、カウンタｍの値を＋１更新する。
【０１０３】
次いで、ステップＳ１０８において、第１符号化処理系１８は、撮影終了であるかどうかを判別する。この判別は、例えば撮影の終了を示す割り込み信号等の入力があったかどうかで行われる。
【０１０４】
終了要求がなければ、前記ステップＳ１０３に戻り、該ステップＳ１０３以降の処理を繰り返す。
【０１０５】
そして、前記ステップＳ１０８において、終了要求であると判別された場合、この第１符号化処理系１８での処理が終了する。
【０１０６】
次に、第２符号化処理系２０の処理動作について図１１及び図１２を参照しながら説明する。
【０１０７】
図１１のステップＳ２０１において、第２符号化処理系２０は、フレームの計数を行うカウンタｎに初期値「１」を格納する。
【０１０８】
その後、ステップＳ２０２において、第２符号化処理系２０は、ｎフレーム目の第２画像９４を第３バッファメモリ５８に格納する。
【０１０９】
その後、ステップＳ２０３において、探索範囲変更回路９２は、記憶部９０からずれ情報を読み出す。
【０１１０】
その後、ステップＳ２０４において、探索範囲変更回路９２は、読み出したずれ情報に基づいて、第２画像９４の動きベクトルの探索範囲を設定する。具体的には、第１画像５４からのマクロブロック単位の第１読出順序と、第２画像９４からのマクロブロック単位の第２読出順序を設定する。
【０１１１】
その後、ステップＳ２０５において、コード情報作成回路１０６は、コード情報１１４の開始コード１１６を生成してワークメモリに格納する。
【０１１２】
その後、ステップＳ２０６において、ｎフレーム目の第１画像５４から第１読出順序に基づいてマクロブロックを読み出す。
【０１１３】
次いで、ステップＳ２０７において、ｎフレーム目の第２画像９４から第２読出順序に基づいてマクロブロックを読み出す。
【０１１４】
そして、ステップＳ２０８において、ステップＳ２０６で読み出されたマクロブロックと、ステップＳ２０７で読み出されたマクロブロックとを比較し、比較結果が一致又はほぼ一致していた場合に、ステップＳ２０９において、これらマクロブロックに関するアドレスが記録されたアドレスコード１２０を生成してワークメモリに格納する。
【０１１５】
次のステップＳ１１５において、コード情報作成回路１０６は、コード情報１１４の生成処理を終了するか否かを判別する。この判別は、第１読出順序及び第２読出順序の終了に基づいて探索範囲変更回路９２から出力される探索終了信号の入力があったかどうかで行われる。
【０１１６】
コード情報１１４の生成処理が終了でないと判別された場合は、前記ステップＳ２０６以降の処理を繰り返して、アドレスコード１２０の生成、格納を行う。
【０１１７】
そして、コード情報１１４の生成処理が終了した場合は、次のステップＳ２１１に進み、終端コード１１８をワークメモリに格納する。この段階で、ｎフレーム目のコード情報１１４の作成が完了することとなる。
【０１１８】
その後、図１２のステップＳ２１２において、コード情報転送回路１０８は、ワークメモリに記録されたｎフレーム目のコード情報１１４を第２可変長符号化器７０に転送する。これによって、コード情報１１４は可変長符号化され、その後、第４バッファメモリ６４に格納される。
【０１１９】
その後、ステップＳ２１３において、ｎフレーム目のコード情報１１４の圧縮符号化データは、第４バッファメモリ６４から所定の転送レートで読み出されて、例えば外部の記録媒体１６に記録される。
【０１２０】
その後、図１２のステップＳ２１４において、圧縮処理テーブル作成回路１１０は、作成されたコード情報１１４に登録された第２画像９４のマクロブロックのアドレスに基づいて、該コード情報１１４に登録されていない第２画像９４のマクロブロックのアドレスが配列された圧縮処理テーブル１２２を作成する。
【０１２１】
その後、ステップＳ２１５において、第３抽出回路１１２は、第３バッファメモリ５８に格納されたｎフレーム目の第２画像９４のうち、圧縮処理テーブル１２２に格納されたアドレスに対応したマクロブロック（ｎフレーム目の部分画像）を読み出して第２符号化回路６０に供給する。第２符号化回路６０は、ｎフレーム目の部分画像をフレーム内予測符号化して第４バッファメモリ６４に格納する。このとき、第２動き補償回路６２は、ｎフレーム目の符号化された部分画像を復号化してｎフレーム目の部分画像として第２画像メモリ８４に記録する。
【０１２２】
その後、ステップＳ２１６において、第２符号化処理系２０は、ｎ＋１フレーム目の第２画像９４を第３バッファメモリ５８に格納する。
【０１２３】
その後、ステップＳ２１７において、第２動き補償回路６２は、ｎフレーム目の部分画像の動き補償予測を行う。これによって、順方向予測による差分データ及び双方向予測による差分データが第２符号化回路６０によって圧縮符号化されて第４バッファメモリ６４に格納される。
【０１２４】
そして、ステップＳ２１８において、ｎフレーム目の部分画像の圧縮符号化データ（動き補償予測データを含む）は、第４バッファメモリ６４から所定の転送レートで読み出されて、例えば外部の記録媒体１６に記録される。
【０１２５】
その後、ステップＳ２１９において、第２符号化処理系２０は、カウンタｎの値を＋１更新する。
【０１２６】
次いで、ステップＳ２２０において、第２符号化処理系２０は、撮影終了であるかどうかを判別する。この判別は、例えば撮影の終了を示す割り込み信号等の入力があったかどうかで行われる。
【０１２７】
終了要求がなければ、図１１の前記ステップＳ２０５に戻り、該ステップＳ２０５以降の処理を繰り返す。
【０１２８】
そして、前記ステップＳ２２０において、終了要求であると判別された場合、この第２符号化処理系２０での処理が終了する。
【０１２９】
図１０に示す第１符号化処理系１８の処理と、図１１及び図１２に示す第２符号化処理系２０の処理は、マルチタスク方式にて行われるようになっており、カウンタｍの値及びカウンタｎの値もほぼ同期して更新されるようになっている。
【０１３０】
次に、本実施の形態に係る復号化装置１２４について図１３を参照しながら説明する。
【０１３１】
この復号化装置１２４は、図１３に示すように、例えば記録媒体１６から読み出された第１カメラ１２についての動画の符号化データを復号化処理する第１復号化処理系１２６と、例えば記録媒体１６から読み出された第２カメラ１４についての動画の符号化データを復号化処理する第２復号化処理系１２８とを有する。
【０１３２】
第１復号化処理系１２６は、記録媒体１６から供給された第１カメラ１２についての動画の符号化データをフレーム単位に保持する第５バッファメモリ１３０と、第５バッファメモリ１３０に保持されたデータ（第１画像５４の符号化データ）を復号化処理する第１復号化回路１３２と、第１画像５４の符号化データ（特に、順方向予測の差分データや双方向予測の差分データ）の動き補償予測を行う第３動き補償回路１３４と、伸長復号化された第１画像５４を一時的に保持する第６バッファメモリ１３６とを有する。
【０１３３】
第１復号化回路１３２は、図１４に示すように、第５バッファメモリ１３０からの第１画像５４の符号化データを可変長復号化する第１可変長復号化器１３８と、可変長復号化されたデータを逆量子化処理する逆量子化器１４０と、逆量子化処理されたデータに対して逆離散コサイン変換を行う逆ＤＣＴ器１４２とを有する。さらに、第１復号化回路１３２は、逆離散コサイン変換されたデータが順方向予測の差分データや双方向予測の差分データである場合に、第３動き補償回路１３４からの出力データとの加算データを得る第３加算器１４４を有する。また、第１可変長復号化器１３８は、可変長復号化されたデータに動きベクトルが含まれていれば、この動きベクトルを第３動き補償回路１３４に送信する。
【０１３４】
第３動き補償回路１３４は、第３画像メモリ１４６と、第３動き補償予測器１４８とを有する。第３画像メモリ１４６には、逆離散コサイン変換された第１画像５４（復元された例えばｎフレームの第１画像５４）が格納される。特に、順方向予測の差分データや双方向予測の差分データを復元する際には、第３画像メモリ１４６に格納された第１画像５４の一部が動きベクトルに基づいてシフトされて第３加算器１４４に供給され、これにより、ｎ＋１フレーム目の第１画像５４が復元されることになる。
【０１３５】
第１復号化回路１３２における各種回路での処理が順次行われることによって、第１カメラ１２についての符号化データが復元されて第６バッファメモリ１３６に一時的に保持され、該第６バッファメモリ１３６から所定の転送レートで読み出されることによって第１カメラ１２にて撮影された動画として再生出力されることになる。
【０１３６】
一方、第２復号化処理系１２８は、図１３に示すように、記録媒体１６から供給された第２カメラ１４についての動画の符号化データ（第２画像９４のコード情報１１４と部分画像の符号化データ）をフレーム単位に保持する第７バッファメモリ１５０と、該第７バッファメモリ１５０に保持されたデータ（１つのフレームのコード情報１１４と部分画像の符号化データ）を復号化処理する第２復号化回路１５２と、部分画像の符号化データ（特に、順方向予測の差分データや双方向予測の差分データ）の動き補償予測を行う第４動き補償回路１５４と、コード情報処理回路１５６と、第２復号化回路１５２からの復元データとコード情報処理回路１５６からの復元データとを合成して第２画像９４に復元する合成回路１５８と、復元された第２画像９４を一時的に保持する第８バッファメモリ１６０とを有する。
【０１３７】
第２復号化回路１５２は、図１５に示すように、第７バッファメモリ１５０からのコード情報１１４と部分画像の符号化データを可変長復号化する第２可変長復号化器１６２と、可変長復号化されたデータのうち、部分画像の可変長復号化データを逆量子化処理する第２逆量子化器１６４と、逆量子化処理されたデータに対して逆離散コサイン変換を行う第２逆ＤＣＴ器１６６とを有する。さらに、第２復号化回路１５２は、逆離散コサイン変換されたデータが順方向予測の差分データや双方向予測の差分データである場合に、第４動き補償回路１５４からの出力データとの加算データを得る第４加算器１６８を有する。
【０１３８】
特に、第２可変長復号化器１６２は、可変長復号化されたデータに動きベクトルが含まれていれば、この動きベクトルを第４動き補償回路１５４に送信する。また、可変長復号化されたデータにコード情報１１４が含まれていれば、このコード情報１１４をコード情報処理回路１５６に送信する。
【０１３９】
第４動き補償回路１５４は、第４画像メモリ１７０と、第４動き補償予測器１７２とを有する。第４画像メモリ１７０には、逆離散コサイン変換された部分画像（復元された例えばｎフレームの部分画像）が格納される。特に、順方向予測の差分データや双方向予測の差分データを復元する際には、第４画像メモリ１７０に格納された部分画像の一部が動きベクトルに基づいてシフトされて第４加算器１６８に供給され、これにより、ｎ＋１フレーム目の部分画像が復元されることになる。
【０１４０】
そして、第２復号化回路１５２からの部分画像の復元データと、コード情報処理回路１５６からの復元データとが合成回路１５８にて合成されて第２画像９４の復元データとして出力されることになる。第２復号化回路１５２及びコード情報処理回路１５６での処理が順次行われることによって、第２カメラ１４についての符号化データが復元されて第８バッファメモリ１６０に一時的に保持され、該第８バッファメモリ１６０から所定の転送レートで読み出されることによって第２カメラ１４にて撮影された動画として再生出力されることになる。
【０１４１】
コード情報処理回路１５６は、第２可変長復号化器１６２から送信されたコード情報１１４を一時保持する第９バッファメモリ１７４と、コード情報１１４からアドレスコードを順番に読み出すコード読出回路１７６と、第１復号化処理系１２６の第６バッファメモリ１３６に格納された第１画像５４のうち、読み出されたアドレスコードに登録されている第１画像５４のマクロブロックアドレスに対応するマクロブロックを読み出すマクロブロック読出回路１７８と、読み出されたマクロブロックを、第１０バッファメモリ１８０（第２画像９４が記録される容量を有する）のうち、アドレスコードに登録されている第２画像９４のマクロブロックアドレスに対応するアドレスに書き込むマクロブロック書込回路１８２と、コード読出回路１７６からの読出終了信号に基づいて、第１０バッファメモリ１８０に格納されているデータを合成回路１５８に転送するデータ転送回路１８４とを有する。
【０１４２】
合成回路１５８は、第２復号化回路１５２からの部分画像の復元データと、コード情報処理回路１５６から転送されるデータを合成して第２画像９４に復元する。
【０１４３】
このように、第４動き補償回路１５４の第４動き補償予測器１７２は、第２画像９４の全てについてそれぞれ対応する動きベクトルを反映させて復元するのではなく、第２画像９４のうち、圧縮処理テーブル１２２に配列されたアドレスに対応するマクロブロック群（部分画像）だけを復元する。そのため、第２画像９４を復元するための伸長復号化に係る処理時間を大幅に短縮させることができると共に、復号化するためのデータの量も大幅に削減することができる。
【０１４４】
次に、復号化装置１２４の基本的な処理動作について図１６を参照しながら説明する。
【０１４５】
図１６に示すように、先ず、ステップＳ３０１において、第１復号化処理系１２６は、第１画像５４の伸長復号化を行い、伸長復号化された第１画像５４を再生出力する。
【０１４６】
その後、ステップＳ３０２において、第２復号化処理系１２８は、第２画像９４の符号化データに含まれているコード情報１１４を読み出してコード情報処理回路１５６に送信する。
【０１４７】
その後、ステップＳ３０３において、コード情報処理回路１５６は、コード情報１１４に含まれるアドレスコードに基づいて、第１復号化回路１３２にて復元された第１画像５４を利用して第２画像９４の一部を復元する。
【０１４８】
その後、ステップＳ３０４において、第２復号化回路１５２及び第４動き補償回路１５４は、第２画像９４の部分画像の伸長復号化を行う。
【０１４９】
その後、ステップＳ３０５において、合成回路１５８は、コード情報１１４に基づいて復元された第２画像９４の一部と、第２復号化回路１５２及び第４動き補償回路１５４によって復元された部分画像とを合成することにより、第２画像９４に復元し、該第２画像９４を再生出力する。
【０１５０】
そして、画像データが終了するまで、ステップＳ３０１〜Ｓ３０５の処理を繰り返す（ステップＳ３０６）。
【０１５１】
次に、第２の実施の形態に係る符号化装置（以下、第２符号化装置１０Ｂと記す）について図１７及び図１８を参照しながら説明する。
【０１５２】
この第２符号化装置１０Ｂは、図１７に示すように、上述した第１符号化装置１０Ａとほぼ同様の構成を有するが、第１カメラ１２と第２カメラ１４との輻輳角や第１カメラ１２の光軸と第２カメラ１４の光軸の間隔を検出する光学系情報検出回路１８６と、該光学系情報検出回路１８６にて検出された間隔や輻輳角の少なくとも一方に基づいて、ずれ情報を設定して記憶部９０に記憶する第１ずれ情報設定回路１８８を有する点で異なる。
【０１５３】
光学系情報検出回路１８６は、第１カメラ１２と第２カメラ１４との輻輳角や第１カメラ１２の光軸と第２カメラ１４の光軸の間隔を検出する各種センサにて構成してもよいし、第１カメラ１２及び第２カメラ１４の駆動機構への駆動制御信号の属性（電流値や電圧値等）に基づいて演算にて求める演算回路にて構成するようにしてもよい。
【０１５４】
第１ずれ情報設定回路１８８は、第１カメラ１２の光軸と第２カメラ１４の光軸との間隔が大きいほど、ずれ量を大きく設定し、第１カメラ１２と第２カメラ１４との輻輳角が小さいほど、ずれ量を大きく設定する。
【０１５５】
また、第１ずれ情報設定回路１８８において、第１カメラ１２の光軸と第２カメラ１４の光軸との間隔と、第１カメラ１２と第２カメラ１４との輻輳角の両方でずれ量を設定する場合は、これら間隔及び輻輳角とずれ量との対応関係を予め求め、情報テーブルとして、メモリ（ＲＯＭやフラッシュメモリ等）に保持しておき、今回検出された間隔と輻輳角に対応するずれ量を情報テーブルから読み出して設定するようにしてもよい。
【０１５６】
ここで、第２符号化装置１０Ｂの基本的な処理動作について図１８を参照しながら説明する。
【０１５７】
図１８に示すように、先ず、ステップＳ４０１において、光学系情報検出回路１８６は、第１カメラ１２の光軸と第２カメラ１４の光軸の間隔や、第１カメラ１２と第２カメラ１４との輻輳角を検出する。
【０１５８】
その後、ステップＳ４０２において、第１ずれ情報設定回路１８８は、光学系情報検出回路１８６にて検出された間隔や輻輳角の少なくとも一方に基づいて、ずれ情報を設定して記憶部９０に記憶する。
【０１５９】
その後、ステップＳ４０３において、第２符号化処理系２０の探索範囲変更回路９２は、記憶部９０からずれ情報を読み出す。
【０１６０】
その後、ステップＳ４０４において、探索範囲変更回路９２は、読み出したずれ情報に基づいて、第２画像９４の動きベクトルの探索範囲を設定する。
【０１６１】
一方、ステップＳ４０５において、第１符号化処理系１８は、第１画像５４の圧縮符号化を行い、圧縮符号化された第１画像５４を第２バッファメモリ２８を介して記録媒体１６に保存する。
【０１６２】
他方、ステップＳ４０６において、コード情報作成回路１０６は、コード情報１１４を作成する。すなわち、変更された探索範囲のうち、第１画像５４と一致又はほぼ一致する部分を抽出し、抽出した部分のアドレス情報等に基づいてコード情報１１４を作成する。
【０１６３】
その後、ステップＳ４０７において、第２符号化処理系２０は、作成されたコード情報１１４を符号化し、符号化されたコード情報１１４を第４バッファメモリ６４を介して記録媒体１６に保存する。
【０１６４】
その後、ステップＳ４０８において、第２符号化処理系２０は、第２画像９４のうち、残りの部分画像の圧縮符号化を行い、圧縮符号化された部分画像を第４バッファメモリ６４を介して記録媒体１６に保存する。
【０１６５】
そして、撮影が終了するまで、ステップＳ４０５〜ステップＳ４０８の処理を繰り返す（ステップＳ４０９）。
【０１６６】
この第２符号化装置１０Ｂにおいては、第１カメラ１２の光軸と第２カメラ１４の光軸との間隔や輻輳角に基づいてずれ情報を設定するようにしたので、ハードウェアを主体に構成することができ、コンピュータプログラムの複雑化を回避することができる。
【０１６７】
図１８の例では、撮影開始の段階で、光学系情報の検出結果に基づく探索範囲の設定を行い（ステップＳ４０１〜Ｓ４０４）、その後、撮影終了まで第１符号化処理系１８での圧縮符号化処理（ステップＳ４０５）と第２符号化処理系２０での圧縮符号化処理（ステップＳ４０６〜Ｓ４０８）を行うようにしたが、前記探索範囲の設定と、第１符号化処理系１８での圧縮符号化処理と、第２符号化処理系２０での圧縮符号化処理とをマルチタスク方式にて行うようにしてもよい。この場合、被写体の変化に応じてずれ情報を設定することができ、その分、第２符号化処理系での符号化にかかる時間を短縮させることができると共に、復号化装置での復号化にかかる時間も短縮させることができる。
【０１６８】
次に、第３の実施の形態に係る符号化装置（以下、第３符号化装置１０Ｃと記す）について図１９及び図２０を参照しながら説明する。
【０１６９】
この第３符号化装置１０Ｃは、図１９に示すように、上述した第１符号化装置１０Ａとほぼ同様の構成を有するが、被写体までの距離（奥行き）を測定する測距回路１９０と、測距回路１９０からの距離データに基づいてずれ情報を設定して記憶部９０に記憶する第２ずれ情報設定回路１９２を有する点で異なる。
【０１７０】
測距回路１９０は、赤外線等の光を被写体に照射し、反射して戻ってくるまでの時間を計測する等の方法により、被写体までの距離（奥行き）を測定する回路である。
【０１７１】
第２ずれ情報設定回路１９２は、奥行きが大きいほど第１画像５４と第２画像９４のずれ量が小さくなるように設定する。また、第２ずれ情報設定回路１９２は、奥行きと、第１カメラ１２と第２カメラ１４の配置や間隔（光軸間の間隔）とに基づいてずれ量を設定するようにしてもよい。この場合、予め情報テーブルを作成して、該情報テーブルに基づいてずれ量を設定してもよいし、ずれ量を演算によって求めるようにしてもよい。
【０１７２】
測距回路１９０による被写体までの距離の検出は、撮影開始と共に１回だけ行うようにしてもよいし、１フレーム期間ごとに行うようにしてもよい。あるいは数フレーム期間ごとに行うようにしてもよい。この場合、第２ずれ情報設定回路１９２は、測距回路１９０での距離の検出タイミングに合わせて、撮影開始と共に１回だけずれ情報を設定してもよいし、１フレーム期間ごとに、あるいは数フレーム期間ごとにずれ情報を設定し直してもよい。また、測距回路１９０からの距離データは、マクロブロックごとの距離データ（マクロブロック単位の距離画像）でもよいし、画素ごとの距離データ（画素単位の距離画像）でもよい。この場合、距離画像の中央部分における距離データの平均値や最も近い距離データに基づいてずれ量を設定するようにしてもよい。
【０１７３】
ここで、第３符号化装置１０Ｃの基本的な処理動作について図２０を参照しながら説明する。
【０１７４】
図２０に示すように、先ず、ステップＳ５０１において、測距回路１９０は、１フレーム単位あるいは数フレーム単位に、被写体までの距離（奥行き）を測定する。
【０１７５】
その後、ステップＳ５０２において、第２ずれ情報設定回路１９２は、測距回路１９０からの距離データに基づいてずれ情報を設定して記憶部９０に記憶する。
【０１７６】
その後、ステップＳ５０３において、第２符号化処理系２０の探索範囲変更回路９２は、記憶部９０からずれ情報を読み出す。
【０１７７】
その後、ステップＳ５０４において、探索範囲変更回路９２は、読み出したずれ情報に基づいて、第２画像９４の動きベクトルの探索範囲を設定する。
【０１７８】
そして、ステップＳ５０５において、第１符号化処理系１８は、第１画像５４の圧縮符号化を行い、圧縮符号化された第１画像５４を第２バッファメモリ２８を介して記録媒体１６に保存する。
【０１７９】
一方、ステップＳ５０６において、コード情報作成回路１０６は、コード情報１１４を作成する。すなわち、変更された探索範囲のうち、第１画像５４と一致又はほぼ一致する部分を抽出し、抽出した部分のアドレス情報等に基づいてコード情報１１４を作成する。
【０１８０】
その後、ステップＳ５０７において、第２符号化処理系２０は、作成されたコード情報１１４を符号化し、符号化されたコード情報１１４を第４バッファメモリ６４を介して記録媒体１６に保存する。
【０１８１】
その後、ステップＳ５０８において、第２符号化処理系２０は、第２画像９４のうち、残りの部分画像の圧縮符号化を行い、圧縮符号化された部分画像を第４バッファメモリ６４を介して記録媒体１６に保存する。
【０１８２】
そして、撮影が終了するまで、ステップＳ５０１〜ステップＳ５０８の処理を繰り返す。
【０１８３】
この第３符号化装置１０Ｃにおいては、測距回路１９０からの距離データに基づいて１フレームごと、あるいは数フレームごとにずれ量を設定するようにしたので、被写体の変化に応じてずれ情報を設定することができ、第２符号化処理系での符号化にかかる時間を短縮させることができると共に、復号化装置での復号化にかかる時間も短縮させることができる。
【０１８４】
図２０の例では、被写体までの距離に基づく探索範囲の設定をステップＳ５０１〜Ｓ５０４に示し、第１符号化処理系１８での圧縮符号化処理をステップＳ５０５に示し、第２符号化処理系２０での圧縮符号化処理をステップＳ５０６〜ステップＳ５０８に示したが、被写体までの距離に基づく探索範囲の設定と、第１符号化処理系１８での圧縮符号化処理と、第２符号化処理系２０での圧縮符号化処理をマルチタスク方式にて行うようにしてもよい。
【０１８５】
次に、上述した第２符号化装置１０Ｂ又は第３符号化装置１０Ｃの機能及び復号化装置１２４の機能を備えたデジタルカメラ２００について図２１を参照しながら説明する。
【０１８６】
本実施の形態に係るデジタルカメラ２００は、図２１に示すように、第１カメラ１２と、第２カメラ１４と、第１測光／測距用ＣＰＵ２０２と、第２測光／測距用ＣＰＵ２０４と、第１絞り制御回路２０６と、第２絞り制御回路２０８と、第１ストロボ／ライト装置２１０と、第２ストロボ／ライト装置２１２と、第１充電／発光制御回路２１４と、第２充電／発光制御回路２１６と、第１ＹＣ処理回路２１８と、第２ＹＣ処理回路２２０と、ＥＥＰＲＯＭ２２２と、操作パネル２２４と、二次元／三次元モードフラグ２２６と、電源回路２２８とを有する。
【０１８７】
さらに、このデジタルカメラ２００は、カメラ間隔／輻輳角処理回路２３０と、第１記憶回路２３２と、測距処理回路２３４と、第２記憶回路２３６と、画像記録処理回路２３８と、画像表示処理回路２４０と、第１圧縮伸長回路２４２と、第１ワークメモリ２４４と、第２圧縮伸長回路２４６と、第２ワークメモリ２４８とを有する。
【０１８８】
これら各種回路は、メインＣＰＵ２５０により、システムバス２５２や各種制御バスを通じて制御されるようになっている。
【０１８９】
第１カメラ１２は、レンズやフォーカス制御機構、絞り制御機構等を有する第１光学系２５４と、該第１光学系２５４を通して入射された被写体の画像を撮像する第１ＣＣＤ撮像素子２５６と、該第１ＣＣＤ撮像素子２５６に対して撮像のための複数のタイミングパルスを供給する第１タイミング発生器２５８と、第１ＣＣＤ撮像素子２５６からの撮像信号をデジタル変換する第１Ａ／Ｄ変換器２６０と、該第１Ａ／Ｄ変換器２６０からのデジタルデータにホワイトバランスやγ補正をかける第１補正回路２６２と、該第１補正回路２６２にて補正された撮像データを例えば１フレーム単位に保持する第１１バッファメモリ２６４とを有する。
【０１９０】
第２カメラ１４は、レンズやフォーカス制御機構、絞り制御機構等を有する第２光学系２６６と、該第２光学系２６６を通して入射された被写体の画像を撮像する第２ＣＣＤ撮像素子２６８と、該第２ＣＣＤ撮像素子２６８に対して撮像のための複数のタイミングパルスを供給する第２タイミング発生器２７０と、第２ＣＣＤ撮像素子２６８からの撮像信号をデジタル変換する第２Ａ／Ｄ変換器２７２と、該第２Ａ／Ｄ変換器２７２からのデジタルデータにホワイトバランスやγ補正をかける第２補正回路２７４と、該第２補正回路２７４にて補正された撮像データを例えば１フレーム単位に保持する第１２バッファメモリ２７６とを有する。
【０１９１】
第１測光／測距用ＣＰＵ２０２は、メインＣＰＵ２５０からの制御信号に基づいて第１絞り制御回路２０６、第１光学系２５４のフォーカシング、第１充電／発光制御回路２１４を制御し、第２測光／測距用ＣＰＵ２０４は、メインＣＰＵ２５０からの制御信号に基づいて第２絞り制御回路２０８、第２光学系２６６のフォーカシング、第２充電／発光制御回路２１６を制御する。
【０１９２】
第１絞り制御回路２０６は、第１測光／測距用ＣＰＵ２０２からの制御信号に基づいて第１光学系２５４のレンズの絞りを制御し、第２絞り制御回路２０６は、第２測光／測距用ＣＰＵ２０２からの制御信号に基づいて第２光学系２６６のレンズの絞りを制御する。
【０１９３】
第１充電／発光制御回路２１４は、第１測光／測距用ＣＰＵ２０２からの制御信号に基づいて第１ストロボ／ライト装置２１０の充電、発光を制御し、第２充電／発光制御回路２１６は、第２測光／測距用ＣＰＵ２０４からの制御信号に基づいて第２ストロボ／ライト装置２１２の充電、発光を制御する。
【０１９４】
第１ＹＣ処理回路２１８は、第１１バッファメモリ２６４から撮像データを読み出し、ＹＣ画像データ（Ｙ：輝度信号、Ｃ：色差信号）に変換して再度第１１バッファメモリ２６４に格納するという処理を行い、第２ＹＣ処理回路２２０は、第１２バッファメモリ２７６から撮像データを読み出し、該撮像データをＹＣ画像データ（Ｙ：輝度信号、Ｃ：色差信号）に変換して再度第１２バッファメモリ２７６に格納するという処理を行う。
【０１９５】
ＥＥＰＲＯＭ２２２は、起動時に動作するプログラムや各種プログラムの動作において必要なパラメータが記憶されている。
【０１９６】
操作パネル２２４は、少なくとも動画用レリーズ２７８と、静止画用レリーズ２８０と、操作ガイダンス用ＬＣＤ部（液晶表示部２８２）と、光学系を制御するための操作部２８４と、モードダイヤルや十字キー、電源スイッチ等の各種スイッチ２８６と、二次元／三次元切替スイッチ２８８とを有する。
【０１９７】
二次元／三次元モードフラグ２２６は、二次元画像の撮影が可能か、三次元画像の撮影が可能かを示すフラグであって、二次元／三次元切替スイッチ２８８に基づいて設定される。
【０１９８】
カメラ間隔／輻輳角処理回路２３０は、第１カメラ検出回路２９０と、第２カメラ検出回路２９２と、カメラ制御回路２９４と、第１カメラ駆動回路２９６と、第２カメラ駆動回路２９８とを有する。
【０１９９】
第１カメラ検出回路２９０は、第１カメラ１２の設置位置及び第１カメラ１２の設置角度を検出し、第２カメラ検出回路２９２は、第２カメラ１４の設置位置及び第２カメラ１４の設置角度を検出する。
【０２００】
第１カメラ駆動回路２９６は、カメラ制御回路２９４からの制御信号に基づいて第１カメラ１２を駆動し、第２カメラ駆動回路２９８は、カメラ制御回路２９４からの制御信号に基づいて第２カメラ１４を駆動する。
【０２０１】
カメラ制御回路２９４は、第１カメラ検出回路２９０からの検出情報とメインＣＰＵ２５０からの位置情報（第１カメラ１２の光軸と第２カメラ１４の光軸との間隔と、第１カメラ１２と第２カメラ１４の輻輳角）とに基づいて第１カメラ駆動回路２９６を駆動制御することにより、第１カメラ１２の設置位置と設置角度をフィードバック制御する。同様に、第２カメラ検出回路２９２からの検出情報とメインＣＰＵ２５０からの位置情報とに基づいて第２カメラ駆動回路２９８を駆動制御することにより、第２カメラ１４の設置位置と設置角度をフィードバック制御する。メインＣＰＵ２５０からの位置情報は、第１記憶回路２３２に記憶される。
【０２０２】
測距処理回路２３４は、第１測距用発光素子３００と、第２測距用発光素子３０２と、第１測距用撮像素子３０４と、第２測距用撮像素子３０６と、これら各素子を制御するための測距用制御回路３０８と、第１測距用撮像素子３０４からの撮像信号をデジタル変換する第３Ａ／Ｄ変換器３１０と、第２測距用撮像素子３０６からの撮像信号をデジタル変換する第４Ａ／Ｄ変換器３１２と、第３Ａ／Ｄ変換器３１０からの撮像データと第４Ａ／Ｄ変換器３１２からの撮像データに基づいて被写体までの距離情報を演算する距離演算回路３１４とを有する。距離演算回路３１４にて得られた距離情報は第２記憶回路２３６に記憶される。
【０２０３】
第１測距用発光素子３００及び第２測距用発光素子３０２からそれぞれ赤外線を出射し、被写体で反射した赤外線を第１測距用撮像素子３０４及び第２測距用撮像素子３０６にて受光するように構成する。そして、赤外線の出射時点から反射した赤外線の受光時点までの時間を計測することで、被写体の距離を求めることができる。
【０２０４】
画像記録処理回路２３８は、符号化データを一時保存するための第１３バッファメモリ３１６と、第１コントローラ３１８と、インターフェース３２０と、メモリカード３２２とを有する。
【０２０５】
第１コントローラ３１８は、第１圧縮伸長回路２４２からの符号化データや第２圧縮伸長回路２４６からの符号化データを第１３バッファメモリ３１６に所定の転送レートで書き込んだり、第１３バッファメモリ３１６に保存されている符号化データを所定の転送レートで読み出してシステムバス２５２に転送したり、インターフェース３２０を介してメモリカード３２２に転送する。
【０２０６】
画像表示処理回路２４０は、復号化データを一時保存するための第１４バッファメモリ３２４と、第２コントローラ３２６と、画像データ変換回路３２８と、表示用駆動回路３３０と、液晶表示装置３３２とを有する。
【０２０７】
第２コントローラ３２６は、第１圧縮伸長回路２４２や第２圧縮伸長回路２４６からの各復号化データを第１４バッファメモリ３２４に所定の転送レートで書き込んだり、第１４バッファメモリ３２４に保存されている復号化データを所定の転送レートで読み出して画像データ変換回路３２８に転送する。
【０２０８】
画像データ変換回路３２８は、第１４バッファメモリ３２４を介して転送された復号化データ（ＹＣ画像データ）をＲＧＢ画像データに変換する。ＲＧＢ画像データは、表示用駆動回路３３０を介して液晶表示装置３３２に送られ、これにより、液晶表示装置３３２には、被写体の二次元画像又は三次元画像が表示されることになる。
【０２０９】
なお、二次元画像と三次元画像の切り替えは、上述した二次元／三次元切替スイッチ２８８を用いた例を示したが、液晶表示装置３３２あるいは操作ガイダンス用の液晶表示部２８２に表示されるメニュー画面への入力によって切り替えるようにしてもよい。
【０２１０】
第１カメラ１２の光軸と第２カメラ１４の光軸の間隔や輻輳角の調整は、メニュー画面から選択し、操作パネル２２４の十字キーや専用キーの入力操作によってカメラ制御回路２９４を制御し、第１カメラ駆動回路２９６及び第２カメラ駆動回路２９８を駆動して調整を行うようにしてもよい。もちろん、手動で調整を行うようにしてもよい。
【０２１１】
第１カメラ１２の光軸と第２カメラ１４の光軸の間隔や輻輳角は、専用のセンサで検出するようにしてもよいし、基準位置からの光センサを使ったパルス数や、ステッピングモータに送ったパルス数で検出するようにしてもよい。
【０２１２】
第１測距用撮像素子３０４及び第２測距用撮像素子３０６は、フォトダイオードが二次元配列されたタイプのものでもよいし、ライン状に配列したタイプのもの、単一のフォトダイオードを具備したタイプのものでもよい。
【０２１３】
上述の例では、距離検出のための回路を２系統設けるようにしたが、１系統でもよい。
【０２１４】
また、上述の例では、ＣＰＵの負荷を軽減するために、メインＣＰＵ２５０と、第１測光／測距用ＣＰＵ２０２と、第２測光／測距用ＣＰＵ２０４とを設けるようにしたが、メインＣＰＵ２５０だけで制御するようにしてもよい。
【０２１５】
動画、静止画の切り替え撮影は、動画用レリーズ２７８と静止画用レリーズ２８０を選択操作することで実現できるが、レリーズを１個で構成し、動画、静止画のモード選択を専用の切替スイッチや、メニュー画面への入力操作による切り替えでもよい。
【０２１６】
デジタルカメラ２００は、被写体の三次元画像の撮影のほかに、被写体の二次元画像の撮影も行うことができる仕様となっている。また、動画、静止画、音声の記録再生も可能な構成となっている。
【０２１７】
また、液晶表示装置３３２の代わりに、有機ＥＬ（エレクトロ・ルミネッセンス）等を用いてもよい。
【０２１８】
次に、本実施の形態に係るデジタルカメラ２００の処理動作、特に、第２符号化装置１０Ｂに基づく圧縮符号化処理を含めた第１処理動作について図２２を参照しながら説明する。なお、第２符号化装置１０Ｂに基づく圧縮符号化処理は、図１７の構成要素も参照しながら説明する。
【０２１９】
先ず、図２２のステップＳ６０１において、メインＣＰＵ２５０は、三次元モードであるか否かを判別する。この判別は、三次元／二次元モードフラグ２２６の内容に基づいて行われる。三次元モードであれば次のステップＳ６０２に進み、二次元モードであれば、二次元モードの処理へ制御を移す。
【０２２０】
ステップＳ６０２において、メインＣＰＵ２５０は、動画モードであるか否かを判別する。この判別は、動画用レリーズ２７８が操作されたかどうかで行われる。動画モードであれば次のステップＳ６０３に進み、静止画モードであれば、静止画モードの処理へ制御を移す。
【０２２１】
ステップＳ６０３において、メインＣＰＵ２５０は、光学系のための撮影条件を設定する。この設定は、例えばＥＥＰＲＯＭ２２２に登録されている撮影条件に関する各種パラメータに基づいて第１カメラ１２及び第２カメラ１４の絞りや輻輳角等を設定する。
【０２２２】
ステップＳ６０４において、メインＣＰＵ２５０は、撮影開始の操作入力を待つ。操作入力があった段階で、メインＣＰＵ２５０は、第２符号化装置１０Ｂの圧縮符号化処理に準じた処理を行う。
【０２２３】
すなわち、ステップＳ６０５において、メインＣＰＵ２５０は、第１記憶回路２３２から第１カメラ１２の光軸と第２カメラ１４の光軸の間隔や、第１カメラ１２と第２カメラ１４との輻輳角を読み出す。
【０２２４】
その後、ステップＳ６０６において、メインＣＰＵ２５０は、読み出した間隔や輻輳角の少なくとも一方に基づいて、ずれ情報を設定して第１ワークメモリ２４４に記録する。
【０２２５】
その後、ステップＳ６０７において、第２圧縮伸長回路２４６における第２符号化処理系２０の探索範囲変更回路９２は、第１ワークメモリ２４４からずれ情報を読み出す。
【０２２６】
その後、ステップＳ６０８において、探索範囲変更回路９２は、読み出したずれ情報に基づいて、第２画像９４の動きベクトルの探索範囲を設定する。
【０２２７】
一方、ステップＳ６０９において、第１圧縮伸長回路２４２における第１符号化処理系１８は、第１画像５４の圧縮符号化を行い、圧縮符号化された第１画像５４を画像記録処理回路２３８に転送する。画像記録処理回路２３８は、第１圧縮伸長回路２４２から転送された第１画像５４の圧縮符号化データを第１３バッファメモリ３１６を介してメモリカード３２２に保存する。
【０２２８】
他方、ステップＳ６１０において、第２圧縮伸長回路２４６におけるコード情報作成回路１０６は、コード情報１１４を作成する。すなわち、変更された探索範囲のうち、第１画像５４と一致又はほぼ一致する部分を抽出し、抽出した部分のアドレス情報等に基づいてコード情報１１４を作成する。
【０２２９】
その後、ステップＳ６１１において、第２圧縮伸長回路２４６における第２符号化処理系２０は、作成されたコード情報１１４を符号化し、符号化されたコード情報１１４を画像記録処理回路２３８に転送する。画像記録処理回路２３８は、第２圧縮伸長回路２４６から転送されたコード情報１１４の圧縮符号化データを第１３バッファメモリ３１６を介してメモリカード３２２に保存する。
【０２３０】
その後、ステップＳ６１２において、第２圧縮伸長回路２４６における第２符号化処理系２０は、第２画像９４のうち、残りの部分画像の圧縮符号化を行い、圧縮符号化された部分画像を画像記録処理回路２３８に転送する。画像記録処理回路２３８は、第２圧縮伸長回路２４６から転送された部分画像の圧縮符号化データを第１３バッファメモリ３１６を介してメモリカード３２２に保存する。
【０２３１】
そして、次のステップＳ６１３において、メインＣＰＵ２５０は、撮影終了か否かを判別する。この判別は、撮影終了を示す操作入力があったかどうかで行われる。
【０２３２】
撮影終了でなければ、ステップＳ６０９に戻り、該ステップＳ６０９以降の処理を繰り返す。
【０２３３】
撮影終了であれば、ステップＳ６１４に進み、メインＣＰＵ２５０は、今回の動画の管理データをメモリカード３２２に保存する。
【０２３４】
ステップＳ６１４での処理が終了した段階で、この第１処理動作が終了する。
【０２３５】
次に、本実施の形態に係るデジタルカメラ２００の処理動作、特に、第３符号化装置１０Ｃに基づく圧縮符号化処理を含めた第２処理動作について図２３を参照しながら説明する。なお、第３符号化装置１０Ｃに基づく圧縮符号化処理は、図１９の構成要素も参照しながら説明する。
【０２３６】
先ず、図２３のステップＳ７０１において、メインＣＰＵ２５０は、三次元モードであるか否かを判別する。この判別は、三次元／二次元モードフラグ２２６の内容に基づいて行われる。三次元モードであれば次のステップＳ７０２に進み、二次元モードであれば、二次元モードの処理へ制御を移す。
【０２３７】
ステップＳ７０２において、メインＣＰＵ２５０は、動画モードであるか否かを判別する。この判別は、動画用レリーズ２７８が操作されたかどうかで行われる。動画モードであれば次のステップＳ７０３に進み、静止画モードであれば、静止画モードの処理へ制御を移す。
【０２３８】
ステップＳ７０３において、メインＣＰＵ２５０は、光学系のための撮影条件を設定する。この設定は、例えばＥＥＰＲＯＭ２２２に登録されている撮影条件に関する各種パラメータに基づいて第１カメラ１２及び第２カメラ１４の絞りや輻輳角等を設定する。
【０２３９】
ステップＳ７０４において、メインＣＰＵ２５０は、撮影開始の操作入力を待つ。操作入力があった段階で、メインＣＰＵ２５０は、第３符号化装置１０Ｃの圧縮符号化処理に準じた処理を行う。
【０２４０】
すなわち、ステップＳ７０５において、メインＣＰＵ２５０は、第２記憶回路２３６から被写体までの距離データを読み出す。
【０２４１】
その後、ステップＳ７０６において、メインＣＰＵ２５０は、読み出した被写体までの距離データに基づいて、ずれ情報を設定して第１ワークメモリ２４４に記録する。
【０２４２】
その後、ステップＳ７０７において、第２圧縮伸長回路２４６における第２符号化処理系２０の探索範囲変更回路９２は、記憶部９０からずれ情報を読み出す。
【０２４３】
その後、ステップＳ７０８において、探索範囲変更回路９２は、読み出したずれ情報に基づいて、第２画像９４の動きベクトルの探索範囲を設定する。
【０２４４】
一方、ステップＳ７０９において、第１圧縮伸長回路２４２における第１符号化処理系１８は、第１画像５４の圧縮符号化を行い、圧縮符号化された第１画像５４を画像記録処理回路２３８に転送する。画像記録処理回路２３８は、第１圧縮伸長回路２４２から転送された第１画像５４の圧縮符号化データを第１３バッファメモリ３１６を介してメモリカード３２２に保存する。
【０２４５】
他方、ステップＳ７１０において、第２圧縮伸長回路２４６におけるコード情報作成回路１０６は、コード情報１１４を作成する。すなわち、変更された探索範囲のうち、第１画像５４と一致又はほぼ一致する部分を抽出し、抽出した部分のアドレス情報等に基づいてコード情報１１４を作成する。
【０２４６】
その後、ステップＳ７１１において、第２圧縮伸長回路２４６における第２符号化処理系２０は、作成されたコード情報１１４を符号化し、符号化されたコード情報１１４を画像記録処理回路２３８に転送する。画像記録処理回路２３８は、第２圧縮伸長回路２４６から転送されたコード情報１１４の圧縮符号化データを第１３バッファメモリ３１６を介してメモリカード３２２に保存する。
【０２４７】
その後、ステップＳ７１２において、第２圧縮伸長回路２４６における第２符号化処理系２０は、第２画像９４のうち、残りの部分画像の圧縮符号化を行い、圧縮符号化された部分画像を画像記録処理回路２３８に転送する。画像記録処理回路２３８は、第２圧縮伸長回路２４６から転送された部分画像の圧縮符号化データを第１３バッファメモリ３１６を介してメモリカード３２２に保存する。
【０２４８】
そして、次のステップＳ７１３において、メインＣＰＵ２５０は、撮影終了か否かを判別する。この判別は、撮影終了を示す操作入力があったかどうかで行われる。
【０２４９】
撮影終了でなければ、ステップＳ７０５に戻り、該ステップＳ７０５以降の処理を繰り返す。
【０２５０】
撮影終了であれば、ステップＳ７１４に進み、メインＣＰＵ２５０は、今回の動画の管理データをメモリカード３２２に保存する。
【０２５１】
ステップＳ７１４での処理が終了した段階で、この第２処理動作が終了する。
【０２５２】
次に、本実施の形態に係るデジタルカメラ２００の処理動作、特に、復号化装置１２４に基づく伸長復号化処理を含めた第３処理動作について図２４を参照しながら説明する。なお、復号化装置１２４に基づく圧縮復号化処理は、図１３の構成要素も参照しながら説明する。
【０２５３】
先ず、図２４のステップＳ８０１において、メインＣＰＵ２５０は、画像の選択完了を待つ。この画像の選択においては、圧縮符号化してメモリカード３２２に記録した複数の動画のサムネイル画像を液晶表示装置３３２に表示し、操作者がそのうちの１つの画像を選択する等によって行われる。画像が選択された段階で、ステップＳ８０２に進み、メインＣＰＵ２５０は、選択した画像に関する管理情報（記録媒体のＩＤコードや格納アドレス等）を例えばＥＥＰＲＯＭ２２２から読み出す。
【０２５４】
その後、ステップＳ８０３において、三次元モードであるか否かを判別する。この判別は、三次元／二次元モードフラグ２２６の内容に基づいて行われる。三次元モードであれば次のステップＳ８０４に進み、二次元モードであれば、二次元モードの処理へ制御を移す。
【０２５５】
ステップＳ８０４において、メインＣＰＵ２５０は、動画モードであるか否かを判別する。この判別は、動画用レリーズ２７８が操作されたかどうかで行われる。動画モードであれば次のステップＳ８０５に進み、静止画モードであれば、静止画モードの処理へ制御を移す。
【０２５６】
ステップＳ８０５以降から、メインＣＰＵ２５０は、復号化装置１２４の伸長復号化処理に準じた処理を行う。
【０２５７】
すなわち、ステップＳ８０５において、第１圧縮伸長回路２４２における第１復号化処理系１２６は、第１画像５４の伸長復号化を行い、伸長復号化された第１画像５４を画像表示処理回路２４０に転送する。画像表示処理回路２４０は、第１圧縮伸長回路２４２から転送された第１画像５４の復元データを画像データ変換回路３２８及び表示用駆動回路３３０を介して液晶表示装置３３２に出力することによって、該液晶表示装置３３２の画面に第１画像５４を表示する。
【０２５８】
その後、ステップＳ８０６において、第２圧縮伸長回路２４６における第２復号化処理系１２８は、第２画像９４の符号化データに含まれているコード情報１１４を読み出してコード情報処理回路１５６に送信する。
【０２５９】
その後、ステップＳ８０７において、コード情報処理回路１５６は、コード情報１１４に含まれるアドレスコードに基づいて、第１復号化回路１３２にて復元された第１画像５４を利用して第２画像９４の一部を復元する。
【０２６０】
その後、ステップＳ８０８において、第２圧縮伸長回路２４６における第２復号化回路１５２及び第４動き補償回路１５４は、第２画像９４の部分画像の伸長復号化を行う。
【０２６１】
その後、ステップＳ８０９において、第２圧縮伸長回路２４６における合成回路１５８は、コード情報１１４に基づいて復元された第２画像９４の一部と、第２復号化回路１５２及び第４動き補償回路１５４によって復元された部分画像とを合成することにより、第２画像９４に復元し、該第２画像９４を画像表示処理回路２４０に転送する。画像表示処理回路２４０は、第２圧縮伸長回路２４６から転送された第２画像９４の復元データを画像データ変換回路３２８及び表示用駆動回路３３０を介して液晶表示装置３３２に出力することによって、該液晶表示装置３３２の画面に第２画像９４を表示する。
【０２６２】
そして、次のステップＳ８１０において、メインＣＰＵ２５０は、再生終了か否かを判別する。この判別は、再生終了を示す操作入力があったかどうかで行われる。
【０２６３】
再生終了でなければ、ステップＳ８１１に進み、メインＣＰＵ２５０は、現在再生中の画像データが終了（ＥＯＤ：End of Data）であるか否かを判別する。画像データが終了でなければ、ステップＳ８０５に戻り、該ステップＳ８０５以降の処理を繰り返す。
【０２６４】
再生終了あるいは画像データが終了した段階で、次のステップＳ８１２に進み、液晶表示装置３３２へのサムネイル画像の表示等の再生終了処理を行って、この第３処理動作が終了する。
【０２６５】
本実施の形態に係るデジタルカメラにおいては、符号化処理、復号化処理の高速化、消費電力の低減化、並びに符号化後のデータ量の削減を図ることができる第２符号化装置、第３符号化装置、復号化装置と同様の機能を持たせるようにしたので、デジタルカメラで処理される三次元画像やマルチ画像の符号化処理、復号化処理の高速化、消費電力の低減化、並びに符号化後のデータ量の削減を図ることができる。
【０２６６】
なお、本発明に係る画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法、撮像装置、撮像装置の制御方法及びプログラムは、上述の実施の形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。
【図面の簡単な説明】
【０２６７】
【図１】第１符号化装置の構成を示すブロック図である。
【図２】第１符号化処理系の構成を示すブロック図である。
【図３】第１動き補償回路の動作を示す説明図である。
【図４】第２符号化処理系の構成を示すブロック図である。
【図５】第１カメラと第２カメラとが水平方向に沿って併設された場合の第１画像と第２画像の水平方向のずれを示す説明図である。
【図６】第１カメラと第２カメラとが垂直方向に沿って併設された場合の第１画像と第２画像の垂直方向のずれを示す説明図である。
【図７】４つのカメラをマトリクス状に配設した場合の４つの画像の水平方向のずれと垂直方向のずれを示す説明図である。
【図８】コード情報の内訳を示す説明図である。
【図９】第１符号化装置の基本的な処理動作を示すフローチャートである。
【図１０】第１符号化装置における第１符号化処理系の具体的な処理動作を示すフローチャートである。
【図１１】第１符号化装置における第２符号化処理系の具体的な処理動作を示すフローチャート（その１）である。
【図１２】第１符号化装置における第２符号化処理系の具体的な処理動作を示すフローチャート（その２）である。
【図１３】復号化装置の構成を示すブロック図である。
【図１４】第１復号化処理系の構成を示すブロック図である。
【図１５】第２復号化処理系の構成を示すブロック図である。
【図１６】復号化装置の基本的な処理動作を示すフローチャートである。
【図１７】第２符号化装置の構成を示すブロック図である。
【図１８】第２符号化装置の基本的な処理動作を示すフローチャートである。
【図１９】第３符号化装置の構成を示すブロック図である。
【図２０】第３符号化装置の基本的な処理動作を示すフローチャートである。
【図２１】本実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２２】本実施の形態に係るデジタルカメラの処理動作、特に、第２符号化装置に基づく圧縮符号化処理を含めた第１処理動作を示すフローチャートである。
【図２３】本実施の形態に係るデジタルカメラの処理動作、特に、第３符号化装置に基づく圧縮符号化処理を含めた第２処理動作を示すフローチャートである。
【図２４】本実施の形態に係るデジタルカメラの処理動作、特に、復号化装置に基づく伸長復号化処理を含めた第３処理動作を示すフローチャートである。
【符号の説明】
【０２６８】
１０Ａ〜１０Ｃ…第１符号化装置〜第３符号化装置
１２…第１カメラ                        １４…第２カメラ
１６…記録媒体                          １８…第１符号化処理系
２０…第２符号化処理系                  ２４…第１符号化回路
２６…第１動き補償回路                  ５２…第１動き補償予測器
５４、５４ａ〜５４ｃ…第１画像          ６０…第２符号化回路
６２…第２動き補償回路                  ８８…第２動き補償予測器
９０…記憶部                            ９２…探索範囲変更回路
９４…第２画像                          ９６…ずれ
１００…第１抽出回路                    １０２…第２抽出回路
１０４…比較回路                        １０６…コード情報作成回路
１０８…コード情報転送回路              １１０…圧縮処理テーブル作成回路
１１２…第３抽出回路                    １１４…コード情報
１２４…復号化装置                      １２６…第１復号化処理系
１２８…第２復号化処理系                １３２…第１復号化回路
１３４…第３動き補償回路                １４８…第３動き補償予測器
１５２…第２復号化回路                  １５４…第４動き補償回路
１５６…コード情報処理回路              １５８…合成回路
１７２…第４動き補償予測器              １８６…光学系情報検出回路
１８８…第１ずれ情報設定回路            １９０…測距回路
１９２…第２ずれ情報設定回路            ２００…デジタルカメラ
２３０…カメラ間隔／輻輳角処理回路      ２３４…測距処理回路
２３８…画像記録処理回路                ２４０…画像表示処理回路
２４２…第１圧縮伸長回路                ２４６…第２圧縮伸長回路
２５０…メインＣＰＵ                    ３２２…メモリカード
３３２…液晶表示装置
【図１】
2008211502.tif 000003
【図２】
2008211502.tif 000004
【図３】
2008211502.tif 000005
【図４】
2008211502.tif 000006
【図５】
2008211502.tif 000007
【図６】
2008211502.tif 000008
【図７】
2008211502.tif 000009
【図８】
2008211502.tif 000010
【図９】
2008211502.tif 000011
【図１０】
2008211502.tif 000012
【図１１】
2008211502.tif 000013
【図１２】
2008211502.tif 000014
【図１３】
2008211502.tif 000015
【図１４】
2008211502.tif 000016
【図１５】
2008211502.tif 000017
【図１６】
2008211502.tif 000018
【図１７】
2008211502.tif 000019
【図１８】
2008211502.tif 000020
【図１９】
2008211502.tif 000021
【図２０】
2008211502.tif 000022
【図２１】
2008211502.tif 000023
【図２２】
2008211502.tif 000024
【図２３】
2008211502.tif 000025
【図２４】
2008211502.tif 000026