(57)【特許請求の範囲】
【請求項１】
被写体を２つの視点から撮像して得た２つの画像データから前記被写体各部までの距離を算出して立体画像データを生成する画像処理装置において、
前記２つの画像データを入力する画像入力手段と、
入力された前記画像データの全ての画素を読み出す読出手段と、
前記立体画像データを保存するために設定された保存データサイズの大きさに応じた間引き率で、前記２つの画像データのうちの一方の画像データを構成する画素を間引く間引き手段と、
該間引き手段による間引き後の画素について、前記一方の画像データを構成する画素と前記２つの画像データのうちの他方の画像データを構成する画素とを使用して前記距離を算出する距離算出手段とを備えてなることを特徴とする画像処理装置。
【請求項２】
被写体を２つの視点から撮像して得た２つの画像データから前記被写体各部までの距離を算出して立体画像データを生成する画像処理装置において、
前記２つの画像データを入力する画像入力手段と、
入力された前記画像データの全ての画素を読み出す読出手段と、
読み出された前記全ての画素について前記距離を算出する距離算出手段と、
前記立体画像データを保存するために設定された保存データサイズの大きさに応じた間引き率で前記距離算出手段により算出された距離のデータを間引くことによりデータサイズを低減するデータサイズ低減手段とを備え、
前記データサイズ低減手段が、前記画素のうち周囲の画素とのデータの値の差分値が大きい画素の順に、前記距離算出手段により算出された距離のデータを残して間引くものであることを特徴とする画像処理装置。
【請求項３】
前記間引き手段が、前記画素のうち周囲の画素とのデータの値の差分値が大きい画素の順に画素を残して間引くものであることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像入力手段が、２つのカメラからなるものであることを特徴とする請求項１から３いずれか１項に記載の画像処理装置。
【請求項５】
前記画像入力手段が、２つのレンズを備えた複眼カメラであることを特徴とする請求項１から３いずれか１項に記載の画像処理装置。
【請求項６】
被写体を２つの視点から撮像して得た２つの画像データから前記被写体各部までの距離を算出して立体画像データを生成する画像処理方法において、
前記２つの画像データを入力し、
該入力された前記画像データの全ての画素を読み出し、
前記立体画像データを保存するために設定された保存データサイズの大きさに応じた間引き率で、前記２つの画像データのうちの一方の画像データを構成する画素を間引き、
該間引き後の画素について、前記一方の画像データを構成する画素と前記２つの画像データのうちの他方の画像データを構成する画素とを使用して前記距離を算出することを特徴とする画像処理方法。
【請求項７】
被写体を２つの視点から撮像して得た２つの画像データから前記被写体各部までの距離を算出して立体画像データを生成する画像処理方法において、
前記２つの画像データを入力し、
該入力された前記画像データの全ての画素を読み出し、
該読み出された前記全ての画素について前記距離を算出し、
前記画素のうち周囲の画素とのデータの値の差分値が大きい画素の順に、前記立体画像データを保存するために設定された保存データサイズの大きさに応じた間引き率で前記算出された距離のデータを残して間引くことによりデータサイズを低減することを特徴とする画像処理方法。
【請求項８】
コンピュータに、被写体を２つの視点から撮像して得た２つの画像データから前記被写体各部までの距離を算出して立体画像データを生成することを実行させるための画像処理プログラムにおいて、
前記２つの画像データを入力し、
該入力された前記画像データの全ての画素を読み出し、
前記立体画像データを保存するために設定された保存データサイズの大きさに応じた間引き率で、前記２つの画像データのうちの一方の画像データを構成する画素を間引き、
該間引き後の画素について、前記一方の画像データを構成する画素と前記２つの画像データのうちの他方の画像データを構成する画素とを使用して前記距離を算出することを実行させるための画像処理プログラム。
【請求項９】
コンピュータに、被写体を２つの視点から撮像して得た２つの画像データから前記被写体各部までの距離を算出して立体画像データを生成することを実行させるための画像処理プログラムにおいて、
前記２つの画像データを入力し、
該入力された前記画像データの全ての画素を読み出し、
該読み出された前記全ての画素について前記距離を算出し、
前記画素のうち周囲の画素とのデータの値の差分値が大きい画素の順に、前記立体画像データを保存するために設定された保存データサイズの大きさに応じた間引き率で前記算出された距離のデータを残して間引くことによりデータサイズを低減することを実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を２つの視点から撮像して得た２つの画像から立体画像データを生成する画像処理装置に関し、特に保存するデータのサイズを低減する画像処理装置及び画像処理方法並びにプログラムに関するものである。
【背景技術】
【０００２】
近年、被写体を２つの視点から撮像して得た左右画像データから立体画像データを生成する画像処理装置が提案されており、このような画像処理装置では、生成された画像データを伝送又は記録等するときの利便性から、保存データのサイズの低減が望まれている。
【０００３】
そこで、撮像して得た左右画像データを、所定の圧縮率に応じて間引くことにより圧縮して記録再生する複眼撮像装置や（特許文献１）、画素数の異なる左右画像を補間又は間引きによって画素数を合わせて測距演算を行う三次元構造推定装置（特許文献２）、左右画像を間引いてサンプリングし、サンプリングの位置情報に応じた色情報計算を行う立体画像作成装置（特許文献３）等が提案されている。
【特許文献１】特開平８−３２８７１号公報
【特許文献２】特開平１０−１３４１８７号公報
【特許文献３】特開２００３−３１９４１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら従来のように左右画像データを間引いたり、合成したりすることによりサイズダウンして距離を求め、立体画像データを生成する画像処理装置においては、左右画像において画素の間引きや合成を行うと、例えば図１８に示す如く、間引き前は左画像Ｐｌと右画像Ｐｒにおいて対応する点として人物の右目Ｃが検出できるが、間引き後は左画像Ｐｌでは右目Ｃを検出できても、右画像Ｐｒでは右目Ｃの画素が間引かれてしまって検出することができず、対応点が見つからないために正確な距離が算出できない虞がある。
【０００５】
本発明はかかる事情に鑑みてなされたものであり、測距精度を下げることなく、保存データのサイズを低減する画像処理装置及び画像処理方法並びにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
本発明の第一の画像処理装置は、被写体を２つの視点から撮像して得た２つの画像データから前記被写体各部までの距離を算出して立体画像データを生成する画像処理装置において、
前記２つの画像データを入力する画像入力手段と、
入力された前記画像データの全ての画素を読み出す読出手段と、
前記立体画像データを保存するために設定された保存データサイズの大きさに応じた間引き率で、前記２つの画像データのうちの一方の画像データを構成する画素を間引く間引き手段と、
該間引き手段による間引き後の画素について前記距離を算出する距離算出手段とを備えてなることを特徴とするものである。
【０００７】
また本発明の第二の画像処理装置は、写体を２つの視点から撮像して得た２つの画像データから前記被写体各部までの距離を算出して立体画像データを生成する画像処理装置において、
前記２つの画像データを入力する画像入力手段と、
入力された前記画像データの全ての画素を読み出す読出手段と、
読み出された前記全ての画素について前記距離を算出する距離算出手段と、
前記立体画像データを保存するために設定された保存データサイズの大きさに応じた間引き率で、前記距離算出手段により算出された距離のデータを合成するか、又は間引くことによりデータサイズを低減するデータサイズ低減手段とを備えてなることを特徴とするものである。
【０００８】
なお本発明の第一の画像処理装置は、前記間引き手段が、前記画素のうち周囲の画素とのデータの値の差分値が大きい画素の順に画素を残して間引くものであってもよい。
【０００９】
また本発明の第二の画像処理装置は、前記データサイズ低減手段が、前記画素のうち周囲の画素とのデータの値の差分値が大きい画素の順に、前記距離算出手段により算出された距離のデータを残して合成するか、又は間引くものであってもよい。
【００１０】
また本発明の第二の画像処理装置は、前記データサイズ低減手段が、前記２つの画像データにおける対応する画素間の相関度が高い画素の順に、前記距離算出手段により算出された距離のデータを残して合成するか、又は間引くものであってもよい。
【００１１】
また本発明の第二の画像処理装置は、前記データサイズ低減手段が、前記距離算出手段により算出された距離に対して、前記２つの画像データにおける対応する画素間の相関度による重み付けを行い、該重み付けの後、前記距離のデータを合成するものであってもよい。
【００１２】
なお本発明の画像処理装置は、前記画像入力手段が、２つのカメラからなるものであってもよい。
【００１３】
また本発明の画像処理装置は、前記画像入力手段が、２つのレンズを備えた複眼カメラであってもよい。
【００１４】
本発明の第一の撮像処理方法は、被写体を２つの視点から撮像して得た２つの画像データから前記被写体各部までの距離を算出して立体画像データを生成する画像処理方法において、
前記２つの画像データを入力し、
該入力された前記画像データの全ての画素を読み出し、
前記立体画像データを保存するために設定された保存データサイズの大きさに応じた間引き率で、前記２つの画像データのうちの一方の画像データを構成する画素を間引き、
該間引き後の画素について前記距離を算出することを特徴とするものである。
【００１５】
また本発明の第二の撮像処理方法は、被写体を２つの視点から撮像して得た２つの画像データから前記被写体各部までの距離を算出して立体画像データを生成する画像処理方法において、
前記２つの画像データを入力し、
該入力された前記画像データの全ての画素を読み出し、
該読み出された前記全ての画素について前記距離を算出し、
前記立体画像データを保存するために設定された保存データサイズの大きさに応じた間引き率で、前記距離算出手段により算出された距離のデータを合成するか、又は間引くことによりデータサイズを低減することを特徴とするものである。
【００１６】
また本発明の第一の画像処理プログラムは、コンピュータに、被写体を２つの視点から撮像して得た２つの画像データから前記被写体各部までの距離を算出して立体画像データを生成することを実行させるための画像処理プログラムにおいて、
前記２つの画像データを入力し、
該入力された前記画像データの全ての画素を読み出し、
前記立体画像データを保存するために設定された保存データサイズの大きさに応じた間引き率で、前記２つの画像データのうちの一方の画像データを構成する画素を間引き、
該間引き後の画素について前記距離を算出することを実行させるためのものである。
【００１７】
また本発明の第二の画像処理プログラムは、コンピュータに、被写体を２つの視点から撮像して得た２つの画像データから前記被写体各部までの距離を算出して立体画像データを生成することを実行させるための画像処理プログラムにおいて、
前記２つの画像データを入力し、
該入力された前記画像データの全ての画素を読み出し、
該読み出された前記全ての画素について前記距離を算出し、
前記立体画像データを保存するために設定された保存データサイズの大きさに応じた間引き率で、前記距離算出手段により算出された距離のデータを合成するか、又は間引くことによりデータサイズを低減することを実行させるためのものである。
【発明の効果】
【００１８】
第一の発明によれば、入力された２つの画像データの全ての画素を読み出し、被写体各部までの距離を算出する前に、立体画像データを保存するために設定された保存データサイズの大きさに応じた間引き率で、一方の画像データについてのみこの画像データを構成する画素を間引き、間引き後の画素についてのみ前記距離を算出するので、距離の算出には全ての画素値を使用することができると共に必要な画素についてのみ距離の算出ができることにより、測距精度を下げることなく保存データのサイズを低減することができると共に距離の算出に要する時間を低減することができる。
【００１９】
また第二の発明によれば、入力された２つの画像データの全ての画素を読み出し、全ての画素について被写体各部までの距離を算出して、距離の算出後に、立体画像データを保存するために設定された保存データサイズの大きさに応じた間引き率で前記距離のデータを合成するか、又は間引いてデータサイズを低減するので、距離の算出には全ての画素値を使用することができると共に必要な距離データのみを記録できることにより、測距精度を下げることなく保存データのサイズを低減することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明にかかる第一の実施形態の画像処理装置１について、図面を参照して詳細に説明する。図１は本実施形態の画像処理装置１の機能構成を示すブロック図である。本実施形態の画像処理装置１は、図１に示す如く、画像入力部（画像入力手段）１０、操作部１１、表示制御部１２、モニタ１３、読出部（読出手段）１４、保存データサイズ設定部１５、間引き部（間引き手段）１６、距離算出部（距離算出手段）１７、データ圧縮部１８、メディア制御部１９、記録メディア２０、内部メモリ２１等を備えており、これらはデータバス２２を介して、各種信号、データの送受信を行う。
【００２１】
画像入力部１０は、画像を入力するものであり、被写体を２つの視点から撮像して得た２つの画像データが入力される。なお本実施形態では入力される画像データを２つとしたが、異なる視点から撮像された、いわゆる視差画像のデータであれば３つや４つ等の複数の画像データを入力してもよい。
【００２２】
操作部１１は、動作モードスイッチ、メニュー／ＯＫボタン、上下レバー、左右ボタン、Ｂａｃｋ（戻り）ボタン、表示切替ボタン、レリーズボタン、電源スイッチ等で構成されるものであり、ユーザがこれらを操作することにより各種設定を行う。
【００２３】
表示制御部１２は、画像入力部１０により入力された画像をモニタ１３に表示させる他に、後述の距離算出部１７により算出された被写体各部までの距離データつまり奥行きデータに基づいて生成された被写体の立体画像をモニタ１３に表示することができる。また表示制御部１２は、後述の記録メディア２０に記録され、メディア制御部１９によって読み出された立体画像データに基づく立体画像をモニタ１３に表示させる。
【００２４】
モニタ１３は、表示制御部１２を介して平面画像又は立体画像を表示するものであり、操作部１１によって設定操作される各種設定メニュー等も表示する。
【００２５】
読出部１４は、画像入力部１０により入力された画像データを構成する全ての画素の画素値を読み出す。なお読み出された画素値に基づいて公知の変換処理を行うことにより全ての画素について輝度値等の情報を得ることができる。
【００２６】
保存データサイズ設定部１５は、被写体を２つの視点から撮像して得た２つの画像データから算出される距離データの保存データサイズを設定する。保存データサイズの設定は、ユーザが操作部１１を操作することによって行うことができる。
【００２７】
間引き部１６は、入力された２つの画像データのうちの一方の画像データ、すなわち被写体各部までの距離を算出するときに基準となる画像データを構成する画素を、保存データサイズ部１６により設定された保存データサイズの大きさに応じた間引き率で間引くものである。
【００２８】
距離算出部１７は、間引き部１６による間引き後の画素について、２つの画像データから被写体各部までの距離を算出する。なお間引き部１６による間引き方法及び距離算出部１７による距離の算出方法は、後で詳細に説明する。
【００２９】
データ圧縮部１８は、算出された距離データを圧縮処理するものであり、圧縮された距離データはメディア制御部１９を介して記録メディア２０に記録される。
【００３０】
メディア制御部１９は、記録メディア２０に記憶された距離データ等の読み出し、又は距離データ等の書き込みを行う。
【００３１】
記録メディア２０は、距離データ等の各種データを記憶可能な記録媒体であり、磁気的又は光学的記録媒体、半導体メモリ等によって構成されている。
【００３２】
内部メモリ２１は、画像処理装置１において設定される各種定数やプログラム等を格納するものであって、画像入力部１０により入力された画像データや距離算出部１７により算出された距離データ等を記憶するバッファメモリとしても機能する。
【００３３】
本実施形態の画像処理装置１は上記のように構成されている。次に画像処理装置１による画像処理について説明する。図２は画像処理装置１による一連の画像処理のフローチャート、図３は間引き部１６による間引きの一例である。
【００３４】
本実施形態の画像処理装置１は、図２に示す如く、画像入力部１０が２つの画像データＡ、Ｂを入力し（ステップＳ１）、読出部１４が画像データＡ及び画像データＢの全ての画素における画素値を読み出す（ステップＳ２）。
【００３５】
また画像処理装置１は、保存データサイズ設定部１６が設定した保存データサイズの大きさを判別する（ステップＳ３）。このとき保存データサイズの大きさは、ユーザが操作部１１を操作することによって予め設定されている。
【００３６】
そして保存データサイズがフルサイズである場合には（ステップＳ３；フルサイズ）、図３の左図に示す画像データＡ１又は画像データＡ２の如く、間引きを行わずに距離算出部１７が全ての画素を用いて被写体各部までの距離を算出する（ステップＳ４）。
【００３７】
一方、保存データサイズが例えば半分のサイズである場合には（ステップＳ３；半分サイズ）、間引き部１６が間引き率の５０％で、２つの画像データＡ、Ｂのうちの一方の画像データ（本実施形態では画像データＡ）を構成する画素を間引く。
【００３８】
間引き部１６による間引き方法としては、保存データサイズ設定部１５が設定した保存データサイズが半分のサイズである場合には、例えば図３の真ん中の上図に示す画像データＡ１の如く、一画素毎に交互に距離算出を行う画素と行わない画素とを決定し、距離算出を行わない画素を間引く。また図３の真ん中の下図に示す画像データＡ２の如く、一列毎に交互に距離算出を行う画素の列と行わない画素の列とを決定し、距離算出を行わない画素の列を間引いてもよい。
【００３９】
なお本実施形態では、保存データサイズを半分のサイズとしたが例えば１／４のサイズ等、別のサイズであってもよい。１／４のサイズの場合例えば図３の右上図に示す画像データＡ１の如く、２×２の画素において１つの画素が距離算出行う画素、他の３つの画素が距離算出を行わない画素となるように、例えば奇数の列は一画素毎に交互に距離算出を行う画素と行わない画素とを決定し、偶数の列は距離算出を行わない画素の列としてもよい。また図３の右下図に示す画像データＡ２の如く、４列の画素において１列が距離算出を行う画素の列、他の３列が距離算出を行わない画素の列となるように、例えば１列目及び４の倍数列のみを距離算出を行う列としてもよい。このように保存データサイズの大きさに応じて間引き率を変更する。
【００４０】
なお本実施形態では、距離算出を行う画素を画像データＡ１又は画像データＡ２のように決定したが、本発明はこれに限られるものではない。ここで保存データサイズ設定部１５が設定した保存データサイズが１／４のサイズである場合の間引き部１６による別の間引き方法について説明する。図４は画像データＡの一例、図５は間引き部１６による間引き処理のフローチャートである。
【００４１】
間引き部１６は、例えば図４に示す如く、ａ２ｂ２、ａ２ｂ３、ａ３ｂ２、ａ３、ｂ３の４つの画素Ａ、Ｂ、Ｃ、Ｄの中から距離算出を行う画素を決定すべく、図５に示す如く、ｉにＡ〜Ｄを順に代入し（ステップＳ１０）、画素Ａ〜ＤについてそれぞれステップＳ１１〜ステップＳ１９の処理を実行する。
【００４２】
先ず画素ｉと、画素ｉの上の画素（例えば画素Ａのときにはａ１ｂ１）の輝度差を求めて、ｉｕとする（ステップＳ１１）。次に画素ｉと、画素ｉの下の画素（例えば画素Ａのときには画素Ｃ）の輝度差を求めてｉｄとし（ステップＳ１２）、画素ｉと、画素ｉの左の画素（例えば画素Ａのときにはａ２ｂ１）の輝度差を求めてｉｌとして（ステップＳ１３）、画素ｉと、画素ｉの右の画素（例えば画素Ａのときには画素Ｂ）の輝度差を求めてｉｒとする（ステップＳ１４）。
【００４３】
そしてステップＳ１１からステップＳ１４にて算出された輝度差ｉｕ、ｉｄ、ｉｌ。ｉｒのうち最も大きい輝度差を判別し（ステップＳ１５）、輝度差ｉｕが最も大きい輝度差である場合には（ステップＳ１５；ｉｕ）、ｉｕをＭｉとしてバッファメモリ（内部メモリ）２１に記憶する（ステップＳ１６）。
【００４４】
また輝度差ｉｄが最も大きい輝度差である場合には（ステップＳ１５；ｉｄ）、ｉｄをＭｉとして、輝度差ｉｌが最も大きい輝度差である場合には（ステップＳ１５；ｉｌ）、ｉｌをＭｉとして、輝度差ｉｒが最も大きい輝度差である場合には（ステップＳ１５；ｉｒ）、ｉｒをＭｉとしてそれぞれバッファ（内部メモリ）２１に記憶する（ステップＳ１７〜ステップＳ１９）。
【００４５】
次にステップＳ１６〜ステップＳ１９にて画素Ａ〜Ｄについてそれぞれバッファ（内部メモリ）２１に記憶されたＭＡ〜ＭＤのうち最も大きい輝度差であるものを判別し（ステップＳ２０）、輝度差ＭＡが最も大きい輝度差である場合には（ステップＳ２０；ＭＡ）、画素Ａの距離算出（ステップＳ２１）、輝度差ＭＢが最も大きい輝度差である場合には（ステップＳ２０；ＭＢ）、画素Ｂの距離算出（ステップＳ２２）、輝度差ＭＣが最も大きい輝度差である場合には（ステップＳ２０；ＭＣ）、画素Ｃの距離算出（ステップＳ２３）、輝度差ＭＤが最も大きい輝度差である場合には（ステップＳ２０；ＭＤ）、画素Ｄの距離算出をそれぞれ行う（ステップＳ２４）。
【００４６】
なお画像データＡを構成する画素全てにおいて同様の処理を行って、距離算出を行う画素と距離算出を行わない画素を決定し、距離算出を行わない画素を間引くことにより画像データＡを構成する画素の３／４を間引いて間引き処理を終了する。
【００４７】
このように輝度差が大きい画素について距離算出を行うことにより、輝度差が大きい画素はエッジすなわち被写体の輪郭部分である可能性が高いため、被写体精度が高くなり距離データの精度を高くすることができる。
【００４８】
上記のようにして間引き部１６による間引き処理が行われると（ステップＳ５）、図２に示す如く、距離算出部１７が間引き部１６による間引き後の画素を用いて距離の算出を行う（ステップＳ６）。ここで図６Ａに画像データＡと画像データＢの一例、図６Ｂに図６Ａ中のブロックＷｉｊの一例をそれぞれ示す。なお本実施形態では、図６Ａの画像データＡは距離算出を行う画素（図中丸印）と行わない画素（図中バツ印）が一画素毎に交互に決定されたものとして以下説明する。
【００４９】
距離算出部１７は、図６Ａ左図に示す如く、画像データＡにおいて基準となる画素をＡａ２Ａｂ２画素とした場合に、Ａａ２Ａｂ２画素は間引き部１６によって距離算出する画素（丸印）に決定されているため、距離算出を行う。距離算出は先ずＡａ２Ａｂ２画素と該画素の周囲の画素で形成される例えば図６Ｂに示すような３×３の画素のブロックＷ２２を構成し、図６Ａ右図に示す如く、画像データＢ中で例えば水平方向にブロックＷ２２を順にずらしながら濃淡等の形状パターンの一致度評価値（相関度）を計算して、画像データＢにおいてブロックＷ２２と対応するブロックＷｉｊを検出する。なお前記一致度評価値の計算は、例えば各画素の差の絶対値を合計する、または各画素の差を２乗したものを合計するなど、公知の技術を使用することができる。
【００５０】
そして画像データＡと画像データＢにおいて対応するブロックＷｉｊの位置情報から視差を算出し、この視差に基づいて三角測量の原理により被写体までの距離を算出する。そして次に図６Ａ左図に示す如く、基準となる画素を水平方向に一画素ずらし、Ａａ２Ａｂ３画素を基準とするブロックＷ２３を構成する。しかしながらＡａ２Ａｂ３画素は間引き部１６によって距離算出しない画素（バツ印）に決定されている画素であるため、距離算出は行わずに、基準となる画素を水平方向にさらに一画素ずらして上記と同様の処理を行う。
【００５１】
このように間引き部１６により距離算出を行うことが決定された画素についてのみ距離算出を行って被写体までの距離データを得るので、距離データを得るのに要する時間を短縮することができる。また読出部１４が画像データＡを構成する全ての画素について画素値を読み出しているので距離算出を行うときに、図６Ｂに示す如く、距離算出を行わない画素（図中バツ印）つまり間引かれる画素を使用することができる。従って例えば間引かれる画素が特徴的な形状パターンの一部を有するものであっても距離算出時には使用することができるので、測距精度を下げることなくデータサイズを低減することができる。
【００５２】
なお上記距離算出方法は、いわゆる領域ベースマッチング（area-based matching）といわれる方法を使用したが、本発明はこれに限られるものではなく、先に画像データからエッジやセグメント等の特徴点を見つけ出し、画像データＡと画像データＢにおけるこの特徴点の相関度から画像データＡ及び画像データＢ間の対応を検出して、該対応に基づいて三角測量の原理により被写体までの距離を算出する、いわゆる特徴ベースマッチング（feature-based matching）といわれる方法等を使用しても良い。ここで図７Ａに画像データＡと画像データＢの別の一例、図７Ｂに図７Ａ中のブロックＷＡの一例を示す。
【００５３】
特徴ベースマッチング方法を使用する場合、図７Ａ左図に示す如く、前記特徴点を含む画素で構成するブロックＷＡにおいて、図７Ｂに示す如く、基準となる画素を例えば中央のＡａ２Ａｂ２画素に設定し、この基準となる画素が間引き部１６により決定された距離算出を行う画素（丸印）であるブロックＷＡについてのみ、図７Ａ右図に示す如く、画像データＢにおいてブロックＷＢを走査させながらブロックＷＡと相関度の高いブロックＷＢ’を検出し、ブロックＷＡとブロックＷＢ間の距離を算出し三角測量の原理に基づいて距離算出を行うようにする。
【００５４】
これにより特徴点を検出するときに画像データを構成する全ての画素が読み出されているので、特徴点を含む画素が読み出しされず間引かれてしまうことにより対応点が見つからなくなるのを防止することができて特徴点の検出精度の低減を防止することができる。また特徴点を含む画素で構成するブロックＷＡにおいて、例えばＡａ２Ａｂ１等の間引かれる画素（バツ印）を使用することができるので、上記と同様に測距精度を下げることなくデータサイズを低減することができる。
【００５５】
距離算出部１７は上記のようにして被写体各部までの距離の算出を行う。そして図２に示す如く、距離を算出して距離データを取得すると（ステップＳ６）、次にデータ圧縮部１８が算出した距離データを圧縮し、メディア制御部１９が圧縮された距離データを記録メディア２０に記録して（ステップＳ７）、画像処理装置１による画像処理を終了する。
【００５６】
本実施形態の画像処理装置１によれば、入力された２つの画像データＡ，Ｂの全ての画素を読み出し、被写体各部までの距離を算出する前に、保存データサイズ設定部１５により設定された保存データサイズの大きさに応じた間引き率で、画像データＡについてのみ画像データＡを構成する画素を間引き、間引き後の画素についてのみ前記距離を算出するので、距離の算出には全ての画素値を使用することができると共に必要な画素についてのみ距離の算出ができることにより、測距精度を下げることなく保存データのサイズを低減することができると共に距離の算出に要する時間を低減することができる。
【００５７】
次に本発明にかかる第二の実施形態の画像処理装置１−２について、図面を参照して詳細に説明する。図８は本実施形態の画像処理装置１−２の機能構成を示すブロック図である。なお本実施形態では便宜上、図８において上記実施形態の画像処理装置１のブロック図（図１）と同様の箇所は同じ符号で示して説明を省略する。
【００５８】
本実施形態の画像処理装置１−２は、距離算出部１７’が上記実施形態とは異なるものであり、距離算出部１７’は読出部１４によって読み出された全ての画素について被写体各部までの距離を算出するものである。
【００５９】
また本実施形態では間引き部１６は備えずに、データサイズ低減部２３を備えている。データサイズ低減部２３は、保存データサイズ設定部１５により設定された保存データサイズの大きさに応じた間引き率で、距離算出部１７’により算出された距離のデータを合成又は間引くことによりデータサイズを低減するものである。なおデータサイズ低減部２３によるデータサイズの低減方法は後で詳細に説明する。
【００６０】
本実施形態の画像処理装置１−２は上記のように構成されている。次に画像処理装置１−２による画像処理について説明する。図９は画像処理装置１−２による一連の画像処理のフローチャート、図１０（ａ）はデータサイズ低減部２３による距離データの間引きの一例、図１０（ｂ）はデータサイズ低減部２３による距離データの合成の一例である。
【００６１】
本実施形態の画像処理装置１−２は、図９に示す如く、画像入力部１０が２つの画像データＡ、Ｂを入力し（ステップＳ３０）、読出部１４が画像データＡ及び画像データＢの全ての画素における画素値を読み出す（ステップＳ３１）。
【００６２】
次に距離算出部１７’が、画像データＡを構成する全ての画素について被写体各部までの距離を算出する（ステップＳ３２）。このとき算出された距離のデータは、バッファ２１に記憶しておく。なお距離の算出方法としては上記実施形態と同様の三角測量の原理を用いる方法を使用することができる。そして画像処理装置１−２は、保存データサイズ設定部１６が設定した保存データサイズの大きさを判別する（ステップＳ３３）。このとき保存データサイズの大きさは、ユーザが操作部１１を操作することによって予め設定されている。
【００６３】
そして保存データサイズがフルサイズである場合には（ステップＳ３３；フルサイズ）、図１０（ａ）又は図１０（ｂ）の左図に示す画像データＡ３又は画像データＡ４の如く、間引きや合成を行わずに距離算出部１７’により画像データＡを構成する全ての画素について算出された距離データをデータ圧縮部１８が圧縮した後で、圧縮された記録データをメディア制御部１９が記録メディア２０に記録する（ステップＳ３４）。
【００６４】
一方、保存データサイズが例えば半分のサイズである場合には（ステップＳ３３；半分サイズ）、データサイズ低減部２３が５０％の間引き率で、距離算出部１７’により算出された距離データを合成するか、又は間引くことによりデータサイズを半分に低減する（ステップＳ３５）。
【００６５】
データサイズ低減部２３による間引き方法としては、上記実施形態の間引き部１６と概略同様の間引き方法を使用することができ、図１０（ａ）に示す如く、画像データＡを構成する画素において記録を行う画素と行わない画素を決定し、記録を行わない画素について算出された距離のデータを間引く。
【００６６】
またデータサイズ低減部２３による合成方法としては、間引き率が５０％つまり１／２画素分の距離のデータを記録するときには、図１０（ｂ）の真ん中の図に示す如く、例えば上下の２画素、ａ１ｂ１画素とａ２ｂ１画素について算出された距離のデータを合成するか、又はどちらか一方を選択して１つの距離データとし、間引き率が７５％つまり１／４画素分の距離のデータを記録するときには、例えば隣接する４画素、ａ１ｂ１画素、ａ１ｂ２画素、ａ２ｂ１画素及びａ２ｂ２画素について算出された距離のデータを合成するか、又は４つの距離のデータから１つを選択して１つの距離データとする。この距離データは最大値、最小値、中央値を選択してもよいし、平均値を用いても良い。
【００６７】
ここで図１１にデータサイズ低減部２３によるデータサイズ低減処理のフローチャートを示す。なお便宜上、図１１において図５と同じ処理は同じステップ番号で示して説明を省略する。
【００６８】
データ低減部２３は、例えば図４に示す如く、ａ２ｂ２、ａ２ｂ３、ａ３ｂ２、ａ３、ｂ３の画素Ａ、Ｂ、Ｃ、Ｄの中から距離データの記録を行う画素を決定すべく、図１１に示す如く、ｉにＡ〜Ｄを順に代入し（ステップＳ１０）、画素Ａ〜ＤについてそれぞれステップＳ１１〜ステップＳ１９処理を実行して輝度差Ｍｉをバッファ２１に記憶する。
【００６９】
次にステップＳ１６〜ステップＳ１９にてそれぞれバッファ（内部メモリ）２１に記憶されたＭＡ〜ＭＤのうち最も大きい輝度差を判別し（ステップＳ２０）、輝度差ＭＡが最も大きい輝度差である場合には（ステップＳ２０；ＭＡ）、図９のステップＳ３２にて画素Ａについて算出された距離ＤＡを、記録する距離データとする（ステップＳ４１）。
【００７０】
また輝度差ＭＢが最も大きい輝度差である場合には（ステップＳ２０；ＭＢ）、画素Ｂについて算出された距離ＤＢを記録する距離データとし（ステップＳ４２）、輝度差ＭＣが最も大きい輝度差である場合には（ステップＳ２０；ＭＣ）、画素Ｃについて算出された距離ＤＣを記録する距離データとし（ステップＳ４３）、輝度差ＭＤが最も大きい輝度差である場合には（ステップＳ２０；ＭＤ）、画素Ｄについて算出された距離ＤＤを記録する距離データとする（ステップＳ４４）。
【００７１】
なお画像データＡを構成する画素全てにおいて同様の処理を行って、記録する距離データと記録しない距離データとを決定し、４つの画素についてそれぞれ算出された４つの距離データを１つの距離データにすることによりデータサイズを低減して処理を終了する。
【００７２】
このように輝度差が大きい画素について算出された距離を記録する距離データとすることにより、輝度差が大きい画素はエッジすなわち被写体の輪郭部分である可能性が高いため、被写体精度が高くなり距離データの精度を高くすることができる。
【００７３】
次にデータサイズ低減部２３による別の低減処理について説明する。図１２に別のデータサイズ低減処理のフローチャートを示す。
【００７４】
データサイズ低減部２３は、例えば図４に示す如く、ａ２ｂ２、ａ２ｂ３、ａ３ｂ２、ａ３、ｂ３の画素Ａ、Ｂ、Ｃ、Ｄの中から距離データの記録を行う画素を決定すべく、図１２に示す如く、ｉにＡ〜Ｄを順に代入し（ステップＳ５０）、図９のステップＳ３２で画素Ａ〜Ｄについて距離を算出した時の相関度をＣＡ、ＣＢ、ＣＣ、ＣＤつまりＣｉとしてバッファ２１に記憶する（ステップＳ５１）。
【００７５】
次に画素Ａ〜Ｄにおけるそれぞれの相関度ＣＡ〜ＣＤの中で最も大きい値を判別する（ステップＳ５２）。このとき相関度の値が大きい程、画像データＡと画像データＢにおける被写体の一致度が高いものとする。
【００７６】
そして相関度ＣＡの値が最も大きい場合（ステップＳ５２；ＣＡ）には、図９のステップＳ３２にて画素Ａについて算出された距離を記録する距離データとし（ステップＳ５３、相関度ＣＢの値が最も大きい場合（ステップＳ５２；ＣＢ）には、画素Ｂについて算出された距離を記録する距離データする（ステップＳ５４）。また相関度ＣＣの値が最も大きい場合（ステップＳ５２；ＣＣ）には、画素Ｃについて算出された距離を記録する距離データと（ステップＳ５５）、相関度ＣＤの値が最も大きい場合（ステップＳ５２；ＣＤ）には、画素Ｄについて算出された距離を記録する距離データとする（ステップＳ５６）。
【００７７】
なお画像データＡを構成する画素全てにおいて同様の処理を行って、記録する距離データと記録しない距離データとを決定し、４つの画素についてそれぞれ算出された４つの距離データを１つの距離データにすることによりデータサイズを低減して処理を終了する。
【００７８】
このように相関度の値が大きい画素つまり相関度が高い画素について算出された距離を記録する距離データとすることにより、相関度が高い画素は、画像データＡと画像データＢとで被写体の一致度が高いので被写体精度が高くなり距離データの精度を高くすることができる。
【００７９】
次にデータサイズ低減部２３によるさらに別の低減処理について説明する。図１３にさらに別のデータサイズ低減処理のフローチャートを示す。なお便宜上、図１３において図１２と同じ処理は同じステップ番号で示して説明を省略する。
【００８０】
データサイズ低減部２３は、図１３に示す如く、ステップＳ５１にて相関度をＣｉとして記憶すると（ステップＳ５１）、次に画素Ａ〜Ｄについて、それぞれ下記式（１）を求める（ステップＳ５７）。
【００８１】
Ｄｉ’＝Ｄｉ×Ｃｉ／（ＣＡ+ＣＢ+ＣＣ+ＣＤ）・・・（１）
ここでＣｉ／（ＣＡ+ＣＢ+ＣＣ+ＣＤ）は重み付け係数、Ｄｉ’は重み付けされた距離である。
【００８２】
そしてステップＳ５７にて重み付けされた距離Ｄｉ’（ＤＡ’、ＤＢ’、ＤＣ’、ＤＤ’）の値を下記式（２）へ代入して求められた距離Ｄを記録する距離データとする（ステップＳ５８）。
【００８３】
Ｄ＝ＤＡ’＋ＤＢ’＋ＤＣ’＋ＤＤ’・・・（２）
なお画像データＡを構成する画素全てにおいて同様の処理を行って、４つの画素についてそれぞれ算出された４つの距離データを１つの距離データに合成することによりデータサイズを低減して処理を終了する。
【００８４】
このように相関度に応じた重み付けを行うことにより、精度の高い距離データを得ることができる。
【００８５】
上記のようにしてデータサイズ低減部２３がデータサイズの低減処理を行うと（スッテップＳ３５）、図９に示す如く、データ圧縮部１８がデータサイズ低減部２３によるデータサイズ低減後の距離データを圧縮し、メディア制御部１９が圧縮された距離データを記録メディア２０に記録して（ステップＳ７）、画像処理装置１−２による画像処理を終了する。
【００８６】
本実施形態の画像処理装置１−２によれば、入力された２つの画像データＡ，Ｂの全ての画素を読み出し、全ての画素について被写体各部までの距離を算出して、距離の算出後に、保存データサイズ設定部１５により設定された保存データサイズの大きさに応じた間引き率で、保存データサイズの大きさに応じた間引き率で前記距離のデータを合成するか、又は間引いてデータサイズを低減するので、距離の算出には全ての画素値を使用することができると共に必要な距離データのみを記録できることにより、測距精度を下げることなく保存データのサイズを低減することができる。
【００８７】
次に、図１４及び図１５に上述した実施形態の画像入力部１０の構成を示すブロック図の一例をそれぞれ示す。上述した実施形態の画像入力部１０は、異なる視点から撮像された視差画像として少なくとも２つの画像データを入力するものであり、例えば１つのカメラが、順次視点を変えて撮像して得られた画像データを入力してもよい。
【００８８】
また画像入力部１０として、図１４（ａ）に示す如く、撮影レンズ等で構成される光学系１０ａ−１、１０ａ−２と、ＣＣＤ等の撮像素子１０ｂ−１、１０ｂ−２と、Ａ／Ｄ変換部１０ｃ−１、１０ｃ−２とを有し、異なる視点に位置する少なくとも２眼を備えた複眼カメラ１０を使用してもよい。この場合、略同時に撮像された視差画像を得ることができる。
【００８９】
また図１４（ｂ）に示す如く、上記と同様の光学系１０ａ−１、１０ａ−２と、１つの撮像素子１０ｂと、１つのＡ／Ｄ変換部１０ｃとを有し、光学系の後方に設けられた図示しないスイッチ等によって光学系１０ａ−１と光学系１０ａ−２をそれぞれ通過した被写体像１、２を交互に撮像素子１０ｂの光電面に結像して、光電変換することにより、２つの視差画像を得るものであってもよい。
【００９０】
また画像入力部１０は、図１５に示す如く、上記と同様の光学系１０ａ−１と、撮像素子１０ｂ−１と、Ａ／Ｄ変換部１０ｃ−１とを備えてなるカメラ１０Ａ及び上記と同様の光学系１０ａ−２と、撮像素子１０ｂ−２と、Ａ／Ｄ変換部１０ｃ−２とを備えてなるカメラ１０Ｂの２つのカメラから構成されるものであってもよい。この場合カメラ１０Ａとカメラ１０Ｂは異なる視点から撮像可能な位置に配設される。なお２つ以上のカメラから構成されるものであってもよい。
【００９１】
そして上記図１４及び図１５の画像入力部１０は、該画像処理入力部１０により得られた視差画像の画像データを、図２のステップＳ１又は図９のステップ３０にて入力する。
【００９２】
なお上記のように画像入力部１０が複眼カメラ又は２つ以上のカメラにより構成されるものである場合には、撮像前に撮像素子１０ｂ又は１０ｂ−１、１０ｂ−２を図示しない撮像素子駆動部で駆動することにより、全画素を読み出さずに画素単位での間引き又は合成を行った後で、間引き又は合成後の画素を読み出しても良い。図１６、図１７に図１４又は図１５の画像入力部１０を備えてなる画像処理装置１、１−２による一連の画像処理のフローチャートの一例をそれぞれ示す。なお便宜上、図１６において図２と同様の処理、図１７において図９及び図１６と同様の処理はそれぞれ同じステップ番号で示して説明を省略する。
【００９３】
画像処理装置１は、図１６に示す如く、例えば２眼の複眼カメラ又は２つのカメラ（画像入力部１０）が被写体を撮影し（ステップＳ６０）、撮影時の撮影モードを判別する（ステップＳ６１）。撮影時の撮影モードが測距モードである場合（ステップＳ６１；測距モード）には、読出部１４が撮影された画像データＡ及び画像データＢの全ての画素における画素値を読み出した後（ステップＳ６２）、ステップＳ３〜ステップＳ７の処理を行う。
【００９４】
一方、撮影モードが測距モード以外である場合（ステップＳ６１；その他）には、画像処理装置１は、保存データサイズ設定部１６が設定した保存データサイズの大きさを判別する（ステップＳ６３）。そして保存データサイズがフルサイズである場合には（ステップＳ６３；フルサイズ）、全ての画素を読出し（ステップＳ６４）、半分のサイズである場合には（ステップＳ６３；半分サイズ）、前記撮像素子駆動部を駆動することにより２画素を合成して読み出して（ステップＳ６５）、画像データＡ及び画像データＢを生成する。このとき２画素から１画素を選択して読み出してもよい。
【００９５】
なお合成する方法としては、平均値を用いてよいし、最大値、最小値を用いても良い。また設定された保存データの大きさが１／４サイズ等、半分よりも小さいサイズである場合には、中央値を用いても良い。
【００９６】
次にＡ／Ｄ変換部１０ｃ又は１０ｃ-１、１０ｃ−２が、画像データＡ及び画像データＢに対してＡ／Ｄ変換を行い（ステップＳ６６）、図示しないデジタル信号処理部によって各種画像処理を行った後（ステップＳ６７）、データ圧縮部１８が画像処理後の画像データＡ及び画像データＢを圧縮し、メディア制御部１９が圧縮された画像データＡ及び画像データＢを記録メディア２０に記録する（ステップＳ６８）。このようにして画像処理装置１による画像処理を終了する。
【００９７】
また画像処理装置１−２は、図１７に示す如く、ステップＳ６１にて測距モードであると判別された場合（ステップＳ６１；測距モード）に、図９と同様のステップＳ３２〜ステップＳ３４の処理を行い、測距モードではないその他のモードであると判別された場合（ステップＳ６１；その他）に、図１６と同様のステップＳ６４〜ステップＳ３８の処理を行う。このようにして画像処理装置１−２による画像処理を終了する。
【００９８】
上記のように複眼カメラ又は２つ以上のカメラを有する画像入力部１０を備えた上記画像処理装置１又は上記画像処理装置１−２によれば、距離を算出する場合以外には、速度を優先してデータサイズの低減を行うことができる。
【００９９】
なお本発明の画像処理装置は、上述した実施形態の画像処理装置に限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜設計変更可能である。
【図面の簡単な説明】
【０１００】
【図１】画像処理装置の機能構成を示すブロック図
【図２】画像処理装置による一連の画像処理のフローチャート
【図３】間引き部による間引きの一例を示す図
【図４】画像データＡの一例を示す図
【図５】間引き部による間引き処理のフローチャート
【図６Ａ】画像データＡと画像データＢの一例を示す図
【図６Ｂ】図６Ａ中のブロックの一例を示す図
【図７Ａ】画像データＡと画像データＢの別の一例を示す図
【図７Ｂ】図７Ａ中のブロックの一例を示す図
【図８】第二の実施形態の画像処理装置の機能構成を示すブロック図
【図９】第二の実施形態の画像処理装置による一連の画像処理のフローチャート
【図１０】データサイズ低減部による距離データの間引きの一例（ａ）、合成の一例（ｂ）をそれぞれ示す図
【図１１】データサイズ低減部によるデータサイズ低減処理のフローチャート
【図１２】データサイズ低減部による別のデータサイズ低減処理のフローチャート
【図１３】データサイズ低減部によるさらに別のデータサイズ低減処理のフローチャート
【図１４】画像入力部の構成を示すブロック図の一例を示す図
【図１５】画像入力部の構成を示すブロック図の別の一例を示す図
【図１６】図１４又は図１５の画像入力部を備えてなる画像処理装置による一連の画像処理のフローチャート
【図１７】図１４又は図１５の画像入力部を備えてなる第二の実施形態の画像処理装置による一連の画像処理のフローチャート
【図１８】従来の課題を説明する図
【符号の説明】
【０１０１】
１、１−２  画像処理装置
１０        画像入力部（画像入力手段）
１０Ａ、１０Ｂ  カメラ
１０ａ−１、１０ａ−２  光学系（レンズ）
１４        読出部（読出手段）
１５        保存データサイズ設定部
１６        間引き部（間引き手段）
１７、１７’距離算出部（距離算出手段）
１８        データ圧縮部
２３        データサイズ低減部（データサイズ低減手段）
【図１】
0005090857.tif 000002
【図２】
0005090857.tif 000003
【図３】
0005090857.tif 000004
【図４】
0005090857.tif 000005
【図５】
0005090857.tif 000006
【図６Ａ】
0005090857.tif 000007
【図６Ｂ】
0005090857.tif 000008
【図７Ａ】
0005090857.tif 000009
【図７Ｂ】
0005090857.tif 000010
【図８】
0005090857.tif 000011
【図９】
0005090857.tif 000012
【図１０】
0005090857.tif 000013
【図１１】
0005090857.tif 000014
【図１２】
0005090857.tif 000015
【図１３】
0005090857.tif 000016
【図１４】
0005090857.tif 000017
【図１５】
0005090857.tif 000018
【図１６】
0005090857.tif 000019
【図１７】
0005090857.tif 000020
【図１８】
0005090857.tif 000021