(57)【要約】  本発明の一態様に係る画像処理方法は、多視点画像を構成する複数の視点画像間で各画素の視差量を算出する視差量算出ステップと、前記多視点画像のズーム値と前記算出された各画素の視差量とに基づいて、前記多視点画像のうち少なくとも一部の各画素の視差量を画像処理により補正するときに、前記ズーム値が変化しても被写体距離に応じた視差量の差を変化させないように前記各画素の視差量を補正する視差量補正ステップとを備える。
2012101917.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点画像を含む多視点画像を取得する画像取得手段と、
前記画像取得手段により取得された多視点画像のズーム値を取得するズーム値取得手段と、
前記取得された多視点画像を構成している前記複数の視点画像間で各画素の視差量を算出する視差量算出手段と、
前記ズーム値取得手段により取得されたズーム値と前記視差量算出手段により算出された各画素の視差量とに基づいて、前記取得された多視点画像のうち少なくとも一部の各画素の視差量を画像処理により補正する視差量補正手段であって、前記取得されたズーム値が変化しても被写体距離に応じた視差量の差を変化させないように前記各画素の視差量を補正して前記多視点画像を再構成する視差量補正手段と、
を備える画像処理装置。
【請求項２】
前記視差量補正手段は、前記取得されたズーム値が変化しても各被写体で視差量を変化させないように前記各画素の視差量を補正する、請求項１に記載の画像処理装置。
【請求項３】
前記視差量補正手段は、ズーム開始時点とズーム終了時点とで視差量を同じにする、請求項２に記載に画像処理装置。
【請求項４】
前記視差量補正手段は、前記取得されたズーム値が広角側から望遠側に向けて変化すると、各被写体の立体像が近づくように前記各画素の視差量を補正する、請求項１に記載の画像処理装置。
【請求項５】
前記視差量補正手段は、広角端から望遠端にかけて視差量を非線形に変化させるように補正する、請求項１または４に記載の画像処理装置。
【請求項６】
前記視差量補正手段は、最至近距離と最遠距離とで、前記被写体距離の異なる被写体同士の視差量の差を前記ズーム値の変化に対して一定に維持するように前記各画素の視差量を補正する、請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記視差量補正手段は、前記取得されたズーム値が変化している変倍期間中には、前記取得されたズーム値が変化しても、前記被写体距離に応じた視差量の差を変化させないように前記各画素の視差量を補正し、前記取得されたズーム値が変化しなくなった変倍終了後に、前記被写体距離に応じた視差量の差を変化させる、請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記視差量補正手段は、前記変倍終了後に、前記被写体距離に応じた視差量の差が望遠側ほど大きくなるように前記各画素の視差量を補正する、請求項７に記載の画像処理装置。
【請求項９】
前記視差量補正手段は、前記変倍終了後に、前記被写体距離に応じた視差量の差を段階的に変化させる、請求項７または８に記載の画像処理装置。
【請求項１０】
前記視差量補正手段は、前記変倍終了後に、変倍時間とほぼ同じ時間にわたって、前記被写体距離に応じた視差量の差を変化させる、請求項７から９のいずれか１項に記載の画像処理装置。
【請求項１１】
補正前の視差量とズーム値と補正後の視差量との対応関係を示す補正テーブルを記憶する記憶手段を更に備え、
前記視差量補正手段は、前記取得されたズーム値と前記算出された各画素の視差量とに基づいて前記補正テーブルから取得した前記補正後の視差量を用いて、前記多視点画像を再構成する、請求項１から６のいずれか１項に記載の画像処理装置。
【請求項１２】
前記記憶手段は、ズーム値の変化に対する視差量の補正量が異なる複数の補正テーブルを記憶し、
前記視差量補正手段は、前記複数の補正テーブルからいずれかの補正テーブルを選択して前記多視点画像を再構成する、請求項１１に記載の画像処理装置。
【請求項１３】
前記複数の補正テーブルにそれぞれ対応した複数のモードのうちいずれかを選択する選択指示を受け付ける指示入力手段を更に備え、
前記視差量補正手段は、前記指示入力手段により選択されたモードに応じた前記補正テーブルを選択する、請求項１２に記載の画像処理装置。
【請求項１４】
補正前の視差量とズーム値と補正後の視差量との対応関係を示す補正テーブルを記憶する記憶手段であって、ズーム値が変化しても前記被写体距離に応じた視差量の差を変化させない第１の補正テーブルと、ズーム値の変化に対して前記被写体距離に応じた視差量の差を変化させる第２の補正テーブルとを記憶する記憶手段を更に備え、
前記視差量補正手段は、前記変倍期間中には前記第１の補正テーブルを選択し、変倍終了後には前記第２の補正テーブルを選択し、前記取得されたズーム値と前記算出された各画素の視差量とに基づいて前記選択された補正テーブルから取得した前記補正後の視差量を用いて、前記多視点画像を再構成する、請求項７から１０のいずれか１項に記載の画像処理装置。
【請求項１５】
前記取得されたズーム値と前記算出された各画素の視差量とに基づいて、補正後の各画素の視差量を算出する算出手段を更に備える請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１６】
前記視差量補正手段により視差量が補正される前の多視点画像または前記視差量補正手段により視差量が補正された多視点画像を記録する記録手段を更に備える請求項１から１５のいずれか１項に記載の画像処理装置。
【請求項１７】
前記画像取得手段は、前記記録手段から前記視差量が補正される前の多視点画像を取得し、
前記視差量補正手段は、前記記録手段から取得された多視点画像の各画素の視差量を補正する、請求項１６に記載の画像処理装置。
【請求項１８】
前記視差量の補正に用いる値を決定するための設定情報の入力を受け付ける設定情報入力手段と、
前記設定情報入力手段により入力された前記設定情報に基づいて前記各画素の視差量の補正値を算出する視差量補正値算出手段と、
を更に備える請求項１から１７のいずれか１項に記載の画像処理装置。
【請求項１９】
前記設定情報は、前記多視点画像の表示サイズを含む、請求項１８に記載の画像処理装置。
【請求項２０】
前記設定情報は、最至近被写体および最遠被写体のうち少なくとも一方の距離情報を含む、請求項１８または１９に記載の画像処理装置。
【請求項２１】
前記ズーム値を望遠端および広角端の少なくとも一方に設定し、合焦している画素の視差量に基づいて、前記各画素の視差量の補正値を算出する視差量補正値算出手段を更に備える請求項１から２０のいずれか１項に記載の画像処理装置。
【請求項２２】
前記取得された多視点画像を電子ズームにより変倍する電子ズーム手段と、
前記取得された多視点画像を出力可能な出力手段と、
前記ズーム値の変動時には、前記ズーム値の変化直前または直後の前記多視点画像を前記電子ズーム手段により前記ズーム値に応じて変倍するとともに前記視差量補正手段により前記ズーム値に応じて視差量補正を行って立体静止画像を前記出力手段に出力し、前記ズーム値の非変動時には、前記画像取得手段で取得された前記多視点画像を立体動画像で前記出力手段に出力する制御手段と、
を更に備える請求項１から２１のいずれか１項に記載の画像処理装置。
【請求項２３】
前記制御手段は、前記変倍された立体静止画像の表示時間を前記ズーム値の変動期間よりも長くする、請求項２２に記載の画像処理装置。
【請求項２４】
前記制御手段は、前記ズーム値を段階的に変化させることで段階的に変倍した前記立体静止画像を前記出力手段により出力させる、請求項２２または２３に記載の画像処理装置。
【請求項２５】
前記制御手段は、前記立体静止画像の切り替えをフェードインまたはフェードアウトで行う、請求項２２から２４のいずれか１項に記載の画像処理装置。
【請求項２６】
請求項１から２５のいずれか１項に記載の画像処理装置を備えた撮像装置であって、
前記画像取得手段は、撮像レンズと、前記撮像レンズにより結像された被写体像を撮像する撮像素子とを含む、撮像装置。
【請求項２７】
前記撮像レンズはズームレンズを含み、
前記ズーム値取得手段は、前記多視点画像のズーム値として前記ズームレンズのズーム値を取得する、請求項２６に記載の撮像装置。
【請求項２８】
請求項１から２５のいずれか１項に記載の画像処理装置と、
前記再構成された多視点画像を立体視可能に再生する再生手段と、
を備える再生装置。
【請求項２９】
複数の視点画像を含む多視点画像を取得する画像取得手段と、前記画像取得手段により取得された多視点画像のズーム値を取得するズーム値取得手段とを用いる画像処理方法であって、
前記取得された多視点画像を構成している前記複数の視点画像間で各画素の視差量を算出する視差量算出ステップと、
前記取得されたズーム値と前記算出された各画素の視差量とに基づいて、前記取得された多視点画像のうち少なくとも一部の各画素の視差量を画像処理により補正する視差量補正ステップであって、前記取得されたズーム値が変化しても被写体距離に応じた視差量の差を変化させないように前記各画素の視差量を補正して前記多視点画像を再構成する視差量補正ステップと、
を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点画像からなる多視点画像の変倍を行う画像処理装置、撮像装置、再生装置および画像処理方法であって、特に、ズーム変化時の立体視追従性を容易とし、観察者の疲労感を低減することができる画像処理装置、撮像装置、再生装置および画像処理方法に関する。
【背景技術】
【０００２】
従来より、複数の視点画像からなる多視点画像の変倍が行われている。【０００３】
特許文献１には、変倍に応じて左眼画像および右眼画像の中心を合わせること、および、変倍に応じて左眼画像および右眼画像の水平シフト量を制御することが記載されている。【０００４】
特許文献２には、観察者の両眼融合範囲内に収まるように左右画像の切り出し領域を決定して立体画像を切り出すことが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−５２０５８号公報
【特許文献２】特開平８−３１７４２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来、立体撮像を行う際に、例えば、合焦した主被写体を各視点画像（左眼画像および右眼画像）の中心に設定し、且つ、その主被写体の視差量を最小とするように輻輳を設定して、撮影を行っている。【０００７】
しかし、この状態にて広角側から望遠側に向けてズーミングを行うと、主被写体より手前の被写体はより近づき、遠方の被写体はより遠くに離れるような被写体移動が発生してしまう。この被写体移動によって、観察者は視覚上極めて違和感を感じるので、観察者の疲労を増加させることになる。【０００８】
更には、視差拡大、視差開散等の立体融合不可能な画像となり、安全性への懸念が生じる。【０００９】
特許文献１、２には、各視点画像（右眼画像および左眼画像）の切り出し領域や水平シフト量を制御することについては開示されている。しかしながら、多視点画像は実際には距離が異なる多数の被写体像を含んでいるので、切り出し領域や水平シフト量を制御しただけでは、主被写体以外の被写体に関して視差量を適切に調節することは困難である。つまり、従来技術では、各画素の視差量を補正するようになっておらず、画像中心にない被写体、または主被写体以外の被写体に関しては、視差量が過大になる、奧行きが不自然になる、といった課題があった。【００１０】
本発明はこのような事情に鑑みてなされたもので、ズーム変化時の立体視追従性を容易とし、観察者の疲労感を低減することができる画像処理装置、撮像装置、再生装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記目的を達成するために、本発明の一態様に係る画像処理装置は、複数の視点画像からなる多視点画像を取得する画像取得手段と、前記画像取得手段により取得された多視点画像のズーム値を取得するズーム値取得手段と、前記取得された多視点画像を構成している前記複数の視点画像間で各画素の視差量を算出する視差量算出手段と、前記ズーム値取得手段により取得されたズーム値と前記視差量算出手段により算出された各画素の視差量とに基づいて、前記取得された多視点画像のうち少なくとも一部の各画素の視差量を画像処理により補正する視差量補正手段であって、前記取得されたズーム値が変化しても被写体距離に応じた視差量の差を変化させないように前記各画素の視差量を補正して前記多視点画像を再構成する視差量補正手段とを備える。【００１２】
上記の態様によれば、ズーム値取得手段により取得されたズーム値と視差量算出手段により算出された各画素の視差量とに基づいて多視点画像の各画素の視差量が補正され、且つ、ズーム値が変化しても、被写体距離に応じた視差量の差（立体像の間隔）を変化させないように多視点画像が画像処理で再構成される。このため、ズーミング中に観察者に与える被写体間の距離感（奧行き方向にて視認される立体像の間隔）が変化しない。即ち、視差過大および視差開散を防止することができるだけでなく、ズーム変化時の立体視追従性を容易とし、観察者の疲労感を低減することができる。【００１３】
ここで、視差量は、多視点画像を構成している複数の視点画像間での同一被写体のずれ量を示す。視差量は、例えば、撮像画像または表示画像の画素数、画像の左右方向サイズに対するずれ量の比率、などで表される。【００１４】
本発明の一態様では、前記視差量補正手段は、前記取得されたズーム値が変化しても各被写体で視差量を変化させないように前記各画素の視差量を補正する。この態様によれば、ズーミング中に奧行き方向にて視認される立体像の位置（奧行き位置）が移動しないので、観察者は被写体の立体像サイズの変化のみを観察することができる。即ち、ズーミングでの不自然さを更に低減し、観察者の疲労感を更に低減することができる。【００１５】
本発明の一態様では、前記視差量補正手段は、ズーム開始時点とズーム終了時点とで視差量を同じにする。【００１６】
本発明の一態様では、前記視差量補正手段は、前記取得されたズーム値が広角側から望遠側に向けて変化すると、各被写体の立体像が近づくように前記各画素の視差量を補正する。即ち、ズーム値が広角側から望遠側に向けて変化すると、被写体距離の異なる複数の立体像の奧行き方向における間隔を変化させることなく、各被写体の立体像が近づくように各画素の視差量が補正される。このため、観察者に疲労感を感じさせることなくズーミングを強調することができる。【００１７】
本発明の一態様では、前記視差量補正手段は、広角端から望遠端にかけて視差量を非線形に変化させるように補正する。即ち、各被写体の立体像の移動具合を加速的に見せることで、ズーミングを強調することができる。【００１８】
本発明の一態様にて、前記視差量補正手段は、最至近距離と最遠距離とで、前記被写体距離の異なる被写体同士の視差量の差を前記ズーム値の変化に対して一定に維持するように前記各画素の視差量を補正する。【００１９】
本発明の一態様では、前記視差量補正手段は、前記取得されたズーム値が変化している変倍期間中には、前記取得されたズーム値が変化しても、前記被写体距離に応じた視差量の差を変化させないように前記各画素の視差量を補正し、前記取得されたズーム値が変化しなくなった変倍終了後に、前記被写体距離に応じた視差量の差を変化させる。【００２０】
本発明の一態様では、前記視差量補正手段は、前記変倍終了後に、前記被写体距離に応じた視差量の差が望遠側ほど大きくなるように前記各画素の視差量を補正する。【００２１】
本発明の一態様では、前記視差量補正手段は、前記変倍終了後に、前記被写体距離に応じた視差量の差を段階的に変化させる。【００２２】
本発明の一態様では、前記視差量補正手段は、前記変倍終了後に、変倍時間とほぼ同じ時間にわたって、前記被写体距離に応じた視差量の差を変化させる。【００２３】
本発明の一態様では、補正前の視差量とズーム値と補正後の視差量との対応関係を示す補正テーブルを記憶する記憶手段を備え、前記視差量補正手段は、前記取得されたズーム値と前記算出された各画素の視差量とに基づいて前記補正テーブルから取得した前記補正後の視差量を用いて、前記多視点画像を再構成する。【００２４】
本発明の一態様では、前記記憶手段は、ズーム値の変化に対する視差量の補正量が異なる複数の補正テーブルを記憶し、前記視差量補正手段は、前記複数の補正テーブルからいずれかの補正テーブルを選択して前記多視点画像を再構成する。【００２５】
本発明の一態様では、前記複数の補正テーブルにそれぞれ対応した複数のモードのうちいずれかを選択する選択指示を受け付ける指示入力手段を備え、前記視差量補正手段は、前記指示入力手段により選択されたモードに応じた前記補正テーブルを選択する。【００２６】
本発明の一態様では、補正前の視差量とズーム値と補正後の視差量との対応関係を示す補正テーブルを記憶する記憶手段であって、ズーム値が変化しても前記被写体距離に応じた視差量の差を変化させない第１の補正テーブルと、ズーム値の変化に対して前記被写体距離に応じた視差量の差を変化させる第２の補正テーブルとを記憶する記憶手段を備え、前記視差量補正手段は、前記変倍期間中には前記第１の補正テーブルを選択し、変倍終了後には前記第２の補正テーブルを選択し、前記取得されたズーム値と前記算出された各画素の視差量とに基づいて前記選択された補正テーブルから取得した前記補正後の視差量を用いて、前記多視点画像を再構成する。【００２７】
本発明の一態様では、前記取得されたズーム値と前記算出された各画素の視差量とに基づいて、補正後の各画素の視差量を算出する手段を備える。【００２８】
本発明の一態様では、前記視差量補正手段により視差量が補正される前の多視点画像または前記視差量補正手段により視差量が補正された多視点画像を記録する記録手段を備える。【００２９】
本発明の一態様では、前記画像取得手段は、前記記録手段から前記視差量が補正される前の多視点画像を取得し、前記視差量補正手段は、前記記録手段から取得された多視点画像の各画素の視差量を補正する。【００３０】
本発明の一態様では、前記視差量の補正に用いる値を決定するための設定情報の入力を受け付ける設定情報入力手段と、前記設定情報入力手段により入力された前記設定情報に基づいて前記各画素の視差量の補正値を算出する視差量補正値算出手段とを備える。【００３１】
前記設定情報は、前記多視点画像の表示サイズを含む。また、前記設定情報は、最至近被写体および最遠被写体のうち少なくとも一方の距離情報を含む。【００３２】
本発明の一態様では、前記ズーム値を望遠端および広角端の少なくとも一方に設定し、合焦している画素の視差量に基づいて、前記各画素の視差量の補正値を算出する視差量補正値算出手段を備える。【００３３】
本発明の一態様では、前記取得された多視点画像を電子ズームにより変倍する電子ズーム手段と、前記取得された多視点画像を出力可能な出力手段と、前記ズーム値の変動時には、前記ズーム値の変化直前または直後の前記多視点画像を前記電子ズーム手段により前記ズーム値に応じて変倍するとともに前記視差量補正手段により前記ズーム値に応じて視差量補正を行って立体静止画像を前記出力手段に出力し、前記ズーム値の非変動時には、前記画像取得手段で取得された前記多視点画像を立体動画像で前記出力手段に出力する制御手段とを備える。【００３４】
本発明の一態様では、前記制御手段は、前記変倍された立体静止画像の表示時間を前記ズーム値の変動期間よりも長くする。【００３５】
本発明の一態様では、前記制御手段は、前記ズーム値を段階的に変化させることで段階的に変倍した前記立体静止画像を前記出力手段により出力させる。【００３６】
本発明の一態様では、前記制御手段は、前記立体静止画像の切り替えをフェードインまたはフェードアウトで行う。【００３７】
また、本発明の一態様に係る撮像装置は、前記画像処理装置を備えた撮像装置であって、前記画像取得手段は、撮像レンズと、前記撮像レンズにより結像された被写体像を撮像する撮像素子とを含んで構成されている。【００３８】
本発明の一態様に係る撮像装置では、前記撮像レンズはズームレンズを含んで構成され、前記ズーム値取得手段は、前記多視点画像のズーム値として前記ズームレンズのズーム値を取得する。【００３９】
また、本発明の一態様に係る再生装置は、前記画像処理装置と、前記再構成された多視点画像を立体視可能に再生する再生手段とを備える。【００４０】
また、本発明の一態様に係る画像処理方法は、複数の視点画像からなる多視点画像を取得する画像取得手段と、前記画像取得手段により取得された多視点画像のズーム値を取得するズーム値取得手段とを用いる画像処理方法であって、前記取得された多視点画像を構成している前記複数の視点画像間で各画素の視差量を算出する視差量算出ステップと、前記取得されたズーム値と前記算出された各画素の視差量とに基づいて、前記取得された多視点画像のうち少なくとも一部の各画素の視差量を画像処理により補正する視差量補正ステップであって、前記取得されたズーム値が変化しても被写体距離に応じた視差量の差を変化させないように前記各画素の視差量を補正して前記多視点画像を再構成する視差量補正ステップとを備える。
【発明の効果】
【００４１】
本発明によれば、ズーム変化時の立体視追従性を容易とし、観察者の疲労感を低減することができる。
【図面の簡単な説明】
【００４２】
【図１】本発明に係る撮像装置の構成例を示すブロック図
【図２】動画撮影時にリアルタイムで行う場合の画像処理の一例の流れを示すフローチャート
【図３】ズーム値と補正前の視差量との対応関係を示す図
【図４】第１実施例のズーム値と補正後の視差量との対応関係を示す図
【図５Ａ】第１実施例にて広角側から望遠側に向けてズーミングした場合の視差量の変化例を示す図（広角側）
【図５Ｂ】第１実施例にて広角側から望遠側に向けてズーミングした場合の視差量の変化例を示す図（中間ズーム位置）
【図５Ｃ】第１実施例にて広角側から望遠側に向けてズーミングした場合の視差量の変化例を示す図（望遠側）
【図６】第２実施例のズーム値と補正後の視差量との対応関係を示す図
【図７Ａ】第２実施例にて広角側から望遠側に向けてズーミングした場合の視差量の変化例を示す図（広角側）
【図７Ｂ】第２実施例にて広角側から望遠側に向けてズーミングした場合の視差量の変化例を示す図（中間ズーム位置）
【図７Ｃ】第２実施例にて広角側から望遠側に向けてズーミングした場合の視差量の変化例を示す図（望遠側）
【図８】第３実施例のズーム値と補正後の視差量との対応関係を示す図
【図９】第４実施例のズーム値と補正後の視差量との対応関係を示す図
【図１０】動画撮影時にリアルタイムで行う場合の画像処理であってズーミング終了後に更に補正を行う画像処理の一例の流れを示すフローチャート
【図１１Ａ】補正前の多視点画像例を示す図
【図１１Ｂ】補正後の多視点画像例を示す図
【図１２】ズーム値と補正前視差量と補正後視差量との対応関係を示す図
【図１３】モニタの表示サイズとピクセルとの対応関係を示す図
【図１４】ユーザ設定処理の一例の流れを示すフローチャート
【図１５】動画撮影後に行う場合の画像処理の他の例の流れを示すフローチャート
【図１６】動画撮影時にリアルタイムで行う場合の画像処理の他の例の流れを示すフローチャート
【図１７】動画撮影後に画像処理を行う場合の画像処理の一例の流れを示すフローチャート
【図１８】立体静止画像の電子ズームの説明に用いる説明図
【図１９】立体静止画像のフェード表示の説明に用いる説明図
【図２０】本発明を適用したコンピュータ装置のハードウェア構成を示すブロック図
【発明を実施するための形態】
【００４３】
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
【００４４】
図１は、本発明に係る撮像装置の構成例を示すブロック図である。
【００４５】
撮像装置１０は、撮像レンズ１１Ｌ、１１Ｒ、撮像センサ１２Ｌ、１２Ｒ、信号処理部１３、画像メモリ１５、操作部１６、電子ズーム処理部１７、視差量算出部１８、視差量補正値取得部１９、視差量補正部２０、モニタ２１、記録メディアインタフェース２２、記録メディア２３、外部出力デバイス２４、制御部２５、電源部２６、バッテリ２７、および設定情報記憶部２８を含んでいる。
【００４６】
撮像レンズ１１Ｌ、１１Ｒは、被写体像を撮像センサ１２Ｌ、１２Ｒの受光面に結像する光学系を含んでいる。本例の撮像レンズ１１Ｌ、１１Ｒは、フォーカスレンズ、ズームレンズおよび絞り装置を含んでいる。
【００４７】
撮像センサ１２Ｌ、１２Ｒは、それぞれ、撮像レンズ１１Ｌ、１１Ｒにより結像された被写体像を撮像する。撮像センサ１２Ｌ、１２Ｒは、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）撮像センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像センサ等の撮像デバイスによって構成される。
【００４８】
信号処理部１３は、撮像センサ１２Ｌ、１２Ｒから出力された多視点画像（左眼画像および右眼画像）に対し、ＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）処理、ＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ  Ａｄｊｕｓｔｍｅｎｔ）処理等の各種の信号処理を施す。
【００４９】
本例の撮像装置１０では、撮像レンズ１１Ｌ、１１Ｒ、撮像センサ１２Ｌ、１２Ｒおよび信号処理部１３によって、複数の視点画像からなる多視点画像を取得する撮像ユニット１４（画像取得手段）が構成されている。
【００５０】
画像メモリ１５は、信号処理部１３から出力された多視点画像を１フレームごとに一時的に記憶するメモリ（例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））である。
【００５１】
操作部１６は、ユーザの入力操作を受け付ける入力デバイス（例えば、キースイッチ）である。
【００５２】
本例の撮像装置１０では、操作部１６により、撮像ユニット１４により取得された多視点画像のズーム値を取得するズーム値取得手段が構成されている。
【００５３】
電子ズーム処理部１７は、撮像ユニット１４により取得された多視点画像（左眼画像および右眼画像）を、操作部１６により取得したズーム値に基づいて、電子ズーム（画像処理）により変倍する。
【００５４】
なお、本例の撮像装置１０は、撮像レンズ１１Ｌ、１１Ｒによる光学ズームと、電子ズーム処理部１７による電子ズームという２つの変倍手段を備えている。したがって、光学ズームの場合には撮像レンズ１１Ｌ、１１Ｒに関するズーム値が取得され、電子ズームの場合には電子ズームに関するズーム値が取得される。両方のズームを併用してもよい。また、ズーム値の取得方法は問わない。
【００５５】
視差量算出部１８は、取得された多視点画像を構成している複数の視点画像（左眼画像および右眼画像）間で、各画素の視差量を算出する。
【００５６】
ここで、視差量は、多視点画像を構成している複数の視点画像間での同一被写体のずれ量を示す。視差量は、例えば、撮像画像または表示画像の画素数、画像の左右方向サイズに対するずれ量の比率、などで表される。
【００５７】
視差量補正値取得部１９は、複数の視点画像内の各画素の視差量の補正に用いる値（視差量補正値）を取得する。
【００５８】
視差量補正値は、補正前の視差量と、ズーム値と、補正後の視差量との対応関係を示すテーブルデータ（補正テーブル）であってもよい。この場合、視差量補正値取得部１９は、例えば、補正テーブルを記憶する不揮発性の記憶デバイスによって構成される。
【００５９】
視差量補正部２０は、操作部１６により取得されたズーム値と、視差量算出部１８により算出された各画素の視差量とに基づいて、撮像ユニット１４により取得された多視点画像の各画素の視差量を画像処理により補正することで多視点画像を再構成する。視差量補正部２０は、具体的には、多視点画像の取得されたズーム値が変化しても、被写体距離に応じた視差量の差を変化させないように、多視点画像の各画素の視差量を補正する。ここで、被写体距離に応じた視差量の差は、被写体距離の異なる複数の被写体の立体像での視差量の差であって、被写体距離の異なる複数の立体像の奧行き方向における間隔（立体像の間隔）に対応する。
【００６０】
なお、本発明は、多視点画像の全画素を補正する場合には限定されず、多視点画像の一部分の各画素を補正する場合でもよい。
【００６１】
視差量補正値取得部１９がテーブルデータ（補正テーブル）で構成されている場合、視差量補正部２０は、操作部１６により取得されたズーム値と、視差量算出部１８により算出された各画素の視差量とに基づいて、補正テーブルから補正後の視差量を取得し、その取得した補正後の視差量を用いて多視点画像を再構成する。補正後の各画素の視差量を計算により取得してもよく、その場合、視差量補正値取得部１９は、操作部１６により取得されたズーム値と、視差量算出部１８により算出された各画素の視差量とに基づいて、補正後の各画素の視差量を算出する。
【００６２】
モニタ（表示手段）２１、記録メディアインタフェース２２および外部出力デバイス２４は、多視点画像を出力する。
【００６３】
モニタ２１は、多視点画像を立体視可能に再生表示する表示デバイスである。
【００６４】
記録メディアインタフェース２２は、外部出力デバイス２４の一例であり、メモリカード等の記録メディア２３に多視点画像を記録する。多視点画像の記録については、視差量補正部２０により視差量が補正される前の多視点画像を記録する場合と、視差量補正部２０により視差量が補正された多視点画像を記録する場合とがある。
【００６５】
外部出力デバイス２４は、例えば、多視点画像を通信により出力（送信）する通信デバイスによって構成される。
【００６６】
制御部２５は、撮像装置１０の各部を制御する。本例の制御部２５は、操作部１６により取得されたズーム値が継続して変化している期間（変倍期間）中は、ズーム値の変化直前（または直後）の多視点画像の１フレームを、電子ズーム処理部１７により変倍するとともに、視差量補正部２０によりズーム値に応じて視差量補正を行って、変倍および視差量補正された多視点画像をモニタ２１（または外部出力デバイス２４）により静止画像（立体静止画像）で出力する。また、本例の制御部２５は、操作部１６により取得されたズーム値が変化していない期間（非変倍期間）中は、多視点画像をモニタ２１（または外部出力デバイス２４）により動画像（立体動画像）で出力する。
【００６７】
また、本例の制御部２５は、変倍された立体静止画像の表示時間を、ズーム値の変動期間よりも長くする制御を行う。
【００６８】
また、制御部２５は、ズーム値を段階的に変化させることで段階的に変倍した立体静止画像をモニタ２１などの出力手段に出力させる。また、制御部２５は、変倍された複数の静止画像の切り替えをフェードインおよびフェードアウトで行う。
【００６９】
電源部２６は、バッテリ２７から撮像装置１０の各部に対して電源供給を行う。
【００７０】
設定情報記憶部２８は、各種の設定情報を記憶する。
【００７１】
図２は、動画撮影時にリアルタイムで行う場合の画像処理の流れの一例を示すフローチャートである。本処理は、制御部２５により、プログラムに従って、実行される。
【００７２】
まず、撮像ユニット１４により１フレーム周期で多視点画像（左眼画像および右眼画像）を取得して画像メモリ１５に保存し（ステップＳ４）、操作部１６から多視点画像のズーム値を取得する（ステップＳ６）。ズーム値は、広角端（最至近距離）から望遠端（最遠距離）までの間で任意に変化する。以降でも、１フレームごとに処理を行う。
【００７３】
また、視差量算出部１８により、左眼画像と右眼画像との間でステレオマッチングによる対応点検出を行って、画素単位の視差量Ｐｘを算出する（ステップＳ１４）。
【００７４】
また、視差量補正値取得部１９により、操作部１６により取得されたズーム値と、視差量算出部１８により算出された各画素の視差量とに基づいて、視差量補正値取得部１９内の記憶デバイスに記憶されたテーブルデータ（補正テーブル）から各画素の視差量補正値（例えば、補正後の視差量）を取得する（ステップＳ１６）。
【００７５】
次に、視差量補正部２０により、視差量補正値に基づいて多視点画像（左眼画像および右眼画像）を画像処理で再構成する（ステップＳ１８）。つまり、取得されたズーム値と、算出された各画素の視差量とに基づいて、多視点画像の各画素の視差量を補正する。この視差量の補正にて、ズーム値が変化しても、被写体距離に応じた視差量の差（奧行き方向にて視認される立体像の間隔）を変化させないように、多視点画像の各画素の視差量を画像処理で補正して、多視点画像を再構成する。本例では、視差量補正部２０により、最至近距離と最遠距離（例えば、無限遠距離）とで、視差量の差を、ズーム値の変化に対して一定に維持するように、各画素の視差量を補正する。
【００７６】
次に、記録メディアインタフェース２２により、再構成された多視点画像を記録メディア２３に記録する（ステップＳ２０）。モニタ２１および外部出力デバイス２４により多視点画像を出力してもよい。
【００７７】
次に、撮影完了か撮影継続を判定し（ステップＳ２４）、撮影を継続する場合には、ステップＳ４に戻る。
【００７８】
図３は、視差量補正前の多視点画像（左眼画像、右眼画像）におけるズーム値と視差量との対応関係を示す。横軸がズーム値であり、縦軸が補正前の視差量である。即ち、ズーム値の変化に対する補正前の視差量の変化（視差分布）を表している。
【００７９】
図３にて、視差量は、正負の符号付である。符号が正の場合、絶対値が大きいほど、被写体の立体像（虚像）の奧行き方向にて視認される位置が観察者に近くなる。符号が負の場合、絶対値が大きいほど、被写体の立体像（虚像）の奧行き方向にて視認される位置が観察者から遠くなる。つまり、符号付視差量は被写体の立体像の奧行き方向における位置（奧行き位置）を示している。本明細書では、符号付視差量が増加すると被写体の立体像が観察者に近づき、符号付視差量が減少すると被写体の立体像が観察者から遠ざかる。
【００８０】
図３にて、縦軸のセンターが輻輳点の視差（＝０）であり、本撮像装置では輻輳点の距離を２．０ｍに設定してある。この視差分布にて、縦軸のセンターよりも上側は、輻輳点よりも近い距離にある被写体の視差を示しており、縦軸のセンターよりも下側は、輻輳点よりも遠い距離にある被写体の視差を示している。視差分布の上辺は被写体距離が至近距離（ＭＯＤ）＝０．５ｍである場合のズーム変化に対する視差量変化を示し、下辺は被写体距離が最遠距離（本例では無限遠距離）である場合のズーム変化に対する視差量変化を示している。
【００８１】
図３にて、最も視差が大きくなる条件は、被写体距離０．５ｍのズームＴ端であり、その条件の視差量をＰｍａｘとする。この条件では、立体像がモニタの表示面から最も飛び出した状態となり、立体視融合が困難な過大視差となる可能性が高い。一方で、最も視差が小さくなる条件は、無限遠距離のズームＷ端であり、その条件の視差量をＰｍｉｎとする。この条件では、立体像がモニタの表示面から最も奧まった状態となり、モニタの表示面上での立体像のズレ量が人の両眼幅を超える（開散）可能性が高い。したがって、視差量補正により、視差量の上限および下限を設定する必要がある。
【００８２】
図３にて、被写体距離が２ｍである被写体は、ズーム値の変化に依らず視差ゼロであり、視差量の変化がない。被写体距離が２ｍよりも大きい（遠い）被写体は、ズーム値をＷ側からＴ側に変化させると、符号付視差量が小さくなる（絶対値は大きくなる）。即ち、ズーミングを行うと、被写体の立体像が大きくなりつつ、より遠くに離れて行くような、立体像の位置移動が発生するので、視覚上極めて違和感があり、立体視をしている観察者の目の疲労を増加させる。被写体距離が２ｍよりも小さい（近い）被写体は、ズーム値をＷ側からＴ側に変化させると、符号付視差量が大きくなる（絶対値も大きくなる）。即ち、ズーミングを行うと、被写体の立体像がより近くに近づいてくるような、立体像の位置移動が発生する。
【００８３】
以下では、ズーム値変化に対する視差量補正の各種の実施例を紹介する。
【００８４】
図４は、第１実施例の視差量補正を説明するための説明図であり、ズーム値と補正後の視差量との対応関係を示す。最大視差量は補正前のＰｍａｘからＰｔｎに補正され、最小視差量はＰｍｉｎからＰｗｆに補正され、各ズーム値に対する各画素の視差量はＰｔｎとＰｗｆとの間に入るように補正される。上下のライン（Ｐｔｎ−Ｐｗｎ、Ｐｔｆ−Ｐｗｆ）は、限界過大視差と限界開散視差との差分を最大幅として、その内側に設定される。
【００８５】
本例では、最至近距離の視差量と最遠距離の視差量との差Ｐｄ（最大相対視差量）を、Ｗ端とＴ端とで同じにしてある。本例では、Ｐｔｎ＝Ｐｗｎ、且つ、Ｐｔｆ＝Ｐｗｆである。
【００８６】
第１実施例では、視差量補正部２０により、取得されたズーム値が変化しても、各被写体で視差量を変化させないように（つまり奧行き方向で視認される立体像の位置が一定となるように）、各画素の視差量を補正して、多視点画像を再構成する。本例では、視差量補正部２０により、ズーム開始時点とズーム終了時点とで視差量を同じにしている。
【００８７】
図５Ａ〜図５Ｃは、図４に示した第１実施例の視差量補正後の多視点画像（左眼画像９０Ｌ、右眼画像９０Ｒ）であって、それぞれＷ（広角）端、中間ズーム位置、Ｔ（望遠）端における多視点画像の一例を示す。図５Ａ〜図５Ｃにて、符号９６ａは遠距離の被写体の立体像、符号９６ｂは中距離の被写体の立体像、符号９６ｃは近距離の被写体の立体像をそれぞれ示す。符号Ｐｗａ、Ｐｍａ、Ｐｔａは遠距離の被写体の立体像の視差量、符号Ｐｗｃ、Ｐｍｃ、Ｐｔｃは近距離の被写体の立体像の視差量をそれぞれ示す。中距離の被写体の立体像は主被写体（例えば、合焦被写体）であり、その視差量はズーム値の変化に関わらず常にゼロに設定されている。
【００８８】
図５Ａ〜図５Ｃにおいて、Ｐｗａ＝Ｐｍａ＝Ｐｔａ、かつ、Ｐｗｃ＝Ｐｍｃ＝Ｐｔｃである。即ち、ズーム値が変化しても、各被写体（立体像）の視差量を変化させないようにしている。
【００８９】
撮影時に最遠距離または最至近距離に被写体が位置していることは実際には稀であり、図５Ａ〜図５Ｃに示すように撮影時に最遠距離と最至近距離との間に位置している被写体の立体像の奧行き方向にて視認される位置（奧行き位置）を、ズーム値の変化に対して一定に維持するように、視差量補正部２０で視差量補正を行えばよい。
【００９０】
図６は、第２実施例の視差量補正を説明するための説明図であり、ズーム値と補正後の視差量との対応関係を示す。ＰｍａｘからＰｔｎに補正され、ＰｍｉｎからＰｗｆに補正され、ＰｔｎとＰｗｆとの間に入るように各画素の視差量が補正される点は、第１実施例と同様である。また、最大相対視差量Ｐｄは、Ｗ端とＴ端とで同じである。本例では、Ｐｔｎ＞Ｐｗｎ、且つ、Ｐｔｆ＞Ｐｗｆである。
【００９１】
第２実施例では、視差量補正部２０により、取得されたズーム値が広角側から望遠側に向けて変化すると、各被写体の立体像が近づくように（つまり各被写体立体像の符号付視差量が大きくなるように）、各画素の視差量が補正される。
【００９２】
全ての被写体の立体像を奧行き方向にて同じ量で移動させることで、被写体距離の異なる複数の立体像の奧行き方向における間隔を変化させないようにすることができる。これにより、ズーミング感を強調しつつ、立体視追従性を容易とし、疲労感を軽減することができる。
【００９３】
図７Ａ〜図７Ｃは、図６に示した第２実施例の視差量補正後の多視点画像（左眼画像９０Ｌ、右眼画像９０Ｒ）であって、それぞれＷ（広角）端、中間ズーム位置、Ｔ（望遠）端における多視点画像の一例を示す。図７Ａ〜図７Ｃにて、符号９６ａは遠距離の被写体の立体像、符号９６ｂは中距離の被写体の立体像、符号９６ｃは近距離の被写体の立体像をそれぞれ示す。符号Ｐｗａ、Ｐｍａ、Ｐｔａは遠距離の被写体の立体像の視差量、符号Ｐｗｃ、Ｐｍｃ、Ｐｔｃは近距離の被写体の立体像の視差量をそれぞれ示す。中距離の被写体の立体像は主被写体（例えば、合焦被写体）であり、その視差量はズーム値の変化に関わらず常にゼロに設定されている。
【００９４】
図７Ａに示すＷ端の多視点画像における遠距離の被写体の立体像９６ａと近距離の被写体の立体像９６ｃとの視差量の差（Ｐｗａ−Ｐｗｃ）、図７Ｂに示す中間ズーム位置の多視点画像における遠距離の被写体の立体像９６ａと近距離の被写体の立体像９６ｃとの視差量の差（Ｐｍａ−Ｐｍｃ）、および図７Ｃに示すＴ端の多視点画像における遠距離の被写体の立体像９６ａと近距離の被写体の立体像９６ｃとの視差量の差（Ｐｔａ−Ｐｔｃ）は、同一である。即ち、ズーム値が変化しても、被写体距離の異なる被写体同士（９６ａと９６ｂ、９６ｂと９６ｃ、９６ａと９６ｃ）の相対的な視差量の差を変化させないようにして多視点画像を再構成している。ここで、視差量は符号付であり、被写体の立体像の奧行き方向にて観察者に視認される位置（奧行き位置）に対応している。視差量の差は、観察者に視認される複数の立体像の奧行き方向における間隔に対応している。
【００９５】
撮影時に最遠距離または最至近距離に被写体が実際に位置していることは実際には稀であり、図７Ａ〜図７Ｃに示すように撮影時に最遠距離と最至近距離との視差量の差（立体像の間隔の最大値）を、ズーム値の変化に対して一定に維持するように、視差量補正部２０で視差量補正を行えばよい。
【００９６】
図８は、第３実施例の視差量補正を説明するための説明図であり、ズーム値と補正後の視差量との対応関係を示す。ＰｍａｘからＰｔｎに補正され、ＰｍｉｎからＰｗｆに補正され、ＰｔｎとＰｗｆとの間に入るように各画素の視差量が補正される点は、第１実施例と同様である。また、最大相対視差量Ｐｄは、Ｗ端とＴ端とで同じである。
【００９７】
図８に示した例では、Ｐｔｆ−Ｐｗｆ、Ｐｔｎ−Ｐｗｎのラインが非線形であり、Ｔ端側ほど、ズーム値の変化量に対する視差量の変化量を大きくしてある。即ち、Ｔ端側ほど、被写体の立体像の奥行き方向における移動量が大きくなる。
【００９８】
第３実施例では、視差量補正部２０により、ズーム値の広角端から望遠端にかけて視差量を非線形に変化させるように補正する。すなわち、ズーム値を広角側から望遠側に向けて変化させると、符号付視差量が非線形に大きくなり、加速度的に被写体の立体像が近づいてくるように観察される。これによりズーミングが強調される。
【００９９】
図９は、第４実施例の視差量補正を説明するための説明図であり、ズーム値と補正後の視差量との対応関係を示す。ズーム値が変化している変倍期間中に、ＰｍａｘからＰｔｎに補正され、ＰｍｉｎからＰｗｆに補正され、ＰｔｎとＰｗｆとの間に入るように各画素の視差量が補正される点は、第１実施例と同様である。また、最大相対視差量Ｐｄは、Ｗ端とＴ端とで同じである。
【０１００】
第４実施例では、視差量補正部２０により、取得されたズーム値が継続して変化している変倍（ズーミング）期間中には、取得されたズーム値が変化しても、被写体距離に応じた視差量の差（立体像の間隔）を変化させないように（本例では各被写体の視差量を変化させないように）、各画素の視差量を補正する。そして、取得されたズーム値が変化しなくなった変倍（ズーミング）終了後に、変倍終了後のズーム値に応じて、被写体距離に応じた視差量の差（立体像の間隔）を変化させる。本例の視差量補正部２０は、ズーミング終了後に、被写体距離の異なる立体像間で、奧行き方向にて立体像の間隔が望遠側ほど大きくなるように、各画素の視差量を補正する。また、本例の視差量補正部２０は、変倍終了後に、被写体距離に応じた視差量の差（立体像の間隔）を段階的に変化させるとともに、ズーミング終了後にズーム変動時間と略同じ時間にわたって、被写体距離に応じた視差量の差（立体像の間隔）を変化させる。
【０１０１】
例えば、図９にて、矢印方向にズーム値をＺａからＺｂに変化させたとき、ズーム値がＺａからＺｂに変化している変倍期間中には、最大相対視差量Ｐｄが維持される。その最大相対視差量Ｐｄを、変倍終了後、段階的にＰａに変化させる。本例では、ＺａからＺｂまでの変倍に経過した時間（変倍期間）と略同じ時間にわたって、段階的に、最大相対視差量をＰｄからＰａに変化させる。つまり、変倍終了後に、異なる被写体同士の相対的な視差量の差を段階的に変化させる。最終的には、異なる被写体同士の視差量の差が、広角側ほど小さく、且つ、望遠側ほど大きくなるように、設定される。
【０１０２】
図１０は、動画撮影時にリアルタイムで行う場合の画像処理であってズーミング後に更に補正を行う画像処理の一例の流れを示すフローチャートである。本処理は、制御部２５により、プログラムに従って、実行される。なお、図２に示したステップと同じステップには同じ符号を付してあり、ここでは異なる点のみ説明する。
【０１０３】
本例では、変倍期間中には、ズーム値が変化しても各被写体の立体像の奧行きが変化しないように各画素の視差量を補正し、非変倍期間中には、被写体距離の異なる被写体の立体像間での奧行き方向の位置の差（視差量）が望遠側ほど大きくなるように前記各画素の視差量を補正する。
【０１０４】
なお、操作部１６によりズーム値を変化させ指示操作を受け付けると、制御部２５は、撮像レンズ１１Ｌ、１１Ｒのズームレンズを、図示を省略したレンズ駆動部により駆動させるようになっている。図１０では、その制御を省略して示した。
【０１０５】
図１０のステップＳ４、Ｓ６、Ｓ１４、Ｓ１８、Ｓ２０、Ｓ２４は、それぞれ図２の同じ符号のステップと同様の処理である。
【０１０６】
本例では、ズーム値取得（ステップＳ６）の後、ズーム値が継続して変化しているか否かを判定する（ステップＳ６２）。変倍期間中にはステップＳ６４に進み、非変倍期間中にはステップＳ６６に進む。
【０１０７】
変倍期間中には、ズーム値に対応した補正テーブルＡを選択する（ステップＳ６４）。即ち、ズーム値および算出された各画素の視差量に応じた補正値を取得する。
【０１０８】
非変倍期間中には、補正テーブルＢの補正値（設定値）に合致しているか否かを判定し（ステップＳ６６）、合致していない場合には、現在の補正値を、補正テーブルＢの補正値に近づける方向に変化させる（ステップＳ６８）。
【０１０９】
本例の補正テーブルＡには、ズーム値の変化に対して、被写体距離に応じた視差量の差（立体像の間隔）を変化させない補正後の視差量が登録されている。本例の補正テーブルＢには、ズーム値の変化に対して、被写体距離に応じた視差量の差（立体像の間隔）を変化させる補正後の視差量が登録されている。本例では、被写体距離に応じた視差量の差（立体像の間隔）が望遠側ほど大きくなるように各画素の視差量を補正する補正値（補正後の視差量）が登録されている。
【０１１０】
ステップＳ６２〜Ｓ６８の処理は視差量補正部２０によって行われる。本例の視差量補正部２０は、変倍期間中には、ズーム値が変化しても各被写体の立体像の奧行き位置を変化させないで一定に維持するように各画素の視差量を補正して多視点画像を再構成し、ズーミング後に、異なる立体像の間隔が望遠側ほど大きくなるように各画素の視差量を補正して多視点画像を再構成する。つまり、ズーミング中は被写体の立体像の視差量を変化させず、ズーミング後に被写体の立体像の視差量を徐々に変化させる。これにより、ズーミング中の被写体の立体像サイズの変化とズーミング後の被写体の立体像の奧行き位置の変化とを時間的に異ならせて行っている。ズーミング後の視差量を徐々に変化させる時間（期間）は、ズーミング中の時間（変倍期間）に合わせる（例えば、比例させる）ようにしてもよい。
【０１１１】
なお、図９に示した２つの視差量補正（Ｐｄ相当の補正とＰａ相当の補正）でそれぞれ補正テーブルＡ，Ｂを構成した場合を説明したが、図４、図６、図８に示した視差量補正のうちいずれかを補正テーブルＡで行い、図９のＰａ相当の補正をテーブルＢで行うようにしてもよい。また、図４、図６、図８、図９に示した視差量補正用の補正テーブルの全て（または任意の組み合わせ）を記憶デバイスに記憶させておき、モード設定で切り換えるようにしてもよい。
【０１１２】
また、取得されたズーム値の状態（本例では変倍期間中であるか否か）に応じて補正テーブルを選択する場合を例に説明したが、本発明はこのような場合に特に限定されない。撮像装置１０のモードに応じて、補正テーブルを選択するようにしてもよい。
【０１１３】
例えば、操作部１６により、複数の補正テーブルにそれぞれ対応した複数のモードのうちいずれかを選択する選択指示（モード指定）を受け付ける。この場合、視差量補正部２０は、操作部１６により選択されたモードに応じた補正テーブルを選択する。
【０１１４】
図１１Ａは、視差量補正前のＴ端の多視点画像（左眼画像９０Ｌ、右眼画像９０Ｒ）における被写体距離の異なる被写体の立体像９２ｆ、９２ｍ、９２ｎを示す。図１１Ｂは、視差量補正後のＴ端の多視点画像（左眼画像９０Ｌ、右眼画像９０Ｒ）における被写体距離の異なる被写体の立体像９４ｆ、９４ｍ、９４ｎを示す。図１１Ａおよび図１１Ｂでは、モニタの表示面上における被写体の立体像を模式的に示している。符号９２ｆ、９４ｆの被写体の立体像は、被写体が最遠距離で撮像されたとした場合の立体像である。符号９２ｍ、９４ｍの被写体の立体像は、被写体が最遠距離と最至近距離との中間で撮像されたとした場合の立体像である。符号９２ｎ、９４ｎの被写体の立体像は、被写体が最至近距離で撮像されたとした場合の立体像である。なお、図１１Ａおよび図１１Ｂでは、同一形状（四角形）の被写体の立体像を図示したが、実際には、被写体の立体像の形状は限定されない。
【０１１５】
図１１Ａに示す視差量補正前の視差量Ｐｍｉｎ，Ｐｍａｘは過大視差および開散視差になることがあるが、図１１Ｂに示すように視差量補正後の視差量Ｐｔｆ，Ｐｔｎは立体融合可能な範囲内に収まる。なお、Ｗ端の多視点画像を省略したが、Ｔ端の多視点画像と同様に、視差量補正後の視差量Ｐｗｆ、Ｐｗｎは立体融合可能な範囲内に収まる。
【０１１６】
図４〜図９では、最遠距離（例えば、無限遠距離）のＷ端視差量Ｐｗｆ、Ｔ端視差量Ｐｗｆ、および、最至近距離のＷ端視差量Ｐｎｆ、Ｔ端視差量Ｐｎｆを基準として、他のズーム位置および被写体距離における補正後の視差量を決定した場合を示した。しかしながら、本発明の範囲は、そのような場合には特に限定されない。
【０１１７】
本発明には、特定の状態で、被写体距離に応じた視差量の差（立体像の間隔）を変化させないように各画素の視差量を補正して多視点画像を再構成するあらゆる場合が含まれる。
【０１１８】
補正テーブルの一例を図１２に示す。図１２に示すように、補正前の視差量とズーム値と補正後の視差量との対応関係を補正テーブルとして記憶デバイス（視差量補正値取得部１９）に記憶しておく。視差量補正部２０は、視差量補正時に、取得されたズーム値と、算出された補正前の各画素の視差量とに基づいて、記憶デバイスに記憶されている補正テーブルから、補正後の各画素の視差量を取得する。このようにテーブルデータを用いて視差量補正を行うことで、処理時間を短縮できる。即ち、図１の視差量補正値取得部１９を図１２の補正テーブルに置き換えてもよい。
【０１１９】
視差量補正に用いる補正値を、ユーザの設定値に基づいて決定してもよい。例えば、多視点画像を出力するモニタ２１（立体表示デバイス）のサイズ（多視点画像の表示サイズ）の入力または選択を、操作部１６により受け付ける。表示画面サイズにより視差開散の限界値が決まるためである。
【０１２０】
図１３は、解像度１９２０×１０８０ドットのモニタにおける場合の表示サイズとピクセルとの対応関係を示す。
【０１２１】
また、操作部１６により、ユーザごとの両眼間隔の入力または選択を受け付ける手段を設けるようにしてもよい。多視点画像の観察者として子供を対象とすると両眼間隔は約５ｃｍであり、モニタサイズの５ｃｍ分のピクセル数を視差量下限値Ｐｗｆとする。
【０１２２】
視差量上限値Ｐｔｎは、例えば、モニタの画面高さの３倍の距離での視聴を前提とする場合、約５７ピクセルを設定する。このＰｔｎは、立体視融合の許容範囲から決まるため、個人差がある。よって、ユーザ設定で変更できることが、好ましい。
【０１２３】
本実施形態によれば、ズーム可変時における観察者の違和感を改善し、立体視の疲労を抑えることができる。広角端から望遠端までのズーム値の変化に対して視差量補正することで、過大視差および開散状態を低減させることが、好ましい。
【０１２４】
実際の撮影では、被写体距離の範囲は狭い場合がある。例えば、室内の撮影では、無限遠の被写体はなく、またフェンスやネット等を越した撮影では至近距離もＭＯＤ（最短合焦距離）よりも遠い範囲となる。その場合、実際の視差分布における最大値および最小値から限界値（ＰｔｎおよびＰｗｆ）まで余裕があるため、その余裕分をズーミング効果の強調に割り当てることができる。
【０１２５】
具体的には、最大値が上限値Ｐｔｎに、最小値が下限値Ｐｗｆになるように、視差量補正のシフト量を調整すればよい。その結果、視差量補正後、視差分布が変更されて、同一被写体距離におけるズーム値と視差量との対応関係を示すラインの傾きが大きくなる。
【０１２６】
本実施形態では、操作部１６により、視差量の補正に用いる値（視差量補正値）を決定するための設定情報の入力を受け付ける。視差量補正値取得部１９は、入力された設定情報に基づいて視差量補正値を算出する。
【０１２７】
設定情報は、例えば、モニタ２１の表示サイズ（モニタサイズ）である。
【０１２８】
設定情報は、例えば、最至近被写体の被写体距離情報、および、最遠被写体の被写体距離情報のうち少なくとも一方であってもよい。
【０１２９】
また、制御部２５の制御により、ズーム値を望遠端または広角端に設定し、視差量補正値取得部１９により、合焦している画素の視差量に基づいて視差量補正値を算出するようにしてもよい。
【０１３０】
また、操作部１６により、前記ズーム値の変化量に対する前記視差量の変化量を決定するためのズーム効果設定情報の入力を受け付け、視差量補正値取得部１９により、入力されたズーム効果設定情報に基づいて視差量補正値を算出するようにしてもよい。
【０１３１】
図１４は、ユーザ設定処理の一例の流れを示すフローチャートである。
【０１３２】
図１４にて、ユーザ設定モードになると、まず、撮像レンズ１１Ｌ，１１Ｒのズーム値（ズーム位置）をＴ端に移動（設定）する（ステップＳ７１）。そして、ユーザに対し撮影対象の被写体のうちで最も近い被写体距離のものをＡＦエリア内に入れるようにモニタ２１により案内し、操作部１６により画像取り込み指示操作を受け付ける（ステップＳ７２）。画像取り込み指示を受け付けると、近距離範囲優先で至近距離側から合焦位置を見つける（ステップＳ７３）。即ち、撮影対象の被写体のうちで最も近い被写体に合焦することになる。次に、左眼画像および右眼画像を取り込み（ステップＳ７４）、ＡＦエリア内でシャープネスが予め設定された閾値よりも高い画素を検出する（ステップＳ７５）。そして、それらの画素の視差量を算出して、視差量最大値Ｐａを決定し、この視差量最大値ＰａからＰｔｎまでのシフト量（Ｐｔｎ−Ｐａ）を算出する（ステップＳ７６）。
【０１３３】
次に、撮像レンズ１１Ｌ，１１Ｒのズーム値（ズーム位置）をＷ端に移動（設定）する（ステップＳ８１）。そして、ユーザに対し撮影対象の被写体のうちで最も遠い被写体距離のものをＡＦエリア内に入れるようにモニタ２１により案内し、操作部１６により画像取り込み指示操作を受け付ける（ステップＳ８２）。画像取り込み指示を受け付けると、遠距離範囲優先で最遠距離から合焦位置を見つける（ステップＳ８３）。即ち、撮影対象の被写体のうちで最も遠い被写体に合焦することになる。次に、左眼画像および右眼画像を取り込み（ステップＳ８４）、ＡＦエリア内でシャープネスが予め設定された閾値よりも高い画素を検出する（ステップＳ８５）。そして、それらの画素の視差量を算出して、視差量最小値Ｐｂを決定し、この視差量最小値ＰｂからＰｗｆまでのシフト量（Ｐｂ−Ｐｗｆ）を算出する（ステップＳ８６）。
【０１３４】
なお、視差量を求める際にステレオマッチングを行うことから、先鋭度の高い画像の方がマッチング精度が向上して視差量の精度も向上する。
【０１３５】
上記の設定方法では、望遠端および広角端の両方にて視差量のシフト量を算出したが、本発明はこのような場合には限定されず、望遠端および広角端のうち一方で視差量のシフト量を算出するようにしてもよい。
【０１３６】
また、操作部１６により、ユーザから最至近被写体の被写体距離情報（最小被写体距離）、および、最遠被写体の被写体距離情報（最大被写体距離）の直接入力操作（または選択入力操作）を受け付けるようにしてもよい。
【０１３７】
操作部１６により、ズーム値の変化量に対する視差量の変化量を決定するためのズーム効果設定情報の入力を受け付け、視差量補正値取得部１９により、入力されたズーム効果設定情報に基づいて視差量補正値を算出してもよい。
【０１３８】
以上、ズーミング中に静止画表示を行う場合を例に説明したが、本発明は、特にそのような場合には限定されない。ズーミング中に動画表示を行う場合にも本発明を適用することが可能である。
【０１３９】
図１５は、動画撮影後に行う場合の画像処理の一例の流れを示すフローチャートである。本処理は、制御部２５により、プログラムに従って、実行される。
【０１４０】
図１５のステップＳ３２、Ｓ３４は、それぞれ図２のステップＳ４、Ｓ６と同様である。
【０１４１】
ステップＳ３６にて、記録メディアインタフェース２２により、左眼画像および右眼画像からなる多視点画像を、１フレームごとに記録メディア２３に記録する。ここで、記録メディアインタフェース２２は、１フレームごとに、多視点画像にズーム値情報を付加して記録メディア２３に記録する。
【０１４２】
ステップＳ３８にて、撮影完了か撮影継続を判定し、撮影を継続する場合には、ステップＳ３２およびＳ３４に戻る。
【０１４３】
動画撮影完了後、ステップＳ４０にて、記録メディアインタフェース２２により、記録メディアから１フレームずつ多視点画像（左眼画像および右眼画像）およびズーム値情報を読み出す。
【０１４４】
ステップＳ４０にて、記録メディアインタフェース２２により、記録メディア２３から１フレームの多視点画像とズーム値情報とを読み出す。
【０１４５】
ステップＳ４８、Ｓ５０、Ｓ５２、Ｓ５４は、それぞれ、図２のＳ１４、Ｓ１６、Ｓ１８、Ｓ２０と同様である。
【０１４６】
ステップＳ５６にて、全てのフレーム処理を完了したか否かを判定し、全フレームを完了していない場合には、次フレームに注目してズーム値を画像メモリ１５から読出し（Ｓ５８）、ステップＳ４８に戻る。全フレームを完了した場合には、本処理を終了する。
【０１４７】
図１６は、動画撮影時にリアルタイムで行う場合の画像処理の一例の流れを示すフローチャートである。本処理は、制御部２５により、プログラムに従って、実行される。なお、図２に示したステップと同じステップには同じ符号を付してあり、ここでは異なる点のみ説明する。
【０１４８】
本例では、操作部１６によりズーム値を変化させ指示操作を受け付けると、制御部２５は、撮像レンズ１１Ｌ、１１Ｒのズームレンズを、図示を省略したレンズ駆動部により駆動させるようになっている。図１６では、その制御を省略して示した。
【０１４９】
まず、操作部１６によるズーム操作の有無を判定し（ステップＳ２）、ズーム操作無しの場合には、撮像ユニット１４により１フレーム周期で多視点画像（左眼画像および右眼画像）を取得して画像メモリ１５に保存し（ステップＳ４）、操作部１６から多視点画像のズーム値を取得する（ステップＳ６）。なお、図１６のステップＳ４、Ｓ６は、それぞれ図２の同じ符号のステップと同様である。ズーム操作ありの場合には、ズーム操作時（ズーム値の変化直前）の多視点画像（左眼画像および右眼画像）の１フレームを電子ズーム用のメモリに保存し（ステップＳ８）、操作部１６からズーム値を取得し（ステップＳ１０）、取得されたズーム値に応じて、画像メモリ１５に保存されている多視点画像を電子ズーム処理部１７により変倍（拡大または縮小）する（ステップＳ１２）。電子ズーム用のメモリは、電子ズーム処理部１７に内蔵されていてもよいし、画像メモリ１５をリアルタイムの多視点画像のメモリと電子ズーム用のメモリとに分けて使用してもよい。
【０１５０】
図１６のステップＳ１４〜Ｓ２０は、それぞれ図２の同じ符号のステップと同様である。
【０１５１】
ステップＳ２２にて、ズーム操作継続か否かを判定し、ズーム操作継続の場合には、ステップＳ１０に戻る。また、撮影完了か撮影継続を判定し（ステップＳ２４）、撮影を継続する場合には、ステップＳ２に戻る。
【０１５２】
本処理にて、取得されたズーム値が変化している間は、ズーム値の変化直前または直後の１フレームの多視点画像（立体静止画像）を電子ズーム処理部１７により変倍してモニタ２１に出力する。一方、取得されたズーム値が変化していない間は、複数フレームの多視点画像（立体動画像）をモニタ２１に出力する。
【０１５３】
図１７は、動画撮影後に画像処理を行う場合の画像処理の一例の流れを示すフローチャートである。
【０１５４】
ステップＳ３２〜Ｓ４０は、それぞれ図１５のステップと同様である。
【０１５５】
ステップＳ４２にて、ズーム値の変化の有無を判定する。
【０１５６】
ズーム値に変化があった場合には、ステップＳ４４にて、画像メモリ１５内の多視点画像を電子ズーム処理部１７により変倍（拡大または縮小）する。
【０１５７】
ズーム値に変化がなかった場合には、ステップＳ４６にて、記録メディア２３から次の１フレームの多視点画像（左眼画像および右眼画像）を読み出して画像メモリ１５に保存する。
【０１５８】
ステップＳ４８〜Ｓ５８は、図１５のステップと同様である。
【０１５９】
本処理にて、取得されたズーム値が変化している間は、ズーム値の変化直前または直後の１フレームの多視点画像（立体静止画像）を電子ズーム処理部１７により変倍してモニタ２１に出力し、取得されたズーム値が変化していない間は、複数フレームの多視点画像（立体動画像）をモニタ２１に出力する。
【０１６０】
図１８に示すように、制御部２５は、ズーム値が継続して変化している期間（変倍期間）を複数の期間に分割するとともに、ズーム値が連続して変化している場合に、そのズーム値の変化を連続的な変化から段階的な変化に切り替えることで、ズーム値の変動期間（変倍期間）に段階的に変倍した複数の静止画像（立体静止画像）を順に、モニタ２１により表示出力するとともに記録メディア２３に記録する制御を行う。
【０１６１】
また、制御部２５は、変倍された複数の静止画像（立体静止画像）の合計の表示時間を、ズーム値の変動期間（変倍期間）よりも長くする。例えば、図１８にて、「初期静止画」、「拡大１静止画」、「拡大２静止画」、および「拡大３静止画」の合計の表示時間は、「ズームＷ→Ｔ移動中」の時間よりも、長い。
【０１６２】
また、図１９に示すように、制御部２５は、モニタ２１における複数の静止画像（立体静止画）の表示の切り替えを、フェードインおよびフェードアウトで行う。即ち、一方の静止画像をフェードアウト表示しながら他方の静止画像をフェードイン表示させる制御を行う。
【０１６３】
なお、本発明を撮像装置に適用した場合を例に説明したが、本発明はこのような場合に特に限定されない。例えば、図２０に示すコンピュータ装置１００に本発明を適用してもよい。図２０にて、図１に示した構成要素には同じ符号を付した。
【０１６４】
図２０に示すパーソナルコンピュータ装置１００は、操作部１６、立体表示部２１（モニタ）、記録メディアインタフェース２２、メモリ１０２およびマイクロプロセッサ１０３、外部入出力ＩＦ（インタフェース）１０４を含んでいる。マイクロプロセッサ１０３は、図１の電子ズーム処理部１７、視差量算出部１８、視差量補正値取得部１９、視差量補正部２０および制御部２５の機能を有する。メモリ１０２は図１の画像メモリ１５の機能を有する。外部入出力ＩＦ１０４は、複眼カメラ（多視点画像を撮像可能な撮像装置）から多視点画像を図２０の装置１００に入力し、マイクロプロセッサ１０３により視差量補正された多視点画像を、ハードディスク装置、ディスク記録装置等の外部機器に出力する。
【０１６５】
図２０に示したパーソナルコンピュータ装置１００（画像処理装置）は、多視点画像の編集（視差量補正を含む）専用の編集装置、もしくは、立体表示部２１で多視点画像（視差量補正後の多視点画像の場合を含む）の再生表示を行う再生装置として用いられる。
【０１６６】
なお、多視点画像として、左眼画像および右眼画像からなる２視点画像を例に説明したが、３視点以上の視点画像からなる多視点画像でも、本発明を適用してよい。
【０１６７】
本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
【符号の説明】
【０１６８】
１１Ｌ、１１Ｒ…撮像レンズ、１２Ｌ、１２Ｒ…撮像センサ、１３…信号処理部、１５…画像メモリ、１６…操作部、１７…電子ズーム処理部、１８…視差量算出部、１９…視差量補正値取得部、２０…視差量補正部、２１…モニタ（表示手段）、２２…記録メディアインタフェース、２３…記録メディア、２５…制御部
【図１】
2012101917.tif 000003
【図２】
2012101917.tif 000004
【図３】
2012101917.tif 000005
【図４】
2012101917.tif 000006
【図５Ａ】
2012101917.tif 000007
【図５Ｂ】
2012101917.tif 000008
【図５Ｃ】
2012101917.tif 000009
【図６】
2012101917.tif 000010
【図７Ａ】
2012101917.tif 000011
【図７Ｂ】
2012101917.tif 000012
【図７Ｃ】
2012101917.tif 000013
【図８】
2012101917.tif 000014
【図９】
2012101917.tif 000015
【図１０】
2012101917.tif 000016
【図１１Ａ】
2012101917.tif 000017
【図１１Ｂ】
2012101917.tif 000018
【図１２】
2012101917.tif 000019
【図１３】
2012101917.tif 000020
【図１４】
2012101917.tif 000021
【図１５】
2012101917.tif 000022
【図１６】
2012101917.tif 000023
【図１７】
2012101917.tif 000024
【図１８】
2012101917.tif 000025
【図１９】
2012101917.tif 000026
【図２０】
2012101917.tif 000027
【国際調査報告】
2012101917.tif 000028
2012101917.tif 000029
2012101917.tif 000030