【手続補正書】
【提出日】平成25年9月25日(2013.9.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
互いに異なる視点方向から撮影され、かつそれぞれが画像面内において不均一な視差分布を有する複数の視点画像の各々に対し、前記画像面内の位置に応じて視差量の補正を行う視差量補正部
を備えた画像処理装置。
【請求項２】
前記視差量補正部は、前記画像面内における視差分布が略均一となるように前記補正を行う
請求項１に記載の画像処理装置。
【請求項３】
前記複数の視点画像はそれぞれ、画像面内の中央部から端部に向かって視差量が徐々に減少するような視差分布を有するものであり、
前記視差量補正部は、前記画像面内の中央部から端部に向かって、視差量が徐々に強調されるように前記補正を行う
請求項２に記載の画像処理装置。
【請求項４】
前記視差量補正部は、各視点画像に複数の被写体画像が含まれている場合に、前記被写体画像毎に前記補正を行う
請求項１ないし請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記複数の視点画像に基づき、奥行き情報を取得する奥行き情報取得部を有し、
前記視差量補正部は、前記奥行き情報を用いて前記補正を行う
請求項４に記載の画像処理装置。
【請求項６】
前記視差量補正部は、前記複数の視点画像に基づく立体映像が奥側にシフトされるように前記補正を行う
請求項１ないし請求項３のいずれか１項に記載の画像処理装置。
【請求項７】
互いに異なる視点方向から撮影され、かつそれぞれが画像面内において不均一な視差分布を有する複数の視点画像の各々に対し、前記画像面内の位置に応じて視差量の補正を行うステップ
を含む画像処理方法。
【請求項８】
撮像レンズと、
複数の光路において各光路の透過および遮断を切り替え可能なシャッターと、
前記光路毎の通過光線を受光して、互いに異なる視点方向から見た複数の視点画像に対応する撮像データを出力する撮像素子と、
前記シャッターにおける各光路の透過および遮断の切り替えを制御する制御部と、
前記複数の視点画像に対し画像処理を施す画像処理部とを備え、
前記制御部は、各撮像フレームにおいて前記撮像素子における１ライン目の露出開始タイミングから所定の期間遅延したタイミングで各光路の透過および遮断が切り替わるように前記シャッターを制御し、
前記画像処理部は、前記複数の視点画像の各々に対し、画像面内の位置に応じて視差量の補正を行う視差量補正部を有する
撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の画像処理装置は、互いに異なる視点方向から撮影され、かつそれぞれが画像面内において不均一な視差分布を有する複数の視点画像の各々に対し、画像面内の位置に応じて視差量の補正を行う視差量補正部を備えたものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の画像処理方法は、互いに異なる視点方向から撮影され、かつそれぞれが画像面内において不均一な視差分布を有する複数の視点画像の各々に対し、前記画像面内の位置に応じて視差量の補正を行うステップを含むものである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明の撮像装置は、撮像レンズと、複数の光路において各光路の透過および遮断を切り替え可能なシャッターと、光路毎の通過光線を受光して、互いに異なる視点方向から見た複数の視点画像に対応する撮像データを出力する撮像素子と、シャッターにおける各光路の透過および遮断の切り替えを制御する制御部と、複数の視点画像に対し画像処理を施す画像処理部とを備えたものである。制御部は、各撮像フレームにおいて撮像素子における１ライン目の露出開始タイミングから所定の期間遅延したタイミングで各光路の透過および遮断が切り替わるようにシャッターを制御し、画像処理部は、複数の視点画像の各々に対し、画像面内の位置に応じて視差量の補正を行う視差量補正部を有する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
視差量補正部１３１は、入力された左右の視点画像間における視差量を補正するものである。具体的には、画像面内において不均一な視差分布を有する複数の視点画像に対し、画像面内の位置に応じて視差量の補正を行うことにより、その視差量の不均一性を低減するようになっている。また、本実施の形態では、視差量補正部１３１は、ディスパリティマップ生成部１３３から入力されるディスパリティマップに基づいて、上記補正を行う。ディスパリティマップを用いることにより、被写体の像が手前に飛び出して見えるか、あるいは奥まって見えるか、という立体感に適した視差量補正を行うことができる。即ち、奥側（観察者から遠い側）にある被写体像は、より奥まって観察され、手前側（観察者に近い側）にある被写体像はより飛び出して観察されるように（視差による立体感がより強調される方向に）、視差量を補正可能となる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
シャッター駆動部１５は、制御部１７によるタイミング制御に応じて、シャッター１１の左右の領域（ＳＬ，ＳＲ）においてその領域毎に開閉の切り替え駆動を行うものである。具体的には、シャッター１１の領域ＳＬが開状態のときには、領域ＳＲが閉状態となるように、逆に領域ＳＬが閉状態のときには、領域ＳＲが開状態となるようにそれぞれ駆動する。動画撮影の際には、そのような領域ＳＬ，ＳＲの開閉切り替えが時分割で交互に行われるように駆動する。ここでは、シャッター１１における左右の各領域ＳＬ，ＳＲの開期間がその領域に対応するフレーム（フレームＬまたはフレームＲ）に１：１で対応しており、各領域ＳＬ，ＳＲの開期間と１フレーム期間とは略同一となっている。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
［撮像装置１の作用、効果］
（１．基本動作）
上記のような撮像装置１では、制御部１７の制御に基づき、レンズ駆動部１４が撮像レンズ１０ａ，１０ｂを駆動すると共に、シャッター駆動部１５がシャッター１１における左領域ＳＬを開状態、右領域ＳＲを閉状態にそれぞれ切り替える。また、これらの各動作に同期して、イメージセンサ駆動部１６がイメージセンサ１２を駆動させる。これにより、左光路への切り替えがなされ、イメージセンサ１２では、左視点方向から入射した光線に基づく左視点画像データＤ０Ｌが取得される。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
まず、図６に示したように、左右の光路切り替えをしない場合（通常の２Ｄ撮影の場合）の受光像（イメージセンサ１２への映り方）について説明する。ここでは、被写体の一例として、奥行き方向において互いに異なる位置に配置された３つの被写体を例に挙げる。具体的には、撮影レンズ１０ａ，１０ｂのピント面Ｓ１にある被写体Ａ（人物）と、被写体Ａよりも奥側（撮像レンズ１０ａ，１０ｂと反対側）に位置する被写体Ｂ（山）と、被写体Ａよりも手前側（撮像レンズ側）に位置する被写体Ｃ（花）である。このような位置関係にある場合、被写体Ａが、例えばセンサ面Ｓ２上の中央付近に結像する。一方、ピント面Ｓ１よりも奥側に位置する被写体Ｂは、センサ面Ｓ２の手前（撮像レンズ側）に結像し、被写体Ｃは、センサ面Ｓ２の奥側（撮像レンズと反対側）に結像する。即ち、センサ面Ｓ２には、被写体Ａがフォーカスした（ピントの合った）像（Ａ０）、被写体Ｂおよび被写体Ｃはデフォーカスした（ぼやけた）像（Ｂ０，Ｃ０）となって映る。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
（左視点画像）
このような位置関係にある３つの被写体Ａ〜Ｃに対し、光路を左右で切り替えた場合、センサ面Ｓ２への映り方は、次のように変化する。例えば、シャッター駆動部１５が、シャッター１１の左側の領域ＳＬを開状態、右側の領域ＳＲを閉状態となるように駆動した場合には、図７に示したように、左側の光路が透過となり、右側の光路は遮光される。この場合、ピント面Ｓ１にある被写体Ａに関しては、右側の光路を遮光されていても、光路切り替えのない上記場合と同様、センサ面Ｓ２上にフォーカスして結像する（Ａ０）。ところが、ピント面Ｓ１から外れた位置にある被写体Ｂ，Ｃについては、センサ面Ｓ２上においてデフォーカスしたそれぞれの像が、水平方向において互いに逆の方向（シフト方向ｄ１，ｄ２）にシフトしたような像（Ｂ０'，Ｃ０'）として映る。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
（右視点画像）
一方、シャッター駆動部１５が、シャッター１１の領域ＳＲを開状態、領域ＳＬを閉状態となるように駆動した場合には、図８に示したように、右側の光路が透過となり、左側の光路は遮光される。この場合も、ピント面Ｓ１にある被写体Ａは、センサ面Ｓ２上に結像し、ピント面Ｓ１から外れた位置にある被写体Ｂ，Ｃは、センサ面Ｓ２上において互いに逆の方向（シフト方向ｄ３，ｄ４）にシフトしたような像（Ｂ０"，Ｃ０"）として映る。但し、これらのシフト方向ｄ３，ｄ４は、上記左視点画像におけるシフト方向ｄ１，ｄ２とそれぞれ逆向きとなる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
（左右の視点画像間の視差）
上記のように、シャッター１１における各領域ＳＬ，ＳＲの開閉を切り替えることにより、左右の各視点方向に対応する光路が切り替えられ、左視点画像Ｌ１，右視点画像Ｒ１を取得することができる。また、上述のようにデフォーカスした被写体像は、左右の視点画像間で互いに水平方向逆向きにシフトするため、その水平方向に沿った位置ずれ量（位相差）が立体感を生みだす視差量となる。例えば図９（Ａ），（Ｂ）に示したように、被写体Ｂに注目した場合、左視点画像Ｌ１における像Ｂ０’の位置（Ｂ１L）と右視点画像Ｒ１における像Ｂ０”の位置（Ｂ１R）との水平方向の位置ずれ量Ｗｂ１が、被写体Ｂについての視差量となる。同様に、被写体Ｃに注目した場合、左視点画像Ｌ１における像Ｃ０’の位置（Ｃ１L）と右視点画像Ｒ１における像Ｃ０”の位置（Ｃ１R）との水平方向の位置ずれ量Ｗｃ１が、被写体Ｃについての視差量となる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
（比較例１）
ＣＣＤをイメージセンサとして用いた比較例１では、面順次で画面一括駆動されるため、図１０（Ａ）に示したように、一画面（撮像画面）内において露出期間に時間的なずれがなく、信号の読み出し（Read）も同時刻になされる。一方、左領域１００Ｌおよび右領域１００Ｒの開閉は、左視点画像用の露出期間において左領域１００Ｌが開（右領域１００Ｒが閉）となり、右視点画像用の露出期間において右領域１００Ｒが開（左領域１００Ｌが閉）となるように切り替えられる（図１０（Ｂ））。具体的には、露出開始（フレーム期間開始）タイミングに同期して、左領域１００Ｌ，右領域１００Ｒの開閉が切り替えられる。また、比較例１では、左領域１００Ｌおよび右領域１００Ｒの開期間はそれぞれ、フレーム期間ｆｒに等しく、また露出期間にも等しくなっている。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
このとき、上記実施の形態と同様、各撮像フレームにおいて、シャッター１１ａ，１１ｂにおける各領域の開閉切り替えを、イメージセンサ１２における１ライン目の露出開始から所定の期間遅延して行う。これにより、上記実施の形態と同様、例えば図１４（Ｃ），図１５（Ａ）に示したような視差分布を有する視点画像を生成可能となる。