(57)【要約】【課題】撮像画像を任意の位置に擬似合焦できる撮像装置を提供する。【解決手段】被写体の撮像画像を撮像する撮像部と、撮像画像を擬似合焦させる希望焦点距離を指定する距離指定部と、希望焦点距離と撮像画像に含まれる被写体の各々及び撮像部の間の距離との差分である相対距離を被写体の各々に対して計算する計算部と、各被写体に対して計算した相対距離に基づいて、撮像画像を平滑化する平滑処理部とを備える撮像装置が与えられる。【選択図】図１
2013232757.tif 000002
【特許請求の範囲】
【請求項１】
被写体の撮像画像を撮像する撮像部と、
前記撮像画像を擬似合焦させる希望焦点距離を指定する距離指定部と、
前記希望焦点距離に応じた希望焦点位置と前記撮像画像に含まれる２以上の前記被写体の各々の位置との相対距離を計算する計算部と、
それぞれの前記被写体に対して計算した前記相対距離に基づいて、前記撮像画像を平滑化する平滑処理部と、
を備える撮像装置。
【請求項２】
前記撮像部から２以上の前記被写体の各々までの距離を測定する距離測定部を更に備え、前記計算部は、前記希望焦点距離と、前記撮像部及び２以上の前記被写体の距離との差分をそれぞれの前記被写体に対して計算する請求項１に記載の撮像装置。
【請求項３】
前記距離測定部は、同一の前記被写体からの光を異なる光路を介して受光する像面位相差センサを含み、前記像面位相差センサにおいて、各々の光が受光された位置に基づいて、前記撮像部から２以上の前記被写体の各々までの距離を測定する請求項２に記載の撮像装置。
【請求項４】
前記距離測定部は、光の飛翔時間を測定するＴＯＦイメージセンサを含み、前記撮像部から２以上の前記被写体の各々までの光の往復時間に基づいて、前記撮像部から２以上の前記被写体の各々までの距離を測定する請求項２に記載の撮像装置。
【請求項５】
前記距離測定部は、異なる光学位置から前記被写体を撮像する光学系を含み、前記光学系において、異なる光学位置から撮像した撮像画像間の視差に基づいて、前記撮像部から２以上の前記被写体の各々までの距離を測定する請求項２に記載の撮像装置。
【請求項６】
前記距離測定部によって測定した、前記撮像部から２以上の前記被写体の各々までの距離に基づいて、２以上の前記被写体の各々と前記撮像部との間の距離を表す距離情報画像を生成する距離情報画像生成部をさらに備える請求項２から５のいずれか一項に記載の撮像装置。
【請求項７】
前記距離指定部は、前記距離情報画像において、ユーザによりいずれかの距離が選択された場合に、選択された距離を前記希望焦点距離とする請求項６に記載の撮像装置。
【請求項８】
前記距離情報画像は、前記撮像部から２以上の前記被写体の各々までの距離の範囲毎に区別されている請求項６に記載の撮像装置。
【請求項９】
前記撮像画像は、パンフォーカス画像である請求項１から８のいずれか一項に記載の撮像装置。
【請求項１０】
前記平滑処理部は、前記相対距離がより大きい前記被写体に対応する前記撮像画像の領域に対して、ぼかしの程度をより大きくする請求項１から９のいずれか一項に記載の撮像装置。
【請求項１１】
撮像装置が撮像した被写体の撮像画像を擬似合焦させる希望焦点距離を指定する距離指定部と、
前記希望焦点距離に応じた希望焦点位置と前記撮像画像に含まれる２以上の前記被写体の各々の位置との相対距離を計算する計算部と、
それぞれの前記被写体に対して計算した前記相対距離に基づいて、前記画像を平滑化する平滑処理部と、
を備える画像処理装置。
【請求項１２】
撮像装置が被写体を撮像した撮像画像を取得する段階と、
前記画像を擬似合焦させる希望焦点距離を指定する段階と、
前記希望焦点距離に応じた希望焦点位置と前記撮像画像に含まれる２以上の前記被写体の各々の位置との相対距離を計算する段階と、
それぞれの前記被写体に対して計算した前記相対距離に基づいて、前記画像を平滑化処理する段階と、
を備える画像処理方法。
【請求項１３】
コンピュータを請求項１１に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、カメラで被写体を撮像した後に、画像データを加工して、リフォーカスする技術がある。この技術は、レンズの表面を複数の視点に分割し、視点毎に一つのイメージを生成する。そして、視点毎のイメージの有する視差を補正して、再合成する（例えば、非特許文献１参照）。
非特許文献１  Light Field Photography with a Hand-held Plenoptic Camera, Ren Ng, et. al., Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の方法では、奥行き方向の解像度を増やすべく、視点数を増やすと画像の水平方向の解像度が低下する。また従来の方法は、すべての視点におけるイメージデータを保存し、その全てのイメージデータを使って再現ベクトル演算を実行するため、装置の負荷が非常に大きい。さらに、従来の方法では、開放ｆ値の比較的小さいレンズを使用するため、装置コストの増大をまねく。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、被写体の撮像画像を撮像する撮像部と、撮像画像を擬似合焦させる希望焦点距離を指定する距離指定部と、希望焦点距離に応じた希望焦点位置と撮像画像に含まれる２以上の被写体の各々の位置との相対距離を計算する計算部と、それぞれの被写体に対して計算した相対距離に基づいて、撮像画像を平滑化する平滑処理部とを備える撮像装置が提供される。
【０００５】
本発明の第２の態様においては、撮像装置が撮像した被写体の撮像画像を擬似合焦させる希望焦点距離を指定する距離指定部と、希望焦点距離に応じた希望焦点位置と撮像画像に含まれる２以上の被写体の各々の位置との相対距離を計算する計算部と、それぞれの被写体に対して計算した相対距離に基づいて、画像を平滑化する平滑処理部とを備える画像処理装置が提供される。
【０００６】
本発明の第３の態様においては、撮像装置が被写体を撮像した撮像画像を取得する段階と、画像を擬似合焦させる希望焦点距離を指定する段階と、希望焦点距離に応じた希望焦点位置と撮像画像に含まれる２以上の被写体の各々の位置との相対距離を計算する段階と、それぞれの被写体に対して計算した相対距離に基づいて、画像を平滑化処理する段階とを備える画像処理方法が提供される。
【０００７】
本発明の第４の態様においては、コンピュータを上記画像処理装置として機能させるためのプログラムが提供される。
【０００８】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００９】
【図１】実施形態にかかる撮像装置１００のブロック図である。
【図２】実施形態にかかる画像処理方法のフロー図である。
【図３】撮像装置１００で生成した距離情報画像２００の例である。
【図４】撮像部１０で撮像したパンフォーカス画像の例を示す。
【図５】画像処理装置１１で平滑化処理した後の擬似合焦像の例を示す。
【図６】距離測定部１２の実施形態を示す。
【図７】図６の距離測定部の撮像素子３０の配列の例を示す。
【図８】撮像素子３０の位置と光の信号量の関係を示すグラフである。
【図９】距離測定部１２の他の実施形態を示す。
【図１０】ＴＯＦイメージセンサ６０の動作のタイミングチャートを示す。
【図１１】距離測定部１２の他の実施形態を示す。
【図１２】光学系８０の一例を示す。
【図１３】実施形態にかかるコンピュータシステム１５のブロック図である。
【発明を実施するための形態】
【００１０】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１１】
図１は、本発明の実施形態にかかる撮像装置１００のブロック図である。撮像装置１００は、撮像部１０と、距離測定部１２と、メモリ１４と、距離情報画像生成部１６と、表示部１８と、距離指定部２０と、計算部２２と、平滑処理部２４と、メインメモリ２６と、出力インターフェース２８とを備える。距離情報画像生成部１６と、距離指定部２０と、計算部２２と、平滑処理部２４は、画像処理装置１１を構成する。
【００１２】
撮像部１０は、被写体の撮像画像を撮像する。ここで、被写体とは、撮像部１０からの距離が異なる複数の物体、もしくは、奥行き方向に凹凸を有する複数の部分を含むひとつの物体を指す。ここで、撮像画像とは、画像処理装置１１により画像処理を施す前の画像を指す。撮像画像は、２次元のパンフォーカス画像である。パンフォーカス画像とは、２以上の被写体のそれぞれと撮像部１０との距離が異なっても、ピントが合っているように見える画像を指す。パンフォーカス画像は、光学的な絞りを絞った状態で撮像することにより取得することができる。つまり、パンフォーカス画像は、被写界深度が深くなる状態で撮影することで得ることができる、被写界深度の深い状態とは、被写界深度内に∞及び近距離（例えば、１ｍ）の被写体の両方が含まれる状態を指す。パンフォーカス画像を撮像する撮像部１０は、開放ｆ値が大きいレンズを有する。開放ｆ値はＦ８以上であってよい。パンフォーカス画像は、ピントの合っている位置が曖昧な画像である。撮像画像の解像度は、例えば、２５００×１６００画素である。
【００１３】
距離測定部１２は、撮像部１０から２以上の被写体の各々までの距離を測定する。ここで、距離とは、撮像部１０から２以上の被写体の各々までの光学的距離を指す。同一の被写体内において距離の差があるときは、それぞれの距離を測定してよい。距離測定部１２の詳細は、後述する。距離測定部１２は、撮像部１０から２以上の被写体の各々までの距離を視覚的に表すための距離情報を取得する。距離測定部１２は、例えば撮像部１０と同一範囲の被写体について、撮像部１０よりも低い解像度で距離情報を測定する。例えば撮像部１０は、数百万から数千万程度の画素を有する。これに対して距離測定部１２は、８００×４００程度の画素を有し、それぞれの画素に対して距離を測定してよい。距離測定部１２は、撮像部１０の一部であってよい。また、距離測定部１２は、撮像部１０とは独立の光学系であってもよい。後者の場合、距離測定部１２は、撮像部１０に近接して配置されるが好ましい。
【００１４】
メモリ１４は、撮像部１０及び距離測定部１２と接続し、撮像部１０からの撮像画像データ及び距離測定部１２からの距離情報データを格納する。メモリ１４は、キャッシュメモリであってもよい。その場合、メインメモリ２６が撮像部１０からの撮像画像データ及び距離測定部１２からの距離情報データを格納する。メモリ１４は、それぞれのデータのアドレス、フラグなどの属性情報を保持してよい。
【００１５】
距離情報画像生成部１６は、メモリ１４と接続し、距離測定部１２によって測定した、撮像部１０から２以上の被写体の各々までの距離に基づいて、２以上の被写体の各々と撮像部１０との間の距離を表す距離情報画像を生成する。距離情報画像生成部１６は、メモリ１４にアクセスすることにより、距離情報データを取得する。ここで、距離情報データとは、撮像部１０から各被写体までの光学的距離を表すデータを指す。距離情報画像生成部１６は、取得した距離情報データに基づいて、距離情報画像を生成する。ここで、距離情報画像は、撮像部１０から２以上の被写体の各々までの距離の範囲毎に区別された画像を指す。距離の範囲は、例えば、撮像部１０から被写体までの距離を、５０ｃｍ、８０ｃｍ、もしくは１ｍ毎に区別して得ることができる。距離の範囲は、等間隔であってもよいし、等間隔でなくてもよい。距離の範囲は、線によって区別してよく、色によって区別してもよい。また、距離の範囲は、模様もしくは文字その他の記号によって区別してもよい。
【００１６】
表示部１８は、距離情報画像生成部１６から距離情報画像データを取得し、距離情報画像を表示する。表示部１８は、撮像部１０の裏面に設けられた液晶カラーディスプレイであってよい。
【００１７】
距離指定部２０は、撮像画像を擬似合焦させる希望焦点距離を指定する。距離指定部２０は、距離情報画像において、ユーザによりいずれかの距離が選択された場合に、選択された距離を希望焦点距離とする。ここで、希望焦点距離とは、撮像部１０から、ユーザがピントを合わせたい被写体までの光学的距離を指す。つまり、擬似合焦とは、撮像部１０でピントを合わせて撮像した被写体とは異なる被写体に対応する画像領域を抽出し、当該画像領域の被写体にピントが合った画像に加工処理することを指す。例えば、表示部１８が表示する距離情報画像の距離の範囲のいずれかをユーザが選択することで、その距離の範囲に含まれる被写体に擬似合焦することができる。
【００１８】
距離指定部２０は、表示部１８と一体であってよいし、独立であってもよい。距離指定部２０が表示部１８と一体である場合の例として、表示部１８の画面がタッチパネルである場合が挙げられる。この例では、ユーザは表示部１８が表示する距離情報画像の距離の範囲のいずれかを、指先もしくはペンなどでタッチすることにより選択することで、希望焦点距離を指定してよい。他の例では、距離指定部２０が距離情報画像から予め所定の距離の範囲に属する被写体の擬似合焦像を自動的に複数生成し、表示部１８が表示する複数の擬似合焦像から、ユーザがいずれかを選択してもよい。
【００１９】
一方、距離指定部２０が表示部１８と独立している場合には、距離指定部２０は、希望焦点距離を入力するユーザ・インターフェースを含んでよい。他の例では、ユーザは無線用のユーザ・インターフェースを使って、遠隔操作により距離指定部２０に希望焦点距離を入力することができる。ユーザは携帯電話などから希望焦点距離を入力してもよい。
【００２０】
計算部２２は、距離指定部２０と接続し、計算部２２は、希望焦点距離に応じた希望焦点位置と撮像画像に含まれる２以上の被写体の各々の位置との相対距離を計算する。計算部２２は、希望焦点距離と、撮像部１０及び２以上の被写体の距離との差分を相対距離として計算してよい。相対距離は、正または負の値を取り得る。つまり、擬似合焦させたい目的の被写体よりも手前に位置する被写体については、相対距離は負の値となり、擬似合焦させたい目的の被写体よりも奥に位置する被写体については、相対距離は正の値となる。
【００２１】
平滑処理部２４は、計算部２２及びメモリ１４と接続し、それぞれの被写体に対して計算した相対距離に基づいて、撮像画像を平滑化する。ここで、相対距離に基づいてとは、相対距離の絶対値を対比することにより、撮像画像を平滑化することを含んでよい。また、相対距離の閾値を予め指定し、当該閾値と各被写体の相対距離とを対比して、撮像画像を平滑化することを含んでよい。さらに、被写体どうしの相対距離の差が小さい場合に、相対距離に重み付けをして、その重み付けされた相対距離と閾値とを対比して、撮像画像を平滑化することを含んでよい。平滑処理部２４は、相対距離に応じて、平滑化フィルタを作成する。平滑化フィルタは、撮像画像の縦方向及び横方向に画素レベルを平均化するローパスフィルタであってよい。
【００２２】
平滑処理部２４は、メモリ１４にアクセスして撮像部１０で撮像したパンフォーカス画像データを読み込む。平滑処理部２４は、読み出したパンフォーカス画像データに対して、平滑化処理を行う。平滑処理部２４は、相対距離がより大きい被写体に対応する撮像画像の領域に対して、ぼかしの程度をより大きくする。平滑処理部２４は、相対距離が大きいほど、広い範囲に対してぼかしの程度を強くする。ここで、ぼかしの程度とは、平滑化の相対強度を指す。平滑化フィルタは、パンフォーカス画像の中で、相対距離が大きい被写体に対応する画像については、平滑化の強度を相対的に強くして、強くぼかすようにフィルタリングする。一方、平滑化フィルタは、相対距離の小さい被写体に対応する画像については、平滑化の強度を相対的に弱くして、弱くぼかすようにフィルタリングする。ローパスフィルタをかける回数を増減することにより、ぼかしの相対的な強さを変更することができる。本実施形態によれば、複数の視差画像を同時に取得せずとも擬似合焦像を生成できるので、高解像度の画像が得られる。また、平滑化処理のみで、解像度の高い擬似合焦像を得ることができるので、平滑化処理後に、画像データを再合成する必要がない。したがって、画像処理における装置の負荷を軽減することができる。
【００２３】
メインメモリ２６は、平滑処理部２４と接続し、擬似合焦像データを格納する。表示部１８は、メインメモリ２６から擬似合焦像データを読み出し表示する。出力インターフェース２８は、メインメモリ２６と接続し、メインメモリ２６に格納された擬似合焦像データを撮像装置１００の外部に出力してよい。撮像装置１００は、出力インターフェース２８を介して、携帯電話、ＰＡＤ端末、パソコン、テレビ等の外部のディスプレイ装置と接続することができる。
【００２４】
図２は、実施形態にかかる画像処理方法のフロー図である。本実施形態にかかる画像処理方法は、撮像ステップＳ１と、距離測定ステップＳ２と、距離情報画像作成／表示ステップＳ３と、距離指定ステップＳ４と、相対距離計算ステップＳ５と、平滑化処理ステップＳ６と、判断ステップＳ７とを備える。
【００２５】
まず、撮像ステップＳ１において、撮像部１０が被写体を撮像した撮像画像を取得する。本実施形態において撮像部１０が撮像した撮像画像は、パンフォーカス画像である。
【００２６】
次に、距離測定ステップＳ２において、距離測定部１２が、撮像部１０から２以上の被写体の各々までの距離を測定し、各被写体と距離情報データとを関連づける。ここで、距離とは、撮像部１０からそれぞれの被写体までの最短距離を意味する。距離測定方法の詳細は、図６から１３において後述する。
【００２７】
続いて、距離情報画像作成／表示ステップＳ３において、距離情報画像生成部１６が、距離測定ステップＳ２で測定した距離情報データから距離情報画像データを生成する。距離情報画像データは、表示部１８に送信され、表示部１８が距離情報画像を表示する。距離情報画像は、撮像部１０から２以上の被写体の各々までの距離の範囲毎に区別されている。
【００２８】
続いて、距離指定ステップＳ４において、距離指定部２０は、ユーザの選択に基づいて、画像を擬似合焦させる希望焦点距離を指定する。距離指定部２０は、ユーザが表示部１８に表示された距離情報画像から選択した希望焦点距離の情報を、ユーザ・インターフェースを介して受信する。ユーザは、表示部１８に表示された距離情報画像を見て、目的の被写体に対応する画像が含まれる距離の範囲を選択する。ここで、ユーザは、被写体が存在しない距離の範囲を希望焦点距離として指定してもよい。
【００２９】
なお、ユーザが希望焦点距離を指定する方法は、表示部１８に表示された距離情報画像を見た後で、ユーザが距離情報画像から距離の範囲を選択する方法に限定されない。例えば、撮像画像に含まれる複数の被写体について、距離指定部２０が予め自動的に擬似合焦像を生成し、メモリ１４に記憶させ、表示部１８がメモリ１４にアクセスして複数の擬似合焦像を順番に表示し、ユーザが目的の被写体の擬似合焦像を選択する方法であってもよい。他の例では、予めユーザが希望焦点距離を指定してメモリ１４に記憶させ、距離指定部２０がメモリ１４にアクセスして希望焦点距離情報を読み出し、自動的に擬似合焦像を生成してもよい。
【００３０】
次に、相対距離計算ステップＳ５において、計算部２２が希望焦点距離に応じた希望焦点位置と撮像画像に含まれる２以上の被写体の各々の位置との相対距離を計算する。ここで、相対距離は、希望焦点距離と、撮像画像に含まれる２以上の被写体の各々及び撮像部１０の間の距離との差分であってよい。相対距離計算ステップＳ５において、目的の被写体と、それ以外の被写体が撮像画像において区別される。計算部２２は、それぞれの被写体に対応する画像と各被写体の相対距離とを関連づける。希望焦点距離に配置される目的の被写体に対する相対距離は０となる。
【００３１】
続いて、平滑化処理ステップＳ６において、平滑処理部２４が、それぞれの被写体に対して計算した相対距離に基づいて、撮像画像を平滑化処理する。平滑処理部２４はメモリ１４にアクセスし、撮像部１０が撮像したパンフォーカス画像のデータを読み出す。平滑化処理ステップＳ６は、一例として、ローパスフィルタによるフィルタリング処理であってよい。平滑化処理ステップＳ６は、相対距離がより大きい被写体に対応する撮像画像の領域に対して、ぼかしの程度をより大きくするように処理する。ぼかしの程度は、例えば平滑化フィルタのフィルタ係数およびタップ数を変更することで制御できる。
【００３２】
次に、判断ステップＳ７において、ユーザは別の被写体の擬似合焦像を取得するかどうかを判断する。ユーザが取得すると判断した場合には、距離指定ステップＳ４に戻る。ユーザが取得しないと判断した場合には、画像処理は終了する。
【００３３】
本実施形態にかかる撮像装置１００及び画像処理方法によれば、一度撮像した画像から、任意の位置にピントが合った解像度の高い擬似合焦像を取得することができる。また、本実施形態にかかる撮像装置１００及び画像処理方法によれば、画像処理を簡素化することができるので、画像処理に伴う装置の負荷を低減することができる。さらに、本実施形態にかかる撮像装置１００及び画像処理方法によれば、画像処理の高速化及び装置コストの低減を図ることができる。
【００３４】
図３は、表示部１８が表示した距離情報画像２００の一例である。本例において、被写体２１０は、両手を前に突き出した一人の人間の上半身である。距離情報画像２００は、被写体２１０の画像及びその横に表示された模様チャート２２０を含む。距離情報画像２００は、被写体２１０の輪郭がわかる程度の解像度を有する画像であってよい。距離情報画像２００において、被写体２１０の体の表面は、撮像部１０からの距離に応じて、所定の距離の範囲毎に異なる模様が付され、区別されている。また、距離情報画像は、撮像部１０からの距離がそれぞれの範囲内にある領域を境界線で区別する。本例では、１ｍから７ｍまでの距離を５段階で５種類の模様により区別している。
【００３５】
例えば、距離の範囲ａによって区別される被写体部分と距離の範囲ｂによって区別される被写体部分とでは、模様が異なるので、撮像部１０からの距離が異なることをユーザは容易に識別することができる。模様の境界線どうしの間隔が狭い場所は、奥行き方向の距離の変化量が大きいことを示す。一方、模様の境界線どうしの間隔が広い場所は、奥行き方向の距離の変化量が小さいことを示す。距離の範囲は、模様以外に、色もしくは記号等によって区別してもよい。本例では、被写体２１０が一人の人間の上半身である場合について説明したが、被写体が景色のような２以上の物体で構成される場合も同様である。
【００３６】
図４は、本実施形態にかかる撮像装置１００の撮像部１０により、屋外の様子を撮像した撮像画像の一例である。本例の撮像画像は、中央の海に浮かんだ人間、その後方の海面、水平線、海に浮かんだヨット、上空の雲などの複数の被写体に対応する画像を含む。本例の撮像画像は、撮像部１０の絞りを絞って撮像したパンフォーカス画像である。
【００３７】
図５は、図４に示す撮像画像を本実施形態にかかる画像処理方法により処理した擬似合焦像である。本例の擬似合焦像は、中央の人間に擬似合焦した画像を示している。複数の被写体の中で、中央の人間にのみピントが合っており、それ以外の被写体は強くぼけて見える。このように本実施形態にかかる撮像装置１００によれば、被写界深度の深い画像を被写界深度の浅い画像に見せることができる。つまり、本実施形態にかかる撮像装置１００によれば、ユーザが選択した選択被写体に対応する希望焦点距離に応じて、当該希望焦点距離の位置にあたかもピントがあっているような画像を得ることができる。
【００３８】
図６は、図１に示す距離測定部１２のひとつの実施形態を示す。本実施形態にかかる距離測定部１２は、同一の被写体３３からの光を異なる光路４４及び光路４６を介して受光する像面位相差センサ５０を含む。ここで、像面位相差センサ５０は、撮像素子３０と、２つの開口部３８、４０を含む開口保持部４２を含む。撮像素子３０は、フォトダイオード３２、瞳分割部３４、マイクロレンズ４８を含む。瞳分割部３４には、スリット３６が設けられており、光路４４または光路４６のいずれかを通過した光をフォトダイオード３２に入射させる。開口保持部４２において、開口部３８及び開口部４０は、それぞれマイクロレンズ４８の光軸線３７から等距離に配置される。
【００３９】
像面位相差センサ５０は、各々の光が受光された位置に基づいて、撮像部１０から２以上の被写体の各々までの距離を測定する。像面位相差センサ５０は、瞳分割を施した２種類の撮像素子３０を、チップ上に混在させて配置することにより、得られた視差情報に基づいて、撮像部１０から２以上の被写体の各々までの距離を測定する。なお、像面位相差センサ５０は、通常の画像も同時に取得することができる。
【００４０】
瞳分割部３４は、液晶によって構成されてよい。瞳分割部３４は、液晶に印加する電圧の変化に応じて、スリット３６の位置を位置Ａ及び位置Ｂの間で交替させる。位置Ａにスリット３６がある場合、マイクロレンズ４８を通過した光路４６の光がスリット３６を通過して位置Ａに対応するフォトダイオード３２に入射する。位置Ｂにスリット３６がある場合、マイクロレンズ４８を通過した光路４４の光がスリット３６を通過して位置Ｂに対応するフォトダイオード３２に入射する。
【００４１】
図７は、撮像素子３０をマトリクス状に並べた撮像チップ５２の一例を示す。本例において、撮像素子３０は、ある時間において位置Ｂにスリット３６を有する撮像素子３０−１と位置Ａにスリットを有する撮像素子３０−２がｘ方向に交互に配置されている。また、ｙ方向には隣接する撮像素子と同一の位置にスリット３６を有する複数の撮像素子３０が配置されている。スリット３６の位置は時間の経過とともに位置Ａと位置Ｂとの間を交替してよい。撮像素子３０−１、３０−２の撮像チップ５２における配置は、これに限定されない。撮像チップ５２の全面に撮像素子３０―１、３０−２を敷き詰めてもよいが、所定の間隔で撮像素子３０―１、３０−２を配置してもよい。その場合、撮像素子３０―１、３０−２の配置密度は、被写体３３までの距離を予測可能な程度であればよい。
【００４２】
図８は、図７に示す像面位相差センサ５０の撮像チップ５２の位置Ａ及び位置Ｂにおける、撮像素子３０のｘ方向の位置と撮像素子３０―１、３０−２で受光した光の信号量との関係を示すグラフである。線Ａは、位置Ａにスリット３６を有する撮像素子３０−１が受光した信号量と撮像素子３０−１のｘ方向の位置との関係を示す。線Ｂは、位置Ｂにスリット３６を有する撮像素子３０−２が受光した信号量と撮像素子３０−２のｘ方向の位置との関係を示す。つまり、線Ａは位置Ａで瞳分割した撮像素子３０−１が構成する画像を示し、線Ｂは位置Ｂで瞳分割した撮像素子３０−２が構成する画像を示している。
【００４３】
まず、像面位相差センサ５０で撮像した全体画像を一定の範囲に区分する。次に、区分した範囲の画像から像面位相差センサの出力のみを切り出し瞳分割画像を抽出する。次に瞳分割画像における位置Ａの瞳分割画素と位置Ｂの瞳分割画素のズレ量をシフト演算により算出する。次に、ズレ量を画像の各位置について算出し、距離差の情報として保存する。データの保存は、画像と距離情報算出後の結果を分けて保存する方法、画像の中に距離情報算出後の結果も混ぜて一つのファイルで保存する方法、一つの画像として、距離情報算出前の瞳分割画像と通常画像を保存する方法などがある。
【００４４】
図９は、図１に示す距離測定部１２の他の実施形態を示す。本実施形態にかかる距離測定部１２は、光の飛翔時間を測定するＴＯＦイメージセンサ６０を含む。ＴＯＦイメージセンサ６０は、撮像部１０から被写体６５までの光の往復時間に基づいて、撮像部１０から被写体６５までの距離を測定する。ＴＯＦイメージセンサ６０は、発光素子６４と、受光素子６２と、飛翔時間測定部６３を有する。発光素子６４は、被写体６５に向けて光６６を照射する。発光素子６４は、例えば、赤外線ＬＥＤである。赤外線ＬＥＤは、散乱されにくい波長の長い赤外線を放出するので好ましい。受光素子６２は、被写体６５から反射された光６８を受光する。受光素子６２はフォトダイオードであってよい。受光素子６２は、光電変換の速度が速いフォトダイオードを有するデバイスが好ましい。飛翔時間測定部６３は、発光素子６４及び受光素子６２に接続されて、光６６及び光６８の飛翔時間を測定する。
【００４５】
図１０は、ＴＯＦイメージセンサ６０の動作のタイミングチャートを示す。波形７２は発光素子６４が発光する光６６のパルス波形を示す。波形７４は受光素子６２が受光する光６８のパルス波形を示す。時刻ｔ１は光６６の発光パルスの立ち上がりの時刻を示し、時刻ｔ２は光６８の受光パルスの立ち上がりの時刻を示す。飛翔時間測定部６３は、ｔ２−ｔ１を正確に測定することができる。ｔ２−ｔ１は光の遅延時間７６を指す。被写体までの距離をＤとすると、Ｄ＝（ｔ２−ｔ１）×ｃ／２の関係が成り立つ。ここで、ｃは光速を表す。
【００４６】
図１１は、図１に示す距離測定部１２の他の実施形態を示す。本実施形態にかかる距離測定部１２は、異なる光学位置から被写体８５を撮像する光学系８０を含む。光学系８０において、異なる光学位置から撮像した撮像画像間の視差に基づいて、撮像部１０から被写体８５までの距離を測定する。光学系８０は、一対のレンズ８６及びレンズ８８と、それぞれのレンズ８６、８８に対応する撮像素子８２、８４を有する。被写体８５から光路８１を進む光はレンズ８８を通過し、撮像素子８４の位置ｍのフォトダイオードに入射する。一方、光路８３を進む光は、レンズ８６を通過し、撮像素子８２の位置ｎのフォトダイオードに入射する。撮像素子８４のフォトダイオードの位置ｍと撮像素子８２のフォトダイオードの位置ｎは、異なる光学位置を構成している。つまり、光学系８０は、異なる光学位置ｎ、ｍから同一の被写体８５を撮像する。光学位置ｎと光学位置ｍとの視点間距離８７は視差を表す。光学系８０は、例えば、２眼カメラ、立体画像のキャプチャーデバイスである。
【００４７】
図１２は、被写体８５と撮像部１０との距離が図１１よりも短い場合の光学系８０を示す。光学系８０の構成及び動作は図１１に示す光学系８０と同じなので説明を省略する。図１２に示す光学系８０は、異なる光学位置ｐ、ｑから同一の被写体８５を撮像する。光学位置ｐと光学位置ｑとの視点間距離８９は視差を表す。ここで、図１１と図１２を比較すると、被写体８５がより遠くにある場合の視点間距離８７よりも、被写体８５がより近くにある場合の視点間距離８９の方が長い。光学系８０は、撮像部１０から被写体８５までの距離の変化から生じる視差の相違に基づいて、撮像部１０から被写体８５までの距離を測定する。
【００４８】
図１３は、本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェース２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。
【００４９】
ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００５０】
入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェース２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェース２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。
【００５１】
また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。
【００５２】
ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。
【００５３】
コンピュータ１９００にインストールされ、コンピュータ１９００を画像処理装置１１として機能させるプログラムは、距離情報画像生成モジュールと、距離指定モジュールと、計算モジュールと、平滑処理モジュールを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、距離情報画像生成部１６、距離指定部２０、計算部２２、及び平滑処理部２４としてそれぞれ機能させる。
【００５４】
これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である距離情報画像生成部１６、距離指定部２０、計算部２２、及び平滑処理部２４として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像処理装置１１が構築される。
【００５５】
一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェース２０３０に対して通信処理を指示する。通信インターフェース２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェース２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェース２０３０からデータを読み出し、転送先の通信インターフェース２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
【００５６】
また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。
【００５７】
また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
【００５８】
また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。
【００５９】
以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。
【００６０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６１】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００６２】
１０  撮像部、１１  画像処理装置、１２  距離測定部、１４  メモリ、１６  距離情報画像生成部、１８  表示部、２０  距離指定部、２２  計算部、２４  平滑処理部、２６  メインメモリ、２８  出力インターフェース、３０  撮像素子、３２  フォトダイオード、３３  被写体、３４  瞳分割部、３６  スリット、３７  光軸線、３８  開口部、４０  開口部、４２  開口保持部、４４  光路、４６  光路、４８  マイクロレンズ、５０  像面位相差センサ、５２  撮像チップ、６０  ＴＯＦイメージセンサ、６２  受光素子、６３  飛翔時間測定部、６４  発光素子、６５  被写体、６６  光、６８  光、７２  波形、７４  波形、７６  遅延時間、８０  光学系、８１  光路、８２  撮像素子、８３  光路、８４  撮像素子、８５  被写体、８６  レンズ、８７  視点間距離、８８  レンズ、８９  視点間距離、１００  撮像装置、２００  距離情報画像、２１０  被写体、２２０  模様チャート、１９００  コンピュータ、２０００  ＣＰＵ、２０１０  ＲＯＭ、２０２０  ＲＡＭ、２０３０  通信インターフェース、２０４０  ハードディスクドライブ、２０５０  フレキシブルディスク・ドライブ、２０６０  ＣＤ−ＲＯＭドライブ、２０７０  入出力チップ、２０７５  グラフィック・コントローラ、２０８０  表示装置、２０８２  ホスト・コントローラ、２０８４  入出力コントローラ、２０９０  フレキシブルディスク、２０９５  ＣＤ−ＲＯＭ
【図１】
2013232757.tif 000003
【図２】
2013232757.tif 000004
【図３】
2013232757.tif 000005
【図４】
2013232757.tif 000006
【図５】
2013232757.tif 000007
【図６】
2013232757.tif 000008
【図７】
2013232757.tif 000009
【図８】
2013232757.tif 000010
【図９】
2013232757.tif 000011
【図１０】
2013232757.tif 000012
【図１１】
2013232757.tif 000013
【図１２】
2013232757.tif 000014
【図１３】
2013232757.tif 000015