(57)【要約】【課題】可変フォーカスカメラで撮像された画像から、被写体までの距離を取得することができる画像処理装置を提供する。【解決手段】実施形態によれば、画像処理装置は、第１算出部と、第２算出部と、を備える。第１算出部は、一の画像に含まれる第１成分画像に含まれる被写体の第１形状のぼけを、前記一の画像に含まれる第２成分画像に含まれる前記被写体の第２形状のぼけに近づけるぼけ補正情報を算出する。第２算出部は、前記一の画像の撮像時における像距離と前記ぼけ補正情報とに基づいて、撮像部と前記被写体との距離を算出可能である。【選択図】図１
2019015575.tif 000002
【特許請求の範囲】
【請求項１】
一の画像に含まれる第１成分画像に含まれる被写体の第１形状のぼけを、前記一の画像に含まれる第２成分画像に含まれる前記被写体の第２形状のぼけに近づけるぼけ補正情報を算出する第１算出部と、
前記一の画像の撮像時における像距離と前記ぼけ補正情報とに基づいて、撮像部と前記被写体との距離を算出可能な第２算出部と、
を備える画像処理装置。
【請求項２】
２以上の形状モデルの中から１つの形状モデルを選択する選択部をさらに備え、
前記第２算出部は前記像距離を変更可能であり、
前記第２算出部は、前記撮像部と前記被写体との距離に基づいて求められる前記被写体の三次元形状が他の形状モデルよりも選択された前記形状モデルと相関が高い前記像距離と、前記ぼけ補正情報とに基づいて、前記撮像部と前記被写体との距離を算出可能である、
請求項１に記載の画像処理装置。
【請求項３】
前記２以上の形状モデルは、平面を示すモデル式または曲面を表すモデル式の少なくとも一方を含む請求項２に記載の画像処理装置。
【請求項４】
前記選択部は、ユーザからの指示に基づき、１つの形状モデルを選択する請求項２または３に記載の画像処理装置。
【請求項５】
前記被写体を物体認識する物体認識部を具備し、
前記選択部は、前記物体認識の結果に基づき、１つの形状モデルを選択する、
請求項２または３に記載の画像処理装置。
【請求項６】
前記第２算出部は、前記三次元形状と選択された前記形状モデルとの適合度が閾値より大きい場合、前記撮像部と前記被写体との距離を出力する請求項２乃至５のいずれかに記載の画像処理装置。
【請求項７】
前記第２算出部は、前記三次元形状と選択された前記形状モデルとの適合度が閾値未満の場合、前記像距離を変更して前記撮像部と前記被写体との距離を算出する請求項２乃至６のいずれかに記載の画像処理装置。
【請求項８】
前記像距離と、前記ぼけ補正情報と、撮像部と前記被写体との距離との関係を示すテーブルまたは関係式を記憶する記憶部をさらに備え、
前記第２算出部は前記テーブルまたは前記関係式を用いて前記撮像部と前記被写体との距離を算出する、
請求項１乃至７のいずれかに記載の画像処理装置。
【請求項９】
第１のテーブルまたは第１の関係式と、第２のテーブルまたは第２の関係式とを用いて、第３のテーブルまたは第３の関係式を生成する生成部を具備する請求項８に記載の画像処理装置。
【請求項１０】
請求項１乃至９のいずれか１項に記載の画像処理装置と、
撮像部と、
前記撮像部の合焦距離を調整する制御部と、
を具備する測距装置。
【請求項１１】
請求項１乃至９のいずれか１項に記載の画像処理装置と、
前記撮像部と前記被写体との距離に基づき、前記被写体の形状を補正した画像に含まれる文字情報を出力する文字出力部と、
を具備する処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、測距装置および処理システムに関する。
【背景技術】
【０００２】
２つのカメラやステレオカメラ（複眼のカメラ）で撮像された画像から、被写体までの距離を取得する技術が知られている。また、近時、１つのカメラ（単眼のカメラ）で撮像された画像から、被写体までの距離を取得する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−４３０５５号公報
【特許文献２】特開２０１６−１０２７３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、可変フォーカスカメラで撮像された画像から、被写体までの距離を取得することができる画像処理装置、測距装置および処理システムを提供することである。
【課題を解決するための手段】
【０００５】
実施形態によれば、画像処理装置は、第１算出部と、第２算出部と、を備える。第１算出部は、一の画像に含まれる第１成分画像に含まれる被写体の第１形状のぼけを、前記一の画像に含まれる第２成分画像に含まれる前記被写体の第２形状のぼけに近づけるぼけ補正情報を算出する。第２算出部は、前記一の画像の撮像時における像距離と前記ぼけ補正情報とに基づいて、撮像部と前記被写体との距離を算出可能である。
【図面の簡単な説明】
【０００６】
【図１】第１実施形態の画像処理装置の機能ブロックの一例を示す図。
【図２】第１実施形態の画像処理装置のハードウェア構成の一例を示す図。
【図３】第１実施形態の処理システムの一例を示す図。
【図４】第１実施形態の処理システムのＯＣＲ処理を説明するための撮像画像の一例を示す図。
【図５】第１実施形態の処理システムのＯＣＲ処理を説明するための撮像画像のその他の一例を示す図。
【図６】第１実施形態のフィルタの一構成例を示す図。
【図７】第１実施形態のフィルタ領域の透過率特性の一例を示す図。
【図８】第１実施形態のカラー開口による光線変化およびぼけの形状を説明するための図。
【図９】第１実施形態の基準画像のぼけ関数の一例を示す図。
【図１０】第１実施形態の対象画像のぼけ関数の一例を示す図。
【図１１】第１実施形態のぼけ補正情報の一例を示す図。
【図１２】第１実施形態の撮像画像およびデプス情報の一例を示す図。
【図１３】固定フォーカスカメラの場合、ぼけ補正値と被写体までの距離との関係が一対一対応となることを示す図。
【図１４】可変フォーカスカメラの場合、ぼけ補正値と被写体までの距離との関係が像距離によって変動することを示す図。
【図１５】第１実施形態のＬＵＴの一例を概念的に示す図。
【図１６】第１実施形態の画像処理装置の処理の流れの一例を示すフローチャート。
【図１７】第２実施形態の画像処理装置の機能ブロックの一例を示す図。
【図１８】第２実施形態の画像処理装置における被写体の三次元形状を算出する原理を説明するための図。
【図１９】第２実施形態の画像処理装置によって算出される三次元形状の一例を示す図。
【図２０】第２実施形態の処理システムによって表示される形態モデルの選択画面の一例を示す図。
【図２１】第２実施形態の画像処理装置の処理の流れの一例を示すフローチャート。
【図２２】第１実施形態または第２実施形態の画像処理装置の採寸ツールへの一適用例を示す図。
【図２３】第１実施形態または第２実施形態の画像処理装置の監視システムへの一適用例を示す図。
【図２４】第１実施形態または第２実施形態の画像処理装置の運転サポートシステムへの一適用例を示す図。
【図２５】第１実施形態または第２実施形態の画像処理装置の自動ドアシステムへの一適用例を示す図。
【図２６】第１実施形態または第２実施形態の画像処理装置のロボットへの一適用例を示す図。
【発明を実施するための形態】
【０００７】
以下、実施形態について図面を参照して説明する。
（第１実施形態）
まず、第１実施形態について説明する。
図１は、本実施形態の画像処理装置１の機能ブロックの一例を示す図である。
画像処理装置１は、撮像画像５１を撮像した撮像部から、被写体までの距離を取得してデプス情報５２として出力する。詳細については後述するが、撮像画像５１は、ぼけが互いに異なる形状で表れる複数の色画像（たとえば、Ｒ［赤色］画像、Ｇ［緑色］画像、Ｂ［青色］画像）を含み、画像処理装置１は、当該複数の色画像のぼけの形状が一致するように補正するためのぼけ補正情報を算出し、被写体までの距離を取得する。ぼけは、被写体までの距離と合焦距離とがずれている場合に生じ、その大きさは、被写体までの距離と合焦距離との差分量によって変動する。よって、合焦距離を調整し得る可変フォーカスカメラの場合には、同じ距離の同じ被写体を撮影した場合でも、ぼけの大きさが、合焦距離の調整に伴って変化する、撮像部（例えばレンズ）から被写体の結像面までの距離によって変動する。つまり、可変フォーカスカメラの場合、ぼけ補正情報と、被写体までの距離との関係が、レンズから被写体の結像面までの距離によって変化することになる。この画像処理装置１は、可変フォーカスカメラによって撮影された撮像画像５１であっても、被写体までの距離を取得してデプス情報５２として出力することができるようにしたものであり、以下、この点について詳述する。
【０００８】
図１に示すように、画像処理装置１は、ぼけ補正情報算出部１１と、デプス情報算出部１２とを有する。
ぼけ補正情報算出部１１は、１つの画像（撮像画像５１）のたとえば２つの色画像の一方の色画像のぼけの形状を他方の色画像のぼけの形状へと補正するためのぼけ補正値を算出してぼけ補正情報５３として出力する。本実施例では、例えば、詳細については後述するが、一方の色画像は、ぼけの形状が非対称となるように生成され、他方の色画像は、ぼけの形状が対称となるように生成された場合を想定する。なお、レンズ収差や以下で詳述するカラーフィルタの形状などにより、ぼけの形状の組み合わせはこの限りではないが、ぼけの形状が異なる組み合わせであれば同様の方法でボケ補正値を求めることができる。以下、ぼけ補正値を、ぼけ補正フィルタと称することがある。
【０００９】
一方、デプス情報算出部１２は、ぼけ補正情報算出部１１から出力されるぼけ補正情報５３と、たとえば可変フォーカスカメラから取得される、前述の１つの画像（撮像画像５１）の撮影時におけるレンズから被写体の結像面までの距離である像距離５４とを用いて、被写体までの距離を算出し、デプス情報５２を出力する。本実施形態においては、画像処理装置１が、像距離５４を外部から取得できることを前提とする。なお、以下、像距離に対して、合焦距離、つまりレンズから合焦位置の被写体までの距離を、物距離と称することがある。
【００１０】
デプス情報算出部１２は、ＬＵＴ（Look-up table）記録部１２１と、ＬＵＴ選択部１２２と、デプス変換部１２３とを有している。
ＬＵＴ記録部１２１は、ぼけ補正値と、被写体までの距離との関係を示すＬＵＴ５５を複数保持する。ぼけ補正値と、被写体までの距離との関係は、像距離５４によって変動する。複数のＬＵＴ５５は、下限値から上限値までの範囲に含まれる離散的で互いに異なる像距離５４ごとに設けられる。ここでは、ＬＵＴ５５を用いることを想定するが、ＬＵＴ５５に限らず、たとえば、ぼけ補正値と、被写体までの距離との関係を示す関係式（モデル式）などを用いてもよい。つまり、ぼけ補正値から、被写体までの距離を導き出すことのできる何らかの情報が用意されていればよい。
【００１１】
ＬＵＴ選択部１２２は、たとえば可変フォーカスカメラから取得される像距離５４に基づき、ＬＵＴ記録部１２１が保持する複数のＬＵＴ５５の中から１つのＬＵＴ５５を選択する。可変フォーカスカメラが、レンズを段階的でなくリニアに移動可能である場合、像距離５４に合致するＬＵＴ５５が存在しない場合も考えられる。このような場合、ＬＵＴ選択部１２２は、像距離５４に最も近似する距離のＬＵＴ５５を選択してもよい。あるいは、たとえば、像距離５４を挟んだ前後２つの距離に対応するＬＵＴ５５から、新しいＬＵＴ５５を生成し、このＬＵＴ５５を選択してもよい。２つの距離のＬＵＴ５５に限らず、３つ以上の距離のＬＵＴ５５から、新しい１つのＬＵＴ５５を生成し、このＬＵＴ５５を選択してもよい。ＬＵＴ選択部１２２は、ぼけ補正値と、被写体までの距離との関係が、関係式として示されている場合も同様である。より詳細には、像距離５４に最も近似する距離の関係式を選択してもよいし、たとえば、像距離５４を挟んだ前後２つの距離の関係式から、１つの関係式を生成し、この関係式を選択してもよい。また、３つ以上の距離の関係式から、１つの関係式を生成し、この関係式を選択してもよい。ＬＵＴ記録部１２１が、ぼけ補正値と被写体までの距離との関係を表し、像距離５４をパラメータに含む関係式（モデル式）を記録する場合には、像距離５４に基づき、ＬＵＴ選択部１２２は、パラメータに値が代入された関係式を生成してもよい。この場合、像距離５４の下限値から上限値までの範囲において複数の関係式を設ける必要はなく、１つの関係式を設けるだけでよい。
【００１２】
デプス変換部１２３は、ＬＵＴ選択部１２２によって選択されたＬＵＴ５５を用い、ぼけ補正値から、被写体までの距離を導き出す。換言すれば、デプス変換部１２３は、ぼけ補正値であるぼけ補正情報５３を被写体までの距離であるデプス情報５２に変換する。詳細については後述するが、デプス情報５２は、たとえば、画素単位に算出される距離に関するデータを含む。デプス情報５２は、例えば、距離に関するデータが撮像画像５１内の画素に対応づけて配置され、各画素の画素値が距離を示す画像として生成されるマップ形式の情報（距離マップ）である。
【００１３】
このように、画像処理装置１は、複数のＬＵＴ５５の中から１つのＬＵＴ５５を適応的に選択する仕組みを備えることで、撮像画像５１が、像距離５４が変化し得る可変フォーカスカメラで撮像される場合においても、被写体までの距離を取得することができる。言うまでもないが、画像処理装置１は、たとえば複数の関係式の中から１つの関係式を適応的に選択することによっても、像距離５４が変化し得る可変フォーカスカメラで撮像される撮像画像５１から、被写体までの距離を取得することができる。
【００１４】
図２は、画像処理装置１のハードウェア構成の一例を示す図である。
図２に示すように、画像処理装置１は、ＣＰＵ１０１、ＲＡＭ１０２、不揮発性メモリ１０３、入出力部１０４および通信部１０５を有する。また、画像処理装置１は、ＣＰＵ１０１、ＲＡＭ１０２、不揮発性メモリ１０３、入出力部１０４および通信部１０５を相互に接続するバス１０６を有する。
【００１５】
ＣＰＵ１０１は、不揮発性メモリ１０３に格納されているコンピュータプログラムをＲＡＭ１０２へロードして実行し、図１に示したぼけ補正情報算出部１１およびデプス情報算出部１２を含む画像処理装置１の各処理部を実現するプロセッサである。ここでは、画像処理装置１の各処理部が、１つのＣＰＵ１０１、つまり単一のプロセッサで実現される例を示したが、画像処理装置１の各処理部は、複数のプロセッサで実現されてもよい。画像処理装置１の各処理部は、専用の電子回路で実現されてもよい。ＲＡＭ１０２は、主記憶装置として用いられる記憶メディアであり、不揮発性メモリ１０３は、補助記憶装置として用いられる記憶メディアである。
【００１６】
入出力部１０４は、たとえば、ユーザからの指示を入力したり、撮像画像５１や像距離５４を入力したり、デプス情報５２を出力したり、といった入出力を実行するモジュールである。ユーザからの指示は、キーボード、ポインティングデバイス、操作ボタンなどの操作に伴って入力されてもよいし、タッチスクリーンディスプレイ上でのタッチ操作に伴って入力されてもよい。通信部１０５は、たとえば、ネットワークを介した外部機器との通信、周辺に存在する外部機器との無線通信などを実行するモジュールである。撮像画像５１や像距離５４の入力、デプス情報５２の出力は、通信部１０５によって実行されてもよい。
【００１７】
図３は、画像処理装置１を適用して構築される処理システム１００の一例を示す図である。ここでは、処理システム１００が、たとえば書類などを画像として取り込んで当該書類上の文字や記号を認識し、テキストデータを生成するＯＣＲ（Optical character recognition）システムとして構築されることを想定する。また、ここでは、処理システム１００が、カメラを搭載するタブレットやスマートフォンなどといった携行容易な電子機器上に構築されることを想定する。より詳細には、電子機器をＯＣＲシステムとして動作させるためのソフトウェア（アプリケーションプログラム）が電子機器にインストールされており、このソフトウェアが起動されると、その電子機器上において処理システム１００が具現化されるものと想定する。また、以下、処理システム１００に適用されている画像処理装置１を、画像処理部１と称することがある。
【００１８】
ＯＣＲシステムである本処理システム１００は、画像上の被写体（たとえば書類）の形状を補正した上で文字や記号を認識する機能を備えている。たとえば、照明とユーザとの位置関係により、テーブル上の書類を正面（真上）から撮影しようとするとユーザの影が写りこんでしまう場合では、当該書類を自席から斜め向きに撮影せざるを得ず、図４に示すように、奥に位置する部分ほど小さく、手前に位置する部分の下部ほど大きい状態で書類が撮影されてしまう。この場合、画像として取り込んだ書類上の文字や記号は、歪んでしまっている。また、たとえば、円柱に貼られた掲示物の場合には、図５に示すように、（水平方向の）中央に位置する部分ほど大きく、両端に位置する部分ほど小さい状態で掲示物が撮影されてしまう。この場合も、画像として取り込んだ掲示物上の文字や記号は、歪んでしまっている。
【００１９】
このような歪みを含んだまま、文字や記号を認識すると、精度は著しく低下する。この歪みを除去すべく、画像上の被写体の形状を補正するために、処理システム１００は、被写体までの距離であるデプス情報５２を撮像画像５１から取得する。たとえば、図４に示すように書類が撮影されてしまっている場合や、図５に示すように掲示物が撮影されてしまっている場合においても、当該画像（撮像画像５１）上の書類や掲示物の各領域までの距離（デプス情報５２）が取得できれば、書類や掲示物を正面から撮影したかのような画像へ補正することができ、書類や掲示物の撮影方向や載置面の形状に依存せずに、書類上や掲示物上の文字や記号を高精度で認識することが可能となる。
【００２０】
図３に示すように、処理システム１００は、画像処理部１、撮像部２、ＧＵＩ（Graphical user interface）部３、記憶部４およびＯＣＲ部５を有している。ここでは、説明を分かり易くするために、ＯＣＲ部５を画像処理部１と分離して示したが、画像処理部１がＯＣＲ部５の機能を併せ持っていてもよい。すなわち、画像処理部１にＯＣＲ部５が含まれてもよい。また、前述したように、ここでは、処理システム１００が、タブレットやスマートフォンなどといった電子機器上に構築されていることを想定しているが、処理システム１００は、スタンドアロン型のシステムとして構築されるのみならず、たとえばネットワークを介して接続される複数の電子機器が協働する分散型のシステムとしても構築され得る。分散型のシステムとして構築される場合、処理システム１００は、異なる電子機器上に設けられる処理部間におけるデータの受け渡しを、当事者間での通信により行ってもよいし、ファイルサーバとして機能する電子機器を介在させて行ってもよい。また、画像処理装置１のハードウェア構成として図２に示した各コンポーネントは、たとえばスタンドアロン型のシステムとして処理システム１００が構築される場合においては、当該処理システム１００全体で共用されるものであってもよい。たとえば、図３中の画像処理部１およびＯＣＲ部５は、図２中のＣＰＵ１０１によって実現されるものであり、図３中のＧＵＩ部３は、図２中の入出力部１０４に相当するものであり、図３中の記憶部４は、図２中の不揮発性メモリ１０３内に構築されるものであってもよい。
【００２１】
撮像部２は、画像処理部１に供給される、前述の撮像画像５１を生成するモジュールである。撮像部２によると、単一の結像光学系による１度の撮像で画像と距離画像を取得可能である。図３に示すように、撮像部２は、フィルタ１１０、レンズ１２０、イメージセンサ１３０、アクチュエータ１４０および合焦コントローラ１５０を有する。ここで、撮像部２によって生成される撮像画像５１について、当該撮像部２の各コンポーネントとともに詳述する。なお、図３中、フィルタ１１０からイメージセンサ１３０までの矢印は、光の経路を示し、その他の矢印は、電気信号の経路を示している。
【００２２】
アクチュエータ１４０は、合焦コントローラ１５０の制御の下、レンズ１２０を、イメージセンサ１３０から遠ざける方向またはイメージセンサ１３０へ近づける方向へと移動させる。このアクチュエータ１４０および合焦コントローラ１５０の働きにより、撮像部２は、合焦距離を調整することができる。換言すれば、撮像部２は、像距離５４を調整することができる。ここでは、画像処理部１は、撮像部２の合焦コントローラ１５０から像距離５４を取得することを想定する。なお、像距離５４は、撮像部２の合焦コントローラ１５０から取得することに限らず、どのように取得されても構わない。たとえば、撮像部２は、像距離５４を属性情報として撮像画像５１に付加し、画像処理部１は、属性情報として撮像画像５１に付加される像距離５４を取得するなどであってもよい。
【００２３】
イメージセンサ１３０は、フィルタ１１０およびレンズ１２０を透過した光を受光し、受光した光を電気信号に変換（光電変換）することにより、画像を生成する。イメージセンサ１３０には、たとえば、ＣＣＤ（Charge Coupled Device）や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）が用いられる。イメージセンサ１３０は、たとえば、赤色（Ｒ）の光を受光する撮像素子（第１のセンサ１３１）と、緑色（Ｇ）の光を受光する撮像素子（第２のセンサ１３２）と、青色（Ｂ）の光を受光する撮像素子（第３のセンサ３３）とを有する。各撮像素子は、対応する波長帯域の光を受光し、受光した光を電気信号に変換する。この電気信号をＡ／Ｄ変換することにより、カラー画像を生成することができる。なお、赤、緑、青の撮像素子毎の電気信号を用いて、Ｒ画像、Ｇ画像、Ｂ画像をそれぞれ生成することもできる。つまり、カラー画像、Ｒ画像、Ｇ画像、Ｂ画像を同時に生成することができる。換言すると、撮像部２は、１度の撮像で、カラー画像、Ｒ画像、Ｇ画像、Ｂ画像を得ることができる。
【００２４】
フィルタ１１０は、２以上のカラーフィルタ領域（ここでは、第１のフィルタ領域１１１、第２のフィルタ領域１１２）を有する。カラーフィルタ領域それぞれは、撮像部２の光学中心に対して非対称な形状である。１つのカラーフィルタ領域が透過する光の波長領域の一部と他の１つのカラーフィルタ領域が透過する光の波長領域の一部は、例えば重複する。１つのカラーフィルタ領域が透過する光の波長領域は、例えば他の１つのカラーフィルタ領域が透過する光の波長領域を含んでもよい。
【００２５】
図６に、フィルタ１１０の一構成例を示す。フィルタ１１０は、たとえば、２色のカラーフィルタ領域である、第１のフィルタ領域１１１と第２のフィルタ領域１１２とで構成される。フィルタ１１０の中心は、撮像部２の光学中心１１３と一致している。第１のフィルタ領域１１１および第２のフィルタ領域１１２は、それぞれ、光学中心１１３に対して非点対称である形状を有している。また、たとえば各フィルタ領域１１１、１１２は重複せず、かつ、２つのフィルタ領域１１１、１１２によってフィルタ領域の全領域を構成している。図６に示す例では、第１のフィルタ領域１１１および第２のフィルタ領域１１２は、それぞれ、円形のフィルタ１１０が光学中心１１３を通る線分で分割された半円の形状を有している。また、第１のフィルタ領域１１１は、たとえばイエロー（Ｙ）のフィルタ領域であり、第２のフィルタ領域１１２は、たとえばシアン（Ｃ）のフィルタ領域である。以下、図６に示したフィルタ１１０が用いられることを想定して説明する。
【００２６】
たとえば図６に示したフィルタ１１０がカメラの開口部に配置されることにより、開口部が２色で２分割された構造開口であるカラー開口が構成される。このカラー開口を透過する光線に基づいて、イメージセンサ１３０は画像を生成する。イメージセンサ１３０に入射する光の光路上において、フィルタ１１０とイメージセンサ１３０との間にレンズ１２０が配置されてもよい。イメージセンサ１３０に入射する光の光路上において、レンズ１２０とイメージセンサ１３０との間にフィルタ１１０が配置されてもよい。レンズ１２０が複数設けられる場合、フィルタ１１０は、２つのレンズ１２０の間に配置されてもよい。
【００２７】
第２のセンサ１３２に対応する波長帯域の光は、イエローの第１のフィルタ領域１１１とシアンの第２のフィルタ領域１１２の両方を透過する。第１のセンサ１３１に対応する波長帯域の光は、イエローの第１のフィルタ領域１１１を透過し、シアンの第２のフィルタ領域１１２を透過しない。第３のセンサ１３３に対応する波長帯域の光は、シアンの第２のフィルタ領域１１２を透過し、イエローの第２のフィルタ領域１１２を透過しない。
【００２８】
なお、ある波長帯域の光がフィルタまたはフィルタ領域を透過するとは、フィルタまたはフィルタ領域が高い透過率でその波長帯域の光を透過し、そのフィルタまたはフィルタ領域による当該波長帯域の光の減衰（すなわち、光量の低下）が極めて小さいことを意味する。また、ある波長帯域の光がフィルタまたはフィルタ領域を透過しないとは、光がフィルタまたはフィルタ領域に遮蔽されることであり、たとえば、フィルタまたはフィルタ領域が低い透過率でその波長帯域の光を透過し、そのフィルタまたはフィルタ領域による当該波長帯域の光の減衰が極めて大きいことを意味する。たとえばフィルタまたはフィルタ領域は、ある波長帯の光を吸収することにより光を減衰させる。
【００２９】
図７は、第１のフィルタ領域１１１および第２のフィルタ領域１１２の透過率特性の例を示す図である。図７に示すように、イエローの第１のフィルタ領域１１１の透過率特性１５１では、Ｒ画像およびＧ画像に対応する波長帯域の光が高い透過率で透過され、Ｂ画像に対応する波長帯域の光がほとんど透過されていない。また、シアンの第２のフィルタ領域１１２の透過率特性１５２では、Ｂ画像およびＧ画像に対応する波長帯域の光が高い透過率で透過され、Ｒ画像に対応する波長帯域の光がほとんど透過されていない。
【００３０】
したがって、Ｒ画像に対応する波長帯域の光は、イエローの第１のフィルタ領域１１１のみを透過し、Ｂ画像に対応する波長帯域の光は、シアンの第２のフィルタ領域１１２のみを透過するので、Ｒ画像上およびＢ画像上のぼけの形状は、被写体までの距離ｄに応じて、より詳細には、距離ｄと合焦距離ｄfとの差分に応じて変化する。また、各フィルタ領域１１１、１１２は、光学中心に対して非対称な形状なので、Ｒ画像上およびＢ画像上のぼけの形状は、被写体が合焦距離ｄfよりも手前にあるか、それとも奥にあるかによって異なる。すなわち、Ｒ画像上およびＢ画像上のぼけの形状は偏っている。
【００３１】
図８を参照して、フィルタ１１０が配置されたカラー開口による光線変化と、ぼけの形状とについて説明する。
被写体２１０が合焦距離ｄfよりも奥にある場合（ｄ＞ｄf）、イメージセンサ１３０によって撮像された画像にはぼけが発生する。この画像のぼけの形状を示すぼけ関数（ＰＳＦ：Point spread function）は、Ｒ画像、Ｇ画像およびＢ画像でそれぞれ異なっている。例えば、Ｒ画像のぼけ関数１６１Ｒは左側に偏ったぼけの形状を示し、Ｇ画像のぼけ関数１６１Ｇは偏りのないぼけの形状を示し、Ｂ画像のぼけ関数１６１Ｂは右側に偏ったぼけの形状を示している。
【００３２】
また、被写体２１０が合焦距離ｄfにある場合（ｄ＝ｄf）、イメージセンサ１３０によって撮像された画像にはほとんどぼけが発生しない。この画像のぼけの形状を示すぼけ関数は、Ｒ画像、Ｇ画像およびＢ画像でほぼ同じである。すなわち、Ｒ画像のぼけ関数１６２Ｒ、Ｇ画像のぼけ関数１６２Ｇ、およびＢ画像のぼけ関数１６２Ｂは、偏りのないぼけの形状を示している。
【００３３】
また、被写体２１０が合焦距離ｄfよりも手前にある場合（ｄ＜ｄｆ）、イメージセンサ１３０によって撮像された画像にはぼけが発生する。この画像のぼけの形状を示すぼけ関数は、Ｒ画像、Ｇ画像およびＢ画像でそれぞれ異なっている。すなわち、Ｒ画像のぼけ関数１０３Ｒは右側に偏ったぼけの形状を示し、Ｇ画像のぼけ関数１６３Ｇは偏りのないぼけの形状を示し、Ｂ画像のぼけ関数１６３Ｂは左側に偏ったぼけの形状を示している。
【００３４】
処理システム１００の画像処理部１は、このような特性を利用して、被写体までの距離を算出し、デプス情報５２として出力する。画像処理部１のぼけ補正情報算出部１１は、ぼけ関数が偏りのないぼけの形状を示すＧ画像を基準画像として取得し、ぼけ関数が偏ったぼけの形状を示すＲ画像およびＢ画像の一方または両方を対象画像として取得する。つまり、撮像画像５１は、基準画像と対象画像とを含む。
【００３５】
ぼけ補正情報算出部１１は、複数のぼけ補正フィルタのうち、対象画像に付加すると、基準画像との相関がより高くなるぼけ補正フィルタを求める。当該求めたぼけ補正フィルタに関する情報を、ぼけ補正情報算出部１１は、ぼけ補正情報５３として出力する。複数のぼけ補正フィルタは、対象画像に対して、相互に異なるぼけを付加する関数である。デプス情報算出部１２は、ぼけ補正情報算出部１１によって求められたぼけ情報フィルタに基づき、被写体までの距離を算出する。より詳細には、前述のＬＵＴ５５を用いて、被写体までの距離を導き出す。ここで、まず、固定フォーカスカメラのように、レンズ１２０からイメージセンサ１３０までの距離、つまり像距離５４が固定値との想定の下、ぼけ補正情報算出部１１およびデプス情報算出部１２による距離算出処理の基本について説明する。
【００３６】
ぼけ補正情報算出部１１は、取得された対象画像と基準画像とをもとに、対象画像に異なるぼけを付加することで、対象画像のぼけ形状を補正した補正画像を生成する。ここでは、ぼけ補正情報算出部１１は、被写体までの距離が任意の距離であると仮定して作成した複数のぼけ補正フィルタを用いて、対象画像のぼけ形状を補正した補正画像を生成し、補正画像と基準画像との相関がより高くなるぼけ補正フィルタを求め、デプス情報算出部１２は、このぼけ補正フィルタをもとに、被写体までの距離を算出するものとする。
【００３７】
撮像画像５１のぼけ関数は、撮像部２の開口形状と、被写体の位置とピント位置との距離とにより決定する。図９は、基準画像のぼけ関数の一例を示す図である。図９に示すように、第２のセンサ１３２に対応する波長領域が透過する開口形状は点対称形である円形状であるため、ぼけ関数で示されるぼけの形状は、ピント位置の前後で変化はなく、被写体とピント位置との間の距離の大きさによってぼけの幅が変化する。このようなぼけの形状を示すぼけ関数は、被写体の位置とピント位置との間の距離の大きさによってぼけの幅が変化するガウス関数として表現できる。なお、ぼけ関数は、被写体の位置とピント位置との距離によってぼけの幅が変化するピルボックス関数として表現してもよい。また、ぼけの形状が、被写体の位置とピント位置との距離によって変化するようなぼけ関数であれば何でもよい。
【００３８】
図１０は、対象画像のぼけ関数の一例を示す図である。なお、各図の中心（ｘ0,ｙ0）＝（0,0）である。図１０に示すように、対象画像（たとえばＲ画像）のぼけ関数は、被写体がピント位置よりも遠方にあるｄ＞ｄfの場合、ｘ＞０において第１のフィルタ領域１１１での光減衰によってぼけの幅が減衰するガウス関数として表現できる。また、被写体がピント位置よりも近方にあるｄ＜ｄfの場合、ｘ＜０において第１のフィルタ領域１１１での光減衰によってぼけの幅が減衰するガウス関数として表現できる。
【００３９】
また、基準画像のぼけ関数と対象画像のぼけ関数とを解析することにより、対象画像のぼけ形状を基準画像のぼけ形状へ補正するための複数のぼけ補正フィルタを求めることができる。
図１１は、ぼけ補正フィルタの一例を示す図である。なお、図１１に示すぼけ補正フィルタは、図６に示したフィルタ１１０を用いた場合のぼけ補正フィルタである。図１１に示すように、ぼけ補正フィルタは、第１のフィルタ領域１１１と第２のフィルタ領域１１２の境界の線分の中心点を通り、この線分に直交する直線上（直線付近）に分布する。その分布は、想定する距離毎にピーク点（直線上の位置、高さ）とピーク点からの広がり方とが異なる図１１に示すような山状の分布となる。対象画像のぼけ形状は、ぼけ補正フィルタを用いて、任意の距離を想定した様々なぼけ形状に補正することができる。つまり、任意の距離を想定した補正画像を生成することができる。
【００４０】
ぼけ補正情報算出部１１は、生成した補正画像と基準画像とのぼけ形状が最も近似または一致するぼけ補正フィルタを撮像画像５１の各画素から求める。ぼけ形状の一致度は、各画素を中心とする任意サイズの矩形領域における補正画像と基準画像との相関を計算すれば良い。ぼけ形状の一致度の計算は、既存の類似度評価手法を用いれば良い。デプス情報算出部１２は、ぼけ補正情報算出部１１が求めたぼけ補正フィルタに基づき、各画素について被写体までの距離を算出する。より詳細には、前述の（１つの）ＬＵＴ５５または関係式を用いて、被写体までの距離を導き出す。なお、撮像画像にぼけ補正情報算出部１１が求めたぼけ補正フィルタを適用することで、撮像画像５１よりも品質のよい画像を得ることができる。
【００４１】
たとえば、既存の類似度評価手法は、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）、Color Alignment Measure等を利用すれば良い。本実施形態では、自然画像の色成分が局所的には線形な関係を持つ特性を有することを利用したColor Alignment Measureを利用する。Color Alignment Measureでは、撮影画像の対象画素を中心とする局所境域の色分布の分散から、相関関係を表す指標が算出される。
【００４２】
このように、ぼけ補正情報算出部１１およびデプス情報算出部１２は、フィルタ領域に応じた対象画像のぼけ形状を、距離を仮定したぼけ補正フィルタにより補正した補正画像を生成し、生成した補正画像と基準画像との相関がより高くなる距離を求めることで、被写体までの距離を算出する。
【００４３】
また、デプス情報算出部１２は、算出した距離から距離マップを生成し、デプス情報５２として出力する。距離マップは、たとえば、各画素の画素値が距離を示す画像として生成される。たとえば、合焦位置の手前から奥に向かって、波長の長い色（赤）から波長の短い色（紫）が割り当てられた距離マップを作成してもよい。このように、距離マップは、被写体までの距離を示す情報が画像の領域に対応させてマッピングされたものであり、被写体までの距離を示す情報として画素値が用いられるものである。画像として生成される距離マップにより、たとえば複数の被写体間の奥行き方向の位置関係を確認することができる。
【００４４】
図１２は、撮像部２によって撮影された撮像画像５１と、画像処理部１によって生成された距離マップ（デプス情報５２）の一例を示す図である。
図１２中、（Ａ）が撮像画像５１の表示例であり、また、（Ｂ）がデプス情報５２の表示例である。各画素の画素値が、合焦位置より手前に位置する程、波長の長い色で示され、合焦位置より奥に位置する程、波長の短い色で示されてもよい。例えば、手前に位置する被写体には赤みがかった色が配され、奥に位置する被写体には紫がかった色が配された画像として表示される。
【００４５】
ところで、以上では、像距離５４が固定値との想定の下、ぼけ補正情報算出部１１およびデプス情報算出部１２による距離算出処理の基本について説明した。固定フォーカスカメラの場合、像距離５４が固定なので、たとえば図１３に示すように、ぼけ補正値（ぼけ補正情報５３）と被写体２１０までの距離（デプス情報５２）との関係が一対一対応となる。なお、図１３の上段はｄ＞ｄfの場合、中段はｄ＝ｄfの場合、下段はｄ＜ｄfの場合を表す。より詳細には、レンズ１２０からイメージセンサ１３０のセンサ面までの距離である像距離５４が固定である場合、被写体２１０にピントが合った状態におけるレンズ１２０から被写体２１０までの距離である物距離２１１が固定値であるため、ぼけ補正値から、被写体２１０までの距離を一意に導き出すことができる。一方、可変フォーカスカメラの場合、像距離５４が可変なので、たとえば図１４に示すように、ぼけ補正値と被写体までの距離との関係が、像距離５４によって変動する。なお、図１４の上段はｄ＞ｄfの場合、中段はｄ＝ｄfの場合、下段はｄ＜ｄfの場合を表す。より詳細には、レンズ１２０から被写体２１０までの距離が同じであっても、レンズ１２０からイメージセンサ１３０のセンサ面までの距離である像距離５４によってぼけ補正値は変動するため、ほけ補正値から、被写体までの距離を一意に導き出すことができない。
【００４６】
そこで、デプス情報算出部１２のＬＵＴ記録部１２１は、前述したように、像距離５４別に設けられる複数のＬＵＴ５５を保持し、ＬＵＴ選択部１２２は、たとえば撮像部２の合焦コントローラ１５０から取得される像距離５４に基づき、複数のＬＵＴ５５の中から１つのＬＵＴ５５を選択する。図１５は、ＬＵＴ記録部１２１が保持するＬＵＴ５５の一例を概念的に示す図である。図１５に示すように、像距離５４別に設けられるＬＵＴ５５のそれぞれは、たとえば、基準画像であるＧ画像と、対象画像であるＲ画像およびＢ画像の一方または両方とのぼけ補正値（ぼけ補正情報５３）をインデックスとして、被写体までの距離（デプス情報５２）を取得することのできる一覧表として作成されている。前述したように、ＬＵＴ選択部１２２は、ＬＵＴ記録部１２１が保持する複数のＬＵＴ５５から、本来選択されるべき１つのＬＵＴ５５を生成してもよい。デプス変換部１２３は、ＬＵＴ選択部１２２によって選択されたＬＵＴ５５を用いて、ぼけ補正情報５３に対応するデプス情報５２を取得して出力する。
【００４７】
このように、画像処理部１は、可変フォーカスカメラである撮像部２によって撮影された撮像画像５１であっても、被写体までの距離を取得してデプス情報５２として出力することができる。つまり、処理システム１００のうち、撮像部２および画像処理部１は、被写体を撮像して当該被写体までの距離を測定する測距装置として機能する。
【００４８】
なお、画像処理部１からは、デプス情報５２だけではなく、そのデプス情報５２の取得に用いられた撮像画像５１あるいは、撮像画像５１にぼけ補正情報算出部１１が求めたぼけ補正フィルタを適用した補正画像のどちらか一方、またはその両方も出力される。以下、撮像画像５１を補正画像と言い換えてもかまわない。撮像画像５１およびデプス情報５２は、対応づけが行われた状態で記憶部４に保持される。
例えば、撮像部２からは、撮像画像５１が継続的に出力され、画像処理部１経由でカラー画像がＧＵＩ部３に供給される。たとえば、前述した、電子機器をＯＣＲシステムとして動作させるためのソフトウェアが起動されてから、撮像画像５１の取り込み指示（レリーズ操作）が行われるまで、撮像画像５１が撮像部２から出力される。ＧＵＩ部３は、このカラー画像をライブビュー画像として表示部１７０に表示する。ユーザは、このライブビュー画像を観ながら、合焦を含むフレーミング操作と、レリーズ操作とを行う。フレーミング操作のうちの合焦のための操作は、操作部１６０から合焦コントローラ１５０へ伝達され、アクチュエータ１４０経由でレンズ１２０が駆動される。つまり、前述の物距離２１１を調整すべく像距離５４が調整される。また、レリーズ操作は、操作部１６０から画像処理部１へ伝達され、そのタイミングで撮像部２から出力された撮像画像５１がデプス情報５２とともに記憶部４に保持される。なお、画像処理部１は、デプス情報５２の取得を、レリーズ操作時にのみ行ってもよいし、継続的に行ってもよい。レリーズ操作が行われると、ＧＵＩ部３は、表示部１７０に表示する画像を、ライブビュー画像から、そのレリーズ操作に伴って取り込まれた撮像画像５１へと切り換える。表示部１７０に表示される画像は、たとえば、後述するＯＣＲ部５の動作完了後、ライブビュー画像へ復帰してもよい。つまり、撮像部２による撮像画像５１の出力が再開されてもよい。
【００４９】
ＯＣＲ部５は、デプス情報５２に基づき、撮像画像５１（カラー画像）上の被写体（たとえば書類）の形状を補正する形状補正部１８０を有している。ＯＣＲ部５は、形状補正部１８０によって形状が補正された被写体を含む形状補正画像を表示部１７０に表示し、または、記憶部４に格納する。形状補正部１８０は、さらに撮像画像５１の被写体上の文字や記号を認識し、テキストデータ（文字情報）を出力する。テキストデータは表示部１７０に表示されてもよいし、記憶部４に格納されてもよい。テキストデータは、表示部１７０に表示された後、ユーザの指示により、記憶部４に格納されてもよい。距離を用いて被写体の形状を補正する方法と、被写体上の文字や記号を認識する方法とは、特定の方法に限定されず、既知の様々な方法を採用し得る。
形状補正画像は、撮影方向や載置面の形状により曲がったり歪んだりした書類や掲示物などの被写体の形状を補正した画像であり、例えば平面に置かれた被写体を正面から撮影したような画像である。形状補正画像に含まれる被写体のゆがみは、撮像画像に含まれる被写体のゆがみよりも少ない。形状補正画像は、デプス情報５２を用いて取得される。形状補正画像は、さらにＬＵＴ５５を用いて取得されてもよい。
処理システム１００は、ＯＣＲ部５から形状補正画像を出力してもよい。形状補正画像は、例えば処理システム１００と有線または無線で通信可能な機器に送信される。
画像処理部１にＯＣＲ部５が含まれる場合には、画像処理部はデプス情報５２に加えて形状補正画像を出力してもよい。あるいは、画像処理部は、デプス情報５２を出力せずに、形状補正画像を出力してもよい。
【００５０】
このＯＣＲ部５の動作は、レリーズ操作に伴い、画像処理部１の動作に続いて開始されてもよいし、レリーズ操作とは別のタイミングでのユーザからの指示に応じて行われてもよい。たとえば、ＯＣＲ部５は、記憶部４に保持されている複数の撮像画像５１を選択肢として表示部１７０に表示し、操作部１６０の操作によって選択された撮像画像５１について、形状補正部１８０による補正を含む認識を行ってもよい。
【００５１】
このように、処理システム１００は、可変フォーカスカメラである撮像部２により、たとえば、図４に示すように書類が撮影された場合や、図５に示すように掲示物が撮影された場合においても、画像処理部１が、当該画像上の書類や掲示物の各領域までの距離を取得することができるため、ＯＣＲ部５は、本来の形状に書類や掲示物の形状を補正することで、書類上や掲示物上の文字や記号を高精度で認識することができる。
【００５２】
図１６は、本実施形態の画像処理装置（画像処理部）１の処理の流れの一例を示すフローチャートである。
デプス情報算出部１２のＬＵＴ選択部１２２は、たとえば撮像部２の合焦コントローラ１５０から像距離５４を取得し（ステップＡ１）、この像距離５４に基づき、ＬＵＴ記録部１２１に保持される複数のＬＵＴ５５の中から１つのＬＵＴ５５を選択する（ステップＡ２）。
【００５３】
また、ぼけ補正情報算出部１１は、たとえば撮像部２のイメージセンサ１３０から撮像画像５１を取得し（ステップＡ３）、ぼけ補正情報５３を算出する（ステップＡ４）。図１６では、ステップＡ１〜ステップＡ２と、ステップＡ３〜ステップＡ４とが、並行して実行可能であることを示しており、必ずしも並行して実行しなくてもよく、一方を実行後に他方を実行してもよい。また、撮像画像５１や像距離５４は、必ずしも撮像部２から直接的に取得されるものでなくともよく、前述したように、ファイルサーバとして機能する電子機器が介在して取得されるものであってもよい。
【００５４】
デプス情報算出部１２のデプス変換部１２３は、算出されたぼけ補正情報５３と、選択されたＬＵＴ５５とに基づき、デプス情報５２を算出し（ステップＡ５）、当該算出したデプス情報を出力する（ステップＡ６）。
以上のように、本実施形態の画像処理装置１は、可変フォーカスカメラで撮像された画像から、被写体までの距離を取得することができる。
【００５５】
（第２実施形態）
次に、第２実施形態について説明する。なお、以下、第１実施形態と同一の構成については同一の符号を使用し、また、同一の構成についての重複した説明は省略する。
図１７は、本実施形態の画像処理装置１−２の機能ブロックの一例を示す図である。
【００５６】
本実施形態の画像処理装置１−２も、第１実施形態の画像処理装置１と同様、（可変フォーカスカメラで撮影された）撮像画像５１から、被写体までの距離を取得してデプス情報５２として出力する。本実施形態の画像処理装置１−２と、第１実施形態の画像処理装置１との違いは、本実施形態の画像処理装置１−２においては、像距離５４を外部から取得できないことを前提とする。そこで、本実施形態の画像処理装置１−２は、像距離５４を内部的に取得するために、さらに、形状モデル記憶部１３、形状モデル選択部１４、三次元形状算出部１５および比較部１６を有する。これらの各処理部も、単一または複数のプロセッサで実現されてもよいし、専用の電子回路で実現されてもよい。
【００５７】
形状モデル記憶部１３は、たとえば、平面を表す形状モデルや曲面を表す形状モデルなどといった複数の形状モデル５６を保持する。形状モデル選択部１４は、形状モデル記憶部１３が保持する複数の形状モデル５６の中から１つの形状モデル５６を選択する。形状モデル選択部１４による形状モデル５６の選択は、ユーザの指示に基づいて実行されるものであってもよいし、撮像画像５１の被写体を物体認識し、その認識結果に基づいて実行されるものであってもよい。つまり、画像処理装置１−２は、さらに、物体認識部を有してもよい。物体認識部は、形状モデル選択部１４内に設けられてもよいし、形状モデル選択部１４とは別に設けられてもよい。被写体を物体認識する方法は、特定の方法に限定されず、既知の様々な方法を採用し得る。たとえば、図４に示したように、テーブル上（平面上）の書類を撮影した場合には、平面を表す形状モデルが選択され、図５に示したように、円柱（曲面）に貼られた掲示物を撮影した場合には、曲面を表す形状モデルが選択されることを想定する。
【００５８】
三次元形状算出部１５は、デプス情報算出部１２によって算出されたデプス情報５２と像距離５４とに基づき、被写体の三次元形状５７を算出する。本実施形態においては、像距離５４を取得できないことを前提としているので、三次元形状算出部１５は、まず、たとえばあらかじめ定められた値などである仮の像距離５４を用いて、被写体の三次元形状５７を算出する。第１実施形態で説明したように、デプス情報算出部１２は、像距離５４に対応するＬＵＴ５５を用いてデプス情報５２を算出する。そこで、デプス情報算出部１２も、まず、この仮の像距離５４を用いて、デプス情報５２を算出する。
【００５９】
三次元形状５７は、たとえば、図１８に示すように、レンズ１２０の中心を（０，０，０）、レンズ１２０から被写体２１０までの距離（デプス）をＺ、レンズ１２０からイメージセンサ１３０までの像距離５４をｂとし、イメージセンサ１３０のセンサ面の各位置（ｘ，ｙ，−ｂ）につき、Ｚ／ｂ×（-ｘ，−ｙ，ｂ）を計算することによって求めることができる。
【００６０】
比較部１６は、形状モデル選択部１４によって選択された形状モデル５６と、三次元形状算出部１５によって算出された三次元形状５７とを比較し、三次元形状５７の形状モデル５６への適合度を算出する。適合度を算出するとは、換言すれば、相関を求めることであり、マッチングを行うことであり、または、類似度を求めることである。図１９は、三次元形状算出部１５によって算出される三次元形状５７の一例を示している。図１９中、（Ａ）〜（Ｃ）は、互いに異なる像距離５４が用いられて、デプス情報算出部１２によるデプス情報５２の算出が行われ、かつ、三次元形状算出部１５による三次元形状５７の算出が行われた場合における三次元形状５７をそれぞれ示している。たとえば、形状モデル選択部１４によって平面を表す形状モデル５６が選択されている場合、当該平面を表す形状モデル５６との比較によって、最も平面らしい（Ａ）の三次元形状５７の算出に用いられた像距離５４は妥当であると判断され、また、同じくその算出に用いられたデプス情報５２は適正な値であると判断される。三次元形状５７の形状モデル５６への適合度を算出する方法は、特定の方法に限定されず、既知の様々な方法を採用し得る。たとえば、前述のぼけ補正フィルタを求める方法と同じ方法を採用してもよい。
【００６１】
比較部１６は、算出された適合度が閾値より大きいあるいは閾値以上の場合、デプス情報算出部１２および三次元形状算出部１５に用いられた像距離５４は妥当な値であると判断し、デプス情報算出部１２によって算出されたデプス情報５２を出力する。一方、算出された適合度が閾値以下あるいは閾値未満の場合、比較部１６は、デプス情報算出部１２および三次元形状算出部１５に用いられた像距離５４は妥当な値ではないと判断する。この場合、比較部１６は、デプス情報５２の出力は行わず、例えば最適化問題の解を探索する勾配法などのアルゴリズムに基づき、次に用いるべき像距離５４を算出し、デプス情報算出部１２および三次元形状算出部１５へ出力する。
【００６２】
比較部１６から像距離５４が出力された場合、デプス情報算出部１２は、その像距離５４を用いて、ＬＵＴ５５の選択を含むデプス情報５２の算出を再実行する。次いで、三次元形状算出部１５が、その像距離５４を用いて、三次元形状５７の算出を再実行する。比較部１６は、形状モデル選択部１４によって選択された形状モデル５６と、三次元形状算出部１５によって新たに算出された三次元形状５７とを比較し、三次元形状５７の形状モデル５６への適合度を改めて算出する。算出された適合度が閾値より大きいあるいは閾値以上の場合、デプス情報５２が出力され、算出された適合度が閾値以下あるいは閾値未満の場合、次に用いるべき像距離５４がさらに算出されて、デプス情報算出部１２および三次元形状算出部１５へ出力されることになる。次に用いるべき像距離５４は、像距離５４のたとえば下限値から上限値側へ順番に選択されてもよい。例えば、像距離５４を基に算出した三次元形状５７と形状モデル５６との適合度の算出は、適合度が閾値より大きいあるいは閾値以上になるまで、複数の像距離５４を使って繰り返される。
【００６３】
つまり、本実施形態の画像処理装置１−２は、被写体の形状が、たとえばユーザが選択した形状モデル５６で表される形状であるとの前提の下、撮像画像５１の撮影時における像距離５４（または被写体までの距離）を推定する。
図２０は、形状モデル選択部１４による形状モデル５６の選択が、ユーザの指示に基づいて実行されるものである場合において、形状モデル選択部１４によって、ＧＵＩ部３を介して表示部１７０に表示される形状モデル５６の選択画面の一例を示す図である。
【００６４】
ここでは、ＯＣＲ部５の動作が、レリーズ操作に伴い、画像処理部１の動作に続いて開始されることを想定する。レリーズ操作によって撮像画像５１が取り込まれると、表示部１７０に表示される画像が、ライブビュー画像から、形状モデル５６の選択画面に切り換わる。図２０（Ａ）に示すように、形状モデル５６の選択画面上には、その時のレリーズ操作によって取り込まれた撮像画像５１が表示されるとともに、形状モデル５６のリストを開くためのメニューボタンａ１と、認識の実行を指示するための実行ボタンａ２とが表示される。メニューボタンａ１が操作されると、図２０（Ｂ）に示すように、複数の形状モデル５６が選択肢（リストａ３）として表示される。ユーザは、このリストａ３から目的の形状モデル５６を選択し、実行ボタンａ２を操作することによって、撮像画像５１の被写体の形状に適した処理を実行させることができる。曲面の形状モデルとしては、円柱や球体など、様々なパターンが考えられ得る。
【００６５】
なお、メニューボタンａ１の操作が行われることなく、実行ボタンａ２の操作が行われた場合には、たとえば、あらかじめ初期値として定められた形状モデル５６を用いるようにしてもよいし、前回選択された形状モデル５６を用いるようにしてもよい。また、複数の形状モデル５６は、メニューボタンａ１の操作に伴って表示される、リストａ３として提示することに限らず、たとえば、図２０（Ｃ）に示すように、各々がいずれかの形状モデル５６を示すアイコン群ａ４として提示してもよい。この場合、実行ボタンａ２もアイコン（ａ５）として提示してもよい。
あるいは、例えば、撮像画像の隣に複数の形状モデルが表示されてもよい。複数の形状モデルは、並んで表示されてユーザがタッチ操作等により１の形状モデルが選択されてもよい。複数の形状モデルは、例えばユーザのスクロール操作により順番に表示され、ユーザのタッチ操作等により１の形状モデルが選択されてもよい。
【００６６】
図２１は、本実施形態の画像処理装置（画像処理部）１−２の処理の流れの一例を示すフローチャートである。
形状モデル選択部１４は、形状モデル記憶部１３に保持される複数の形状モデル５６の中から１つの形状モデル５６を選択する（ステップＢ１）。
【００６７】
また、ぼけ補正情報算出部１１は、たとえば撮像部２のイメージセンサ１３０から撮像画像５１を取得し（ステップＢ２）、ぼけ補正情報５３を算出する（ステップＢ３）。図２１では、ステップＢ１と、ステップＢ２〜ステップＢ３とが、並行して実行可能であることを示しており、必ずしも並行して実行しなくてもよく、一方を実行後に他方を実行してもよい。また、撮像画像５１は、必ずしも撮像部２から直接的に取得されるものでなくともよく、前述したように、ファイルサーバとして機能する電子機器が介在して取得されるものであってもよい。
【００６８】
デプス情報算出部１２は、算出されたぼけ補正情報５３と、たとえばあらかじめ定められた値などの仮の像距離５４とを用い、デプス情報５２を算出する（ステップＢ４）。このステップＢ４におけるデプス情報算出部１２によるデプス情報５２の算出には、第１実施形態で説明した、仮の像距離５４に基づくＬＵＴ５５の選択が含まれる。
【００６９】
三次元形状算出部１５は、算出されたデプス情報５２と、仮の像距離５４とを用いて、三次元形状５７を算出する（ステップＢ５）。比較部１６は、選択された形状モデル５６と、算出された三次元形状５７とを比較し、三次元形状５７の形状モデル５６への適合度を算出する（ステップＢ６）。比較部１６は、形状モデル５６と三次元形状５７との適合度が閾値以下または閾値未満の場合（ステップＢ６のＮｏ）、次に用いるべき像距離５４を算出し、デプス情報算出部１２および三次元形状算出部１５へ出力する。これにより、この処理は、ステップＢ４に戻る。より詳細には、デプス情報算出部１２は、仮の像距離５４に代えて、比較部１６から受け取った像距離５４を用いて、デプス情報５２の算出を再実行し、また、三次元形状算出部１５も、再算出されたデプス情報５２と、同じく比較部１６から受け取った像距離５４とを用いて、三次元形状５７の算出を再実行する。
【００７０】
一方、形状モデル５６と三次元形状５７との適合度が閾値より大きいまたは閾値以上の場合には、（ステップＢ６のＹｅｓ）、比較部１６は、デプス情報５２の算出に用いられた像距離５４は妥当な値であったとして、当該デプス情報５２を出力する（ステップＢ７）。
以上のように、本実施形態の画像処理装置１は、可変フォーカスカメラで撮像された画像から、被写体までの距離を取得することができる。
【００７１】
（応用例）
次に、第１実施形態の画像処理装置１または第２実施形態の画像処理装置１−２の応用例についていくつか説明する。
第１実施形態および第２実施形態では、画像処理装置１、１−２が、ＯＣＲシステムである処理システム１００、１００−２に適用されることを想定した。これに限らず、画像処理装置１、１−２は、様々なシステムに適用することが可能である。
【００７２】
たとえば、画像処理装置１、１−２は、カメラを搭載するタブレットやスマートフォンなどにインストールされるソフトウェアの１つである採寸ツールなどとして実現することもできる。たとえば、販売店に陳列されている商品のサイズを知りたい場合、その商品を撮影することで、メジャーを携帯していなくとも、その商品のサイズを取得することができる。
【００７３】
画像処理装置１、１−２は、被写体までの距離を画素単位に取得する。また、画像処理装置１、１−２は、撮影時の像距離を取得し、撮影時の合焦距離を取得する。撮影時の合焦距離が既知であれば、光学中心から画像中心までの距離と、光学中心から物体までの距離との比から、画像上での被写体の長さと、実際の被写体の長さとの比を得ることができる。よって、各画素を実空間（３次元空間）上に投影（マッピング）することにより、実際の被写体のサイズを得ることができる。
【００７４】
たとえば、家具店に展示されているイスの様々なサイズを測りたいと考えている場合を想定する。この場合、まず、採寸ツールを起動した上で、図２２に示すような、そのイスの画像をタブレットやスマートフォンのカメラにより撮像する。採寸ツールは、画像をタブレットやスマートフォンのタッチスクリーンディスプレイ上に表示する。また、採寸ツールは、画像の各画素をデプス情報５２に基づき３次元空間上に投影する。
【００７５】
そのイスの背もたれの幅を図りたい場合、ユーザは、たとえば、背もたれの横方向の一端（ｂ１）に触れた後、他端（ｂ２）に触れるように、タッチスクリーンディスプレイ上でタッチ操作を行う。画像上の２点が指定されると、採寸ツールは、３次元空間上に投影された２つの画素の３次元空間上の座標を用いて、指定された２点間の実際の距離を取得し、たとえば、画像に重ね合わせるようにスマートフォンのタッチスクリーンディスプレイ上に表示する（ｂ３）。
【００７６】
このように、ユーザは、サイズを測りたい被写体を撮影するだけで、そのサイズを取得することができる。合焦距離が変化しても正しいサイズが取得されるので、ユーザは、通常の撮影と同様、サイズを取得したい物にピントを合わせて撮影を行えばよい。
画像上で２点が指定された場合に測定する距離は、その２点間の直線距離のみに限られない。たとえば、被写体の湾曲している外面上の２点が指定された場合、その直線距離を取得することもできるし、湾曲した外面に沿った外周距離を取得することもできる。採寸ツールは、２点間の直線距離を測定する第１モードと、２点間の外周距離を測定する第２モードとを備えて、ユーザのモード設定に基づき、直線距離または外周距離のいずれか一方を取得して表示するようにしてもよい。また、採寸ツールは、直線距離および外周距離の両方を取得して表示してもよいし、２点間の直線距離および外周距離を測定する第３モードをさらに備え、第３モードが設定された場合、直線距離および外周距離の両方を取得して表示してもよい。
【００７７】
また、たとえば、画像処理装置１、１−２は、商業施設内の通路上の歩行者を監視するための監視システムに適用することができる。図２３は、画像処理装置１、１−２を監視システムに適用した場合における監視画像の一例を示す図である。
いま、図２３に示すように、監視画像の撮像範囲（ｃ１１）内に歩行者（ｃ２１、ｃ２２、ｃ２３）が存在し、歩行者それぞれの身長（ｃ３１、ｃ３２、ｃ３３）が提示された状態で監視画像が表示されているものと想定する。被写体のサイズを得ることは、たとえば、警備員が、不審者と思われる人物を監視画像上で発見した場合、その人物の特徴を示す有力情報の１つである身長を即時に得ることができる。身長に限らず、たとえば、携帯物のサイズを得ることも可能である。
【００７８】
この３人の歩行者のうち、歩行者ｃ２３を追跡すべく、合焦を含むフレーミング操作が行われ、監視画像の撮像範囲が、符号ｃ１１で示す範囲から符号ｃ１２で示す範囲に切り換ったと想定する。このように合焦距離が変動した場合であっても、被写体のサイズを適切に得ることができる。
【００７９】
また、画像処理装置１、１−２は、たとえば、自動車などの移動体の運転、操縦を支援する運転サポートシステムに適用することができる。
たとえば、図２４に示すように、移動体が自動車であり、その進行方向を撮像するように撮像部２が搭載されているものとする。また、いま、自動車の進行方向に障害物が存在する状況を想定する。
【００８０】
このような場合、たとえば、障害物が遠方にある状態から、障害物が近距離に迫った状態まで、障害物にピントを合わせるべく、合焦距離が変動した場合であっても、被写体のサイズを適切に得ることができる。たとえば、障害物が段差である場合、その段差を自動車が乗り越えられるか否かを判定し、その判定結果を運転者に提示することなどが可能である。
【００８１】
また、画像処理装置１、１−２は、たとえば、自動ドアシステムに適用することができる。
たとえば、図２５に示すように、回転ドアが定速で回転し続ける自動ドアを想定する。回転ドアの場合、どの程度のサイズまで通過可能かを通行者は把握しづらい。そこで、撮像部２により撮影される画像から、たとえば通行者の荷物（被写体）のサイズを取得し、回転ドアを通過できるサイズを超える場合、回転ドアに設けられる音声出力部から警告音声を出力するといったことを行うことができる。被写体までの距離を継続的に得ることができるので、被写体が回転ドアに向かって移動している場合に限り、サイズの取得および通過可否判定を行うことができる。したがって、通過できるサイズを超える被写体が回転ドアの前を横切っても、誤って警告音声を出力するようなことを防止できる。
【００８２】
また、画像処理装置１、１−２は、たとえば、ロボットに適用することができる。ここでは、ロボットが、たとえば図２６に示すように、搬送ライン上を搬送されてくる対象物を摘み上げるロボットアームを駆動部として有するロボットを想定する。また、ロボットアームの先端部に撮像部２が搭載されているものとする。
【００８３】
このような場合、たとえば、ピッキング対象物が画像上に出現してから、画像上の位置に基づき、ピッキング対象物に接近して摘まむまで、ピッキング対象物にピントを合わせるべく、合焦距離が変動した場合であっても、ピッキング対象物のサイズを適切に得ることができる。
【００８４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８５】
１…画像処理装置（画像処理部）、２…撮像部、３…ＧＵＩ部、４…記憶部、５…ＯＣＲ部、１１…補正情報算出部、１２…デプス情報算出部、１３…形状モデル記憶部、１４…形状モデル選択部、１５…三次元形状算出部、１６…比較部、５１…撮像画像、５２…デプス情報、５３…ぼけ補正情報、５４…像距離、５５…ＬＵＴ、５６…形状モデル、５７…三次元形状、１００…処理システム、１１０…フィルタ、１１１…第１のフィルタ領域、１１２…第２のフィルタ領域、１２０…レンズ、１２１…ＬＵＴ記録部、１２２…ＬＵＴ選択部、１２３…デプス変換部、１３０…イメージセンサ、１３１…第１のセンサ、１３２…第２のセンサ、１３３…第３のセンサ、１４０…アクチュエータ、１５０…合焦コントローラ、１６０…操作部、１７０…表示部、１８０…形状補正部。
【図１】
2019015575.tif 000003
【図２】
2019015575.tif 000004
【図３】
2019015575.tif 000005
【図４】
2019015575.tif 000006
【図５】
2019015575.tif 000007
【図６】
2019015575.tif 000008
【図７】
2019015575.tif 000009
【図８】
2019015575.tif 000010
【図９】
2019015575.tif 000011
【図１０】
2019015575.tif 000012
【図１１】
2019015575.tif 000013
【図１２】
2019015575.tif 000014
【図１３】
2019015575.tif 000015
【図１４】
2019015575.tif 000016
【図１５】
2019015575.tif 000017
【図１６】
2019015575.tif 000018
【図１７】
2019015575.tif 000019
【図１８】
2019015575.tif 000020
【図１９】
2019015575.tif 000021
【図２０】
2019015575.tif 000022
【図２１】
2019015575.tif 000023
【図２２】
2019015575.tif 000024
【図２３】
2019015575.tif 000025
【図２４】
2019015575.tif 000026
【図２５】
2019015575.tif 000027
【図２６】
2019015575.tif 000028