(57)【要約】      （修正有）【課題】撮影前にユーザーがリフォーカス可能範囲を把握できるようにして撮影の失敗を削減する。【解決手段】撮像装置１００は、目的とする焦点位置にリフォーカス可能な画像データと、撮像部の特性情報とを出力する撮像部１０１と、リフォーカス画像を生成するリフォーカス画像生成部１０２と、リフォーカス可能な画像データの複数の領域それぞれについて撮像装置から被写体までの距離情報を取得する距離取得部１０３と、画像データのリフォーカス可能な範囲の情報を算出するリフォーカス範囲算出部１０４と、撮像装置から被写体までの距離の情報とリフォーカス可能な範囲の情報とに基づいて、リフォーカス画像が生成可能か否かを判定するリフォーカス判定部１０５と、判定情報に基づいて、リフォーカス画像に画像処理を施して表示画像を生成する画像処理部１０６と、表示画像を表示する表示部１０７とを備える。【選択図】図１
2014154981.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段であって、目的とする焦点位置にリフォーカス可能な画像データと、前記撮像手段の特性情報とを出力する撮像手段と、
前記リフォーカス可能な画像データと前記特性情報とに基づいて、焦点を合わせようとする位置のリフォーカス画像を生成するリフォーカス画像生成手段と、
前記リフォーカス可能な画像データを複数の領域に分け、該複数の領域それぞれについて撮像装置から被写体までの距離の情報を取得する距離取得手段と、
前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な範囲の情報を算出するリフォーカス範囲算出手段と、
前記撮像装置から被写体までの距離の情報と前記リフォーカス可能な範囲の情報とに基づいて、リフォーカス画像が生成可能か否かを判定する判定情報を出力するリフォーカス判定手段と、
前記判定情報に基づいて、前記リフォーカス画像に第１の画像処理を施して表示画像を生成する画像処理手段と、
前記表示画像を表示する表示手段と、
を備えることを特徴とする撮像装置。
【請求項２】
ユーザーからの指示を受け付ける操作手段をさらに備え、前記画像処理手段は、前記判定情報と前記指示の情報とに基づいて、前記リフォーカス画像に第２の画像処理を施して表示画像を生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記リフォーカス画像から人物を検出して、人物検出情報を生成する人物検出手段をさらに備え、前記画像処理手段は、前記判定情報と前記人物検出情報と前記指示の情報とに基づいて、前記リフォーカス画像に第３の画像処理を施して表示画像を生成することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記判定情報は、前記複数の領域ごとに該領域の被写体の距離がリフォーカス可能な範囲内かリフォーカス可能な範囲外かを示す情報、およびリフォーカス可能な範囲外の場合は範囲外の程度を示す情報を含み、前記画像処理手段は、前記範囲外の程度の情報に基づいて画像処理を変えることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記画像処理手段は、前記リフォーカス画像の中で人物が存在する領域と存在しない領域とで前記第３の画像処理の方法を変更して表示画像を生成することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記指示の情報は前記リフォーカス画像の中の前記複数の領域のいずれかを選択する情報を含むとともに、前記判定情報は前記複数の領域ごとに該領域の被写体の距離が前記リフォーカス可能な範囲内かリフォーカス可能な範囲外かを示す情報、およびリフォーカス可能な範囲外の場合は範囲外の程度を示す情報を含み、前記画像処理手段は、前記選択する情報により表される領域に前記範囲外の程度に基づいて第４の画像処理を施して表示画像を生成することを特徴とする請求項２または３に記載の撮像装置。
【請求項７】
前記指示の情報は撮像装置の動作モードの情報を含み、該動作モードがポートレイトモードの場合は、前記画像処理手段は、前記判定情報と前記人物検出情報と前記指示の情報とに基づいて、前記リフォーカス画像に前記第３の画像処理を施して表示画像を生成することを特徴とする請求項３に記載の撮像装置。
【請求項８】
撮像手段であって、目的とする焦点位置にリフォーカス可能な画像データと、前記撮像手段の特性情報とを出力する撮像手段を備える撮像装置を制御する方法であって、
前記リフォーカス可能な画像データと前記特性情報とに基づいて、焦点を合わせようとする位置のリフォーカス画像を生成するリフォーカス画像生成工程と、
前記リフォーカス可能な画像データを複数の領域に分け、該複数の領域それぞれについて撮像装置から被写体までの距離の情報を取得する距離取得工程と、
前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な範囲の情報を算出するリフォーカス範囲算出工程と、
前記撮像装置から被写体までの距離の情報と前記リフォーカス可能な範囲の情報とに基づいて、リフォーカス画像が生成可能か否かを判定する判定情報を出力するリフォーカス判定工程と、
前記判定情報に基づいて、前記リフォーカス画像に第１の画像処理を施して表示画像を生成する画像処理工程と、
前記表示画像を表示する表示工程と、
を有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リフォーカス可能な画像データからリフォーカス可能範囲の判定と表示を行う撮像装置に関する。
【背景技術】
【０００２】
近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置（ライトフィールドカメラ）が提案されている。
【０００３】
例えば非特許文献１によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対して一つのマイクロレンズを対応させることで、マイクロレンズを通過した光が複数の画素によって入射方向別に取得される。このように取得された画素信号（光線情報）に対して、通常の撮影画像を生成するほかに、「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を適用することで、任意の像面（リフォーカス面）にピントを合わせた画像を撮影後に再構成することができる。
【０００４】
ユーザーがリフォーカスによる画像の再構成を必要とするケースとして、撮影後に画像を確認すると所望の被写体にピントが合っていなかった場合が考えられる。従来のカメラであれば所望の被写体にピントが合っていない場合は撮り直す必要があったが、ライトフィールドカメラで撮影した画像信号を用いてリフォーカス面を再構成することで撮り直すことなく所望の被写体にピントが合った画像が得られる。
【０００５】
また特許文献１に記載の技術は、ライトフィールドカメラではないが、複数のピント位置で撮影した複数の画像を合成することで任意のリフォーカス面にピントを合わせた画像を生成することが可能である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２６８０５２号公報
【非特許文献】
【０００７】
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来のライトフィールドカメラでは撮影前にリフォーカス可能な画像データからリフォーカスできる範囲をユーザーが確認することができないという問題がある。そしてリフォーカス可能範囲にない被写体はリフォーカス可能な画像データからその被写体にフォーカスを合わせたリフォーカス画像を生成することができない。そのためユーザーが撮影後に所望の被写体にフォーカスを合わせようしても、撮影時においてリフォーカス範囲にその被写体を収めずに撮影してしまったために、リフォーカスできない可能性がある。
【０００９】
本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影前にユーザーがリフォーカス可能範囲を把握できるようにして撮影の失敗を削減することである。
【課題を解決するための手段】
【００１０】
本発明に係わる撮像装置は、撮像手段であって、目的とする焦点位置にリフォーカス可能な画像データと、前記撮像手段の特性情報とを出力する撮像手段と、前記リフォーカス可能な画像データと前記特性情報とに基づいて、焦点を合わせようとする位置のリフォーカス画像を生成するリフォーカス画像生成手段と、前記リフォーカス可能な画像データを複数の領域に分け、該複数の領域それぞれについて撮像装置から被写体までの距離の情報を取得する距離取得手段と、前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な範囲の情報を算出するリフォーカス範囲算出手段と、前記撮像装置から被写体までの距離の情報と前記リフォーカス可能な範囲の情報とに基づいて、リフォーカス画像が生成可能か否かを判定する判定情報を出力するリフォーカス判定手段と、前記判定情報に基づいて、前記リフォーカス画像に第１の画像処理を施して表示画像を生成する画像処理手段と、前記表示画像を表示する表示手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮影前にユーザーがリフォーカス可能範囲を把握できるようにして撮影の失敗を削減することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係わる撮像装置の構成を示すブロック図。
【図２】第１の実施形態に係る撮像装置の動作を示すフローチャート。
【図３】リフォーカス画像とその距離情報を示す図。
【図４】最大リフォーカス量を説明する図。
【図５】リフォーカス可能範囲と被写体の距離情報を説明する図。
【図６】表示画像生成のフローチャート。
【図７】リフォーカス判定情報から表示画像を生成するための画像処理領域を示す図。
【図８】ユーザー指定モードの表示画像生成を示す図。
【図９】表示画像の表示動作のフローチャート。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図１は本発明の一実施形態に係わる撮像装置の構成を示すブロック図である。図１において、１００は撮像装置、１０１は撮像部、１０２はリフォーカス画像生成部である。
【００１４】
１０３は距離取得部、１０４はリフォーカス可能範囲算出部、１０５はリフォーカス判定部、１０６は画像処理部、１０７は表示部、１０８は操作部、１０９は人物検出部である。
【００１５】
撮像部１０１は光学系と撮像素子とピントの位置や絞りを制御する制御系で構成され、リフォーカス可能な画像データを生成して出力する。また撮像部１０１はリフォーカス可能な画像データ取得時の光学系の特性情報（フォーカス位置や撮像素子の仕様など）を出力する。
【００１６】
リフォーカス画像生成部１０２は撮像部１０１が出力するリフォーカス可能な画像データと光学系の特性情報から光学系の目的とする焦点位置にフォーカスを合わせたリフォーカス画像を生成する。
【００１７】
距離取得部１０３はリフォーカス可能な画像データを複数の領域に分け、それぞれの領域で撮像装置１００からその領域内の被写体までの距離情報を出力する。リフォーカス可能範囲算出部１０４は撮像部１０１が出力する特性情報を元にリフォーカス画像が生成可能な画像データ取得時のリフォーカス可能範囲情報を出力する（リフォーカス範囲算出）。リフォーカス判定部１０５は距離情報とリフォーカス範囲情報からリフォーカス判定情報を出力する。
【００１８】
操作部１０８はユーザーからの指示を撮像装置１００に入力するためのボタン、タッチパネル、モードダイヤルなどで構成される。人物検出部１０９はリフォーカス画像内から人物が存在する領域を検出して人物検出情報を出力する。
【００１９】
画像処理部１０６はリフォーカス判定情報からリフォーカス画像に画像処理を行い、表示画像を生成して出力する。オプションとして指示情報や人物検出情報に基づいて画像処理の方法を変更して表示画像を生成して出力することもできる。表示部１０７は液晶画面などで構成され、画像処理部１０６が出力する表示画像を出力する。
【００２０】
次に本実施形態の撮像装置の動作について図２のフローチャートを用いて説明する。Ｓ２００〜Ｓ２０４について図３を参照しながら説明する。図３はリフォーカス画像データとその距離情報を示す図である。図３（ａ）はリフォーカス画像と被写体を示す図、図３（ｂ）は距離マップを示す図である。３００はリフォーカス画像、３０１は被写体ａ、３０２は被写体ｂ、３０３は被写体ｃである。
【００２１】
３０４は距離情報マップ、３０５は被写体ａの距離情報、３０６は被写体ｂの距離情報、３０７は被写体ｃの距離情報、３０８は距離マップを構成する領域である。
【００２２】
Ｓ２００では撮像部１０１がリフォーカス可能な画像データを取得して出力する。リフォーカス可能な画像データを取得するための、光学系、撮像素子、制御系の詳細については非特許文献１に記載されているのでここでは説明を省略する。
【００２３】
Ｓ２０１ではリフォーカス画像生成部１０２がリフォーカス可能な画像データと光学系の特性情報から光学系の焦点位置のリフォーカス画像３００を生成して出力する。リフォーカス画像の生成についても非特許文献１に記載されているのでここでは説明を省略する。
【００２４】
Ｓ２０２では距離取得部１０３がリフォーカス可能な画像データを複数の距離マップを構成する領域３０８に分ける。距離マップを構成する領域３０８は後述する図４の一つのマイクロレンズ９００を通過して撮像された画素の集合毎に設定すると良いが、複数のマイクロレンズ９００を通過して撮像された画素の集合体としても良い。
【００２５】
Ｓ２０３では距離取得部１０３が距離マップを構成する領域３０８毎に被写体までの距離を算出して距離マップを作成する。距離の算出方法はリフォーカス可能な画像データから視差のある画像を作成して、距離マップを構成する領域３０８毎に位相差を利用して求めても良い。ここでは特に限定しない。
【００２６】
本実施形態では、説明を分かりやすくするために、撮像装置１００から各被写体までの距離を近距離、中距離、遠距離とグルーピングしているが、特にグルーピングするための距離や個数は限定しない。
【００２７】
Ｓ２０４では距離取得部１０３が距離マップを距離情報として出力する。Ｓ２０５で、リフォーカス可能範囲算出部１０４は撮像部１０１が出力する特性情報からリフォーカス可能範囲を算出して出力する。リフォーカス可能範囲の算出はフォーカスされている距離に最大リフォーカス量を加えることで算出できる。
【００２８】
最大リフォーカス量の算出について図４を用いて説明する。図４は最大リフォーカス量を説明する図である。９００はマイクロレンズ、９０１は撮像素子である。マイクロレンズ９００を通して撮像素子９０１に光が入射される様子を示している。
【００２９】
図９に示すように角度分解能Δθ、角度分割数Ｎθ、画素ピッチΔｘとすると、最大リフォーカス量ｄｍａｘは、次の式（１）で計算される。
【００３０】
ｄｍａｘ＝Ｎθ ・Δｘ／ｔａｎ（Δθ）            …（１）
つまりリフォーカス可能な画像データを撮影した時のフォーカスした距離を中心とし光軸に沿って前後にそれぞれ距離ｄｍａｘの範囲内に存在する被写体はリフォーカスが可能である。
【００３１】
Ｓ２０６ではリフォーカス判定部１０５が距離情報とリフォーカス範囲情報からリフォーカス判定情報を作成して出力する。
【００３２】
リフォーカス判定情報の作成方法について図３、図５を用いて説明する。図５はリフォーカス可能範囲と被写体の距離情報を説明する図である。６００はリフォーカス可能範囲、６０１は被写体ａ３０１とリフォーカス可能範囲の境界までの距離ｄａ、６０２は被写体ｂ３０２とリフォーカス可能範囲の境界までの距離ｄｂ、６０３は被写体ｃ３０３とリフォーカス可能範囲の境界までの距離ｄｃである。
【００３３】
本来は距離マップを構成する領域３０８の全てについて判定を行うが、説明を分かりやすくするため被写体ａ３０1と被写体ｂ３０２と被写体ｃ３０３に絞って説明を行う。リフォーカス判定情報は距離マップを構成する領域３０８がリフォーカス可能範囲に存在する場合は１、存在しない場合（リフォーカス可能範囲外）は０のフラグ情報である。オプションとしてリフォーカス可能範囲の境界からの差分距離（距離の程度）を付加させても良い。本実施形態では、リフォーカス判定情報がフラグ情報のみかフラグ情報と差分距離の２つの場合について説明する。
【００３４】
被写体ａの距離情報３０５にある距離マップを構成する領域３０８はリフォーカス可能範囲６００に存在しないのでフラグ情報は０、差分距離も付け加える設定ならば差分距離ｄａ６０１を判定情報に加える。
【００３５】
被写体ｂの距離情報３０６にある距離マップを構成する領域３０８はリフォーカス可能範囲６００に存在するのでフラグ情報は１、差分距離も付け加える設定ならば差分距離ｄｂ６０２を判定情報に加える。差分距離はリフォーカス可能範囲の２つの境界の近い方を選択しているが逆でも良い。
【００３６】
被写体ｃの距離情報３０７にある距離マップを構成する領域３０８はリフォーカス可能範囲６００に存在しないのでフラグ情報は０、差分距離も付け加える設定ならば差分距離ｄｃ６０３を判定情報に加える。
【００３７】
Ｓ２０７では画像処理部１０６が表示画像を生成する。表示画像の生成方法については図６の表示画像生成のフローチャートを用いて説明する。
【００３８】
Ｓ４００では、撮像装置の動作モードがポートレイトモードであるか確認する。モードの選択は操作部１０８から行う。ポートレイトモードはＳ４０５で説明を行う。ポートレイトモードである際はＳ４０５に進み、ポートレイトモードでない際はＳ４０１に進む。
【００３９】
Ｓ４０１ではユーザー指定モードであるか確認する。ユーザー指定モードについてはＳ４０３で説明する。ユーザー指定モードである時はＳ４０３に進み、ユーザー指定モードでない時はＳ４０２に進む。
【００４０】
Ｓ４０２では画像処理部１０６がリフォーカス判定情報から表示画像を生成する。表示画像の生成について図７を用いて説明する。図７はリフォーカス判定情報から表示画像を生成するための画像処理領域を示す図である。
【００４１】
５００は被写体ａの距離情報３０５に施す画像処理領域、５０１は被写体ｂの距離情報３０６に施す画像処理領域、５０２は被写体ｃの距離情報３０７に施す画像処理領域である。それぞれを被写体ａ画像処理領域５００、被写体ｂ画像処理領域５０１、被写体ｃ画像処理領域５０２と呼ぶ。
【００４２】
画像処理について説明する。リフォーカス判定情報がフラグ情報のみの場合はフラグ情報が１の箇所と０の箇所で処理を分ける。フラグ情報が１の箇所は被写体ｂ画像処理領域５０１、フラグ情報が０の箇所は被写体ａ画像処理領域５００と被写体ｃ画像処理領域５０２になる。
【００４３】
フラグ情報が１の箇所のみある色で塗りつぶしたり、透過性がある色で塗りつぶしたりする。またはフラグ情報が０の箇所のみ白黒にしても良い（第１の画像処理）。または目視でフラグ情報が１の箇所と０の箇所が分かるように少なくてもどちらかにぼかし等の画像処理を入れても良い。上記の画像処理はフラグ情報の０と１の箇所で画像処理を逆にしても良い。
【００４４】
リフォーカス判定情報にフラグ情報だけではなく差分距離がある場合は、差分距離に応じて画像処理の強弱をつけても良い。例えば被写体ａ画像処理領域５００と被写体ｃ画像処理領域５０２では差分距離が違う。そのため、フラグ情報が０の箇所に色をつける場合、差分距離ｄａ６０１は差分距離ｄｃ６０３よりも値が小さいので、色の濃さや明るさを被写体ｃ画像処理領域５０２よりも小さくしても良い。差分距離に応じて画像処理を変えていれば、具体的な内容については限定しない。
【００４５】
Ｓ４０３はユーザーが操作部１０８で指定する領域を出力する。ここでユーザー指定モードについて図８を用いて説明をする。図８はユーザー指定モードの表示画像生成を示す図である。図８（ａ）はリフォーカス画像３００と選択領域７００を示す。図８（ｂ）はリフォーカス画像３００に選択された領域を示した図である。７０１は選択された領域である。図８（ｃ）は選択された領域の判定情報から表示画像を生成した一例である。７０２はコメントである。
【００４６】
ユーザー指定モードはユーザーが画面内の被写体を操作部１０８で選択して、選択した被写体がリフォーカス可能かどうか確認できる表示画像を生成するモードである。ユーザーが操作部１０８を用いてリフォーカス可能か確認したい被写体が含まれる選択領域７００を選択する。ここでは、例えばユーザーが被写体ａ３０１を選択したとして説明する。
【００４７】
Ｓ４０４では選択された領域７０１と同じ位置のリフォーカス判定情報を元に、選択された領域７０１がリフォーカス可能かどうかが分かるように表示画像を生成する。リフォーカス判定情報からの表示画像の生成はＳ４０２と同じ方法で良いが、画像処理を行う領域は選択された領域７０１のみとする（第２の画像処理）。更にはリフォーカス判定情報からリフォーカス画像３００内にコメント７０２を任意の位置に合成して表示画像を生成しても良い。その際コメント７０２には判定情報に差分距離があれば、差分距離を文字に埋め込んだりしてユーザーにリフォーカス範囲までの距離を表示しても良い（第４の画像処理）。
【００４８】
Ｓ４０５では人物検出部１０９がリフォーカス画像３００から人物が存在する領域を検出して人物検出情報を出力する。Ｓ４０６ではリフォーカス判定情報から人物検出情報の領域の表示画像をその領域がリフォーカス可能かどうかが分かるように生成する。リフォーカス判定情報からの表示画像の生成はＳ４０２と同じで良いが、画像処理を行う領域を人物検出領域のみとする。
【００４９】
Ｓ４０７では人物検出領域以外の領域の表示画像を生成する。人物検出領域以外の領域は画像処理で明るさを一律で下げたり、白黒にしたりする（第３の画像処理）。もし撮像装置１００に操作部１０８と人物検出部１０９が無い構成であればＳ４００，Ｓ４０１を飛ばしてＳ４０２から始める。また撮像装置１００に人物検出部１０９が無い構成であればＳ４００を飛ばしてＳ４０１から始める。
【００５０】
Ｓ２０８では表示部１０７が表示画像を表示する。表示方法については図９を用いて説明する。図９は表示画像の表示動作のフローチャートである。
【００５１】
Ｓ８００では画像処理部１０６が操作部１０８の表示ボタンが押された時に表示する設定であるか確認する。表示する設定であればＳ８０２に進む。表示する設定でなければＳ８０１へ進む。
【００５２】
Ｓ８０１では画像処理部１０６は生成した表示画像を表示部１０７に出力する。表示部１０７は入力された表示画像を次の入力があるまで表示する。画像処理部１０６は所定の時間がたったらリフォーカス画像３００に画像処理をすることなく表示画像として出力してもよい。
【００５３】
Ｓ８０２では表示ボタンが押下されたか確認する。押下された場合はＳ８０１へ進み、押下されない場合はＳ８０３へ進む。ここでは所定の時間入力を待っても良い。
【００５４】
Ｓ８０３では画像処理部１０６はリフォーカス画像３００に画像処理を施すことなく、リフォーカス画像を表示画像として出力する。表示部１０７は入力された表示画像を次の入力があるまで表示する。
【００５５】
Ｓ２０９では撮影がされたか確認をする。撮影されていいない場合はＳ２００へ戻る。撮影された場合はフローチャートを終了する。
【００５６】
以上のように、ユーザーが撮影前にリフォーカス可能な画像データのリフォーカス可能範囲を表示部１０７で確認することができる。また特定の被写体や人物のみといった限定した被写体のみのリフォーカス可能範囲を表示部１０７で表示することができる。
【００５７】
以上、本発明の好ましい実施形態を説明したが、本発明はこれらの実施形態に限定されるものではなく、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
2014154981.tif 000003
【図２】
2014154981.tif 000004
【図３】
2014154981.tif 000005
【図４】
2014154981.tif 000006
【図５】
2014154981.tif 000007
【図６】
2014154981.tif 000008
【図７】
2014154981.tif 000009
【図８】
2014154981.tif 000010
【図９】
2014154981.tif 000011