(57)【要約】【課題】タッチＵＩにおいて、被写体が存在しない距離上に被写体指定の目安となる仮想物体を合成表示することにより、被写体が存在しない距離を容易に指定することができる撮像装置を提供すること。【解決手段】被写体を撮像する撮像手段と、画像を表示する表示手段と、前記表示手段に対するタッチ操作を検出するタッチ操作検出手段と、前記撮像手段で撮像した被写体画像から被写体を検出する被写体検出手段と、前記被写体検出手段で検出した被写体までの距離分布を生成する距離分布生成手段と、絞りを制御する絞り制御手段と、仮想の被写体画像を選択する画像選択手段と、仮想の被写体画像を表示する距離を算出する距離算出手段と、仮想の被写体画像と前記被写体画像とを合成する画像合成手段と、を有することを特徴とする。【選択図】図１
2018006933.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段と、
画像を表示する表示手段と、
前記表示手段に対するタッチ操作を検出するタッチ操作検出手段と、
前記撮像手段で撮像した被写体画像から被写体を検出する被写体検出手段と、
前記被写体検出手段で検出した被写体までの距離分布を生成する距離分布生成手段と、
絞りを制御する絞り制御手段と、
仮想の被写体画像を表示する距離を算出する距離算出手段と、
仮想の被写体画像と前記被写体画像とを合成する画像合成手段を備え、
前記距離算出手段は前記距離分布生成手段で生成した距離分布に基づいて前記仮想の被写体画像を表示する距離を算出し、
前記画像合成手段は前記被写体画像中の算出した距離上に前記仮想の被写体画像がある場合の見かけの大きさで前記仮想の被写体画像を合成し、
前記タッチ操作検出手段で前記合成画像中の仮想を含む被写体のうちのいずれか二点がタッチされたことを検出した場合に、前記絞り制御手段はタッチされた二つの被写体までの距離の差から算出した被写界深度を持つように絞りを制御することを特徴とする撮像装置。
【請求項２】
前記撮像装置は、前記タッチ操作検出手段が前記被写体画像中の被写体へのタッチ操作を検出した場合に、前記表示部に前記合成画像を表示することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記距離算出手段は、前記タッチ操作検出手段で前記被写体画像の被写体への一回目のタッチを検出した場合に、タッチした被写体を基準に被写体までの距離がタッチした被写体までの距離と最も近い別の被写体までの間に仮想の被写体が等間隔に表示される距離を算出することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記距離算出手段は、前記タッチ操作検出手段で前記被写体画像の被写体への一回目のタッチを検出した場合に、タッチした被写体を基準に前記撮像装置で設定可能な被写界深度に応じた距離を仮想の被写体を表示する距離として算出することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮像装置は、仮想の被写体画像を選択する画像選択手段を更に備え、前記画像選択手段は、前記被写体検出手段で検出した被写体に応じて所定の画像群から仮想の被写体画像を選択することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体が存在しない距離上に被写体指定の目安となる仮想物体を合成表示する撮像装置に関する。
【背景技術】
【０００２】
従来、撮像装置において被写界深度を指定する手段として、釦やダイヤル、タッチＵＩ等の操作部材で絞り値を変更したり、「ぼかす」や「くっきり」といった言葉で表記された設定項目から選択する方法が知られている。
【０００３】
また、特許文献１では、表示画面に表示された画像においてタッチで第一の位置と第二の位置を指定し、表示画面上の二点間の距離に応じて被写界深度を設定する。これによりタッチＵＩで被写界深度を大きくしたり小さくしたりする処理を行い易くしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２２５７９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示された処理や、絞り値や言葉に依る被写界深度の指定方法では、合焦位置からどのくらい距離が離れた被写体まで被写界深度に入るのか直感的に把握するのが難しいという問題がある。
【０００６】
これに対し、撮像装置の表示部に表示されている被写体をタッチＵＩで選択し、撮像装置からタッチした被写体までの被写体距離に応じて被写界深度を設定する方法が考えられる。
【０００７】
しかし、その場合被写体が存在しない距離の領域をタッチＵＩで指定することが難しいという問題がある。
【０００８】
本発明は、上記の問題点に鑑み、タッチＵＩにおいて、被写体が存在しない距離上に被写体指定の目安となる仮想物体を合成表示することにより、被写体が存在しない距離を容易に指定することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明に係る撮像装置は、
被写体を撮像する撮像手段と、画像を表示する表示手段と、前記表示手段に対するタッチ操作を検出するタッチ操作検出手段と、前記撮像手段で撮像した被写体画像から被写体を検出する被写体検出手段と、前記被写体検出手段で検出した被写体までの距離分布を生成する距離分布生成手段と、絞りを制御する絞り制御手段と、仮想の被写体画像を表示する距離を算出する距離算出手段と、仮想の被写体画像と前記被写体画像とを合成する画像合成手段を備え、前記距離算出手段は前記距離分布生成手段で生成した距離分布に基づいて前記仮想の被写体画像を表示する距離を算出し、前記画像合成手段は前記被写体画像中の算出した距離上に前記仮想の被写体画像がある場合の見かけの大きさで前記仮想の被写体画像を合成し、前記タッチ操作検出手段で前記合成画像中の仮想を含む被写体のうちのいずれか二点がタッチされたことを検出した場合に、前記絞り制御手段はタッチされた二つの被写体までの距離の差から算出した被写界深度を持つように絞りを制御することを特徴とする。
【発明の効果】
【００１０】
本発明に係る撮像装置によれば、タッチＵＩにおいて、被写体が存在しない距離上に被写体指定の目安となる仮想物体を合成表示することにより、被写体が存在しない距離を容易に指定することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態による撮像装置１００の構成例を示すブロック図である。
【図２】本実施形態の実施例１における動作を説明するフローチャートである。
【図３】本実施形態の実施例１における動作を説明するフローチャートである。
【図４】本実施形態の実施例１における撮像装置の表示部に表示される入力画像の例を示す図である。
【図５】本実施形態の実施例１における撮像装置の表示部に表示される合成画像の例を示す図である。
【図６】本実施形態の実施例１における被写体と仮想被写体の被写体距離の例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【実施例１】
【００１３】
実施例１では、タッチＵＩにおいて、合成表示された仮想物体をタッチすることで被写体が存在しない距離を指定して被写界深度設定を行う例を述べる。
【００１４】
まず、図１を参照して、実施例１における撮像装置１００の構成について説明する。
【００１５】
撮像装置１００は、レンズ光学系部品１０１と撮像素子１０２とＡ／Ｄ変換部１０３と画像信号処理部１０４と一時記憶メモリ１０５と合焦位置制御部１０６と絞り制御部１０７と被写体検出部１０８と距離分布生成部１０９と画像選択部１１０と距離算出部１１１と画像合成部１１２と表示部１１３とタッチパネル１１４とＣＰＵ１１５とバス１１６によって構成されている。
【００１６】
ここで、Ａ／Ｄ変換部１０３、画像信号処理部１０４、一時記憶メモリ１０５、合焦位置制御部１０６、絞り制御部１０７、被写体検出部１０８、距離分布生成部１０９、画像選択部１１０、距離算出部１１１、画像合成部１１２、表示部１１３、タッチパネル１１４、ＣＰＵ１１５は、バス１１６を介して接続されている。
【００１７】
レンズ光学系部品１０１は、ズームレンズやフォーカシングレンズ、絞りにより構成される。
【００１８】
撮像素子１０２は、レンズ光学系部品１０１にて結像された被写体像を光電変換して画像信号を生成し、生成した画像信号を出力する。また、撮像素子１０２は光電変換部に光を効率的に集光するためのマイクロレンズを備える。通常の撮像素子は一つのマイクロレンズに対して一つのフォトダイオードを有しているが、撮像素子１０２はフォトダイオードが２つ配置された構造になっている。このように２つのフォトダイオードが１つのマイクロレンズを共有する構造にすることで瞳分割像を取得することができる。
【００１９】
Ａ／Ｄ変換部１０３は、撮像素子１０２が出力する画像信号を、アナログ信号からデジタル信号に変換する。
【００２０】
画像信号処理部１０４は、Ａ／Ｄ変換部１０３によりデジタル信号に変換された画像信号に対して、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換などの各種信号処理を行う。
【００２１】
一時記憶メモリ１０５は、画像信号処理部１０４で信号処理された実画像や画像選択部１１０で選択した仮想被写体画像、画像合成部１１２で生成される合成画像、後述する各処理の中間データ等を一時的に記憶する。
【００２２】
合焦位置制御部１０６は、レンズ光学部品１０１のフォーカシングレンズの位置を光学方向に移動させることで、合焦位置を制御する。また、現在のレンズの焦点距離を取得する機能も有する。
【００２３】
絞り制御部１０７は、レンズ光学部品１０１の絞りを開閉することで、絞りを制御する。
【００２４】
被写体検出部１０８は、画像信号処理部１０４で処理した実画像を一時記憶メモリ１０５から読み出し、画像中の人物や動物、建物等の被写体の検出を行う。
【００２５】
距離分布生成部１０９は、撮像素子１０２で取得した左視点画像と右視点画像を用いて、ステレオマッチング処理により２つの画像の位相差を算出する。ステレオマッチング処理による位相差検出は、既知の技術として、特開２００９−１６５１１５に記載されており、詳細の説明は省略する。算出された位相差を用いて、被写体までの距離の分布情報である距離分布を生成する。
【００２６】
画像選択部１１０は、予め保持している仮想被写体画像群の中から、被写体検出部１０８で検出された被写体に基づいて画像合成部１１２で合成するための仮想被写体画像を選択する。
【００２７】
距離算出部１１１は、距離分布生成部１０９で生成した距離分布を基に、被写体間の距離を算出する。また、算出された被写体間の距離に基づいて、画像選択部１１０で選択した仮想被写体画像を合成する際の仮想被写体までの距離を算出する。
【００２８】
画像合成部１１２は、画像信号処理部１０４で処理した実画像と画像選択部１１０で選択した仮想被写体画像を一時記憶メモリ１０５から読み出し、距離算出部１１１で算出した距離に基づいて実画像と仮想被写体画像を合成し、合成画像を生成する。
【００２９】
表示部１１３は、画像処理部１０４や画像合成部１１２によって合成された合成画像を一時記憶メモリ１０５から読み出し、表示する。
【００３０】
タッチパネル１１４は、ユーザが撮像装置１００に対して各種設定を入力するために表示部１１３の表面に張り付いているデバイスであり、ユーザによる各種タッチ操作を検出する。
【００３１】
ＣＰＵ１１５は、上記で説明した各種処理の制御を行っている。
【００３２】
次に、図１に示した撮像装置で取得した被写体画像に仮想被写体画像を合成し、合成画像に対してタッチパネル１１４で被写界深度設定を行うフローを、図２および図３のフローチャートと図４および図５を参照して説明する。
【００３３】
図４は撮像装置１００で撮影される撮影画像を示している。また図５は、図４に仮想被写体画像を合成した合成画像の例である。
【００３４】
図２のステップＳ２０１において、レンズ光学系部品１０１と撮像素子１０２で被写体をキャプチャし、Ａ／Ｄ変換部１０３と画像信号処理部１０４で各種信号処理を行った後、入力画像として一時記憶メモリ１０５に記憶する。
【００３５】
図２のステップＳ２０２において、被写体検出部１０８で、入力画像に対して人や動物、車、家などの被写体の検出を行う。被写体検出部１０８は、画像中から人物の顔などの画像パターンをテンプレートマッチングによって検出するような構成とする。
【００３６】
なお、被写体検出部１０８は１フレーム前の画像との比較により動き量や変化量の大きい領域を検出するように構成してもよい。ステップＳ２０２により、図４においては被写体として４０１や４０２が検出される。
【００３７】
図２のステップＳ２０３において、表示部１１３で、入力画像をライブビュー表示する。ここでは、ステップＳ２０１でキャプチャした入力画像として図４に示す画像がそのまま表示部１１３に表示される。
【００３８】
図２のステップＳ２０４において、ＣＰＵ１１５で、ユーザによりＳ２０２で検出した被写体の内のいずれかに対してタッチ操作が行われたかどうかを判定する。タッチパネル１１４は表示部１１３の表面に張り付いているため、ユーザは表示部１１３に表示されている入力画像中の被写体を直感的にタッチすることで被写体選択などのタッチ操作を行うことが出来る。ユーザによる被写体へのタッチ操作が検出されていない場合、ステップＳ２０１へ進み再度キャプチャ処理を行う。ユーザによる被写体へのタッチ操作が検出された場合、ステップＳ２０４へ進む。ここでユーザがタッチした被写体を第一の被写体とする。例として、図４においては被写体４０１を第一の被写体とする。
【００３９】
図２のステップＳ２０５において、ＣＰＵ１１５で、撮影装置１００の動作モードを被写界深度設定モードに設定する。
【００４０】
図２のステップＳ２０６において、合焦位置制御部１０６で、第一の被写体にピントを合わせる合焦位置制御を行う。
【００４１】
図２のステップＳ２０７において、被写界深度設定用の画像表示を行う。本ステップにおける処理については、図３のフローチャートを用いて詳細に説明する。
【００４２】
図３のステップＳ３０１において、距離分布生成部１０９で、入力画像に関する距離情報である距離分布を生成する。
【００４３】
図３のステップＳ３０２において、距離算出部１１１で、検出した被写体情報と距離分布を用いて第一の被写体とその他の被写体との間の被写体間距離として、撮像装置１００から第一の被写体までの距離と撮像装置１００からその他の被写体までの距離の差を算出する。
【００４４】
ここでは例として、第一の被写体４０１と撮像装置１００から第一の被写体４０１の次に遠い被写体である４０２との被写体間距離を算出する。
【００４５】
図３のステップＳ３０３において、ＣＰＵ１１５で、Ｓ３０２で算出した被写体間距離が所定の閾値よりも大きいかどうかを判定する。被写体間距離が所定の閾値よりも大きい場合は、ステップＳ３０４へ進む。被写体間距離が所定の閾値よりも小さい場合は、ステップＳ３０７へ進む。
【００４６】
図３のステップＳ３０４において、画像選択部１１０で、入力画像に合成する仮想被写体画像を選択する。仮想被写体画像は、予め記憶している仮想被写体画像群、例えばポール（標識）や的、人、木、及び丸等の画像の中から選択する。第一の被写体や、ステップＳ２０２で検出したその他の被写体に応じて仮想被写体画像群から似ている被写体画像を仮想被写体として選択してもよいし、仮想被写体画像群の一覧を表示部１１３に表示して、その中からユーザに選択させるように構成してもよい。例として、ここでは被写体４０２に応じて木の画像が仮想被写体画像として選択されるものとする。
【００４７】
図３のステップＳ３０５において、距離算出部１１１で、仮想被写体画像を合成する際の撮像装置１００から仮想被写体までの距離を算出する。被写体間距離の大きさに応じて仮想被写体画像を表示する距離を算出する方法について図６を参照して説明する。
【００４８】
図６（ａ）のように第一の被写体４０１と被写体４０２との被写体間距離が所定の距離Ｄよりも大きい場合は、第一の被写体４０１の被写体距離から所定の距離Ｄ毎に仮想被写体５０１〜５０３が複数配置されるように仮想被写体距離を算出する。所定の距離Ｄは、撮像装置１００から第一の被写体４０１までの被写体距離に応じて変更してもよい。例えば、被写体距離が小さいような近景の画像であれば細かい粒度でユーザが距離を指定出来る様にＤの値を小さく設定し、逆に被写体距離が大きいような遠景の画像であればＤの値を大きく設定する。また、図６（ｂ）のように、絞り制御部１０７で設定可能な絞り値において、第一の被写体４０１にピントを合わせて各絞り値に設定した時に後方被写界深度内に入る最大の距離に仮想被写体が配置されるよう、仮想被写体距離を算出する構成でもよい。
【００４９】
図３のステップＳ３０６において、画像合成部１１２で、入力画像と仮想被写体画像を合成する。ステップＳ３０４で選択した被写体画像が、入力画像のステップＳ３０５で算出した仮想被写体距離上に配置されて見える様に画像合成を行う。入力画像のＸＹ座標上の位置は、例えば図５のように第一の被写体４０１と被写体４０２の被写体を結ぶ直線上に配置されるようにする。また、仮想被写体画像の大きさは、例えば図５のように仮想被写体距離に応じて近ければ大きく、遠ければ小さくする。
【００５０】
図３のステップＳ３０７において、表示部１１３で、合成画像をライブビュー表示する。ステップＳ３０６で画像合成を行っている場合は、ステップＳ３０６で入力画像と仮想被写体画像を合成した合成画像を、ステップＳ２０３で表示した入力画像に代わり表示する。ステップＳ３０３で被写体間距離が所定の閾値より小さいと判定された場合は、仮想被写体は表示せずに、ステップＳ２０３で表示した入力画像を引き続き表示する。
【００５１】
これにより、図５のように実被写体が存在しない距離においても一定の間隔で仮想の被写体が表示され、ユーザが表示された画像上で所望の距離を指定し易くなる。
【００５２】
このように、ステップＳ２０７において、算出した被写体間距離に基づき被写界深度設定用の画像を表示する。
【００５３】
図２のステップＳ２０８において、ＣＰＵ１１５で、ユーザによりＳ２０２で検出した被写体の内、第一の被写体以外の被写体に対してタッチ操作が行われたかどうかを判定する。ここでユーザがタッチする被写体を第二の被写体とする。ステップＳ３０７で合成画像を表示している場合は、表示部に仮想被写体画像も表示されているので、第一の被写体４０１と被写体４０２の間の実被写体が存在しない距離であっても、ユーザは仮想被写体５０１〜５０３を第二の被写体としてタッチで指定することが可能である。ユーザによる第二の被写体へのタッチ操作が検出されていない場合、ステップＳ２０９へ進む。ユーザによる第二の被写体へのタッチ操作が検出された場合、ステップＳ２１３へ進む。
【００５４】
図２のステップＳ２０９において、レンズ光学系部品１０１と撮像素子１０２で、被写体をキャプチャする。キャプチャから新たな入力画像を一時記憶メモリ１０５に記憶するまでの処理は、ステップＳ２０１と同様である。
【００５５】
図２のステップＳ２１０において、被写体検出部１０８で、新たな入力画像に対して被写体の検出を行う。被写体検出処理はステップＳ２０２と同様である。
【００５６】
図２のステップＳ２１１において、ＣＰＵ１１５で、新たな入力画像から検出した被写体の中に第一の被写体と同一の被写体が存在するかを判定する。新たな入力画像に第一の被写体が検出された場合は、被写界深度設定モードのままステップＳ２０６へ進み、再度被写界深度設定用画像表示と第二の被写体へのタッチ操作検出を行う。新たな入力画像に第一の被写体が検出されなかった場合は、ステップＳ２１２へ進む。
【００５７】
図２のステップＳ２１２において、ＣＰＵ１１５で、被写界深度設定モードを解除する。ステップＳ２１１で第一の被写体が検出されなかった場合、動作モードをステップＳ２０５で設定した被写界深度設定モードから元のモードへ移行する。その後、ステップＳ２０３へ進み、新たな入力画像をそのまま表示部１１３に表示する。
【００５８】
図２のステップＳ２１３において、絞り制御部１０７で、被写界深度設定を行う。ここでは合焦位置である第一の被写体からステップＳ２０８で指定した第二の被写体までの間の距離が被写界深度に含まれるように、絞りの制御を行う。
【００５９】
本実施例に示したように構成された撮像装置によれば、仮想被写体画像をライブビュー画像に合成して表示することで、被写体の存在しない距離の地点においても直感的にタッチで指定して被写界深度を設定することができる。
【００６０】
以上、本発明の好ましい実施形態について説明したが、図１に示した撮像装置の構成は一例であり、各実施例の動作を実行できるのであれば、本発明に係る撮像装置の構成は、図１に示した構成に限定されるものではない。
【００６１】
また、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６２】
１００  撮像装置、１０１  レンズ光学系部品、１０２  撮像素子、
１０３  Ａ／Ｄ変換部、１０４  画像信号処理部、１０５  一時記憶メモリ、
１０６  合焦位置制御部、１０７  絞り制御部、１０８  被写体検出部、
１０９  距離分布生成部、１１０  画像選択部、１１１  距離算出部、
１１２  画像合成部、１１３  表示部、１１１  ＣＰＵ、１１４  タッチパネル、
１１５  ＣＰＵ、１１６  バス
【図１】
2018006933.tif 000003
【図２】
2018006933.tif 000004
【図３】
2018006933.tif 000005
【図４】
2018006933.tif 000006
【図５】
2018006933.tif 000007
【図６】
2018006933.tif 000008