(57)【要約】【課題】被写体の動き考慮して容易にティルト角および焦点位置を容易に設定することができるようにする。【解決手段】カメラは、撮像光学系１０２を介して結像した光学像に応じた画像を出力する撮像素子１０３を備えるとともに、撮像光学系又は撮像素子をティルト駆動して撮像光学系の光軸と撮像素子の結像面との角度を変化させるティルト駆動部１０７と、撮像光学系を光軸に沿って駆動して焦点を調節する焦点調節部１０６とを備えている。ＣＰＵ１０９は画像を表示部１１０に表示する際、焦点調節部による焦点の調節を行う際の目標を画像に重畳して表示する。【選択図】図１
2019007993.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系を介して結像した光学像に応じた画像を出力する撮像素子を備える撮像手段と、前記撮像手段で得られた画像を表示する表示部とを備える撮像装置であって、
前記撮像光学系又は前記撮像素子をティルト駆動して前記撮像光学系の光軸と前記撮像素子の結像面との角度を変化させる駆動手段と、
前記撮像光学系を前記光軸に沿って駆動して焦点を調節する調節手段と、
前記調節手段による焦点の調節を行う際の目標を前記画像に表示する表示制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記表示制御手段は、前記撮像光学系の焦点調節が行う際の前記撮像光学系の位置を示す焦点位置と前記光軸および前記結像面の角度とに基づいて前記画像における合焦領域を求め、前記合焦領域を前記目標として前記画像における他の領域と区別して前記画像に表示することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記表示制御手段は、前記合焦領域を透明又は半透明で表示することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像手段で得られた画像において少なくとも３つの被写体が選択された際、前記選択された被写体を通過する領域が複数あると、前記演算手段はユーザーの操作に応じて当該複数の領域のうちの１つを前記合焦領域として選択することを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記表示制御手段は、前記画像においてユーザーの操作に応じて前記合焦領域の位置を移動させることを特徴とする請求項２又は３に記載の撮像装置。
【請求項６】
前記表示制御手段は、前記目標として仮想被写体を前記画像に表示することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記表示制御手段は、前記仮想被写体に合焦したか否かを応じて前記仮想被写体をぼかして表示することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記表示制御手段は、前記仮想被写体の大きさを示す指標を表示することを特徴とする請求項６又は７に記載の撮像装置。
【請求項９】
前記表示制御手段は、複数の前記仮想被写体を表示する際には、前記画像における前記仮想被写体の表示位置に応じてその大きさを異ならせることを特徴とする請求項６乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記画像に被写体が存在する場合には、前記表示制御手段は、前記被写体と異なる位置に前記仮想被写体を表示することを特徴とする請求項６乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
連続的に撮像された画像において前記被写体が移動する場合には、前記表示制御手段は、前記移動する被写体の位置に応じて前記仮想被写体の表示位置を変更することを特徴とする請求項６乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記画像において地面領域を検出する検出手段を備え、
前記表示制御手段は、前記地面領域に前記仮想被写体を表示することを特徴とする請求項６乃至１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記検出手段によって、複数の地面領域が検出された場合には、前記表示制御手段は、前記複数の地面領域の各々に前記仮想被写体を表示することを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記撮像光学系、前記撮像手段、前記駆動手段、および前記焦点調節手段を備える撮像装置部と、
前記表示部および前記表示制御手段を備える周辺機器と、
を有することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
【請求項１５】
前記周辺機器には、前記駆動手段および前記焦点調節手段を制御する制御手段が備えられていることを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
前記撮像装置部と前記周辺機器とはネットワークによって接続されていることを特徴とする請求項１４又は１５に記載の撮像装置。
【請求項１７】
撮像光学系を介して結像した光学像に応じた画像を出力する撮像素子を備える撮像手段と、前記撮像手段で得られた画像を表示する表示部とを備える撮像装置の制御方法であって、
前記撮像光学系又は前記撮像素子をティルト駆動して前記撮像光学系の光軸と前記撮像素子の結像面との角度を変化させる駆動ステップと、
前記撮像光学系を前記光軸に沿って駆動して焦点を調節する調節ステップと、
前記調節ステップによる焦点の調節を行う際の目標を前記画像に表示する表示制御ステップと、
を有することを特徴とする制御方法。
【請求項１８】
撮像光学系を介して結像した光学像に応じた画像を出力する撮像素子を備える撮像手段と、前記撮像手段で得られた画像を表示する表示部とを備える撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
前記撮像光学系又は前記撮像素子をティルト駆動して前記撮像光学系の光軸と前記撮像素子の結像面との角度を変化させる駆動ステップと、
前記撮像光学系を前記光軸に沿って駆動して焦点を調節する調節ステップと、
前記調節ステップによる焦点の調節を行う際の目標を前記画像に表示する表示制御ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、撮像光学系又は撮像素子をティルト駆動可能な撮像装置に関する。
【背景技術】
【０００２】
近年、撮像装置の１つである監視カメラにおいては、ネットワークに接続された所謂ネットワークカメラが用いられることが多い。ネットワークカメラにおいては、アナログ監視カメラに比べて高精細な画像を取得することができる。
【０００３】
さらに、ネットワークにおいては、夜間においても高精細な画像を得たいというニーズがあるため、ネットワークカメラに搭載されたイメージセンサー（撮像素子）のサイズが大きい。
【０００４】
ところが、イメージセンサーのサイズが大きくなると、被写界深度が浅くなって、静止画を撮影する際には被写体か浮き立つ利点がある一方、監視可能な領域が狭くなるという欠点がある。
【０００５】
このような欠点を解消するため、撮像光学系がティルト駆動可能なカメラを用いることが行われている。ティルト駆動可能であれば、撮像光学系の光軸と撮像面との関係を垂直の状態から傾ければ、合焦領域を任意に傾けることができる。よって、地面と平行に合焦領域を設定することができる関係上、所望の監視領域に焦点を合わせることが可能となる。
【０００６】
撮像光学系をティルト駆動させる際、例えば、複数の被写体から所望の被写体をユーザーが選択すると、当該選択された被写体に焦点に合うようにティルト角と焦点位置とを制御するようにした静止画用の監視カメラがある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平５−５３１６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、動画撮影を目的とするネットワークカメラにおいては、被写体の移動した先においても焦点を合わせることが望ましい。よって、被写体に焦点が合っているかのみではなく、合焦領域が現在いずれの位置であるかが重要となる。
【０００９】
しかしながら、特許文献１に記載の監視カメラにおいては、ユーザーが選択した被写体に焦点を合わせているので、動画撮影の際に合焦領域の位置が得られず、高精度な画像を得ることが難しい。つまり、特許文献１に記載の監視カメラでは、被写体の動き考慮してティルト角および焦点位置を設定することが困難である。
【００１０】
従って、本発明の目的は被写体の動き考慮して容易にティルト角および焦点位置を設定することができる撮像装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するため、本発明による撮像装置は、撮像光学系を介して結像した光学像に応じた画像を出力する撮像素子を備える撮像手段と、前記撮像手段で得られた画像を表示する表示部とを備える撮像装置であって、前記撮像光学系又は前記撮像素子をティルト駆動して前記撮像光学系の光軸と前記撮像素子の結像面との角度を変化させる駆動手段と、前記撮像光学系を前記光軸に沿って駆動して焦点を調節する調節手段と、前記調節手段による焦点の調節を行う際の目標を前記画像に表示する表示制御手段と、を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれは、被写体の動き考慮して容易にティルト角および焦点位置を容易に設定することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【図２】図１に示すカメラシステムにおいて画像とともに合焦領域を表示する際の表示処理を説明するためのフローチャートである。
【図３】図１に示すカメラシステムで行われるティルト駆動の原理であるシャインブルーフの法則を説明するための図である。
【図４】図１に示すカメラシステムにおいて二次元座標系データに応じて表示される画像において合焦領域を透明に表示した場合の例を示す図である。
【図５】図１に示すカメラシステムにおいて二次元座標系データに応じて表示される画像において合焦領域以外の領域を透明に表示した場合の例を示す図である。
【図６】図１に示すカメラシステムにおいて、合焦領域を求める取得処理について説明するためのフローチャートである。
【図７】図１に示すカメラシステムにおいて、被写体を通過する合焦領域の候補を求める候補演算処理を説明するためのフローチャートである。
【図８】図１に示すカメラシステムにおいて、合焦領域の位置を移動させるための操作を説明するための図である。
【図９】本発明の第１の実施形態に係るカメラシステムの他の例についてその構成を示すブロック図である。
【図１０】本発明の第２の実施形態に係るカメラシステムで行われる仮想被写体の表示処理を説明するためのフローチャートである。
【図１１】本発明の第２の実施形態に係るカメラシステムにおいて仮想被写体をＡＲ表示した際の例を示す図である。
【図１２】図１０に示す仮想被写体を表示する位置を決定する処理を説明するためのフローチャートである。
【図１３】図１２に示すフローチャートに係る処理で決定された位置に仮想被写体をＡＲ表示した例を示す図である。
【図１４】被写体が移動した際に仮想被写体の位置を変更する場合の例を示す図である。
【図１５】図１０に示す地面検知処理において複数の地面が検知された際の仮想被写体の表示位置を説明するための図である。
【図１６】本発明の第２の実施形態に係るカメラシステムの他の例についてその構成を示すブロック図である。
【図１７】本発明の第２の実施形態に係るカメラシステムのさらに他の例についてその構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
【００１５】
［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【００１６】
図示の撮像装置（以下カメラシステムと呼ぶ）は、撮像装置部（以下単にカメラと呼ぶ）１００および周辺機器（ユーザ装置）１０１を有している。カメラ１００は、例えば、監視カメラであり、動画撮影(連続的な撮影)に用いられる。そして、カメラ１００はネットワークなどによって周辺機器１０１に接続されている。
【００１７】
カメラ１００は撮像光学系（光学レンズ）１０２を有しており、後述するように、光学レンズ１０２はティルト駆動可能である。光学レンズ１０２を介して光学像が撮像素子１０３に結像する。撮像素子１０３は光学像に応じたアナログ画像信号を出力する。Ａ／Ｄ変換部１０４は、撮像素子１０３の出力であるアナログ画像信号をＡ／Ｄ変換処理によってデジタル画像信号に変換する。
【００１８】
画像処理部１０５は、Ａ／Ｄ変換部１０４の出力であるデジタル画像信号を現像処理して画像データを生成する。そして、この画像データは周辺機器１０１に送られる。焦点調節部１０６は、周辺機器１０１の制御下で、画像データに基づいて光学レンズ１０２の焦点位置を調整する。つまり、焦点調節部１０６は、光学レンズ１０２を光軸に沿って駆動して光学レンズ１０２の焦点位置を調節する。
【００１９】
ティルト駆動部１０７は、周辺機器１０１の制御下で、光学レンズ１０２をティルト駆動して光学レンズ１０２を撮像素子１０２に対して傾ける。つまり、ティルト駆動部１０７は、光学レンズ１０２をティルト駆動して光学レンズ１０２の光軸と撮像素子１０３の結像面との角度（ティルト角度）を変化させる。
【００２０】
通常の撮影においては、光学レンズ１０２の光軸と撮像素子１０３の結像面（撮像面）と垂直（直交）の関係にあり、合焦領域は結像面に平行である。一方、ティルト駆動部１０７によって光学レンズ１０２をティルト駆動して傾ければ、合焦領域の角度を任意に設定することができる。測距部１０８はカメラ１００で得られた画像において被写体の距離を測距する。
【００２１】
周辺機器１０１はＣＰＵ１０９を備えており、ＣＰＵ１０９はカメラ１００から送られた画像データに応じた画像を表示部１１０に表示する。さらに、ＣＰＵ１０９はティルト駆動部１０７を駆動制御する。
【００２２】
図示のように、ＣＰＵ１０９には演算部１１２および投影部１１３が備えられており、後述するように、演算部１１２は、現在の合焦領域又は合焦領域候補の位置を求める。合焦領域又は合焦領域候補の位置を求める際には、演算部１１２は光学レンズ１０２の焦点および光学レンズ１０２の位置などを用いる。
【００２３】
投影部１１３は、後述するように、画像データと測距部で得られた距離情報とを組み合わせた三次元座標系を二次元座標に投影する。そして、投影部１１３によって生成された二次元座標は表示部１１０に画像として表示される。
【００２４】
当該画像は、カメラ１００で得られた画像に、演算部１１３によって得られた合焦領域を追加した画像である。入力操作部１１１は、ユーザーによって操作される。ユーザーは、入力操作部１１１を操作して、例えば、ＣＰＵ１０９によって表示１１０に表示されたカーソルなどを移動させる。
【００２５】
図２は、図１に示すカメラシステムにおいて画像とともに合焦領域を表示する際の表示処理を説明するためのフローチャートである。なお、図示のフローチャートにおいて、ステップＳ２００、Ｓ２０１、およびＳ２０４の処理は並列的に行われる。
【００２６】
ＣＰＵ１０９はカメラ１００から画像データを取得する（ステップＳ２００）。さらに、ＣＰＵ１０９は測距部１０８から距離情報を取得する（ステップＳ２０１）。そして、ＣＰＵ１０９は画像データおよび距離情報を三次元座標系データに変換する（ステップＳ２０３）。一方、ＣＰＵ１０９は、後述するようにして、演算部１１２によって合焦領域を求める（ステップＳ２０４）。
【００２７】
続いて、ＣＰＵ１０９は合焦領域を三次元座標系データに追加する（ステップＳ２０５）。そして、ＣＰＵ１０９は、後述するようにして、投影部１１３によって三次元座標系データを二次元座標系データに変換する（ステップＳ２０６）。当該の二次元座標系データはカメラ１００で得られた画像データに合焦領域を追加した画像データとなる。
【００２８】
次に、ＣＰＵ１０９は、二次元座標系データに応じた画像を表示部１１０に表示する（ステップＳ２０７）。そして、ＣＰＵ１０９は表示処理を終了する。
【００２９】
図３は、図１に示すカメラシステムで行われるティルト駆動の原理であるシャインブルーフの法則を説明するための図である。
【００３０】
図３において、光学レンズは参照番号３００で示されており、光学レンズ３００の光軸に対して垂直な直線を参照番号３０１で示す。結像面３０２に図１に示す撮像素子１０２が配置される。そして、結像面３０２を通る直線を参照番号３０３で示す。撮影面３０４は合焦面を示し、撮影面３０４を通る直線を参照番号３０５で示す。
【００３１】
シャインブルーフの法則とは、直線３０１、直線３０３、および直線３０５が必ず一点で交わる法則である。結像面３０２に対して、図３に示す角度の合焦面３０４を得たい場合には、直線３０１が直線３０３および３０３の交点を通るように光学レンズ３００の角度をティルト駆動させればよい。
【００３２】
シャインブルーフの法則によって任意に撮影面３０４を変化させることができ、これによって、地面と平行に焦点を合わせることも可能となる。
【００３３】
図４は、図１に示すカメラシステムにおいて二次元座標系データに応じて表示される画像において合焦領域を透明に表示した場合の例を示す図である。
【００３４】
図４において、二次元座標系データに応じた画像４００が表示部１１０に表示されているものとする。ここでは、画像４００には被写体４０１および背景（非被写体）４０２が存在する。なお、合焦領域４０３が被写体４０１となるように、焦点調節部１０６およびティルト駆動部１０７によって光学レンズ１０２が調整される。
【００３５】
画像４００においては、合焦領域（目標）４０３が透明又は半透明に表示される。合焦領域４０３を透明として表示することによって、画像４００に合焦領域４０３を他の領域と区別して分かりやすく表示することができる。
【００３６】
なお、合焦領域４０３を透明とすることなく、例えば、画像４００の色成分と異なる色で表示させるようにしてもよい。例えば、画像４００が青みがかっている場合には、合焦領域４０３を赤色で表示制御する。これによって、画像４００に合焦領域４０３を分かりやすく表示することができる。
【００３７】
図５は、図１に示すカメラシステムにおいて二次元座標系データに応じて表示される画像において合焦領域以外の領域を透明に表示した場合の例を示す図である。
【００３８】
図５において、二次元座標系データに応じた画像５００が表示部１１０に表示されているものとする。ここでは、画像５００には被写体５０１および背景５０２が存在する。合焦領域５０３が被写体５０１となるように、焦点調節部１０６およびティルト駆動部１０７によって光学レンズ１０２が調整される。
【００３９】
画像５００においては、合焦領域５０３以外の領域（非合焦領域）５０４および５０５が透明に表示される。非合焦領域５０４および５０５を透明として表示することによって、画像５００に合焦領域５０３を分かりやすく表示することができる。なお、非合焦領域５０４および５０５を透明とすることなく、例えば、画像５００の色成分と異なる色で表示させるようにしてもよい。
【００４０】
例えば、画像４００が青みがかっている場合には、非合焦領域５０４および５０５を赤色で表示する。これによって、画像５００に合焦領域５０３を分かりやすく表示することができる。
【００４１】
図６は、図１に示すカメラシステムにおいて、合焦領域を求める取得処理について説明するためのフローチャートである。なお、合焦領域はティルト角度と焦点位置とに基づいて求められる。
【００４２】
まず、ＣＰＵ１０９はティルト駆動部１０７から光学レンズ１０２のティルト角度を取得する（ステップＳ６００）。続いて、ＣＰＵ１０９は焦点調節部１０６から光学レンズ１０２の焦点位置を取得する（ステップＳ６０１）。そして、ＣＰＵ１０９は、演算部１１２によってティルト角度および焦点位置に基づいて合焦領域を求めて（ステップＳ６０２）、取得処理を終了する。
【００４３】
図７は、図１に示すカメラシステムにおいて、被写体を通過する合焦領域の候補を求める候補演算処理を説明するためのフローチャートである。
【００４４】
まず、ＣＰＵ１０９はカメラ１００から画像データを取得して（ステップＳ７００）、当該画像データに応じた画像を表示部１１０に表示する。続いて、ユーザーが入力操作部１１１によって、表示部１１０に表示された画像において所定の数以上（例えば、３以上）の被写体を選択する（ステップＳ７０１）。
【００４５】
続いて、ＣＰＵ１０９は、演算部１１２によって選択した被写体を通る領域を合焦領域の候補として求める（ステップＳ７０２）。そして、ＣＰＵ１０９は、合焦領域の候補が複数あるか否かを判定する（ステップＳ７０３）。
【００４６】
合焦領域の候補が複数ある場合には（ステップＳ７０３において、ＹＥＳ）、ＣＰＵ１０９は、合焦領域の候補の全てを、図２で説明したフローチャートに基づいて表示部１１０に表示する（ステップＳ７０４）。ユーザーは入力操作部１１１を用いて合焦領域としたい領域を合焦領域の候補から選択する（ステップＳ７０５）。焦点領域にしたい領域を選択する。
【００４７】
続いて、ＣＰＵ１０９は、ユーザーによって選択された合焦領域の候補を、図２で説明したフローチャートに基づいて合焦領域として表示部１１０に表示する（ステップＳ７０６：平面の表示）。そして、ＣＰＵ１０９は候補演算処理を終了する。
【００４８】
なお、合焦領域の候補が複数ない場合には（ステップＳ７０３において、ＮＯ）、ＣＰＵ１０９はステップＳ７０６の処理に進む。
【００４９】
図８は、図１に示すカメラシステムにおいて、合焦領域の位置を移動させるための操作を説明するための図である。
【００５０】
いま、二次元座標系データに応じた画像８００が表示部１１０に表示されているものとする。ここでは、画像８００には被写体８０１および背景８０２が存在する。そして、合焦領域８０３が被写体８０１となるように、焦点調節部１０６およびティルト駆動部１０７によって光学レンズ１０２が調整される。なお、合焦領域８０３は透明に表示されているものとする。
【００５１】
図８においては、入力操作部が参照番号８０５で示されており、画像８００上にはカーソル８０４が表示されている。ユーザーは入力操作部８０５によってカーソル８０４を移動することによって、合焦領域８０３の位置を変更することができる。
【００５２】
例えば、ユーザーはカーソル８０４を合焦領域８０３に位置づけ、カーソル８０４を下側に移動させてカーソル８１０の位置とする。これによって、ＣＰＵ１０９はカーソルの移動方向に合焦領域８０３を移動させて合焦領域８０９とする。
【００５３】
このようにして、カーソルによって合焦領域８０３を移動させて合焦領域８０９とした後の画像が画像８０６である。画像８０６においては被写体および背景はそれぞれ参照番号８０７および８０８で示されている。
【００５４】
図１に示すカメラにおいては、光学レンズ１０２をティルト駆動するようにしたが、撮像素子をティルト駆動するようにしてもよい。
【００５５】
図９は、本発明の第１の実施形態に係るカメラシステムの他の例についてその構成を示すブロック図である。なお、図９において図１に示すカメラシステムと同一の構成要素については同一の参照番号を付して説明を省略する。
【００５６】
カメラ９００はティルト駆動部９０７を備えており、ティルト駆動部９０７はＣＰＵ１０９の制御下で撮像素子１０３をティルト駆動する。つまり、ティルト駆動部９０７は、ＣＰＵ１０９の制御下で、撮像素子１０３をティルト駆動して撮像素子１０３を光学レンズ１０２に対して傾ける。
【００５７】
通常の撮影においては、光学レンズ１０２の光軸と撮像素子１０３の結像面と垂直の関係にあり、合焦領域は結像面に平行である。一方、ティルト駆動部９０７によって撮像素子１０３をティルト駆動して傾ければ、合焦領域の角度を任意に設定することができる。
【００５８】
このように、本発明の第１の実施形態では、合焦領域を画像に重畳して表示するようにしたので、ユーザーは合焦領域を視覚的に容易に把握することができる。この結果、ユーザーは被写体の動き考慮してティルト角および焦点位置の設定を容易に行うことができる。
【００５９】
［第２の実施形態］
続いて、本発明の第２の実施形態に係るカメラシステムの一例について説明する。なお、第２の実施形態に係るカメラシステムの構成は図１に示すカメラシステムと同様である。
【００６０】
図１０は、本発明の第２の実施形態に係るカメラシステムで行われる仮想被写体の表示処理を説明するためのフローチャートである。
【００６１】
なお、ここでは、表示部１１０に表示された画像に仮想被写体をＡＲ（ＡＵＧＭＥＮＴＥＤ  ＲＥＡＬＩＴＹ）表示する場合について説明する。また、図示のフローチャートにおいて、ステップＳ９００、Ｓ９０１の処理は並列的に行われる。
【００６２】
ＣＰＵ１０９はカメラ１００から画像データを取得する（ステップＳ９００）。さらに、ＣＰＵ１０９は測距部１０８から距離情報を取得する（ステップＳ９０１）。そして、ＣＰＵ１０９は画像データおよび距離情報に基づいて地面を検出する（ステップＳ９０２）。なお、画像データおよび距離情報のいずれか一方を用いて地面を検出するようにしてもよい。
【００６３】
続いて、ＣＰＵ１０９は検出した地面に基づいて仮想被写体を表示する位置を決定する（ステップＳ９０３）。この際には、ＣＰＵ１０９は仮想被写体を複数として、カメラ１００からの距離が異なる位置に仮想被写体を表示するようにする。
【００６４】
これによって、ユーザーがティルト角度と焦点位置を設定する際に、画像全体において所望の位置に設定することが容易となる。なお、仮想被写体の位置はユーザーが入力操作部１１１を用いて決定するようにしてもよい。
【００６５】
次に、ＣＰＵ１０９は、表示する仮想被写体の大きさを決定する（ステップＳ９０４）。仮想被写体の大きさは、表示する位置までの距離に応じて決定される。例えば、カメラ１００から表示位置までの距離が遠い場合には、仮想被写体の大きさは小さくされる。一方、カメラ１００から表示位置までの距離が近い場合には、仮想被写体の大きさは大きくされる。そして、ＣＰＵ１０９は画像に仮想被写体をＡＲ表示して（ステップＳ９０５）、表示処理を終了する。
【００６６】
図１１は、本発明の第２の実施形態に係るカメラシステムにおいて仮想被写体をＡＲ表示した際の例を示す図である。
【００６７】
いま、仮想被写体１００１および１００３がＡＲ表示された画像１０００が表示部１１０に表示されているものとする。ここでは、画像１０００には、仮想被写体１００１および１００３の大きさ（高さ）を示すメジャー（指標）１００２および１００４が表示される。なお、参照番号１００５は地面として検出された領域を示し、参照番号１００６は地面として検出されなかった領域を示す。
【００６８】
前述のように、複数の仮想被写体１００１および１００３を配置する際には、カメラ１００からの距離が異なる位置に配置する。なお，仮想被写体１００１および１００３は現在の焦点位置に合わせてぼすかようにしてもよい。
【００６９】
メジャー１００２および１００４は、ユーザーが焦点位置を設定する際の目印として用いられる。なお、合焦箇所の色を変更するなど印をつけるようにしてもよい。さらには、メジャー１００２および１００４をそれぞれ仮想被写体１００１および１００３として表示するようにしてもよい。
【００７０】
図１２は、図１０に示す仮想被写体を表示する位置を決定する処理を説明するためのフローチャートである。
【００７１】
まず、ＣＰＵ１０９はカメラ１００で得られた画像データにおいて、既知の手法を用いて被写体を検知する（ステップＳ１１００）。そして、ＣＰＵ１０９は被写体が検知されたか否かを判定する（ステップＳ１１０１）。なお、被写体の検知を画像処理部１０５で行って、その結果に基づいてＣＰＵ１０９が被写体が検知されたか否かを判定するようにしてもよい。
【００７２】
被写体が検知された場合には（ステップＳ１１０１において、ＹＥＳ）、ＣＰＵ１０９は、前述のステップＳ９０２で検知した地面領域でかつ被写体が存在しない位置に仮想被写体を配置すると決定する（ステップＳ１１０２）。そして、ＣＰＵ１０９は表示位置決定処理を終了する。
【００７３】
一方、被写体が検知されなかった場合には（ステップＳ１１０１において、ＮＯ）、ＣＰＵ１０９は、地面領域のいずれかの位置に仮想被写体を配置すると決定する（ステップＳ１１０３）。そして、ＣＰＵ１０９は表示位置決定処理を終了する。
【００７４】
図１３は、図１２に示すフローチャートに係る処理で決定された位置に仮想被写体をＡＲ表示した例を示す図である。なお、図示の例は、カメラ１００で得られた画像データに被写体が存在する場合の例が示されている。
【００７５】
いま、仮想被写体１２０２および１２０３がＡＲ表示された画像１２００が表示部１１０に表示されているものとする。ここでは、画像１２００には、被写体１２０１が存在する。なお、ここでは、メジャーは省略されている。なお、参照番号１２０４は地面として検出された領域を示し、参照番号１２０５は地面として検出されなかった領域を示す。
【００７６】
仮想被写体１２０２および１２０３を表示する位置は、被写体１２０１が存在する位置以外でかつカメラ１００からの距離が異なる位置とされる。図示のように、被写体１２０１が存在する場合には、当該被写体１２０１の周辺において正しく焦点が合っているか否かについては被写体１２０１を観察することによって分かる。よって、被写体１２０１以外の箇所に仮想被写体１２０２および１２０３を配置すれば、ユーザー所望の領域に焦点を容易に合わせることができる。
【００７７】
被写体１２０１が移動した場合には、仮想被写体１２０２および１２０３の位置を変更するようにしてもよい。
【００７８】
図１４は、被写体が移動した際に仮想被写体の位置を変更する場合の例を示す図である。
【００７９】
仮想被写体１３０３および１３０４がＡＲ表示された画像１３００が表示部１１０に表示されているものとする。ここでは、画像１３００には、被写体１３０１が存在する。なお、ここでは、メジャーは省略されている。
【００８０】
なお、参照番号１３０６は地面として検出された領域を示し、参照番号１２０７は地面として検出されなかった領域を示す。
【００８１】
仮想被写体１３０３および１３０４を表示する位置は、被写体１３０１が存在する位置以外でかつカメラ１００からの距離が異なる位置とされる。
【００８２】
画像１３００において、被写体１３０１が被写体１３０２で示す位置に移動したとする。この場合、仮想被写体１３０３と被写体１３０２とが近づくと、例えば、仮想被写体１３０３と被写体１３０２との距離が所定の閾値未満となると、ＣＰＵ１０９は仮想被写体１３０３の表示位置を変更する。
【００８３】
ここでは、ＣＰＵ１０９は仮想被写体１３０３を移動させて仮想被写体１３０５で示す位置に表示する。また、ＣＰＵ１０９は仮想被写体１３０５と被写体１３０２との距離を閾値以上とする。
【００８４】
このようにして、ＣＰＵ１０９は仮想被写体１３０４および１３０５が被写体１３０２の近くに存在しないようにする。
【００８５】
図１５は、図１０に示す地面検出処理において複数の地面が検出された際の仮想被写体の表示位置を説明するための図である。
【００８６】
地面検知処理において、２つの地面１４０１および１４０２が検出されたとする。そして、仮想被写体１４０３〜１４０６がＡＲ表示された画像１４００が表示部１１０に表示されているものとする。
【００８７】
なお、ここでは、メジャーは省略されている。図示の例では、仮想被写体１４０３および１４０４は地面１４０１に配置され、仮想被写体１４０５および１４０６は地面１４０２に配置されている。
【００８８】
ユーザーは表示部１１０に表示された画像１４００を確認して、合焦領域を地面１４０１に設定したい場合には仮想被写体１４０３および１４０４を用いて合焦領域を設定する。一方、合焦領域を地面１４０２に設定したい場合には、仮想被写体１４０５および１４０６を用いて合焦領域を設定する。
【００８９】
図１６は、本発明の第２の実施形態に係るカメラシステムの他の例についてその構成を示すブロック図である。なお、図１６において図１に示すカメラシステムと同一の構成要素については同一の参照番号を付して説明を省略する。
【００９０】
図示のカメラ１５００には測距部が備えられておらず、代わりに、光学レンズ１５０８、撮像素子１５０９、およびＡ／Ｄ変換部１５１０を備えている。そして、Ａ／Ｄ変換部１５１０の出力である画像データは画像処理部１０５に送られる。
【００９１】
ここでは、２つの撮像素子１０３および１５０９で得られた画像に基づいて、画像処理部１０５は測距を行う。そして、画像処理部１０５は撮像素子１０３で得られた画像データおよび測距によって得られた測距情報をＣＰＵ１０９に送る。
【００９２】
図１７は、本発明の第２の実施形態に係るカメラシステムのさらに他の例についてその構成を示すブロック図である。なお、図１７において図１に示すカメラシステムと同一の構成要素については同一の参照番号を付して説明を省略する。
【００９３】
図示のカメラ１６００には測距部が備えられておらず、カメラシステムはさらにカメラ１６０１を有している。そして、カメラ１６０１は光学レンズ１６０９、撮像素子１６１０、Ａ／Ｄ変換部１６１１、および画像処理部１６１２を有しており、画像処理部１６１２の出力である画像データはＣＰＵ１０９に送られる。
【００９４】
なお、撮像素子１６１０、Ａ／Ｄ変換部１６１１、および画像処理部１６１２は、それぞれ撮像素子１０３、Ａ／Ｄ変換部１０４、および画像処理部１０５と同様の機能を有している。また、カメラ１６００および１６０１は同一の被写体を撮影する。
【００９５】
ＣＰＵ１０９はカメラ１６００および１６０１で得られた画像データに応じて測距を行って距離情報を得る。ここでは、ＣＰＵ１０９はカメラ１６００で得られた画像データに応じた画像を表示部１１０に表示する。なお、仮想被写体の表示などについては前述のようにして行われる。
【００９６】
このように、本発明の第２の実施形態では、仮想被写体を画像に重畳して表示するようにしたので、ユーザーは仮想被写体を参照すれば合焦領域を容易には服することができる。この結果、ユーザーは被写体の動き考慮してティルト角および焦点位置の設定を容易に行うことができる。
【００９７】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００９８】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００９９】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１００】
１００  撮像装置部（カメラ）
１０１  周辺機器（ユーザ装置）
１０２  撮像光学系（光学レンズ）
１０３  撮像素子
１０５  画像処理部
１０６  焦点調節部
１０７  ティルト駆動部
１０８  測距部
１０９  ＣＰＵ
１１０  表示部
【図１】
2019007993.tif 000003
【図２】
2019007993.tif 000004
【図３】
2019007993.tif 000005
【図４】
2019007993.tif 000006
【図５】
2019007993.tif 000007
【図６】
2019007993.tif 000008
【図７】
2019007993.tif 000009
【図８】
2019007993.tif 000010
【図９】
2019007993.tif 000011
【図１０】
2019007993.tif 000012
【図１１】
2019007993.tif 000013
【図１２】
2019007993.tif 000014
【図１３】
2019007993.tif 000015
【図１４】
2019007993.tif 000016
【図１５】
2019007993.tif 000017
【図１６】
2019007993.tif 000018
【図１７】
2019007993.tif 000019