(57)【要約】【課題】画像に写り込んでいる被写体候補物体を、演算量が大きい画像処理を実行することなしに特定可能なカメラおよびサーバ装置を提供する。【解決手段】カメラは、被写体像を撮像し画像データを作成する撮像手段と、カメラの撮影範囲を検出する撮影範囲検出手段と、撮影範囲検出手段により検出された撮影範囲に基づいて、複数の被写体候補物体の位置および形状に関する複数の物体情報が記憶されたデータベースから、撮像手段により作成された画像データに写り込んでいる被写体候補物体を検索する検索手段と、検索手段により検索された被写体候補物体に関する情報と、撮像手段により作成された画像データとを関連付けて所定の記憶媒体に記憶する記憶手段と、を備える。【選択図】図１
2015103156.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像し画像データを作成する撮像手段と、
前記撮像手段の撮影範囲を検出する撮影範囲検出手段と、
前記撮影範囲検出手段により検出された撮影範囲に基づいて、複数の被写体候補物体の位置および形状に関する複数の物体情報が記憶されたデータベースから、前記撮像手段により作成された画像データに写り込んでいる前記被写体候補物体を検索する検索手段と、
前記検索手段により検索された前記被写体候補物体に関する情報と、前記撮像手段により作成された画像データとを関連付けて所定の記憶媒体に記憶する記憶手段と、
を備えることを特徴とするカメラ。
【請求項２】
請求項１に記載のカメラにおいて、
前記撮影範囲検出手段は、前記カメラの傾き角度、撮影位置、撮影方位、および撮影画角に基づいて、前記撮像手段の撮影範囲を検出することを特徴とするカメラ。
【請求項３】
請求項１または２に記載のカメラにおいて、
前記検索手段は、三次元空間に前記複数の被写体候補物体のモデルを配置することにより前記撮影範囲に写り込む前記被写体候補物体を検索することを特徴とするカメラ。
【請求項４】
請求項１〜３のいずれか一項に記載のカメラにおいて、
前記検索手段は、前記カメラの露出設定に基づいて前記複数の被写体候補物体の視認性を推定することにより前記画像データに写り込んでいる前記被写体候補物体を検索することを特徴とするカメラ。
【請求項５】
請求項１〜４のいずれか一項に記載のカメラにおいて、
前記検索手段は、前記撮像手段による撮像時の天候に応じて前記複数の被写体候補物体の視認性を推定することにより前記画像データに写り込んでいる前記被写体候補物体を検索することを特徴とするカメラ。
【請求項６】
請求項１〜５のいずれか一項に記載のカメラにおいて、
前記検索手段は、前記複数の被写体候補物体として建築物および地形の少なくとも一方を検索することを特徴とするカメラ。
【請求項７】
請求項１〜６のいずれか一項に記載のカメラにおいて、
前記検索手段は、前記撮影範囲検出手段により検出された撮影範囲を前記カメラの外部に設けられたサーバ装置に送信する送信手段と、前記サーバ装置が前記送信手段から受信した前記撮影範囲に基づいて前記データベースから前記画像データに写り込んでいる前記被写体候補物体を検索した結果を前記サーバ装置から受信する受信手段とを備えることを特徴とするカメラ。
【請求項８】
画像を撮像したカメラから、前記画像を撮像したときの前記カメラの撮影範囲を受信する受信手段と、
前記受信手段により受信された撮影範囲に基づいて、複数の被写体候補物体の位置および形状に関する複数の物体情報が記憶されたデータベースから、前記画像に写り込んでいる前記被写体候補物体を検索する検索手段と、
前記検索手段により検索された前記被写体候補物体に関する情報を前記カメラに送信する送信手段と、
を備えることを特徴とするサーバ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラおよびサーバ装置に関する。
【背景技術】
【０００２】
従来、パターンマッチング等の画像処理を行うことにより、撮影画像に写り込んでいる被写体を特定する技術が知られている。例えば特許文献１には、画像から所定被写体の候補を抽出し、抽出された被写体の候補が所定被写体であるか否かを判定する被写体認識方法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−２８２４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術において利用されている、被写体を認識するための画像処理（例えばパターンマッチング等）は、演算量が大きいという問題があった。
【課題を解決するための手段】
【０００５】
請求項１に記載のカメラは、被写体像を撮像し画像データを作成する撮像手段と、前記カメラの撮影範囲を検出する撮影範囲検出手段と、前記撮影範囲検出手段により検出された撮影範囲に基づいて、複数の被写体候補物体の位置および形状に関する複数の物体情報が記憶されたデータベースから、前記撮像手段により作成された画像データに写り込んでいる前記被写体候補物体を検索する検索手段と、前記検索手段により検索された前記被写体候補物体に関する情報と、前記撮像手段により作成された画像データとを関連付けて所定の記憶媒体に記憶する記憶手段と、を備えることを特徴とする。
請求項８に記載のサーバ装置は、画像を撮像したカメラから、前記画像を撮像したときの前記カメラの撮影範囲を受信する受信手段と、前記受信手段により受信された撮影範囲に基づいて、複数の被写体候補物体の位置および形状に関する複数の物体情報が記憶されたデータベースから、前記画像に写り込んでいる前記被写体候補物体を検索する検索手段と、前記検索手段により検索された前記被写体候補物体に関する情報を前記カメラに送信する送信手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、画像に写り込んでいる被写体候補物体を、演算量が大きい画像処理を実行することなしに特定することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１の実施の形態に係る撮影システムの構成を模式的に示すブロック図である。
【図２】カメラ１０１の構成を模式的に示すブロック図である。
【図３】サーバ装置２０１の構成を模式的に示すブロック図である。
【図４】カメラ１０１による撮影の様子を、カメラ１０１の側面方向から見た模式図である。
【図５】カメラ１０１による撮影の様子を、カメラ１０１の上方向から見た模式図である。
【図６】カメラ１０１による撮影画像の一例を模式的に示す図である。
【図７】撮影画像５０６に関連付けられる建物等に関する情報の一例を示す図である。
【図８】カメラ１０１が実行する撮影処理およびサーバ装置２０１が実行する応答信号送信処理のフローチャートである。
【発明を実施するための形態】
【０００８】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮影システムの構成を模式的に示すブロック図である。撮影システム１は、複数のカメラ１０１と、通信回線３０１を介してこれら複数のカメラ１０１に相互に接続されたサーバ装置２０１とから構成される。なお、図１では２台のカメラ１０１を図示しているが、カメラ１０１は１台だけであってもよいし、３台以上であってもよい。
【０００９】
複数のカメラ１０１とサーバ装置２０１は、通信回線３０１を介して双方向のデータ通信を行うことが可能に構成されている。複数のカメラ１０１と通信回線３０１との接続方法、および、サーバ装置２０１と通信回線３０１との接続方法はどのようなものであってもよい。例えば、通信回線３０１を携帯電話網とすることができる。この場合、複数のカメラ１０１と通信回線３０１とを、不図示の無線基地局を介した無線通信を行うように構成すればよい。また、サーバ装置２０１と通信回線３０１は、有線網により接続すればよい。
【００１０】
図２は、カメラ１０１の構成を模式的に示すブロック図である。以下、カメラ１０１が有する各部について、順に説明する。
【００１１】
撮像部１０２は、ユーザにより行われる所定の撮影操作（例えば不図示のレリーズスイッチを押下する操作）に応じて被写体像を撮像し、撮像信号と撮影パラメータとを出力する。撮影パラメータは、例えば撮像部１０２が利用する撮影光学系の焦点距離、絞り値、撮影距離等である。
【００１２】
画像処理部１１１は、撮像部１０２により出力された撮像信号に種々の画像処理を施し、画像データを生成する。画像処理部１１１が生成した画像データは、後述する記憶制御部１２２および表示制御部１１３に出力される。
【００１３】
傾き検出部１０３は、カメラ１０１のロール方向（撮像部１０２が利用する撮影光学系の光軸を中心とした回転方向）の傾き角度を検出する。方位検出部１０４は、撮像部１０２の撮影方位（撮影方向）、すなわちカメラ１０１のヨー方向およびピッチ方向の角度を検出する。位置検出部１０５は、例えば人工衛星から送信される信号を受信することにより、カメラ１０１の現在位置および高度を検出する。以下の説明では、現在位置および高度を、単にカメラ１０１の撮影位置と称する。画角検出部１１５は、撮像部１０２により出力された撮影パラメータ等に基づき、撮像部１０２の撮影画角を検出する。
【００１４】
送信部１２０は、撮像部１０２の撮影範囲に含まれる建物等の情報を要求する要求信号を、通信回線３０１を介してサーバ装置２０１に送信する。要求信号には、傾き検出部１０３により検出された傾き角度と、方位検出部１０４により検出された撮影方位と、位置検出部１０５により検出された撮影位置と、画角検出部１１５により検出された撮影画角とが含まれる。
【００１５】
詳細は後述するが、サーバ装置２０１は、送信部１２０により送信された要求信号を受信すると、これに応じて、応答信号をカメラ１０１に送信する。応答信号は、撮像部１０２の撮影範囲に含まれる建造物、地形等の被写体候補物体の情報を表す信号である。
【００１６】
受信部１２１は、サーバ装置２０１により送信された応答信号を受信し、記憶制御部１２２および表示制御部１１３に出力する。記憶制御部１２２は、画像処理部１１１により作成された画像データと、受信部１２１により受信された応答信号により表される情報とを関連付けてメモリカード１２３に記憶する。メモリカード１２３は、例えばフラッシュメモリなどにより構成される、可搬性の記憶媒体である。表示制御部１１３は、画像処理部１１１により作成された画像データと、受信部１２１により受信された応答信号により表される情報とを重畳してモニタ１０８に表示する。モニタ１０８は、例えば液晶パネルなどにより構成される表示装置である。
【００１７】
このように、カメラ１０１は、撮影を行い作成した画像データに、その画像データに含まれる（撮影画像に写り込んでいる）被写体候補物体を表す情報を関連付け、記憶や表示を行う。
【００１８】
図３は、サーバ装置２０１の構成を模式的に示すブロック図である。以下、サーバ装置２０１が有する各部について、順に説明する。
【００１９】
受信部２１４は、カメラ１０１により送信された要求信号を受信する。検索部２１７は、要求信号により特定される撮影範囲を用いて、データベース２１８から、撮影範囲に含まれる可能性のある被写体候補物体（建造物や地形等）を検索する。データベース２１８には、被写体候補物体に関する情報が、多数の被写体候補物体について記憶されている。被写体候補物体に関する情報とは具体的には、その物体の位置、大きさ（専有面積や高さ）、名称を表す文字列などである。
【００２０】
検索部２１７は、撮影範囲に含まれる可能性のある被写体候補物体を検索するのみである。従って、例えばカメラ１０１の手前に大きな建物が存在するため、その大きな建物に遮られ、カメラ１０１の撮影画面では実際には視認できない建物なども、検索結果に含まれている。
【００２１】
推定部２１５は、検索部２１７の検索結果に含まれる被写体候補物体の三次元モデルを、仮想的な三次元空間に配置した上で、カメラ１０１からの視界（撮影画面）をシミュレートし、撮影画面に含まれる被写体候補物体を推定する。そして、検索部２１７の検索結果から、実際には視界（撮影画面）に含まれないと考えられる被写体候補物体に関する情報を除外し、それ以外の被写体候補物体に関する情報のみを送信部２１１に出力する。
【００２２】
送信部２１１は、推定部２１５により出力された情報を含む応答信号を、通信回線３０１を介してカメラ１０１に送信する。
【００２３】
（推定部２１５による推定処理の説明）
図４は、カメラ１０１による撮影の様子を、カメラ１０１の側面方向から見た模式図である。また、図５は、同様の様子をカメラ１０１の上方向から見た模式図である。図４および図５では、被写体候補物体として、農場５０１、鉄塔５０２、樹木５０３、および山岳５０４を例示している。
【００２４】
これらの被写体候補物体のうち、農場５０１、鉄塔５０２、樹木５０３は、それぞれカメラ１０１の撮影画角５０５内に位置している。一方、山岳５０４は、カメラ１０１の撮影画角５０５から外れた場所に位置している。従って、カメラ１０１の撮影位置と、カメラ１０１の撮影方位と、カメラ１０１の撮影画角と、被写体候補物体の位置とから、カメラ１０１により撮影された撮影画像には、農場５０１、鉄塔５０２、樹木５０３が含まれている（写り込んでいる）ことが期待できる。
【００２５】
しかしながら、このような推定方法には、次のような問題点がある。
【００２６】
図４および図５において、農場５０１、鉄塔５０２、および樹木５０３は、カメラ１０１の光軸Ｏ近傍に位置している。また、農場５０１がカメラ１０１に最も近く、鉄塔５０２はその次に近く、樹木５０３はカメラ１０１から最も遠い。
【００２７】
図６は、カメラ１０１による撮影画像の一例を模式的に示す図である。図４および図５に示した位置関係で被写体候補物体が存在するとき、カメラ１０１により撮影を行うと、図６に示した撮影画像５０６が得られる。撮影画像５０６には、農場５０１および鉄塔５０２が含まれている（写り込んでいる）が、樹木５０３は含まれていない（写り込んでいない）。これは、カメラ１０１と樹木５０３との間に農場５０１および鉄塔５０２が存在し、樹木５０３を覆い隠しているためである。
【００２８】
つまり、前述のように、単にカメラ１０１の撮影画角と被写体候補物体の位置とを照らし合わせるだけでは、実際には撮影画像５０６に含まれていない建物等についても、撮影画像５０６に含まれている（写り込んでいる）と判断されてしまうという問題がある。
【００２９】
本実施形態の推定部２１５は、例えば周知の三次元コンピュータグラフィクスの手法を用いて、仮想的な三次元空間に農場５０１、鉄塔５０２、および樹木５０３をモデリングする。そして、カメラ１０１の視点において、農場５０１、鉄塔５０２、および樹木５０３が視認可能か否かを判定する。
【００３０】
なお、山岳５０４はカメラ１０１の撮影画角５０５に存在していないため、検索部２１７は山岳５０４に関する情報を出力せず、従って推定部２１５による推定の対象とはならない。このようにしたのは、推定部２１５による推定処理の計算量を削減するためである。
【００３１】
図７は、撮影画像５０６に関連付けられる建物等に関する情報の一例を示す図である。記憶制御部１２２は、撮影画像５０６に含まれる（写り込んでいる）農場５０１および鉄塔５０２の各々について、その名称を表す文字列と、その位置（所在地）を表す文字列とを撮影画像５０６に関連付けてメモリカード１２３に記憶する。同様に、表示制御部１１３は、それらの情報を撮影画像５０６に重畳してモニタ１０８に表示する。なお、上記のような文字列以外の情報を記憶したり表示してもよい。例えば、被写体候補物体の経度および緯度を記憶したり表示してもよい。
【００３２】
図８は、カメラ１０１が実行する撮影処理およびサーバ装置２０１が実行する応答信号送信処理のフローチャートである。まず、図８の紙面左側に示したカメラ１０１側の撮影処理について説明する。カメラ１０１は、ユーザが所定の撮影操作を実行すると、図８に示した撮影処理の実行を開始する。まずステップＳ１１０において、撮像部１０２が被写体像を撮像して撮像信号と撮像パラメータとを出力する。
【００３３】
ステップＳ１２０で画像処理部１１１は、撮像部１０２により出力された撮像信号から画像データを生成する。ステップＳ１３０で傾き検出部１０３は、カメラ１０１の傾き角度を検出する。ステップＳ１４０で方位検出部１０４は、撮像部１０２の撮影方位を検出する。ステップＳ１５０で位置検出部１０５は、カメラ１０１の撮影位置を検出する。ステップＳ１６０で画角検出部１１５は、撮像部１０２により出力された撮像パラメータ等に基づき、撮像部１０２の撮影画角を検出する。
【００３４】
ステップＳ１７０で送信部１２０は、撮像部１０２の撮影範囲に含まれる被写体候補物体の情報を要求する要求信号を、通信回線３０１を介してサーバ装置２０１に送信する。ステップＳ１８０で受信部１２１は、サーバ装置２０１から応答信号を受信したか否かを判定する。受信部１２１は、サーバ装置２０１から応答信号を受信するまでステップＳ１８０を繰り返し実行する。応答信号を受信すると、受信部１２１は処理をステップＳ１９０に進める。
【００３５】
ステップＳ１９０で表示制御部１１３は、画像処理部１１１により作成された画像データと、受信部１２１により受信された応答信号により表される情報とを重畳してモニタ１０８に表示する。ステップＳ２００で記憶制御部１２２は、画像処理部１１１により作成された画像データと、受信部１２１により受信された応答信号により表される情報とを関連付けてメモリカード１２３に記憶する。
【００３６】
次に、図８の紙面右側に示したサーバ装置２０１側の応答信号送信処理について説明する。まずステップＳ３００において、受信部２１４は、カメラ１０１から要求信号を受信したか否かを判定する。受信部２１４は、カメラ１０１から要求信号を受信するまでステップＳ３００を繰り返し実行する。要求信号を受信すると、受信部２１４は処理をステップＳ３１０に進める。
【００３７】
ステップＳ３１０で検索部２１７は、検索処理を実行する。検索処理は、要求信号により特定される撮影範囲を用いて、データベース２１８から、撮影範囲に含まれる可能性のある被写体候補物体を検索する処理である。ステップＳ３２０で推定部２１５は、推定処理を実行する。推定処理は、検索部２１７の検索結果に含まれる被写体候補物体の三次元モデルを仮想的な三次元空間に配置し、撮影範囲を用いてカメラ１０１からの視界（撮影画面）をシミュレートして撮影画面に含まれる建物等を推定する処理である。
【００３８】
ステップＳ３３０で送信部２１１は、推定部２１５により出力された情報を含む応答信号を、通信回線３０１を介してカメラ１０１に送信する。
【００３９】
上述した第１の実施の形態による撮影システムによれば、次の作用効果が得られる。
（１）撮像部１０２および画像処理部１１１（撮像手段）は、被写体像を撮像し画像データを作成する。傾き検出部１０３、方位検出部１０４、位置検出部１０５、および画角検出部１１５（撮影範囲検出手段）は、カメラ１０１の撮影範囲、すなわちカメラ１０１の傾き角度、撮影方位、撮影位置、および撮影画角を検出する。送信部１２０および受信部１２１（検索手段）は、検出された撮影範囲をサーバ装置２０１に送信し検索結果を受信することにより、複数の被写体候補物体の位置および形状に関する複数の物体情報が記憶されたデータベース２１８から、画像処理部１１１により作成された画像データに写り込んでいる被写体候補物体を検索する。記憶制御部１２２（記憶手段）は、受信部１２１により受信された被写体候補物体に関する情報と、画像処理部１１１により作成された画像データとを関連付けてメモリカード１２３に記憶する。撮像素子の高画素化に伴い、画像データのデータ量は大きくなる傾向にあり、データ量の大きい画像データに対する画像処理は大きな演算量を必要とする。本実施形態の撮影システムによれば、画像データに写り込んでいる被写体候補物体を、演算量の大きいパターンマッチング等の画像処理を行うことなく特定することができる。
【００４０】
（２）推定部２１５は、三次元空間に複数の被写体候補物体の三次元モデルを配置することにより、撮影範囲に写り込む被写体候補物体を検索（推定）する。具体的には、カメラ１０１の方位情報と画角情報より、被写体候補物体が撮影画面内にある前方の物体の陰で写り込まないことを推定するために、前後の物体の三次元モデルの形状データを用いて演算する。このようにしたので、画像データに写り込んでいる被写体候補物体を、画像データに対する演算量の大きい画像処理なしで特定することができる。また、実際に画像データに写り込んでいる被写体候補物体のみが特定され、撮影範囲に入っているものの前景の被写体候補物体により覆い隠されている被写体候補物体が確実に除外される。
【００４１】
（３）カメラ１０１は、サーバ装置２０１に画像データを送信せず、カメラ１０１の撮影範囲のみを送信する。このようにしたので、カメラ１０１とサーバ装置２０１との間で授受されるデータ量はごくわずかで済み、通信回線３０１に要求される通信速度や回線容量等は問題にならないほど小さい。
【００４２】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
【００４３】
（変形例１）
上述した実施の形態において、データベース２１８はサーバ装置２０１内に設けられていた。データベース２１８はサーバ装置２０１の外部に存在してもよい。例えば、通信回線３０１を介してサーバ装置２０１とデータベース２１８とが相互接続されていてもよい。また、検索部２１７や推定部２１５は、サーバ装置２０１ではなくカメラ１０１内に存在してもよい。この場合、検索処理および推定処理の一方もしくは両方が、カメラ１０１内で実行されることになる。検索処理をカメラ１０１内で実行する場合には、データベース２１８をカメラ１０１に内蔵させてもよい。
【００４４】
（変形例２）
上述した実施の形態では、被写体候補物体の三次元モデルを用いて、各被写体候補物体がカメラ１０１の視点から見えているか、それとも他の被写体候補物体等により覆い隠されているかを判定することにより、画像データに写り込んでいる被写体候補物体を検索（推定）していた。本発明は、このような実施の形態に限定されず、被写体候補物体が画像データに写り込んでいるか否かを種々の方法により判定することが可能である。以下、推定部２１５による推定方法の変形例について述べる。
【００４５】
画像データにおいて、適正な露出で写っていない被写体候補物体は、いわゆる白飛びや黒つぶれの状態となり、画像データからその存在を確認することが困難である。そこで、推定部２１５が撮像部１０２の露出設定に基づいて、各被写体候補物体について露出が合っているか否かを判定し、露出が合っていない被写体候補物体を画像データに写り込んでいないものとして扱うようにしてもよい。
【００４６】
また、画像データにおいて、ピントが大きく外れている被写体候補物体も、画像データからその存在を確認することが困難である。そこで、推定部２１５が撮像部１０２の被写界深度に基づいて各被写体候補物体のぼけ量を演算し、一定量以上のぼけ量を有している被写体候補物体は画像データに写り込んでいないものとして扱うようにしてもよい。
【００４７】
推定部２１５が撮影時間帯を考慮した推定処理を実行するようにしてもよい。例えば、日没後は遠方の被写体候補物体（例えば山岳等）は画像データに写り込んでいないと推定される。そこで、撮影時刻とカレンダー情報等とを照合して撮影時の日照状態を取得し、その日照状態において撮影可能な最大距離を演算し、カメラ１０１からの距離がその最大距離よりも遠い被写体候補物体を検索結果から除外するようにしてもよい。また、撮影が夜間に行われたのであれば、撮影補助光を照射する発光装置の到達距離に基づき、撮影補助光の到達範囲に含まれない被写体候補物体が除外されるようにしてもよい。
【００４８】
なお、例えば商業施設等であれば夜間であっても照明が存在し画像データに写り込む可能性が高いが、山岳等はそのような照明が存在せず画像データに写り込まない可能性が高い。従って、推定処理においても、被写体候補物体が建築物であるのか、それとも地形であるのかによって扱いを変えることが望ましい。
【００４９】
以上の説明は、被写体候補物体が建築物や地形等の動かない物体であることを前提としたものであった。本発明は、動く物体を被写体候補物体とした場合であっても適用可能である。例えば暦データに基づき、画像データに月が写り込んでいることを判定することもできるし、ダイヤグラムデータに基づき、画像データに列車が写り込んでいることを判定することもできる。
【００５０】
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
【符号の説明】
【００５１】
１…撮影システム、１０１…カメラ、２０１…サーバ装置
【図１】
2015103156.tif 000003
【図２】
2015103156.tif 000004
【図３】
2015103156.tif 000005
【図４】
2015103156.tif 000006
【図５】
2015103156.tif 000007
【図６】
2015103156.tif 000008
【図７】
2015103156.tif 000009
【図８】
2015103156.tif 000010