(57)【要約】      （修正有）【課題】ＧＰＳでＧＰＳ衛星との間に建物や電磁波などの障害が存在した場合、カメラの位置情報を得られないので、対象被写体を検出して方位、位置、距離を求め、これらの情報から撮像動作時のカメラの位置情報を求める。【解決手段】対象被写体に対する方位を方位センサから取得し、対象被写体の検出、認識を行い、対象被写体の位置情報を取得し、前記撮影動作時の位置から対象被写体までの距離と方位から補正演算を行い、前記対象被写体の位置情報から撮像動作時の位置情報を取得する。【選択図】図３
2014042102.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像手段と、
前記撮像手段により撮像された画像を表示する表示手段と、
対象被写体に対する方位を求める方位センサと、
対象被写体を検出する手段と、
対象被写体を認識する手段と、
対象被写体の位置情報を取得する手段と、
対象被写体までの距離を求める手段と、を備えた撮像装置であって、
対象被写体に対する方位を方位センサから取得し、
対象被写体の検出、認識を行い、対象被写体の位置情報を取得し、
前記撮影動作時の位置から対象被写体までの距離と方位から補正演算を行い、
前記対象被写体の位置情報から撮像動作時の位置情報を取得することを特徴とする撮像装置。
【請求項２】
撮像素子のサイズを取得する手段と、
焦点距離を取得する手段と、
対象被写体のサイズを取得する手段とを有し、
前記対象被写体までの距離を求める手段は、前記対象被写体を認識する手段で対象被写体の認識を行い、対象被写体のサイズを取得し、前記撮像素子のサイズと焦点距離と対象被写体のサイズから補正演算を行い、対象被写体までの距離を取得することを特徴とする請求項１に記載の撮像装置。
【請求項３】
対象被写体に対する仰角を求める仰角センサを有し、対象被写体に対する仰角を仰角センサから取得し、前記対象被写体に対する方位を含めた補正演算は、前記仰角を含めて補正演算することを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
外部の対象被写体を検出する手段と、
外部の対象被写体を認識する手段と、
外部の対象被写体の位置情報を取得する手段と、
外部の対象被写体までの距離を求める手段と情報通信を行う手段を有し、前記外部手段と情報通信を行い、前記手段と前記外部手段の選択できることを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像動作位置情報を取得する撮像装置と撮像動作位置情報を取得するシステムに関する。
【背景技術】
【０００２】
近年、カーナビゲーションや携帯端末の発達によりＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）を取り扱う機器が多く普及されていきている。また、近年、デジタルカメラ、デジタルビデオカメラが普及しており、前期ＧＰＳデータを取り扱う機器の開発も促進されている。
【０００３】
例えば特許文献１ではＧＰＳで撮影者の位置情報を取得し、その情報に補正演算を加えて対象被写体の位置を特定、撮像画像にその情報を記録する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０８−１８４４３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来例では位置情報はＧＰＳが受信可能な場合のみであったため、ＧＰＳ衛星との間に建物や電磁波などの障害が存在した場合、測位できず位置情報を取得できない課題があった。また、ＧＰＳ用にアンテナを搭載する必要があり、前期障害対策と合わせて機器への搭載が容易ではない課題もある。
【課題を解決するための手段】
【０００６】
本発明の特徴とするところは、撮像画像内の対象被写体に対する方位を求める方位センサと、対象被写体を検出する手段と、対象被写体を認識する手段と、対象被写体の位置情報を取得する手段と、対象被写体までの距離を求める手段とを備えた撮像装置。
【０００７】
また、本発明の他の特徴とするところは、撮像素子のサイズを取得する手段と、焦点距離を取得する手段と、対象被写体のサイズを取得する手段とを有することを特徴としている。
【０００８】
また、本発明のその他の特徴とするところは、対象被写体に対する仰角を求める仰角センサを有することを特徴としている。
【０００９】
また、本発明のその他の特徴とするところは外部の対象被写体を検出する手段と、外部の対象被写体を認識する手段と、外部の対象被写体の位置情報を取得する手段と、外部の対象被写体までの距離を求める手段と情報通信を行う手段を有することを特徴としている。
【発明の効果】
【００１０】
以上説明したように、本出願に係る第１の発明によれば、ＧＰＳを必要とせずに撮像データから撮影時の位置情報を取得することができる。そのため、撮像装置にＧＰＳ、ＧＰＳ用アンテナを搭載する必要が無く、ＧＰＳ衛星との間に建物や電磁波などの障害が存在を問題としない。また、撮像データからの補正演算から前記位置情報を取得するため、撮像データさえあれば、いつでも位置情報を取得なので撮像動作時の処理に影響しない。
【００１１】
また、本出願に係る第２の発明によれば、素子サイズ、焦点距離、対象被写体のサイズの情報から撮影動作時の位置から対象被写体までの距離情報を距離センサなど無くても前記補正演算から求めることができる。
【００１２】
また、本出願に係る第３の発明によれば、撮像動作時の仰角情報を得られるため見上げる、見下ろすといった多種多様な角度からの撮像にも対応が可能になる。
【００１３】
また、本出願に係る第４の発明によれば、外部での情報取得と情報処理が可能になるため、前記撮像装置の前記スペックに左右されず撮像動作時の位置情報取得が可能になる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る撮像装置の機能ブロック図
【図２】撮像動作時情報取得の動作を示すフローチャート
【図３】撮像動作時情報から撮像動作位置情報を取得する動作を示すフローチャート
【図４】対象被写体までの距離、対象被写体のサイズ、撮影範囲、光学系関係図
【図５】撮影動作時と対象被写体から撮像動作位置の方位情報の関係図
【図６】撮影動作時と対象被写体から撮像動作位置の仰角情報の関係図
【図７】本発明に係る撮像装置の外部手段との通信時の機能ブロック図
【図８】外部手段との通信時の撮像動作位置情報取得の動作を示すフローチャート
【発明を実施するための形態】
【００１５】
以下、本発明を図面に基づいて詳しく説明する。
【実施例１】
【００１６】
＜撮像装置の構成要素及び一連の動作＞
以下、第一の実施形について図面を用いて詳述する。図１に記す撮像装置は、前玉レンズ１０１、ズームレンズ１０２、ズーム位置センサ１０３、絞り１０４、露出制御部１０５、フォーカスレンズ１０６、レンズ制御部１０７、撮像素子１０８、カメラ信号処理１０９、カメラコントローラ１１０、方位センサ１１１、仰角センサ１１２を備えている。また、メモリ１２２、メモリ制御１２１、映像圧縮伸張プロセッサ１２７、表示部１２６、表示制御部１２５、外部インタフェース（以下「外部Ｉ／Ｆ」と記す）１３０、操作部１２９、システムコントローラ（ＣＰＵ）１２８を備えている。また、ストレージコントローラ１２３を備え、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）等の記録ストレージ１２４へのデータアクセスに対応する。
【００１７】
次に、図１の全体構成ならびに基本動作を説明する。
【００１８】
システムコントローラ１２８は中央演算処理機能（ＣＰＵ）を備え、操作部１２９からユーザー指定コマンドを受信実行する。あるいは、カメラコントローラ１１０やストレージコントローラ１２３を介して、撮像動作の制御や記録ストレージ制御を担う。また、所定のプログラムを実行することにより、撮像装置の全体システムを統括する。
【００１９】
外部Ｉ／Ｆ１３０は、外部端子や無線機を介して、ＩＥＥＥ１３９４やＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）、アナログ映像信号（Ａｕｄｉｏ／Ｖｉｄｅｏ）など、所定フォーマット信号の送受信機能を実現するインタフェース系である。操作部１２９はユーザーインタフェースであり、撮像記録を行なう際のシャッターボタンやズームボタン、電源ＯＮ／ＯＦＦ、記録開始／停止など、メニューセレクトあるいはキースイッチ等、幾多のスイッチ群によって構成されている。また表示部１２６は、表示制御部１２５によって駆動され、撮像映像もしくは再生映像のモニタ機能、ユーザーへの様々な管理情報の表示、または操作コマンド指示等を受けるインタフェースである。
【００２０】
メモリ１２２はデータバス１２０を介して各機能ブロックでタイム・シェアされるメモリであり、ＲＯＭまたはＲＡＭによって構成される。メモリ１２２は、システムコントローラ１２８からメモリ制御部１２１を経由してデータの書き込み、読み出しが制御される。
【００２１】
被写体検出部１３２は撮像映像から対象被写体を検出するハードウェアおよびソフトウェアである。
【００２２】
次に撮像処理系の動作を説明する。前玉レンズ１０１が固定され、鏡筒内で移動自在なズームレンズ１０２およびフォーカスレンズ１０６によって構成された光学系を介して、ユーザー所望のズーム画角調整ならびにフォーカス制御がなされる。ズーム制御は、ズーム位置センサ１０３から得られるズームレンズ位置情報に基づき、レンズ制御部１０７によって、所定の倍率にレンズ位置が制御される。また、絞り１０４は露出制御１０５によって適宜光量制御される。対象被写体は、前述の光学系を経て撮像素子１０８にて結像される。撮像素子１０８は、受光部に発生する蓄積電荷の分布に変換され、カメラ信号処理部１０９によって、垂直方向、水平方向への順次転送、所定レベルにゲイン制御され、時系列の撮像電気信号が生成、デジタル化される。カメラ信号処理部１０９では、カメラコントローラ１１０で設定されたパラメータに応じて、色分離、階調補正、ホワイトバランス調整等など周知のカメラ信号処理がなされ、撮像データとしてデータバス１２０に出力される。カメラコントローラ１１０は、システムコントローラ１２８の指令に応じてレンズ制御１０７、露出制御部１０５、カメラ信号処理部１０９の諸動作を制御する。なお、不図示の音声入力機能、ならびに音声信号処理部より音声データを取得し、撮像データと合わせて映像データを構成する。得られた映像データは、メモリ１２２を介し、映像圧縮伸張プロセッサ１２７によって圧縮符号化処理される。ここでは、ＭＰＥＧ２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ２）あるいは、Ｈ．２６４など、規格化されたフォーマットに準じた処理がなされる。
【００２３】
続いて、圧縮処理された映像データは、ストレージコントローラ１２３を介して、記録ストレージ１２４に記録される。記録ストレージは、フラッシュメモリやハードディスクドライブ、光ディスク等の記録メディアである。
【００２４】
一方、記録ストレージ１２４からの再生データは、映像圧縮伸長プロセッサ１２７によって復号処理がなされ、外部Ｉ／Ｆ１３０を介して所定の再生信号が機器外部に出力される。再生映像は、表示制御部１２５によって駆動され、表示部１２６にモニタ表示される。表示部１２６は、たとえば液晶表示器あるいは有機発光デバイス等の携帯端末用小型パネルであり、別途、不図示のスピーカー等によって音声モニタ機能も備える。また、再生データから被写体検出部１３２によって対象被写体の検出が可能である。
【００２５】
図２は本実施形における撮像動作時情報取得の動作を示すフローチャートである。
ステップＳ２０１では、システムコントローラ１２８が撮像素子１０８から撮像素子サイズ情報を取得する。
【００２６】
ステップＳ２０２では、システムコントローラ１２８がレンズ制御部１０７からレンズ焦点距離情報を取得する。
【００２７】
ステップＳ２０３では、システムコントローラ１２８が方位センサ１１１から方位情報を取得する。
【００２８】
ステップＳ２０４では、システムコントローラ１２８が仰角センサ１１２から仰角情報を取得する。
【００２９】
ステップＳ２０５では、システムコントローラ１２８が撮像動作の継続を監視し、撮像動作終了ならばステップ２０６に移行する。撮像動作継続ならば、情報取得継続のため、ステップＳ２０１に移行する。
【００３０】
ステップＳ２０６では、システムコントローラ１２８がＳ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４で取得した情報を、撮像データと共に記録ストレージ１２４に記録する。
【００３１】
図３は本実施形における撮像動作時情報から撮像動作位置情報を取得する動作を示すフローチャートである。
【００３２】
ステップＳ３０１では、システムコントローラ１２８が撮像データにステップＳ２０６で記録した撮像動作時情報を取得する。取得できた場合はステップＳ３０２に移行する。撮像動作時情報が無く、取得できなかった場合はステップＳ３０７へ移行する。
【００３３】
ステップＳ３０２では、被写体検出部１３２が撮像データから対象被写体を検出する。検出できた場合はステップＳ３０３へ移行する。検出できなかった場合はステップＳ３０７へ移行する。
【００３４】
ステップＳ３０３では、システムコントローラ１２８がステップＳ３０２で検出された対象被写体の認識を行う。認識できた場合はステップＳ３０４へ移行する。認識できなかった場合はステップＳ３０７へ移行する。
【００３５】
ステップＳ３０４では、システムコントローラ１２８がステップＳ３０３で認識された対象被写体の位置情報、サイズ情報を記録ストレージ１２４から取得する。取得できた場合はステップＳ３０５へ移行する。取得できなかった場合はステップＳ３０７へ移行する。
【００３６】
ステップＳ３０５では、システムコントローラ１２８がステップＳ３０１で取得した撮影動作時情報、ステップＳ３０４で取得した対象被写体の位置情報、サイズ情報から補正演算を行い、ステップＳ３０６へ移行する。補正演算は図４で示す対象被写体までの距離４０５を対象被写体のサイズ４０２と撮影範囲４０１の比率から実際の撮影範囲４０１を算出し、光学系の比率により撮影範囲４０１、撮像素子サイズ４０４、レンズ焦点距離４０６から対象被写体までの距離４０５を算出する。また、図５と図６で示す対象被写体から撮像動作位置の方位情報５０４、仰角情報６０４はステップＳ３０１で取得した撮影動作時の方位情報５０３、仰角情報６０３と逆となるよう算出する。
【００３７】
ステップＳ３０６では、ステップＳ３０３で取得した対象被写体の位置情報と、ステップＳ３０５の補正演算結果である対象被写体までの距離４０５、対象被写体から撮影動作位置の方位情報５０４、仰角情報６０４から、撮像動作時の位置情報を取得する。
【００３８】
ステップＳ３０７では、撮像動作時の位置情報を取得しない。
【実施例２】
【００３９】
図３の撮像動作時情報から撮像動作位置情報を取得する動作を、撮像装置以外で行う場合の第二の実施形について図面を用いて詳述する。
【００４０】
図７に記す撮像装置７０１は、外部Ｉ／Ｆ７０４と外部端子または無線機を介して、外部の被写体検出部７０６、システムコントローラ（ＣＰＵ）７０７、記録ストレージ７０８、ネットワークサーバ７０９との通信に対応する。
【００４１】
図８は本実施形における撮像動作時情報から撮像動作位置情報を取得する動作を示すフローチャートである。
【００４２】
ステップＳ８０１では、撮像画像の読込を内部システムコントローラ７０３か、外部システムコントローラ７０７どちらで実施するか選択する。内部システムコントローラ７０３を選択した場合はステップＳ８０３へ移行する。外部システムコントローラ７０７を選択した場合はステップＳ８０２を経由してステップ８０３へ移行する。
【００４３】
ステップＳ８０３では、システムコントローラが撮像データにステップＳ２０６で記録した撮像動作時情報を取得する。取得できた場合はステップＳ８０４に移行する。撮像動作時情報が無く、取得できなかった場合はステップＳ８２６へ移行する。
【００４４】
ステップＳ８０４では、撮像画像の対象被写体検出処理を内部対象被写体検出部７０５か、外部被写体検出部７０６どちらで実施するか選択する。内部対象被写体検出部７０５を選択した場合はステップＳ８０６へ移行する。外部被写体検出部７０６を選択した場合はステップＳ８０５を経由してステップ８０６へ移行する。
【００４５】
ステップＳ８０６では、対象被写体検出部が撮像データから対象被写体を検出する。検出できた場合はステップＳ８０７へ移行する。検出できなかった場合はステップＳ８２６へ移行する。
【００４６】
ステップＳ８０７では、撮像画像の対象被写体認識処理を内部システムコントローラ７０３か、外部システムコントローラ７０７どちらで実施するか選択する。内部システムコントローラ７０３を選択した場合はステップＳ８０９へ移行する。外部システムコントローラ７０７を選択した場合はステップＳ８０８を経由してステップ８１０へ移行する。
【００４７】
ステップＳ８０９、ステップ８１０では撮像画像の対象被写体認識処理に内部記録ストレージ７０２か、外部記録ストレージ７０８もしくはネットワークサーバ７０９どちらで実施するか選択する。内部記録ストレージ７０２を選択した場合はステップＳ８１３へ移行する。外部記録ストレージ７０８もしくはネットワークサーバ７０９を選択した場合は、それぞれステップＳ８１１、ステップＳ８１２を経由してステップ８１３へ移行する。
【００４８】
ステップＳ８１３では、システムコントローラがステップＳ８０７で検出された対象被写体の認識を行う。認識できた場合はステップＳ８１４へ移行する。認識できなかった場合はステップＳ８２６へ移行する。
【００４９】
ステップＳ８１４では、ステップＳ８１３で認識された対象被写体の位置情報、サイズ情報取得処理を内部システムコントローラ７０３か、外部システムコントローラ７０７どちらで実施するか選択する。内部システムコントローラ７０３を選択した場合はステップＳ８１６へ移行する。外部システムコントローラ７０７を選択した場合はステップＳ８１５を経由してステップ８１７へ移行する。
【００５０】
ステップＳ８１６、ステップ８１７ではステップＳ８１３で認識された対象被写体の位置情報、サイズ情報取得処理に内部記録ストレージ７０２か、外部記録ストレージ７０８もしくはネットワークサーバ７０９どちらで実施するか選択する。内部記録ストレージ７０２を選択した場合はステップＳ８２０へ移行する。外部記録ストレージ７０８もしくはネットワークサーバ７０９を選択した場合は、それぞれステップＳ８１８、ステップＳ８１９を経由してステップＳ８２０へ移行する。
【００５１】
ステップＳ８２０では、システムコントローラがステップＳ８１３で認識された対象被写体の位置情報、サイズ情報取得処理を行う。取得できた場合はステップＳ８２１へ移行する。認識できなかった場合はステップＳ８２６へ移行する。
【００５２】
ステップＳ８２１では、撮像動作時の位置情報取得に必要な補正演算処理を内部システムコントローラ７０３か、外部システムコントローラ７０７どちらで実施するか選択する。内部システムコントローラ７０３を選択した場合は、補正演算を実施し、ステップＳ８２３へ移行する。外部システムコントローラ７０７を選択した場合はステップＳ８２２を経由して、補正演算を実施し、ステップ８２３へ移行する。
【００５３】
ステップＳ８２３では、撮影動作時の位置情報の取得処理を内部システムコントローラ７０３か、外部システムコントローラ７０７どちらで実施するか選択する。内部システムコントローラ７０３を選択した場合は、ステップＳ８２５へ移行する。外部システムコントローラ７０７を選択した場合は、ステップＳ８２４を経由してステップ８２５へ移行する。
【００５４】
ステップＳ８２５では、撮像動作時の位置情報を取得する。
【００５５】
ステップＳ８２６では、撮像動作時の位置情報を取得しない。
【００５６】
以上、実施例２では実施例１の処理のうち、撮像装置の内部システムコントローラに多大なＣＰＵ負荷がかかってシステムに搭載するＣＰＵ制約になっている。あるいは内部記録ストレージに多大なメモリ容量を要してしまうところを、外部アプリケーションとの連携処理を可能にする機能を設けることで、ＣＰＵスペックの適正化、あるいはメモリ容量のダウンサイズを可能になる。
【符号の説明】
【００５７】
１０１  前玉レンズ
１０２  ズームレンズ群
１０３  ズーム位置センサ
１０４  絞り
１０５  露出制御部
１０６  フォーカスレンズ群
１０７  レンズ制御部
１０８  撮像素子
１０９  カメラ信号処理部
１１０  カメラコントローラ
１１１  方位センサ
１１２  仰角センサ
１２０  データバス
１２１  メモリ制御部
１２２  メモリ
１２３  ストレージコントローラ
１２４  記録ストレージ
１２５  表示制御部
１２６  表示部
１２７  映像圧縮伸張プロセッサ
１２８  システムコントローラ（ＣＰＵ）
１２９  操作部
１３０  外部Ｉ／Ｆ
１３１  各種接続端子群
１３２  被写体検出部
４０１  撮影範囲
４０２  対象被写体
４０３  レンズ
４０４  撮像素子
４０５  対象被写体までの距離
４０６  レンズ焦点距離
５０１  撮像装置
５０２  対象被写体
５０３  撮影動作時の方位情報
５０４  対象被写体から撮像動作位置の方位情報
６０１  撮像装置
６０２  対象被写体
６０３  撮影動作時の仰角情報
６０４  対象被写体から撮像動作位置の仰角情報
７０１  撮像装置
７０２  内部記録ストレージ
７０３  内部システムコントローラ
７０４  外部Ｉ／Ｆ
７０５  内部対象被写体検出部
７０６  外部対象被写体検出部
７０７  外部システムコントローラ
７０８  外部記録ストレージ
７０９  ネットワークサーバ
【図１】
2014042102.tif 000003
【図２】
2014042102.tif 000004
【図３】
2014042102.tif 000005
【図４】
2014042102.tif 000006
【図５】
2014042102.tif 000007
【図６】
2014042102.tif 000008
【図７】
2014042102.tif 000009
【図８】
2014042102.tif 000010