(57)【要約】      （修正有）【課題】複数の所望の被写体を自律的に検出し、それらの被写体が同画角内に重複なく配置された適切な画像を自動で撮影する撮像装置を提供する。【解決手段】撮像手段１００と、自律移動が可能な移動機構と、撮像手段によって得られる撮像画像面の一定以上のエリアにおいて被写対象までの距離を算出する手段と、撮像手段によって得られる画像データの中から特定のデータに基づいて被写体を検出する被写体認識手段と、１つ以上の撮像対象被写体を決定する撮像被写体決定手段と、１つ以上の撮像対象被写体３０１〜３０４のそれぞれの撮像面上でのエリアを決定する撮像被写体エリア決定手段と、撮像被写体エリアの中の必須撮像被写体エリアを決定する手段を備える。撮像被写体それぞれの必須撮像被写体エリアが重ならない３次元空間上の撮像最適位置７０２を、距離検出手段、必須撮像被写体エリアの結果を用いて算出し、その位置に自律的に移動して撮像動作を行う。【選択図】図７
2019080262.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
自律移動が可能な移動機構と、
前記撮像手段によって得られる撮像画像面の一定以上のエリアにおいて撮像装置からの被写対象までの距離を算出することができる距離検出手段と、 
前記撮像手段によって得られる画像データの中から特定のデータ基づいて被写体を検出する被写体認識手段と、
複数または１つの撮像対象被写体を決定する撮像被写体決定手段と、
複数または１つの撮像対象被写体それぞれの撮像面上でのエリアを決定する撮像被写体エリア決定手段と、
前記撮像被写体エリアの内、必ず撮像されるべき範囲を決定する必須撮像被写体エリア決定手段と、
を備え、
複数の前記撮像被写体それぞれの前記必須撮像被写体エリアが重ならない、３次元空間上の撮像最適位置を、前記距離検出手段、前記必須撮像被写体エリアの結果を用いて算出し、その位置に自律的に移動して撮像動作を行うことを特徴とする撮像装置。
【請求項２】
前記撮像最適位置は水平方向の移動によって実現できる位置であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像最適位置が水平方向のみの移動では実現困難な場合において、高さ方向の移動によって実現可能な前記撮像最適位置を算出し、高さ方向への自律移動によって最適な撮像動作を行うことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像最適位置が水平方向のみの移動では実現困難な場合とは、現在位置から前記撮像最適位置までの距離が予め設定された距離閾値以上の場合であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記撮像最適位置が水平方向のみの移動では実現困難な場合とは、前記撮像最適位置に障害物が存在する、もしくは移動途中に障害物が存在する場合であることを特徴とする請求項３または４に記載の撮像装置。
【請求項６】
前記撮像最適位置が水平方向のみの移動では実現困難な場合とは、前記撮像最適位置での光軸方向と現在位置での光軸方向との角度変更量が、予め設定された角度量以上の場合であることを特徴とする請求項３乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記撮像対象被写体の前面に重なり、自身は撮像対象被写体でない物体を障害被写体とし、距離検出手段によって得られる前記障害被写体までの距離を障害被写体距離と、前記被写体認識手段によって得られる障害物体の撮像面上でのエリアを障害被写体エリアとし、前記障害被写体距離と前記障害被写体エリアの情報から前記障害被写体が前記必須撮像被写体エリアを阻害しないことも条件に含めて前記撮像最適位置を決定することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記撮像被写体が人物の場合、撮像被写体エリアは人体全体のエリアであり、必須撮像被写体エリアは顔検出エリアであることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置において所望の被写体を画角に収める技術に関し、特に撮像装置自身が自立移動する機構を有するに場合に関するものである。
【背景技術】
【０００２】
従来より被写体の位置情報を元に被写体を所望の構図に収めるために撮像装置自身が移動し、画角を変更させて適切な画像を撮像する技術がある。
【０００３】
例えば特許文献１では、被写体を画角に収める位置を算出し現在位置からその場所に自律的に移動し、被写体を画角に収めた写真を撮影するという移動撮影機器の発明が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２９７６７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の提案では、事前に保持している地図情報より被写体の位置を算出し、移動先で被写体を画角に収めるにあたって障害物があれば障害物を回避する形で適切な画像を撮像することができる。しかし移動のための事前地図情報を必要とし、また複数の被写体を同時に画角に収めて適切な画像を撮影するということが想定されていない。
【０００６】
そこで本発明の目的は、複数の所望の被写体を自律的に検出し、その複数の被写体が同画角内に重複なく配置された適切な画像を自動で撮影する撮像装置を提供することである。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明における撮像装置は、撮像手段と、自律移動が可能な移動機構と、前記撮像手段によって得られる撮像画像面の一定以上のエリアにおいて撮像装置からの被写対象までの距離を算出することができる距離検出手段と、前記撮像手段によって得られる画像データの中から特定のデータ基づいて被写体を検出する被写体認識手段と、複数または１つの撮像対象被写体を決定する撮像被写体決定手段と、複数または１つの撮像対象被写体それぞれの撮像面上でのエリアを決定する撮像被写体エリア決定手段と、前記撮像被写体エリアの内、必ず撮像されるべき範囲を決定する必須撮像被写体エリア決定手段とを備え、複数の前記撮像被写体それぞれの前記必須撮像被写体エリアが重ならない、３次元空間上の撮像最適位置を、前記距離検出手段、前記必須撮像被写体エリアの結果を用いて算出し、その位置に自律的に移動して撮像動作を行うことを特徴とする構成とした。
【発明の効果】
【０００８】
本発明によれば、複数の所望の被写体を自律的に検出し、その複数の被写体が同画角内に重複なく配置された適切な画像を自動で撮影する撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明における撮像装置の内部構成を示すブロック図
【図２】本発明の実施形態１における処理の流れを示すフローチャート
【図３】本発明における被写体、撮像装置の位置関係と撮像画像の関係を示す図
【図４】本発明における撮像装置と被写体との距離関係を示す図
【図５】本発明における全被写体を適切に撮像するために不適切な領域を説明する図
【図６】本発明における全被写体を適切に撮像するために不適切な領域を説明する図
【図７】本発明における撮像装置の撮像位置と撮像画像との関係を示す図
【図８】本発明の実施形態２における処理の流れを示すフローチャート
【図９】本発明における移動時に障害となる物体を説明する図
【図１０】本発明における移動時に障害となる物体を説明する図
【図１１】本発明における高さ方向に退避して適切な撮像を行う場合の説明図
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる撮像装置１００の内部構成ブロック図である。
【００１１】
撮像光学系１０１は外部の光を撮像素子１０３へ集光するレンズ群、及びレンズ群を操作、固定するためのメカ機構で構成される。撮像光学系操作部１０２は、撮像光学系１０１のメカ機構を操作する電気機構であり、ＣＰＵ１０６からの操作指令により撮像光学系１０１の内部のメカ機構を操作する電気信号を出力する。撮像素子１０３は、撮像光学系１０１より取り入れた光を結像し、結像された像を電気情報に変換する。また撮像素子１０３は像面位相差方式による距離検出のための情報を取得する構成を持っているものとする。
【００１２】
撮像信号処理部１０４は撮像素子１０３から得られた画像情報を成形するとともに、撮像素子１０３から得られる像面位相差情報から、撮像装置から撮像素子１０３の各撮像画素に結像している光源物体までの距離を算出することができる。すなわち撮像された画像の任意の局所的な部分に関して、撮像装置からどれだけの距離を以て撮像されたかが算出され、その情報を必要に応じて記録、利用することができる。算出可能な原理としては、従来から広く使用されている瞳分割による位相差ＡＦの方式の応用である。
【００１３】
各画素単位で右目画像用情報、左目画像用情報を得られる２つのフォトダイオードを備えた構造を撮像素子１０３が有していることから位相差ＡＦ方式での距離情報検出が可能となっているものとする。
【００１４】
操作表示部１０５はユーザーからの操作・指示を受け付けるためのインターフェースである。本実施形態での操作表示部１０５はタッチパネル機能付きＬＣＤ表示機を想定し、操作部材を表示した上でユーザがタッチ操作によって操作を受け付けることが可能なものであるとする。また撮像結果の画像を表示することも可能であるとする。
【００１５】
ＣＰＵ１０６は撮像装置１００の処理の全体統括を行う。ＲＯＭ１０７には撮像装置１００の処理プログラム、処理に必要な情報が予め保持されており、ＣＰＵ１０６はこのＲＯＭ１０７に保持された処理プログラムに基づいて動作する。ＲＡＭ１０８は処理中の一時的なデータ保持の役割を担っている。
【００１６】
被写体認識部１０９は撮像信号処理部１０４で処理された画像情報から特定の物体を認識し、その物体の範囲などの情報を出力することができる。具体的には、予め登録されている物体情報、例えば人物の人体、顔等の検出を行うことができる。事前に登録した顔の情報などがあれば特定の人物を検出することもできる。メモリスロット１１０は記録データをメモリカード１１１に読み書きするためのインタフェースである。メモリカード１１１はメモリスロット１１０を通じて画像情報を記録されるものである。
【００１７】
駆動部１１２は撮像装置１００が自律的に移動するための機構部分であり、本実施形態においては具体的には４つのモータとモータ軸にとりつけられたプロペラを備えている。ＣＰＵ１０６から総合的に判断された移動命令により４つのプロペラを適切に回転駆動させ、位置の移動、姿勢変化、方向回転などの動作を行うことができる。方位検知センサ１１３は撮像装置１００が東西南北どちらを向いているかを検出できる。ＧＰＳ１１４は現在の位置をＧＰＳ信号を受信し処理することで特定することができる。
【００１８】
加速度センサ１１５は撮像装置１００にかかる３次元方向の加速度を検出することができ、加速中の加速度や落下状況などを検出することができる。ジャイロ１１６は３次元の３軸方向に関する回転量を検出することができる。撮像装置１００は方位検知センサ１１３〜ジャイロ１１６の構成から得られる情報を総合的に処理して、現在の位置、加速度状態、回転状態などを算出することができる。撮像光学系１０２、及び撮像信号処理部１０４〜ジャイロ１１６はバス１１６を介して指令、情報のやり取りが可能である。
【００１９】
（実施形態１）
以下、図を参照しながら、本発明の実施形態１における処理について説明する。図２は本実施形態における処理の流れを示すフローチャートである。このフローチャートを元に実施形態の処理の流れを以下説明する。
【００２０】
本実施形態では撮影されるべき被写体は複数の人物であるとする。まず始めにステップS２０１において撮影されるべき人物を登録設定する。具体的には撮影対象の被写体顔画像情報を設定する。これから被写対象になるべき人物の顔画像情報が既に撮像装置１００の内部に保持されている場合は操作表示部１０５の操作によってその人物情報を選択する。顔情報が撮像装置１００の内部に保持されていない場合は、撮像装置１００を操作して所望の人物の顔画像を撮影、登録し今回の撮影での撮影対象として選択する。本実施形態では図３（ａ）で示される人物３０１、３０２、３０３、３０４の４人の人物が撮影対象として選択されたものとする。
【００２１】
続くステップＳ２０２においては撮像装置１００が自律移動を開始し、撮影対象の人物をサーチする。人物３０１が撮像装置１００を操作し、操作表示部１０５より撮影シーケンスを開始させる。撮像装置１００は操作を受けて自律飛行を開始し、撮像信号処理部１０４に得られた撮像画像に対して被写体認識部１０９が撮影対象の人物が含まれていないかを確認しながら周囲を飛行する。この時は撮像光学系１０１を操作しズームレンズをできるだけ広角側に持っていき、図３（ａ）の位置３０６のように撮像装置１００が人物３０１〜３０４よりも高い位置から走査する。
【００２２】
この結果、図３（ａ）の位置より、図３（ｂ）の画像が得られたものとする。図３（ｂ）において人物３０１〜３０４の４人に対する顔検出枠３０７〜３１０が得られており、この検出枠内の顔情報が事前設定した撮影対象の情報と合致しているものとする。これを受けてステップＳ２０３に置いて撮影者の確定となり、続くステップＳ２０４において各被撮影者の顔エリアと撮像距離の算出を行う。図３（ａ）の位置３０６で図３（ｂ）の画像が得られたタイミングで、各被写体の顔エリアは検出されており、また撮像素子１０１のから得られる情報を処理して算出される像面位相差情報からの結果から各被写体の顔エリアそれぞれに対する距離も算出される。
【００２３】
最終的な撮影は図３（ａ）の位置３０５で表される、人物３０１〜３０４と同じ高さから行う。よって撮影動作に合わせて位置３０６から位置３０５へ撮像装置１００が移動する必要がある。この時、位置３０６から位置３０５への移動量、移動方向を駆動部１１２の操作時に方位検知センサ１１３〜ジャイロ１１６等でのセンシング情報から生成する。この移動量と移動方向を使って、位置３０６での被写体までの距離から、図４に示す撮影時の被写体までの距離への補正を行い、人物３０１〜３０４までの距離を図４に示すようにＬ１、Ｌ２、Ｌ３、Ｌ４とする。
【００２４】
ステップＳ２０５にて位置３０５への移動が完了したものとする。この時、撮像画像が図３（ｂ）から図３（ｃ）のように変化する。人物３０４が人物３０４の後ろに大きく隠れ、人物３０３も人物３０１の後ろに一部隠れた形になっている。しかし輝度追尾等の手法や撮像位置が位置３０６から位置３０５への移動であること等の補助情報を用いて顔枠の位置、範囲は見失わず、図３（ｃ）において人物３０１〜３０４に対応する顔エリア３１１〜３１４は保持されているものとする。
【００２５】
ステップＳ２０５の段階で、撮像中の画像内に人物３０１〜３０４に対する顔エリア３１１〜３１４の大きさ、及び距離Ｌ１〜Ｌ４が判明している。これらを利用して、図３（ａ）で示すｘｙｚの３次元方向中、ｘｚ平面における撮像時に全ての顔が干渉しない撮像位置の算出を行う。図５の（ａ）〜（ｆ）は人物３０１〜３０４の内の２人を選ぶ全組み合わせにおいて、ｘｚ平面上で撮像装置１００が撮影位置とすると顔がお互い干渉する撮像ＮＧエリアを表す図である。例えば図３（ａ）に置いては人物３０１、人物３０２に着目している。
【００２６】
この場合、斜線で示す撮像ＮＧエリア５０５の範囲内に撮像装置１００が移動して撮像すると人物３０１と人物３０２の顔はお互い重なってしまい干渉してしまう。同様に人物３０１と人物３０４の組み合わせでは撮像ＮＧエリア５０６が得られる。以下同様に人物３０１、３０３の組み合わせで撮像ＮＧエリア５０７、人物３０３、３０４の組み合わせで撮像ＮＧエリア５０８、人物３０２、３０３の組み合わせでは撮像ＮＧエリア５０９、人物３０２、３０４の組み合わせで撮像ＮＧエリア５１０。が得られる。
【００２７】
ステップＳ２０７でこれらの組み合わせでの撮像ＮＧエリアを不足なく求める。ステップＳ２０７では全ての組み合わせで撮像ＮＧエリアを算出したかどうかをチェックし、算出済みの場合ステップＳ２０８へ、まだ算出していない組み合わせがある場合はステップＳ２０６へ戻る。
【００２８】
ステップＳ２０８では、算出した全ての撮像ＮＧエリアの結果から、撮像ＯＫエリアを算出する。具体的には図６（ａ）のように図５で示す全ての撮像ＮＧエリア５０５〜５１０を重畳させたものを算出し、撮像ＮＧエリアの斜線がかかっていない範囲を算出する。この中から図６（ａ）の撮像ＯＫ範囲６０１、６０２が具体的に撮像装置１００が移動して撮像するに適した場所として算出される。図６（ａ）の人物３０１〜３０４の位置に近いところに斜線のかかっていないエリアが存在するが、撮像装置１００の画角の範囲の制約から被写対象の最近辺では撮像不可能のため撮像ＯＫエリアからは除外されるものとする。
【００２９】
続くステップＳ２０９では、本実施形態では撮像ＯＫエリアとなった位置に撮像装置１００が自律移動し、そこで最終的な撮像動作を行う。図６（ｂ）では撮像ＯＫエリア６０２へ移動し、光軸方向を６０４へ向けた場合を示す。この時、撮像装置１００から見た、人物３０１〜３０４の顔範囲がお互い干渉していないことが見て取れる。
【００３０】
最終的に図７で示すように、図７（ａ）の位置で光軸７０１の方向から撮影可能な図７（ｂ）の状態から、撮像装置１００が情報を検出、精査することで自律的に図７（ｃ）の位置で光軸７０２の方向から図７（ｄ）のように人物顔がお互い干渉しない画像を得られる。
【００３１】
以上述べてきた実施形態１の処理により、複数の所望の被写体を撮像装置が自律的に検出、状況を精査し、その複数の被写体が同画角内に重複なく配置された適切な画像を自動で撮影することができる。
【００３２】
（実施形態２）
以下、図を参照しながら、本発明の実施形態２における処理について説明する。図８は本実施形態における処理の流れを示すフローチャートである。このフローチャートを元に実施形態の処理の流れを以下説明する。
【００３３】
ステップＳ８０１〜ステップＳ８０８は、実施形態１における図２のフローチャートのステップＳ２０１〜ステップＳ２０８と同様であるので詳細説明は割愛する。ステップＳ８０８に続くステップＳ８０９において、撮像ＯＫエリアへの撮像装置１００の移動が可能かどうかを判定する。具体的には撮像装置１００が撮像ＯＫエリア６０１、６０２に光軸を向けて像面位相差情報より距離を算出し、妨害物がないかを判定する。
【００３４】
移動可能な場合はステップＳ８１０へ移り、実施形態１と同様撮像ＯＫエリアへ移動し、撮像動作を行って処理を終了する。移動不可能な場合は、ステップＳ８１１へ移る。ここで移動不可能な場合の例を図９を用いて説明する。
【００３５】
図９では撮像装置１００、及び人物３０１〜３０４の配置が図のようになされ、妨害物９０１、９０２が存在しているものとする。図１０は図９を上から見たｘｚ平面図である。この時、妨害物９０１、９０２が撮像ＯＫエリア６０１、６０２と重複しており、この場所に撮像装置１００が移動できない状況である。
【００３６】
ステップＳ８１１では、顔エリアの重なりのある被写体同士の組み合わせを算出する。ステップＳ８０４において実施形態１と同様に顔エリア、及び顔エリアまでの距離が算出されているのでその結果から顔エリアが重複している組み合わせを割り出す。本実施形態では、図１１（ａ）のｚｙ平面上の位置１１０２に撮像装置１００が存在するときに光軸１１０３に向けて撮像した画像が図１１（ｂ）に示す画像とする。図１１（ｂ）では人物３０１と人物３０４の顔が重なった状態となっている。
【００３７】
続くステップＳ８１２では、ｙｚ平面上において重なっている顔エリアが重なったままになる撮像ＮＧエリアを算出する。図１１の斜線で示す部分がこの場合の撮像ＮＧエリア１１０１となる。この範囲内では撮像装置１００がいかに移動しても顔エリアの重複は解消されない。この時の撮像ＮＧエリアの算出には、ステップＳ８１１同様、ステップＳ８０４で得られた顔エリア、及び顔エリアまでの距離を利用する。
【００３８】
続くステップＳ８１３では顔エリアが重複している組み合わせの内、全組み合わせで撮像ＮＧエリアを算出したかを判定し、まだ算出していない組み合わせがあった場合、ステップＳ８１２に戻る。全ての組み合わせで算出済みである場合ステップＳ８１４に移り、ｙｚ平面上でＮＧエリア外へ移動した上で撮像動作に入り、最終的な撮影を行う。この時複数の撮像ＮＧエリアがある場合、どの撮像エＮＧエリアにも属さない高度まで撮像装置１００が高度を上げて撮像動作に入るものとする。図１１（ａ）の場合、位置１１０２から位置１１０４に移動し、光軸１１０５へ光軸方向を変えて撮影する。この結果得られる画像が、図１１（ｃ）であるとする。
【００３９】
以上述べてきた実施形態２の処理により、複数の被写体を重複なく撮影できる水平方向位置への移動が困難な場合、垂直方向への過不足ない移動で複数の被写体の重複のない撮影を実現することができる。
【００４０】
本実施形態では、図８のフローチャートのステップＳ８０９において、妨害物が存在するか否かで移動の可否を判定したが、水平方向への移動で実現できる所望の撮像位置が甘いに遠方である場合にも移動不可能としても良い。この場合、予め決められた移動閾値と比較し、現在位置から撮像位置までの距離がこの移動閾値より大きい場合は移動不可能と判定する。
【００４１】
また、同様に図８のフローチャートのステップＳ８０９において、光軸方向の変化が一定以上必要な場合にはステップＳ８１０へと移るようにしても良い。これは被写体が人物の場合、一定上の光軸方向の変化がある場合、顔の向きを変えるのが困難であり、顔の向きを変えるために体が動くなどの対処をされるとフローチャートで示すシーケンスの処理を再度行わないといけない事態が発生する可能性があるためである。
【００４２】
また、本実施形態では所望の被写体同士の画像上での重複を解消することを行ったが、所望の被写体でない妨害物体が所望の被写体の前に存在する場合に、その妨害物体との重複を避けるように本実施形態の処理を行っても良い。
【００４３】
また、本実施形態では顔の領域の重複解消のみについて行ったが、人体全体を検出した上で、顔から肩までの領域を対象にする、また顔の一部のみを対象にするなどのように処理を実施しても良い。
【符号の説明】
【００４４】
１００  撮像装置
１０１  撮像光学系
１０２  撮像光学系操作部
１０３  撮像素子
１０４  撮像信号処理部
１０５  操作部
１０６  ＣＰＵ
１０７  ＲＯＭ
１０８  ＲＡＭ
１０９  被写体認識部
１１０  メモリスロット
１１１  メモリカード
１１２  駆動部
１１３  方位検知センサ
１１４  ＧＰＳ
１１５  加速度センサ
１１６  ジャイロ
【図１】
2019080262.tif 000003
【図２】
2019080262.tif 000004
【図３】
2019080262.tif 000005
【図４】
2019080262.tif 000006
【図５】
2019080262.tif 000007
【図６】
2019080262.tif 000008
【図７】
2019080262.tif 000009
【図８】
2019080262.tif 000010
【図９】
2019080262.tif 000011
【図１０】
2019080262.tif 000012
【図１１】
2019080262.tif 000013