(57)【要約】【課題】画像内から被写体を検出すること。【解決手段】ＲＯＢＯＴ制御ユニット１１１は、認識用カメラ１２２から時系列で入力される複数フレームの画像に対して演算を施して、複数フレームの画像間で所定以上の加速度を持つ画素を検出する。そして、検出した所定以上の加速度成分を持つ画素を含む領域内に被写体が動かしている身体の一部が含まれているものと判定して、画像内から被写体を検出する。【選択図】図１
2008225994.tif 000002
【特許請求の範囲】
【請求項１】
身体の一部を動かして合図を送る被写体を検出するための被写体検出装置であって、
時系列で入力される複数フレームの画像に対して演算を施して、前記複数フレームの画像間で所定以上の加速度を持つ特定画素を検出する演算手段と、
前記演算手段で検出した、前記特定画素を含む領域内に前記被写体が動かしている身体の一部が含まれているものと判定して、前記画像内から被写体を検出する検出手段とを備えることを特徴とする被写体検出装置。
【請求項２】
請求項１に記載の被写体検出装置において、
前記演算手段は、前記複数フレームの画像に対して２階差分を施すことを特徴とする被写体検出装置。
【請求項３】
請求項２に記載の被写体検出装置において、
前記演算手段は、前記複数フレームの画像に対して２階差分を施して得た２階差分画像に対して、所定の閾値を用いて２値化を行うことを特徴とする被写体検出装置。
【請求項４】
請求項３に記載の被写体検出装置において、
前記検出手段は、前記演算手段で前記２値化を行って得た２値画像内における白画素を含む領域を、前記特定画素を含む領域として特定することを特徴とする被写体検出装置。
【請求項５】
請求項４に記載の被写体検出装置において、
前記検出手段は、前記白画素を含む領域内における前記白画素の密度、および前記白画素を含む領域の面積の少なくともいずれか一方に基づいて、前記特定画素を含む領域内に前記被写体が動かしている身体の一部が含まれているか否かを判定することを特徴とする被写体検出装置。
【請求項６】
請求項１〜５のいずれか一項に記載の被写体検出装置と、
被写体像を撮像して画像を取得する撮像手段と、
前記撮像手段の撮像方向を変更する撮像方向変更手段とを備え、
前記撮像方向変更手段は、前記撮像手段の撮像方向を前記検出手段で検出した前記被写体が存在する方向に変更し、
前記撮像手段は、前記撮像方向変更手段によって変更された方向に存在する被写体像を撮像して、前記被写体を含む画像を取得することを特徴とする撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を検出する被写体検出装置、および検出した被写体の像を撮像して画像を取得する撮影装置に関する。
【背景技術】
【０００２】
次のような動作検知インターフェースが知られている。この動作検知インターフェースは、ビデオカメラから入力されるビデオフレーム間で動きベクトルを算出し、隣接する画素で検出された動きベクトルをグループ化して、動きのあるオブジェクトを検出するものである（例えば、特許文献１）。
【０００３】
【特許文献１】特開２０００−１９６９１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の動作検知インターフェースのように、フレーム間で速度成分を有する画素を動きベクトルとして捉えて動きのあるオブジェクトを検出しているため、これを動きのある被写体を検出するために用いた場合には、移動している物体の全てが検出されてしまい、目的とする被写体の検出精度が低下してしまう可能性があった。
【課題を解決するための手段】
【０００５】
本発明による被写体検出装置は、身体の一部を動かして合図を送る被写体を検出するための被写体検出装置であって、時系列で入力される複数フレームの画像に対して演算を施して、複数フレームの画像間で所定以上の加速度を持つ特定画素を検出し、検出した特定画素を含む領域内に被写体が動かしている身体の一部が含まれているものと判定して、画像内から被写体を検出することを特徴とする。
本発明では、複数フレームの画像に対して２階差分を施し、さらに複数フレームの画像に対して２階差分を施して得た２階差分画像に対して、所定の閾値を用いて２値化を行うようにしてもよい。
また、２値化を行って得た２値画像内における白画素を含む領域を、特定画素を含む領域として特定するようにしてもよく、白画素を含む領域内における白画素の密度、および白画素を含む領域の面積の少なくともいずれか一方に基づいて、特定画素を含む領域内に被写体が動かしている身体の一部が含まれているか否かを判定するようにしてもよい。
本発明による撮影装置は、請求項１〜５のいずれか一項に記載の被写体検出装置を備えており、撮像方向を検出手段で検出した被写体が存在する方向に変更し、変更された方向に存在する被写体像を撮像して、被写体を含む画像を取得することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、精度高く目的の被写体を検出することができる。
【発明を実施するための最良の形態】
【０００７】
図１は、本実施の形態における被写体検出装置として、撮影用ロボットを用いた場合の一実施の形態の構成を示すブロック図である。撮影用ロボット１００は、本体部１１０と、台座部１２０とで構成されている。本体部１１０は、ＲＯＢＯＴ制御ユニット１１１、ＲＯＢＯＴ駆動部制御ユニット１１２、本体駆動ユニット１１３、本体駆動関連センサ１１４、および台座駆動ユニット１１５とを備えている。また、台座部１２０は、撮影用カメラ１２１と、認識用カメラ１２２と、認識用カメラ駆動雲台１２３とを備えている。
【０００８】
図２および図３は、撮影用ロボット１００の外観を示す図である。なお、図２は、撮影用ロボット１００を正面から見た図であり、図３は、撮影用ロボット１００を前方左上から見た図である。この図２および図３に示すように、撮影用ロボット１００は、本体部１１０の上部に台座部１２０が配置されており、本体部１１０と台座部１２０との境界２
ａにおいて、台座部１２０が回転する機構を備えている。また、本体部１１０には、撮影用カメラ１２１で撮影した画像や、設定用メニュー等を表示するためのモニタ２ｂが搭載されている。
【０００９】
台座部１２０の上部には、撮影用カメラ１２１、および認識用カメラ１２２が配置されている。撮影用カメラ１２１は、その光軸が撮影用ロボット１００の前方に向くように固定されて配置されている。また、認識用カメラ１２１は、その光軸が撮影用ロボット１００の前方に光軸が向く位置を初期位置として配置されており、認識用カメラ駆動雲台１２３が水平方向に回転することにより、上記初期位置を中心に左右に所定角度回転するようになっている。
【００１０】
次に、図１に示したブロック図に基づいて、撮影用ロボット１００が備える各構成要素について説明する。ＲＯＢＯＴ制御ユニット１１１は、撮影用ロボット１００全体を制御するための制御ユニットである。なお、ＲＯＢＯＴ制御ユニット１１１によって実行される処理の具体例については、後述する。ＲＯＢＯＴ駆動部制御ユニット１１２は、ＲＯＢＯＴ制御ユニット１１１からの指示に基づいて、本体駆動ユニット１１３、台座駆動ユニット１１５、および認識用カメラ駆動雲台１２３などの撮影用ロボット１００が備える駆動部を駆動させるための各部を制御するためのユニットである。
【００１１】
本体駆動ユニット１１３は、本体駆動関連センサ１１４からの出力に基づいて、本体部１１０を駆動させるためのユニットである。例えば、撮影用ロボット１００が底部に設置された車輪を駆動させて移動可能な場合には、本体駆動ユニット１１３は、当該車輪の駆動させて撮影用ロボットを移動させる。このとき、本体駆動関連センサ１１４として、例えば、ロボットの進行方向に存在する障害物を検出するためのセンサを備えている場合には、本体駆動ユニット１１３は、本体駆動関連センサ１１４からの出力に基づいて、撮影用ロボットが障害物に衝突しないように、ロボットの移動方向や移動量を調節する。台座駆動ユニット１１５は、図２および図３に示した本体部１１０と台座部１２０との境界２ａにおいて、台座部１２０を回転させるためのユニットである。
【００１２】
撮影用カメラ１２１は、被写体像を撮像して画像を取得するためのカメラであって、レンズを通して撮像素子上に結像する被写体像を撮像することによって、被写体を撮影した画像を取得する。撮影用カメラ１２１は、取得した画像（画像データ）をＲＯＢＯＴ制御ユニット１１１へ出力する。認識用カメラ１２２は、後述するように、ＲＯＢＯＴ制御ユニット１１１が撮影用ロボット１００の周囲に存在する動きのある被写体を検出するために用いる画像を取得する。
【００１３】
すなわち、ＲＯＢＯＴ制御ユニット１１１は、ＲＯＢＯＴ駆動部制御ユニット１１２を制御し、認識用カメラ駆動雲台１２３を駆動して認識用カメラ駆動雲台１２３を回転させながら、認識用カメラ１２２によって撮影用ロボット１００の周囲を撮影する。そして、ＲＯＢＯＴ制御ユニット１１１は、認識用カメラ１２２から時系列で入力される複数フレームの画像を画像処理して、画像内から動きのある物体を認識対象の被写体として検出する。
【００１４】
そして、ＲＯＢＯＴ制御ユニット１１１は、ＲＯＢＯＴ駆動部制御ユニット１１２を制御して台座駆動ユニット１１５を駆動させ、台座部１２０を回転させることで、撮影用カメラ１２１を検出した被写体の方向へ向け、画像を撮影する。これによって、撮影用ロボット１００は、自動的に撮影対象の被写体を特定して、その被写体の画像を取得することができる。
【００１５】
以下、ＲＯＢＯＴ制御ユニット１１１が、認識用カメラ１２２から時系列で入力される複数フレームの画像を画像処理して、画像内から動きのある物体を認識対象の被写体として検出するための処理（被写体検出処理）について説明する。
【００１６】
まず、撮影ロボット１００に撮影してもらいたいと考える人物は、撮影ロボット１００に自分の居場所を認識させるために、所定以上の加速度で体の一部を動かす。例えば、被写体である人物は、撮影ロボット１００に向かって手を振ったり、撮影ロボット１００の方を向いて頭を振ったりすることで、撮影ロボット１００に自分の居場所を伝える。ＲＯＢＯＴ制御ユニット１１１は、認識用カメラ１２２から時系列で入力される複数フレームの画像に対して演算を施して、複数フレームの画像間で所定以上の加速度を持つ画素を検出する。そして、所定以上の加速度成分を持つ画素を含む領域内に被写体が動かしている身体の一部が含まれているものと判定して、画像内から被写体の動きを検出する。
【００１７】
ここでは、図４（ａ）〜（ｃ）に示す３フレームの画像が入力された場合について、具体例を説明する。なお、この３フレームの画像は、認識用カメラ１２２で、１秒間に３０フレームの画像を取得したうちの３フレームの画像を表している。ここでは、画像を記号Ｆで表し、その取得順を記号ｉを用いて示すこととする。すなわち、図４（ａ）に示す画像を画像Ｆ（ｉ−１）、図４（ｂ）に示す画像を画像Ｆ（ｉ）、および図４（ｃ）に示す画像を画像Ｆ（ｉ＋１）とした場合には、画像Ｆ（ｉ−１）→画像Ｆ（ｉ）→画像Ｆ（ｉ＋１）の順番で取得されたことを表す。なお、図５は、各フレームの画像の取得順を模式的に表した図である。
【００１８】
ＲＯＢＯＴ制御ユニット１１１は、この図５に示すように、次式（１）によって時系列で入力された３フレームの画像の濃度値の２階差分を算出して２階差分画像（２次微分画像）を生成する。これによって、３フレームの画像間で加速度成分を有する画素を検出した２階差分画像を生成することができる。
【数１】
2008225994.tif 000003
【００１９】
ＲＯＢＯＴ制御ユニット１１１は、生成した２階差分画像を所定の濃度値を閾値として２値化する。ここで用いる閾値は、２階差分画像から、撮影対象の被写体が自分の存在を撮影用ロボット１００に通知するために体の一部を動かしたことによる加速度のみを検出できるような加速度を設定する必要がある。すなわち、フレーム間での加速度は、撮影対象の被写体が自分の存在を撮影用ロボット１００に通知するために体の一部を動かしたことによる加速度以外に、認識用カメラ１２２の撮影範囲内を人物が移動したことによる加速度や、認識用カメラ駆動雲台１２３の回転により認識用カメラ１２２が回転したことによる加速度が検出可能である。
【００２０】
撮影対象の被写体が自分の存在を撮影用ロボット１００に通知するために手や頭を振った場合には、人物が移動したり認識用カメラ１２２が回転したりした場合よりも、加速度は大きくなる。このため、ＲＯＢＯＴ制御ユニット１１１は、所定以下の加速度成分を有する画素を検出対象から排除して、撮影対象の被写体の動作による加速度のみを検出するための閾値、例えば、濃度値＝１００を用いて２階差分画像を２値化する。これによって、図４（ｄ）に示すような、フレーム間の加速度が所定以上である画素が白画素として現れる２値画像を生成することができる。
【００２１】
本実施の形態では、ＲＯＢＯＴ制御ユニット１１１は、さらに精度高く撮影対象の被写体による動作による加速度のみを検出するために、次のような処理も行う。ここでは、図６（ａ）を用いて、被写体が手を振ることによって自分の存在を撮影用ロボット１００に通知した場合の具体例について説明する。この図６（ａ）に示すように、被写体が撮影用ロボット１００に向かって手を振った場合には、ＲＯＢＯＴ制御ユニット１１１は、上述した処理を実行して、図６（ｂ）に示すような２値画像を生成する。そして、ＲＯＢＯＴ制御ユニット１１１は、この２値画像内における白画素を含む領域を包絡枠６ａで囲む。
【００２２】
この包絡枠６ａは、上述したように、２値画像内における所定以上の加速度を持つ画素を含む領域に相当する。そして、ＲＯＢＯＴ制御ユニット１１１は、設定した包絡枠６ａ内における白画素の密度を次式（２）によって算出する。
包絡枠６ａ内の白画素密度＝包絡枠６ａ内の白画素面積／包絡枠６ａの面積  ・・・（２）
【００２３】
そして、ＲＯＢＯＴ制御ユニット１１１は、２値画像の全画像面積をＡとしたときに、包絡枠６ａの面積が次式（３）に示す条件を満たし、かつ算出した包絡枠６ａ内の白画素密度が所定の閾値、例えば０．０５より大きいという条件（被写体条件）を満たす場合に、当該包絡枠６ａ内には、撮影対象の被写体が振っている手が含まれていると判定する。
Ａ／１６  ＜  包絡枠６ａの面積  ＜  Ａ／４  ・・・（３）
【００２４】
なお、式（３）において、包絡枠６ａの面積が所定の下限値（Ａ／１６）より大きいことを条件に含めたのは、包絡枠６ａの面積があまりに小さい場合には、その中の白画素は、照明光やその反射光などが画像内に写り込んだことにより生じたものである可能性があるため、これを排除するためである。また、包絡枠６ａの面積が所定の上限値（Ａ／４）より小さいことを条件に含めたのは、包絡枠６ａの面積があまりに大きい場合には、その中の白画素は、被写体の身体全体が動いていることにより生じたものである可能性があるため、これを排除するためである。
【００２５】
さらに、包絡枠６ａ内の白画素密度が所定の閾値（０．０５）より大きいことを条件に含めたのは、当該密度が小さい場合には、包絡枠６ａ内の白画素は、人物が手を少し動かしたり指を動かしたりしたことにより生じたものであり、撮影用ロボット１００に対する合図ではない可能性があるため、これを排除するためである。
【００２６】
そして、ＲＯＢＯＴ制御ユニット１１１は、これらの判定条件を満たす場合には、包絡枠６ａ内に合図を送っている人物の手があることから、その近傍に被写体が存在していると判定する。すなわち、その周囲を撮影すれば、撮影を希望している人物を被写体とした画像を撮影することができると判断する。これによって、ＲＯＢＯＴ制御ユニット１１１は、撮影ロボット１００の周囲に存在する撮影対象の被写体を検出することができる。
【００２７】
ＲＯＢＯＴ制御ユニット１１１は、このようにして撮影対象の被写体を検出した場合には、ＲＯＢＯＴ駆動部制御ユニット１１２を制御して台座駆動ユニット１１５を駆動させ、撮影用カメラ１２１の光軸が検出した被写体の方向に向くように台座部１２０を回転させる。そして、ＲＯＢＯＴ制御ユニット１１１は、撮影用カメラ１２１を用いて画像を撮影する。これによって、撮影用ロボット１００は、自動的に撮影対象の被写体を検出して、その被写体の画像を取得することができる。
【００２８】
図７は、本実施の形態におけるＲＯＢＯＴ制御ユニット１１１の処理を示すフローチャートである。図７に示す処理は、撮影用ロボット１００の電源がオンされると起動するプログラムとして実行される。
【００２９】
ステップＳ１０において、ＲＯＢＯＴ制御ユニット１１１は、認識用カメラ１２２から画像が入力されたか否かを判断する。否定判断した場合には、後述するステップＳ８０へ進む。これに対して、肯定判断した場合には、ステップＳ２０へ進み、ＲＯＢＯＴ制御ユニット１１１は、認識用カメラ１２２から時系列で入力された３フレームの画像の濃度値の２階差分を算出して２階差分画像（２次微分画像）を生成する。その後、ステップＳ３０へ進む。
【００３０】
ステップＳ３０では、ＲＯＢＯＴ制御ユニット１１１は、生成した２階差分画像を所定の濃度値を閾値として２値化して２値画像を生成し、ステップＳ４０へ進む。ステップＳ４０では、ＲＯＢＯＴ制御ユニット１１１は、生成した２値画像上に全ての白画素を含む包絡枠（例えば、図６（ｂ）の包絡枠６ａ）を設定して、ステップＳ５０へ進む。ステップＳ５０では、ＲＯＢＯＴ制御ユニット１１１は、包絡枠の白画素の密度、および包絡枠の面積が上述した条件（被写体条件）を満たすか否かを判断する。
【００３１】
否定判断した場合には、後述するステップＳ８０へ進む。これに対して、肯定判断した場合には、ステップＳ６０へ進む。ステップＳ６０では、ＲＯＢＯＴ制御ユニット１１１は、設定した包絡枠内に撮影対象の被写体が合図を送るために動かしている体の一部が含まれていると判定し、その近傍に被写体が存在するものとして撮影対象の被写体の検出を行う。その後、ステップＳ７０へ進む。
【００３２】
ステップＳ７０では、ＲＯＢＯＴ制御ユニット１１１は、ＲＯＢＯＴ駆動部制御ユニット１１２を制御して台座駆動ユニット１１５を駆動させ、撮影用カメラ１２１の光軸が検出した撮影対象の被写体の方向に向くように台座部１２０を回転させる。そして、ＲＯＢＯＴ制御ユニット１１１は、撮影用カメラ１２１を用いて画像を撮影する。その後、ステップＳ８０へ進む。ステップＳ８０では、ＲＯＢＯＴ制御ユニット１１１は、撮影用ロボット１００の電源がオフされたか否かを判断する。否定判断した場合には、ステップＳ１０へ戻る。これに対して、肯定判断した場合には、処理を終了する。
【００３３】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）ＲＯＢＯＴ制御ユニット１１１は、時系列で入力される複数フレームの画像に対して演算を施して、複数フレームの画像間で所定以上の加速度を持つ画素を検出し、検出した所定以上の加速度成分を持つ画素を含む領域内に被写体が動かしている身体の一部が含まれているものと判定して、画像内から被写体を検出するようにした。これによって、身体の一部を動かして合図を送っている被写体を精度高く検出することができる。
【００３４】
（２）ＲＯＢＯＴ制御ユニット１１１は、複数フレームの画像に対して２階差分を施すようにした。これによって、フレーム間で加速度成分を有する画素を検出した２階差分画像を生成することができる。
【００３５】
（３）ＲＯＢＯＴ制御ユニット１１１は、２階差分画像に対して、所定の閾値を用いて２値化を行うようにした。これによって、フレーム間の加速度が所定以上である画素が白画素として現れる２値画像を生成することができる。
【００３６】
（４）ＲＯＢＯＴ制御ユニット１１１は、２値画像内における白画素を含む領域に包絡枠を設定し、当該包絡枠内に所定以上の加速度成分を持つ画素を含むと特定するようにした。これによって、簡易な処理によって、画像内における所定以上の加速度成分を持つ画素を含む領域を特定することができる。
【００３７】
（５）ＲＯＢＯＴ制御ユニット１１１は、白画素を含む領域（包絡枠）内における白画素の密度、および包絡枠の面積に基づいて、包絡枠内に撮影対象の被写体が動かしている身体の一部が含まれているか否かを判定するようにした。これによって、撮影対象の被写体による合図のための動作を精度高く検出することができる。
【００３８】
―変形例―
なお、上述した実施の形態の撮影用ロボットは、以下のように変形することもできる。
（１）上述した実施の形態では、ＲＯＢＯＴ制御ユニット１１１は、包絡枠内における白画素の密度、および包絡枠の面積に基づいて、包絡枠内に撮影対象の被写体が動かしている身体の一部が含まれているか否かを判定する例について説明した。しかしながら、ＲＯＢＯＴ制御ユニット１１１は、当該判定を行わずに、２値画像上に設定した包絡枠内には撮影対象の被写体が動かしている身体の一部が含まれているものと判定するようにしてもよい。また、ＲＯＢＯＴ制御ユニット１１１は、包絡枠内における白画素の密度、および包絡枠の面積のいずれか一方に基づいて、包絡枠内に撮影対象の被写体が動かしている身体の一部が含まれているか否かを判定するようにしてもよい。
【００３９】
（２）上述した実施の形態では、認識用カメラ１２２から時系列で入力される複数フレームの画像を画像処理して被写体を検出し、その被写体の方に自動的に撮影用カメラ１２１を向けて撮影を行う例について説明した。すなわち、被写体検出装置として撮影用ロボット１００を用いる例について説明した。しかしながら、上述した被写体検出処理を実行する被写体検出装置を、その他の装置に用いて自動撮影を行うことも可能である。例えば、被写体検出装置を監視カメラに用いることによって、移動している不審人物を検出し、その不審人物を自動的に撮影するようにしてもよい。
【００４０】
（３）上述した実施の形態では、認識用カメラ１２２から時系列で入力される複数フレームの画像を画像処理して被写体を検出し、その被写体の方に自動的に撮影用カメラ１２１を向けて撮影を行う例について説明した。しかしながら、自動的に撮影を行わずに、被写体の検出のみを行ってもよい。例えば、変形例（２）で上述したように、上述した被写体検出処理を監視カメラに適用した場合に、移動している不審人物を検出するようにしてもよい。そして、監視カメラは、不審人物の検出時刻や検出場所に関する情報を記録したり、不審人物を検出した場合は、警報装置を作動させるようにしたりしてもよい。
【００４１】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【図面の簡単な説明】
【００４２】
【図１】撮影用ロボットの一実施の形態の構成を示すブロック図である。
【図２】撮影用ロボット１００の外観を示す第１の図である。
【図３】撮影用ロボット１００の外観を示す第２の図である。
【図４】認識用カメラ１２２によって取得される各フレームの画像の具体例を示す図である。
【図５】認識用カメラ１２２によって取得される各フレームの画像、および２値画像の取得順を模式的に表した図である。
【図６】使用者が手を振った場合の２値画像の生成例、および２値画像上に設定される包絡枠の具体例を示す図である。
【図７】ＲＯＢＯＴ制御ユニット１１１の処理を示すフローチャート図である。
【符号の説明】
【００４３】
１００  撮影ロボット、１１０  本体部、１１１  ＲＯＢＯＴ制御ユニット、１１２  ＲＯＢＯＴ駆動部制御ユニット、１１３  本体駆動ユニット、１１４  本体駆動関連センサ、１１５  台座駆動ユニット、１２０  台座部、１２１  撮影用カメラ、１２２  認識用カメラ、１２３  認識用カメラ駆動雲台
【図１】
2008225994.tif 000004
【図２】
2008225994.tif 000005
【図３】
2008225994.tif 000006
【図４】
2008225994.tif 000007
【図５】
2008225994.tif 000008
【図６】
2008225994.tif 000009
【図７】
2008225994.tif 000010