(57)【要約】【課題】  会議や談話中にマーカを装着することなく、また、設定された一定空間領域外の物体の存在および動作に影響されること無く、参加者の存在および身体動作を得る。【解決手段】  存在判定部１５は切り出し画像出成部１４が切り出した領域の大きさを、あらかじめ設定された一定の閾値と比較し、閾値よりも大きければ領域内に物体が存在し、閾値よりも小さければ領域内に物体が存在しないと判定する。動作取得部１６は存在判定部１５によって存在すると判定されたときに、切り出し画像生成部１４から送られてきた現在の切り出し画像と画像蓄積部１８に蓄積した１フレーム前の切り出し画像とのオプティカルフローをとり、すべての画素のオプティカルフローを平均したものを動作情報として出力するとともに、現在の切り出し画像を画像蓄積部１８に蓄積する。【選択図】  図１
2006228104.tif 000002
【特許請求の範囲】
【請求項１】
場に設置された多眼カメラまたは複数のカメラで撮影画像を得るステップと、
前記撮影画像から距離画像を得るステップと、
前記距離画像から、場の一定空間領域内に存在する物体が写っている部分を示すマスク画像を得るステップと、
前記撮影画像および前記マスク画像を用いて、場の一定空間領域内に存在する物体のみを含んだ切り出し画像を得るステップと、
前記切り出し画像を計測して場の一定空間領域内に物体が存在するか判断を行うステップと、
時系列の切り出し画像同士を比較し、場の一定空間領域内に存在する物体の動作を取得するステップと
を有する存在・動作取得方法。
【請求項２】
場に設置された撮影画像を得る多眼カメラまたは複数のカメラで構成された撮影手段と、
前記撮影画像から距離画像を得る距離画像生成手段と、
前記距離画像から、場の一定空間領域内に存在する物体が写っている部分を示すマスク画像を得るマスク画像生成手段と、
前記撮影画像および前記マスク画像を用いて、場の一定空間領域内に存在する物体のみを含んだ切り出し画像を得る切り出し画像生成手段と、
前記切り出し画像を計測して場の一定空間領域内に物体が存在するか判断を行う存在判定手段と、
時系列の切り出し画像同士を比較し、場の一定空間領域内に存在する物体の動作を取得する動作取得手段と
を有する存在・動作取得装置。
【請求項３】
場に設置された多眼カメラまたは複数のカメラで撮影画像を得る手順と、
前記撮影画像から距離画像を得る手順と、
前記距離画像から、場の一定空間領域内に存在する物体が写っている部分を示すマスク画像を得る手順と、
前記撮影画像および前記マスク画像を用いて、場の一定空間領域内に存在する物体のみを含んだ切り出し画像を得る手順と、
前記切り出し画像を計測して場の一定空間領域内に物体が存在するか判断を行う手順と、
時系列の切り出し画像同士を比較し、場の一定空間領域内に存在する物体の動作を取得する手順と
をコンピュータに実行させるための存在・動作取得プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議室などの場において、誰がどこに存在するか、といった存在情報およびその身体の動作情報を取得するための技術に関する。
【背景技術】
【０００２】
カメラを利用して動作を得る技術として特許文献１がある。これは、動作を取得したい位置にマーカを装着し、マーカの三次元座標を得るものである。
【特許文献１】特開２００３−０３５５１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１の技術は、マーカの三次元座標を得ることによりマーカを装着している部分の動作を得ることができるが、マーカを装着していない部分の動作を得ることができない。
【０００４】
本発明の目的は、会議や談話中にマーカを装着することなく、また、設定された一定空間領域外の物体の存在および動作に影響されること無く、参加者の存在および身体動作を得ることができる存在・動作取得方法、装置、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
本発明の存在・動作取得方法は、
場に設置された多眼カメラまたは複数のカメラで撮影画像を得るステップと、
前記撮影画像から距離画像を得るステップと、
前記距離画像から、場の一定空間領域内に存在する物体が写っている部分を示すマスク画像を得るステップと、
前記撮影画像および前記マスク画像を用いて、場の一定空間領域内に存在する物体のみを含んだ切り出し画像を得るステップと、
前記切り出し画像を計測して場の一定空間領域内に物体が存在するか判断を行うステップと、
時系列の切り出し画像同士を比較し、場の一定空間領域内に存在する物体の動作を取得するステップと
を有する。
【０００６】
また、本発明の存在・動作取得装置は、
場に設置された撮影画像を得る多眼カメラまたは複数のカメラで構成された撮影手段と、
前記撮影画像から距離画像を得る距離画像生成手段と、
前記距離画像から、場の一定空間領域内に存在する物体が写っている部分を示すマスク画像を得るマスク画像生成手段と、
前記撮影画像および前記マスク画像を用いて、場の一定空間領域内に存在する物体のみを含んだ切り出し画像を得る切り出し画像生成手段と、
前記切り出し画像を計測して場の一定空間領域内に物体が存在するか判断を行う存在判定手段と、
時系列の切り出し画像同士を比較し、場の一定空間領域内に存在する物体の動作を取得する動作取得手段と
を有する。
【０００７】
本発明は、多眼カメラまたは複数のカメラから距離画像を得、一定空間領域内に含まれている物体のみを切り出した画像を得て計測することにより一定空間領域内に物体が存在するかどうかの判定を行うとともに、切り出した画像を時系列に比較することによって物体の動作を得るものである。
【０００８】
したがって、会議や談話中において、マーカを装着することなく、参加者の存在および身体動作を知ることができ、会議の状態を判定するための基礎資料として使用することができる。設定された一定空間領域外の物体の存在および動作は影響を及ぼさない。
【発明の効果】
【０００９】
本発明によれば、会議や談話中にマーカを装着することなく、また、設定された一定空間領域外の物体の存在および動作に影響されること無く、参加者の存在および身体動作を得ることができる。
【発明を実施するための最良の形態】
【００１０】
次に、本発明の実施の形態について図面を参照して説明する。
【００１１】
図１は本発明の一実施形態の存在・動作取得装置の構成図である。
【００１２】
本実施形態の存在・動作取得装置１は、２眼ステレオカメラ１１と距離画像生成部１２とマスク画像生成部１３と切り出し画像生成部１４と存在判定部１５と動作取得部１６と領域設定部１７と画像蓄積部１８で構成されている。
【００１３】
会議室２に机３が一つ設置されており、机３を囲んで４人の参加者４ａ〜４ｄが会議をしている。会議室２の天井に２眼ステレオカメラ１１が設置され、各参加者４ａ〜４ｄを含んだ画像を取得する。２眼ステレオカメラ１１の右カメラおよび左カメラの画像はそれぞれ距離画像生成部１２に送られ、カメラからの距離を輝度で表した距離画像が生成される。一方、会議２の場には、各参加者４ａ〜４ｄが存在するであろう空間の領域５ａ〜５ｄが設定されており、その情報が領域設定部１７に設定されている。マスク画像生成部１３では領域設定部１７に設定されている情報をもとに、距離画像から設定された領域内の輝度ビットを１にし、領域外の輝度ビットを０にしたマスク画像を生成する。切り出し画像生成部１４はマスク画像と右カメラ画像のＡＮＤをとることにより、設定された領域内の画像のみを切り出した切り出し画像を生成する。存在判定部１５は切り出した領域の大きさを、あらかじめ設定された一定の閾値と比較し、閾値よりも大きければ領域内に物体が存在し、閾値よりも小さければ領域内に物体が存在しないと判定する。動作取得部１６は存在判定部１５によって存在すると判定されたときに、切り出し画像生成部１４から送られてきた現在の切り出し画像と画像蓄積部１８に蓄積した１フレーム前の切り出し画像とのオプティカルフローをとり、すべての画素のオプティカルフローを平均したものを動作情報として出力するとともに、現在の切り出し画像を画像蓄積部１８に蓄積する。ここで、距離画像やマスク画像は記憶装置（不図示）の作業領域に格納される。
【００１４】
２眼ステレオカメラにはＰｏｉｎｔＧｒｅｙ社ＢｕｍｂｌｅＢｅｅなどを用いることができる。その場合、距離画像の生成にはカメラ附属ソフトウェアを用いることができる。オプティカルフローの計算には、Ｉｎｔｅｌ社ＯｐｅｎＣＶライブラリを用いることが可能である。
【００１５】
本実施形態では２眼ステレオカメラ１１を用い、右カメラ画像とマスク画像から切り出し画像を生成したが、左カメラ画像とマスク画像を用いることも可能である。また、３眼以上の多眼カメラを用いて距離画像を生成してマスク画像を生成し、いずれか一つのカメラ画像とマスク画像から切り出し画像を生成することによって、より精度の高い計測が可能となる。
【００１６】
多眼カメラの例として、３眼カメラのＰｏｉｎｔＧｒｅｙ社Ｄｉｇｉｃｌｏｐｓなどを使用することができる。
【００１７】
なお、存在・動作取得装置の各部の機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態の存在・動作取得装置の構成図である。
【符号の説明】
【００１９】
１    存在・動作取得装置
２    会議室
３    机
４ａ〜４ｄ    参加者
５ａ〜５ｄ    空間領域
１１    ２眼ステレオカメラ
１２    距離画像生成部
１３    マスク画像生成部
１４    切り出し画像生成部
１５    存在判定部
１６    動作取得部
１７    領域設定部
１８    画像蓄積部
【図１】
2006228104.tif 000003