(57)【要約】【課題】投影の影響によって被写体の認識精度が低下しないようにする。【解決手段】被写体に告知する映像を間欠的に投影する投影手段の投影周期と、被写体を動画として撮影する撮影手段の撮影周期とを同期する同期制御手段と、前記撮影手段が出力するフレーム画像を前記投影手段の投影時か否かで分離するフレーム分離手段と、前記撮影手段で撮影した、前記投影手段が非投影時の画像を解析する解析手段とを有することを特徴とする。【選択図】図１
2015186248.tif 000002
【特許請求の範囲】
【請求項１】
被写体に告知する映像を間欠的に投影する投影手段の投影周期と、被写体を動画として撮影する撮影手段の撮影周期とを同期する同期制御手段と、
前記撮影手段が出力するフレーム画像を前記投影手段の投影時か否かで分離するフレーム分離手段と、
前記撮影手段で撮影した、前記投影手段が非投影時の画像を解析する映像解析手段とを有することを特徴とするモニタリング装置。
【請求項２】
前記映像解析手段の解析結果に基づいて、前記被写体に対して告知の開始、終了、告知内容の生成を行う告知制御手段を更に有することを特徴とする請求項１に記載のモニタリング装置。
【請求項３】
前記同期制御手段は、撮像周期を投影周期のＮ倍（Ｎは２以上の整数）に同期することを特徴とする請求項１または２に記載のモニタリング装置。
【請求項４】
被写体を動画として撮影する撮影手段と、
前記被写体に告知する映像を間欠的に投影する投影手段と、
前記撮影手段が出力する画像から輝度変化に基づいて同期パラメータを推定する推定手段と、
前記同期パラメータに基づいてフレーム画像を分離するフレーム分離手段と、
前記撮影手段で撮影した、前記投影手段が非投影時の画像を解析する解析手段とを有することを特徴とするモニタリング装置。
【請求項５】
ネットワークを介して相互に接続されたプロジェクタ装置とカメラ装置と画像処理装置とを有するモニタリング装置であって、
前記プロジェクタ装置に、被写体に告知する映像を間欠的に投影する投影手段を配設し、
前記カメラ装置に、被写体を動画として撮影する撮影手段を配設し、
前記プロジェクタ装置または前記カメラ装置に、前記投影手段の投影周期と、前記撮影手段の撮影周期とを同期する同期制御手段を配設し、
前記画像処理装置に、前記投影手段が非投影時の画像を解析する映像解析手段を配設したことを特徴とするモニタリング装置。
【請求項６】
前記投影手段は、波長を周期的に順次更新して出力し、
前記同期制御手段は、前記投影手段の出力に同期して前記投影手段の非出力波長を撮像することを特徴とする請求項５に記載のモニタリング装置。
【請求項７】
前記解析手段により検出された、被写体の眼または頭部の位置を含む領域に投影を行わない投影パターンを生成するパターン生成手段と、
前記パターン生成手段の生成する映像を投影する第２投影手段とを有することを特徴とする請求項５に記載のモニタリング装置。
【請求項８】
被写体に告知する映像を間欠的に投影する投影手段の投影周期と、被写体を動画として撮影する撮影手段の撮影周期とを同期する同期制御工程と、
前記撮影手段の出力するフレーム画像を前記投影手段の投影時か否かで分離するフレーム分離工程と、
前記撮影手段で撮影した、前記投影手段が非投影時の画像を解析する映像解析工程とを有することを特徴とするモニタリング装置の制御方法。
【請求項９】
被写体を動画として撮影手段で撮影する撮影工程と、
前記被写体に告知する映像を投影手段で間欠的に投影する投影工程と、
前記撮影手段が出力する画像から輝度変化に基づいて同期パラメータを推定する推定工程と、
前記同期パラメータに基づいてフレーム画像を分離するフレーム分離工程と、
前記撮影手段で撮影した、前記投影手段が非投影時の画像を解析する解析工程とを有することを特徴とするモニタリング装置の制御方法。
【請求項１０】
ネットワークを介して相互に接続されたプロジェクタ装置とカメラ装置と画像処理装置とを有するモニタリング装置の制御方法であって、
前記プロジェクタ装置が、被写体に告知する映像を投影手段で間欠的に投影する投影工程を実行し、
前記カメラ装置が、被写体を動画として撮影する撮影工程を実行し、
前記プロジェクタ装置または前記カメラ装置が、前記投影工程の投影周期と、前記撮影工程の撮影周期とを同期する同期制御工程を実行し、
前記画像処理装置が、前記投影手段が非投影時の画像を解析する映像解析工程を実行することを特徴とするモニタリング装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はモニタリング装置及びモニタリング装置の制御方法に関し、特に、カメラ等の撮像装置で人物を撮影してモニタリングし、その人物に対して警告や広告などの告知を行うために用いて好適な技術に関する。
【背景技術】
【０００２】
防犯カメラをはじめとしたモニタリング装置のインテリジェント化が進んでいる。インテリジェント機能の一つに、撮影した映像から顔や人体などのオブジェクトを検出して個体の識別や異常な行動を判断するといった認識機能がある。この認識結果を利用して、異常な行動をしている人物に対して警告を行ったり、被写体の望む行き先を案内したり、被写体の年齢や性別に応じた広告を提示したりするなどの告知を行うことができる。
【０００３】
たとえば、特許文献１では監視カメラによって不審者を検知すると、プロジェクタにより撃退用画像を投影して不審者に心理的な威圧感を与え、犯行を抑制する監視制御装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３３６７２号公報
【特許文献２】特開２００８−９２３０号公報
【特許文献３】特開２００３−２８４０５３号公報
【特許文献４】特開２００９−２６６０８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１は、プロジェクタによる投影によって被写体や壁や周囲の明るさが変化し、認識機能に影響を与えてしまうという問題がある。たとえば、被写体が映っていない時の背景モデルを記憶し、背景モデルが変化した時に侵入者ありと判断するような背景差分法では、投影の影響によって背景モデルが変化してしまい、侵入者を認識できなくなる問題がある。
【０００６】
また、特許文献２では、観察者に情報を提示しつつ、カメラには観察者向けの情報を撮影しないようにするシステムが開示されている。これは、ホログラムによって観察者に情報を提示し、カメラには偏光フィルタを通すことで観察者向けの情報をカットすることで実現している。
【０００７】
しかしながら、特許文献２にて開示されている補助情報付加装置の場合は、専用スクリーンでないと反射の際に純粋な偏光にならないため、高コストであり、また設置上の制約を受けてしまうという問題がある。
本発明は前述の問題点に鑑み、投影の影響によって被写体の認識精度が低下しないモニタリング装置を低コストで提供できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明のモニタリング装置は、被写体に告知する映像を間欠的に投影する投影手段の投影周期と、被写体を動画として撮影する撮影手段の撮影周期とを同期する同期制御手段と、前記撮影手段が出力するフレーム画像を前記投影手段の投影時か否かで分離するフレーム分離手段と、前記撮影手段で撮影した、前記投影手段が非投影時の画像を解析する解析手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、被写体に告知している間でも被写体の認識精度が低下しないモニタリング装置を低コストで提供することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係るモニタリング装置の構成例を示すブロック図である。
【図２】第１の実施形態に係るモニタリング装置が告知中の様子を模擬的に示す図である。
【図３】第１の実施形態に係るモニタリング装置の処理手順の一例を示すフローチャートである。
【図４】第２の実施形態に係るモニタリング装置の構成例を示すブロック図である。
【図５】第３の実施形態に係るモニタリング装置の構成例を示すブロック図である。
【図６】第４の実施形態に係る投影と撮影の関係を示すタイミング説明図である。
【図７】第５の実施形態に係るモニタリング装置の構成例を示すブロック図である。
【図８】第５の実施形態に係る投影パターンの例を示す図である。
【図９】第５の実施形態に係る実空間へ投影したパターンの例を示す図である。
【発明を実施するための形態】
【００１１】
［第１の実施形態］
本実施形態では人物をモニタリングする装置について説明する。
本実施形態におけるモニタリング装置１００の構成例を図１に示す。図１に示すように、モニタリング装置１００は、撮影部１０１、投影部１０２、同期制御部１０３、フレーム分離部１０４、画像記憶部１０５、映像解析部１０６、告知制御部１０７から構成される。
【００１２】
撮影部１０１は、空間の動画撮影を行うカメラである。カメラの個数は、１つでもよいし、複数でもよい。またそのカメラは、可視光を撮影してもよいし、赤外領域や紫外領域の光を撮影してもよい。さらに、雲台によって光軸の方向を制御できるようになっていてもよい。
【００１３】
撮影部１０１は、モニタリング装置１００の起動中は常時撮影し、フレーム画像を連続して出力する。撮影部１０１が撮影する空間は、本実施形態においてはマンションのエントランスとする。ただし、撮影部１０１が撮影する空間は、駅の改札、ホーム、通路、店舗、病院、銀行など、いずれでもよい。
【００１４】
投影部１０２は、たとえばプロジェクタである。プロジェクタの個数は、１つでも良いし、複数でもよい。投影先は例えば床や壁などである。投影部１０２は、被写体に告知する映像を間欠的に投影する。告知する映像は、例えば被写体に対して異常な行動を抑制するための警告、行き先等の案内、広告などであるが、これに限るものではない。
【００１５】
同期制御部１０３は、撮影部１０１の動画のフレームレートである撮像周期と投影部１０２の間欠の周期である投影周期の同期を行う。
フレーム分離部１０４は、撮影部１０１が撮影した各フレーム画像を、投影部１０２が被写体に告知する映像を投影中か否かによって振り分けを行う。たとえば、各フレーム画像の属性情報としてフレームあたり１ビット分の記憶領域を割り当て、投影中ならば１、非投影中なら０を出力する。なお、非投影中は、照明用として所定の映像を投影してもよい。これによって映像解析部１０６が認識し易い映像を撮影することができる。
【００１６】
画像記憶部１０５は、撮影部１０１が撮影したフレーム画像を時刻や属性情報と対応づけて記憶する。
映像解析部１０６は、画像記憶部１０５に記憶されたフレーム画像からフレーム分離部１０４が非投影中としたフレーム画像を入力し映像の解析を行う。映像解析部１０６は、被写体の位置、移動した軌跡や性別、年齢、表情、視線の方向、姿勢、行動などの被写体の属性を出力する。さらに、被写体の軌跡や姿勢変化等を経緯も含めて評価し、予め設定したルールと照合して異常な行動であるか否か、および、異常な場合は、その種類等を出力する。
【００１７】
告知制御部１０７は、映像解析部１０６の解析結果に基づいて、被写体に対して告知の開始、終了、告知内容の生成を行う。例えば、警告を行う場合、告知の開始は、映像解析部１０６の解析結果により、異常行動と判断した場合である。告知の終了は、異常行動と判断しなくなるか、開始から所定の時間が経過した場合である。
【００１８】
図２は、本実施形態のモニタリング装置１００が被写体を侵入者と判断して告知をしている様子を模式的に表した図である。図２において、モニタリング装置１００は、マンション入り口の天井に設置され、視野２０１の範囲を撮影可能である。モニタリング装置１００は、必要な手続きを取らずに侵入した被写体を侵入者として検出し、警告２０３を床に投影している。
【００１９】
以下、本実施形態の動作について、モニタリング装置１００で行われる画像処理の流れを、図３のフローチャートを参照しながら説明する。図３のフローチャートの処理は、図示しない不揮発性メモリに記録されたプログラムを、ワークメモリとして機能するメモリに展開して、ＣＰＵが実行することで実現する。
撮影部１０１が撮影を開始すると、Ｓ３０１において撮影部１０１は、１フレーム分の画像を出力し、時刻と対応づけて画像記憶部１０５に記憶する。
【００２０】
次に、Ｓ３０２に進み、告知制御部１０７が告知中か否かを判断し、告知中でなければＳ３０３へ進み、告知中であればＳ３０６へ進む。
Ｓ３０３では、映像解析部１０６が映像解析処理を行う。映像の解析処理は、例えば背景差分処理や、被写体のトラッキング、行動認識、異常行動の判断などがあるが、その他の処理でもよい。
【００２１】
背景差分処理は、例えば無人の状態で撮影したフレーム画像を背景画像とし、フレーム画像上で監視したい領域を監視対象として予め設定する。監視中は、入力フレーム画像と背景フレーム画像の差が一定時間所定の閾値を超えた場合に、侵入者が存在すると判定するものである。
【００２２】
本フローチャートでは、１フレーム分の画像が逐次入力されるので、入力した現在のフレーム画像と背景フレーム画像の差を求め、求めた結果を現在の時刻の状態として画像記憶部１０５に記憶する。そして、画像記憶部１０５に記憶された過去の差が、所定の閾値以上の面積が所定時間以上継続したなどの経緯を評価して、侵入者が存在するか否かを判断する。
【００２３】
被写体のトラッキング処理では、例えばフレーム画像から人物などのオブジェクトを検出し、前後の時刻のフレーム画像間でオブジェクト領域の画像照合によってオブジェクトの位置を対応づける処理を行い、各時刻における被写体の位置を出力する。
【００２４】
行動認識は、たとえば、人物をトラッキングし移動した軌跡や、人物の頭部や手足の位置を検出し、その位置関係から姿勢を推定し、姿勢の変化から、行動として意味付けを行う。
異常行動の判断は、例えば次のようなケースを検知したら異常行動と判断する。
（１）人物の移動した軌跡が予め設定した侵入禁止の領域に入った場合。
（２）手足の位置関係から姿勢が転倒状態と判断した場合。
（３）複数の人物が近接し早い動きが発生し暴行が発生していると判断した場合。
【００２５】
前述のように、映像解析部１０６に非投影中としたフレーム画像を入力することにより、告知映像の干渉を受けずに映像を解析することが可能となるので、フレーム画像の時間的変化を解析するものであれば、本発明のモニタリング装置１００は有効である。
【００２６】
行動認識の処理は、映像のみではなく、音声マイクや赤外線センサなど、他のセンサ情報と組み合わせて総合的に判断してもよい。例えば、特許文献３にあるような時間差分法で侵入者を検出し、侵入者の顔領域を認識してズームインし、詳細な情報を認識するようにしてもよい。
【００２７】
次にＳ３０４に進み、映像解析部１０６による映像解析の結果、告知が必要か否かを判断する。告知が必要であればＳ３０５に進み、告知が必要でない場合はＳ３０１に戻り次のフレーム画像の処理を行う。たとえば、映像解析部１０６により異常行動と判断された場合はＳ３０５に進んで告知を行う。
【００２８】
Ｓ３０５では、映像解析部１０６の映像解析の結果に応じて告知制御部１０７が告知を開始する。すなわち、映像解析部１０６における映像解析の結果、被写体の位置や、被写体の警告の種類に応じて告知内容を生成し、投影部１０２に投影をさせる。告知内容は、異常行動の種類や被写体の位置に応じて退出を促す文章やマーク、被写体自身の映像、広告などの動画やアニメーションである。
その後、Ｓ３０１に戻り次のフレーム画像の処理を行う。
【００２９】
Ｓ３０２において、告知中であればＳ３０６へ進み、フレーム分離部１０４が、投影部１０２が告知映像を投影中か否かによって振り分けを行う。この判断は、同期制御部１０３から入力される同期信号により行う。
【００３０】
ここで、同期制御部１０３について詳しく説明する。
同期制御部１０３は、発信部１０８が撮影周期と等しい周期の矩形波を発生し、それを撮影部１０１に供給する。また、分周波部１０９が発信部１０８の信号を１／Ｎに分周波し、投影部１０２に供給する。本実施形態では、撮影周期を投影周期のＮ倍（Ｎは１以上の整数）に同期する方法が好適である。
【００３１】
Ｎ＝１とした場合は、非投影中の映像しか撮影しないことになる。投影中の映像を撮影する場合はＮを２以上とする。投影中の映像は記録、送信、表示などに利用することができる。投影周期は、広告を目的とする場合は被写体が知覚できない程度に高速にするため１／６０秒以下としているが、警告であれば点滅として知覚される１〜数秒程度の周期であってもよい。
【００３２】
撮影部１０１は、同期制御部１０３から供給された矩形波の立ち上がり時にフレーム画像の撮影を行う。また、投影部１０２も同様に、同期制御部１０３から供給された矩形波の立ち上がり時に投影を行う。矩形波の立ち上がり直後は撮影部１０１が全ての画素が受光できない場合や、投影部１０２が発生する光量が安定しない場合がある。このように矩形波の立ち上がりから安定するまでに遅延差がある場合でも矩形波の位相をずらすことによって、安定した状態のフレーム画像を出力できるようになる。
【００３３】
フレーム分離部１０４は、同期制御部１０３が投影部１０２に供給する矩形波と同じ信号を受信し、撮影時刻が矩形波の立ち上がりから所定の時間範囲内かを評価することで判断することができる。同期調整は、撮影部１０１を投影部１０２と同期するように調整しても、投影部１０２を撮影部１０１と同期するように調整してもよい。
【００３４】
次にＳ３０７に進み、Ｓ３０６で振り分けたフレーム画像が投影中か否かを評価し、投影中でない場合にはＳ３０８へ進み、投影中の場合はＳ３０９に進む。
Ｓ３０８では、Ｓ３０３と同様な映像解析処理を行う。
【００３５】
次にＳ３０９に進み、告知内容の更新を行う。例えば、異常行動と判断しなくなるか、開始から所定の時間が経過した場合、広告を最後まで再生した場合、人物が投影映像を視聴可能な領域外に移動した場合には、告知を終了する。
【００３６】
なお、Ｓ３０５において、実空間上の物体の位置や色に合わせて投影を行うプロジェクションマッピング技術を用いてもよい。たとえば、告知制御部１０７が被写体の位置や視線の方向に合わせた位置へ投影するように制御すると、被写体に対してより有効な告知ができる効果がある。
【００３７】
また、被写体そのものや被写体の足元に投影を行うことで、被写体をマーキングして身柄確保が容易になる効果がある。これは、例えば病院、介護施設、駅、空港、施設の見学ツアー、不動産の紹介などでスタッフが、顧客を引率や世話をする場合に適用できる。たとえば、スタッフが顧客を引率中に一時的に顧客から目を離すような場合に、現在の被写体の位置を基準にした移動可能範囲や移動先などを案内することができる。
【００３８】
視線の方向は、Ｓ３０３で、映像解析部１０６が解析し出力したものを利用すればよい。具体的には、例えば特許文献４に記載の視線検出装置のように顔の向きを推定し、眼、瞳を検出して眼と瞳の位置関係と顔の向きから機械学習によって推定ルールを獲得し、視線の方向を推定すればよい。この解析は、赤外線等の非可視光線で撮影した映像でも適用可能である。
【００３９】
以上説明したように、本実施形態では、映像解析部１０６が、投影部１０２が被写体に告知する映像を投影していない時の映像で映像解析を行うようにしたので、認識する映像が告知映像によって変化するといった干渉を避けることができるようになった。こうすることにより、被写体に効果的な告知を行いつつ、精度のよい映像解析を行えるようになる効果が得られるようになった。
以上が、本発明におけるモニタリング装置の第１の実施形態の説明である。
【００４０】
［第２の実施形態］
第１の実施形態では、同期制御部１０３が矩形波を発生しそれを投影部１０２と撮影部１０１に供給していた。本実施形態では、撮影部１０１または投影部１０２の両方またはいずれかを、広く流通している既成品で構成し、撮影または投影周期の制御ができない場合でも本発明を実現する方法を説明する。
【００４１】
図４は、本実施形態のモニタリング装置４００の構成例を示すブロック図である。第１の実施形態と同じ構成要素には同じ符号を付けている。
本実施形態において、同期制御部１０３は、推定部４０１から構成される。
推定部４０１は、撮影部１０１が出力する映像から輝度変化の周期Ｔ，位相αを同期パラメータとして推定する。また、フレーム分離部１０４は、推定部４０１が出力した同期パラメータに基づいてフレーム画像を分離する。
【００４２】
推定部４０１が同期パラメータを推定する方法について説明する。
推定部４０１は、撮影部１０１が出力する映像の平均輝度の変動を一定期間、画像記憶部１０５に蓄積し、蓄積したデータから同期パラメータを推定する。プロジェクタの投影範囲が狭く、フレーム画像中の一部の領域である場合は、映像全体ではなく、その領域内の平均輝度を求めればよい。
【００４３】
同期パラメータの推定は、例えば、式（１）を最大とするような周期Ｔ，位相αを求めることで行う。
Σ（（Ｖ（ｔ）−ＳＭＡt（Ｖ,Ｎ））＊ｆ（ｔ，Ｔ，α））・・・式（１）
式（１）は、一定期間中の各時刻における平均輝度と矩形波の畳み込み演算である。
【００４４】
ただし、ｆ（ｔ，Ｔ，α）は周期Ｔ位相αの矩形波を出力する。投影時間と非投影時間が５０％ずつと仮定すると、
ｆ（ｔ，Ｔ，α）＝ｓｇｎ（ｓｉｎ（２πｔ／Ｔ＋α））・・・式（２）
と表せる。
ｔは撮影時刻である。また、Ｖ（ｔ）は撮影時刻ｔの平均輝度である。ＳＭＡt（Ｖ，Ｎ）はＶ（ｔ）の単純移動平均である。Ｎは平均をとる区間で、周期Ｔに対して十分大きな区間とする。
【００４５】
フレーム分離部１０４は、フレーム画像を撮影した時刻ｔと、推定部４０１で求めた同期パラメータである周期Ｔおよび位相αを（式２）に代入し、その結果によってフレーム画像を分離する。すなわち、（式２）が正ならば投影中、負ならば非投影中と判断する。
【００４６】
なお、同期制御部１０３は、撮影部１０１または投影部１０２のいずれかが周期の制御ができる場合は位相αが一定になるように制御を行う。これにより、安定した撮影画像を得られるようになる。
以上が、本発明における第２の実施形態の説明である。
【００４７】
［第３の実施形態］
第１の実施形態では、全ての構成要素が単一のモニタリング装置内にあるものとしていたが、本実施形態ではネットワークを介して複数の装置を接続して本発明の目的を達成する方法を示す。
図５は、本実施形態のモニタリング装置の構成例を示す図である。第１の実施形態と同じ構成要素には同じ符号を付けている。
【００４８】
本実施形態ではプロジェクタ装置５０１、カメラ装置５０２、画像処理装置５０３がネットワーク５００により接続されている。
プロジェクタ装置５０１は、投影部１０２、同期制御部１０３、送受信部５０４が配設されて構成される。
【００４９】
カメラ装置５０２は、撮影部１０１、同期制御部１０３、フレーム分離部１０４、符号化部５０５、多重化部５０６、送受信部５０４が配設されて構成される。
画像処理装置５０３は、送受信部５０４、分離部５０７、復号化部５０８、映像解析部１０６、告知制御部１０７が配設されて構成される。
【００５０】
同期制御部１０３は、図示しないが第１の実施形態と同様に、発信部１０８と分周波部１０９から構成される。同期制御部１０３は、プロジェクタ装置５０１とカメラ装置５０２にあるが、両者の発信部１０８は等しい周波数、位相の信号を発信する。外部から発信される電波や赤外線等光信号を受信して定期的にズレを補正することで同期を確保するようにしてもよい。
【００５１】
また、同期制御部１０３は、プロジェクタ装置５０１とカメラ装置５０２の一方に設けるようにしてもよい。カメラ装置５０２の撮影部１０１は、プロジェクタ装置５０１とカメラ装置５０２のいずれかに設けられた同期制御部１０３から供給された矩形波の立ち上がり時にフレーム画像の撮影を行う。また、プロジェクタ装置５０１の投影部１０２も、その同期制御部１０３から供給された矩形波の立ち上がり時に投影を行う。
送受信部５０４は、ネットワーク５００を介してＨＴＴＰなど所定のプロトコルにより撮影した映像や告知する映像、認識結果などの情報を送受する。
【００５２】
カメラ装置５０２の符号化部５０５は、撮影部１０１で撮影した映像をＭＰＥＧ２やＨ２６４等の動画圧縮を行って符号化する。これらの圧縮技法は時間方向でフレーム画像の相関が高いことを前提に差分を表現することでデータ量を削減しているが、そのままでは投影部の点滅によりフレーム相関が低くなるという問題点がある。
【００５３】
本装置では、フレーム分離部１０４が分離したフレーム画像を別のチャンネルとして処理することで、投影中のフレーム画像間もしくは非投影中のフレーム画像間の差分を得ることができ、符号化効率が向上する効果がある。
多重化部５０６は、符号化部５０５が出力した複数のチャンネルの映像を１つのストリームとしてまとめる処理を行う。多重化部５０６の出力は、送受信部５０４を介して他の機器へ送信される。
【００５４】
画像処理装置５０３の分離部５０７は、多重化されたストリームを入力すると、チャンネルごとに分離を行い、符号化されたチャンネル別の映像データを出力する。
復号化部５０８は、符号化された各チャンネルの映像を入力すると、これを復号してフレーム画像を出力する。映像解析部１０６へは非投影中のチャンネルの復号結果を入力する。
【００５５】
以上の構成により、ネットワーク５００を介して複数の装置を接続しても、同期制御部１０３で同期を確保することにより本発明の目的を達成することができる。
以上が、本発明における第３の実施形態の説明である。
【００５６】
［第４の実施形態］
本実施形態では、撮影部１０１と投影部１０２の他の実施形態を説明する。
第１の実施形態では、投影部１０２がＲＧＢの全波長を同時に出力するようにしていたが、本実施形態では、投影部１０２が波長を周期的に順次更新して出力する場合、例えば投影部１０２がＲＧＢを時分割で出力する場合の同期方法について説明する。
撮影部１０１は、ＲＧＢの３つの波長別に光信号を電気信号に変換するＣＣＤなどで構成する。
【００５７】
図６は、投影と撮影のタイミングを模式的に説明する図である。図６において、横軸は時間の流れを示す。上段が投影タイミングであり、下段が撮影タイミングである。ＲＧＢはそれぞれ光の三原色である赤、緑、青の波長を示す。
【００５８】
投影側でＲの場合は赤色の発光をしている。この時、撮影側ではＲ成分をカットするフィルタを通してＧとＢの波長を撮影する。投影の影響を受けないように撮影する場合には、区間ｔ０からｔ１のように、投影の非出力波長を受光するようにフィルタを切り替える。また、投影も含めて撮影する場合には区間ｔ１からｔ２のように、ＲＧＢの全波長を受光する。他の構成は第１の実施形態と同じである。
【００５９】
このように、波長別にタイミングをずらして時分割してもよく、非投影時間を少なくすることで知覚される投影映像の明るさやコントラストを向上し、より効果的に被写体に告知することが可能となる。
以上が、本発明における第４の実施形態の説明である。
【００６０】
［第５の実施形態］
第１の実施形態では、投影部１０２が被写体に対する告知映像を投影していた。広告やエンターテイメントのような目的で告知映像を投影する場合は、空間全体を暗くしてコントラストを高くすることで演出効果を高める必要がある。
一方で、被写体の映像から皮膚の色や所持品や服装等の詳細な認識や記録をするために十分な照明をあて、可視光線で高画質の映像を撮影する必要がある。本実施形態では演出効果を高めつつ高画質な映像を取得するようにした方法を説明する。
【００６１】
図７に、本実施形態におけるモニタリング装置７００の構成例を示す。
本実施形態では、第１の実施形態の構成に加え第２投影部７０１、パターン生成部７０２を有する。他の構成は第１の実施形態と同様である。
【００６２】
第２投影部７０１の目的は、照明として撮影中の光量を補うものである。第２投影部７０１の構成は、投影部１０２と同様であり、投影する映像が異なるだけである。従って、投影部１０２と第２投影部７０１は相互に役割を交代することができる。
【００６３】
映像解析部１０６は、映像から被写体の眼または頭部の位置など、眼を含む部位の位置を検出し、位置情報をパターン生成部７０２に入力する。
パターン生成部７０２は、映像解析部１０６から入力される被写体の位置情報に基づいて被写体の眼に投影しない投影パターンを生成し、第２投影部７０１で投影を行う。投影パターンは、被写体の前方向の床や天井は視野にかかるため、投影しないようにしてもよい。パターン生成部７０２が生成する投影パターンの例を図８に示す。
【００６４】
この図８において、床領域８０１は、被写体前の床で被写体の視界に入り乱反射が考えられるために投影しない領域である。モニタリング装置７００を設置した環境の壁や床の材質によって変更すればよい。
【００６５】
眼領域８０２は、被写体の眼を含む領域である。認識した被写体位置の誤差や、被写体の急激な動きがあっても眼に投影しないようにするために、一定のマージンを確保し、眼よりも広い領域としている。あまり広く取ると認識対象を明瞭に撮影できない。この投影パターンを実空間に投影した結果を図９に示す。
これによって、被写体には照明が知覚されずに告知映像のコントラストを高めにし、撮影画像の画質と告知の効果を両立することができる。
【００６６】
なお、図８において投影パターンは無地としたが、任意の模様をつけてもよい。例えば格子状の投影パターンにするとで、照射された模様を別の角度から撮影すると被写体の凹凸を認識することができる。これによって、トラッキング処理において凹凸を含めた照合を行うことができるので認識精度が向上したり、より詳細な被写体属性を認識できたりする効果がある。
以上が、本発明における第５の実施形態の説明である。
【００６７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６８】
１０１  撮影部
１０２  投影部
１０３  同期制御部
１０４  フレーム分離部
１０５  画像記憶部
１０６  映像解析部
１０７  告知制御部
１０８  発信部
１０９  分周波部
【図１】
2015186248.tif 000003
【図２】
2015186248.tif 000004
【図３】
2015186248.tif 000005
【図４】
2015186248.tif 000006
【図５】
2015186248.tif 000007
【図６】
2015186248.tif 000008
【図７】
2015186248.tif 000009
【図８】
2015186248.tif 000010
【図９】
2015186248.tif 000011