(57)【要約】【課題】  被制御装置が、カメラで取得された画像中のどこにあるかを自動的にキャリブレーションすることができる情報処理システムを提供することを目的とする。【解決手段】  情報処理システム１は、表示領域、所定の音を発する手段、電磁波を入射方向に反射するマーカーおよび所定のパターンで光を発する手段のうち少なくとも１つを含む被制御装置２と、制御装置４とを備える。制御装置４は、所定の画像を表示しているときの表示領域を撮影した画像情報に基づいて、被制御装置２の位置を同定する。また、制御装置４は、被制御装置が発した音をマイクロホンアレーで得た情報から被制御装置２の位置を同定する。また、制御装置４は、マーカーで反射した電磁波に基づいて、被制御装置２の位置を同定する。制御装置４は、被制御装置２が発する光を検出することによって被制御装置２の位置を同定する。【選択図】          図１
2006277283.tif 000002
【特許請求の範囲】
【請求項１】
表示領域を含む複数の被制御装置と、
前記被制御装置の表示領域に所定の画像を表示するように制御し、前記表示領域を含む領域を撮影した画像情報に基づいて、前記表示領域の位置を同定する制御装置と
を備えることを特徴とする情報処理システム。
【請求項２】
前記制御装置は、前記各被制御装置の表示領域に異なる画像を表示することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
所定の音を発する被制御装置をさらに備え、
前記制御装置は、前記所定の音を発する被制御装置が発した音から得た音響情報に基づいて、前記所定の音を発する被制御装置の位置を同定することを特徴とする請求項１に記載の情報処理システム。
【請求項４】
前記被制御装置が発する音は、前記制御装置により制御できる音及び前記所定の音を発する被制御装置の機器の動作音の少なくとも一方を含む請求項３に記載の情報処理システム。
【請求項５】
前記音響情報は、マイクロホンアレーを用いて得た情報であることを特徴とする請求項３に記載の情報処理システム。
【請求項６】
前記制御装置は、前記音を発する被制御装置が複数ある場合、前記音を発する被制御装置がそれぞれ異なる音を発するよう制御することを特徴とする請求項３に記載の情報処理システム。
【請求項７】
再帰反射するマーカーを含む被制御装置をさらに備え、
前記制御装置は、前記マーカーで反射した光に基づいて、前記再帰反射マーカーを含む被制御装置の位置を同定することを特徴とする請求項１に記載の情報処理システム。
【請求項８】
所定のパターンで光、電磁波、及び音のうち少なくとも１つを発する複数の被制御装置をさらに備え、
前記制御装置は、前記被制御装置が発するパターンを検出することによって前記被制御装置の位置を同定することを特徴とする請求項１に記載の情報処理システム。
【請求項９】
所定の形状を有する被制御装置と、
前記所定の形状を有する被制御装置の形状に関する情報を記憶する記憶手段とをさらに備え、
前記制御装置は、前記所定の形状を有する被制御装置を撮影した画像情報と、前記記憶手段に記憶された被制御装置の形状に関する情報に基づいて、前記所定の形状を有する被制御装置の位置を同定することを特徴とする請求項１に記載の情報処理システム。
【請求項１０】
前記所定の画像は、動画であることを特徴とする請求項１に記載の情報処理システム。
【請求項１１】
前記所定の画像は、単色であることを特徴とする請求項１に記載の情報処理システム。
【請求項１２】
前記所定の画像は、複数の単色を順次表示するパターンであることを特徴とする請求項１に記載の情報処理システム。
【請求項１３】
前記所定の画像は、画面の各隅がわかる色パターンであることを特徴とする請求項１に記載の情報処理システム。
【請求項１４】
前記制御装置は、前記被制御装置が複数ある場合、各被制御装置の表示領域に前記画像を順次表示する際に、互いに異なるパターンの画像を用いることを特徴とする請求項１に記載の情報処理システム。
【請求項１５】
前記再帰反射するマーカーは、反射しない部分を縞状に区画したマーカーであることを特徴とする請求項７に記載の情報処理システム。
【請求項１６】
所定の撮影装置と、
前記撮影装置の光軸上ないしは近傍に置かれた光源とをさらに備え、
前記制御装置は、前記撮影装置から前記光源から光を発したときの画像情報と、前記光源から光を発しないときの画像情報を取得し、これらの画像情報の差分を検出することを特徴とする請求項７に記載の情報処理システム。
【請求項１７】
複数の被制御装置の表示領域に所定の画像をそれぞれ表示するステップと、
前記表示領域を含む領域を撮影した画像情報に基づいて、前記表示領域の位置を同定するステップと
を有することを特徴とする情報処理方法。
【請求項１８】
被制御装置が発する音に基づく音響情報を取得するステップと、
前記音響情報に基づいて、前記所定の音を発する被制御装置の位置を同定するステップとをさらに有することを特徴とする請求項１７に記載の情報処理方法。
【請求項１９】
被制御装置に設けられた再帰反射マーカーで反射した光に基づいて、前記被制御装置の位置を同定するステップをさらに有することを特徴とする請求項１７に記載の情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システムおよび情報処理方法に関する。
【背景技術】
【０００２】
従来、ディスプレイ領域におけるポインティング位置を自動的に認識できる装置が提案されている。この装置は、画像が表示されたディスプレイ領域をＣＣＤカメラで撮影した撮像信号に基づき、撮像領域に含まれる指示画像の画像領域である影領域や指示の実像画像の領域の所定位置をポインティング位置として検出するによってポインティング位置を検出できるようにしている。
【０００３】
また、参加者や周辺機器の配置を自動的に測定し仮想画面上にアイコン表示する電子会議システムが提案されている。このシステムは、情報端末及び、当該会議システムの構成機器である他の情報機器の位置関係を、無線電波の受信遅延時間を元に算出し、共通の画面の一部に取得した位置関係を元に構成機器の配置を視覚的に示すようにしている。また、複数の表示装置が互いに周囲の表示装置や遠隔地の表示装置を認識するシステムが提案されている（特許文献３）。
【特許文献１】特開平１１−３４５０８６号公報
【特許文献２】特開２００２−２８１４６８号公報
【特許文献３】特開２００４−１１０８２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献３では、画像内の制御対象の位置を知るためには、表示領域を矩形で指定する必要があり、自動的にキャリブレーションできないという問題があった。
【０００５】
そこで、本発明は、上記問題点に鑑みてなされたもので、被制御装置が、カメラで取得された画像中のどこにあるかを自動的にキャリブレーションすることができる情報処理システムおよび情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、表示領域を含む複数の被制御装置と、前記被制御装置の表示領域に所定の画像を表示するように制御し、前記表示領域を含む領域を撮影した画像情報に基づいて、前記表示領域の位置を同定する制御装置とを備える情報処理システムである。これにより、表示領域の位置を同定することができる。前記制御装置は、前記各被制御装置の表示領域に異なる画像を表示することを特徴とする。これにより、撮影した画像中のそれぞれの表示領域の位置を同定できる。
【０００７】
本発明の情報処理システムは、所定の音を発する被制御装置をさらに備え、前記制御装置は、前記所定の音を発する被制御装置が発した音から得た音響情報に基づいて、前記所定の音を発する被制御装置の位置を同定することを特徴とする。前記被制御装置が発する音は、前記制御装置により制御できる音及び前記所定の音を発する被制御装置の機器の動作音の少なくとも一方を含む。音には、スピーカーや、超音波トランスデューサーなどのように制御できる音のほか、機器の動作音、騒音などが含まれる。前記音響情報は、マイクロホンアレーを用いて得た情報であることを特徴とする。
【０００８】
前記制御装置は、前記音を発する被制御装置が複数ある場合、前記音を発する被制御装置がそれぞれ異なる音を発するよう制御することを特徴とする。マイクロホンアレーは、音源推定の方法としては最も有力であるが、そのほか、超音波位置センサーや、テレビ会議で用いられている手法では、複数のマイクを置いて、音量で位置を推定することもできる。動作音や、騒音であっても、装置を作動・停止させる程度の制御をすることにより被制御装置から音を発することができる。本発明の情報処理システムは、再帰反射するマーカーを含む被制御装置をさらに備え、前記制御装置は、前記マーカーで反射した光に基づいて、前記再帰反射マーカーを含む被制御装置の位置を同定することを特徴とする。
【０００９】
本発明の情報処理システムは、所定のパターンで光、電磁波、及び音のうち少なくとも１つを発する複数の被制御装置をさらに備え、前記制御装置は、前記被制御装置が発するパターンを検出することによって前記被制御装置の位置を同定することを特徴とする。ここで、発するパターンは、光や音の組み合わせも可能である。この場合には電磁波も想定される。例えば、電磁波と超音波を同時に発射し、それを離れたところにあるセンサーで受信すると、電波に比較して音波が遅れて届くため、センサーと装置の間の距離が判断できる。また、複数のセンサーを用いることにより三角測量が可能になる。
【００１０】
本発明の情報処理システムは、所定の形状を有する被制御装置と、前記所定の形状を有する被制御装置の形状に関する情報を記憶する記憶手段とをさらに備え、前記制御装置は、前記所定の形状を有する被制御装置を撮影した画像情報と、前記記憶手段に記憶された被制御装置の形状に関する情報に基づいて、前記所定の形状を有する被制御装置の位置を同定することを特徴とする。前記所定の画像は、動画であることを特徴とする。前記所定の画像は、単色であることを特徴とする。これにより、各表示部分ごとに色を表示することで区別することができる。前記所定の画像は、複数の単色を順次表示するパターンであることを特徴とする。このように、順次表示させることにより、表示部分以外に同じ色のものがあっても、認識させることができる。前記所定の画像は、画面の各隅がわかる色パターンであることを特徴とする。これにより、表示部分の位置に加えて、その向き、表示方向を認識することができる。
【００１１】
前記制御装置は、前記被制御装置が複数ある場合、各被制御装置の表示領域に前記画像を順次表示する際に、互いに異なるパターンの画像を用いることを特徴とする。前記再帰反射するマーカーは、反射しない部分を縞状に区画したマーカーであることを特徴とする。縞状に張るほかに、反射材の上に縞状に遮蔽しても利用できる。反射材の上に、縞状に黒いテープを張ったり、パターンを黒でプリントしたＯＨＰシートを張ったりしてもよい。
【００１２】
本発明の情報処理システムは、所定の撮影装置と、前記撮影装置の光軸上ないしは近傍に置かれた光源とをさらに備え、前記制御装置は、前記撮影装置から前記光源から光を発したときの画像情報と、前記光源から光を発しないときの画像情報を取得し、これらの画像情報の差分を検出することを特徴とする。これにより、他の赤外光（例えば太陽光）などの影響を低減することができる。
【００１３】
本発明は、複数の被制御装置の表示領域に所定の画像をそれぞれ表示するステップと、前記表示領域を含む領域を撮影した画像情報に基づいて、前記表示領域の位置を同定するステップとを有する情報処理方法である。これにより、表示領域の位置を同定することができる。本発明の情報処理方法は、被制御装置が発する音に基づく音響情報を取得するステップと、前記音響情報に基づいて、前記所定の音を発する被制御装置の位置を同定するステップとをさらに有する。本発明の情報処理方法は、被制御装置に設けられた再帰反射マーカーで反射した光に基づいて、前記被制御装置の位置を同定するステップをさらに有する。
【発明の効果】
【００１４】
本発明によれば、被制御装置が、カメラで取得された画像中のどこにあるかを自動的にキャリブレーションすることができる情報処理システムおよび情報処理方法を提供できる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を実施するための最良の形態について説明する。図１は、システムの構成を示す図である。図１に示すように、システム（情報処理システム）１は、被制御装置２、入力センサー３、制御装置４、データベース５を備える。システム１は、画面中のアスペクト比や機器の位置情報を自動的に取得・キャリブレーションするためのものであり、それぞれの被制御装置（被制御対象）２が、俯瞰カメラで取得された画像中のどこにあるかを自動的にキャリブレーションする。
【００１６】
被制御装置２は、表示領域又は／及び再帰反射するマーカー含んでいる。再帰反射するマーカーは、反射しない部分を縞状に区画したマーカーである。また、被制御装置２は、所定の音を発するものもある。被制御装置２は、たとえばディスプレイ２１〜２４、プリンタ２５、２６を含む。ディスプレイ２１〜２４は、所定の画像を表示する表示領域を含んできる。入力センサー３は、マイクロホンアレー３１、俯瞰カメラ３２及び光源３３を備える。マイクロホンアレー３１は、被制御装置２が発した音を集音して音源情報を制御装置４に出力する。俯瞰カメラ３２は、所定の画像を表示しているときのディスプレイ２１〜２４の表示領域を撮影し、撮影した画像情報を制御装置４に出力する。
【００１７】
制御装置４は、たとえばパーソナルコンピュータなどにより構成され、ディスプレイ２１〜２４の表示領域に所定の画像を表示するように制御し、表示領域を含む領域を撮影した画像情報に基づいて、表示領域の位置を同定する。このとき、制御装置４は、各ディスプレイ２１〜２４の表示領域に異なる画像を表示する。ここで処理の画像は、動画及び単色を含む。所定の画像が動画である場合、複数の単色を順次表示するパターンや画像の各隅がわかる単純な色パターンを用いるのが良い。また、制御装置４は、複数のディスプレイ２１〜２４をキャリブレーションする場合には、順次表示する際に、互いに異なるパターンの画像を用いる。
【００１８】
また、制御装置４は、被制御装置２が発した音をマイクロホンアレーを用いて得た音響情報に基づいて、被制御装置２の位置を同定する。このとき、制御装置４は、被制御装置２が複数ある場合、被制御装置２がそれぞれ異なる音を発するよう制御する。被制御装置２が発する音は、制御装置４により制御できる音及び被制御装置２の機器の動作音を含む。制御装置４は、マーカーで反射した光に基づいて、再帰反射マーカーを含む被制御装置２の位置を同定する。また、被制御装置２が、所定のパターンで光、電磁波、及び音のうち少なくとも１つを発する場合、制御装置４は、被制御装置２が発するパターンを検出することによって被制御装置２の位置を同定する。
【００１９】
前記制御装置４は、被制御装置２を撮影した画像情報と、データベース５に記憶された所定の形状を有する被制御装置２の形状に関する情報に基づいて、前記被制御装置２を特定し、被制御装置４の位置を同定する。
【００２０】
制御装置４は、俯瞰カメラ３２で撮影した画像中の被制御装置２の位置情報と、各機器を自動的に対応付けてデータベース５に格納する。位置情報は、各装置の表示領域、プリンタ、マイク、スピーカー等の位置などの領域を含む。制御装置４は、マイクロホンアレー３１から得た音源情報に基づいて、被制御装置２の位置を同定する。また、制御装置４は、前記マーカーで反射した電磁波に基づいて、被制御装置２の位置を同定する。
【００２１】
さらに、制御装置４は、被制御装置２が発する光を検出することによって被制御装置２の位置を同定する。また、本質的に制御できないものについては、被制御装置２の画像的特徴、被制御装置２に付加されたバーコードなどを俯瞰カメラ３２により検出して被制御装置２の位置を検出する。制御装置２の画像的特徴（形状に関する情報）や被制御装置２に付加されたバーコードに関する情報は、あらかじめデータベース５に格納されている。制御装置４は、被制御装置２を撮影した画像情報と、前記データベース５に格納された被制御装置の形状に関する情報やバーコードに関する情報に基づいて、被制御装置２の位置を同定する。
【００２２】
図２は、俯瞰カメラ３２の画像を説明するための図である。環境１００は、表示装置１１０、１２０、１２２、ノートブックコンピュータ１３０、タブレットＰＣ１４０、ＰＤＡ１５０を備える。構成要素１１０〜１５０は、会議室に設定される状態で図示されている。一般に、表示装置１１０〜１２２が固定されているのに対して、移動装置１３０〜１５０は環境中を移動することができる。表示装置１１０、１２０、１２２は、図１で示した表示領域を含むディスプレイ２１〜２４に対応する。図示は省略するが、プリンタ、マイク、スピーカーも俯瞰カメラ３２の画像中にあるものとする。
【００２３】
次に、制御装置４の処理の流れを説明する。図３は、制御装置４の処理の流れを示す図である。ステップＳ１０１で、制御装置４は、被制御装置２の表示領域中の画像・色を制御できるかどうかを判断し、被制御装置２の表示領域中の画像・色が制御できると判断した場合、ステップＳ１０２で、その被制御装置２を画像制御が可能な装置のリストに加える。ステップＳ１０１で、制御装置４は、被制御装置２の表示領域中の画像・色を制御できないと判断した場合、ステップＳ１０３で、被制御装置２の音を制御できるかどうかを判断し、音が制御できると判断した場合、ステップＳ１０４で、その被制御装置２を音が制御可能な装置のリストに加える。
【００２４】
ステップＳ１０３で、制御装置４は、被制御装置２の音を制御できないと判断した場合、ステップＳ１０５で、被制御装置２に光学的特徴があるかどうかを判断し、被制御装置２に光学的特徴があると判断した場合、ステップＳ１０６で、光学的特徴のある装置のリストに加える。ステップＳ１０５で、制御装置４は、被制御装置２に光学的特徴がないと判断した場合、ステップＳ１０７で、制御した画像による装置を同定し、ステップＳ１０８で、音源による装置を同定し、ステップＳ１０９で、光学的特徴のある装置を同定し、ステップＳ１１０に進む。ステップＳ１１０で、制御装置４は、同一装置で複数の特徴があるものについて、情報融合を行い、処理を終了する。
【００２５】
図４は、図３のステップＳ１０７の制御した画像による装置の同定処理の流れを示す図である。図５は、制御した画像による装置の同定を説明するための図である。この処理は順次または並列に行うことができる。ステップＳ２０１で、制御装置４は、各ディスプレイ２１〜２４に異なる色を表示するように指示する。ステップＳ２０２で、制御装置４は、俯瞰カメラ３２により、状況を撮影し、画像６１を記録する。
【００２６】
ステップＳ２０３で、制御装置４は、各ディスプレイ２１〜２４の色を変える指示をする。ステップＳ２０４で、制御装置４は、俯瞰カメラ３２により、状況を撮影し、画像６２を記録する。ステップＳ２０５で、制御装置４は、画素ごとに画像６１のＲＧＢ値から画像６２のＲＧＢ値を減算し画像６３を得て、各ディスプレイ２１〜２４の表示領域を同定する。これによって、ディスプレイ２１〜２４の位置を同定することができる。
【００２７】
図６は、図３のステップＳ１０８の音源による装置の同定処理の流れを示す図である。この処理は順次行うことができる。図７は、音源による同定処理を説明するための図である。図７において、横軸は方向、縦軸は尤度、Ｌ１は機器１動作時、Ｌ２機器２動作時、Ｌ３は背景雑音をそれぞれ示す。マイクロホンアレーでは、音の到着時間の差から、方向ごとに音の強さを観測することができる。２つ以上のマイクを並べて、入力した音声信号の相関を取り、到着時間の差に相当する時間をずらしながら、相関係数を計算すると、方向ごとの尤度を求めることができる。
【００２８】
ステップＳ３０１で、制御装置４は、各装置を制御して信号音、雑音、動作音などの音を止めるように指示する。ステップＳ３０２で、制御装置４は、マイクロホンアレー３１により、状況を記録し、背景音パターンを得る。ステップＳ３０３で、制御装置４は、被制御装置２を制御して信号音・雑音・動作音などの音を順次、出すように指示する。ステップＳ３０４で、制御装置４は、マイクロホンアレーにより、状況を記録し、機器ごとの記録音声パターンを得る。ステップＳ３０５で、制御装置４は、背景音パターンと、機器ごとの記録音声パターンを比較して、方向ごとの尤度を算出する。このようにして、音を発する被制御装置２の位置を同定することができる。
【００２９】
図８は、図３のステップＳ１０９の光学的特徴のある装置の同定処理の流れを示す図である。この処理は順次または並列に行うことができる。図９は、光学的特徴のある装置の同定処理を説明するための図である。図９（ａ）は、ビーズ型再帰反射可能なマーカー７１及びプリズム型再帰反射可能なマーカー７２の例を示す図、同図（ｂ）は機器の識別子を記録したバーコード７３の例を示す図、同図（ｃ）は光源３３を近くに置いた俯瞰カメラ３２を示す図である。図９（ａ）に示すように、再帰反射マーカーは、プリズムやビーズを用いて、入射方向に光が反射するものである。図９（ｃ）に示すように、カメラ３２の近くに置かれた光源３３から光を照射すると、再帰反射マーカー７１及び７２に反射して、カメラ３２に光が入射する。例えば、比較的強力な赤外光を用い、カメラ３２に赤外のみを透過するフィルターを付けると、撮像された画像には、マーカーの部分だけが浮き出した画像を得ることができる。
【００３０】
更に、光源３３をｏｎ/ｏｆｆし、差分を検出すると、他の赤外光（例えば、太陽光）などの影響を低減することができる。また、被制御対象の識別子を記録したバーコード７２を被制御対象２に付けて、これを俯瞰カメラ３２で撮影し、バーコード７２の位置を特定して被制御対象の位置を特定するようにしてもよい。このようにシステム１は、俯瞰カメラ３２の光軸上ないしは近傍に置かれた光源３３とを備え、制御装置４は、俯瞰カメラ３２から光源３３から光を発したときの画像情報と、光源３３から光を発しないときの画像情報を取得し、これらの画像情報の差分を検出することにより、他の赤外光（例えば太陽光）などの影響を低減することができる。
【００３１】
ステップＳ４０１で、制御装置４は、俯瞰カメラ３２に設置した光源３３を消灯する。ステップＳ４０２で、制御装置４は、俯瞰カメラ３２で画像を撮影し、画像１を得る。ステップＳ４０３で、制御装置４は、俯瞰カメラ３２に設置した光源３３を点灯する。ステップＳ４０４で、制御装置４は、俯瞰カメラ３２で画像を撮影し、画像２を得る。ステップＳ４０５で、制御装置４は、画像２と画像１の差分から、機器のバーコード７３を読み取る。これによって、バーコード７３に対応する被制御装置２の位置を特定することが分かる。
【００３２】
なお、本発明による情報処理方法は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて実現され、プログラムをハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤまたはフレキシブルディスクなどの可搬型記憶媒体等からインストールし、または通信回路からダウンロードし、ＣＰＵがこのプログラムを実行することで、各ステップが実現される。
【００３３】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００３４】
【図１】システムの構成を示す図である。
【図２】俯瞰カメラ３２の画像を説明するための図である。
【図３】制御装置４の処理の流れを示す図である。
【図４】図３のステップＳ１０７の制御した画像による装置の同定処理の流れを示す図である。
【図５】制御した画像による装置の同定を説明するための図である。
【図６】図３のステップＳ１０８の音源による装置の同定処理の流れを示す図である。
【図７】音源による同定処理を説明するための図である。
【図８】図３のステップＳ１０９の光学的特徴のある装置の同定処理の流れを示す図である。
【図９】光学的特徴のある被制御装置の例を示す図である。
【符号の説明】
【００３５】
１  システム
２  被制御装置
３  入力センサー
４  制御装置
５  データベース
【図１】
2006277283.tif 000003
【図２】
2006277283.tif 000004
【図３】
2006277283.tif 000005
【図４】
2006277283.tif 000006
【図５】
2006277283.tif 000007
【図６】
2006277283.tif 000008
【図７】
2006277283.tif 000009
【図８】
2006277283.tif 000010
【図９】
2006277283.tif 000011