(57)【要約】カメラベースのシステムは、所与のシステムユーザに対して、システムにおいてユーザが指さす方法を特徴付ける較正情報を決定する較正手順を実施する。システムは、ディスプレイ上の異なる位置にある２つ以上の点の組の各点をユーザに別々に指ささせる。システムは、ユーザによって指さされる各点に対して、システムのカメラの組の各カメラによって生成される画像中でユーザの指さししている指の位置を検出し、それにより各点に対して、指さししている指とディスプレイ上の対応する点とが線を特定するようにさせる。点と関連のある線は、基準点、或いは、ユーザに対する他のポインティング方向の較正情報を計算するために使用される。ユーザに対する較正情報は、システムのデータベースにユーザ識別情報と記憶され、そのユーザに対するその後のポインティング方向の決定において利用されてもよい。
2004504675.tif 000002
【特許請求の範囲】
【請求項１】
カメラベースのシステムにおいてユーザに対してポインティング方向の較正を実施する方法であって、
上記システムにおいて異なる位置にある２つ以上の点の組の各点を別々に指さすよう上記ユーザを導く段階と、
上記ユーザが指さす上記各点に対し、上記システムの一つ以上のカメラ夫々によって生成される画像中で上記ユーザの指さししている指の位置を検出し、上記各点に対して上記指さししている指の上記位置と対応する点とが線を特定する段階と、
上記２つ以上の点に関連する線に少なくとも部分的に基づいて上記ユーザに対するポインティング方向の較正情報を計算する段階とを有する方法。
【請求項２】
上記システムは少なくとも２台のカメラを有し、上記検出段階は、第１のカメラによって生成される画像、及び、第２のカメラによって生成される画像の両方において上記ユーザの指さししている指の上記位置を決定することを含む請求項１記載の方法。
【請求項３】
上記ユーザに対してユーザ識別情報を決定する段階と、上記ユーザ識別情報と関連して上記ユーザに対する上記較正情報を記憶する段階とを更に含む請求項１記載の方法。
【請求項４】
上記計算段階は、上記２つ以上の点と関連する上記線の交点として少なくとも部分的に上記ユーザに対する上記較正情報を決定することを含む請求項１記載の方法。
【請求項５】
上記較正情報は上記ユーザと関連する基準点を有する請求項１記載の方法。
【請求項６】
上記基準点は、上記ユーザの頭の上、或いは、上記頭の近くの点を含む請求項５記載の方法。
【請求項７】
上記システムのカメラによって生成される２つ以上の画像中で上記ユーザの対称中心線を決定する段階と、上記較正情報と上記ユーザの上記対称中心線との間の関係が特定の基準を満たすか否かを判断することで上記較正情報を確認する段階とを更に含む請求項１記載の方法。
【請求項８】
上記点の少なくともサブセットは、上記システムのディスプレイ上に表わされるアイコンを有する請求項１記載の方法。
【請求項９】
上記アイコンの一つのだけが所与の時間の点で上記ディスプレイ上に表わされる請求項８記載の方法。
【請求項１０】
上記アイコンの少なくともサブセットは、上記ディスプレイ上に同時に表わされる請求項８記載の方法。
【請求項１１】
カメラベースのシステムにおいてユーザに対してポインティング方向の較正を実施することに使用する装置であって、
複数のカメラと、
上記複数のカメラに接続され、
（ｉ）上記カメラベースのシステムにおいて異なる位置にある２つ以上の点の組の各点を別々に指さすよう上記ユーザを導き、
（ｉｉ）上記ユーザが指さす上記各点に対し、上記複数のカメラの少なくともサブセット夫々によって生成される画像中で上記ユーザの指さししている指の位置を検出し、上記各点に対して上記指さししている指の上記位置と対応する点とが線を特定し、
（ｉｉｉ）上記２つ以上の点と関連する上記線に少なくとも部分的に基づいて上記ユーザに対するポインティング方向の較正情報を計算するよう実施される処理システムとを有する装置。
【請求項１２】
上記処理システムは、上記カメラの第１のカメラによって生成される画像、及び、上記カメラの第２のカメラによって生成される画像の両方において上記ユーザの上記指さししている指の上記位置を決定する請求項１１記載の装置。
【請求項１３】
上記処理システムは、上記ユーザに対するユーザ識別情報を決定し、上記ユーザ識別情報と関連して上記ユーザに対する上記較正情報を記憶するよう更に実施される請求項１１記載の装置。
【請求項１４】
上記処理システムは、上記２つ以上の点と関連のある上記線の交点として少なくとも部分的に上記ユーザに対する上記較正情報を決定する請求項１１記載の装置。
【請求項１５】
上記較正情報は、上記ユーザと関連のある基準点を含む請求項１１記載の装置。
【請求項１６】
上記基準点は、上記ユーザの頭の上、或いは、上記頭の近くの点を含む請求項１５記載の装置。
【請求項１７】
上記処理システムは、上記カメラによって生成される２つ以上の画像において上記ユーザの対称中心線を決定し、上記較正情報と上記ユーザの上記対称中心線との間の関係が特定の基準を満たすか否かを判断することで上記較正情報を確認するよう更に実施される請求項１１記載の装置。
【請求項１８】
上記点の少なくともサブセットは、上記カメラベースのシステムのディスプレイ上に表わされるアイコンを有する請求項１１記載の装置。
【請求項１９】
上記アイコンの一つだけが上記ディスプレイ上で所与の時間の点において表わされる請求項１８記載の装置。
【請求項２０】
上記アイコンの少なくともサブセットは、上記ディスプレイ上に同時に表わされる請求項１８記載の装置。
【請求項２１】
カメラベースのシステムにおいてユーザに対してポインティング方向の較正を実施することに使用される一つ以上のコンピュータプログラムを記憶する記憶媒体であって、プロセッサによって実行されるとき上記一つ以上のコンピュータプログラムは、
上記システムにおいて異なる位置にある２つ以上の点の組の各点を別々に指さすよう上記ユーザを導き、
上記ユーザが指さす上記各点に対し、上記システムの一つ以上のカメラ夫々によって生成される画像中で上記ユーザの指さししている指の位置を検出し、上記各点に対して上記指さししている指の上記位置と対応する点とが線を特定し、
上記２つ以上の点に関連する線に少なくとも部分的に基づいて上記ユーザに対するポインティング方向の較正情報を計算することを実行する、記憶媒体。
【発明の詳細な説明】
【０００１】
［発明の分野］
本発明は、一般的に画像信号処理の分野に係わり、より特定的には、ビデオ会議及び他のカメラベースシステムの適用法において使用する較正技法に関わる。
【０００２】
［発明の背景］
従来のビデオ会議システム及び他の公知のカメラベースのシステムでは、画像信号処理手法を用いて特定の参加者が指さす方向を決定することが望ましい場合がある。例えば、参加者は、白板、オブジェクト、或いは、別の場所の参加者を指さす場合がある。システムは、これら及び他のケースにおいて、遠隔な参加者に可視となるよう指さししているディスプレイ、オブジェクト或いは参加者をカメラの視野に入れるために指さす方向（ポインティング方向）を使用することができる。
【０００３】
ビデオ会議及び他の用途におけるポインティング方向の決定に関連する問題として、異なる人が異なるように指さしすることである。例えば、何人かはユーザの腕の方向が所望のターゲット点と交差するようにして指さす。しかし他の人は、主に指と右目或いは左目のような基準点とを用いて指さす。指と目を用いて指さす場合には、腕の方向はその人が指さしている場所を正確に決定するには不十分となり得る。従って、全てのユーザのポインティング機構を特徴付けるために同じモデルを用いることは、ポインティング方向を決定することにおいて不正確さを生じさせる。
【０００４】
ユーザのポインティング方向の決定を伴う従来のカメラベースのシステムの例は、１９９９年５月６日に発行された“Ｈａｎｄ　Ｐｏｉｎｔｉｎｇ　Ａｐｐａｒａｔｕｓ”なる名称の欧州特許出願第ＥＰ９１３７９０Ａ１に記載されている。このシステムは、ユーザによって指さされている仮想の三次元空間の特定部分を決定するために異なる方向に向けられている一組のビデオカメラから得られる画像を処理する。しかしながら、このシステム及び他の同様の従来のシステムは、所与のユーザが指さす方法を決定する較正技法を提供していない。従って、システムは、ユーザ全員が同じ方法で指さすことを前提としたときに生ずる上記不正確さを生じさせる。
【０００５】
従って、個々のユーザが指さす特定の方法を決定することができ、それにより、ユーザがディスプレイ、オブジェクト、或いは別のユーザを指さしているとき、システムがより正確にポインティング方向を決定することをできるようにする較正技法を必要とすることが明らかである。
【０００６】
［発明の要約］
本発明は、カメラベースのシステムにおいて個々のユーザが指さす方法を特徴付ける較正情報を決定するために使用され得る較正技法を提供する。結果となる較正情報は、その後のポインティング方向決定において使用され、ポインティング方向決定が較正の無い場合よりもより正確であることを確実にする。
【０００７】
本発明によると、カメラベースのシステムは、ディスプレイ上の異なる位置にある２つ以上の点の組の各点をユーザに別々に指ささせる。この点は、ディスプレイ上の異なる位置に順次に、或いは、同時に表示されるアイコンの形態でもよい。システムは、ユーザによって指さされる各点に対して、システムのカメラの組の各カメラによって生成される画像中でユーザの指さししている指の位置を検出し、それにより、各点に対して、指さししている指の位置とディスプレイ上の対応する点とは線を特定する。点と関連のある線は、基準点又はユーザに対する他のポインティング方向の較正情報を計算するために使用される。例えば、基準点は、計算された線の交点として決定されてもよい。ユーザに対する較正情報は、システムのデータベース中にユーザ識別情報と記憶されてもよく、その後そのユーザに対するポインティング方向決定において利用される。
【０００８】
例示する実施例では、システムは、少なくとも２台のカメラを含み、第１のカメラによって生成される画像及び第２のカメラによって生成される画像の両方においてユーザの指さししている指の位置が決定される。
【０００９】
本発明の技法は、ビデオ会議システム、ビデオ監視及びモニタリングシステム、及び、ヒューマンマシン・インタフェースのようなカメラベースのシステムを含む幅広い種類の画像処理的用法において使用され得る。本発明のこれら及び他の特徴及び利点は、添付の図面及び以下の詳細な説明からより明らかとなるであろう。
【００１０】
［発明の詳細な説明］
図１は、本発明の実施例によるカメラベースのシステム１００を示す図である。カメラベースのシステム１００は、処理システム１０２と、一対のカメラ１０４−１及び１０４−２と、スクリーンベースディスプレイ１０６とを有する。処理システム１０２は、以下により詳細に説明するようにカメラ１０４−１及び１０４−２と、ディスプレイ１０６とを制御する。
【００１１】
各カメラ１０４−１及び１０４−２は、例えば、パン−チルト−ズーム（ＰＴＺ）カメラ、ズームカメラ、或いは、任意の他の適切な像捕捉装置でもよい。本願で使用する「カメラ」といった用語は、従って、全てのタイプの像捕捉装置を含むこととする。
【００１２】
図１においてユーザは、ディスプレイ１０６のプレゼンテーションスクリーン上の点Ｐの方に指１１２を向けることでシステム１００と対話している。ユーザの頭の基準点１１６とユーザが指１１２で差している点Ｐとの間には線１１４が示されている。図示するように、指１１２の先も基準線１１４上にある。
【００１３】
本発明の実施例では、システム１００の各ユーザに対して基準点１１６のような一意の基準点を決定する「パーソン・ポインティング」較正手順を提供する。一般的に基準点は、ユーザ上の、さもなければユーザと関連する一意の点、例えば、ユーザの左目或いは右目、目の間の点、頭の任意の他の点等に対応する。有利には、所与のユーザに対して決定された基準点は、そのユーザに対するポインティング方向の較正を提供し、そのユーザに対するその後のポインティング方向の決定の正確さを改善するために使用され得る。
【００１４】
図１のカメラベースのシステム１００は、例えば、ビデオ会議、ビデオ監視、ヒューマンマシン・インタフェース等を含む幾つかの異なる画像処理的用法のどれにおいても使用できるよう適応され得る。より一般的には、システム１００は、本発明による改善されたポインティング方向決定能力から利点を得ることができる全ての適用において使用され得る。
【００１５】
カメラベースのシステム１００の処理システム１０２は、コンピュータ、コンピュータの組、又は、本願記載のパーソン・ポインティング較正手順を実施することができるハードウェア、ソフトウェア、或いはファームウェア・エレメントの全ての他の配置として実現され得る。
【００１６】
図２は、処理システム１０２の一つの可能な実施を示す。この実施では、処理システム１０２は、バス１２４上で通信するよう接続されたプロセッサ１２０及びメモリ１２２を含む。バス１２４には、データベース１２６、カメラインタフェース１３０、ディスプレイドライバ１３２、及びコマンドインタフェース１３４も接続されている。
【００１７】
プロセッサ１２０は、本発明の較正手順を実施するためにメモリ１２２に記憶されたソフトウェアを実行する。プロセッサ１２０は、例えば、マイクロプロセッサ、中央処理ユニット（ＣＰＵ）、マイクロコントローラ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、又は、他のタイプの処理装置、並びに、このような装置の一部分或いは組み合わせを表わし得る。
【００１８】
メモリ１２２は、電子メモリ、光学或いは磁気ディスクベースメモリ、又は、テープベースメモリ、並びに、これら及び他のタイプの記憶装置の組み合わせ或いは一部分を表わし得る。データベース１２６も同様の方法で実施されてもよく、図２では別個の要素として示されているがメモリ１２２の一部として実現されてもよい。
【００１９】
カメラインタフェース１３０は、パン、チルト、或いは、ズーム制御信号のような制御信号をカメラ１０４−１及び１０４−２に供給する。カメラインタフェース１３０は、更に、カメラ１０４−１及び１０４−２からビデオ信号を受信し、これら信号を更なる処理に適切なフォーマットにするよう処理する。例えば、カメラ１０４−１及び１０４−２からのアナログビデオ信号は、カメラインタフェース１３０において対応するディジタル信号に変換され得る。
【００２０】
ディスプレイドライバ１３２は、プロセッサ１２０から受信したコマンド或いは他の信号に応答して、ディスプレイ１０６上に表示するよう適当な信号を供給する。例えば、図３の工程系統図と共に以下に説明するように、ディスプレイドライバ１３２は、プロセッサ１２０の指示の下でディスプレイ１０６に信号を送り、表示スクリーン上の異なる点で異なるアイコンが特定のシーケンスで表示され、ユーザを較正手順中導く。
【００２１】
コマンドインタフェース１３４は、所望の方法でカメラベースのシステム１００の動作を導くようユーザに入力コマンドを処理システム１０２に供給させることを可能にする。コマンドインタフェース１３４は、システムが要求する情報に対する適切なプロンプトをユーザに表示するために利用されてもよい。例えば、コマンドインタフェース１３４は、ユーザにある行為を行わせる、或いは、あるコマンドを入力させるよう導く音声生成器と、ユーザから発せられるボイスコマンドを検出する対応する音声検出器とを有してもよい。コマンドインタフェース１３４は、ユーザが保持する遠隔制御装置と通信するよう構成され得、それによりユーザは、例えば、表示スクリーン上に表示されるプロンプトに応答して遠隔制御装置にコマンドを入力することができる。他のタイプのコマンドも使用することができる。
【００２２】
処理システム１０２の要素又は要素の群は、別の場合では従来のデスクトップ或いは携帯式コンピュータの対応する要素、並びに、これら及び他の処理装置の一部分又は組み合わせを表わしてもよい。更に、本発明の他の実施例では、プロセッサ１２０、メモリ１２２、又は、処理システム１０２の他の要素の幾つかの或いは全ての機能は、単一の装置に組み合わされてもよい。例えば、処理システム１０２の一つ以上の要素がコンピュータ、テレビジョン、セットトップボックス、又は、他の処理装置の中に組み込まれるべきＡＳＩＣ或いは回路カードとして実現されてもよい。
【００２３】
図３は、本発明の実施例によるパーソン・ポインティング較正手順の工程系統図である。段階１５０では、所与のユーザは、本願では単に較正手順とも呼ばれる較正及び記憶手順を開始させるようシステムにコマンドを送る。例えば、ユーザは、ボイス、遠隔制御装置上のボタンの作動、或いは、任意の他の適切な機構によってこのようなコマンドを入力することができる。コマンドは、表示スクリーン上、或いは、可聴知覚機構を介してユーザに提示されるシステムのプロンプトに応答して与えられ得る。
【００２４】
段階１５２において、システム１００は、各カメラ１０４−１及び１０４−２によって生成される一つ以上の画像中でユーザの顔の位置を探し、そこからユーザ識別情報を引出す。この情報は、カメラ１０４−１及び１０４−２によって生成される画像から引出されるユーザのある顔の特徴を含んでもよく、身長、目の色或いは位置、電磁場等のような更なる生物測定情報によって補足されてもよい。このユーザ識別情報を収集することに関して、図１及び図２に図示しないが技術において周知の他の装置を使用してもよい。更に、ユーザをシステムに識別させるために多数の他のタイプの技法が使用され得る。
【００２５】
システム１００は、識別されたユーザに対して較正情報が特定の較正データベース、即ち、処理システム１０２のデータベース１２６中に既に記憶されたか否かを判断するために確認する。この場合、そのユーザに対して較正手順を実施する必要はない。システム１００は、システムと現在インタフェースしている所与のユーザが前に較正手順を実施したか否かを自動的に認識するよう構成されてもよい。或いは、段階１５０において入力されるコマンドが、ユーザがシステムとまだ較正手順を実行していない場合にだけユーザに較正コマンドを入力させるよう導くプロンプトに応答するものでもよい。
【００２６】
較正情報がユーザに対して予め記憶されていない場合、ユーザ識別情報は、処理システム１０２のデータベース１２６に記憶される。従って、データベース１２６は、システム１００の各ユーザに対して記憶されたユーザ識別情報の組を含む。所与のユーザに対して図３の処理の結果生成される較正情報は、そのユーザに対する識別情報と共に記憶される。
【００２７】
段階１５４において、システム１００は、ディスプレイ１０６の表示スクリーンを通じてユーザに一連のアイコンを表示する。各アイコンは、スクリーン上の異なる点に対応し、アイコンは、一つづつ、或いはグループとして表示されてもよい。例えば、表示スクリーンの中心に一つ、表示スクリーンの各コーナーに一つづつと合計で５つのアイコンがあってもよい。アイコンの多数の他の配置も使用することができる。
【００２８】
各表示されたアイコンに対して、ユーザは、そのアイコンを指さし、自身が指定されたアイコンを現在指さしていることを示すフィードバックをシステムに与えるよう導かれる。例えば、システムは、ユーザにそのアイコンを指ささせるインストラクションと共に表示スクリーン上の特定のアイコンをハイライト、さもなければ表示してもよい。別の例として、インストラクションは、生成された音声出力として表わされてもよい。ユーザは、ボイスコマンド、或いは、遠隔制御装置のボタンを作動するような他の適当な入力機構を用いてシステムにフィードバックを供給することができる。
【００２９】
段階１５４に示すように、各アイコンに対してシステム１００は、カメラ１０４−１及び１０４−２によって生成された画像中にユーザの指さししている指の位置を探す。従来の画像処理技法が指さししている指の位置を探すために使用されてもよい。これら技法は技術においてよく理解されているため、本願では詳細に説明しない。各カメラ１０４−１及び１０４−２によって生成された画像中で一旦指さししている指の位置が探されると、システムは、表示スクリーンの面の位置、カメラの位置、カメラの焦点距離等の知識を用いて指さししている指の三次元（３Ｄ）位置を計算する。システムは、３Ｄ指位置と表示スクリーン上の対応するアイコンの既知の位置とによって一意に決定される線を指さししている指の３Ｄ位置から計算する。このような線の例は線１１４であり、図１では、この線の方向にユーザ１１０は点Ｐを指さしている。
【００３０】
段階１５６では、ユーザが少なくとも２つの表示されたアイコンを指さした後、システムが特定のユーザに対する所望の基準点を計算された線の交点として決定することができることを示す。より特定的には、各表示されたアイコンに対して、システムは、段階１５４に説明したように対応する計算された線を決定する。これら計算された線の交点は、図１に従って前に説明した所望のユーザ指定の基準点を与える。この基準点は、段階１５２において記憶された対応するユーザ識別情報とデータベース１２６に記憶される。較正情報は、２つのアイコンだけを用いて生成され得るが、多くの適用法において、較正の正確さを高めるために２つ以上のアイコンを利用することが好ましい。
【００３１】
ある適用法において所与のユーザに対して決定された基準点は、例えば、ユーザの対称中心線を決定するようカメラ１０４によって生成された画像を処理し、その対象中心線上或いはその近くに基準点があることを確認することが確認され得る。しかしながら、このタイプの確認は本発明の要件でないことを理解すべきである。
【００３２】
前記のとおり、図３に示すように所与のユーザに対して決定された基準点は、所与のユーザに対する後のポインティング方向決定において利用されるべき較正を提供する。例えば、ユーザ１１０が上記手順を完了し、その後図１に示すように表示スクリーン上の点Ｐを指さす場合、システムは、較正情報として、事前に記憶された基準点１１６を引出し、その基準点及び指１１２の検出を利用してユーザが指さしている点Ｐを識別する線１１４を決定する。本発明の較正手順を使用することにより、システムの各ユーザに対してポインティング方向の決定が正確となることを確実にする。
【００３３】
本発明の上記実施例は、例示目的にすぎない。例えば、図１及び図２に示す特定のタイプ及び配置のシステム要素は例によってだけであり、本発明のパーソン・ポインティング較正技法を実現するために多数の代替のシステムコンフィギュレーションが使用され得る。更に、実施例における較正点はディスプレイ上のアイコンとして表わされているが、他の実施例は、システム中の他の位置で異なるタイプの点例えば、ディスプレイに隣接する壁上の点等を使用することもできる。更に、前述の通り、本発明は、電子、磁気、或いは光学記憶媒体に記憶される一つ以上のソフトウェアプログラムの形態で少なくとも部分的に実現され、処理装置、例えば、処理システム１０２のプロセッサ１２０によって実行され得る。これら及び添付の特許請求の範囲内にある多数の他の実施例は当業者に明らかである。
【図面の簡単な説明】
【図１】本発明によるポインティング方向の較正を有するカメラベースのシステムの実施例を示す図である。
【図２】図１のカメラベースのシステムにおいて利用され得る例示的な処理システムを示すブロック図である。
【図３】本発明による例示的なポインティング方向の較正手順を示す工程系統図である。
【図２】
2004504675.tif 000003
【国際公開パンフレット】
2004504675.tif 000004
2004504675.tif 000005
2004504675.tif 000006
2004504675.tif 000007
2004504675.tif 000008
2004504675.tif 000009
2004504675.tif 000010
2004504675.tif 000011
2004504675.tif 000012
2004504675.tif 000013
2004504675.tif 000014
2004504675.tif 000015
2004504675.tif 000016
2004504675.tif 000017
2004504675.tif 000018
【国際公開パンフレット（コレクトバージョン）】
2004504675.tif 000019
【国際調査報告】
2004504675.tif 000020
2004504675.tif 000021