(57)【要約】  本発明の装置は、不特定の人物に情報を報知するための情報処理装置である。この情報処理装置は、手の動作を誘引するための誘引画像を含む画面を表示させる。また、撮影された人物による手の動作を認識する。そして、撮影された人物の中で、認識した手の動作が誘引画像により誘引すべき手の動作に対応する人物を特定することを特徴とする。特定された人物を広告対象者とすることで、広告情報に対して注目するキッカケを作ることができる。
2012063561.tif 000002
【特許請求の範囲】
【請求項１】
不特定の人物に情報を報知するための情報処理装置であって、
手の動作を誘引するための誘引画像を含む画面を表示させる第１表示制御手段と、
撮影された人物による手の動作を認識する認識手段と、
前記撮影された人物の中で、前記認識手段が認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記特定手段は、前記誘引画像と、該誘引画像により誘引すべき手の動作とを対応付けて記憶する記憶手段を含み、
前記特定手段は、前記記憶手段を参照して、前記誘引画像と認識した前記手の動作との対応関係を判定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記特定手段が特定した人物に向けた広告情報を含む画面を表示させる第２表示制御手段を更に有することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記認識手段は、前記第２表示制御手段が前記人物に向けた広告情報を含む画面の表示を開始した後は、前記人物を対象者として手の動作を認識し、
前記第２表示制御手段は、前記対象者による手の動作に応答して前記広告情報を含む画面を表示させることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記第２表示制御手段は、前記人物に向けた広告情報を含む画面を表示させる前に、前記第１表示制御手段が表示させた画像により誘引した手の動作に対応する手の動作を返したことを前記人物に通知することを特徴とする請求項３または４に記載の情報処理装置。
【請求項６】
前記第２表示制御手段は、前記特定手段が特定した人物を撮影した画像と、前記人物の手の画像との少なくともいずれかの画像を含む画面を表示させることを特徴とする請求項３乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記手の動作は、指の動作を含むことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記認識手段は、ステレオカメラが撮影した２つの画像に基づいて、前記撮影された人物による手の動作を認識することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記誘引画像は、手を振る動作または手話を表わす画像を含むことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記誘引画像は、ジャンケンをする手の動作を表わす画像を含むことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１１】
前記特定手段は、前記認識手段が複数の人物による手の動作を認識した場合、前記誘引画像により誘引すべき手の動作に対応する手の動作を最初に検出した人物を特定することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記第１表示制御手段によって表示させた前記画像に対応する音声を出力させる音声出力制御手段をさらに備えることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
【請求項１３】
不特定の人物に情報を報知するための情報処理装置の制御方法であって、
手の動作を誘引するための誘引画像を含む画面を表示させる第１表示制御ステップと、
撮影された人物による手の動作を認識する認識ステップと、
前記撮影された人物の中で、前記認識ステップにより認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定ステップと、
を備えることを特徴とする情報処理装置の制御方法。
【請求項１４】
不特定の人物に情報を報知するための情報処理装置の制御プログラムを記憶する記憶媒体であって、
手の動作を誘引するための誘引画像を含む画面を表示させる第１表示制御ステップと、
撮影された人物による手の動作を認識する認識ステップと、
前記撮影された人物の中で、前記認識ステップにより認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定ステップと、
をコンピュータに実行させる制御プログラムを格納したことを特徴とする記憶媒体。
【請求項１５】
不特定の人物に情報を報知するための情報報知システムであって、
広告情報を含む画面を表示する表示手段と、
手の動作を誘引するための誘引画像を含む画面を前記表示手段に表示させる第１表示制御手段と、
撮影された人物による手の動作を認識する認識手段と、
前記撮影された人物の中で、前記認識手段が認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定手段と、
前記特定手段が特定した前記人物に向けた広告情報を含む画面を前記表示手段に表示させる第２表示制御手段と、
を備えることを特徴とする情報報知システム。
【請求項１６】
不特定の人物に情報を報知するための情報報知方法であって、
手の動作を誘引するための誘引画像を含む画面を、報知情報を含む画面を表示する表示手段に表示させる第１表示制御ステップと、
撮影された人物による手の動作を認識する認識ステップと、
前記撮影された人物の中で、前記認識ステップで認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定ステップと、
前記特定ステップにより特定された前記人物に向けた広告情報を含む画面を前記表示手段に表示させる第２表示制御ステップと、
を含むことを特徴とする情報報知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、不特定の人物に広告情報を報知するための技術に関する。
【背景技術】
【０００２】
不特定の人物に情報を報知する表示システムとして、デジタルサイネージを用いたシステムが知られている。例えば、特許文献１には、カメラによる撮影画像から求めた注目時間と画面からの距離とに基づいて表示画面への注目度を判定し、注目している人物に応じた情報を報知する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2009-176254号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献記載の技術は、報知情報に対し既に注目していることを前提にして更に注目度を高める技術であり、報知情報に対して注目するキッカケを作ることはできなかった。【０００５】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る装置は、
不特定の人物に情報を報知するための情報処理装置であって、
手の動作を誘引するための誘引画像を含む画面を表示させる第１表示制御手段と、
撮影された人物による手の動作を認識する認識手段と、
前記撮影された人物の中で、前記認識手段が認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定手段と、
を備えることを特徴とする。【０００７】
上記目的を達成するため、本発明に係る方法は、
不特定の人物に情報を報知するための情報処理装置の制御方法であって、
手の動作を誘引するための誘引画像を含む画面を表示させる第１表示制御ステップと、
撮影された人物による手の動作を認識する認識ステップと、
前記撮影された人物の中で、前記認識ステップにより認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定ステップと、
を備えることを特徴とする。【０００８】
上記目的を達成するため、本発明に係る記憶媒体は、
不特定の人物に情報を報知するための情報処理装置の制御プログラムを記憶する記憶媒体であって、
手の動作を誘引するための誘引画像を含む画面を表示させる第１表示制御ステップと、
撮影された人物による手の動作を認識する認識ステップと、
前記撮影された人物の中で、前記認識ステップにより認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定ステップと、
をコンピュータに実行させる制御プログラムを格納したことを特徴とする。【０００９】
上記目的を達成するため、本発明に係るシステムは、
不特定の人物に情報を報知するための情報報知システムであって、
広告情報を含む画面を表示する表示手段と、
手の動作を誘引するための誘引画像を含む画面を前記表示手段に表示させる第１表示制御手段と、
撮影された人物による手の動作を認識する認識手段と、
前記撮影された人物の中で、前記認識手段が認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定手段と、
前記特定手段が特定した前記人物に向けた広告情報を含む画面を前記表示手段に表示させる第２表示制御手段と、
を備えることを特徴とする。【００１０】
上記目的を達成するため、本発明に係る方法は、
不特定の人物に情報を報知するための情報報知方法であって、
手の動作を誘引するための誘引画像を含む画面を、報知情報を含む画面を表示する表示手段に表示させる第１表示制御ステップと、
撮影された人物による手の動作を認識する認識ステップと、
前記撮影された人物の中で、前記認識ステップで認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定ステップと、
前記特定ステップにより特定された前記人物に向けた広告情報を含む画面を前記表示手段に表示させる第２表示制御ステップと、
を含むことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、報知情報に対して注目するキッカケを作ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。
【図２】本発明の第２実施形態に係る情報処理装置を含む情報報知システムの構成を示すブロック図である。
【図３】本発明の第２実施形態に係る情報処理装置のハードウエア構成を示すブロック図である。
【図４】本発明の第２実施形態に係る撮影した手のデータの構成を示す図である。
【図５】本発明の第２実施形態に係るハンドジェスチャーＤＢの構成を示す図である。
【図６】本発明の第２実施形態に係る対象者判別テーブルの構成を示す図である。
【図７】本発明の第２実施形態に係る情報処理装置の動作手順を示すフローチャートである。
【図８】本発明の第２実施形態に係る報知プログラム実行処理の動作手順を示すフローチャートである。
【図９】本発明の第３実施形態に係る人物認識ＤＢの構成を示す図である。
【図１０】本発明の第３実施形態に係る報知プログラムＤＢの構成を示す図である。
【図１１】本発明の第３実施形態に係る報知プログラム選択テーブルの構成を示す図である。
【図１２】本発明の第３実施形態に係る情報処理装置の動作手順を示すフローチャートである。
【図１３】本発明の第４実施形態に係る情報報知システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１４】
［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、不特定の人物１０４に情報を報知するための装置である。
【００１５】
図１に示すように、情報処理装置１００は、第１表示制御部１０１と、認識部１０２と、特定部１０３と、を含む。第１表示制御部１０１は、手の動作を誘引するための誘引画像を含む画面を表示させる。認識部１０２は、撮影された人物１０４による手の動作を認識する。特定部１０３は、撮影された人物の中で、認識部１０２が認識した手の動作が、第１表示制御部１０１が表示させた誘引画像により誘引すべき手の動作に対応する場合に、その手を持つ人物１０５を特定する。
【００１６】
本実施形態によれば、広告情報に対して注目するキッカケを作ることができる。
【００１７】
［第２実施形態］
第２実施形態においては、ステレオカメラにより奥行きの判別も可能にして手の動作（以下、ハンドジェスチャーと称する）を容易により正確に検出できる情報処理装置を説明する。また、カメラやビデオカメラを誘引するための誘引画像に反応した人物（以下、対象者とも呼ぶ）へフォーカスして、対象者とハンドジェスチャーによる対話が可能となる情報処理装置を説明する。
【００１８】
《情報処理装置を含む情報報知システムの機能構成》
図２は、第２実施形態に係る情報処理装置２１０を含む情報報知システム２００の構成を示すブロック図である。なお、図２では、独立した情報処理装置２１０を図示しているが、複数の情報処理装置２１０がネットワークを介して接続されたシステムにも拡張可能である。以下、データベースについては、ＤＢと略して記載する。
【００１９】
図２の情報報知システム２００は、情報処理装置２１０と、ステレオカメラ２３０と、表示装置２４０と、スピーカ２５０と、を有する。ステレオカメラ２３０は、不特定の人物１０４を撮影して、情報処理装置２１０に撮影した画像を送ると共に、情報処理装置２１０により制御されて対象者にフォーカスすることが可能である。表示装置２４０は、情報処理装置２１０から報知プログラムに従って宣伝あるいは広告メッセージなどの広告情報を報知する。本実施形態では、宣伝あるいは広告メッセージの中、あるいは宣伝あるいは広告メッセージに先立って、不特定の人物１０４に対しハンドジェスチャーによる応答を誘引する誘引画像を含む画面を表示する。そして、応答した人物１０５をステレオカメラ２３０からの画像で確認すると、応答した人物１０５とのハンドジェスチャーによる対話が可能な画面を出力する。スピーカ２５０は、表示装置２４０の画面、あるいは応答した人物１０５とのハンドジェスチャーによる対話を促進するための、補助音声を出力する。
【００２０】
（情報処理装置の機能構成）
情報処理装置２１０は、以下の構成要素を含む。なお、情報処理装置２１０は１つの装置である必要はなく、複数の装置に機能が分散してトータルとして図２の機能を実現できればよい。以下、本実施形態における動作手順に従って、各機能構成部を説明する。
【００２１】
入出力インタフェース２１１は、ステレオカメラ２３０、表示装置２４０、スピーカ２５０と、情報処理装置２１０との間のインタフェースを果たす。
【００２２】
まず、所定の報知プログラム、あるいは初期プログラムが報知プログラム制御部２１７により制御されて、出力制御部２２１から入出力インタフェース２１１を介して画像データや音声データが表示装置２４０やスピーカ２５０に送信される。つまり、出力制御部２２１は、表示装置２４０にハンドジェスチャーを誘引するための誘引画像や広告情報などを表示させる表示制御部として機能し、さらに、スピーカ２５０に誘引画像や広告画像に対応する音声を出力させる音声出力制御部として機能する。
【００２３】
報知プログラムには、不特定の人物１０４に対してハンドジェスチャーを誘引する内容（例えば、手を振る動作、ジャンケンへの参加を呼びかける動作、手話などを示す誘引画像）が含まれている。所定の報知プログラムにより報知する場合は、報知プログラム制御部２１７によって報知プログラムＤＢ２１６から選ばれる。また、報知プログラム制御部２１７から初期プログラムあるいは報知プログラムの内容を得た誘引ハンドジェスチャー取得部２１８は、プログラムから不特定の人物１０４に求める誘引ハンドジェスチャーを取得する。誘引ハンドジェスチャー取得部２１８は、報知プログラムに含まれる誘引画像と、誘引画像により誘引すべきハンドジェスチャーとの対応関係を記憶するテーブル２２２を備えている。
【００２４】
次に、ステレオカメラ２３０が撮影した不特定の人物１０４の画像が、入出力インタフェース２１１を介して画像記録部２１２に送られて、ハンドジェスチャーが判定可能な時間の画像履歴が記録される。手検出部２１３は、ステレオカメラ２３０が撮影した不特定の人物１０４の画像の中から手の画像を検出する。かかる手の画像の検出は、例えば、色と形状と位置などから検出される。なお、次のハンドジェスチャー判定部２１４の判定との協働によって、例えば、手袋をしている場合も含める場合は、色による選別はしないなどの変更も可能である。ハンドジェスチャー判定部２１４は、手検出部２１３で検出した不特定の人物１０４の画像内の手の画像の特徴（図４参照）から、ハンドジェスチャーＤＢ２１５を参照して各手のハンドジェスチャーを判定する。ハンドジェスチャーＤＢ２１５には、手の位置や指の位置、あるいは時系列の変化などとハンドジェスチャーとが対応付けられて格納されている（図５参照）。
【００２５】
誘引ハンドジェスチャー取得部２１８が求めた誘引ハンドジェスチャーと、ハンドジェスチャー判定部２１４が判定した各手のハンドジェスチャーとは、ハンドジェスチャー比較部２１９において比較される。比較の結果、所定の範囲内で一致する場合には、ハンドジェスチャー比較部２１９はその旨を示す信号を出力する。なお、かかるハンドジェスチャー比較部２１９の比較はハンドジェスチャーにより異なる。例えば、手を振る場合は指の位置などは考慮されないし、ジャンケンの場合はグー、チョキ、パーの何れかであれば一致しているとする。また、手話の場合は、呼びかけ／返事などが一定範囲であれば一致しているとする。
【００２６】
ハンドジェスチャー比較部２１９から出力された信号は、ハンドジェスチャー判定部２１４とカメラ制御部２２０とに入力される。ハンドジェスチャー判定部２１４では、誘引ハンドジェスチャーと撮影した手のハンドジェスチャーとが対応する信号を受信すると、今判定した手を持つ人物（対象者）についての情報を報知プログラム制御部２１７に送信する。報知プログラム制御部２１７は、対象者へハンドジェスチャーを受け取ったことを示す通知情報を含む画面を表示させる。具体的には、対象者からハンドジェスチャーを受け取ったことを表わす文字や画像を表示したり、対象者の画像を画面に表示したりして応答する。さらに、第３実施形態で詳細に説明するが、この対象者に対応した報知プログラムの選択や報知プログラムの進行変更などを可能とする。一方、カメラ制御部２２０では、対象者をフォーカスするようにステレオカメラ２３０を動作させて、対象者のハンドジェスチャー判定に特化し、以降の報知プログラムでは対象者との対話形式のやりとりをスムースにする。
【００２７】
なお、図２におけるハンドジェスチャー比較部２１９における処理と動作、他の機能構成部との結線は一例であって、誘引ハンドジェスチャーと撮影した手のハンドジェスチャーとが対応するとそれに応答する動作を実現できれば、図２の構成に限らない。
【００２８】
《情報処理装置のハードウエア構成》
図３は、第２実施形態に係る情報処理装置２１０のハードウエア構成を示すブロック図である。なお、図３には、第３実施形態で使用されるデータやプログラムは、破線によって図示されている。
【００２９】
図３で、ＣＰＵ３１０は演算制御用のプロセッサであり、プログラムを実行することで図２Ｂの各機能構成部を実現する。ＲＯＭ３２０は、初期データ及びプログラムなどの固定データ及びプログラムを記憶する。通信制御部３３０は、ネットワークを介して外部装置と通信する。通信制御部３３０により、各種サーバなどから報知プログラムがダウンロードされたり、あるいはステレオカメラ２３０や表示装置２４０などとの信号がネットワークを介して送受信されたりしてもよい。通信は無線でも有線でもよい。入出力インタフェース２１１は図２と同様に、ステレオカメラ２３０や表示装置２４０などとインタフェースを果たす。
【００３０】
ＲＡＭ３４０は、ＣＰＵ３１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ３４０には、本実施形態の実現に必要なデータを記憶する領域および報知プログラムを記憶する領域が確保されている。図３の３４１は、表示装置２４０に表示される表示画面データである。３４２は、ステレオカメラ２３０が撮影した画像データである。３４３は、ステレオカメラ２３０が撮影した画像データから検出された手のデータである。３４４は、撮影した各手のデータから判定したハンドジェスチャーである。３４５は、表示装置２４０に表示された画面に含まれる誘引画像により誘引する誘引ハンドジェスチャーである。３４６は、撮影したハンドジェスチャーと誘引ハンドジェスチャーとが対応するため、その手を持つ人物を対象者と判別する対象者判別テーブルである（図６参照）。３４７は、判定された対象者にステレオカメラ２３０をフォーカスするなどのカメラ制御を行なうカメラ制御データである。３４８は、第３実施形態で使用される、画像から判別された対象者の属性に基づいて報知プログラムを選択するための、報知プログラム選択テーブルである。３４９は、現在、情報処理装置２１０が実行している報知プログラムである。なお、他のストレージ３５０に格納されたプログラムも、ＲＡＭ３４０にロードされてＣＰＵ３１０により実行され、図２の各機能構成部の機能を実現する。
【００３１】
図３のストレージ３５０は、データベースや各種のパラメータ、ＣＰＵ３１０が実行するプログラムを、不揮発に記憶する大容量記憶装置である。ストレージ３５０には、本実施形態の実現に必要な以下のデータ又はプログラムが記憶されている。
【００３２】
本実施形態では、ハンドジェスチャーＤＢ２１５以外に、以下のデータベースを格納する。３５２は、第３実施形態で使用される、ハンドジェスチャーで応答した対象者の属性を画像から認識するために、対象者の画像の特徴と属性（例えば、性別や年齢）とを対応付けて格納する人物認識ＤＢである（図９参照）。２１６は、特に第３実施形態で使用される、対象者の属性やあるいは曜日や時間帯などの環境に応じて選択される複数の報知プログラムを格納する報知プログラムＤＢである（図１０参照）。
【００３３】
本実施形態では、以下のプログラムを格納する。３５４は、本情報処理装置２１０が実行するメインの情報処理プログラムである（図７、図１２参照）。３５５は、情報処理プログラム３５４に含まれる、対象者判別を行なう対象者判別モジュールである。３５６は、情報処理プログラム３５４に含まれる、報知プログラムの実行を制御する報知プログラム実行モジュールである（図８参照）。３５７は、第３実施形態で実行される、情報処理プログラム３５４に含まれる、対象者の属性に応じて報知プログラムを選択する報知プログラム選択モジュールである。
【００３４】
なお、図３には、本実施形態に必須なデータやプログラムのみが示されており、ＯＳなどの汎用のデータやプログラムは図示されていない。
【００３５】
《情報処理装置で使用されるデータの構成》
以下に、第２実施形態の情報処理装置２１０で使用される特徴的なデータの構成を示す。
【００３６】
（撮影した手のデータの構成）
図４は、第２実施形態に係る撮影した手のデータ３４３の構成を示す図である。
【００３７】
図４には、ハンドジェスチャーとして、「手を振る」または「ジャンケン」を判定するために必要な手のデータ３４３の一例を示している。なお、「手話」などについても、その判定に必要な手のデータを抽出することにより、判定が可能になる。
【００３８】
図４の上段４１０は、「手を振る」ハンドジェスチャーを判定するために必要なデータ例である。４１１は、撮影された不特定の人物の手について付された各手を識別する手のＩＤである。４１２は、手の位置、ここではその高さを抽出している。４１３は、移動履歴であり、図４には「一方向」、「往復運動」、「静止（間欠）」などが抽出されている。４１４は移動距離であり、４１５は移動速度である。かかる移動距離や移動速度が、例えば、「手を振る」ジェスチャーか、「人を呼ぶ」ジェスチャーかを判別するために使用される。４１６は、顔の方向であり、注目しているか否かの判断に使用される。４１７は、この手を持つ人物を識別する人物ＩＤであり、４１８にはこの人物ＩＤの人物がどこに居るかの人物位置が抽出される。この人物位置により、ステレオカメラ２３０のフォーカス位置が決定される。あるいは３次元表示である場合は、この人物位置への表示画面の方向が決められても良い。また、スピーカ２５０による音声の内容や指向性が調整されてもよい。なお、「手を振る」ハンドジェスチャーを判定するデータには、指の位置データなどが記載されていないが、指の位置を追加してもよい。
【００３９】
図４の下段４２０は、「ジャンケン」ハンドジェスチャーを判定するために必要なデータ例である。４２１は、撮影された不特定の人物の手について付された各手を識別する手のＩＤである。４２２は、手の位置、ここではその高さを抽出している。４２３は、親指の３次元の位置を示す。４２４は、人差指の３次元の位置を示す。４２５は、中指の３次元の位置を示す。４２６は、小指の３次元の位置を示す。４２７は、この手を持つ人物を識別する人物ＩＤであり、４２８にはこの人物ＩＤの人物がどこに居るかの人物位置が抽出される。なお、図４の例では薬指の位置は除いたが、これを含めてもよい。さらに、指だけでなく、掌や甲のデータやさらに詳細には指の関節位置などを判定に使用すれば、正確な判定が可能になる。
【００４０】
図４の各データを、ハンドジェスチャーＤＢ２１５に内容とマッチングすることで、ハンドジェスチャーが判定されることになる。
【００４１】
（ハンドジェスチャーＤＢの構成）
図５は、第２実施形態に係るハンドジェスチャーＤＢ２１５の構成を示す図である。図５も、図４に対応させて、上段５１０が「手を振る」を判定するＤＢの内容、下段５２０が「ジャンケン」を判定するＤＢの内容である。「手話」についても別途設けられる。
【００４２】
上段５１０の５１１は、各ジェスチャーと判定する「手の高さ」の範囲が記憶されている。５１２には、移動履歴が記憶されている。５１３には、移動距離の範囲が記憶されている。５１４には、移動速度の範囲が記憶されている。５１５には、顔の方向が記憶されている。５１６は、５１１から５１５の条件を満たすデータ（図４参照）についての「ハンドジェスチャー」が記憶されている。例えば、第１行の条件を満たせば「手を振る」ジェスチャーと判定される。第２行の条件を満たせば「人を呼ぶ」ジェスチャーと判定される。第３行の条件を満たせば「走る」ジェスチャーと判定される。本例では「手を振る」ジェスチャーが判定できればよく、図５には「手を振る」ジェスチャーと紛らわしいジェスチャーを判別する一例を示した。逆に言えば、「手を振る」ジェスチャーを出来るだけ正確に判別するには、どんなデータが有効であるかによって、抽出する手のデータの種類もハンドジェスチャーＤＢ２１５の構成も、追加あるいは変更される。
【００４３】
下段５２０の５２１は、各ジェスチャーと判定する「手の高さ」の範囲が記憶されている。下段５２０は「ジャンケン」の判別であるので、「手の高さ」の範囲は同じであり、この高さを外れると「ジャンケン」とは見なさない。５２２には親指位置が、５２３には人差指位置が、５２４には中指位置が、５２５には小指位置が記憶されている。なお、５２２から５２５の指の位置は、指の絶対位置ではなく指の相対位置であり、図４の指の位置のデータとの比較も相対位置の関係から「ジャンケン」のジェスチャーを判定する。図５には具体的数値は示していないが、第１行の指の位置関係は「グー」、第２行の指の位置関係は「チョキ」、第３行の指の位置関係は「パー」と判定する。「手話」については、「ジャンケン」の判定に類似して時系列の履歴を含むものとなる。
【００４４】
このハンドジェスチャーＤＢ２１５のデータと一致する、あるいは一定の範囲内にあるデータを持つ手が、対応するハンドジェスチャーとして判定される。この撮影された手からの判定結果の「ハンドジェスチャー」が、表示装置２４０の表示画面からの「誘引ハンドジェスチャー」に対応するかをハンドジェスチャー比較部２１９で判断する。
【００４５】
（対象者判別テーブルの構成）
図６は、第２実施形態に係る対象者判別テーブル３４６の構成を示す図である。
【００４６】
図６の前提として、図４の上段４１０の第２行の手のＩＤ（０００２）／人物ＩＤ（００１０）が「手を振る」ジェスチャーと判定され、図４の下段４２０の第３行の手のＩＤ（０００３）／人物ＩＤ（０００５）が「チョキ」ジェスチャーと判定されたとする。
【００４７】
図６の６０１は、人物ＩＤである。６０２は、撮影した画像の手から判定されたジェスチャーである。６０３は、表示装置２４０に表示された画面からの「誘引ジェスチャー」である。６０４は、「誘引ジェスチャー」と「撮影ジェスチャー」が対応する場合に、その手を持つ人物を対象者に、対応しない場合は「非対象者」とする判定結果である。
【００４８】
図６の例では、「誘引ジェスチャー」が「手を振る」の場合に、人物ＩＤ（００１０）が「手を振る」ジェスチャーをしているので、表示画面に応答したものとして「対象者」と判定される。しかし、もし「誘引ジェスチャー」が「手話」である場合は「非対象者」と判断される。また、「誘引ジェスチャー」が「ジャンケン」の場合に、人物ＩＤ（０００５）が「チョキ」ジェスチャーをしているので、表示画面に応答したものとして「対象者」と判定される。しかし、もし「誘引ジェスチャー」が「手話」である場合は「非対象者」と判断される。なお、「誘引ジェスチャー」と「撮影ジェスチャー」とが対応しない場合でも、「手を振る」ジェスチャーが画面に向かって行なわれていれば、優先的に「対象者」とする処理も可能である。
【００４９】
《情報処理装置の動作手順》
図７は、第２実施形態に係る情報処理装置の動作手順を示すフローチャートである。かかるフローチャートは、図３のＣＰＵ３１０がＲＡＭ３４０を使用しながら実行して図２の各機能構成部の機能を実現する。
【００５０】
まず、ステップＳ７０１において、表示装置２４０に不特定の人物のハンドジェスチャーを誘引する誘引画像を表示させる。次に、ステップＳ７０３において、ステレオカメラ２３０で撮影をして画像を取得する。ステップＳ７０５において、取得した画像から手を検出し、その手の「ハンドジェスチャー」を検出する。ステップＳ７０７において、「検出ジェスチャー」が「誘引ジェスチャー」に対応しているかを判断する。対応していなければステップＳ７０９に進んで、取得した画像内の全ての手の「ハンドジェスチャー」を検出して判定したかを判断する。全ての手の「ハンドジェスチャー」の検出が終了してなければステップＳ７０５に戻って、次の手について判定を行なう。全ての手の「ハンドジェスチャー」の検出が終了していればステップＳ７０３に戻って、新たな画像をステレオカメラ２３０から取得して、「ハンドジェスチャー」の検出を繰り返す。
【００５１】
「検出ジェスチャー」が「誘引ジェスチャー」に対応している場合には、ステップＳ７１１において、「検出ジェスチャー」の手を持つ人物を「対象者」と判定する。つまり、誘引画像により誘引すべきハンドジェスチャーに対応する手の動作を最初に検出した人物を対象者とする。ステップＳ７１３においては、カメラ制御部２２０を使って、ステレオカメラ２３０を「対象者」にフォーカスする。ステップＳ７１５は、オプショナルな処理であり、「対象者」とのコンタクトを更に緊密にするため、画面による誘引に「対象者」が応答していることを感知したことを、「対象者」に対して報知する。例えば、文字表示や音声で報知してもよいし、フォーカスしてステレオカメラ２３０で撮影した「対象者」の画像を画面の一部に表示するなどによっても報知が可能である。
【００５２】
ステップＳ７１７において、報知プログラムの実行を開始する。かかる処理は図８においてさらに詳細に示す。報知プログラムの実行が終了すると、ステップＳ７１９において、報知処理の終了か否かを判定する。終了でなければステップＳ７０１に戻って、処理を繰り返す。
【００５３】
（報知プログラム実行処理の動作手順）
図８は、報知プログラム実行処理Ｓ７１７の動作手順を示すフローチャートである。なお、報知プログラムにおいては、表示画面からハンドジェスチャーを誘引するよりも、表示画面の変更や表示画面上の選択肢の選択を「対象者」に求めることになる。
【００５４】
報知プログラムの実行中も、ステップＳ８０１において、ステレオカメラ２３０から画像を取得する。この場合は、図７のステップＳ７１３で「対象者」にフォーカスしているので、「対象者」を含む周辺の拡大画像が取得される。ステップＳ８０３において、「対象者」の手を抽出し、「ハンドジェスチャー」を検出する。ステップＳ８０５において、検出した「ハンドジェスチャー」による「対象者」の指示を判断して、その指示に対応して報知プログラムを進行させる。ステップＳ８０７において、報知プログラムの終了となるまで、ステップＳ８０１に戻って処理を繰り返す。
【００５５】
［第３実施形態］
第３実施形態では、第２実施形態に加えて、ハンドジェスチャーにより「対象者」と判定された人物の属性（例えば、性別や年齢）を、ステレオカメラ２３０からの画像に基づいて判断し、属性に応じた報知プログラムを選択して実行する。なお、「対象者」の属性のみでなく、服装や行動傾向、あるいはグループなのかなどを判断して、それに応じて報知プログラムを選択してもよい。本実施形態によれば、「対象者」が引き続き報知プログラムに引きつけることが可能となる。
【００５６】
なお、第３実施形態における情報報知システム及び情報処理装置の構成は、第２実施形態と同様であるので重複する説明は省き、以下追加部分を説明する。
【００５７】
《情報処理装置で使用されるデータの構成》
第３実施形態の情報処理装置２１０では、図３に破線で示した、人物認識ＤＢ３５２、報知プログラムＤＢ２１６、報知プログラム選択テーブル３４８がデータとして追加される。また、プログラムとして、報知プログラム選択モジュール３５７が情報処理プログラム３５４の一部に追加される。
【００５８】
（人物認識ＤＢの構成）
図９は、第３実施形態に係る人物認識ＤＢ３５２の構成を示す図である。
【００５９】
図９には、内容を詳細には示さないが、撮影した「対象者」の画像から得られた「顔の特徴」９０１、「服装の特徴」９０２、「身長」９０３などに対応付けられて、「性別」９０４と「年齢」９０５とが記憶されている。かかる構成は一例であって、これに限定されない。
【００６０】
（報知プログラムＤＢの構成）
図１０は、第３実施形態に係る報知プログラムＤＢ２１６の構成を示す図である。
【００６１】
図１０には、報知プログラムを識別し、読み出しのキーとなる報知プログラムＩＤ１００１が記憶されている。それぞれの報知プログラムＩＤ、図１０では「００１」「００２」から各々の報知プログラムＡ（１０１０）と報知プログラムＢ（１０２０）とが読み出し可能である。図１０の例では、報知プログラムＡは「化粧品広告」のプログラム、報知プログラムＢは「マンション広告」のプログラムと仮定する。上記人物認識ＤＢ３５２を使って認識された「対象者」の属性に応じた報知プログラムが報知プログラムＤＢ２１６から選択されて実行されることになる。
【００６２】
（報知プログラム選択テーブルの構成）
図１１は、第３実施形態に係る報知プログラム選択テーブル３４８の構成を示す図である。
【００６３】
図１１の１１０１は、ハンドジェスチャーにより「対象者」となった人物ＩＤである。１１０２は、人物認識ＤＢ３５２により認識した「対象者」の「性別」である。１１０３は、「対象者」の「年齢」である。これらの「対象者」の属性などに対応付けられて、１１０４の報知プログラムＩＤが決定される。図１１の例では、「対象者」である人物ＩＤ（００１０）の人物は性別が「女性」、「年齢」は２０〜３０代と認識されたので、図１０の化粧品広告の報知プログラムＡが選択されて実行される。また、「対象者」である人物ＩＤ（０００５）の人物は性別が「男性」、「年齢」は４０〜５０代と認識されたので、図１０のマンション広告の報知プログラムＢが選択されて実行される。なお、かかる報知プログラムの選択は一例であって、これに限定されない。
【００６４】
《情報処理装置の動作手順》
図１２は、第３実施形態に係る情報処理装置の動作手順を示すフローチャートである。図１２のフローチャートは、図７のフローチャートにステップＳ１２０１とＳ１２０３を追加したものであり、後のステップは同様であるので、ここではこの２つのステップについて説明する。
【００６５】
ステップＳ１２０１において、図９のような人物認識ＤＢ３５２を参照して、「対象者」の属性を認識する。次に、ステップＳ１２０３において、図１１に示した報知プログラム選択テーブル３４８に従って、報知プログラムが報知プログラムＤＢ２１６から選択される。
【００６６】
［第４実施形態］
上記第２及び第３実施形態では、１つの情報処理装置による処理として説明をした。第４実施形態においては、複数の情報処理装置がネットワークを介して報知情報サーバに接続し、報知情報サーバからダウンロードされた報知プログラムを実行する構成を説明する。本実施形態によれば、互いの情報交換が可能になると共に、報知情報サーバに情報を集中して一元的に広告・宣伝を管理することが可能になる。なお、本実施形態の情報処理装置は、第２及び第３実施形態の情報処理装置と同等の機能を有しても良いし、その機能の一部を報知情報サーバに移行してもよい。また、報知プログラムばかりでなく、状況に応じて情報処理装置の動作プログラムを報知情報サーバからダウンロードすることで、配置場所に適切なハンドジェスチャーによる制御方法が実現される。
【００６７】
第４実施形態における処理は、機能分散があったとしても、基本的には第２及び第３実施形態と同様であるので、情報報知システムの構成を説明し、詳細な機能説明は省略する。
【００６８】
《情報報知システムの構成》
図１３は、第４実施形態に係る情報報知システム１３００の構成を示すブロック図である。図１３において、図２と同じ参照番号は同様な機能を果たす構成要素を示している。以下、相違点を説明する。
【００６９】
図１３には３つの情報処理装置１３１０が示されている。数に制限はない。これらの情報処理装置１３１０は、ネットワーク１３３０を介して、報知情報サーバ１３２０に接続される。報知情報サーバ１３２０は、ダウンロード用の報知プログラム１３２１を記憶しており、ステレオカメラ２３０で撮影された各地点の情報を受け取って、ダウンロードすべき報知プログラムを選択する。例えば、複数の表示装置２４０が関連したハンドジェスチャーの誘引画像を表示するなどの統合された制御が可能となる。
【００７０】
なお、図１３では、情報処理装置１３１０が、特徴的な構成要素である、ハンドジェスチャー判定部２１４、ハンドジェスチャーＤＢ２１５、報知プログラムＤＢ２１６、報知プログラム制御部２１７、カメラ制御部２２０を有するものとして図示した。しかし本発明はこれに限定される物ではなく、情報処理装置１３１０の一部の機能を報知情報サーバ１３２０、あるいは他の装置に分散してもよい。
【００７１】
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステム又は装置も、本発明の範疇に含まれる。
【００７２】
また、本発明は、複数の機器から構成されるシステムに適用されても良いし、単体の装置に適用されても良い。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システム或いは装置に直接或いは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、或いはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。
【００７３】
この出願は、２０１０年１１月１０日に出願された日本国特許出願  特願２０１０−２５１６７８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2012063561.tif 000003
【図２】
2012063561.tif 000004
【図３】
2012063561.tif 000005
【図４】
2012063561.tif 000006
【図５】
2012063561.tif 000007
【図６】
2012063561.tif 000008
【図７】
2012063561.tif 000009
【図８】
2012063561.tif 000010
【図９】
2012063561.tif 000011
【図１０】
2012063561.tif 000012
【図１１】
2012063561.tif 000013
【図１２】
2012063561.tif 000014
【図１３】
2012063561.tif 000015
【手続補正書】
【提出日】平成25年4月2日(2013.4.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
不特定の人物に情報を報知するための情報処理装置であって、
手の動作を誘引するための誘引画像を含む画面を表示させる第１表示制御手段と、
撮影された人物による手の動作を認識する認識手段と、
前記撮影された人物の中で、前記認識手段が認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定手段と、
を備える情報処理装置。
【請求項２】
前記特定手段は、前記誘引画像と、該誘引画像により誘引すべき手の動作とを対応付けて記憶する記憶手段を含み、
前記特定手段は、前記記憶手段を参照して、前記誘引画像と認識した前記手の動作との対応関係を判定する請求項１に記載の情報処理装置。
【請求項３】
前記特定手段が特定した人物に向けた広告情報を含む画面を表示させる第２表示制御手段を更に有する請求項１または２に記載の情報処理装置。
【請求項４】
前記認識手段は、前記第２表示制御手段が前記人物に向けた広告情報を含む画面の表示を開始した後は、前記人物を対象者として手の動作を認識し、
前記第２表示制御手段は、前記対象者による手の動作に応答して前記広告情報を含む画面を表示させる請求項３に記載の情報処理装置。
【請求項５】
前記第２表示制御手段は、前記人物に向けた広告情報を含む画面を表示させる前に、前記第１表示制御手段が表示させた画像により誘引した手の動作に対応する手の動作を返したことを前記人物に通知する請求項３または４に記載の情報処理装置。
【請求項６】
前記第２表示制御手段は、前記特定手段が特定した人物を撮影した画像と、前記人物の手の画像との少なくともいずれかの画像を含む画面を表示させる請求項３乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記手の動作は、指の動作を含む請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記認識手段は、ステレオカメラが撮影した２つの画像に基づいて、前記撮影された人物による手の動作を認識する請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記誘引画像は、手を振る動作または手話を表わす画像を含む請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記誘引画像は、ジャンケンをする手の動作を表わす画像を含む請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１１】
前記特定手段は、前記認識手段が複数の人物による手の動作を認識した場合、前記誘引画像により誘引すべき手の動作に対応する手の動作を最初に検出した人物を特定する請求項１乃至１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記第１表示制御手段によって表示させた前記画像に対応する音声を出力させる音声出力制御手段をさらに備える請求項１乃至１１のいずれか１項に記載の情報処理装置。
【請求項１３】
不特定の人物に情報を報知するための情報処理装置の制御方法であって、
手の動作を誘引するための誘引画像を含む画面を表示させる第１表示制御ステップと、
撮影された人物による手の動作を認識する認識ステップと、
前記撮影された人物の中で、前記認識ステップにより認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定ステップと、
を含む情報処理装置の制御方法。
【請求項１４】
不特定の人物に情報を報知するための情報処理装置の制御プログラムであって、
手の動作を誘引するための誘引画像を含む画面を表示させる第１表示制御ステップと、
撮影された人物による手の動作を認識する認識ステップと、
前記撮影された人物の中で、前記認識ステップにより認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定ステップと、
をコンピュータに実行させる制御プログラム。
【請求項１５】
不特定の人物に情報を報知するための情報報知システムであって、
広告情報を含む画面を表示する表示手段と、
手の動作を誘引するための誘引画像を含む画面を前記表示手段に表示させる第１表示制御手段と、
撮影された人物による手の動作を認識する認識手段と、
前記撮影された人物の中で、前記認識手段が認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定手段と、
前記特定手段が特定した前記人物に向けた広告情報を含む画面を前記表示手段に表示させる第２表示制御手段と、
を備える情報報知システム。
【請求項１６】
不特定の人物に情報を報知するための情報報知方法であって、
手の動作を誘引するための誘引画像を含む画面を、報知情報を含む画面を表示する表示手段に表示させる第１表示制御ステップと、
撮影された人物による手の動作を認識する認識ステップと、
前記撮影された人物の中で、前記認識ステップで認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定ステップと、
前記特定ステップにより特定された前記人物に向けた広告情報を含む画面を前記表示手段に表示させる第２表示制御ステップと、
を含む情報報知方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記目的を達成するため、本発明に係る装置は、
不特定の人物に情報を報知するための情報処理装置であって、
手の動作を誘引するための誘引画像を含む画面を表示させる第１表示制御手段と、
撮影された人物による手の動作を認識する認識手段と、
前記撮影された人物の中で、前記認識手段が認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定手段と、
を備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記目的を達成するため、本発明に係る方法は、
不特定の人物に情報を報知するための情報処理装置の制御方法であって、
手の動作を誘引するための誘引画像を含む画面を表示させる第１表示制御ステップと、
撮影された人物による手の動作を認識する認識ステップと、
前記撮影された人物の中で、前記認識ステップにより認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定ステップと、
を備える。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記目的を達成するため、本発明に係るプログラムは、
不特定の人物に情報を報知するための情報処理装置の制御プログラムであって、
手の動作を誘引するための誘引画像を含む画面を表示させる第１表示制御ステップと、
撮影された人物による手の動作を認識する認識ステップと、
前記撮影された人物の中で、前記認識ステップにより認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定ステップと、
をコンピュータに実行させる制御プログラム。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記目的を達成するため、本発明に係るシステムは、
不特定の人物に情報を報知するための情報報知システムであって、
広告情報を含む画面を表示する表示手段と、
手の動作を誘引するための誘引画像を含む画面を前記表示手段に表示させる第１表示制御手段と、
撮影された人物による手の動作を認識する認識手段と、
前記撮影された人物の中で、前記認識手段が認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定手段と、
前記特定手段が特定した前記人物に向けた広告情報を含む画面を前記表示手段に表示させる第２表示制御手段と、
を備える。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
上記目的を達成するため、本発明に係る方法は、
不特定の人物に情報を報知するための情報報知方法であって、
手の動作を誘引するための誘引画像を含む画面を、報知情報を含む画面を表示する表示手段に表示させる第１表示制御ステップと、
撮影された人物による手の動作を認識する認識ステップと、
前記撮影された人物の中で、前記認識ステップで認識した手の動作が、前記誘引画像により誘引すべき手の動作に対応する人物を特定する特定ステップと、
前記特定ステップにより特定された前記人物に向けた広告情報を含む画面を前記表示手段に表示させる第２表示制御ステップと、
を含む。
【国際調査報告】
2012063561.tif 000016
2012063561.tif 000017