(57)【要約】【課題】ハンドフリーで操作制御することができるプロジェクタを実現する。【解決手段】顔画像を入力する動画入力部３２と、顔画像から顔動作を認識する顔画像認識部４４と、コンテンツの再生を指示するコマンドを顔動作に基づいて決定するコマンド決定部４８と、コマンドに基づいて再生されたコンテンツを表示出力する出力部３８とを備えているので、動画入力部３２から顔画像を入力し、顔画像を時系列に沿って追跡することで顔動作を認識し、顔動作からコンテンツの再生を指示するコマンドを決定し、コマンドに基づいて再生されたコンテンツを出力部３８が表示出力することで、一連の顔動作を用いてコンテンツの再生操作を指示するコマンドを決定することができる。【選択図】  図１
2007249595.tif 000002
【特許請求の範囲】
【請求項１】
顔画像を入力する画像入力部と、
前記顔画像から顔動作を認識する顔画像認識手段と、
コンテンツの再生を指示するコマンドを前記顔動作に基づいて決定するコマンド決定手段と、
前記コマンドに基づいて再生されたコンテンツを表示出力する出力部とを備えることを特徴とする表示装置。
【請求項２】
前記顔動作を前記コマンドと対応付けて記憶するコマンド記憶部をさらに備え、
前記コマンド決定手段は、前記コマンド記憶部を参照して、前記顔動作に対応する前記コマンドを決定することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記コマンド決定手段は、第１の顔動作が入力されたとき、コマンドの入力を受け付けるコマンド入力状態となり、前記コマンド入力状態となった後に認識された第２の顔動作に基づいてコマンドの決定を行うことを特徴とする請求項２に記載の表示装置。
【請求項４】
前記第１の顔動作は、顔が所定の方向に向いて静止する動作であり、前記第２の顔動作は顔の少なくとも一部が動く動作であることを特徴とする請求項３に記載の表示装置。
【請求項５】
コマンド入力状態に入ったことをユーザに通知する入力状態通知手段をさらに備え、
前記コマンド決定手段は、前記コマンド入力状態となった場合に、前記入力状態通知手段に通知させることを特徴とする請求項３に記載の表示装置。
【請求項６】
前記顔画像認識手段は、人物を識別するために登録された識別情報と、前記顔画像から抽出された特徴情報とが一致するかを認識し、
前記コマンド決定手段は、前記識別情報と一致する前記特徴情報が抽出される前記顔画像から認識された顔動作に基づいてコマンドを決定することを特徴とする請求項１に記載の表示装置。
【請求項７】
音声を入力する音声入力部と、
入力された前記音声を認識する音声認識手段とをさらに備え、
前記コマンド決定手段は、前記顔動作および認識された前記音声に基づいて前記コマンドを決定することを特徴とする請求項１に記載の表示装置。
【請求項８】
請求項１から７に記載の表示装置と、
再生する前記コンテンツを記憶するコンテンツ記憶部と、
前記表示装置からのコマンドに基づいて前記コンテンツ記憶部からコンテンツを再生し、前記表示装置の出力部に入力する再生部とを備えることを特徴とするプロジェクタ。
【請求項９】
請求項１から７に記載の表示装置と、当該表示装置からのコマンドに基づいて前記コンテンツを再生する再生装置とを備えることを特徴とする表示システム。
【請求項１０】
顔画像を入力する画像入力部と、コンテンツの再生を指示するコマンドに基づいて再生されたコンテンツを表示出力する出力部とを備えた表示装置における表示方法であって、
顔画像認識手段が、前記顔画像から顔動作を認識するステップと、
コマンド決定手段が、前記コマンドを前記顔動作に基づいて決定するステップとを備えることを特徴とする表示装置における表示方法。
【請求項１１】
請求項１から７の何れか１項に記載の表示装置を動作させるためのプログラムであって、コンピュータを上記の各手段として機能させるための表示プログラム。
【請求項１２】
請求項１１に記載の表示プログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を用いてコンテンツの再生動作を指示する表示装置、プロジェクタ、表示システム、表示方法、表示プログラム、および記録媒体に関するものである。
【背景技術】
【０００２】
従来、オペレータによる操作指示を画像および／または音声の解析によって認識するシステムが用いられている。
【０００３】
特許文献１には、ユーザをモニタし、動作からインタラクション情報を決定してコンテンツ提示方法を変更するデジタルコンテンツ表示方法が開示されている。当該デジタルコンテンツ表示方法では、ユーザ動作からインタラクション情報を特定し、コンテンツの表示を変えることが示されている。
【０００４】
特許文献２には、目線、顔のポーズ、体の姿勢、手振り、顔の表情等の視覚的キューでイベントを予測する方法及び装置について開示されている。
【０００５】
特許文献３には、オペレータを撮影した画像を解析することによって、オペレータの行動に応じた指示命令を実行する情報処理装置について開示されている。当該情報処理装置では、オペレータごとに任意の行動と指示命令とを対応づけて登録することでオペレータの好みに合った行動で希望する処理を実行できるようにしている。
【０００６】
特許文献４には、従来のデバイスにおける入力の煩わしさや使用者の負担を軽減することが可能な人物顔動作検出方法が開示されている。上記の人物顔動作検出方法では、顔画像を含む画像を入力し、画像から人物の注目方向を抽出し、顔内部の部品の変化を検出し、検出された変化が操作コマンドであるか否かを判定している。
【０００７】
特許文献５には、撮影した画像に基づいて利用者のジェスチャーの内容を特定し、複数のコマンド候補を抽出し、音声の入力から複数のコマンド候補を出力する操作指示装置が開示されている。
【特許文献１】特開２００５−１０８２１０号公報（２００５年４月２１日公開）
【特許文献２】特表２００４−５１５９８２号公報（２００４年５月２７日公開）
【特許文献３】特開２００５−９２４１９号公報（２００５年４月７日公開）
【特許文献４】特開平９−３０５７４３号公報（１９９７年１１月２８日公開）
【特許文献５】特開２００２−１８２６８０号公報（２００２年６月２６日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記のようなシステムでは、例えば、プレゼンテーションを行う際に、講演者を撮影した画像からコマンドを特定することが困難であり、また、容易な動作をコマンドと対応付けた場合には、コマンドの誤認識が増加するという問題が生じる。
【０００９】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、顔を用いた容易な動作によるコマンドの指定をより確実に行うことができる表示装置、プロジェクタ、表示システム、表示方法、表示プログラム、および該プログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の表示装置は、上記の問題を解決するために、顔画像を入力する画像入力部と、前記顔画像から顔動作を認識する顔画像認識手段と、コンテンツの再生を指示するコマンドを前記顔動作に基づいて決定するコマンド決定手段と、前記コマンドに基づいて再生されたコンテンツを表示出力する出力部とを備えることを特徴としている。
【００１１】
上記の構成によれば、画像入力部から顔画像を入力し、顔画像を時系列に沿って追跡することで顔動作を認識し、顔動作からコンテンツの再生を指示するコマンドを決定し、コマンドに基づいて再生されたコンテンツを出力部が表示出力する。これによって、一連の顔動作を用いてコンテンツを表示させる再生操作を指示するコマンドを決定することができる。
【００１２】
上記の構成を用いることで、表示装置の画像入力部に向かって顔動作を行うことによって、例えば、リモートコントローラなどの物理的な入力デバイスを用いることなく、ハンドフリーな状態で操作制御することができる表示装置を実現することができる。
【００１３】
本発明の表示装置では、上記の構成において、前記顔動作を前記コマンドと対応付けて記憶するコマンド記憶部をさらに備え、前記コマンド決定手段は、前記コマンド記憶部を参照して、前記顔動作に対応する前記コマンドを決定することを特徴としている。
【００１４】
上記の構成によれば、コマンド記憶部に顔動作とコマンドとを対応付けたテーブルを記憶し、コマンド決定手段はテーブルを参照してコマンドを決定する。これにより、顔動作およびコマンドを独自に設定することができるので、例えば、表示装置や表示するコンテンツに応じたコマンドを設定し、表示出力を指示するユーザごとに顔動作を独自に設定することができる。
【００１５】
本発明の表示装置では、前記コマンド決定手段は、第１の顔動作が入力されたとき、コマンドの入力を受け付けるコマンド入力状態となり、前記コマンド入力状態となった後に認識された第２の顔動作に基づいてコマンドの決定を行うことを特徴としている。
【００１６】
上記の構成によれば、第１の顔動作を入力することでコマンドの入力を受け付ける状態にし、その後、第２の顔動作を入力することで、コマンドの誤認識を低減させることができる。このため、例えば、第１の顔動作として頻繁に同様の動作を行うことの少ない、特徴のある動作を設定し、第２の顔動作として簡単な動作を設定することで、簡単な動作の組み合わせによって、偶然、同様の動作を行うことによる誤認識および誤動作を低減することができるという効果を奏する。
【００１７】
本発明の表示装置では、前記第１の顔動作は、顔が所定の方向に向いて静止する動作であり、前記第２の顔動作は顔の少なくとも一部が動く動作であることを特徴としている。
【００１８】
上記の構成によれば、顔を所定の方向に向けて静止することでコマンドの入力を受け付ける状態にし、その後、顔の一部を動かすことによってコマンドの種類を確定することで、コマンド入力の誤認識を低減させることができる。
【００１９】
なお、上記の所定の方向の具体例をあげると、例えば、表示装置の方向があげられる。
【００２０】
本発明の表示装置では、コマンド入力状態に入ったことをユーザに通知する入力状態通知手段をさらに備え、前記コマンド決定手段は、前記コマンド入力状態となった場合に、前記入力状態通知手段に通知させることを特徴としている。
【００２１】
上記の構成によれば、入力状態通知手段を用いてコマンド入力状態にはいったことをユーザに通知するので、ユーザはコマンド入力状態であることを確認し、その後、第２の顔動作を入力することができる。これによって、ユーザはコマンド入力状態であることを把握し、確認した上で第２のコマンドの入力を確実に行うことができるという効果を奏する。
【００２２】
本発明の表示装置では、前記顔画像認識手段は、人物を識別するために登録された識別情報と、前記顔画像から抽出された特徴情報とが一致するかを認識し、前記コマンド決定手段は、前記識別情報と一致する前記特徴情報が抽出される前記顔画像から認識された顔動作に基づいてコマンドを決定することを特徴としている。
【００２３】
上記の構成によれば、識別情報に基づいて顔画像を識別した上でコマンドを決定するので、指示を出しているユーザを特定して、特定したユーザからの指示のみを受け付けるようにすることができる。これによって、複数の人物の顔画像が画像データ内に存在する場合でも、ユーザを識別してコマンドの決定を行うことができるという効果を奏する。
【００２４】
本発明の表示装置では、音声を入力する音声入力部と、入力された前記音声を認識する音声認識手段とをさらに備え、前記コマンド決定手段は、前記顔動作および認識された前記音声に基づいて前記コマンドを決定することを特徴としている。
【００２５】
上記の構成によれば、顔画像による認識に加えて、音声認識手段による音声の認識結果に基づいてコマンドを決定するので、顔画像によるコマンドの認識に失敗した場合でも、音声によるコマンド入力によってコマンドを訂正することができる。
【００２６】
上述の表示装置と、再生する前記コンテンツを記憶するコンテンツ記憶部と、前記表示装置からのコマンドに基づいて前記コンテンツ記憶部からコンテンツを再生し、前記表示装置の出力部に入力する再生部とを備えることによって、プロジェクタを構成することができる。
【００２７】
上記の構成によれば、プロジェクタに上述の効果を適用することができる。
【００２８】
上述の表示装置と、当該表示装置からのコマンドに基づいて前記コンテンツを再生する再生装置とを備えることで表示システムを構成することができる。
【００２９】
上記の構成によれば、上述のものと同様の効果を奏する表示システムを容易に構築することができる。
【００３０】
本発明の表示方法は、上記の問題を解決するために、顔画像を入力する画像入力部と、コンテンツの再生を指示するコマンドに基づいて再生されたコンテンツを表示出力する出力部とを備えた表示装置における表示方法であって、顔画像認識手段が、前記顔画像から顔動作を認識するステップと、コマンド決定手段が、前記コマンドを前記顔動作に基づいて決定するステップとを備えることを特徴としている。
【００３１】
上記の構成によれば、顔画像を入力し、入力された顔画像から顔動作を認識し、顔動作に基づいてコンテンツの再生動作を指示するコマンドを決定することができる。これによって、一連の顔動作を用いてコンテンツを表示させる再生操作を指示するコマンドを決定することができる。
【００３２】
上記の方法を用いることで、表示装置の画像入力手段に向かって顔動作を行うことによって、例えば、リモートコントローラなどの物理的な入力デバイスを用いることなく、ハンドフリーな状態で操作制御することができる表示方法を実現することができる。
【００３３】
なお、上記表示方法を、コンピュータの制御によりコンピュータ上で実行させることができる。さらに、上記表示プログラムをコンピュータ読み取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で実行させることができる。
【発明の効果】
【００３４】
以上のように、本発明に係る表示装置は、画像入力部から顔画像を入力し、顔画像を時系列に沿って追跡することで顔動作を認識し、顔動作からコンテンツの再生を指示するコマンドを決定し、コマンドに基づいて再生されたコンテンツを出力部が表示出力する。これによって、一連の顔動作を用いてコンテンツの再生操作を指示するコマンドを決定することができる。
【発明を実施するための最良の形態】
【００３５】
本発明の一実施形態について、図１〜図７に基づいて説明すると以下の通りである。本実施形態では表示装置として、以下で説明する各部の機能を備えたプロジェクタを例に説明するが、これに限るものではない。外部のコンテンツ再生装置に、以下で説明する各部の機能を備えた表示装置を接続することで表示システムとして機能させてもよい。
【００３６】
図１は、本実施形態におけるプロジェクタ１０の各部の概略構成を示したブロック図である。プロジェクタ（表示装置）１０は、再生部（再生手段）２０、入出力部３０、処理部４０、および、記憶部５０を備えている。入出力部３０は、動画入力部（画像入力手段）３２、音声入力部（音声入力手段）３４、通知部（入力通知手段）３６、および、出力部（映像出力手段）３８を備える構成である。処理部４０は、時系列画像記録部４２、顔画像認識部（顔画像認識手段）４４、音声認識部（音声認識手段）４６、および、コマンド決定部（コマンド決定手段）４８を備える構成である。記憶部５０は、時系列画像記憶部５２、識別画像記憶部５４、コマンド記憶部（コマンド記録手段）５６、および、コンテンツ記憶部（コンテンツ記憶手段）５８を備える構成である。
【００３７】
まず、再生部２０について説明する。再生部２０は、処理部４０のコマンド決定部４８からの指示に基づいてコンテンツ記憶部５８からコンテンツを読み出し、出力部３８に出力する。出力するコンテンツは、画像データを順に表示するスライドショーであってもよいし、操作に基づいてスライド内のアクションが進行するプレゼンテーションデータであってもよい。コマンド決定部４８からの指示に基づいて操作することが可能なコンテンツであれば、どのようなコンテンツであってもよい。
【００３８】
次に、入出力部３０の各部について説明する。動画入力部３２は、外部から映像を画像データとして入力するための映像入力デバイスである。具体的には、入出力部３０は、例えば、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたカメラであってもよいし、外部のＡＶ（Audio Visual）機器や外部カメラから映像を入力するための入力端子であってもよい。プロジェクタ１０の再生操作を指示するユーザの映像を入力することができるものであれば、どのような入力デバイスでもよい。
【００３９】
音声入力部３４は、外部から音声を音声データとして入力するための音声入力デバイスである。具体的には、音声入力部３４は、ダイナミックマイクやコンデンサマイクなどを用いた音声入力装置である。この音声入力部３４は、主としてユーザからのコンテンツ再生指示を音声によって入力するために用いられる。
【００４０】
通知部３６は、処理部４０のコマンド決定部４８がコマンド入力状態になった際に、コマンド入力状態になったことをユーザに対して通知するための表示手段である。具体的には、通知部３６は、ライトやＬＥＤ（light emitting diode）などを用いて光線や点滅によってユーザに通知する発光手段や、発信音や音声合成出力などを用いて音声によってユーザに通知する発呼手段などを用いた出力デバイスである。なお、通知部３６は、ユーザに対してコマンド入力状態であることを通知できれば、どのようなデバイスであっても良い。
【００４１】
出力部３８は、再生部２０から出力されたコンテンツを外部に表示するための表示出力デバイスである。本実施形態では、光学レンズを用いてスクリーンに映像を投影する投影手段を用いるものとする。なお、出力部３６は、コンテンツをコマンドに応じて出力することができれば、どのような出力装置であっても良い。
【００４２】
次に、処理部４０の各部について説明する。時系列画像記録部４２は、動画入力部３２から入力された映像を、連続する静止画像、または、ストリームで入力される動画像などとして時系列画像記憶部５２に記録する。本実施形態では、１００ｍｓの間隔で撮影された静止画を時系列に沿って並べて記録するものとするが、これに限るものではない。
【００４３】
顔画像認識部４４は、動画入力部３２から入力される現在の入力画像から顔画像の領域を特定し、コマンド決定部４８に入力する。なお、画像認識部４４は、顔画像の特定のために、時系列画像記憶部５２から過去の画像を参照して、特定の人物の顔画像を追跡してもよいし、識別画像記憶部５４に登録された識別画像に基づいて特定人物の顔画像の領域を特定してもよい。過去の画像や識別画像に基づくことによって、顔画像認識部４４による顔画像の特定をより容易に、また確実にすることができる。
【００４４】
音声認識部４６は、音声入力部３４から入力された音声を認識してコマンド決定部４８に音声信号を入力する。なお、音声認識部４６は、入力された音声から雑音を除去し、複数の音声を分離し、特定の周波数で発信される音声のみを選択する処理を行っても良い。
【００４５】
コマンド決定部４８は、顔画像認識部４４からの顔画像、および／または、音声認識部４６からの音声信号からコマンドを決定する。具体的には、入力された複数の顔画像に基づいて顔動作を識別し、対応するコマンドを選択する。あるいは、入力された音声信号を識別し、対応するコマンドを選択する。複数の顔画像から顔動作を識別する方法について、詳細は後述する。
【００４６】
次に、記憶部５０の各部について説明する。なお、記憶部５０内の各記憶部は、同じ記憶装置内を分類して記憶してもよいし、用途に応じて別の記憶素子を用いて構成してもよい。また、フラッシュメモリや光ディスクなどの外部記憶用メディアであってもよいし、半導体メモリ、磁気記憶媒体、および光記憶媒体などの記録装置であってもよい。
【００４７】
時系列画像記憶部５３は、時系列画像記録部４２から入力された時系列画像を記録するための記憶部である。本実施形態では、時系列画像記憶部５３には、時系列に沿って連続する画像を静止画として保存するものとする。なお、保存形式は、過去の画像との差分をとった形式で保存されていてもよいし、ストリーミング形式など保存してもよい。また、静止画ごとに顔領域を検出し、顔領域の画像だけを記録してもよいし、顔領域の画像を解析し、目や口の開閉状態など、後述するコマンドの要素となる特徴量を抽出して記録してもよい。
【００４８】
識別画像記憶部５４は、顔画像認識部５４に参照されてユーザを識別するための識別情報をあらかじめ登録するための記憶装置である。なお、識別情報は顔画像または音声情報として記録してもよいし、顔画像および音声情報から取り出した特徴量を識別情報として記録してもよい。
【００４９】
コマンド記憶部５６は、顔動作と操作コマンドとを対応付けたテーブルを記憶するための記憶装置である。顔動作および操作コマンドの対応付けは、ユーザごとに行っても良いし、共通の標準コマンドを設定しても良い。また、操作コマンドは、再生部２０で行う動作にあわせて適時設定しても良い。
【００５０】
コンテンツ記憶部５８は、再生部２０で再生するコンテンツデータを蓄積するための記憶装置である。なお、コンテンツ記憶部５８は、各種記録メディアからコンテンツデータを読み出すためのドライブ装置であっても良いし、ネットワークを介してデータをダウンロードするものであっても良い。再生部２０の要求に応じてコンテンツデータを提供することができれば、コンテンツ記憶部５８は、どのような記憶装置であっても良い。
【００５１】
なお、上述の例では、プロジェクタ１０内に全ての機能部を備えている構成を示したが、これに限るものではない。図２は、本発明の別の実施形態におけるプロジェクタ１０の各部の概略構成を示したブロック図である。図１の実施形態と同じ機能を持つブロックについては、同じ符号を付し、その説明を省略するものとする。
【００５２】
プロジェクタ１０は、入出力部３０、処理部４０、および、記憶部５０を備えている。ＰＣ６０は、再生部２０およびコンテンツ記憶部５８をそなえている。図１の実施形態に比べて、本実施形態では、再生部２０およびコンテンツ記憶部５８をＰＣ６０内に備えている点が相違し、その他の構成は同様である。
【００５３】
プロジェクタ１０は、ＰＣ６０の再生部２０に対して操作を指示するコマンドを送信し、ＰＣ６０はコマンドに対応するコンテンツをコンテンツ記憶部５８から取り出して再生し、プロジェクタ１０内の出力部３８に出力させる。再生部２０は、ＰＣ６０上で実行されるプレゼンテーションソフトウェアであっても良いし、コンテンツ記憶部５８は、ＰＣ６０に備え付けられた記憶メディアの読取ドライブであっても良い。
【００５４】
次に、本実施形態のプロジェクタ１０を用いて、実際にプレゼンテーションを行う様子について、図３を参照して説明を行う。図３は、図２に示されたプロジェクタ１０およびＰＣ６０を用いてプレゼンテーションを行う際の様子を示す概略図である。
【００５５】
プロジェクタ１０は、講演者７０の顔領域７２を動画入力部３２のカメラを用いて入力しつつ、スクリーン８０上にコンテンツを投影する。講演者７０は、スクリーン８０上に投影されたコンテンツを確認しながら、プロジェクタ１０の動画入力部３２のカメラに向かって顔動作を行う。プロジェクタ１０は、動画入力部３２によって撮影した講演者７０の顔領域７２から、時系列に沿った複数の顔画像領域を取り出し、顔動作を認識する。
【００５６】
その後、プロジェクタ１０は、顔動作に対応するコマンドをトリガ信号としてＰＣ６０に送信する。ＰＣ６０は、トリガ信号を受け取ると、対応するコンテンツを再生し、表示データとしてプロジェクタ１０に送信する。プロジェクタ１０は表示データを受け取って、プロジェクタ１０内の出力部３８からスクリーン８０にコンテンツを投影する。
【００５７】
以上のように、講演者７０がプロジェクタ１０に向かって顔動作を行うことによって、ＰＣ６０で再生するコンテンツを制御するためのコマンドをトリガ信号として送信し、表示データをプロジェクタ１０が受け取りスクリーン８０に投影することで、コンテンツの再生操作を行う操作者を準備する必要なく、また、講演者７０がリモートコントローラなどを手に持つ必要なくコンテンツを制御しプレゼンテーションを進行することができる。
【００５８】
次に、顔動作の認識処理の流れについて、図４を参照して説明する。図４は、顔動作の認識処理の流れを示すフロー図である。認識処理が開始されると、まず、各種パラメータのリセットが行われる。
【００５９】
Ｓ１０１において、顔画像認識部４８は、カウンタおよびシーケンス履歴のリセットを行う。Ｓ１０２において、顔画像認識部４８は、タイマのカウントを開始して、１００ｍｓごとに顔検出処理を実行する。
【００６０】
なお、シーケンス履歴とは、一連の顔動作を時系列の流れに沿って繋げたもので、具体例をあげると、顔を静止する動作、顔を傾ける動作、口を開閉する動作、瞼を開閉する動作、頷く動作、顔を横に振る動作などの顔動作である。また、シーケンス履歴では、同じ動作であっても、各動作における時間経過の長さによって別のシーケンスと見なしても良い。
【００６１】
Ｓ１０３において、前回の画像データおよび今回の画像データを比較することで、顔領域の移動を追跡する。顔領域の移動が前回の検出位置から一定以下の場合（Ｓ１０３でＹＥＳ）、処理はＳ１０４に進む。顔領域の移動が前回の検出位置から一定の値を超えた場合（Ｓ１０３でＮＯ）、処理はＳ１０１に戻ってカウンタのリセットを行う。
【００６２】
Ｓ１０４において、顔画像認識部４８はカウンタを＋１し、Ｓ１０５において、カウンタの値から経過時間を判断する。そして、顔画像認識部４８は経過時間に基づいて、ユーザが一定時間顔を静止させる動作（コマンド入力動作）を行ったかどうか判断する。カウンタが２０以上だった場合（Ｓ１０５でＹＥＳ）、処理はＳ１０６へ進む。カウンタが２０より少ない場合（Ｓ１０５でＮＯ）、顔の静止時間が２秒を越していないと判断し、処理はＳ１０２に戻ってカウントを再開する。
【００６３】
なお、上記の例では、顔を一定時間、カメラに向かって静止させる顔動作をコマンド入力動作として説明したが、これに限るものではない。カメラに向かって一定時間、瞼を閉じる顔動作であっても良いし、２回頷く顔動作であっても良い。ただし、顔をカメラに向かって静止させる動作であった場合、より少ない顔動作で容易にコマンドを入力することができ、誤認識を起こしにくいコマンド入力動作とすることができる。
【００６４】
Ｓ１０６において、顔画像認識部４４は、口の開度を計測し、開／閉状態を判断する。Ｓ１０７において、顔の静止と、口の開閉の各顔動作とを一連のシーケンスとして、シーケンス履歴として更新を行う。なお、ここでは、顔の静止および口の開閉を連続する顔動作としてシーケンス履歴に記録したが、これに限らない。顔を用いる連続する動作の組み合わせであれば、どのようなものでもよい。また、顔動作およびコマンド操作の対応テーブルの例について、詳細は後述する。
【００６５】
Ｓ１０８において、コマンド認識部４８は、シーケンス履歴が規定のものと一致するか判断する。すなわち、一連の顔動作がコマンドと対応付けられているか判断する。シーケンス履歴が規定通りの場合（Ｓ１０８でＹＥＳ）、処理はＳ１０９へ進む。シーケンス履歴が規定通りでない場合（Ｓ１０８でＮＯ）、処理はＳ１０２に戻り、再びカウントを進める処理を繰り返す。
【００６６】
Ｓ１０９において、コマンド認識部４８は、一連の顔動作に対応するコマンドをトリガ信号として再生部２０に送信する。その後、処理はＳ１０１に戻り、再びカウンタおよびシーケンス履歴をリセットして、プロジェクタ１０によるコンテンツの表示が終了するまで、上記の処理を繰り返す。
【００６７】
次に、顔動作が規定通りであるかを判定するためのアルゴリズムについて、一例を図５および図６を参照して説明する。図５は、人間の顔の特徴を示すための模式図である。図６は、本実施形態で用いるアルゴリズムによって算出される画素値を示すグラフである。
【００６８】
図５内の大きい円は、人間の顔を模式的に示すものである。大きい円の中にある２つの小さい円は、人間の眼を模式的に示すものである。小さい２つの円の下にある円弧は、人間の口を模式的に示すものである。
【００６９】
ここで、図５内の矩形は、顔領域を示す枠線とする。顔領域は正方形で特定され、縦および横の幅はＤで示される。この場合、人間の口は顔領域として特定した矩形内の、下辺からＤ／３以内の距離に存在するものとして、口の開閉について検出を行う。Ｄは、ここでは１７９画素とする。なお、顔領域の特定には、従来使用されている各種のアルゴリズムを適用できる。ここでは、両目および唇を含む正方形の顔領域を特定したものとして、説明を行う。
【００７０】
図６は、検出した顔領域を示す矩形内の画素値から算出した値を示している。具体的には、顔領域の矩形内において、垂直な直線を領域内の中心に、当該領域内の下辺から１／３の位置まで引いた直線Ｌ上の画素値Ｐについて、次の式（１）を適用したものである。
【００７１】
Ｐ＝Ｒ／（Ｇ＋Ｂ）…（１）
なお、縦軸は画素値Ｐの値を示し、横軸は顔領域を示す矩形のＹ座標を示している。ここで、Ｒ、Ｇ、およびＢは、各画素における赤色、緑色、および青色の強度を示す値である。本実施形態では、ＲＧＢの各値は０から２５５の範囲を取るものとして説明する。なお、ここでは、０が暗い側の画素値を、２５５が明るい側の画素値を示すものとする。
【００７２】
図６内において、画素値Ｐが０．５〜１の間に水平に引かれた太い直線Ｍは下記の式（２）および式（１）から計算される値である。
【００７３】
Ｍ＝（ΣＰ（Ｖ１）＋ΣＰ（Ｖ２））／（Ｖ１＋Ｖ２）×１．３…（２）
すなわち、直線Ｌの両端から、それぞれ略３％のエリアＶ１（Ｙ＝０〜５）およびＶ２（Ｙ＝１７４〜１７９）の範囲内における画素値Ｐに対して、平均をとり１.３倍したものである。上記（２）式に実際の数値を当てはめると、Ｍの値は略０．８９となる。
【００７４】
上記の計算式において、Ｙ座標の両端からＰ＞Ｍを満たすＹの最小値および最大値を検索する。Ｙ＝６１のとき、Ｐ＝Ｍとなる。また、Ｙ＝１２２のとき、Ｐ＝Ｍとなる。直線Ｍ上で、Ｙ＝６１の点をａ、Ｙ＝１２２の点をｂとした場合、ａ−ｂ間をＮとする。Ｎ＞１７９／２を満たすとき、顔画像に示される人物は口を開けていると判断する。
【００７５】
上記のアルゴリズム中の各数値は一例であり、異なっていても良い。また、計算式や割合なども、別のもので実現することができる。アルゴリズムとして、例えば、顔器官の輪郭抽出技術を用いても良い。
【００７６】
次に、再生部２０に指示するコマンドと、顔動作との対応について、図７を参照して説明する。図７の（ａ）および（ｂ）は、それぞれ、コマンドおよび顔動作の対応の一例を示す表である。
【００７７】
図７（ａ）では、「コマンド１」として、「プレゼンテーションを次に進める」コマンドを、口を閉じた状態から、０.５秒未満の間隔で口を開け、閉じる顔動作に対応付けている。また、「コマンド２」として、「プレゼンテーションを前に進める」コマンドを、口を閉じた状態から、０．５秒以上の期間だけ口を開けて、再び口を閉じ、さらに、０．５秒未満の期間だけ口を開けた後、口を閉じる顔動作と対応付けている。
【００７８】
また、「コマンド３」として、「音声／動画の停止」コマンドを、口を閉じた状態から、０.５秒以上の期間だけ口を開けた後、口を閉じる顔動作と対応付けている。また、「コマンド４」として、「音声／動画の再生」コマンドを、口を閉じた状態から、０．５秒以上の期間だけ口を開けた後、また口を閉じて、さらに０．５秒以上の期間だけ口を開けた後、また口を閉じる顔動作と対応付けている。
【００７９】
上記のように、口を開いている時間を０．５秒より長いものと短いものとで区別すると、２回までの口の開閉で４通りのコマンドを規定できる。上記の例では、よく使うコマンドに対して短いアクションを割り当てている。また、口の開時間が長短入り混じっている場合には、エラーとしてコマンド扱いしないものとする。
【００８０】
図７（ｂ）では、「コマンド１」として、「プレゼンテーションを次に進める」コマンドを、「顔を正面→顔を右向き→顔を正面→顔を右向き→顔を正面」という一連の顔動作に対応付けている。また、「コマンド２」として、「プレゼンテーションを前に進める」コマンドを、「顔を正面→顔を左向き→顔を正面→顔を左向き→顔を正面」という一連の顔動作と対応付けている。
【００８１】
また、「コマンド３」として、「音声／動画の停止」コマンドを、「顔を正面→顔を下向き→顔を正面」という一連の顔動作と対応付けている。また、「コマンド４」として、「音声／動画の再生」コマンドを、「顔を正面→顔を下向き→顔を正面→顔を下向き→顔を正面」という顔動作と対応付けている。
【００８２】
以上のように、本実施形態のプロジェクタ１０は、顔画像を入力する動画入力部３２と、顔画像から顔動作を認識する顔画像認識部４４と、コンテンツの再生を指示するコマンドを顔動作に基づいて決定するコマンド決定部４６と、前記コマンドに基づいて再生されたコンテンツを表示出力する出力部３８とを備えているので、動画入力部３２から画像データを入力し、画像データの中から顔画像が含まれる領域を検索し、時系列に沿った複数の顔画像を追跡することでコマンドを指示する講演者７０を特定し、追跡した顔画像から再生装置を指示するコマンドを決定することで一連の顔動作を用いてコンテンツの再生操作を指示するコマンドを決定することができる。
【００８３】
上記の構成を用いることで、プロジェクタ１０の動画入力部３２に向かって顔動作を行うことによって、リモートコントローラなどの物理的な入力デバイスを用いることなく、ハンドフリーな状態で操作制御することができるプロジェクタを実現することができる。
【００８４】
また、本実施形態のプロジェクタ１０では、顔動作をコマンドと関連付けて記録するコマンド記録部５６をさらに備え、コマンド決定部４８は、コマンド記録部５６を参照して対応するコマンドを決定するので、コマンド記録部４８に顔動作とコマンドとを対応付けたテーブルを記憶し、コマンド決定部４８はテーブルを参照してコマンドを決定することによって、顔動作およびコマンドを独自に設定することができる。そのため、プロジェクタ１０や表示するコンテンツに応じたコマンドを設定し、表示出力を指示する講演者７０ごとに顔動作を独自に設定することができる。
【００８５】
また、本実施形態のプロジェクタ１０では、コマンド決定部４８は、第１の顔動作に基づいてコマンドの入力を受け付けるコマンド入力状態に入り、コマンド入力状態になった後に第２の顔動作が入力されることによってコマンドの決定を行うので、第１の顔動作を入力することでコマンドの入力を受け付ける状態にし、その後、第２の顔動作を入力することで、コマンドの誤認識を低減させることができる。このため、例えば、第１の顔動作として頻繁に同様の動作を行うことの少ない、特徴のある動作を設定し、第２の顔動作として簡単な動作を設定することで、簡単な動作の組み合わせによって、偶然、同様の動作を行うことによる誤認識および誤動作を低減することができるという効果を奏する。
【００８６】
また、本実施形態のプロジェクタ１０では、第１の顔動作は、顔を所定の方向に向けて静止する動作であり、第２の顔動作は、顔の少なくとも一部を動かす動作であるので、顔を所定の方向に向けて静止することでコマンドの入力を受け付ける状態にし、その後、顔の一部を動かすことによってコマンドの種類を確定することで、コマンド入力の誤認識を低減させることができる。なお、上記の所定の方向には、プロジェクタ１０に備えられたカメラの方向があげられる。
【００８７】
また、本実施形態のプロジェクタ１０では、コマンド入力状態に入ったことを講演者７０に通知する通知部３６をさらに備え、コマンド決定部４８は、コマンド入力状態に入った場合に、通知部３６に通知させるので、入力状態通知手段を用いてコマンド入力状態にはいったことを講演者７０に通知し、講演者７０はコマンド入力状態であることを確認し、その後、第２の顔動作を入力することができる。これによって、講演者７０はコマンド入力状態であることを把握し、確認した上で第２のコマンドの入力を確実に行うことができるという効果を奏する。
【００８８】
また、本実施形態のプロジェクタ１０では、顔画像認識部４４は、人物を識別するために識別画像５４に登録された識別情報と、顔画像から抽出された特徴情報とが一致するかを判断し、コマンド決定部４８は、識別情報と一致する抽出情報が抽出される顔画像から認識された顔動作に基づいてコマンドを決定するので、識別情報に基づいて顔画像を識別した上でコマンドを決定するため、指示を出している講演者７０を特定して、特定した講演者７０からの指示のみを受け付けるようにすることができる。これによって、複数の人物の顔画像が画像データ内に存在する場合でも、講演者７０を識別してコマンドの決定を行うことができるという効果を奏する。
【００８９】
また、本実施形態のプロジェクタ１０では、音声を入力する音声入力部３４と、入力された音声を認識する音声認識部４６とをさらに備え、コマンド認識部４８は、顔動作に加え、認識された音声に基づいてコマンドを決定するので、顔画像による認識に加えて、音声認識手段による音声の認識結果に基づいてコマンドを決定するため、顔画像によるコマンドの認識に失敗した場合でも、音声によるコマンド入力によってコマンドを訂正することができる。
【００９０】
最後に、プロジェクタ１０の各ブロック、特に処理部４０の顔画像認識部４４、音声認識部４６、および、コマンド決定部４８は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【００９１】
すなわち、処理部４０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである再生装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記プロジェクタ１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００９２】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【００９３】
また、プロジェクタ１０を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【００９４】
以上のように、本発明に係るプロジェクタ１０は、一連の顔動作を用いてコンテンツを表示させる再生操作を指示するコマンドを決定することが出来るので、プレゼンテーションシステムなどの任意の表示装置に適用できる。
【図面の簡単な説明】
【００９５】
【図１】本発明の一実施形態であるプロジェクタの各部の概略構成を示した機能ブロック図である。
【図２】本発明の別の実施形態である表示システムの各部の概略構成を示した機能ブロック図である。
【図３】上記の表示システムを用いて、プレゼンテーションを行う様子を示した概略図である。
【図４】上記の表示システムを用いた、顔動作の認識処理の流れを示すフロー図である。
【図５】上記の表示システムにおいて、計算に用いる人間の顔の特徴を示すための模式図である。
【図６】上記の表示システムで用いるアルゴリズムによって算出される画素値を示すグラフである。
【図７】（ａ）および（ｂ）は、それぞれ、上記の表示システムで用いるコマンドおよび顔動作の対応の一例を示す表である。
【符号の説明】
【００９６】
１０      プロジェクタ（表示装置）
２０      再生部（再生手段）
３０      入出力部
３２      動画入力部（画像入力装置）
３４      音声入力部（音声入力装置）
３６      通知部（入力通知手段）
３８      出力部（映像出力手段）
４０      処理部
４２      時系列画像記録部
４４      顔画像認識部（顔画像認識手段）
４６      音声認識部（音声認識手段）
４８      コマンド決定部（コマンド決定手段）
５０      記憶部
５２      時系列画像記憶部
５４      識別画像記憶部
５６      コマンド記憶部（コマンド記憶装置）
５８      コンテンツ記憶部（コンテンツ記憶装置）
【図１】
2007249595.tif 000003
【図２】
2007249595.tif 000004
【図３】
2007249595.tif 000005
【図４】
2007249595.tif 000006
【図５】
2007249595.tif 000007
【図６】
2007249595.tif 000008
【図７】
2007249595.tif 000009