(57)【要約】  画像等の表示方向または画像等の投影方向をユーザの見やすい方向に向けることでユーザの利便性を向上させつつ、画像等を表示し、または画像等を投影するシステム全体の構成を簡単化する。表示部（３）またはプロジェクタ（４）から見たユーザの存在方向を特定するユーザ方向距離特定部（５２）と、特定したユーザの存在方向を参照して、表示部（３）の表示方向またはプロジェクタ（４）の投影方向を制御するようアクチュエータ（２）を作動させる作動制御部（５４）と、を備える。
2016080321.tif 000002
【特許請求の範囲】
【請求項１】
表示部またはプロジェクタから見たユーザの存在方向を特定する方向特定部と、
特定された上記ユーザの存在方向を参照して、上記表示部の表示方向または上記プロジェクタの投影方向を制御するようアクチュエータを作動させる作動制御部と、を備えることを特徴とする表示投影制御装置。
【請求項２】
上記ユーザから上記プロジェクタまでの距離を特定する距離特定部を備え、
上記作動制御部は、特定された上記ユーザから上記プロジェクタまでの距離を参照して、上記プロジェクタによる投影角度を制御するよう上記アクチュエータを作動させることを特徴とする請求項１に記載の表示投影制御装置。
【請求項３】
上記方向特定部によって特定された上記ユーザの存在方向を参照して、上記プロジェクタから被投影面に投影される画像の向きを調整する画像調整部を備えることを特徴とする請求項１に記載の表示投影制御装置。
【請求項４】
上記ユーザから上記プロジェクタまでの距離を特定する距離特定部を備え、
上記画像調整部は、特定された上記ユーザから上記プロジェクタまでの距離を参照して、上記プロジェクタから上記被投影面に投影される画像の幾何学的な歪みを補正することを特徴とする請求項３に記載の表示投影制御装置。
【請求項５】
請求項１から４までのいずれか１項に記載の表示投影制御装置と、
上記表示部および上記プロジェクタの少なくとも一方と、
上記表示投影制御装置の上記作動制御部によって制御される上記アクチュエータと、を含むことを特徴とする表示投影システム。
【請求項６】
表示部またはプロジェクタから見たユーザの存在方向を特定する処理と、
特定された上記ユーザの存在方向を参照して、上記表示部の表示方向または上記プロジェクタの投影方向を制御するようアクチュエータを作動させる処理と、をコンピュータに実行させるための表示投影制御装置の制御プログラム。
【請求項７】
請求項６に記載の表示投影制御装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項８】
表示部またはプロジェクタから見たユーザの存在方向を特定する方向特定ステップと、
特定した上記ユーザの存在方向を参照して、上記表示部の表示方向または上記プロジェクタの投影方向を制御するようアクチュエータを作動させる作動制御ステップと、を含むことを特徴とする表示投影制御装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示投影装置の表示部に画像等を表示させ、または表示投影装置のプロジェクタからスクリーン等の被投影面に画像等を投影させる制御を行う表示投影制御装置、該表示投影制御装置を含む表示投影システム、該表示投影制御装置の制御プログラム、該制御プログラムを記録したコンピュータ読み取り可能な記録媒体、および該表示投影制御装置の制御方法に関する。
【背景技術】
【０００２】
従来技術として、特許文献１には、スクリーン等の被投影面に画像を投影する画像投影装置と、該画像投影装置の各種投影設定を遠隔操作するための遠隔操作装置と、を備えた画像投影システムが開示されている。この画像投影システムでは、投影される画像の投影位置等を、複数の遠隔操作装置からの遠隔操作により調整することが可能になっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】日本国公開特許公報「特開２０１４−５２３９３号公報（２０１４年３月２０日公開）」
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述のような従来技術では、投影される画像の投影位置等を調整するために、複数の遠隔操作装置を用意する必要があり、システム全体の構成が大がかりになってしまい、ユーザの利便性も悪いという問題点がある。【０００５】
本発明は、以上の問題点に鑑みて為されたものであり、その目的は、画像等の表示方向または画像等の投影方向をユーザの見やすい方向に向けることでユーザの利便性を向上させつつ、画像等を表示し、または画像等を投影するシステム全体の構成を簡単化することができる表示投影制御装置などを提供することにある。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様に係る表示投影制御装置は、表示部またはプロジェクタから見たユーザの存在方向を特定する方向特定部と、特定された上記ユーザの存在方向を参照して、上記表示部の表示方向または上記プロジェクタの投影方向を制御するようアクチュエータを作動させる作動制御部と、を備えることを特徴としている。【０００７】
また、上記の課題を解決するために、本発明の一態様に係る表示投影制御装置の制御プログラムは、表示部またはプロジェクタから見たユーザの存在方向を特定する処理と、
特定された上記ユーザの存在方向を参照して、上記表示部の表示方向または上記プロジェクタの投影方向を制御するようアクチュエータを作動させる処理と、をコンピュータに実行させるための表示投影制御装置の制御プログラムであることを特徴としている。【０００８】
また、上記の課題を解決するために、本発明の一態様に係る表示投影制御装置の制御方法は、表示部またはプロジェクタから見たユーザの存在方向を特定する方向特定ステップと、特定した上記ユーザの存在方向を参照して、上記表示部の表示方向または上記プロジェクタの投影方向を制御するようアクチュエータを作動させる作動制御ステップと、を含むことを特徴としている。
【発明の効果】
【０００９】
本発明の一態様によれば、画像等の表示方向または画像等の投影方向をユーザの見やすい方向に向けることでユーザの利便性を向上させつつ、画像等を表示し、または画像等を投影するシステム全体の構成を簡単化することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る表示投影システムの構成を示すブロック図である。
【図２】本発明の実施形態１に係る表示投影システムの動作を説明するための図であり、（ａ）は、ユーザの声の向きと、表示部の表示方向と、が同一の向きである状態を示し、（ｂ）は、表示部の表示方向がユーザの側に向けられた状態を示し、（ｃ）は、ユーザの声の向きと、表示部の表示方向と、が斜めに交わっている状態を示す。
【図３】本発明の実施形態１に係る表示投影システムの動作の流れを示すフローチャートである。
【図４】本発明の実施形態２に係る表示投影システムの動作を説明するための図であり、（ａ）は、ユーザの声の向きと、プロジェクタの投影方向と、が対向している状態を示し、（ｂ）は、プロジェクタの投影方向がユーザの声の向きと同一の向きに向けられた状態を示し、（ｃ）は、ユーザの声の向きと、プロジェクタの投影方向と、が斜めに交わっている状態を示す。
【図５】本発明の実施形態２に係る表示投影システムの動作の流れを示すフローチャートである。
【図６】本発明の実施形態３に係る表示投影システムの動作を説明するための図であり、（ａ）は、ユーザの声の向きと、プロジェクタの投影方向と、が概ね同一の向きとなっている状態を示し、（ｂ）は、ユーザの声の向きと、プロジェクタの投影方向と、が概ね同一の向きとなっている状態で机上に画像が投影されている状態を示し、（ｃ）は、ユーザの声の向きと、プロジェクタの投影方向と、が概ね対向している状態を示し、（ｄ）は、ユーザの声の向きと、プロジェクタの投影方向と、が概ね対向している状態で机上に画像が投影されている状態を示す。
【図７】（ａ）は、本発明の実施形態３に係る表示投影システムの動作の流れを示すフローチャートであり、（ｂ）は、ユーザが存在しているエリアと、投影画像の向きと、の関係を説明するための図である。
【図８】本発明の実施形態４に係る表示投影システムの動作を説明するための図であり、（ａ）は、投影画像の投影角度を変更する前の状態を示し、（ｂ）は、投影画像の投影角度を変更した後の状態を示す。
【図９】本発明の実施形態４に係る表示投影システムの動作の流れを示すフローチャートである。
【図１０】本発明の実施形態５に係る表示投影システムの動作を説明するための図であり、（ａ）は、投影画像に幾何学的な歪みが生じている状態を示し、（ｂ）は、（ａ）に示す投影画像の幾何学的な歪みが補正されている状態を示す。
【図１１】本発明の実施形態５に係る表示投影システムの動作の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
本発明の実施の形態について図１〜図１１に基づいて説明すれば、次の通りである。以下、説明の便宜上、特定の実施形態にて説明した構成と同一の機能を有する構成については、同一の符号を付記し、その説明を省略する場合がある。
【００１２】
〔表示投影システム１００〕
図１は、本発明の実施形態に係る表示投影システム１００の構成を示すブロック図である。同図に示すように、表示投影システム１００は、表示投影装置１０および表示投影制御装置２０を含む。
【００１３】
（表示投影装置１０）
表示投影装置１０は、ロボット形態〔図２の（ａ）など参照〕の表示投影装置であり、検知部１、アクチュエータ２、表示部３、およびプロジェクタ４を備える。なお、表示投影装置１０の形態は、ロボット形態に限定されない。また、表示投影制御装置２０は、表示投影装置１０と通信可能に分離された別体として構成されていても良く、表示投影装置１０の内部に一体的に内蔵されていても良い。
【００１４】
次に、検知部１は、少なくとも音検知部１１を備え、必要に応じて画像取得部１２または赤外線センサ１３などの検知装置を備えていれば良く、後述するように、表示投影装置１０（表示部３またはプロジェクタ４）から見たユーザの存在方向や、ユーザから表示投影装置１０（表示部３またはプロジェクタ４）までの距離を特定するために必要な情報が得られるものであればどのような検知装置でも良く、特に限定されない。本実施の形態では、検知部１は、表示部３およびプロジェクタ４の近傍に設けられているものとする。例えば、検知部１は、表示投影装置１０の頭部の耳のあたりに設けられても良い。検知部１は、表示部３およびプロジェクタ４と、ユーザとの、方向および距離を検出するため、表示部３およびプロジェクタ４の近傍に設けられていることが好ましい。
【００１５】
検知部１は、近傍であれば、表示投影装置１０の例えばアクチュエータ２に設けられてもよい。また、表示部３およびプロジェクタ４から離れた位置であっても、そこからユーザとの、方向および距離を検出し、演算によって、表示部３およびプロジェクタ４と、ユーザとの、方向および距離を検出できれば、表示部３およびプロジェクタ４から離れた位置であってもよい。なお、本実施形態では、簡単のため、検知部１は、音検知部１１のみからなるものとし、また、この音検知部１１が、複数のマイクロフォンを備えているものとして説明する。
【００１６】
アクチュエータ２は、例えば、サーボモーター、油圧モーター、または空圧シリンダーなどで構成され、表示投影装置１０の所定の可動部分を作動させるようになっている。特に、アクチュエータ２は、所定の可動部分を作動させることによって、表示投影装置１０の表示部３の表示方向またはプロジェクタ４の投影方向が、ユーザの見やすい方向になるように、表示投影装置１０を真上から見たときの、装置の水平方向に対する向きを任意の回動角度で回動させることができるようになっている。また、アクチュエータ２は、所定の可動部分を作動させることによって、ユーザが見やすい位置で、水平面に対して任意の投影角度でプロジェクタ４による投影が行われるように、表示投影装置１０の姿勢を前屈みに折り曲げたり、前屈みの姿勢から起立させたりすることができるようになっている。
【００１７】
表示部３は、所定の表示画面として、例えば、液晶パネルを備え、画像等を表示させるものである。但し、表示部３に用いられる表示パネルは、液晶パネルに限定されるものではなく、有機ＥＬ（エレクトロルミネッセンス）パネル、無機ＥＬパネル、プラズマパネル等であってもよい。プロジェクタ４は、スクリーン等の被投影面に画像等を投影させるものである。
【００１８】
また、本実施形態の表示投影装置１０では、装置の背面側に表示部３が取り付けられ、頭部に設けられた三つ目の中央の目の位置にプロジェクタ４が内蔵されている。
【００１９】
なお、本実施形態では、表示投影装置１０が、表示部３およびプロジェクタ４の両方を備えている形態について説明するが、本発明を具現化した形態は、このような形態に限定されず、表示部３およびプロジェクタ４のいずれか一方を備えていれば良い。
【００２０】
（表示投影制御装置２０）
次に、上述した表示投影装置１０の動作を統括的に制御する表示投影制御装置２０の構成について説明する。図１に示すように、表示投影制御装置２０は、制御部５および記憶部６を備える。また、制御部５は、表示投影装置１０の各制御ブロックを統括的に制御するものであり、表示要求検知部５１、ユーザ方向距離特定部（方向特定部，距離特定部）５２、表示投影方法決定部５３、作動制御部５４、および表示投影制御部５５を備える。
【００２１】
表示要求検知部５１は、音検知部１１から音声情報を取得して音声認識を行い、例えば、ユーザの「表示して！」との発話を認識した場合、制御部５に、表示部３に画像等を表示させる表示処理を開始させる。一方、表示要求検知部５１は、音声認識により、ユーザの「プロジェクタ表示して！」との発話を認識した場合、制御部５にプロジェクタ４に画像等を投影させるプロジェクタ表示処理を開始させる。
【００２２】
ユーザ方向距離特定部５２は、音検知部１１の複数のマイクロフォンによる音の検知結果に基づき、いわゆるボイスソーストラッキング技術を利用して、表示投影装置１０（表示部３またはプロジェクタ４）から見たユーザの存在方向を特定するようになっている。なお、本実施形態では、音検知部１１による音の検知結果を用いて、ユーザの存在方向を特定する手法を用いているが、ユーザの存在方向を特定する手法はこれに限定されない。例えば、画像取得部１２が取得した表示投影装置１０の周囲を撮影して取得した画像データを解析することによって、ユーザの存在方向を特定しても良い。また、赤外線センサ１３などの各種センサによって表示投影装置１０の周囲の状態を検知した検知結果により、ユーザの存在方向を特定しても良い。すなわち、表示投影システム１００は、ユーザの存在方向を特定する手法としてどのような手法を用いても良い。
【００２３】
また、ユーザ方向距離特定部５２は、音検知部１１の少なくとも２つのマイクロフォンのそれぞれを使って検出したユーザの発話の差分に基づいて、表示投影装置１０（表示部３またはプロジェクタ４）からユーザまでの距離を特定することができるようになっている。
【００２４】
なお、本明細書では、表示投影装置１０からユーザまでの距離を、表示部３およびプロジェクタ４の近傍からユーザまでの距離として定義する。但し、表示投影装置１０からユーザまでの距離の定義方法は、これに限定されない。例えば、表示投影装置１０からユーザまでの距離を、アクチュエータ２の近傍からユーザまでの距離として定義しても良い。ユーザ方向距離特定部５２が特定したユーザの存在方向、または、ユーザまでの距離に関する情報は、表示投影方法決定部５３に渡される。
【００２５】
表示投影方法決定部５３は、表示部３による画像等の表示方法、または、プロジェクタ４による画像等の投影方法を決定するものであり、表示投影方向決定部５３１、表示投影角度決定部５３２、および表示投影画像調整部（画像調整部）５３３を備える。
【００２６】
表示投影方向決定部５３１は、ユーザ方向距離特定部５２が特定したユーザの存在方向と、表示部３の現在の表示方向、またはプロジェクタ４による現在の投影方向と、を参照して、表示部３の表示方向、またはプロジェクタ４による投影方向を決定し、上述した表示投影装置１０の回動角度を算出して、作動制御部５４に渡す。
【００２７】
表示投影角度決定部５３２は、ユーザ方向距離特定部５２が特定した表示投影装置１０からユーザまでの距離を参照して、表示部３の表示方向の水平面に対する仰角を決定したり、プロジェクタ４の水平面に対する投影角度を決定したりして、その決定結果を作動制御部５４に渡す。
【００２８】
表示投影画像調整部５３３は、ユーザ方向距離特定部５２が特定した表示投影装置１０からユーザまでの距離を参照して、プロジェクタ４から所定の被投影面に投影される画像の向きがユーザの見やすい向きになるように、制御部５内における画像データの向きを調整する。また、表示投影画像調整部５３３は、上記の処理によりプロジェクタ４から所定の被投影面に投影される画像の幾何学的な歪みを、いわゆる台形補正の手法を用いて補正する。具体的には、被投影面に投影される投影画像の外縁を矩形とするべく、画像データの外縁が台形形状になるように画像データを補正する。そして、上記の向きの調整、または上記の台形補正が行われた画像データは、表示投影制御部５５に渡される。
【００２９】
なお、上述した形態では、制御部５の表示投影方法決定部５３が、表示投影画像調整部５３３を備えているものとして説明したが、このような形態に限定されず、表示投影装置１０のプロジェクタ４が、上述した表示投影画像調整部５３３の機能を備えていても良い。この場合、例えば、表示投影方法決定部５３が、プロジェクタ４から所定の被投影面に投影される画像の向きがユーザの見やすい向きになるように、画像データの向き（正転か反転か）を決定し、その決定結果（向き）を画像データ（向きの補正なし）と共に、表示投影制御部５５を介してプロジェクタ４の表示投影画像調整部５３３に渡す。その後、プロジェクタ４の表示投影画像調整部５３３は、上記決定結果（向き）に基づいて、プロジェクタ４から所定の被投影面に投影される画像の向きがユーザの見やすい向きになるように、上記画像データの向きを調整する（正転または反転させる）。その結果、プロジェクタ４からユーザの見やすい向きに調整された投影画像が投影される。
【００３０】
また、上記の場合、制御部５の表示投影角度決定部５３２は、プロジェクタ４の水平面に対する投影角度を決定し、その決定結果（投影角度）を画像データ（台形補正なし）と共に、表示投影制御部５５を介してプロジェクタ４の表示投影画像調整部５３３に渡すように構成しても良い。このとき、プロジェクタ４の表示投影画像調整部５３３は、上記決定結果（投影角度）に基づいて、プロジェクタ４から被投影面に投影される投影画像の外縁を矩形とするべく、画像データの外縁が台形形状になるように画像データを補正する。その結果、プロジェクタ４から外見が矩形に調整された投影画像が投影される。
【００３１】
表示投影制御部５５は、受け取った画像データによる画像等を表示部３に表示させ、また、受け取った画像データによる画像等をプロジェクタ４に投影させる制御を行う。
【００３２】
記憶部６には、上述した制御部５の各制御ブロックの動作に必要な各種情報が予め記録され、さらに、表示投影制御装置２０の動作に伴って各制御ブロックによって生成される各種情報が事後的に記録される。記憶部６に予め記録される情報の例としては、表示投影装置１０に対する表示部３の配置位置などを示す情報などを例示することができる。また、記憶部６に事後的に記録される情報の例としては、決定したプロジェクタ４の表示投影角度を示す情報などを例示することができる。
【００３３】
〔実施形態１〕
図２は、本発明の実施形態１に係る表示投影システム１００の動作を説明するための図である。図２の（ａ）に示す初期状態では、ユーザの正面と表示投影装置１０の正面（ロボットの正面）とが、互いに対向した状態で、ユーザが「表示して！」と発話している状態が示されている。このとき、図２の（ａ）に示すように、ユーザの声の向きと、表示部３の表示方向と、は同一の向きとなっている。そして、ユーザの「表示して！」との音声を音検知部１１が検知すると、その検知結果が表示要求検知部５１およびユーザ方向距離特定部５２に渡される。
【００３４】
表示要求検知部５１は、音検知部１１が検知したユーザの「表示して！」との音声を認識し、制御部５は、ユーザから表示部３に画像等を表示させる旨の要求があったことを認識する。ユーザ方向距離特定部５２は、音検知部１１が検知した音声についてボイスソーストラッキング技術を利用して、表示投影装置１０から見たユーザの存在方向を特定し、その特定結果を表示投影方法決定部５３に渡す。
【００３５】
表示投影方法決定部５３の表示投影方向決定部５３１は、特定された表示投影装置１０から見たユーザの存在方向と、表示投影装置１０における表示部３の表示方向と、を参照して、表示部３の表示方向をユーザ側に向ける処理を行うことを決定する。表示投影方向決定部５３１は、決定した結果に基づき、作動制御部５４を介して、アクチュエータ２を作動させて、図２の（ｂ）に示すように、表示部３の表示方向をユーザの側に向けさせる。以上により、画像等の表示方向をユーザの見やすい方向に向けることができる。
【００３６】
以上で説明した形態では、初期状態で、ユーザの声の向きと、表示部３の表示方向と、が同一の向きとなっている状態について説明したが、初期状態はこれに限定されず。図２の（ｃ）に示すように、ユーザの声の向きと、表示部３の表示方向とが斜めに交わっていても良い。このとき、ユーザが「表示して！」と発話すると、図２の（ｂ）に示すように、表示部３の表示方向がユーザ側に向けられる処理が実行される。
【００３７】
次に、図３は、本発明の実施形態１に係る表示投影システム１００の動作の流れを示すフローチャートである。ステップＳ（以下、「ステップ」は省略する）１０１では、ユーザ方向距離特定部５２は、音検知部１１が検知したユーザの「表示して！」との音声を参照して、表示投影装置１０から見たユーザの存在方向を特定し、Ｓ１０２に進む。このとき、表示要求検知部５１は、音検知部１１が検知したユーザの「表示して！」との音声を認識し、制御部５は、ユーザから表示部３に画像等を表示させる旨の要求があったことを認識する。
【００３８】
Ｓ１０２では、表示投影方法決定部５３の表示投影方向決定部５３１が、ユーザ方向距離特定部５２が特定したユーザの存在方向と、表示投影装置１０における表示部３の表示方向と、を参照して、表示部３の表示方向をユーザ側に向ける処理を行うことを決定し、作動制御部５４を介して、アクチュエータ２を作動させて、例えば、図２の（ｂ）に示すように、表示部３の表示方向をユーザの側に向けさせて、Ｓ１０３に進む。Ｓ１０３では、表示投影制御部５５が表示部３に画像等を表示させて、表示処理が終了する。
【００３９】
上記の形態によれば、ユーザの存在方向を特定するだけで、画像等の表示方向をユーザの見やすい方向に向けることができるため、ユーザの利便性を向上させることができる。また、表示部３の表示方向をユーザの見やすい方向にするためには、ユーザの存在方向を特定する構成とするだけで良いため、画像等を表示するシステム全体の構成を簡単化することができる。
【００４０】
以上により、画像等の表示方向をユーザの見やすい方向に向けることでユーザの利便性を向上させつつ、画像等を表示するシステム全体の構成を簡単化することができる。
【００４１】
〔実施形態２〕
図４は、本発明の実施形態２に係る表示投影システム１００の動作を説明するための図である。図４の（ａ）に示す初期状態では、ユーザの正面と表示投影装置１０の正面（ロボットの正面）とが、互いに対向している状態で、ユーザが「プロジェクタ表示して！」と発話している状態が示されている。また、図４の（ａ）に示す初期状態では、ユーザの声の向きと、プロジェクタ４の投影方向と、は互いに対向する向きとなっている。図１に示す音検知部１１は、ユーザの「プロジェクタ表示して！」との音声を検知し、その検知結果が表示要求検知部５１およびユーザ方向距離特定部５２に渡される。
【００４２】
表示要求検知部５１は、音検知部１１が検知したユーザの「プロジェクタ表示して！」との音声を認識し、制御部５は、ユーザからプロジェクタ４にて画像等を投影する旨の要求があったことを認識する。ユーザ方向距離特定部５２は、音検知部１１が検知した音声についてボイスソーストラッキング技術を利用して、表示投影装置１０から見たユーザの存在方向を特定し、その特定結果を表示投影方法決定部５３に渡す。
【００４３】
表示投影方法決定部５３の表示投影方向決定部５３１は、特定された表示投影装置１０から見たユーザの存在方向と、表示投影装置１０におけるプロジェクタ４の投影方向と、を参照して、プロジェクタ４の投影方向を、ユーザの声の向きと同一の方向に向ける処理を行うことを決定する。
【００４４】
表示投影方向決定部５３１は、決定した結果に基づき、作動制御部５４を介して、アクチュエータ２を作動させて、図４の（ｂ）に示すように、プロジェクタ４の投影方向をユーザの声の向きと同一の方向に向けさせる。これにより、画像等の投影方向をユーザの見やすい方向に向けることができる。
【００４５】
以上で説明した形態では、初期状態で、ユーザの声の向きと、プロジェクタ４の投影方向と、が互いに対向する向きとなっている状態について説明したが、初期状態はこれに限定されず。図４の（ｃ）に示すように、ユーザの声の向きと、プロジェクタ４の投影方向とが斜めに交わっていても良い。このとき、ユーザが「プロジェクタ表示して！」と発話すると、図４の（ｂ）に示すように、プロジェクタ４の投影方向がユーザの声の向きと同一の方向に向けられる処理が実行される。
【００４６】
次に、図５は、本発明の実施形態２に係る表示投影システム１００の動作の流れを示すフローチャートである。Ｓ２０１では、ユーザ方向距離特定部５２は、音検知部１１がユーザの「プロジェクタ表示して！」との音声を検知した結果から、表示投影装置１０から見たユーザの存在方向を特定し、Ｓ２０２に進む。このとき、表示要求検知部５１は、音検知部１１が検知したユーザの「プロジェクタ表示して！」との音声を認識し、制御部５は、ユーザからプロジェクタ４にて画像等を投影する旨の要求があったことを認識する。
【００４７】
Ｓ２０２では、表示投影方法決定部５３の表示投影方向決定部５３１が、ユーザ方向距離特定部５２が特定したユーザの存在方向と、表示投影装置１０における現在のプロジェクタ４の投影方向と、を参照して、プロジェクタ４の投影方向をユーザの声の向きと同一の方向に向ける処理を行うことを決定し、作動制御部５４を介して、アクチュエータ２を作動させて、図４の（ｂ）に示すように、プロジェクタ４の投影方向をユーザの声の向きと同一の方向に向けさせて、Ｓ２０３に進む。Ｓ２０３では、表示投影制御部５５がプロジェクタ４に画像等を投影させて、プロジェクタ表示処理が終了する。
【００４８】
上記の形態によれば、ユーザの存在方向を特定するだけで、画像等の投影方向をユーザの見やすい方向に向けることができるため、ユーザの利便性を向上させることができる。また、プロジェクタ４の投影方向をユーザの見やすい方向にするためには、ユーザの存在方向を特定する構成とするだけで良いため、画像等を投影するシステム全体の構成を簡単化することができる。
【００４９】
以上により、画像等の投影方向をユーザの見やすい方向に向けることでユーザの利便性を向上させつつ、画像等を表示し、または画像等を投影するシステム全体の構成を簡単化することができる。
【００５０】
〔実施形態３〕
図６は、本発明の実施形態３に係る表示投影システム１００の動作を説明するための図である。図６の（ａ）に示す初期状態では、表示投影装置１０は、背面（ロボットの背面）をユーザに向け、頭部が机の表面に近づくように前屈みとなっている状態で、ユーザが「プロジェクタ表示して！」と発話している状態が示されている。このとき、ユーザの声の向きと、プロジェクタ４の投影方向と、は概ね同一の向きとなっている。図１に示す音検知部１１は、ユーザの「プロジェクタ表示して！」との音声を検知し、その検知結果が表示要求検知部５１およびユーザ方向距離特定部５２に渡される。
【００５１】
表示要求検知部５１は、音検知部１１が検知したユーザの「プロジェクタ表示して！」との音声を認識し、制御部５は、ユーザからプロジェクタ４にて画像等を投影する旨の要求があったことを認識する。ユーザ方向距離特定部５２は、音検知部１１が検知した音声についてボイスソーストラッキング技術を利用して、表示投影装置１０から見たユーザの存在方向を特定し、その特定結果を表示投影方法決定部５３に渡す。
【００５２】
表示投影方法決定部５３の表示投影方向決定部５３１は、特定された表示投影装置１０から見たユーザの存在方向と、表示投影装置１０におけるプロジェクタ４の投影方向と、を参照して、ユーザの声の向きと、プロジェクタ４の投影方向と、が概ね同一の向きとなっている状態で、そのまま机上に画像等を投影する処理を行うことを決定し、表示投影制御部５５は、プロジェクタ４を介して、画像等を机上に投影する準備を行う。
【００５３】
次に、表示投影画像調整部５３３は、ユーザ方向距離特定部５２によって特定されたユーザの存在方向を参照して、プロジェクタ４から机上の所定の被投影面に投影される画像の向きをユーザの見やすい向きになるよう画像データの向きを調整する。
【００５４】
表示投影画像調整部５３３は、表示投影制御部５５を介して、プロジェクタ４から机上の被投影面に投影される画像等の向きがユーザの見やすい向きになるようにしてプロジェクタ４から画像等を投影する。このとき、図６の（ｂ）に示すように、画像等の向きは、表示投影装置１０の正面に対して正転して表示される。
【００５５】
次に、図６の（ｃ）に示す初期状態では、表示投影装置１０は、正面側をユーザ側に向け、頭部が机の表面に近づくように前屈みとなっている状態で、ユーザが「プロジェクタ表示して！」と発話している状態が示されている。同図に示すように、ユーザの声の向きと、プロジェクタ４の投影方向と、は概ね互いに対向する向きとなっている。
【００５６】
このとき、図１に示す音検知部１１は、ユーザの「プロジェクタ表示して！」との音声を検知し、その検知結果が表示要求検知部５１およびユーザ方向距離特定部５２に渡される。
【００５７】
表示要求検知部５１は、音検知部１１が検知したユーザの「プロジェクタ表示して！」との音声を認識し、制御部５は、ユーザからプロジェクタ４にて画像等を投影する旨の要求があったことを認識する。ユーザ方向距離特定部５２は、音検知部１１が検知した音声についてボイスソーストラッキング技術を利用して、表示投影装置１０から見たユーザの存在方向を特定し、その特定結果を表示投影方法決定部５３に渡す。
【００５８】
表示投影方法決定部５３の表示投影方向決定部５３１は、特定された表示投影装置１０から見たユーザの存在方向と、表示投影装置１０におけるプロジェクタ４の投影方向と、を参照して、ユーザの声の向きと、プロジェクタ４の現在の投影方向と、が概ね互いに対向する向きとなっている状態で、そのまま机上に画像等を投影する処理を行うことを決定し、表示投影制御部５５は、プロジェクタ４を介して、画像等を机上に投影する準備を行う。ここでの準備は、例えば、画像処理を例示することができる。
【００５９】
次に、表示投影画像調整部５３３は、ユーザ方向距離特定部５２によって特定されたユーザの存在方向を参照して、プロジェクタ４から机上の被投影面に投影される画像の向きをユーザの見やすい向きになるよう画像データを調整する。
【００６０】
表示投影画像調整部５３３は、表示投影制御部５５を介して、プロジェクタ４から机上の被投影面に投影される画像等の向きがユーザの見やすい向きになるようにしてプロジェクタ４から画像等を投影する。このとき、図６の（ｄ）に示すように、画像等の向きは、表示投影装置１０の正面に対して反転して表示される。
【００６１】
次に、図７の（ａ）は、本発明の実施形態３に係る表示投影システム１００の動作の流れを示すフローチャートである。Ｓ３０１では、ユーザ方向距離特定部５２は、音検知部１１が検知したユーザの「プロジェクタ表示して！」との音声を参照して、表示投影装置１０から見たユーザの存在方向を特定し、Ｓ３０２に進む。このとき、表示要求検知部５１は、音検知部１１が検知したユーザの「プロジェクタ表示して！」との音声を認識し、制御部５は、ユーザからプロジェクタ４にて画像等を投影する旨の要求があったことを認識する。
【００６２】
Ｓ３０２では、ユーザ方向距離特定部５２によって、プロジェクタ４の投影方向の側からユーザの声がしたと特定された場合、Ｓ３０３に進む。一方、ユーザ方向距離特定部５２によって、プロジェクタ４の投影方向の背面側からユーザの声がしたと特定された場合、Ｓ３０４に進む。
【００６３】
Ｓ３０３では、表示投影画像調整部５３３が、ユーザの存在方向に画像等が反転して投影されるように画像データを調整し、表示投影制御部５５を介して、調整後の画像データを用いてプロジェクタ４に画像等を投影させて、プロジェクタ表示処理が終了する。なお、上述したフローでは、制御部５の表示投影方法決定部５３が、表示投影画像調整部５３３を備えているものとして説明したが、このような形態に限定されず、表示投影装置１０のプロジェクタ４が、上述した表示投影画像調整部５３３の機能を備えていても良い。この場合、例えば、表示投影方法決定部５３が、プロジェクタ４から所定の被投影面に投影される画像の向きがユーザの見やすい向きになるように、画像データの向き（正転か反転か）を決定し、その決定結果（向き）を画像データ（向きの補正なし）と共に、表示投影制御部５５を介してプロジェクタ４の表示投影画像調整部５３３に渡す。その後、プロジェクタ４の表示投影画像調整部５３３は、上記決定結果（向き）に基づいて、プロジェクタ４から所定の被投影面に投影される画像の向きがユーザの見やすい向きになるように、上記画像データの向きを調整する（正転または反転させる）。
【００６４】
Ｓ３０４では、表示投影画像調整部５３３が、ユーザの存在方向に画像等が正転して投影されるように画像データを調整し、表示投影制御部５５を介して、調整後の画像データを用いてプロジェクタ４に画像等を投影させて、プロジェクタ表示処理が終了する。
【００６５】
図７の（ｂ）は、ユーザが存在しているエリアと、投影画像の向きと、の関係を説明するための図である。同図に示すように、ユーザがプロジェクタ画像反転表示エリアＡ１内に存在している場合、プロジェクタ４から机上に投影される画像は、表示投影装置１０の正面に対して反転して表示される。一方、ユーザがプロジェクタ画像正転表示エリアＡ２内に存在している場合、プロジェクタ４から机上に投影される画像は、表示投影装置１０の正面に対して正転して表示される。
【００６６】
上記の形態によれば、ユーザの存在方向が特定される構成とするだけで、プロジェクタ４から被投影面に投影される画像の向きをユーザの見やすい向きに調整することができるため、ユーザの利便性を向上させつつ、システム全体の構成を簡単化することができる。
【００６７】
〔実施形態４〕
図８は、本発明の実施形態４に係る表示投影システム１００の動作を説明するための図である。図８の（ａ）に示す初期状態では、表示投影装置１０は、正面側をユーザ側に向け、頭部が机の表面に近づくように前屈みとなっている状態で、ユーザが「プロジェクタ表示して！」と発話している状態が示されている。図８の（ａ）に示す初期状態では、ユーザの声の向きと、プロジェクタ４の投影方向と、は概ね互いに対向する向きとなっている。
【００６８】
このとき、図１に示す音検知部１１は、ユーザの「プロジェクタ表示して！」との音声を検知し、その検知結果が表示要求検知部５１およびユーザ方向距離特定部５２に渡される。
【００６９】
表示要求検知部５１は、音検知部１１が検知したユーザの「プロジェクタ表示して！」との音声を認識し、制御部５は、ユーザからプロジェクタ４にて画像等を投影する旨の要求があったことを認識する。ユーザ方向距離特定部５２は、音検知部１１の少なくとも２つのマイクロフォンのそれぞれを使って検出したユーザの発話の差分に基づいて、表示投影装置１０（表示部３またはプロジェクタ４）からユーザまでの距離を特定し、その特定結果を表示投影方法決定部５３に渡す。
【００７０】
表示投影方法決定部５３の表示投影角度決定部５３２は、ユーザから表示投影装置１０（表示部３またはプロジェクタ４）までの特定された距離を参照して、ユーザが見やすい位置にプロジェクタ４による投影が行われるようにプロジェクタ４の水平面に対する表示投影角度を決定する。なお、本明細書では、表示投影角度を図８の（ａ）に示す矢印の線と、水平面との為す角として定義する。
【００７１】
表示投影角度決定部５３２は、決定した表示投影角度に基づき、作動制御部５４を介して、アクチュエータ２を作動させ、図８の（ｂ）に示すように、表示投影装置１０の姿勢を起立させて前屈みの状態を少し緩和することで、表示投影角度を図８の（ａ）に示す状態よりも小さくして、投影画像の投影位置が机のユーザに近い端部近傍になるようにする。
【００７２】
次に、図９は、本発明の実施形態４に係る表示投影システム１００の動作の流れを示すフローチャートである。Ｓ４０１では、ユーザ方向距離特定部５２は、音検知部１１の少なくとも２つのマイクロフォンを使って検出した音量の差分に基づいて、表示投影装置１０からユーザまでの距離を特定し、その特定結果を表示投影方法決定部５３に渡し、Ｓ４０２に進む。このとき、表示要求検知部５１は、音検知部１１が検知したユーザの「プロジェクタ表示して！」との音声を認識し、制御部５は、ユーザからプロジェクタ４にて画像等を投影する旨の要求があったことを認識する。
【００７３】
Ｓ４０２では、表示投影方法決定部５３の表示投影角度決定部５３２が、特定されたユーザから表示投影装置１０までの距離を参照して、ユーザが見やすい位置でプロジェクタ４による投影が行われるようにプロジェクタ４の水平面に対する表示投影角度を決定し、Ｓ４０３に進む。
【００７４】
Ｓ４０３では、表示投影角度決定部５３２は、決定した表示投影角度に基づき、作動制御部５４を介して、アクチュエータ２を作動させ、表示投影角度を調整し、Ｓ４０５に進む。Ｓ４０５では、表示投影制御部５５がプロジェクタ４に画像等を投影させて、プロジェクタ表示処理が終了する。
【００７５】
上記の形態によれば、ユーザから表示投影装置１０までの距離が特定される構成とするだけで、ユーザが見やすい位置でプロジェクタ４による投影が行われるようにすることができるため、ユーザの利便性を向上させつつ、システム全体の構成を簡単化することができる。
【００７６】
〔実施形態５〕
図１０は、本発明の実施形態５に係る表示投影システム１００の動作を説明するための図である。図１０の（ａ）に示す状態では、机上の投影面ＳＵＦ上に投影された投影画像Ｐｉｃ１には、幾何学的な歪みが生じ、その外縁が台形形状となっている。一方、図１０の（ｂ）に示す状態では、机上の投影面ＳＵＦ上に投影された投影画像Ｐｉｃ２は、上記の幾何学的な歪みが補正され、その外縁が矩形となっている。本実施形態では、以上のように、所定の被投影面に表示される投影画像の幾何学的な歪みを補正する（台形補正を行う）形態について説明する。
【００７７】
図１１は、本発明の実施形態５に係る表示投影システム１００の動作の流れを示すフローチャートである。図１１に示すフローチャートのＳ４０１〜Ｓ４０３は、図９に示すＳ４０１〜Ｓ４０３の動作と同じなので、ここでは説明を省略し、Ｓ５０１以降の動作の流れについて説明する。
【００７８】
Ｓ５０１では、表示投影画像調整部５３３は、ユーザ方向距離特定部５２が特定したユーザから表示投影装置１０までの距離を参照して、プロジェクタ４から所定の被投影面に投影される画像の幾何学的な歪みを補正すべく、投影画像の外縁が台形形状になるように調整してＳ５０２に進む。Ｓ５０２では、表示投影制御部５５がプロジェクタ４に画像等を投影させて、プロジェクタ表示処理が終了する。
【００７９】
上記の形態によれば、ユーザから表示投影装置１０までの距離が特定される構成とするだけで、プロジェクタ４から所定の被投影面に投影される画像の幾何学的な歪みを補正することができるため、ユーザの利便性を向上させつつ、システム全体の構成を簡単化することができる。
【００８０】
なお、上述した形態では、制御部５の表示投影方法決定部５３が、表示投影画像調整部５３３を備えているものとして説明したが、このような形態に限定されず、表示投影装置１０のプロジェクタ４が、上述した表示投影画像調整部５３３の機能を備えていても良い。この場合、制御部５の表示投影角度決定部５３２は、プロジェクタ４の水平面に対する投影角度を決定し、その決定結果（投影角度）を画像データ（台形補正なし）と共に、表示投影制御部５５を介してプロジェクタ４の表示投影画像調整部５３３に渡しても良い。このとき、プロジェクタ４の表示投影画像調整部５３３は、上記決定結果（投影角度）に基づいて、プロジェクタ４から被投影面に投影される投影画像の外縁を矩形とするべく、画像データの外縁が台形形状になるように画像データを補正する。その結果、プロジェクタ４から外見が矩形に調整された投影画像が投影される。
【００８１】
〔ソフトウェアによる実現例〕
表示投影制御装置２０の制御ブロック（特にユーザ方向距離特定部５２、表示投影方法決定部５３、作動制御部５４、および表示投影制御部５５）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【００８２】
後者の場合、表示投影制御装置２０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００８３】
〔まとめ〕
本発明の態様１に係る表示投影制御装置は、表示部またはプロジェクタから見たユーザの存在方向を特定する方向特定部と、特定された上記ユーザの存在方向を参照して、上記表示部の表示方向または上記プロジェクタの投影方向を制御するようアクチュエータを作動させる作動制御部と、を備える構成である。
【００８４】
上記構成によれば、ユーザの存在方向を特定するだけで、画像等の表示方向または画像等の投影方向をユーザの見やすい方向に向けることができるため、ユーザの利便性を向上させることができる。また、表示部の表示方向またはプロジェクタの投影方向をユーザの見やすい方向にするためには、ユーザの存在方向を特定する構成とするだけで良いため、画像等を表示し、または画像等を投影するシステム全体の構成を簡単化することができる。
【００８５】
以上により、画像等の表示方向または画像等の投影方向をユーザの見やすい方向に向けることでユーザの利便性を向上させつつ、画像等を表示し、または画像等を投影するシステム全体の構成を簡単化することができるという効果を奏する。
【００８６】
また、本発明の態様２に係る表示投影制御装置は、上記態様１において、上記ユーザから上記プロジェクタまでの距離を特定する距離特定部を備え、上記作動制御部は、特定された上記ユーザから上記プロジェクタまでの距離を参照して、上記プロジェクタによる投影角度を制御するよう上記アクチュエータを作動させても良い。
【００８７】
上記構成によれば、ユーザからプロジェクタまでの距離を特定する構成とするだけで、ユーザが見やすい位置にプロジェクタによる投影が行われるようにすることができる。よって、ユーザの利便性を向上させつつ、システム全体の構成を簡単化することができる。
【００８８】
また、本発明の態様３に係る表示投影制御装置は、上記態様１において、上記方向特定部によって特定された上記ユーザの存在方向を参照して、上記プロジェクタから被投影面に投影される画像の向きを調整する画像調整部を備えていても良い。
【００８９】
上記構成によれば、ユーザの存在方向を特定する構成とするだけで、プロジェクタから被投影面に投影される画像の向きをユーザの見やすい向きに調整することができる。よって、ユーザの利便性を向上させつつ、システム全体の構成を簡単化することができる。
【００９０】
また、本発明の態様４に係る表示投影制御装置は、上記態様３において、上記ユーザから上記プロジェクタまでの距離を特定する距離特定部を備え、上記画像調整部は、特定された上記ユーザから上記プロジェクタまでの距離を参照して、上記プロジェクタから上記被投影面に投影される画像の幾何学的な歪みを補正しても良い。
【００９１】
上記構成によれば、ユーザからプロジェクタまでの距離を特定する構成とするだけで、プロジェクタから被投影面に投影される画像の幾何学的な歪みを補正することができる。よって、ユーザの利便性を向上させつつ、システム全体の構成を簡単化することができる。
【００９２】
また、本発明の態様５に係る表示投影システムは、上記態様１〜４のいずれかの表示投影制御装置と、上記表示部および上記プロジェクタの少なくとも一方と、上記表示投影制御装置の上記作動制御部によって制御される上記アクチュエータと、を含んでいても良い。
【００９３】
上記構成によれば、画像等の表示方向または画像等の投影方向をユーザの見やすい方向に向けることでユーザの利便性を向上させつつ、画像等を表示し、または画像等を投影するシステム全体の構成を簡単化することができる表示投影システムを実現できる。
【００９４】
また、本発明の態様６に係る表示投影制御装置の制御方法は、表示部またはプロジェクタから見たユーザの存在方向を特定する方向特定ステップと、特定した上記ユーザの存在方向を参照して、上記表示部の表示方向または上記プロジェクタの投影方向を制御するようアクチュエータを作動させる作動制御ステップと、を含む方法である。上記方法によれば、態様１と同様の効果を奏する。
【００９５】
〔付記事項〕
本発明の各態様に係る表示投影制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示投影制御装置が備える各部（ソフトウェア要素に限る）として動作させることにより上記表示投影制御装置をコンピュータにて実現させる表示投影制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【００９６】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【産業上の利用可能性】
【００９７】
本発明は、表示投影装置の表示部に画像等を表示させ、または表示投影装置のプロジェクタからスクリーン等の被投影面に画像等を投影させる制御を行う表示投影制御装置、該表示投影制御装置を含む表示投影システム、該表示投影制御装置の制御プログラム、該制御プログラムを記録したコンピュータ読み取り可能な記録媒体、および該表示投影制御装置の制御方法などに利用することができる。
【符号の説明】
【００９８】
１    検知部
２    アクチュエータ
３    表示部
４    プロジェクタ
５    制御部
６    記憶部
１０    表示投影装置
１１    音検知部
１２    画像取得部
１３    赤外線センサ
２０    表示投影制御装置
５１    表示要求検知部
５２    ユーザ方向距離特定部（方向特定部，距離特定部）
５３    表示投影方法決定部
５４    作動制御部
５５    表示投影制御部
１００    表示投影システム
５３１    表示投影方向決定部
５３２    表示投影角度決定部
５３３    表示投影画像調整部（画像調整部）
【図１】
2016080321.tif 000003
【図２】
2016080321.tif 000004
【図３】
2016080321.tif 000005
【図４】
2016080321.tif 000006
【図５】
2016080321.tif 000007
【図６】
2016080321.tif 000008
【図７】
2016080321.tif 000009
【図８】
2016080321.tif 000010
【図９】
2016080321.tif 000011
【図１０】
2016080321.tif 000012
【図１１】
2016080321.tif 000013
【国際調査報告】
2016080321.tif 000014
2016080321.tif 000015
2016080321.tif 000016
2016080321.tif 000017