(57)【要約】【課題】投射画像の近くにいる発話者の言動に応じた画像表示等が可能になり、音声に関するインタラクティブなプロジェクターシステムを提供すること。【解決手段】  画像光を投射する投射部と、音源位置を特定する音源位置特定部と、音源位置特定部による音源位置の特定結果に応じた投影表示を投射部にさせる表示制御部とを備え、音源位置特定部において音源位置を特定し、特定した音源位置の情報を反映させた内容の画像投射を、表示制御部での投射部についての制御によって行う。【選択図】図３
2019191328.tif 000002
【特許請求の範囲】
【請求項１】
画像を投射する投射部と、
音源位置を特定する音源位置特定部と、
前記音源位置特定部により特定された音源位置に応じた前記画像を前記投射部に投射させる表示制御部と
を備えるプロジェクターシステム。
【請求項２】
前記音源位置特定部は、異なる位置に配置される４つのマイクが取得した音の到達時間の差に基づいて、前記音源位置を特定する、請求項１に記載のプロジェクターシステム。
【請求項３】
前記表示制御部は、前記投射部による画像投射領域のうち、前記音源位置特定部により特定された前記音源位置に対応する領域に前記音源位置に応じた前記画像を投射させる、請求項１及び２のいずれか一項に記載のプロジェクターシステム。
【請求項４】
前記表示制御部は、前記音源位置特定部により特定された前記音源位置が、前記投射部による画像投射領域を含む特定範囲内の時のみ前記音源位置に応じた画像を投射させる、請求項３に記載のプロジェクターシステム。
【請求項５】
前記音源位置特定部により特定された音源位置からの音声を解析して音声内容を認識する音声解析部を備え、
前記表示制御部が投射させる前記画像は、前記音声解析部で解析された音声内容である、請求項１〜４のいずれか一項に記載のプロジェクターシステム。
【請求項６】
前記表示制御部は、前記音源位置特定部により特定された音源位置に応じて、前記音声解析部で解析された音声内容を表示させる向きを変更する、請求項５に記載のプロジェクターシステム。
【請求項７】
前記表示制御部は、前記音声解析部で解析された音声内容を表示させる向きを一定に保つ表示方向固定モードと、向きを変更する表示方向変更モードとを備える、請求項５に記載のプロジェクターシステム。
【請求項８】
前記音声解析部は、音源位置からの音声からキーワードを抽出し、
前記表示制御部は、前記音声解析部において抽出されたキーワードを画像投射領域内でスクロール表示させる、請求項５〜７のいずれか一項に記載のプロジェクターシステム。
【請求項９】
前記投射部による画像投射領域における物体を検出する物体検出部を備え、
前記表示制御部は、前記音声解析部で解析された音声内容を表示させた位置に対応する位置において当該物体が検出された場合に、表示させた音声内容を当該物体の位置で固定表示する、請求項５〜７のいずれか一項に記載のプロジェクターシステム。
【請求項１０】
前記投射部による画像投射領域における物体を検出する物体検出部を備え、
前記表示制御部は、前記音声解析部で解析された前記音声内容に基づいて、前記物体検出部で検出された物体の移動による軌跡の色、線種、太さのいずれかを変更する、請求項５〜７のいずれか一項に記載のプロジェクターシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源位置を特定可能とし、音声に対応した表示を行うプロジェクターシステムに関する。
【背景技術】
【０００２】
プロジェクター等の表示装置を備えたシステムとして、音源位置を特定するものではないが、例えば、投射画面上にあるペン型のデバイス等の指示体の位置を検出可能なものが知られている（例えば特許文献１参照）。なお、指示体の位置検出を利用することで、投射画像の内容に反映させた描画等ができるいわゆるインタラクティブなプロジェクターが実現できる。
【０００３】
また、プロジェクターとして、音声を取り込んで検出することを利用して、複数の発表者の中から該当する発表者を識別し、その発表者のデータを表示するものが知られている（特許文献２参照）。ただし、この場合、音声による識別を可能とすべく、予め発表者の音声データを取得しておき、さらに音声データと表示データと紐づけしておく、といった事前準備が必要になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２４７４８６号公報
【特許文献２】特開２００６−３３１１２１号公報
【発明の概要】
【０００５】
本発明の一態様のプロジェクターシステムは、画像を投射する投射部と、音源位置を特定する音源位置特定部と、音源位置特定部により特定された音源位置に応じた画像を投射部にさせる表示制御部とを備える。
【０００６】
上記プロジェクターシステムでは、音源位置特定部において音源位置を特定し、特定した音源位置の情報を反映させた内容の画像投射を、表示制御部での投射部についての制御によって行う。これにより、例えば、投射画像の近くにいる発話者の言動に応じた画像表示等が可能になり、音声に関するインタラクティブなプロジェクターが実現できる。なお、この場合、音源位置特定部において音源位置の特定を行うため、例えば事前に音声データを取得しておくといった準備を要しない。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態のプロジェクターシステムの外観の一例について概略を示す斜視図である。
【図２】プロジェクターシステムの概略を示す側面図である。
【図３】プロジェクターシステムの内部構成の一例の概略を示すブロック図である。
【図４Ａ】マイクでの音声データ取得の様子を示す概念図である。
【図４Ｂ】マイクで取得した音声データに基づく音源位置特定について説明するための概念的な斜視図である。
【図５Ａ】位置特定のための時間差の測定に関して説明するためのグラフである。
【図５Ｂ】位置特定のための時間差の測定に関して説明するためのグラフである。
【図５Ｃ】位置特定のための相関係数に関して説明するためのグラフである。
【図６Ａ】位置特定の対象となる範囲の一例を説明するための概念的な平面図である。
【図６Ｂ】位置特定の対象となる範囲の一例を説明するための概念的な側面図である。
【図７】プロジェクターシステムの動作の一例について説明するための概念的な斜視図である。
【図８】プロジェクターシステムの動作の他の一例について説明するための概念的な斜視図である。
【図９】プロジェクターシステムの動作のさら他の一例について説明するための概念的な斜視図である。
【図１０】図９におけるプロジェクターシステムの動作での表示態様の様子の一例を示す概念的な正面図である。
【図１１】第２実施形態のプロジェクターシステムの概略を示す斜視図である。
【図１２】プロジェクターシステムの動作の一例について説明するための概念的な斜視図である。
【図１３】プロジェクターシステムの動作での表示態様の様子の一例を示す概念的な平面図である。
【図１４Ａ】第３実施形態のプロジェクターシステムの動作の一例について説明するための概念的な正面図である。
【図１４Ｂ】プロジェクターシステムの動作の他の一例について説明するための概念的な正面図である。
【発明を実施するための形態】
【０００８】
〔第１実施形態〕
以下、図面を参照して、本発明の第１実施形態に係るプロジェクターシステムについて説明する。
【０００９】
図１及び図２等に概念的に示すように、本実施形態のプロジェクターシステム１００は、プロジェクター１及び光射出装置２を備える。
【００１０】
プロジェクター１は、天井に吊るされた状態で取り付けられて画像光である投射光ＰＬを投射（斜方投射）して画像投射を行う。より具体的には、図２に例示するように、プロジェクター１は、スクリーンやホワイトボード等の被照射面ＳＣの上方の壁面に設置された支持装置Ｍに支持され、下方を向く側から被照射面ＳＣに画像を投射する。なお、以下では、説明の便宜上、被照射面ＳＣに対する法線方向を前後方向として被照射面ＳＣに向かう方向を前方向（＋Ｙ方向）、重力に逆らう方向を上方向（＋Ｚ方向）、被照射面ＳＣに向かって右側を右方向（＋Ｘ方向）として記載する。被照射面ＳＣは、ＸＺ面に平行な面となっている。
【００１１】
さらに、本実施形態のプロジェクター１は、上記のような画像投射を行うための光学系等を有する本体部分であるプロジェクター本体部１ａのほか、図１において概念的に例示するように、異なる位置に配置される４つのマイクＭＣ１〜ＭＣ４を備えている。また、プロジェクター本体部１ａには、例えば被照射面ＳＣを撮像可能とする撮像装置１６が設けられている。
【００１２】
プロジェクター１では、光射出装置２からの光を撮像装置１６で捉えることで、被照射面ＳＣに表示される投射画面上にペン型のデバイスや指等の物体ＯＢの位置検出が可能になっている。
【００１３】
光射出装置２は、被照射面ＳＣの上方に設置され、図２に例示するように、被照射面ＳＣに沿って光ＥＬを射出する。ここでは、例えば、光ＥＬとして、光強度のピークが約９４０ｎｍの波長を射出するレーザー赤外光が射出される。すなわち、光ＥＬは、ＸＺ面に平行な面に沿った光のカーテンを形成する。この状況下において、例えば図１に示すように、光射出装置２から射出された光ＥＬが、被照射面ＳＣに近づいた指等の物体ＯＢに当たり、その反射成分である反射光ＲＬが撮像装置１６において捉えられることで、物体ＯＢの位置検出がなされる。すなわち、撮像装置１６が光射出装置２から射出された光ＥＬに起因する成分である反射光ＲＬを検出することで、画像投射領域における物体ＯＢを検出する物体検出部として機能する。
【００１４】
本実施形態では、上記のようにして指等の指示体である物体ＯＢの位置を特定すると、さらに、特定した位置に対応する被照射面ＳＣの領域において、物体ＯＢの動きに対応した画像表示を行うものとなっている。図１の例示では、物体ＯＢである指先の被照射面ＳＣ上での軌跡に沿った線描画をしている。ここでは、このような画像表示を行うプロジェクターを物体の動きに関するインタラクティブなプロジェクターとする。
【００１５】
さらに、本実施形態では、異なる位置に配置される４つのマイクＭＣ１〜ＭＣ４によって取得した音声データに基づいて、音源位置を特定することができる。なお、図１では、マイクＭＣ１〜ＭＣ４の異なる位置での配置の一例として、４つのマイクＭＣ１〜ＭＣ４を、プロジェクター本体部１ａを収める筐体ＣＡの四隅に配置しているが、これ以外にも種々の配置が可能であり、例えばプロジェクター本体部１ａから離間した位置に配置してもよい。具体的には、プロジェクターシステム１００を設置する室内の四隅にマイクＭＣ１〜ＭＣ４を配置する、といったことも考えられる。
【００１６】
以下、４つのマイクＭＣ１〜ＭＣ４を利用した音源位置の特定についての概略を説明する。まず、図１に示すように、プロジェクターシステム１００は、例えば発話者ＨＵの音声ＶＯを４つのマイクＭＣ１〜ＭＣ４で取得する。この際、マイクＭＣ１〜ＭＣ４で取得される音声ＶＯに関する音声データには、同一の音について、音源から各マイクまでの距離差に応じた到達時間の差がある。本実施形態では、この音の到達時間の差を割り出し、割り出した時間差に基づいて、発話者ＨＵの位置すなわち音源位置を特定している。なお、詳しい内容については、図４等を参照して後述する。
【００１７】
本実施形態では、上記のようにして発話者ＨＵの位置を特定すると、さらに、特定した位置に対応する被照射面ＳＣの領域において、発話者ＨＵの音声に対応した画像表示を行うものとなっている。図１の例では、発話者ＨＵの発声に合わせて波紋のような画像表示を発話者ＨＵの目の前に表示させている。つまり、プロジェクターシステム１００では、発話者ＨＵの言動を反映した画像表示がなされる。ここでは、このような画像表示を行うプロジェクターを音声に関するインタラクティブなプロジェクターとする。
【００１８】
なお、上記のような物体の動きに関するインタラクティブなプロジェクターや、音声に関するインタラクティブなプロジェクター、さらには、これらの双方を合わせたインタラクティブなプロジェクターを実現するための前提として、投射画面上における物体の位置や発話者の位置を特定するための位置合わせ（キャリブレーション）がなされている。すなわち、被照射面ＳＣにおける画像位置と、撮像装置１６で捉えた画像に基づく物体ＯＢの位置と４つのマイクＭＣ１〜ＭＣ４の音声データに基づく発話者ＨＵの位置とが、必要な精度で位置合わせされていることが前提になる。ここでは、必要なキャリブレーションが、既述の各種方法を用いて適宜なされているものとする。
【００１９】
以下、図３のブロック図を参照して、本実施形態のプロジェクターシステム１００についての一構成例の詳細について、特に、プロジェクターシステム１００を構成するプロジェクター１の一構成例の詳細について説明する。
【００２０】
図３に示すように、プロジェクター１は、プロジェクター本体部１ａとして、画像光を投射する投射部１０と、４つのマイクＭＣ１〜ＭＣ４からの音声データを取り扱う音声管理部２０と、画像形成のための各種処理を行う画像処理部３０と、各種データを格納する記憶部４０と、プロジェクター１を構成する各部を統括制御する主制御部５０とを備える。このほか、既述のように、プロジェクター１は、光射出装置２から射出された光ＥＬに起因する成分である反射光ＲＬを検出する検出装置としての撮像装置１６を備えている。
【００２１】
主制御部５０は、例えばＣＰＵ等で構成され、投射部１０や画像処理部３０による画像投射の動作の制御のほか、例えば、音源位置を特定するための音声管理部２０の動作の制御、あるいは撮像装置１６から出力された情報に基づく画像の投射に関わる制御等を行う。ここでは、特に、主制御部５０は、インタラクティブな表示動作を行うための各種制御を行うものとして、表示制御部５０ａを備えている。例えば、表示制御部５０ａは、音声管理部２０における音源位置の特定結果に応じた投影表示を、画像処理部３０を介して投射部１０に行わせる。
【００２２】
投射部１０は、投射用光源１１と、光変調装置１２と、投射レンズ１３とを備え、入力された画像情報に応じた画像や、撮像装置１６により検出された検出結果に応じた画像、さらには、マイクＭＣ１〜ＭＣ４により取得された音声データに基づく画像を投影すべく、投射光ＰＬを投射レンズ１３から投射する。
【００２３】
投射部１０は、投射用光源１１から射出された光を、画像処理部３０から送信される画像情報に応じて光変調装置１２にて変調し、変調した光を投射レンズ１３から被照射面ＳＣに投射する。なお、投射用光源１１としては、ハロゲンランプやキセノンランプといった各種ランプ光源のほか、ＬＥＤ光源、ＥＬ光源、あるいはレーザー光源等で構成される。また、光変調装置１２としては、液晶パネルを利用したものや、マイクロミラー型の装置、例えば、ＤＭＤ等を利用したものを用いることができる。
【００２４】
撮像装置１６は、図示を省略するが、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を備え、投射光ＰＬが照射される被照射面ＳＣを撮影可能となっている。これにより、撮像装置１６は、既述のように、光射出装置２から射出された赤外光である光ＥＬが被照射面ＳＣやその近傍にあるペンや使用者の指等の物体によって反射された成分である反射光ＲＬを検知することで、物体の位置（反射位置）を検出する。さらに、撮像装置１６は、物体の動きに関するインタラクティブな表示動作を可能とすべく、検出した情報を主制御部５０に出力する。プロジェクター１は、撮像装置１６から出力された情報に基づいて、被照射面ＳＣ上における物体の位置を解析し、その解析結果に基づいて、例えば、画像情報に物体の軌跡を示す線を重畳した重畳画像の投射や、投射する画像の変更等を行う。以上により、被照射面ＳＣ上でのユーザーの動作に応じた画像表示であるインタラクティブな画像表示をすることができる。
【００２５】
音声管理部２０は、４つのマイクＭＣ１〜ＭＣ４からの音声データを受け付ける音声データ受付部２１と、音声データ受付部２１で受け付けた情報について各種処理を行う音声処理部２２とを備える。これらのうち、音声処理部２２は、主制御部５０の制御下において各種音声処理を行うため、音源位置特定部２２ａと、音声解析部２２ｂとを備える。
【００２６】
音声処理部２２のうち、音源位置特定部２２ａは、音声データ受付部２１で受け付けた音声データに基づいて音源位置を特定する。また、音声解析部２２ｂは、音声を解析して音声内容を認識する。特に、ここでは、音源位置特定部２２ａにおいて特定された音源位置からの音声を解析して音声内容を認識することで、例えば、音源位置にいる発話者の発した内容の文字列表示や内容に応じた描画態様の変更等が、可能になっている。
【００２７】
画像処理部３０は、主制御部５０の表示制御部５０ａからの指令に従って、投射すべき画像を形成するための信号作成等の各種画像処理を行う。ここでは、特に、物体の動きに関するインタラクティブな画像表示や、音声に関するインタラクティブな画像表示、さらには、これらの双方を合わせた画像表示が、可能になっている。
【００２８】
記憶部４０は、画像表示に際して必要となる各種データやプログラム等を格納する。例えば、記憶部４０は、音声解析部２２ｂにおいて解析された音声内容に対応する文字列のデータや特定の文字列に対して動作態様を変更するためのプログラム等を記憶している。これにより、例えば音声に対応する文字を画面上に表示させたり、音声に対応した色や線種での描画をしたりといった音声の内容を反映させた表示態様の変更が可能になっている。
【００２９】
なお、以上の説明では、主制御部５０や画像処理部３０、記憶部４０、音声管理部２０について、天吊りされているプロジェクター本体部１ａの内部に収納されるものとしているが、これらの全部または一部が、プロジェクター本体部１ａに接続可能なＰＣ等により別体で設けられていてもよい。
【００３０】
以下、図４及び図５を参照して、音源位置特定部２２ａにおける音源位置の特定方法についての一例を説明する。
【００３１】
図４Ａ及び４Ｂは、音源位置を特定する原理について説明するための図である。まず、図４Ａに例示するように、発話者ＨＵに対して異なる位置にある２つのマイクＭＣａ，Ｍｃｂは、通常、各マイクから発話者ＨＵまでの距離が異なる。このため、発話者ＨＵの発した声である音声ＶＯが各マイクＭＣａ，Ｍｃｂに到達するまでの時間が異なった状態で検出されることになる。
【００３２】
本実施形態では、このような音源位置から生じる同一音が各マイクに到達するまでの時間についての差、すなわち複数のマイク間での時間差を計測し、計測した差に基づいて音源位置までの距離の差を算出し、これを利用することで、音源位置の特定を行っている。以上を、図３を参照して説明すると、まず、音声処理部２２の音源位置特定部２２ａにおいて、４つのマイクＭＣ１〜ＭＣ４で音声が取得された時間ｔ１〜ｔ４についての時間差を算出し、さらに、算出された時間差と、既知の位置である各マイクＭＣ１〜ＭＣ４の位置と未知の位置である音源位置との差との関係に基づいて、音源位置を特定する。
【００３３】
なお、ここでの一例では、以下、第１のマイクＭＣ１を基準として、上記のような各値を求めていくこととする。つまり、第１のマイクＭＣ１での音声取得時刻である時間ｔ１等との相対的な差に関して各種演算処理を行うものとする。例えば、上記した時間差についてであれば、音源位置特定部２２ａは、時間差Δｔ１２＝ｔ１−ｔ２、時間差Δｔ１３＝ｔ１−ｔ３、時間差Δｔ１４＝ｔ１−ｔ４の３つを算出し、求めたこれらの値から、目的とする未知の音源位置を特定する。なお、ここでの音速は、ｖとし、音速ｖは、既知の値であるものとする。
【００３４】
音源位置特定部２２ａによる音源位置の特定に際して、ここでは、図４Ｂに示すように、まず、特定すべき音源位置ＳＰの座標を、３つの未知数（ｘｓ，ｙｓ，ｚｓ）とする。さらに、音源位置ＳＰから４つの異なる既知の位置にあるマイクＭＣ１〜ＭＣ４までの距離をそれぞれ距離Ｌ１〜Ｌ４とする。すなわち、音源位置ＳＰから第１のマイクＭＣ１までを距離Ｌ１とし、音源位置ＳＰから第２のマイクＭＣ２までを距離Ｌ２とし、音源位置ＳＰから第３のマイクＭＣ３までを距離Ｌ３とし、音源位置ＳＰから第４のマイクＭＣ４までを距離Ｌ４とする。以上のように、４つの異なる既知の位置にあるマイクＭＣ１〜ＭＣ４間での情報から、３つの独立した情報に基づいて、３次元空間における音源位置ＳＰの特定が可能になる。
【００３５】
ここで、各距離Ｌ１〜Ｌ４の距離差について、第１のマイクＭＣ１に関する距離Ｌ１を基準として、距離差ΔＬ１２＝Ｌ１−Ｌ２、距離差ΔＬ１３＝Ｌ１−Ｌ３、距離差ΔＬ１４＝Ｌ１−Ｌ４とすると、３つの時間差Δｔ１２，Δｔ１３，Δｔ１４と音速ｖとから、
2019191328.tif 000003
が成り立つ。あるいは、
2019191328.tif 000004
が成り立つ。ここで、３つの時間差Δｔ１２，Δｔ１３，Δｔ１４及び音速ｖは、既知の値であり、上記３つの独立式から、３つの未知数で構成される座標（ｘｓ，ｙｓ，ｚｓ）に示す音源位置ＳＰが特定できる。つまり、上記のような距離差を満たす位置として、音源位置ＳＰが特定される。なお、音源位置特定部２２ａにおける上記演算の結果、一般には、空間内の２点（２つの位置）が上記条件式を満たす座標（ｘｓ，ｙｓ，ｚｓ）として算出されることになるが、被照射面ＳＣとの位置関係等から算出された２つの位置のうちいずれが音源位置ＳＰの位置であるかは、音源位置特定部２２ａにおいて、判定可能である。
【００３６】
以下、図５を参照して、上記した音源位置特定部２２ａにおける時間差Δｔ１２，Δｔ１３，Δｔ１４の測定あるいは計算の方法について一例を説明する。
【００３７】
図５Ａは、位置特定のための時間差の測定に関して一例を概念的に説明するためのグラフであり、横軸が時間軸を示し、縦軸が音の大きさ（振幅）を示している。ここでは、同一の音源に対して、第１のマイクＭＣ１及び第２のマイクＭＣ２（図４Ｂ等参照）において音声の取得を行っているものとし、その結果が図５Ａに示されている。図５Ａの例では、音声データの取得の結果として測定された音声波形を示している。より具体的には、図中において折れ線で示される、曲線Ｃ１が第１のマイクＭＣ１で取得された音声波形を示しており、曲線Ｃ２が第１のマイクＭＣ１（図１等参照）で取得された音声波形を示している。ここでの一例では、相互相関法を用いて、これらの音声波形のずれ量を計算し、当該ずれ量からマイク間での時間差を決定している。
【００３８】
ここで、音源から音が出ている間は、時間の経過とともに音声が次々とやってくることになる、すなわち、音声データは絶えず取得されていくものになる。このため、上記した曲線Ｃ１，Ｃ２について、図５Ｂに示すように、時間に関して一定の範囲で区切った領域を解析領域ＡＤとし、解析領域ＡＤにおける２つの曲線Ｃ１，Ｃ２での相関関係を見ることで、時間差を特定する。図５Ｂの例では、曲線Ｃ１を固定し、曲線Ｃ２を矢印ＡＲ１に示すように、時間軸に沿って移動させ、図５Ｃに例示するように、相互相関係数が最大となるような移動量の値から第１のマイクＭＣ１と第２のマイクＭＣ２との時間差Δｔ１２を決定する。同様に、第１のマイクＭＣ１と他のマイクＭＣ３，ＭＣ４との時間差Δｔ１３，Δｔ１４も決定される。さらに、これらの時間差を利用して、既述のように音源位置ＳＰが特定されることになる。
【００３９】
なお、図５Ｂを参照して説明した内容や、図５Ｃに示す相関係数Ｒについて、数式を用いて示すと、まず、曲線Ｃ１，Ｃ２に相当する各時刻ｔｉでの各値を示す数列ｆｉ，ｇｉによって、相関係数Ｒが、
2019191328.tif 000005
で与えられる。なお、上式において、ｎの値が、図５Ｃの横軸に対応しており、Ｒを最大にするときのｎの値が、求めるべきずれ量に対応する、すなわち図５Ｂを参照して説明した移動量に関する事項が対応する。なお、上式は、相関係数に関する事項としては、一般的なものであり、例えば、右辺における分子の値は、曲線Ｃ１，Ｃ２での相関度合いを定量化するもの（共分散）を示し、分母の値は、曲線Ｃ１，Ｃ２に関して規格化するもの（標準偏差）をそれぞれ示している。
【００４０】
以下、図６を参照して、上述した音声処理部２２による音源位置の特定に関する一態様について説明する。図６Ａは、位置特定の対象となる範囲の一例を説明するための概念的な平面図であり、図６Ｂは、図６Ａに対応する側面図である。ここでは、各図において破線で示すように、音源位置の特定範囲であるアクティブエリアＡＥを、投射部２０による画像投射領域である被照射面ＳＣを含む被照射面ＳＣの近傍に定め、アクティブエリアＡＥ内において取得された音源位置の情報のみを表示に反映させるようにしている。つまり、音源位置特定部２２ａ（図３参照）により特定された音源位置がアクティブエリアＡＥ内の時のみ、表示制御部５０ａは、当該音源位置に応じた画像を投射させる。さらに言い換えると、被照射面ＳＣの近傍の限定的範囲を音声認識の対象となる音声認識エリアとし、対象外の領域から発生した音声に対しては、反応しないようにしている。この場合、例えば、プロジェクター１を利用したプレゼンテーションを行っている場合に、聴衆から声が上がってもこれには反応せず、被照射面ＳＣの近傍で発話する発表者である発話者ＨＵの発言に対してのみインタラクティブな表示動作を行うようにする、といった態様をとることが可能になる。
【００４１】
なお、アクティブエリアＡＥの範囲設定については、種々の態様が可能であるが、例えば図６Ａに示すように、被照射面ＳＣの横方向に関しての被照射面ＳＣの端からの幅ＤＷについては、それぞれ１ｍ程度とし、被照射面ＳＣから垂直に離れる方向の奥行ＤＤについては、１．５ｍ程度とすることが考えられる。なお、図６Ｂに示すように、被照射面ＳＣの縦方向の高さＤＨに関しては、発話者ＨＵの姿勢や身長差等を考慮して、装置を設置する室内の高さと同程度とすることが考えられる。
【００４２】
以下、図７等を参照して、上述した構成のプロジェクターシステム１００での動作例について、いくつかの態様を説明する。
【００４３】
まず、図７に示すように、また、既述のように、プロジェクターシステム１００では、発話者ＨＵの発声あるいは発言に合わせて、被照射面ＳＣのうち、発話者ＨＵの目の前の領域に波紋ＲＩのような画像表示を表示させることができる。具体的には、プロジェクターシステム１００は、発話者ＨＵが発声した音声ＶＯを４つのマイクＭＣ１〜ＭＣ４で捉え、４つのマイクＭＣ１〜ＭＣ４で捉えた音声データを、プロジェクター１を構成する音声処理部２２の音源位置特定部２２ａ（図３参照）において処理することで、発話者ＨＵの位置を特定し、特定した位置である音源位置に対応する領域において、音源位置に応じた画像を投射させるインタラクティブな画像表示を行うべく、主制御部５０の表示制御部５０ａ（図３参照）の制御下において各種画像処理がなされ、発話者ＨＵの目の前の位置で波紋ＲＩのような画像を形成させる画像投射が行われる。
【００４４】
また、プロジェクターシステム１００での別の動作の一例として、図８に示すように、発話者ＨＵが発声した音声ＶＯの内容に応じて、発話者ＨＵが保持する物体ＯＢであるペンによる描画について、色、線種、線の太さ等を変化させることができる。つまり、ペンの移動による軌跡の色、線種、太さ等を変化させることができる。具体的には、まず、前提として、撮像装置１６（図２等参照）で検出された物体ＯＢの検出位置と音源位置特定部２２ａ（図３参照）で特定された音源位置すなわち発話者ＨＵの位置とについて、所定の範囲内である場合に表示動作の関連付けを行うことを予め定めておく。すなわち、物体ＯＢの検出位置と発話者ＨＵの位置とについて、例えば１〜１．５ｍ以内といった具合に、発話者ＨＵが物体ＯＢを保持していると考えられる程度の距離となっている閾値を定めておく。その上で、プロジェクター１において、当該閾値以内に双方が検出された場合には、表示制御部５０ａ（図３参照）は、まず、発話者ＨＵによる音声ＶＯの内容を音声解析部２２ｂ（図３参照）で解析し、解析した結果から物体ＯＢによる描画についての色、線種、線の太さについての指示であることが判明した場合に、当該指示に沿った物体ＯＢによる描画態様に変更した画像表示を行う。
【００４５】
また、プロジェクターシステム１００でのさらに別の動作の一例として、図９に示すように、発話者ＨＵが発声した音声ＶＯを、音声解析部２２ｂ（図３参照）において解析して音声内容を認識し、音声に対応する文字を、被照射面ＳＣの画面上のうち発話者ＨＵの位置に表示させることができる。具体的には、まず、発話者ＨＵが発声した音声ＶＯについて音源位置特定部２２ａ（図３参照）により特定を行うとともに、音声解析部２２ｂでの解析により、発話者ＨＵの音声ＶＯについて内容を認識する。なお、図示の例では、発話者ＨＵは、「ＡＢＣ」と発音しているものとしている。この場合、音声解析部２２ｂでの解析により音声認識が行われ、文字列としての「ＡＢＣ」が抽出される。以上に基づき、表示制御部５０ａ（図３参照）によって、音源位置特定部２２ａにより特定された発話者ＨＵの位置に、音声解析部２２ｂで解析された「ＡＢＣ」の文字を表示する部分画像ＰＩを形成させる画像投射が行われる。
【００４６】
なお、上記のような場合において、例えば、図１０に示すように、アクティブエリアＡＥ内において、複数の発話者が異なる位置からそれぞれ発言を行った場合には、複数の箇所に文字を表示する画像が形成されるようになる。すなわち、各発話者の位置として特定した音源位置ＳＰにおいて、音声ＶＯの内容を反映した部分画像ＰＩが形成される。また、本実施形態のようなスクリーン等に対する壁面投射の場合、音声解析部２２ｂで解析された文字列についての部分画像ＰＩを表示させる向きは、一定に保たれている。すなわち、各部分画像ＰＩは、場所に依らず、いずれもＺ方向に従う方向を上下方向として文字表示がなされている。
【００４７】
以上のように、本実施形態に係るプロジェクターシステム１００では、音源位置特定部２２ａにおいて音源位置ＳＰを特定し、特定した音源位置ＳＰの情報を反映させた内容の画像投射を、表示制御部５０ａでの投射部１０についての制御によって行う。これにより、例えば、投射画像の近くにいる発話者ＨＵの言動に応じた画像表示等が可能になり、音声に関するインタラクティブなプロジェクターが実現できる。また、この場合、音源位置特定部２２ａにおいて音源位置ＳＰの特定を行うため、例えば事前に音声データを取得しておくといった準備を要しない。
【００４８】
〔第２実施形態〕
以下、図１１等を参照して、第１実施形態を変形した第２実施形態について説明する。なお、本実施形態に係るプロジェクターシステム２００は、画像投射の姿勢を変化させる、あるいは画像投射の姿勢が異なることを除いて、第１実施形態と同様の構成であるので、プロジェクターシステム全体の説明を省略する。
【００４９】
図１１は、本実施形態のプロジェクターシステム２００の概略を示すものとして、動作の一例を示す斜視図である。また、図１２は、プロジェクターシステム２００の他の動作の一例について説明するための概念的な斜視図である。
【００５０】
第１実施形態においては、壁面に設けたスクリーン等に対して画像投射を行うものとしていたのに対して、本実施形態では、図示のように、テーブルや床面等に対して画像投射を行う態様を考慮している点において、第１実施形態の場合と異なっている。すなわち、本実施形態のプロジェクターシステム２００は、例えば、図１１に示すように、壁面ＷＡへの投射からテーブルＴＡへの投射へ切り替え可能にする態様であってもよく、図１２に示すように、テーブルＴＡ上に設置してテーブルＴＡへの投射を可能にするものであってもよい。なお、プロジェクターシステム２００において、例えばジャイロセンサー等により姿勢検知を行うことで、プロジェクターシステム２００は、現状の投射が、壁面への投射であるかテーブルや床面等への投射であるかを認識することができる。
【００５１】
ここで、上記のようなテーブルＴＡへの画像投射すなわちテーブル投射を行う場合、図示のように、複数人が投射画像を囲むようにして画像を視認する場合がある。すなわち、投射画像を見る向きが人によって異なる状態となっている点において、壁面投射と異なっている。そこで、本実施形態では、これに対応すべく、複数人からの発言をそれぞれ認識するとともに、各発話者ＨＵの位置すなわち音源位置に応じて、音声解析部で解析された音声内容を表示させる向きを変更するものとなっている。
【００５２】
図１３は、プロジェクターシステム２００の動作での表示態様の様子の一例を示す概念的な平面図であり、図１０に対応する図である。図１３に例示するように、ここでは、図１０の場合と違い、各発話者について特定した音源位置ＳＰごとに、音声ＶＯの内容を反映した部分画像ＰＩを表示させる向きが異なっている。具体的には、図１３の例の場合、アクティブエリアＡＥを、１２個の分割エリアＡＥ１〜ＡＥ１２に分けて、エリアごとに８つの向きのうちの１つの向きで文字列の表示を行うようにしている。
【００５３】
まず、１２個の分割エリアＡＥ１〜ＡＥ１２のうち、中心側において矩形状の被照射面ＳＣを対角線によって４つに区切って形成される分割エリアＡＥ１〜ＡＥ４について説明する。
【００５４】
上記分割エリアＡＥ１〜ＡＥ４は、矩形領域の被照射面ＳＣの各辺ＬＬ１〜ＬＬ４をそれぞれ底辺ＬＬ１〜ＬＬ４とする三角形状の領域となっている。これらの領域内において音源位置ＳＰがそれぞれ検出された場合、それぞれの三角形の底辺を基準として、文字列が表示される。例えば、分割エリアＡＥ１において検出された音声に対応する文字列は、対応する底辺ＬＬ１に沿った方向について底辺ＬＬ１に近い側が下になるように文字列が表示される。同様に、分割エリアＡＥ２において検出された場合、底辺ＬＬ２に沿って底辺ＬＬ２に近い側が下になるように文字列が表示される。また、分割エリアＡＥ３において検出された場合、底辺ＬＬ３に沿って底辺ＬＬ３に近い側が下になるように文字列が表示され、分割エリアＡＥ４において検出された場合、底辺ＬＬ４に沿って底辺ＬＬ４に近い側が下になるように文字列が表示される。また、以上の場合、例えば分割エリアＡＥ１において検出された文字列の方向を、ＸＺ面に平行な面内において角度０°の方向とすると、分割エリアＡＥ２において検出された文字列は、紙面反時計回りに９０°回転した向きに表示されることになる。また、分割エリアＡＥ３において検出された文字列は、１８０°回転した向きに表示されることになる。また、分割エリアＡＥ４において検出された文字列は、２７０°回転した向きに表示されることになる。
【００５５】
次に、１２個の分割エリアＡＥ１〜ＡＥ１２のうち、被照射面ＳＣの周辺側を形成する８つの分割エリアＡＥ５〜ＡＥ１２について説明する。
【００５６】
上記分割エリアＡＥ５〜ＡＥ１２のうち、ハッチングで示す分割エリアＡＥ５は、分割エリアＡＥ１に隣接し、分割エリアＡＥ１の底辺ＬＬ１すなわち被照射面ＳＣの辺ＬＬ１を一辺とする矩形領域となっている。分割エリアＡＥ５において検出された音声に対応する文字列は、分割エリアＡＥ１での検出の場合と同様の向きに表示される。分割エリアＡＥ７は、分割エリアＡＥ２に隣接し、分割エリアＡＥ２の底辺ＬＬ２すなわち被照射面ＳＣの辺ＬＬ２を一辺とする矩形領域となっている。分割エリアＡＥ７において検出された音声に対応する文字列は、分割エリアＡＥ２での検出の場合と同様の向きに表示される。分割エリアＡＥ９は、分割エリアＡＥ３に隣接し、分割エリアＡＥ３の底辺ＬＬ３すなわち被照射面ＳＣの辺ＬＬ３を一辺とする矩形領域となっている。分割エリアＡＥ９において検出された音声に対応する文字列は、分割エリアＡＥ３での検出の場合と同様の向きに表示される。分割エリアＡＥ１１は、分割エリアＡＥ４に隣接し、分割エリアＡＥ４の底辺ＬＬ４すなわち被照射面ＳＣの辺ＬＬ４を一辺とする矩形領域となっている。分割エリアＡＥ１１において検出された音声に対応する文字列は、分割エリアＡＥ４での検出の場合と同様の向きに表示される。
【００５７】
上記分割エリアＡＥ５〜ＡＥ１２のうち、クロスハッチングで示す分割エリアＡＥ６は、分割エリアＡＥ５と分割エリアＡＥ７とに隣接する矩形領域となっている。分割エリアＡＥ６において検出された音声に対応する文字列は、４５°回転した向きに表示される。分割エリアＡＥ８は、分割エリアＡＥ７と分割エリアＡＥ９とに隣接する矩形領域となっている。分割エリアＡＥ８において検出された音声に対応する文字列は、１３５°回転した向きに表示される。分割エリアＡＥ１０は、分割エリアＡＥ９と分割エリアＡＥ１１とに隣接する矩形領域となっている。分割エリアＡＥ１０において検出された音声に対応する文字列は、２２５°回転した向きに表示される。分割エリアＡＥ１２は、分割エリアＡＥ１１と分割エリアＡＥ５とに隣接する矩形領域となっている。分割エリアＡＥ１２において検出された音声に対応する文字列は、３１５°回転した向きに表示される。
【００５８】
以上のような動作をすべく、本実施形態では、第１実施形態において図３に示した場合と同様の構成において、表示制御部が、音源位置特定部により特定された音源位置に応じて、音声解析部で解析された音声内容を表示させる向きを変更するものとなっている。
【００５９】
また、図１１を参照して例示したように、壁面投射とテーブル投射との間で切り替え可能な態様とする場合、すなわち投射部による画像投射の態様を変更可能とする場合、投射部による画像投射の態様に応じて、表示制御部において、音声解析部で解析された音声内容を表示させる向きを一定に保つ表示方向固定モードと、向きを変更する表示方向変更モードとを備え、これらを切り替えることができるようにしてもよい。より具体的な例として、ジャイロセンサー等により壁面投射が行われていると判断される場合には、図１０に例示したような表示させる向きを一定に保つ表示方向固定モードでの表示態様とし、ジャイロセンサー等によりテーブル投射が行われていると判断される場合には、図１３に例示したような表示させる向きを変更する表示方向変更モードでの表示態様とすることが考えられる。
【００６０】
以上のように、本実施形態に係るプロジェクターシステム２００においても、音源位置特定部において音源位置を特定し、特定した音源位置の情報を反映させた内容の画像投射を、表示制御部での投射部についての制御によって行う。これにより、例えば、投射画像の近くにいる発話者の言動に応じた画像表示等が可能になり、音声に関するインタラクティブなプロジェクターが実現できる。特に、本実施形態の場合、複数人が投影画像を囲むように観察する場合において、表示させる文字等の向きを適宜変更させることができる。
【００６１】
〔第３実施形態〕
以下、図１４を参照して、第１実施形態等を変形した第３実施形態について説明する。なお、本実施形態に係るプロジェクターシステムは、表示態様を除いて、第１実施形態等の場合と同様の構成であるので、プロジェクターシステム全体の説明を省略する。
【００６２】
図１４Ａは、本実施形態のプロジェクターシステムについて、動作の一例について説明するための概念的な正面図である。本実施形態では、キーワードを画像投射領域内でスクロール表示させている。より具体的には、図示のように、発話者ＨＵの発言内容ＣＴからキーワードを抽出し、抽出したキーワードの文字列を、部分画像ＰＩとして順次表示している。これらの抽出されたキーワードの文字列についての部分画像ＰＩは、時系列に画像投射領域内を移動させつつ表示されていき、かつ、順次消えていくようになっている。ただし、図示のように、部分画像ＰＩのうち、消える前に発話者ＨＵによりタッチされた部分画像ＰＩｘについては、消えずにその場に表示されたままとなる。つまり、発話者ＨＵは、自らタッチしたもののみ表示画面上に保持しておくことができる。また、このような態様についての一変形例として、図１４Ｂに示すように、発話者ＨＵによるタッチに代えて、物体ＯＢを消える前の部分画像ＰＩに置くようにすることで、物体ＯＢが置かれた部分画像ＰＩｘについては、消えずにその場に表示されたままとなるようにしてもよい。
【００６３】
なお、以上のような態様とするためのプロジェクターシステムに関しては、第１実施形態において図３に示した場合と同様の構成において、まず、音声解析部において、音源位置からの音声を解析して、解析結果すなわち解析された音声内容からキーワードを抽出し、表示制御部において、音声解析部において抽出されたキーワードを時系列に画像投射領域内を移動させつつ表示していき、順次消していくような表示制御をする。これにより、上記のような文字列の表示のさせ方が可能になる。この上でさらに、光射出装置及び撮像装置を利用した発話者ＨＵの指先等の物体ＯＢを検出可能とし、かつ、表示制御部において、音声解析部で解析された音声内容を表示させた位置に対応する位置において物体ＯＢが検出された場合に、表示させた音声内容を物体ＯＢの位置で固定表示するような表示制御をする。これにより、上記のようにして表示させた文字列の一部について、消さずにその場に表示させたままにしておくことが可能になる。
【００６４】
以上のように、本実施形態に係るプロジェクターシステムにおいても、音源位置特定部において音源位置を特定し、特定した音源位置の情報を反映させた内容の画像投射を、表示制御部での投射部についての制御によって行う。これにより、例えば、投射画像の近くにいる発話者の言動に応じた画像表示等が可能になり、音声に関するインタラクティブなプロジェクターが実現できる。特に、本実施形態の場合、発話者の発言内容から抽出したキーワードを順次表示させていくとともに、発話者にとって必要と判断される文字列のみを表示したままの状態にさせることができる。
【００６５】
以上のように、本発明の具体的な側面では、音源位置特定部は、異なる位置に配置される４つのマイクが取得した音の到達時間の差に基づいて、音源位置を特定する。この場合、３つの独立した情報に基づいて、３次元空間における音源位置の特定が可能になる。
【００６６】
また、本発明の別の側面では、表示制御部は、投射部による画像投射領域のうち、音源位置特定部により特定された音源位置に対応する領域に音源位置に応じた画像を投射させる。この場合、音源位置に対応したインタラクティブな画像表示ができる。
【００６７】
また、本発明のさらに別の側面では、表示制御部は、音源位置特定部により特定された音源位置が、投射部による画像投射領域を含む特定範囲の時のみ音源位置に応じた画像を投射させる。この場合、例えばインタラクティブな表示動作をしようとしている発話者の発言に対してのみインタラクティブな表示動作を行うようにすることが可能になる。
【００６８】
また、本発明のさらに別の側面では、音源位置特定部により特定された音源位置からの音声を解析して音声内容を認識する音声解析部を備え、表示制御部が投射させる画像は、音声解析部で解析された音声内容である。この場合、例えば発話者の発言内容について表示を行うことができる。
【００６９】
また、本発明のさらに別の側面では、表示制御部は、音源位置特定部により特定された音源位置に応じて、音声解析部で解析された音声内容を表示させる向きを変更する。この場合、例えば発話者の発言内容について発話者の向きに対応した表示を行うことができる。
【００７０】
また、本発明のさらに別の側面では、表示制御部は、音声解析部で解析された音声内容を表示させる向きを一定に保つ表示方向固定モードと、向きを変更する表示方向変更モードとを備える。この場合、画像投射の態様に応じて音声内容の表示態様を変更できる。
【００７１】
また、本発明のさらに別の側面では、音声解析部は、音源位置からの音声からキーワードを抽出し、表示制御部は、音声解析部において抽出されたキーワードを画像投射領域内でスクロール表示させる。この場合、例えば発話者の発言内容からキーワードを時系列に表示させていき、かつ順次消していくことができる。
【００７２】
また、本発明のさらに別の側面では、投射部による画像投射領域における物体を検出する物体検出部を備え、表示制御部は、音声解析部で解析された音声内容を表示させた位置に対応する位置において当該物体が検出された場合に、表示させた音声内容を当該物体の位置で固定表示する。この場合、例えば発話者の発言内容の一部を固定表示した状態にとどめておくことができる。
【００７３】
また、本発明のさらに別の側面では、投射部による画像投射領域における物体を検出する物体検出部を備え、表示制御部は、音声解析部で解析された音声内容に基づいて、物体検出部で検出された物体の移動による軌跡の色、線種、太さのいずれかを変更する。この場合、例えば発話者の発言指示に基づいて描画の態様を変更することができる。
【００７４】
〔その他〕
この発明は、上記の各実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。
【００７５】
上記では、異なる位置にある４つのマイクＭＣ１〜ＭＣ４によって取得した音声データに基づいて、音源位置を特定するものとしているが、必要に足る精度で音源位置の特定が可能であればこれ以外に種々の方法を適用することができる。
【００７６】
また、上記では、光射出装置２により被照射面ＳＣに沿ってレーザー赤外光のカーテンを形成し、レーザー赤外光の反射成分を撮像装置１６で捉えることによって指示体等の物体の検知を行っているが、必要に足る精度・態様等で物体の位置検知が可能であれば、これ以外の方法、例えばステレオカメラを利用したり物体の先端に赤外光の発光体を設けたりする等の種々の方法を適用することができる。
【００７７】
また、上記のうち、第２実施形態では、表示させる向きの一例として、ＸＺ面内において、０°、４５°、９０°、１３５°、１８０°、２２５°、２７０°及び３１５°の８つの向き（４５°ずつ異なる向き）としているが、これに限らず、種々の向きに設定することができる。また、分割する領域についても、用途等に応じて、種々変更可能である。
【００７８】
また、上記では、発話者の音声に応じて表示させる対象を文字列としているが、これに限らず、画像等を表示するものとしてもよい。例えば、発話者が「タイヤの画像」と発言した場合、これに応じて予め記憶部４０に格納しておいたタイヤの画像を当該発話者の近くに表示させる、といった態様とすることができる。この際、タイヤの画像の向きを、文字列の場合と同様に、表示させる位置に依らず一定としたり、表示させる位置に応じて変更したりできる。
【００７９】
また、上記では、一部の機構について、天吊りされているプロジェクター本体部１ａに接続可能なＰＣ等において各種処理をなすことも可能としているが、担わせる処理については、種々の態様が可能である。例えば、各種制御の一部又は全部をＰＣ等の外部接続機器で行ってもよく、逆に、ＰＣレスとすることも可能である。
【符号の説明】
【００８０】
１…プロジェクター、１ａ…プロジェクター本体部、２…光射出装置、１０…投射部、１１…投射用光源、１２…光変調装置、１３…投射レンズ、１６…撮像装置、２０…音声管理部、２０…投射部、２１…音声データ受付部、２２…音声処理部、２２ａ…音源位置特定部、２２ｂ…音声解析部、３０…画像処理部、４０…記憶部、５０…主制御部、５０ａ…表示制御部、１００…プロジェクターシステム、２００…プロジェクターシステム、ＡＤ…解析領域、ＡＥ…アクティブエリア、ＡＥ１〜ＡＥ１２…分割エリア、ＡＲ１…矢印、Ｃ１，Ｃ２…曲線、ＣＡ…筐体、ＣＴ…発言内容、ＤＤ…奥行、ＤＷ…幅、ＥＬ…光、ＨＵ…発話者、Ｌ１〜Ｌ４…距離、ＬＬ１〜ＬＬ４…底辺、Ｍ…支持装置、ＭＣ１〜ＭＣ４，ＭＣａ，Ｍｃｂ…マイク、ＯＢ…物体、ＰＩ，ＰＩｘ…部分画像、ＰＬ…投射光、Ｒ…相関係数、ＲＩ…波紋、ＲＬ…反射光、ＳＣ…被照射面、ＳＰ…音源位置、ＴＡ…テーブル、ＶＯ…音声、ＷＡ…壁面
【図１】
2019191328.tif 000006
【図２】
2019191328.tif 000007
【図３】
2019191328.tif 000008
【図４Ａ】
2019191328.tif 000009
【図４Ｂ】
2019191328.tif 000010
【図５Ａ】
2019191328.tif 000011
【図５Ｂ】
2019191328.tif 000012
【図５Ｃ】
2019191328.tif 000013
【図６Ａ】
2019191328.tif 000014
【図６Ｂ】
2019191328.tif 000015
【図７】
2019191328.tif 000016
【図８】
2019191328.tif 000017
【図９】
2019191328.tif 000018
【図１０】
2019191328.tif 000019
【図１１】
2019191328.tif 000020
【図１２】
2019191328.tif 000021
【図１３】
2019191328.tif 000022
【図１４Ａ】
2019191328.tif 000023
【図１４Ｂ】
2019191328.tif 000024