(57)【要約】【課題】  表示される複数のコンテンツのいずれを見ている場合であっても、目線を合わせてコミュニケーションを取ることを可能にする装置や方法を提供する。【解決手段】  この装置は、表示手段の表示面に表示されるコンテンツの位置を制御する位置制御装置であり、表示面の所定位置に配置され、表示面に対向するユーザを撮像する撮像手段１４と、複数のコンテンツを、設定された条件または指示に従って表示面に表示させる再生手段と、撮像された画像に基づき、ユーザが見ている表示面上の位置を検知する検知手段３２と、検知された位置に基づき、撮像手段１４の位置に対するユーザの視線のずれを判定する判定手段と、判定手段の判定結果に応じて、撮像手段１４の位置とユーザが見ている表示面上の位置とが一致または所定の距離内で接近するように、複数のコンテンツのうちの少なくともユーザが見ている位置にあるコンテンツの、表示面上の配置の変更を再生手段に対して指示する配置指示手段３４とを含む。【選択図】  図５
2016144071.tif 000002
【特許請求の範囲】
【請求項１】
表示手段の表示面に表示されたコンテンツの位置を制御する位置制御装置であって、
前記表示面の所定位置に配置され、該表示面に対向するユーザを撮像する撮像手段と、
複数のコンテンツを、設定された条件または指示に従って前記表示面に表示させる再生手段と、
撮像された画像に基づき、前記ユーザが見ている前記表示面上の位置を検知する検知手段と、
前記検知手段により検知された前記位置に基づき、前記撮像手段の位置に対する前記ユーザの視線のずれを判定する判定手段と、
前記判定手段による判定結果に応じて、前記撮像手段の位置と前記ユーザが見ている前記表示面上の位置とが一致または所定の距離内で接近するように、前記複数のコンテンツのうちの少なくとも前記ユーザが見ている位置にあるコンテンツの、前記表示面上の配置の変更を前記再生手段に対して指示する配置指示手段とを含む、位置制御装置。
【請求項２】
前記配置指示手段は、前記表示面に表示された前記複数のコンテンツのすべての配置の変更を前記再生手段に対して指示する、請求項１に記載の位置制御装置。
【請求項３】
前記配置指示手段は、前記表示面に表示された前記複数のコンテンツのうち、前記ユーザが見ている位置にあるコンテンツのみの配置の変更を前記再生手段に対して指示する、請求項１に記載の位置制御装置。
【請求項４】
前記配置指示手段は、前記判定手段からの前記ずれがあるとの判定を受けて、前記検知手段により検知された前記位置と前記撮像手段の位置とに基づき、少なくとも前記ユーザが見ている位置にあるコンテンツを移動させる方向および距離を計算し、計算した前記方向および前記距離をずれ情報として前記再生手段に提供する、請求項１〜３のいずれか１項に記載の位置制御装置。
【請求項５】
前記判定手段は、前記検知手段により検知された前記位置が前記撮像手段の位置を含む所定の範囲内にない場合に、前記ユーザの視線にずれがあると判定する、請求項４に記載の位置制御装置。
【請求項６】
前記判定手段は、前記検知手段により検知される前記位置が、一定時間が経過しても前記所定の範囲内にない場合に、前記ユーザの視線にずれがあると判定する、請求項５に記載の位置制御装置。
【請求項７】
前記配置指示手段は、前記一定時間内に前記検知手段により検知された複数の前記位置の座標値を平均し、得られた平均座標値を使用して、前記方向および前記距離を計算する、請求項６に記載の位置制御装置。
【請求項８】
前記ユーザに対して赤外線を照射する赤外線照射手段と、前記赤外線が照射された前記ユーザを撮像する赤外線撮像手段とをさらに含み、
前記検知手段は、前記赤外線撮像手段により撮像された画像に基づき、前記ユーザが見ている前記表示面上の位置を検知する、請求項１〜７のいずれか１項に記載の位置制御装置。
【請求項９】
前記表示手段は、前記表示面を有するスクリーンと、前記スクリーンに前記複数のコンテンツを投影する投影手段とを含み、
前記撮像手段は、前記スクリーンの背面に配置され、前記スクリーンの所定位置に設けられた窓を通して前記ユーザを撮像する、請求項１〜８のいずれか１項に記載の位置制御装置。
【請求項１０】
表示手段の表示面に表示されたコンテンツの位置を制御する処理をコンピュータに実行させるためのプログラムであって、前記コンピュータに、
複数のコンテンツを、設定された条件に従って前記表示手段の表示面に表示させるステップと、
前記表示面の所定位置に配置される撮像手段により、該表示面に対向するユーザを撮像するステップと、
撮像された画像に基づき、前記ユーザが見ている前記表示面上の位置を検知するステップと、
検知された前記位置に基づき、前記撮像手段の位置に対する前記ユーザの視線のずれを判定するステップと、
前記判定するステップでの判定結果に応じて、前記撮像手段の位置と前記ユーザが見ている前記表示面上の位置とが一致または所定の距離内で接近するように、前記複数のコンテンツのうちの少なくとも前記ユーザが見ている位置にあるコンテンツの、前記表示面上の配置の変更を指示するステップと、
前記配置を変更する指示を受けて、前記表示面に表示されている前記複数のコンテンツのうちの少なくとも前記ユーザが見ている位置にあるコンテンツの配置を変更するステップとを実行させる、プログラム。
【請求項１１】
前記指示するステップでは、前記表示面に表示された前記複数のコンテンツのすべての配置の変更を指示する、請求項１０に記載のプログラム。
【請求項１２】
前記指示するステップでは、前記表示面に表示された前記複数のコンテンツのうち、前記ユーザが見ている位置にあるコンテンツのみの配置の変更を指示する、請求項１０に記載のプログラム。
【請求項１３】
前記指示するステップでは、前記判定するステップで前記ずれがあるとの判定を受けて、検知された前記位置と前記撮像手段の位置とに基づき、少なくとも前記ユーザが見ている位置にあるコンテンツを移動させる方向および距離を計算する、請求項１０〜１２のいずれか１項に記載のプログラム。
【請求項１４】
前記判定するステップでは、検知された前記位置が前記撮像手段の位置を含む所定の範囲内にない場合に、前記ユーザの視線にずれがあると判定する、請求項１３に記載のプログラム。
【請求項１５】
前記判定するステップでは、検知される前記位置が、一定時間が経過しても前記所定の範囲内にない場合に、前記ユーザの視線にずれがあると判定する、請求項１４に記載のプログラム。
【請求項１６】
前記指示するステップでは、前記一定時間内に検知された複数の前記位置の座標値を平均し、得られた平均座標値を使用して、前記方向および前記距離を計算する、請求項１５に記載のプログラム。
【請求項１７】
赤外線照射手段により前記ユーザに対して赤外線を照射するステップと、赤外線撮像手段により前記赤外線が照射された前記ユーザを撮像するステップとをさらに実行させ、
前記検知するステップでは、前記赤外線撮像手段により撮像された画像に基づき、前記ユーザが見ている前記表示面上の位置を検知する、請求項１０〜１６のいずれか１項に記載のプログラム。
【請求項１８】
前記表示手段は、前記表示面を有するスクリーンと、前記スクリーンに前記複数のコンテンツを投影する投影手段とを含み、
前記撮像手段により撮像するステップでは、前記スクリーンの背面に配置された該撮像手段により、前記スクリーンの所定位置に設けられた窓を通して前記ユーザを撮像する、請求項１０〜１７のいずれか１項に記載のプログラム。
【請求項１９】
複数のコンテンツを表示させる画像表示装置であって、
表示面を有するスクリーンと、
前記複数のコンテンツを前記スクリーンに投影する投影手段と、
前記スクリーンの背面の所定位置に配置され、該スクリーンに設けられた窓を通して前記表示面に対向するユーザを撮像する撮像手段と、
前記複数のコンテンツを、設定された条件または指示に従って前記表示面に投影するように前記投影手段に対して要求する再生手段と、
撮像された画像に基づき、前記ユーザが見ている前記表示面上の位置を検知する検知手段と、
前記検知手段により検知された前記位置に基づき、前記撮像手段の位置に対する前記ユーザの視線のずれを判定する判定手段と、
前記判定手段による判定結果に応じて、前記撮像手段の位置と前記ユーザが見ている前記表示面上の位置とが一致または所定の距離内で接近するように、前記複数のコンテンツのうちの少なくとも前記ユーザが見ている位置にあるコンテンツの、前記表示面上の配置の変更を前記再生手段に対して指示する配置指示手段とを含む、画像表示装置。
【請求項２０】
複数のコンテンツを表示させる画像表示方法であって、
表示面を有するスクリーンに、前記複数のコンテンツを投影するステップと、
前記スクリーンの背面の所定位置に配置される撮像手段により、該スクリーンに設けられた窓を通して前記表示面に対向するユーザを撮像するステップと、
撮像された画像に基づき、前記ユーザが見ている前記表示面上の位置を検知するステップと、
検知された前記位置に基づき、前記撮像手段の位置に対する前記ユーザの視線のずれを判定するステップと、
前記判定するステップでの判定結果に応じて、前記撮像手段の位置と前記ユーザが見ている前記表示面上の位置とが一致または所定の距離内で接近するように、前記複数のコンテンツのうちの少なくとも前記ユーザが見ている位置にあるコンテンツの、前記表示面上の配置の変更を指示するステップと、
前記配置を変更する指示を受けて、前記表示面に表示されている前記複数のコンテンツのうちの少なくとも前記ユーザが見ている位置にあるコンテンツの配置を変更するステップとを含む、画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示手段の表示面に表示されたコンテンツの位置を制御する位置制御装置、その位置の制御をコンピュータに実行させるためのプログラム、その位置制御装置を含む画像表示装置およびその方法に関する。
【背景技術】
【０００２】
ネットワーク技術の発展に伴い、カメラと表示手段とを用いた遠隔コミュニケーションが普及している。この遠隔コミュニケーションにより、例えば、企業において社員が産業医の下に行くことなく、身体的な健康相談を行い、また、メンタルヘルスカウンセリングを受けることができる。
【０００３】
このような健康相談やメンタルヘルスカウンセリングでは、産業医が社員と目線を合わせてコミュニケーションを取ることにより、社員は、自分の話をきちんと聞いてもらえていると認識し、安心感を得ることができる。しかしながら、カメラと表示手段とを用いた遠隔コミュニケーションでは、目線を合わせてコミュニケーションを取ることが難しいという問題があった。
【０００４】
そこで、カメラの前にハーフミラーを設置し、ハーフミラーに相手の顔等を投影する方法や、表示手段をプロジェクタとし、その表示面にカメラを配置し、プロジェクタに相手の顔等を投影する方法が考えられている（例えば、特許文献１参照）。これらの方法では、カメラを表示面に配置し、視線をカメラに合わせることにより、目線を合わせてコミュニケーションを取ることができるようになっている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
表示面には、相手の顔の画像のほか、資料等の複数のコンテンツを同時に表示させることができる。このため、一方のユーザは、他方のユーザの顔のほか、資料を見ながら、当該他のユーザとコミュニケーションを取ることができる。
【０００６】
しかしながら、上記の従来の方法では、カメラの位置に顔の画像が表示され、それ以外の位置に資料が表示されていて、視線が資料へ移動すると、視線がカメラから外れ、目線を合わせてコミュニケーションを取ることができないという問題があった。
【０００７】
そこで、表示される複数のコンテンツのいずれを見ている場合であっても、目線を合わせてコミュニケーションを取ることを可能にする装置や方法の提供が望まれていた。
【課題を解決するための手段】
【０００８】
本発明は、上記課題に鑑み、表示手段の表示面に表示されたコンテンツの位置を制御する位置制御装置であって、表示面の所定位置に配置され、該表示面に対向するユーザを撮像する撮像手段と、複数のコンテンツを、設定された条件または指示に従って表示面に表示させる再生手段と、撮像された画像に基づき、ユーザが見ている表示面上の位置を検知する検知手段と、検知された位置に基づき、撮像手段の位置に対するユーザの視線のずれを判定する判定手段と、判定手段の判定結果に応じて、撮像手段の位置とユーザが見ている表示面上の位置とが一致または所定の距離内で接近するように、複数のコンテンツのうちの少なくともユーザが見ている位置にあるコンテンツの、表示面上の配置の変更を再生手段に対して指示する配置指示手段とを含む、位置制御装置が提供される。
【発明の効果】
【０００９】
本発明によれば、表示される複数のコンテンツのいずれを見ている場合であっても、目線を合わせてコミュニケーションを取ることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】遠隔コミュニケーションシステムの構成例を示した図。
【図２】画像表示装置のハードウェア構成を示した図。
【図３】画像表示装置が備える投影手段としてのプロジェクタで遠隔地の映像を投影しているところを示した図。
【図４】遠隔地の映像とともに資料も投影しているところを示した図。
【図５】位置制御装置を含む画像表示装置の１つの機能構成を示したブロック図。
【図６】位置制御装置を含む画像表示装置の別の機能構成を示したブロック図。
【図７】画像表示装置により実施される第１の処理の流れを示したシーケンス図。
【図８】画像表示装置により実施される第２の処理の流れを示したシーケンス図。
【図９】画像表示装置により実施される第３の処理の流れを示したシーケンス図。
【図１０】表示しているコンテンツの配置を変更する第１の例を示した図。
【図１１】表示しているコンテンツの配置を変更する第２の例を示した図。
【図１２】表示しているコンテンツ上の視線の位置の第１の例を示した図。
【図１３】表示しているコンテンツ上の視線の位置の第２の例を示した図。
【発明を実施するための形態】
【００１１】
図１は、遠隔コミュニケーションシステムの構成例を示した図である。図１では、互いに遠く離れた２地点間でコミュニケーションを取るためのシステムとして構成されているが、２地点に限られるものではなく、３地点以上であってもよい。２地点は、一方が国内で、他方が海外であってもよいし、両方ともが国内であって、異なる地方であってもよい。また、２地点は、同じ敷地内の異なる棟、同じビル内の異なる階、同じ階の異なる部屋等であってもよい。
【００１２】
遠隔コミュニケーションシステムは、各地点に画像表示装置を含み、画像表示装置がインターネット等のネットワーク１０により互いに接続されたシステムとされている。左側のＡ地点にある画像表示装置は、椅子に座ったユーザＡにより使用され、スクリーン１１Ａと、右側のＢ地点で撮像された画像である映像をスクリーン１１Ａに投影する投影手段１２Ａと、情報処理手段１３Ａと、撮像手段１４Ａとを含んで構成される。同様に、Ｂ地点にある画像表示装置は、椅子に座ったユーザＢにより使用され、スクリーン１１Ｂと、投影手段１２Ｂと、情報処理手段１３Ｂと、撮像手段１４Ｂとを含んで構成される。ここでは、撮像手段１４Ａ、１４ＢによりユーザＡ、Ｂの映像を撮像するものとしているが、動画に限らず、静止画であってもよい。静止画の場合、一定の時間間隔で画像データを取得し、投影することができる。以下、Ａ地点の画像表示装置と、Ｂ地点の画像表示装置とは同じ装置であるため、Ａ地点の画像表示装置についてのみ説明する。
【００１３】
スクリーン１１Ａは、表示するコンテンツの１つである映像を投影するための平面（表示面）を有し、その表示面の所定位置に窓が設けられている。この窓は、スクリーン１１Ａの背面に配置されるカメラ等の撮像手段１４Ａがスクリーン１１Ａに対向するユーザＡを撮像する際、ユーザＡに反射した光を取り込むためのものである。スクリーン１１Ａには、Ｂ地点にいるユーザＢの上半身の映像を投影するため、スクリーン１１Ａに表示されるユーザＢの両目の中間に位置するように窓が設けられている。このように、スクリーン１１Ａに表示されたユーザＢの目に近隣した位置に撮像手段１４Ａを配置し、ユーザＢの目を見て会話をすることで、目線を合わせてコミュニケーションを取ることができる。
【００１４】
投影手段１２Ａは、ユーザＢの映像や他のコンテンツであるカルテ等の資料を投影するプロジェクタ等とされ、プロジェクタとしては、CRT(Cathode Ray Tube)方式、ライトバルブ方式のいずれのプロジェクタでも用いることができる。近年では、ライトバルブ方式のプロジェクタが多く使用されている。ライトバルブ方式のプロジェクタとしては、液晶プロジェクタがある。液晶プロジェクタは、水銀灯等の光源と、光源からの光を透過させることにより映像を生成し、出力する液晶パネルと、出力された映像を拡大してスクリーン１１Ａに投影する拡大レンズとを含んで構成される。投影手段１２Ａは、情報処理手段１３Ａとケーブルにより有線接続または赤外線通信、Bluetooth（登録商標）、無線LAN等により無線接続するための通信I/Fを備えている。
【００１５】
情報処理手段１３Ａは、Ｂ地点から送信された映像データを受信し、その映像データを投影手段１２Ａへ送り、撮像手段１４Ａで撮像された映像の映像データを取得し、Ｂ地点へ送信する。また、情報処理手段１３Ａは、映像データのほか、音声データを取得してＢ地点へ送信し、Ｂ地点で取得された音声データを受信し、その音声データを出力する。情報処理手段１３Ａは、この機能を実現することができる装置であればいかなる装置であってもよい。例えば、PC、タブレット端末、スマートフォン、MFP(Multi-Function Peripheral)、ワークステーション、PDA(Personal Digital Assistant)等を用いることができる。
【００１６】
情報処理手段１３Ａは、１以上のアプリケーションを実装し、カルテ等の資料を作成し、保存し、開くことを可能にし、その資料を画像データの１つとして投影手段１２Ａへ送り、スクリーン１１Ａに投影させることができる。資料は、２以上のユーザが共有することができる資料であってもよいし、個人のみが参照する資料であってもよい。共有する資料の場合、投影手段１２Ａへ送るほか、Ｂ地点へも送信し、スクリーン１１Ｂに投影して表示させることができる。
【００１７】
情報処理手段１３Ａは、ユーザＢの映像と資料の両方をスクリーン１１Ａに投影して表示させる場合、ユーザＢの映像および資料を表示させるサイズや位置等の情報も、投影手段１２Ａに対して出力する。これにより、投影手段１２Ａは、その情報に基づき、ユーザＢの映像および資料をスクリーン１１Ａに投影することができる。
【００１８】
撮像手段１４Ａは、デジタルカメラやビデオカメラ等とされ、光を取り込むためのレンズ、取り込んだ光を電気信号に変換する光電変換素子、電気信号をデジタルデータに変換するA/Dコンバータを含んで構成される。光電変換素子は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサであってもよいし、CCD(Charge Coupled Device)イメージセンサであってもよい。撮像手段１４Ａは、そのほか、ホワイトバランス、ゲインコントロール、ガンマ補正、シェーディング補正等を行う画像処理手段を備えていてもよい。また、撮像手段１４Ａは、情報処理手段１３Ａとケーブルにより有線接続または無線LAN(Local Area Network)により無線接続するための通信I/Fを備えている。なお、通信I/Fは、赤外線通信やBluetooth(登録商標)等により無線接続するものであってもよい。
【００１９】
図１では、スクリーン１１Ａと投影手段１２Ａとを用いた構成を例示しているが、これに限られるものではなく、ユーザＢの画像や資料等の１以上のコンテンツを表示することができれば、ディスプレイ等の表示手段を用いてもよい。
【００２０】
図２を参照して、画像表示装置のハードウェア構成について説明する。画像表示装置は、Ａ地点も、Ｂ地点も同じ構成である。このため、どちらの地点であるかを示す符号「Ａ」、「Ｂ」を省略した数字のみの符号を用いて説明する。画像表示装置は、CPU２０、ROM２１、RAM２２、HDD２３、通信I/F２４、外部記憶I/F２５、入出力I/F２６、音声入力装置２７、音声出力装置２８を備える情報処理手段１３、撮像手段１４、図示しないスクリーンおよび投影手段を備える。情報処理手段１３内の各ハードウェアは、バス２９に接続され、バス２９を介してデータ等のやりとりを行うことができる。ここでは、情報処理手段１３をPCとして説明する。
【００２１】
CPU２０は、PC全体の制御を行う。ROM２１は、PCを起動するためのブートプログラムやHDD２３等を制御するためのファームウェア等を記憶する。RAM２２は、CPU２０に対して作業領域を提供する。HDD２３は、不揮発性メモリであり、CPU２０により実行される上記のアプリケーションや資料のデータ等を記憶する。通信I/F２４は、ネットワーク１０に接続し、ネットワーク１０を介して他の地点の画像表示装置と通信することを可能にする。また、通信I/F２４は、投影手段と接続し、投影手段との通信も可能にする。
【００２２】
外部記憶I/F２５は、CD-ROMドライブ、SDカードスロット等とされ、CD-ROM、SDカード等の記録媒体を装着し、データ等の記憶媒体への書き込み、記録媒体からの読み出しを制御する。入出力I/F２６は、音声入出力端子等とされ、マイク等の音声入力装置２７、スピーカ等の音声出力装置２８等を装着し、音声データの入出力等を制御する。また、入出力I/F２６は、USBコネクタ等を含み、撮像手段１４と接続し、撮像手段１４からの撮像された映像の取得等の制御を行う。さらに、入出力I/F２６は、VGA端子、IEEE1394コネクタ等を含み、キーボードやマウス等の入力装置、液晶ディスプレイ等の表示装置等と接続し、それら装置の制御を行うこともできる。ここでは、撮像手段１４が入出力I/F２６に接続されているが、通信I/F２４と接続されていてもよい。また、投影手段１２は、通信I/F２４ではなく、入出力I/F２６に接続されていてもよい。
【００２３】
図２では、PCが上記の入力装置等を含まない構成として例示したが、PCは、入力装置等を含んで構成されていてもよい。また、PCは、HDD２３に限らず、SSD(Solid State Drive)を用いてもよく、通信I/F２４は、投影手段との接続形態に応じて、有線接続、無線接続のいずれで投影手段との通信を行ってもよい。
【００２４】
図３は、図１に示す遠隔コミュニケーションシステムにより、遠隔地にいるユーザの映像をスクリーン１１に投影しているところを例示した図である。図３中、黒丸で示された部分がスクリーン１１の所定位置に配置した撮像手段１４である。実際には、スクリーン１１に設けられた窓内に撮像手段１４のレンズ、そのレンズの奥に撮像素子が配置されている。
【００２５】
図３に示すように、撮像手段１４が、遠隔地のユーザの両目の中間位置に配置されるように当該ユーザの映像が表示されるため、当該ユーザの目を見て会話をすることで、目線を合わせてコミュニケーションを取ることができる。ここでは、遠隔地のユーザの両目の中間位置に撮像手段１４が配置されるように映像を表示する例を示したが、撮像手段１４の位置は当該中間位置に限定されるものでなく、遠隔地のユーザの両目に近隣した位置であればいかなる位置であってもよい。このように近隣した位置であれば、相手が映像を見て目線がずれていると認識することができないからである。
【００２６】
図４は、遠隔地のユーザの映像とともに資料をスクリーン１１に投影しているところを例示した図である。画像表示装置は、受信した映像を投影するとともに、作成あるいは保存された資料等も同時に投影することができる。映像と資料という２つの画像を投影する場合、図３に示した映像のサイズを小さくし、その投影位置を変更する。図４に示す例では、スクリーン１１を４等分にし、左上の領域に縮小した映像、右下の領域に資料を配置し、それらを合成して投影している。これは一例であり、それら２つを左右に並べたものを投影してもよいし、上下に並べたものを投影してもよいし、一部が重なるように合成したものを投影してもよい。なお、投影する画像の画像データは、ネットワーク１０を介してサーバ等からダウンロードしたものであってもよい。
【００２７】
ここで、遠隔コミュニケーションシステムを使用するユーザが産業医と社員である場合、産業医の側からすれば、音声のやりとりでコミュニケーションが取れれば、社員の目線が合っていなくても、あまり気にならない。これに対し、相談する社員の側からすれば、自分の相談内容を産業医にきちんと聞いてもらえているかは重要な事であり、その際、産業医の目線が自分に向けられているかどうかで得られる安心感が異なる。通常、相談する側の社員は、産業医の映像のみが表示され、表示された産業医の目を見て会話をしている。
【００２８】
図３に示すスクリーン１１を産業医が見ている場合、投影される画像が社員の映像のみであるため、社員の目を見て会話することで、目線を合わせてコミュニケーションを取ることができる。図４に示すように２つの画像を投影した場合、撮像手段１４の位置は変わらないが、社員の映像のサイズおよび位置が変更される。このため、その社員の目を見て会話したところで、撮像手段１４に産業医の視線が合っていないことから、社員は、産業医が自分ではなく、左上の方を見ている映像を見ることになる。
【００２９】
また、産業医が同時に投影される資料を見る場合も、撮像手段１４に産業医の視線が合っていないため、社員は、産業医が右下の方を見ている映像を見ることになる。これでは、目線を合わせてコミュニケーションを取ることができない。
【００３０】
そこで、産業医の側に設置される画像表示装置につき、産業医の視線に合わせて投影する映像や資料の位置を制御する機能を設ける。すなわち、上記の例で言えば、左上の領域に投影された映像を、撮像手段１４がある位置へ移動させ、または右下の領域に投影された資料を、撮像手段１４がある位置へ移動させる。より具体的には、その映像中の産業医が見ている位置、その資料中の産業医が見ている位置が、撮像手段１４がある黒丸で示される位置に一致するように、映像または資料を移動させる。これにより、産業医が撮像手段１４を見て会話することになるので、目線を合わせてコミュニケーションを取ることが可能になる。以下、画像表示装置を使用するユーザを産業医と社員として説明するが、これに限定されるものではない。なお、社員の側に設置される画像表示装置は、上記の映像や資料の位置を制御する機能を備えていても、備えていなくてもよい。
【００３１】
産業医の側に設置される画像表示装置の機能構成の１つの例を図５に示す。図５には、産業医が使用する装置を画像表示装置３０とし、社員が使用する装置を画像表示装置４０として示す。画像表示装置３０と画像表示装置４０との間でやりとりされるデータは、画像データの１つである映像データと音声データとがあるが、ここでは映像データのみをやりとりするものとして説明する。画像表示装置３０は、その機能を実現するために、位置制御装置３１と、投影手段１２とを含む。投影手段１２は、画像表示装置４０から取得した映像データを受け取り、スクリーン１１に投影し、社員の映像を表示させる。位置制御装置３１は、撮像手段１４、通信手段３３を備える。撮像手段１４は、産業医を撮像し、その産業医の映像を映像データとして出力する。通信手段３３は、撮像手段１４が出力した映像データを画像表示装置４０へ送信し、また、画像表示装置４０が送信した映像データを受信する。
【００３２】
画像表示装置３０は、さらに、検知手段３２、配置指示手段３４、第１再生手段３５、第２再生手段３６、合成手段３７を備える。検知手段３２は、産業医の視線の方向を検知し、その方向からスクリーン１１上の産業医が見ている位置を計算し、その位置情報を配置指示手段３４に通知する。検知手段３２は、撮像手段１４で撮像された産業医の画像に基づき、産業医の視線の方向を検知することができる。例えば、基準点を目頭や目尻とし、その基準点に対する虹彩の位置から視線の方向を検知することができる。そのために、予めその基準点に対する虹彩の位置と視線の方向とを関連付けてデータベースに蓄積しておき、蓄積されたデータを使用して求めることができる。
【００３３】
検知手段３２は、検知した視線の方向と、スクリーン１１と産業医との距離およびスクリーン１１のサイズとに基づき、産業医が見ているスクリーン１１上の位置を求める。位置は、スクリーン１１平面上の二次元座標(x,y)として求めることができる。座標の単位は、画素を単位としてもよいし、縦横に一定数の画素を含む所定の矩形領域（ブロック）を単位としてもよい。
【００３４】
例えば、スクリーン１１の４つの角部および中心の５点につき、解像度やそれらの点を見たときの方向に基づき、その５点の座標と視線の方向との関係を予め求めておく。その関係をテーブルや関係式等として保持しておき、それを利用して、検知した視線の方向から産業医が見ているスクリーン１１上の位置を求めることができる。
【００３５】
配置指示手段３４は、検知手段３２から通知された位置情報と、撮像手段１４の位置情報とを用い、視線にずれがあるか否かを判定する。この判定のために判定手段を別個に設けてもよい。ここでは、投影する映像や資料等のコンテンツを移動させ、その配置を変更する必要があるか否かを判定する。視線のずれは、産業医が見ているスクリーン１１上の位置と、撮像手段１４のスクリーン１１上の位置とが一致しているか否かにより判定することができる。また、視線のずれは、産業医が見ているスクリーン１１上の位置が、撮像手段１４の位置を含む所定範囲内であるか否かにより判定することができる。なお、所定範囲は、社員としてスクリーンを見た場合に、産業医の視線が自分を見ていると判断することができる許容範囲として決定することができる。
【００３６】
配置指示手段３４は、判定結果として視線にずれがあると判定した場合、産業医が見ている位置にあるコンテンツをどの方向にどれだけ移動すればよいかを計算する。そして、配置指示手段３４は、その方向および距離をずれ情報として含む配置変更の指示を第１再生手段３５、第２再生手段３６に対して行う。第１再生手段３５は、通信手段３３が受信した映像データの投影を合成手段３７に対して要求する。第１再生手段３５は、必要に応じて、映像データをデコードする。第１再生手段３５は、配置指示手段３４からの指示を受けて、投影する映像のサイズや位置を変更する。第２再生手段３６は、画像表示装置３０で作成した資料や保存された資料の投影を合成手段３７に対して要求する。この第２再生手段３６も、配置指示手段３４からの指示を受けて、表示する資料のサイズや位置を変更する。位置の変更は、上記の指示に含まれるずれ情報に基づき行われる。
【００３７】
合成手段３７は、第１再生手段３５からの要求または第２再生手段３６からの要求のみを受けた場合には映像や資料のサイズや位置を変更することなく、投影手段１２に対して投影を要求する。合成手段３７は、第１再生手段３５および第２再生手段３６の両方から要求を受け付けた場合に、指示されたサイズおよび位置に映像と資料を配置し、それらを合成し、その合成した画像の投影を投影手段１２に対して要求する。なお、投影手段１２は、要求された合成画像をスクリーン１１に投影する。
【００３８】
視線の方向は、上記の方法以外に、例えば、赤外線LEDから赤外線を産業医に照射し、赤外線カメラで撮影して得られた画像の角膜反射と瞳孔の位置から検知することもできる。具体的には、角膜反射と瞳孔との距離および角膜反射に対する瞳孔の方向から、その視線の方向を検知することができる。この方法でも、予め基準点からの位置と視線の方向の情報とを関連付けてデータベースに蓄積しておき、蓄積したデータを使用して求めることができる。
【００３９】
このため、図６に示すように、赤外線を照射する赤外線照射手段３８と、赤外線を照射した被写体を撮像する赤外線撮像手段３９とをさらに備える構成とすることができる。赤外線照射手段３８は、上記の赤外線LEDとすることができ、赤外線撮像手段３９は、上記の赤外線カメラとすることができる。これまで、視線の方向を検知する２つの方法を例示したが、これら２つの方法に限定されるものではなく、これまでに知られたいかなる方法でも使用することができる。
【００４０】
図５および図６では、画像表示装置３０は、投影手段１２を備えているが、映像の表示は、スクリーン１１への投影に限られるものではなく、表示手段の画面への表示であってもよい。したがって、画像表示装置３０は、投影手段１２を設けず、合成手段３７が外部の表示手段に要求し、合成画像を表示させることもできる。また、画像表示装置３０が表示手段を備え、その画面に表示させてもよい。
【００４１】
図５に示した画像表示装置３０により実行される処理について、図７〜図９に示すシーケンス図を参照して詳細に説明する。画像表示装置３０は、作成した資料や保存された資料を表示するために、図７に示すように第２再生手段３６が合成手段３７に対して投影の要求を行う。第２再生手段３６は、例えば、テキストエディタやペイント等のアプリケーションを使用して資料等の描画を更新し、更新した画像の投影を合成手段３７に対して要求する。その際、第２再生手段３６は、配置指示手段３４からの指示を事前に受け付けている場合、その指示に従った描画を行い、表示位置を指定して合成手段３７に対して画像の投影を要求する。これに対し、配置指示手段３４からの指示を受け付けていない場合は、第２再生手段３６が、設定された条件として設定された値に従った表示位置を指定し、合成手段３７に対して画像の投影を要求する。
【００４２】
合成手段３７は、第２再生手段３６から要求された画像と、他に要求されている画像がある場合はその画像とを合成して、投影手段１２に対してその合成した画像の投影を要求する。投影手段１２は、要求された合成画像をスクリーン１１に投影する。
【００４３】
次に、図８を参照して撮像手段１４により映像が取得されたときに行う処理について説明する。撮像手段１４は、例えば３０fps、すなわち１秒間に３０枚の画像を取得することができる。撮像手段１４は、取得した画像を、通信手段３３を介して通信先の画像表示装置４０へ転送する。画像表示装置４０は、その画像を取得し、投影手段を使用してスクリーンに投影する。
【００４４】
撮像手段１４は、それと並行して、検知手段３２へも取得した画像を送る。検知手段３２は、撮像手段１４により撮像された画像に人物がいるか否かを判定し、人物がいる場合、その人物の視線の方向を検知する。そして、検知手段３２は、検知した視線の方向に基づき、その人物が見ているスクリーン１１上の位置を求め、その位置情報を配置指示手段３４に通知する。
【００４５】
配置指示手段３４は、撮像手段１４の位置と、通知された位置情報とから、視線のずれを判定し、ずれが生じていると判定した場合、第１再生手段３５および第２再生手段３６に対して、どの位置に移動し、どのようなサイズに変更するかを指示する。第１再生手段３５および第２再生手段３６は、その指示を受け付けると、その指示内容を保持しておき、次の表示更新時にその指示内容に基づき、表示内容を変更する。
【００４６】
次に、図９を参照して画像表示装置４０から映像データが送信されてきた場合に行う処理について説明する。通信手段３３は、画像表示装置４０から映像データを受け付け、その映像データを第１再生手段３５へ送る。第１再生手段３５は、映像データを必要に応じてデコードし、フレーム毎の画像に分解する。第１再生手段３５は、分解した画像を、配置指示手段３４からの指示に従って投影するよう、合成手段３７に対して要求する。この要求を受けた合成手段３７は、第１再生手段３５から受け付けた画像と、他に要求されている画像があればその画像とを、指示された位置に基づき配置し、合成して、投影手段１２に対してその合成した画像の投影を要求する。投影手段１２は、その要求を受け付け、その合成した画像を、スクリーン１１に投影する。
【００４７】
なお、合成手段３７は、他に要求されている画像が存在しない場合、第１再生手段３５から要求された画像のみを投影するよう、投影手段１２に対して要求する。このとき、合成手段３７は、設定された条件に従って投影するように投影手段１２に対して要求する。具体的には、撮像手段１４の位置が画像内の人物の両目の中間位置となるように、当該画像の投影を要求する。そして、投影手段１２は、第１再生手段３５から要求された画像のみをスクリーン１１に投影する。この場合のスクリーン１１上の画像は、図３に示すようなものとなる。
【００４８】
このような処理により、スクリーン１１上に投影された画像の例を、図１０および図１１に示す。図１０および図１１は、第１再生手段３５および第２再生手段３６から要求された画像を、合成手段３７で合成し、その合成した画像を、投影手段１２にて投影させたときの画像を示した図である。なお、図１０および図１１は、目線を合わせてコミュニケーションを取ることができるように、図４に示した２つの画像のうちの少なくとも１つを移動させたときの図である。
【００４９】
図４において、産業医がグレーの丸で示される部分を見ている場合、遠隔地の社員がスクリーンに映し出された産業医を見ると、右下を向いているように見える。このため、産業医側の画像表示装置３０は、撮像手段１４の位置と、産業医が見ている部分の位置とのずれを修正するよう、投影している合成した画像を移動させる。画像の移動は、上記のように、配置指示手段３４が投影する画像をどの位置に移動し、そのようなサイズに変更するかを求め、それを指示し、第１再生手段３５および第２再生手段３６がその指示に従って合成手段３７に要求することにより行われる。
【００５０】
図１０に示す例では、配置指示手段３４が第１再生手段３５および第２再生手段３６の両方に対して移動する位置を指示し、サイズは変えず、２つの画像をそのまま左上方向へ移動させている。すなわち、表示された複数のコンテンツすべてを移動させている。ここでは、産業医が見ている部分の視線１５の位置が、黒丸で示された撮像手段１４の位置に一致するように移動させている。このため、社員の画像の大部分がスクリーン１１から外れ、スクリーン１１外に投影されることになる。
【００５１】
このように２つの画像をともに移動させることもできるが、１つの画像をその位置に固定し、もう１つの画像のみを移動させることもできる。その例が図１１である。図１１では、配置指示手段３４が第１再生手段３５に対しては位置の変更は指示せず、第２再生手段３６に対してのみ位置の変更を指示する。すなわち、配置指示手段３４は、第２再生手段３６に対して、産業医が見ている部分の視線１５の位置が、黒丸で示された撮像手段１４の位置に一致するように、その産業医が見ている画像の位置の変更を指示する。
【００５２】
図１０および図１１に示した例では、画像の位置のみを変更したが、画像のサイズを変更し、その内容を見やすくすることもできる。その場合、サイズを変更することにより産業医が見ている部分の視線の位置が移動しないように、その位置を中心として拡大等することができる。また、拡大等した後に、その位置が撮像手段１４の位置に一致するように移動させてもよい。
【００５３】
これまでは、産業医が見ている位置が変わらない場合、すなわち産業医が一箇所をずっと見ている場合の例を示した。しかしながら、現実には、関心のある部分へ視線は随時移動していく。例えば、図１２に示すように、グレーの丸で示される視線１５から視線１６へ移動し、再び視線１５へ戻る場合も数多くある。視線の移動を追従する形で、画像を移動させると、落ち着きのない表示になってしまい、その移動の頻度が高い場合、見たいものに目線を合わせることができなくなってしまう。
【００５４】
そこで、視線が移動した後の移動先の位置で停止している時間（滞在時間）を計測し、その滞在時間が一定時間（閾値）を超えている場合に、視線にずれがあると判定し、その位置にある画像の移動を行うように制御することができる。動画のフレームレートが、例えば３０fpsで、閾値が１秒である場合、視線が移動した後、１フレーム分の画像（３０枚の画像）から求められる産業医が見ている位置に変更がないときに、その次に投影する画像から、その位置を移動させることができる。なお、閾値は、１秒に限られるものではなく、０．５秒や２秒等であってもよい。ここではフレーム数でカウントした例を示したが、時間を計測するタイマー等を用いて時間を計測することも可能である。
【００５５】
人の視線は、一点を見続けているわけではなく、基本的に上下左右に動く。したがって、産業医の視線も、図１３のグレーの丸で示すように、視線１５〜視線１７のあたりを絶えず動いている。例えば、視線が大きく移動し、その後、移動先で小さく移動を繰り返すような場合、視線の滞在時間が閾値以下であるとして、画像が移動されず、実際に見ている位置と、撮像手段１４の位置とにずれが生じることがある。これでは、目線を合わせてコミュニケーションを取ることができなくなってしまう。
【００５６】
一方、狭い範囲内で視線が動く場合、産業医の映像を見ている社員は、この程度で目線がずれたとは認識しない。したがって、目線がずれたとは認識しない所定の範囲５０内に視線が留まっている場合は、産業医が見ている位置に変更がないと判断することができる。これにより、視線が一度大きく移動し、移動先で小さい移動を繰り返すような場合であっても、適切に画像をその移動先に移動させ、実際に見ている位置と、撮像手段１４の位置とのずれをなくすことができる。
【００５７】
この場合、範囲５０内に複数の視線位置が存在することになり、どの視線位置を基準に撮像手段１４の位置に一致するように移動させるかが問題となる。しかしながら、いずれも目線がずれたとは認識しない範囲内の位置であるため、いずれの位置を基準としてもよい。したがって、その範囲５０内に最初に入った視線位置であってもよいし、その範囲５０内に最後にあった視線位置であってもよい。また、複数の視線位置のx座標の座標値およびy座標の座標値をそれぞれ平均し、それぞれにつき得られた平均座標値を用いることも可能である。また、範囲５０は、予めスクリーン１１を所定の数に等分割したときの各領域としてもよいし、移動した最初の視線位置を中心として左右上下に所定画素分の矩形領域としてもよい。この場合、撮像手段１４の位置と視線位置とが一致ではなく、所定の距離内で接近するように画像を移動させることになる。
【００５８】
以上のように、視線の方向を検知し、スクリーン１１上の見ている位置を求め、その位置の撮像手段１４の位置からのずれに応じて、見ている画像を移動させることにより、遠隔地のユーザと目線を合わせてコミュニケーションを取ることが可能になる。これにより、健康相談やメンタルヘルスカウンセリング等の場において、ユーザが安心して相談等を行うことができる。
【００５９】
これまで本発明の位置制御装置、画像表示装置および画像表示方法について図面に示した実施形態を参照しながら詳細に説明してきた。本発明は、上述した実施形態に限定されるものではなく、他の実施形態や、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。したがって、上記画像表示方法をコンピュータに実行させるためのプログラムや、そのプログラムが記録された記録媒体等も提供することができるものである。
【符号の説明】
【００６０】
１０…ネットワーク、１１、１１ａ、１１ｂ…スクリーン、１２ａ、１２ｂ…投影手段、１３ａ、１３ｂ…情報処理手段、１４、１４ａ、１４ｂ…撮像手段、１５〜１７…視線、２０…CPU、２１…ROM、２２…RAM、２３…HDD、２４…通信I/F、２５…外部記憶I/F、２６…入出力I/F、２７…音声入力装置、２８…音声出力装置、２９…バス、３０、４０…画像表示装置、３１…位置制御装置、３２…検知手段、３３…通信手段、３４…配置指示手段、３５…第１再生手段、３６…第２再生手段、３７…合成手段、３８…赤外線照射手段、３９…赤外線撮像手段、５０…範囲
【先行技術文献】
【特許文献】
【００６１】
【特許文献１】特許第３０１１４３９号公報
【図１】
2016144071.tif 000003
【図２】
2016144071.tif 000004
【図３】
2016144071.tif 000005
【図４】
2016144071.tif 000006
【図５】
2016144071.tif 000007
【図６】
2016144071.tif 000008
【図７】
2016144071.tif 000009
【図８】
2016144071.tif 000010
【図９】
2016144071.tif 000011
【図１０】
2016144071.tif 000012
【図１１】
2016144071.tif 000013
【図１２】
2016144071.tif 000014
【図１３】
2016144071.tif 000015