(57)【要約】【課題】表示される映像を、利用者にとって適切な映像となるように調整することが可能な遠隔対話システムを提供する。【解決手段】利用者Ａが視認可能なディスプレイ１０に利用者Ｂの映像を表示させながら、前記利用者Ａと前記利用者Ｂとの対話を可能とする遠隔対話システム１であって、前記利用者Ａの心理状態を検出する心理状態検出部（カメラ、マイク及び携帯端末）と、前記心理状態検出部によって検出された前記利用者Ａの心理状態に応じて前記ディスプレイ１０に表示される映像の調整を行う制御装置４０と、を具備した。【選択図】図１
2019004220.tif 000002
【特許請求の範囲】
【請求項１】
利用者が視認可能な表示装置に対話相手の映像を表示させながら、前記利用者と前記対話相手との対話を可能とする遠隔対話システムであって、
前記利用者の心理状態を検出する心理状態検出部と、
前記心理状態検出部によって検出された前記利用者の心理状態に応じて前記表示装置に表示される映像の調整を行う制御部と、
を具備する遠隔対話システム。
【請求項２】
前記制御部は、
少なくとも前記表示装置に表示される映像の大きさを調整する、
請求項１に記載の遠隔対話システム。
【請求項３】
前記心理状態検出部は、
前記利用者が感じる不快感の度合いである不快度を検出し、
前記制御部は、
前記不快度が改善するように前記表示装置に表示される映像の大きさを決定する、
請求項２に記載の遠隔対話システム。
【請求項４】
前記制御部は、
前記表示装置に表示される映像の大きさの決定を複数回行い、過去に決定した映像の大きさの重み付平均を算出し、当該重み付平均を用いて、次の映像の大きさを決定する、
請求項３に記載の遠隔対話システム。
【請求項５】
前記制御部は、
前記重み付平均と、直近に決定した映像の大きさと、の内分点を基準とする所定の範囲内から、次の映像の大きさを決定する、
請求項４に記載の遠隔対話システム。
【請求項６】
前記制御部は、
前記心理状態検出部によって検出された前記不快度が大きいほど大きくなるノイズを算出し、前記内分点を基準とするノイズの範囲内から、次の映像の大きさを決定する、
請求項５に記載の遠隔対話システム。
【請求項７】
前記心理状態検出部は、
前記利用者の表情、心拍又は声のうち少なくとも１つを検出する、
請求項１から請求項６までのいずれか一項に記載の遠隔対話システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、利用者が視認可能な表示装置に対話相手の映像を表示させながら、前記利用者と前記対話相手との対話を可能とする遠隔対話システム及びその映像調整方法の技術に関する。
【背景技術】
【０００２】
従来、利用者が視認可能な表示装置に対話相手の映像を表示させながら、前記利用者と前記対話相手との対話を可能とする遠隔対話システム及びその映像調整方法の技術は公知となっている。例えば、特許文献１に記載の如くである。
【０００３】
特許文献１には、表示装置に表示される映像の大きさ（画像サイズ）を調整することで、利用者が感じる距離感（当該利用者と対話相手との間の知覚距離）を任意に制御することが可能な遠隔対話システムが記載されている。
【０００４】
しかしながら、特許文献１に記載の技術では知覚距離を任意に変更できるものの、それが当該利用者にとって適切な距離であるか否かは不明であった。そのため、利用者は遠隔対話システムを用いた対話の際に、対話相手からの圧迫感を感じたり、画像の見え方が好ましくないなどの不快感を感じるおそれがあった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−８５１５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は以上の如き状況に鑑みてなされたものであり、その解決しようとする課題は、表示される映像を、利用者にとって適切な映像となるように調整することが可能な遠隔対話システム及び映像調整方法を提供することである。
【課題を解決するための手段】
【０００７】
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
【０００８】
即ち、請求項１においては、利用者が視認可能な表示装置に対話相手の映像を表示させながら、前記利用者と前記対話相手との対話を可能とする遠隔対話システムであって、前記利用者の心理状態を検出する心理状態検出部と、前記心理状態検出部によって検出された前記利用者の心理状態に応じて前記表示装置に表示される映像の調整を行う制御部と、を具備するものである。
【０００９】
請求項２においては、前記制御部は、少なくとも前記表示装置に表示される映像の大きさを調整するものである。
【００１０】
請求項３においては、前記心理状態検出部は、前記利用者が感じる不快感の度合いである不快度を検出し、前記制御部は、前記不快度が改善するように前記表示装置に表示される映像の大きさを決定するものである。
【００１１】
請求項４においては、前記制御部は、前記表示装置に表示される映像の大きさの決定を複数回行い、過去に決定した映像の大きさの重み付平均を算出し、当該重み付平均を用いて、次の映像の大きさを決定するものである。
【００１２】
請求項５においては、前記制御部は、前記重み付平均と、直近に決定した映像の大きさと、の内分点を基準とする所定の範囲内から、次の映像の大きさを決定するものである。
【００１３】
請求項６においては、前記制御部は、前記心理状態検出部によって検出された前記不快度が大きいほど大きくなるノイズを算出し、前記内分点を基準とするノイズの範囲内から、次の映像の大きさを決定するものである。
【００１４】
請求項７においては、前記心理状態検出部は、前記利用者の表情、心拍又は声のうち少なくとも１つを検出するものである。
【発明の効果】
【００１５】
本発明の効果として、以下に示すような効果を奏する。
【００１６】
請求項１においては、表示される映像を、利用者にとって適切な映像となるように調整することができる。
【００１７】
請求項２においては、表示される映像を、利用者にとって適切な大きさに調整することができる。
【００１８】
請求項３においては、利用者の不快感を低減することができる。
【００１９】
請求項４においては、表示される映像を、より適切な大きさに調整することができる。
【００２０】
請求項５においては、表示される映像を、より適切な大きさに調整することができる。
【００２１】
請求項６においては、表示される映像を、より適切な大きさに調整することができる。
【００２２】
請求項７においては、利用者の心理状態を精度良く検出することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態に係る遠隔対話システムの構成を示した模式図。
【図２】遠隔対話システムの構成を示したブロック図。
【図３】映像調整方法を示したフローチャート。
【図４】ゆらぎ制御の方法を示したフローチャート。
【図５】見かけの大きさと不快度に関する情報の一例を示した図。
【図６】ゆらぎ制御における見かけの大きさの算出方法の概念を示した図。
【図７】重み受けを用いた不快度の算出方法の具体例を示した図。
【発明を実施するための形態】
【００２４】
まず、図１及び図２を用いて、本発明の一実施形態に係る遠隔対話システム１の構成について説明する。
【００２５】
遠隔対話システム１は、遠隔地にいる人物の姿を見せながら当該人物との対話を可能とするものである。なお、本実施形態では、利用者Ａと利用者Ｂとが当該遠隔対話システム１を用いて対話するものとする。
【００２６】
遠隔対話システム１は、主としてディスプレイ１０、検出装置２０、携帯端末３０及び制御装置４０を具備する。なお、図１に示すように、ディスプレイ１０等は利用者Ａ側及び利用者Ｂ側のそれぞれに設けられるが、以下ではまず利用者Ａ側に設けられるディスプレイ１０等に着目して説明を行う。
【００２７】
ディスプレイ１０は、各種映像を表示可能なものである。ディスプレイ１０の方式としては、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等、種々の方式を適用することが可能である。
【００２８】
検出装置２０は、利用者Ａに関する各種の情報を検出するものである。検出装置２０は、利用者Ａが利用するディスプレイ１０に取り付けられる。検出装置２０は、主としてカメラ２１、マイク２２及び距離センサ２３を具備する（図２参照）。当該カメラ２１、マイク２２及び距離センサ２３は、検出装置２０の筐体に内臓される。
【００２９】
カメラ２１は、利用者Ａの姿を撮影するものである。カメラ２１は、ディスプレイ１０の概ね正面に向けて配置され、当該ディスプレイ１０の正面を撮影することができる。
【００３０】
マイク２２は、音声を検出するものである。特に本実施形態に係るマイク２２は、利用者Ａが発する声を検出（取得）するために設けられている。
【００３１】
距離センサ２３は、利用者Ａとの距離を検出するものである。距離センサ２３は、カメラ２１と共に検出装置２０の筐体に内臓されているため、当該距離センサ２３によって検出される利用者Ａとの距離（距離センサ２３と利用者Ａの間の距離）は、カメラ２１と利用者Ａの間の距離とみなすことができる。また、検出装置２０はディスプレイ１０に設けられているため、距離センサ２３によって検出される利用者Ａとの距離は、ディスプレイ１０と利用者Ａの間の距離とみなすことができる。距離センサ２３の方式としては、レーザ式、超音波式等、種々の方式を適用することができる。
【００３２】
携帯端末３０は、利用者Ａが携帯可能な端末である。携帯端末３０は、利用者Ａの心拍数を検出することができる。本実施形態に係る携帯端末３０は、利用者Ａが腕に直接身に着けることが可能な腕時計型に形成される。
【００３３】
制御装置４０は、遠隔対話システム１に関する種々の制御を行うものである。制御装置４０は、記憶部、演算処理部等により構成される。制御装置４０には、遠隔対話システム１を制御するためのプログラムや種々のデータが記憶される。
【００３４】
制御装置４０は検出装置２０に接続され、当該検出装置２０により検出された情報を取得することができる。具体的には、制御装置４０は、カメラ２１により撮影された映像、マイク２２により検出された音声、及び距離センサ２３により検出された利用者Ａとの距離に関する情報を、検出装置２０から取得することができる。
【００３５】
また制御装置４０は携帯端末３０に接続され、当該携帯端末３０により検出された利用者Ａの心拍数に関する情報を取得することができる。
【００３６】
また制御装置４０はディスプレイ１０に接続され、各種映像（主に、対話相手となる利用者Ｂの映像）を当該ディスプレイ１０に表示させることができる。
【００３７】
以上、利用者Ａ側に設けられるディスプレイ１０等について説明したが、本実施形態においては、当該ディスプレイ１０等と同じものが、利用者Ａと離れた場所に居る利用者Ｂ側にも設けられている。すなわち、利用者Ｂ側にも、ディスプレイ１０、検出装置２０、携帯端末３０及び制御装置４０が設けられる。両者の制御装置４０は、互いに通信可能となるように接続されている。
【００３８】
このように構成された遠隔対話システム１においては、一方の利用者側のマイク２２で取得された音声が、制御装置４０を介して他方の利用者側の図示せぬスピーカーから出力される。また、一方の利用者側のカメラ２１で撮影された映像が、制御装置４０を介して他方の利用者側のディスプレイ１０に表示される。これによって、利用者Ａと利用者Ｂはは、お互いの姿を見ながら対話することができる。
【００３９】
ここで、ディスプレイ１０に表示される映像について、サイズ調整（映像の大きさの調整）を行わない場合、当該ディスプレイ１０に表示される対話相手の大きさは、当該対話相手の位置（カメラ２１から当該対話相手までの距離）に応じて決まる。図１に示した例においては、利用者Ａ側のディスプレイ１０に表示される利用者Ｂの大きさは、当該利用者Ｂの位置に応じて決まる。
【００４０】
さらに、利用者Ａから見た利用者Ｂの見かけの大きさ（利用者Ａがディスプレイ１０を見た際に感じる利用者Ｂの大きさ）は、当該利用者Ａの位置（ディスプレイ１０から当該利用者Ａまでの距離）と、当該ディスプレイ１０に表示される利用者Ｂの大きさにより決まる。
【００４１】
このように、利用者Ａから見た利用者Ｂの見かけの大きさは、利用者Ａ及び利用者Ｂの位置によって決定される。
【００４２】
一方で、利用者Ａから見た利用者Ｂの見かけの大きさを調整することが望ましい場合も考えられる。例えば、利用者Ａにとって利用者Ｂが威圧的に感じる相手である場合等には、当該利用者Ｂの見かけの大きさが大きいと、利用者Ａは不快感を覚えるおそれがある。このような場合には、利用者Ｂの見かけの大きさが小さくなるように調整することが望ましい。また、利用者Ｂの見かけの大きさが小さすぎると、当該利用者Ｂ（表情等）が確認し難く、利用者Ａは不快感を覚えるおそれがある。このような場合には、利用者Ｂの見かけの大きさが大きくなるように調整することが望ましい。
【００４３】
本実施形態に係る遠隔対話システム１は、このような状況に鑑みて、利用者の心理状態に応じてディスプレイ１０に表示される映像の大きさを自動的に調整するように構成されている。以下では、当該調整の方法（映像調整方法）について、具体的に説明する。
【００４４】
なお、以下では、利用者Ａ側のディスプレイ１０に表示される利用者Ｂの姿が適切な大きさになるように調整する場合を例に挙げて説明するが、利用者Ｂ側も同様の調整が可能である。また、特に言及しない限り、以下の説明中の構成部材（ディスプレイ１０等）は、利用者Ａ側に設けられたものを指すものとする。
【００４５】
まず、利用者Ａと利用者Ｂとの対話を開始する場合（遠隔対話システム１が起動された場合や、対話に関する制御プログラムが実行された場合等）、制御装置４０には、各種初期データが入力される。初期データには、例えば検出装置２０の位置情報や、各種検出値の基準値設定等が含まれる。また、初期データとして、後述する算出回数Ｍに０という値が代入される。
【００４６】
ステップＳ１０１において、制御装置４０は、ディスプレイ１０に利用者Ｂの映像を表示させる。
遠隔対話システム１の起動後、初めてのステップＳ１０１の処理では、制御装置４０は、利用者Ｂ側のカメラ２１で取得された映像を、適宜の倍率（後述する倍率Ｄの初期値）で表示させる。
制御装置４０は、当該ステップＳ１０１の処理を行った後、ステップＳ１０２に移行する。
【００４７】
ステップＳ１０２において、制御装置４０は、利用者Ａ及び利用者Ｂの位置情報を取得する。
具体的には、制御装置４０は、距離センサ２３によって取得された利用者Ａの位置（当該距離センサ２３と利用者Ａの間の距離）を取得する。また制御装置４０は、利用者Ｂ側の距離センサ２３によって取得された利用者Ｂの位置（当該距離センサ２３と利用者Ｂの間の距離）を取得する。
【００４８】
なお、以下では、利用者Ａの位置（距離センサ２３と利用者Ａの間の距離）を「Ｚａ」、利用者Ｂの位置（距離センサ２３と利用者Ｂの間の距離）を「Ｚｂ」とそれぞれ称する。また、ｎ回目に（ｎ回目のステップＳ１０２に処理で）取得された利用者Ａの位置を「Ｚａｎ」、ｎ回目に取得された利用者Ｂの位置を「Ｚｂｎ」とそれぞれ称する。例えば、「Ｚａ１」は最初に取得された利用者Ａの位置を意味し、「Ｚａ２」は２回目に（２回目のステップＳ１０２の処理で）取得された利用者Ａの位置を意味する。
【００４９】
制御装置４０は、当該ステップＳ１０２の処理を行った後、ステップＳ１０３に移行する。
【００５０】
ステップＳ１０３において、制御装置４０は、利用者Ａ及び利用者Ｂの位置と、ディスプレイ１０に表示している映像の「倍率Ｄ」に基づいて、利用者Ａから見た利用者Ｂの「見かけの大きさＸ」を算出する。
【００５１】
ここで、見かけの大きさＸの算出方法について説明する。
【００５２】
見かけの大きさＸは、利用者Ａの位置Ｚａ及び利用者Ｂの位置Ｚａが初期値である場合、すなわち位置Ｚａ＝Ｚａ１かつ位置Ｚｂ＝Ｚｂ１である場合における「見かけの大きさの基準値Ｘｋ」を基準として算出される。具体的には、位置Ｚａ＝Ｚａ１かつ位置Ｚｂ＝Ｚｂ１である場合、見かけの大きさの基準値Ｘｋは、下記の数１で示した値であるものとする。
【００５３】
【数１】
2019004220.tif 000003
【００５４】
また、利用者Ａや利用者Ｂが移動するなどして、位置Ｚａ≠Ｚａ１又は位置Ｚｂ≠Ｚｂ１となった場合には、見かけの大きさの基準値Ｘｋは、下記の数２で算出される。
【００５５】
【数２】
2019004220.tif 000004
ここで、Ｅ及びＦは適宜の係数を意味する。
【００５６】
見かけの大きさＸは、上記見かけの大きさの基準値Ｘｋと、制御装置４０が映像をディスプレイ１０に表示する際の倍率Ｄに基づいて、下記の数３で算出される。
【００５７】
【数３】
2019004220.tif 000005
【００５８】
見かけの大きさＸは、上記数１から数３までに示したように、見かけの大きさの基準値Ｘｋと倍率Ｄに基づいて算出される。
但し、遠隔対話システム１の起動後、初めてのステップＳ１０３の処理においては、見かけの大きさの基準値Ｘｋ＝１．０（初期値）、かつ倍率Ｄ＝１．０（初期値）であり、算出される見かけの大きさＸ＝１．０（初期値）であるものとする。
【００５９】
制御装置４０は、ステップＳ１０３の処理を行った後、ステップＳ１０４に移行する。
【００６０】
ステップＳ１０４において、制御装置４０は、利用者Ａの心理状態を示す１つのパラメータである不快度を算出する。
ここで、「不快度」とは、利用者Ａがディスプレイ１０の映像を見た際に感じる不快感の度合いを示すものである。例えば、利用者Ａの不快感（不快度）は、ディスプレイ１０に表示された利用者Ｂが苦手な相手である場合や、当該映像が小さすぎて利用者Ｂが見え難い場合等に増すものと想定される。
【００６１】
本実施形態においては、カメラ２１によって取得される利用者Ａの表情、マイク２２によって取得される利用者Ａの声、及び携帯端末３０によって取得される利用者Ａの心拍に基づいて、当該利用者Ａの不快度を算出するものとする。例えば、利用者Ａの表情に笑顔が多ければ不快度は小さく、利用者Ａの表情に笑顔が少ないくしかめっ面が多ければ不快度は大きいものと考えることができる。また利用者Ａの声の大きさや声色等に基づいて不快度の大小を判断することができる。また利用者Ａの心拍（心拍数）に基づいて不快度の大小を判断することができる。これらを総合的に考慮する適宜の計算式を用いて、不快度を算出することができる。
【００６２】
なお、当該不快度は、百分率で０（％）から１００（％）までの間の値をとるものとし、不快度が大きいほど利用者Ａの不快感が大きいことを意味している。また、当該不快度の算出方法の具体例については後述する。
【００６３】
また当該ステップＳ１０４において、制御装置４０は、不快度の「算出回数Ｍ」を記憶する。ここで、算出回数Ｍとは、本制御において不快度が算出された回数（すなわち、ステップＳ１０４の処理が行われた回数）を示すものである。算出回数Ｍの初期値（遠隔対話システム１の起動時における算出回数Ｍの値）は０であり、ステップＳ１０４の処理が行われる度に当該算出回数Ｍに１が加算される。
【００６４】
また当該ステップＳ１０４において、制御装置４０は、算出された不快度と、当該不快度が算出された際の見かけの大きさＸの値を、互いに対応付けて記憶する。
【００６５】
制御装置４０は、ステップＳ１０４の処理を行った後、ステップＳ１０５に移行する。
【００６６】
ステップＳ１０５において、制御装置４０は、利用者Ａの不快度が所定の閾値以下であるか否かを判断する。当該閾値としては、事前に適宜の値（例えば、２０（％））が制御装置４０に記憶される。また当該閾値は、任意に設定（変更）することもできる。
【００６７】
制御装置４０は、不快度が所定の閾値以下であると判断した場合（ステップＳ１０５でＹｅｓ）、利用者Ａの不快感が十分に低減されたものと判断して、本制御（映像の大きさの調整）を終了する。
一方、制御装置４０は、不快度が所定の閾値より大きいと判断した場合（ステップＳ１０５でＮｏ）、利用者Ａの不快感がまだ十分に低減されていないものと判断して、ステップＳ１０６に移行する。
【００６８】
ステップＳ１０６において、制御装置４０は、不快度の算出回数Ｍが５以上であるか否かを判断する。
制御装置４０は、算出回数Ｍが５未満であると判断した場合（ステップＳ１０６でＮｏ）、ステップＳ１０７に移行する。
一方、制御装置４０は、算出回数Ｍが５以上であると判断した場合（ステップＳ１０６でＹｅｓ）、ステップＳ１０８に移行する。
【００６９】
ステップＳ１０７において、制御装置４０は、映像の倍率Ｄをランダムに決定する。これによって、見かけの大きさＸがランダムに変更されることになる（上記数３参照）。但し、本実施形態においては、見かけの大きさＸは、０．１≦Ｘ≦２．０の範囲内で変更されるものとする。このように見かけの大きさＸに上限値及び下限値を設定することで、ディスプレイ１０に表示された対話相手（利用者Ｂ）が極端に大きくなったり小さくなったりするのを防止することができる。
制御装置４０は、ステップＳ１０７の処理を行った後、再びステップＳ１０１に移行する。
【００７０】
ステップＳ１０７からステップＳ１０１に移行すると、制御装置４０は、ステップＳ１０７でランダムに決定された倍率Ｄで映像を拡大／縮小してディスプレイ１０に表示させる（ステップＳ１０１）。その後制御装置４０は、利用者Ａ及び利用者Ｂの位置を取得し（ステップＳ１０２）、当該位置と倍率Ｄに基づいて、見かけの大きさＸを算出する（ステップＳ１０３）。さらに制御装置４０は、不快度を算出し（ステップＳ１０４）、不快度が所定の閾値より大きければ（ステップＳ１０５でＮｏ）、ステップＳ１０６へ移行する。
【００７１】
このようにして、制御装置４０は、算出回数Ｍが５以上になるまで（ステップＳ１０６でＮｏ）ステップＳ１０１からステップＳ１０７の処理を繰り返す。このようにして制御装置４０は、ランダムに決定された見かけの大きさＸと、当該見かけの大きさＸにより利用者Ａが感じる不快度に関する情報を蓄積する。なお、制御装置４０は、ステップＳ１０１からステップＳ１０７の処理を繰り返す間に、不快度が所定の閾値以下になった場合（ステップＳ１０５でＹｅｓ）、ディスプレイ１０に表示される映像が適切な大きさになったものと判断し、本制御（映像の大きさの調整）を終了する。
【００７２】
そして制御装置４０は、前述の如く、ステップＳ１０６において算出回数Ｍが５以上であると判断した場合（ステップＳ１０６でＹｅｓ）、すなわち見かけの大きさＸと不快度に関する情報が５つ以上蓄積された場合、ステップＳ１０８に移行する。
【００７３】
ステップＳ１０８において、制御装置４０は、いわゆる「ゆらぎ制御」によってディスプレイ１０の映像のサイズ調整を行う。以下、当該ステップＳ１０８（ゆらぎ制御）の具体的な内容について図４から図６までを用いて説明する。
【００７４】
図４のステップＳ１１１において、制御装置４０は、蓄積された見かけの大きさＸと不快度に関する情報の中から直近の５つの情報を抽出し、当該見かけの大きさＸの「重み付平均」を算出する。以下、具体的に説明する。
【００７５】
図５には、制御装置４０に記憶（蓄積）された見かけの大きさＸと不快度に関する情報を例示している。前述の如く、ステップＳ１０４の処理を行う度に、制御装置４０は、不快度と見かけの大きさＸに関する情報を記憶している。そして制御装置４０は、図５に示すように、蓄積された情報のうち、過去５つ（直近の５つ）の情報に、不快度に基づいて順位付けを行う。当該順位付けにおいて、不快度が小さい情報（見かけの大きさＸがより好ましいと思われる情報）ほど上位となるように順位が付けられる。図５においては、不快度の順位が上位のものから順に並べて示している。
【００７６】
次に制御装置４０は、当該５つの情報にそれぞれ重み（重み係数）を割り当てる。具体的には、上位の情報ほど値が大きくなるような重みを割り当てる。制御装置４０は、割り当てられた重みを、それぞれの見かけの大きさＸの値に乗じて、「重み付見かけの大きさ」を算出する。最後に制御装置４０は、当該５つの情報の重み付見かけの大きさを合算する。当該合算したものが、５つの情報についての、見かけの大きさＸの重み付平均となる。
【００７７】
制御装置４０は、ステップＳ１１１の処理を行った後、ステップＳ１１２に移行する。
【００７８】
ステップＳ１１２において、制御装置４０は、前回（直近）の見かけの大きさＸと、ステップＳ１１１で算出された重み付平均から、次回の見かけの大きさＸを決定する。ここで、前回（直近）の見かけの大きさＸとは、当該ステップＳ１１２の処理を行う際にディスプレイ１０に表示されている映像の見た目の大きさＸを意味する。また、次回の見かけの大きさＸとは、次にディスプレイ１０に表示する映像の見た目の大きさＸを意味する。以下、当該ステップＳ１１２の処理について具体的に説明する。
【００７９】
制御装置４０は、下記の数４を用いて、次の見かけの大きさＸを算出する。
【００８０】
【数４】
2019004220.tif 000006
【００８１】
なお、上記数４の重み付平均は、ステップＳ１１１の処理で算出されている。また、上記数４の内分及びノイズは、下記の数５及び数６でそれぞれ算出される。
【００８２】
【数５】
2019004220.tif 000007
【００８３】
【数６】
2019004220.tif 000008
【００８４】
ここで、図６を用いて、上記数４を用いて次回の見かけの大きさＸを算出している意義について説明する。
【００８５】
図６には、前回の見かけの大きさＸと、ステップＳ１１１で算出された重み付平均を示している。なお、図６における具体的な数値はあくまで一例である。
【００８６】
上記数４から分かるように、次の見かけの大きさＸは、前回の見かけの大きさＸと、重み付平均とに基づいて決定される。具体的には、上記数４においては、図６に示すように、前回の見かけの大きさＸと、重み付平均と、の内分点を算出している。この際、数４で用いられる内分は、数５に示したように、直近の不快度に応じて決定される。具体的には、直近（前回）の不快度が大きい場合には、前回の見かけの大きさＸは好ましくないものと考えられるため、内分の値が大きくなるように数５によって設定されている。これによって、前回の不快度が大きいほど、内分点は重み付平均に近い値をとることになる。一方、前回の不快度が小さい場合には、前回の見かけの大きさＸが比較的好ましい値であったと考えられる。この場合、内分点は前回の見かけの大きさに近い値をとることになる。このように、不快度に応じた内分を設定することで、速やかに、より好ましい見かけの大きさを算出（推定）することができる。
【００８７】
さらに、上記数４及び図６から分かるように、次の見かけの大きさＸは、内分点を中心とするノイズの範囲内から決定される。数４で用いられるノイズは、数６に示したように、直近の不快度に応じて決定される。具体的には、直近（前回）の不快度が大きい場合には、前回の見かけの大きさＸは好ましくないものと考えられるため、ノイズの値が大きくなるように数６によって設定されている。これによって、前回の不快度が大きいほど、広い範囲（ノイズの範囲）から次の見かけの大きさＸが決定されることになる。したがって、不快度が大きい場合には見かけの大きさＸを大きく変化させて、速やかに、より好ましい見かけの大きさを算出（探索）することができる。一方、前回の不快度が小さい場合には、前回の見かけの大きさＸが比較的好ましい値であったと考えられる。この場合、次の見かけの大きさは、狭い範囲から決定されることになる。これによって、前回の見かけの大きさＸ（比較的好ましい値）に近い範囲から次の見かけの大きさＸを決定することができ、効率的に適切な値を算出（探索）することができる。
【００８８】
制御装置４０は、ステップＳ１１２の処理を行った後、ステップＳ１１３に移行する。
【００８９】
ステップＳ１１３において、制御装置４０は、利用者Ａ及び利用者Ｂの位置情報を取得し、ステップＳ１１２で算出（決定）した見かけの大きさＸとなるような倍率Ｄを算出（決定）する。具体的には、制御装置４０は、前述の数１から数３までを用いて、所望の（すなわち、ステップＳ１１２で決定した）見かけの大きさＸとなるような、倍率Ｄを算出する。制御装置４０は、ステップＳ１１３の処理を行った後、ステップＳ１１４に移行する。
【００９０】
ステップＳ１１４において、制御装置４０は、ステップＳ１１３において決定された倍率Ｄで映像を拡大／縮小してディスプレイ１０に表示させる。制御装置４０は、ステップＳ１１４の処理を行った後、ステップＳ１０４（図３参照）に移行する。
【００９１】
ステップＳ１１４からステップＳ１０４に移行すると、制御装置４０は不快度を算出し（ステップＳ１０４）、不快度が所定の閾値より大きければ（ステップＳ１０５でＮｏ）、ステップＳ１０６を介して再度ステップＳ１０８へ移行する。
【００９２】
このようにして、制御装置４０は、算出回数Ｍが５以上になった後は（ステップＳ１０６でＹｅｓ）、不快度が所定の閾値以下になるまでステップＳ１０８の処理を繰り返す。制御装置４０は、ステップＳ１０８の処理において、ノイズを用いた見かけの大きさＸの探索（ゆらぎ制御）を行うことで、利用者Ａの不快度に様々な要因が関連していたとしても、適した見かけの大きさＸを速やかに決定することができる。
【００９３】
なお、制御装置４０は、ステップＳ１０５において不快度が所定の閾値以下になったと判断した場合には、本制御（映像の大きさの調整）を終了するが、利用者Ａの不快度の検出を引き続き行うことが望ましい。このようにして、制御装置４０は、利用者Ａの不快度が再び大きくなった場合には本制御を再開し、当該不快度が低下するようにディスプレイ１０の映像の大きさ（見かけの大きさＸ）を調整することが望ましい。
【００９４】
以下では、図７を用いて、ステップＳ１０４における不快度の算出方法の具体例について説明する。
【００９５】
前述の如く、本実施形態においては、利用者Ａの表情、声及び心拍に基づいて不快度を算出するものとした。例えば利用者Ａの表情、声及び心拍のそれぞれから、適宜の計算式に基づいて不快度を算出し、それらを平均することで最終的な不快度を算出することができる。
【００９６】
また、より適切な不快度を算出するために、利用者Ａの表情、声及び心拍の中で、より的確に利用者Ａの不快感を表しているもの（不快感によって、より大きな影響が与えられているもの）に重み付けを施してもよい。
【００９７】
具体的には、ディスプレイ１０に表示された映像を極端に拡大／縮小させ、その際に利用者Ａの表情、声及び心拍の変化を検出し、変化の割合が大きい順に順位を付ける。変化の割合が大きいものほど、利用者Ａの不快度（不快感）をより的確に表すことができているものと考えられる。そこで、変化の割合の順位が上位のものほど、値が大きくなるような重みを割り当てる。
【００９８】
例えば、図７（ａ）に示した例では、上位から表情、心拍、声の順に順位付けがなされている。よってこの場合、表情に割り当てられた重み（６／１０）が最も大きく、声に割り当てられた重み（１／１０）が最も小さい。また表情、心拍、声のそれぞれから算出された不快度が７０、５０、３０であるとすると、これらの不快度にそれぞれの重みを乗じて合計した値（図７の「総合不快度」）は６０となる。制御装置４０は、当該総合不快度をステップＳ１０４における不快度として決定する。
【００９９】
また図７（ｂ）に示した例では、表情と心拍に同じ順位が付けられている。この場合、当該表情と心拍に同じ値の重みを付けることとしている。
また図７（ｃ）に示した例では、表情、心拍及び声の全てに同じ順位が付けられている。この場合、当該表情、心拍及び声に同じ値の重みを付けることとしている。
【０１００】
このように、不快度を算出するための各パラメータに重み付けを施すことで、より適切な不快度の算出が可能となる。
【０１０１】
以上の如く、本実施形態に係る遠隔対話システム１は、
利用者Ａが視認可能なディスプレイ１０（表示装置）に利用者Ｂ（対話相手）の映像を表示させながら、前記利用者Ａと前記利用者Ｂとの対話を可能とする遠隔対話システム１であって、
前記利用者Ａの心理状態を検出する心理状態検出部（カメラ２１、マイク２２及び携帯端末３０）と、
前記心理状態検出部によって検出された前記利用者Ａの心理状態に応じて前記ディスプレイ１０に表示される映像の調整を行う制御装置４０（制御部）と、
を具備するものである。
このように構成することにより、表示される映像を、利用者Ａにとって適切な映像となるように調整することができる。すなわち、利用者Ａの心理状態に基づいて映像の調整を行うことで、当該利用者Ａに適した映像とすることができる。特に本実施形態では、人による操作を必要とすることもなく、利用者Ａの心理状態を自動的に判断するため、客観的な映像の調整を行うことができる。
【０１０２】
また、前記制御装置４０は、
少なくとも前記ディスプレイ１０に表示される映像の大きさを調整するものである。
このように構成することにより、表示される映像を、利用者Ａにとって適切な大きさに調整することができる。
【０１０３】
また、前記心理状態検出部は、
前記利用者Ａが感じる不快感の度合いである不快度を検出し、
前記制御装置４０は、
前記不快度が改善するように前記ディスプレイ１０に表示される映像の大きさを決定するものである。
このように構成することにより、利用者Ａの不快感を低減することができる。
【０１０４】
また、前記制御装置４０は、
前記ディスプレイ１０に表示される映像の大きさの決定を複数回行い、過去に決定した映像の大きさの重み付平均を算出し、当該重み付平均を用いて、次の映像の大きさを決定するものである。
このように構成することにより、表示される映像を、より適切な大きさに調整することができる。すなわち、過去に決定した映像の大きさの重み付平均を用いることで、より妥当な映像の大きさになるような調整を行うことができる。
【０１０５】
また、前記制御装置４０は、
前記重み付平均と、直近に決定した映像の大きさと、の内分点を基準とする所定の範囲内から、次の映像の大きさを決定するものである。
このように構成することにより、表示される映像を、より適切な大きさに調整することができる。すなわち、重み付平均と直近の映像の大きさとの内分点を用いることで、より妥当な映像の大きさになるような調整を行うことができる。
【０１０６】
また、前記制御装置４０は、
前記心理状態検出部によって検出された前記不快度が大きいほど大きくなるノイズを算出し、前記内分点を基準とするノイズの範囲内から、次の映像の大きさを決定するものである。
このように構成することにより、表示される映像を、より適切な大きさに調整することができる。すなわち、不快度に応じた値をとるノイズを用いることで、不快度が大きい場合には映像の大きさを大きく変化させ、不快度が小さい場合には映像の大きさを小さく変化させることができる。これによって、映像を適切な大きさに近づけ易くなる。
【０１０７】
また、前記心理状態検出部は、
前記利用者Ａの表情、心拍又は声のうち少なくとも１つを検出するものである。
このように構成することにより、利用者の心理状態を精度良く検出することができる。すなわち、利用者Ａの心理状態が表れ易い表情、心拍又は声を検出することで、当該心理状態を精度良く検出することができる。
【０１０８】
また、本実施形態に係る映像調整方法は、
利用者Ａが視認可能なディスプレイ１０に利用者Ｂの映像を表示させながら、前記利用者Ａと前記利用者Ｂとの対話を可能とする遠隔対話システム１において、前記ディスプレイ１０に表示される映像の調整を行う映像調整方法であって、
心理状態検出部によって、前記利用者Ａの心理状態を検出する心理状態検出工程（ステップＳ１０４）と、
制御装置４０によって、前記心理状態検出工程において検出された前記利用者Ａの心理状態に応じて前記ディスプレイ１０に表示される映像の調整を行う調整工程（ステップＳ１０８）と、
を具備するものである。
このように構成することにより、表示される映像を、利用者Ａにとって適切な映像となるように調整することができる。
【０１０９】
なお、本実施形態に係るディスプレイ１０は、本発明に係る表示装置の実施の一形態である。
また、本実施形態に係るカメラ２１、マイク２２及び携帯端末３０は、本発明に係る心理状態検出部の実施の一形態である。
また、本実施形態に係る制御装置４０は、本発明に係る制御部の実施の一形態である。
【０１１０】
以上、本発明の一実施形態を説明したが、本発明は上記構成に限定されるものではなく、特許請求の範囲に記載された発明の範囲内で種々の変更が可能である。
【０１１１】
例えば、本実施形態においては、ディスプレイ１０に表示される映像の大きさを調整するものとしたが、本発明はこれに限るものではなく、映像に関する種々のパラメータを調整することが可能である。例えば、ディスプレイ１０に表示される映像の明るさ、色合い等を調整することや、これら複数のパラメータを同時に調整することも可能である。特に、複数のパラメータを調整する場合には、一般的な方法では適切な値を探索することは困難であり、本実施形態で例示したようなゆらぎ制御が有効である。
【０１１２】
また、本実施形態においては、利用者Ａの心理状態として不快度を検出する例を示したが、本発明はこれに限るものではなく、その他種々の心理状態を検出することが可能である。例えば、利用者Ａの快適度（快適さの度合い）や、その他の心理状態（喜怒哀楽等）を検出し、当該心理状態に基づいて映像の大きさを決定してもよい。
【０１１３】
また、本実施形態においては、位置情報として、距離センサ２３によって検出される当該距離センサ２３と利用者（利用者Ａ及び利用者Ｂ）との距離を用いたが、本発明はこれに限るものではない。例えば、３次元の直交座標系において、距離センサ２３と利用者とを結ぶ直線をＺ座標とした場合、当該Ｚ座標における利用者の位置（距離センサ２３と利用者との距離）だけでなく、当該Ｚ座標と直交するＸ座標及びＹ座標における利用者の位置も、位置情報として考慮することが可能である。
【０１１４】
また、本実施形態においては、心理状態検出部としてカメラ２１、マイク２２及び携帯端末３０を例示したが、利用者の心理状態（表情、声及び心拍）を検出できるものであれば、検出するための構成は限定するものではない。
【０１１５】
また、本実施形態においては、心理状態検出部としてカメラ２１、マイク２２及び携帯端末３０を例示したが、これら全てを用いる必要はなく、例えばこれらのうち少なくとも１つを用いて心理状態（不快度）を検出することも可能である。また、カメラ２１、マイク２２及び携帯端末３０に限らず、その他の機器を用いて心理状態を検出することも可能である。
【０１１６】
また、本実施形態においては、前回の見かけの大きさＸと、重み付平均と、の内分点を基準とするノイズの範囲内から、次の見かけの大きさＸを決定するものとしたが、本発明はこれに限るものではない。例えば、前回の見かけの大きさＸや、重み付平均を基準とすることも可能である。
【０１１７】
また、本実施形態においては、ノイズを用いたゆらぎ制御によって次の見かけの大きさＸを決定する例を示したが、本発明はこれに限るものではなく、その他の方法（例えば、ＳＡ（Ｓｉｍｕｌａｔｅｄ  Ａｎｎｅａｌｉｎｇ：焼きなまし法）等）によって次の見かけの大きさＸを決定することも可能である。
【０１１８】
また、より適切な見かけの大きさを算出するために、重み付平均を算出する際の順位付け（図５参照）において、過去の快適度に１未満（例えば、０．９）の係数（忘却係数）を乗じてもよい。例えば、直前に検出された不快度には忘却係数を乗じることはなく、２つ前に検出された不快度には忘却係数を１回乗じる。また、３つ前に検出された不快度には忘却係数を２回乗じる。このように計算することで、古い情報ほど不快度が小さくなるため、新しい情報を重視した重み付平均を算出することができる。これによって、より妥当な見かけの大きさを算出することが可能となる。
【符号の説明】
【０１１９】
１    遠隔対話システム
１０  ディスプレイ
２０  検出装置
２１  カメラ
２２  マイク
２３  距離センサ
３０  携帯端末
４０  制御装置
【図１】
2019004220.tif 000009
【図２】
2019004220.tif 000010
【図３】
2019004220.tif 000011
【図４】
2019004220.tif 000012
【図５】
2019004220.tif 000013
【図６】
2019004220.tif 000014
【図７】
2019004220.tif 000015