(57)【要約】【課題】行為者の操作入力に対応した映像情報と音響情報の遅延時間による操作違和感を軽減させる操作違和感軽減装置を提供する。【解決手段】  入力部が、行為者の操作を入力として、当該操作に対応した信号である入力情報を生成し、映像情報生成部が、入力情報を入力として、当該入力情報に対応する映像情報を生成し、音響情報生成部が、入力情報を入力として、当該入力情報に対応する音響情報を生成する。そして、遅延処理部が、上記入力情報が生成された時刻を起点とする所定の時間範囲内に映像情報が出力されるように映像情報の遅延時間が調整された遅延調整後映像情報を出力する。【選択図】図２
2014211808.tif 000002
【特許請求の範囲】
【請求項１】
行為者の操作を入力する入力部と、
上記行為者の操作に対応する映像情報を提示する映像情報生成部と、
上記行為者の操作に対応する音響情報を出力する音響情報生成部と、
上記映像情報が上記行為者の操作が入力された時刻を起点とする所定の第一の時間範囲内に出力されるように、映像情報の遅延時間を調整する遅延処理部と、
を具備する操作違和感軽減装置。
【請求項２】
請求項１に記載した操作違和感軽減装置において、
上記第一の所定時間範囲内とは、上記行為者の操作が入力された時刻を起点とする０.４１秒の近傍の範囲内である、
ことを特徴とする操作違和感軽減装置。
【請求項３】
請求項１又は２に記載の操作違和感軽減装置において、
所定の閾値を０.４秒の近傍としたとき、
上記遅延処理部は、
上記音響情報の遅延時間が上記所定の閾値以下の場合には、上記映像情報の遅延時間を調整する処理を行わない、
ことを特徴とする操作違和感軽減装置。
【請求項４】
行為者の操作を入力として、当該操作に対応した信号である入力情報を生成する入力部と、
上記入力情報を入力として、当該入力情報に対応する映像情報を生成する映像情報生成部と、
上記入力情報を入力として、当該入力情報に対応する音響情報を生成する音響情報生成部と、
上記入力情報と上記映像情報と上記音響情報とを入力として、上記入力情報を起点として上記映像情報と所定の第一の時間範囲内に出力されるように調整された遅延調整後映像情報と遅延調整後音情報とを出力する遅延処理部と、
を具備する操作違和感軽減装置。
【請求項５】
行為者の操作を入力として、当該操作に対応した信号である入力情報を生成する入力部と、
上記入力情報を入力として、当該入力情報に対応する映像情報を生成する映像情報生成部と、
上記入力情報を入力として、当該入力情報に対応する音響情報を生成する音響情報生成部と、
上記入力情報と上記映像情報と上記音響情報を入力として、上記入力情報を起点としたときの上記映像情報の遅延時間である映像遅延時間と上記音響情報の遅延時間である音響遅延時間を計測する遅延計測部と、
上記映像情報と映像遅延時間とを入力として、上記映像情報が所定の第一の時間範囲内に出力されるように、上記映像情報を遅らせて出力する遅延処理部と、
を具備する操作違和感軽減装置。
【請求項６】
請求項５に記載された操作違和感軽減装置において、
上記遅延処理部が、上記音響情報の遅延時間が所定の閾値θ以上の場合、上記映像情報が所定の時間範囲内に出力されるように構成されたものであることを特徴とする操作違和感軽減装置。
【請求項７】
請求項４乃至６の何れかに記載した操作違和感軽減装置において、
上記所定の第一の範囲は、０．４１秒の近傍の範囲であることを特徴とする操作違和感軽減装置。
【請求項８】
請求項６に記載した操作違和感軽減装置において、
上記所定の閾値θとは、上記入力情報を起点とする０.４秒以上の時間範囲であることを特徴とする操作違和感軽減装置。
【請求項９】
行為者の操作を入力する入力過程と、
上記行為者の操作に対応する映像情報を提示する映像情報生成過程と、
上記行為者の操作に対応する音響情報を出力する音響情報生成過程と、
上記映像情報が上記行為者の操作が入力された時刻を起点とする所定の第一の時間範囲内に出力されるように、映像情報の遅延時間を調整する遅延処理過程と、
を備える操作違和感軽減方法。
【請求項１０】
行為者の操作を入力として、当該操作に対応した信号である入力情報を生成する入力過程と、
上記入力情報を入力として、当該入力情報に対応する映像情報を生成する映像情報生成過程と、
上記入力情報を入力として、当該入力情報に対応する音響情報を生成する音響情報生成過程と、
上記入力情報と上記映像情報と上記音響情報とを入力として、上記入力情報を起点として上記映像情報と上記音響情報の何れか早く生成される一方の情報を判定し、当該一方の情報を遅延させて上記映像情報と上記音響情報とが所定の第一の時間範囲内に出力されるように調整された遅延調整後映像情報と遅延調整後音情報とを出力する遅延判定処理過程と、
を備える操作違和感軽減方法。
【請求項１１】
行為者の操作を入力として、当該操作に対応した信号である入力情報を生成する入力過程と、
上記入力情報を入力として、当該入力情報に対応する映像情報を生成する映像情報生成過程と、
上記入力情報を入力として、当該入力情報に対応する音響情報を生成する音響情報生成過程と、
上記入力情報と上記映像情報と上記音響情報を入力として、上記入力情報を起点としたときの上記映像情報の遅延時間である映像遅延時間と上記音響情報の遅延時間である音響遅延時間を計測する遅延計測過程と、
上記映像情報と映像遅延時間と、上記音響情報と音響遅延時間とを入力として、上記映像遅延時間と上記音響遅延時間の長い方の遅延時間が、所定の閾値θ以下の場合に上記映像情報と上記音響情報とが所定の時間範囲内に出力されるように、上記映像遅延時間又は上記音響遅延時間の短い方の遅延時間を遅らせて出力する遅延処理過程と、
を備える操作違和感軽減方法。
【請求項１２】
請求項９乃至１１の何れかに記載した操作違和感軽減方法の各過程を、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視聴覚表示を伴う例えばテレビゲーム等の操作端末において、行為者が操作する時の違和感を軽減させる操作違和感軽減装置とその方法とプログラムに関する。
【背景技術】
【０００２】
行為者の行為に伴って音響情報と映像情報とが提示されるようなアプリケーションにおいては、行為に対応する映像と音とが同時に提示されるのが理想である。しかし、映像情報を再生するための処理と音響情報を再生するための処理は異なるので、その処理を行うソフトウェアやハードウェア（ビデオチャプチャカード等）によっては、行為に対応する映像情報の遅延時間と音響情報の遅延時間とが異なり、本来、同期して提示されるべき映像情報と音響情報とが、行為者にずれて提示される場合がある。
【０００３】
この映像情報と音響情報との間のずれが大きくなると、違和感や抵抗感が増長し、ゲームやバーチャルリアリティへの行為者（利用者）の臨場感が失われる問題が発生する。例えばゲームのように、行為者のボタン押し操作に応じてゲームのキャラクタがジャンプする映像と効果音が同時に提示されるべき状況で、操作に対応する映像（行為映像）や操作に対応する音情報（フィードバック音）が遅れて、しかも、行為映像とフィードバック音とがバラバラに提示されると、臨場感が大きく阻害される。そして、行為者は違和感や抵抗感を感じるようになる。この問題を解消する目的で、人間側への知覚情報の操作によって遅延に伴う違和感や抵抗感を低減させる方法が検討されて来ている。
【０００４】
例えば、視覚運動情報を提示することで遅延に伴って生じる抵抗感を軽減させる操作抵抗感制御装置９００（図１２）が特許文献１に開示されている。図１２を参照してその動作を簡単に説明する。
【０００５】
操作抵抗感制御装置９００は、肢運動方向検出部１、肢運動マーカ画像生成部２、視覚運動刺激生成部３、画像合成部４、画像表示部５、から構成される。肢運動方向検出部１は、画像表示部５によって表示される画像を見ながら操作を行う操作者１０の操作に関与する体の部位及びその部位の運動方向をカメラやセンサによって検出する。肢運動マーカ画像生成部２は、肢運動方向検出部１で検出された体の部位の位置を示すマーカ画像を生成する。
【０００６】
視覚運動刺激生成部３は、所定の大きさの視覚運動刺激エリアを設定して白黒の縞模様を表示する。そして、視覚運動刺激生成部３は、肢運動方向検出部１で検出された手の運動方向と同じ方向に縞模様を動かし、手を止めた時は縞模様を消す、あるいはその動きを止めるように制御した視覚運動刺激画像を生成し、画像合成部４を介して画像表示部５に表示させる。この視覚運動刺激画像を、操作抵抗感を改善するのに適した空間周波数、時間周波数、サイズを有するものとすることで、操作抵抗感を改善させることができる。
【０００７】
また、視覚情報と音響情報とのずれを、人間の知覚特性を用いて補償する技術が特許文献２に開示されている。なお、特許文献２についての図面を参照した説明は省略する。特許文献２に開示された技術は、通常時の音響情報と視覚情報とのずれ時間よりも大きなずれを持たせた情報を訓練時に提示し、その後に、通常時のずれ時間で音響情報と視覚情報とを再生することで、音響情報と視覚情報とが同時に提示されているように錯覚する効果を用いる方法である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１２−３３１４６号公報
【特許文献２】特開２００５−３５４３０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に開示された方法は、視覚情報のみが提示される状況における視覚遅延の低減には有効であるが、視覚情報と音響情報とが提示される状況における、視覚情報と音響情報のそれぞれの遅延によって生ずる違和感を低減させるものではない。
【００１０】
また、特許文献２に開示された方法は、予め通常のずれ時間よりも大きなずれを持った訓練情報により順応させておく必要があるため、毎回「順応」するための事前訓練が必要となる。また、順応効果は時間と共に薄れてしまうので、長時間にわたって効果を維持することが難しい課題がある。
【００１１】
本発明は、これらの課題に鑑みてなされたものであり、事前の訓練を必要とすることなく、自身の行為に対応して提示される音響情報（フィードバック音）が行為のタイミングに対して遅延してしまう場合に利用者（行為者）が感じる違和感を、視覚情報（行為映像）の操作により軽減させることができる操作違和感軽減装置とその方法とプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本願発明の操作違和感軽減装置は、入力部と、映像情報生成部と、音響情報生成部と、遅延処理部と、を具備する。入力部は、行為者の操作を入力として、当該操作に対応した信号である入力情報を生成する。映像情報生成部は、入力情報を入力として、当該入力情報に対応する映像情報を生成する。音響情報生成部は、入力情報を入力として、当該入力情報に対応する音響情報を生成する。遅延処理部は、入力情報と映像情報を入力として、映像情報が所定の第一の時間範囲内に出力されるように調整された遅延調整後映像情報を出力する。
【発明の効果】
【００１３】
本発明の操作違和感軽減装置によれば、行為者の操作入力に対応してフィードバック音が遅延した場合、行為映像が遅延するように調整されて出力される。具体的には、行為映像が自己の行為だと認識可能な時間限界まで行為映像を遅延させる。それにより、行為者自身の行為タイミングに対する認識を遅延させ、結果的に行為タイミングとフィードバック音との遅延の知覚を低減させる。その結果、遅延したフィードバック音に対する違和感を行為者に与えないようにすることができる。又は、軽減させることができる。
【図面の簡単な説明】
【００１４】
【図１】映像遅延時間と操作感の評定値との関係を、音遅延時間をパラメータとして評価した結果を示す図。
【図２】本発明の操作違和感軽減装置１００，１００′の機能構成例を示す図。
【図３】操作違和感軽減装置１００の動作フローを示す図。
【図４】遅延処理部１４０,１４０′の機能構成例を示す図。
【図５】遅延処理部１４０の動作フローを示す図。
【図６】遅延処理部１４０′の動作フローを示す図。
【図７】本発明の操作違和感軽減装置２００の機能構成例を示す図。
【図８】操作違和感軽減装置２００の動作フローを示す図。
【図９】遅延処理部２４０の機能構成例を示す図。
【図１０】遅延処理部２４０の動作フローを示す図。
【図１１】遅延処理部２４０′の動作フローを示す図。
【図１２】従来の操作抵抗感制御装置９００の機能構成を示す図。
【発明を実施するための形態】
【００１５】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。また、以下の説明では、行為者の行為に伴う音響情報をフィードバック音、行為者の行為に伴う映像情報を行為映像と称する。
【００１６】
〔発明の原理〕
この発明は、行為者の行為に伴ってフィードバック音と行為映像とが提示されるようなアプリケーションを対象とし、フィードバック音及び又は行為映像が提示されるタイミングを調整することにより、行為者の行為に対してフィードバック音及び又は行為映像が遅延することによって行為者に知覚される違和感を軽減する操作違和感軽減装置を実現する。そこで、フィードバック音と行為映像の遅延時間が、音に対する操作感にどのように影響するかを評価した。ここで、音に対する操作感とは、自身がその音の提示を、操作したという感覚、すなわち、その音が自身の行為により生成された音に感じられる度合いである。行為映像については、操作感を評価していない。図１に、その評価結果を示す。
【００１７】
図１の横軸は、行為者の操作を起点とした行為映像の遅延時間（秒）、縦軸は操作感の評定値を主観値で示す。主観値の５は「あきらかに操作感がある」、４は「やや操作感がある」、３は「判断が難しい」、２は「あまり操作感がない」、１は「明らかに操作感がない」、である。異なるデータポイント形状は、異なるフィードバック音の遅延時間（音遅延時間）でのデータを示している。音遅延時間の値と横軸の映像情報の遅延時間の値が等しいとき（例えば、音遅延が０.２（■破線）の特性では横軸が０.２のとき）が、映像と音とが同時に提示されている場合に対応し、それ以外の範囲は行為映像とフィードバック音がずれて提示されている場合に対応する。
【００１８】
図１から、行為からの音遅延時間が０．２（○実線及び■破線）（秒）以内であれば、行為映像の遅延時間を変化させてもフィードバック音に対する操作感がほとんど変わらないことが分かる（フィードバック音の遅延が０.２（秒）で映像情報の遅延が０.２（秒）の時にやや改善が見られるが、その改善は統計的に有意ではない）。つまり、フィードバック音の遅延が０.２（秒）以内の場合、行為映像の遅延時間の大きさは音に対する操作性の評定に寄与しないと言える。また、音響遅延時間が０.４（●一点鎖線）（秒）、０.６（▲破線）（秒）、０.８（△二点鎖線）（秒）の操作感の評定値は、一定の範囲において向上が見られ、ガウス分布で近似可能な特性を示すことが分かる。ガウス分布で近似可能な各特性から、平均値、つまり近似関数の評価値が最大となる映像遅延時間と、その標準偏差を計算して求めた結果を表１に示す。
【００１９】
【表１】
2014211808.tif 000003
【００２０】
表１からは、行為者の行為を起点とした映像の遅延時間が０．４１（秒）の近傍の範囲（例えば、０.４１±０．１９（秒）の範囲）内にあれば、遅延して提示されるフィードバック音に対する操作感の向上が期待できる。図１において、行為からの音遅延時間が０.２（秒）以内（○実線及び■破線）の場合、行為映像の遅延時間が更に大きくても評定値は悪化せず、且つ、音遅延時間が大きい場合と比較して評定値が高いことを考慮すれば、フィードバック音の遅延が小さい場合であっても、０.４１（秒）の近傍の範囲で行為映像の遅延時間を調整することは、音に対する操作感を低下させることにつながらないといえる。
【００２１】
つまり、図１から、行為者の行為を起点とした行為映像の遅延時間が０.４１±０.１９（秒）の範囲内では、フィードバック音の操作感の評定値に映像が有意に寄与し、行為映像の遅延時間をその範囲内とすることで、フィードバック音の遅延時間に関わらず音に対する操作感を向上させる効果が期待できることが分かる。特に、行為を起点とするフィードバック音の遅延時間が０.４（秒）より大きい場合に、顕著な効果が見られる。
【００２２】
このように、自分の行為に対してフィードバック音が遅延している場合に、行為映像の遅延時間を調整することにより、フィードバック音に対する操作感が向上する特性（錯覚）を確認できた。この発明は、この人間の知覚特性に関する新たな知見に基づいて、操作者の操作性を向上させる操作違和感軽減装置を提供するものである。
【実施例１】
【００２３】
図２に、この発明の操作違和感軽減装置１００の機能構成例を示す。その動作フローを図３に示す。操作違和感軽減装置１００は、入力部１１０と、映像情報生成部１２０と、音響情報生成部１３０と、遅延処理部１４０と、制御部１５０と、を具備する。操作違和感軽減装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００２４】
入力部１１０は、行為者の操作を入力として、当該操作に対応した信号である入力情報Ｉｔを生成する（ステップＳ１１０）。入力部１１０は、例えばマウス、キーボード、ボタンコントローラなどであり、行為者の操作を電気信号（入力情報Ｉｔ）に変更する。この実施例の効果を最大限に引き出すためには、操作時に入力部１１０自体で発生する音を極力小さくなるように調整しておく。
【００２５】
映像情報生成部１２０は、入力部１１０で生成された入力情報Ｉｔを入力として、当該入力情報Ｉｔに対応する映像情報Ｖｔ（行為映像）を生成する（ステップＳ１２０）。映像情報Ｖｔは、通常の映像生成技術によって生成される。映像情報Ｖｔは、例えば、ボタンを指で押下するような映像である（図２）。映像情報Ｖｔは、行為者が操作を知覚できる映像であれば、その装置の仕様に合わせたどのような映像であっても良い。
【００２６】
音響情報生成部１３０は、入力部１１０で生成された入力情報Ｉｔを入力として、当該入力情報Ｉｔに対応する音響情報Ａｔ（フィードバック音）を生成し（ステップＳ１３０）、外部に出力する。音響情報Ａｔは、スピーカ等の変換装置を介して音響信号に変換される。音響情報Ａｔは、映像情報Ｖｔに対応するフィードバック音であり、例えば映像情報Ｖｔのボタンが押下されたことを表す映像の効果音である。
【００２７】
遅延処理部１４０は、映像情報Ｖｔと映像情報の遅延時間ΔＴＶとを入力として、入力情報Ｉｔが生成された時刻ｔを起点として映像情報Ｖｔが所定の時間範囲内に出力されるように、映像情報ＶＴを調整した遅延調整後映像情報を外部に出力する（ステップＳ１４０）。遅延調整後映像情報は、例えば液晶パネル等で映像として出力（表示）される。
【００２８】
ここで、所定の時間範囲を、〔発明の原理〕に記載した例えば０．４１（秒）の近傍の範囲（例えば、０.４１±０.１９（秒）の範囲）とすることで、行為者は、遅延調整後映像情報によりフィードバック音に対する操作性を向上させる効果が得られる。すなわち、実施例１は、図１から得られる知見に基づいて、操作性を向上させる構成である。
【００２９】
以上説明した入力情報生成過程（ステプＳ１１０）〜遅延処理過程（ステップＳ１４０）は、行為者の操作の度にその操作に対応して繰り返される。この繰り返しの動作は、制御部１５０が制御する（ステップＳ１５０）。
【００３０】
なお、元の映像の遅延時間ΔＴＶが、所定の時間範囲の上限値より大きい場合は、遅延時間を短くすることはできないので、遅延処理部１４０における映像情報の遅延時間の調整は行わず、そのまま映像情報Ｖｔを遅延調整後映像情報として出力する。
【００３１】
以上のように動作する操作違和感軽減装置１００よれば、事前の訓練を必要とすることなく、自身の行為に対応する音響情報（フィードバック音）と視覚情報（行為映像）との遅延に基づく違和感を、行為者に与えないようにすることができる。又は、軽減させることができる。
【００３２】
なお、映像情報の遅延時間ΔＴＶは、予め測定しておいて遅延処理部１４０に固定値として記憶させておいても良いし、上記したように外部から与えるようにしても良い。例えば、ネットワークを介して映像情報と音響情報が行為者に提供されるようなアプリケーションで、ネットワーク環境が安定していれば映像情報と音響情報が提供される遅延時間は所定の誤差範囲内であることが多い。その遅延時間を、例えば参考文献１（安田浩編著「マルチメディア符号化の国際標準」丸善 pp. 221-232,1991）に記載されているようなタイムスタンプ方式や、参考文献２（特許第４２５１９７９号）に記載された方法で測定することができる。このように測定した遅延時間を、映像情報の遅延時間ΔＴＶとする。
【００３３】
〔遅延処理部〕
図４に、遅延処理部１４０の機能構成例を示す。その動作フローを図６に示す。遅延処理部１４０は、遅延時間判定手段１４００と、映像情報バッファ手段１４１０と、出力手段１４３０と、を具備する。
【００３４】
遅延時間判定手段１４００は、入力情報Ｉｔが生成された時刻ｔを起点とする映像情報の遅延時間ΔＴＶを入力として、制御信号を、映像情報バッファ手段１４１０と出力手段１４３０に出力する。
【００３５】
映像情報バッファ手段１４１０は、遅延時間判定手段１４００から出力された制御信号を受け取ると、映像情報生成部１２０が生成した映像情報Ｖｔを入力として、映像情報Ｖｔを保管（bufferring）する。
【００３６】
出力手段１４３０は、遅延時間判定手段１４００から出力された制御信号と、映像情報生成部１２０が生成した映像情報Ｖｔと、映像情報バッファ手段１４１０で保管された保管映像情報Ｖｔ′と、を入力として、遅延調整後映像情報を外部に出力する。
【００３７】
映像情報Ｖｔが入力されると遅延時間判定手段１４００は、映像情報の遅延時間ΔＴＶが所定の第一の時間範囲の上限値より小さいか否かを判定する（ステップＳ１４００）。例えば、所定の第一の時間範囲（以下、「第一の」は省略する）を０.４１±０.１９（秒）とした場合、遅延時間判定手段１４００は、映像情報の遅延時間ΔＴＶが０.６（秒）より小さいか否かを判定する。所定の時間範囲の上限値より小さい場合（ステップＳ１４００のＹｅｓ）、遅延時間判定手段１４００は、映像情報のバッファリングを開始することを示す制御信号を映像情報バッファ手段１４１０に出力すると共に、入力情報Ｉｔが入力された時刻ｔを起点として所定時間経過後に、出力手段１４３０に対して映像情報バッファ手段１４１０に保管されている保管映像情報Ｖｔ′を遅延調整後映像信号として出力させる出力制御信号を出力する。ここでの所定時間とは、映像の出力される時刻が入力情報Ｉｔが入力された時刻ｔを起点とする０.４１（秒）の近傍の時刻となるような時間である。例えば、映像の出力される時刻が入力情報Ｉｔが入力された時刻ｔを起点とする０.４１（秒）後に提示したい場合は、（０.４１−ΔＴＶ）（秒）経過後に、映像情報バッファ手段１４１０に保管されている保管映像情報Ｖｔ′を遅延調整後映像信号として出力させる出力制御信号を出力する。
【００３８】
映像情報バッファ手段１４１０は、映像情報のバッファリングを開始することを示す制御信号が入力されると、映像情報生成部１２０が生成した映像情報Ｖｔを入力として、映像情報Ｖｔを保管（bufferring）する（ステップＳ１４１０）。
【００３９】
出力手段１４３０は、出力制御信号が入力されると、出力制御信号に従って所定時刻経過後に映像情報Ｖｔ′を遅延調整後映像情報として外部に出力する（ステップＳ１４２０）。これにより、映像情報の遅延時間ΔＴＶが所定の時間範囲の上限値以下の場合は、映像情報の遅延時間が調整され、映像情報Ｖｔが、行為の時刻ｔを起点とする０.４１（秒）の近傍の範囲で出力されることになる。
【００４０】
遅延時間判定手段１４００は、所定の時間範囲の上限値より小さい場合（ステップＳ１４００のＮｏ）、出力手段１４３０に対して映像情報生成部１２０から入力される映像情報Ｖｔを直ちに遅延調整後映像信号として出力させる出力制御信号を、出力手段１４３０に出力する。
【００４１】
出力手段１４３０は、その出力制御信号が入力されると、映像情報Ｖｔを遅延調整後映像情報として外部に出力する（ステップＳ１４３０）。つまり、映像情報の遅延時間ΔＴＶが所定の時間範囲の上限値以上の場合、行為の時刻ｔを起点とする映像の遅延時間を０.４１（秒）の近傍の範囲にするために遅延時間を短くすることはできないので、遅延の調整は行わず、そのまま出力されることになる。
【実施例２】
【００４２】
図２に、この発明の操作違和感軽減装置１００′の機能構成例を示す。操作違和感軽減装置１００′は、遅延処理部１４０′の処理が上記した操作違和感軽減装置１００と異なる。
【００４３】
以下、実施例１と異なる部分についての具体的な処理を説明する。遅延処理部１４０′は、映像情報Ｖｔと入力情報Ｉｔが入力された時刻ｔを起点とする映像情報の遅延時間ΔＴＶと入力情報Ｉｔが入力された時刻ｔを起点とする音響情報の遅延時間ΔＴＡとを入力として、ΔＴＡが所定の閾値θ以上の場合に、映像情報Ｖｔが所定の時間範囲内に出力されるように調整された遅延調整後映像情報を外部に出力する。それ以外の場合には、映像情報Ｖｔの遅延時間を調整せずに、そのまま外部に出力する。なお、音響情報Ａｔについては、実施例１と同様に遅延させる処理は行わずにそのままスピーカ等に出力され、音響信号に変換される。遅延調整後映像情報は、例えば液晶パネル等により映像として出力（表示）される。
【００４４】
ここで、所定の閾値θは、例えば０.４（秒）とすれば良い。これは、図１において、音の遅延が０.４（秒）以上の場合に、映像情報の遅延時間を所定の時間範囲内とすることで、音の操作感に対する評定値を向上させる効果があることに基づく。なお、図１の結果において、０.４（秒）丁度でなくとも、ある程度の数値誤差が許容されることは言うまでもない。閾値θを０.４（秒）の近傍の０.４±ε（秒）とすれば効果が得られるといえる。
【００４５】
なお、音響遅延時間ΔＴＡは、実施例１と同様の方法によって測定した音響信号の遅延時間を、行為者の行為情報Ｉｔが生成された時刻ｔを起点とする音響情報の遅延時間ΔＴＡとして、遅延処理部１４０に予め固定値として与えておけば良い。又は、外部から遅延処理部１４０に入力するようにしても良い。
【００４６】
〔遅延処理部〕
図４に、遅延処理部１４０′の機能構成例を示す。その動作フローを図６に示す。遅延処理部１４０′は、実施例１の遅延処理部１４０と処理が異なる。
以下、実施例１と異なる点についてのみ説明する。遅延時間判定手段１４００′は、入力情報Ｉｔが生成された時刻ｔを起点とする映像情報の遅延時間ΔＴＶと、入力情報Ｉｔが生成された時刻ｔを起点とする音響情報の遅延時間ΔＴＡと、を入力として、制御信号を、映像情報バッファ手段１４１０と出力手段１４３０に出力する。
【００４７】
遅延時間判定手段１４００は、音響情報の遅延時間ΔＴＡが所定の閾値θ以下であるか否かを判定する（ステップＳ１４００′）。所定の閾値θ以下であれば（ステップＳ１４００′のＹｅｓ）、映像情報の遅延時間ΔＴＶが所定の時間範囲の上限値より小さいか否かを判定する（ステップＳ１４００）。以降の処理は実施例１と同じである。
【００４８】
所定の閾値θ以上の場合は（ステップＳ１４００′のＮｏ）、出力手段１４３０に対して映像情報生成部１２０から入力される映像情報Ｖｔを直ちに遅延調整後映像情報として出力させる出力制御信号を、出力手段１４３０に出力する。出力手段１４３０は、その出力制御信号が入力されると、映像情報Ｖｔを遅延調整後映像情報として外部に出力する（ステップＳ１４３０）。
【実施例３】
【００４９】
〔発明の原理〕で説明した考えを実現する構成は他にも考えられる。図７に操作違和感軽減装置２００の機能構成例を示してその動作を説明する。図８にその動作フローを示す。
【００５０】
操作違和感軽減装置２００は、上記した操作違和感軽減装置１００，１００′に対して遅延計測部２６０を備える点で異なる。遅延計測部２６０の構成が増えたことで、遅延処理部２４０，２４０′の処理が変更されている。その他の機能構成部は、操作違和感軽減装置１００，１００′と同じである。
【００５１】
遅延計測部２６０は、入力部１１０が出力する入力情報Ｉｔが入力された時刻ｔと、映像情報生成部１２０が出力する映像情報Ｖｔとを入力として、入力情報Ｉｔが入力された時刻ｔを起点とした時の映像情報Ｖｔの遅延時間である映像遅延時間ΔＴＶ，ｔを計測する。（ステップＳ２６０）。遅延計測部２６０は、従来技術で容易に実現できる。
【００５２】
遅延計測部２６０′は、遅延計測部２６０の処理に加えて、音響情報生成部１３０が出力する音響情報Ａｔを入力として、入力情報Ｉｔが入力された時刻ｔを起点とした時の音響情報Ａｔの遅延時間である音響遅延時間ＴＡ，ｔを計測する。
【００５３】
遅延処理部２４０は、映像情報Ｖｔと映像遅延時間ΔＴＶ，ｔとを入力として、映像情報Ｖｔが所定の時間範囲内に出力されるように、映像遅延時間ΔＴＶ，ｔの遅延時間を遅らせて出力する（ステップＳ２４０）。図９に、遅延処理部２４０の機能構成例を示す。その動作フローを図１０に示す。遅延処理部２４０の動作フローはΔＴＶがΔＴＶ，ｔに置き換わる点を除いて、実施例１と同じであるため説明を省略する。
【００５４】
遅延処理部２４０′は、映像情報Ｖｔと映像遅延時間ΔＴＶ，ｔに加えて音響遅延時間ΔＴＡ，ｔが入力され、音響遅延時間ΔＴＡ，ｔが所定の閾値θ以下の場合に映像情報Ｖｔが所定の時間範囲内に出力されるように、映像遅延情報Ｖｔの遅延時間を調整した遅延調整後映像情報を出力する。図９に、遅延処理部２４０′の機能構成例を示す。その動作フローを図１１に示す。遅延処理部２４０′の動作フローは、ΔＴＶがΔＴＶ，ｔに、ΔＴＡがΔＴＡ，ｔに、置き換わる点を除いて、実施例２と同じであるため説明を省略する。
【００５５】
以上説明したように、本発明の操作違和感軽減装置は、行為者の行為に基づくフィードバック音が行為のタイミングから遅延する場合に、映像情報を遅延させることで、遅延したフィードバック音に対する違和感を行為者に感じさせないようにすることができる。
【００５６】
上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００５７】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００５８】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2014211808.tif 000004
【図２】
2014211808.tif 000005
【図３】
2014211808.tif 000006
【図４】
2014211808.tif 000007
【図５】
2014211808.tif 000008
【図６】
2014211808.tif 000009
【図７】
2014211808.tif 000010
【図８】
2014211808.tif 000011
【図９】
2014211808.tif 000012
【図１０】
2014211808.tif 000013
【図１１】
2014211808.tif 000014
【図１２】
2014211808.tif 000015