(57)【要約】【課題】  参加者を訓練により「順応」させて音声と映像のずれによる違和感を軽減させる。【解決手段】  遠隔通信時での前記回線を通じて伝送される音声に対する映像の実際の遅延量に比べて、遠隔通信時以外の「順応」訓練時では音声に対する映像の遅延量を更に増大させて音声及び映像を前記出力装置より出力する。遠隔通信時以外の「順応」訓練時は、通信端末相互の遠隔通信の開始前とする。遠隔通信時以外の「順応」訓練時は、通信端末相互の遠隔通信中の通信空き時間である。【選択図】  図１
2005354303.tif 000002
【特許請求の範囲】
【請求項１】
複数通信端末の入力装置及び出力装置間で回線を通じて音声と映像とを相互に伝送する遠隔通信方法において、
遠隔通信時での前記回線を通じて伝送される音声に対する映像の実際の遅延量に比べて、遠隔通信時以外の「順応」訓練時では音声に対する映像の遅延量を更に増大させて音声及び映像を前記出力装置より出力することを特徴とする遠隔通信方法。
【請求項２】
遠隔通信時以外の「順応」訓練時は、通信端末相互の遠隔通信の開始前とすることを特徴とする請求項１に記載の遠隔通信方法。
【請求項３】
遠隔通信時以外の「順応」訓練時は、通信端末相互の遠隔通信中の通信空き時間であることを特徴とする請求項１に記載の遠隔通信方法。
【請求項４】
音声に対する映像の遅延量については、複数種類の異なる遅延量を有することを特徴とする請求項１乃至３のいずれかに記載の遠隔通信方法。
【請求項５】
遠隔通信時以外の「順応」訓練時での音声と映像は、複数の通信端末間で相互に伝送する音声と映像と同じ音声と映像又は類似する音声と映像であることを特徴とする請求項１乃至４のいずれかに記載の遠隔通信方法。
【請求項６】
遠隔通信時以外の「順応」訓練時での映像は、複数の通信端末間にて伝送される映像を表示する主画面に対して一部の画面である副画面に出力することを特徴とする請求項１乃至５のいずれかに記載の遠隔通信方法。
【請求項７】
複数通信端末の入力装置及び出力装置間で回線を通じて音声と映像とを相互に伝送する遠隔通信装置において、
前記通信端末の音声と映像の出力装置に、前記回線を通じて伝送される音声に対する映像の遅延量に比べて、音声に対する映像の遅延量を更に増大させた音声及び映像を出力する音声及び遅延映像供給装置を接続したことを特徴とする遠隔通信装置。
【請求項８】
音声及び遅延映像供給装置は、音声に対する映像の遅延量について、複数種類の異なる遅延量を有することを特徴とする請求項７に記載の遠隔通信装置。
【請求項９】
音声及び遅延映像供給装置は、複数の通信端末間で相互に伝送する音声と映像と同じ音声と映像又は類似する音声と映像を出力することを特徴とする請求項７叉は８に記載の遠隔通信装置。
【請求項１０】
映像の出力装置は、複数の通信端末間にて伝送される映像を表示する主画面と、音声及び遅延映像供給装置からの映像を表示する副画面とを有することを特徴とする請求項７乃至９のいずれかに記載の遠隔通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、いわゆるテレビ会議など音声と映像の遠隔通信を行うに当たり、音声と映像との時間的ずれに通信参加者（参加者）を感覚的に順応させるようにした遠隔通信方法及び装置に関する。
【背景技術】
【０００２】
例えば、テレビ会議など遠隔通信装置に着目した場合、一方の会議室での参加者の音声や映像がネットワークなどの回線を通じて他方の会議室に伝送されて出力され、また逆に他方の会議室での参加者の音声や映像が一方の会議室にて出力される。このとき、送信側では、音声も映像も同時に入力装置（マイクロフォンやビデオカメラなど）に入力されるのであるが、受信側では、映像信号と音声信号との伝送時間あるいは処理時間の差により、出力装置（スクリーン（表示装置）やスピーカなど）に出力される音声と映像とが時間的にずれてしまう、という現象が生ずる。具体的には、音声に対して映像が遅延し、参加者の音声がスピーカから出力された後スクリーン上で参加者の口（唇）が動くことになって、受信側の参加者には感覚的に大きな違和感が生ずる。
【０００３】
この違和感をなくすため、特許文献１においては、映像信号の遅延量に合わせて音声信号の遅延量を変化させて、映像と音声の出力タイミングを合わせるという技術が開示されている。すなわち、実際の入力時点より映像に合わせて音声を遅延することになり、つまり音声と映像とを同期させるために音声の実時間性を犠牲にしている。
【特許文献１】特開平７−１８４１８２号公報
【非特許文献１】「視聴覚事象間の同時性を判断するメカニズムについて―順応現象を用いた検討―」、藤崎和香、等、認知科学会Ｐ＆Ｐ研究分科会資料、２００３年７月お茶の水女子大学において発表
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、この特許文献１にも示すように音声を遅延させて音声と映像とを同時刻に出力し音声の実時間性を犠牲にした場合、この遅延が２００ｍｓ以上の遅延になると「話す」そして「聞く」という会話が円滑に進行せず、間合いを見て話始めると相手も話し出すという事態が頻繁に起こり、いわゆる会話の衝突が生じて円滑な会議が阻害される。そして、この会話の遅延による会話の衝突は、高品質の映像を扱う会議装置を備えるほど、深刻な問題となっている。
本発明者らは、特許文献１に示す音声と映像とを同時刻に出力するという同期性は犠牲にし、音声の実時間性を優先して映像の遅延による音声とのずれの存在を是認した上で、非特許文献１に示す知見に基づき、このずれによる違和感を軽減させることを試みた。
【０００５】
すなわち、非特許文献１には、人が感じる映像と音声のずれは主観的に変化し、主観は順応によってその順応する方向に適応して変化し、ずれを小さくする方向にシフトするという検証が記載されている。つまり、映像が音声に対して遅れるというずれを「順応」させることにより、映像と音声が同時点のものであるとかあるいは関連がある、というように適応させて違和感を軽減させることが可能である、というものである。
この発明は、音声の実時間性を優先して映像の遅延を是認した上で、非特許文献１に示す知見に基づき参加者を訓練により「順応」させて音声と映像のずれによる違和感を軽減させる遠隔通信方法及び装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
この目的を達成するため、この発明は、複数通信端末の入力装置及び出力装置間で回線を通じて音声と映像とを相互に伝送する遠隔通信方法において、遠隔通信時での前記回線を通じて伝送される音声に対する映像の実際の遅延量に比べて、遠隔通信時以外の「順応」訓練時では音声に対する映像の遅延量を更に増大させて音声及び映像を前記出力装置より出力することを特徴とする。
【発明の効果】
【０００７】
「順応」訓練時では音声に対する映像の遅延量を更に増大させることによって、音声と映像とが出力される出力装置に臨む参加者が「順応」されて、音声と映像のずれを少なくするように適応することになるので、音声と映像のずれによる違和感を軽減することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照してこの発明における遠隔通信方法及び装置の実施形態を説明する。
図１は、この発明の実施形態であって、遠隔通信装置の簡略ブロック図である。図１における遠隔通信装置は、テレビ会議を例示しており、インターネットやＣＡＴＶネットワーク等の回線１を中心に会議室Ａ及びＢが接続され、この会議室Ａ及びＢには音声及び映像の符号化及び復号化部２、音声及び映像の結合及び分離部３、スピーカ４Ｐ、スクリーン（表示装置）４Ｓからなる出力装置４Ｏ、マイクロフォン４Ｍ及びビデオカメラ４Ｃからなる入力装置４Ｉがそれぞれに備えられている。また、結合及び分離部３と出力装置４Ｏとの間には、音声及び遅延映像供給装置５が接続されている。
【０００９】
このような遠隔通信装置にあって、会議室Ａ、Ｂにそれぞれ参加者が集まり、遠隔通信（会議）をするに当たっては、普通予め会議開始の日時を決め、その日時にて会議室Ａ、Ｂを回線１にて繋ぎ会議を開くことになる。会議は、一方の会議室Ａ又はＢの参加者の音声や映像を入力装置４Ｉから入力し回線１を通じて伝送し他方の会議室Ｂ又はＡの出力装置４Ｏに出力するものであり、この遠隔通信は会議室Ａ及びＢ相互にて双方向に行われる。そして、この遠隔通信装置では、一般に音声及び映像が一方の会議室の入力装置４Ｉから同時に入力されても、他方の会議室の出力装置４Ｏからは音声に遅れて映像が出力されることは、これまでの説明の通りである。
【００１０】
さて、それぞれの会議室Ａ及びＢに備えられ出力装置４Ｏに接続された音声及び遅延映像供給装置５は、遠隔通信時以外の「順応」訓練時（以下単に訓練時という）に使用される装置であって、実際の遠隔通信時での映像遅れ量よりも更に映像遅れ量を増大させた音声信号及び映像信号を出力する装置である。すなわち、会議室Ａ及びＢが回線１により接続されて遠隔通信が開始された状態で、実際に出力装置４Ｏに生ずる音声に対する映像の遅れ量を基準とした場合、訓練時にはこの遅れ量よりも更に増大した映像の遅れ量にて音声信号及び映像信号を出力するものである。しかも、この音声及び遅延映像供給装置５は、後述の如く、訓練時である遠隔通信の開始前、あるいは遠隔通信の途中の空き時間において使用される。
【００１１】
図２乃至４は、音声及び遅延映像供給装置５から映像の遅れ量を増大させた音声信号及び映像信号を出力装置４Ｏに出力した場合、参加者が受ける「順応」訓練について示している。図２は、遠隔通信時にて出力装置４Ｏからは音声に遅れて映像が出力される状態を示しており、横矢印が時間の経過を示し、上段の縦矢印が同時に入力された音声及び映像の出力装置４Ｏでの音声出力時点、下段の縦矢印が同じく映像出力時点（音声出力時点より遅れる）を示す。この状態で参加者がこのずれた音声及び映像を視聴したとき、参加者としては時間の経過を示す横矢印に対する垂直線上にて音声と映像が存在するとき、音声と映像が同時点にあると判断することになるので、参加者はこの音声と映像のずれをそのまま感じることになり、映像が音声より遅れて違和感を生ずる。
【００１２】
図３は、図２と同様な図であるが、音声及び遅延映像供給装置５にて図２に示すずれよりも更に増大した映像の遅れ量にて音声信号及び映像信号を出力装置４Ｏに出力する「順応」訓練の状態を示している。すなわち、出力装置４Ｏでの音声及び映像は、図２に示す遠隔通信時に音声に遅れて映像が出力される状態に比較して、音声に対して映像を大幅に遅らせており、例えば４００ｍｓ程度の遅れをもって出力される。この時、参加者は図２の場合よりも更に違和感を生ずることとなる。
次いで、この図３の音声及び遅延映像供給装置５による訓練後（例えば、２〜３分間での訓練後）、参加者が元の図２に示す音声に対して遅れた映像を視聴した状態では、訓練によって図４に示すように時間の経過を示す横矢印に対して斜め線（音声と映像とがずれた状態）でも同時点と感じられるようになっており、参加者が同時点と感じられる映像と音声の対応点が変化している。従って、出力装置４Ｏから音声に対して遅れた映像が出力されても、参加者にとっては遅れが感じられないとか遅れの感じが軽減されることになり、違和感が生じにくい。なお、この映像と音声とがずれても同時点と感じられる場合、仮に映像と音声が物理的に同時に出力された場合も同時と感じることが判明しており、この点図２の垂直線の対応点でも図４の斜め線の対応点でも同時と感じられることは、音声及び遅延映像供給装置５から映像の遅れ量を増大させた音声信号及び映像信号を出力装置４Ｏに出力させて図３のように参加者を「順応」させた場合、参加者が同時と感じるずれ幅が拡大していることに外ならない。
【００１３】
以上の結果、音声及び遅延映像供給装置５にて訓練により更に増大した映像の遅れ量にて出力装置４Ｏより音声及び映像を出力することは、回線１を通じて出力される遠隔通信時での元の音声に対する映像の遅れであるずれからくる違和感を軽減することになる。
図５、図６は、図１に示す音声及び遅延映像供給装置５を簡略して具体化した二つの例を示すブロック図である。これら図５、図６に示すブロックにおいては、結合及び分離部３（図５、図６は分離部３として示す）とスピーカ４Ｐ及びスクリーン４Ｓからなる出力装置４Ｏとの間に音声及び遅延映像供給装置５が接続されることになる。一簡略具体例である図５において、音声ライン１０及び映像ライン２０には、それぞれ音声用のメモリ１１及び映像用のメモリ２１が分岐されて接続され、映像用のメモリ２１の後段には遅延回路２２が備えられている。メモリ１１の出力端及び遅延回路２２の出力端は、それぞれ音声ライン１０及び映像ライン２０に備えられた切り換えスイッチ１３及び２３に接続される。切り換えスイッチ１３は、出力装置４Ｏのスピーカ４Ｐを分離部３あるいはメモリ１１に切り換えて接続するものであり、切り換えスイッチ２３は、スクリーン４Ｓを分離部３あるいは遅延回路２２に切り換えて接続するものである。そして、これら切り換えスイッチ１３及び２３は、同時に切り換えられるようになっている。
【００１４】
この構成において、遠隔通信時にて切り換えスイッチ１３及び２３が分離部３に接続された状態では、相手側参加者からの音声及び映像は、出力装置４Ｏに出力されると共に、メモリ１１及び２１に逐次入力されて一旦記憶される。一方、訓練時に切り換えスイッチ１３及び２３が、メモリ１１及び遅延回路２２に接続された状態では、メモリ１１及び２１内の音声及び映像が出力装置４Ｏに出力されるが、映像については遅延回路２２によって遅延量を増大して出力される。この場合、映像の遅れ量は、遅延回路２２の設定値にて遅延量を加減することにより調整することができる。この結果、切り換えスイッチ１３及び２３によるメモリ側への切り替えにて、相手側参加者による直前の話が映像と共に出力装置４Ｏにて再度出力されることになり、しかも音声に対して映像の遅れ量を増大させた出力が出力装置４Ｏにて得られる。なお、メモリ１１及び２１については、アナログメモリの外、Ａ／ＤあるいはＤ／Ａ変換器を備えたディジタルメモリでもよく、この場合には遅延回路２２は読み出しタイミングの制御にて代替することができる。
【００１５】
図６は、音声及び遅延映像供給装置５の他の簡略具体例としてコンピュータシステムを用いた例を示す。この図６では、分離部３と出力装置４Ｏとの間の音声ドライブ１５及び映像ドライブ２５をコンピュータシステムにて制御する構造を有する。すなわち、このコンピュータシステムは、ＣＰＵ３０、入力インターフェース３１、メモリ３２、出力インターフェース３３を有し、ＣＰＵ３０では、訓練時に音声及び映像のドライブソフトウエアが実行される。メモリ３２には、このドライブソフトウエアの外、映像及びそれに対応する音声、また音声に対する映像の複数の遅れ量、等が記憶されている。入力インターフェース３１は、操作部（図示省略）に接続される外、音声センサ（あるいはマイクスイッチ）３４に接続され、例えば会議室Ａ、Ｂ双方あるいは多地点での遠隔通信では全てのマイクロフォンがオフとなる音声「無」の入力、あるいは例えば会議予約による会議前の訓練時でのドライブソフトウエア起動入力、更には会議中での訓練時における空き時間でのドライブソフトウエア起動入力等が入力されることになる。また、出力インターフェース３３からは、音声ドライブ１５あるいは映像ドライブ２５のための音声信号及び映像信号が出力される。
【００１６】
ここで、音声及び遅延映像供給装置５によって出力装置４Ｏに供給されるメモリ３２内の映像及び音声としては、簡単な視覚パターンを映像としこの映像に対応した人工音の繰り返し、実際の会議の映像とその音声などの自然映像、あるいは会議に類似する映像とその音声、更にはリズム感のある音楽演奏の演奏映像とその音楽等が挙げられる。なお、図５に示す例では、実際の会議の映像とその音声であってメモリ１１及び２１に記憶された直前のものが、出力装置４Ｏに出力されることになる。
更に、本実施形態での音声及び遅延映像供給装置５による「順応」訓練は、本来の遠隔通信（会議）を妨げないようにするためにも、参加者が集まり遠隔通信（あるいは会議）が開始される直前、更には遠隔通信の途中にあって会話が途絶えた空き時間などに行うのが効果的である。具体的には、参加者が集まり会議が開始される直前に操作部からの操作入力にてドライブソフトウエアを起動し、あるいは会議中にて会議の会話の様子を見て操作部からの操作入力にてドライブソフトウエアを起動することになる。そして、操作部の操作入力にてドライブソフトの停止が行われる。また、音声センサ３４での一定時間の音声「無」検知あるいは音声「有」検知にてこのドライブソフトを起動あるいは停止させても良い。なおこの場合、音声がなく例えばプロジェクタによるスクリーン４Ｓのみへの表示もあるので、音声センサ３４によるドライブソフトの自動起動は会議の種類等により取捨選択され得る。なお、図５に示す構成では、切り換えスイッチ１３及び２３の切り換えが操作部の操作入力に当たり、音声センサ３４の音声「有無」検知に当たることになる。
【００１７】
また、本実施形態での音声及び遅延映像供給装置５による訓練映像は、遠隔通信による通信内容（会議内容）そのものではないので、図７に示すようにスクリーン４Ｓを主画面と副画面とに分割し、会議の映像そのものは主画面にて表示し、遅延映像は副画面にて表示するようにしても良い。なお、図１では、会議室Ａ、Ｂでの遠隔通信を前提として説明してきたが、多地点での遠隔通信の場合に、複数画面にて相手を表示している場合、その一つの画面を用いて遅延映像の出力に利用しても良い。また、遠隔通信の途中に訓練を行う場合には、主画面の背景映像及び背景音を訓練に利用することも考えられる。
【００１８】
図８は、訓練におけるドライブソフトウエアの起動タイミングと主画面及び副画面の使い方の一例を示しており、図８の上段図は、主画面による本来の会議のみならず、訓練時主画面のみによる会議前のドライブソフトウエアの起動を示しており、また図８の下段図は、主画面は会議そのものを表示し副画面では会議前及び会議中の空き時間での訓練であるドライブソフトウエアの起動を示している。この場合、空き時間でのドライブソフトウエアの起動では、会議に戻れば操作部の操作にてドライブソフトウエアを停止することになる。
【００１９】
図９は、実際の会議における映像の遅延量を調整する場合を例示する。実際の遠隔通信にあっては、映像の遅延量、映像の品質、情報量がトレードオフの関係にあるので、これらを考慮して映像の遅延については作為的にメモリに蓄えて映像の表示タイミングを遅らせることが可能であり、また映像の遅れ量が異なる複数種類の映像符号化伝送方式を使うこともできる。この場合、映像符号化方法としては処理遅延量が異なるいくつかの方法が知られているが、一般に遅延量を大きくして最適化することにより、圧縮効率を高くすることができ、逆に遅延量を小さくすると同じ情報量でも画質が低下し、またここで画質を同じように保持しようとすると多くの情報量を割り当てる必要がある。また、一般に伝送パケットの大きさも小さくするほうが遅延を小さくできるが、パケットの伝送情報内容に対して伝送ヘッダなどのオーバーヘッドの割合が増加するため、情報伝送効率が低下する。ここで、具体的な映像符号化法としては、ＩＳＯ／ＩＥＣ、ＪＰＥＧがあり、ＭＰＥＧ２、ＭＰＥＧ４にあって低レートにする場合は遅延が大きくなる。因みに、音声符号化法としては、例えばＰＣＭ、ＩＴＵ−Ｔ、標準、Ｇ．７２２，Ｇ．７２９がある。
【００２０】
このように本来の遠隔通信における映像の遅延、映像の品質、情報量のトレードオフを考慮して、遠隔通信の内容や条件により、映像の遅延、映像の品質、情報量の選択を利用者が行うことも可能である。図９は、この利用者による選択の具体例として、符号化時の音声の遅延量及び三種類の映像の遅延量を例示したものである。このように図１、図５、図６にて説明した音声及び遅延映像供給装置５とは別に、符号化部２の符号化によって遅延量を選択できる場合には、本来の遠隔通信以外の「順応」訓練時に映像の遅延量を意図的に大きくすることができる。この場合は、遠隔通信そのものを利用して「順応」訓練を行うこととなる。そしてこの「順応」訓練の結果、情報量や映像の品質を犠牲にすることなく、参加者により感覚的な遅延量を小さくできて違和感を軽減することができる。例えば音声の遅延が５０ｍｓの場合、映像は遅延が５０ｍｓで伝送効率が低いものを選択しないで、あるいは遅延が８０ｍｓであっても伝送効率が高い方式やコストが低いものを選択することができる。
【００２１】
図１０、図１１は、訓練のフローチャートの一例を示すもので、図１０は、会議開始前の訓練を示し、図１１は、会議途中での空き時間の訓練を示している。図１０において、遠隔通信装置の電源を投入し（ステップ１０１）、予約した会議開始時Ｘ分（例えば３分）前か監視し（ステップ１０２）、Ｘ分前の場合映像遅れ量を設定し（ステップ１０３）、訓練を行う（ステップ１０４）。この訓練中会議が始まるか設定時間が過ぎた場合を判断すると（ステップ１０５）、訓練を終了する（ステップ１０６）。図１１において、会議中か監視をし（ステップ１１１）、空き時間になったか否かあるいは訓練の手動操作が行われたか監視し（ステップ１１２）、空き時間や手動操作の場合訓練を開始し（ステップ１１３）、空き時間の終了あるいは終了手動操作（ステップ１１４）にて、訓練が終了する（ステップ１１５）。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態を示す簡略ブロック図である。
【図２】音声と映像のずれによる違和感の発生状態を示す説明図である。
【図３】訓練時の音声と映像のずれの説明図である。
【図４】音声と映像のずれについて違和感の軽減状態を示す説明図である。
【図５】音声及び遅延映像供給装置の１例の簡略ブロック図である。
【図６】音声及び遅延映像供給装置の他の例の簡略ブロック図である。
【図７】主画面と副画面との表示例を示す図である。
【図８】訓練のタイミング図である。
【図９】符号化部での遅延量を例示する説明図である。
【図１０】会議開始前の訓練フローチャートである。
【図１１】会議途中での訓練フローチャートである。
【図１】
2005354303.tif 000003
【図２】
2005354303.tif 000004
【図３】
2005354303.tif 000005
【図４】
2005354303.tif 000006
【図５】
2005354303.tif 000007
【図６】
2005354303.tif 000008
【図７】
2005354303.tif 000009
【図８】
2005354303.tif 000010
【図９】
2005354303.tif 000011
【図１０】
2005354303.tif 000012
【図１１】
2005354303.tif 000013