(57)【要約】【課題】サブ入力映像が遮断された場合に遮断の原因を容易に特定することができる電子会議システムを提供する。【解決手段】映像通信装置１００であって、メイン映像入力部１０１と、サブ映像入力部１０２と、メイン映像及びサブ映像を含む送信データを生成する送信データ生成部１０５と、送信データを送信し、かつ、受信データを受信する通信部１０６と、受信データから表示データを生成する表示データ生成部１０７と、表示データをディスプレイ２１に出力する映像出力部１０８と、サブ映像信号が取得されるかを検出する信号検出部１０３と、サブ映像信号が取得されていない場合、送信データ生成部１０５と表示データ生成部１０７とに遮断情報を通知する通知部１０４とを備え、遮断情報が通知された場合、送信データ生成部１０５は、遮断情報を含む送信データを生成し、表示データ生成部１０７は、遮断情報を含む表示データを生成する。【選択図】図５
2010147939.tif 000002
【特許請求の範囲】
【請求項１】
他の映像通信装置との間で通信する映像通信装置であって、
第１映像を示す第１映像信号を取得する第１入力手段と、
第２映像を示す第２映像信号を取得する第２入力手段と、
前記第１映像と前記第２映像とのうち少なくとも前記第２映像を含む第１送信データを生成する送信データ生成手段と、
前記送信データ生成手段によって生成された第１送信データを前記他の映像通信装置に送信し、かつ、第３映像を含む受信データを前記他の映像通信装置から受信する通信手段と、
前記通信手段によって受信された受信データを用いて、前記第３映像を含む表示データを生成する表示データ生成手段と、
前記表示データ生成手段によって生成された表示データを第１表示装置に出力する出力手段と、
前記第２入力手段によって前記第２映像信号が取得されるか否かを検出する信号検出手段と、
前記信号検出手段によって、前記第２映像信号が取得されていないことが検出された場合、前記第２映像信号が遮断されたことを示す遮断情報を生成し、生成した遮断情報を前記送信データ生成手段と前記表示データ生成手段とに通知する通知手段とを備え、
前記送信データ生成手段は、前記遮断情報が通知された場合、当該遮断情報を含む第２送信データを生成し、
前記通信手段は、前記送信データ生成手段によって生成された第２送信データを前記他の映像通信装置に送信し、
前記表示データ生成手段は、前記遮断情報が通知された場合、当該遮断情報と前記第３映像とを含む前記表示データを生成する
映像通信装置。
【請求項２】
前記送信データ生成手段は、前記他の映像通信装置によって第２表示装置に前記第２映像が表示されるように前記第１送信データを生成し、
前記通知手段は、さらに、表示を切り替えさせることを示す表示切替要求を前記送信データ生成手段に通知し、
前記送信データ生成手段は、前記表示切替要求が通知された場合、前記第２表示装置に前記第１映像が表示されるように前記第２送信データを生成する
請求項１記載の映像通信装置。
【請求項３】
前記送信データ生成手段は、前記第２表示装置の所定の第１領域に前記第２映像が表示され、前記第１領域以下の大きさである第２領域に前記第１映像が表示されるように前記第１送信データを生成し、前記表示切替要求が通知された場合、前記第１領域に前記第１映像が表示されるように前記第２送信データを生成する
請求項２記載の映像通信装置。
【請求項４】
前記通知手段は、前記信号検出手段によって予め定められた第１期間継続して前記第２映像信号が取得されていないことが検出された場合に前記遮断情報を生成する
請求項２又は３記載の映像通信装置。
【請求項５】
前記通知手段は、前記遮断情報を生成してから予め定められた第２期間経過後に、前記表示切替要求を前記送信データ生成手段に通知する
請求項２〜４のいずれか１項に記載の映像通信装置。
【請求項６】
前記通知手段は、さらに、前記表示切替要求を通知してから予め定められた第３期間経過後に、前記第１映像のみを表示させることを示す解除要求を前記送信データ生成手段に通知し、
前記送信データ生成手段は、前記解除要求が通知された場合、前記第１映像が全画面表示されるように前記第２送信データを生成する
請求項２〜５のいずれか１項に記載の映像通信装置。
【請求項７】
前記送信データ生成手段は、前記信号検出手段によって、前記第２映像信号が取得されていないことが検出された後に、前記第２映像信号が再取得されたことが検出された場合、前記第２映像を含む前記第１送信データを生成する
請求項２〜６のいずれか１項に記載の映像通信装置。
【請求項８】
前記通知手段は、前記第２映像信号を停止することを示す停止命令をユーザから受け取ると同時に、前記表示切替要求を前記送信データ生成手段に出力する
請求項２又は３記載の映像通信装置。
【請求項９】
前記送信データ生成手段は、前記遮断情報を文字情報として前記第２表示装置の所定の第３領域に表示されるように前記第２送信データを生成する
請求項１〜８のいずれか１項に記載の映像通信装置。
【請求項１０】
前記送信データ生成手段は、さらに、前記遮断情報が音声として出音されるように前記第２送信データを生成する
請求項１〜８のいずれか１項に記載の映像通信装置。
【請求項１１】
前記映像通信装置は、さらに、
前記表示データのうち前記遮断情報を表示する情報表示部を備える
請求項１〜８のいずれか１項に記載の映像通信装置。
【請求項１２】
第１映像通信装置と第２映像通信装置とを備える映像通信システムであって、
前記第１映像通信装置は、
第１映像を示す第１映像信号を取得する第１入力手段と、
第２映像を示す第２映像信号を取得する第２入力手段と、
前記第１映像を含む第１送信データと、前記第２映像を含む第２送信データとを生成する第１送信データ生成手段と、
前記第２映像通信装置との間で第１通信と第２通信とを確立し、確立した第１通信を利用して、前記第１送信データを送信し、かつ、第３映像を含む第３受信データを受信し、さらに、確立した第２通信を利用して前記第２送信データを送信する第１通信手段と、
前記第１通信手段によって受信された第３受信データを用いて、前記第３映像を含む第１表示データを生成する第１表示データ生成手段と、
前記第１表示データ生成手段によって生成された第１表示データを第１表示装置に出力する第１出力手段と、
前記第２入力手段によって前記第２映像信号が取得されるか否かを検出し、前記第２映像信号が取得されない場合に、当該第２映像信号が取得されないことを示す無信号通知を前記第１通信手段に通知する信号検出手段と、
前記信号検出手段によって、前記第２映像信号が取得されていないことが検出された場合、前記第２映像信号が遮断されたことを示す遮断情報を生成し、生成した遮断情報を前記第１表示データ生成手段に通知する第１通知手段とを備え、
前記第１通信手段は、前記無信号通知が通知された場合、前記第１通信又は前記第２通信を利用して当該無信号通知を送信し、
前記第１表示データ生成手段は、前記遮断情報が通知された場合、当該遮断情報と前記第３映像とを含む前記第１表示データを生成し、
前記第２映像通信装置は、
前記第３映像を示す第３映像信号を取得する第３入力手段と、
前記第３映像を含む前記第３受信データを生成する第２送信データ生成手段と、
前記第１通信を利用して、前記第１送信データを受信し、かつ、前記第３受信データを送信し、さらに、前記第２通信を利用して前記第２送信データを受信する第２通信手段と、
前記第１映像と前記第２映像との少なくとも一方を含む第２表示データを生成する第２表示データ生成手段と、
前記第２表示データ生成手段によって生成された第２表示データを第２表示装置に出力する第２出力手段と、
前記第２通信手段が前記第１映像通信装置から前記無信号通知を受け取った場合に、前記遮断情報を生成し、生成した遮断情報を前記第２表示データ生成手段に通知する第２通知手段とを備え、
前記第２表示データ生成手段は、前記遮断情報が通知された場合、当該遮断情報を含む表示データを生成する
映像通信システム。
【請求項１３】
第１映像通信装置と第２映像通信装置とを備える映像通信システムであって、
前記第１映像通信装置は、
第１映像を示す第１映像信号を取得する第１入力手段と、
第２映像を示す第２映像信号を取得する第２入力手段と、
前記第１映像を含む第１送信データと、前記第２映像を含む第２送信データとを生成する第１送信データ生成手段と、
前記第２映像通信装置との間で第１通信と第２通信とを確立し、確立した第１通信を利用して、前記第１送信データを送信し、かつ、第３映像を含む第３受信データを受信し、さらに、確立した第２通信を利用して前記第２送信データを送信する第１通信手段と、
前記第１通信手段によって受信された第３受信データを用いて、前記第３映像を含む第１表示データを生成する第１表示データ生成手段と、
前記第１表示データ生成手段によって生成された第１表示データを第１表示装置に出力する第１出力手段と、
前記第２入力手段によって前記第２映像信号が取得されるか否かを検出する信号検出手段と、
前記信号検出手段によって、前記第２映像信号が取得されていないことが検出された場合、前記第２映像信号が遮断されたことを示す遮断情報を生成し、生成した遮断情報を前記第１表示データ生成手段と前記第１通信手段とに通知する第１通知手段とを備え、
前記第１通信手段は、前記遮断情報が通知された場合、前記第１通信又は前記第２通信を利用して当該遮断情報を送信し、
前記第１表示データ生成手段は、前記遮断情報が通知された場合、当該遮断情報と前記第３映像とを含む前記第１表示データを生成し、
前記第２映像通信装置は、
前記第３映像を示す第３映像信号を取得する第３入力手段と、
前記第３映像を含む前記第３受信データを生成する第２送信データ生成手段と、
前記第１通信を利用して、前記第１送信データを受信し、かつ、前記第３受信データを送信し、さらに、前記第２通信を利用して前記第２送信データを受信する第２通信手段と、
前記第１映像と前記第２映像との少なくとも一方を含む第２表示データを生成する第２表示データ生成手段と、
前記第２表示データ生成手段によって生成された第２表示データを第２表示装置に出力する第２出力手段とを備え、
前記第２表示データ生成手段は、前記遮断情報が通知された場合、当該遮断情報を含む表示データを生成する
映像通信システム。
【請求項１４】
他の映像通信装置との間で通信する映像通信方法であって、
第１映像を示す第１映像信号を取得する第１入力ステップと、
第２映像を示す第２映像信号を取得する第２入力ステップと、
前記第１映像と前記第２映像とのうち少なくとも前記第２映像を含む第１送信データを生成する送信データ生成ステップと、
前記送信データ生成ステップで生成された第１送信データを前記他の映像通信装置に送信し、かつ、第３映像を含む受信データを前記他の映像通信装置から受信する通信ステップと、
前記通信ステップで受信された受信データを用いて、前記第３映像を含む表示データを生成する表示データ生成ステップと、
前記表示データ生成ステップで生成された表示データを第１表示装置に出力する出力ステップと、
前記第２入力ステップで前記第２映像信号が取得されるか否かを検出する信号検出ステップと、
前記信号検出ステップで前記第２映像信号が取得されていないことが検出された場合、前記第２映像信号が遮断されたことを示す遮断情報を生成し、生成した遮断情報を通知する通知ステップとを含み、
前記送信データ生成ステップで、前記遮断情報が通知された場合、当該遮断情報を含む第２送信データを生成し、
前記通信ステップでは、前記送信データ生成ステップで生成された第２送信データを前記他の映像通信装置に送信し、
前記表示データ生成ステップでは、前記遮断情報が通知された場合、当該遮断情報と前記第３映像とを含む前記表示データを生成する
映像通信方法。
【請求項１５】
他の映像通信装置との間で通信する集積回路であって、
第１映像を示す第１映像信号を取得する第１入力手段と、
第２映像を示す第２映像信号を取得する第２入力手段と、
前記第１映像と前記第２映像とのうち少なくとも前記第２映像を含む第１送信データを生成する送信データ生成手段と、
前記送信データ生成手段によって生成された第１送信データを前記他の映像通信装置に送信し、かつ、第３映像を含む受信データを前記他の映像通信装置から受信する通信手段と、
前記通信手段によって受信された受信データを用いて、前記第３映像を含む表示データを生成する表示データ生成手段と、
前記表示データ生成手段によって生成された表示データを第１表示装置に出力する出力手段と、
前記第２入力手段によって前記第２映像信号が取得されるか否かを検出する信号検出手段と、
前記信号検出手段によって前記第２映像信号が取得されていないことが検出された場合、前記第２映像信号が遮断されたことを示す遮断情報を生成し、生成した遮断情報を前記送信データ生成手段と前記表示データ生成手段とに通知する通知手段とを備え、
前記送信データ生成手段は、前記遮断情報が通知された場合、当該遮断情報を含む第２送信データを生成し、
前記通信手段は、前記送信データ生成手段によって生成された第２送信データを前記他の映像通信装置に送信し、
前記表示データ生成手段は、前記遮断情報が通知された場合、当該遮断情報と前記第３映像とを含む前記表示データを生成する
集積回路。
【請求項１６】
他の映像通信装置との間で通信する映像通信方法をコンピュータに実行させるプログラムであって、
第１映像を示す第１映像信号を取得する第１入力ステップと、
第２映像を示す第２映像信号を取得する第２入力ステップと、
前記第１映像と前記第２映像とのうち少なくとも前記第２映像を含む第１送信データを生成する送信データ生成ステップと、
前記送信データ生成ステップで生成された第１送信データを前記他の映像通信装置に送信し、かつ、第３映像を含む受信データを前記他の映像通信装置から受信する通信ステップと、
前記通信ステップで受信された受信データを用いて、前記第３映像を含む表示データを生成する表示データ生成ステップと、
前記表示データ生成ステップで生成された表示データを第１表示装置に出力する出力ステップと、
前記第２入力ステップで前記第２映像信号が取得されるか否かを検出する信号検出ステップと、
前記信号検出ステップで前記第２映像信号が取得されていないことが検出された場合、前記第２映像信号が遮断されたことを示す遮断情報を生成し、生成した遮断情報を通知する通知ステップとを含み、
前記送信データ生成ステップで、前記遮断情報が通知された場合、当該遮断情報を含む第２送信データを生成し、
前記通信ステップでは、前記送信データ生成ステップで生成された第２送信データを前記他の映像通信装置に送信し、
前記表示データ生成ステップでは、前記遮断情報が通知された場合、当該遮断情報と前記第３映像とを含む前記表示データを生成する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信網を経由して映像信号を送受信する映像通信装置に関し、特に、コンテンツ共有機能を有する映像通信装置に関する。
【背景技術】
【０００２】
近年、ブロードバンドの普及に伴い、通信回線を利用して隔地にいる参加者が映像や音声をリアルタイムにやりとりすることによりコミュニケーションを図るための手法として、電子会議システムの利用が盛んになりつつある。さらに、電子会議システムでは会議者の映像をメイン入力映像として備えるだけでなく、会議資料共有用のパソコン入力や、手元を映すためのサブカメラ入力などのサブ入力映像を共有するコンテンツ共有機能を備えるものもある。コンテンツ共有機能を備えるシステムでは、メイン入力映像とサブ入力映像を切り替えることにより、会議を一層スムーズに進行することができる（特許文献１参照）。
【特許文献１】特開２００８−４６３６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来のコンテンツ共有機能を有する映像通信装置では、サブ入力映像が遮断された場合に、遮断の原因を特定するのに多くの時間を費やすことになるという課題がある。具体的には、以下の通りである。
【０００４】
コンテンツ共有機能を備える電子会議システムではサブ入力映像用インタフェースを備えることにより、ユーザが入力の切り替えを行うことができる。このとき、ユーザの意図しないケーブルの抜けやサブカメラの電源断などでサブ入力映像が遮断された場合、画面が黒画面になるなどの画面表示の無信号状態が発生する。
【０００５】
この場合、通信網の障害などによる相手装置との通信断なのか、通信路は確保されているがサブ入力が遮断されたのみなのかという原因を特定するのに時間を費やしてしまう。
【０００６】
一方、特許文献１に記載の電子会議システムでは、ユーザ操作により映像を切り替える手段は開示されているが、ユーザが意図しない入力の遮断については開示されていない。そのため、画面表示の無信号状態の原因特定に時間がかかってしまい、会議進行に支障をきたすことが課題となる。
【０００７】
そこで、本発明は、上述の現状を鑑みてなされたもので、サブ入力映像が遮断された場合に遮断の原因を容易に特定することができる映像通信装置、映像通信方法及び映像通信システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記従来の課題を解決するために、他の映像通信装置との間で通信する映像通信装置であって、第１映像を示す第１映像信号を取得する第１入力手段と、第２映像を示す第２映像信号を取得する第２入力手段と、前記第１映像と前記第２映像とのうち少なくとも前記第２映像を含む第１送信データを生成する送信データ生成手段と、前記送信データ生成手段によって生成された第１送信データを前記他の映像通信装置に送信し、かつ、第３映像を含む受信データを前記他の映像通信装置から受信する通信手段と、前記通信手段によって受信された受信データを用いて、前記第３映像を含む表示データを生成する表示データ生成手段と、前記表示データ生成手段によって生成された表示データを第１表示装置に出力する出力手段と、前記第２入力手段によって前記第２映像信号が取得されるか否かを検出する信号検出手段と、前記信号検出手段によって、前記第２映像信号が取得されていないことが検出された場合、前記第２映像信号が遮断されたことを示す遮断情報を生成し、生成した遮断情報を前記送信データ生成手段と前記表示データ生成手段とに通知する通知手段とを備え、前記送信データ生成手段は、前記遮断情報が通知された場合、当該遮断情報を含む第２送信データを生成し、前記通信手段は、前記送信データ生成手段によって生成された第２送信データを前記他の映像通信装置に送信し、前記表示データ生成手段は、前記遮断情報が通知された場合、当該遮断情報と前記第３映像とを含む前記表示データを生成する。
【０００９】
これにより、第２映像信号（例えば、サブ入力信号）が取得されていないこと示す遮断情報を相手装置（サブ入力信号を受信する側）と自装置（サブ入力信号を送信する側）との双方に通知するので、例えば、相手装置を用いるユーザは、装置間の通信の異常、及び、表示装置の不具合などではなく、サブ入力信号の入力自体に問題が生じていることを認識することができる。
【００１０】
また、自装置を用いるユーザにとっても、例えば、サブ入力信号を自装置側の表示装置に表示させない場合などは、サブ入力信号が取得されていないことに気付かない場合がある。これに対して、本発明の映像通信装置では、自装置にも遮断情報を通知するので、自装置を用いるユーザは、サブ入力信号が取得されていない原因を探し出し、復旧させることができる。
【００１１】
また、前記送信データ生成手段は、前記他の映像通信装置によって第２表示装置に前記第２映像が表示されるように前記第１送信データを生成し、前記通知手段は、さらに、表示を切り替えさせることを示す表示切替要求を前記送信データ生成手段に通知し、前記送信データ生成手段は、前記表示切替要求が通知された場合、前記第２表示装置に前記第１映像が表示されるように前記第２送信データを生成してもよい。
【００１２】
これにより、サブ入力信号が取得されている間は、相手側の表示装置に第２映像（例えば、サブ映像）を表示させ、サブ入力信号が取得されなくなった場合には、第１映像（例えば、メイン映像）を自動的に表示させるので、相手装置を用いるユーザに映像を切り替えさせるなどの負担を強いなくても済む。したがって、ユーザが機械操作などに疎い場合であっても、本装置を用いた電子会議などをスムーズに実行することができる。
【００１３】
また、前記送信データ生成手段は、前記第２表示装置の所定の第１領域に前記第２映像が表示され、前記第１領域以下の大きさである第２領域に前記第１映像が表示されるように前記第１送信データを生成し、前記表示切替要求が通知された場合、前記第１領域に前記第１映像が表示されるように前記第２送信データを生成してもよい。
【００１４】
これにより、サブ入力信号が取得されている間は、相手側の表示装置の大きな画面に第２映像（例えば、サブ映像）を表示させ、小さい画面に第１映像（例えば、メイン映像）を表示させ、サブ入力信号が取得されなくなった場合には、大きな画面にメイン映像が表示されるように表示を自動的に切り替えるので、相手装置を用いるユーザに映像を切り替えさせるなどの負担を強いなくても済む。したがって、ユーザが機械操作などに疎い場合であっても、本装置を用いた電子会議などをスムーズに実行することができる。
【００１５】
また、前記通知手段は、前記信号検出手段によって予め定められた第１期間継続して前記第２映像信号が取得されていないことが検出された場合に前記遮断情報を生成してもよい。
【００１６】
これにより、サブ入力信号が遮断されてから遮断情報を通知するまで、所定の期間（第１期間）が確保されるので、例えば、サブ入力信号が瞬断されてすぐに復旧した場合などにまで遮断情報が通知されてしまうのを防ぐことができる。
【００１７】
また、前記通知手段は、前記遮断情報を生成してから予め定められた第２期間経過後に、前記表示切替要求を前記送信データ生成手段に通知してもよい。
【００１８】
これにより、ユーザにサブ入力信号が遮断されたことを通知してから表示を切り替えるまで、所定の期間（第２期間）が確保されるので、この間にユーザはサブ入力信号を復旧させることができる。したがって、頻繁に画面の切り替わりなどが起きることによる画面のちらつきなどを防止することができる。
【００１９】
また、前記通知手段は、さらに、前記表示切替要求を通知してから予め定められた第３期間経過後に、前記第１映像のみを表示させることを示す解除要求を前記送信データ生成手段に通知し、前記送信データ生成手段は、前記解除要求が通知された場合、前記第１映像が全画面表示されるように前記第２送信データを生成してもよい。
【００２０】
これにより、サブ入力信号が遮断されてから充分な期間が経過した場合には、コンテンツの共有は終了したとみなして、メイン映像のみを表示させることができる。
【００２１】
また、前記送信データ生成手段は、前記信号検出手段によって、前記第２映像信号が取得されていないことが検出された後に、前記第２映像信号が再取得されたことが検出された場合、前記第２映像を含む前記第１送信データを生成してもよい。
【００２２】
これにより、サブ入力信号が復旧した場合に、自動的に表示を元に戻すことができるので、ユーザが機械操作などに疎い場合であっても、本装置を用いた電子会議などをスムーズに実行することができる。
【００２３】
また、前記通知手段は、前記第２映像信号を停止することを示す停止命令をユーザから受け取ると同時に、前記表示切替要求を前記送信データ生成手段に出力してもよい。
【００２４】
これにより、ユーザが意図的に停止した場合には、即座に表示を自動的に切り替えるので、ユーザが機械操作などに疎い場合であっても、本装置を用いた電子会議などをスムーズに実行することができる。
【００２５】
また、前記送信データ生成手段は、前記遮断情報を文字情報として前記第２表示装置の所定の第３領域に表示されるように前記第２送信データを生成してもよい。
【００２６】
また、前記送信データ生成手段は、さらに、前記遮断情報が音声として出音されるように前記第２送信データを生成してもよい。
【００２７】
また、前記映像通信装置は、さらに、前記表示データのうち前記遮断情報を表示する情報表示部を備えてもよい。
【００２８】
なお、本発明は、映像通信装置として実現できるだけではなく、当該映像通信装置を構成する処理手段をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。
【００２９】
また、上記の各映像通信装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
【発明の効果】
【００３０】
本発明の映像通信装置によれば、サブ入力映像が遮断された場合に遮断の原因を容易に特定することができる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３２】
（実施の形態１）
図１は、本実施の形態における２拠点でのコミュニケーションサービスを実現するコミュニケーションシステムの構成を示す図である。
【００３３】
図１において、拠点Ａに位置するコミュニケーション装置Ａ１１と、拠点Ｂに位置するコミュニケーション装置Ｂ１２とは、通信機能を有する映像音声制御装置であり、ネットワーク１０を介して相互接続が可能である。
【００３４】
コミュニケーション装置Ａ１１は、拠点Ａにおけるリアルタイムな映像音声データを、自装置が備える又は自装置と接続されたカメラ及びマイクから入力し、ネットワーク１０を介してコミュニケーション装置Ｂ１２に送信する。また、コミュニケーション装置Ａ１１は、拠点Ｂにおけるリアルタイムな映像音声データを、コミュニケーション装置Ｂ１２から受信し、自装置が備える又は自装置と接続されたディスプレイ及びスピーカーに出力する。
【００３５】
また、ネットワーク１０を介しているにもかかわらず、距離による影響を低減した、よりリアルなコミュニケーションサービスを提供するために、コミュニケーション装置Ａ１１及びコミュニケーション装置Ｂ１２はそれぞれ、複数個のディスプレイ、カメラ、マイク及びスピーカーなどの入出力装置を備えている。これらの入出力装置は、予め適した位置に配置されており、この配置に特徴を有している。これについては、図を用いて後で詳細に説明する。
【００３６】
ネットワーク１０は、有線回線でも無線回線でもよく、また、この両方の組み合わせであってもよい。また、インターネットや公衆電話回線などのパブリックネットワークであってもよいし、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などの限られたドメインの中でクローズされたローカルネットワークであってもよいし、また、この両方の組み合わせであってもよい。
【００３７】
また、コミュニケーション装置Ａ１１とコミュニケーション装置Ｂ１２との間の通信には、例えば、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）、ＲＴＣＰ（ＲＴＰ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）又はＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）を用いたデジタル通信が用いられる。
【００３８】
また、コミュニケーション装置Ａ１１及びコミュニケーション装置Ｂ１２はそれぞれ、ネットワーク上の位置を示すアドレス情報としてＩＰアドレスが割り当てられているものとする。なお、ＩＰアドレスでなく、電話番号など他の情報をアドレス情報として用いてもよい。
【００３９】
また、コミュニケーション装置Ａ１１及びコミュニケーション装置Ｂ１２がそれぞれ送受信するデータは、リアルタイムな映像音声データとしたが、光ディスク又はハードディスクなどの記憶媒体に記録されている映像音声データも、リアルタイムな映像音声データと共に送受信することができる。なお、映像データのみ、又は、音声データのみを送受信してもよい。また、静止画データ、又は、テキスト若しくはＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）などの文書データでもよい。
【００４０】
以上により、コミュニケーション装置Ａ１１とコミュニケーション装置Ｂ１２とは、予め適した位置に配置された複数個の入出力装置を用いて、他拠点のリアルタイムな映像及び音声を出力することが可能となり、よりリアルなコミュニケーションサービスを提供することができる。
【００４１】
なお、図１に示した２拠点でのコミュニケーションサービスだけでなく、３拠点以上での相互接続によるコミュニケーションサービスが可能である。
【００４２】
図２は、前述したコミュニケーション装置Ａ１１及びコミュニケーション装置Ｂ１２以外の機器も備えたコミュニケーションシステムの構成の一例を示す図である。
【００４３】
図２では、コミュニケーション装置Ａ１１と、コミュニケーション装置Ｂ１２と、ノートＰＣ（パーソナルコンピュータ）１３と、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）１５と、携帯電話１６と、デスクトップＰＣ１９とが接続し、５拠点でのコミュニケーションシステムを実施する。なお、ここでは、公衆電話回線であるネットワーク１０とインターネット１８とが、インターネットサービスプロバイダのサーバ１７を介して接続されているものとする。デスクトップＰＣ１９は、インターネット１８に接続され、インターネット１８と、サーバ１７と、ネットワーク１０とを介して、コミュニケーション装置Ａ１１などの他機器と接続される。
【００４４】
コミュニケーション装置Ａ１１及びコミュニケーション装置Ｂ１２は、図１と同じであるため、それ以外の機器について説明する。なお、図２に示した通り、コミュニケーション装置Ａ１１及びコミュニケーション装置Ｂ１２を構成する構成要素の一部又は全部は、１個のシステムＬＳＩから構成されているとしてもよい。
【００４５】
ノートＰＣ１３は、カメラ機能を内蔵しておらず、外付けでカメラ１４が接続されている。カメラ１４は、デジタルビデオカメラなどの動画撮影が可能な機器である。ノートＰＣ１３は、カメラ１４により撮影された映像音声データを、自拠点でのリアルタイムな映像音声データとして、ネットワーク１０を介して、他機器に送信する。なお、カメラ１４が、動画撮影機能を有しておらず、静止画撮影機能のみの場合、撮影した静止画データを一定間隔で送信してもよい。
【００４６】
ＰＤＡ１５は、カメラ機能を有しておらず、自拠点のリアルタイムな映像データを送信することができない。ＰＤＡ１５は、ネットワーク１０を介して、受信した映像音声データをディスプレイ及びスピーカーに出力するとともに、自拠点でのリアルタイムな音声データを他機器に送信する。なお、カメラ機能を有している場合は、映像音声データを送受信することが可能となる。
【００４７】
携帯電話１６は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラなどのカメラ付きの携帯電話であり、自拠点でのリアルタイムな映像音声データをカメラ及びマイクから入力し、ネットワーク１０を介して他機器に送信する。また、受信した映像音声データを自装置のディスプレイ及びスピーカーに出力する。また、携帯電話１６は、ＰＤＣ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、ＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、ＣＤＭＡ１ｘ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ  １ｘ）方式、又は、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）など、いずれの通信方式であってもよい。また、ＳＤカードなどの記録媒体である蓄積メディアを装着可能なスロット部を有しており、記録メディアに記録されているデータを、コミュニケーションサービスに参加している他機器と共有することが可能である。さらに、携帯電話１６によるネットワーク１０への接続は、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ）など他の無線通信機能を用いてもよい。
【００４８】
デスクトップＰＣ１９は、カメラ機能を内蔵しており、自拠点でのリアルタイムな映像音声データをカメラ及びマイクから入力し、インターネット１８とネットワーク１０とを介して他機器に送信する。なお、インターネット１８とネットワーク１０とは、インターネットサービスプロバイダのサーバ１７を介して接続しているものとする。また、受信した映像音声データを自装置のディスプレイ及びスピーカーに出力する。なお、デスクトップＰＣ１９は、光ディスク又はＳＤカードなどの記憶媒体である蓄積メディアの読み取りが可能なデバイスや、外付けＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）又は内部メモリなどを有しており、これらに記録されているデータを、コミュニケーションサービスに参加している他機器と共有することが可能である。
【００４９】
また、各機器は、ネットワーク上の位置を示すアドレス情報として、電話番号又はＩＰアドレスが割り当てられているものとする。なお、ＩＰｖ６（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ  Ｖｅｒｓｉｏｎ  ６）対応のＩＰアドレスを用いることで、各機器が物理的に移動しても、同じアドレスを用いてコミュニケーションサービスに参加することが可能となる。
【００５０】
また、各機器は、コミュニケーションサービスに参加している他機器へマルチキャストで映像音声データの送信を行ってもよい。また、特定の機器（例えばコミュニケーション装置Ａ１１）をサーバと設定し、サーバが他機器から映像音声データを受信して処理を行った後、他機器へマルチキャストしてもよい。
【００５１】
以上により、コミュニケーション装置Ａ１１とコミュニケーション装置Ｂ１２とは、複数拠点に位置する各機器が送信したリアルタイムな映像や音声を出力することが可能となり、よりリアルなコミュニケーションサービスを提供することができる。
【００５２】
次に、本実施の形態におけるコミュニケーション装置Ａ１１（又は、コミュニケーション装置Ｂ１２）が備える入出力装置の配置について説明する。図３は、本実施の形態のコミュニケーション装置が備える入出力装置の配置の一例を示す図である。
【００５３】
コミュニケーション装置Ａ１１は、本体２０と、ディスプレイ２１と、メインカメラ２２と、マイク２３と、スピーカー２４ａ、２４ｂ及び２４ｃと、リモコン２６と、サブカメラ２７と、ノートＰＣ２８とを備えている。また、各入出力装置（ディスプレイ２１、メインカメラ２２、マイク２３、スピーカー２４ａ、２４ｂ及び２４ｃ、リモコン２６、サブカメラ２７、並びに、ノートＰＣ２８）は、本体２０と接続している。この接続は、有線回線であっても無線回線であってもよい。また、コミュニケーションサービスに参加する１人以上のユーザは、ディスプレイ２１の方向に向いて机２５の席に着くことを想定している。
【００５４】
本体２０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）及びメモリなどを備えた情報処理装置である。本体２０は、各入出力装置の制御、入出力装置から入力した映像音声データの符号化処理、ネットワーク１０を介した通信制御処理、ネットワーク１０を介して受信した映像音声データの復号化処理、及び、復号化した映像音声データの入出力装置への出力処理などを行う。
【００５５】
ディスプレイ２１は、映像などを表示する装置であり、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）又はＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）である。コミュニケーションサービスに参加するユーザの正面に位置するよう、机２５の前面に並べて配置される。ここでは１個のディスプレイが本体２０と接続されている。ここでは、ディスプレイは１個であるが、複数個のディスプレイを用いてもよく、その場合、他拠点での参加者の映像が、机２５の席に着いているよう表示される。他拠点の映像は、ディスプレイの個数に合わせて分割して表示されてもよい。
【００５６】
メインカメラ２２は、デジタルビデオカメラなどの動画撮影機能を有する撮影装置である。ディスプレイ２１の上部に配置され、机２５の席に着くユーザを撮影する。
【００５７】
マイク２３は、周辺の音声の集音を行う入力装置である。机２５の中央に配置する。また、机２５の席に着いたユーザの人数に合わせた個数の指向性マイクを、各ユーザの正面に位置するように配置してもよい。また、１個の無指向性マイクと１個以上の指向性マイクを組み合わせて配置してもよい。これにより、どの方向からの音声かを把握することが可能となり、他拠点で音声を出力する方向を制御することが可能となる。
【００５８】
スピーカー２４ａ、２４ｂ及び２４ｃは、ディスプレイ２１の背後に配置される。ここでは、３個のスピーカーが接続されている。これにより、ディスプレイ２１に表示されている映像に合わせて、音声を出力するスピーカーを制御することが可能となる。
【００５９】
リモコン２６は、ユーザからの入力指示を受け、本体２０への操作入力信号を送信する操作入力装置である。机２５の席に着いたユーザにより操作可能であればよい。なお、ここでは、リモコンとしたが、本体２０に付属されるワンタッチボタン、タッチパネル、キーボード又はマウスなど、他の操作入力装置を用いてもよい。また、机２５の席に着いたユーザの人数に合わせた個数の操作入力装置を、各ユーザの正面に位置するように配置してもよい。
【００６０】
サブカメラ２７は、会議者の手元をズームして撮影するための撮像装置で、サブ入力映像用として利用する。本体２０とは、Ｄ端子ケーブル、又は、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ケーブルなどを用いて接続される。なお、サブカメラ２７は固定されておらず、会議者が手にとって撮影を行ってもよい。また、顕微鏡型の固定カメラであってもよい。
【００６１】
ノートＰＣ２８は、会議資料を共有するためのＰＣである。ノートＰＣ２８は、ＶＧＡ（Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ）ケーブルなどで本体２０と接続する。ノートＰＣ２８は、外部ディスプレイ表示モードを備え、外部ディスプレイ表示モードＯＮでサブ入力として本体２０に入力信号を送信する。
【００６２】
以上により、コミュニケーション装置Ａ１１は、他拠点とのコミュニケーションサービスを提供することが可能となる。つまり、ユーザがリモコン２６を操作して接続先（他拠点）を設定して通信を確立し、コミュニケーションサービス（メイン通信）を開始する。コミュニケーションサービス実行中は、メインカメラ２２が、机２５の席に着いたユーザの映像を撮影し、同時に、マイク２３が、音声を集音する。本体２０は、メインカメラ２２及びマイク２３から、自拠点のリアルタイムな映像音声データを取得し、符号化処理を行い、他拠点への送信を行う。また、本体２０は、他拠点の映像音声データを受信し、復号化処理を行い、ディスプレイ２１とスピーカー２４ａ、２４ｂ及び２４ｃとへの出力を行う。これにより、複数拠点間で相互にリアルタイムな映像及び音声を出力することが可能となり、よりリアルなコミュニケーションサービスを提供することができる。
【００６３】
また、コミュニケーションサービス実行中に、ユーザがリモコン２６を操作して、サブカメラ２７又はノートＰＣ２８などのサブ入力映像を、ネットワーク１０を介して送受信することで、コミュニケーションサービスに参加している他機器とコンテンツ共有することが可能となる。なお、コンテンツ共有通信では映像データのみの通信を行い、音声データの通信は行わない。
【００６４】
図４は、本実施の形態におけるコミュニケーション装置Ａ１１のハードウェア構成を示すブロック図である。同図に示すように、コミュニケーション装置Ａ１１は、制御部３０と、音声符号化部３１と、音声復号化部３２と、画像符号化部３３と、画像復号化部３４と、電源回路３５と、タイマ回路３６と、音声処理部３７と、音声出力部３８と、音声入力部３９と、表示処理部４０と、表示部４１と、画像処理部４２と、画像入力部４３と、操作入力制御部４４と、操作入力部４５と、通信制御部４６と、送受信回路４７と、信号確認部６１と、通知部６２とを備えている。各処理部は、バスラインを通じて互いに接続されている。また、必要に応じて、バスラインには、ハードディスク装置４８及び読取装置４９を接続することが可能である。ハードディスク装置４８と読取装置４９とは、それぞれインタフェースを通じてバスラインに接続される。
【００６５】
制御部３０は、ＣＰＵ５０と、ＲＯＭ５１と、ＲＡＭ５２とを備え、コミュニケーション装置Ａ１１全体の制御を行う。
【００６６】
ＣＰＵ５０は、単一のＣＰＵで構成されてもよく、複数のＣＰＵで構成されてもよい。ＲＯＭ５１は、ＣＰＵ５０の動作を規定するコンピュータプログラムを記憶している。コンピュータプログラムは、ハードディスク装置４８に記憶させることもできる。ＣＰＵ５０は、ＲＯＭ５１又はハードディスク装置４８が格納するコンピュータプログラムを、必要に応じてＲＡＭ５２に書き込みつつ、コンピュータプログラムが規定する処理を実行する。ＲＡＭ５２は、ＣＰＵ５０が処理を実行するのに伴って発生するデータを一時的に記憶する媒体としても機能する。ＲＯＭ５１には、フラッシュＲＯＭのように書き込みが可能で、電源を切っても記憶内容を保持できる不揮発性のメモリや記憶媒体も含まれる。ＲＡＭ５２には、電源を切ると記憶内容が保持されない揮発性のメモリや記憶媒体が含まれる。
【００６７】
音声符号化部３１は、音声処理部３７によって生成された音声データを、特定の符号化方法によって圧縮符号化することにより、符号化音声データに変換し、通信制御部４６に出力する。
【００６８】
音声復号化部３２は、通信制御部４６から出力された符号化音声データを、特定の復号化方法で復号化することにより再生可能な音声データを生成し、音声処理部３７に出力する。
【００６９】
画像符号化部３３は、画像処理部４２によって生成された画像データを、特定の符号化方法によって圧縮符号化することにより、符号化画像データに変換し、通信制御部４６に出力する。
【００７０】
画像復号化部３４は、通信制御部４６から出力された符号化画像データを、特定の復号化方法で復号化することにより再生可能な画像データを生成し、表示処理部４０に出力する。
【００７１】
電源回路３５は、電源キーのオン操作により、バッテリーパック又はアダプタ経由で受け取った電力を各処理部に供給し、コミュニケーション装置Ａ１１を動作可能な状態に起動する。また、通常モードと省電力モードとの複数のモードを備えてもよい。省電力モード時には、一部の処理部にのみ電力を供給することで、必要な電力を低減することができる。例えば、他拠点からの着呼待ち状態の場合、通信制御部４６と送受信回路４７とに電力を供給する省電力モードで動作し、着呼を受けた際に省電力モードから通常モードに切り替えることで、他処理部の動作を開始してもよい。
【００７２】
タイマ回路３６は、一定の周期でタイマ割込信号を出力する。
【００７３】
音声処理部３７は、１つ以上の音声入力部３９によって集音された音声信号をデジタル変換し、合成及び加工処理などを行い、音声符号化部３１に出力する。ノイズキャンセル機能などにより、よりクリアな音声データを生成することもできる。また、音声入力部３９が複数個存在する場合、音声処理部３７は、複数個の音声入力部３９の配置情報を管理し、配置に適した音声データを生成することが可能となる。さらに、音声処理部３７は、音声復号化部３２によって復号化された音声データの分割及び加工処理などを行い、生成した音声データを音声出力部３８に出力する。音声処理部３７は、複数個の音声出力部３８の配置情報を管理し、各音声出力部３８に適した複数個の音声データを生成することが可能となる。
【００７４】
音声出力部３８は、音声データを出力する出力装置である。図３に示すスピーカー２４ａ、２４ｂ及び２４ｃに相当する。音声出力部３８は、音声処理部３７によって生成された音声データを出力する。
【００７５】
音声入力部３９は、周辺の音声を集音する入力装置である。図３に示すマイク２３に相当する。音声入力部３９は、集音した音声信号を音声処理部３７に出力する。
【００７６】
表示処理部４０は、画像復号化部３４によって復号化された画像データの分割及び加工処理などを行い、生成した表示データを表示部４１に出力する。また、表示処理部４０は、複数個の表示部４１の配置情報を管理する。これにより、各表示部４１に適した複数個の表示データを生成することが可能となる。また、画像処理部４２から自拠点の画像データを受け取り、表示部４１に出力することで、自拠点の画像を表示することも可能である。
【００７７】
表示部４１は、画像や文字などを表示する装置である。図３に示すディスプレイ２１に相当する。表示部４１は、表示処理部４０によって生成された表示データを画面に表示する。
【００７８】
画像処理部４２は、１つ以上の画像入力部４３から出力される画像データの合成及び加工処理などを行い、画像符号化部３３に出力する。画像処理部４２は、複数個の画像入力部４３の配置情報を管理し、配置に適した画像データを生成することが可能となる。また、生成した画像データを表示処理部４０に出力することで、自拠点の画像データを表示部４１に直接表示することも可能である。さらに、画像処理部４２は、通知部６２から通知される遮断情報、及び、表示切替要求を元に、複数の画像入力部４３から受信した画像データを、各画像データの表示サイズ及び場所などの配置情報を変更したり、遮断情報を合成したりして表示データを生成する。
【００７９】
画像入力部４３は、デジタルビデオカメラなどの動画撮影機能を有する撮影装置である。画像入力部４３は、図３に示すメインカメラ２２、サブカメラ２７及びノートＰＣ２８に相当する。画像入力部４３は、信号確認部６１を経由して、撮影した画像データを画像処理部４２に出力する。また、画像入力部４３は、デジタルスチルカメラなどの静止画撮影機能のみの撮影装置であってもよく、撮影した静止画データを一定間隔で画像処理部４２に出力してもよい。
【００８０】
操作入力制御部４４は、操作入力部４５から出力された操作入力信号を受け取り、対応する制御データに変換して制御部３０に出力する。
【００８１】
操作入力部４５は、ユーザからの入力指示を受け付け、受け付けた入力指示を操作入力信号として操作入力制御部４４に出力する装置である。操作入力部４５は、図３に示すリモコン２６に相当する。なお、操作入力部４５は、キーボード又はマウスなど、他の操作入力装置であってもよい。また、ジャイロ機能及びセンサー機能などを用いて、入力指示を受けてもよい。なお、操作入力部４５は、１．メインカメラ２２からのメイン入力信号を相手装置へ送信するための通信確立を要求するメイン通信確立信号、２．相手装置との通信の切断を要求する通信切断信号、及び、３．サブカメラ２７などからのサブ入力信号を相手装置に送信することで、サブ入力信号を相手装置と共有するためのコンテンツ共有信号を少なくとも、操作入力信号として操作入力制御部４４に出力する。
【００８２】
通信制御部４６は、送受信回路４７を介して、他機器と自身との間で通信を確立し、ネットワークを介した映像音声データの送受信を行う。通信制御部４６は、例えば、呼接続制御（Ｃａｌｌ  Ｃｏｎｔｒｏｌ）機能、及び、データ通信制御（ＩＰ、ＲＴＰ、ＲＴＣＰ、ＴＣＰなど）機能を有している。また、通信制御部４６は、音声符号化部３１によって符号化された符号化音声データと、画像符号化部３３によって符号化された符号化画像データとを受け取り、所定の方式で多重化を行い、送信する映像音声データを生成する。
【００８３】
また、通信制御部４６は、送受信回路４７を介して受信した映像音声データを、所定の方式で多重分離を行うことで、符号化音声データと符号化画像データとに分け、符号化音声データを音声復号化部３２に出力し、符号化画像データを画像復号化部３４に出力する。また、コミュニケーション装置Ａ１１が複数の異なるネットワークに接続可能である場合、コミュニケーション装置Ａ１１は、各ネットワークに対応する複数個の通信制御部４６と複数個の送受信回路４７とを備える構成でもよい。
【００８４】
送受信回路４７は、ネットワークを介したデータ送受信を行う回路である。例えば、ネットワークが無線回線の場合、通信制御部４６から受け取った送信データを、所定の方式で変調し、変調した送信データを無線搬送波に乗せて送信する機能を有する。さらに、送受信回路４７は、アンテナに誘起した高周波信号の中から所定の周波数帯の信号を受信し、受信した信号を復調して通信制御部４６に出力する機能を有する。
【００８５】
ハードディスク装置４８は、内蔵するハードディスクに対して、コンピュータプログラム又はデータを書き込み及び読み出す装置である。
【００８６】
読取装置４９は、記録媒体（例えば、ＣＤ、ＤＶＤ又はメモリカードなど）に記録されたコンピュータプログラム又はデータを読み取る装置である。
【００８７】
信号確認部６１は、画像入力部４３からの入力信号の有無を確認し、入力信号が無いと判断した場合は、通知部６２に入力信号が無い旨を無信号通知として通知する。さらに、信号確認部６１は、無信号通知を通知後、入力信号が再取得された場合は、入力信号が再取得されたことを示す復旧通知を通知する。なお、信号確認部６１は、メイン入力信号及びサブ入力信号のそれぞれの入力信号の有無を確認する。
【００８８】
通知部６２は、信号確認部６１からの無信号通知及び復旧通知などの信号確認情報に基づいて、画像処理部４２、及び、表示処理部４０に対して遮断情報、表示切替要求及びコンテンツ共有解除要求を通知する。遮断情報は、入力信号が遮断された旨を通知する情報であり、表示切替要求は、複数の入力映像の出力時の表示を切り替えることを通知する情報である。コンテンツ共有解除要求は、複数の入力映像のうち１つの入力映像のみを表示させることを通知する情報である。
【００８９】
以上のように、コミュニケーション装置Ａ１１は、複数の入出力装置を備えたコンピュータとして構成されており、他拠点とのコミュニケーションサービスを提供することが可能となる。
【００９０】
なお、音声出力部３８と、音声入力部３９と、表示部４１と、画像入力部４３と、操作入力部４５とを除く各処理部は、例えば、図３に示す本体２０に備えられる。
【００９１】
続いて、本実施の形態のコミュニケーション装置Ａ１１の機能構成について説明する。図５は、本実施の形態のサブ入力信号を送信する側の映像通信装置１００の構成を示すブロック図である。同図に示す映像通信装置１００は、特に、サブ入力信号を送信する側のコミュニケーション装置Ａ１１の本体２０に相当し、映像信号の送受信に関わる処理を行う装置である。
【００９２】
図５に示すように、映像通信装置１００は、メイン映像入力部１０１と、サブ映像入力部１０２と、信号検出部１０３と、通知部１０４と、送信データ生成部１０５と、通信部１０６と、表示データ生成部１０７と、映像出力部１０８とを備える。
【００９３】
メイン映像入力部１０１は、メインカメラ２２と接続し、メインカメラ２２によって撮像されるメイン映像を示すメイン入力信号（メイン映像信号）を取得する。そして、メイン映像入力部１０１は、取得したメイン入力信号を送信データ生成部１０５に出力する。メイン映像（第１メイン映像とも記載）は、例えば、図３に示す机２５の席に着くユーザなどを撮像した映像である。なお、メイン映像入力部１０１は、図４に示す画像入力部４３と画像処理部４２とを接続するインタフェースである。
【００９４】
サブ映像入力部１０２は、サブカメラ２７と接続し、サブカメラ２７によって撮像されるサブ映像を示すサブ入力信号（サブ映像信号）を取得する。そして、サブ映像入力部１０２は、取得したサブ入力信号を、信号検出部１０３と送信データ生成部１０５と表示データ生成部１０７とに出力する。サブ映像は、例えば、ユーザの手元の資料などを撮像した映像である。なお、サブ映像入力部１０２は、ノートＰＣ２８など他の入力装置と接続し、他の入力装置から入力される映像信号をサブ入力信号として取得してもよい。また、サブ映像入力部１０２は、図４に示す画像入力部４３と信号確認部６１とを接続するインタフェースなどである。
【００９５】
信号検出部１０３は、図４に示す信号確認部６１に相当し、サブ映像入力部１０２によってサブ入力信号が取得されるか否か、すなわち、サブ入力信号の有無を検出する。信号検出部１０３は、サブ入力信号が取得されていない場合、サブ入力信号が取得されていないことを示す無信号通知を通知部１０４に出力する。また、サブ入力信号が再取得された場合に、その旨を示す復旧通知を通知部１０４に通知する。
【００９６】
通知部１０４は、図４に示す通知部６２に相当し、サブ入力信号が入力されているか否かに応じて、送信データ生成部１０５と表示データ生成部１０７とに通知する。具体的には、通知部１０４は、遮断情報通知部１４１と、表示切替要求通知部１４２とを備える。
【００９７】
遮断情報通知部１４１は、サブ入力信号が予め定められた第１期間継続して取得されていないことが信号検出部１０３によって検出された場合に、サブ入力信号が遮断されたことを示す遮断情報を生成する。そして、生成した遮断情報を送信データ生成部１０５と表示データ生成部１０７と表示切替要求通知部１４２とに通知する。
【００９８】
具体的には、遮断情報通知部１４１は、信号検出部１０３から無信号通知を受け取ると同時に、遮断情報通知タイマ（図示せず）を起動させる。そして、第１期間が経過するまでに信号検出部１０３からサブ入力信号が取得されたことを示す復旧通知を受け取らない場合に、遮断情報を生成し、通知する。
【００９９】
なお、第１期間は、５秒、１０秒、１分などいかなる期間でもよい。また、第１期間は、０秒でもよい。すなわち、無信号通知を受け取ると同時に、遮断情報を生成し、通知してもよい。また、遮断情報通知タイマは、遮断情報を通知すると同時に、又は、信号検出部１０３から復旧通知を受け取ると同時に、リセットされる。
【０１００】
表示切替要求通知部１４２は、遮断情報通知部１４１によって遮断情報が生成されてから、すなわち、遮断情報を受け取ってから予め定められた第２期間経過後に、表示切替要求を送信データ生成部１０５と表示データ生成部１０７とに通知する。表示切替要求は、メイン映像とサブ映像との表示を切り替えさせる指示である。
【０１０１】
具体的には、表示切替要求通知部１４２は、遮断情報を受け取ると同時に、表示切替タイマ（図示せず）を起動させる。そして、第２期間が経過するまでに信号検出部１０３から復旧通知を受け取らない場合に、表示切替要求を通知する。
【０１０２】
なお、第２期間は、５秒、１０秒、１分などいかなる期間でもよい。また、第２期間は、０秒でもよい。すなわち、無信号通知を受け取ると同時に、表示切替要求を通知してもよい。また、表示切替タイマは、表示切替要求を通知すると同時に、又は、信号検出部１０３から復旧通知を受け取ると同時に、リセットされる。
【０１０３】
さらに、表示切替要求通知部１４２は、表示切替要求を通知してから予め定められた第３期間経過後に、コンテンツ共有解除要求を送信データ生成部１０５と表示データ生成部１０７とに通知する。
【０１０４】
送信データ生成部１０５は、図４に示す画像符号化部３３と画像処理部４２とに相当し、メイン映像とサブ映像との少なくとも一方を含む送信データを生成する。このとき、遮断情報通知部１４１から遮断情報が通知された場合は、送信データ生成部１０５は、通知された遮断情報を含む送信データを生成する。具体的には、遮断情報が文字情報としてコミュニケーション装置Ｂ１２の表示部に表示されるように送信データを生成する。生成した送信データは、映像送信部１６１に出力される。
【０１０５】
また、表示切替要求通知部１４２から表示切替要求が通知された場合は、送信データ生成部１０５は、メイン映像がサブ映像より大きく表示されるように送信データを生成する。さらに、表示切替要求通知部１４２からコンテンツ共有解除要求が通知された場合、メイン映像が全画面表示されるように送信データを生成する。
【０１０６】
通信部１０６は、図４に示す通信制御部４６と送受信回路４７とに相当し、他の機器との間で通信を確立し、確立した通信を利用してデータの送受信を行う。図５に示すように、通信部１０６は、映像送信部１６１と映像受信部１６２とを備える。
【０１０７】
映像送信部１６１は、図４に示す通信制御部４６と送受信回路４７とに相当し、送信データ生成部１０５によって生成された送信データを他の機器にネットワーク１０を介して送信する。
【０１０８】
映像受信部１６２は、図４に示す通信制御部４６と送受信回路４７とに相当し、ネットワーク１０を介して他の機器から受信データを受信する。受信データは、例えば、他の機器が備えるカメラなどによって撮像された相手ユーザの画像などを含む。
【０１０９】
表示データ生成部１０７は、図４に示す画像復号化部３４と表示処理部４０とに相当し、受信データに含まれる映像（第２メイン映像とも記載）とサブ映像とを含む表示データを生成する。このとき、遮断情報通知部１４１から遮断情報が通知された場合は、表示データ生成部１０７は、通知された遮断情報と受信データに含まれる映像とを含む表示データを生成する。具体的には、遮断情報を文字情報としてディスプレイ２１に表示されるように表示データを生成する。生成した表示データは、映像出力部１０８に出力される。
【０１１０】
また、表示切替要求通知部１４２から表示切替要求が通知された場合は、表示データ生成部１０７は、受信データに含まれる映像がサブ映像より大きく表示されるように表示データを生成する。さらに、表示切替要求通知部１４２からコンテンツ共有解除要求が通知された場合、受信データに含まれる映像が全画面表示されるように送信データを生成する。
【０１１１】
映像出力部１０８は、表示データ生成部１０７によって生成された表示データをディスプレイ２１に出力する。なお、映像出力部１０８は、図４に示す表示処理部４０と表示部４１とを接続するインタフェースである。
【０１１２】
続いて、本実施の形態のコミュニケーション装置の動作について説明する。具体的には、メインカメラ２２からの入力信号（以降、メイン入力信号と記載）とサブカメラ２７からの入力信号（以降、サブ入力信号と記載）との表示切替方法、及び、遮断情報の通知について詳細に説明する。なお、コミュニケーション装置Ａ１１とコミュニケーション装置Ｂ１２間でメイン通信を確立し、コミュニケーションＡ１１のサブカメラ２７によるサブ映像をコンテンツ共有する場合を例として、図６から図９を用いて説明する。
【０１１３】
図６は、コミュニケーション装置Ａ１１におけるメイン通信の確立する動作とコンテンツの共有を開始する動作とを示すフローチャートである。
【０１１４】
図７は、コミュニケーション装置Ａ１１におけるサブ入力信号が遮断された場合の動作を示すフローチャートである。
【０１１５】
図８は、コミュニケーション装置Ｂ１２の表示部に表示される画像遷移を示す図である。コミュニケーション装置Ｂ１２の表示部は、コミュニケーション装置Ａ１１から通信網を経由して受信したデータを表示している。
【０１１６】
なお、本実施の形態では、送信データ生成部１０５及び表示データ生成部１０７は、表示部に第１領域と、第１領域以下の大きさの第２領域とを定義し、それぞれの領域にメイン映像とサブ映像とをそれぞれ表示させるように送信データ又は表示データを生成する。ここでは、簡単のために親画面（第１領域）、子画面（第２領域）を定義し、親画面は全画面表示とし、子画面は、全画面表示の右上に小さく配置されるとする。
【０１１７】
図９は、コミュニケーション装置Ａ１１の表示部４１に表示される画像遷移を示す図である。
【０１１８】
まず、メイン通信の確立とコンテンツの共有開始との動作について、図６、図８及び図９を用いて説明する。
【０１１９】
最初にメイン入力信号を用いて、コミュニケーション装置Ａ１１とコミュニケーション装置Ｂ１２との間にメイン通信を確立する（Ｓ１０１）。
【０１２０】
具体的には、コミュニケーション装置Ａ１１において、メインカメラ２２の電源を投入することにより、信号確認部６１がメイン入力信号を受け付ける。その後、会議者がリモコン２６からメイン通信確立要求を行うと、操作入力制御部４４は、メイン通信確立信号を通信制御部４６に送信し、通信制御部４６は、コミュニケーション装置Ｂ１２とのメイン通信を確立する。そして、データ通信制御を行うことで、双方のコミュニケーション装置のメイン入力信号から生成される画像データの送受信を開始する。
【０１２１】
このとき、コミュニケーション装置Ａ１１では、コミュニケーション装置Ｂ１２の表示部においてメイン入力信号が親画面として表示されるように、送信データ生成部１０５（画像処理部４２）が送信データを生成する。すなわち、送信データ生成部１０５は、コンテンツの共有が開始される前には、メイン入力信号に含まれるメイン映像を全画面表示させるように送信データを生成する。これにより、コミュニケーション装置Ｂ１２の表示部には、図８に示す映像２０１が表示される。図８に示すように、映像２０１は、コミュニケーション装置Ａ１１のメインカメラ２２が撮像したメイン映像（ここでは、３人の参加者）である。
【０１２２】
また、このとき、コミュニケーション装置Ａ１１では、表示データ生成部１０７（表示処理部４０）が、コミュニケーション装置Ｂ１２から受信した映像信号を用いて、ディスプレイ２１に表示させる表示データを生成する。表示データ生成部１０７は、送信データ生成部１０５と同様に、コンテンツの共有が開始される前には、コミュニケーション装置Ｂ１２から受信した映像信号に含まれる映像が全画面表示されるように表示データを生成する。これにより、ディスプレイ２１には、図９に示す映像３０１が表示される。図９に示すように、映像３０１は、コミュニケーション装置Ｂ１２のメインカメラが撮像したメイン映像（ここでは、１人の参加者）である。
【０１２３】
なお、呼接続制御、及び、データ通信制御については、入力映像から生成される画像データの送受信さえできれば、方法は問わない。
【０１２４】
コミュニケーション装置Ａ１１では、会議者の必要なタイミングで、サブカメラ２７などを用いて、コミュニケーション装置Ｂ１２とコンテンツ共有を行う。本実施の形態では、最初に確立したメイン通信を用いて、コンテンツ共有を行う。
【０１２５】
コンテンツ共有に備えて、信号検出部１０３（信号確認部６１）は、サブ入力信号が取得されるか否かを検出する（Ｓ１０２）。サブ入力信号が検出された場合（Ｓ１０２でＹｅｓ）、すなわち、会議者が、サブカメラ２７を本体２０に接続し、電源を投入した場合、信号検出部１０３（信号確認部６１）は、サブ入力信号を受け付け、コミュニケーション装置Ａ１１は、コンテンツ共有を開始する（Ｓ１０３）。
【０１２６】
具体的には、送信データ生成部１０５は、メイン入力信号とサブ入力信号との表示位置を決定し、決定した表示位置にメイン映像とサブ映像とが表示されるように送信データを生成する。例えば、会議者がリモコン２６などを用いてコンテンツ共有要求を行ったとき、操作入力制御部４４はコンテンツ共有要求を受け付け、画像処理部４２に通知する。画像処理部４２は、サブ入力信号を親画面に設定し、メイン入力信号を子画面に設定する。つまり、画像処理部４２が表示位置を設定することにより、最初に確立したメイン通信路上で、コンテンツ共有を行う。そして、映像送信部１６１（通信制御部４６）は、画像処理部４２によって生成された送信データをコミュニケーション装置Ｂ１２に送信する。
【０１２７】
これにより、コミュニケーション装置Ｂ１２の表示部には、図８の映像２１１に示すように、親画面２１２にサブ映像が表示され、子画面２１３にメイン映像が表示される。
【０１２８】
なお、このとき、必要に応じて、コミュニケーション装置Ａ１１の表示部４１にも、サブ映像を表示させてもよい。例えば、表示データ生成部１０７（表示処理部４０）は、図９の映像３１１に示すように、親画面３１２にサブ映像を表示し、子画面３１３にはコミュニケーション装置Ｂ１２から受信した映像を表示するように、表示データを生成する。
【０１２９】
このようにして、コミュニケーション装置Ａ１１とコミュニケーション装置Ｂ１２との間でコンテンツ共有が開始される。
【０１３０】
続いて、サブ入力信号が何らかの原因で遮断されたときの動作について、図７〜図９を用いて説明する。なお、既にサブ映像が共有されているので、コミュニケーション装置Ｂ１２の表示部には、図８に示す映像２１１が表示されており、コミュニケーション装置Ａ１１の表示部４１には、図９に示す映像３１１が表示されているとする。
【０１３１】
コンテンツ共有の開始以降、信号検出部１０３（信号確認部６１）は、サブ入力信号が遮断しないか否かを常に確認する（Ｓ２０１）。
【０１３２】
サブ入力信号がサブカメラ２７の本体２０からのケーブル抜けなどにより、サブ入力信号の遮断が検出されると（Ｓ２０１でＹｅｓ）、信号検出部１０３（信号確認部６１）は、無信号通知を遮断情報通知部１４１に通知する（Ｓ２０２）。
【０１３３】
サブ入力信号が入力されていないので、コミュニケーション装置Ｂ１２の表示部には、図８の映像２２１に示すように、親画面２２２にはサブ映像が表示されず、子画面２２３のみにメイン映像が表示される。また、コミュニケーション装置Ａ１１のディスプレイ２１（表示部４１）には、図９の映像３２１に示すように、親画面３２２にはサブ映像が表示されず、子画面３２３のみにメイン映像が表示される。
【０１３４】
遮断情報通知部１４１は、無信号通知を受信すると同時に、遮断情報通知タイマを起動する。第１期間が経過するまでの間（Ｓ２０４でＮｏ）、信号検出部１０３は、サブ入力信号の入力が復旧したか否か、すなわち、サブ入力信号が再度入力されるか否かを検出する（Ｓ２０３）。サブ入力信号が再度入力された場合（Ｓ２０３でＹｅｓ）、信号検出部１０３は、復旧通知を遮断情報通知部１４１に出力し、サブ入力信号の有無の確認（Ｓ２０１）を続ける。
【０１３５】
遮断情報通知タイマは、一定時間内にサブ入力信号が再度検出できなければ、送信データ生成部１０５（画像処理部４２）及び表示データ生成部１０７（表示処理部４０）に対して、サブ入力が遮断されている旨を示す遮断情報を通知するためのタイマである。つまり、会議者にサブ入力が遮断されたことを通知するまでの期間を決定するためのタイマであり、一定時間はゼロ秒であってもよい。
【０１３６】
遮断情報通知タイマが起動後、第１期間内にサブ入力信号が検出できなかった場合（Ｓ２０４でＹｅｓ）、遮断情報通知部１４１は、送信データ生成部１０５（画像処理部４２）と表示データ生成部１０７（表示処理部４０）と表示切替要求通知部１４２とに遮断情報を通知する（Ｓ２０５）。
【０１３７】
送信データ生成部１０５（画像処理部４２）は、遮断情報を受信し、サブ入力信号が遮断されている旨を含めて送信データを生成し、生成した送信データを映像送信部１６１（通信制御部４６）に出力する。つまり、送信データ生成部１０５は、コミュニケーション装置Ｂ１２の表示部の第３領域に遮断情報が表示されるように送信データを生成する。これにより、コミュニケーション装置Ｂ１２の表示部には、図８の映像２３１に示すように、親画面２３２にはサブ映像が表示されず、遮断情報２３４が表示される。また、子画面２３３にはメイン映像が表示される。
【０１３８】
表示データ生成部１０７（表示処理部４０）も同様に、サブ入力信号が遮断されている旨を含めて表示データを生成し、生成した表示データをディスプレイ２１（表示部４１）に出力する。つまり、表示データ生成部１０７は、ディスプレイ２１の第３領域に遮断情報が表示されるように表示データを生成する。これにより、コミュニケーション装置Ａ１１のディスプレイ２１（表示部４１）には、図９の映像３３１に示すように、親画面３３２にはサブ映像が表示されず、遮断情報３３４が表示される。また、子画面３３３にはメイン映像が表示される。
【０１３９】
表示切替要求通知部１４２は、遮断情報を受信すると同時に、表示切替タイマを起動する。第２期間が経過するまでの間（Ｓ２０７でＮｏ）、信号検出部１０３は、サブ入力信号の入力が復旧したか否か、すなわち、サブ入力信号が再度入力されるか否かを検出する（Ｓ２０６）。サブ入力信号が再度入力された場合（Ｓ２０６でＹｅｓ）、信号検出部１０３は、復旧通知を表示切替要求通知部１４２に出力し、サブ入力信号の有無の確認（Ｓ２０１）を続ける。
【０１４０】
表示切替タイマは、一定時間内にサブ入力信号が検出できなかった場合、送信データ生成部１０５（画像処理部４２）及び表示データ生成部１０７（表示処理部４０）に対して、親画面、子画面の表示位置を切り替えさせる表示切替要求を送信するためのタイマである。表示切替タイマは、サブ入力信号がノートＰＣ２８であった場合に、一度、ノートＰＣの入力を切断し、別のノートＰＣを接続する場合などに、タイマなしに表示位置の切り替えが行われると、画面のちらつきによる会議者の不快感を低減する効果がある。
【０１４１】
表示切替タイマが起動後、第２期間内にサブ入力信号が検出できなかった場合（Ｓ２０７でＹｅｓ）、表示切替要求通知部１４２は、送信データ生成部１０５（画像処理部４２）と表示データ生成部１０７（表示処理部４０）とに表示切替要求を通知する（Ｓ２０８）。
【０１４２】
送信データ生成部１０５（画像処理部４２）は、表示切替要求を受信し、親画面をメイン入力信号が含むメイン映像とし、子画面をサブ入力信号が含むサブ映像に設定する。すなわち、送信データ生成部１０５は、表示切替要求が通知された場合、親画面にメイン映像が表示されるように送信データを生成する。このとき、サブ入力信号が取得されていないので子画面には、無信号状態を示す映像（黒画面など）が表示される。これにより、コミュニケーション装置Ｂ１２の表示部には、図８の映像２４１に示すように、親画面２４２には、メイン映像が表示される。また、子画面２４３にサブ入力信号なしの映像が表示される。
【０１４３】
コミュニケーション装置Ａ１１の表示データ生成部１０７（表示処理部４０）も同様に、親画面にはメイン入力信号が含むメイン映像、子画面にサブ入力信号が含むサブ映像を設定する。すなわち、表示データ生成部１０７も、表示切替要求が通知された場合、親画面にメイン映像が表示されるように表示データを生成する。このとき、サブ入力信号が取得されていないので子画面には、無信号状態を示す映像（黒画面など）が表示される。これにより、ディスプレイ２１（表示部４１）には、図９の映像３４１に示すように、親画面３４２には、メイン映像が表示され、子画面３４３にはサブ入力信号なしの映像が表示される。
【０１４４】
この後、表示切替要求通知部１４２は、表示切替要求を通知すると同時に、コンテンツ共有解除タイマを起動する。第３期間が経過するまでの間（Ｓ２１０でＮｏ）、信号検出部１０３は、サブ入力信号の入力が復旧したか否か、すなわち、サブ入力信号が再度入力されるか否かを検出する（Ｓ２０９）。サブ入力信号が再度入力された場合（Ｓ２０９でＹｅｓ）、信号検出部１０３は、復旧通知を表示切替要求通知部１４２に出力し、サブ入力信号の有無の確認（Ｓ２０１）を続ける。
【０１４５】
コンテンツ共有解除タイマは、一定期間内にサブ入力信号が検出できなかった場合に、サブ入力信号の表示を解除する、すなわち、子画面を表示させなくするためのタイマである。
【０１４６】
コンテンツ共有解除タイマが起動後、第３期間内にサブ入力信号が検出できなかった場合（Ｓ２１０でＹｅｓ）、表示切替要求通知部１４２は、コンテンツ共有解除要求を送信データ生成部１０５（画像処理部４２）と表示データ生成部１０７（表示処理部４０）とに通知する（Ｓ２１１）。
【０１４７】
送信データ生成部１０５（画像処理部４２）は、子画面を消去することにより、親画面のみを表示させるように送信データを生成する。これにより、コミュニケーション装置Ｂ１２の表示部には、図８の映像２０１に示すように、メイン映像のみが表示される。
【０１４８】
同様に、表示データ生成部１０７（表示処理部４０）は、子画面を消去することにより、親画面のみを表示させるように表示データを生成する。これにより、コミュニケーション装置Ａ１１のディスプレイ２１（表示部４１）には、図９の映像３０１に示すように、コミュニケーション装置Ｂ１２から受信したメイン映像のみが表示される。
【０１４９】
以上のように、本実施の形態の映像通信装置１００（コミュニケーション装置Ａ１１）は、サブ入力信号の有無を確認し、サブ入力信号が遮断された場合に遮断情報として、自装置の表示部と相手装置の表示部とに表示させるように送信データ及び表示データを生成する。
【０１５０】
これにより、本実施の形態の映像通信装置１００を用いた電子会議システムでは、表示部に黒画面（信号が無いことを示す画面）が表示された場合であっても、表示部に遮断情報が表示される。したがって、参加者はサブ入力信号が遮断されていることを容易に確認することができる。
【０１５１】
また、現在、電子会議システムは会議用途で使用されることが主流であるが、今後、家庭などに普及し、祖父母の家庭と、遠く離れた場所にある子や孫の家庭とのコミュニケーションに用いられる可能性がある。その際、電子機器の操作に疎いユーザが使用することも想定されるため、ユーザ操作を簡略化し、機器の状態を明確化することが求められる。
【０１５２】
そこで、本実施の形態の映像通信装置１００は、遮断情報を通知した後に、所定の期間（第２期間）が経過すれば、サブ映像の表示を親画面から子画面に参加者の操作なしに自動的に変更する。したがって、参加者が本装置の操作に疎い場合であっても、スムーズに電子会議を継続することができる。
【０１５３】
なお、サブ入力信号を受ける側のコミュニケーション装置Ｂ１２は、呼接続制御、データ通信制御、及び、コンテンツ共有機能を備える装置であればよい。具体的には、コミュニケーション装置Ｂ１２は、図５に示すメイン映像入力部１０１と、送信データ生成部１０５と、映像送信部１６１と、映像受信部１６２と、表示データ生成部１０７と、映像出力部１０８とに相当する処理部を備えていればよい。なお、このとき、コミュニケーション装置Ｂ１２が備える送信データ生成部１０５と表示データ生成部１０７とは、表示位置を変更する機能などは必要ではない。
【０１５４】
なお、コンテンツ共有解除要求を行う前に、図１０に示す映像４４１のようにコンテンツ共有解除待ちである旨を示す解除情報４４４を表示させてもよい。なお、映像４４１は、図８の映像２４１に相当する。
【０１５５】
具体的には、送信データ生成部１０５が表示を切り替えると同時に、送信データ生成部１０５は、解除情報４４４が表示されるように送信データを生成する。表示データ生成部１０７も同様に、表示を切り替えると同時に、解除情報４４４が表示されるように表示データを生成する。解除情報４４４は、例えば、表示切替要求通知部１４２によって生成され、送信データ生成部１０５と表示データ生成部１０７とに出力される。
【０１５６】
また、本実施の形態では、親画面と子画面とを用いて説明を行ったが、子画面を利用せず、親画面のみで、メイン入力信号とサブ入力信号との切替を行ってもよい。図１１は、コミュニケーション装置Ｂ１２の表示部に表示される画像遷移の異なる一例を示す図である。
【０１５７】
同図に示すように、コンテンツ共有開始前は、コミュニケーション装置Ｂ１２の表示部は、映像５０１（図８の映像２０１に相当する）を表示する。映像５０１は、コミュニケーション装置Ａ１１のメインカメラ２２から取得したメイン映像である。
【０１５８】
コンテンツ共有が開始されると（図６のＳ１０３）、表示部は、映像５１１（図８の映像２１１に相当する）を表示する。映像５１１は、コミュニケーション装置Ａ１１のサブカメラ２７から取得したサブ映像である。
【０１５９】
このように、コンテンツ共有が開始されると、コミュニケーション装置Ｂ１２の表示部は、メイン映像を表示せずにサブ映像のみを表示させてもよい。すなわち、コミュニケーション装置Ａ１１の送信データ生成部１０５は、コミュニケーション装置Ｂ１２の表示部にサブ映像のみが表示されるように送信データを生成してもよい。
【０１６０】
サブ入力信号が遮断すると（図７のＳ２０１でＹｅｓ）、表示部は、映像５２１（図８の映像２２１に相当する）を表示する。映像５２１は、無信号であることを示す黒画面などである。
【０１６１】
第１期間経過後に（図７のＳ２０４でＹｅｓ）、表示部は、映像５３１（図８の映像２３１又は２４１に相当する）を表示する。映像５３１は、無信号であることを示す黒画面などの上に、遮断情報５３４が表示された映像である。すなわち、コミュニケーション装置Ａ１１の送信データ生成部１０５は、コミュニケーション装置Ｂ１２の表示部に、遮断情報が表示されるように送信データを生成する。
【０１６２】
さらに、第２期間が経過すると（図７のＳ２０６でＹｅｓ）、表示部は、映像５０１（図８の映像２０１に相当する）を表示する。すなわち、コミュニケーション装置Ａ１１の送信データ生成部１０５は、表示切替要求が通知された場合、コミュニケーション装置Ｂ１２の表示部にメイン映像が表示されるように送信データを生成する。
【０１６３】
以上のように、親画面と子画面とを用いずに、メイン映像とサブ映像とを切り替えて表示させる場合は、特にコミュニケーション装置Ｂ１２側の参加者にとって、サブ映像が遮断された場合には、この遮断の要因を特定することは困難である。なぜなら、メイン映像の通信が切断された場合も、サブ映像のみが遮断された場合も、映像５２１のような黒画面が表示部に表示されるためである。
【０１６４】
本実施の形態では、サブ入力信号が遮断された場合には、映像５３１に示すように、遮断情報５３４が表示されるので、コミュニケーション装置Ｂ１２側の参加者も、容易にサブ入力信号が遮断されたことを認識することができる。
【０１６５】
また、本実施の形態では、サブ入力信号の遮断は、ケーブル抜けとして説明したが、サブ入力信号の遮断は、サブカメラ２７（画像入力部４３）の電池切れ、電源ＯＦＦ、Ｄ端子信号の切断、ＨＤＭＩ信号の切断などであってもよい。特に、ＨＤＭＩ上のＣＥＣ（Ｃｏｎｓｕｍｅｒ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｃｏｎｔｒｏｌ）制御などで、信号停止命令がサブカメラ２７から送信される場合、会議者が意図するサブ入力遮断と判断し、サブ入力信号の遮断を検出（Ｓ２０１でＹｅｓ）後、即座にメイン映像を親画面に表示してもよい。すなわち、表示部は、映像２２１から映像２４１又は映像２０１に表示を変更してもよい。
【０１６６】
具体的には、信号検出部１０３（信号確認部６１）がサブカメラ２７からの信号停止命令を受信し、受信した信号停止命令を通知部１０４（通知部６２）に出力する。通知部１０４では、信号停止命令を受信すると、表示切替タイマを起動することなく、表示切替要求を送信データ生成部１０５と表示データ生成部１０７とに出力する。
【０１６７】
このように、通知部１０４は、サブ入力信号を停止することを示す停止命令をユーザから受け取った場合に、表示切替要求を送信データ生成部１０５及び表示データ生成部１０７に出力してもよい。これにより、ユーザが意図的にサブ入力信号を停止した場合に、第２期間を待つ必要なく、メイン映像を大きく表示させることができるので、よりスムーズに電子会議を継続することができる。
【０１６８】
なお、本実施の形態では、遮断情報通知タイマ、表示切替タイマ及びコンテンツ共有解除タイマを用いたが、通知部１０４は、各タイマを起動せずに、即座に遮断情報、表示切替要求又はコンテンツ共有解除要求を通知してもよい。すなわち、上述の第１期間、第２期間及び第３期間をそれぞれ０秒としてもよい。
【０１６９】
また、本実施の形態では、メイン映像とサブ映像との表示位置は、親画面のみと、親画面＋子画面との２つを用いて説明を行ったが、左右画面、上下画面、上下左右画面などであっても構わない。このとき、各画面の大きさは同じ大きさであってもよい。また、遮断情報の通知箇所についても、画面下側と説明したが、ディスプレイ２１（表示部４１）に表示さえすれば、どこであっても構わない。
【０１７０】
また、本実施の形態では、遮断情報の通知方法は、親画面に対して行ったが、音声により会議者に通知してもよい。つまり、送信データ生成部１０５及び表示データ生成部１０７は、遮断情報を音声として出音されるように送信データ又は表示データを生成してもよい。
【０１７１】
また、親画面ではなく、本体２０に備えられている液晶画面又はＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）などの遮断情報などのユーザに提示すべき情報を表示する情報表示部を用いてもよい。
【０１７２】
また、コミュニケーション装置Ａ１１のサブ入力信号の遮断が検出された際、コミュニケーション装置Ａ１１のメインカメラ２２は、サブカメラ２７本体を映像の中から検出し、ズーム撮影し、コミュニケーション装置Ａ１１の表示部４１に出力することにより、遮断された原因の特定に用いてもよい。
【０１７３】
また、本実施の形態では、コミュニケーション装置Ａ１１の信号確認部６１が信号の遮断を検出するように説明したが、コミュニケーション装置Ｂ１２の表示処理部にて、画像解析機能を備え、サブ入力信号映像が一面黒画面になった場合にサブ入力信号が遮断されたと判断して、本実施の形態と同様の遮断情報通知、及び、表示切替制御を行ってもよい。
【０１７４】
（実施の形態２）
実施の形態１では、サブカメラ２７によるコンテンツ共有は、メインカメラ２２による通信と同一の通信で行われていたが、本実施の形態では、メインカメラ２２による通信とは別に、コンテンツ共有用の通信を確立し、確立したコンテンツ共有用の通信でコンテンツ共有を行う。このとき、コミュニケーション装置Ａ１１は、無信号通知をコミュニケーション装置Ｂ１２に通知するのみで、遮断情報の通知、及び、表示位置の切替処理などは、コミュニケーション装置Ｂ１２が実施する。したがって、まず、以下では、コミュニケーション装置Ａ１１の機能構成について説明する。
【０１７５】
図１２は、本実施の形態のサブ入力信号を送信する側の映像通信装置６００の機能構成を示すブロック図である。映像通信装置６００は、コミュニケーション装置Ａ１１に相当し、映像信号の送受信に関わる処理を行う装置である。同図の映像通信装置６００は、図５の映像通信装置１００と比較して、信号検出部１０３の代わりに信号検出部６０３を備え、通知部１０４の通知部６０４を備え、送信データ生成部１０５の代わりに送信データ生成部６０５を備え、通信部１０６の代わりに通信部６０６を備える点が異なっている。以下では、実施の形態１と同じ点は説明を省略し、異なる点を中心に説明する。
【０１７６】
信号検出部６０３は、信号検出部１０３と同様に、サブ映像入力部１０２によってサブ入力信号が取得されるか否かを検出する。信号検出部６０３は、検出結果に応じて、無信号通知及び復旧通知を通知部６０４と通信部６０６とに通知する。
【０１７７】
通知部６０４は、サブ入力信号が取得されているか否かに応じて、表示データ生成部１０７に遮断情報及び表示切替要求を通知する。図１２に示すように、通知部６０４は、遮断情報通知部６４１と表示切替要求通知部６４２とを備える。
【０１７８】
遮断情報通知部６４１は、遮断情報通知部１４１と同様の処理を行う。ただし、遮断情報を表示データ生成部１０７のみに通知する点が異なる。
【０１７９】
表示切替要求通知部６４２は、表示切替要求通知部１４２と同様の処理を行う。ただし、表示切替要求を表示データ生成部１０７のみに通知する点が異なる。
【０１８０】
送信データ生成部６０５は、メイン映像入力部１０１によって取得された第１メイン映像を含むメイン送信データと、サブ映像入力部１０２によって取得されたサブ映像を含むサブ送信データとを生成する。生成したメイン送信データ及びサブ送信データは、通信部６０６が備える映像送信部６６１に出力される。なお、第１メイン映像は、例えば、コミュニケーション装置Ａ１１が備えるメインカメラ２２がユーザなどを撮影した映像である。
【０１８１】
通信部６０６は、メイン送信データ用のメイン通信と、サブ送信データ用のサブ通信との２つの通信を確立し、確立した２つの通信を利用してデータの送受信を行う。図１２に示すように、通信部６０６は、映像送信部６６１と映像受信部６６２とを備える。
【０１８２】
映像送信部６６１は、メイン通信を用いてメイン送信データを他の映像通信装置（コミュニケーション装置Ｂ１２）に送信する。さらに、サブ通信を用いてサブ送信データをコミュニケーション装置Ｂ１２に送信する。また、信号検出部６０３から無信号通知又は復旧通知が通知された場合、当該無信号通知又は復旧通知をメイン通信又はサブ通信を用いてコミュニケーション装置Ｂ１２に送信する。
【０１８３】
映像受信部６６２は、メイン通信を用いて他の映像通信装置（コミュニケーション装置Ｂ１２）からメイン受信データを受信する。メイン受信データは、例えば、コミュニケーション装置Ｂ１２が備えるメインカメラなどによって撮像された相手ユーザの画像などを含む。
【０１８４】
以上のように、本実施の形態の映像通信装置６００（コミュニケーション装置Ａ１１）は、サブ入力信号の有無をコミュニケーション装置Ｂ１２に送信する。
【０１８５】
続いて、コミュニケーション装置Ｂ１２の機能構成について説明する。
【０１８６】
図１３は、本実施の形態のサブ入力信号を受信する側の映像通信装置７００の機能構成を示すブロック図である。映像通信装置７００は、コミュニケーション装置Ｂ１２に相当し、映像信号の送受信に関わる処理を行う装置である。同図に示すように、映像通信装置７００は、メイン映像入力部７０１と、通知部７０４と、送信データ生成部７０５と、通信部７０６と、表示データ生成部７０７と、映像出力部７０８とを備える。
【０１８７】
メイン映像入力部７０１は、メインカメラ７２２と接続し、メインカメラ７２２によって撮像される第２メイン映像を示すメイン入力信号を取得する。そして、取得したメイン入力信号を送信データ生成部７０５に出力する。なお、第２メイン映像は、コミュニケーション装置Ｂ１２が備えるメインカメラ７２２がユーザなどを撮影した映像であり、コミュニケーション装置Ａ１１が備えるディスプレイ２１に表示される。
【０１８８】
通知部７０４は、映像受信部７６２が映像通信装置６００（コミュニケーション装置Ａ１１）から送信される無信号通知に基づいて、遮断情報及び表示切替要求などを表示データ生成部７０７に通知する。図１３に示すように、通知部７０４は、遮断情報通知部７４１と表示切替要求通知部７４２とを備える。
【０１８９】
遮断情報通知部７４１は、映像受信部７６２から無信号通知を受け取った場合に、遮断情報を生成する。なお、遮断情報を生成する処理は、遮断情報通知部１４１又は６４１と同様である。そして、生成した遮断情報を表示データ生成部７０７と表示切替要求通知部７４２とに通知する。なお、遮断情報は、実施の形態１と同様に、コミュニケーション装置Ａ１１が備えるサブカメラ２７などからのサブ入力信号が入力されていないことを示す情報である。
【０１９０】
表示切替要求通知部７４２は、遮断情報通知部７４１から遮断情報を受け取ってから予め定められた第２期間経過後に、表示切替要求を表示データ生成部７０７に通知する。なお、表示切替要求を通知する処理は、表示切替要求通知部１４２又は６４２と同様である。
【０１９１】
送信データ生成部７０５は、第２メイン映像を含むメイン受信データを生成する。生成したメイン受信データは、通信部７０６が備える映像送信部７６１に出力される。
【０１９２】
通信部７０６は、メイン通信とサブ通信との２つの通信を利用してデータの送受信を行う。図１３に示すように、通信部７０６は、映像送信部７６１と映像受信部７６２とを備える。
【０１９３】
映像送信部７６１は、メイン通信を用いてメイン受信データを映像通信装置６００（コミュニケーション装置Ａ１１）に送信する。
【０１９４】
映像受信部７６２は、メイン通信を用いてメイン送信データを映像通信装置６００（コミュニケーション装置Ａ１１）から受信する。さらに、サブ通信を用いてサブ送信データをコミュニケーション装置Ａ１１から受信する。また、無信号通知又は復旧通知を受信し、受信した無信号通知又は復旧通知を遮断情報通知部７４１に出力する。
【０１９５】
表示データ生成部７０７は、第１メイン映像とサブ映像とを含む表示データを生成する。このとき、遮断情報通知部７４１から遮断情報が通知された場合は、表示データ生成部７０７は、通知された遮断情報と第１映像とを含む表示データを生成する。生成した表示データは、映像出力部７０８に出力される。また、表示切替要求通知部７４２から表示切替要求が通知された場合は、表示データ生成部７０７は、受信データに含まれる映像がサブ映像より大きく表示されるように表示データを生成する。
【０１９６】
映像出力部７０８は、表示データ生成部７０７によって生成された表示データをディスプレイ７２１に出力する。
【０１９７】
以上のように、本実施の形態の映像通信装置７００（コミュニケーション装置Ｂ１２）は、コミュニケーション装置Ａ１１からサブ入力信号の有無に関する情報（無信号通知及び復旧通知）を受信し、当該情報に基づいて、遮断情報の通知、及び、表示位置の切替処理などを行う。つまり、どのタイミングで遮断情報をディスプレイ７２１に表示させるか、どのタイミングで映像の表示を変更するかなどは、実施の形態１とは異なり、サブ入力信号を受信する側のコミュニケーション装置Ｂ１２が行う。
【０１９８】
続いて、本実施の形態のコミュニケーション装置の動作について説明する。なお、コミュニケーション装置Ｂ１２のディスプレイ７２１に表示される映像について、図８を用いて説明する。
【０１９９】
図１４は、コミュニケーション装置Ａ１１におけるメイン通信とサブ通信とを確立する動作とコンテンツの共有を開始する動作とを示すフローチャートである。
【０２００】
最初に、メイン入力信号を用いて、コミュニケーション装置Ａ１１とコミュニケーション装置Ｂ１２との間にメイン通信が確立される（Ｓ３０１）。なお、具体的な処理については、実施の形態１（図７のＳ１０１）と同様であるので説明を省略する。これにより、ディスプレイ７２１には、図８に示す映像２０１が表示される。映像２０１は、コミュニケーション装置Ａのメインカメラ２２が撮影した映像である。
【０２０１】
次に、コンテンツ共有に備えて、信号検出部１０３は、サブ入力信号が入力されるか否かを検出する（Ｓ３０２）。サブ入力信号が検出された場合（Ｓ３０２でＹｅｓ）、コミュニケーション装置Ａ１１とコミュニケーション装置Ｂ１２との間で、サブ入力信号を通信するためのサブ通信を確立する（Ｓ３０２）。これにより、ディスプレイ７２１には、図８に示す映像２１１が表示される。すなわち、親画面２１２には、サブカメラ２７が撮影したサブ映像が表示され、子画面２１３には、メインカメラ２２が撮影したメイン映像が表示される。
【０２０２】
このように、本実施の形態では、メイン入力信号用のメイン通信とサブ入力信号用のサブ通信との２つの通信を用いる。したがって、メイン入力信号に含まれるメイン映像と、サブ入力信号に含まれるサブ映像との両方を表示させるための合成処理は、サブ入力信号を受信する側のコミュニケーション装置Ｂ１２が実行する。
【０２０３】
以下では、コミュニケーション装置Ｂ１２（映像通信装置７００）の動作のうち、特に、サブ入力信号が信号検出部６０３によって取得されない場合の動作について説明する。
【０２０４】
図１５は、コミュニケーション装置Ｂ１２におけるサブ入力信号が遮断された場合の動作を示すフローチャートである。同図に示す処理は、実施の形態１で説明したコミュニケーション装置Ａ１１の動作とほぼ同じである。同じ処理ステップには同じ参照符号を付している。
【０２０５】
まず、映像受信部７６２は、コミュニケーション装置Ａ１１から無信号通知を受信した場合（Ｓ４０１でＹｅｓ）、受信した無信号通知を遮断情報通知部７４１に出力する。このとき、サブ入力信号が受信されていないので、ディスプレイ７２１には、図８の映像２２１が表示される。
【０２０６】
遮断情報通知部７４１は、無信号通知を受信すると同時に、遮断情報通知タイマを起動する。第１期間が経過するまでの間に（Ｓ２０４でＮｏ）、映像受信部７６２がコミュニケーション装置Ａ１１から復旧通知を受け取った場合、すなわち、サブ送信データを再び受信した場合（Ｓ２０３でＹｅｓ）、表示データ生成部７０７は、再受信したサブ送信データに含まれるサブ映像とメイン映像とを含む表示データを生成する。このとき、ディスプレイ７２１には、図８の映像２２１が表示される。
【０２０７】
遮断情報通知タイマを起動後、復旧通知を受け取ることなく第１期間が経過した場合（Ｓ２０４でＹｅｓ）、遮断情報通知部７４１は、遮断情報を生成し、表示切替要求通知部７４２と、表示データ生成部７０７とに通知する（Ｓ２０５）。表示データ生成部７０７は、受信した遮断情報とメイン映像とを含む表示データを生成する。これにより、ディスプレイ７２１には、図８の映像２３１が表示される。
【０２０８】
表示切替要求通知部７４２は、遮断情報を受信すると同時に、表示切替タイマを起動する。第２期間が経過するまでの間に（Ｓ２０７でＮｏ）、映像受信部７６２がコミュニケーション装置Ａ１１から復旧通知を受け取った場合、すなわち、サブ送信データを再び受信した場合（Ｓ２０６でＹｅｓ）、表示データ生成部７０７は、再受信したサブ送信データに含まれるサブ映像とメイン映像とを含む表示データを生成する。このとき、ディスプレイ７２１には、図８の映像２２１が表示される。
【０２０９】
表示切替タイマを起動後、復旧通知を受け取ることなく第２期間が経過した場合（Ｓ２０７でＹｅｓ）、表示切替要求通知部７４２は、表示切替要求を表示データ生成部７０７に通知する。表示データ生成部７０７は、表示切替要求を受信し、親画面をメイン入力信号が含むメイン映像とし、子画面をサブ入力信号が含むサブ映像に設定する（Ｓ２０８）。これにより、ディスプレイ７２１には、図８の映像２４１が表示される。
【０２１０】
そして、表示切替要求通知部１４２は、表示切替要求を通知すると同時に、コンテンツ共有解除タイマを起動する。第３期間が経過するまでの間に（Ｓ２１０でＮｏ）、映像受信部７６２がコミュニケーション装置Ａ１１から復旧通知を受け取った場合、すなわち、サブ送信データを再び受信した場合（Ｓ２０９でＹｅｓ）、表示データ生成部７０７は、再受信したサブ送信データに含まれるサブ映像とメイン映像とを含む表示データを生成する。このとき、ディスプレイ７２１には、図８の映像２２１が表示される。
【０２１１】
コンテンツ共有解除タイマが起動後、第３期間内にサブ入力信号が検出できなかった場合（Ｓ２１０でＹｅｓ）、表示切替要求通知部７４２は、コンテンツ共有解除要求を表示データ生成部７０７に通知する（Ｓ２１１）。表示データ生成部７０７は、子画面を消去することにより、親画面のみを表示させるように表示データを生成する。これにより、ディスプレイ７２１には、図８の映像２０１が表示される。
【０２１２】
以上のように、本実施の形態の映像通信装置６００（コミュニケーション装置Ａ１１）及び映像通信装置７００（コミュニケーション装置Ｂ１２）を用いた映像通信システム（電子会議システム）は、メイン通信とサブ通信との２つの通信を用いて映像データの送受信を行う。このとき、サブ映像を受信する側の映像通信装置７００は、サブ映像の受信の有無に応じて、サブ映像が受信されていない場合に遮断情報をディスプレイ７２１に表示させる。
【０２１３】
これにより、メイン用の通信とサブ用の通信との２つの通信を用いている場合であっても、双方の表示部に遮断情報が表示される。したがって、電子会議システムに参加している参加者は、ディスプレイ７２１に表示された遮断情報を見ることで、サブ入力信号が遮断されていることを容易に確認することができる。
【０２１４】
さらに、本実施の形態の映像通信装置６００及び７００は、実施の形態１と同様に、遮断情報を通知した後に、サブ映像の表示を親画面から子画面に参加者の操作なしに自動的に変更する。したがって、参加者が本装置の操作に疎い場合であっても、スムーズに電子会議を継続することができる。
【０２１５】
（実施の形態３）
本実施の形態では、実施の形態２と同様に、メインカメラ２２によるメイン通信とは別に、コンテンツ共有用のサブ通信を確立する場合について、実施の形態２とは異なる方法で、遮断情報の通知、及び、表示切替要求の通知を実現する。
【０２１６】
図１６は、本実施の形態のサブ入力信号を送信する側の映像通信装置８００の機能構成を示すブロック図である。映像通信装置８００は、コミュニケーション装置Ａ１１に相当し、映像信号の送受信に関わる処理を行う装置である。同図に示す映像通信装置８００は、図１２の映像通信装置と比較して、通知部６０４の代わりに通知部８０４を備え、通信部６０６の代わりに通信部８０６を備える点が異なっている。以下では、実施の形態２と同じ点は説明を省略し、異なる点を中心に説明する。
【０２１７】
通知部８０４は、サブ入力信号が取得されているか否かに応じて、遮断情報及び表示切替要求を表示データ生成部１０７と、通信部８０６が備える映像送信部８６１とに通知する。図１６に示すように、通知部８０４は、遮断情報通知部８４１と、表示切替要求通知部８４２とを備える。
【０２１８】
遮断情報通知部８４１は、遮断情報通知部６４１と同様の処理を行う。ただし、遮断情報を表示データ生成部１０７だけでなく、通信部８０６が備える映像送信部８６１にも通知する点が異なる。
【０２１９】
表示切替要求通知部８４２は、表示切替要求通知部６４２と同様の処理を行う。ただし、表示切替要求を表示データ生成部１０７だけでなく、映像送信部８６１にも通知する点が異なる。
【０２２０】
通信部８０６は、通信部６０６と同様に、メイン送信データ用のメイン通信と、サブ送信データ用のサブ通信との２つの通信を確立し、確立した２つの通信を利用してデータの送受信を行う。図１６に示すように、通信部８０６は、映像送信部８６１と映像受信部６６２とを備える。なお、映像受信部６６２は、実施の形態２と同様の処理を行うので、ここでは説明を省略する。
【０２２１】
映像送信部８６１は、メイン通信を用いて他の映像通信装置（コミュニケーション装置Ｂ１２）にメイン受信データを送信する。さらに、サブ通信を用いてサブ送信データをコミュニケーション装置Ｂ１２に送信する。また、信号検出部６０３から無信号通知若しくは復旧通知が通知された場合、遮断情報通知部８４１から遮断情報が通知された場合、又は、表示切替要求通知部８４２から表示切替要求が通知された場合、映像送信部８６１は、当該無信号通知、復旧通知、遮断情報又は表示切替要求をメイン通信又はサブ通信を用いてコミュニケーション装置Ｂ１２に送信する。例えば、これらの通知は、ＲＴＣＰパケットのＡＰＰ（Ａｐｐｌｉｃａｔｉｏｎ−ｄｅｆｉｎｅｄ）パケットを利用して送信される。
【０２２２】
以上のように、本実施の形態の映像通信装置８００（コミュニケーション装置Ａ１１）は、サブ入力信号の有無を示す情報、遮断情報及び表示切替要求をコミュニケーション装置Ｂ１２に送信する。
【０２２３】
続いて、本実施の形態のコミュニケーション装置Ｂ１２の機能構成について説明する。
【０２２４】
図１７は、本実施の形態のサブ入力信号を受信する側の映像通信装置９００の機能構成を示すブロック図である。映像通信装置９００は、コミュニケーション装置Ｂ１２に相当し、映像信号の送受信に関わる処理を行う装置である。同図に示すように、映像通信装置９００は、図１３の映像通信装置７００と比較して、通信部７０６の代わりに通信部９０６を備え、表示データ生成部７０７の代わりに表示データ生成部９０７を備える点が異なっている。以下では、実施の形態２と同じ点は説明を省略し、異なる点を中心に説明する。
【０２２５】
通信部９０６は、メイン通信とサブ通信との２つの通信を利用してデータの送受信を行う。図１７に示すように、通信部９０６は、映像送信部７６１と映像受信部９６２とを備える。なお、映像送信部７６１は、実施の形態２と同様の処理を行うので、ここでは説明を省略する。
【０２２６】
映像受信部９６２は、メイン通信を用いてメイン送信データを映像通信装置７００（コミュニケーション装置Ａ１１）から受信する。さらに、サブ通信を用いてサブ送信データをコミュニケーション装置Ａ１１から受信する。また、無信号通知、復旧通知、遮断情報又は表示切替要求を受信し、受信したこれらの情報を表示データ生成部９０７に出力する。
【０２２７】
表示データ生成部９０７は、表示データ生成部７０７と同様の処理を行う。無信号通知などを映像受信部９６２から受け取る点が、実施の形態２の表示データ生成部７０７とは異なる。
【０２２８】
以上のように、本実施の形態の映像通信装置９００（コミュニケーション装置Ｂ１２）は、コミュニケーション装置Ａ１１からサブ入力信号の有無に関する情報（無信号通知及び復旧通知）、遮断情報、及び、表示切替要求を受信し、受信したこれらの情報を用いて表示データを生成する。つまり、どのタイミングで遮断情報をディスプレイ７２１に表示させるか、どのタイミングで映像の表示を変更するかなどは、実施の形態１と同様に、サブ入力信号を送信する側のコミュニケーション装置Ａ１１が行う。
【０２２９】
続いて、本実施の形態のコミュニケーション装置の動作について説明する。なお、コミュニケーション装置Ｂ１２のディスプレイ７２１に表示される映像について、図８を用いて説明する。
【０２３０】
また、メイン通信とサブ通信とを確立し、コンテンツ共有を開始するまでの処理は、実施の形態２（図１４）と同じであるので、ここでは説明を省略する。さらに、サブ入力信号を送信する側の映像通信装置８００の動作については、実施の形態１と同じであるので、ここでは説明を省略する。よって、以下では、映像通信装置９００（コミュニケーション装置Ｂ１２）の動作を中心に説明する。
【０２３１】
図１８は、コミュニケーション装置Ｂ１２におけるサブ入力信号が遮断された場合の動作を示すフローチャートである。なお、ディスプレイ７２１には、コンテンツ共有が開始されることで、映像２１１が表示されている。このとき、コミュニケーション装置Ａ１１側でサブ入力信号が遮断された場合には、ディスプレイ７２１には、映像２２１が表示される。このとき、コミュニケーション装置Ａの遮断情報通知部８４１から映像送信部８６１を介して遮断情報が送信される。
【０２３２】
映像受信部９６２は、遮断情報を受信し、受信した遮断情報を表示データ生成部９０７に出力する（Ｓ５０１）。表示データ生成部９０７は、受信した遮断情報と第１メイン映像とを含む表示データを生成する。生成した表示データは、映像出力部７０８を介してディスプレイ７２１に出力される。このとき、ディスプレイ７２１には、図８の映像２３１が表示される。
【０２３３】
ここで、映像受信部９６２が復旧通知を受信した場合（Ｓ５０２でＹｅｓ）、表示データ生成部９０７は、第１メイン映像とサブ映像とを含む表示データを生成する。そして、生成した表示データは、映像出力部７０８を介してディスプレイ７２１に出力される。このとき、ディスプレイ７２１には、図８の映像２１１が表示される。
【０２３４】
復旧通知を受信することなく、映像受信部９６２が表示切替要求を受信した場合には（Ｓ５０２でＮｏ）、表示データ生成部９０７は、親画面をメイン入力信号が含むメイン映像とし、子画面をサブ入力信号が含むサブ映像に設定する（Ｓ５０３）。これにより、図８の映像２４１が表示される。
【０２３５】
ここで、映像受信部９６２が復旧通知を受信した場合（Ｓ５０４でＹｅｓ）、表示データ生成部９０７は、第１メイン映像とサブ映像とを含む表示データを生成する。そして、生成した表示データは、映像出力部７０８を介してディスプレイ７２１に出力される。このとき、ディスプレイ７２１には、図８の映像２１１が表示される。
【０２３６】
復旧通知を受信することなく、映像受信部９６２がコンテンツ共有解除要求を受信した場合には（Ｓ５０４でＮｏ）、表示データ生成部９０７は、第１メイン映像のみが表示されるように表示データを生成する。そして、生成した表示データは、映像出力部７０８を介してディスプレイ７２１に出力される。このとき、ディスプレイ７２１には、図８の映像２０１が表示される。
【０２３７】
以上のように、本実施の形態の映像通信装置８００（コミュニケーション装置Ａ１１）及び映像通信装置９００（コミュニケーション装置Ｂ１２）を用いた映像通信システム（電子会議システム）は、実施の形態２と同様に、メイン通信とサブ通信との２つの通信を用いて映像データの送受信を行う。このとき、サブ映像を受信する側の映像通信装置９００は、サブ映像を送信する側の映像通信装置８００から送信される無信号通知、遮断情報、及び、表示切替要求などに従って、遮断情報の表示、及び、表示の切り替えなどを行う。
【０２３８】
これにより、メイン用の通信とサブ用の通信との２つの通信を用いている場合であっても、双方の表示部に遮断情報が表示される。したがって、電子会議システムに参加している参加者は、ディスプレイ７２１に表示された遮断情報を見ることで、サブ入力信号が遮断されていることを容易に確認することができる。
【０２３９】
さらに、本実施の形態の映像通信装置８００及び９００は、実施の形態１及び２と同様に、遮断情報を通知した後に、サブ映像の表示を親画面から子画面に参加者の操作なしに自動的に変更する。したがって、参加者が本装置の操作に疎い場合であっても、スムーズに電子会議を継続することができる。
【０２４０】
以上、本発明の映像通信装置、映像通信方法及び映像通信システムについて、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０２４１】
また、サブ映像を送信する側のコミュニケーション装置Ａ１１では、ディスプレイ２１（表示部４１）の親画面にサブ映像を表示させる必要はなく、子画面に表示させてもよい。あるいは、サブ映像を表示させなくてもよい。つまり、メイン映像を全画面表示させてもよい。
【０２４２】
また、実施の形態２では、遮断情報の生成、表示切替要求の通知、及び、コンテンツ共有解除要求の通知を、サブ入力信号を受信する側のコミュニケーション装置Ｂ１２が行うのに対して、実施の形態１及び３では、これらの処理をサブ入力信号を送信する側のコミュニケーション装置Ａ１１が行う。これに対して、どの処理をどちらの装置に実行させてもよい。例えば、コミュニケーション装置Ａ１１が遮断情報の生成を行い、コミュニケーション装置Ｂ１２が表示切替要求の通知とコンテンツ共有解除要求の通知を行ってもよい。
【０２４３】
なお、本発明は、上述したように、映像通信装置及び映像通信方法として実現できるだけではなく、本実施の形態の映像通信方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。
【０２４４】
また、本発明は、映像通信装置を構成する構成要素の一部又は全部を、１個のシステムＬＳＩから構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。
【産業上の利用可能性】
【０２４５】
以上のように、本発明の映像通信装置は、画面表示の無信号状態の原因を明示的に理解することができるという効果を奏し、電子会議システムなどに利用することができる。
【図面の簡単な説明】
【０２４６】
【図１】実施の形態１における２拠点でのコミュニケーションシステムの構成を示す図である。
【図２】実施の形態１における多拠点でのコミュニケーションシステムの構成の一例を示す図である。
【図３】実施の形態１におけるコミュニケーション装置が備える入出力装置の配置の一例を示す図である。
【図４】実施の形態１におけるコミュニケーション装置のハードウェア構成の一例を示すブロック図である。
【図５】実施の形態１におけるサブ入力信号を送信する側の映像通信装置の機能構成を示すブロック図である。
【図６】実施の形態１におけるコミュニケーション装置のメイン通信を確立する動作とコンテンツの共有を開始する動作を示すフローチャートである。
【図７】実施の形態１におけるコミュニケーション装置のサブ入力信号が遮断された場合の動作を示すフローチャートである。
【図８】実施の形態１におけるサブ入力信号を受信する側のコミュニケーション装置の表示部における画像遷移の一例を示す図である。
【図９】実施の形態１におけるサブ入力信号を送信する側のコミュニケーション装置の表示部における画像遷移の一例を示す図である。
【図１０】実施の形態１におけるコミュニケーション装置の表示部における解除通知が含まれる画面の一例を示す図である。
【図１１】実施の形態１におけるサブ入力信号を受信する側のコミュニケーション装置の表示部に表示される画像遷移の異なる一例を示す図である。
【図１２】実施の形態２におけるサブ入力信号を送信する側の映像通信装置の機能構成を示すブロック図である。
【図１３】実施の形態２におけるサブ入力信号を受信する側の映像通信装置の機能構成を示すブロック図である。
【図１４】実施の形態２におけるコミュニケーション装置のメイン通信とサブ通信とを確立する動作とコンテンツの共有を開始する動作とを示すフローチャートである。
【図１５】実施の形態２におけるサブ入力信号を受信する側のコミュニケーション装置のサブ入力信号が遮断された場合の動作を示すフローチャートである。
【図１６】実施の形態３におけるサブ入力信号を送信する側の映像通信装置の機能構成を示すブロック図である。
【図１７】実施の形態３におけるサブ入力信号を受信する側の映像通信装置の機能構成を示すブロック図である。
【図１８】実施の形態３におけるサブ入力信号を受信する側のコミュニケーション装置のサブ入力信号が遮断された場合の動作を示すフローチャートである。
【符号の説明】
【０２４７】
１０  ネットワーク
１１  コミュニケーション装置Ａ
１２  コミュニケーション装置Ｂ
１３  ノートＰＣ
１４  カメラ
１５  ＰＤＡ
１６  携帯電話
１７  サーバ
１８  インターネット
１９  デスクトップＰＣ
２０  本体
２１、７２１  ディスプレイ
２２、７２２  メインカメラ
２３  マイク
２４ａ、２４ｂ、２４ｃ  スピーカー
２５  机
２６  リモコン
２７  サブカメラ
２８  ノートＰＣ
３０  制御部
３１  音声符号化部
３２  音声復号化部
３３  画像符号化部
３４  画像復号化部
３５  電源回路
３６  タイマ回路
３７  音声処理部
３８  音声出力部
３９  音声入力部
４０  表示処理部
４１  表示部
４２  画像処理部
４３  画像入力部
４４  操作入力制御部
４５  操作入力部
４６  通信制御部
４７  送受信回路
５０  ＣＰＵ
５１  ＲＯＭ
５２  ＲＡＭ
６１  信号確認部
６２、１０４、６０４、７０４、８０４  通知部
１００、６００、７００、８００、９００  映像通信装置
１０１、７０１  メイン映像入力部
１０２  サブ映像入力部
１０３、６０３  信号検出部
１０５、６０５、７０５  送信データ生成部
１０６、６０６、７０６、８０６、９０６  通信部
１０７、７０７、９０７  表示データ生成部
１０８、７０８  映像出力部
１４１、６４１、７４１、８４１  遮断情報通知部
１４２、６４２、７４２、８４２  表示切替要求通知部
１６１、６６１、７６１、８６１  映像送信部
１６２、６６２、７６２、９６２  映像受信部
２０１、２１１、２２１、２３１、２４１、３０１、３１１、３２１、３３１、３４１、４４１、５０１、５１１、５２１、５３１  映像
２１２、２２２、２３２、２４２、３１２、３２２、３３２、３４２  親画面
２１３、２２３、２３３、２４３、３１３、３２３、３３３、３４３  子画面
２３４、３３４、５３４  遮断情報
４４４  解除情報
【図１】
2010147939.tif 000003
【図２】
2010147939.tif 000004
【図３】
2010147939.tif 000005
【図４】
2010147939.tif 000006
【図５】
2010147939.tif 000007
【図６】
2010147939.tif 000008
【図７】
2010147939.tif 000009
【図８】
2010147939.tif 000010
【図９】
2010147939.tif 000011
【図１０】
2010147939.tif 000012
【図１１】
2010147939.tif 000013
【図１２】
2010147939.tif 000014
【図１３】
2010147939.tif 000015
【図１４】
2010147939.tif 000016
【図１５】
2010147939.tif 000017
【図１６】
2010147939.tif 000018
【図１７】
2010147939.tif 000019
【図１８】
2010147939.tif 000020