(57)【要約】【課題】カメラの駆動制御をおこなう際、駆動制御後の画像に関連する画像を迅速に出力することで、円滑な会議の進行を図ること。【解決手段】カメラ１１３によって撮像される参加者画像を自拠点または他拠点のテレビ会議端末１１０へ出力するテレビ会議端末１１０について、カメラ１１３によって撮像される参加者を示す代替画像情報を、参加者の位置情報と対応付けて記録する。カメラ１１３による撮像の対象となる参加者を決定する。決定された参加者の位置情報を特定し、特定された位置情報に基づいて、参加者を撮像するようカメラ１１３の駆動制御をおこなう。駆動制御中は、少なくとも参加者を示す代替画像情報を出力する。【選択図】図１
2012034119.tif 000002
【特許請求の範囲】
【請求項１】
撮像部によって撮像される被写体映像を自拠点または他拠点の端末装置へ出力する端末装置であって、
前記撮像部によって撮像される被写体を示す代替画像情報を、前記被写体の位置情報と対応付けて記録する記録手段と、
自拠点または他拠点における前記被写体に関連する状態変化を検知する検知手段と、
前記検知手段によって検知された状態変化に基づいて、前記撮像部による撮像の対象となる前記被写体を決定する決定手段と、
前記決定手段によって決定された前記被写体の前記位置情報を特定する特定手段と、
前記特定手段によって特定された前記位置情報に基づいて、前記決定手段で決定された前記被写体を撮像するよう前記撮像部の駆動制御をおこなう制御手段と、
前記制御手段による駆動制御中は、少なくとも前記決定手段で決定された前記被写体を示す前記代替画像情報を出力する出力手段と、
を備えることを特徴とする端末装置。
【請求項２】
前記検知手段は、前記被写体としての利用者の発話を前記状態変化として検知し、
前記決定手段は、前記検知手段によって発話が検知された検知方向に位置する前記利用者を撮像の対象となる前記被写体として決定することを特徴とする請求項１に記載の端末装置
【請求項３】
前記制御手段は、前記検知手段によって検知される発話が所定時間以上継続した場合に、前記撮像部の駆動制御をおこなうことを特徴とする請求項２に記載の端末装置。
【請求項４】
前記記録手段は、前記撮像部によって撮像された前記被写体映像に基づく前記代替画像情報を、撮像された位置に基づく前記位置情報と対応付けて記録することを特徴とする請求項１〜３のいずれか一つに記載の端末装置。
【請求項５】
前記記録手段は、前記制御手段によって駆動制御された前記撮像部によって、前記被写体映像が撮像された場合、既に記録されている前記代替画像情報を、撮像された前記被写体映像に基づく前記代替画像情報に更新することを特徴とする請求項１〜４のいずれか一つに記載の端末装置。
【請求項６】
前記出力手段は、前記自拠点または前記他拠点の前記端末装置へ出力する情報を、前記駆動制御中に前記撮像部によって撮像される映像から、前記記録手段によって記録された前記代替画像情報に切り替えることを特徴とする請求項１〜５のいずれか一つに記載の端末装置。
【請求項７】
撮像部によって撮像される被写体映像を自拠点または他拠点の端末装置へ出力する処理方法であって、
前記撮像部によって撮像される被写体を示す代替画像情報を、前記被写体の位置情報と対応付けて記録する記録工程と、
自拠点または他拠点における前記被写体に関連する状態変化を検知する検知工程と、
前記検知工程によって検知された状態変化に基づいて、前記撮像部による撮像の対象となる前記被写体を決定する決定工程と、
前記決定工程によって決定された前記被写体の前記位置情報を特定する特定工程と、
前記特定工程によって特定された前記位置情報に基づいて、前記決定工程で決定された前記被写体を撮像するよう前記撮像部の駆動制御をおこなう制御工程と、
前記制御工程による駆動制御中は、少なくとも前記決定工程で決定された前記被写体を示す前記代替画像情報を出力する出力工程と、
を含むことを特徴とする処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、端末装置間で情報の送受信をおこなう端末装置および処理方法に関し、特に、自拠点と、ネットワークを介して接続された他拠点との間で送受信される情報を利用して会議をおこなう端末装置および処理方法に関する。
【背景技術】
【０００２】
テレビ会議システムは、複数の端末装置間で各拠点の参加者の状況などを示す画像情報や会議に用いる資料情報を送受信する。テレビ会議システムは、端末装置によって送受信された情報に基づいて、各拠点の参加者の画像や資料などを表示する。各拠点における会議の参加者は、端末装置によって表示された参加者の画像や資料を確認して会議をおこなう。
【０００３】
参加者の画像は、各拠点に設置されたカメラによって撮像される。各拠点の端末装置は、撮像された参加者の画像を他拠点へ出力する。各拠点の端末装置は、受信した参加者の画像をディスプレイに表示する。複数の参加者が存在する拠点の端末装置は、カメラのパン・チルトなどの駆動制御によって、撮像対象とする参加者の画像を変更することができる。近年では、パン・チルト中に参加者とは異なる風景画像などを撮像して出力しないため、撮像中の参加者から異なる参加者へ撮像対象を変更するためにパン・チルトを実行する場合、パン・チルト前に撮像されていた参加者の画像を出力する提案がされている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−３２２１１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に記載の従来技術では、パン・チルトをおこなって撮像対象とする参加者の画像は、パン・チルトによって撮像可能となるまで出力することができないという問題が一例として挙げられる。特に、発話者など会議に重要な参加者を撮像するようパン・チルトをおこなう場合であっても、パン・チルト前の参加者の画像を出力する構成であるため、重要な画像の出力までに時間を要して会議が円滑に進行できないという問題が一例として挙げられる。
【０００６】
この発明は、上述した問題を解決するため、カメラのパン・チルトなどの駆動制御をおこなう際、駆動制御後の画像に関連する画像を迅速に出力することで、円滑に会議を進行することのできる端末装置および処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するため、請求項１の発明にかかる端末装置は、撮像部によって撮像される被写体映像を自拠点または他拠点の端末装置へ出力する端末装置であって、前記撮像部によって撮像される被写体を示す代替画像情報を、前記被写体の位置情報と対応付けて記録する記録手段と、自拠点または他拠点における前記被写体に関連する状態変化を検知する検知手段と、前記検知手段によって検知された状態変化に基づいて、前記撮像部による撮像の対象となる前記被写体を決定する決定手段と、前記決定手段によって決定された前記被写体の前記位置情報を特定する特定手段と、前記特定手段によって特定された前記位置情報に基づいて、前記決定手段で決定された前記被写体を撮像するよう前記撮像部の駆動制御をおこなう制御手段と、前記制御手段による駆動制御中は、少なくとも前記決定手段で決定された前記被写体を示す前記代替画像情報を出力する出力手段と、を備えることを特徴とする。
【０００８】
請求項２の発明にかかる端末装置は、請求項１に記載の発明において、前記検知手段は、前記被写体としての利用者の発話を前記状態変化として検知する検知し、前記決定手段は、前記検知手段によって発話が検知された検知方向に位置する前記利用者を撮像の対象となる前記被写体として決定することを特徴とする。
【０００９】
請求項３の発明にかかる端末装置は、請求項２に記載の発明において、前記制御手段は、前記検知手段によって検知される発話が所定時間以上継続した場合に、前記撮像部の駆動制御をおこなうことを特徴とする。
【００１０】
請求項４の発明にかかる端末装置は、請求項１〜３のいずれか一つに記載の発明において、前記記録手段は、前記撮像部によって撮像された前記被写体映像に基づく前記代替画像情報を、撮像された位置に基づく前記位置情報と対応付けて記録することを特徴とする。
【００１１】
請求項５の発明にかかる端末装置は、請求項１〜４のいずれか一つに記載の発明において、前記記録手段は、前記制御手段によって駆動制御された前記撮像部によって、前記被写体映像が撮像された場合、既に記録されている前記代替画像情報を、撮像された前記被写体映像に基づく前記代替画像情報に更新することを特徴とする。
【００１２】
請求項６の発明にかかる端末装置は、請求項１〜５のいずれか一つに記載の発明において、前記出力手段は、前記自拠点または前記他拠点の前記端末装置へ出力する情報を、前記駆動制御中に前記撮像部によって撮像される映像から、前記記録手段によって記録された前記代替画像情報に切り替えることを特徴とする。
【００１３】
請求項７の記載にかかる処理方法は、撮像部によって撮像される被写体映像を自拠点または他拠点の端末装置へ出力する処理方法であって、前記撮像部によって撮像される被写体を示す代替画像情報を、前記被写体の位置情報と対応付けて記録する記録工程と、自拠点または他拠点における前記被写体に関連する状態変化を検知する検知工程と、前記検知工程によって検知された状態変化に基づいて、前記撮像部による撮像の対象となる前記被写体を決定する決定工程と、前記決定工程によって決定された前記被写体の前記位置情報を特定する特定工程と、前記特定工程によって特定された前記位置情報に基づいて、前記決定工程で決定された前記被写体を撮像するよう前記撮像部の駆動制御をおこなう制御工程と、前記制御工程による駆動制御中は、少なくとも前記決定工程で決定された前記被写体を示す前記代替画像情報を出力する出力工程と、を含むことを特徴とする。
【発明の効果】
【００１４】
請求項１にかかる発明によれば、撮像部の駆動制御中であっても、撮像部によって撮像される被写体の代替画像情報を出力することができるため、撮像対象となる被写体を迅速に確認することができる。
【００１５】
請求項２にかかる発明によれば、発話をおこなった利用者を撮像対象として撮像部の駆動制御をおこない、駆動制御中に代替画像情報として出力することができるため、重要な被写体に関する画像を迅速に確認することができる。
【００１６】
請求項３にかかる発明によれば、所定時間以上の発話があった場合に駆動制御をおこなうことができるため、撮像対象として重要な被写体の適切化を図ることができる。
【００１７】
請求項４にかかる発明によれば、撮像部による撮像によって代替画像情報を記録することができるため、機器の使用環境に適した代替画像情報を用いることができる。
【００１８】
請求項５にかかる発明によれば、駆動制御された撮像部による撮像によって代替画像情報を記録することができるため、処理の進行に応じた最新の代替画像情報を用いることで、重要な被写体の最適化を図ることができる。
【００１９】
請求項６にかかる発明によれば、撮像部の駆動制御中に出力する情報を撮像される映像から代替画像情報に切り替える構成であるため、出力する情報量の低減を図ることができる。
【００２０】
請求項７にかかる発明によれば、撮像部の駆動制御中であっても、撮像部によって撮像される被写体の代替画像情報を出力することができるため、撮像対象となる被写体を迅速に確認することができる。
【００２１】
以上説明したように、本発明にかかる端末装置および処理方法よれば、カメラのパン・チルトなどの駆動制御をおこなう際、駆動制御後の画像に関連する画像を迅速に出力することで、円滑な会議の進行を図ることができるという効果を奏する。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態にかかるテレビ会議システムの一例を示す説明図である。
【図２】本発明の実施形態にかかるテレビ会議端末の機能的構成の一例を示す説明図である。
【図３】本発明の実施形態にかかるテレビ会議端末の画像テーブルの一例を示す説明図である。
【図４】本発明の実施形態にかかるテレビ会議端末による参加者画像の撮像の一例を示す説明図である。
【図５】本発明の実施形態にかかる参加者画像のディスプレイの表示の一例を示す説明図である。
【図６】本発明の実施形態にかかるテレビ会議端末の処理の内容を示すフローチャートである。
【図７】本発明の変形例にかかるテレビ会議端末の処理の内容を示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照して、この発明にかかる端末装置および処理方法の好適な実施の形態を詳細に説明する。
【００２４】
（実施形態）
（全体構成）
図１を用いて、本発明の実施形態にかかる端末装置を、テレビ会議をおこなうテレビ会議システムのために複数拠点に設置されたテレビ会議端末に適用した場合について説明する。図１は、本発明の実施形態にかかるテレビ会議システムの一例を示す説明図である。なお、本実施形態では、各拠点（Ａ，Ｂ）に設置されたテレビ会議端末１１０（１１０ａ，１１０ｂ）によって、本発明にかかる端末装置を実現し、テレビ会議端末１１０およびネットワーク１５０を介して複数のテレビ会議端末１１０が接続されたテレビ会議システム１００によって、本発明にかかる処理方法の処理が実行される場合について説明する。
【００２５】
図１において、テレビ会議システム１００は、各拠点Ａ，Ｂに設置されたテレビ会議端末１１０ａ，１１０ｂがネットワークＮＷを介して接続されて構成されている。具体的には、テレビ会議システム１００は、地理的に離れた各拠点Ａ，Ｂに設置されたテレビ会議端末１１０ａ，１１０ｂがインターネットなどのネットワーク１５０を介して接続されたり、建物内の離れた各拠点Ａ，Ｂに設置されたテレビ会議端末１１０ａ，１１０ｂがＬＡＮ（ローカルエリアネットワーク）などのネットワーク１５０を介して接続されたりしている。なお、図１では、テレビ会議端末１１０ａ，１１０ｂがネットワーク１５０を介して相互に接続されることとして説明するが、ネットワーク１５０上の任意の位置に設置された管理サーバなどを介して相互に接続される構成でもよい。以降の説明では、各拠点の区別をしない場合、符号の末尾の記号である「ａ」，「ｂ」を省略して説明する。
【００２６】
テレビ会議システム１００は、各拠点でテレビ会議における参加者などの被写体の画像および参加者の発話などによる音声を各テレビ会議端末１１０によって相互に送受信させる。テレビ会議端末１１０は、ＣＰＵ（セントラルプロセッシングユニット）などの機能部を含む本体部１１１に接続された、各種画像を表示するディスプレイ１１２と、被写体を撮像するカメラ１１３と、音声を集音するマイク１１４と、各種音声を出力するスピーカ１１５とを備えている。
【００２７】
テレビ会議端末１１０は、カメラ１１３によって自拠点の画像を撮像する。テレビ会議端末１１０は、撮像された画像をネットワーク１５０を介して他拠点のテレビ会議端末１１０に送信する。テレビ会議端末１１０は、他拠点のテレビ会議端末１１０から送信される画像を受信する。テレビ会議端末１１０は、自拠点で撮像された画像や、他拠点から受信した画像をディスプレイ１１２によって表示する。
【００２８】
テレビ会議端末１１０は、マイク１１４によって自拠点における音声を集音する。テレビ会議端末１１０は、集音した音声をネットワーク１５０を介して他拠点のテレビ会議端末１１０に送信する。テレビ会議端末１１０は、他拠点のテレビ会議端末１１０から送信される音声を受信する。テレビ会議端末１１０は、受信した音声をスピーカ１１５によって出力する。
【００２９】
すなわち、テレビ会議端末１１０は、自拠点と他拠点で相互に送受信される画像および音声を再生する。各拠点の参加者は、自拠点のテレビ会議端末１１０によって再生される他拠点の画像および音声を視聴することで、遠隔に位置する参加者同士でテレビ会議をおこなう。
【００３０】
また、テレビ会議端末１１０は、カメラ１１３に対してパン・チルトなどの駆動制御をおこなうことで、カメラ１１３の撮像範囲に含まれる被写体を変更する。カメラ１１３の駆動制御は、参加者の操作やマイク１１４によって検知される参加者による発話のあった方向に基づいておこなわれる。なお、本発明の実施形態では被写体として参加者画像を撮像することとして説明するが、これに限ることはない。被写体は、テレビ会議に関する資料などであってもよい。すなわち、テレビ会議端末１１０は、テレビ会議に関する資料の提示を振動や音声や発光などによって検知し、検知方向に基づいてカメラ１１３の撮像方向を制御することとなる。
【００３１】
テレビ会議端末１１０は、カメラ１１３の駆動制御をおこなう際、駆動制御後に撮像される参加者を示す代替画像情報を自拠点のディスプレイ１１２や、他拠点のテレビ会議端末１１０へ出力する。詳細は、図３〜図５を用いて説明するが、テレビ会議端末１１０は、カメラ１１３の駆動制御が開始されると、出力する画像を、駆動制御前に撮像されていた参加者画像から駆動制御後に撮像される参加者を示す画像である代替画像情報に切り替える。テレビ会議端末１１０は、カメラ１１３の駆動制御が終了すると、駆動制御後のカメラ１１３によって撮像された参加者画像を出力することとなる。
【００３２】
代替画像情報は、カメラ１１３によって過去に撮像された参加者の画像や、別途入力される参加者を示す文字や絵や写真などの画像であり、参加者の位置情報に対応付けて画像テーブルとして記録される。参加者の位置情報は、たとえば、参加者の発話が検知された検知方向、参加者を撮像したカメラ１１３の撮像方向、参加者の操作入力による撮像方向などに基づいて記録される。
【００３３】
（機能的構成）
図２を用いて、テレビ会議端末１１０の機能的構成について説明する。図２は、本発明の実施形態にかかるテレビ会議端末の機能的構成の一例を示す説明図である。
【００３４】
図２において、テレビ会議端末１１０は、ＣＰＵ（セントラルプロセッシングユニット）２０１と、ＲＡＭ（ランダムアクセスメモリ）２０２と、ＲＯＭ（リードオンリーメモリ）２０３と、ディスプレイ１１２やカメラ１１３に対して各種映像の入出力を制御する映像Ｉ／Ｆ２０４と、スピーカ１１５やマイク１１４に対して各種音声の入出力を制御する音声Ｉ／Ｆ２０５と、各種情報の入力を受け付ける操作部２０６と、外部機器との通信を制御する通信Ｉ／Ｆ２０７と、各種情報を記憶する記憶媒体２０８と、を備えている。また、テレビ会議端末１１０の各構成部は、バス２００によってそれぞれ接続されている。
【００３５】
ＣＰＵ２０１は、テレビ会議端末１１０全体の制御をおこなう。ＣＰＵ２０１は、ＲＡＭ２０２をワークエリアとして、ＲＯＭ２０３から読み込まれる各種プログラムを実行する。
【００３６】
映像Ｉ／Ｆ２０４は、ＣＰＵ２０１の制御にしたがって、ディスプレイ１１２に各種画像を表示させる。映像Ｉ／Ｆ２０４は、他拠点のテレビ会議端末１１０から受信された参加者画像を、ＣＰＵ２０１の制御にしたがって、記憶媒体２０８から読み出してディスプレイ１１２に表示させる。映像Ｉ／Ｆ２０４は、自拠点の参加者画像や他拠点とのテレビ会議に関する処理画面などをディスプレイ１１２に表示させる構成でもよい。
【００３７】
映像Ｉ／Ｆ２０４は、ＣＰＵ２０１の制御にしたがって、カメラ１１３の駆動制御をおこなって、自拠点の被写体である参加者を撮像する。映像Ｉ／Ｆ２０４は、たとえば、複数の参加者のうち、発話した参加者を撮像するようにカメラ１１３をパン・チルトさせる。カメラ１１３の駆動制御は、たとえば、後述するマイク１１４によって所定時間以上の発話を検知した検知方向や、操作部２０６によって参加者による入力を受け付けた撮像方向に基づいておこなわれる。映像Ｉ／Ｆ２０４は、駆動制御して撮像された参加者画像を、後述する通信Ｉ／Ｆ２０７を介して送信先であるテレビ会議端末１１０に送信する。
【００３８】
映像Ｉ／Ｆ２０４は、カメラ１１３によって撮像された参加者画像を、参加者を示す代替画像情報として後述する記憶媒体２０８へ出力する。映像Ｉ／Ｆ２０４は、参加者を撮像した際のカメラ１１３の撮像方向を、参加者画像の位置情報として記憶媒体２０８に出力する。なお、本発明の実施形態では、映像Ｉ／Ｆ２０４は、カメラ１１３によって撮像をおこなった撮像方向を位置情報とすることとして説明したが、これに限ることはない。具体的には、たとえば、発話した参加者を撮像する場合の発話の検知方向や、参加者による操作入力を受け付けた撮像方向などを位置情報として記憶媒体２０８へ出力することとしてもよい。記憶媒体２０８は、ＣＰＵ２０１の制御にしたがって、映像Ｉ／Ｆ２０４から出力された代替画像情報と、位置情報とを対応付けた画像テーブルを記憶する。
【００３９】
ＣＰＵ２０１は、映像Ｉ／Ｆ２０４の駆動制御中は、カメラ１１３によって撮像される画像の代わりに、駆動制御先の参加者を示す代替画像情報を、通信Ｉ／Ｆ２０７を介して送信先であるテレビ会議端末１１０に対して送信する。具体的には、ＣＰＵ２０１は、撮像の対象となる参加者の位置情報に基づいて、画像テーブルから代替画像情報を読み出して送信する構成である。ＣＰＵ２０１は、カメラ１１３の駆動制御が終了したら、カメラ１１３によって撮像される参加者画像を、通信Ｉ／Ｆ２０７を介して送信先であるテレビ会議端末１１０に送信する。
【００４０】
ここで、図３〜図５を用いて、本発明の実施形態にかかる代替画像情報の出力について説明する。なお、以降では、拠点Ａのテレビ会議端末１１０ａによって、参加者画像または代替画像情報を拠点Ｂのテレビ会議端末１１０ｂに送信する場合について説明する。図３は、本発明の実施形態にかかるテレビ会議端末の画像テーブルの一例を示す説明図である。
【００４１】
図３において、画像テーブル３００ａは、記憶媒体２０８ａに記憶され、拠点Ａの被写体である参加者ａ１，ａ２の画像情報と、各参加者ａ１，ａ２の位置情報とが対応付けられている。位置情報は、カメラ１１３によって各参加者ａ１，ａ２を撮像した際のカメラ１１３ａの撮像方向である。
【００４２】
テレビ会議端末１１０ａは、他拠点のテレビ会議端末１１０ｂとの間でテレビ会議が開始されると、カメラ１１３ａの撮像方向を駆動制御して自拠点の全参加者ａ１，ａ２の画像を撮像する。テレビ会議端末１１０ａは、テレビ会議開始後の各参加者ａ１，ａ２の画像を代替画像情報とし、各参加者ａ１，ａ２を撮像した撮像方向を位置情報として画像テーブル３００ａを作成する。具体的には、たとえば、カメラ１１３ａによって撮像された画像について、画像認識によって顔画像が撮像された場合に顔画像を含む画像を代替画像情報とし、顔画像を撮像した撮像方向を位置情報として画像テーブル３００ａを作成する。また、顔画像を認識する代わりに、撮像された画像について、利用者の操作によって顔画像を特定することとしてもよい。
【００４３】
図４を用いて、本発明の実施形態にかかるテレビ会議端末１１０ａによって、カメラ１１３ａをパン・チルト制御して撮像する参加者画像を、参加者ａ２から参加者ａ１に変更する場合について説明する。図４は、本発明の実施形態にかかるテレビ会議端末による参加者画像の撮像の一例を示す説明図である。
【００４４】
図４において、状態１でテレビ会議端末１１０ａは、カメラ１１３ａの撮像範囲４０１に含まれる参加者ａ２を撮像している。テレビ会議端末１１０ａは、参加者ａ２の撮像画像を拠点Ｂのテレビ会議端末１１０ｂへ出力する。テレビ会議端末１１０ｂは、テレビ会議端末１１０ａから出力された参加者ａ２の参加者画像をディスプレイ１１２ｂに表示させる。
【００４５】
図５を用いて、本発明の実施形態にかかるテレビ会議端末１１０ｂによるディスプレイ１１２ｂの表示について説明する。図５は、本発明の実施形態にかかる参加者画像のディスプレイの表示の一例を示す説明図である。
【００４６】
図５において、状態１でテレビ会議端末１１０ｂは、ディスプレイ１１２ｂに、拠点Ａから出力された参加者ａ２の参加者画像５０１を表示している。なお、特に図示はしないが、ディスプレイ１１２ｂには、拠点Ａに参加者画像５０１のほかに自拠点の参加者画像や、テレビ会議に関する処理画像や資料画像などを表示する構成でもよい。
【００４７】
図４に戻って、状態１でテレビ会議端末１１０ａは、マイク１１４ａによって参加者ａ１の発話を検知すると、カメラ１１３ａを発話が検知された方向４００へのパン・チルト制御を実行し、状態２へと移行する。発話は、たとえば、発話の継続時間が所定時間以上であったり、発話の音量が所定値以上であったりした場合に検知することとしてもよい。
【００４８】
状態２でテレビ会議端末１１０ａは、カメラ１１３ａのパン・チルト制御をおこなう際に、発話した参加者ａ１を発話者として特定する。テレビ会議端末１１０ａは、特定された発話者の代替画像情報を拠点Ｂのテレビ会議端末１１０ｂへ出力する。
【００４９】
具体的には、たとえば、発話者は、発話が検知された方向に基づいて特定する。発話の方向は、たとえば、指向性のマイク１１４によって発話が検知された方向や、複数のマイク１１４ａが設置される場合は、各マイク１１４ａによって検知された音量によって特定される方向などに基づいて決定する。テレビ会議端末１１０ａは、発話が検知された方向に基づいて、カメラ１１３ａの撮像方向を決定する。テレビ会議端末１１０ａは、画像テーブル３００ａに基づいて、決定された撮像方向を位置情報とする画像情報を代替画像情報として拠点Ｂのテレビ会議端末１１０ｂへ出力する。
【００５０】
状態２では、パン・チルト制御によって撮像範囲４０２に参加者ａ１，ａ２が含まれなくなった状態であっても、テレビ会議端末１１０ａは、参加者ａ１に関する代替画像情報をテレビ会議端末１１０ｂへ出力する。
【００５１】
図５に戻って、状態２でテレビ会議端末１１０ｂは、ディスプレイ１１２ｂに、拠点Ａから出力された参加者ａ１の代替画像情報５１０を表示している。すなわち、状態２では、テレビ会議端末１１０ｂは、テレビ会議端末１１０ａのカメラ１１３ａのパン・チルト制御中に撮像範囲となる参加者ａ１，ａ２の画像ではなく、発話をおこなった参加者ａ１である発話者に関する画像を表示することとなる。
【００５２】
図４に戻って、状態２のパン・チルト制御が終了し、参加者ａ１がカメラ１１３ａの撮像範囲４０３に含まれると、カメラ１１３ａによって参加者ａ１の参加者画像が撮像され、状態３へと移行する。テレビ会議端末１１０ａは、発話している参加者ａ１の参加者画像を拠点Ｂのテレビ会議端末１１０ｂへ出力する。
【００５３】
図５に戻って、状態３でテレビ会議端末１１０ｂは、ディスプレイ１１２ｂに、拠点Ａから出力された参加者ａ１の参加者画像４０３を表示している。このように、拠点Ａのテレビ会議端末１１０ａによってカメラ１１３ａのパン・チルト制御が実行されていない状態（状態１，３）では、カメラ１１３ａによって撮像された参加者画像を表示し、パン・チルト制御中の状態（状態２）では、パン・チルト制御後に撮像される参加者ａ１を示す代替画像情報を表示することができる。すなわち、カメラ１１３ａのパン・チルト制御中に撮像可能な周囲の移動風景画像の代わりに、テレビ会議に関係する参加者の画像を表示することができる構成である
【００５４】
図２に戻って、音声Ｉ／Ｆ２０５は、ＣＰＵ２０１の制御にしたがって、スピーカ１１５に各種音声を出力させる。音声Ｉ／Ｆ２０５は、他拠点のテレビ会議端末１１０から受信された音声を、ＣＰＵ２０１の制御にしたがって、記憶媒体２０８から読み出してスピーカ１１５に出力させる。音声Ｉ／Ｆ２０５は、他拠点とのテレビ会議に関する案内音声などを出力させる構成でもよい。
【００５５】
音声Ｉ／Ｆ２０５は、ＣＰＵ２０１の制御にしたがって、マイク１１４によって自拠点の参加者音声を集音する。音声Ｉ／Ｆ２０５は、ＣＰＵ２０１の制御にしたがって、マイク１１４によって集音された参加者音声を記憶媒体２０８に出力する。
【００５６】
音声Ｉ／Ｆ２０５は、ＣＰＵ２０１の制御にしたがって、マイク１１４によって集音される自拠点の参加者音声によって、発話者を検知する。発話者の検知は、たとえば、発話の継続時間が所定時間以上であったり、発話の音量が所定値以上であったりした場合に検知することとしてもよい。
【００５７】
操作部２０６は、参加者などから各種情報の入力を受け付ける。操作部２０６は、タッチパネルや操作ボタンなどによって構成され、テレビ会議に関する情報の入力を受け付けて、入力された信号をＣＰＵ２０１へ出力する。
【００５８】
通信Ｉ／Ｆ２０７は、通信回線を通じてインターネットなどのネットワーク１５０に接続され、このネットワーク１５０を介して他のテレビ会議端末１１０やその他情報端末などの外部機器に接続される。通信Ｉ／Ｆ２０７は、ネットワーク１５０とテレビ会議端末１１０内部のインターフェースをつかさどり、外部機器に対するデータの入出力を制御する。通信Ｉ／Ｆ２０７には、たとえば、モデムやＬＡＮアダプタなどを採用することができる。
【００５９】
通信Ｉ／Ｆ２０７は、他拠点のテレビ会議端末１１０から送信される画像および音声を受信する。通信Ｉ／Ｆ２０７は、ＣＰＵ２０１の制御にしたがって、受信した画像および音声を記録媒体２０８へ出力する。
【００６０】
通信Ｉ／Ｆ２０７は、ＣＰＵ２０１の制御にしたがって、記憶媒体２０８に記憶された画像および音声を、他拠点のテレビ会議端末１１０へ送信する。
【００６１】
記憶媒体２０８は、ＨＤ（ハードディスク）や着脱可能な記録媒体の一例としてのＦＤ（フレキシブルディスク）などである。記憶媒体２０８は、それぞれのドライブデバイスを有し、ＣＰＵ２０１の制御にしたがって各種データが記録される。また、記憶媒体２０８からは、それぞれのドライブデバイスの制御にしたがってデータが読み取られる。
【００６２】
なお、各構成要素と、各機能を対応付けて説明すると、図２に示したＣＰＵ２０１、記憶媒体２０８によって、本発明にかかる記録手段の機能を実現する。ＣＰＵ２０１によって、本発明にかかる決定手段、検知手段、特定手段の機能を実現する。ＣＰＵ２０１および映像Ｉ／Ｆ２０４によって、本発明にかかる制御手段の機能を実現する。ＣＰＵ２０１および通信Ｉ／Ｆ２０７によって、本発明にかかる出力手段の機能を実現する。なお、各機能を１つのテレビ会議端末によって実現することとしたが、複数の装置で連携して実現することとしてもよい。
【００６３】
（テレビ会議端末１１０の処理の内容）
図６を用いて、本発明の実施形態にかかるテレビ会議端末１００の処理の内容について説明する。図６は、本発明の実施形態にかかるテレビ会議端末の処理の内容を示すフローチャートである。
【００６４】
図６のフローチャートにおいて、まず、ＣＰＵ２０１は、テレビ会議が開始されたか否かを判断する（ステップＳ６０１）。テレビ会議の開始は、たとえば、参加者による操作部２０６の操作に基づいて、通信Ｉ／Ｆ２０７を介して他のテレビ会議端末１１０に対して接続要求をおこなうことによって判断される。また、通信Ｉ／Ｆ２０７を介して他のテレビ会議端末１１０から応答を受信することによって判断される。
【００６５】
ステップＳ６０１において、テレビ会議が開始されるのを待って、開始された場合（ステップＳ６０１：Ｙｅｓ）は、ＣＰＵ２０１は、映像Ｉ／Ｆ２０４を制御して、カメラ１１３によって自拠点全体の撮像をおこなう（ステップＳ６０２）。自拠点の全体撮像は、たとえば、カメラ１１３に対してパン・チルトなどの駆動制御をおこない、自拠点でテレビ会議に参加している参加者全員についてのそれぞれの画像を撮像する。
【００６６】
ＣＰＵ２０１は、ステップＳ６０２において撮像された参加者画像に基づいて、画像テーブルを作成し、記憶媒体２０８に記憶する（ステップＳ６０３）。具体的には、たとえば、画像テーブルは、図３に示した画像テーブル３００ａのように被写体である各参加者の画像情報と、各参加者を撮像した際のカメラ１１３の撮像方向である位置情報とが対応付けられたテーブルである。
【００６７】
ＣＰＵ２０１は、映像Ｉ／Ｆ２０４を制御して、カメラ１１３によって参加者画像を撮像して出力する（ステップＳ６０４）。ステップＳ６０４における参加者画像は、たとえば、テレビ会議端末１１０の正面などの初期設定方向や、参加者の操作指示による撮像方向などに応じてカメラ１１３によって撮像される。参加者画像は、たとえば、通信Ｉ／Ｆ２０７を介して他拠点のテレビ会議端末１１０に出力する。
【００６８】
ＣＰＵ２０１は、テレビ会議が終了されたか否かを判断する（ステップＳ６０５）。テレビ会議の終了は、たとえば、参加者による操作部２０６の操作による指示や、通信Ｉ／Ｆ２０７を介して受信される他のテレビ会議端末１１０からの指示などに基づいておこなわれる。
【００６９】
ステップＳ６０５において、テレビ会議が終了された場合（ステップＳ６０５：Ｙｅｓ）は、そのまま一連の処理を終了する。ステップＳ６０５において、テレビ会議が終了されない場合（ステップＳ６０５：Ｎｏ）は、ＣＰＵ２０１は、マイク１１４によって、ステップＳ６０４において撮像されている参加者画像とは異なる参加者からの発話を検知した否かを判断する（ステップＳ６０６）。
【００７０】
ステップＳ６０６において、発話を検知しない場合（ステップＳ６０６：Ｎｏ）は、ステップＳ６０４へ戻って処理を繰り返す。ステップＳ６０６において、発話を検知した場合（ステップＳ６０６：Ｙｅｓ）は、ＣＰＵ２０１は、発話が所定時間以上継続しているか否かを判断する（ステップＳ６０７）。
【００７１】
ステップＳ６０７において、発話が所定時間以上継続していない場合（ステップＳ６０７：Ｎｏ）は、ステップＳ６０４へ戻って処理を繰り返す。すなわち、所定時間以上の発話を確認することで、同意だけの発話や、テレビ会議に関連性の低い発話を無関係とすることができる。
【００７２】
ステップＳ６０７において、発話が所定時間以上継続している場合（ステップＳ６０７：Ｙｅｓ）は、ＣＰＵ２０１は、ステップＳ６０６およびステップＳ６０７において発話が検知された参加者である発話者を特定する（ステップＳ６０８）。発話者の特定は、たとえば、発話が検知された方向に基づいて決定されるカメラ１１３ａの撮像方向に基づいて、ステップＳ６０３において作成された画像テーブルにおける画像情報を特定する。
【００７３】
ＣＰＵ２０１は、ステップＳ６０８において特定された発話者について、ステップＳ６０３において作成された画像テーブルの画像情報である代替画像情報を発話者の画像として通信Ｉ／Ｆ２０７を介して他拠点のテレビ会議端末１１０に出力する（ステップＳ６０９）。
【００７４】
ＣＰＵ２０１は、ステップＳ６０８において特定された発話者を撮像するため、発話が検知された方向を撮像方向として映像Ｉ／Ｆ２０４を介して、カメラ１１３のパン・チルト制御を実行する（ステップＳ６１０）。
【００７５】
ＣＰＵ２０１は、映像Ｉ／Ｆ２０４を介して、ステップＳ６１０においてパン・チルト制御されているカメラ１１３の撮像範囲に発話者が含まれたか否かを判断する（ステップＳ６１１）。発話者が含まれたか否かの判断は、たとえば、代替画像情報中の参加者と、撮像される参加者との類似度で判断する構成でもよい。
【００７６】
ステップＳ６１１において、発話者がカメラ１１３の撮像範囲内にない場合（ステップＳ６１１：Ｎｏ）は、ステップＳ６１０へ戻って処理を繰り返す。ステップＳ６１１において、発話者が、カメラ１１３の撮像範囲内にある場合（ステップＳ６１１：Ｙｅｓ）は、ＣＰＵ２０１は、カメラ１１３によって発話者を撮像対象の参加者画像として（ステップＳ６１２）、ステップＳ６０４へ移行する。換言すれば、ステップＳ６１２では、他拠点のテレビ会議端末１１０への出力対象の画像を、ステップＳ６０９で出力していた代替画像情報から、カメラ１１３で撮像される発話者の参加者画像に切り替えることとなる。
【００７７】
なお、本発明の各構成要素における通信方法と、本発明の実施形態の各処理または各機能とを関連付けて説明すると、ステップＳ６０３におけるＣＰＵ２０１および記憶媒体２０８の処理によって、本発明にかかる記録工程の処理が実行される。ステップＳ６０６〜ステップＳ６０８におけるＣＰＵ２０１の処理によって、本発明にかかる決定工程、検知工程および特定工程の処理が実行される。ステップＳ６１０におけるＣＰＵ２０１および映像Ｉ／Ｆ２０４の処理によって、本発明にかかる制御工程の処理が実行される。ステップＳ６０９におけるＣＰＵ２０１および通信Ｉ／Ｆ２０７の処理によって、本発明にかかる出力工程の処理が実行される。
【００７８】
以上説明したように、本発明の実施形態によれば、カメラのパン・チルト制御をおこなう場合、パン・チルト制御中は、パン・チルト制御後の参加者の画像を出力できるため、迅速にパン・チルト後の情報を確認することができる。特に、カメラによって参加者を撮像している際に発話した別の参加者へ撮像対象を変更する場合、カメラのパン・チルト制御中に、発話をした参加者を示す代替画像情報を出力し、迅速に発話をした参加者を確認することができるため、円滑なテレビ会議の進行を図ることができる。
【００７９】
また、本発明の実施形態によれば、検知された発話に対して、所定時間以上継続したか否かを判断する構成であるため、同意だけの発話や、テレビ会議に関連性の低い発話を無関係として、テレビ会議に関係の深い発話をおこなった参加者を迅速に確認して、無駄に画像を切り替えることを防ぐことができる。
【００８０】
（その他の一部の変形例）
本発明の実施形態では特に、参加者を撮像する場合について説明したが、これに限ることはない。具体的には、テレビ会議に関連する物品の撮像などをおこなうこととしてもよい。この場合、発話を検知する代わりに、物品の状態変化として提示の際に発生する振動や音や発光を検知したり、参加者による撮像指示の入力に応じてカメラのパン・チルト制御をおこなうこととなる。このようにすることで、本発明に関し、会議に関連する撮像対象物の幅広い適用を図ることができる。
【００８１】
また、本発明の実施形態では特に、図６のフローチャートにおいて、発話が所定時間以上継続した場合に、発話者の代替画像情報を出力することとして説明したが、これに限ることはない。具体的には、たとえば、発話の音量が所定値以上であった場合や、発話が予め登録された参加者を示す所定の声色であった場合や、発話時間、音量、声色の少なくともいずれか一つの条件が満たされた場合に、代替画像情報を出力する構成としてもよい。このようにすることで、重要な発話者を優先して選択することができるため、的確な会議の進行を図ることができる。
【００８２】
また、本発明の実施形態では特に、図６のフローチャートにおいて、発話者が含まれた場合に、出力対象を代替画像情報から撮像した発話者の参加者画像に切り替えることとして説明したが、これに限ることはない。具体的には、たとえば、ステップＳ６１０において制御している撮像方向までのパン・チルトを完了したか否かを判断することとしてもよい。このようにすることで、簡便な仕組みによって出力対象の画像を切り替えることが可能となる。
【００８３】
また、本発明の実施形態では特に、ディスプレイに表示する代替画像情報は、送信元であるテレビ会議端末からの出力を受け付ける構成として説明したが、これに限ることはない。具体的には、たとえば、送信元のテレビ会議端末から、参加者画像にくわえ画像テーブルを出力する構成として、送信元のテレビ会議端末が発話を検知した場合、カメラの駆動中は発話者の情報を出力する。送信先のテレビ会議端末は、発話者の情報を受信した場合、既に記憶している画像テーブルから代替画像情報を読み出す構成としてもよい。
【００８４】
また、本発明の実施形態では特に、テレビ会議開始後に撮像された各参加者の画像を代替画像情報として記録することとして説明したが、これに限ることはない。具体的には、事前に登録された情報や参加者を含む全体画像を用いてもよい。さらに、テレビ会議の進行に応じて、進行中に撮像された参加者画像を代替画像情報としても記録する構成でもよい。図７を用いて、会議開始後に全体の撮像をおこなわずに画像―ブルを作成する場合について説明する。図７は、本発明の変形例にかかるテレビ会議端末の処理の内容を示すフローチャートである。
【００８５】
図７のフローチャートにおいて、まず、ＣＰＵ２０１は、テレビ会議が開始されたか否かを判断する（ステップＳ７０１）。ステップＳ７０１において、テレビ会議が開始されるのを待って、開始された場合（ステップＳ７０１：Ｙｅｓ）は、ＣＰＵ２０１は、映像Ｉ／Ｆ２０４を制御して、カメラ１１３によって参加者画像を撮像して出力する（ステップＳ７０２）。ステップＳ７０２における参加者画像は、たとえば、テレビ会議端末１１０の正面などの初期設定方向や、参加者の操作指示による撮像方向などに応じてカメラ１１３によって撮像される。参加者画像は、たとえば、通信Ｉ／Ｆ２０７を介して他拠点のテレビ会議端末１１０に出力する。
【００８６】
ＣＰＵ２０１は、ステップＳ７０２において撮像された参加者画像に基づいて、記憶媒体２０８に記憶される画像テーブルを更新する（ステップＳ７０３）。すなわち、ステップＳ７０２において撮像された参加者画像が、画像テーブルに存在する場合は画像情報を最新に更新し、画像テーブルに存在しない場合は新規に登録する構成である。なお、画像テーブルに存在する場合に常に更新をする必要はなく、画像情報や位置情報に変更があった場合や、過去の画像情報から所定時間経過した場合に更新することとしてもよい。
【００８７】
ＣＰＵ２０１は、テレビ会議が終了されたか否かを判断する（ステップＳ７０４）。テレビ会議の終了は、たとえば、参加者による操作部２０６の操作による指示や、通信Ｉ／Ｆ２０７を介して受信される他のテレビ会議端末１１０からの指示などに基づいておこなわれる。
【００８８】
ステップＳ７０４において、テレビ会議が終了された場合（ステップＳ７０４：Ｙｅｓ）は、そのまま一連の処理を終了する。ステップＳ７０４において、テレビ会議が終了されない場合（ステップＳ７０４：Ｎｏ）は、ＣＰＵ２０１は、マイク１１４によって、ステップＳ７０２において撮像されている参加者画像とは異なる参加者からの発話を検知した否かを判断する（ステップＳ７０５）。
【００８９】
ステップＳ７０５において、発話を検知しない場合（ステップＳ７０５：Ｎｏ）は、ステップＳ７０２へ戻って処理を繰り返す。ステップＳ７０５において、発話を検知した場合（ステップＳ７０５：Ｙｅｓ）は、ＣＰＵ２０１は、発話が所定時間以上継続しているか否かを判断する（ステップＳ７０６）。
【００９０】
ステップＳ７０６において、発話が所定時間以上継続していない場合（ステップＳ７０６：Ｎｏ）は、ステップＳ７０２へ戻って処理を繰り返す。ステップＳ７０６において、発話が所定時間以上継続している場合（ステップＳ７０６：Ｙｅｓ）は、ＣＰＵ２０１は、ステップＳ７０５において検知された発話の方向に基づいて、発話した参加者の代替画像情報が画像テーブルに登録済みか否かを判断する（ステップＳ７０７）。
【００９１】
ステップＳ７０７において、登録済みでない場合（ステップＳ７０７：Ｎｏ）は、ステップＳ７０９へ移行する。ステップＳ７０７において、登録済みである場合（ステップＳ７０７：Ｙｅｓ）は、ステップＳ７０５およびステップＳ７０６において発話が検知された参加者である発話者について、画像テーブルに登録済みである画像情報である代替画像情報を発話者の画像として通信Ｉ／Ｆ２０７を介して他拠点のテレビ会議端末１１０に出力する（ステップＳ７０８）。
【００９２】
ＣＰＵ２０１は、ステップＳ７０５およびステップＳ７０６において発話が検知された参加者である発話者を撮像するため、発話が検知された方向を撮像方向として映像Ｉ／Ｆ２０４を介して、カメラ１１３のパン・チルト制御を実行する（ステップＳ７０９）。
【００９３】
ＣＰＵ２０１は、映像Ｉ／Ｆ２０４を介して、ステップＳ７０９においてパン・チルト制御されているカメラ１１３の撮像範囲に発話者が含まれたか否かを判断する（ステップＳ７１０）。発話者が含まれたか否かの判断は、たとえば、代替画像情報中の参加者と、撮像される参加者との類似度で判断する構成でもよい。
【００９４】
ステップＳ７１０において、発話者がカメラ１１３の撮像範囲内にない場合（ステップＳ７１０：Ｎｏ）は、ステップＳ７０９へ戻って処理を繰り返す。ステップＳ７１０において、発話者が、カメラ１１３の撮像範囲内にある場合（ステップＳ７１０：Ｙｅｓ）は、ＣＰＵ２０１は、カメラ１１３によって発話者を撮像撮像対象の参加者画像として（ステップＳ７１１）、ステップＳ７０２へ移行する。
【００９５】
以上説明したように、本発明の変形例によれば、代替画像情報を最新の参加者画像に行進することができるため、出力する代替画像情報をより新鮮な情報として、的確にテレビ会議を進行することができる。
【００９６】
また、上述した説明では、実施形態および一部の変形例について別々の例として説明したが、これに限ることはない。すなわち、それぞれ実施形態および一部の変形例による手法を適宜組み合わせて利用してもよい。
【００９７】
なお、本発明の実施形態および変形例で説明した処理方法は、あらかじめ用意された通信プログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。この通信プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。
【符号の説明】
【００９８】
１００  テレビ会議システム
１１０（１１０ａ，１１０ｂ）  テレビ会議端末
１１１（１１１ａ，１１１ｂ）  本体部
１１２（１１２ａ，１１２ｂ）  ディスプレイ
１１３（１１３ａ，１１３ｂ）  カメラ
１１４（１１４ａ，１１４ｂ）  マイク
１１５（１１５ａ，１１５ｂ）  スピーカ
ａ１，ａ２，ｂ１  参加者
１５０  ネットワーク
２００  バス
２０１  ＣＰＵ
２０２  ＲＡＭ
２０３  ＲＯＭ
２０４  映像Ｉ／Ｆ
２０５  音声Ｉ／Ｆ
２０６  操作部
２０７  通信Ｉ／Ｆ
２０８  記憶媒体
【図１】
2012034119.tif 000003
【図２】
2012034119.tif 000004
【図３】
2012034119.tif 000005
【図４】
2012034119.tif 000006
【図５】
2012034119.tif 000007
【図６】
2012034119.tif 000008
【図７】
2012034119.tif 000009