(57)【要約】      （修正有）【課題】人物を撮像範囲に入れて撮像することができる端末装置を提供する。【解決手段】端末装置３は、撮像手段から画像データを取得する画像データ取得手段４１と、画像データから平面領域を特定する平面領域特定手段３７と、特定された平面領域に基づいて人が存在する可能性がある人物エリアを推定する人物エリア推定手段３８と、人物エリアが撮像範囲に含まれるように撮像手段の制御量を決定する制御量決定手段３９と、を有する。【選択図】図６
2018074474.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段から画像データを取得する画像データ取得手段と、
前記画像データから平面領域を特定する平面領域特定手段と、
特定された前記平面領域に基づいて人が存在する可能性がある人物エリアを推定する人物エリア推定手段と、
前記人物エリアが撮像範囲に含まれるように前記撮像手段の制御量を決定する制御量決定手段と、
を有する端末装置。
【請求項２】
前記平面領域特定手段は、前記画像データの中央付近の前記平面領域を特定する請求項１に記載の端末装置。
【請求項３】
前記平面領域特定手段は、前記画像データの中央付近の前記平面領域を机として特定する請求項１に記載の端末装置。
【請求項４】
前記平面領域特定手段は、前記画像データの中央付近に近いほど大きいポイントを前記平面領域に付与すると共に、前記画像データの下方にあるほど大きいポイントを前記平面領域に付与し、閾値以上のポイントの前記平面領域が複数ある場合、それらを全て特定し、
複数の前記平面領域を含む領域を１つの前記平面領域に特定する請求項２又は３に記載の端末装置。
【請求項５】
前記平面領域特定手段が特定した前記平面領域が前記画像データの端と接している場合、
前記制御量決定手段は、前記平面領域が前記画像データの端と接しなくなるまで前記撮像手段をチルトさせる請求項１〜４のいずれか１項に記載の端末装置。
【請求項６】
前記人物エリア推定手段は、前記平面領域特定手段が特定した前記平面領域を横方向及び上方向に拡大した領域を前記人物エリアとして推定する請求項５に記載の端末装置。
【請求項７】
前記制御量決定手段は、前記撮像手段の光軸が前記人物エリアの重心と一致する前記撮像手段のチルト角を算出する請求項６に記載の端末装置。
【請求項８】
前記制御量決定手段は、前記人物エリアの横幅が前記撮像範囲の横幅と一致する前記撮像手段のズーム倍率、又は、前記人物エリアの高さが前記撮像範囲の高さと一致する前記撮像手段のズーム倍率、のうち小さい方のズーム倍率を算出する請求項６又は７に記載の端末装置。
【請求項９】
集音装置から音声データを取得する音声データ取得手段と、
タッチパネルに手書きされた手書き情報を取得する手書き情報取得手段と、
前記画像データ、ネットワークを介して接続された他の端末に前記音声データ及び前記手書き情報を送信する送信手段と、を有し、
前記送信手段は前記制御量決定手段が決定した前記制御量で前記撮像手段が撮像して得られた前記画像データを前記他の端末装置に送信する請求項１〜８のいずれか１項に記載の端末装置。
【請求項１０】
情報処理装置を、
撮像手段から画像データを取得する画像データ取得手段と、
前記画像データから平面領域を特定する平面領域特定手段と、
特定された前記平面領域に基づいて人が存在する可能性がある人物エリアを推定する人物エリア推定手段と、
前記人物エリアが撮像範囲に含まれるように前記撮像手段の制御量を決定する制御量決定手段、として機能させるためのプログラム。
【請求項１１】
画像データ取得手段が、撮像手段から画像データを取得するステップと、
平面領域特定手段が、前記画像データから平面領域を特定するステップと、
人物エリア推定手段が、特定された前記平面領域に基づいて人が存在する可能性がある人物エリアを推定するステップと、
制御量決定手段が、前記人物エリアが撮像範囲に含まれるように前記撮像手段の制御量を決定するステップと、を有するカメラ制御方法。
【請求項１２】
撮像手段から画像データを取得する画像データ取得手段と、
前記画像データから平面領域を特定する平面領域特定手段と、
特定された前記平面領域に基づいて人が存在する可能性がある人物エリアを推定する人物エリア推定手段と、
前記人物エリアが撮像範囲に含まれるように前記撮像手段の制御量を決定する制御量決定手段と、
前記制御量決定手段が決定した前記制御量で撮像する前記撮像手段と、
前記撮像手段が撮像して得られた前記画像データを他の端末装置に送信する送信手段と、を有する端末装置。
【請求項１３】
情報処理装置を、
撮像手段から画像データを取得する画像データ取得手段と、
前記画像データから平面領域を特定する平面領域特定手段と、
特定された前記平面領域に基づいて人が存在する可能性がある人物エリアを推定する人物エリア推定手段と、
前記人物エリアが撮像範囲に含まれるように前記撮像手段の制御量を決定する制御量決定手段、
として機能させるためのプログラムを使って得られた前記画像データを前記情報処理装置に送信させるプログラム。
【請求項１４】
画像データ取得手段が、撮像手段から画像データを取得するステップと、
平面領域特定手段が、前記画像データから平面領域を特定するステップと、
人物エリア推定手段が、特定された前記平面領域に基づいて人が存在する可能性がある人物エリアを推定するステップと、
制御量決定手段が、前記人物エリアが撮像範囲に含まれるように前記撮像手段の制御量を決定するステップと、を有するカメラ制御方法を使って得られた前記画像データを端末装置が他の端末装置に送信するカメラ制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置、プログラム及びカメラ制御方法に関する。
【背景技術】
【０００２】
インターネット等のネットワークを介して複数の端末装置がビデオ会議等を行う通信システムが知られている。このような通信システムでは、一方の端末装置が撮像した画像データ及び集音した音声データを遠隔地の他方の端末装置に送信する。他方の端末装置はこの画像データ及び音声データを受信し、ディスプレイ等に画像を表示したり、スピーカから音声を出力したりすることで、これらの端末装置を使用するユーザがビデオ会議を行うことができる。
【０００３】
また、ビデオ会議においては画像及び音声の共有だけでなく、ユーザが説明のために手描きした手書き情報も各拠点で共有したいというニーズがある。従来の、通信システムでは、書画カメラ等で手描き内容を撮像し他の拠点の端末装置に送信する方法が一般的である。しかし、この方法では他の拠点のユーザが手描き内容に情報を書き足すことは困難である。
【０００４】
そこで、端末装置に電子黒板の機能を取り込む（又は、電子黒板に端末装置の機能を取り込む）ことが検討されている。電子黒板は、タッチパネルを有しているため、ユーザの手書き情報を取り込むことができ、通信機能を利用して他の拠点の端末装置に手書き情報を送信できる。他の拠点の端末装置は手書き情報をタッチパネルに表示するので、他の拠点のユーザは手描き情報に追加して手書きすることができる。また、追加した内容又は内容が追加された手書き情報は、元の拠点の端末装置に送信される。
【０００５】
しかし、電子黒板の機能を有する端末装置にユーザ（会議の参加者）等を撮像するためのカメラが搭載されると、会議室等の全てのユーザを撮像範囲に入れることが必ずしも容易でない場合がある。このような不都合に対して、従来から自動的に撮像範囲を調整する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、撮像範囲から人物を抽出し、抽出した人物の位置・サイズに応じてパン・チルト・ズーム制御を行う撮像システムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示されたように人物を検出する方法では、カメラと人物の距離が大きい場合に人物が小さく写り、人物を検出できない場合があるという問題がある。人物を検出できない場合、適切な撮像範囲も設定できない。
【０００７】
本発明は、上記課題に鑑み、人物を撮像範囲に入れて撮像することができる端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、撮像手段から画像データを取得する画像データ取得手段と、前記画像データから平面領域を特定する平面領域特定手段と、特定された前記平面領域に基づいて人が存在する可能性がある人物エリアを推定する人物エリア推定手段と、前記人物エリアが撮像範囲に含まれるように前記撮像手段の制御量を決定する制御量決定手段と、を有する端末装置を提供する。
【発明の効果】
【０００９】
人物を撮像範囲に入れて撮像することができる端末装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の端末装置の動作を説明する図の一例である。
【図２】通信システムのシステム構成図の一例である。
【図３】端末装置の外観図の一例である。
【図４】端末装置のハードウェア構成図の一例である。
【図５】通信システムにおいて、２つの端末装置が通信する際に接続されるセッションの一例を示す図である。
【図６】端末装置が有する機能をブロック状に示す機能ブロック図の一例である。
【図７】端末装置がセッションを接続しビデオ会議に参加するまでの処理を示すシーケンス図の一例である。
【図８】カメラの構成例を説明する図である。
【図９】チルト角と撮像範囲の一例を示す図である。
【図１０】カメラのチルト角と撮像範囲の関係の一例について説明する図である。
【図１１】カメラのズーム倍率と撮像範囲の関係の一例について説明する図である。
【図１２】基準画像、参照画像及び射影変換を説明する図の一例である。
【図１３】射影変換により得られた平面領域を説明する図の一例である。
【図１４】平面検出方法のフローチャート図の一例である。
【図１５】射影変換行列の算出方法を説明する図の一例である。
【図１６】検出された平面領域を模式的に示す図である。
【図１７】人物エリアの推定方法を説明する図の一例である。
【図１８】チルト角とズーム倍率の決定を模式的に説明する図の一例である。
【図１９】端末装置が撮像範囲を調整する手順を示すフローチャート図の一例である。
【図２０】複数の机の平面領域が特定される場合の撮像範囲の決定方法を説明する図の一例である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態として、端末装置及び端末装置が行うカメラ制御方法について図面を参照しながら説明する。
【００１２】
図１は、本実施形態の端末装置３の動作を説明する図の一例である。端末装置３は会議室に設置されており、複数の参加者（会議への参加者であるが、端末装置３を使用する人という意味でユーザという場合がある）が端末装置３の前方の机９に向かって着座している。
（１）図１（ａ）に示すように、端末装置３は撮像手段としてのカメラ１１を有しており、カメラ１１を用いて前方を撮像する。
（２）図１（ｂ）のような画像データ２０１が得られるが、端末装置３は画像データ２０１を画像処理して平面領域２０２を特定する。平面な物体として机９だけでなく壁等も存在するが、会議の際、参加者は中央の机９に向かって着座する。したがって、中央付近の平面領域２０２を特定する。
（３）図１（ｃ）に示すように、机９の平面領域２０２に基づいて人が座っている可能性がある人物エリア２０３を予測する。人物エリア２０３は例えば机の平面領域２０２よりも大きく人物が含まれる程度のエリアである。
（４）図１（ｄ）に示すように、端末装置３は人物エリア２０３を含むように撮像範囲２０４を決定する。後述するように端末装置３のカメラ１１はチルト機構を有しており、人物エリア２０３が中心に写るようにチルト角を決定し、そのチルト角で撮像範囲２０４が最大になるようにズーム倍率を決定する。
【００１３】
こうすることで、参加者が意図的に操作しなくても、人物が撮像されるように適切な撮像範囲２０４を自動的に決定することができる。
【００１４】
＜用語について＞
特許請求の範囲の平面領域は、空間における平面が画像データにおいて撮像されている領域である。
【００１５】
また、人とは人間であればよいが、より具体的には端末装置３で撮像されるべき人、更に具体的には会議に参加する人である。
【００１６】
本実施形態では画像が周期的に撮像されるためユーザには動画のように把握される。このような連続的な画像を映像と称してもよい。また、画像とはディスプレイ等に表示される像をいい、画像データとは画像を表示するためのデータをいうが、両者は厳密に区別されなくてよい。
【００１７】
＜システム構成例＞
図２は、通信システム１００のシステム構成図の一例を示す。複数の端末装置３がネットワークＮを介して会議サーバ５０と通信する。また、ネットワークＮには会議予約サーバ５１が接続されている。
【００１８】
ネットワークＮは、端末装置３が配置された施設のＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークＮが複数のＬＡＮを有する場合、ネットワークはＷＡＮやインターネットと呼ばれる。ネットワークＮは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、端末装置３が、３ＧやＬＴＥなどの回線交換型の通信装置を有する場合、回線事業者の回線を介してインターネットに接続し、会議サーバ５０と通信することができる。
【００１９】
通信システム１００は、ビデオ会議に適用されるだけでなく、コミュニケーションシステム、又はデータ通信システムにも適用される。本実施形態では、通信システム１００の適用例としてビデオ会議（又はテレビ会議と呼ばれる場合がある）で端末装置３が使用されるものとして説明する。また、端末装置３は、会議サーバ５０を介して一方の端末装置３から複数の端末装置３に一方向で画像データ又は音声データの少なくとも一方を送信するデータ提供システムが含まれる。
【００２０】
会議サーバ５０は端末装置３のステータスを管理し、着信があった場合に２つの端末装置３間でセッションを開始するなどの呼制御を行う呼制御サーバとして機能する。サーバであるので情報処理装置の機能を有する。呼制御とは、通信を開始するための発信、その着信、着信への応答、通信の切断など、電話をかけたり切ったりするための一連の処理をいう。この他、端末装置３の認証、検索、死活の監視なども行う場合が多い。更に、会議サーバ５０は、端末装置３の宛先リスト等、通信システム１００の制御に必要なデータベースの管理も行う。宛先リストとは、各端末装置３がテレビ会議の開始要求を送信できる（電話をかけられる）宛先の端末装置３が登録されたデータである。
【００２１】
なお、ステータスとは、端末装置３の通信システム１００における状態である。ステータスは主に着信できるかできないかに区分される。着信できる状態は、すでにビデオ会議に参加して画像データ、音声データ及び手書き情報を受信している状態（オンライン（伝送中）と呼ばれる）、単に着信を待ち受けている状態（オンラインと呼ばれる）とがある。着信できない状態は、主に、オフラインの状態である（電源が入っていなかったり、電源が入っているが会議サーバ５０にログインしていなかったりする状態）。
【００２２】
図では会議サーバ５０と会議予約サーバ５１が図示されているが、画像データ、音声データ及び手書き情報を送信する中継サーバ６０（後述する）が配置される場合も多い。中継サーバとは画像データ、音声データ及び手書き情報を他の拠点の端末装置３に中継するサーバである。会議サーバ５０はネットワークＮの帯域や中継サーバ６０の通信負荷を監視して適切な中継サーバ６０を端末装置３に割り当てる。
【００２３】
端末装置３は、電子黒板の機能とビデオ会議の機能を備えた情報処理装置である。電子黒板の機能としては、タッチパネル付きのディスプレイ１８を有し、タッチパネルを介してペン２１や指２２などの軌跡を取り込んで、軌跡を手書き情報としてディスプレイ１８に描画する。ユーザは端末装置３のディスプレイ１８を黒板のように使用することができる。また、ＰＣ(Personal  Computer)と接続することができ、ＰＣと同じ画面をディスプレイ１８に表示して手書き情報を重畳して描画したり、端末装置３がタッチパネルから入力された情報にしたがってＰＣを操作したりすることができる。
【００２４】
ビデオ会議の機能としては、カメラ１１で撮像した画像データ及び後述するマイク１２で集音した音声データを、会議サーバ５０を介してビデオ会議に参加している他の拠点の端末装置３に送信する機能がある。本実施形態では更に手書き情報を他の拠点の端末装置３に送信する。また、他の拠点の端末装置３から受信した画像データ及び手書き情報をディスプレイ１８に表示し、受信した音声データをスピーカから出力する機能がある。
【００２５】
ビデオ会議に参加している端末装置３が設置されている設置場所を「拠点」と称する。拠点はこのように概念的には場所を示すが、拠点は端末装置３そのものを示す場合がある。また、拠点が設置場所だけでなく拠点のユーザ、及び、企業や部署を示す場合がある。したがって、拠点は会議をしている相手を特定する意味も持つ。なお、拠点の具体例として、例えば、地名、企業名、企業内の部署名、出張所、支店、ユーザ名等が挙げられる。
【００２６】
ビデオ会議が開始されると、端末装置３は会議サーバ５０に対して画像データ、音声データ及び手書き情報を送信し、会議サーバ５０は、ビデオ会議に参加している他の接続端末に対して画像データ、音声データ及び手書き情報を送信する。また、会議サーバ５０を介して他方の端末装置３から画像データ、音声データ及び手書き情報を受信する。
【００２７】
図２で、例えば端末装置３Ａ、３Ｂ、３Ｃでビデオ会議を行った場合、端末装置３Ａが送信した画像データ、音声データ及び手書き情報は会議サーバ５０を介して端末装置３Ｂ，３Ｃに送信され、端末装置３Ｄには送信されない。同様に、端末装置３Ｂ，３Ｃが送信した画像データ、音声データ及び手書き情報は会議サーバ５０を介して端末装置３Ａに送信されるが、ビデオ会議に参加していない端末装置３Ｄには送信されない。このような制御を行うことで、複数の端末装置３が多拠点間でビデオ会議を行うことができる。
【００２８】
会議予約サーバ５１は、会議の予約に関する処理を行う情報処理装置である。会議予約サーバ５１は端末装置３のほかＰＣとも通信可能である。会議主催者が会議予約サーバ５１に対して、事前に会議情報 (会議開催日時、場所、会議参加者、役割、使用する会議端末等) を入力する。端末装置３は起動時に自機が登録された会議があるか否かを会議予約サーバ５１に問い合わせる。登録された会議がある場合、登録されている他の端末装置３とのビデオ会議を開始する。
【００２９】
＜端末装置３の例＞
図３は、端末装置３の外観図の一例である。端末装置３は、タッチパネル付きのディスプレイ１８を有し、ユーザはペン２１又は指２２で直接、タッチパネルに手書きすることができる。手書き情報（座標点）はネットワークＮを介して他の拠点に送信される。ペン２１は一般に棒状の物体であるが、タッチパネルがその接触を検知しうる物であればよく、手書きに適した棒状の物体である必要はない。また、指２２は身体の一部のうち手書きに適した部位の一例に過ぎず、身体の一部であればよい。
【００３０】
また、端末装置３は、カメラ１１及びマイク１２を有している。カメラ１１が撮像したユーザなどを含む画像データとマイク１２が集音した音声データは他の拠点に送信される。このうち音声データは他の拠点の端末装置３が有するスピーカ１３から出力される。
【００３１】
端末装置３はディスプレイ１８に、手書き情報を含む手書き情報画面２１１を表示すると共に、他の拠点の端末装置３から送信された画像データを含む画像データ画面２１２を表示することができる。手書き情報画面２１１にはビデオ会議に参加している全ての端末装置３の手書き情報が反映されている。図ではピクチャーインピクチャーの態様で手書き情報画面２１１と画像データ画面２１２が表示されている。この他、任意の１つの画面だけを大きく表示したり、均等な大きさで各画面を表示したりすることができる。なお、画像データ画面２１２は拠点の数だけ表示されうる。
【００３２】
このように、ビデオ会議に参加している各端末装置３は、他の拠点の端末装置３と画像データ、音声データ及び手書き情報を共有できる。
【００３３】
端末装置３は、ビデオ会議に専用の装置の場合と、汎用的な情報処理装置の場合があるが、本実施形態ではそのどちらでもよい。専用の装置の場合、電源ＯＮによりビデオ会議用のアプリケーションソフトウェアが自動的に起動したり、会議サーバ５０にログインしたりすることで、ユーザは最小限の操作でビデオ会議を開始できる。汎用的な情報処理装置は、例えば、ノートＰＣ、スマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistant）、携帯電話等である。これらの端末装置３ではＯＳ（Operation System）上で通信システム用のアプリケーションソフトウェアが動作する。ユーザがアプリケーションソフトウェアを起動させると、会議サーバ５０にログインする。通信システム用のアプリケーションソフトウェアは、電子黒板用のアプリとビデオ会議用のアプリに分かれていてもよい。
【００３４】
＜ハードウェア構成例＞
図４は、端末装置３のハードウェア構成図の一例である。端末装置３は、ＣＰＵ１０に接続されたカメラ１１、マイク１２、スピーカ１３、記憶装置１４、メモリ１５、操作部１６、ＬＡＮ Ｉ／Ｆ１７及びタッチパネル付きのディスプレイ１８を有している。なお、本実施形態の説明に直接、使用されない図示する以外の構成は省略されている。
【００３５】
カメラ１１は、撮像手段としてＣＭＯＳやＣＣＤなどの撮像素子を有し周囲の被写体を撮像して画像データを生成する。カメラ１１は所定のフレームレート（例えば３０fps）で周期的に画像データを生成するため、画像データは動画となる。カメラ１１は端末装置３の所定の位置に固定して設置されている。ＵＳＢインタフェースなどでカメラ１１が外付けされていてもよい。カメラ１１は後述するようにステレオカメラである。
【００３６】
タッチパネル付きのディスプレイ１８はＣＰＵ１０から受信した画像データを表示する表示装置である。また、ユーザがペン２１又は指２２でタッチパネルに触れた座標を検出しＣＰＵ１０に通知する。すなわち、タッチパネル付きのディスプレイ１８は入出力インタフェース機能を有する。なお、タッチパネルの一例として、ディスプレイ１８一体型の静電容量方式タッチパネルや抵抗膜方式、又は赤外線遮断方式等があるが、タッチパネルの方式は問わない。
【００３７】
マイク１２は参加者（ユーザ）の音声を集音し電気信号に変換する集音装置である。マイク１２は、端末装置３の所定の場所に固定されている。ＵＳＢインタフェースなどでマイク１２が外付けされていてもよい。
【００３８】
スピーカ１３は音声データを出力する。記憶装置１４は、ＣＰＵ１０が実行するプログラム１４ｐ、画像データ、音声データ、及び、手書き情報を記憶する。記憶装置１４として、例えばフラッシュメモリを集積したＳＳＤ（Solid State Drive）又はＨＤＤ（Hard Disk Drive）といった不揮発性の記憶媒体が挙げられる。
【００３９】
メモリ１５はＣＰＵ１０が実行するプログラムが記憶装置１４から展開される作業エリアである。また、ＣＰＵ１０による演算結果や演算の対象のデータが一時的に保存される。例えば、ＤＤＲメモリのような揮発性の記憶素子が挙げられる。
【００４０】
ＬＡＮ Ｉ／Ｆ１７はネットワークに接続する通信装置である。ネットワークを介して他の端末装置３と通信し、画像データ及び音声データの送受信を行う。ＬＡＮ Ｉ／Ｆ１７として10Base-T,100Base-TX,1000Base-Tに対応したEthernet（登録商標）用のＬＡＮカード、又は、IEEE802.11a/b/g/nに対応した無線ＬＡＮのＩＣが例として挙げられる。
【００４１】
操作部１６は、ユーザによる端末装置３への操作を受け付ける。例えば、キーボード、ボタン、及び音声認識装置などが相当する。タッチパネルによる入力も操作の一種である。
【００４２】
ＣＰＵ１０は、記憶装置１４に記憶されているプログラム１４ｐを実行することで端末装置３の全体の動作を制御する。例えば、カメラ１１から取得した画像データ、マイク１２から取得した音声データ、及びタッチパネルから取得した手書き情報をエンコードしてＬＡＮ Ｉ／Ｆ１７を介して会議サーバ５０に送信する。また、ＬＡＮ Ｉ／Ｆ１７が受信した画像データ、音声データ、及び手書き情報をデコードして、タッチパネル付きのディスプレイ１８に表示し、スピーカ１３ーから出力する。なお、ＣＰＵ１０が使用するコーデック（画像圧縮）の一例として、H.264/AVCやH.264/SVC、H.265等がある。
【００４３】
＜セッションについて＞
図５は、通信システム１００において、２つの端末装置３が通信する際に接続されるセッションの一例を示す。端末装置３Ａと端末装置３Ｂとの間では、会議サーバ５０を介して各種の管理情報を送受信するための管理情報用セッションｓｅｉが接続される。
【００４４】
また、管理情報用セッションｓｅｉが接続した端末装置３間では、中継サーバ６０を介して、画像データを送受信するためのセッションｓｅｄ１、音声データを送受信するためのセッションｓｅｄ２、手書き情報を送受信するためのセッションｓｅｄ３がそれぞれ接続される。なお、画像データのセッションは帯域などに応じて高解像度用、中解像度用、又は低解像度に分かれるが図５では省略されている。
【００４５】
どの中継サーバ６０を使用するかは会議サーバ５０から端末装置３に通知されるため、端末装置３は中継サーバ６０を意識する必要がなく指示された中継サーバ６０（ＩＰアドレス）に画像データ、音声データ及び手書き情報を送信すればよい。会議サーバ５０が中継サーバ６０を兼ねてもよい。本実施例では説明の便宜上、中継サーバ６０へ画像データ等が送信される場合でも会議サーバ５０に送信するものとして説明する。
【００４６】
＜端末装置３の機能について＞
図６は、端末装置３が有する機能をブロック状に示す機能ブロック図の一例である。端末装置３は、送受信部３１、ログイン要求部３２、音入力部３３、音出力部３４、表示制御部３５、手書き情報取得部３６、平面領域特定部３７、人物エリア推定部３８、カメラ制御量決定部３９、操作入力受付部４０、撮像部４１、及び記憶・読出処理部４２を有している。これら各部は、記憶装置１４からメモリ１５に展開されたプログラム１４ｐを実行するＣＰＵ１０によって実現される機能である。また、端末装置３は、記憶装置１４及びメモリ１５の少なくとも一方によって構成される記憶部４９を有している。
【００４７】
送受信部３１は、ＣＰＵ１０がプログラム１４ｐを実行しＬＡＮ Ｉ／Ｆ１７を制御すること等によって構成され、ネットワークＮを介して他の端末装置３、会議サーバ５０、及び中継サーバ６０と各種データや情報の送受信を行う。なお、送受信部３１は、他の端末装置３とビデオ会議を開始する前から、会議サーバ５０よりビデオ会議の接続先の候補としての各端末装置３の状態を示す各状態情報（ステータス）を受信する。
【００４８】
操作入力受付部４０は、ＣＰＵ１０がプログラム１４ｐを実行し操作部１６及びタッチパネルを制御すること等によって実現され、ユーザによる各種の入力を受け付ける。例えば、ユーザが電源スイッチをＯＮにすると、操作入力受付部４０が電源ＯＮを受け付けて、端末装置３が起動する。
【００４９】
ログイン要求部３２は、ＣＰＵ１０がプログラム１４ｐを実行すること等によって実現される。電源ＯＮの受け付けを契機として、送受信部３１からネットワークＮを介して会議サーバ５０にログインを要求する旨を示すログイン要求及び現時点の自端末のＩＰアドレスを送信する。
【００５０】
また、ユーザが電源スイッチをＯＮの状態からＯＦＦの状態にすると、送受信部３１が会議サーバ５０に電源をＯＦＦする旨を送信した後に、操作入力受付部４０が端末装置３の電源を完全にＯＦＦにするようになっている。これにより、会議サーバ５０側では、端末装置３が電源ＯＮから電源ＯＦＦになったこと（オフラインのステータス）を把握することができる。
【００５１】
撮像部４１は、ＣＰＵ１０がプログラム１４ｐを実行しカメラ１１を制御すること等によって実現され、被写体を撮像し、撮像して得られた画像データを記憶部４９に記憶させる。
【００５２】
音入力部３３は、ＣＰＵ１０がプログラム１４ｐを実行しマイク１２を制御すること等によって実現され、マイク１２によって集音された音を電気信号としての音声データに変換する。
【００５３】
音出力部３４は、ＣＰＵ１０がプログラム１４ｐを実行しスピーカ１３を制御すること等によって実現され、スピーカ１３を駆動する信号に音声データを変換しスピーカ１３から出力させる。
【００５４】
手書き情報取得部３６は、ＣＰＵ１０がプログラム１４ｐを実行しタッチパネル付きのディスプレイ１８を制御すること等によって実現され、ユーザがペン２１又は指２２で接触した座標を周期的に検出する。この時系列の座標又は座標が連結されたものが手書き情報となる。
【００５５】
表示制御部３５は、ＣＰＵ１０がプログラム１４ｐを実行しタッチパネル付きのディスプレイ１８を制御すること等によって実現され、手書き情報取得部３６が取得した手書き情報、及び、送受信部３１が受信した画像データ及び手書き情報を画像データ画面及び手書き情報画面に成形してディスプレイ１８に表示する。画像データ画面及び手書き情報画面のレイアウトは、予め決まっていてもよいしユーザが任意に操作できてもよい。表示制御部３５は手書き情報の座標をユーザが指定した線の太さや色で接続して、文字や手書き線を表示する。
【００５６】
また、表示制御部３５は、端末装置３の設定や操作を受け付けるメニューを表示する。また、送受信部３１が会議サーバ５０から受信した宛先リストをディスプレイ１８に表示させる。
【００５７】
平面領域特定部３７は、ＣＰＵ１０がプログラム１４ｐを実行すること等によって実現され、画像データを画像処理して所定の平面領域を特定する。平面領域とは空間における平面が画像データにおいて撮像されている領域である。例えば、机や壁、床などが挙げられる。所定の平面領域は、周囲に人が存在する可能性が高い平面領域であり、具体的には机に相当する平面領域である。
【００５８】
人物エリア推定部３８は、ＣＰＵ１０がプログラム１４ｐを実行すること等によって実現され、机９の平面領域２０２に基づいて人物エリア２０３を推定する。人物エリア２０３とは、人物（参加者）が存在すると推定される画像データ内の範囲又は領域である。
【００５９】
カメラ制御量決定部３９は、ＣＰＵ１０がプログラム１４ｐを実行しカメラ１１を制御すること等によって実現され、人物エリア２０３が撮像範囲２０４の中央で、かつ、最大に撮像できるようにカメラ１１のチルト角及びズーム倍率を決定する。
【００６０】
記憶・読出処理部４２は、ＣＰＵ１０がプログラム１４ｐを実行し記憶装置１４及びメモリ１５等を制御することより実現され、記憶部４９に各種データを記憶したり、記憶部４９に記憶された各種データを読み出したりするようになっている。
【００６１】
記憶部４９は、他の端末装置３とビデオ会議を行う際に受信される画像データ、音声データ及び手書き情報の受信バッファとして用いられる。また、端末装置３には端末装置３を識別するための端末ＩＤが付されており、記憶部４９にはこの端末ＩＤが記憶されている。ＩＤはIdentificationの略であり識別子や識別情報という意味である。ＩＤは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち１つ以上の組み合わせをいう。なお、端末ＩＤは参加者が入力してもよい。
【００６２】
＜セッション接続までの流れ＞
図７は、端末装置３がセッションを接続しビデオ会議に参加するまでの処理を示すシーケンス図の一例である。セッション接続までは管理情報用セッションｓｅｉで各種情報が送受信される。
【００６３】
S1：まず、端末装置３のユーザが端末装置３の電源スイッチをＯＮにしてログインするための操作を行うと、操作入力受付部４０が受け付けてログイン要求部３２がネットワークＮを介して会議サーバ５０にログイン要求を送信する。ログイン要求には、ログイン要求する端末装置３の端末ＩＤ及びパスワードが含まれている。なお、ログイン要求が会議サーバ５０に受信された際に、会議サーバ５０が送信側である端末装置３のＩＰアドレスを把握することができる。
【００６４】
S2：会議サーバ５０はログイン要求に含まれている端末ＩＤ及びパスワードに基づいて端末装置３を認証する。認証方法は端末ＩＤ及びパスワードに基づくものに限らず、ＩＣカードや生体認証情報を用いてもよい。ここでは認証が成立したものとする。
【００６５】
S3：認証が成立したので会議サーバ５０は、要求元の端末装置３の端末ＩＤに対応付けてステータス（オンライン）を更新する。また、端末装置３のＩＰアドレスを記憶する。
【００６６】
S4：会議サーバ５０は、ログイン要求してきた端末装置３に対応付けられている宛先リスト（宛先候補となる他の端末装置３）を抽出する。宛先リストは、予め会議サーバ５０が保持している。会議サーバ５０は宛先候補の各端末装置３のステータスを取得する。
【００６７】
S5：次に、会議サーバ５０は、宛先状態情報を要求元の端末装置３に送信する。宛先状態情報には宛先候補の端末ＩＤとステータスが含まれる。
【００６８】
S6：また、会議サーバ５０は要求元の端末装置３を宛先候補とする他の端末装置３のステータスを取得する。これは、要求元の端末装置３に対しビデオ会議の開始を要求する端末装置３にも要求元の端末装置３のステータスを通知するためである。ステータスがオフラインの他の端末装置３には要求元の端末装置３のステータスが通知されない。
【００６９】
S7：会議サーバ５０は、要求元の端末装置３を宛先候補とする端末装置３に宛先状態情報を送信する。宛先状態情報には要求元の端末装置３の端末ＩＤ及びステータスが含まれる。
【００７０】
S8：宛先状態情報を受信した要求元の端末装置３の表示制御部３５は宛先リスト画面４０１をディスプレイ１８に表示する。宛先リスト画面４０１には、宛先の端末装置３（拠点名など）とステータスが表示されるので、ユーザは宛先の状態を把握して宛先を選択することで宛先の端末装置３を呼び出すことができる。
【００７１】
S9：端末装置３の操作入力受付部４０は宛先の端末装置３を受け付け、送受信部３１がビデオ会議の開始要求を会議サーバ５０に送信する。開始要求には要求元の端末装置３の端末ＩＤと宛先の端末装置３の端末ＩＤが含まれる。
【００７２】
S10：会議サーバ５０は開始要求を宛先の端末装置３に送信する。宛先の端末装置３は要求元の端末装置３（拠点名など）を含む着信画面４１１を表示する。開始要求には要求元の端末装置３の拠点名などが含まれているので、ビデオ会議の開始を受けるか否かを宛先の端末装置３のユーザが判断できる。
【００７３】
S11：宛先の端末装置３のユーザが例えば応答する操作を行うと、操作入力受付部４０がこの操作を受け付け、送受信部３１が応答する旨を会議サーバ５０に送信する。会議サーバ５０は応答する旨を受信する際、宛先の端末装置３のＩＰアドレスを把握する。
【００７４】
S12：会議サーバ５０は要求元の端末装置３と宛先の端末装置３を中継サーバ６０に登録し、要求元の端末装置３と宛先の端末装置３に中継サーバ６０のＩＰアドレス等を通知する。これによりセッションが接続される。
【００７５】
S13：要求元の端末装置３は中継サーバ６０に対し画像データ、音声データ及び手書き情報を送信する。宛先の端末装置３も同様に画像データ等の送信を開始する。
【００７６】
S14：中継サーバ６０はこれらを宛先の端末装置３に転送する。以上のようにして、セッションが接続されて要求元の端末装置３と宛先の端末装置３は画像データ、音声データ及び手書き情報を送受信できる。
【００７７】
＜カメラ１１の構造＞
図８は、カメラ１１の構成例を説明する図である。カメラ１１は少なくとも２つの撮像手段を有するステレオカメラである。カメラ１１から見て左側の撮像手段を基準カメラ１１Ｌ、右側の撮像手段を参照カメラ１１Ｒという。ステレオカメラが搭載されるのは距離情報が得られるだけでなく、基準カメラ１１Ｌと参照カメラ１１Ｒのそれぞれで撮像した２枚の画像をブレンディング処理することで歪みのない広角映像を得られるためである。これにより、大きい会議室で利用する場合や、７，８人程度で利用する中程度の会議室で端末装置３のすぐ近くに座るユーザがいる場合でも、端末装置３は会議の参加者の全員を撮像範囲２０４内に入れられる。
【００７８】
図８（ａ）は端末装置３を正面から見た場合のカメラ１１の正面図であり、図８（ｂ）は端末装置３に取り付けられたカメラ１１の上面図であり、図８（ｃ）はカメラ１１の側面図である。カメラ１１にはチルト機構がついており、２つの撮像手段の全体のチルト角が調整可能になっている。ユーザは、リモコンや手動でチルト角を少しずつ変更し、参加者の全員が撮像範囲２０４に入るようにチルト角を調整できる。また、ズームによる拡大量、縮小量をユーザが手動で調整することができる。図８（ｄ）はチルト角がαの状態のカメラ１１の側面図を示す。
【００７９】
従来、ユーザは適切なチルト角、ズーム倍率を手動で設定しなければならず、煩わしいと感じる場合があった。そこで、カメラ１１を保持するハウジング等をモータで回転駆動させる構造が端末装置３に設けられた。ＣＰＵ１０が信号でモータを回転させることで決まった角度にチルトすることが可能である。また、ＣＰＵ１０からの信号で決まったズーム倍率に制御できる。
【００８０】
会議室に存在する参加者の数に対し撮像範囲２０４が広すぎる場合、画像データに撮像される人物のサイズも小さくなり、相手の拠点の参加者にも表情が伝わりにくい。本実施例では、人が最も大きく撮像されるように撮像範囲２０４が決定されるので、煩わしい作業を低減して遠隔地とのコミュニケーションが可能になる。
【００８１】
なお、カメラ１１と端末装置３とのインタフェースとしてはＵＳＢ、パラレルバス、V-by-One HS、又はHDMI（登録商標）等の高速シリアルI/Fが知られている。
【００８２】
＜チルト、ズームの一例＞
図９〜図１１を用いて、チルトとズームによる撮像例を説明する。図９は、チルト角と撮像範囲２０４の一例を示す図である。
【００８３】
まず図９は端末装置３のカメラ１１を視点にした会議室内を模式的に示す図である。端末装置３は、資料を表示したりビデオ会議の相手の拠点の画像をディスプレイ１８に表示したりする。また、端末装置３は、カメラ１１で会議室の全体を撮像するため、机９の一方の端であって机９の横方向の中央に設置される場合が多い。図９では端末装置３は机９の手前に設置されている。会議の参加者は机９を囲むように座っており、それぞれが端末装置３のタッチパネル付きのディスプレイ１８又はカメラ１１の方向を見ている。図９の点線はカメラ１１の撮像範囲２０４を表しており、点線内の画像がビデオ会議の相手の拠点へ送信される。
【００８４】
図１０はカメラ１１のチルト角と撮像範囲２０４の関係の一例について説明する図である。図１０（ａ）のチルト角は０°、図１０（ｂ）のチルト角は１５°、図１０（ｃ）のチルト角は４０°である。チルト角の基準は水平方向であり、水平方向から下向きにチルト角が測定される。
【００８５】
図１０（ｄ）はチルト角が０°の場合の撮像範囲２０４を、図１０（ｅ）はチルト角が１５°の場合の撮像範囲２０４を、図１０（ｆ）はチルト角が４０°の場合の撮像範囲２０４をそれぞれ示す。チルト角が０°の場合、端末装置３に近い方の参加者が見切れてしまっている（画像の下側の参加者があまり写っていない）。チルト角が４０°の場合、端末装置３に対し遠方の参加者が見切れてしまっている（画像の上側の参加者の顔が写っていない）。チルト角が１５°の場合、参加者の全員の全体的に適度に撮像され、会議室全体のイメージを相手の拠点の参加者が掴めるようになっている。したがって、チルト角が適切であることで、自拠点の端末装置３はビデオ会議の相手の拠点に臨場感のある画像データを送信できる。
【００８６】
図１１は、カメラ１１のズーム倍率と撮像範囲２０４の関係の一例について説明する図である。図１１（ａ）はズーム倍率が１倍の撮像範囲２０４を、図１１（ｂ）はズーム倍率が１．２倍の撮像範囲２０４を、それぞれ示す。ズーム倍率が１倍と１．２倍とを比較すると、後者の画像の方が人の顔が大きく写るため、ビデオ会議の相手の拠点の参加者が表情を把握しやすい。なお、図１１（ａ）の点線枠２０５が図１１（ｂ）の全体に表示されている。
【００８７】
＜平面領域の特定＞
本実施例では、机９の近くに会議の参加者が存在する可能性が高いことに着目し、人物エリア２０３を推測するため机９の平面領域２０２を検出する。検出方法については様々な方法が考えられるため限定しないが、一例として、
Ｓ１．ステレオカメラを用いた射影変換を応用した平面検出
Ｓ２．平面エリアの重心座標に基づいた机エリアの予測
の手順を説明する。Ｓ１の手法については非特許文献１を参照した。
【００８８】
<<Ｓ１．ステレオカメラを用いた射影変換を応用した平面検出>>
ステレオカメラの一方を基準カメラ１１Ｌ、他方を参照カメラ１１Ｒとすると、基準カメラ１１Ｌが撮像した画像を「基準画像Ｉｂ」と称し、参照カメラ１１Ｒが撮像した画像を「参照画像Ｉｒ」と称する。図１２に示すように、空間中にある平面π上の観測点Ｍ１が基準画像Ｉｂ及び参照画像Ｉｒに投影されるとき、基準画像Ｉｂ上での同次座標をｍｂ、参照画像Ｉｒ上での同次座標をｍｒとすると、各同次座標ｍｂ、ｍｒは、２次元の射影変換行列Ｈによって関係付けられる。
【００８９】
ここで、Ｈは３×３の射影変換行列である。また、図１２において、Ｏは基準カメラ１１Ｌの光学中心、Ｏ'は参照カメラ１１Ｒの光学中心、Ｒは基準カメラ座標系から参照カメラ座標系への回転行列、ｔは参照カメラ座標系において参照カメラの光学中心から基準カメラ１１Ｌの光学中心へ向かう並進ベクトル、ｄは基準カメラ１１Ｌの光学中心Ｏと平面πとの距離、ｎは平面πの法線ベクトルである。
【００９０】
空間中でほぼ平面な領域は、一方の画像に対し適当な射影変換を施すことにより平面の部分に対しては一致するような画像が得られることが知られている。図１３は平面領域と射影変換の関係を説明する図の一例である。机９などが撮像されている領域は空間中でほぼ平面であると見なすことができるので、図１３（ａ）の参照画像Ｉｒに対して適切な射影変換を施すことにより、平面の部分に対して図１３（ｂ）（ｄ）の基準画像Ｉｂに一致するような画像（図１３（ｃ））を得ることができる。つまり、図１３（ｃ）の平面領域は図１３（ｂ）（ｄ）と同じ位置にある。
【００９１】
一方、平面上にない物体は、射影変換した際に画像（図１３（ｃ）と図１３（ｂ）（ｄ））が一致しないため、その物体の領域は平坦な領域でないと判断することができる。したがって、図１３（ｅ）のように、変化のない範囲を検出することにより、平面領域の検出が可能となる。図１３（ｅ）では斜線部が平面領域を示す。
【００９２】
図１４は、平面検出方法のフローチャート図の一例である。カメラ１１は、基準画像Ｉｂ及び参照画像Ｉｒに係る画像情報を取得する（Ｓ１０）。
【００９３】
次に、平面領域特定部３７は、基準画像Ｉｂ及び参照画像Ｉｒと動的推定のための射影変換行列Ｈの初期値とを用いて、路面に対する射影変換行列Ｈを動的に推定する（Ｓ２０）。射影変換行列Ｈの推定方法は図１５を用いて説明する。
【００９４】
次に、平面領域特定部３７は、推定した射影変換行列Ｈを用いて、平面領域を抽出する（Ｓ３０）。平面領域は射影変換後の参照画像と基準画像の差分がゼロと見なせる領域（（図１３（ｃ）と図１３（ｄ）の差分がゼロとなる領域）である。
【００９５】
次に、平面領域特定部３７は、推定した射影変換行列Ｈを用いて、平面πの平面パラメータである法線ベクトルｎ及び基準カメラ１１Ｌの光学中心Ｏから平面πまでの距離ｄを求める（Ｓ４０）。
次に、適当に真値に近い動的推定のための射影変換行列Ｈの初期値を求める（Ｓ５０）。以降はこれを繰り返す。
【００９６】
次に、図１５を用いて射影変換行列の算出方法を説明する。まず、平面領域特定部３７は明るさの違いを除くため、基準画像Ｉｂと参照画像ＩｒにＬｏｇフィルタを施す。また、ヒストグラム平坦化処理を施す。
【００９７】
平面に対応する射影変換行列は、ある平面領域ＲＩ内で以下の評価関数ｅ（Ｈ）を最小化するＨを繰り返す最適化により求められる。
【００９８】
【数１】
2018074474.tif 000003
Ｉｂ（ｍ）、Ｉｒ（ｍ）はそれぞれ画像位置ｍでの基準画像Ｉｂと参照画像Ｉｒの濃度を示す。本実施例の方法では適当に真値に近い初期値としての射影変換行列ＨＩと、平面領域ＲＩを必要とする。まず、各時刻においてステレオ画像間の射影変換行列Ｈｓと基準画像の時間的に連続する２画像間の射影変換行列Ｈｍ、及び、基準画像に対する平面領域Ｒを求めていく。そして、ある時刻ｔの推定の際には前時刻ｔ−１までの推定結果を利用する。
（１）連続する基準画像Ｉｂ（ｔ−１）、Ｉｂ（ｔ）間の射影変換行列Ｈｍ（ｔ）を求める。この場合、射影変換行列の初期値としては前時刻に推定された射影変換行列Ｈｍ（ｔ−１）を、計算領域としてはＩｂ（ｔ−１）に対して前時刻で求められている平面領域Ｒ（ｔ−１）を用いることができる。
（２）次に、（１）で求められたＨｍ（ｔ）を用いて、前時刻の平面領域Ｒ（ｔ−１）を変換することにより、現時刻における予測された平面領域ＲＩ（ｔ）を求める。
（３）更に、基準画像Ｉｂ（ｔ）と参照画像Ｉｒ（ｔ）の間の射影変換行列Ｈｓ（ｔ）は、前時刻において推定されたＨｓ（ｔ−１）を初期とし、上記ＲＩ（ｔ）を計算領域として求められる。
【００９９】
<<三次元点を利用した平面領域の検出>>
本実施形態では机９の平面領域を検出すればよいので、より簡易的にステレオカメラで得られる三次元点を利用してもよい。ステレオカメラが撮像する基準画像Ｉｂと参照画像Ｉｒにより撮像範囲の三次元座標が分かる。平面領域特定部３７はほぼ同じ高さと見なせる三次元点を検出し、それらに膨張と収縮処理を施す。膨張とは、２値化した白黒画像内の図形を１画素分膨らませる処理をいい、収縮とは１画素分縮める処理である。膨張と収縮を数回（予め決められた数）組み合わせて行うことで、黒画素の連続領域を抽出したり孤立点を除去したりできる。
【０１００】
これにより同じ高さの平面領域が得られるので一定以上の面積の平面領域だけを抽出する。この平面領域に対し次述する重心座標を用いた方法で机９の平面領域２０２を決定する。この方法では、処理負荷が小さく、壁を検出しないので机９の平面領域２０２を特定しやすい。
【０１０１】
<<平面エリアの重心座標に基づいた机エリアの予測>>
図１６は、検出された平面領域を模式的に示す。図１６では参加者を除いて右壁３０１，後方壁３０２、左壁３０３、左床３０４、机の平面領域２０２、及び、右床３０５の平面領域が検出されている。
【０１０２】
平面領域特定部３７は、机９を特定するため、右壁３０１，後方壁３０２、左壁３０３、左床３０４、机の平面領域２０２、及び、右床３０５それぞれの重心座標を算出する。例えば、全ての画素のＸ座標の平均、Ｙ座標の平均を重心座標とする。これにより各平面領域ごとに、重心座標が求められる。机９は撮像範囲２０４の中央に置かれるという前提の元、撮像範囲２０４の中心の座標に基づいて机９の平面領域２０２を検出する。例えば、以下の方法が考えられる。
(i) Ｘ軸方向の中央に近い重心がある平面領域ほど大きなポイントを与える。
(ii) Ｙ軸方向の下に近い重心がある平面領域ほど大きなポイントを与える。
【０１０３】
平面領域特定部３７は、ポイントが最も大きい平面領域又は上位のいくつかの平面領域が机９の平面領域２０２であると判断する。
【０１０４】
＜人物エリア２０３の予測＞
以上のようにして机９の平面領域２０２が特定されたので、人物エリア推定部３８は机９の平面領域２０２に基づいて人物エリア２０３を推定する。
【０１０５】
図１７は、人物エリア２０３の推定方法を説明する図の一例である。会議の参加者は、机９の周りに着座している。参加者は机９に接近して着座すると考えられ、人物エリア２０３も机９の形状の影響を受けると考えられる。そこで、人物エリア推定部３８は人物エリア２０３を机９の平面領域２０２の相似形又は外接矩形として設定する。図１７（ａ）は机９の平面領域２０２の相似形の人物エリア２０３を示している。
【０１０６】
更に、図１７（ｂ）に示すように、参加者（主に顔）が存在する範囲は、机９よりもＹ軸方向では上方向、Ｘ軸方向では左右に広がる特徴がある。したがって、図１７（ａ）の相似形の人物エリア２０３を左右に拡大し、Ｙ軸方向の上方向に拡大する。これにより、図１７（ｃ）に示すような人物エリア２０３が得られる。
【０１０７】
どの程度左右方向に大きくし、上方向に拡大するかであるが、それぞれ一人分拡大すればよい。例えば、図１７（ａ）の状態から左に５０〜１００％、右に５０〜１００％すれば、机９の両側に参加者が着座しても撮像範囲２０４に含まれる。例えば、左右のそれぞれに１００％拡大した場合、人物エリア２０３のＸ軸方向の長さは机９の平面領域２０２の横幅の３倍になる。上方向にも同様に５０〜１００％程度、拡大すれば、参加者の顔まで撮像範囲２０４に含まれる。人物エリア２０３が撮像範囲２０４よりも大きくなる場合は、撮像範囲２０４を上限とする。
【０１０８】
机９の横幅が大きい場合がある。この場合、図１７（ａ）の状態から左右に５０〜１００％拡大すると撮像範囲２０４が大きくなりすぎる。そこで、机９の平面領域２０２の横方向のサイズを考慮して、左右にどのくらい拡大するかを決定してもよい。例えば、撮像範囲２０４に対する机９の平面領域２０２の幅の比率に応じて、拡大量を決定する。
１０％以下…２００％
１１〜２０％…１００％
２１〜３０％…７０％
３１〜４０％…４０％
４１％以上…２０％
こうすることで机９の平面領域２０２の横方向のサイズに応じて、拡大できる。なお、上方向の拡大量も同様に決定できる。
【０１０９】
＜チルト角とズーム倍率の決定＞
カメラ制御量決定部３９は、図１７（ｃ）のような人物エリア２０３が最も大きく写るようにカメラ１１のチルト角とズーム倍率を決定する。
【０１１０】
図１８は、チルト角とズーム倍率の決定を模式的に説明する図の一例である。図１８（ａ）は、チルト角が０°でズーム倍率１倍の状態の撮像範囲２０４と、人物エリア２０３を示す。図１８（ａ）の撮像範囲２０４が最も広い状態（最大にズームアウトした状態）である。
【０１１１】
まず、カメラ制御量決定部３９は、人物エリア２０３の重心２０６が撮像範囲２０４の中心２０７になるようにチルト角を決定する。まず、撮像範囲２０４の横幅の画素数Ｗ及び高さの画素数Ｔを算出する（又は既知の値を読み出す）。また、カメラ１１のズーム倍率に（例えば１０段階程度に区切られているものとする）、高さ方向の画角（角度）αが対応付けられたテーブルを保持しておく。すると、重心２０６と中心２０７の間の画素数ΔＴから、画素数ΔＴだけカメラの光軸を移動させるためのチルト角Δαが以下により算出できる。
【０１１２】
ΔＴ／Ｔ＝Δα／α
あるいは、チルト角を実際に変更して必要なチルト角を求めてもよい。例えば、チルト角を０°から少しずつ大きくし、撮像範囲２０４の中心２０７が人物エリア２０３の重心２０６と一致した時のチルト角を求めてもよい。なお、カメラ１１がパン（左右に光軸を振る）も可能である場合、撮像範囲２０４の中心２０７と人物エリア２０３の重心２０６が一致するようにパン角度を算出できる。
【０１１３】
図１８（ｂ）は人物エリア２０３の重心２０６が撮像範囲２０４の中心２０７になるようにチルト角が決定された際の撮像範囲２０４と人物エリア２０３を示す。これにより、会議の参加者が全体的に適度に表示され、会議室全体のイメージが掴めるようにチルト角を決定できる。したがって、端末装置３は、ビデオ会議の相手の拠点に臨場感のある画像データを送信できる。
【０１１４】
なお、カメラ１１のチルト角が小さい場合、撮像範囲２０４の下方で参加者が見切れている可能性があるため、机９の平面領域２０２が撮像範囲２０４と接している場合、平面領域特定部３７はカメラ１１をチルトさせて再度、机９の平面領域２０２を特定する。したがって、机９の平面領域２０２の全体が撮像範囲に入った状態でチルト角を決定できる。
【０１１５】
次に、カメラ制御量決定部３９は、撮像範囲２０４の縦横の比は一定のまま、撮像範囲２０４の横幅又は高さのどちらか一方に人物エリア２０３の横幅又は高さが一致するズーム倍率（拡大量）を算出する。人物エリアの横幅をＷｈ、高さをＴｈとする。したがって、Ｔ／Ｔｈ、又は、Ｗ／Ｗｈのどちらか小さい方がズーム倍率である。図１８（ｃ）では、人物エリア２０３の高さが撮像範囲２０４の高さと一致した状態の撮像範囲２０４を示す。
【０１１６】
なお、カメラ制御量決定部３９は、実際にズームインして、撮像範囲２０４の横幅又は高さのどちらか一方に人物エリア２０３の横幅又は高さが一致するズーム倍率を決定してもよい。
【０１１７】
カメラ制御量決定部３９はこの場合のズーム倍率をカメラ１１の制御情報に決定する。これにより、参加者の全員が含まれかつ顔が大きく表示される撮像範囲２０４を決定できる。したがって、ビデオ会議の相手の拠点の参加者も自拠点の参加者の表情がわかりやすくなる。
【０１１８】
＜動作手順＞
図１９は、端末装置３が撮像範囲２０４を調整する手順を示すフローチャート図の一例である。図１９の処理は、例えば端末装置３の電源スイッチのＯＮ、又はビデオ会議の開始などによりスタートする。
【０１１９】
カメラ１１は撮像を開始するので、平面領域特定部３７はカメラ１１が撮像した画像データから平面領域を特定する（Ｓ１０）。
【０１２０】
次に、特定された平面領域の座標に基づいてポイントを付与して、平面領域特定部３７は机９の平面領域２０２を特定する（Ｓ２０）。
【０１２１】
次に、平面領域特定部３７は、推測された机９の平面領域２０２が撮像範囲２０４内に全て含まれているかどうかを、机９の平面領域２０２に見切れがあるか否かから判断する（Ｓ３０）。つまり、机９の平面領域２０２が撮像範囲２０４の下端と接している場合は、見切れがあると判断される。下端に限られず、上端と接している場合はチルト角を小さくし、左右の端と接している場合はカメラ１１をパン（左右に光軸を振る）させる。
【０１２２】
ステップＳ３０の判断がＮｏの場合、平面領域特定部３７はカメラ１１を例えば３°チルトし、ステップＳ１０の平面エリアの検出から繰り返す（Ｓ９０）。このように、平面領域特定部３７は平面領域２０２が撮像範囲２０４の端と接しなくなるまでカメラ１１の光軸をチルトさせることができる。
【０１２３】
机９の平面領域２０２の全体が撮像範囲２０４に入ったと判断すると（Ｓ３０のＹｅｓ）、人物エリア推定部３８は机９の平面領域２０２に基づいて人物がいる可能性のある人物エリア２０３を推定する（Ｓ４０）。
【０１２４】
そして、カメラ制御量決定部３９は、推定された人物エリア２０３の重心２０６と撮像範囲２０４の中心２０７の座標の差からカメラ１１のチルト角を算出する（Ｓ５０）。
【０１２５】
カメラ制御量決定部３９は算出したチルト角にカメラ１１をチルトする（Ｓ６０）。
【０１２６】
また、カメラ制御量決定部３９は、人物エリア２０３の横幅と撮像範囲２０４の横幅の比、及び、人物エリア２０３の高さと撮像範囲２０４の高さの比、からズーム倍率を算出する（Ｓ７０）。
【０１２７】
そして、カメラ制御量決定部３９はこの変倍率でカメラ１１をズームさせる（Ｓ８０）。
【０１２８】
以上で、参加者が意図した操作をしなくても、人物が最大の大きさで撮像されるように適切な撮像範囲２０４を自動的に決定することができる。
【０１２９】
＜変形例＞
机の上に物が置かれているために、机９が分断されて撮像される場合がある。このような場合に対応するため、平面領域特定部３７は複数の机９の平面領域２０２を特定することも有効である。上記のように、ポイントを算出した場合に閾値以上のポイントの平面領域２０２がある場合、それらを全て取り出す。
【０１３０】
図２０は、複数の机９の平面領域２０２が特定される場合の撮像範囲の決定方法を説明する図の一例である。まず、図２０（ａ）は机９の上にプロジェクタ２０８が配置された状態の撮像範囲２０４を示す。この場合、図２０（ｂ）に示すように。２つの机９の平面領域２０２ａ、２０２ｂが特定される。
【０１３１】
図２０（ｃ）に示すように、複数の机９の平面領域２０２が特定された場合、平面領域特定部３７はこれらの平面領域２０２の外接矩形を最終的な平面領域２０２として特定する。したがって、机９の上に物があったり、会議室に複数の机が配置されたりしていても端末装置３は適切な撮像範囲で撮像できる。
【０１３２】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０１３３】
例えば、撮像範囲（チルト角とズーム倍率）の算出を端末装置３でなくサーバ（端末装置３以外の情報処理装置）が行ってもよい。
【０１３４】
また、本実施形態では机９の平面領域２０２を特定したが、机９はデスク、テーブル、卓、又はビューローなどと呼ばれる場合がある。
【０１３５】
また、本実施形態では、会議サーバ５０又は中継サーバ６０を介して端末装置３が通信すると説明したが、会議サーバ５０又は中継サーバ６０はなくてもよい。端末同士が直接、通信する通信プロトコルとして例えばWebRTC (Web Real-Time Communication)が知られている。
【０１３６】
また、本実施形態ではタッチパネルに参加者が手書きすることができると説明したが、端末装置３はタッチパネルを有さないディスプレイ１８を有していてもよい。また、本実施形態のカメラ制御方法は、カメラ１１の機能を有する装置に適用できる。
【０１３７】
また、上記実施形態では、通信システム１００の一例として、ビデオ会議システムの場合について説明したが、これに限るものではなく、ＩＰ（Internet Protocol）電話や、インターネット電話等の電話システムであってもよい。
【０１３８】
また、通信システム１００は、移動体に搭載されたカーナビゲーション装置を含むシステムであってもよい。また、端末装置３に画面共有用のＰＣが接続されてもよい。
【０１３９】
また、上記実施形態では、コンテンツデータの一例として、画像データ及び音声データについて説明したが、これに限るものではなく、触覚（touch）データであってもよい。この場合、一方の端末装置側でユーザが接触した感覚が、他方の端末装置側に伝達される。更に、コンテンツデータは、嗅覚（smell）データであってもよい。
【０１４０】
また、端末装置３は電子黒板と呼ばれてもビデオ会議端末と呼ばれてもよい。また、電子黒板は、電子情報ボードや電子ホワイトボードなどと呼ばれてよい。
【０１４１】
また、図６などの構成例は、端末装置３による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。端末装置３の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【０１４２】
なお、撮像部４１は画像データ取得手段の一例であり、平面領域特定部３７は平面領域特定手段の一例であり、人物エリア推定部３８は人物エリア推定手段の一例であり、カメラ制御量決定部３９は制御量決定手段の一例である。音入力部３３は音声データ取得手段の一例であり、手書き情報取得部３６は手書き情報取得手段の一例であり、送受信部３１は送信手段の一例である。
【符号の説明】
【０１４３】
３        端末装置
１０      ＣＰＵ
１１      カメラ
３１      送受信部
３７      平面領域特定部
３８      人物エリア推定部
３９      カメラ制御量決定部
４１      撮像部
５０      会議サーバ
１００    通信システム
【先行技術文献】
【特許文献】
【０１４４】
【特許文献１】特開２００２‐２６２１３８号公報
【非特許文献】
【０１４５】
【非特許文献１】奥富正敏 他３名、「ステレオ動画像を用いた視覚誘導のための平坦部の連続推定」，情報処理学会論文誌，Vol.43，No4,2002年4月
【図１】
2018074474.tif 000004
【図２】
2018074474.tif 000005
【図３】
2018074474.tif 000006
【図４】
2018074474.tif 000007
【図５】
2018074474.tif 000008
【図６】
2018074474.tif 000009
【図７】
2018074474.tif 000010
【図８】
2018074474.tif 000011
【図９】
2018074474.tif 000012
【図１０】
2018074474.tif 000013
【図１１】
2018074474.tif 000014
【図１２】
2018074474.tif 000015
【図１３】
2018074474.tif 000016
【図１４】
2018074474.tif 000017
【図１５】
2018074474.tif 000018
【図１６】
2018074474.tif 000019
【図１７】
2018074474.tif 000020
【図１８】
2018074474.tif 000021
【図１９】
2018074474.tif 000022
【図２０】
2018074474.tif 000023