(57)【要約】【課題】表示画面の表示範囲を、メンバの人員に合わせて自動的に調整することのできる会議システムを提供する。【解決手段】通信回線を介して映像を用いた会議システムであって、利用者を一意に特定する識別情報と、利用者の画像情報とを含む利用者情報と、会議に参加する参加者の識別情報とを記憶する記憶手段と、カメラで撮影した画像から、前記記憶手段に記憶した利用者情報を用いて識別情報を特定し、参加者の識別情報と照合する確認手段と、前記確認手段で参加者と確認された場合、撮影された画像における位置を特定し、当該位置に基づいて、画像から参加者を含む表示エリアを切り出し、表示させる切出手段とを備えた。【選択図】図５
2015177418.tif 000002
【特許請求の範囲】
【請求項１】
通信回線を介して映像を用いた会議システムであって、
利用者を一意に特定する識別情報と、利用者の画像情報とを含む利用者情報と、会議に参加する参加者の識別情報とを記憶する記憶手段と、
カメラで撮影した画像から、前記記憶手段に記憶した利用者情報を用いて識別情報を特定し、参加者の識別情報と照合する確認手段と、
前記確認手段で参加者と確認された場合、撮影された画像における位置を特定し、当該位置に基づいて、画像から参加者を含む表示エリアを切り出し、表示させる切出手段とを備えたことを特徴とする会議システム。
【請求項２】
前記利用者の画像情報は、顔画像情報であり、
前記確認手段は、顔画像情報に基づいて、人物を特定することを特徴とする請求項１に記載の会議システム。
【請求項３】
通信回線を介して映像を用いた会議システムで用いられるプログラムであって、
利用者を一意に特定する識別情報と、利用者の画像情報とを含む利用者情報と、会議に参加する参加者の識別情報とを記憶手段に記憶させるステップと、
カメラで撮影した画像から、前記記憶手段に記憶した利用者情報を用いて識別情報を特定し、参加者の識別情報と照合する確認ステップと、
前記確認ステップで参加者と確認された場合、撮影された画像における位置を特定し、当該位置に基づいて、画像から参加者を含む表示エリアを切り出し、表示させる切出ステップとを会議システムで実行するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
インターネット等の通信ネットワークを利用して、遠隔地間で会議を行うのに好適な会議システム及びプログラムに関する。
【背景技術】
【０００２】
インターネット等の通信ネットワークを介して遠隔地間で、会議を進行させる会議システム（テレビ会議システム又はビデオ会議システムともいう）が普及している。この会議システムにおいては、遠隔地にいる会議参加者（メンバともいう）毎に会議システムの端末装置が備えられ、各端末装置は通信回線を介して互いに接続されている。
【０００３】
ある一つの端末装置において、カメラで撮影したメンバの画像（主に顔画像）と、マイクで集音したメンバの音声とをデジタルデータに変換し、通信回線を介して、会議に参加している他の端末装置に送信する。そして、他の端末装置では、送信されてきたデジタルデータに基づいて、メンバの顔画像をディスプレイに表示させるとともに、メンバの音声をスピーカから出力させる。これにより、遠隔地間においても、互いに対面状態での実際の会議に近い状態で会議を進めることが可能となる。
【０００４】
従来より、カメラで撮影した画像を一定の領域毎に分割し、その分割画像の中から、メンバの顔やメンバ全体等の特定の画像を認識し、その特定の画像を画像処理して表示画面に自動的に拡大表示するようにした装置が提案されている（特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、途中から人が参加したり退席したりした場合、会議場内のメンバ全体を表示するには、ディスプレイの表示範囲を手動またはソフト制御で調整しなければならず、その調整操作が煩わしいという問題がある。すなわち、途中から人が参加したり退席したりした場合は、メンバの人員が変わっており、この場合、カメラの撮影画像を拡大、縮小する必要があるが、それに合わせて表示画面の表示範囲を調整する操作は非常に煩わしい。
【０００６】
本発明の課題は、表示画面の表示範囲を、メンバの人員に合わせて自動的に調整することのできる会議システムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、通信回線を介して映像を用いた会議システムであって、利用者を一意に特定する識別情報と、利用者の画像情報とを含む利用者情報と、会議に参加する参加者の識別情報とを記憶する記憶手段と、カメラで撮影した画像から、前記記憶手段に記憶した利用者情報を用いて識別情報を特定し、参加者の識別情報と照合する確認手段と、前記確認手段で参加者と確認された場合、撮影された画像における位置を特定し、当該位置に基づいて、画像から参加者を含む表示エリアを切り出し、表示させる切出手段とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、表示画面の表示範囲を、メンバの人員に合わせて自動的に調整することができる。
【図面の簡単な説明】
【０００９】
【図１】会議システムにおける端末装置を示す図である。
【図２】会議システムの全体構成を示す図である。
【図３】会議システムにおけるサーバの構成を示す図である。
【図４】会議参加メンバの登録の照会について説明した図である。
【図５】カメラの表示エリアと映像エリアについて説明した図である。
【図６】会議システムの動作について説明したフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施例を図面に従って説明する。
【実施例】
【００１１】
図１は、本実施例による会議システムの端末装置１０を示している。この端末装置１０は、端末装置本体１１と、端末装置本体１１にケーブル１２を介して接続されたカメラ１３とを有している。端末装置本体１１には、映像を表示できるＬＣＤ（Liquid Crystal Display）表示部１４、及び情報入力用のキー入力部１５が設けられている。カメラ１３は、端末装置本体１１の前に座って会議に参加する会議参加者（メンバともいう）を撮影する。メンバは、カメラ１３によって主に顔が撮影される。また、カメラ１３は、端末装置本体１１からの指示により、レンズ光軸を左右上下に首振りすることができる、いわゆるパンチルト機能を有している。
【００１２】
端末装置本体１１には、会議用のマイク及びスピーカ１６が内蔵されている。このようなマイク及びスピーカ１６は、内蔵タイプに限らず、端末装置本体１１に設けられたＵＳＢ端子を介して接続される外付けタイプのものであっても良い。
【００１３】
また、端末装置本体１１は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やＶＧＡ（Video Graphics Array）の画像出力端子を備えており、ＬＣＤ表示部１４に表示されるコンテンツを、外部のモニタやプロジェクタに表示させることもできる。
【００１４】
さらに、端末装置本体１１には、図示してないが、中央演算処理装置としてのＣＰＵ（Central Processing Unit）と、固定データの記憶を行うＲＯＭ（Read Only Memory）と、一時的にデータを記憶するＲＡＭ（Random Access Memory）とが設けられている。
【００１５】
また、端末装置本体１１には、書き換え可能な不揮発性のメモリからなるバックアップメモリと、バッファ等を有する入出力インターフェース回路とが設けられている。
【００１６】
また、端末装置本体１１には、そのキー入力部１５に、図示してないが、電源のオンオフのための電源キーと、端末装置本体１１で実行可能な設定、操作メニュー等を表示するためのメニューキーとが設けられている。さらに、端末装置本体１１には、そのキー入力部１５に、ＬＣＤ表示部１４の画面上でキー操作、例えば、ソフトキーボード等を操作するための上下左右矢印キーと、例えば、画面上のＯＫボタンを選択したり、上下左右矢印キーによりソフトキーボード上で選択したキーを採用したりする際に用いる決定キー（キーボードのＥＮＴＥＲキーに相当するもの）と、会議を終了させるための切断キーとが設けられている。また、カメラ１３のパンチルト機能を操作するための十字のキーコントローラも設けられている。
【００１７】
端末装置としては、情報処理装置である。つまり、この端末装置には、専用の端末装置や、ノートＰＣ、タブレットＰＣ、スマートフォン等の汎用の端末装置を含む。汎用の端末装置には、カメラ、スピーカ、マイク等が予め内蔵されているものもあるため、図１に示した構成には限らない。つまり、会議システムに参加するのに必要な構成を内蔵又は外付けにより構成されても良い。
【００１８】
図２は、本実施例に係る会議システム２０の一例を示す全体構成図である。本会議システム２０においては、図１に示した端末装置１０が３セット設けられ、各端末装置１０が通信回線２１を介して互いに接続されている。
【００１９】
通信回線２１には、サーバ２２が接続されている。サーバ２２は、サーバ本体２３と、サーバ本体２３にケーブル２４を介して接続された表示部２５とを有している。表示部２５には、その上側にカメラ部２６が、左右両側にマイク２７Ａとスピーカ２７Ｂから成る音声部２７がそれぞれ設けられている。また、サーバ本体２３にはケーブル２８を介して入力部（キーボード）２９が接続されている。
【００２０】
図３は、サーバ２２の概略構成を示す図である。このサーバ２２は、多地点接続装置（Multi-point Control Unit）と呼ばれる。各々の端末装置１０を接続させる機能を備える。ＣＰＵ（Central Processing Unit）３１、メモリ３２、画像調整部３３、人認識部３４及び通信部３５が設けられ、これらはバス３６に接続されている。バス３６には、上述した表示部２５、カメラ部２６、音声部２７及び入力部２９も接続されている。ここで、表示部２５、カメラ部２６及び音声部２７が接続されたバス３６は、図２においては、ケーブル２４に相当している。また、入力部２９が接続されたバス３６は、図２においては、ケーブル２８に相当している。
【００２１】
ＣＰＵ３１は、本実施例の会議システム２０を制御するメイン制御装置であり、メモリ３２は、プログラムやワーク用のデータを記憶する記憶装置である。表示部２５は、カメラ部２６からの画像を表示したり、相手側からの通信画像（端末装置１０のカメラ１３からの画像）、及び各種設定画像を表示したりする。
【００２２】
カメラ部２６は、表示部２５の前方に座っているメンバの映像を映すためものである。音声部２７は、表示部２５の前方に座っているメンバの音声を入力し、その音声を通信相手側（端末装置１０側）に送信する。逆に音声部２７は、端末装置１０の前方に座っているメンバの音声を受信して、その音声を出力する。
【００２３】
人認識部３４は、カメラ部２６及び端末装置１０のカメラ１３から入力された画像データから人を認識するとともに、その人の認証ＩＤを判別する。この認証ＩＤとは、会議システムを利用する利用者を一意に特定することが可能な識別情報を意味する。画像調整部３３は、人認識部３４で認識した情報を基に表示画像エリアを自動調整する。
【００２４】
また、通信部３５は、各々の端末装置１０の間でやり取りされる音声信号や、ビデオ信号を送信したり、受信したりする。さらに、通信部３５は、音声部２７からの音声信号や、カメラ部２６からのビデオ信号を通信相手側（端末装置１０側）に送信したり、端末装置１０からの音声信号やビデオ信号を受信したりする。入力部２９は、文字入力を行うキーボードやメニューの決定等を行うマウス等であり、会議に参加するメンバの認証ＩＤ等が入力される。入力された認証ＩＤ等はメモリ３２に記憶される。
【００２５】
そして、サーバ２２は、ＣＰＵ３１の制御により、メモリ３２に格納されたプログラムを基に、各々の通信相手（端末装置１０）間での会議を開始する。表示部２５は、通信相手側（端末装置１０側）から通信部３５を介して送信されてきた映像を表示する。音声部２７は、サーバ２２側のメンバの音声を、通信部３５を介して通信相手側（端末装置１０側）に送信するとともに、通信相手側（端末装置１０側）のメンバの音声を、通信部３５を介して受信する。
【００２６】
なお、本実施例においては、ＬＣＤ表示部１４は表示手段を、表示部２５は表示手段を、カメラ部２６はカメラを、入力部２９は入力手段を、メモリ３２は、記憶手段及び記憶部を、画像調整部３３は登録手段及び切出手段を、人認識部３４は確認手段を各々構成している。
【００２７】
ここで、メンバは端末装置１０側及びサーバ２２側の双方に居るが、これらメンバのうち、予め会議に出席するとして設定されており、サーバ２２に参加者リストとして登録されているメンバを主メンバと称し、それ以外のメンバを従メンバと称することにする。なお、サーバ２２側にメンバ、つまり、会議に参加するメンバが居なくても良い。
【００２８】
図４は、会議参加メンバの登録と照会について説明した図である。会議開始前に、主メンバ（会議の出席者）のリストを、端末装置１０からサーバ２２に参加者リストとして予め送付しておく。サーバ２２からの参加者は、サーバ２２でメンバが参加する際に参加者リストの登録を行う。送付された参加者リストは、サーバ２２内のメモリ３２に記憶される。この参加者リストは、参加者情報であり、会議に参加する者の認証ＩＤ、つまり、参加者を一意に特定する識別情報が対応付けられている。さらに、サーバ２２には、会議システムを利用する全ての利用者に対する、顔画像、認証ＩＤを対応付けて、参加者リストとは別に、利用者リストとしてメモリ３２等に予め記憶されている。ここで、利用者リストは、利用者の画像と、認証ＩＤとを対応付けて記憶されている利用者情報を意味する。また、利用者の画像は、顔画像だけでも良いし、全身画像や、上半身の画像であっても良く、画像認識の技術により、人物が特定できるものであれば良い。なお、サーバ２２は会議システム２０の一部であるが、ここでは、会議システム２０とサーバ２２との関係で説明する。
【００２９】
参加者リストには、主メンバの認証ＩＤが含まれている。会議システム２０は、会議中にサーバ２２との間で主メンバの認証ＩＤを照会して、主メンバかどうかを判定するとともに、その判定結果を会議システム２０に返信する。
【００３０】
図５（Ａ）〜（Ｃ）は、カメラの表示エリアと映像エリアについて説明した図である。カメラの映像エリアは、カメラが取り込みできる画像エリア全体を示している。この映像エリアから画像を切り出して、実際に表示する画像をカメラの表示エリアとしている。
【００３１】
図５（Ａ）は、一人の人物を表示しているところを表わした図である。認証ＩＤ（００１）がサーバ２２のメモリ３２に参加者リストとして登録されており、サーバ２２の人認識部３４は、利用者リストと参加者リストを用いて、当該一人の人物は主メンバであることを特定する。そして、人認識部３４は、当該一人を含む表示エリアを表示対象として切り出して、端末装置１０のＬＣＤ表示部１４またはサーバ２２の表示部２５に表示する。
【００３２】
図５（Ｂ）は、三人の人物を表示しているところを表わした図である。三人の認証ＩＤ（００１，００２，００３）がサーバ２２のメモリ３２に参加者リストとして登録されており、サーバ２２の人認識部３４は、利用者リストと参加者リストを用いて、当該三人の人物は主メンバであることを特定する。そして、人認識部３４は、三人を含む表示エリアを表示対象として切り出して、端末装置１０のＬＣＤ表示部１４またはサーバ２２の表示部２５に表示する。
【００３３】
図５（Ｃ）は、二人の人物を表示しているところを表わした図である。カメラの映像エリアの中には三人が表示されている。しかしながら、二人の認証ＩＤ（００１，００２）がサーバ２２のメモリ３２に参加リストとして登録されており、残りの一人は、認証ＩＤが不一致（参加リストに登録されていない）のため表示対象とならならない。つまり、人認識部３４は、利用者リストと参加者リストを用いて、参加者リストにある認証ＩＤ（００１，００２）の二人が主メンバであるから、当該二人を含む表示エリアを表示対象として切り出して、端末装置１０のＬＣＤ表示部１４またはサーバ２２の表示部２５に表示する。
【００３４】
図６は、本実施例による会議システムの動作について説明したフローチャートである。
【００３５】
先ず、会議開始前に、会議参加メンバの認証ＩＤを含む参加者リストをサーバ２２（メモリ３２）に登録しておく。メンバの各々には認証ＩＤが割り当てられている（ステップＳ１）。
【００３６】
そして、メンバの各々が会議に参加して、会議が開始される（ステップＳ２）。端末装置１０のカメラ１３及びサーバ２２のカメラ部２６からの画像（静止画、動画のいずれであっても良い）が、サーバ本体２３に送信または入力される（ステップＳ３）。送信または入力された画像は、サーバ本体２３内の人認識部３４にて、先の利用者リストに含まれる利用者の画像、例えば、顔画像を用いて人物を特定する（ステップＳ４）。そして、特定した人物の画像に対応する認証ＩＤを利用者リストから確認する（ステップＳ５）。なお、特定した人物の画像（例えば顔画像）は、認証ＩＤと共にサーバ本体２３のメモリ３２に利用者リストとして記憶されている。
【００３７】
ステップＳ５で確認された認証ＩＤと、サーバ本体２３のメモリ３２に登録してある参加者リストのメンバの認証ＩＤとを照合し、これら認証ＩＤが一致するかどうか確認する（ステップＳ６）。一致した場合は、ステップＳ４で特定した人物が主メンバであると判断して、ステップＳ７へ進む。一致しない場合は、ステップＳ４で特定した人物が従メンバであると判断して、ステップＳ８へ進む。
【００３８】
ステップＳ６でＹＥＳと判断した場合、ステップＳ４で特定した人物（つまり、主メンバ）のカメラが撮影した画像上の位置情報（つまり、会議場における位置に相当する）を登録しておく（ステップＳ７）。なお、ここでの位置情報は、カメラが撮影している画像上における座標値等で表現される。
【００３９】
他に会議に参加して居るメンバが居るかどうか判断する（ステップＳ８）。他に参加メンバが居る場合はステップＳ５に戻り、他に参加メンバが居ない場合はステップＳ９へ進む。
【００４０】
会議に参加しているメンバの位置情報を基に、表示エリアを決定する（ステップＳ９）。その決定した表示エリアの映像を、会議を行っている各端末装置１０のＬＣＤ表示部１４またはサーバ２２の表示部２５に表示する（ステップＳ１０）。すなわち、従メンバは表示されず、主メンバを含む表示エリアだけが表示される。
【００４１】
そして、会議終了まで上記ステップＳ３〜ステップＳ１０の動作を繰り返し実行する（ステップＳ１１）。
【００４２】
本実施例によれば、カメラで撮影した映像の中から主メンバを含む表示エリアが切り出され、その切り出された表示エリアが表示されるので、表示画面の表示範囲を、メンバの人員に合わせて自動的に調整することができる。
【００４３】
また、本実施例によれば、図６のステップＳ８において、他に参加メンバが居るがどうかを判断しているので、会議に途中から参加したメンバや、会議の途中で退席したメンバがいても、そのことを確実に検知することができる。そして、会議に途中から参加したメンバが居た場合は表示エリア内を縮小して、会議の途中で退席したメンバが居た場合は表示エリア内を拡大して表示する。このように、本実施例においては、表示エリア内の参加メンバに変動があったときは、表示エリア内の画像を自動的に縮小表示または拡大表示することができる。
【００４４】
以上、本発明の実施例を図面により詳述してきたが、上記実施例は本発明の例示にしか過ぎないものであり、本発明は上記実施例の構成にのみ限定されるものではない。本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
【００４５】
例えば、端末装置１０は３セットに限らず、２セット、または４セット以上設置されていても良い。
【００４６】
また、通信回線２１は有線に限らず、無線であっても良い。
【符号の説明】
【００４７】
１０  端末装置
１１  端末装置本体
１３  カメラ
１４  ＬＣＤ表示部（表示手段）
１５  キー入力部
１６  マイク及びスピーカ
２０  会議システム
２１  通信回線
２２  サーバ
２３  サーバ本体
２５  表示部（表示手段）
２６  カメラ部（カメラ）
２７  音声部
２９  入力部（入力手段）
３１  ＣＰＵ
３２  メモリ（記憶手段、記憶部）
３３  画像調整部（登録手段、切出手段）
３４  人認識部（確認手段）
３５  通信部
３６  バス
【先行技術文献】
【特許文献】
【００４８】
【特許文献１】特開平９−２３３３８４号公報
【図１】
2015177418.tif 000003
【図２】
2015177418.tif 000004
【図３】
2015177418.tif 000005
【図４】
2015177418.tif 000006
【図５】
2015177418.tif 000007
【図６】
2015177418.tif 000008