(57)【要約】【課題】  会議の継続を高めることができる情報処理装置や会議システムを提供する。【解決手段】  情報処理装置は、入力された音声の音声情報、撮像された映像の映像情報および共有すべき画面の画面情報を各要素として送受信する装置である。情報処理装置は、各要素に関して作成された、各要素の送受信を継続すべきか否かを判断する基準となる判断基準を記憶する判断基準記憶部２２と、送受信している要素から該要素に関する指定された情報を取得する情報取得部２３と、判断基準を参照し、取得された情報から要素の送受信を継続させるか否かを判断する要素判断部２４とを含む。【選択図】  図２
2014090387.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声の音声情報、撮像された映像の映像情報および共有すべき画面の画面情報を各要素として送受信する情報処理装置であって、
前記各要素に関して作成された、前記各要素の送受信を継続すべきか否かを判断する基準となる判断基準を記憶する判断基準記憶部と、
送受信している前記各要素から該各要素に関する指定された情報を取得する情報取得部と、
前記判断基準を参照し、取得された各前記情報から前記各要素の送受信を継続させるか否かを判断する要素判断部とを含む、情報処理装置。
【請求項２】
前記要素判断部は、前記情報取得部に対し、取得すべき情報を指定して該情報の取得要求を送信する、請求項１に記載の情報処理装置。
【請求項３】
前記判断基準記憶部は、前記各要素の送信および受信の各々につき、複数の前記判断基準を記憶し、前記要素判断部は、前記複数の判断基準のすべて、もしくは選択された２以上の前記判断基準のすべて、または選択された１つの前記判断基準を参照し、前記各要素の送信および受信の各々につき、前記各要素の送信または受信を継続させるか否かを判断する、請求項１または２に記載の情報処理装置。
【請求項４】
前記要素判断部により判断された結果に基づき、前記要素の送受信を継続または停止させる要素処理部をさらに含む、請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
前記判断基準記憶部は、前記判断基準に対応付けて、前記各要素に対して実行すべき処理の内容を記憶し、前記要素処理部は、前記要素判断部により判断された結果に応じて、前記処理の内容を実行する、請求項４に記載の情報処理装置。
【請求項６】
請求項１〜５のいずれか１項に記載の２以上の情報処理装置と、前記情報処理装置間における音声情報、映像情報、画面情報の送受信を管理する管理サーバとを含み、前記２以上の情報処理装置と前記管理サーバとがネットワークを介して互いに接続された、会議システム。
【請求項７】
入力された音声の音声情報、撮像された映像の映像情報および共有すべき画面の画面情報を各要素として送受信する処理を実行させるコンピュータにより読み取り可能なプログラムであって、前記コンピュータは、前記各要素に関して作成された、前記各要素の送受信を継続すべきか否かを判断する基準となる判断基準を記憶する判断基準記憶部を含み、
取得すべき前記各要素に関する情報を指定して該情報の取得要求を送信するステップと、
前記取得要求に応答して、送受信している前記各要素から該取得要求で指定された前記情報を取得するステップと、
前記判断基準記憶部が記憶する前記判断基準を参照し、取得された各前記情報から前記各要素の送受信を継続させるか否かを判断するステップとを前記コンピュータに実行させる、プログラム。
【請求項８】
判断された結果に基づき、前記各要素の送受信を継続または停止させるステップをさらに実行させる、請求項７に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報の送受信を制御する情報処理装置、２以上の情報処理装置を含む会議システム、および情報処理装置により可読な当該制御を実現するためのプログラムに関する。
【背景技術】
【０００２】
遠隔地にいる相手と会議を行うためのツールとして、相手の表情を見ながらコミュニケーションを取ることができるビデオ会議システムやＷｅｂ会議システムが使用されている。近年、インターネット回線の大容量化に伴い、会議映像や音声の品質が向上し、これらの会議システムを利用する機会が増加してきている。
【０００３】
しかしながら、会議の通信に利用されるネットワーク環境の多くは、充分な品質の映像や音声を伝送することができる容量を有するように構築されてはいない。このため、会議映像や音声の品質は、その会議の通信に利用されるネットワーク環境に依存するのが一般的である。
【０００４】
例えば、通常のインターネット回線や無線ネットワークを介したビデオ会議やＷｅｂ会議では、ネットワークにおける映像や音声の通信帯域が狭くなる場合や、利用できるネットワーク帯域が大きく変動する場合がある。このような場合、会議映像が大幅に遅延する現象や、会議が突然終了してしまう現象が発生し、会議を継続して行うことができないという問題があった。
【０００５】
そこで、会議の継続性を高めるべく、会議中の帯域利用状況や会議の状況に応じて、映像、音声、共有する画面を表示するデータといった各種情報の送信に使用される帯域を制御する技術が提案されている（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の技術では、優先度に応じて映像、音声、データの全てに対して帯域を割り振る。このため、音声のやり取りに必要な帯域程度しかないようなネットワーク帯域が極端に狭い環境や、ネットワーク帯域が大きく変動する環境であっても、少なからず帯域が割り振られてしまう。これでは、上記の現象が生じるおそれがあり、会議の継続が困難になる可能性があった。
【課題を解決するための手段】
【０００７】
本発明は、上記課題に鑑み、入力された音声の音声情報、撮像された映像の映像情報および共有すべき画面の画面情報を各要素として送受信する情報処理装置であって、各要素に関して作成された、各要素の送受信を継続すべきか否かを判断する基準となる判断基準を記憶する判断基準記憶部と、送受信している各要素から該各要素に関する指定された情報を取得する情報取得部と、判断基準を参照し、取得された情報から各要素の送受信を継続させるか否かを判断する要素判断部とを含む、情報処理装置が提供される。
【発明の効果】
【０００８】
本発明の情報処理装置を提供することにより、送受信を継続させる必要がない要素については動的に排除することができ、必要な要素に対する帯域が確保しやすくなる。これにより、ネットワーク帯域が極端に狭い環境下や、ネットワーク帯域が大きく変動する環境下であっても、会議の継続性を高めることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の会議システムの構成例を示した図。
【図２】図１に示す会議システムが備える情報処理装置の一例を示した機能ブロック図。
【図３】要素の種類と、指定情報とを対応付けたテーブルを例示した図。
【図４】要素の種類と、判断基準とを対応付けたテーブルを例示した図。
【図５】情報通信装置で実行される処理の流れを示したシーケンス図。
【図６】要素の１つである映像情報の送信を継続させるか否かを判断する処理の流れを示したフローチャート。
【図７】要素の１つである音声情報の送信を継続させるか否かを判断する処理の流れを示したフローチャート。
【図８】要素の１つである画面情報の送信を継続させるか否かを判断する処理の流れを示したフローチャート。
【図９】一定時間間隔で取得された映像フレームを用いて作成されたｘｙ色度図を例示した図。
【図１０】一定時間間隔で取得された映像フレームを用いて作成されたスペクトル画像を例示した図。
【図１１】一定時間間隔で取得された映像フレームを用いて作成されたエッジ画像を例示した図。
【図１２】要素の種類と、処理の内容とを対応付けたテーブルを例示した図。
【図１３】要素の種類と、取得した情報と、処理の内容とを対応付けたテーブルを例示した図。
【発明を実施するための形態】
【００１０】
図１は、本実施形態の会議システムの構成例を示した図である。この会議システムは、遠隔地間で会議を行うために採用されるシステムで、複数の情報処理装置１０〜１２と、管理サーバ１３とを含んで構成される。各情報処理装置１０〜１２は、それぞれが地理的に遠く離れた地域に設置されている。図１では、各情報処理装置１０〜１２が、ネットワーク１４を介して管理サーバ１３へアクセスし、管理サーバ１３を介して互いに情報のやりとりを行うように構成されている。
【００１１】
図１では、情報処理装置１０〜１２の各々が地理的に遠く離れた地域に設置されているが、例えば、２つの情報処理装置１０、１１が同じ地域内にあり、情報処理装置１２が遠く離れた地域に設置されていてもよい。また、情報処理装置１０〜１２は、３つに限られるものではなく、２つあるいは４つ以上であってもよい。
【００１２】
各情報処理装置１０〜１２としては、汎用の端末である、ＰＣ、スマートフォン、携帯電話、タブレット端末等を用いることができる。図１では、情報処理装置１０は、ノートＰＣとされ、通信ケーブルによりネットワーク１４に接続されている。情報処理装置１１は、スマートフォンとされ、ネットワーク１４に接続された基地局１５と無線通信を行うように構成されている。情報処理装置１２は、タブレット端末とされ、ネットワーク１４に接続されたアクセスポイント１６と無線通信を行うように構成されている。
【００１３】
各情報処理装置１０〜１２は、会議を行うために必要とされるハードウェアとして、会議に参加する参加者であるユーザが発した音声を入力するためのマイク（音声入力部）を備えている。また、各情報処理装置１０〜１２は、相手の音声を出力するためのスピーカ（音声出力部）を備えている。さらに、各情報処理装置１０〜１２は、ユーザ自身を撮影し、それを映像として出力するカメラ（撮像部）、相手の顔や共有すべき画面等を表示するためのディスプレイまたはプロジェクタ（表示部）を備えている。
【００１４】
各情報処理装置１０〜１２は、各種処理を実行するＣＰＵ、各種アプリケーションおよびデータ等を記憶するＲＯＭ、ＲＡＭ、ＨＤＤ等の記憶装置、ネットワーク１４に接続するためのネットワークＩ／Ｆを備えている。なお、撮像部としては、光を電荷に変換して被写体の映像を電子化する固体撮像素子であるＣＣＤ(Charged Coupled Device)を用いることができる。被写体を撮像するものであれば、このＣＣＤ以外にＣＭＯＳ(Complementary Metal Oxide Semiconductor)等を用いることもできる。
【００１５】
各情報処理装置１０〜１２は、音声入力部から入力された音声の音声情報、撮像部により撮像された映像の映像情報、表示部に表示された共有すべき画面の画面情報を会議の各要素として送信する。また、各情報処理装置１０〜１２は、これらの要素を会議の相手から受信する。
【００１６】
音声情報は、音声のデジタル情報である。映像情報は、映像のデジタル情報であり、その映像は、動画であってもよいし、静止画像であってもよい。また、その映像は、動画と静止画の両方を含んでいてもよい。音声情報および映像情報は、映像および音声のデジタル情報を受信すると同時に再生するようにストリーミング配信することができる。
【００１７】
映像のデジタル情報は、圧縮符号化して送受信することができるが、その圧縮符号化技術として、様々な標準に従った映像符号化方式を採用することができる。標準の１つとして例えばH.264があり、H.264/AVCやH.264/SVCを採用することができる。H.264/SVCでは、デジタル情報を複数のチャネルに分けて符号化し、相手方へ送信する。このため、相手方は、ネットワークの状態や再生機器の能力に応じて複数のチャネルを組み合わせてデコードすることができる。これにより、不具合のない適切なデジタル情報として取り出し、再生することができる。
【００１８】
画面情報は、例えば、文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーション用ソフトウェア等を用いて利用される文書、表、画像、動画等の会議資料として表示するためのデジタル情報である。この画面情報は、例えば、情報処理装置１０の表示部に表示された資料を一定時間間隔で取り込む（キャプチャする）ことにより生成され、他の情報処理装置１１、１２に対して一定時間間隔で送信される。
【００１９】
情報処理装置１０は、他の情報処理装置１１、１２から送信された会議の要素を、予め設定された配置情報に従って表示部の画面内の１以上の領域に表示することができる。なお、配置情報は、映像情報および画面情報の表示に関する情報である。一例を挙げると、配置情報は、画面の向かって左側半分の領域に画面情報を、向かって右側半分を上下に分割した各領域に２つの映像情報の各々を配置して表示するという情報である。
【００２０】
情報処理装置１０〜１２間の送受信は、管理サーバ１３を経由して行われる。管理サーバ１３は、会議を行うに際して、情報処理装置１０〜１２を認証し、情報処理装置１０〜１２間の通信を管理する。
【００２１】
管理サーバ１３は、この認証処理および管理を実行するためにＨＤＤ等の記憶装置およびＣＰＵ、ネットワーク１４に接続するためのネットワークＩ／Ｆをハードウェアとして備える。また、管理サーバ１３は、必要に応じて、入力装置としてのキーボードやマウス、表示装置としてのディスプレイ等を備えることができる。
【００２２】
管理サーバ１３が備える記憶装置には、例えば、認証管理テーブルが記憶される。この認証管理テーブルは、すべての情報処理装置１０〜１２に割り当てられた装置識別子（装置ＩＤ）に対して、各パスワードを関連付けて管理する。この装置ＩＤおよびパスワードは、会議を行うために会議システムにログインする際の認証に使用されるものである。
【００２３】
そのほか、記憶装置には、宛先リスト管理テーブル等も記憶される。宛先リスト管理テーブルは、会議の開始を要求する要求元の情報処理装置の装置ＩＤに対して、宛先となる情報処理装置の候補として登録されている情報処理装置の装置ＩＤのすべてを関連付けて記憶、管理する。なお、このテーブルでは、会議を識別するための会議ＩＤも関連付けて記憶、管理される。
【００２４】
情報処理装置１０〜１２を利用するユーザが会議を行う場合、ログイン画面を開き、パスワードを入力して装置ＩＤとともに管理サーバ１３へ送信する。ここでは、パスワードと装置ＩＤのみを送信しているが、ユーザＩＤも入力して送信し、ユーザＩＤも利用して認証を行うことが可能である。ユーザＩＤおよびパスワードは、いかなる文字、数字、記号等を含むものであってもよい。なお、ここでは、パスワード認証としているが、認証は、ＩＣ認証や生体認証等であってもよい。
【００２５】
管理サーバ１３は、装置ＩＤおよびパスワードを受信すると、認証管理テーブルを参照し、認証管理テーブル内に同じ装置ＩＤがあるかどうかを検索する。ある場合、管理サーバ１３は、それに関連付けられたパスワードが同じであるかどうかを判断する。パスワードが同じである場合には認証処理を行い、会議を開始することができる。装置ＩＤおよびパスワードのいずれか、またはいずれもが異なる場合は、認証不可となり、ログイン画面に戻る。
【００２６】
情報処理装置１０〜１２は、ログイン後、会議の参加者であるユーザによって会議が選択されると、管理サーバ１３へ会議ＩＤを送信して、会議の開始を要求する。そして、各情報処理装置１０〜１２は、音声情報、映像情報、画面情報といった会議の要素を送信し、管理サーバ１３は、それを受けて、宛先リスト管理テーブルを参照し、その要素のやりとりを開始させる。
【００２７】
ネットワーク１４は、例えばインターネットであり、その通信は、ＴＣＰ／ＩＰ等の適切な通信プロトコルを使用して行われる。基地局１５は、情報処理装置１１としてのスマートフォンとの間で電波を送受信するためのアンテナ、スマートフォンをネットワーク１４で使用可能にするためにプロトコル変換等を行う変換装置を備える。また、基地局１５は、会議の要素を適切に送受信するためにルーティングを行うルータ、ネットワーク１４に接続するためのネットワークＩ／Ｆ等も備える。
【００２８】
アクセスポイント１６は、無線ＬＡＮのアクセスポイントとしての機能を有し、無線ＬＡＮ規格としては、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎとが採用される。アクセスポイント１６は、ネットワーク１４に接続するためのネットワークＩ／Ｆ、無線通信を行うためのアンテナ、会議の要素を適切に送受信するためにルーティングを行うルータ等を含んで構成される。
【００２９】
図２は、図１に示す会議システムが備える情報処理装置の一例を示した機能ブロック図である。情報処理装置１０〜１２のいずれも、同じ機能を有することから、ここでは、情報処理装置１０のみについて説明する。情報処理装置１０は、入力された音声の音声情報、撮像された映像の映像情報および共有すべき画面の画面情報を各要素として送受信する送受信部２０を備える。この送受信部２０は、ネットワークＩ／Ｆにより実現される。
【００３０】
情報処理装置１０は、ネットワーク１４を介した会議を可能にするための会議実行部２１を備える。会議実行部２１は、上記の撮像部と、上記の音声入力部と、上記の音声出力部と、表示制御部等とを備える。表示制御部は、表示装置へどの要素を送り、どのように表示するかを制御する。
【００３１】
また、情報処理装置１０は、判断基準記憶部２２と、情報取得部２３と、要素判断部２４と、要素処理部２５とを備える。判断基準記憶部２２は、各要素に関して作成された、各要素の送受信を継続すべきか否かを判断する基準となる判断基準を記憶する。判断基準記憶部２２は、ＨＤＤ等の記憶装置により実現される。判断基準については後述する。
【００３２】
情報取得部２３は、送受信している各要素から、各要素に関する指定された情報を取得する。要素判断部２４は、情報取得部２３に対し、どういう情報を取得すべきかを指定し、その情報の取得要求を送信する。また、要素判断部２４は、判断基準記憶部２２から判断基準を読み出し、それを参照し、情報取得部２３が取得した情報から各要素の送受信を継続させるか否かを判断する。要素処理部２５は、その判断結果に基づき、送受信部２０に指示し、各要素の送受信を継続または停止させる。これらの各部は、これらの処理を実行するためのプログラムが記録された記憶装置からＣＰＵが読み出し、実行することにより実現される。
【００３３】
要素判断部２４は、情報の取得を要求する際、図３に示すような要素の種類と、指定情報とを対応付けたテーブルを参照し、取得すべき情報を指定することができる。このテーブルは、図示しないテーブル記憶部に記憶され、必要な時に読み出し、その情報を指定することができる。テーブル記憶部は、上記判断基準記憶部２２と同様、ＨＤＤ等の記憶装置により実現される。
【００３４】
要素判断部２４は、取得すべき情報を指定する際、各要素につき、図３に示す情報のすべてを指定してもよいし、その中からいくつかを任意に選択して指定してもよいし、１つのみを選択して指定することも可能である。この選択は、例えば、ユーザによる選択により実現することができる。
【００３５】
要素の種類は、映像情報、音声情報、画面情報である。指定情報は、要素判断部２４がその要素の送受信を継続させるか否かを、後述する判断基準に基づいて判断するのに必要な情報である。映像情報に対する指定情報としては、一例として、顔認識で認識した顔の有無（数）、映像の色分布、映像の空間的な変化、映像の時間的変化等を挙げることができる。
【００３６】
会議は、相手方の表情を見ながら行うので、顔の有無は、その判断に必要な情報となる。顔や風景等の見るべき対象が映像に含まれている場合、色味は一様とはならない。これに対し、色味が一様である場合、見るべき対象が存在しないと考えられる。このことから、映像の色分布、すなわち色味が一様でないかどうかは、その判断に必要な情報となる。
【００３７】
顔や風景等は様々な色で表現されるので、映像に空間的な変化がある。このため、映像に空間的な変化があるか否かも、その判断に必要な情報となる。会議で発言しているとき、口や手等が動くことから、映像に時間的な変化がある。このため、映像に時間的な変化があるか否かも、その判断に必要な情報となる。
【００３８】
音声情報に対する指定情報としては、一例として、音声の大きさ、音声の時間的な変化等を挙げることができる。会議での発言は、一定以上の音声の大きさで入力され、出力される。これに対し、周囲の雑音等は、それより小さい音声で入力され、出力される。このため、音声が一定以上の大きさであるか否かは、音声情報の送受信を継続させるか否かを判断するのに必要な情報となる。会議での発言には、抑揚、息継ぎ等があることから、音声に時間的な変化がある。このため、音声に時間的な変化があるか否かも、その判断に必要な情報となる。
【００３９】
画面情報に対する指定情報としては、一例として、データの種類、時間的な変化の有無、データに対する入力の有無等が挙げられる。会議に関係がある資料であるか否かは、データの種類による。このため、どのようなデータであるかは、画面情報の送受信を継続させるか否かを判断するのに必要な情報となる。会議資料を表示する画面は、会議の進行に伴い、切り替えられる。このため、時間的な変化の有無は、その判断に必要な情報となる。
【００４０】
表示された画面には、重要な部分にマーキングを行い、文字を入力することが可能である。これらが入力された画面は、会議に参加するユーザに見せたい画面である。このため、データに対する入力の有無は、その判断に必要な情報となる。
【００４１】
上記に指定情報の一例を示したが、これに限られるものではなく、各要素の送受信を継続するか否かを判断するのに必要な情報であればその他のいかなる情報であってもよい。
【００４２】
要素判断部２４が判断を行う際、判断基準記憶部２２が記憶する判断基準を用いる。判断基準記憶部２２は、図４に示す要素の種類と、判断基準とを対応付けたテーブルを記憶することができ、要素判断部２４は、判断を行う要素に対応する判断基準を、このテーブルから読み出し、参照することができる。
【００４３】
要素の種類は、図３と同様、映像情報、音声情報、画面情報である。判断基準は、図３に示した指定情報を用いて判断を行う際の基準となる情報である。映像情報に対する判断基準としては、指定情報により判断が可能となる、映像内に人の顔が映っているか、色味が一様な映像になっていないか、映像に空間的な変化があるか、映像に時間的な変化があるか等である。
【００４４】
音声情報に対する判断基準としては、音声の大きさは小さくなっていないか、音声が時間的に変化しているか等である。画面情報に対する判断基準としては、どんなデータをやり取りしているか、データ自体に時間的な変化があるか、データに対して何かしらの入力があるか等である。
【００４５】
図４では、判断基準のみを挙げているが、特別な処理を行いたい場合は、判断基準にその特別な処理の内容をさらに対応付けたテーブルとし、それを判断基準記憶部２２に記憶させることができる。特別な処理の一例としては、映像情報の送信を停止した場合に撮像部の電源を切断するという処理が挙げられる。この特別な処理は、図２に示した要素処理部２５により実行することができる。
【００４６】
図５に示すシーケンス図を参照して、情報処理装置が行う処理について詳細に説明する。要素判断部２４は、情報取得部２３に対して、取得すべき情報を指定し、その指定した情報の取得要求を送信する。その情報は、図３に示したテーブル内の顔の有無、色分布等である。
【００４７】
情報取得部２３は、会議実行部２１が備える撮影部、音声入力部、音声出力部等へ各要素の取得を要求し、それらから各要素を取得する。情報取得部２３は、取得した各要素から、要素判断部２４により指定された情報を抽出する等して取得した情報を要素判断部２４へ返す。
【００４８】
要素判断部２４は、判断基準記憶部２２へ判断基準の取得を要求し、その判断基準を取得する。そして、要素判断部２４は、取得した判断基準を参照し、情報取得部２３から取得した情報を用いて、各要素の送受信を継続させるか否かを判断する。要素判断部２４は、その判断結果を、処理要求とともに要素処理部２５へ送る。
【００４９】
要素処理部２５は、処理要求を受け、送られてきた判断結果を基に、各要素に対して処理を行う。要素処理部２５は、その判断結果が、例えば、その要素の送信を継続させるというものであれば、何も行わず、送受信部２０により、その要素の送信を継続させる。一方、要素処理部２５は、その判断結果がその要素の送信を継続させないというものであれば、送受信部２０に指示して送信を停止させる。
【００５０】
要素処理部２５は、上記の送信の停止のほか、会議実行部２１に指示し、例えば、その要素が映像情報である場合、撮像を停止させ、撮像部の電源を切断させる等の他の処理を実行させることも可能である。他の処理としては、音声入力部による音声入力を停止させ、音声入力部の電源を切断させること、音声出力部による音声出力を停止させ、音声出力部の電源を切断させること等が挙げられる。
【００５１】
図６は、図５に示したシーケンス図内の要素判断部２４が実行する判断処理の一例を示したフローチャートである。この例では、要素が映像情報とされている。また、この例は、映像情報の送信、受信のいずれであってもよいが、映像情報の送信として説明する。
【００５２】
この判断処理は、ステップ６００から開始し、ステップ６１０では、映像に人物が映っているかを判断する。ここでは、人物としているが、人の顔であってもよい。映っている場合、ステップ６２０へ進み、映像内に多様なものが映っているかを判断する。ここでは、多様なものとしているが、色味が一様な映像になっていないかを判断してもよい。
【００５３】
映っている場合、ステップ６３０へ進み、映像に空間的な変化があるかどうかを判断する。変化がある場合、ステップ６４０へ進み、映像に時間的な変化があるかどうかを判断する。変化がある場合も、ステップ６１０およびステップ６２０で映っていない場合並びにステップ６３０およびステップ６４０で変化がない場合も、ステップ６５０へ進み、判断結果を生成し、ステップ６６０でこの処理を終了する。
【００５４】
ステップ６４０で変化がある場合、映像情報の送信を継続させるという判断結果を生成する。これに対し、ステップ６１０で映っていない場合、ステップ６２０で映っていない場合、ステップ６３０で変化がない場合、ステップ６４０で変化がない場合、映像情報の送信を停止させるという判断結果を生成する。
【００５５】
図７は、図５に示したシーケンス図内の要素判断部２４が実行する判断処理の別の例を示したフローチャートである。この例では、要素が音声情報とされている。また、この例は、音声情報の送信、受信のいずれであってもよいが、音声情報の送信として説明する。
【００５６】
この判断処理は、ステップ７００から開始し、ステップ７１０では、一定以上の大きさの音声がやり取りされているかを判断する。やり取りされている場合、ステップ７２０へ進み、音声に時間的な変化があるかどうかを判断する。ステップ７２０で変化がある場合も、ない場合も、また、ステップ７１０でやり取りされていない場合も、ステップ７３０へ進み、判断結果を生成し、ステップ７４０でこの処理を終了する。
【００５７】
ステップ７２０で変化がある場合、音声情報の送信を継続させるという判断結果を生成する。これに対し、ステップ７１０でやり取りされていない場合やステップ７２０で変化がない場合は、音声情報の送信を停止させるという判断結果を生成する。
【００５８】
図８は、図５に示したシーケンス図内の要素判断部２４が実行する判断処理のさらに別の例を示したフローチャートである。この例では、要素が画面情報とされている。また、この例は、画面情報の送信、受信のいずれであってもよいが、画面情報の送信として説明する。
【００５９】
この判断処理は、ステップ８００から開始し、ステップ８１０では、画面情報としてのデータの種類は容認されているものかを判断する。要するに、会議に関係するデータであるかどうかを判断する。容認されているものである場合、ステップ８２０へ進み、データに時間的な変化があるかどうかを判断する。
【００６０】
変化がある場合、ステップ８３０へ進み、データに対する入力があるかどうかを判断する。入力がある場合も、ない場合も、ステップ８１０で容認されていない場合も、ステップ８２０で変化がない場合も、ステップ８４０へ進み、判断結果を生成し、ステップ８５０でこの処理を終了する。
【００６１】
ステップ８３０で入力がある場合、画面情報の送信を継続させるという判断結果を生成する。これに対し、ステップ８１０で容認されていない場合、ステップ８２０で変化がない場合、ステップ８３０で入力がない場合、画面情報としてのデータの送信を停止させるという判断結果を生成する。
【００６２】
これらの例では、各要素につき、すべての判断基準を使用して判断処理を行っているが、すべてを使用しなくてもよく、任意の１つのみを使用して、またはいくつかを組み合わせたものを使用して、判断処理を行ってもよい。
【００６３】
具体的な判断手法の一例について、以下に説明する。ここでは、要素として映像情報の場合についてのみ説明するが、音声情報や画面情報に関しても、映像情報と同様、解析結果を基にした判断を行うことができる。
【００６４】
映像の色分布については、ある一定時間内の映像を１フレーム毎の画像にし、複数の画像の色分布を、ｘｙ色度図上にプロットして判断を行う。ｘ、ｙは、色度を示す。ここで、色度とは、色の様相の相違である色相と、色の鮮やかさの尺度である彩度とを合わせた情報である。
【００６５】
図９（ａ）、（ｂ）は、色分布をプロットしたｘｙ色度図の一例を示した図である。三角形で表された部分は、色域を表し、この面積が大きいほど、その色域が広いことを示す。また、三角形の外側の馬蹄形で表された部分は、４００〜７００ｎｍの各波長の単色光の色度を示したものである。
【００６６】
図９（ａ）に示すように三角形の面積が大きく、色域が広い場合は、色味が一様な映像になっていないと判断することができる。これに対し、図９（ｂ）に示すように三角形の面積が小さく、色域が狭い場合は、色味が一様な映像になっていると判断することができる。例えば、三角形の面積に閾値を設け、閾値以上であれば、色味が一様な映像ではないと判断し、閾値より小さい場合は、色味が一様な映像であると判断することができる。
【００６７】
なお、ｘｙ色度図上へプロットするのに、色度座標を算出する必要があるが、１フレームの画像を表現する表色系からｘｙＹ表色系へ変換式を用いて変換することにより、色度座標を算出することができる。この変換式としては、これまでに知られたいかなる式でも採用することができる。
【００６８】
映像の空間的な変化については、ある一定時間内の映像を１フレーム毎の画像にし、複数の画像のうち、任意の画像を二次元離散フーリエ変換し、空間周波数特性を見ることができるスペクトル画像へ変換して判断を行う。図１０（ａ）、（ｂ）は、このスペクトル画像の一例を示した図である。このスペクトル画像を確認し、図１０（ａ）に示すように画像内に色に変化が生じている場合、映像に空間的な変化があると判断することができる。これに対し、図１０（ｂ）に示すように画像内に色に変化が生じていない場合、映像に空間的な変化がないと判断することができる。
【００６９】
映像の時間的な変化については、ある一定時間内の映像を１フレーム毎の画像にし、複数の画像に対してエッジ検出処理を行い、エッジ部分を重点的に見ることができる画像へ変換して判断を行う。図１１（ａ）、（ｂ）は、この画像の一例を示した図である。
【００７０】
図１１（ａ）に白い線で示されるエッジ部分を含む画像（エッジ検出画像）については、一定時間内のエッジ検出画像の差分を取り、その差分が０ではない場合、映像に時間的な変化があると判断することができる。すなわち、２つの画像内の対応する座標位置にある画素のすべてにつき、画素値の差分を取り、すべてが０になるかどうかを確認することにより、映像に時間的な変化があるかどうかを判断することができる。
【００７１】
図１１（ａ）に示す４つの画像は、時系列に並んだもので、エッジ部分に変化があることから、その差分は０にはなっていない。このため、映像に時間的な変化があると判断される。
【００７２】
これに対し、図１１（ａ）に示すようなエッジ部分を含む画像であっても、差分が０になる場合や、図１１（ｂ）に示すエッジ部分を含まない画像については、映像に時間的な変化がないと判断される。
【００７３】
要素処理部２５は、要素判断部２４が判断した判断結果を基に、各要素について処理を行うが、図１２に示すようなテーブルを参照し、テーブル内に設定された内容の処理を行うことができる。図１２では、要素の種類と、処理の内容とが対応付けられている。要素の種類は、映像情報、音声情報、画面情報である。処理の内容は、映像情報に対しては映像の送信停止、映像の受信停止であり、音声情報に対しては音声の送信停止、音声の受信停止であり、画面情報に対してはデータの送信停止、データの受信停止である。これにより、会議の継続に不必要な要素を排除し、その結果、ネットワーク帯域が極端に狭い場合や、ネットワーク帯域が大きく変動する環境であっても、会議の継続性を高めることができる。
【００７４】
図１３は、要素の種類と、情報取得部２３が取得した情報の例と、処理の内容とを対応付けたテーブルを示したものである。このテーブルは、情報処理装置が保持するものではなく、どのような情報の場合に、どのような処理を行うのかをまとめたものである。ここでは、送信側の要素に対する処理のみを例示しているが、受信側の要素に対する処理も同様にテーブルにまとめることが可能である。
【００７５】
情報取得部２３が取得した映像情報に関する情報の具体例としては、実際に送信している映像が、真っ黒、真っ白、人物が映っていない、一定時間変化しない、一定量のノイズが入っている等が挙げられる。これらはいずれも、会議の継続に不必要なものであるため、その処理の内容は、映像情報の送信停止とされる。
【００７６】
音声情報に関する情報の具体例としては、実際に送信している音声に、入力がない、一定時間変化がない、一定量のノイズが入っている等が挙げられる。また、画面情報に関する情報の具体例としては、実際に送信しているデータに、一定時間変化がない、一定時間入力がない、一定量のノイズが入っている等が挙げられる。これらも、会議の継続に不必要なものであるため、その処理の内容はそれぞれ、音声情報の送信停止、画面情報の送信停止とされる。
【００７７】
ここでは、各要素につき処理が対応付けられているが、複数の要素の組み合わせに対して１つの処理が対応付けられていてもよいものである。
【００７８】
これまで本発明を、情報処理装置および会議システム、情報処理装置により実行されるプログラムとして上述した実施の形態をもって説明してきた。しかしながら、本発明は上述した実施の形態に限定されるものではなく、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができるものである。また、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【００７９】
１０〜１２…情報処理装置、１３…管理サーバ、１４…ネットワーク、１５…基地局、１６…アクセスポイント、２０…送受信部、２１…会議実行部、２２…判断基準記憶部、２３…情報取得部、２４…要素判断部、２５…要素処理部
【先行技術文献】
【特許文献】
【００８０】
【特許文献１】特許第３８５２７５２号公報
【図１】
2014090387.tif 000003
【図２】
2014090387.tif 000004
【図３】
2014090387.tif 000005
【図４】
2014090387.tif 000006
【図５】
2014090387.tif 000007
【図６】
2014090387.tif 000008
【図７】
2014090387.tif 000009
【図８】
2014090387.tif 000010
【図９】
2014090387.tif 000011
【図１０】
2014090387.tif 000012
【図１１】
2014090387.tif 000013
【図１２】
2014090387.tif 000014
【図１３】
2014090387.tif 000015