(57)【特許請求の範囲】
【請求項１】
複数の通信回線を介して複数の端末装置と画像の通信を行うサーバ装置に接続する端末装置が備える通信制御装置であって、
前記サーバ装置から受信した他の端末装置に関する画像を表示装置に表示させる表示制御手段と、
前記端末装置の近傍の画像を取得する取得手段と、
前記取得手段が取得した画像に基づき前記端末装置のユーザの顔の向きを認識する認識手段と、
前記認識手段の認識結果が、前記ユーザが前記表示装置の方向を向いていないことを示す場合は、前記ユーザが前記表示装置の方向を向いていることを示す場合よりも、前記取得手段が取得した画像のデータ量を削減する処理手段と、
前記処理手段が処理した画像を前記サーバ装置へ送信する送信手段とを有することを特徴とする通信制御装置。
【請求項２】
前記認識手段は、さらに、前記取得手段が取得した画像に含まれる人間の数を認識し、前記処理手段は、前記認識手段の認識結果が複数の人間の存在を示す場合は、前記取得手段が取得した画像のデータ量を削減することを特徴とする請求項1に記載された通信制御装置。
【請求項３】
前記処理手段は、画像の画像品位を制御して前記データ量を削減することを特徴とする請求項1または請求項2に記載された通信制御装置。
【請求項４】
前記画像品位は画像のフレームレートであることを特徴とする請求項3に記載された通信制御装置。
【請求項５】
前記画像品位は画像の解像度であることを特徴とする請求項3に記載された通信制御装置。
【請求項６】
前記処理手段は、画像を符号化する際の量子化ステップを制御して前記画像品位を制御することを特徴とする請求項3に記載された通信制御装置。
【請求項７】
前記処理手段は、画像の符号量を制御して前記データ量を削減することを特徴とする請求項1または請求項2に記載された通信制御装置。
【請求項８】
複数の通信回線を介して複数の端末装置と画像の通信を行うサーバ装置に接続する端末装置の制御方法であって、
前記サーバ装置から受信した他の端末装置に関する画像を表示装置に表示させ、
前記端末装置の近傍の画像を取得し、
前記取得した画像に基づき前記ユーザの顔の向きを認識し、
前記認識の結果が、前記ユーザが前記表示装置の方向を向いていないことを示す場合は、前記ユーザが前記表示装置の方向を向いていることを示す場合よりも、前記取得した画像のデータ量を削減するように処理し、
前記処理した画像を前記サーバ装置へ送信することを特徴とする制御方法。
【請求項９】
情報処理装置を制御して請求項8に記載された制御を実行するコンピュータプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は通信制御装置およびその方法に関し、例えば、通信網を介して接続される複数の端末装置およびサーバ装置によりバーチャルオフィスを構築するための通信制御装置およびその方法に関するものである。
【０００２】
【従来の技術】
企業、団体および公共機関などの各組織体は、事務作業、営業業務、および、大きな設備を必要としない技術業務などに従事させる雇用労働者（以下「勤務者」という）らの勤務場所であるオフィススペースを自らの所有不動産として、または、賃貸借契約によって確保している。そして、勤務者は、通常、公共交通機関や自家用車などを利用して就業開始時刻までにオフィスに到着、集合して、決められた就業時間内に集合勤務を行うことが一般的である。そして、オフィスには、電話機、複写機、ファクシミリ装置、並びに、コンピュータおよびコンピュータネットワークを設備することで、各種業務の効率化が図られている。
【０００３】
集合勤務は、人類史上、産業革命以降に工場を効率的に運営するために採用された比較的新しい慣習である。しかし、近年、所謂通勤地獄や、自家用車の増加による大気汚染など、集合勤務に起因する弊害が顕著になるとともに、インターネットなどの通信インフラストラクチャや、各種通信技術の利用が可能になった結果、組織およびその勤務者にとって集合勤務は必然的な勤務形態ではなく、むしろ、同一の組織体に所属する勤務者に、その自宅や好みの場所で働いてもらい、全体として組織の目的業務を遂行する、分散勤務の考え方が注目されるている。
【０００４】
企業などの組織体は、分散勤務を実施するために、次のような処置をとるのが一般的である。つまり、勤務者の自宅などの一室が勤務スペースとして使用され（ホームオフィス）、遠隔地に分散する複数のホームオフィス間は通信回線で結ばれ、電話機やファクシミリ装置などの宅内通信端末機器および通信アプリケーションソフトウェアを用いて勤務者間に必要な連絡が行われる。この通信回線には、加入電話網、ISDN網または専用回線などが用いられる。通信アプリケーションには、電子メール、WWW(World Wide Web)およびテレビ会議などが用いられる。
【０００５】
また、ホームオフィスではなく、所属組織や地方自治体などが用意するサテライトオフィスやテレコテージなどが利用されたり、営業業務や保守業務の場合は、顧客訪問に用いる自家用車や公共交通機関の座席などが一時的な勤務場所（モバイルオフィス）として利用される場合もある。
【０００６】
図1はホームオフィスの構成例を示すブロック図である。
【０００７】
ホームオフィス101は、一般に、勤務者の自宅の一室あるいはその一部スペースであり、そこにパーソナルコンピュータ102、電話機105、ファクシミリ装置106、ISDNターミナルアダプタ104、DSU（回線終端装置）107などが設置される。
【０００８】
パーソナルコンピュータ102は、そのシリアル通信ポートなどを介してISDNターミナルアダプタ104のデータポートに接続され、電話機105およびファクシミリ装置106はそれぞれISDNターミナルアダプタ104のアナログポートに接続される。ISDNターミナルアダプタ104は、DSU107を介してISDN108などの通信網に接続され、この通信網を利用してメインオフィス109、他のホームオフィス110および/またはモバイルオフィス111と通信を行う。
【０００９】
なお、ISDN108の代わりに一般加入電話網を用いることもできる。その場合、パーソナルコンピュータ102は、ISDNターミナルアダプタ104の代わりに、MODEM（変復調装置）を介して通信網に接続される。また、電話機105およびファクシミリ装置106は、別の一般加入電話回線を用いて一般加入電話網に接続されたり、もしくは、回線切替器などを利用してMODEMと同じ一般加入電話回線に接続される。勿論、電話機105およびファクシミリ装置106は別製品ではなく、ファクシミリ機能を内蔵した電話機が用いられることが多い。
【００１０】
パーソナルコンピュータ102には、通信アプリケーションソフトウェア103が予めインストールされていて、この通信アプリケーションソフトウェア103の機能によりメインオフィス109、他のホームオフィス110および/またはモバイルオフィス111との連絡が行われる。
【００１１】
図2はパーソナルコンピュータ102にインストールされる代表的な通信アプリケーションソフトウェアを示す図である。
【００１２】
電子メール・クライアントソフトウェア21は、メインオフィス109、他のホームオフィス110および/またはモバイルオフィス111に所在する他の勤務者との電子メールのやり取りに用いられ、電子メールの作成、送受信および受信メールの内容表示などの機能を有にする。グループスケジュール管理ソフトウェア22は、勤務者自身の勤務スケジュールの登録および確認、他の勤務者の勤務スケジュールの確認などの機能を有する。WWWブラウザソフトウェア23は、主に勤務者が所属する組織によって作成されたウェブサイトの情報や、そのウェブサイトに掲示された組織メンバ用の掲示板などを閲覧するための機能を有する。
【００１３】
テレビ会議ソフトウェア24は、打ち合わせまたは会議を行うため、他の勤務者との間で音声を含むサウンド、並びに、静止画像および動画像を含む画像を交換し、ホームオフィス101からの外出、他の場所への移動などを必要とせずに、通信網108を用いた会議を提供するものである。
【００１４】
コラボレーションソフトウェア25は、他の勤務者との間で、それぞれのパーソナルコンピュータ102のディスプレイ上に共有のホワイトボードや同一アプリケーションソフトウェアのウィンドウを開き、その上で共同作業を行うためのものである。なお、コラボレーションソフトウェア25は、テレビ会議ソフトウェア24に含まれる場合がある。
【００１５】
【発明が解決しようとする課題】
上記のように、ホームオフィス101に所在する勤務者は、電話機105、ファクシミリ装置106、パーソナルコンピュータ102およびそれにインストールされた各種通信アプリケーションソフトウェア103を用いて、所在地が異なる他の勤務者と連絡をとり、業務を遂行することになる。
【００１６】
しかしながら、ホームオフィス101で利用される上記の機器および通信アプリケーションソフトウェア103は、本来、分散業務を支援するために開発されたものではなく、汎用性を重視して開発されたか、集合勤務の事務所を前提に、あるいは、そのような事務所における勤務形態を前提に開発されたものであり、効率のよい分散勤務を実現するためには適切とは言えない。また、集合勤務に最適化された組織内コミュニケーションの形態および量を保ちながら、分散勤務を実施することは不可能である。これらは、分散勤務の普及を妨げ、集合勤務から分散勤務への移行を困難にする原因になっている。
【００１７】
以下、上記の機器および通信アプリケーションソフトウェア103などを用いた場合の問題点を具体的に説明する。
【００１８】
図3は五名の勤務者で構成される組織体の一部門が、分散勤務を行う場合のオフィスの構成例を模式的に示す図である。五名の勤務者のうち、勤務者A、BおよびCの三名が上述した構成を有するホームオフィス101で勤務し、勤務者Dはメインオフィス109で、勤務者Eはモバイルオフィス111で勤務しているとする。
【００１９】
このような組織が分散勤務を開始する以前の勤務形態は、図4に示すような集合勤務であろう。つまり、勤務者AからEの勤務（作業）スペースは、一つのオフィスに隣接して並べられた事務机である。従って、勤務者Aは、勤務者Bらの勤務状況を視覚的に（聴覚的にも）容易に捉えることができ、勤務者Bが忙しくなさそうな状況を把握して適切なタイミングで勤務者Bに話し掛けることができた。
【００２０】
一方、図3に示すような分散勤務の場合、勤務者Aが勤務者Bに質問する行為自体は、図1に示す電話機105または図2に示すテレビ会議ソフトウェア24を用いて行うことができる。しかし、勤務者Aが、電話機105またはテレビ会議ソフトウェア24を用いて勤務者Bに話し掛けようとしても、事前に勤務者Bの勤務状況を確認することかできない。そのため、勤務者Bが他から電話に応答して話中であったり、あるいは、休憩中であれば、勤務者Aが勤務者Bに話し掛けようとすること自体が無駄になり、業務効率を悪化させる原因になる。
【００２１】
勿論、勤務者Aは、電子メール・クライアントソフトウェア21を使用して、勤務者Bに電子メールで質問を送ることができる。しかしこの方法も、至急回答を必要とする質問であってもその回答がいつ勤務者Bから得られるかは不明であり、そのような場合は勤務者Aの業務遂行を阻害することになりかねない。
【００２２】
当然、勤務者Aは、グループスケジュール管理ソフトウェア22を用いて、勤務者Bの予定を確認することができるが、通常、グループスケジュール管理ソフトウェア22に登録される内容は、一時間単位の行動計画や作業予定などに限られ、休憩時間など細部については登録されない。また、作業予定などもあくまで予定であり、現時点での実際の勤務状況が反映されるているとは限らない。従って、突然、至急の用件で電話連絡やテレビ会議を行おうとしても相手の勤務状況を確認するための手段にはなり得ず、いつ電子メールの返信をもらえるかを判断するための手段にもなり得ない。
【００２３】
これらの問題に対処するため、パーソナルコンピュータ102上で動作するテレビ会議ソフトウェア24を用いて、複数の勤務者の勤務状況を示す画像を連結し、お互いに、勤務状況を示す画像がみえるようにする試みもある。この例として、米国White Pine Software Inc.が開発販売するEnhanced CU-SeeMeおよびReflector（Enhanced CU-SeeMe用のサーバソフトウェア）を用いる場合を説明する。
【００２４】
図5は勤務者のパーソナルコンピュータ102の画面を示す図である。ここに示されるように、勤務時間中は、他の勤務者の勤務状況を示す画像が、会議中に限らず、継続的に表示される。この表示を基に、他の勤務者がホームオフィス101に存在するか否か、あるいは、電話中であるか否かなどを確認することができる。
【００２５】
しかし、テレビ会議ソフトウェア24を利用して双方向のアウェアネス(awareness)システムを実現しようとすれば、画像データを表す所定符号量のデータが一方的に配信され、ユーザとサーバ（例えば上述したReflectorが稼動するコンピュータ）とを結ぶ通信回線の帯域を常に消費することになるし、プライバシ侵害も懸念される。
【００２６】
このように、分散業務を考慮せずに開発された機器および通信アプリケーションソフトウェアを利用しただけては、集合勤務の場合と同様のスムーズなコミュニケーションは期待できず、分散業務の効率を悪化させる。さらに、その結果、勤務者が相互にコミュニケーションすることを躊躇し、コミュニケーション自体が減少する問題が発生する。コミュニケーションの減少は、必然的に組織の一体感に支障を生じさせ、勤務者には孤立感や疎外感を感じさせることになる。これらの問題は、集合勤務から分散勤務へ移行する場合の大きな障壁になる。
【００２７】
本発明は、分散業務を考慮したコミュニケーション手段を提供することを目的とする。
【００２８】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００３０】
本発明にかかる通信制御装置は、複数の通信回線を介して複数の端末装置と画像の通信を行うサーバ装置に接続する端末装置が備える通信制御装置であって、前記サーバ装置から受信した他の端末装置に関する画像を表示装置に表示させる表示制御手段と、前記端末装置の近傍の画像を取得する取得手段と、前記取得手段が取得した画像に基づき前記端末装置のユーザの顔の向きを認識する認識手段と、前記認識手段の認識結果が、前記ユーザが前記表示装置の方向を向いていないことを示す場合は、前記ユーザが前記表示装置の方向を向いていることを示す場合よりも、前記取得手段が取得した画像のデータ量を削減する処理手段と、前記処理手段が処理した画像を前記サーバ装置へ送信する送信手段とを有することを特徴とする。
【００３３】
本発明にかかる制御方法は、複数の通信回線を介して複数の端末装置と画像の通信を行うサーバ装置に接続する端末装置の制御方法であって、前記サーバ装置から受信した他の端末装置に関する画像を表示装置に表示させ、前記端末装置の近傍の画像を取得し、前記取得した画像に基づき前記ユーザの顔の向きを認識し、前記認識の結果が、前記ユーザが前記表示装置の方向を向いていないことを示す場合は、前記ユーザが前記表示装置の方向を向いていることを示す場合よりも、前記取得した画像のデータ量を削減するように処理し、前記処理した画像を前記サーバ装置へ送信することを特徴とする。
【００３５】
【発明の実施の形態】
以下、本発明にかかる一実施形態のバーチャルオフィスシステムの映像配信制御装置を図面を参照して詳細に説明する。以下で説明するバーチャルオフィスシステムとは、通信網を介して、複数のユーザ端末装置が同時にホストサーバ装置にアクセスすることにより、バーチャルオフィスを実現するシステムのことである。
【００３６】
【第１実施形態】
［構成］
図6はバーチャルオフィスシステムの構成例を示す図である。図6において、11はホストサーバ装置で、メインオフィス、つまり分散オフィスを導入する企業など各種の組織体の本社事業所などに設置され、メインオフィス内のLAN(Local Area Network)12に接続されている。
【００３７】
13および14はメインオフィスで勤務する勤務者用のユーザ端末装置で、本実施形態では、パーソナルコンピュータ18、ユーザ端末装置用ソフトウェア19、電話機20、ビデオカメラ23およびその他の機器を組み合わせて実現される。このうち、電話機20は、PSTN回線（一般加入電話回線）またはISDN回線を介してホストサーバ装置11に接続され、パーソナルコンピュータ18はLAN12を介してホストサーバ装置11に接続されている。
【００３８】
15から17は、メインオフィスに対して遠隔地に存在するホームオフィスで勤務する勤務者用のユーザ端末装置で、詳細は後述するバーチャルオフィスをするための表示装置24、パーソナルコンピュータ18、ユーザ端末装置用ソフトウェア19、ビデオカメラ23、電話機20およびその他の機器を組み合わせて実現される。このうち、電話機20はPSTN回線またはISDN回線を介してホストサーバ装置11に接続され、パーソナルコンピュータ18はインターネット21を介してホストサーバ装置11に接続される。なお、バーチャルオフィスするための表示装置24は、パーソナルコンピュータ18に接続されているものとする。
【００３９】
●ホストサーバ装置の構成
図7はホストサーバ装置11のハードウェア構成例を示す図である。BP(Basic Platform)31はPCサーバ装置である。SPU(Signal Processing Unit)32は、高性能DSP(Digital Signal Processor)などから構成される信号処理カードである。BP31は、EthernetカードなどのLANカードを介してメインオフィス内のLAN12に接続されている。
【００４０】
図8はホストサーバ装置11のソフトウェア構成例を示す図である。ホストサーバ装置11に含まれるソフトウェアは、C++言語などを用いて開発されたソフトウェアプログラムおよび既存のソフトウェアプログラムを含み、OS(Operating System)としては例えばWindows NT（マイクロソフト社の登録商標）を採用している。
【００４１】
図8において、41はサーバマネージャ部、43はSPUアクセスライブラリ部、45および48はドライバ部、46はメール送信部、47はDLL(Dynamic Link Library)部、49は動的Webサーバ部、50はデータベースコネクタ部、51はOS、53はデータベース部である。
【００４２】
●ユーザ端末装置の構成
図9はユーザ端末装置13から17それぞれのハードウェア構成例を示す図である。ユーザ端末装置13から17の主な構成機器としては、パーソナルコンピュータ18、ユーザ末装置用ソフトウェア19および電話機20などがあり、詳細は後述するバーチャルオフィスを表示するための表示装置24およびビデオカメラ23はパーソナルコンピュータ(PC)本体61に接続される。さらに、ディスプレイ64、キーボード63、マウス62、一対のスピーカ67およびマイク68などは、それぞれパーソナルコンピュータ本体61に備わっている各機器に対応する入出力端子に接続される。表示装置24は、OS（例えばWindows 98、マイクロソフト社の登録商標）の機能を利用してディスプレイ64とともにマルチモニタシステムを構成する。
【００４３】
図10はホームオフィスに図9に示される機器が設置された状況を示す図である。バーチャルオフィスを表示するための表示装置24は、勤務者が業務（作業）に使用するパーソナルコンピュータ18のディスプレイ64とは異なる位置に設置される。
【００４４】
［映像配信制御］
次に、バーチャルオフィスシステムの映像配信制御装置の動作について説明する。ただし、説明を簡略化するために、各勤務者は、それぞれのユーザ端末装置とホストサーバ装置11との接続を完了し、既に勤務を開始しているものとする。
【００４５】
図11は表示装置24に表示される画面の一例を示す図である。81は他の勤務者の勤務状況を示す画像である。82は画像81の勤務者の勤務状況を示す文字情報が表示される勤務状況表示部である。画像82および勤務状況表示部83は、その勤務者のバーチャルオフィススペースである枠83の中に配置されている。つまり、この三つの要素81から83を合わせたものが、各勤務者のバーチャルオフィスである。
【００４６】
なお、図11には、同一画面上に九つのバーチャルオフィスを表示する例を示したが、バーチャルオフィスの数はこれより多くても少なくても構わない。そして、複数のバーチャルオフィスが表示された領域84を「バーチャルオフィスエリア」と呼ぶ。また、バーチャルオフィスと隣接するバーチャルオフィスとの間のスペースはバーチャルオフィスにおける廊下部分である。
【００４７】
バーチャルオフィスの一部として表示されている勤務者の勤務状況を示す画像81は、その勤務者が使用するユーザ端末装置18に備わるビデオカメラ23により撮像された画像である。
【００４８】
図12Aおよび12Bは映像配信制御に関する処理を説明するためのフローチャートで、図12Aはクライアントであるユーザ端末装置の処理を説明するためのフローチャート、図12Bはホストサーバ装置11の処理を説明するためのフローチャートである。なお、図12Aにおいて、送受信処理を１つのフローチャートで示しているが、送信処理と受信処理とが別々のフローチャートで表されてもよいことはもちろんである。
【００４９】
図12Aにおいて、ビデオカメラ23により撮像される画像は、パーソナルコンピュータ本体61に備わるビデオ入力インタフェイスを介してパーソナルコンピュータ18に入力される（ステップS101）。具体的には、撮像される画像はQCIF(Quater Common Intermediate format, 176×144 pixels)のディジタル画像データとしてパーソナルコンピュータ18に入力される。
【００５０】
取り込まれた画像データから、まず、勤務者の姿勢、とくに顔の向きが認識される（ステップS102）。姿勢の認識は、例えば、萩原らの提案（横尾、萩原「遺伝的アルゴリズムを用いた自然画像からの複数顔領域抽出」電学論117-C、9、1245-1252頁、1997）を用いて顔の領域を検出して切り出し、切り出された顔領域からニューラルネットワークなどにより顔の向きを判断することで、実現可能である。なお、顔の向きの検出などについては、末永「人物像を読む−ヒューマンインタフェイスのためのコンピュータビジョン−」（電子情報通信学会誌、800-804頁、1995/8）などにも紹介されている。
【００５１】
入力された画像データは、さらにJPEGやH.263などの画像符号化方式より圧縮符号化され（ステップS103）、ネットワークを介してホストサーバ装置11に速やかに転送される（ステップS104）。画像転送とともに、姿勢の認識結果から得られる情報を基に、ホストサーバ装置11に対して当該ユーザ端末装置に対する配信画像のフレームレートが指示される（ステップS105）。具体的には、勤務者が表示装置24の方向を向いていないと判断される場合、画像のフレームレートを標準（または通常）の例えば1/10に設定するように指示する。
【００５２】
ユーザ端末装置は、指示したフレームレートでホストサーバ装置11から配信される他の勤務者の勤務状況を示す圧縮された画像を受信し（ステップS106）、受信画像を伸長して（ステップS107）、表示装置23に表示する（ステップS108）。
【００５３】
ステップS109の判断により、ユーザ端末装置の終了が指示されるまで、以上の処理を繰り返すことで、画像の送受信およびホストサーバ装置11への指示が順次行われる。
【００５４】
次に、ホストサーバ装置11の処理について説明する。図12Bにおいて、ホストサーバ装置11は、各ユーザ端末装置が送信する圧縮された画像を受信し（ステップS111）、受信画像を他のユーザ端末装置へ配信するための準備を開始する（ステップS112）。
【００５５】
次に、配信先のユーザ端末装置から指示された画像配信に関する指示内容を解析し（ステップS113）、その解析結果からフレームレートが指定された場合などのように画像の変換処理が必要か否かを判定し（ステップS114）、変換処理が必要であれば当該ユーザ端末装置へ配信する画像に指示内容に応じた所定の変換処理を施す（ステップS115）。この変換処理が実行される場合、画像はSPU32に転送されてDSPにより高速に処理される。SPU32により変換処理された画像は、配信先であるユーザ端末装置へ送信される（ステップS116）。なお、ステップS115の処理には、圧縮された受信画像の伸長処理および変換処理された画像の圧縮処理が含まれる。
【００５６】
以上の処理は、配信先であるユーザ端末装置ごとにそれぞれ実行される。また、ステップS117の判断により、以上の処理はバーチャルオフィスシステムが稼働している間繰り返される。
【００５７】
以上の処理により、ユーザ端末装置には、その勤務者が表示装置24の方を向いている場合に限って標準（または高）フレームレートの画像が配信される。
【００５８】
なお、上記では、勤務者の姿勢に対応して配信画像のフレームレートを制御する例を説明したが、フレームレートに限らず、画像の解像度あるいは画像圧縮時の量子化係数を制御する方法、さらにそれらの組み合わせでもよい。要は、ユーザ端末装置の勤務者が表示装置24の方を向いている場合は、通信回線の帯域を消費することになるが、他の勤務者の勤務状況を示す詳細な（高画質、標準または高フレームレートの）画像を提供すればよい。一方、勤務者が表示装置24の方を向いていない場合は、通信回線の帯域消費を抑えるために、他の勤務者の勤務状況を概略的に示す画像、フレームが間引かれた画像、および/または、低解像度（低画質）の画像が提供されればよく、極端な場合は画像の配信を行わなくてもよい。
【００５９】
なお、解像度を制御する場合は、勤務者が表示装置24の方向を向いていない場合にはホストサーバ装置11に対して配信画像の解像度を下げるように指示する。この指示を受けたホストサーバ装置11は、具体的には、QCIFフォーマットの画像をさらに主走査、副走査方向ともに1/2に縮小変換する。受信側のユーザ端末装置は、受信画像を主走査、副走査ともに二倍に拡大して画像を表示する。
【００６０】
また、量子化係数を制御する場合は、勤務者が表示装置24の方向を向いていない場合にはホストサーバ装置11に対して配信画像の量子化ステップ幅を大きくするように指示する。この指示を受けたホストサーバ装置11は、ステップS115の変換処理において、圧縮された画像を一旦伸長し、ステップ幅の大きい量子化係数で再度圧縮した画像をユーザ端末装置へ配信する。
【００６１】
このように、第1実施形態によれば、他の勤務者の勤務状況を知るために、勤務者が表示装置24の方向を向いた場合に限り、標準（または高）フレームレート、高解像度、および/または、高画質の画像がそのユーザ端末装置へ配信される。他の業務（作業）を行っているなど、勤務者が表示装置24の方向を向いていない場合は、低フレームレート、低解像度、および/または、低画質の画像がそのユーザ端末装置へ配信されるので、そのユーザ端末装置とホストサーバ装置との間で通信される画像の符号量を大幅に削減することが可能になる。言い換えれば、極めて自然なインタフェイスを用いて、通信回線やネットワークの帯域を有効に利用することができ、画像（映像）を用いるアウェアネスシステムの問題点である、通信回線やネットワークを利用する他の通信アプリケーションソフトウェアへの影響を回避または少なくとも低減することができる。
【００６２】
【第２実施形態】
以下、本発明にかかる第2実施形態のバーチャルオフィスシステムの映像配信制御について説明する。なお、本実施形態において、第1実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００６３】
図13Aおよび13Bは映像配信制御に関する処理を説明するためのフローチャートで、図13Aはクライアントであるユーザ端末装置の処理を説明するためのフローチャート、図13Bはホストサーバ装置11の処理を説明するためのフローチャートである。なお、図13Aにおいて、端末側の送受信処理を１つのフローチャートで示しているが、送信処理と受信処理とが別々のフローチャートで表されてもよいことはもちろんである。
【００６４】
図13Aにおいて、ビデオカメラ23により撮像される画像は、パーソナルコンピュータ本体61に備わるビデオ入力インタフェイスを介してパーソナルコンピュータ18に入力される（ステップS201）。具体的には、撮像される画像はQCIFのディジタル画像データとしてパーソナルコンピュータ18に入力される。取り込まれた画像データから、まず、勤務者の姿勢（顔の向き）が認識される（ステップS202）。
【００６５】
姿勢の認識結果から、勤務者が表示装置24の方向を向いていないと判断される場合（ステップS203）、画像のフレームを間引くなど、入力画像に変換処理を施した後に圧縮する（ステップS204）。一方、勤務者が表示装置24の方向を向いている場合、入力画像は変換処理されずに圧縮される（ステップS205）。なお、この圧縮符号化は、JPEGやH.263などの画像符号化方式より実行される。そして、圧縮された画像は、ネットワークを介してホストサーバ装置11に速やかに転送される（ステップS206）。
【００６６】
圧縮画像の送信とともに、ホストサーバ装置11から配信される他の勤務者の勤務状況を示す圧縮された画像を受信し（ステップS207）、受信画像を伸長して（ステップS208）、表示装置24に表示する（ステップS209）。
【００６７】
ステップS210の判断により、ユーザ端末装置の終了が指示されるまで、以上の処理を繰り返すことで、画像の送受信が順次行われる。
【００６８】
次に、ホストサーバ装置11の処理について説明する。図13Bにおいて、ホストサーバ装置11は、各ユーザ端末装置が送信する圧縮された画像を受信し（ステップS211）、受信画像を他のユーザ端末装置へ配信するための準備を開始し（ステップS212）。配信先であるユーザ端末装置に画像を配信する（ステップS213）。
【００６９】
以上の処理は、配信先であるユーザ端末装置ごとにそれぞれ実行される。また、ステップS214の判断により、以上の処理はバーチャルオフィスシステムが稼働している間繰り返される。
【００７０】
以上の処理により、ユーザ端末装置は、その勤務者が表示装置24の方を向いている場合に限って標準（または高）フレームレートの画像を送信する。
【００７１】
なお、上記では、勤務者の姿勢に対応して送信画像のフレームレートを制御する例を説明したが、フレームレートに限らず、画像の解像度あるいは画像圧縮時の量子化係数を制御する方法、さらにそれらの組み合わせでもよい。要は、ユーザ端末装置の勤務者が表示装置24の方を向いている場合は、通信回線の帯域を消費することになるが、その勤務者の勤務状況を示す詳細な（高画質、標準または高フレームレートの）画像を提供すればよい。一方、勤務者が表示装置24の方を向いていない場合は、通信回線の帯域消費を抑えるために、その勤務者の勤務状況を概略的に示す画像、フレームが間引かれた画像、および/または、低解像度（低画質）の画像が提供されればよく、極端な場合は画像の配信を行わなくてもよい。
【００７２】
解像度および/または量子化係数を制御する処理は、ホストサーバ装置11が行うか、ユーザ端末装置が行うかの違いを除き、第1実施形態と同じであるから、その詳細説明を省略する。
【００７３】
このように、第2実施形態によれば、勤務者の勤務状況を知らせるために、勤務者が表示装置24の方向を向いた場合に限り、標準（または高）フレームレート、高解像度、および/または、高画質の画像がホストサーバ装置11へ送信される。他の業務（作業）を行っているなど、勤務者が表示装置24の方向を向いていない場合は、低フレームレート、低解像度、および/または、低画質の画像がホストサーバ装置11へ送信されるので、第1実施形態と同様に、そのユーザ端末装置とホストサーバ装置との間で通信される画像の符号量を大幅に削減することが可能になる。言い換えれば、極めて自然なインタフェイスを用いて、通信回線やネットワークの帯域を有効に利用することができ、画像（映像）を用いるアウェアネスシステムの問題点である、通信回線やネットワークを利用する他の通信アプリケーションソフトウェアへの影響を回避または少なくとも低減することができる。また、本実施の形態では、クライアントの処理は増加するが、クライアントからホストへ送信されるデータ量を調整でき、回線をより有効に使うことができる。
【００７４】
【第３実施形態】
以下、本発明にかかる第3実施形態のバーチャルオフィスシステムの映像配信制御について説明する。なお、本実施形態において、第1実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００７５】
図14Aおよび14Bは映像配信制御に関する処理を説明するためのフローチャートで、図14Aはクライアントであるユーザ端末装置の処理を説明するためのフローチャート、図14Bはホストサーバ装置11の処理を説明するためのフローチャートである。なお、図14Aにおいて、端末側の送受信処理を１つのフローチャートで示しているが、送信処理と受信処理とが別々のフローチャートで表されてもよいことはもちろんである。
【００７６】
図14Aにおいて、ビデオカメラ23により撮像される画像は、パーソナルコンピュータ本体61に備わるビデオ入力インタフェイスを介してパーソナルコンピュータ18に入力される（ステップS301）。具体的には、撮像される画像はQCIF(Quater Common Intermediate format, 176×144 pixels)のディジタル画像データとしてパーソナルコンピュータ18に入力される。
【００７７】
入力された画像データは、JPEGやH.263などの画像符号化方式より圧縮符号化され（ステップS302）、ネットワークを介してホストサーバ装置11に速やかに転送される（ステップS303）。
【００７８】
圧縮画像の送信とともに、ホストサーバ装置11から配信される他の勤務者の勤務状況を示す圧縮された画像を受信し（ステップS304）、受信画像を伸長して（ステップS305）、表示装置24に表示する（ステップS306）。
【００７９】
ステップS307の判断により、ユーザ端末装置の終了が指示されるまで、以上の処理を繰り返すことで、画像の送受信が順次行われる。
【００８０】
次に、ホストサーバ装置11の処理について説明する。図14Bにおいて、ホストサーバ装置11は、各ユーザ端末装置が送信する圧縮された画像を受信し（ステップS311）、受信画像を他のユーザ端末装置へ配信するための準備を開始し（ステップS312）、受信画像を伸長して、その画像が示す勤務者の勤務状況を認識する（ステップS313）。
【００８１】
そして、勤務状況の認識結果から、勤務者が表示装置24の方向を向いていないと判断される場合（ステップS314）、画像のフレームを間引くなどの変換処理を入力画像に施した後に再び圧縮する（ステップS315）。一方、勤務者が表示装置24の方向を向いている場合、入力画像は変換処理されない。なお、この変換処理が実行される場合、画像はSPU32に転送されてDSPにより高速に処理される。また、圧縮符号化は、JPEGやH.263などの画像符号化方式より実行される。
【００８２】
次に、配信先であるユーザ端末装置に圧縮された画像が配信される（ステップS316）。
【００８３】
以上の処理は、配信先であるユーザ端末装置ごとにそれぞれ実行される。また、ステップS317の判断により、以上の処理はバーチャルオフィスシステムが稼働している間繰り返される。
【００８４】
以上の処理により、ホストサーバ装置11は、各ユーザ端末装置の勤務者が表示装置24の方を向いている場合に限って標準（または高）フレームレートの画像を配信する。
【００８５】
なお、上記では、勤務者の姿勢に対応して送信画像のフレームレートを制御する例を説明したが、フレームレートに限らず、画像の解像度あるいは画像圧縮時の量子化係数を制御する方法、さらにそれらの組み合わせでもよい。要は、ユーザ端末装置の勤務者が表示装置24の方を向いている場合は、通信回線の帯域を消費することになるが、その勤務者の勤務状況を示す詳細な（高画質、標準または高フレームレートの）画像を提供すればよい。一方、勤務者が表示装置24の方を向いていない場合は、通信回線の帯域消費を抑えるために、その勤務者の勤務状況を概略的に示す画像、フレームが間引かれた画像、および/または、低解像度（低画質）の画像が提供されればよく、極端な場合は画像の配信を行わなくてもよい。
【００８６】
解像度および/または量子化係数を制御する処理は第1実施形態と同じであるから、その詳細説明を省略する。
【００８７】
このように、第3実施形態によれば、勤務者の勤務状況を知らせるために、勤務者が表示装置24の方向を向いた場合に限り、標準（または高）フレームレート、高解像度、および/または、高画質の画像がホストサーバ装置11から配信される。他の業務（作業）を行っているなど、勤務者が表示装置24の方向を向いていない場合は、低フレームレート、低解像度、および/または、低画質の画像がホストサーバ装置11から配信されるので、第1実施形態と同様に、ユーザ端末装置とホストサーバ装置との間で通信される画像の符号量を大幅に削減することが可能になる。言い換えれば、極めて自然なインタフェイスを用いて、通信回線やネットワークの帯域を有効に利用することができ、画像（映像）を用いるアウェアネスシステムの問題点である、通信回線やネットワークを利用する他の通信アプリケーションソフトウェアへの影響を回避または少なくとも低減することができる。
【００８８】
さらに、第3実施形態によれば、勤務者の勤務状況の認識および画像の変換処理は、すべてホストサーバ装置11により行われるため、他の実施形態に比べて、ユーザ端末装置の処理負荷を軽減することができる。また、クライアント側の装置では、あまり特別な処理を行わないので、クライアントの設備を簡単にすることができる。
【００８９】
【変形例１】
上記の各実施形態においては、勤務者の姿勢（顔の向き）を認識することで、画像の配信制御を行う例を説明したが、勤務者の作業集中度を認識することで画像の配信制御を行うこともできる。つまり、勤務者の姿勢を認識する処理において、その勤務者の一連の複数のフレームを参照して、勤務者の体の動きの度合を認識する。具体的には、一連の複数のフレーム間の差分を集積し、集積値が予め設定された値以下の場合、当該勤務者は作業に集中していると判断される。そして、勤務者が作業に集中していると判断された場合、上述した画像品位を低下させるなどの画像の変換処理により符号量を削減する。
【００９０】
このようにすれば、符号量を低減し通信回線の帯域を有効活用することができるとともに、表示装置24の画面が頻繁に更新されることで、作業に集中している勤務者の集中を妨げるという問題を軽減する効果がある。
【００９１】
【変形例２】
また、ユーザ端末装置の近傍に勤務者が存在するか否かを認識することで画像の配信制御を行うこともできる。つまり、勤務者の姿勢を認識する処理において、勤務者の存在するか否かを認識する。具体的には、予め登録された勤務者が存在しない参照用画像と、現在の画像とを比較することで勤務者の存在を検出する。そして、勤務者が存在しないと判断された場合、上述した画像品位を低下させるなどの画像の変換処理により符号量を削減する。また、勤務者が存在しないと判断される場合は、当該ユーザ端末装置の画像の配信を停止（つまりフレームレートを0に指示する）して、図15に一例を示すように、不在であることを示す画像を表示することもできる。
【００９２】
本実施形態によれば、ユーザ存在しない場合、送信画像或いは配信画像のフレームレートを低減させることにより符号量を低減し通信回線の帯域を有効活用することができるとともに
【００９３】
このようにすれば、勤務者が存在しない場合は、その符号量を低減し通信回線の帯域を有効活用することができるとともに、ホストサーバ装置11の処理負荷を軽減することができる。
【００９４】
【変形例３】
また、ユーザ端末装置の近傍に存在する人間の数を認識することで画像の配信制御を行うこともできる。つまり、つまり、勤務者の姿勢を認識する処理において、ユーザ端末装置の近傍に存在する人間の数を認識する。人数は、上述したような顔領域の認識技術を利用することで、認識することが可能である。そして、ユーザ端末装置の近傍に二人以上の人間が存在すると判断された場合、上述した画像品位を低下させるなどの画像の変換処理により符号量を削減する。また、勤務者が存在しないと（零人）判断される場合は、当該ユーザ端末装置の画像の配信を停止（つまりフレームレートを0に指示する）して、図15に一例を示すように、不在であることを示す画像を表示することもできる。
【００９５】
このようにすれば、複数の人間の存在が検出される場合、配信される画像の品質を低減して、他の勤務者に明瞭な画像を提供しないようにできる。とくに、在宅勤務などの環境においては、突然の訪問者が訪れた場合などに、他の勤務者が訪問者の容姿を認識できないようにすることで、プライバシ侵害を未然に防ぐことができる。
【００９６】
勿論、音声を利用して人数の判定を行うことも可能である。この場合、ユーザ端末装置の音声入力手段を利用して、他の人物と会話中であるとなどと判断される場合、上記のように画像品位を低下させることで、同様な効果を得ることができる。
【００９７】
【その他の変形例】
上記の各実施形態においては、表示装置24はパーソナルコンピュータ18に接続される第二のディスプレイとして構成し、ユーザ端末装置の動作はパーソナルコンピュータ18上で稼動するソフトウェアで実現される場合を説明した。本発明は、これに限定されるわけではなく、表示装置24を自立型の専用端末として構成し、独自にネットワークに接続するように構成してもよい。その場合、ビデオカメラ23は、その専用端末に直結され、各種の信号処理および通信処理はすべてその端末装置で処理される。
【００９８】
人物の姿勢認識の手法は、実施形態で説明したような顔の向きから判断するだけでなく、人物の上体全体を判断する方式など様々な方法を利用することが可能である。
【００９９】
画像の変換処理は、各種空間フィルタ処理により行うこともできる。その場合、解像度や量子化係数を制御する方法に比べて、画像品質の劣化を押さえることが可能である。また、変形例3に適用する場合、より確実にプライバシ侵害を防ぐことが可能になる。
【０１００】
フレームレートの制御には、フレームレートを0に設定する場合も含まれる。例えば、第1実施形態に適用する場合、勤務者が表示装置24の方向を向いた場合にのみ画像の配信を受けることになり、通信回線の使用帯域をより一層削減することができる。
【０１０１】
また、画像の圧縮符号化方式は、JPEGなどの静止画像符号化方式でも、H.263などの動画像符号化方式でも、どのような方式でも構わない。
【０１０２】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１０３】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることはいうまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることはいうまでもない。
【０１０４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることはいうまでもない。
【０１０５】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１０６】
【発明の効果】
以上説明したように、本発明によれば、分散業務を考慮したコミュニケーション手段を提供することができる。
【０１０７】
従って、例えば、異なる場所に設置された複数の端末装置、および、サーバ装置を通信網を介して接続して、地理的に分散して存在する勤務者間に円滑なコミニュケーションを提供するバーチャルオフィスを実現することができる。さらに、自然なインタフェイスで、効率的かつ適切な映像を含む画像の配信制御を実現することができる。また、回線の有効利用にも有用である。
【図面の簡単な説明】
【図１】ホームオフィスの構成例を示すブロック図である。
【図２】図1に示すパーソナルコンピュータにインストールされる代表的な通信アプリケーションソフトウェアを示す図、
【図３】組織体の一部門が、分散勤務を行う場合のオフィスの構成例を模式的に示す図、
【図４】分散勤務を開始する以前の勤務形態を示す図、
【図５】勤務者のパーソナルコンピュータの画面を示す図、
【図６】バーチャルオフィスシステムの構成例を示す図、
【図７】図6に示すホストサーバ装置のハードウェア構成例を示す図、
【図８】図6に示すホストサーバ装置のソフトウェア構成例を示す図、
【図９】ユーザ端末装置それぞれのハードウェア構成例を示す図、
【図１０】ホームオフィスに機器が設置された状況を示す図、
【図１１】ユーザ端末装置の表示装置に表示される画面の一例を示す図、
【図１２Ａ】映像配信制御に関する処理を説明するためのフローチャート、
【図１２Ｂ】映像配信制御に関する処理を説明するためのフローチャート、
【図１３Ａ】映像配信制御に関する処理を説明するためのフローチャート、
【図１３Ｂ】映像配信制御に関する処理を説明するためのフローチャート、
【図１４Ａ】映像配信制御に関する処理を説明するためのフローチャート、
【図１４Ｂ】映像配信制御に関する処理を説明するためのフローチャート、
【図１５】勤務者が不在であることを示す画像例である。
【図１】
0003927744.tif 000002
【図２】
0003927744.tif 000003
【図３】
0003927744.tif 000004
【図４】
0003927744.tif 000005
【図５】
0003927744.tif 000006
【図６】
0003927744.tif 000007
【図７】
0003927744.tif 000008
【図８】
0003927744.tif 000009
【図９】
0003927744.tif 000010
【図１０】
0003927744.tif 000011
【図１１】
0003927744.tif 000012
【図１２Ａ】
0003927744.tif 000013
【図１２Ｂ】
0003927744.tif 000014
【図１３Ａ】
0003927744.tif 000015
【図１３Ｂ】
0003927744.tif 000016
【図１４Ａ】
0003927744.tif 000017
【図１４Ｂ】
0003927744.tif 000018
【図１５】
0003927744.tif 000019