(57)【要約】【課題】顔領域の抽出や音場制御技術等を活用したＴＶ会議システムを提供する。【解決手段】自装置側の画像を撮影する撮影手段と、撮影手段により撮影した画像から、顔領域の位置、各顔領域の画面注視度および各顔領域の顔の向きを求める画像処理手段と、画像、顔領域の位置および各顔領域の画面注視度を対向装置側に送信する画像情報送信手段と、対向装置側から、対向装置側において撮影した画像、対向装置側の顔領域の位置および各顔領域の画面注視度を受信する画像情報受信手段と、受信した画面注視度の高い各顔領域について、自装置側の顔領域の顔の向きから、対向装置側の顔領域の位置のうち注視されている顔領域を推定し、画像を表示する際に、顔領域の位置のうち、注視されている顔領域以外で、かつ画面注視度が低い顔領域の位置にぼかし処理を施すぼかし手段と、ぼかし処理を施した表示するべき画像を表示する表示手段とを備えた。【選択図】図１
2012213013.tif 000002
【特許請求の範囲】
【請求項１】
自装置側の画像を撮影する撮影手段と、
前記撮影手段により撮影した前記画像から、顔領域の位置、各顔領域の画面注視度および各顔領域の顔の向きを求める画像処理手段と、
前記画像、前記顔領域の位置および前記各顔領域の画面注視度を対向装置側に送信する画像情報送信手段と、
前記対向装置側から、前記対向装置側において撮影した画像、前記対向装置側の顔領域の位置および各顔領域の画面注視度を受信する画像情報受信手段と、
前記受信した画面注視度の高い各顔領域について、前記自装置側の顔領域の顔の向きから、前記対向装置側の顔領域の位置のうち注視されている顔領域を推定し、前記画像を表示する際に、前記顔領域の位置のうち、注視されている顔領域以外で、かつ画面注視度が低い顔領域の位置にぼかし処理を施すぼかし手段と、
前記ぼかし処理を施した前記表示するべき画像を表示する表示手段と
を備えたことを特徴とするＴＶ会議システム。
【請求項２】
前記注視されている対向装置側の顔領域の位置および自装置側で複数のマイクで収音した複数の音声を対向装置側に送信する音声情報送信手段と、
前記対向装置側から、前記対向装置側で推定した注視されている自装置側の顔領域および前記対向装置側において複数のマイクで収音した複数の音声を受信する音声情報受信手段と、
前記対向装置側において前記画面注視度の高い各顔領域の方向から到来した音声のみを、前記顔領域によって注視されている前記自装置側の顔領域の方向に向けて発声させる音声処理手段と
をさらに備えたことを特徴とする請求項１に記載のＴＶ会議システム。
【請求項３】
前記自装置側で撮影した画像から、人集り等の異常事象を検出し、得られた異常事象検出度を前記対向装置側に送信する事象情報送信手段と、
前記対向装置側で得られた前記異常事象検出度を受信し、異常事象検出度が大きい場合に、前記音声の再生音量を大きくする音量調整手段と
をさらに備えたことを特徴とする請求項２に記載のＴＶ会議システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、個人のプライバシーを保ちつつ、職場間の場共有を実現する映像コミュニケーション技術を用いたＴＶ会議システムに関する。
【背景技術】
【０００２】
職場が多地点に分散されている職場環境において、職場間の各人の在席状況や忙暇状況などを含めたノンバーバル（非言語的）な場の雰囲気を共有し職場間のコミュニケーションの円滑化を図りたいためにＴＶ（テレビ）会議システムを使用したい場合がある。この時、ＴＶ会議システムを導入する際に、社員から「監視されているようで嫌だ」という意見などから、導入が困難な場合が散見される。
【０００３】
職場が多地点に分散されている職場環境において、職場間の各人の在席状況や忙暇状況などを含めたノンバーバルな場の雰囲気を共有し職場間のコミュニケーションの円滑化を図りたいためにＴＶ会議システムを使用する場合においては、各職場にネットワークカメラを配置し、必要に応じて各自パソコンなどから、確認できるようにする方法が知られている（例えば、特許文献１参照）。
【０００４】
また、大画面薄型テレビと、ネットワークカメラを各職場に配置し、各職場間をテレビ会議で常時接続する方法も知られている（例えば、特許文献２参照）。さらに、別途スケジューラなどのシステムにて、各人が在席状況や、忙閑状況をその都度、登録し、状況確認を行いたい者は、その都度システムにアクセスし確認する方法なども知られている（例えば、特許文献３、４、５参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−３３９７０８号公報
【特許文献２】特開平０６−１４１３１８号公報
【特許文献３】特開２００３−２１６８０２号公報
【特許文献４】特開平８−８７６８５号公報
【特許文献５】特開２００１−３１９０１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の方法にあっては、見られている事に気付けないため、誰が見ているのかが分らず、プライバシーを保てない。このため導入の際に「監視されている様で嫌だ」という意見が出て、導入の障壁が高くなる。また、観察者側が積極的・定期的に確認を行わないと、「人集り」等、注力しなければならない場の雰囲気に変わった事に気付くことができない。さらに、画面で確認した相手に、別途電話等で連絡を取る必要があるという問題がある。
【０００７】
また、特許文献２に記載の方法にあっては、見られている事に気付けないため、誰が見ているのかが分らず、プライバシーを保てない。このため導入の際に「監視されている様で嫌だ」という意見が出て、導入の障壁が高くなる。また、「人集り」等、注力しなければいけない場の雰囲気に変わった事に気付きにくい。さらに、ＴＶ会議越しにコミュニケーションを取る際に、視線を合わせたコミュニケーションが行えないという問題ある。
【０００８】
また、特許文献３、４、５に記載の方法にあっては、各人の在席状況および忙暇状況以外のノンバーバルな情報が伝えられない。また、確実な情報の反映を各人の操作に任せるため、リアルタイムに確実正確な情報の収集が困難である。さらに、在席状況や忙暇状況のみの言語化できる情報のみで、「人集り」等、注力すべき場の雰囲気に変わった事が分らないという問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、近年発達してきた顔領域の抽出や音場制御技術等のデジタルサイネージ関連技術を活用することで上記問題を解決することができるＴＶ会議システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、自装置側の画像を撮影する撮影手段と、前記撮影手段により撮影した前記画像から、顔領域の位置、各顔領域の画面注視度および各顔領域の顔の向きを求める画像処理手段と、前記画像、前記顔領域の位置および前記各顔領域の画面注視度を対向装置側に送信する画像情報送信手段と、前記対向装置側から、前記対向装置側において撮影した画像、前記対向装置側の顔領域の位置および各顔領域の画面注視度を受信する画像情報受信手段と、前記受信した画面注視度の高い各顔領域について、前記自装置側の顔領域の顔の向きから、前記対向装置側の顔領域の位置のうち注視されている顔領域を推定し、前記画像を表示する際に、前記顔領域の位置のうち、注視されている顔領域以外で、かつ画面注視度が低い顔領域の位置にぼかし処理を施すぼかし手段と、前記ぼかし処理を施した前記表示するべき画像を表示する表示手段とを備えたことを特徴とする。
【００１１】
本発明は、前記注視されている対向装置側の顔領域の位置および自装置側で複数のマイクで収音した複数の音声を対向装置側に送信する音声情報送信手段と、前記対向装置側から、前記対向装置側で推定した注視されている自装置側の顔領域および前記対向装置側において複数のマイクで収音した複数の音声を受信する音声情報受信手段と、前記対向装置側において前記画面注視度の高い各顔領域の方向から到来した音声のみを、前記顔領域によって注視されている前記自装置側の顔領域の方向に向けて発声させる音声処理手段とをさらに備えたことを特徴とする。
【００１２】
本発明は、前記自装置側で撮影した画像から、人集り等の異常事象を検出し、得られた異常事象検出度を前記対向装置側に送信する事象情報送信手段と、前記対向装置側で得られた前記異常事象検出度を受信し、異常事象検出度が大きい場合に、前記音声の再生音量を大きくする音量調整手段とをさらに備えたことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、職場が多地点に分散されている職場環境において、職場間の各人の在席状況や忙暇状況などを含めたノンバーバル（非言語的）な場の雰囲気を共有し職場間のコミュニケーションの円滑化を図ることができる。また、顔領域の抽出や音場制御技術等のデジタルサイネージ関連技術を活用することによりプライバシーを保護することも可能になるという効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示すシステムの構成を示す模式図である。
【図３】図１に示すシステムの動作を示すフローチャートである。
【図４】本願発明の効果を示す説明図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して、本発明の一実施形態によるＴＶ会議システムを説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、ＴＶ会議システムにおいてやりとりされる情報の符号化・復号化を行う符号化・復号化装置である。符号２は、複数のカメラで構成するカメラ群である。符号３は、複数のマイクで構成するマイク群である。符号４が大型モニタである。符号５は、複数のスピーカで構成するスピーカ群である。符号６は、符号化・復号化装置１が接続されるネットワーク（ＮＷ）である。符号１’は、対向側の符号化・復号化装置であり、ネットワーク６に接続される。符号２’、３’、４’、５’は、対向側の符号化・復号化装置１’に接続されるカメラ群、マイク群、大型モニタ、スピーカ群である。
【００１６】
符号１１は、カメラ２のそれぞれによって撮像した映像を入力する映像入力部であり、カメラ２と同数だけ設けられる。符号１２は、映像入力部１１によって入力した映像の画角を補正した画像を生成する画角補正画像生成部である。符号１３は、画角補正画像生成部１２から出力する画像から異常事象検知度合を推定する異常事象検知度合推定部である。符号１４は、画角補正画像生成部１２から出力する画像から顔領域の抽出、画面注視度の推定及び顔の向きを推定する顔領域抽出部・画面注視度推定・顔向き推定部である。符号１５は、マイク３のそれぞれによって集音した音声を入力する音声入力部である。符号１６は、音声入力部１５のそれぞれに接続され、エコーをキャンセルするエコーキャンセラである。符号１７は、画像や音声のデータを符号化して対向側の符号化・復号化装置１’に対して送信するデータ符号化・送信部である。
【００１７】
符号１８は、対向側の符号化・復号化装置１’から送信されたデータを受信して、復号するデータ受信・復号化部である。符号１９は、対向側の顔領域との対応関係を推定する対向側顔領域との対応関係推定部である。符号２０は、顔領域をぼかす顔領域ボカシ部である。符号２１は、画像データを大型モニタ４に出力する映像出力部である。符号２２は、音量を調整する音量調整部である。符号２３は、異常事象検出度合に基づき音量を調整する音量調整部である。符号２４は、スピーカ５のそれぞれに音声を出力する音声出力部である。
【００１８】
次に、図２を参照して、図１に示す会議システムの構成を説明する。カメラ群２は、大型モニタ４の四隅に設置される。マイク群３、スピーカ群５は、大型モニタ４の下方に設置される。図２に示す例では、マイク３とスピーカ５が８個ずつ設けられている例を示している。符号化・復号化装置１、カメラ群２、マイク群３、大型モニタ４、スピーカ群５は、一方の職場に設置され、符号化・復号化装置１’、カメラ群２’、マイク群３’、大型モニタ４’、スピーカ群５’は、遠隔地にある他方の職場に設置され、２つの符号化・復号化装置１、１’は、ネットワーク６によって接続される。
【００１９】
次に、図３を参照して、図１に示すＴＶ会議システムの動作を説明する。まず、映像入力部１１は、複数台のカメラ２により撮影した映像を入力する（ステップＳ１）。また、音声入力部１５は、複数台のマイク３により集音した画面周囲の音声を入力する（ステップＳ２）。このとき、エコーキャンセラ１６によって適宜エコーキャンセル処理（例えば、特開２００５−１３６４４８号公報）等を行う。
【００２０】
次に、画角補正画像生成部１２は、ステップＳ１で撮影した複数画像を使用して、画面中央から撮影した画像を生成する（ステップＳ３）。画角を補正する処理は、公知の処理（例えば、特開２００９−２１１３３５号公報）を用いるため、詳細な処理動作の説明を省略する。
【００２１】
そして、顔領域抽出部・画面注視度推定・顔向き推定部１４は、ステップＳ１で撮影した画像およびステップＳ３で生成した画像から、顔領域の座標、大きさ（１ｂ）、各顔領域の画面注視度合（１ｃ）、各顔領域の向き（１ｄ）を求める（ステップＳ４）。画像から、顔領域の座標、大きさ（１ｂ）、各顔領域の画面注視度合（１ｃ）、各顔領域の向き（１ｄ）を求める処理は、公知の処理（例えば、特開２０１０−２１１４８５号公報や特開２００９−２９４９５６号公報）を用いるため、ここでは詳細な処理動作の説明を省略する。
【００２２】
次に、異常事象検知度合推定部１３は、画像中から、人集り等の異常事象の有無を検出する（ステップＳ５）。この人集り等の異常事象の有無を検出する処理は、公知の処理（例えば、特開２００８−１４００９３号公報）を用いるため、詳細な説明を省略する。
【００２３】
次に、データ受信・復号化部１８は、対向側の符号化・復号化装置１’から、画像データ（２ａ）、顔領域座標、大きさのデータ（２ｂ）、各顔領域の画面注視度（２ｃ）、各顔領域が注視している対向側顔領域（２ｄ）、各マイクでの収集音声データ（２ｅ）、異常事象検出度合（２ｆ）のデータをそれぞれ受信する（ステップＳ６）。
【００２４】
次に、対向側顔領域との対応関係推定部１９は、ステップＳ４で求めた、画面注視度の高い各顔領域について、顔の向きから、対向側の画像データ（２ａ）のどの顔領域近傍を注視しているか推定する（ステップＳ７）。
【００２５】
次に、データ符号化・送信部１７は、対向側端末に対して、ステップＳ３で生成した画像データ（１ａ）、ステップＳ４で求めた（１ｂ）、（１ｃ）、ステップＳ７で求めた注視している対向側の顔領域、ステップＳ２で録音した各マイク音声、ステップＳ５で求めた異常事象検出度合を対向側の符号化・復号化装置１’に送信する（ステップＳ８）。
【００２６】
次に、顔領域ボカシ部２０は、ステップＳ６で受信した画像データ（２ａ）の画像中の顔領域（２ｂ）について、ステップＳ６で受信した各顔領域の画面注視度（２ｃ）のデータと、ステップＳ７で求めた送信側で注視している顔領域から、画面注視度合いが低く、送信側で注視していない顔領域についてボカシを施す（ステップＳ９）。そして、映像出力部２１は、ステップＳ９で処理した画像を大型モニタ４に表示する（ステップＳ１０）。
【００２７】
次に、音量調整部２２は、ステップＳ６で受信した各顔領域が注視している対向側顔領域（２ｄ）から、対応する方向の音声データ（２ｅ）についてのみ音量を大きくした音声データを出力する（ステップＳ１１）。そして、音量調整部２３は、ステップＳ６で受信した異常事象検出度合（２ｆ）が高い場合は、音声調整部２２から出力された音声データの音量を大きくして、音声出力部２４へ出力する。音量調整部２３は、異常事象検出度合（２ｆ）が高くない場合は、音声調整部２２から出力された音声データそのまま音声出力部２４へ出力する。音声出力部２４は、スピーカ５から音声を発声させる（ステップＳ１２）。
【００２８】
符号化・復号化装置１’についても、前述した処理動作によって同様の処理動作が実施される。そして、２つの符号化・復号化装置１、１’が、前述した処理動作を繰り返し行うことにより、ＴＶ会議を行うことが可能となる。
【００２９】
次に、図４を参照して、図１に示すＴＶ会議システムの効果について説明する。まず、複数カメラから合成画像を生成することにより、話す相手と目を合わせることができる。カメラ撮影範囲を気にせずに画面に向かって目を合わせて話すことができ、本当に窓越しに話しているように感じることができる。また、複数マイク・複数スピーカによる音声のスポット照射により、相手から見られている事が分かり、話し合っている者同士以外は、五月蠅くならない。また、人集りなど何か異常事象があった時以外は、話し合っている者同士以外は、五月蠅くならない。向こう側から見ている人ははっきり分かるが、こちら側も向こう側も見ていない人は、「ぼかし」がかかり誰か分からないようにすることができる。
【００３０】
以上説明したように、自装置側で撮影した画像データから、顔領域の位置、各顔領域の画面注視度および各顔領域の顔の向きを求め、画像データ、顔領域の位置および各顔領域の画面注視度を対向装置側に送信するとともに、対向装置側から、対向装置側で撮影した画像データ、顔領域の位置および各顔領域の画面注視度を受信し、画面注視度の高い各顔領域について、顔領域の顔の向きから、対向装置側の顔領域の位置のうち注視されている顔領域を推定し、画像データを表示するにあたって、顔領域の位置のうち、注視されている顔領域以外で、かつ画面注視度が低い顔領域の位置にぼかし処理を施すようにした。これにより、画面を注視している人、および対向側から注視されている人以外は、画面上で顔にぼかしが入り、プライバシーを保つことができる。
【００３１】
また、注視されている対向装置側の顔領域の位置および自装置側で複数のマイクで収音した複数の音声データを対向装置側に送信するとともに、対向装置側から、対向装置側で推定した注視されている自装置側の顔領域および対向装置側で複数のマイクで収音した複数の音声データを受信し、対向装置側において画面注視度の高い各顔領域の方向から到来した音声のみを、顔領域によって注視されている自装置側の顔領域の方向に向けてスポット照射するようにした。これにより、互いに画面を注視して話し合っている人にのみ相手の音声が届き、第三者に妨害を与えないようにすることができる。
【００３２】
また、自装置側で撮影した画像データから、人集り等の異常事象を検出し、得られた異常事象検出度を対向装置側に送信するとともに、対向装置側で得られた異常事象検出度を受信し、異常事象検出度が大きい場合に、音声データの再生音量を大きくするようにした。これにより、人集り等の雰囲気の変化に容易に気付くことができる。
【００３３】
なお、図１における符号化・復号化装置１、１’の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりＴＶ会議を実現するための情報の送受信を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３４】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００３５】
個人のプライバシーを保ちつつ、職場間の場共有を実現することが不可欠な用途に適用できる。
【符号の説明】
【００３６】
１、１’・・・符号化・復号化装置、２、２’・・・カメラ群、３、３’・・・マイク群、４、４’・・・大型モニタ、５、５’・・・スピーカ群、１１・・・映像入力部、１２・・・画角補正画像生成部、１３・・・異常事象検知度合推定部、１４・・・顔領域抽出部・画面注視度推定・顔向き推定部、１５・・・音声入力部、１６・・・エコーキャンセラ、１７・・・データ符号化・送信部、１８・・・データ受信・復号化部、１９・・・対向側顔領域との対応関係推定部、２０・・・顔領域ボカシ部、２１・・・映像出力部、２２、２３・・・音量調整部、２４・・・音声出力部
【図１】
2012213013.tif 000003
【図２】
2012213013.tif 000004
【図３】
2012213013.tif 000005
【図４】
2012213013.tif 000006