(57)【要約】【課題】ネットワークが支援され、カメラが備えられたデジタルＴＶを用いて遠距離にある複数の相手との画像通信を可能にする多者間画像通信を提供する。【解決手段】所定のマイクアレイを通じて受信された音声信号を分析して、ユーザの位置を確認する位置確認部３２０、所定のカメラを通じて受信された画像から確認された位置にあるユーザの顔を検出する検出部３３０と、検出されたユーザの顔及び受信された音声信号を送信する送信部３１０と、を備える多者間画像通信を提供する送受信装置である。【選択図】図３
2006217628.tif 000002
【特許請求の範囲】
【請求項１】
所定のマイクアレイを通じて受信した音声信号を分析して、ユーザの位置を確認する位置確認部と、
所定のカメラを通じて受信された画像から前記確認された位置にいる前記ユーザの顔を検出する検出部と、
前記検出したユーザの顔の画像データ及び前記受信した音声信号を送信する送信部と、
を備えることを特徴とする多者間画像通信を提供する送受信装置。
【請求項２】
前記位置確認部は、前記マイクアレイの各マイクが受信した音声信号の時間遅延または前記音声信号が発生した位置に対する前記ユーザの存在可能性を用いて前記ユーザの位置を確認することを特徴とする請求項１に記載の多者間画像通信を提供する送受信装置。
【請求項３】
前記カメラは、ズーム、パン及びチルトのうち、少なくとも１つの機能を用いて前記ユーザの顔を追跡して検出することを特徴とする請求項１に記載の多者間画像通信を提供する送受信装置。
【請求項４】
前記検出されたユーザの顔を示すユーザ画像は、リモコンによって前記ズーム、前記パン及び前記チルトのうち、少なくとも１つの機能が行われることによって微細調整された画像であることを特徴とする請求項３に記載の多者間画像通信を提供する送受信装置。
【請求項５】
前記検出部は、前記ユーザの動きを追跡して、前記ユーザの顔を検出することを特徴とする請求項１に記載の多者間画像通信を提供する送受信装置。
【請求項６】
前記検出部は、
前記ユーザの顔が検出されない場合、前記ユーザの動きを検出し、
前記ユーザの動きが検出されない場合、前記ユーザの顔を検出することを特徴とする請求項５に記載の多者間画像通信を提供する送受信装置。
【請求項７】
前記送信部は、既に保存された相手端末機のアドレスに基づいて、前記相手端末機に前記検出されたユーザの顔を示す画像データ及び前記受信された音声データを送信することを特徴とする請求項１に記載の多者間画像通信を提供する送受信装置。
【請求項８】
前記マイクアレイを通じて受信された入力信号のノイズを除去するノイズ除去部をさらに備えることを特徴とする請求項１に記載の多者間画像通信を提供する送受信装置。
【請求項９】
前記ノイズ除去部は、
前記受信した音声データのうち、音声信号が含まれていない純粋なノイズ区間を検出するノイズ検出部と、
前記音声信号を抽出するために使われる加重値を前記ノイズ区間の信号から抽出する加重値抽出部と、
前記抽出された加重値を用いて前記入力信号のうち、前記音声信号のみを抽出する音声抽出部と、
を備えることを特徴とする請求項８に記載の多者間画像通信を提供する送受信装置。
【請求項１０】
所定のマイクアレイを通じて受信した音声信号を分析して、ユーザの位置を確認する段階と、
所定のカメラを通じて受信した画像から前記確認した位置にいる前記ユーザの顔を検出する段階と、
前記検出したユーザの顔の画像データ及び前記受信した音声信号を送信する段階と、
を含むことを特徴とする多者間画像通信を提供する送信方法。
【請求項１１】
前記ユーザの位置を確認する段階は、前記マイクアレイの各マイクが受信した音声信号の時間遅延または前記音声信号が発生した位置に対する前記ユーザの存在可能性を用いて前記ユーザの位置を確認する段階であることを特徴とする請求項１０に記載の多者間画像通信を提供する送信方法。
【請求項１２】
前記カメラは、ズーム、パン及びチルトのうち、少なくとも１つの機能を用いて前記ユーザの顔を追跡、検出して、前記ユーザの顔を撮像することを特徴とする請求項１０に記載の多者間画像通信を提供する送信方法。
【請求項１３】
前記検出されたユーザの顔を示す画像は、リモコンによって前記ズーム、前記パン及び前記チルトのうち、少なくとも１つの機能が行われることによって微細調整された画像であることを特徴とする請求項１２に記載の多者間画像通信を提供する送信方法。
【請求項１４】
前記ユーザの顔を検出する段階は、前記ユーザの動きを追跡して、前記ユーザの顔を検出する段階であることを特徴とする請求項１０に記載の多者間画像通信を提供する送信方法。
【請求項１５】
前記ユーザの顔を検出する段階は、
前記ユーザの顔が検出されない場合、前記ユーザの動きを検出する段階と、
前記ユーザの動きが検出されない場合、前記ユーザの顔を検出する段階と、
を含むことを特徴とする請求項１４に記載の多者間画像通信を提供する送信方法。
【請求項１６】
前記送信部は、既に保存された相手端末機のアドレスに基づいて、前記相手端末機に前記検出されたユーザの顔を示す画像データ及び前記受信された音声データを送信することを特徴とする請求項１０に記載の多者間画像通信を提供する送信方法。
【請求項１７】
前記マイクアレイを通じて受信された入力信号のノイズを除去するノイズ除去段階をさらに備えることを特徴とする請求項１０に記載の多者間画像通信を提供する送信方法。
【請求項１８】
前記ノイズ除去段階は、
前記受信された入力信号のうち、音声信号が含まれていない純粋なノイズ区間を検出するノイズ検出段階と、
前記音声信号を抽出するために使われる加重値を前記ノイズ区間の信号から抽出する加重値抽出段階と、
前記抽出された加重値を用いて前記入力信号のうち、前記音声信号のみを抽出する音声抽出段階と、
を備えることを特徴とする請求項１７に記載の多者間画像通信を提供する送信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多者間画像通信を提供する送受信装置及び送信方法に係り、より詳細には、ネットワークが支援され、かつ、カメラが備えられた、例えば、デジタルＴＶを用いて遠距離にある複数の相手と画像通信を可能にする多者間画像通信を提供する送受信装置及び送信方法に関する。
【背景技術】
【０００２】
技術の発達につれて遠距離相手との通話手段も持続的に発展しつつある。特に、携帯電話を通じてユーザは路上でも相手と通話が可能になり、インターネットを通じて相手との文字、画像及び音声通信が可能となった。
【０００３】
また、ＩＭＴ−２０００技術などによれば、路上でも遠距離の相手との画像通話をも可能にする。
【０００４】
特許文献１は、ＰＳＴＮ網に物理的に連結されたデジタル放送受信機に電話がかかってくると、これを画面に表示してユーザをして通話如何を選択させ、それにより通話を可能にする効果を提供するデジタル放送受信機を開示している。これは、既存の電話システムと同様に単純に音声だけを伝達し、ＰＳＴＮ網を用いることによって、多者間の通話が不可能であった。
【０００５】
また、従来のＰＣを通じた画像通信は、多者間の画像及び音声文字通信は可能であるが、特定サイトへの加入及び接続手続きが要求され、かかってくる電話を常に待ち続けなければならないという不便さがあった。
【特許文献１】韓国公開特許特２０００−００４５５５２号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、ネットワークが支援され、カメラが備えられた、例えば、デジタルＴＶを用いて遠距離にある複数の相手との画像通信を可能にすることを目的とする。
【０００７】
また、本発明は、ユーザの顔を追跡及び検出し、拡大して、相手に拡大された顔映像を伝送することを目的とする。
【課題を解決するための手段】
【０００８】
前記目的を達成するために、本発明に係る多者間画像通信を提供する送受信装置は、所定のマイクアレイを通じて受信した音声信号を分析して、ユーザの位置を確認する位置確認部と、所定のカメラを通じて受信された画像から前記確認された位置にいる前記ユーザの顔を検出する検出部と、前記検出したユーザの顔の画像データ及び前記受信した音声信号を送信する送信部と、を備えることを特徴とする。
【０００９】
前記位置確認部は、前記マイクアレイの各マイクが受信した音声信号の時間遅延または前記音声信号が発生した位置に対する前記ユーザの存在可能性を用いて前記ユーザの位置を確認することが好ましい。
【００１０】
前記カメラは、ズーム、パン及びチルトのうち、少なくとも１つの機能を用いて前記ユーザの顔を追跡して検出することが好ましい。
【００１１】
前記検出されたユーザの顔を示すユーザ画像は、リモコンによって前記ズーム、前記パン及び前記チルトのうち、少なくとも１つの機能が行われることによって微細調整された画像であることが好ましい。
【００１２】
前記検出部は、前記ユーザの動きを追跡して、前記ユーザの顔を検出することが好ましい。
【００１３】
前記検出部は、前記ユーザの顔が検出されない場合、前記ユーザの動きを検出し、前記ユーザの動きが検出されない場合、前記ユーザの顔を検出することが好ましい。
【００１４】
前記送信部は、既に保存された相手端末機のアドレスに基づいて、前記相手端末機に前記検出されたユーザの顔を示す画像データ及び前記受信された音声データを送信することが好ましい。
【００１５】
前記マイクアレイを通じて受信された入力信号のノイズを除去するノイズ除去部をさらに備えることが好ましい。
【００１６】
前記ノイズ除去部は、前記受信した音声データのうち、音声信号が含まれていない純粋なノイズ区間を検出するノイズ検出部と、前記音声信号を抽出するために使われる加重値を前記ノイズ区間の信号から抽出する加重値抽出部と、前記抽出された加重値を用いて前記入力信号のうち、前記音声信号のみを抽出する音声抽出部と、を備えることが好ましい。
【００１７】
前記目的を達成するために、本発明に係る多者間画像通信を提供する送信方法は、所定のマイクアレイを通じて受信した音声信号を分析して、ユーザの位置を確認する段階と、所定のカメラを通じて受信した画像から前記確認した位置にいる前記ユーザの顔を検出する段階と、前記検出したユーザの顔の画像データ及び前記受信した音声信号を送信する段階と、を含むことを特徴とする。
【００１８】
前記ユーザの位置を確認する段階は、前記マイクアレイの各マイクが受信した音声信号の時間遅延または前記音声信号が発生した位置に対する前記ユーザの存在可能性を用いて前記ユーザの位置を確認する段階であることが好ましい。
【００１９】
前記カメラは、ズーム、パン及びチルトのうち、少なくとも１つの機能を用いて前記ユーザの顔を追跡、検出して、前記ユーザの顔を撮像することが好ましい。
【００２０】
前記検出されたユーザの顔を示す画像は、リモコンによって前記ズーム、前記パン及び前記チルトのうち、少なくとも１つの機能が行われることによって微細調整された画像であることが好ましい。
【００２１】
前記ユーザの顔を検出する段階は、前記ユーザの動きを追跡して、前記ユーザの顔を検出する段階であることが好ましい。
【００２２】
前記ユーザの顔を検出する段階は、前記ユーザの顔が検出されない場合、前記ユーザの動きを検出する段階と、前記ユーザの動きが検出されない場合、前記ユーザの顔を検出する段階と、を含むことが好ましい。
【００２３】
前記送信部は、既に保存された相手端末機のアドレスに基づいて、前記相手端末機に前記検出されたユーザの顔を示す画像データ及び前記受信された音声データを送信することが好ましい。
【００２４】
前記マイクアレイを通じて受信された入力信号のノイズを除去するノイズ除去段階をさらに備えることが好ましい。
【００２５】
前記ノイズ除去段階は、前記受信された入力信号のうち、音声信号が含まれていない純粋なノイズ区間を検出するノイズ検出段階と、前記音声信号を抽出するために使われる加重値を前記ノイズ区間の信号から抽出する加重値抽出段階と、前記抽出された加重値を用いて前記入力信号のうち、前記音声信号のみを抽出する音声抽出段階と、を備えることが好ましい。
【発明の効果】
【００２６】
本発明の多者間画像通信を提供する送受信装置及び送信方法によれば、次のような効果を１つあるいはそれ以上有する。
【００２７】
第１に、ネットワークが支援され、かつカメラが備えられた送受信装置（例えば、デジタルＴＶ）を用いて遠距離にある複数の相手との画像通信を可能にすることによって、送受信装置を用いて、他の作業中、例えば、ＴＶ視聴中、コンテンツ視聴中にも簡便な通話ができる。
【００２８】
第２に、ユーザの顔を追跡して拡大して相手に拡大された顔映像を伝送することによって、ユーザの私生活を保護することも可能である。
【発明を実施するための最良の形態】
【００２９】
以下、添付図面に基づいて本発明を詳細に説明する。
図１は、本実施形態に係る多者間画像通信を提供する送受信装置を用いた画像通信を示す図面である。なお、放送通信装置（例えば、テレビ）を送受信装置の例として説明するが、送受信装置として、パーソナルコンピューター、ＰＤＡ、画像表示機能を有する携帯電話機などが含まれ、送受信装置が放送通信装置に限定されないことは言うまでもない。
【００３０】
ネットワークが支援され、かつカメラ１１０ａを備えた送受信装置（以下、適宜「デジタルＴＶ」という。）１１０を通じて視聴している第１ユーザは、相手と画像通信を行うためにデジタルＴＶ１１０に内蔵された応用プログラムを実行させる。これにより、実行された画像通信応用プログラムによって画面には、保存された通信可能な相手のリストが表示され、第１ユーザは、リモコンの矢印キーなどを用いて特定の相手を選択できる。
【００３１】
保存された通信可能な相手のリストには、通信可能な相手のアドレスが含まれているので、特定の相手（例えば、第２ユーザ）が選択されれば、選択された特定の相手に電話をかけるために、選択された特定の相手のアドレスに基づいて、選択された特定の相手のデジタルＴＶ１２０に電話要請メッセージが送信される。
ここで、電話要請メッセージとは、選択された相手に対し、電話をしても良いかどうかを求めるメッセージである。
【００３２】
電話要請メッセージを受信した第２ユーザのデジタルＴＶ１２０は、第１ユーザからの電話要請を画面に表示して第１ユーザと電話するか否かの操作を待つ。そして、第２ユーザがリモコンなどを用いて第１ユーザと電話することを了解した旨の操作（例えば、画面上の第１ユーザと電話する旨が表示されたボタンをクリックする）することにより、第２ユーザのデジタルＴＶ１２０は、第１ユーザのデジタルＴＶ１１０に電話要請応答メッセージを送信する。
ここで、電話要請応答メッセージとは、電話要請メッセージを送信した相手（第１ユーザ）との電話に応じるというメッセージである。
【００３３】
電話要請メッセージと電話要請応答メッセージとの交換によって第１ユーザのデジタルＴＶ１１０と第２ユーザのデジタルＴＶ１２０との間には、ネットワークが締結され、これを通じて、第１ユーザのデジタルＴＶ１１０と第２ユーザのデジタルＴＶ１２０とは画像及び音声が送受信可能となる。
【００３４】
相手に画像を送信するために各デジタルＴＶ１１０、１２０は、カメラ１１０ａ、１２０ａを備えていることが望ましく、電話要請メッセージの送信時、または電話要請応答メッセージの送信時に、カメラ１１０ａ、１２０ａが、第１ユーザ、または第２ユーザを撮像することが望ましい。
【００３５】
この際、カメラ１１０ａ、１２０ａは、ユーザの顔または上半身だけを追跡、検出、拡大して撮像し、相手方のカメラ１１０ａ、１２０ａに送信することが望ましい。このように、カメラ１１０ａ、１２０ａは、ユーザの顔または上半身だけを撮像することにより、ユーザの室内を撮像せず、ユーザ個人の私生活を保護することができる。したがって、ユーザの設定によって追跡及び検出機能が適用されないこともある。
【００３６】
また、本発明のデジタルＴＶ１１０、１２０は、マイクアレイ（ｍｉｃｒｏｐｈｏｎｅ−ａｒｒａｙ）１１０ｂ、１２０ｂを備えている。ここで、マイクアレイ１１０ｂ、１２０ｂは、複数のマイクで構成されたものであって、それぞれのマイクは、ユーザの音声信号を受信する。そして、デジタルＴＶ１１０、１２０が、受信した音声を分析して、ユーザの位置を確認する。
【００３７】
これにより、本発明のデジタルＴＶ１１０、１２０は、カメラ１１０ａ、１２０ａ及びマイクアレイ１１０ｂ、１２０ｂを用いて確認した位置にあるユーザの顔または上半身を追跡して検出し、撮像するだけでなく、その位置を中心に他の方向から入る音声信号を除去し、ユーザの位置方向から入る音声信号だけを増幅させることもできる。
【００３８】
一方、デジタルＴＶ１１０、１２０を視聴するユーザは、リモコンをユーザに近い位置に置いたり、保持したりすることが一般的なので、リモコンにマイクを取り付けてユーザの音声をひろい、この音声を音声信号として、赤外線通信、無線インターネットまたはブルートゥースなどの無線通信を通じてデジタルＴＶ１１０、１２０に送信することも可能である。デジタルＴＶ１１０、１２０は、受信した音声信号からノイズを除去し、増幅して、相手のデジタルＴＶ１１０、１２０に送信する。
【００３９】
リモコンがユーザの音声をひろい、音声信号とする場合には、デジタルＴＶ１１０、１２０には、リモコンから送信される音声信号を受信するためのリモコン信号受信機アレイ（図示せず）を設ける必要がある。なお、リモコン信号受信機アレイを用いてもユーザのおおよその位置を確認できるようになる。
【００４０】
図２は、他の実施形態に係る多者間画像通信を提供する送受信装置を用いた画像通信を示す図面である。
多者間画像通信を提供する送受信装置２１０は、複数の相手との選択的な画像通信を提供する。すなわち、ユーザは、特定相手との画像通信中に他の相手から電話通話要請メッセージを受信すれば、まず画像通信中の通話を待ち状態に転換し、電話要請メッセージを送信した他の相手との画像通信が可能となる。この際、待ち状態の相手の端末機２２０は、送受信装置２１０に対し画像及び音声を送信しないことが望ましい。
【００４１】
また、ユーザは、複数の相手と同時に画像通信することもできるが、画面に表示された相手のリストに基づき、特定相手を選択または除去することによって、複数の相手との画像通話を主催することもできる。
【００４２】
相手端末機２２０としては、デジタルＴＶ、ＰＣなどの固定端末機、携帯電話、ＰＤＡ、ラップトップなどの移動端末機が含まれるが、デジタルＴＶ、ＰＣなどの固定端末機は、エサーネットまたはＩＥＥＥ  ８０２．３のネットワークを通じて画像及び音声を交換することが望ましく、ＰＤＡ、ラップトップなどの移動端末機はＩＥＥＥ  ８０２．１１の無線ネットワークを通じて画像及び音声を交換することが望ましい。
【００４３】
そして、携帯電話と画像及び音声を交換するためには、ＭＭＳＣ（Ｍｕｌｔｉｍｅｄｉａ  Ｍｅｓｓａｇｉｎｇ  Ｓｅｒｖｉｃｅ  Ｃｅｎｔｅｒ）を通じることが望ましい。ここで、ＭＭＳＣは、移動通信網で、写真、絵、音楽などの大容量マルチメディアメッセージを保存及び伝送するシステムである。ＭＭＳＣは、携帯電話、電子メールサーバー、ウェブサーバなど多様な形態のシステムで提供されるマルチメディアメッセージを保存し、該当メッセージを中継する機能を有する。
【００４４】
図３は、本発明の実施形態による多者間画像通信を提供する送受信装置を示すブロック図である。
【００４５】
多者間画像通信を提供する送受信装置２１０は、受信部３１０、位置確認部３２０、検出部３３０、制御部３４０、出力部３５０及び送信部３６０を含んで構成される。
【００４６】
受信部３１０は、相手端末機２２０（図２参照）から電話要請に対するメッセージを受信する役割を担う。相手端末機２２０から送信される電話要請メッセージには、相手端末機２２０のアドレスが含まれることが望ましい。ここで、相手端末機２２０としては、デジタルＴＶ、ＰＣ、ラップトップ、ＰＤＡ、携帯電話などが該当するが、エサーネットまたはＩＥＥＥ  ８０２．３プロトコルを用いて画像及び音声を交換するので、相手端末機２２０のアドレスとしては相手端末機２２０のＩＰアドレスが望ましい。
【００４７】
また、受信部３１０は、相手端末機２２０から画像及び音声信号を受信する役割を担う。
送信部３６０は、相手端末機２２０から受信した電話要請メッセージによって電話要請に対する電話要請応答メッセージなどを送信する。この際、送信部３２０は、電話要請メッセージに含まれた相手端末機２２０のアドレスに電話要請メッセージに対する電話要請応答メッセージなどを送信する。なお、ユーザが、電話要請メッセージを送信した相手との画像通信を望まない場合には、画像通信を望まない旨の電話拒否メッセージを、電話要請メッセージを送信した相手端末機２２０に送信するか、または相手端末機２２０に何も送信しない。
【００４８】
また、送信部３６０は、既にカメラにより撮像された画像及び／又はマイクアレイにより録音した音声を送信する役割も担う。
【００４９】
受信または送信される画像及び音声のデータフォーマットとしては、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４及びＷａｖｅｌｅｔなどの動映像フォーマットが使われ、送受信装置２１０及び相手端末機２２０には、復号化手段が備えられていることが望ましい。
【００５０】
そして、画像及び音声のデータフォーマットとしては、ネットワーク環境に対する影響の最も少ないＪＰＥＧ、すなわち、Ｍ−ＪＰＥＧ（Ｍｏｔｉｏｎ  ＪＰＥＧ）が使われ、別途に受信または送信される音声としては、Ｇ７２１、Ｇ７２３、Ｇ７２６、ＭＰ２、ＭＰ３、ＰＣＭ及びＧＳＭなどの圧縮音声フォーマットが使われる。
【００５１】
位置確認部３２０は、マイクアレイを通じて受信された音声信号を分析して、概略的なユーザの位置を確認する役割を担う。ここで、マイクアレイは、複数のマイクで構成されたものであって、それぞれのマイクは、ユーザの音声信号を受信するが、受信した音声信号は、位置確認部３２０により分析されて概略的なユーザの位置が確認される。位置確認は、各マイクが受信した音声信号の時間遅延または音声信号が発生した位置に対するユーザの存在可能性を用いた方法が使われることもあるが、音声信号の周波数を分析することによって、ユーザの移動状態まで確認することもできる。
【００５２】
この際、ユーザの位置を確認する効率を高めるために位置確認部３２０は、ノイズが最小化された音声信号だけを伝達されることが望ましいが、このためのノイズ除去手段が要求される。
【００５３】
マイクアレイを通じて受信された入力信号のうち、ノイズを除去する方法は、例えば、音声信号とノイズとが混ぜられた入力信号に各々加重値を乗算して加重値を乗算した入力信号をいずれも加算した出力信号でノイズを最小化する方法を使うことが好ましい。このためには、出力信号でノイズを最小化できる加重値を探すことが重要であるが、本発明は出力信号でノイズを最小化できる加重値として、ノイズ区間でノイズを最小化できる加重値を用いる。
【００５４】
多者間画像通信を提供する送受信装置２１０は、ノイズ除去部（図示せず）をさらに備えることができる。ノイズ除去部は、マイクアレイを通じて受信された入力信号のノイズを除去するものであって、ノイズ検出部（図示せず）、加重値抽出部（図示せず）及び音声抽出部（図示せず）を含んで構成される。
【００５５】
ノイズ検出部は、マイクアレイを通じて受信された入力信号のうち、音声信号が含まれていない純粋なノイズ信号で構成された区間を検出する役割を担う。ノイズ検出部は、入力信号の平均エネルギーが持続的に増加する区間に、音声信号が存在しているか否かを確認して、音声信号が含まれていない純粋なノイズ信号からなるノイズ区間を検出する。
【００５６】
加重値抽出部は、音声信号を抽出するために使われる加重値をノイズ区間の信号から抽出する役割を担う。加重値抽出部は、ノイズ検出部によって検出されたノイズ区間でノイズを最小化できる加重値を抽出する役割を担う。ここで、加重値抽出部は、音声信号を抽出するために使用される加重値をノイズ区間の信号から抽出することが好ましい。
【００５７】
音声抽出部は、加重値抽出部から抽出された加重値を用いてマイクアレイを通じて受信された入力信号のうち、音声信号のみを抽出する役割を担う。
【００５８】
検出部３３０は、カメラを通じて撮像された画像から位置確認部３２０により確認された位置にいるユーザの顔を検出する役割を担う。ここで、検出部３３０は、ユーザの私生活を保護するためにユーザの顔または上半身だけを検出することが望ましいが、このためにカメラは追跡及び検出機能を備えていることが望ましい。換言すれば、検出部３３０は、カメラで撮像された画像内にユーザが存在しているか否か判断し、ユーザが存在する場合、ユーザの顔または上半身を拡大することによって、ユーザの後の背景を最小化する。
【００５９】
このためにカメラには、ズーム、パン及びチルト装備などの付加装備のうち、少なくとも１つが備えられていることが望ましい。
【００６０】
また、検出部３３０は、顔追跡及び検出のためにソフトウェア応用プログラムによるデジタル映像拡大を行うこともできるが、ユーザは備えられた付加装置の有無によって付加装備による方法、または応用プログラムによる方法を選択できる。
【００６１】
顔追跡及び検出は、例えば、現在の検出モードが顔検出モードである場合に入力される映像フレームごとに顔検出を行い、顔検出を所定回数試みても、顔が検出されなければ、動き検出モードに転換して動きを検出する。そして、動き検出が所定回数成功すれば、再び顔検出モードに転換され、このような過程が反復的に適用され、終了信号の受信によって顔追跡及び検出過程は中止されるが、終了信号は、ユーザがリモコンなどを用いて任意に送信することもあり、相手との通話終了によって発生することもある。
【００６２】
本発明での顔検出は、モデルの顔の形態に対するトレーニングを通じて構築された顔データベースを用いるが、カメラに入力された映像フレームと顔データベースとを比較して顔候補領域を検出する。ここで、顔候補領域の検出に使われる映像変換方法としては、Ｍ−グリッドガーボーウェーブレット変換（Ｍ−ｇｒｉｄ  Ｇａｒｂｏｒ  Ｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を使用することが可能である。
【００６３】
Ｍ−グリッドガーボーウェーブレット変換によって検出された顔候補領域はＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）分類技法によってさらに正確な顔検出がなされる。
【００６４】
低解像度ＳＶＭ基盤の顔検出と高解像度ＳＶＭ基盤の顔検出とを含むＳＶＭ分流技法は、相対的に低次元の副空間（ｓｕｂ  ｓｐａｃｅ）で表現される顔映像の分析に使われる。この際、顔空間の次元を減少させるために、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）が使われるが、ＰＣＡは入力された映像から顔の主要特徴ベクトル、すなわち、主成分（ｐｒｉｎｃｉｐａｌ  ｃｏｍｐｏｎｅｎｔ）を抽出して、あらかじめトレーニングされて登録されたデータベース映像の主成分ベクトルと比較して顔を認識する方法である。
【００６５】
カメラにより捉えられたユーザの顔は、方向によって変わるが、これはユーザの顔検出に大きな制約になる可能性がある。したがって、本発明では、人の顔の前面及び側面の姿についての基準イメージを備えてカメラにより捉えられたユーザの顔に対するエッジイメージと基準イメージとを比較して、ユーザの存在を確認して顔を抽出できる。この際、基準イメージとエッジイメージは、Ｈａｕｓｄｏｒｆｆ  ｄｉｓｔａｎｃｅを用いて比較できる。
【００６６】
また、検出部３３０により検出されたユーザの顔は、リモコンの方向ボタンによって微細調整されることが望ましいが、これにより、本発明の多者間画像通信を提供する送受信装置２１０は、ユーザの動きを正確に検出し、拡大して、相手端末機２２０に送信可能となる。
【００６７】
出力部３５０は、受信部３１０が受信した相手端末機２２０のユーザの画像及び音声を、デジタルＴＶのディスプレイ部及びスピーカーを通じて出力する役割を担う。制御部３４０は、受信部３１０、位置確認部３２０、検出部３３０、出力部３５０、送信部３６０などの送受信装置２１０の全般的な制御を行う。
【００６８】
参考までに、デジタルＴＶを含んだ多者間画像通信を提供する送受信装置２１０は、リモコンに備えられたマイクを通じてユーザの音声信号を受信することもできる。リモコンは、備えられたマイクを通じてユーザの音声を入力されて赤外線通信、ブルートゥースまたは無線インターネットなどの無線通信機術を用いて送受信装置２１０に送信する。そして、音声信号を受信した送受信装置２１０は、ノイズ除去及び増幅過程を経て、圧縮した後で送信部３６０を通じて相手端末機２２０に音声信号を送信する。
【００６９】
ここで、送受信装置２１０には、マイクアレイの代わりにリモコンの信号受信器をアレイ状にしたもの（リモコンの信号受信器アレイ、図示せず）を設けてもよく、位置確認部３２０は、これを用いて音声信号を送信するユーザの概略的な位置及び動きを確認する。
【００７０】
また、位置確認部３２０は、マイクアレイまたはリモコンの信号受信器アレイが受信する信号を利用すれば、ユーザの距離を把握することもできるが、これにより、検出部３３０は、受信された画像の拡大または縮小するか否かを決定することができ、送受信装置２１０は、受信部３１０を通じて受信される画像及び音量の大きさを調整することもできる。
【００７１】
送受信装置２１０は、放送を受信する放送受信装置であってもよく、画像通信中に、受信した放送コンテンツは、自動で録画されるようにすることが望ましいが、画像通信の終了後、録画されたコンテンツ及び放送コンテンツは、画面分割またはＰＩＰ（Ｐｉｃｔｕｒｅ  Ｉｎ  Ｐｉｃｔｕｒｅ）などを用いて同時にディスプレイさせることが望ましい。
【００７２】
図４は、本実施形態に係る多者間画像通信を提供する過程を示すフローチャートである。
【００７３】
受信部３１０が相手端末機２２０から電話要請メッセージを受信すれば（Ｓ４１０）、送信部３６０は、相手端末機２２０に電話要請応答メッセージなどを送信する（Ｓ４２０）。なお、ユーザが、電話要請メッセージを送信した相手との画像通信を望まない場合には、画像通信を望まない旨の電話拒否メッセージを、電話要請メッセージを送信した相手端末機２２０に送信するか、または相手端末機２２０に何も送信しない。
【００７４】
電話要請メッセージ及び電話要請応答メッセージによってネットワークが締結されれば（Ｓ４３０）、受信部３１０は、締結されたネットワークを通じて相手端末機２２０から画像及び音声を受信し（Ｓ４４０）、受信された画像及び音声は、出力部３５０を通じて出力する（Ｓ４５０）。
【００７５】
電話要請に対する応答メッセージが送信されれば、カメラ及びマイクアレイが動作し始めるが、マイクアレイを通じて受信された音声信号を分析した位置確認部３２０は、音声信号の時間遅延または音声信号を発生させたユーザの存在可能性などを用いてユーザの概略的な位置を確認し（Ｓ４６０）、これを検出部３３０に伝達する。これにより、検出部３３０は、カメラに撮像された画像内にユーザが存在するか否かを確認し、ユーザが存在する場合、ユーザの顔または上半身を追跡して検出する（Ｓ４７０）。
【００７６】
ここで、検出されたユーザの顔をリモコンの方向ボタンによって微細調整することもできる。
【００７７】
カメラによる顔追跡及び検出（Ｓ４７０）は、例えば、Ｍ−グリッドガーボーウェーブレット変換を用いて顔候補領域を検出し、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）分類技法を、検出された顔候補領域に適用した顔検出方法が使われうるが、これについての過程は、図５を通じて詳細に説明する。
【００７８】
このような、顔検出のためにカメラには、ズーム、パン及びチルト装備などの機能のうち、少なくとも１つを備えていることが望ましく、顔追跡及び検出は、ソフトウェア応用プログラムによるデジタル映像拡大を利用しても良い。
【００７９】
そして、送信部３６０は、締結されたネットワークを通じて検出されたユーザの顔及び音声を相手端末機２２０に送信する（Ｓ４８０）。
【００８０】
図５は、本実施形態に係るカメラによるユーザ検出過程を示すフローチャートである。
【００８１】
カメラによるユーザ検出を行うために、まず変数を初期化する（Ｓ５１０）。初期化される変数には、顔検出試み回数、動き検出試み回数及び動き検出成功回数などが含まれる。
【００８２】
変数初期化段階（Ｓ５１０）以後に、顔検出モードか否かが判断されるが（Ｓ５１５）、顔検出モードである場合（Ｓ５１５で「はい」）には、顔検出が行われ（Ｓ５２０）、顔検出モードではない場合（Ｓ５１５で「いいえ」）には、動き検出が行われる（Ｓ５４５）。この際、初期検出モードは、顔検出モードに設定されていることが望ましい。
【００８３】
顔検出段階（Ｓ５２０）は、Ｍ−グリッドガーボーウェーブレット変換による顔候補領域検出段階及びＳＶＭ分類技法によるさらに正確な顔検出段階が含まれる。
【００８４】
ここで、ＳＶＭ分類技法により検出された顔に、Ｍ−グリッドガーボーウェーブレット変換により検出された顔候補領域が含まれているか否かを判断して、顔検出が成功したか否かを判断するが（Ｓ５２５）、もし、失敗した場合（Ｓ５２５で「いいえ」）、所定時間内に失敗した回数が臨界値を超えるか否かを確認し（Ｓ５３５）、超えたならば（Ｓ５３５「はい」）、顔検出を中断して変数初期化（Ｓ５４０）後に、動き検出に進む（Ｓ５４５）。
【００８５】
もし、顔検出が成功したならば（Ｓ５２５で「はい」）、終了信号を受信したか否かを確認し、顔検出を更に行うか否かを決定する（Ｓ５３０）。
【００８６】
動き検出が行われば（Ｓ５４５）、動き検出が成功したか否かを判断する（Ｓ５５０）。もし、動き検出が成功したならば（Ｓ５５０で「はい」）、所定時間内に成功した回数が臨界値を超えるか否かを確認し（Ｓ５６０）、超えたならば（Ｓ５６０で「はい」）、動き検出を中断し、変数を初期化し（Ｓ５６５）、その後に、顔検出を行う（Ｓ５２０）。
【００８７】
もし、動き検出を失敗したならば（Ｓ５５０で「いいえ」）、終了信号を受信したか否かを確認し（Ｓ５５５）、終了信号を受信していない場合には（Ｓ５５５で「いいえ」）、動き検出を実行する（Ｓ５４５）。
【００８８】
図６は、本実施形態に係る多者間画像通信を提供する送受信装置の画面構成を示す図面である。
【００８９】
多者間画像通信を提供する送受信装置２１０は、相手リストウィンドウ６２０と相手の画像ウィンドウ６１０とを含んで構成される。
【００９０】
相手リストウィンドウ６２０には、相手の名前または端末機アドレスなどが表示でき、相手の名前または端末機アドレスなどを、ユーザがあらかじめ入力しておくことが可能である。相手リストウィンドウ６２０は、通常、画面に表示されていない状態であることが望ましく、相手から電話要請メッセージを受信したり、ユーザにより電話要請メッセージが送信されたりする場合に画面に表示されることが望ましい。
【００９１】
また、相手リストウィンドウ６２０には、ユーザが予め入力したあらゆる相手のリストを表示でき、現在ユーザが視聴しているチャンネルを視聴する相手のリストだけをも表示できる。ここで、チャンネルは、デジタル放送局から受信される放送コンテンツのチャンネルを意味するが、ユーザは、自身が別途に作成した動映像コンテンツを連結した相手に伝送することができ、相手と共に動映像コンテンツを視聴しつつ、電話通話を行える。
【００９２】
ディスプレイ部には、１つまたは複数の相手の画像ウィンドウ６１０を表示することが可能であるが、ユーザは、相手リストウィンドウ６２０の各ユーザを、リモコンを用いて選択でき、選択されたユーザに対して多者間電話通話への参加または接続を解除できる。
【００９３】
相手リストウィンドウ６２０及び相手の画面ウィンドウ６１０は、ＰＩＰ技法によって画面に表示されることが望ましく、ユーザの好みによってその位置を変更可能にすることが望ましい。
【００９４】
図７は、本発明の実施形態による複数のマイクアレイを備えた送受信装置を示す図面である。
本実施形態に係る多者間画像通信を提供する送受信装置は、複数のマイクアレイ７１０、７２０を含むこともできる。
【００９５】
１つのマイクアレイ７１０またはマイクアレイ７２０を使用し、ユーザの位置を確認する場合、ユーザの位置に対する横方向の成分だけを検出できるが、複数のマイクアレイ７１０、７２０を使用することによって、ユーザの位置に対する縦方向の成分も検出可能となる。
【００９６】
図８は、本実施形態に係る複数のユーザに対する顔検出を示す概念図である。
カメラに捉えられたユーザが一人である場合には、マイクアレイを介して把握されたユーザの概略的な位置を用い、前述した顔検出アルゴリズムを適用することによって、ユーザの顔または上半身を拡大して送信する。
【００９７】
しかし、カメラに捉えられたユーザが複数人である場合には、任意の一人または真中に位置したユーザの顔を検出することが望ましい。
この際、複数のユーザが交互に話をする場合には、パン、チルト及びズームの機能を備えたカメラを用いて、話をするユーザが変わった場合には、話し始めたユーザを撮像するように被写体を変更することが好ましい。しかし、ユーザの話が短期間（瞬間的に）話をするユーザが変更される場合には、被写体の変更速度がついていけない。
【００９８】
したがって、複数のユーザに対する顔検出は、以下のような方法を実行するソフトウェアを用いることが望ましい。
【００９９】
図８に示すように、カメラ８１０は、複数のユーザが捉えられた画像８１０ａを受信する。受信した画像８１０ａは、検出部８２０に送信され、検出部８２０は受信した画像８１０ａを全体的に分析して各ユーザの顔または上半身８２０ａ、８２０ｂ、８２０ｃを検出する。このように検出部８２０は、持続的にカメラ８１０から送信される画像に対して全体的な顔検出を行い、音声信号を送信したユーザの顔または上半身だけを送信部８３０に伝達する。これにより、送信部８３０は、選択された１つのユーザの顔または上半身８３０ａを相手端末機に送信する。
【０１００】
ここで、検出部８２０は、位置確認部により確認されたユーザの概略的な位置を用いてカメラ８１０に捉えられたあらゆるユーザの顔または上半身８２０ａ、８２０ｂ、８２０ｃを検出し、そのうち、最も適切であると判断されるユーザの顔または上半身だけを送信部８３０に送信する。
【０１０１】
この際、リモコンのボタンキーまたは方向キーを操作することにより、ユーザの顔を微細調整し、またはリモコンのボタンキーまたは方向キーを操作することにより、送信部８３０に伝えられるユーザの顔を変更することもある。例えば、送信部８３０に伝えられるユーザの顔の位置が画面から外れた場合、リモコンの方向キーを用いて補正されたユーザの顔または上半身を送信部８３０に伝達する。また、実際音声信号を送信したユーザではない他のユーザの顔が送信部８３０に伝えられる場合、ボタンキーなどを用いてユーザの顔を転換する。
【０１０２】
以上、本発明を例示された図面を参照として説明したが、当業者ならば本発明がその技術的思想や必須特徴を変更せずとも他の具体的な形に実施されうるということが理解できるであろう。したがって、前述した実施形態はあらゆる面で例示的なものであり、限定的なものと理解してはならない。本発明の範囲は前述した詳細な説明よりは特許請求の範囲によって現れ、特許請求の範囲の意味及び範囲、そしてその等価概念から導かれるあらゆる変更または変形された形が本発明の範囲に含まれると解釈せねばならない。
すなわち、本願発明の技術的範囲は、特許請求の範囲の記載に基づいて定められ、発明を実施するための最良の形態により限定して解釈されてはならない。
【産業上の利用可能性】
【０１０３】
本発明は、多者間画像通信を提供する送受信装置及び方法に関連した技術分に好適に適用されうる。
【図面の簡単な説明】
【０１０４】
【図１】本発明の実施形態による多者間画像通信を提供する送受信装置を用いた画像通信を示す図面である。
【図２】本発明の他の実施形態による多者間画像通信を提供する送受信装置を用いた画像通信を示す図面である。
【図３】本発明の実施形態による多者間画像通信を提供する送受信装置を示すブロック図である。
【図４】本発明の実施形態による多者間画像通信を提供する過程を示すフローチャートである。
【図５】本発明の実施形態によるカメラによるユーザ検出過程を示すフローチャートである。
【図６】本発明の実施形態による多者間画像通信を提供する送受信装置の画面構成を示す図面である。
【図７】本発明の実施形態による複数のマイクアレイが備えられた送受信装置を示す図面である。
【図８】本発明の実施形態による複数のユーザに対する顔検出を示す概念図である。
【符号の説明】
【０１０５】
３１０    受信部
３２０    位置確認部
３３０    検出部
３４０    制御部
３５０    出力部
３６０    送信部
【図３】
2006217628.tif 000003
【図４】
2006217628.tif 000004
【図５】
2006217628.tif 000005
【図８】
2006217628.tif 000006
【図１】
2006217628.tif 000007
【図２】
2006217628.tif 000008
【図６】
2006217628.tif 000009
【図７】
2006217628.tif 000010