(57)【要約】【課題】テレビ会議や講演のスピーチ等の映像において、注目される対象である人物映像の品質を保ちながら、映像データを効率良く符号化できる映像符号化装置及び映像符号化方法、並びに伝送路の通信レート等の状態に応じて、効率良く影像データを伝送できる映像伝送装置及び映像伝送方法を提供する。【解決手段】遠隔会議装置１は、シーンが変化した時には、会議風景を撮影した会議映像データ［１０］を符号化して相手装置に送信し、シーンが変わらない時には、人物映像データ［１１］〜［１４］のみを符号化して相手装置に送信する。これにより、伝送路における通信レートが低下したり映像の特徴が変化したりした場合でも、会議映像において注目される対象である人物の映像を常に送信するので、相手装置で、この人物の映像データ［１１］〜［１４］を会議映像データ［１０］に合成することで、少ないデータ伝送量で会議風景の映像を更新することができる。【選択図】図６
2008005349.tif 000002
【特許請求の範囲】
【請求項１】
人物及びその周囲を撮影してその映像を出力する撮像手段と、
前記映像から人物を検出する人物検出手段と、
前記映像から前記検出した人物の映像を周期的に抽出して、この人物映像データを低圧縮率で符号化し、前記人物以外の映像データを高圧縮率で符号化する符号化処理を行う符号化手段と、
を備えた映像符号化装置。
【請求項２】
人物及びその周囲を撮影してその映像を出力する撮像手段と、
前記映像から人物を検出する人物検出手段と、
前記撮像手段が撮影した映像の全体領域を符号化し、それ以降は周期的に、映像中の人物を含む矩形領域である人物映像データを符号化する符号化手段と、
を備えた映像符号化装置。
【請求項３】
前記撮像手段が撮影した映像の全体領域における構成の変化を検出するシーンチェンジ検出手段を備え、
前記符号化手段は、前記シーンチェンジ検出手段が映像の全体領域における構成の変化を検出したタイミングで、映像の全体領域を符号化する請求項２に記載の映像符号化装置。
【請求項４】
請求項１乃至３のいずれかに記載の映像符号化装置と、
前記映像符号化装置が符号化した映像データを相手装置に送信する通信手段と、
を備えたことを特徴とする映像伝送装置。
【請求項５】
人物及びその周囲を撮影してその映像を出力する撮像手段と、
前記映像から人物を検出する人物検出手段と、
伝送路の通信レートの状態、及び映像全体に占める人物の情報量の割合に基づいて所定の演算を行う演算手段と、
前記演算手段の演算結果が閾値以上の場合には、前記撮像手段が撮影した映像から前記検出した人物の映像を周期的に抽出して、この映像データを低圧縮率で符号化し、前記人物以外の映像データを高圧縮率で符号化し、
前記演算手段の演算結果が閾値未満の場合には、前記撮像手段が撮影した映像の全体領域を符号化し、それ以降は周期的に、映像中の人物を含む矩形領域である人物映像データを符号化する符号化手段と、
前記符号化手段が符号化した映像データを相手装置に送信する通信手段と、
を備えたことを特徴とする映像伝送装置。
【請求項６】
人物及びその周囲を撮影した映像から、人物を周期的に検出する手順、
前記検出した人物の映像データを抽出して低圧縮率で符号化し、前記人物以外の映像データを高圧縮率で符号化する手順、
を備えた映像符号化方法。
【請求項７】
人物及びその周囲を撮影した映像から、人物を周期的に検出する手順、
前記人物及びその周囲の映像の全体領域を符号化し、それ以降は周期的に、映像中の人物を含む矩形領域である人物映像データを符号化する手順、
を備えた映像符号化方法。
【請求項８】
前記人物及びその周囲の映像における全体領域の構成変化を検出する手順、
前記映像における全体領域の構成変化を検出したタイミングに、前記映像データの全体領域を符号化する手順、
を備えた請求項７に記載の映像符号化方法。
【請求項９】
請求項６乃至８のいずれかに記載の映像符号化方法を行った後に、
前記符号化した映像データを相手装置に送信する手順、
を備えたことを特徴とする映像伝送方法。
【請求項１０】
伝送路の通信レートの状態、及び映像全体に占める人物の情報量の割合に基づいて所定の演算を行う手順、
前記演算結果が閾値以上の場合において、
人物及びその周囲を撮影した映像から、人物を周期的に検出する手順、
前記検出した人物の映像データを抽出して低圧縮率で符号化し、前記人物以外の映像データを高圧縮率で符号化する手順、
前記符号化された人物映像データ及び人物以外の映像データを相手装置に送信する手順、
前記演算結果が閾値未満の場合において、
人物及びその周囲を撮影した映像から、人物を周期的に検出する手順、
前記映像の全体領域を符号化し、それ以降は周期的に前記映像中の人物を含む矩形領域である人物映像データを符号化する手順、
前記符号化された映像データを相手装置に送信する手順、
を備えた映像伝送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ会議や講演のスピーチ等の人物を含む映像データを符号化する映像符号化装置及び映像符号化方法、並びにネットワーク等を介して異なる地点間で上記映像データを伝送する映像伝送装置及び映像伝送方法に関する。
【背景技術】
【０００２】
従来、本社と営業所間等、離れた地点間での会議の時に使用する遠隔会議システムがあった。このような遠隔会議システムとしては、例えば、特許文献１に、会議参加者のそれぞれに対して１つずつマイクを設置して各発言者の音声を収音し、また、ズームアップ用カメラを用いて発言者を撮影するテレビ会議システムが開示されている。
【特許文献１】特開平２−２０２２７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に示すようなテレビ会議システムでは、専用回線等を介して音声データや映像データをやりとりしている。また、最近のテレビ会議システムでは、ＩＳＤＮ回線やアナログ電話網などの低ビットレートの通信回線を利用したネットワークを介してテレビ会議を行うことができるように、ＭＰＥＧ１，２やＩＴＵ−Ｔ  Ｈ．２６３などで規定された映像圧縮方法を用いて圧縮したデジタル映像データをやりとりしている。
【０００４】
ＭＰＥＧ１，２やＩＴＵ−Ｔ  Ｈ．２６３などを利用して映像を符号化する場合、動き情報と映像の空間的な情報量から、一定で均一なアルゴリズムを使用して、ビット割り当てを行う。例えば、テレビ放送のスポーツ番組や映画ＤＶＤ等のコンテンツでは、このような方法がとられる。
【０００５】
一方、従来のテレビ会議システムは、低ビットレートの通信回線でもテレビ会議が行えるように設計されているにもかかわらず、同時接続するユーザ数の増加等により、通信回線のトラフィックが増大して通信レートが低下した場合には、映像全体にわたって品質が低下するので必要な情報を送ることができず、例えば動いている人物がモザイク画のようになったり、動いている人物の画像が欠落したりするという問題があった。
【０００６】
そこで、本発明は、テレビ会議や講演のスピーチ等の映像において、注目される対象である人物の映像について品質を保ちながら、映像データを効率良く符号化できる映像符号化装置及び映像符号化方法、並びに伝送路の通信レートや映像全体に占める人物の情報量の割合に応じて、効率良く影像データを伝送できる映像伝送装置及び映像伝送方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明は、上記の課題を解決するための手段として、以下の構成を備えている。
【０００８】
（１）人物及びその周囲を撮影してその映像を出力する撮像手段と、
前記映像から人物を検出する人物検出手段と、
前記映像から前記検出した人物の映像を周期的に抽出して、この人物映像データを低圧縮率で符号化し、前記人物以外の映像データを高圧縮率で符号化する符号化処理を行う符号化手段と、
を備えたことを特徴とする。
【０００９】
この構成においては、映像符号化装置は、人物及びその周囲の映像から、人物の映像を抽出して、この映像データを低圧縮率で符号化し、人物以外の映像データを高圧縮率で符号化する。したがって、テレビ会議や講演のスピーチ等の映像においては、動きがほとんど発生せず、注目されるのは人物の領域であるため、注目される対象の映像については、品質を保ちながら映像データを効率良く符号化できる。
【００１０】
（２）人物及びその周囲を撮影してその映像を出力する撮像手段と、
前記映像から人物を検出する人物検出手段と、
前記撮像手段が撮影した映像の全体領域を符号化し、それ以降は周期的に、映像中の人物を含む矩形領域である人物映像データを符号化する符号化手段と、
を備えたことを特徴とする。
【００１１】
この構成においては、映像伝送装置は、人物及びその周囲の映像の全体領域を符号化し、それ以降は人物の映像データのみを符号化する。したがって、テレビ会議や講演のスピーチ等の映像においては、動きがほとんど発生せず、注目されるのは人物の領域であるため、注目される対象である人物の映像を周期的に符号化することで、復号時には、全体領域の映像において、人物の領域だけを更新すれば良いので、さらに映像データを効率良く符号化できる。
【００１２】
（３）前記撮像手段が撮影した映像の全体領域における構成の変化を検出するシーンチェンジ検出手段を備え、
前記符号化手段は、前記シーンチェンジ検出手段が映像の全体領域における構成の変化を検出したタイミングで、映像の全体領域を符号化することを特徴とする。
【００１３】
この構成においては、シーンチェンジ検出手段が映像の全体領域における構成の変化を検出したタイミングで、映像の全体領域を符号化する。したがって、テレビ会議や講演のスピーチ等の映像において、シーンチェンジが発生した時には、映像の領域全体を設定（更新）しなおすので、復号時において映像に矛盾が生じることなく、符号化することかできる。
【００１４】
（４）（１）乃至（３）のいずれかに記載の映像符号化装置と、
前記映像符号化装置が符号化した映像データを相手装置に送信する通信手段と、
を備えたことを特徴とする。
【００１５】
この構成においては、映像伝送装置は、符号化した映像データを相手装置に送信する。したがって、テレビ会議や講演のスピーチ等の映像が効率良く符号化されているので、伝送路の通信レートに左右されることなく確実に相手装置に映像データを送信することができる。
【００１６】
（５）人物及びその周囲を撮影してその映像を出力する撮像手段と、
前記映像から人物を検出する人物検出手段と、
伝送路の通信レートの状態、及び映像全体に占める人物の情報量の割合に基づいて所定の演算を行う演算手段と、
前記演算手段の演算結果が閾値以上の場合には、前記撮像手段が撮影した映像から前記検出した人物の映像を周期的に抽出して、この映像データを低圧縮率で符号化し、前記人物以外の映像データを高圧縮率で符号化し、
前記演算手段の演算結果が閾値未満の場合には、前記撮像手段が撮影した映像の全体領域を符号化し、それ以降は周期的に、映像中の人物を含む矩形領域である人物映像データを符号化する符号化手段と、
前記符号化手段が符号化した映像データを相手装置に送信する通信手段と、
を備えたことを特徴とする。
【００１７】
この構成においては、映像伝送装置は、通信レートの状態、及び映像全体に占める人物の情報量の割合に基づいて行う所定の演算の結果が一定値以上の場合には、映像から人物の映像を抽出して、この人物映像データを低圧縮率で符号化し、人物以外の映像データを高圧縮率で符号化して、両映像データを相手装置に送信する。また、映像伝送装置は、上記の演算の結果が一定値未満の場合には、映像データの全体領域を符号化して、その映像データを相手装置に送信し、それ以降は人物を矩形に抽出した映像データを符号化して、その映像データを相手装置に送信する。したがって、伝送路における通信レートの状態、及び映像全体に占める人物の情報量の割合に応じて、映像における情報量の再割り当てや不要情報の削除を行うことにより、テレビ会議や講演のスピーチ等の映像において、注目される対象である人物の映像を確実に相手装置に送信することができる。
【００１８】
（６）人物及びその周囲を撮影した映像から、人物を周期的に検出する手順、
前記検出した人物の映像データを抽出して低圧縮率で符号化し、前記人物以外の映像データを高圧縮率で符号化する手順、
を備えたことを特徴とする。
【００１９】
この構成においては、（１）と同様の作用効果を得ることができる。
【００２０】
（７）人物及びその周囲を撮影した映像から、人物を周期的に検出する手順、
前記人物及びその周囲の映像の全体領域を符号化し、それ以降は周期的に、映像中の人物を含む矩形領域である人物映像データを符号化する手順、
を備えたことを特徴とする。
【００２１】
この構成においては、（２）と同様の作用効果を得ることができる。
【００２２】
（８）前記人物及びその周囲の映像における全体領域の構成変化を検出する手順、
前記映像における全体領域の構成変化を検出したタイミングに、前記映像データの全体領域を符号化する手順、
を備えたことを特徴とする。
【００２３】
この構成においては、（３）と同様の作用効果を得ることができる。
【００２４】
（９）（６）乃至（８）のいずれかに記載の映像符号化方法を行った後に、
前記符号化した映像データを相手装置に送信する手順、
を備えたことを特徴とする。
【００２５】
この構成においては、（４）と同様の作用効果を得ることができる。
【００２６】
（１０）伝送路の通信レートの状態、及び映像全体に占める人物の情報量の割合に基づいて所定の演算を行う手順、
前記演算結果が閾値以上の場合において、
人物及びその周囲を撮影した映像から、人物を周期的に検出する手順、
前記検出した人物の映像データを抽出して低圧縮率で符号化し、前記人物以外の映像データを高圧縮率で符号化する手順、
前記符号化された人物映像データ及び人物以外の映像データを相手装置に送信する手順、
前記演算結果が閾値未満の場合において、
人物及びその周囲を撮影した映像から、人物を周期的に検出する手順、
前記映像の全体領域を符号化し、それ以降は周期的に前記映像中の人物を含む矩形領域である人物映像データを符号化する手順、
前記符号化された映像データを相手装置に送信する手順、
を備えたことを特徴とする。
【００２７】
この構成においては、（５）と同様の作用効果を得ることができる。
【発明の効果】
【００２８】
テレビ会議や講演のスピーチ等の映像においては、動きがほとんど発生せず、また人物等の注目される対象以外についての情報はほぼ不要であるといった特徴を持つが、本発明によれば、映像における情報量の再割り当てや不要情報の削除を行うことにより、伝送路の通信レートの状態、及び映像全体に占める人物の情報量の割合に基づいて行った所定の演算結果が閾値未満の場合には、注目される対象の映像のみを符号化して送信し、上記演算結果が閾値以上の場合には、注目される対象の映像を低圧縮率で、背景映像を高圧縮率で符号化して送信するので、回線の状況や映像の特徴に応じて、通信レートが低下しても、注目される対象の映像を確実に送ることができる。また、同じ転送レートでは映像の高画質化を、また、同じ品質であれば低ビットレート化を図ることができる。
【発明を実施するための最良の形態】
【００２９】
以下の説明では、本発明の映像符号化装置及び映像伝送装置の機能を備えた遠隔会議装置を例に挙げて説明する。なお、本発明の符号化装置及び映像伝送装置は、もちろん単独の構成であっても良い。
【００３０】
図１は、本発明の一実施形態に係る遠隔会議装置の斜視概観図、及びネットワーク接続した２台の遠隔会議装置を示す図である。図１（Ａ）に示すように、遠隔会議装置１は、一方向に長尺な直方体形状であり、スピーカアレイ２６を構成する８個のスピーカユニットＳＰ１〜ＳＰ８、及びマイクアレイ３０を構成する１４個のマイクユニットＭＩＣ１〜ＭＩＣ１４が、正面側にそれぞれ一定の間隔で直線上に配置された構成である。また、図示していないが、遠隔会議装置１の裏面側には、入出力コネクタ６４が設けられている。
【００３１】
なお、スピーカアレイ２６を構成するスピーカユニット数及びマイクアレイ３０を構成するマイクユニット数は、上記の数量に限定するものではない。
【００３２】
遠隔会議装置１には、ビデオカメラ５０及びモニタ５２を接続可能であり、これらを接続した場合には、図１（Ａ）に示したようにモニタ５２の上面に遠隔会議装置１を載せ、さらに遠隔会議装置１の上面にビデオカメラ５０を載せて使用すると良い。また、遠隔会議装置１は、ビデオカメラ５０及びモニタ５２の接続の有無にかかわらず、会議机の端や台の上に置いて使用することも可能である。
【００３３】
図１（Ｂ）に示すように、２台の遠隔会議装置１ａ，１ｂをインターネットやＬＡＮ等のネットワーク８に接続することで、遠隔会議システムを構築することができる。遠隔会議装置１ａは、ネットワーク８に接続されている別の遠隔会議装置１ｂと、マイクアレイ３０で収音した音声信号やビデオカメラ５０で撮像した映像信号を、ＳＩＰ等のプロトコルを用いてやりとり（送受信）する。ユーザは、遠隔会議装置１ａ，１ｂ、ビデオカメラ５０ａ，５０ｂ及びモニタ５２ａ，５２ｂを使用することで、異なる地点ａ，ｂ間で音声と映像によるテレビ会議を行うことができる。また、図示していないが、複数の遠隔会議装置１をネットワーク８に接続することで、さらに複数の地点間でテレビ会議を行うことが可能である。
【００３４】
次に、遠隔会議装置１の具体的な構成について説明する。図２は、本発明の一実施形態に係る遠隔会議装置の機能ブロック図である。遠隔会議装置１は、リモコン（リモートコントローラ）１０、信号受信部１２、制御部１４、メモリ１６、音声処理部２０、８個のスピーカユニットＳＰ１〜ＳＰ８から成るスピーカアレイ２６、１４個のマイクユニットＭＩＣ１〜ＭＩＣ１４から成るマイクアレイ３０、ビデオカメラ５０、モニタ５２、映像符号化部５４、映像復号部５６、多重化／分離部６０、通信部６２、及び入出力コネクタ６４を備えている。
【００３５】
遠隔会議装置１では、ＩＴＵ−Ｔ  Ｈ．２６１、Ｈ．２６２、Ｈ．２６３、Ｈ．２６４、ＭｏｔｉｏｎＪＰＥＧなどの映像符号化方式に対して適応することができる。
【００３６】
ここで、本発明は映像伝送装置の映像処理機能に関するものであり、音声処理機能は主題から外れるので、以下の説明では遠隔会議装置１の音声処理系の説明は簡単にとどめる。
【００３７】
リモコン１０は、操作部１０１を備えており、遠隔会議装置１の各種設定を行うためのものである。リモコン１０は、ユーザの操作に応じた信号を赤外光として出力する。
【００３８】
信号受信部１２は、リモコン１０から出力された信号（赤外光）を受信（受光）して、制御部１４に出力する。
【００３９】
制御部１４は、音声処理部２０・ビデオカメラ５０・映像符号化部５４・映像復号部５６・通信部６２等を制御する。また、制御部１４は、信号受信部１２から送られてきた信号に基づいて各部を制御したり、メモリ１６からプログラムを読み出したりメモリ１６にデータを書き込んだりする。
【００４０】
メモリ１６は、制御部１４が実行するプログラムや、制御部１４によって書き込まれたデータ等を記憶している。
【００４１】
音声処理部２０は、マイクアレイ３０で収音した音声信号を、圧縮・符号化して多重化／分離部６０に出力したり、多重化／分離部６０から符号化された音声信号が送られてくると、復号してスピーカアレイ２６に出力したりする。また、音声処理部２０は、マイクアレイ３０が収音した音声信号と、スピーカアレイ２６に対して出力する音声信号と、に対して、エコーキャンセル処理を行うことにより、適切なエコー除去が行われ、自装置の話者音声のみが出力音声信号として、ネットワークに送信される。
【００４２】
スピーカユニットＳＰ１〜ＳＰ８は、無指向性のスピーカから成り、音声処理部２０から個別に与えられた放音信号を音声変換して外部に放音する。
【００４３】
マイクアレイ３０を構成する各マイクユニットＭＩＣ１〜ＭＩＣ１４は、遠隔会議装置１の外部からの音声を収音して電気信号に変換し、収音信号を音声処理部２０に出力する。
【００４４】
ビデオカメラ５０は、会議風景や会議参加者（人物）の映像を撮像して、その映像データを一定周期で映像符号化部５４に出力する。
【００４５】
モニタ５２は、別の遠隔会議装置から送られてきて、映像復号部５６で復号された映像データを表示する。
【００４６】
映像符号化部５４は、ビデオカメラ５０から一定周期で出力された映像データをエンコード（符号化）して、多重化／分離部６０に出力する。また、映像符号化部５４は、映像ブロック情報量や人物重み係数を制御部１４に対して出力する。
【００４７】
映像復号部５６は、多重化／分離部６０から出力された符号化された映像データをデコード（復号）して、モニタ５２へ出力する。
【００４８】
多重化／分離部６０は、音声処理部２０から出力された符号化された音声データと、映像符号化部５４から出力された符号化された映像信号と、を多重化してストリームデータを通信部６２へ出力する。また、多重化／分離部６０は、通信部６２から送られてきたストリームデータを符号化された音声データと符号化された映像データに分離して、音声信号を音声処理部２０へ出力し、映像信号を映像復号部５６へ出力する。
【００４９】
通信部６２は、多重化／分離部６０から出力されたストリームデータを、ネットワーク８における通信方式に対応するデータ形式（プロトコル）に変換して、入出力コネクタ６４及びネットワーク８を介して別の遠隔会議装置１へ送信する。また、通信部６２は、入出力コネクタ６４に接続されたネットワーク（ＬＡＮ）８を介して入力された別の遠隔会議装置１から送られてきたストリームデータを、ネットワーク８に対応するデータ形式（プロトコル）から変換して、多重化／分離部６０に出力する。さらに、通信部６２は、ネットワーク（伝送路）８における通信の状態（損失）を監視しており、制御部１４に対してその情報を随時送信している。
【００５０】
次に、映像符号化部５４の詳細な構成について説明する。図３は、映像符号化部の構成を示すブロック図である。
【００５１】
映像符号化部５４は、顔／人物検出器７０、画面切替検出器７２、符号化制御器７４、第１切替スイッチ７６、離散余弦変換器（ＤＣＴ）７８、量子化器（Ｑ）８０、符号化器８１、逆量子化器（ＩＱ）８２、逆離散余弦変換器（ＩＤＣＴ）８４、加算器８６、動き補償付き映像メモリ８８、第２切替スイッチ９０、及び減算器９２を備えている。
【００５２】
映像符号化部５４では、イントラ符号化を行う場合には、第１切替スイッチ７６をイントラ端子７６Ａ側に切り替え、第２切替スイッチ９０をイントラ端子９０Ａ側に切り替える。また、映像符号化部５４では、インター符号化を行う場合には、第１切替スイッチ７６をインター端子７６Ｂ側に切り替え、第２切替スイッチ９０をインター端子９０Ｂ側に切り替える。
【００５３】
ビデオカメラ５０から入力された映像データは、顔／人物検出器７０、第１切替スイッチ７６のイントラ端子７６Ａ、動き補償付き映像メモリ８８、及び減算器９２に送られる。
【００５４】
顔／人物検出器７０は、送られてきた映像データ中に、顔や人物の特徴を有する映像の有無を判定し、顔や人物の特徴を有する映像を検出すると、顔の場合と人物の場合とで異なる信号を符号化制御器７４へ出力する。顔／人物検出器７０は、肌の色や画面輪郭構成等を利用して顔部を検出する。すなわち、顔／人物検出器７０は、スキントーンや、顔のパーツ（目、めがね、鼻、口等）、映像の輝度変化等の特徴を利用して、顔部を検出する。
【００５５】
また、顔／人物検出器７０は、画面切替検出器７２から大域的な境界／動き検出信号を取得して、顔部の検出信号とともに複合的に人物抽出を行う。具体的には、顔／人物検出器７０は、顔部が存在する領域に対して、縮退・拡張処理を行うとともに近傍エッジ検出を行って、大域的な領域から人物を検出する。また、会議参加者は口や手を動かしていることが多いので、弱い動きが存在するなどのパラメータを用いて、人物の検出精度を向上させる。
【００５６】
なお、以上の処理は、符号化単位のフレーム毎に行う必要は無い。また、遠隔会議装置１に設定されているモードに応じて、検出結果をビット優先割り当ての優先順位を上げる感度係数に利用したり、限定領域エリア決定のための情報としたりする。例えば、顔部の重み（感度）を高くし、その周辺部である人物（体）をそれに続く重み係数に設定する。
【００５７】
ビデオカメラ５０から入力された映像データは、イントラ符号化を行う場合には、第１切替スイッチ７６を介して離散余弦変換器７８に送られ、離散余弦変換器７８で離散余弦変換処理が施され、量子化器８０に送られる。量子化器８０は、符号化制御器７４から送られてきた量子化パラメータに基づいて、離散余弦変換器７８から送られてきた映像データを量子化して、符号化器８１へ出力する。また、量子化器８０で量子化された映像データは、逆量子化器８２で逆量子化され、さらに逆離散余弦変換器８４で逆離散余弦変換処理が施されて、加算器８６に送られる。
【００５８】
加算器８６は、イントラ符号化を行う場合には、逆離散余弦変換器８４から出力された映像データをそのまま動き補償付き映像メモリ８８へ出力する。また、加算器８６は、インター符号化を行う場合には、動き補償付き映像メモリ８８から第２切替スイッチ９０を介して送られてきた動き補償付き映像データと、逆離散余弦変換器８４から出力された映像データと、を加算して、動き補償付き映像メモリ８８に出力する。
【００５９】
動き補償付き映像メモリ８８は、加算器８６から出力された映像データと、ビデオカメラ５０からの映像データと、を用いて生成した動き補償映像を、減算器９２に出力する。また、動き補償付き映像メモリ８８は、動きベクトルを符号化器８１に出力する。さらに、インター符号化を行う場合には、動き補償付き映像メモリ８８は、第２切替スイッチ９０を介して加算器８６に動き補償映像を出力する。
【００６０】
減算器９２は、ビデオカメラ５０の映像データを、動き補償付き映像メモリ８８から出力された動き補償映像データから減算して、フレーム間の差分データを画面切替検出器７２へ出力する。また、インター符号化を行う場合には、減算器９２は、第１切替スイッチ７６を介して離散余弦変換器７８へ、フレーム間の差分データを出力する。
【００６１】
このフレーム間の差分データは、離散余弦変換器７８で離散余弦変換処理が施され、量子化器８０に送られる。量子化器８０は、符号化制御器７４から送られてきた量子化パラメータに基づいて、離散余弦変換器７８から送られてきたフレーム間の差分データを量子化して、画素係数を符号化器８１へ出力するとともに逆量子化器８２へ出力する。
【００６２】
画面切替検出器７２は、減算器９２から出力されたフレーム間の差分データに基づいて画面の切り替わりを検出する。画面切替検出器７２は、シーンチェンジはもちろん、輝度や彩度が大きく変化した場合、カメラがパン、ズーム、チルトの動作が発生した場合等、画面が切り替わったことを検出した場合には、符号化制御器７４へその旨を伝える信号を出力する。
【００６３】
符号化制御器７４は、イントラ符号化を行うか、またはインター符号化を行うかに応じて、第１切替スイッチ７６及び第２切替スイッチ９０へ切り替え信号を出力するとともに、符号化器８１へイントラフラグまたはインターフラグを出力する。また、符号化制御器７４は、符号化フラグまたは非符号化フラグを符号化器８１へ出力する。さらに、符号化制御器７４は、量子化器８０及び符号化器８１へ量子化パラメータを出力する。
【００６４】
次に、遠隔会議装置１の動作について説明する。図４は、遠隔会議装置を用いた会議風景、及びビデオカメラが撮影した通常モードの映像を示す図である。
【００６５】
図５は、ビット優先割当モードで撮影した映像を示す図である。図６は、限定領域伝送モードで撮影した映像を示す図である。図７は、ズーム前の会議風景の全体画像、及びズーム後の会議風景の全体画像を示す図である。
【００６６】
図４（Ａ）に示すように、モニタ５２、遠隔会議装置１、及びビデオカメラ５０を、会議机４１の前に設置することで、会議の映像や会議参加者が発言する音声を別の遠隔会議装置とネットワーク（伝送路）８を介してやりとりすることができる。
【００６７】
ビデオカメラ５０が撮影した会議風景は、図４（Ｂ）に示すような映像として別の遠隔会議装置に送られる。
【００６８】
遠隔会議装置１では、１．通常モード、２．ビット優先割当モード、及び３．限定領域伝送モードのうちいずれか１つの映像データ伝送モードを設定することができる。ただし、限定領域伝送モードであってもビット優先割当モードまたは通常モードの状態、また、ビット優先割当モードであっても通常モードの状態に自動的に遷移する場合がある。
【００６９】
１．通常モードは、映像を符号化する場合に、動き情報と、映像の空間的な情報量から、一定で均一なアルゴリズムを使用して、ビット割り当てを行うモードである。このモードは、必要なビットレートに対して伝送路に余裕が十分にある場合か、画面全体を更新しなければならない場合に使用する。
【００７０】
２．ビット優先割当モードは、動き情報と、時間差分情報の情報量と、人物重み係数を利用してビット割り当てを行う。すなわち、映像における重要な領域である人物や特に顔の部分により多くの符号ビットが割り振られるように設定する。このモードでは、人物の領域やその顔の領域を抽出する。遠隔会議装置１は、例えば図５に示すように、映像符号化部５４の顔／人物検出器７０により会議風景映像中の人物Ａ〜Ｃやその顔の部分を検出する。映像符号化部５４の符号化制御器７４は、人物重み係数を用いて、ブロック（例えばマクロブロック）の符号化打ち切りの判断を行う。また、符号化制御器７４は、人物重み係数を用いて、量子化器８０に出力する量子化パラメータと連動し、より符号ビットが割り振られるように設定する。これにより、ビット優先割当モードでは、図５に示した会議風景映像において、人物Ａ〜Ｃの顔の領域［１］・［３］・［５］は低圧縮率で高品位な映像で、人物Ａ〜Ｃの体の領域［２］・［４］・［６］は、人物Ａ〜Ｃの顔の領域に次いで低圧縮率で高品位な映像で、その他の領域である背景の領域［７］は高圧縮率で低品位な映像で、別の遠隔会議装置に送られる。
【００７１】
また、遠隔会議装置１は、通常、画面を帯状構造に分割して、その単位で、画面の上端から順番に下端まで送信するが、このモードでは、送信最後で符号が割り当てられなくなるのを防ぐために、画面の中で重要な領域を先に送信する。すなわち、通常、会議風景の映像では人物の領域は、画面の中央部から下部にかけて位置するが、遠隔会議装置１は、このモードでは、図５（Ｂ）に示すように、画面を帯状構造に分割して、会議風景の映像における人物を検出すると、その人物を含む領域（同図における人物Ｂの頭頂部を含む領域［３］）の上端から順に下端まで送信し、続いて上端から順に、その人物を含む領域の直前までを送信する。
【００７２】
３．限定領域伝送モードは、ＩＳＤＮやＧＳＴＮ（アナログ電話網）、そして輻輳が大きい、かつまた低帯域のＩＰ網のような低ビットレートでのテレビ会議やスピーチモードの場合に適用する。伝送路が低ビットレートの場合には、映像において動きが無いエリアであっても、ヘッダのオーバヘッドが相対的に大きくなる。そのため、このモードでは、映像データの送信開始時及びシーンチェンジ時には、図６（Ａ）に示すように、会議風景の全体領域［１０］の映像を伝送するが、それ以外の時には、必要なデータを確実に伝送するために、図６（Ｂ）に示すように、映像における必要な領域、すなわち顔や人物の領域［１１］〜［１４］のみを伝送して、他の領域についてはブロックの属性情報も送信しないように設定されている。
【００７３】
また、このモードでは、伝送するデータ量を抑えるために、以下のように顔や人物の領域を設定する。すなわち、実装を容易にするために、顔や人物の領域のブロック形状を矩形に設定し、人物重み係数を利用してこの矩形領域を決定する。また、あまり細かなブロックに分割せず、会議風景の映像に含まれる人物の数程度までになるように設定する。また、このモードでは、別の遠隔会議装置１に対して、上記のブロックは、先頭ブロックのアドレスを送信し、連続するブロックの画像データを送信する。
【００７４】
また、別の符号化方式として、図６（Ｃ）の上部に示すように、データを伝送しない領域、すなわち顔や人物の領域以外の領域（同図における黒ベタ領域）については、どれだけブロックをスキップするかを指定する情報のみを送り、顔や人物の領域（同図における人物Ａ，Ｂ，Ｃの領域）についてはブロックアドレスと映像データを送るように設定することが可能である。この方式では、人物数に依存することなく、また、矩形に限らず複雑な形状であっても、符号化する領域（伝送する領域）および符号化しない領域（伝送しない領域）を決定して、映像データを容易に伝送することができる。
【００７５】
また、このモードでは、背景の映像が送られないことになるため、映像データ送信開始時やシーンチェンジはもちろん、輝度や彩度が大きく変化した場合や、ビデオカメラ５０がパン・ズーム・チルトの動作を行って、映像の大域が変化した場合、例えば、ズーム動作により図７（Ａ）の映像から図７（Ｂ）の映像に変化した場合等には、通常モードに切り替えて、映像のリフレッシュを行う必要がある。
【００７６】
遠隔会議装置１では、以上のような３つのモードを設定することが可能である。
【００７７】
また、遠隔会議装置１では、上記の３つのモードを自動的に切り替える自動切り替えモードを設定することも可能である。遠隔会議装置１では、通信部６２がネットワーク（伝送路）８の通信の状態（損失）を監視しているので、自動切り替えモードが設定された場合には、ネットワーク８における通信レートおよびその通信状態、さらに映像全体に占める人物の情報量の割合に応じて、上記の３つのモードを自動的に切り替える。
【００７８】
図８は、制御部の具体的な構成を示すブロック図である。図８に示すように、制御部１４では、ブロック情報量演算器３２で、映像符号化部５４から得たブロック情報量と人物重み係数（α）との積を求め、人物領域積算器３３で、これを積算して、画面に占める人物領域の情報量Ｒｐを求める。また、全体領域積算器３４で、ブロック情報量を積算して、画面全体の情報量Ｒａを求める。そして、除算器３５でＲｐ／Ｒａの演算を行って、人物アクティビティＡｐを求める。ここで、人物アクティビティＡｐは、画面に占める人物領域の割合である。
【００７９】
モード決定評価器３６は、通信部６２から取得したビットレート及び伝送損失率と、上記のようにして求めた人物アクティビティＡｐと、を用いて所定の関数演算を行う。ここで、ビットレートは、回線通信レートの設定値である。また、伝送損失率は、伝送に失敗した実際のデータ比率である。
【００８０】
モード決定評価器３６は、演算結果が第１閾値Ａ以上であれば、通常モードを選択する。また、モード決定評価器３６は、演算結果が第１閾値Ａ〜第２閾値Ｂの場合にはビット優先割当モードを選択する。さらに、モード決定評価器３６は、演算結果が第２閾値Ｂ未満の場合には限定領域伝送モードを選択する。
【００８１】
遠隔会議装置１では、例えば、人物アクティビティＡｐ＞＞０の場合には、限定領域伝送モードを選択する。また、回線通信レートが低い場合には、ビット優先モードが選択され、回線通信レートが更に低い場合には、限定領域伝送モードが選択される。更に、伝送損失率が高い場合には、ビット優先割当モードかまたは限定領域伝送モードが選択される。但し、低い伝送レートで、かつ、損失が大きい場合には、自動切り換えを行わずに、限定モードが選択される。
【００８２】
なお、モード決定評価器３６は、テーブル３７を参照して演算結果に対応するモードを選択するようにしても良い。また、モード決定評価器３６が行う演算に用いる関数は、実験等により予め設定されている。
【００８３】
また、遠隔会議装置１では、上記の３つのモードのうちビット優先割当モードと限定領域伝送モードを自動的に切り替えるように自動切り替えモードを設定することも可能である。この場合には、遠隔会議装置１では、モード決定評価器３６の演算結果が第２閾値Ｂ以上ではビット優先割当モード、モード決定評価器３６の演算結果が第２閾値Ｂ未満では限定領域伝送モードに切り替える。
【００８４】
図１（Ｂ）に示した構成の遠隔会議システムでは、地点ａにおいて設置された遠隔会議装置１ａから、上記のように各モードにおいて映像データを含むストリームデータが出力されると、地点ｂにおいて設置された１ｂは、入出力コネクタ６４を介して通信部６２で、ストリームデータを受信する。そして、多重化／分離部６０で符号化された映像データを分離し、映像復号部５６で、映像データを複合化してモニタに出力する。
【００８５】
遠隔会議装置１ａから通常モードで送られてきた映像データは、図４（Ｂ）に示すように、全体が一定品位な映像としてモニタ５２ｂに映し出される。
【００８６】
また、遠隔会議装置１ａからビット優先割当モードで送られてきた映像データは、図５（Ａ）に示したように、人物Ａ〜Ｃの顔の領域［１］・［３］・［５］は低圧縮率で高品位な映像で、人物Ａ〜Ｃの体の領域［２］・［４］・［６］は、人物Ａ〜Ｃの顔の領域に次いで低圧縮率で高品位な映像で、その他の領域である背景の領域［７］は高圧縮率で低品位な映像で、モニタ５２ｂに映し出される。
【００８７】
また、遠隔会議装置１ａから限定領域伝送モードで送られてきた映像データは、図６に示すように、映像データ送信開始時には、図６（Ａ）に示す会議風景の全体領域［１０］の映像が送られてくるが、その後はシーンチェンジ等が発生しない限り、図６（Ｂ）に示すように、人物Ａ〜Ｃとその周囲の領域［１１］〜［１４］が一定品位な映像として送られてくる。遠隔会議装置１ｂは、会議風景の全体領域［１０］の映像データを含むストリームデータを受信すると、図６（Ａ）に示した映像をモニタ５２ｂに表示させる。また、遠隔会議装置１ｂは、人物Ａ〜Ｃとその周囲の領域のみの映像データを含むストリームデータを受信すると、図６（Ａ）に示した映像のうち、図６（Ｂ）に示した領域［１１］〜［１４］を置きかえて、モニタ５２ｂに表示させる。
【００８８】
ここで、映像データの更新を行わない背景領域と、映像データを更新する人物領域と、が不連続な映像になることがあり得る。そのため、遠隔会議装置１ｂは、映像復号部５６に低域通過フィルタ（不図示）を備えており、会議風景の全体映像に人物映像を合成する際に、人物映像の境界付近の領域に対して、ブロック境界を検知しにくくするため、低域通過フィルタを挿入する。
【００８９】
次に、遠隔会議装置１の動作について、フローチャートに基づいて説明する。図９は、遠隔会議装置の動作を説明するためのフローチャートである。
【００９０】
制御部１４は、起動時にはメモリ１６の記憶内容を読み出して、映像データ伝送モードがどのモードになっているかを確認する（ｓ１）。制御部１４は、通常モードに設定されている場合には（ｓ２）、通常モードで映像の伝送を行う（ｓ３）。制御部１４は、ビット優先割当モードが設定されている場合には（ｓ４）、ビット優先割当モードで映像の伝送を行う（ｓ５）。制御部１４は、限定領域伝送モードに設定されている場合には（ｓ６）、限定領域伝送モードで映像の伝送を行う（ｓ７）。
【００９１】
一方、制御部１４は、自動切り替えモードが設定されている場合には（ｓ８）、現在のネットワーク８の通信状態、さらに映像全体に占める人物の情報量の割合に基づいて演算を行い、その結果に基づいて実行するモードを設定する（ｓ９）。制御部１４は、演算結果が第１閾値Ａ以上の場合には（ｓ１０）、通常モードで映像の伝送を行う（ｓ１１）。制御部１４は、演算結果が第１閾値Ａ〜第２閾値Ｂの場合には（ｓ１２）、ビット優先割当モードで映像の伝送を行う（ｓ１３）。制御部１４は、ステップｓ１２において、演算結果が第２閾値Ｂ未満の場合に、限定領域伝送モードで映像の伝送を行う（ｓ１４）。
【００９２】
制御部１４は、一定周期で、すなわち一例として３秒毎に、現在のネットワーク８の状態及び伝送しようとする映像の特徴に基づいて演算を行っており（ｓ１５，ｓ１７，ｓ１９）、演算結果が変化していない場合には（ｓ１６，ｓ１８，ｓ２０）、引き続き現在設定されているモードで映像の伝送を行う。
【００９３】
一方、演算結果が変化している場合には（ｓ１６，ｓ１８，ｓ２０）、ステップｓ１０以降の処理を行う。
【００９４】
以上のように、本発明の遠隔会議装置では、設定に応じて、またはネットワークの状態に応じて、通信レートが低下したり映像全体に占める人物の情報量の割合が変化したりしても、会議風景の全体画像における注目される対象の映像を確実に送ることができる。また、同じ転送レートでは映像の高画質化を、また、同じ品質であれば低ビットレート化を図ることができる。
【００９５】
なお、以上の説明では、会議風景の映像を伝送する場合を例に挙げて説明したが、これに限るものではなく、人物及びその周囲を撮影した映像であれば、講演のスピーチの映像等、他の映像でも良い。
【図面の簡単な説明】
【００９６】
【図１】本発明の一実施形態に係る遠隔会議装置の斜視概観図、及びネットワーク接続した２台の遠隔会議装置を示す図である。
【図２】本発明の一実施形態に係る遠隔会議装置の機能ブロック図である。
【図３】映像符号化部の構成を示すブロック図である。
【図４】遠隔会議装置を用いた会議風景、及びビデオカメラが撮影した通常モードの映像を示す図である。
【図５】ビット優先割当モードで撮影した映像を示す図である。
【図６】限定領域伝送モードで撮影した映像を示す図である。
【図７】ズーム前の会議風景の全体画像、及びズーム後の会議風景の全体画像を示す図である。
【図８】制御部の具体的な構成を示すブロック図である。
【図９】遠隔会議装置の動作を説明するためのフローチャートである。
【符号の説明】
【００９７】
１，１ａ，１ｂ−遠隔会議装置    ８−ネットワーク    １０−リモコン    １２−信号受信部    １４−制御部    １６−メモリ    ２０−スピーカ信号処理部    ２０−音声処理部    ２６−スピーカアレイ    ３０−マイクアレイ    ３２−ブロック情報量演算器    ３３−人物領域積算器    ３４−全体領域積算器    ３５−除算器    ３６−モード決定評価器    ３７−テーブル    ４１−会議机    ５０，５０ａ，５０ｂ−ビデオカメラ    ５２，５２ａ，５２ｂ−モニタ    ５４−映像符号化部    ５６−映像復号部    ６２−通信部    ６４−入出力コネクタ    ７２−画面切替検出器    ７４−符号化制御器    ７６−第１切替スイッチ    ７８−離散余弦変換器    ８０−量子化器    ８１−符号化器    ８２−逆量子化器    ８４−逆離散余弦変換器    ８６−加算器    ８８−映像メモリ    ９０−第２切替スイッチ    ９２−減算器    １０１−操作部
【図１】
2008005349.tif 000003
【図２】
2008005349.tif 000004
【図３】
2008005349.tif 000005
【図４】
2008005349.tif 000006
【図５】
2008005349.tif 000007
【図６】
2008005349.tif 000008
【図７】
2008005349.tif 000009
【図８】
2008005349.tif 000010
【図９】
2008005349.tif 000011