(57)【要約】【課題】装置間で通信すべきデータ量を低減し、かつプライバシーコンシャスな画像通信を実現する。【解決手段】背景画像及び動画像を各種帯域信号に変換する帯域分割部１１と、それぞれの帯域信号を画素毎に差分処理する背景差分部１２と、その結果から人物領域を同定しその領域の帯域信号を出力する人物領域抽出部１３と、人物領域の帯域信号における各画素値をビットプレーン分解するビットプレーン分解部１５と、人物領域の帯域信号のビットプレーンをアウェアネス情報を表示させるための基本階層とそれ以外の拡張階層に分類する機能的階層化部１６と、分類された階層をエントロピ符号化するエントロピ符号化部１７とを備え、通常は基本階層のデータのみを伝送し、必要に応じて拡張階層のデータを追加伝送するようにして、装置間での通信データの総量を低減できるようにする。【選択図】図１
2008099033.tif 000002
【特許請求の範囲】
【請求項１】
人物が存在しないときに撮影された背景画像及び人物が存在するときに撮影された動画像を複数種類の帯域信号に帯域分割するとともに、動画像から背景画像を各画素毎について減算する変換手段と、
上記変換手段にて背景画像を減算された動画像の帯域信号から人物領域を同定して当該領域の帯域信号を出力する人物領域抽出手段と、
上記人物領域抽出手段より出力される人物領域の帯域信号における各画素値をビットプレーンに分解するビットプレーン分解手段と、
上記ビットプレーン分解手段によりビットプレーン分解された人物領域の帯域信号を、アウェアネス情報を表示させるための基本階層と、上記基本階層以外の拡張階層とに分類する階層化手段と、
上記階層化手段により分類された上記基本階層及び上記拡張階層のそれぞれのデータをエントロピ符号化する第１の符号化手段とを備えることを特徴とする画像通信装置。
【請求項２】
上記変換手段は、
上記背景画像及び上記動画像を複数種類の帯域信号に帯域分割する帯域分割手段と、
上記帯域分割手段により帯域分割された背景画像を、帯域分割された動画像から各画素毎について減算する背景差分手段とを備えることを特徴とする請求項１記載の画像通信装置。
【請求項３】
上記人物領域抽出手段より出力される人物領域の帯域信号における各画素値を量子化する量子化手段をさらに備え、
上記ビットプレーン分解手段は、上記量子化手段により量子化された人物領域の帯域信号をビットプレーンに分解することを特徴とする請求項１又は２記載の画像通信装置。
【請求項４】
上記帯域分割、上記量子化、上記ビットプレーン分解、及び上記エントロピ符号化に係る処理は、ＪＰＥＧ２０００規格に準拠した処理であることを特徴とする請求項３記載の画像通信装置。
【請求項５】
上記階層化手段は、上記人物領域の帯域信号における上位のビットプレーンを基本階層に分類することを特徴とする請求項１〜４の何れか１項に記載の画像通信装置。
【請求項６】
上記階層化手段は、上記人物領域の各種帯域信号のうち高域の帯域信号を基本階層に分類することを特徴とする請求項１〜５の何れか１項に記載の画像通信装置。
【請求項７】
上記階層化手段は、上記人物領域の各種帯域信号のうち低域の帯域信号を基本階層に分類することを特徴とする請求項１〜５の何れか１項に記載の画像通信装置。
【請求項８】
上記階層化手段は、動画像を構成するフレームを所定間隔で抽出し、抽出されたフレームを基本階層に分類することを特徴とする請求項１〜７の何れか１項に記載の画像通信装置。
【請求項９】
請求項１〜８の何れか１項に記載の画像通信装置から送信された上記基本階層の符号化データ、又は上記基本階層の符号化データと上記拡張階層の符号化データを受信し、当該画像通信装置での処理の逆処理を受信した符号化データに施して人物領域の帯域信号を再生する再生手段と、
上記再生手段により再生された人物領域の帯域信号と、上記画像通信装置からの背景画像データを再生して得られる背景画像の帯域信号とを各画素毎について加算するとともに、帯域信号を帯域合成して動画像を再生する合成手段とを備えることを特徴とする画像通信装置。
【請求項１０】
上記階層化手段は、上記ビットプレーン分解手段によりビットプレーン分解された人物領域の帯域信号を、アウェアネス情報を表示させるための基本階層と、上記基本階層以外の拡張階層とに分類するとともに、基本階層については基本階層として分類された人物領域の帯域信号のビットプレーン以外にゼロ値を挿入し、拡張階層については基本階層として分類された人物領域の帯域信号のビットプレーンをゼロ値で置き換え、
かつ上記第１の符号化手段に代えて、帯域合成手段と第２の符号化手段を備え、
上記帯域合成手段は、上記階層化手段により生成された基本階層及び拡張階層の帯域信号をそれぞれ帯域合成して基本階層画像及び拡張階層画像を生成し、
上記第２の符号化手段は、上記帯域合成手段により生成される基本階層画像及び拡張階層画像をＪＰＥＧ２０００規格に準拠した符号化方式でそれぞれ符号化することを特徴とする請求項１〜８の何れか１項に記載の画像通信装置。
【請求項１１】
上記帯域分割、上記ビットプレーン分解、及び上記帯域合成に係る処理は、ＪＰＥＧ２０００規格に準拠した処理であることを特徴とする請求項１０記載の画像通信装置。
【請求項１２】
請求項１０又は１１記載の画像通信装置から送信された上記基本階層画像の符号化データ、又は上記基本階層画像の符号化データと上記拡張階層画像の符号化データを受信し、受信した符号化データをＪＰＥＧ２０００規格に準拠して復号し上記基本階層画像、又は上記基本階層画像及び上記拡張階層画像を取得する復号手段と、
上記復号手段により復号された上記基本階層画像、又は上記基本階層画像及び上記拡張階層画像と、上記画像通信装置からの背景画像データを再生して得られる背景画像とを複数種類の帯域信号に帯域分割する帯域分割手段と、
上記帯域分割手段により帯域分割された上記基本階層画像の帯域信号、又は上記基本階層画像及び上記拡張階層画像の帯域信号に上記ビットプレーン分解手段での処理の逆処理を施した後、上記基本階層画像の帯域信号、又は上記基本階層画像及び上記拡張階層画像の帯域信号と上記背景画像の帯域信号とを各画素毎について加算するとともに、帯域信号を帯域合成して動画像を再生する合成手段とを備えることを特徴とする画像通信装置。
【請求項１３】
上記人物領域のデータについては、上記拡張階層に係るデータは送受信せずに、上記基本階層に係るデータのみを送受信することを特徴とする請求項１〜１２の何れか１項に記載の画像通信装置。
【請求項１４】
人物が存在しないときに撮影された背景画像及び人物が存在するときに撮影された動画像を複数種類の帯域信号に帯域分割するとともに、動画像から背景画像を各画素毎について減算する変換工程と、
上記変換工程で背景画像を減算された動画像の帯域信号から人物領域を同定して当該領域の帯域信号を出力する人物領域抽出工程と、
上記人物領域抽出工程で出力される人物領域の帯域信号における各画素値をビットプレーンに分解するビットプレーン分解工程と、
上記ビットプレーン分解工程でビットプレーン分解された人物領域の帯域信号を、アウェアネス情報を表示させるための基本階層と、上記基本階層以外の拡張階層とに分類する階層化工程と、
上記階層化工程で分類された上記基本階層及び上記拡張階層のそれぞれのデータをエントロピ符号化する第１の符号化工程とを有することを特徴とする画像通信方法。
【請求項１５】
上記階層化工程では、上記ビットプレーン分解工程でビットプレーン分解された人物領域の帯域信号を、アウェアネス情報を表示させるための基本階層と、上記基本階層以外の拡張階層とに分類するとともに、基本階層については基本階層として分類された人物領域の帯域信号のビットプレーン以外にゼロ値を挿入し、拡張階層については基本階層として分類された人物領域の帯域信号のビットプレーンをゼロ値で置き換え、
かつ上記第１の符号化工程に代えて、
上記階層化工程で生成された基本階層及び拡張階層の帯域信号をそれぞれ帯域合成して基本階層画像及び拡張階層画像を生成する帯域合成工程と、
上記帯域合成工程で生成される基本階層画像及び拡張階層画像をＪＰＥＧ２０００規格に準拠した符号化方式でそれぞれ符号化する第２の符号化工程とを有することを特徴とする請求項１４記載の画像通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像通信装置及び画像通信方法に関し、詳しくは、通常は低ビットレートのデータ通信で「アウェアネス」を表示し、必要に応じて追加情報をも送信することで「映像」を表示可能にする画像通信技術に関する。
【背景技術】
【０００２】
従来の画像通信システムは、例えばＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）といった公知の画像圧縮方式のように、カメラで撮像して得られた映像をできるだけそのまま伝送することを目的として設計されている。例えば、特許文献１には、データ通信時にバーストエラーが発生しても何らかの画像が表示されるような、ＪＰＥＧ２０００又はＭｏｔｉｏｎ  ＪＰＥＧ２０００といった国際標準符号化方式に基づく画像通信技術について開示されている。
【０００３】
上述した従来の画像通信システムに対して、近年、被写体の詳細な映像を隠蔽し、その代わりに被写体の顔を認識してその氏名を動きに合わせて表示することができる画像通信システムが提案され、被写体のプライバシーや対話の意思を、受信側での表示映像に反映できるプライバシーコンシャスな画像通信システムが注目されている（例えば、非特許文献１参照。）。
【０００４】
【特許文献１】特開２００４−１６６０９６号公報
【非特許文献１】タンスリヤボン  スリヨン，千葉正広，花木真一，共著、“状況映像における顔認識を用いた選択的人物隠蔽”，映像メディア学会誌，Ｖｏｌ．５６，Ｎｏ．１２，ｐｐ．１９８０−１９８８，２００２．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来のプライバシーコンシャスな画像通信においては、撮影画像に係るディジタル映像信号のすべてを符号化して送受信していた。そのため、画像通信装置間で送受信される通信データの総量は膨大であり、通信に要する時間が長くなるか、或いは通信に要する帯域が広くなる。その結果、通信コストが高額になったり、通信回線の混雑に対して脆弱となったりしてしまう。
【０００６】
本発明は、装置間で通信すべきデータ量を低減し、かつプライバシーコンシャスな画像通信を実現可能な画像通信装置及び画像通信方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像通信装置は、人物が存在しないときに撮影された背景画像及び人物が存在するときに撮影された動画像を複数種類の帯域信号に帯域分割するとともに、動画像から背景画像を各画素毎について減算する変換手段と、変換手段にて背景画像を減算された動画像の帯域信号から人物領域を同定して当該領域の帯域信号を出力する人物領域抽出手段と、人物領域抽出手段より出力される人物領域の帯域信号における各画素値をビットプレーンに分解するビットプレーン分解手段と、ビットプレーン分解手段によりビットプレーン分解された人物領域の帯域信号を、アウェアネス情報を表示させるための基本階層と、基本階層以外の拡張階層とに分類する階層化手段と、階層化手段により分類された基本階層及び拡張階層のそれぞれのデータをエントロピ符号化する第１の符号化手段とを備えることを特徴とする。
本発明の画像通信装置は、送信側の画像通信装置から送信された基本階層の符号化データ、又は基本階層の符号化データと拡張階層の符号化データを受信し、送信側の画像通信装置での処理の逆処理を受信した符号化データに施して人物領域の帯域信号を再生する再生手段と、再生手段により再生された人物領域の帯域信号と、送信側の画像通信装置からの背景画像データを再生して得られる背景画像の帯域信号とを各画素毎について加算するとともに、帯域信号を帯域合成して動画像を再生する合成手段とを備えることを特徴とする。
本発明の画像通信方法は、人物が存在しないときに撮影された背景画像及び人物が存在するときに撮影された動画像を複数種類の帯域信号に帯域分割するとともに、動画像から背景画像を各画素毎について減算する変換工程と、変換工程で背景画像を減算された動画像の帯域信号から人物領域を同定して当該領域の帯域信号を出力する人物領域抽出工程と、人物領域抽出工程で出力される人物領域の帯域信号における各画素値をビットプレーンに分解するビットプレーン分解工程と、ビットプレーン分解工程でビットプレーン分解された人物領域の帯域信号を、アウェアネス情報を表示させるための基本階層と、基本階層以外の拡張階層とに分類する階層化工程と、階層化工程で分類された基本階層及び拡張階層のそれぞれのデータをエントロピ符号化する第１の符号化工程とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、アウェアネス情報を表示させるための基本階層とそれ以外の拡張階層に分けて動画像における人物領域のデータを符号化することで、通常はアウェアネス情報を表示させるための基本階層のデータのみを送信して装置間で通信すべきデータ量を低減することができる。また、必要に応じて基本階層のデータに加え拡張階層のデータをも送信することで撮影された動画像を再生表示させることができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態による画像通信装置（送信側）１の構成例を示すブロック図であり、図２は、本発明の一実施形態による画像通信装置（受信側）２の構成例を示すブロック図である。
【００１０】
図１に示す画像通信装置１は、送信側装置としての機能を有する画像通信装置であり、カメラ等を用いて撮影されたディジタル動画像信号（動画像）が入力され、それをＪＰＥＧ２０００国際標準規格に準拠した要素技術で符号化し圧縮データとして出力する。画像通信装置１は、ＪＰＥＧ２０００（ＪＰ２Ｋ）規格に準拠して画像信号を符号化する帯域分割部１１、量子化部１４、ビットプレーン分解部１５、エントロピ符号化部１７、及びＪＰ２Ｋエンコーダ１８に加え、背景差分部１２、人物領域抽出部１３、及び機能的階層化部１６を有する。すなわち、後述する帯域分割部１１での帯域分割、量子化部１４での量子化、ビットプレーン分解部１５でのビットプレーン分解、及びエントロピ符号化部１７でのエントロピ符号化に係る処理は、ＪＰ２Ｋ規格に準拠した処理である。
【００１１】
また、図２に示す画像通信装置２は、受信側装置としての機能を有する画像通信装置であり、図１に示す画像通信装置１より伝送された圧縮データを受信し、それを復号してディジタル動画像信号として再生し図示しない画像表示装置に投影する（表示する）。画像通信装置２は、ＪＰ２Ｋ規格に準拠して圧縮データ（符号化されたデータ）を復号するエントロピ復号部２１、ビットプレーン合成部２２、逆量子化部２３、帯域合成部２５、及びＪＰ２Ｋデコーダ２６に加え、背景合成部２４を有する。
【００１２】
ここで、画像通信装置１が有する各機能部１１、１４、１５、１７、１８、及び画像通信装置２が有する各機能部２１、２２、２３、２５、２６の作用は、ＩＳＯ（International Organization for Standardization）が定める国際標準のひとつであるＪＰＥＧ２０００により規定されており、例えば、文献「JPEG 2000-Image compression fundamentals, standards and practice」、D.S.Taubman，M.W.Marcellin共著，Kluwer Academic Publishers，2002出版に記載されている。
【００１３】
図１に示す画像通信装置１について詳細に説明する。
画像通信装置１には、人物が存在しないときに撮影された静止画像である背景画像と、人物が存在する又は存在しないときに撮影された動画像が入力される。ここで、動画像は複数枚の静止画像から構成されており、それぞれの静止画像はフレームと呼ばれる。
【００１４】
帯域分割部１１は、ＪＰ２Ｋ規格に準拠したウェーブレット変換により背景画像及び動画像のそれぞれに対してタイル毎に帯域分割を施す。ここで、タイルとは、画像全体を分割することで得られる互いに隣接するＮ×Ｎ画素（Ｎは任意の自然数）の矩形領域であり、このタイルを符号化単位として画像信号が符号化される。
【００１５】
また、帯域分割部１１でのウェーブレット変換による帯域分割の結果として、低域成分からなる１ＬＬ帯域と、高域成分を含む１ＬＨ帯域、１ＨＬ帯域、１ＨＨ帯域と呼ばれる４種類の帯域信号が得られる。また、１ＬＬ帯域の帯域信号を更に帯域分割することで、２ＬＬ帯域、２ＬＨ帯域、２ＨＬ帯域、２ＨＨ帯域と呼ばれる４種類の帯域信号が生成される。このような再帰的な変換（帯域分割）が適用可能であり、この回数（帯域分割回数）はステージ数と呼ばれる。
帯域分割部１１は、生成された複数種類の帯域信号を背景差分部１２に供給する。
【００１６】
背景差分部１２は、帯域分割部１１にてそれぞれ複数種類の帯域信号に帯域分割された背景画像と動画像において同じ位置に存在する画素値の差分値を画素値とする画像を出力する。すなわち、背景差分部１２は、帯域分割された動画像の各フレームの画素値から、同じく帯域分割された背景画像の画素値を対応する画素毎に引き算し、その結果を出力する。帯域分割された動画像から帯域分割された背景画像を減算して生成された帯域信号は、人物領域抽出部１３に供給される。
【００１７】
ここで、撮像された動画像はリアルタイムに入力され、帯域分割部１１を経て背景差分部１２に随時供給されている。したがって、リアルタイムに撮像された動画像に基づく背景差分された帯域信号も複数種類が随時生成される。
なお、図１に示した例では、動画像及び背景画像を帯域分割した後に背景差分に係る処理を行うようにしているが、背景差分に係る処理を行った後に帯域分割を行うようにしても良い。
【００１８】
人物領域抽出部１３は、背景差分部１２にて動画像から背景画像を減算して生成された帯域信号に基づいて、タイル毎に人物領域か否かを判定し、人物領域の信号のみを処理して後段に出力する。人物領域であるか否かの判定方法としては、例えば、背景差分部１２の結果として得られた画素値が比較的小さい値であれば背景画素、そうでなければ人物画素であると判断して、人物画素をある閾値より多く含むタイルを人物領域タイルとし、それ以外を背景領域タイルと判別しても良い。
【００１９】
但し、人物領域か否かを何らかの手段により受信側に伝送する必要がある。そのために、タイル毎のヘッダとして、例えばＪＰ２Ｋ規格に準拠したビットストリームにおいて個々のタイルに対応するタイルパートヘッダのコメント拡張マーカなどに、人物領域か否かを記述して送信するようにしても良い。
【００２０】
また、例えば、図３（ａ）に示すような撮影された動画像に帯域分割部１１及び背景差分部１２で処理を施して生成される複数種類の低域画像（１ＬＬ帯域、２ＬＬ帯域、３ＬＬ帯域）に、２値化処理を施して図３（ｂ）に示すような画像を取得する。そして、図３（ｂ）に示す各画像を原画像サイズに拡大した後、これらすべての画像を用いて対応する画素毎に論理和演算を行うことにより図３（ｃ）に示すように人物領域が特定された画像を得られる。この図３（ｃ）に示す画像に基づいて、図３（ｄ）に示すように人物領域を含むタイルを人物領域タイルとして判定するようにしても良い。
【００２１】
上述のようにしてタイル単位で抽出された人物領域の例を図４に示す。
図４においては、（ａ１）〜（ａ４）に示される撮影された動画像に基づいて抽出された人物領域を（ｂ１）〜（ｂ４）にそれぞれ示している。
【００２２】
図１に戻り、量子化部１４は、ＪＰ２Ｋ規格に準拠した方法により、人物領域抽出部１３により抽出された人物領域の帯域信号を所定の量子化ステップサイズで量子化する。なお、この量子化処理はレート制御の精度を高めるためのものであるので、本実施形態において必須の処理ではなく、量子化処理を行うか否かは任意である。
【００２３】
ビットプレーン分解部１５は、量子化部１４により量子化された又は量子化されていない人物領域の複数種類の帯域信号をＪＰ２Ｋ規格に準拠した方法で帯域毎にビットプレーン分解する。なお、ビットプレーンとは、ある画像信号の全画素について、２進数で表現された画素値のあるビットのみを抽出することで得られる集合のことであり、元の画像信号と同じ構成要素数であり各構成要素は二値で表現される。
【００２４】
機能的階層化部１６は、ビットプレーン分解部１５より供給された複数種類の帯域信号の複数枚のビットプレーンについて基本階層か拡張階層かの何れかに分類する。これまでの処理により、画像通信装置１に入力された動画像信号は、タイル毎に人物領域であるか否かが判定されており、人物領域の各タイルについては複数種類の帯域信号に分割され、更に各帯域信号の各画素値については複数のビットプレーンに分割されている。したがって、機能的階層化部１６は、何れのタイルの、何れの帯域の、何れのビットプレーンを基本階層とするかを判別する。基本階層とするもの以外は拡張階層に判別する。
【００２５】
ここで、機能的階層化部１６は、人の詳細は特定できないが人の存在や動きなどの状態を示すことが可能なアウェアネス情報を受信側にて表示させるためのものを基本階層に分類し、それ以外のものを拡張階層に分類する。したがって、受信側では基本階層のみを受信することでアウェアネス情報を表示することができる。また、基本階層に加えて更に拡張階層を受信することで元の動画像を再生表示することができる。
【００２６】
エントロピ符号化部１７は、機能的階層化部１６から供給される基本階層及び拡張階層のそれぞれについて、ＪＰ２Ｋ規格に準拠した方法により各ビットプレーンを符号化する。そして、符号化により得られた基本階層の符号化データ（基本階層データ）及び拡張階層の符号化データ（拡張階層データ）を圧縮された人物領域のデータとして出力する。
【００２７】
ＪＰ２Ｋエンコーダ１８は、背景差分部１２に供給されるものと同じ背景画像をＪＰ２Ｋ規格に準拠した方法で符号化し、圧縮された背景画像データとして画像通信装置２（ＪＰ２Ｋデコーダ２６）に送信する。ここで、画像通信装置１と画像通信装置２との間では、まったく同じ背景画像を共有していることが必要である。背景画像は全体あるいは一部を適宜更新しても良く、背景画像を適宜更新するようにした場合には、日照や照明の変化に応じた、より画質の良好な画像通信が可能になる。また、背景画像を符号化するエンコーダ及び復号するデコーダについては、ＪＰ２Ｋ規格に準拠していなくとも良く、他の符号化／復号化方式のものを用いても構わない。
【００２８】
次に、図２に示す画像通信装置２について詳細に説明する。
画像通信装置２は、上述した画像通信装置１から送信される基本階層データ、拡張階層データ、及び背景画像データを受信する。
【００２９】
エントロピ復号部２１は、画像通信装置１からの基本階層データ及び拡張階層データについてＪＰ２Ｋ規格に準拠した方法により人物領域の帯域信号のビットプレーンを再生する。具体的には、エントロピ復号部２１は、受信した基本階層データ及び拡張階層データに画像通信装置１のエントロピ符号化部１７とは逆の処理を施し、人物領域の帯域信号のビットプレーンを再生する。
【００３０】
ビットプレーン合成部２２は、ＪＰ２Ｋ規格に準拠した、画像通信装置１のビットプレーン分解部１５とは逆の処理により、エントロピ復号部２１で再生された基本階層及び拡張階層それぞれの帯域信号のビットプレーンから人物領域の帯域信号を再生する。
逆量子化部２３は、ビットプレーン合成部２２で再生された人物領域の帯域信号を画像通信装置１の量子化部１４における量子化ステップサイズで逆量子化する。
【００３１】
背景合成部２４は、逆量子化部２３にて逆量子化処理が施された人物領域の帯域信号と、画像通信装置１のＪＰ２Ｋエンコーダ１８に対応するＪＰ２Ｋデコーダ２６にて背景画像データから復号された背景画像の帯域信号とを各画素値について加算する。
帯域合成部２５は、背景合成部２４において人物領域の画像と背景画像とを合成して得られる動画像の帯域信号を、画像通信装置１の帯域分割部１１とは逆の処理により帯域合成してアウェアネス又は動画像を再生する。
【００３２】
上述した構成により、画像通信装置２は、基本階層データのみを受信した場合にはアウェアネス情報を表示し、基本階層データと拡張階層データの両方を受信し処理した場合には、撮影された元の動画像、すなわち通常の監視カメラのような人物等も明確に表示される画像を再生表示することができる。
【００３３】
上述した画像通信装置１の機能的階層化部１６において、アウェアネス情報を受信側にて表示させるための基本階層に、どのような信号（データ）を分類するかについては、以下のような幾つかの方法が考えられる。以下、図５−１、図５−２を適宜参照して説明する。なお、図５−１に示す（Ａ１）〜（Ａ４）の画像を、撮影された動画像とする。
【００３４】
＜半透明化によるアウェアネス＞
Ｎ（Ｎは整数）を帯域信号のビットプレーンの総数、ｐを０〜（Ｎ−１）までの整数として、機能的階層化部１６において、全部でＮ枚あるビットプレーンのうちの上位の（Ｎ−ｐ）枚のみ、すなわち帯域信号の振幅値のＭＳＢ側から（Ｎ−ｐ）枚のビットプレーンを基本階層に分類する。また、透明度ｑを２の（−ｐ）乗と表記する。但し、ｐ＝（Ｎ−１）のときの透明度ｑは０とする。そして、受信側の画像通信装置２は、送信側の画像通信装置１からの基本階層データ及び背景画像データを、｛（人物領域の帯域信号の振幅値）×（透明度）＋（背景画像の帯域信号の振幅値）×（１−透明度）｝として画像全体の帯域信号を再生する。
【００３５】
このように、Ｎ枚あるビットプレーンのうちの上位の（Ｎ−ｐ）枚のみを基本階層に分類することで、基本階層データとしてデータ画像通信装置１と２の間で送受信するデータ量を低減し、なおかつ受信側で半透明な人物映像としてのアウェアネス情報を再生表示することができる。
【００３６】
なお、機能的階層化部１６によりタイル単位で指定される透明度は、何らかの形で受信側に伝送する必要があり、例えば、ＪＰ２Ｋ規格に準拠したビットストリームにおいて個々のタイルに対応するタイルパートヘッダのコメント拡張マーカに指定される透明度を記述してもよい。
【００３７】
また、透明度については、例えば、人物とカメラとの距離に応じて変化させても良い。この場合、図５−１における画像（Ｂ１）〜（Ｂ４）に示すように、カメラから遠い場合には半透明なアウェアネス情報が、近い場合には不透明な通常の監視カメラ映像が受信側に表示される。なお、図５−１における画像（Ｂ１）〜（Ｂ４）は、図５−１に示す画像（Ａ１）〜（Ａ４）にそれぞれ対応する受信側での表示画像である。
【００３８】
ここで、人物とカメラとの距離については、人物領域の面積（画素数やタイル数）から判断するようにしても良いし、別途、距離センサを設置してその出力信号を用いるようにしても良い。距離センサとしては、例えば、天井に設置されたカメラ、床に埋め込まれた圧力センサ、赤外線センサなどが利用できる。
【００３９】
また、人物とカメラとの距離にかかわらず表示される人物映像の透明度を一定に設定しても良い。このときの透明度はユーザの要求に応じて適宜更新可能にしても良い。特に、複数の人物が存在する場合においては、オクルージョン（映像上での人物の重なり）の影響を受けないために有効なアウェアネス表示方法の１つとなる。
【００４０】
＜輪郭化によるアウェアネス＞
機能的階層化部１６において、人物領域の各種帯域信号のうちの高域の帯域信号のみを基本階層に分類することで、基本階層データとして装置１、２の間で送受信するデータ量を低減し、なおかつ受信側で輪郭のみが写された人物映像を再生表示することができる。図５−２の画像（Ｃ１）〜（Ｃ３）に、人物の輪郭をアウェアネス情報としたときに受信側で表示される映像を示す。図５−２における画像（Ｃ１）〜（Ｃ３）は、図５−１に示す画像（Ａ１）〜（Ａ３）にそれぞれ対応する受信側での表示画像である。
【００４１】
この例では、人物がカメラから「近い」か「遠い」かの二通りで透明度を表現し、「近い」場合には、全ての帯域｛１ＬＨ、１ＨＨ、１ＨＬ、２ＬＨ、２ＨＨ、２ＨＬ、２ＬＬ｝を基本階層とし、不透明な通常の監視カメラ映像が受信側に表示される（図示せず）。一方、「遠い」場合には｛２ＬＨ，２ＨＨ，２ＨＬ，２ＬＬ｝を削除して輪郭成分である｛１ＬＨ，１ＨＨ，１ＨＬ｝のみを基本階層とし、画像（Ｃ１）〜（Ｃ３）に示すように人物の輪郭によるアウェアネス情報が受信側に表示される。なお、図５−２の画像（Ｃ１）〜（Ｃ３）に示した例では、上述した一部のビットプレーンのみの抽出は行わず、全てのビットプレーンを処理している。
【００４２】
＜暈かしによるアウェアネス＞
機能的階層化部１６において、人物領域の各種帯域信号のうちの低域の帯域信号のみを基本階層に分類することで、基本階層データとして装置１、２間で送受信するデータ量を低減し、なおかつ受信側において不鮮明な人物映像を再生表示することもできる。
【００４３】
＜コマ落しによるアウェアネス＞
機能的階層化部１６において、コマ落しされたフレーム、言い換えれば所定の間隔で抽出されたフレームを基本階層に分類することで、基本階層データとして装置１、２の間で送受信するデータ量を低減し、なおかつ受信側においてコマ落しされた人物映像をアウェアネス情報として再生表示することもできる。これにより、更なる伝送ビットレートの低減が可能となる。
【００４４】
＜半透明化、輪郭化、暈かし、コマ落しの任意の組み合わせによるアウェアネス＞
なお、上述した半透明化、輪郭化、暈かし、コマ落しによるアウェアネスを適宜組み合わせても良い。つまり、機能的階層化部１６において、人物領域の各種帯域信号のうちの幾つかの帯域信号のみを基本階層に分類することで、基本階層データとして装置１，２の間で送受信するデータ量を低減し、なおかつ受信側において半透明化、輪郭化、暈かし、及びコマ落しが任意に組み合わされた人物映像を再生表示することもできる。
【００４５】
例えば、図５−２の画像（Ｄ１）〜（Ｄ３）には、半透明化されかつ不鮮明な人物映像をアウェアネス情報としたときに受信側で表示される映像を示す。図５−２における画像（Ｄ１）〜（Ｄ３）は、図５−１に示す画像（Ａ１）〜（Ａ３）にそれぞれ対応する受信側での表示画像である。ここでは、人物とカメラとの距離により透明度を数段階に分け、それに応じてビットプレーンの一部を抽出し、更に暈け成分である１ＬＬ帯域のみを符号化している。あるいは、２ＬＬ帯域のみを符号化することでより暈かされた（プライバシーの保護された）人物映像が再生表示される。
【００４６】
また、例えば、図５−２の画像（Ｅ１）〜（Ｅ３）には、半透明化、輪郭化、及び暈かしを組み合わせアウェアネス情報としたときに受信側で表示される映像を示す。図５−２における画像（Ｅ１）〜（Ｅ３）は、図５−１に示す画像（Ａ１）〜（Ａ３）にそれぞれ対応する受信側での表示画像である。ここでは、人物とカメラとの距離により透明度を数段階に分け、それに応じてビットプレーンの一部を抽出し、輪郭成分である｛１ＬＨ，１ＨＨ，１ＨＬ｝帯域と暈け成分である｛２ＬＬ｝帯域のみを符号化している。
【００４７】
図６は、本発明の他の実施形態による画像通信装置（送信側）３の構成例を示すブロック図であり、図７は、本発明の他の実施形態による画像通信装置（受信側）４構成例を示すブロック図である。この図６及び図７において、図１及び図２に示したブロック等と同一の機能を有するブロック等には同一の符号を付し、重複する説明は省略する。
【００４８】
図６に示す画像通信装置３は、ＪＰ２Ｋ規格に準拠して画像信号を符号化する帯域分割部１１、ビットプレーン分解部１５、帯域合成部２０、及びＪＰ２Ｋエンコーダ３１〜３３に加え、背景差分部１２、人物領域抽出部１３、及びゼロ値挿入部１９を有する。すなわち、帯域分割部１１での帯域分割、ビットプレーン分解部１５でのビットプレーン分解、及び帯域合成部２０での帯域合成に係る処理は、ＪＰ２Ｋ規格に準拠した処理である。
【００４９】
ゼロ値挿入部１９は、図１に示した機能的階層化部１６と同様にして、ビットプレーン分解部１５より供給された複数種類の帯域信号の複数枚のビットプレーンについて基本階層か拡張階層かの何れかに分類する。さらに、ゼロ値挿入部１９は、基本階層については基本階層として分類された人物領域の帯域信号のビットプレーン以外にゼロ値を挿入し、拡張階層については基本階層として分類された人物領域の帯域信号のビットプレーンをゼロ値で置き換える。
【００５０】
帯域合成部２０は、ゼロ値挿入部１９にて基本階層に分類され、ゼロ値の挿入が行われた基本階層の各種帯域信号を帯域合成して基本階層画像を生成する。また、帯域合成部２０は、同様にゼロ値挿入部１９にて拡張階層に分類され、ゼロ値の置換が行われた拡張階層の各種帯域信号を帯域合成して拡張階層画像を生成する。
【００５１】
ＪＰ２Ｋエンコーダ３１は、図１に示したＪＰ２Ｋエンコーダ１８に相当し、背景画像をＪＰ２Ｋ規格に準拠した方法で符号化し、圧縮された背景画像データとして画像通信装置４（ＪＰ２Ｋデコーダ３４）に送信する。
ＪＰ２Ｋエンコーダ３２は、帯域合成部２０にて生成された拡張階層画像をＪＰ２Ｋ規格に準拠した方法で符号化し、圧縮された拡張階層データとして画像通信装置４（ＪＰ２Ｋデコーダ３５）に送信する。
ＪＰ２Ｋエンコーダ３３は、帯域合成部２０にて生成された基本階層画像をＪＰ２Ｋ規格に準拠した方法で符号化し、圧縮された基本階層データとして画像通信装置４（ＪＰ２Ｋデコーダ３５）に送信する。
【００５２】
図７に示す画像通信装置４は、ＪＰ２Ｋ規格に準拠して圧縮データ（符号化データ）を復号する帯域分割部２７、ビットプレーン合成部２２、帯域合成部２５、及びＪＰ２Ｋデコーダ３４〜３６に加え、背景合成部２４を有する。
【００５３】
ＪＰ２Ｋデコーダ３４は、図２に示したＪＰ２Ｋデコーダ２６に相当し、画像通信装置３からの背景画像データをＪＰ２Ｋ規格に準拠した方法で復号し背景画像を出力する。
ＪＰ２Ｋデコーダ３５は、画像通信装置３からの拡張階層データをＪＰ２Ｋ規格に準拠した方法で復号して拡張階層画像を出力し、ＪＰ２Ｋデコーダ３６は、画像通信装置３からの基本階層データをＪＰ２Ｋ規格に準拠した方法で復号して基本階層画像を出力する。
【００５４】
帯域分割部２７は、ＪＰ２Ｋ規格に準拠したウェーブレット変換により、ＪＰ２Ｋデコーダ３４〜３６で復号された基本階層画像、拡張階層画像、及び背景画像のそれぞれに対してタイル毎に帯域分割を施す。
【００５５】
図６及び図７に示した画像通信装置３，４によれば、ビットプレーン分解された複数種類の帯域信号の複数枚のビットプレーンについて、上述した図１及び図２に示した画像通信装置１，２と同様に基本階層又は拡張階層に分類することで、装置３、４の間で送受信するデータ量を低減し、なおかつ受信側でプライバシーの保護された人物映像を再生表示させることができる。また、送信側において基本階層については基本階層として分類された人物領域の帯域信号のビットプレーン以外にゼロ値を挿入し、拡張階層については基本階層として分類された人物領域の帯域信号のビットプレーンをゼロ値で置き換えることで、人物領域であるか否かをタイルパートヘッダのコメント拡張マーカなどに記述する処理が不要になるとともに、ビットプレーンの一部を抽出する処理が不要になる。
【００５６】
なお、図１に示した画像通信装置１、図６に示した画像通信装置３において、拡張階層を生成する機能を備えずに、基本階層のみを生成してアウェアネス情報に係る通信に機能を限定することで、装置の簡素化及び省電力化を図ることができる。
また同様に、図２に示した画像通信装置２、図７に示した画像通信装置４において、拡張階層データを処理する機能を備えずに、基本階層データのみを受信してアウェアネスのみを表示させるようにすることで、受信側の装置においても簡素化及び省電力化を図ることができる。
【００５７】
以上、説明したように本実施形態によれば、下記に示すような効果を得ることができる。
従来、プライバシーコンシャスな画像通信を実現しようとする場合には、常に撮影により映像信号のすべてを符号化して送信していた。
それに対して本実施形態では、送信側の画像通信装置１（３）から映像信号を圧縮伝送する際に、基本階層と拡張階層に分けて、通常は基本階層のデータのみを超低ビットレートで伝送し、必要に応じて拡張階層のデータを追加して伝送する。また、受信側の画像通信装置２（４）により、基本階層のデータのみを復号した場合にはアウェアネスが表示され、基本階層のデータに加え拡張階層のデータも併せて復号した場合には撮影された元の映像が表示される。
【００５８】
ここで、本実施形態において、基本階層のデータと拡張階層のデータを合わせた全体の符号量は、基本階層と拡張階層の２つに分離せずに符号化した場合の全符号量と等しい。したがって、通常は超低ビットレートの通信で全符号化データの一部である基本階層のデータを送信してアウェアネスを再生表示させ、必要な場合のみに全符号化データを通信して映像信号を再生表示させることにより、通信に要するデータ伝送量を大幅に低減し、かつプライバシーコンシャスな画像通信を実現することができる。
【００５９】
具体的には、画像通信装置１（３）により、人物領域が、（ａ）アウェアネス情報を含む基本階層（低帯域又は高帯域の上位ビットプレーン）と、（ｂ）追加情報を含む拡張階層（基本階層以外の帯域と基本階層に属する帯域の下位ビットプレーン）に分けられる。アウェアネス情報を含む基本階層には、（１）人物領域のみ、（２）上位ビットプレーンのみ、（３）優先された一部の帯域のみが含まれるため、通常のアウェアネス表示時に要するデータ伝送量は少なく低ビットレートでの通信が可能となる。以下、この様子を実証データで示す。
【００６０】
図８は、全タイル中の人物領域タイルの占有率と、基本階層の伝送に要したビットレートとの関係を示す。但し、量子化、帯域切捨て、ビットプレーン切捨といったロスを生じさせる処理は行っていない。また、透明度は、カメラと人物との距離に応じて変化させている。図９、図１０においても同様である。全タイル中の人物領域タイルの占有率と、基本階層の伝送に要したビットレートとの相関係数は０．９９であり、人物領域タイルのみを伝送することで通信量が削減されることが確認できる。
【００６１】
図９は、透明度に応じて半透明化された人物を表示するのに必要最低限のビットプレーンの割合（枚数／全部で８枚）と、基本階層の伝送に要したビットレートとの関係を示す。ビットプレーンの割合と、基本階層の伝送に要したビットレートとの相関係数は０．９５であり、上位ビットプレーンのみを伝送することで通信量が削減されることが確認できる。
【００６２】
図１０は、一部の帯域のみをアウェアネスとした場合の伝送レートを示している。人物とカメラとの距離が短くなる程に、第３ステージ、第２ステージ、第１ステージのそれぞれのＬＬ帯域を伝送した場合を示している。すなわち、伝送量としては画素数にすると（０．２５）の２乗，（０．２５）の１乗，（０．２５）の０乗の割合となる。これらの割合と伝送に要したビット数との相関係数は０．７７であった。これにより、一部の帯域のみを伝送することで通信量が削減されることが確認できる。
【００６３】
また、本実施形態では、ＪＰ２Ｋ規格に準拠した符号化処理、復号処理に含まれる処理の一部を送信側及び受信側の画像通信装置での処理を活用することで、ＪＰ２Ｋ規格に準拠した処理を実行するために開発された汎用的なＬＳＩのハードウェアコアを活用できるため、通信装置の開発費及びコストを削減することができるとともに、ハードウェア設計の開発期間を短縮することができる。
【００６４】
（本発明の他の実施形態）
なお、以上に説明した本実施形態の画像通信装置は、コンピュータのＣＰＵ又はＭＰＵ、ＲＡＭ、ＲＯＭ等で構成されるものであり、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現でき、上記プログラムは本発明の実施形態に含まれる。また、コンピュータが上述した実施形態の機能を果たすように動作させるプログラムを、例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものであり、上記プログラムを記録した記録媒体は本発明の実施形態に含まれる。上記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
【００６５】
また、コンピュータがプログラムを実行し処理を行うことにより、上述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態に含まれる。上記プログラムプロダクトとしては、上述の実施形態の機能を実現するプログラム自体、上記プログラムが読み込まれたコンピュータ、ネットワークを介して通信可能に接続されたコンピュータに上記プログラムを提供可能な送信装置、及び当該送信装置を備えるネットワークシステム等がある。
【００６６】
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理のすべて又は一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
【００６７】
例えば、本実施形態の画像通信装置は、図１１に示すようなコンピュータ機能１１００を有し、そのＣＰＵ１１０１により上述した実施形態での動作が実施される。
【００６８】
コンピュータ機能１１００は、上記図１１に示すように、ＣＰＵ１１０１と、ＲＯＭ１１０２と、ＲＡＭ１１０３と、キーボード（ＫＢ）１１０９のキーボードコントローラ（ＫＢＣ）１１０５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）１１１０のＣＲＴコントローラ（ＣＲＴＣ）１１０６と、ハードディスク（ＨＤ）１１１１及びフレキシブルディスク（ＦＤ）１１１２のディスクコントローラ（ＤＫＣ）１１０７と、ネットワークインタフェースカード（ＮＩＣ）１１０８とが、システムバス１１０４を介して互いに通信可能に接続された構成としている。
【００６９】
ＣＰＵ１１０１は、ＲＯＭ１１０２又はＨＤ１１１１に記憶されたソフトウェア、又はＦＤ１１１２より供給されるソフトウェアを実行することで、システムバス１１０４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ１１０１は、上述したような動作を行うための処理プログラムを、ＲＯＭ１１０２、ＨＤ１１１１、又はＦＤ１１１２から読み出して実行することで、上述した実施形態での動作を実現するための制御を行う。
【００７０】
ＲＡＭ１１０３は、ＣＰＵ１１０１の主メモリ又はワークエリア等として機能する。
ＫＢＣ１１０５は、ＫＢ１１０９や図示していないポインティングデバイス等からの指示入力を制御する。
ＣＲＴＣ１１０６は、ＣＲＴ１１１０の表示を制御する。
ＤＫＣ１１０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び上記処理プログラム等を記憶するＨＤ１１１１及びＦＤ１１１２とのアクセスを制御する。
ＮＩＣ１１０８はネットワーク１１１３上の他の装置と双方向にデータをやりとりする。
【００７１】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施形態による画像通信装置（送信側）の構成例を示す図である。
【図２】本発明の実施形態による画像通信装置（受信側）の構成例を示す図である。
【図３】人物領域タイルの判定方法の一例を説明するための図である。
【図４】タイル単位で抽出された人物領域の一例を示す図である。
【図５−１】受信側の画像通信装置での表示画像の一例を示す図である。
【図５−２】受信側の画像通信装置での表示画像の一例を示す図である。
【図６】本発明の他の実施形態による画像通信装置（送信側）の構成例を示す図である。
【図７】本発明の他の実施形態による画像通信装置（受信側）の構成例を示す図である。
【図８】人物領域タイルの占有率と、基本階層の伝送に要したビットレートとの関係を示す図である。
【図９】ビットプレーンの割合と、基本階層の伝送に要したビットレートとの関係を示す図である。
【図１０】一部の帯域のみをアウェアネスとした場合の伝送レートを示す図である。
【図１１】本実施例における画像処理装置を実現可能なコンピュータ機能を示すブロック図である。
【符号の説明】
【００７３】
１、３  画像通信装置（送信側）
２、４  画像通信装置（受信側）
１１  帯域分割部
１２  背景差分部
１３  人物領域抽出部
１４  量子化部
１５  ビットプレーン分解部
１６  機能的階層化部
１７  エントロピ符号化部
１８、３１〜３３  ＪＰ２Ｋエンコーダ
１９  ゼロ値挿入部
２０  帯域合成部
２１  エントロピ復号部
２２  ビットプレーン合成部
２３  逆量子化部
２４  背景合成部
２５  帯域合成部
２６、３４〜３６  ＪＰ２Ｋデコーダ
２７  帯域分割部
【図１】
2008099033.tif 000003
【図２】
2008099033.tif 000004
【図６】
2008099033.tif 000005
【図７】
2008099033.tif 000006
【図８】
2008099033.tif 000007
【図９】
2008099033.tif 000008
【図１０】
2008099033.tif 000009
【図１１】
2008099033.tif 000010
【図３】
2008099033.tif 000011
【図４】
2008099033.tif 000012
【図５−１】
2008099033.tif 000013
【図５−２】
2008099033.tif 000014