(57)【要約】【課題】画像の情報量が多い部分と少ない部分との境界領域における画像の品質を保持すること。【解決手段】開示の技術の一態様に係る画像処理装置は、入力画像の第１特徴量に基づいて、前記入力画像に含まれる人物の顔領域以外の領域を分割する第１分割処理部と、前記第１分割処理部により分割された領域毎で、情報量を減少させる処理を実行する情報量減少処理部と、を有する。【選択図】図８
2020198476.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の第１特徴量に基づいて、前記入力画像に含まれる人物の顔領域以外の領域を分割する第１分割処理部と、
前記第１分割処理部により分割された領域毎で、情報量を減少させる処理を実行する情報量減少処理部と、を有する
画像処理装置。
【請求項２】
前記第１特徴量は、
前記顔領域以外の領域における前記顔領域を囲む複数の枠状領域及び前記顔領域のうち、隣接する前記枠状領域同士の間及び隣接する前記顔領域と前記枠状領域との間における画素輝度の差に基づいて抽出され、
前記第１分割処理部は、
前記画素輝度の差が予め定められた第１閾値より大きい場合に、隣接する前記枠状領域同士又は隣接する前記顔領域と前記枠状領域を分割する
請求項１に記載の画像処理装置。
【請求項３】
前記入力画像の第２特徴量に基づいて、前記枠状領域を分割する第２分割処理部を有し、
前記情報量減少処理部は、
前記第２分割処理部により分割された領域毎で前記情報量を異ならせる処理を実行する請求項２に記載の画像処理装置。
【請求項４】
前記第２特徴量は、
前記複数の枠状領域のそれぞれにおける複数の矩形領域及び前記顔領域のうち、隣接する前記矩形領域同士の間及び隣接する前記顔領域と前記矩形領域との間における画素輝度の差に基づいて抽出され、
前記第２分割処理部は、
前記画素輝度の差が予め定められた第２閾値より大きい場合に、隣接する前記矩形領域同士又は隣接する前記顔領域と前記矩形領域を分割する
請求項３に記載の画像処理装置。
【請求項５】
コンピュータを、
入力画像の第１特徴量に基づいて、前記入力画像に含まれる人物の顔領域以外の領域を分割する第１分割処理部、及び
前記第１分割処理部により分割された領域毎で、情報量を減少させる処理を実行する情報量減少処理部
として機能させるプログラム。
【請求項６】
入力画像の第１特徴量に基づいて、前記入力画像に含まれる人物の顔領域以外の領域を分割する工程と、
前記第１分割処理部により分割された領域毎で、情報量を減少させる処理を実行する工程と、を含む
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、プログラム、及び画像処理方法に関する。
【背景技術】
【０００２】
ネットワークや通信機器等の普及により、動画像等の画像を利用した利便性の高いコミュニケーションが可能となっている。このような画像を用いた通信では、ネットワーク帯域が狭い場合等に、画像や音声の品質が低下することがある。これに対し、ネットワークの混雑状況を検出し、送信する画像の情報量を減少させる方法が用いられている。
【０００３】
また、スマートフォンや、タブレット端末、ビデオ会議端末等の画像を用いた通信機能を有する画像処理装置において、通信する情報量を削減するために、画像内で喋りを伴う唇の動きを含んだ顔等の重要性の高い部分と、人の顔以外の背景等の重要性の低い部分を区別し、画像の情報量を異ならせるものが開示されている（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置では、画像の情報量が多い部分と少ない部分との境界領域で画像の品質が低下する場合があった。
【０００５】
開示の技術は、画像の情報量が多い部分と少ない部分との境界領域における画像の品質を保持することを課題とする。
【課題を解決するための手段】
【０００６】
開示の技術の一態様に係る画像処理装置は、入力画像の第１特徴量に基づいて、前記入力画像に含まれる人物の顔領域以外の領域を分割する第１分割処理部と、前記第１分割処理部により分割された領域毎で、情報量を減少させる処理を実行する情報量減少処理部と、を有する。
【発明の効果】
【０００７】
開示の技術によれば、画像の情報量が多い部分と少ない部分との境界領域における画像の品質を保持することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係るビデオ会議端末の構成の一例を示す外観図である。
【図２】実施形態に係るビデオ会議端末のハードウェア構成の一例を説明するブロック図である。
【図３】実施形態に係るビデオ会議端末の機能構成の一例を説明するブロック図である。
【図４】実施形態に係るビデオ会議端末による情報量減少処理を説明する図である。
【図５】実施形態に係るビデオ会議端末における画像の領域毎の更新タイミングを説明するタイミングチャートである。
【図６】実施形態に係るビデオ会議端末による画像の情報量の減少効果を説明する図である。
【図７】実施形態に係るビデオ会議端末による処理の一例を示すフローチャートである。
【図８】第１の実施形態に係るビデオ会議端末の機能構成の一例を説明するブロック図である。
【図９】非顔領域を囲むように設定された枠状領域の一例を説明する図である。
【図１０】非顔領域の分割処理の一例を説明する図である。
【図１１】第１の実施形態に係るビデオ会議端末で使用される空間フィルタの一例を説明する図であり、（ａ）はサイズ３×３画素の空間フィルタを説明する図、（ｂ）はサイズ５×５画素の空間フィルタを説明する図である。
【図１２】第１の実施形態に係るビデオ会議端末による処理の一例を示すフローチャートである。
【図１３】第２の実施形態に係るビデオ会議端末の機能構成の一例を説明するブロック図である。
【図１４】枠状領域の分割処理の一例を説明する図である。
【図１５】第２の実施形態に係るビデオ会議端末による処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照して発明を実施するための形態について説明する。なお、各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。
【００１０】
実施形態では、画像処理装置の一例としてのビデオ会議端末について説明する。但し、通信機能を備えた装置であれば、画像処理装置はビデオ会議端末に限定されるものではない。画像処理装置は、例えば、ＰＪ（Projector：プロジェクタ）、ＩＷＢ（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車（Connected Car）、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、PAD（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ、又はデスクトップＰＣ等であっても良い。
【００１１】
＜実施形態に係るビデオ会議端末の構成＞
先ず、実施形態に係るビデオ会議端末の構成の一例を説明する。図１は、ビデオ会議端末１０の外観図である。図１に示すように、ビデオ会議端末１０は、筐体１１００と、アーム１２００と、カメラハウジング１３００とを有する。このうち、筐体１１００の前側壁面１１１０には、複数の吸気孔によって形成された吸気面が設けられており、筐体１１００の後側壁面１１２０には、複数の排気孔が形成された排気面１１２１が設けられている。これにより、筐体１１００に内蔵された冷却ファンの駆動によって、吸気面を介してビデオ会議端末１０の後方の外気を取り込み、排気面１１２１を介してビデオ会議端末１０の後方へ排気することができる。筐体１１００の右側壁面１１３０に収音用孔１１３１が形成されていることで、内蔵型のマイク１１４は、音声、物音、雑音等の音を収音可能となっている。
【００１２】
筐体１１００の右側壁面１１３０側には、操作パネル１１５０が形成されている。この操作パネル１１５０には、複数の操作ボタン（１０８ａ〜１０８ｅ）、電源スイッチ１０９、及びアラームランプ１１９が設けられていると共に、内蔵型のスピーカ１１５からの出力音を通すための複数の音出力孔によって形成された音出面１１５１が形成されている。また、筐体１１００の左側壁面１１４０側には、アーム１２００及びカメラハウジング１３００を収容するための凹部としての収容部１１６０が形成されている。筐体１１００の右側壁面１１３０には、接続Ｉ／Ｆ１１８に対して電気的にケーブルを接続するための複数の接続口（１１３２ａ〜１１３２ｃ）が設けられている。一方、筐体１１００の左側壁面１１４０には、接続Ｉ／Ｆ１１８に対して電気的にディスプレイ１２０用のケーブル１２０ｃを接続するための接続口が設けられている。
【００１３】
次に、アーム１２００は、トルクヒンジ１２１０を介して筐体１１００に取り付けられており、アーム１２００が筐体１１００に対して、１３５度のチルト角θ１の範囲で、上下方向に回転可能になっている。図１は、チルト角θ１が９０度の状態を示している。カメラハウジング１３００には、内蔵型のカメラ１１２が設けられており、ユーザ、書類、及び部屋等を撮像することができる。また、カメラハウジング１３００には、トルクヒンジ１３１０が形成されている。カメラハウジング１３００は、トルクヒンジ１３１０を介して、アーム１２００に取り付けられている。カメラハウジング１３００はアーム１２００に対して、図１で示されている状態を０度として±１８０度のパン角θ２の範囲で、且つ、±４５度のチルト角θ３の範囲で、上下左右方向に回転可能になっている。
【００１４】
なお、上記図１の外観図はあくまで一例であってこの外観に限定するものではない。ビデオ会議端末１０として用いるコンピュータに、マイクやカメラが備わっていない場合には、外付けのマイクおよびカメラをコンピュータに接続させることができる。また、ビデオ会議端末１０が汎用コンピュータやスマートフォン等である場合には、無線ＬＡＮや携帯電話網等による無線通信により、ビデオ会議端末１０とインターネットとを接続しても良い。また、ビデオ会議端末１０として汎用コンピュータを用いる場合には、コンピュータにビデオ会議端末１０の処理を実行するためのアプリケーションをインストールしておくことができる。
【００１５】
＜実施形態に係るビデオ会議端末のハードウェア構成＞
次に、図２は、ビデオ会議端末１０のハードウェア構成の一例を説明する図である。図２に示すように、ビデオ会議端末１０は、ＣＰＵ（Central Processing Unit）７０１と、ＲＯＭ（Read Only Memory)７０２と、ＲＡＭ（Random Access Memory）７０３と、フラッシュメモリ７０４と、ＳＳＤ（Solid State Drive）７０５と、メディアＩ／Ｆ(Interface)７０７と、操作ボタン７０８と、電源スイッチ７０９とを有する。またビデオ会議端末１０は、バスライン７１０と、ネットワークＩ／Ｆ７１１と、カメラ７１２と、撮像素子Ｉ／Ｆ７１３と、マイク７１４と、スピーカ７１５と、音入出力Ｉ／Ｆ７１６と、ディスプレイＩ／Ｆ７１７と、外部機器接続Ｉ／Ｆ７１８と、近距離通信回路７１９と、近距離通信回路７１９のアンテナ７１９ａとを有する。
【００１６】
これらのうち、ＣＰＵ７０１は、ビデオ会議端末１０全体の動作を制御する。ＲＯＭ７０２は、ＩＰＬ（Initial Program Loader）等のＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＳＳＤ７０４は、ＣＰＵ７０１のワークエリアとして使用される。フラッシュメモリ７０４は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。
【００１７】
ＳＳＤ７０５は、ＣＰＵ７０１の制御に従ってフラッシュメモリ７０４に対する各種データの読み出し又は書き込みを制御する。なお、ＳＳＤに代えてＨＤＤ（Hard Disk Drive）を用いても良い。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御する。
【００１８】
操作ボタン７０８は、図１に示した複数の操作ボタン（１０８ａ〜１０８ｅ）を含み、ビデオ会議端末１０の宛先を選択する場合等に操作される。但し、ビデオ会議端末１０の操作は、操作ボタン７０８に限定されるものではなく、タッチパネル機能が搭載された液晶表示装置（ＬＣＤ；Liquid Crystal Display）や有機ＥＬ（Organic Electro-Luminescence）表示装置で構成されてもよい。
【００１９】
電源スイッチ７０９は、ビデオ会議端末１０の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。また、ネットワークＩ／Ｆ７１１は、インターネット等の通信ネットワークを利用してデータ通信をするためのインタフェースである。
【００２０】
ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ７１２は、ＣＰＵ７０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、ＣＭＯＳセンサではなく、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段であってもよい。撮像素子Ｉ／Ｆ７１３は、ＣＭＯＳセンサ７１２の駆動を制御する回路である。マイク７１４は、音を電気信号に変える内蔵型の回路である。スピーカ７１５は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。
【００２１】
音入出力Ｉ／Ｆ７１６は、ＣＰＵ７０１の制御に従ってマイク７１４及びスピーカ７１５との間で音信号の入出力を処理する回路である。ディスプレイＩ／Ｆ７１７は、ＣＰＵ７０１の制御に従って外付けのディスプレイに画像データを送信する回路である。
【００２２】
外部機器接続Ｉ／Ｆ７１８は、各種の外部機器を接続するためのインタフェースである。外部機器接続Ｉ／Ｆ７１８には、ＵＳＢ（Universal Serial Bus）ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、ＣＰＵ７０１の制御に従って、内蔵型のＣＭＯＳセンサ７１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ７０１の制御に従って、それぞれが内蔵型のマイク７１４や内蔵型のスピーカ７１５に優先して、外付けマイクや外付けスピーカが駆動する。
【００２３】
近距離通信回路７１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。また、バスライン７１０は、図２に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【００２４】
ディスプレイ７２０は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)等によって構成された表示手段の一種である。また、ディスプレイ７２０は、ケーブルによってディスプレイＩ／Ｆ７１７に接続される。このケーブルは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ(High-Definition Multimedia Interface)（登録商標）やＤＶＩ(Digital Video Interactive)信号用のケーブルであってもよい。
【００２５】
また、記録メディア７０６は、ビデオ会議端末１０に対して着脱自在な構成となっている。また、ＣＰＵ７０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ７０４に限らず、ＥＥＰＲＯＭ等を用いてもよい。
【００２６】
＜実施形態に係るビデオ端末の機能構成＞
ここで、ビデオ会議端末１０を用いて動画像によるビデオ会議を行う場合等には、動画像内で人物の顔を含む顔領域は、会議参加者の表情等を相手方に伝えることができるため、コミュニケーションを円滑にするために重要性が高い領域となる。一方、顔を含まない非顔領域は、顔を含む領域と比較して重要性が低い領域である。
【００２７】
実施形態では、動画像等の画像内で、重要性が低い非顔領域のみに情報量を減少させる処理を実行する。これにより、重要性の高い顔領域における画像の品質を維持しつつ、画像の情報量を減少させて、画像や音声の品質が低下することを防いでいる。
【００２８】
図３は、実施形態に係るビデオ会議端末１０の機能構成の一例を説明するブロック図である。図３に示すように、ビデオ会議端末１０は、顔検出処理部３０１と、非顔領域設定部３０２と、情報量減少処理部３０３と、符号化処理部３０４とを有する。これらの各部は、図２のＣＰＵ７０１が所定のプログラムを実行すること等により実現される。
【００２９】
顔検出処理部３０１は、ビデオ会議端末１０に所定のフレームレートで入力される動画像の各フレームの画像（入力画像）に含まれる人物の顔を検出する。そして、画像内で人物の顔に該当する顔領域を示す座標情報を、非顔領域設定部３０２に出力する。また、顔検出処理部３０１は、入力される動画像のフレーム間での人物の顔の動き量を検出し、フレームレート低下処理部３０７に出力する。
【００３０】
非顔領域設定部３０２は、入力した顔領域を示す座標情報に基づいて、顔領域以外の領域を非顔領域として設定し、非顔領域が設定された画像を情報量減少処理部３０３に出力する。
【００３１】
情報量減少処理部３０３は、非顔領域設定部３０２から入力した画像で設定された非顔領域に対して、情報量を減少させる処理を実行する。また、情報量減少処理部３０３は、低域通過フィルタ処理部３０５と、コントラスト低減処理部３０６と、フレームレート低下処理部３０７とを有する。
【００３２】
低域通過フィルタ処理部３０５は、入力した画像の非顔領域に対し、選択的に低域通過フィルタ処理を実行する。低域通過フィルタ処理は、画像における低い空間周波数帯域のみを通過させ、他の帯域を遮断する所謂ローパスフィルタ処理である。
【００３３】
ここで、非顔領域に対して実行する低域通過フィルタ処理部３０５による処理を、図４を参照して説明する。図４は、会議室において、３人の人物が机４１を囲んで会議を行う様子が含まれる画像４０を示している。画像４０において、破線で示した３つの領域４２は、それぞれ人物の顔を含む顔領域である。画像４０における領域４２以外の領域は、人物の顔を含まない非顔領域である。低域通過フィルタ処理部３０５は、このような非顔領域に対し、選択的に低域通過フィルタリング処理を実行する。なお、以下で説明するコントラスト低減処理部３０６、及びフレームレート低下処理部３０７でも同様に、このような非顔領域に対して、選択的に処理を実行する。
【００３４】
図３に戻り、図３の説明を続ける。コントラスト低減処理部３０６は、非顔領域に対し、選択的にコントラストを低減させる処理を実行する。コントラストとは画像における明暗の差であり、コントラスト低減処理部３０６は、これを低減、すなわち明暗の差を小さくする処理を行う。
【００３５】
フレームレート低下処理部３０７は、入力画像の非顔領域に対し、選択的にフレームレートを低下させる処理を実行する。フレームレートとは、動画像において、単位時間あたりに処理させるフレーム数、すなわち静止画像数、又はコマ数である。一例として、動画像のフレームレートを３０ｆｐｓ（frame per Second）とした場合に、フレームレート低下処理部３０７は、非顔領域に対し、選択的にフレームレートを１５ｆｐｓ等に低下させる。
【００３６】
ここで、フレームレート低下処理部３０７による処理を、図５を参照して説明する。図５は、動画像における画像の領域毎での更新タイミングの一例を示すタイミングチャートである。
【００３７】
図５において、信号ＦＲは、動画像における１フレームの画像がビデオ会議端末１０に入力するタイミングを示す信号である。図５では、４フレームの画像が、それぞれ信号ＦＲで示すタイミングでビデオ会議端末１０に入力している。
【００３８】
信号ＡＲ１は、動画像における１フレームの画像の顔領域が更新されるタイミングを示す信号である。信号ＡＲ２は、同様に非顔領域が更新されるタイミングを示す信号である。信号ＡＲ１では、１フレームの画像が１回入力される毎に、顔領域の画像が１回更新される。これに対し、信号ＡＲ２では、１フレームの画像が２回入力される毎に、非顔領域の画像が１回更新される。つまり、非顔領域では、更新が１回間引かれることで、顔領域に対してフレームレートが低下している。フレームレート低下処理部３０７は、このようにして、入力される画像の非顔領域のフレームレートを選択的に低下させることができる。
【００３９】
図３に戻り、図３の説明を続ける。情報量減少処理部３０３は、入力画像の非顔領域に対して選択的に情報量を減少させた画像を、符号化処理部３０４に出力する。なお、実施形態では、低域通過フィルタ処理部３０５、コントラスト低減処理部３０６、及びフレームレート低下処理部３０７の各処理が全て実行される例を示すが、これに限定されるものではない。情報量減少処理部３０３は、低域通過フィルタ処理部３０５、コントラスト低減処理部３０６、又はフレームレート低下処理部３０７の少なくとも１つを有し、各部による少なくとも１つの処理が実行されるようにしても良い。
【００４０】
符号化処理部３０４は、情報量減少処理部３０３から入力した画像を符号化する。符号化処理部３０４は、一例として動画圧縮規格の一つであるＨ．２６４に基づく符号化処理を実行する。符号化された画像は、動画像における１フレームの画像として、ビデオ会議端末１０から外部装置に順次出力される。外部装置はビデオ会議を行う相手方のビデオ会議端末等であり、符号化処理部３０４により符号化された画像は、ネットワークを介して相手方のビデオ会議端末に出力される。
【００４１】
次に、上記の低域通過フィルタ処理部３０５、及びコントラスト低減処理部３０６のそれぞれによる画像の情報量の減少効果を、図６を参照して説明する。
【００４２】
図６は、ビデオ会議端末１０による画像の情報量の減少効果を説明する図である。図６において、縦軸は画像の情報量を示している。但し、縦軸は、非顔領域に対して何の処理も行わなかった場合の画像の情報量を１として規格化されたスケールで表示されている。横軸は各処理を表す分類を示している。図６では、分類６１〜６５が示され、また、分類毎で８つの棒グラフが示されている。８つの棒グラフは、８種類のテスト画像に対する処理結果を示している。
【００４３】
分類６１は、非顔領域に対して何の処理も行わなかった場合である。分類６２は、非顔領域に対して、低域通過フィルタ処理部３０５による処理を実行した場合である。分類６３は、第１比較例として、非顔領域に対して色数を減少させる処理を実行した場合である。分類６４は、非顔領域に対してコントラスト低減処理部３０６による処理を実行した場合である。分類６５は、第２比較例として、非顔領域に対してノイズ除去処理を実行した場合である。
【００４４】
分類６２における「１／２」、「１／４」、及び「１／８」は、低域通過フィルタ処理により高い空間周波数帯域が遮断された分、画像の解像度が低下したレベルを示している。分類６３における「１／２」、「１／４」、及び「１／８」は、色数の減少処理により画像の色数が減少したレベルを示している。また分類６４における「１／２」、「１／４」、及び「１／８」は、コントラスト低減処理により画像のコントラストが低減したレベルを示している。
【００４５】
上述したように、分類６１の処理を規格化の標準としているため、分類６１では、８つの棒グラフとも画像の情報量は全て１である。分類６２では、解像度の低下に応じて画像の情報量が大きく減少している。分類６３では、色数の減少に伴う画像の情報量の減少効果はみられず、色数の減少に応じて、むしろ情報量が増大している。これは、色数の減少によりトーンジャンプが増え、圧縮効果が阻害されたためと考えられる。分類６４では、解像度のコントラストの低減に応じて画像の情報量が減少している。分類６５では、ノイズ除去により、画像の情報量がやや減少している。
【００４６】
図６から分かるように、低域通過フィルタ処理部３０５による低域通過フィルタ処理、及びコントラスト低減処理部３０６によるコントラスト低減処理は、第１及び第２比較例と比較して、より好適に画像の情報量を減少させることができる。
【００４７】
次に、実施形態に係るビデオ会議端末１０による処理の一例を、図７のフローチャートを参照して説明する。
【００４８】
まず、ステップＳ７１において、顔検出処理部３０１は、動画像のうちの１フレームの画像を入力する。
【００４９】
続いて、ステップＳ７２において、顔検出処理部３０１は、入力画像に対して顔検出処理を実行し、検出した顔領域の座標情報を非顔領域設定部３０２に出力する。
【００５０】
続いて、ステップＳ７３において、非顔領域設定部３０２は、入力画像において非顔領域を設定し、設定後の画像を情報量減少処理部３０３に出力する。
【００５１】
続いて、ステップＳ７４において、情報量減少処理部３０３に含まれる低域通過フィルタ処理部３０５は、非顔領域に対し、選択的に低域通過フィルタ処理を実行し、処理後の画像をコントラスト低減処理部３０６に出力する。
【００５２】
続いて、ステップＳ７５において、コントラスト低減処理部３０６は、非顔領域に対し、選択的にコントラスト低減処理を実行し、処理後の画像をフレームレート低下処理部３０７に出力する。
【００５３】
続いて、ステップＳ７６において、フレームレート低下処理部３０７は、顔検出処理部３０１が検出した顔の動き量が予め規定した動き閾値以下であるか否かを判定する。一例として、顔検出処理部３０１は、ＲＡＭ７０３等に記憶された、前の１フレームの画像における顔領域の画素輝度の総和と、現在処理を実行している１フレームの画像における顔領域の画素輝度の総和を比較することで、顔の動き量を検出することができる。
【００５４】
ステップＳ７６で、顔の動き量が動き閾値以下であると判定された場合（ステップＳ７６、Ｙｅｓ）、ステップＳ７７において、フレームレート低下処理部３０７は、非顔領域に対し、選択的にフレームレート低下処理を実行する。一方、ステップＳ７６で、顔の動き量が動き閾値以下でないと判定された場合（ステップＳ７６、Ｎｏ）、ステップＳ７８に移行する。なお、上記の動き閾値は予め求められ、ＳＳＤ７０４等に記憶されている。
【００５５】
一方で、次の１フレームの画像における顔の動き量の検出に用いるために、顔検出処理部３０１は、現在の１フレームの画像をＲＡＭ７０３等に記憶する。
【００５６】
ここで、顔の動き量の検出について補足する。動画像におけるフレ−ム間での変化が小さい場合は、非顔領域に対して選択的にフレームレート低下処理を実行しても、処理後の動画像が不自然になることはない。しかし、フレ−ム間での変化が大きい場合に、非顔領域に対して選択的にフレームレート低下処理を実行すると、フレーム間での変化がぎこちなく視認され、処理後の動画像が不自然になる場合がある。
【００５７】
実施形態では、検出した顔の動き量が動き閾値以下の場合にのみ、入力画像の非顔領域に対して選択的にフレームレート低下処理を実行し、顔の動き量（フレーム間での変化）が大きい画像ではフレームレートを低下させないことで、動画像が不自然になることを防止することができる。
【００５８】
なお、ステップＳ７４の低域通過フィルタ処理と、ステップＳ７５のコントラスト低減処理と、ステップＳ７６〜Ｓ７７のフレームレート低下処理は、適宜順番を入れ替えても良い。
【００５９】
続いて、ステップＳ７８において、符号化処理部３０４は、情報量減少処理部３０３から入力した画像に対し、符号化処理を実行する。
【００６０】
続いて、ステップＳ７９において、符号化処理部３０４は、動画像における１フレームの画像として、符号化された画像を外部装置に出力する。
【００６１】
このようにして、画像内で重要性の高い人物の顔に対する情報量を維持しつつ、重要でない背景等の情報量を減少させることができる。
【００６２】
以上説明したように、実施形態によれば、主観的な画像品質を保持しつつ、画像の情報量を減少させ、画像の圧縮率を高めることができる。これにより、例えば、インターネット回線を利用して動画像を伝送する場合に、動画像や音声の品質が低下することを防ぐことができる。また、監視カメラのように大量の動画像をストレージする場合においても、記憶容量を減少させることができるため、好適である。
【００６３】
一方、画像の圧縮率を高める手法として、画像のノイズ信号を低減することも考えられる。しかし、ノイズ信号の低減は、暗い部屋でプロジェクタ等を用いてビデオ会議する場合等には効果があるが、明るい部屋でビデオ会議する場合には、画像のノイズ信号自体がそもそも小さくなるため、大きな効果は得られない。近年は、液晶ディスプレイ等のバックライト型の表示装置が用いられ、明るい部屋でビデオ会議が行われることが多いため、ノイズ信号の低減による画像の圧縮率の向上は得にくい。実施形態に係るビデオ会議端末１０は、このようなノイズ信号を低減させる手法と比較して、より画像の圧縮率を高めることができる。
【００６４】
［第１の実施形態］
次に、第１の実施形態に係るビデオ会議端末１０ａについて説明する。なお、既に説明した実施形態と同一の構成部分についての説明は省略する。
【００６５】
上述したように、人物の顔を含まない非顔領域は、顔領域と比較して重要性が低いため、情報量をできるだけ減少させることが好ましい。しかし、顔領域と非顔領域とで明るさ等の画像特性（特徴量）が大きく異なる場合に、顔領域と非顔領域の情報量を大きく異ならせると、領域間の境界が目立ち、違和感のある低品質の画像になる場合がある。
【００６６】
そこで、本実施形態では、顔領域と非顔領域とで明るさ等の特徴量が大きく異なる場合は、非顔領域の情報量を顔領域に対して急激に減少させず、顔領域から遠ざかるにつれて徐々に情報量を低下させることで、処理後の画像の品質の低下を抑制している。
【００６７】
図８は、第１の実施形態に係るビデオ会議端末１０ａの機能構成の一例を説明するブロック図である。図８に示すように、ビデオ会議端末１０ａは、第１分割処理部３０８と、情報量減少処理部３０３ａとを有する。
【００６８】
第１分割処理部３０８は、非顔領域設定部３０２から入力した画像の非顔領域を、顔を囲む複数の枠状領域に分割する処理を実行する。この分割処理のために、分割数Ｎや顔領域からの距離Ｄ等の第１分割情報が予め定められ、図２のＳＳＤ７０４等に記憶されている。また、第１分割処理部３０８は、枠状領域設定部３０９と、第１特徴量抽出部３１０と、第１分割決定部３１１とを有する。
【００６９】
枠状領域設定部３０９は、ＳＳＤ７０４等に記憶された第１分割情報に従って、検出された顔を囲むように複数の矩形の枠状領域を設定する。ここで、図９は、枠状領域設定部３０９により設定された枠状領域の一例を説明する図である。なお、図９に白抜きの矢印で示した方向は、画像のＸ座標に該当するＸ方向と、Ｙ座標に該当するＹ方向をそれぞれ示している。
【００７０】
図９において、顔領域４２ａ及び４２ｂは、顔検出処理部３０１により検出された２人の人物の顔に該当する領域である。顔領域４２ａの周囲には、矩形の枠状領域９１ａ、９２ａ及び９３ａがそれぞれ設定され、また、顔領域４２ｂの周囲には、矩形の枠状領域９１ｂ、９２ｂ及び９３ｂがそれぞれ設定されている。
【００７１】
枠状領域９１ａは、顔領域４２ａの中心位置からＸ、及びＹ方向にそれぞれ距離Ｄ１以上で距離Ｄ２未満離れた領域である。なお、距離の単位は画素数である。枠状領域９２ａは、顔領域４２ａの中心位置からＸ、及びＹ方向にそれぞれ距離Ｄ２以上で距離Ｄ３未満離れた領域である。枠状領域９３ａは、顔領域４２ａの中心位置からＸ、及びＹ方向にそれぞれ距離Ｄ３以上離れた領域である。
【００７２】
また、枠状領域９１ｂは、顔領域４２ｂの中心位置からＸ、及びＹ方向にそれぞれ距離Ｄ１以上でＤ２未満離れた領域である。枠状領域９２ｂは、顔領域４２ｂの中心位置からＸ、及びＹ方向にそれぞれ距離Ｄ２以上でＤ３未満離れた領域である。枠状領域９３ｂは、顔領域４２ｂの中心位置からＸ、及びＹ方向にそれぞれ距離Ｄ３以上離れた領域である。
【００７３】
ここで、顔領域４２ａと顔領域４２ｂの間に該当する画像領域では、枠状領域が重複する場合がある。例えば、図９において、枠状領域９３における顔領域４２ａの負のＸ方向側（顔領域４２ｂ側）の領域は、枠状領域９１ｂにおける顔領域４２ｂの正のＸ方向側（顔領域４２ａ側）の領域と重複している。このように枠状領域が重複する領域は、両方の枠状領域に属する領域として設定される。一方、枠状領域が顔領域と重複する場合は、重複する領域は枠状領域から除外される。
【００７４】
但し、重複する領域に対する設定は、上述したものに限定されるものではなく、重複する領域に対する設定の規則を予め定めておき、規則に従って設定することが可能である。
【００７５】
図９のように矩形の枠状領域を設定した後、第１特徴量抽出部３１０は、顔領域及び各枠状領域のそれぞれで、領域内に含まれる全画素の輝度の平均値を算出し、隣接する枠状領域同士の間、及び隣接する顔領域と枠状領域との間での輝度の平均値の差を算出する。ここで、領域内に含まれる全画素の輝度の平均値の差は、「第１特徴量」の一例である。
【００７６】
より具体的には、第１特徴量抽出部３１０は、顔領域４２ａに含まれる全画素の輝度の平均値Ａｖｅ４２ａ、枠状領域９１ａに含まれる全画素の輝度の平均値Ａｖｅ９１ａ、枠状領域９２ａに含まれる全画素の輝度の平均値Ａｖｅ９２ａ、枠状領域９３ａに含まれる全画素の輝度の平均値Ａｖｅ９３ａを、それぞれ算出する。また、第１特徴量抽出部３１０は、顔領域４２ｂに含まれる全画素の輝度の平均値Ａｖｅ４２ｂ、枠状領域９１ｂに含まれる全画素の輝度の平均値Ａｖｅ９１ｂ、枠状領域９２ｂに含まれる全画素の輝度の平均値Ａｖｅ９２ｂ、枠状領域９３ｂに含まれる全画素の輝度の平均値Ａｖｅ９３ｂを、それぞれ算出する。
【００７７】
そして、第１特徴量抽出部３１０は、平均値の差として「Ａｖｅ４２ａ−Ａｖｅ９１ａ」、「Ａｖｅ９１ａ−Ａｖｅ９２ａ」、「Ａｖｅ９２ａ−Ａｖｅ９３ａ」、「Ａｖｅ４２ｂ−Ａｖｅ９１ｂ」、「Ａｖｅ９１ｂ−Ａｖｅ９２ｂ」、及び「Ａｖｅ９２ｂ−Ａｖｅ９３ｂ」をそれぞれ算出し、算出結果を第１分割決定部３１１に出力する。
【００７８】
その後、第１分割決定部３１１は、算出された輝度の平均値の差のそれぞれを、予め定められた第１輝度閾値と比較し、平均値の差が第１輝度閾値より大きいか否かを判定する。輝度の平均値の差が第１輝度閾値より大きいと判定された場合、第１分割決定部３１１は、隣接する領域を２つの領域として分割する。一方、輝度の平均値の値が第１輝度閾値以下の場合、第１分割決定部３１１は、隣接する領域を分割せず、両者を合体させて１つの枠状領域とする。ここで、第１輝度閾値は、「第１閾値」の一例である。
【００７９】
一例として、平均値の差「Ａｖｅ４２ａ−Ａｖｅ９１ａ」、「Ａｖｅ９１ａ−Ａｖｅ９２ａ」、「Ａｖｅ９２ａ−Ａｖｅ９３ａ」、及び「Ａｖｅ４２ｂ−Ａｖｅ９１ｂ」が第１輝度閾値より大きく、平均値の差「Ａｖｅ９１ｂ−Ａｖｅ９２ｂ」及び「Ａｖｅ９２ｂ−Ａｖｅ９３ｂ」が第１輝度閾値より小さい場合、図１０に示すように非顔領域が分割される。図１０は、第１分割処理部３０８により分割された非顔領域の一例を説明する図である。
【００８０】
図１０において、平均値の差「Ａｖｅ４２ａ−Ａｖｅ９１ａ」、「Ａｖｅ９１ａ−Ａｖｅ９２ａ」、「Ａｖｅ９２ａ−Ａｖｅ９３ａ」及び「Ａｖｅ４２ｂ−Ａｖｅ９１ｂ」は第１輝度閾値より大きいため、隣接する顔領域４２ａと枠状領域９１ａ、隣接する枠状領域９１ａと枠状領域９２ａ、隣接する枠状領域９２ａと枠状領域９３ａ、及び隣接する顔領域４２ｂと枠状領域９１ｂは、それぞれ分割されている。分割された枠状領域はそれぞれ別々の領域として扱われ、情報量減少処理部３０３ａにより領域毎に異なる処理が実行される。
【００８１】
一方、差分「Ａｖｅ９１ｂ−Ａｖｅ９２ｂ」及び「Ａｖｅ９２ｂ−Ａｖｅ９３ｂ」は第１輝度閾値以下であるため、枠状領域９１ｂ、９２ｂ及び９３ｂは分割されず、合体されて１つの枠状領域９３ｂとなっている。枠状領域９３ｂには、情報量減少処理部３０３ａにより共通の処理が実行される。
【００８２】
ここで、上述したように、顔領域４２ａと顔領域４２ｂの間に該当する画像領域では、枠状領域が重複する場合がある。枠状領域が重複する領域で、一方が分割しないと判定され、他方が分割すると判定された場合、分割する処理が優先して行われる。但し、重複する領域に対する設定は、上述したものに限定されるものではなく、重複する領域に対する設定の規則を予め定めておき、規則に従って分割処理を行うことができる。
【００８３】
図８の情報量減少処理部３０３ａに含まれる低域通過フィルタ処理部３０５ａは、第１分割処理部３０８により分割された非顔領域の枠状領域毎に、異なるタップサイズの空間フィルタを用いて、空間フィルタ処理を実行する。
【００８４】
図１１は、ビデオ会議端末１０ａで使用される空間フィルタの一例を説明する図であり、（ａ）はサイズ３×３画素の空間フィルタ１０１を説明する図、（ｂ）はサイズ５×５画素の空間フィルタ１０２を説明する図である。
【００８５】
低域通過フィルタ処理部３０５ａは、空間フィルタ１０１と枠状領域の各画素との間でコンボリューション（畳み込み積分）処理を実行する。空間フィルタ１０１の各升目に示された値が、枠状領域の各画素に積算及び加算されることで、枠状領域の隣接画素間での輝度の差が低減される。これにより、枠状領域の画像における空間周波数のうち、高周波帯域が遮断され、低域通過フィルタ（ローパスフィルタ）の効果が得られる。空間フィルタ１０２についても同様である。
【００８６】
タップサイズが大きいほど、枠状領域における隣接画素間での輝度の差が低減され、高周波側で遮断される周波数帯域が広くなって、低域通過フィルタによる情報量の減少効果が大きくなる。従って、３×３画素の空間フィルタ１０１より５×５画素の空間フィルタ１０２のほうが情報量の減少効果が大きい。
【００８７】
一方、隣接する枠状領域同士の間、又は隣接する顔領域と枠状領域との間でタップサイズの差が大きいほど、低域通過フィルタ処理後に、領域間の境界が目立ちやすくなる。
【００８８】
低域通過フィルタ処理部３０５ａは、図１０の枠状領域９１ａに対しては、空間フィルタ１０１を用いて低域通過フィルタ処理を実行し、枠状領域９２ａに対しては、空間フィルタ１０２を用いて低域通過フィルタ処理を実行する。また、枠状領域９３ａに対しては、空間フィルタ１０２より更にタップサイズが大きい７×７画素の空間フィルタ等を用いて低域通過フィルタ処理を実行する。
【００８９】
ここで、顔領域４２ａは、情報量を維持するために低域通過フィルタ処理が実行されない。そのため、顔領域４２ａと非顔領域との間で画素輝度の平均値の差が第１輝度閾値より大きい場合に、非顔領域全体に対して、タップサイズが大きい７×７画素の空間フィルタを用いて低域通過フィルタ処理が実行されると、顔領域４２ａと非顔領域との間の境界が目立つ場合がある。
【００９０】
これに対し、低域通過フィルタ処理部３０５ａは、顔領域４２ａに隣接する枠状領域９１ａには、タップサイズが小さい３×３画素の空間フィルタを用いて低域通過フィルタ処理を実行する。また、枠状領域９１ａに隣接する枠状領域９２ａには、３×３画素の空間フィルタに近い５×５画素の空間フィルタを用いて低域通過フィルタ処理を実行する。同様に、枠状領域９２ａに隣接する枠状領域９３ａには、５×５画素の空間フィルタに近い７×７画素の空間フィルタを用いて低域通過フィルタ処理を実行する。このようにすることで、隣接する領域間で空間フィルタのタップサイズを大きく異ならせないようにすることができる。その結果、低域通過フィルタ処理後に領域間の境界が目立たないようにすることができる。
【００９１】
一方、顔領域４２ｂの周囲では、枠状領域９１ｂ、９２ｂ及び９３ｂは合体されて１つの枠状領域９３ｂとして扱われる。枠状領域を合体させる際には、顔領域から遠い側の枠状領域に適用するタップサイズの空間フィルタが採用される。従って、合体後の枠状領域９３ｂでは、枠状領域９１ｂ、９２ｂ及び９３ｂに適用するタップサイズのうち、最も遠い側の枠状領域で使用される７×７画素のタップサイズの空間フィルタが、低域通過フィルタ処理に用いられる。
【００９２】
顔領域４２ｂと合体後の枠状領域９３ｂとの間では、画素輝度の平均値の差が第１輝度閾値以下であって小さい。そのため、枠状領域９３ｂ全体に対して、タップサイズが大きい７×７画素の空間フィルタを用いて低域通過フィルタ処理が実行されても、顔領域４２ｂと非顔領域との間の境界が目立つことはない。従って、タップサイズの大きい空間フィルタを用いて、大きな情報量の減少効果を得ることができる。
【００９３】
このようにして、情報量を減少させる処理を実行した場合に、領域間の境界を目立たなくすることで、画像の品質を保持しつつ、画像の情報量を減少させることができる。
【００９４】
＜第１の実施形態に係るビデオ会議端末による処理＞
図１２は、本実施形態に係るビデオ会議端末１０ａによる処理の一例を示すフローチャートである。
【００９５】
ここで、ステップＳ１２１〜Ｓ１２３の処理は、図７のステップＳ７１〜Ｓ７３の処理と同じであるため、ここでは重複する説明を省略する。
【００９６】
ステップＳ１２４において、枠状領域設定部３０９は、ＳＳＤ７０４等に記憶された第１分割情報に従って、検出された顔を囲むように複数の矩形の枠状領域を設定する。
【００９７】
続いて、ステップＳ１２５において、第１特徴量抽出部３１０は、顔領域及び各枠状領域のそれぞれで、領域内に含まれる全画素の輝度の平均値を算出し、隣接する枠状領域同士の間、及び隣接する顔領域と枠状領域との間での輝度の平均値の差を算出する。その後、算出結果を第１分割決定部３１１に出力する。
【００９８】
続いて、ステップＳ１２６において、第１分割決定部３１１は、第１特徴量抽出部３１０から入力した輝度の平均値の差のそれぞれを、第１輝度閾値と比較し、輝度の平均値の差が第１輝度閾値より大きいか否かを判定する。
【００９９】
ステップＳ１２６で、輝度の平均値の差が第１輝度閾値より大きいと判定された場合（ステップＳ１２６、Ｙｅｓ）、ステップＳ１２７において、第１分割決定部３１１は、隣接する領域を２つの領域として分割する。
【０１００】
一方、ステップＳ１２６で、輝度の平均値の差が第１輝度閾値以下である判定された場合（ステップＳ１２６、Ｎｏ）、ステップＳ１２８において、第１分割決定部３１１は、隣接する領域を分割せず、両者を合体させて１つの枠状領域とする。
【０１０１】
このようなステップＳ１２６〜Ｓ１２８の処理は、隣接する枠状領域同士、及び隣接する顔領域と枠状領域の全てに対して実行される。
【０１０２】
続いて、ステップＳ１２９において、低域通過フィルタ処理部３０５ａは、第１分割処理部３０８により分割された枠状領域毎に、異なるタップサイズの空間フィルタを用いて、空間フィルタ処理を実行する。
【０１０３】
ステップＳ１３０〜Ｓ１３４の処理は、図７のステップＳ７５〜Ｓ７９の処理と同じであるため、ここでは重複する説明を省略する。
【０１０４】
なお、ステップＳ１３０〜Ｓ１３２では、非顔領域全体に対して共通のコントラスト低減処理、及びフレームレート低下処理を実行する例を示したが、第１分割処理部３０８により分割された非顔領域の枠状領域毎に、異なるコントラスト低減処理、及びフレームレート低下処理をそれぞれ実行しても良い。
【０１０５】
このようにして、ビデオ会議端末１０ａは、非顔領域を複数の枠状領域に分割し、枠状領域毎で情報量を減少させる処理を実行することができる。
【０１０６】
＜作用効果＞
以上説明してきたように、本実施形態では、ビデオ会議端末１０ａへの入力画像の非顔領域を、領域内に含まれる画素の輝度に基づき複数の枠状領域に分割する。具体的には、非顔領域において、隣接する枠状領域同士の間、及び隣接する顔領域と枠状領域との間で、各領域内に含まれる全ての画素の輝度の平均値の差を算出する。そして、輝度の平均値の差が第１輝度閾値より大きい場合に、隣接する枠状領域同士、又は隣接する顔領域と枠状領域を分割する。また、輝度の平均値の差が第１輝度閾値以下の場合に、隣接する枠状領域同士、又は隣接する顔領域と枠状領域を分割せずに合体させて１つの領域とする。その後、非顔領域の分割された領域毎で、異なるタップサイズの空間フィルタを用いて情報量を減少させる。
【０１０７】
このようにすることで、隣接する枠状領域同士の間、又は隣接する顔領域と枠状領域との間で輝度の平均値の差が大きい場合に、低域通過フィルタ処理で用いる空間フィルタのタップサイズを隣接する領域間で大きく異ならせないようにすることができる。これにより、低域通過フィルタ処理後に領域間の境界を目立たないようにし、画像の品質を保持することができる。
【０１０８】
また、画像において重要な情報となる人物の情報量を維持したまま、重要でない背景等の情報量を減少させることができる。このようにして、主観的な画像品質を保持しつつ、画像の情報量を減少させることができ、画像の圧縮率を高めることができる。
【０１０９】
上述した例では、枠状領域の一例として矩形の枠状領域を説明したが、円形等の他の形状の枠状領域であっても良い。また、低域通過フィルタ処理の一例として空間フィルタを用いたコンボリューション処理を説明したが、フーリエ変換処理等の他の空間周波数を低下させる処理を適用することもできる。
【０１１０】
また、第１特徴量の一例として、領域内に含まれる全画素の輝度平均値の隣接領域間での差を説明したが、領域内に含まれる全画素の輝度の最大値や最小値、総和、コントラスト（輝度の最大値と最小値の差）の隣接領域間での差等を用いても良い。
【０１１１】
なお、分割した枠状領域の特徴量の差分判断を、ＳＳＤ７０４等のメモリに保持し、別途設定された差分判断のＮ数の閾値により、枠状領域を分割するかの判断を行っても良い。このようにすることで、枠内全体から求めた特徴量に基づき、枠状領域を分割するかの判断を行う場合と比較して、より細かい判断が可能になる。
【０１１２】
［第２の実施形態］
次に、第２の実施形態に係るビデオ会議端末１０ｂについて説明する。
【０１１３】
第１の実施形態で述べた第１分割処理部３０８により分割された枠状領域内において、部分的に明るさ等の画像特性（特徴量）が異なる場合がある。この場合に、１つの枠状領域の全体に対して、情報量を減少させるために同じ処理を実行すると、枠状領域内の部分毎で、明るさ等の特徴量の差が目立ち、違和感のある低品質の画像になる場合がある。そこで、本実施形態では、枠状領域内の部分毎で明るさ等の特徴量が大きく異なる場合は、枠状領域を複数の矩形領域に分割し、矩形領域毎で情報量を減少させる処理を異ならせることで、処理後の画像の品質の低下を抑制している。
【０１１４】
＜第２の実施形態に係るビデオ会議端末の機能構成＞
図１３は、本実施形態に係るビデオ会議端末１０ｂの機能構成の一例について説明する図である。図１３に示すように、ビデオ会議端末１０ｂは、第２分割処理部３１２と、情報量減少処理部３０３ｂとを有する。これらは、図２のＣＰＵ７０１が所定のプログラムを実行すること等により実現される。
【０１１５】
第２分割処理部３１２は、入力画像の第２特徴量に基づいて、第１分割処理部３０８により分割された枠状領域を複数の矩形領域に分割する処理を実行する。この分割処理のために、分割数Ｐ、矩形領域のサイズＱ等の第２分割情報が予め定められ、ＳＳＤ７０４等に記憶されている。また、第２分割処理部３１２は、矩形領域設定部３１３と、第２特徴量抽出部３１４と、第２分割決定部３１５とを有する。
【０１１６】
矩形領域設定部３１３は、ＳＳＤ７０４等に記憶された第２分割情報に従って、第１分割処理部３０８により分割された枠状領域のそれぞれに対して、枠状領域の境界に複数の矩形領域を設定する。ここで、図１４は、矩形領域設定部３１３により設定された矩形領域の一例を説明する図である。
【０１１７】
図１４において、斜線ハッチングで示した１２個の矩形領域９４ａは、第１分割処理部３０８により分割された枠状領域９２ａに対して、枠状領域の境界に設定された矩形領域である。なお、図１４では、図を簡略化するため、矩形領域が枠状領域９２ａのみに対して設定された例を示したが、矩形領域設定部３１３は、第１分割処理部３０８により分割された全ての枠状領域に対して、枠状領域の境界に矩形領域を設定することができる。
【０１１８】
図１４のように枠状領域内に矩形領域９４ａを設定した後、第２特徴量抽出部３１４は、顔領域及び各矩形領域のそれぞれで、領域内に含まれる全画素の輝度の平均値を算出する。そして、隣接する矩形領域同士の間、及び隣接する顔領域と矩形領域との間で、領域内に含まれる全ての画素の輝度の平均値の差を算出し、算出結果を第２分割決定部３１５に出力する。ここで、領域内に含まれる全画素の輝度の平均値は、「第２特徴量」の一例である。
【０１１９】
その後、第２分割決定部３１５は、算出した輝度の平均値の差のそれぞれを、予め定められた第２輝度閾値と比較する。そして、輝度の平均値の差が第２輝度閾値より大きい場合は、隣接する領域を２つの領域として分割する。一方、輝度の平均値の値が第２輝度閾値以下の場合は、隣接する領域を分割せずに両者を合体させて１つの領域とする。ここで、第２輝度閾値は、「第２閾値」の一例である。なお、第２閾値は、上述した第１閾値と同じであっても良いし、異なっていても良い。
【０１２０】
分割された領域のそれぞれは別々の領域として扱われ、情報量減少処理部３０３ｂにより領域毎で異なる処理が実行される。一方、分割されずに合体された領域は、１つの領域として扱われ、情報量減少処理部３０３ｂにより、共通の処理が実行される。
【０１２１】
情報量減少処理部３０３ｂに含まれる低域通過フィルタ処理部３０５ｂは、第２分割処理部３１２により分割された非顔領域の枠状領域における矩形領域９４ａ毎に、異なるタップサイズの空間フィルタを用いて空間フィルタ処理を実行する。ここで、本実施形態では、空間フィルタのタップサイズを異ならせる場合、境界を目立ちにくくするために、隣接する矩形領域間でタップサイズを大きく異ならせないようにする。例えば、隣接する一方の矩形領域に３×３画素のタップサイズの空間フィルタを適用する場合、他方の矩形領域には５×５画素のタップサイズの空間フィルタ等の３×３画素に対してタップサイズが近い空間フィルタを使用する。
【０１２２】
＜第２の実施形態に係るビデオ会議端末による処理＞
図１５は、本実施形態に係るビデオ会議端末１０ｂによる処理の一例を示すフローチャートである。
【０１２３】
ここで、ステップＳ１５１〜Ｓ１５４の処理は、図１２のステップＳ１２１〜Ｓ１２４の処理と同じであるため、ここでは重複する説明を省略する。
【０１２４】
ステップＳ１５５において、矩形領域設定部３１３は、ＳＳＤ７０４等に記憶された第２分割情報に従って、第１分割処理部３０８により分割された枠状領域に対して、枠状領域の境界に複数の矩形領域を設定する。
【０１２５】
続いて、ステップＳ１５６において、第２特徴量抽出部３１４は、顔領域及び各矩形領域のそれぞれで、領域内に含まれる全画素の輝度の平均値を算出する。そして、隣接する矩形領域同士の間、及び隣接する顔領域と矩形領域との間での輝度の平均値の差を算出し、算出結果を第２分割決定部３１５に出力する。
【０１２６】
続いて、ステップＳ１５７において、第２分割決定部３１５は、第２特徴量抽出部３１４から入力した輝度の平均値の差のそれぞれを第２輝度閾値と比較し、輝度の平均値の差が第２輝度閾値より大きいか否かを判定する。
【０１２７】
ステップＳ１５７で、輝度の平均値の差が第２輝度閾値より大きいと判定された場合（ステップＳ１５７、Ｙｅｓ）、ステップＳ１５８において、第２分割決定部３１５は、隣接する領域を２つの領域として分割する。
【０１２８】
一方、ステップＳ１５７で、輝度の平均値の差が第２輝度閾値以下である判定された場合（ステップＳ１５７、Ｎｏ）、ステップＳ１５９において、第２分割決定部３１５は、隣接する領域を分割せずに両者を合体させて１つの枠状領域とする。
【０１２９】
続いて、ステップＳ１６０において、低域通過フィルタ処理部３０５ｂは、第２分割処理部３１２により分割された非顔領域の矩形領域毎に、異なるタップサイズの空間フィルタを用いて、空間フィルタ処理を実行する。
【０１３０】
ステップＳ１６１〜Ｓ１６５の処理は、図１２のステップＳ１３０〜Ｓ１３４の処理と同じであるため、ここでは重複する説明を省略する。
【０１３１】
なお、ステップＳ１６１〜Ｓ１６５では、非顔領域全体に対して共通のコントラスト低減処理、及びフレームレート低下処理を実行する例を示したが、第２分割処理部３１２により分割された非顔領域の矩形領域毎に異なるコントラスト低減処理、及びフレームレート低下処理を、それぞれ実行しても良い。
【０１３２】
このようにして、ビデオ会議端末１０ｂは、非顔領域の枠状領域を複数の矩形領域に分割し、矩形領域毎で情報量を減少させる処理を実行することができる。
【０１３３】
＜作用効果＞
以上説明してきたように、本実施形態では、ビデオ会議端末１０ｂへの入力画像の非顔領域を、領域内に含まれる画素の輝度に基づき複数の枠状領域に分割し、さらに複数の枠状領域を、領域内に含まれる画素の輝度に基づき複数の矩形領域に分割する。
【０１３４】
具体的には、枠状領域において、隣接する矩形領域同士の間、及び隣接する顔領域と矩形領域との間で、各領域内に含まれる全画素の輝度の平均値の差を算出する。そして、輝度の平均値の差が第１輝度閾値より大きい場合に、隣接する矩形領域同士、又は隣接する顔領域と矩形領域を分割する。また、輝度の平均値の差が第２輝度閾値以下の場合に、隣接する矩形領域同士、又は隣接する顔領域と矩形領域を分割する。その後、分割された領域毎で、異なるタップサイズの空間フィルタを用いて情報量を減少させる。
【０１３５】
このようにすることで、隣接する矩形領域同士の間、又は隣接する顔領域と矩形領域との間で、各領域内に含まれる全画素の輝度の平均値の差が大きい場合に、低域通過フィルタ処理で用いる空間フィルタのタップサイズを隣接する領域間で大きく異ならせないようにすることができる。これにより、低域通過フィルタ処理後に領域間の境界を目立たないようにし、画像の品質を保持することができる。
【０１３６】
また、画像において重要な情報となる人物の情報量を維持したまま、重要でない背景等の情報量を減少させることができる。このようにして、主観的な画像品質を保持しつつ、画像の情報量を減少させることができ、画像の圧縮率を高めることができる。
【０１３７】
なお、上述した例では、第２特徴量の一例として、領域内に含まれる全画素の輝度平均値の隣接領域間での差を説明したが、領域内に含まれる全画素の輝度の最大値や最小値、総和、コントラスト（輝度の最大値と最小値の差）の隣接領域間での差等を用いても良い。
【０１３８】
以上、実施形態に係る画像処理装置について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。
【０１３９】
また、実施形態は、プログラムも含む。例えば、プログラムは、コンピュータを、入力画像の第１特徴量に基づいて、前記入力画像に含まれる人物の顔領域以外の領域を分割する第１分割処理部、及び前記第１分割処理部により分割された領域毎で、情報量を減少させる情報量減少処理部として機能させる。このようなプログラムにより、上述した画像処理装置と同様の効果を得ることができる。
【０１４０】
さらに、実施形態は、画像処理方法も含む。例えば、画像処理方法は、入力画像の第１特徴量に基づいて、前記入力画像に含まれる人物の顔領域以外の領域を分割する工程と、前記第１分割処理部により分割された領域毎で、情報量を減少させる処理を実行する工程と、を含む。このような画像処理方法により、上述した画像処理装置と同様の効果を得ることができる。
【０１４１】
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
【符号の説明】
【０１４２】
１０、１０ａ    ビデオ会議端末（画像処理装置の一例）
４０            画像
４２ａ、４２ｂ  顔領域
９１ａ〜９３ａ、９１ｂ〜９３ｂ  枠状領域
９４ａ          矩形領域
１０１、１０２  空間フィルタ
３０１          顔検出処理部
３０２          非顔領域設定部
３０３          情報量減少処理部
３０４          符号化処理部
３０５          低域通過フィルタ処理部
３０６          コントラスト低減処理部
３０７          フレームレート低下処理部
３０８          第１分割処理部
３０９          枠状領域設定部
３１０          第１特徴量抽出部
３１１          第１分割決定部
３１２          第２分割処理部
３１３          矩形領域設定部
３１４          第２特徴量抽出部
３１５          第２分割決定部
【先行技術文献】
【特許文献】
【０１４３】
【特許文献１】特開２００２−１６５２２２号公報
【図１】
2020198476.tif 000003
【図２】
2020198476.tif 000004
【図３】
2020198476.tif 000005
【図４】
2020198476.tif 000006
【図５】
2020198476.tif 000007
【図６】
2020198476.tif 000008
【図７】
2020198476.tif 000009
【図８】
2020198476.tif 000010
【図９】
2020198476.tif 000011
【図１０】
2020198476.tif 000012
【図１１】
2020198476.tif 000013
【図１２】
2020198476.tif 000014
【図１３】
2020198476.tif 000015
【図１４】
2020198476.tif 000016
【図１５】
2020198476.tif 000017