(57)【要約】      （修正有）【課題】入力画像からオブジェクトの画像及び領域の適切なデータを伝送する画像処理装置を提供する。【解決手段】画像処理装置１０は、入力画像からオブジェクトの領域を分離して、オブジェクトの画像を生成する前景背景分離部１０１と、オブジェクトの画像に基づいて、オブジェクトを含む領域の領域情報を生成する矩形情報生成部１０２と、領域情報に基づいて、伝送する領域を選択する矩形選択部１０３と、選択された領域の領域情報に基づいてオブジェクトの画像を調整する矩形トリミング部１０４と、調整されたオブジェクトの画像および領域情報を伝送する矩形伝送部１０５と、を備える。【選択図】図１
2020102773.tif 000002
【特許請求の範囲】
【請求項１】
入力画像からオブジェクトの領域を分離して、オブジェクトの画像を生成する分離手段と、
前記オブジェクトの画像に基づいて、前記オブジェクトを含む領域の領域情報を生成する生成手段と、
前記領域情報に基づいて、伝送する領域を選択する選択手段と、
前記選択された領域の領域情報に基づいて、前記オブジェクトの画像を調整する調整手段と、
前記調整された前記オブジェクトの画像および領域情報を伝送する伝送手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記選択手段は、各領域の座標に基づいて領域を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、前記各領域の座標と、予め設定された基準座標との距離に基づいて領域を選択することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記選択手段は、前記距離が短い領域から順に、処理可能及び伝送可能なデータ量閾値に達するまで領域を選択することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記選択手段は、各領域の大きさに基づいて領域を選択することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記選択手段は、面積が大きい領域を優先して選択することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記選択手段は、前記面積が閾値を超える領域を選択から除外することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記選択手段は、前記領域内の前記オブジェクトを示すピクセル数に基づいて領域を選択することを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記選択手段は、各領域のアスペクト比に基づいて領域を選択することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
前記領域情報に基づいて領域の有効性を判定する判定手段をさらに備え、
前記伝送手段は、前記判定手段による判定結果に基づいて、前記オブジェクトの画像および領域情報の伝送を制御することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
【請求項１１】
前記伝送手段は、前記判定手段により無効であると判定された領域について、前記オブジェクトの画像および領域情報を伝送しないことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記調整手段は、前記判定手段により無効であると判定された領域については、予め設定された固定座標、固定サイズの領域情報に基づいて前記画像を調整し、
前記伝送手段は、前記調整された前記オブジェクトの画像および領域情報を伝送することを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
前記調整手段は、前記判定手段により無効であると判定された領域については、前フレームの入力画像の領域情報に基づいて前記オブジェクトの画像を調整し、
前記伝送手段は、前記調整された前記オブジェクトの画像および領域情報を伝送することを特徴とする請求項１０に記載の画像処理装置。
【請求項１４】
前記調整された前記オブジェクトの画像を圧縮する圧縮手段をさらに備え、
前記圧縮手段は、前記領域の優先度に基づいて圧縮方式または圧縮率を変更して圧縮を行い、
前記伝送手段は、前記圧縮手段により圧縮された前記オブジェクトの画像および領域情報を伝送することを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
【請求項１５】
前記選択手段は、前記領域情報に基づいて、各領域のデータ量の合計が、処理可能及び伝送可能なデータ量閾値を超過したか否かを判定し、超過したと判定された場合に、前記分離手段及び前記生成手段に処理の中断を要求することを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
【請求項１６】
前記生成手段は、前記領域情報として、前記オブジェクトを含む矩形領域の矩形情報を生成し、
前記選択手段は、前記矩形情報に基づいて、前記伝送する領域として、矩形を選択し、
前記調整手段は、前記選択された矩形の矩形情報に基づいて、前記オブジェクトの画像を調整し、
前記伝送手段は、前記調整された前記オブジェクトの画像および前記矩形情報を伝送することを特徴とする請求項１乃至１５の何れか1項に記載の画像処理装置。
【請求項１７】
前記調整手段は、前記選択された矩形の矩形情報に基づいて、前記オブジェクトの画像をトリミングし、
前記伝送手段は、前記トリミングされた前記オブジェクトの画像および前記矩形情報を伝送することを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
画像を処理する画像処理装置が行う制御方法であって、
入力画像からオブジェクトの領域を分離して、オブジェクトの画像を生成する分離工程と、
前記オブジェクトの画像に基づいて、前記オブジェクトを含む領域の領域情報を生成する生成工程と、
前記領域情報に基づいて、伝送する領域を選択する選択工程と、
前記選択された領域の領域情報に基づいて、前記オブジェクトの画像を調整する調整工程と、
前記調整された前記オブジェクトの画像および領域情報を伝送する伝送工程と、
を有することを特徴とする制御方法。
【請求項１９】
前記選択工程では、各領域の座標に基づいて領域を選択することを特徴とする請求項１８に記載の制御方法。
【請求項２０】
前記選択工程では、各領域の大きさに基づいて領域を選択することを特徴とする請求項１８又は１９に記載の制御方法。
【請求項２１】
前記選択工程では、各領域のアスペクト比に基づいて領域を選択することを特徴とする請求項１８乃至２０の何れか１項に記載の制御方法。
【請求項２２】
コンピュータを、請求項１乃至１７の何れか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理装置が行う制御方法およびプログラムに関するものである。
【背景技術】
【０００２】
近年、複数のカメラを異なる位置に設置して複数視点で同期撮影を行い、当該撮影により得られた複数視点画像を用いて仮想視点画像を生成する技術が注目されている。この技術によれば、例えば、サッカーやバスケットボールの試合におけるハイライトシーンを様々な角度から視聴することができる。
【０００３】
複数のカメラで撮影した画像を前景と背景に分離し、分離された前景領域に基づいて、オブジェクトの三次元形状データを生成し、指定された視点から見た画像を画像処理によって生成することにより、仮想視点画像を生成することができる。
【０００４】
ここで、抽出される前景領域が大きい又は多い場合、前景背景分離処理を実行する装置の処理性能、出力するインタフェースの性能、その後の処理を行う装置への伝送性能などを上回ってしまうことがある。その場合、データを処理又は伝送しきれずに、データが消失したり、不十分なデータになったりすることがある。
【０００５】
これに対して、特許文献１は、ネットワークにおける伝送で遅延が発生した場合に、リアルタイム性を失ったデータを破棄することで、遅延を低減する技術を開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−５１７０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術を前景領域のデータの抽出及び伝送に用いた場合、抽出された前景領域の重要度によらず、一律にデータが破棄されてしまう。その場合、本来必要なデータが破棄されてしまう。これにより、例えば、抽出された前景領域に基づいて生成されるオブジェクトの三次元えええの精度が低下し、仮想視点画像の画質も低下してしまうえええ適切なデータを伝送することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために本発明の一態様による画像処理装置は、
入力画像からオブジェクトの領域を分離して、オブジェクトの画像を生成する分離手段と、
前記オブジェクトの画像に基づいて、前記オブジェクトを含む領域の領域情報を生成する生成手段と、
前記領域情報に基づいて、伝送する領域を選択する選択手段と、
前記選択された領域の領域情報に基づいて、前記オブジェクトの画像を調整する調整手段と、
前記調整された前記オブジェクトの画像および領域情報を伝送する伝送手段と、
を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、適切なデータを伝送することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】第一の実施形態に係る画像処理装置の構成例を示す図である。
【図２】第一の実施形態に係る矩形の優先度判定を行うための基準座標及び矩形情報の一例を示す模式図である。
【図３】第一の実施形態に係る画像処理装置が実施する処理の手順を示すフローチャートである。
【図４】第二の実施形態に係る画像処理装置の構成例を示す図である。
【図５】第三の実施形態に係る画像処理装置の構成例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１２】
（第一の実施形態）
第一の実施形態では、伝送量を制御する際に、前景の座標や大きさ等により優先順位をつけて前景領域を示す矩形情報を選択する例について説明する。
【００１３】
＜画像処理装置の構成＞
図１を参照して、第一の実施形態に係る画像処理装置の構成例を説明する。
【００１４】
画像処理装置１０は、画像入力部１００と、前景背景分離部１０１と、矩形情報生成部１０３と、矩形トリミング部１０４と、矩形伝送部１０５とを備えている。画像処理装置１０の各処理部の機能は、不図示のＣＰＵが不図示のメモリに格納されたコンピュータプログラムを読み出して実行することにより実行される。
【００１５】
画像入力部１００は、１以上のカメラで撮影されたカメラ画像を受信し、前景背景分離部１０１及び矩形トリミング部１０４へ出力する。ここで１以上のカメラは、例えばサッカーやバスケットボールなどのフィールドの周囲において異なる位置に設置されたカメラである。これらのカメラにより複数視点で同期撮影を行い、当該撮影により得られた複数視点の画像を用いて仮想視点画像を生成する。
【００１６】
前景背景分離部１０１は、画像入力部１００から入力された画像と、予め保持する背景画像とを比較して、前景背景分離処理を実行する。この分離処理の結果得られた二値の画像で表現される前景画像を、矩形情報生成部１０２及び矩形トリミング部１０４へ出力する。ここで前景画像とは、例えばオブジェクトの画像である。ここで、前景背景分離部１０１が保持する背景画像は、前景がない状態で撮影されたカメラ画像であるものとする。なお、ここでは固定の背景画像を用いる手法を説明したが、入力されるカメラ画像に基づいて背景画像を逐次更新していく手法を使用してもよく、特にその手法を限定するものではない。例えば、背景を用いずに、学習による認識等を用いて分離処理を行っても構わない。
【００１７】
矩形情報生成部１０２は、前景背景分離部１０１から入力された前景画像において、画像上でつながっている前景を１つのオブジェクトとなるようにラベリング処理を施してオブジェクトを抽出する。さらに、そのオブジェクトを囲む外接矩形を算出し、前景領域を示す矩形情報として矩形選択部１０３へ出力する。なお、本実施形態ではラベリングによるオブジェクトの抽出を行ったが、これに限定されない。例えば、Ｋ平均法によるクラスタリングやその他の方法を用いても構わない。また、本実施形態では前景を示す情報として矩形を用いたが、例えば４点を指定する多角形であったり、曲線を示す式を複数組み合わせたり、自由形状を用いて前景の形状と一致する形状等、前景を示す情報を他の形状の領域情報により表現することも可能である。
【００１８】
矩形選択部１０３は、矩形情報のデータ量が、予め設定された処理可能および伝送可能なデータ量（以下、データ量閾値と称する）を超えるかどうかを判定する。超えると判定した場合は、矩形情報に基づき、優先度の高い順にソートした上で、データ量閾値を超えない矩形までを選択して、処理対象矩形情報として、矩形トリミング部１０４へ出力する。なお、データ量閾値は予め設定しておいても良いし、動的に変更しても構わない。優先度の判定方法の詳細については後述する。
【００１９】
矩形トリミング部１０４は、矩形選択部１０３から取得された処理対象矩形情報に基づいて、画像入力部１００から受信したカメラ画像および前景背景分離部１０１から受信した前景画像を用いて、画像の調整（トリミング）を行い、伝送する矩形の画像データを生成する。さらに処理対象矩形情報を付与し、伝送データとして矩形伝送部１０５へ出力する。
【００２０】
矩形伝送部１０５は、矩形トリミング部１０４から受信した伝送データを伝送する。
【００２１】
＜矩形情報の優先度判定方法＞
ここで、矩形情報の優先度の判定方法について詳細に説明する。優先度の判定には矩形の座標および幅・高さの情報を用いる。
【００２２】
（Ａ）矩形の座標による判定
矩形の座標による判定では、ユーザに指定させるなどして予め設定された基準座標と、矩形の座標との距離に基づいて、優先度を判定する。
【００２３】
図２を用いて、具体的に説明する。図２は、前景画像に基づいて、前景を囲む矩形情報を画像上に重ねた画像を模擬した図である。図２には、あらかじめ設定された基準座標５００と、抽出された矩形６００〜６０９が示されている。なお、ここでは矩形を区別するために番号が付与されている。矩形の番号は生成順でも構わないし、位置に基づいて決定しても構わない。ここで、基準座標５００の座標を（Ｘｓ，Ｙｓ）とする。基準座標は固定座標でも構わないし、動的に設定しても構わない。例えば、画像の中心でも良いし、重要なプレイが行われている位置として動的に設定しても構わない。また、矩形の座標を矩形番号に応じて表現する。例えば矩形６００の重心座標を（Ｘ６００，Ｙ６００）と表現する。その場合、基準座標５００と矩形６００との距離Ｄは、下記式（１）で算出される。ここで、判定に用いる矩形の座標は重心座標としたが、矩形の頂点の座標や、前景マスクの前景部分の重心であっても良く、特に座標の種類を限定するものではない。
【００２４】
【数１】
2020102773.tif 000003
【００２５】
同様に、矩形６０１、６０２...６０９の重心座標をそれぞれ（Ｘ６０１，Ｙ６０１）、（Ｘ６０２，Ｙ６０２）...（Ｘ６０９，Ｙ６０９）と表現する。そして式（１）と同様の算出方法で矩形６００〜６０９について求めた基準座標５００との距離Ｄを比較し、距離Ｄが短い矩形を優先度が高い矩形とする。なお、ここでは基準座標５００を一つ定義したが、基準座標は複数あっても良く、その場合は各基準座標との距離を合計し、合計距離が短いものを優先度の高い矩形とするなど、複数の基準座標との距離を用いて判定しても良い。
【００２６】
また、本実施形態では矩形の座標を用いて距離の計算を行ったが、これに限定されず、矩形内に含まれるオブジェクトの重心の座標を距離の計算に用いても構わない。また、矩形の頂点座標のうち、基準座標に最も近い座標または遠い座標などを用いても良い。
【００２７】
（Ｂ）矩形の大きさによる判定
矩形６００〜６０９の面積や幅・高さといった大きさにより判定する方法である。矩形６００の幅をＷ６００、高さをＨ６００とすると、矩形６００の面積は、Ｗ６００×Ｈ６００として求められる。同様にして矩形６０１〜６０９の面積はそれぞれ、Ｗ６０１×Ｈ６０１〜Ｗ６０９×Ｈ６０９として求められる。そして、算出された面積が大きい矩形の優先度を高くする。ここで、例えば面積が閾値を超える矩形は異常であると判定して除外してもよい。ただし、これに限定されず、抽出したいオブジェクト（選手など）の面積に近い矩形の優先度を高くしてもよい。また、幅や高さに基づいて異常か否かを判定してもよい。さらに、矩形内に存在する前景として判定されたピクセル数をカウントし、実際の前景の面積そのものを用いてピクセル数による判定することも可能である。例えば、ピクセル数が、実際の前景のピクセル数から所定範囲内である矩形の優先度を高くしてもよい。また、ピクセル数が閾値未満又は閾値以上である矩形を異常であると判定して除外してもよい。
【００２８】
（Ｃ）アスペクト比による判定
矩形のアスペクト比を算出し、抽出したいオブジェクトのアスペクト比に近い矩形の優先度を高くする。例えば、重要なオブジェクトである人は基本的に縦長であり、これをアスペクト比として用いることができる。またボールなどは正方形に近いアスペクト比を持つ。
【００２９】
（Ｄ）（Ａ）〜（Ｃ）の組み合わせ
上記の判定手法のうち２つ以上を組み合わせることも可能である。例えば、（Ｂ）の方法で、前景ピクセル数によって、ノイズと考えられる矩形を除外し、さらに矩形の大きさ、アスペクト比が抽出したいオブジェクトである確率が低い矩形以外を除外する。そして、最終的に（Ａ）の方法で優先度を決定するという方法が可能である。また、これ以外の方法を組み合わせても構わない。
【００３０】
＜処理＞
以下、図３のフローチャートを参照して、本実施形態に係る画像処理装置が実施する処理の手順を説明する。本実施形態では、伝送データ量を制御する際に、前景の座標や大きさ等により優先順位をつけて前景領域を示す矩形情報を選択する。
【００３１】
Ｓ１０００において、前景背景分離部１０１は、画像入力部１００から入力された入力画像に対して、前景背景分離処理を実行する。その結果、二値の画像で表現される前景画像を生成し、これを矩形情報生成部１０２及び矩形トリミング部１０４へ送信する。
【００３２】
Ｓ１００１において、矩形情報生成部１０２は、入力された前景画像において、画像上でつながっている前景をひとまとまりのオブジェクトとなるようにラベリング処理を施してオブジェクトを抽出する。さらに、そのオブジェクトを囲む外接矩形を算出し、前景領域を示す矩形情報として矩形選択部１０３へ出力する。
【００３３】
Ｓ１００２において、矩形選択部１０３は、矩形情報のデータ量（各矩形のデータ量の合計）がデータ量閾値を超えるか否かを判定する。データ量閾値を超過する場合、Ｓ１００４へ進む。一方、データ量閾値を超過しない場合、Ｓ１００３へ進む。
【００３４】
Ｓ１００３において、矩形選択部１０３は、矩形情報をそのまま全て、伝送する矩形として選択する。
【００３５】
Ｓ１００４において、矩形選択部１０３は、矩形情報に基づいて、矩形毎に矩形領域内に含まれる前景ピクセル数を算出し、前景ピクセル数が所定値以下である矩形を除外する。これによりノイズを除去することができる。
【００３６】
Ｓ１００５において、矩形選択部１０３は、矩形情報に基づいて、矩形の重心座標と、予め設定された基準座標との距離を算出する。
【００３７】
Ｓ１００６において、矩形選択部１０３は、算出された距離が短い矩形から順に優先して、処理可能なデータ量閾値に達するまで矩形を選択し、選択された矩形を処理対象矩形とする。そして、処理対象矩形の矩形情報を、処理対象矩形情報として矩形トリミング部１０４へ出力する。
【００３８】
Ｓ１００７において、矩形トリミング部１０４は、処理対象矩形情報に基づいて、画像入力部１００から受信したカメラ画像および前景背景分離部１０１から受信した前景画像をトリミングし、伝送する画像データを生成する。さらに、当該画像データに処理対象矩形情報を付与し、伝送データとして矩形伝送部１０５へ出力する。
【００３９】
Ｓ１００８において、矩形伝送部１０５は、矩形トリミング部１０４から受信した伝送データを伝送する。
【００４０】
以上説明したように、本実施形態では、伝送データのデータ量を制御する際に、前景の座標や大きさ等により優先順位をつけて前景領域を示す矩形情報を選択する。
【００４１】
これにより、矩形が多すぎてデータ量を制限することが必要な場合に、適切なデータを残すことが可能となる。より具体的には、ユーザが本来抽出したいオブジェクトである可能性が高い矩形を優先して残すことができる。
【００４２】
従って、データ量が制限される場合でも、抽出された前景領域に基づいて生成されるオブジェクトの三次元形状データの精度の低下を抑制し、ひいては仮想視点画像の画質の低下も抑制することが可能となる。
【００４３】
なお、本実施形態では、データ量閾値を超えるかどうかの判定を行った後に優先度の判定を行ったが、これに限定されない。例えば、常に重要度の高い順に伝送し、データ量閾値を超える直前の矩形まで伝送を行うように構成してもよい。
【００４４】
また、本実施形態では、矩形伝送部１０５から出力する例を説明したが、これに限定されず、記憶装置（不図示）に格納しても構わない。また、記憶装置等に記憶された画像において、その容量の空きがなくなり、データを削減しなければならない場合に、本実施形態を適用することで、優先度の低いオブジェクトからそのデータを削除することができる。従って、蓄積するデータを効率的に削減することも可能である。
【００４５】
（第二の実施形態）
第二の実施形態では、矩形情報に基づいて、抽出された矩形の有効性を判定し、無効な矩形の場合は、矩形情報を用いずに伝送を制御する例について説明する。
【００４６】
＜画像処理装置の構成＞
図４を参照して、第二の実施形態に係る画像処理装置の構成例を説明する。第一の実施形態と同様の機能を有する構成要素については、同じ番号を付与し説明を省略する。
【００４７】
画像処理装置２０は、画像入力部１００と、前景背景分離部１０１と、矩形情報生成部１０２と、矩形選択部１０３と、矩形トリミング部１０４と、矩形伝送部１０５と、有効性判定部２０１とを備えている。画像処理装置２０の各処理部の機能は、不図示のＣＰＵが不図示のメモリに格納されたコンピュータプログラムを読み出して実行することにより実行される。
【００４８】
有効性判定部２０１は、矩形情報生成部１０２から受信した矩形情報に基づいて矩形の有効性を判定する。有効性の判定結果に基づいて、画像データおよび矩形情報の伝送が制御される。有効性の判定方法は様々な方法が考えられるが、例えば矩形の幅・高さ、座標情報に基づいて矩形の有効性を判定することができる。
【００４９】
例えば、矩形の大きさが閾値を超える場合に無効であると判定する。カメラ画像全体におよぶ矩形が抽出されているような場合は、急な照度変化により不適切な前景背景分離の結果が得られたと想定されるためである。また、第一の実施形態で説明した通り、重要なオブジェクトのアスペクト比とは異なるアスペクト比の矩形しか抽出されていない場合や、前フレームとの矩形位置の差が閾値以上に大きい場合なども、矩形を無効と判定することができる。
【００５０】
有効性判定部２０１は、矩形情報を無効と判定した場合、下記の（１）〜（３）の何れかの処理を実施する。
【００５１】
（１）予め設定された固定座標、固定サイズの矩形を矩形情報として矩形選択部１０３へ出力する。例えば、サッカーの試合を複数のカメラで撮影して取得した画像から仮想視点画像を生成するような場合には、位置及びサイズの変化が少ない観客席を含む矩形を矩形情報として出力してもよい。
【００５２】
（２）前フレームの矩形情報を矩形選択部１０３へ出力する。
【００５３】
（３）抽出された矩形が無いという矩形情報を矩形選択部１０３へ出力する。
【００５４】
発生現象毎に実施する処理を変更しても良い。例えば、前フレームとの矩形位置の差が閾値以上に大きい場合には、（２）の前フレームの矩形情報をそのまま利用する処理が適切である。また、急峻な照度変化によりカメラ画像全体が矩形として抽出された場合は、前景画像も全面が白画像となっており、（３）の処理により伝送自体を行わないことが適切である。なお、（１）においては、座標やサイズも動的に変更しても構わない。例えば、前フレームまでに抽出されている矩形の動き情報に基づいて現フレームで矩形が存在するであろう位置を推測し、その推測位置を固定座標とした固定サイズの矩形を矩形情報として矩形選択部１０３へ出力するように構成してもよい。
【００５５】
以上説明したように、本実施形態では、矩形情報に基づいて、抽出された矩形の有効性を判定し、無効な矩形である場合には矩形情報を用いずに伝送を制御する。
【００５６】
これにより、不適切な矩形情報が生成された場合に、その有効性を判定し、適切な矩形情報を用いて伝送を実行することができる。従って、例えば太陽が雲に隠れること等による急な照度変化が起こり、全面が前景として抽出される場合などにおいて、不適切なデータが伝送されることを防ぐことができる。
【００５７】
（第三の実施形態）
第三の実施形態では、矩形の優先度に基づいて圧縮を制御することにより、伝送データを制御する例について説明する。
【００５８】
＜画像処理装置の構成＞
図５を参照して、第三の実施形態に係る画像処理装置の構成例を説明する。第一の実施形態と同様の機能を有する構成要素については、同じ番号を付与し説明を省略する。画像処理装置２０は、画像入力部１００と、前景背景分離部１０１と、矩形情報生成部１０２と、矩形伝送部１０５と、優先度決定部３０３と、圧縮トリミング部３０４とを備えている。画像処理装置３０の各処理部の機能は、不図示のＣＰＵが不図示のメモリに格納されたコンピュータプログラムを読み出して実行することにより実行される。
【００５９】
優先度決定部３０３は、第一の実施形態の矩形選択部１０３の処理とは異なり、データ量閾値を超えた場合であっても、すべての矩形情報を圧縮トリミング部３０４へ出力する。ただし、第一の実施形態で説明した優先度判定を行い、判定された矩形の優先順を示す優先度情報も併せて出力する。
【００６０】
圧縮トリミング部３０４は、優先度決定部３０３から取得した矩形の優先度情報に基づいて、各矩形の圧縮方式や圧縮率を決定する。そして、画像入力部１００から受信したカメラ画像および前景背景分離部１０１から受信した前景画像をトリミングし、伝送する画像データを生成し、決定された圧縮方式や圧縮率で圧縮処理を行う。
【００６１】
圧縮処理では、圧縮方式（例えばロスレス圧縮、ＪＰＥＧなどのロッシー圧縮）の切り替え制御や、圧縮率の決定を行う（ＪＰＥＧの場合は量子化パラメータの調整によって圧縮率の調整を実現できる）。例えば、優先度が所定値以上の矩形については可逆圧縮方式（ロスレス圧縮）で圧縮を行い、優先度が所定値未満の矩形については不可逆圧縮方式（ロッシー圧縮）で圧縮を行うようにしてもよい。また、例えば、矩形が１０個あった場合、優先度の高い上位３個は非圧縮、それ以外は圧縮してデータを生成するという方法が考えられる。またデータ量閾値に応じて、全体が収まるように圧縮率を上げていくという方式も考えられる。例えば、データ量閾値に対して、データ量が２倍となっている場合は、上位５個は３０％圧縮、下位５個は７０％圧縮などと設定することで、データ量閾値に収まるデータとなるように構成してもよい。
【００６２】
もちろん、圧縮処理の結果、総データ量がデータ量閾値を超える場合がありえる。その場合は、優先順位に従って送信できる矩形までを伝送してもよいし、または優先順位に従って再度圧縮率を高めて圧縮処理を実行し、伝送可能なデータ量に抑えてもよい。
【００６３】
以上説明したように、本実施形態では、矩形の優先度に基づいて、圧縮方式や圧縮率を制御し、伝送するデータ量を抑制する。これにより、矩形が多すぎてデータ量を制限することが必要な場合に、適切なデータを残すことが可能となる。
【００６４】
なお、圧縮によるデータの抑制であるが、符号化方式を用いる以外に、解像度を優先度に応じて落とすことも可能である。即ち、優先度が低い矩形に対しては解像度を１／４とし、優先度が中間の矩形に対しては解像度を１／２、優先度が高い矩形に対しては解像度の変更を行わない。同様にビット深度を削減してデータ量を制御しても構わない。
【００６５】
（変形例）
前景背景分離部１０１、矩形情報生成部１０２、矩形選択部１０３が、並列動作で処理を実行している場合を考える。あるフレームにおいて、矩形選択部１０３が、矩形情報に基づいて各矩形のデータ量の合計がデータ量閾値を超えたと判定した場合、全体の処理を停止してもよい。
【００６６】
この場合、矩形選択部１０３は、各矩形のデータ量の合計が、処理可能及び伝送可能なデータ量閾値を超過したか否かを判定する。そして、データ量閾値を超えたと判定した場合、前景背景分離部１０１および矩形情報生成部１０２に対して、該フレームの処理中断を要求する。
【００６７】
これにより、前景背景分離部１０１および矩形情報生成部１０２は、無駄な処理を実行せずに済むことから、計算資源を節約し、高速に処理することができる。
【００６８】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６９】
１０，２０，３０：画像処理装置、１００：画像入力部、１０１：前景背景分離部、１０２：矩形情報生成部、１０３：矩形選択部、１０４：矩形トリミング部、１０５：矩形伝送部、２０１：有効性判定部、３０３：優先度決定部、３０４：圧縮トリミング部
【図１】
2020102773.tif 000004
【図２】
2020102773.tif 000005
【図３】
2020102773.tif 000006
【図４】
2020102773.tif 000007
【図５】
2020102773.tif 000008