(57)【特許請求の範囲】
【請求項１】
人や物などの撮影対象を撮影して映像データを取得する撮像部と、
該撮像部から撮影対象までの距離を計測して距離データを取得する距離計測部と、
前記映像データ内の所定の領域にある撮影対象の映像情報分解能と、前記撮像部と前記撮影対象間の距離とを基準値として、その他の撮影対象と前記撮像部間の距離と、その他の撮影対象の映像情報分解能との値の比が一定になるように、前記映像データにおける各領域の解像度変更処理を行う画像処理部を備えたことを特徴とする画像処理装置。
【請求項２】
人や物などの撮影対象を撮影して映像データを取得する機能及び取得した映像データを用いて撮影対象までの距離を計測する機能を有する撮像部と、
前記映像データ内の所定の領域にある撮影対象の映像情報分解能と、前記撮像部と前記撮影対象間の距離とを基準値として、その他の撮影対象と前記撮像部間の距離と、その他の撮影対象の映像情報分解能との値の比が一定になるように、前記映像データにおける各領域の解像度変更処理を行う画像処理部を備えたことを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記基準値は、前記撮像部からの距離が最大の撮影対象の映像情報分解能とすることを特徴とする画像処理装置。
【請求項４】
請求項１または請求項２に記載の画像処理装置において、
ユーザ入力部を備え、
前記基準値は、前記ユーザ入力部から入力される任意の撮影対象の映像情報分解能とすることを特徴とする画像処理装置。
【請求項５】
請求項２に記載の画像処理装置において、
撮影された画像データから、撮影対象までの距離の計測を、撮影対象空間内に配置された複数個のマーカを画像認識することによって行うことを特徴とする画像処理装置。
【請求項６】
請求項４に記載の画像処理装置において、
前記画像処理部が行う解像度変更処理にニアレストネイバー法を用いることを特徴とする画像処理装置。
【請求項７】
請求項４に記載の画像処理装置において、
前記画像処理部が行う解像度変更処理に平均値フィルタを用いることを特徴とする画像処理装置。
【請求項８】
人や物などの撮影対象を撮影して映像データを取得する撮像部と、
該撮像部から撮影対象までの距離を計測して距離データを取得する距離計測部と、
前記映像データ内の所定の領域にある撮影対象の映像情報分解能と、前記撮像部と前記撮影対象間の距離とを基準値として、その他の撮影対象と前記撮像部間の距離と、その他の撮影対象の映像情報分解能との値の比が一定になるように、前記映像データにおける各領域の解像度変更処理を行う画像処理部を備えた画像処理装置と、
この画像処理装置が設置される場所から離れた遠隔地に設置され、前記画像処理部から送られてくる解像度変更処理された映像データを表示する表示装置からなることを特徴とする画像処理システム。
【請求項９】
人や物などの撮影対象を撮影して映像データを取得する機能及び取得した映像データを用いて撮影対象までの距離を計測する機能を有する撮像部と、
前記映像データ内の所定の領域にある撮影対象の映像情報分解能と、前記撮像部と前記撮影対象間の距離とを基準値として、その他の撮影対象と前記撮像部間の距離と、その他の撮影対象の映像情報分解能との値の比が一定になるように、前記映像データにおける各領域の解像度変更処理を行う画像処理部を備えた画像処理装置と、
この画像処理装置が設置される場所から離れた遠隔地に設置され、前記画像処理部から送られてくる解像度変更処理された映像データを表示する表示装置からなることを特徴とする画像処理システム。
【請求項１０】
撮像部に人や物などの撮影対象を撮影させて映像データを取得させる工程と、
距離計測部に前記撮像部から撮影対象までの距離を計測させて距離データを取得させる工程と、
画像処理部に前記映像データ内の所定の領域にある撮影対象の映像情報分解能と、前記撮像部と前記撮影対象間の距離とを基準値として、その他の撮影対象と前記撮像部間の距離と、その他の撮影対象の映像情報分解能との値の比が一定になるように、前記映像データにおける各領域の解像度変更処理を行わせる工程と、
を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
テレビ会議等、撮影対象である複数の人または物体の撮像手段（カメラ）からの距離がそれぞれ異なる位置にある状況で撮影された映像データにおいて、撮影対象の解像度を一定に揃えた画像を作成して出力する画像処理装置、画像処理システム、及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来の画像処理技術として、撮像部（カメラ）の撮影映像、映像内の各撮影対象が有する情報の重要度の差を元に、一撮影映像内の一部領域の解像度や圧縮率を変える方法がある。
【０００３】
例えば、撮影手段からの距離により映像データを複数の領域に分割して、物体の存在確率が高く、かつ検出精度が必要な領域のみ高解像度画像による対応付けを行い、その他の領域に対しては低解像度画像による対応付けを行う技術がある（例えば、特許文献１参照）。
【０００４】
また、人の顔等の特徴領域と、それ以外の背景領域で、画像の圧縮強度を変えるようにしているものもある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−０３８５７８
【特許文献２】特開２００９−０２７５６４
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した従来の技術は、撮影した映像に対し、それを閲覧する人にとって重要度が高い情報を含む一部領域内の映像データ量を、解像度の増加や圧縮強度の減少などの方法により増加させようとするものであるが、例えば、テレビ会議システムのように、会議室内の映像を遠隔地の表示装置に送信して映像を閲覧させる場合の画像処理技術としては不向きである。
【０００７】
ところで、テレビ会議システムのように、遠隔地に複数の人や物等の撮影対象が存在し、その撮影対象を他方の遠隔地の人が閲覧するような状況下においては、遠隔地の撮影対象を映すカメラと複数の撮影対象それぞれとの間の距離が等距離となるような非日常的な配置状況を意図的に作り出さない限り、複数の撮影対象それぞれの画像は一般的には同一の値とならず、通常の撮影では、カメラから近い位置に存在する撮影対象の画像は大きく、カメラから遠い位置に存在する撮影対象の画像は小さなものとなる。
【０００８】
一般的なカメラによる撮像部では、出力される撮影映像の解像度は全領域一定であるので、大きく映った対象の画像ほど解像度が上がり、画像領域として高い情報量を持つことになる。これはつまり、空間内における撮像部と撮影対象との間の距離が、撮影画像上での撮影対象が持つ情報量の大小を決める大きな要因であることを示す。
【０００９】
ところがテレビ会議等においては、撮像部からの距離という要因を優先的に考えて人や物の配置を決めるという状況は少なく、まずは会議内の議論等、本来の会議の目的を円滑に行えるような人物配置が最優先されることが多い。この場合、遠隔地にいる映像閲覧者が興味を持った人物等が必ずしも遠隔地の撮像部の近くに位置しているとは限らず、また閲覧者の興味対象自体も、会議の進行状況等の変化に伴って移り変わっていく可能性が高い。更には、遠隔地にいる映像閲覧者が複数になった場合、あるいは遠隔地に設置されるカメラが複数台になった場合等には、複数の人や物の撮像部からの物理的距離・配置を変えることによって、上記の位置や興味の問題に対処することは困難である。
【００１０】
このようなことから、テレビ会議等では閲覧者にとって興味のある、より大きな情報量を得たい撮影対象がカメラから遠くに位置していて小サイズ、低解像度で映り、逆に興味の少ない撮影対象がたまたま撮像部の近くに位置することで大きな情報量として映像データが送信されることは、映像データの送信データ量の無駄を生じるという問題があり、このような問題をカメラの設置位置変更により少しでも解消しようとすると、撮像部の設置位置が大きく制約されるという問題につながる。更に、たまたま撮像部の近くに位置する人物については、常に高解像度で詳細に映され、閲覧されるので、プライバシー保護の観点から好ましくないという問題がある。
【００１１】
このような問題を解決するため、本発明は、撮影される複数の人または物体が、撮影するための撮像部からの距離がそれぞれ異なる位置にある状況で、撮影された撮影対象である人または物体の撮像部からの距離に応じて、撮影された映像データ内での解像度を変更する処理を行うことで、撮影された映像データ内の各撮影対象の解像度を可能な範囲で一定に揃えることが可能な画像処理装置、画像処理システム、及び画像処理プログラムを実現することを課題とするものである。
【課題を解決するための手段】
【００１２】
そのため、本発明の画像処理装置は、人や物などの撮影対象を撮影して映像データを取得する撮像部と、該撮像部から撮影対象までの距離を計測して距離データを取得する距離計測部と、前記映像データ内の所定の領域にある撮影対象の映像情報分解能と、前記撮像部と前記撮影対象間の距離とを基準値として、その他の撮影対象と前記撮像部間の距離と、その他の撮影対象の映像情報分解能との値の比が一定になるように、前記映像データにおける各領域の解像度変更処理を行う画像処理部を備えたことを特徴とする。
【発明の効果】
【００１３】
このようにした本発明によれば、送信するのに必要な映像データ量を従来に比べて減少させることができ、送信データ量の無駄を抑制できるという効果が得られる。また、撮像部に対する撮影対象の位置の違いによって生じる画像の情報量の際が非常に小さくなり、カメラの位置を決める際の制約が少なくなる。つまり撮像部の設置位置の自由度が高まるという効果が得られる。更に、撮像部に対する撮影対象の位置の違いによる撮影対象の被閲覧条件の差異を少なくし、不公平感を軽減させプライバシー保護の点でも好ましいものになるという効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施例を示すシステム構成のブロック図
【図２】第１の実施例の利用イメージ例を示す概略図
【図３】映像データのイメージ例を示す概略図
【図４】二次元距離データのイメージ例を示す概略図
【図５】第１の実施例の作用を示すフローチャート
【図６】解像度変更処理の例を示す図
【図７】映像データの解像度変更処理のイメージ例を示す図
【図８】映像データと解像度変更処理後の画像のイメージ例を示す図
【図９】第２の実施例を示すシステム構成のブロック図
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明による画像処理装置、画像処理システム、及び画像処理プログラムの実施例を説明する。
【実施例１】
【００１６】
図１は第１の実施例を示すシステム構成のブロック図である。
【００１７】
画像処理装置１は、撮像部２、距離情報取得部３、ユーザ入力部４、画像処理部５を備え、画像処理部５には通信回線を介して遠隔地に設けられている複数の映像表示装置６が接続されている。
【００１８】
ここで、撮像部２は、具体的には撮影手段であるカメラ及び信号処理部で実現され、映像データを二次元のデジタルデータとして出力することが可能な機能を備えている。この、撮像部２で撮影された映像データは、最も単純な形式としては、各二次元座標に配置された画素値の集合として表現される。
【００１９】
以下、説明のため、「ｌｍｇ（ｘ，ｙ）＝ｒ，ｇ，ｂ」のように表現し、ｘ，ｙ座標にある画像データは、値がｒ，ｇ，ｂという画素ベクトルを持つものとする。
【００２０】
距離情報取得部３は、撮像部２が配置された位置から撮影される人や物等の各撮影対象までの距離を計測する機能を有するもので、具体的には光レーダ法、アクティブステレオ法、モアレ法、干渉法等、既存の三次元空間計測法の能動的計測法により前記の距離を計測する機能を備え、計測により取得した各撮影対象までの距離を二次元データ（以下、二次元距離データと表記する）として画像処理部５に送信するものとなっている。
【００２１】
この二次元距離データは、以下「Ｄｉｓ（Ｘ，Ｙ）＝ｃ」のように表現し、Ｘ，Ｙ座標にある各撮影対象に対して、ｃという距離データを持つものとする。このｃの値は上記の計測法で求めることができる。
【００２２】
本実施例では、説明を簡略化するため、撮像部２と距離情報取得部３がほぼ同一の位置から同一方向を向くように物理的に近接して配置され、映像データと二次元距離データが類似した空間領域に関する情報として取得できるようにしているが、実際の利用にあたっては、撮像部２と距離情報取得部３が別個に配置されていても構わず、その場合は一般的に知られている座標変換や射影変換等の処理により仮想的に同一の光軸を持つように変換して後処理を行うことで、映像データと二次元距離データを類似した空間領域に関する情報として取得することが可能である。
【００２３】
尚、二次元距離データの指定方法は複数考えられるが、本実施例ではＣｍａｘを最大値、Ｃｍｉｎを最小値とする複数段階の離散的な値を持つものとする。
【００２４】
また、距離情報取得部３は、リアルタイム計測モードとユーザ指定時計測モードに切り替えることが可能であり、ユーザ指定時計測モードによる計測時には、ユーザ入力部４から各撮影対象までの距離の計測の指示及び二次元距離データの出力指示命令を取得し、命令規則に従って距離計測及び画像処理部５への二次元距離データの出力を行う。
【００２５】
ここで、リアルタイム計測モードとは、距離情報取得部３による二次元距離データの出力頻度が撮像部２の映像データ出力頻度と同等以上高い、もしくは映像データの出力頻度より小さいものの、その差が小さいという状況に適したモードであり、距離情報取得部３が実施できる最大の出力頻度で、常時二次元距離データを出力し続けるように動作するモードである。
【００２６】
また、ユーザ指定時計測モードとは、距離情報取得部３が採用する三次元空間計測法の中の一部の方法が持つ処理速度特性による制約や、画像処理装置１の動作の消費エネルギーを抑えたい等の理由で、距離計測、二次元距離データの出力頻度を撮像部２による映像データの出力頻度に比べて低くする必要がある状況において、本システムのユーザが指示する規則に従って二次元距離データを生成、出力するよう動作するモードである。
【００２７】
ユーザ入力部４は、例えばキーボードやマウスなどで実現される情報入力手段であり、画像処理部５に対して、次の２つの入力を行う機能を有している。
【００２８】
その入力機能の１つは、画像処理部５がユーザ指定時計測モードのとき距離情報取得部３に送信する二次元距離データの作成、出力命令の送信規則をユーザが画像処理部５に対して入力指示する機能である。この場合の入力方法は、単純に、ユーザがユーザ入力部４の１つのボタンを１回押すとその時点の二次元距離データを画像処理部５に送るよう、画像処理部５に指示する方法、「ａａａａ年ｂｂ月ｃｃ日ｄｄ時〜ｅｅ時の間、１時間にｆｆ回の等間隔頻度」で画像処理部５から距離情報取得部３に二次元距離データを生成、出力させるように指示する方法、更に複雑な規則の場合は自作のコンピュータプログラムを入力する方法等が考えられる。
【００２９】
また、もう１つの入力機能は、画像処理部５が後述する「距離要因解像度差異無効化画像」の生成過程で行う解像度変更処理において、ユーザが指定する各撮影対象に対する解像度（以下、ユーザ指定解像度）の基準値を画像処理部５に入力する機能である。
【００３０】
画像処理部５が行う解像度変更処理の例としては、２種類の方法が考えられ、ユーザ入力部４でどちらかを選択することができるように設定されているが、２種類の方法の内容については後述する。
【００３１】
画像処理部５は、撮像部２と距離情報取得部３から随時送信されてくる映像データと二次元距離データを受信し、両者のデータから後述する「距離情報マップ」を作成する機能、及びユーザ入力部４から入力される送信規則に従って「ユーザ指定時計測モード」時の距離情報取得部３に二次元距離データの生成、出力命令を送信する機能、距離情報マップとユーザ入力部４から入力されたユーザ指定解像度の基準値のデータを用いて映像データの解像度を領域に応じて変更した距離要因解像度差異無効化画像を作成して映像表示装置６に送信する機能を有している。
【００３２】
上記距離情報マップは、撮像部２からの映像データ及び距離情報取得部３からの二次元距離データを用いて作成される映像データの二次元画像内において撮像部２と各撮影対象間の距離を示す二次元データであり、映像データの出力頻度と二次元距離データの出力頻度のうちの低い方と同期された頻度で作成される。
【００３３】
また、距離情報マップは、映像データと二次元距離データを重ね合わせる処理により作成されるもので、二次元距離データの上下左右へのシフト処理や、拡大あるいは縮小処理によって映像データと二次元距離データを重ね合わせ、映像データの各座標位置に対して二次元距離データを割当てるようにする。
【００３４】
以下において距離情報マップは、「Ｍａｐ（ｘ，ｙ）＝（Ｄｉｓ（ｆ（ｘ），ｇ（ｙ）））＝ｄ」のように表され、マップ内におけるｄの最大値をＤｍａｘとする。
【００３５】
ここで、ｘ，ｙは映像データの座標値と同一の値であり、ｆ（ｘ），ｇ（ｙ）は映像データと二次元距離データを重ね合わせるためのシフト処理や、拡大あるいは縮小処理を表現する関数で、映像データにおけるｘ，ｙ座標と二次元距離データにおけるＸ，Ｙ座標の対応関係を表しているが、ユーザの校正によって関数のパラメータを与えるような形式にしてもよいし、領域検出などの画像処理によって自動的に設定されるようにしてもよい。
【００３６】
画像処理部５が行う映像データの解像度変更処理の例としては以下に述べる２つの例がある。その１つは、距離情報マップ内で、撮影対象までの距離ｄが最大（Ｄｍａｘ）となる領域の解像度を基準値として、その他の領域の解像度をこの基準値と等しい解像度になるように変更するもので、以下これを「解像度一定化優先方式」と呼ぶ。別の１つは、解像度を一定値に揃えるための基準値をユーザが指定する方法で、例えば、撮像部２が出力する映像データを映像表示装置６に表示し、ユーザが望む解像度を、実際に映像表示装置６に表示されている映像の任意の画像領域をユーザがユーザ入力部４で指定すると、その指定された領域の解像度を基準値として、その基準値と等しい解像度になるように揃える処理が映像データの全領域に対して行われるもので、以下これを「ユーザ指定解像度優先方式」と呼ぶ。
【００３７】
このユーザ指定解像度優先方式は、ユーザが望む解像度を基準値にすることができるメリットがあるが、反面、ユーザが指定した領域よりも大きなｄの値をとる領域が理論上とるべき解像度より低い解像度になってしまうというデメリットを伴う。これは元々の映像データの解像度が理論上とるべき解像度を実現できるだけの分解能を持っていないために起こるものであるが、前記の「解像度一定化優先方式」ではＤｍａｘの領域が解像度変更処理後の最大解像度を取る領域となるので、そのような問題は起こらないメリットを有している。
【００３８】
映像表示装置６は、例えばＣＲＴやＬＣＤ等によるディスプレイで実現され、画像処理部５から送られてくる距離要因解像度差異無効化画像を表示するものである。
【００３９】
図２は本実施例の利用イメージ例を示す概略図で、図に示したように拠点Ａでは参加者５名の会議が行われており、その様子を画像処理装置１の撮像部２で撮影すると共に、距離情報取得部３で撮影対象の距離を計測し、それに基づいて画像処理部５で生成された距離要因解像度差異無効化画像が拠点Ａから遠隔の地にある拠点Ｂに設けられている画像表示部６に表示されている。
【００４０】
尚、図２では撮像部２が撮影対象より高い位置に配置されているので、取得される映像データは俯瞰映像データである。
【００４１】
本実施例では、このように一つの拠点で映像が撮影され、遠隔地の別の拠点に映像が配信されるような状況を想定して、画像処理装置１が動作する例を説明する。
【００４２】
図３は撮像部２により取得される映像データのイメージ例を示す概略図、図４は距離情報取得部３が生成する二次元距離データのイメージ例を示す概略図で、図３のｘ，ｙ及び図４のＸ，Ｙは座標であり、ｘ座標及びＸ座標は左から右へ向かって座標値が増加し、ｙ座標及びＹ座標は上から下に向かって座標値が増加する。
【００４３】
図５は上述した構成による第１の実施例の作用を示すフローチャートで、図中にＳで示したステップに従って以下の作用を説明する。尚、以下に説明する各部の動作は、図示しない記憶部に格納されたプログラム（ソフトウェア）に基づいて図示しない制御部により制御されるものとする。
Ｓ１：画像処理装置１の処理を開始すると、撮像部２で映像データが取得されて画像処理部５に送信され、また撮像部２が配置された位置から撮影される各対象までの距離が距離情報取得部３で計測されて、二次元距離データが画像処理部５に送信される。この場合、距離情報取得部３による距離の計測はリアルタイム計測モードとユーザ指定時計測モードのいずれであってもよい。
Ｓ２：画像処理部５は撮像部２からの映像データと距離情報取得部３からの二次元距離データを元に距離情報マップを作成する。
Ｓ３：画像処理部５は作成した距離情報マップを用いて、距離毎に映像データの領域を分割する。すなわち、距離情報マップで同一の距離情報を持つ座標値の集合をグループとして認識する処理を行い、各領域に順次アクセスできるようにする。領域分割については、既存の画像処理における一般的な手法を利用することができる。
Ｓ４：画像処理部５は映像データの分割した領域について、解像度変更未処理の領域を１つ選択する。
Ｓ５：画像処理部５は選択した領域（以下、選択領域）の距離ｄから、解像度一定化優先方式またはユーザ指定解像度優先方式による解像度変更処理で新たに適用する解像度の値を決定する。
【００４４】
解像度一定化優先方式の場合は、「Ｒｅｓ１＝ｋ１＊ｄ」の式により新たに適用する解像度を求める。ここでＲｅｓ１は、解像度一定化優先方式の場合の、選択領域に新たに適用される解像度と映像データの元々の解像度の比（単位：％）、ｋ１は「１／Ｄｍａｘ」で求められる定数である。
【００４５】
また、ユーザ指定解像度優先方式の場合は、「Ｒｅｓ２＝ｋ２＊ｄ」の式により新たに適用する解像度を求める。ここでＲｅｓ２は、解像度一定化優先方式の場合のユーザが指定した選択領域に新たに適用される解像度と映像データの元々の解像度の比（単位：％）、ｋ２は「１／Ｄｓｐｕ」で求められる定数であって、Ｄｓｐｕはユーザがユーザ入力部４で指定入力した画像領域の距離である。
Ｓ６：画像処理部５は上記のように求めた解像度を用い、映像データの選択領域の画像に対して解像度変更処理を行う。この解像度変更処理について、解像度一定化優先方式の場合を例にして説明する。
【００４６】
図６は解像度変更処理の例を示す図で、同図（ａ）は元々の映像データの画素値、同図（ｂ）は「ｄ＝Ｄｍａｘ／４」の場合の解像度変更処理後の映像データ、同図（ｃ）は「ｄ＝Ｄｍａｘ／９」の場合の解像度変更処理後の映像データである。
【００４７】
図６（ａ）に示したように、元々の映像データの画素値が各座標毎にｘ座標方向にＩｍｇ１１、Ｉｍｇ１２、Ｉｍｇ１３・・・、ｙ座標方向にＩｍｇ１１、Ｉｍｇ２２、Ｉｍｇ３１・・・のように表され、すべての画素が同一領域で同じ距離ｄを持つ場合を例にして説明する。
【００４８】
例えば、距離ｄがＤｍａｘ／４の場合、Ｒｅｓ１の値は「２５％」となるが、図６（ｂ）に示したように、解像度変更処理後の映像データの画素値を、映像データと同一位置の座標を始点とする縦横２×２の４個の座標を１つの領域として、映像データの画素値で置換することにより、元々の映像データの解像度を「１／４＝２５％」の粗さの新たな解像度に変換する。
【００４９】
同様に距離ｄがＤｍａｘ／９の場合、Ｒｅｓ１の値は「１１％」となるので、図６（ｃ）に示したように、解像度変更処理後の映像データの画素値を、映像データと同一位置の座標を始点とする縦横３×３の９個の座標を１つの領域として、映像データの画素値で置換することにより、元々の映像データの解像度を「１／９＝１１％」の粗さの新たな解像度に変換する。解像度の変更方法としてはニアレストネイバー法が用いられる。
【００５０】
図７は上記の解像度変更処理による映像データのイメージ例を示す図で、同図（ａ）はＲｅｓ１の値が「２５％（１／４）」の場合の解像度の変更例、同図（ｂ）はＲｅｓ１の値が「１１％（１／９）」の場合の解像度の変更例である。図７（ａ）、（ｂ）において、それぞれの左側に元々の映像データ、右側に解像度変更処理後の映像データを示しており、上側に画素レベルでの解像度変更処理の流れを拡大イメージで示している。
【００５１】
上述した二つの例では、解像度変更処理後の画素値を、左上隅にある画素で代表させて置換したが、この画素値の決定方法は他の方法を用いることも可能であり、例えば、元々の映像データの画像の領域内の各画素の平均値として、当該画素群に平均値フィルタをかけたような値を出力する構成としてもよい。
Ｓ７：画像処理部５は距離の異なる各領域のすべてに対して解像度変更処理が終了したか否かを判断し、終了していない場合、Ｓ４に戻ってＳ７までの処理を繰り返す。
Ｓ８：解像度変更処理が終了した場合、新たな解像度による映像データである距離要因解像度差異無効化画像を作成して映像表示装置６に出力する。
【００５２】
尚、上述の処理において、撮像部２からの映像データの出力頻度が距離情報取得部３からの二次元距離データの出力頻度より高い場合は、解像度変更処理の頻度を映像データの出力頻度に合わせ、また二次元距離データの出力頻度が映像データの出力頻度より低いことに起因して距離情報マップのデータが不足する場合は、前回用いた距離情報マップのデータをそのまま継続利用することで補うものとする。これにより距離要因解像度差異無効化画像の映像としてのサンプリングレートは映像データのそれと等しくなる。
【００５３】
図８は元々の映像データの画像と解像度変更処理後の画像のイメージ例を示す図で、同図（ａ）は元々の映像データの画像例としての或る会議室の室内映像であり、同図（ｂ）その室内映像に対して解像度一定化優先方式による解像度変更処理を施すことで得られた距離要因解像度差異無効化画像である。
【００５４】
図８（ａ）、（ｂ）では右側手前一人と、その奥に一人、それぞれ体格と服装が類似した人物が計２名映っているが、図８（ａ）の元々の映像データでは、映像表示装置６で映像を閲覧する閲覧者が奥の人物の画像程度の解像度の映像データしか求めていない場合、手前の人物は必要以上の解像度で詳しく映されていることになり、生成された映像データに無駄を生じ、また手前の人物が被閲覧によりプライバシーの侵害を必要以上に受けることになる。
【００５５】
これに対して、図８（ｂ）の距離要因解像度差異無効化画像では、手前の人物と奥の人物の構成画素の視覚的分解能がほぼ等しくなっており、解像度変更処理前の元々の映像データの画像と比べて、公平な視覚的画像提示が実現されている。
【００５６】
以上説明したように第１の実施例では、各撮影対象の画像解像度と撮像部からの距離の比を一定にするように解像度変更処理を行うことで、撮像部から撮影対象までの距離の差に起因する撮影対象の画像解像度の差異を無効化できるので、映像データをそのまま遠隔地に送る場合に比べて、送受信するのに必要なデータ量が減少し、送信データ量の無駄を抑制できるという効果が得られる。また、撮像部に対する位置の違いによって生じる各撮影対象画像が持つ情報量の差異が小さくなり、撮像部の設置位置を決める際の制約が小さくなるという効果が得られる。更に、撮像部近傍にいる撮影対象の人物と遠い位置にいる撮影対象の人物の被閲覧条件の際に対する不公平感を軽減できるので、プライバシー保護の観点上好ましいものになるという効果も得られる。
【実施例２】
【００５７】
図９は本発明の第２の実施例を示すシステム構成のブロック図で、上述した第１の実施例と同様の部分は、同一の符号を付してその説明を省略する。
【００５８】
この第２の実施例は、第１の実施例における距離情報取得部３（図１参照）を省略して、撮像部２に距離情報取得機能を備えさせたものとしている。すなわち、この第２の実施例における撮像部２は第１の実施例での機能と同様に映像データの出力機能を有することに加えて、第１の実施例で距離情報取得部３が行っていた距離計測、及び二次元距離データの出力機能を有しており、撮像部２から各撮影対象までの距離計測は撮像部２が撮影して取得した映像データを用いて行われる。
【００５９】
撮像部２の具体的な距離計測法としては、撮像部２がピント合わせを自動で行うオートフォーカス機能を備えたものである場合はレンズ焦点法、オートフォーカス機能を備えていない場合は単眼視法が用いられる。このレンズ焦点法や単眼視法は、所謂受動的三次元空間計測法として知られている。
【００６０】
また、画像処理部５は、第１の実施例と同様の機能を有するが、映像データと二次元距離データは撮像部２から受信し、その映像データと二次元距離データから距離情報マップを作成し、解像度変更処理を行って距離要因解像度差異無効化画像を作成する。距離情報マップと距離要因解像度差異無効化画像の作成方法は第１の実施例と同様である。
【００６１】
ユーザ入力部４及び画像処理部５は第１の実施例と同様の機能を備えている。
【００６２】
このようにした第２の実施例の作用、つまり映像データの取得及び各撮影対象までの距離計測から距離要因解像度差異無効化画像の出力まで、第１の実施例と同様の処理（図５のフローチャートと同様の処理）が行われるが、この第２の実施例では図５のフローチャートにおけるＳ１で撮像部２により映像データの取得、各対象までの距離計測が行われ、画像処理部５に映像データと二次元距離データが送られることになる。この他は第１の実施例と同様である。
【００６３】
以上説明したように、第２の実施例では、所謂受動的三次元空間計測法の「レンズ焦点法」や「単眼視法」を用いることで、第１の実施例における距離情報取得部を用いることなく距離要因解像度差異無効化画像を作成できるようにしているため、映像データと二次元距離データに対する座標変換や射影変換、拡大縮小処理等の校正処理作業を省略し、それによる装置動作処理における負荷の軽減、距離情報取得部が不要になることによる装置構成の簡略化等を実現しながら、第１の実施例と同様の効果を得ることができる。
【００６４】
以上、第１、第２実施例について説明したが、本発明はこれに限られるものではない。
【００６５】
すなわち、第１の実施例では、距離情報取得部３として、一般的な能動的三次元空間計測法を実施する機能を備えた装置を使用した例を挙げたが、同様の距離データが得られる別の構成を採用することも可能である。例えば受動的計測法であるステレオ法の「両眼視」方式の場合を説明すると、撮像部２を１台目のカメラ、距離情報取得部３を２台目のカメラとして、両カメラにより得られたステレオを画像から距離計測演算を行って距離データを取得することもできる。また、受動的計測法であるステレオ法の「カメラ移動」方式の場合であれば、撮像部２を移動させる機能と距離計測演算機能を備えた装置を距離情報取得部３とすることも可能である。
【００６６】
また、第１の実施例では、画像処理部５がユーザ指定時計測モード時の距離情報取得部３に二次元距離データの生成、出力指示を送信する規則として、ユーザが任意に計測のタイミングを指示する方法を例として挙げたが、画像処理部５に映像データ内の撮影対象の動作を自動検出する機能を持たせ、撮影対象の大きな動作を検出した場合、その動作終了時点で距離情報取得部３に二次元距離データの生成、出力指示を１回送信するようにしてもよい。
【００６７】
また、第１の実施例では、撮像部２が取得する映像データとして俯瞰映像データを例にして説明したが、同様の大域的データが得られる映像であれば、魚眼レンズを使用して撮影した映像や、全方位映像などの別の映像でもよい。
【００６８】
更に、第１の実施例では、解像度の変更方法としてニアレストネイバー法を例にして説明したが、バイキュービック法等を用いたり、平均値フィルタのフィルタサイズを変更するなどの方法を用いることも可能である。
【００６９】
一方、第２の実施例では、撮像部２がオートフォーカス機能を備えない場合の三次元空間計測法として、「単眼視」法を挙げたが、例えば「特開２００４−２９４４２１の自己位置計測方法及び装置」に示される技術を応用して、同一平面上にあって互い位置関係が既知の状態である４個以上のマーカを撮影画角内に配置し、それぞれのマーカを画像認識部に画像認識させ、マーカ同士の空間内位置関係、またはマーカサイズのデータを用いて演算処理を行うことによって撮影対象空間の距離計測を行うことにしてもよい。
【符号の説明】
【００７０】
１    画像処理装置
２    撮像部
３    距離情報取得部
４    ユーザ入力部
５    画像処理部
６    映像表示装置
【図１】
0005509986.tif 000002
【図２】
0005509986.tif 000003
【図３】
0005509986.tif 000004
【図４】
0005509986.tif 000005
【図５】
0005509986.tif 000006
【図６】
0005509986.tif 000007
【図７】
0005509986.tif 000008
【図８】
0005509986.tif 000009
【図９】
0005509986.tif 000010