(57)【要約】【課題】  画像処理部側の処理にかかる負荷を軽減し、装置構成をより小型化、低コスト化できる画像処理装置を提供することを目的とする。【解決手段】  画像を撮像して得られる画像データを取得する電子カメラ１０１、取得した画像データを処理して所定の形式で画像を表示し得る表示データを作成する映像処理部３を備えた画像処理装置に対し、電子カメラ１０１が取得した画像データの特徴を検出する領域抽出部１１３、検出された特徴を示すラベル情報を特定するラベル番号エンコーダ１１５、ラベル番号エンコーダ１１５が特定したラベル番号を画像データと共に映像処理部３に転送するＵＶ信号・ラベル番号多重部１０９及びＵＶ信号ポート１１９ｂを備える。【選択図】  図１
2005286596.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像して得られる画像データを取得する画像データ取得手段と、前記画像データ取得手段が取得した画像データを処理して所定の形式で画像を表示し得る表示データを作成する画像データ処理手段とを備えた画像処理装置であって、
前記画像データ取得手段が取得した画像データの特徴を検出する特徴検出手段と、
前記特徴検出手段が検出した特徴を示すラベル情報を特定するラベル情報特定手段と、
前記ラベル情報特定手段が特定したラベル情報を前記画像データと共に前記画像データ処理手段に転送する画像データ転送手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記画像データ転送手段は、前記ラベル情報を、輝度信号Ｙと色差信号ＵＶからなる映像信号のＵＶ信号に多重することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像データ転送手段は、前記ラベル情報をＵＶ信号に多重するとき、映像信号の奇数ラインまたは偶数ラインのいずれか一方にＵＶ信号を多重し、かつ、ＵＶ信号が多重されたラインの他の一方のラインの出力タイミングでラベル情報を出力することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記特徴検出手段は、前記画像データが示す撮像対象物の色、形状、反射率のうちの少なくとも１つの特徴を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記特徴検出手段は、前記画像データが示す撮像対象物の動きを特徴として検出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
前記画像データ転送手段は、前記特徴検出手段が検出した特徴のうち代表値にかかるラベル情報だけを画像データと共に転送することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
画像データの特徴を検出する特徴検出ステップと
前記特徴検出ステップにおいて検出された特徴を示すラベル情報を特定するラベル情報特定ステップと、
前記ラベル情報を前記画像データと共に画像を表示し得る表示データの格納手段に転送する画像データ転送ステップと、
を含むことを特徴とする画像データ転送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像データ転送方法に関する。
【背景技術】
【０００２】
セキュリティシステム等、撮影された画像をリアルタイムで処理することが望まれる画像処理にあっては、現在、撮影された画像から予め定められた特定の対象物（被写体）の特徴を検出することが行われている。検出の対象となる特徴とは、例えば、人物、人物の顔、車両等である。検出は、被写体の状態に応じた特徴量を計測することによってなされ、特徴量とは、例えば、被写体の色や輝度レベルをいう。計測は、被写体の形状を分析する分析処理や輝度レベルの反射率による計測等によって行われる。
【０００３】
また、動きのある被写体については、動く被写体を静止している背景の画像と分離することによって検出する従来技術がある（例えば特許文献１）。具体的には、動画を構成する個々のフレーム画像を時系列に並べ、前のフレーム画像と後のフレーム画像とで被写体の位置の差分を検出し、生じた差分を出力する。このような動く被写体を検出する方法は、比較的簡単でありながら監視カメラ等の固定されたカメラが撮影した動画から特定の被写体を検出するのに有効である。
【０００４】
図１５は、画像から被写体を検出する処理を実行する一般的な画像処理装置を示した図である。図示した構成は、デジタルカメラ等の画像（ここでは動画を考えているので映像とする）の信号源である映像信号源１５０１と、映像処理部１５０２とを有する。映像信号源１５０１は、画像を撮像することによって画像データを生成すると共に出力する。画像データは、ＹＵＶ、あるいはＲ，Ｇ，Ｂのデータである（図ではＹＵＶ）。図１５に示した例では映像信号源１５０１の内部でＵ信号とＶ信号とがＵＶ多重化部１５０３で多重化され、Ｙ信号と共に映像処理部１５０２に転送される。
【０００５】
映像処理部１５０２は、転送された画像データのうち、多重化しているＵ信号とＶ信号とを分離するＵＶ分離部１５０５、分離したＵ信号とＶ信号とを補間（多重化により間引かれた画素の補間）する補間部１５０６、補間処理されたＵ、Ｖデータと入力されたＹデータにより生成された画像データを保存しておくビデオメモリ１５０７、ビデオメモリ１５０７に保存されている画像データ（表示データ）から特徴を有する領域を検出する領域検出部１５０８を有している。
【特許文献１】特開２００３−５８８９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、映像処理部１５０２は、画像処理の自由度を高める、あるいは比較的頻繁に変更がなされる等の理由からＣＰＵとビデオメモリで主に構成され、以上の処理をソフトウェアによって実行している。ソフトウェアを使って表示データから画像の特徴を抽出する処理は、一般的にＣＰＵにかかる負荷が大きい。その上、映像処理部１５０２のＣＰＵには画像の補間や圧縮、表示といった処理をすることが要求される。
【０００７】
さらに、画像信号源１５０１から映像処理部１５０２の転送が３０ｆｐｓ（ｆｒａｍｅ／ｓｅｃ）程度の速度でリアルタイムに行われるため、映像処理部１５０２には、リアルタイムで転送されて蓄積される画像データを処理するためにいっそう高い処理能力が要求される。この点が、画像処理装置全体を大型で高価なものにしていた。
本発明は、このような点に鑑みてなされたものであり、画像処理部側の処理にかかる負荷を軽減し、装置構成をより小型化、低コスト化できる画像処理装置及び画像データ転送方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
以上の課題を解決するため、本発明の画像処理装置は、画像を撮像して得られる画像データを取得する画像データ取得手段と、前記画像データ取得手段が取得した画像データを処理して所定の形式で画像を表示し得る表示データを作成する画像データ処理手段とを備えた画像処理装置であって、前記画像データ取得手段が取得した画像データの特徴を検出する特徴検出手段と、前記特徴検出手段が検出した特徴を示すラベル情報を特定するラベル情報特定手段と、前記ラベル情報特定手段が特定したラベル情報を前記画像データと共に前記画像データ処理手段に転送する画像データ転送手段と、を備えることを特徴とする。
【０００９】
このような発明によれば、取得された画像データの特徴を検出し、特徴をラベル情報として画像データと共に画像データ処理手段に転送することができる。このため、画像データ処理手段における画像データの特徴を検出する処理が不要になり、画像データ処理手段にかかる負荷を軽減することができる。そして、画像データ処理手段に処理能力のより低いＣＰＵ等の構成を採用することが可能になり、画像データ処理手段をより小型化、低コスト化し、ひいては画像処理装置全体をより小型化、低コスト化できる。
【００１０】
また、本発明の画像処理装置は、前記画像データ転送手段は、前記ラベル情報を、輝度信号Ｙと色差信号ＵＶからなる映像信号のＵＶ信号に多重することを特徴とする。
また、本発明の画像処理装置は、前記画像データ転送手段は、前記ラベル情報をＵＶ信号に多重するとき、映像信号の奇数ラインまたは偶数ラインのいずれか一方にＵＶ信号を多重し、かつ、ＵＶ信号が多重されたラインの他の一方のラインの出力タイミングでラベル情報を出力することを特徴とする。
【００１１】
このような発明によれば、今までの監視カメラなどの映像システムにおける画像データ処理手段の構成を大きく変更することなく、ラベル情報を転送することができる。また、ラベル情報と画像データの同期をとって転送することができるので、画像処理装置側のデータの同期処理にかかる負荷を抑えることができる。また、データ転送系を有効活用、データの転送効率を高めることができる。
【００１２】
また、本発明の画像処理装置は、前記特徴検出手段が、前記画像データが示す撮像対象物の色、形状、反射率のうちの少なくとも１つの特徴を検出することを特徴とする。
このような発明によれば、画像データから特定の色、形状、反射率のうちの少なくとも１つを特徴として検出することができる。このため、予め特定したい対象物に合わせて色、形状、反射率を設定しておくことにより、画像データから自動的に特定の対象物の存在を検出することができる。
【００１３】
また、本発明の画像処理装置は、前記特徴検出手段が、前記画像データが示す撮像対象物の動きを特徴として検出することを特徴とする。
このような発明によれば、画像データが示す撮像対象物の動きを特徴として検出することができるので、撮影対象範囲内に移動するものが存在することを自動的に検出することができる。
【００１４】
また、本発明の画像処理装置は、前記画像データ転送手段が、前記特徴検出手段が検出した特徴のうち代表値にかかるラベル情報だけを画像データと共に転送することを特徴とする。
このような発明によれば、転送されるラベル情報量が少なくなる。このため、転送タイミングでさらに他のラベル情報を転送することができ、画像データにより詳細な情報を付加することができる。
【００１５】
また、本発明の画像データ転送方法は、画像データの特徴を検出する特徴検出ステップと、前記特徴検出ステップにおいて検出された特徴を示すラベル情報を特定するラベル情報特定ステップと、前記ラベル情報を前記画像データと共に画像を表示し得る表示データの格納手段に転送する画像データ転送ステップと、を含むことを特徴とする。
このような発明によれば、取得された画像データの特徴を検出し、特徴をラベル情報として画像データと共に画像データ処理手段に転送することができる。このため、画像データ処理手段における画像データの特徴を検出する処理が不要になり、画像データ処理手段にかかる負荷を軽減することができる。そして、画像データ処理手段に処理能力のより低いＣＰＵ等の構成を採用することが可能になり、画像データ処理手段をより小型化、低コスト化し、ひいては画像処理装置全体をより小型化、低コスト化できる。
【発明を実施するための最良の形態】
【００１６】
以下、図を参照して本発明に係る画像処理装置の実施の形態を説明する。図１は、本発明の一実施形態の画像処理装置の構成を説明するためのブロック図である。図示した構成は、電子カメラ１０１、ラベル情報多重部２、映像処理部３からなっている。電子カメラ１０１は画像を撮像して得られる画像データを取得する画像データ取得手段である。また、映像処理部３は、電子カメラ１０１が取得した画像データを処理して画像を表示し得る表示データを作成する画像データ処理手段である。なお、本実施形態では、電子カメラ１０１が動画を撮影する構成であることから画像データを示す信号を特に映像信号と記す。
【００１７】
また、ラベル情報多重部２は、ラベリング部１１１を備えている。ラベリング部１１１は、画像データの特徴を検出する特徴検出手段である領域抽出部１１３と、領域抽出部１１３が検出した特徴を示すラベル情報を特定するラベル情報特定手段であるラベル番号エンコーダ１１５とを備えている。そして、ラベル情報多重部２は、ラベル番号エンコーダ１１５が特定したラベル情報を映像信号と共に映像処理部３に転送するＵＶ信号・ラベル番号多重部１０９及びＵＶ信号ポート１１９ｂを備えている。なお、本実施形態のラベル情報は番号で表されるので、本実施形態では、ラベル情報を以降ラベル番号と記すものとする。
【００１８】
領域抽出部１１３は、映像信号が示す撮像対象物の色、形状、反射率のうちの少なくとも１つを特徴として検出する。本実施形態では、このような特徴を以降特徴量と記す。また、ラベル番号エンコーダ１１５は、抽出された特徴量のうちラベル番号として付すべき特徴量を決定するための構成である。領域抽出部１１３、ラベル番号エンコーダ１１５の具体的な構成について後述する。
【００１９】
撮像対象物の色、形状、反射率を検出することにより、本実施形態の画像処理装置は、撮影対象物が人間である、あるいは人間の顔の部分である、自動車である等の判定ができる。例えば、画像において肌色と考えられる色の領域を検出し、この領域に人間の顔等肌の部分を示すと判定することができる。また、予め設定された形状や大きさの条件に一致する画像の領域を検出することにより、撮影対象物が自動車である等の判断をすることができる。
【００２０】
本実施形態の画像処理装置をセキュリティシステムに適用する場合、例えば、映像処理部３に肌色の画像があることを示すラベリング情報が付された映像信号が転送されてきた場合、映像処理部３から図示しない通報装置に向けて「電子カメラ１０１の撮影範囲に人間がいる」ことを通知することもできる。そして、この通知は、例えば、セキュリティシステムにおいて、より詳細な監視を開始する等の警備モード切り替えのトリガーにも使用できる。
【００２１】
また、本実施形態のラベリング部１１１は、入力した映像信号が示す撮像対象物の動きを特徴量として検出することができる。撮像対象物の動きを特徴量として検出することにより、本実施形態の画像処理装置は、撮影範囲に何者かが侵入した可能性がある等の判定ができる。このような判定も、例えば、映像処理部３に所定の領域以上の移動する撮影対象物があるというラベリング情報が付された映像信号が転送されてきた場合、映像処理部３は、図示しない通報装置に向けて「電子カメラ１０１の撮影範囲に移動物がある」ことを通知することもできる。
【００２２】
また、本実施形態の画像処理装置は、電子カメラ１０１が映像信号をＹ信号（Y-signal）、Ｕ信号（ U-signal）、Ｖ信号（V-signal）として生成し、ラベル情報多重部２に入力する。Ｙ、Ｕ、Ｖ信号は、輝度情報（Ｙ）と二つの色情報（ＵとＶ）で画像に係る信号を表わすもので、国際電気信号連合（ＩＴＵ：International Telecommunication Union）によりＩＴＵ−Ｒ  ＢＴ．６０１でＹＵＶ方式として規格化されている。
【００２３】
また、ラベル情報多重部２は、電子カメラ１０１から入力された各Ｙ、Ｕ、Ｖ信号をＹＵＶ４１１のフォーマットの信号に変換し、Ｙ信号とＵＶ信号（Ｕ、Ｖ信号が多重化された信号）を出力するＹＵＶ変換部１０５、ＹＵＶ変換部１０５によってフォーマット変換されたＹ信号とＵＶ信号と後述のラベル番号との同期をとる遅延量調整部１０７、遅延量調整部１０５でタイミングを調整されて出力したＵＶ信号にラベリング部１１１から出力したラベル番号を多重するＵＶ信号・ラベル番号多重部１０９を有している。
【００２４】
さらに、電子カメラ１０１からは同期信号がラベル情報多重部２に入力される。ラベル情報多重部２には画素カウンタ制御部１１７があり、画素カウンタ制御部１１７は、入力された同期信号にしたがってラベリング部１１１の領域抽出部１１３及びラベル番号エンコーダ１１５に制御信号が入力される。領域抽出部１１３及びラベル番号エンコーダ１１５が制御信号にしたがって動作することにより、出力されるラベル番号は、画像における座標（制御信号がそれを与える）との対応関係をとることができる。
【００２５】
また、画素カウンタ制御部１１７は、ＵＶ信号・ラベル信号多重部１０９に同期信号に基づく多重制御信号（画像の座標との対応関係を与える）を入力する。ＵＶ信号・ラベル信号多重部１０９は、多重制御信号に基づいてＵＶ信号にラベル番号を多重し、多重化された信号をＵＶラベル番号多重信号としてＵＶ信号ポート１１９ｂから映像処理部３に出力する。Ｙ信号は、Ｙ信号ポート１１９ａから映像処理部３に出力される。このとき、画素カウンタ制御部１１７からは電子カメラ１０１から入力した同期信号が同期信号ポート１１９ｃから映像処理部３に出力されるので、映像処理部３は、Ｙ信号、ＵＶラベル番号多重信号の入力タイミングのずれを同期信号によって調整することができる。
【００２６】
以上述べた構成は、以下のように動作する。
電子カメラ１０１は、撮像して得た映像信号（ＹＵＶ信号）をラベル情報多重部２に転送する。転送された映像信号は、ＹＵＶ４１１変換部１０５と共にラベリング部１１１に入力される。
ＹＵＶ４１１変換部１０５は、転送されてきたＹＵＶ信号をＹＵＶ４１１フォーマットに変換する。ＹＵＶ４１１フォーマットとは、前記したＹＵＶ方式の一つで、１画素当たり１２ビットのデータ量で色情報を表現する。そして、この際に２×２の４ピクセルの中から輝度情報（Ｙ）を４サンプル、輝度と赤色成分の差（Ｕ）、輝度と青色成分の差（Ｖ）をそれぞれ１サンプルずつ採る方式をいう。
【００２７】
図２は、ＹＵＶ４１１フォーマットで変換された映像信号のＹ信号の転送を説明するための図である。また、図３は、ＹＵＶ４１１フォーマットで変換された映像信号のＵ信号の転送の一例を説明するための図である。図２に示すように、Ｙ信号は、１ライン目の図中左端にある画素Ｙ１から順にＹＵＶ４１１変換部１０５から出力される。そして、ラインの図中右端にある画素Ｙ６４０が出力された後、２ライン目の左端にある画素Ｙ１が出力される。以上のようにしてＹ信号の画素は、ＹＵＶ４１１変換部１０５から順次先に入力された画素から順に遅延量調整部１０７にすべて出力される。
【００２８】
また、ＹＵＶ４１１変換部１０５は、Ｕ信号及びＶ信号については図３に示すように、映像信号において互いに隣接する４画素（例えばu11、u12、u21、u22）から１つの代表値（例えばＵ1）を算出する。そして、求めた代表値だけを遅延量調整部１０７に出力する。同様に、Ｖ信号についても４画素から算出される代表値だけを出力する。したがって、ＹＵＶ４１１変換部１０５から遅延量調整部１０７に出力されるＵ及びＶ信号は、Ｙ信号の全データ量の１／４となる。
【００２９】
以上述べたＹＵＶ４１１フォーマットは、各色とも全画素を転送するＲＧＢ方式に比べて転送するデータ量が低減でき、しかも人間の目の空間解像度の低さを利用してデータ量を少なくした場合にも画質の劣化を抑えることができるものといえる。
図４は、Ｕ信号の代表値Ｕ1，Ｕ2，Ｕ3…、Ｖ信号の代表値Ｖ1，Ｖ2，Ｖ3…の伝送フォーマットを説明するための図である。代表値Ｕ1，Ｕ2，Ｕ3…及び代表値Ｖ1，Ｖ2，Ｖ3…は、図示するように１ライン上で交互に伝送される（すなわち多重化される）。このような多重化は、ＹＵＶ４１１変換部１０５が、Ｕ信号の代表値とＶ信号の代表値とを交互に切り替えて出力することによって実現される。
【００３０】
Ｕ、Ｖ信号は、前記したようにデータ量がＹＵＶ４１１フォーマットに変換される以前の１／４になっており、その結果、Ｕ、Ｖ信号多重化後においても奇数ラインにのみ代表値のデータが存在し、偶数ラインには伝送すべきデータがない状態になる。一般的なＹＵＶ４１１フォーマットでは、偶数ラインの伝送タイミングでダミーのデータを送信する。なお、ダミーデータとしては、例えば、すでに転送済みの奇数ラインのデータが用いられる。本実施形態では、後述するように、ダミーデータ転送タイミングでラベル番号を送信し、ＵＶ信号にラベル番号を多重化するものとする。
【００３１】
ＹＵＶ４１１フォーマットに変換されたＹ信号及びＵＶ信号は、それぞれ遅延量調整部１０７に送られる。遅延量調整部１０７は、入力したＹ信号及びＵＶ信号とラベリング部１１１から出力されるラベル番号との同期をとる構成である。具体的には、ラベリング部１１１のラインメモリや遅延素子で発生するラベル番号の遅延分に合わせてＹＵＶ信号の出力タイミングを遅延させる。遅延量調整部１０７は、遅延させたタイミングでＹ信号をＹ信号ポート１０９ａに、また、ＵＶ信号をＵＶ信号・ラベル番号多重部１０９に送る。
【００３２】
一方、ラベリング部１１１は、領域抽出部１１３において電子カメラ１０１から入力したＹＵＶ信号から予め定められた特徴の特徴量を検出する。ラベリング部１１１は全画素について特徴量を検出し、その結果を、ＵＶ信号・ラベル番号多重部１０９に出力している。実施形態１のＵＶ信号ラベル番号多重部１０９は、隣接する４画素ごとに一つの特徴量を代表値とし（間引き処理）、その代表値だけを出力する（後述）。
【００３３】
図５は、ラベリング部１１１のうちの領域抽出部１１３のより詳細な構成を説明するための図である。領域抽出部１１３は、複数（本実施形態ではｎ個）の領域検出器５０１ａ、５０１ｂ、…５０１ｎを備えている。領域検出器５０１ａ〜５０１ｎは、各々特定領域検出部５０２ａ〜５０２ｎとノイズ除去フィルタ５０３ａ〜５０３ｎを有している。ＹＵＶの映像信号は、領域検出器５０１ａ〜５０１ｎの各々に入力される。各領域検出器の特定領域検出部５０２ａ〜５０２ｎは、ＹＵＶ信号の特徴量を1ビットずつ検出する。
【００３４】
図６は、特徴量として映像信号の色を検出する特定領域検出部５０２ａ〜５０２ｎの構成を例示する図である。図示した特定領域検出部５０２ａは、２個を1組とする３組の比較器６０１ａ、６０１ｂ、６０１ｃと複数のアンド回路６０２ａ〜６０２ｅで構成されている。輝度を示すＹ信号は、２つの比較器６０１ａによってその値が予め設定された２つの閾値（ＹHigh、ＹLow）と比較される。そして、Ｙ信号が示す輝度がＹHighより低く、かつＹLowよりも高い場合に、すなわち所定の範囲にある場合にだけアンド回路６０２ａから「１」の信号が出力される。
【００３５】
また、色を示すＵ信号は、２つの比較器６０１ｂによってその値が予め設定された２つの閾値（ＵHigh、ＵLow）と比較される。そして、Ｕ信号の値がＵHighとＵLowとの間にある場合にだけアンド回路６０２ｂから「１」の信号が出力される。さらに、Ｖ信号は、２つの比較器６０１ｃによってその値が２つの閾値（ＶHigh、ＶLow）と比較される。そして、Ｖ信号の値がＶHighとＶLowとの間にある場合にだけアンド回路６０２ｃから「１」の信号が出力される。
【００３６】
アンド回路６０２ｂ、６０２ｃが出力した信号はアンド回路６０２ｄに入力される。アンド回路６０２ｄからはＹ信号が所定の値の範囲にあって、かつＶ信号が所定の値の範囲にある場合にだけ「１」が出力される。さらに、アンド回路６０２ｄが出力した信号はアンド回路６０２ａが出力した信号と共にアンド回路６０２ｅに入力され、アンド回路６０２ｅは、入力された信号が両方「１」である場合にだけ「１」の信号を出力する。
【００３７】
すなわち、特定領域検出部５０２ａは、ＹＵＶ信号の各値すべてが予め定めた閾値の範囲内にある場合にだけ信号「１」を出力し、それ以外の場合は信号「０」を出力する。したがって、ＹＵＶの各値の閾値をＹＵＶ信号が人間の肌の色を表す場合の値の範囲に合わせて設定しておくことにより、特定領域検出部５０２ａを使って映像信号が人間の顔や手足等を示すことが検出できる。また、ＹＵＶの各値の閾値をＹＵＶ信号が予め予想される車両等の色の範囲に合わせて設定しておくことにより、車両等を検出することも可能である。なお、特定領域検出部５０２ａが出力する信号を、以降、領域検出フラグと記す。また、検出領域フラグが「１」である画素を有効画素、「０」である画素を無効画素と記す。
【００３８】
図７は、ノイズ除去フィルタ５０３ａの構成を例示するための図である。ノイズ除去フィルタ５０３ａは、３つの２値画素基本フィルタ７０１ａ、７０１ｂ、７０１ｃを有し、領域検出フラグを受け取って有効画素の抜けを補間する、あるいはごみを除去している。なお、本実施形態では２値画素基本フィルタを３つ組み合わせるものとしたが、ノイズ除去フィルタの性能は、２値画素基本フィルタの個数が大きいほど向上する。
【００３９】
図８（ａ）、（ｂ）、（ｃ）は、３×３の２値画素基本フィルタを説明するための図である。図８（ａ）は、２値画素基本フィルタ（例えば７０１ａ）の構成を示すものであり、（ｂ）及び（ｃ）は２値画素基本フィルタでなされる処理を説明するための図である。「１」または「０」の領域検出フラグは、２つの1ビットラインメモリ８０１ａ及び８０１ｂと、順次遅延素子８０２に蓄積され、遅延処理される。２値画素基本フィルタ７０１ａは、この遅延データを用いて、例えば（ｂ）に示した３×３のフィルタ処理を行う。フィルタの特性は、２値画像フィルタ用ロジック８０３の構成により決まる。すなわち、その論理式により出力が一意に決まる。
【００４０】
２値画像フィルタ用ロジック８０３は、図示したフィルタにおいて、中央のＤ22の画素を注目画素として処理する。画素の補間処理について、図６（ｃ）を使って説明する。２値画像フィルタ用ロジック８０３は、例えば、図６（ｃ）に黒で示す画素（Ｄ11、Ｄ12、Ｄ13、Ｄ21、Ｄ31）が有効画素であり、白で示す画素（Ｄ23、Ｄ32、Ｄ33）が無効画素である場合、注目画素Ｄ22を有効画素と判定する。このような例よれば、画像の斜め線のジャギーを除き、滑らかな線を描画することができる。補間された有効検出フラグは、１ビットずつ次段のフィルタに出力される。
【００４１】
２値画素基本フィルタは、２値画像フィルタ用ロジックの構成や処理条件を変更することによって有効画素抜け、ごみの除去のいずれもが可能である。また、特性の異なる２値画像基本フィルタを複数組み合わせることにより、本実施形態は、映像信号の画素の補間及びごみの除去が可能なノイズ除去フィルタを構成することができる。
以上述べた本実施形態の領域検出器５０１ａ〜５０１ｎは、各々が予め設定された互いに異なる特徴量を検出する。そして、映像信号を構成する各画素について各々特徴量を有する有効画素かあるいは無効画素かを判断し、有効画素抜けやごみの除去処理を行ってラベル番号エンコーダ１１５に出力する。したがって、ラベル番号エンコーダ１１５には、領域検出器５０１ａ〜５０１ｎ個分のｎ個の領域検出フラグが入力される。
【００４２】
ラベル番号エンコーダ１１５は、入力した領域検出フラグをラベル番号に変換してＵＶ信号・ラベル番号多重部１０９に出力する。
領域検出フラグのラベル番号への変換は、例えば、領域検出器が１６個あった場合、領域検出器が出力する１６個の信号を４ビットのラベル番号信号とすることによって実現できる。なお、本実施形態では、以降、ラベル番号は８ビットの情報（２５６種類の領域判別可能）であるものとして説明をする。
【００４３】
また、以上述べた本実施形態では、特徴量をＹＵＶ信号の輝度や色差によって検出するものとした。しかし、本実施形態の特徴量はＹＵＶ信号の輝度や色に限定されるものでなく、映像信号が示す被写体の形状や動きであってもよい。被写体の形状を特徴量として検出することは、例えば、予め設定した形状と画像とをパターンマッチングすることによって可能である。また、被写体の動きを特徴量として検出する構成は、映像信号を構成する画素の経時的な変化を検出することによって可能である。このような検出の方法は、周知であるからこれ以上の具体的な説明を省く。
【００４４】
また、本実施形態の画像処理装置は、前記したように８ビットでラベル番号を表している。画素の色や輝度によって特徴量を検出し、また、映像信号から被写体の動き等による特徴量を検出する構成とした場合、８ビットのうち、例えば４ビットずつをそれぞれの特徴量を示すラベリング番号に割り当てることもできる。このような構成によれば、単に映像信号に人間の画像がある、あるいは車両の画像があるといった情報にとどまらず、人間が侵入してきた、あるいは車両が撮影範囲内を通過したといった情報を得ることができる。
【００４５】
以上述べた本実施形態は、電子カメラ１０１が入力した画像データの各画素から直ちに特徴量を検出する。撮像で得られた画像データを画像表示可能な表示データに変換した場合、一般的には高解像度化処理のため画素数が増えたり、表示装置の特性に合わせる為に階調処理が施されることが知られている。このため、本実施形態は、画像データを表示データに変換した後に特徴量を検出するよりも処理対象となる画素の数が少なくなり、処理に係る負荷を軽減することができる。また、撮像素子からの出力を直接処理でき、その出力は直線性を示すことから、より精度の高い特徴量抽出が可能である。
【００４６】
次に、ラベル情報多重部２は、ＵＶ信号・ラベル番号多重部１０９において、入力したＵＶ信号とラベル番号とを多重化する。前述したように、ＹＵＶ４１１のフォーマットはＵＶ信号を転送の必要がないダミーデータと共に転送するものであり、ＵＶ信号・ラベル番号多重部１０９は、ダミーデータ転送のタイミングでラベル番号を映像処理装置３に転送することによってダミーデータに代えてラベル番号を画像データに多重し、転送するものとした。
【００４７】
すなわち、ＵＶ信号・ラベル番号多重部１０９における多重化は、図９（ａ）に示すように、ＵＶ信号・ラベル番号多重部１０９がマルチプレクサ９０１を有し、マルチプレクサ９０１でＵＶ信号とラベル番号とを切り替えて出力することによって実現する。図１０は、多重化されたＵＶ信号とラベル番号とを示す図であって、ラベル番号L1、Ｌ2、…Ｌ320は、図４に示したダミーデータ出力のタイミング（偶数ライン）で出力され、ＵＶ信号に多重化される。
【００４８】
ダミーデータに代えてラベル番号を転送する本実施形態によれば、今までの監視カメラなどの映像システムにおける画像データ処理手段の構成を大きく変更することなく、ラベル情報を転送することができる。
また、ラベル情報と画像データの同期をとって転送することができるので、画像処理装置側のデータの同期処理にかかる負荷を抑えることができる。また、データ転送系を有効活用、データの転送効率を高めることができる。
【００４９】
また、本実施形態では、図１０（ａ）に示すように、ＵＶ信号・ラベル番号多重部１０９から出力されるラベル番号は、隣接する４画素ごとに決定した代表値についてのみとする。このため、偶数ラインにおいてＲ1、Ｒ2…Ｒ320として示したデータ（リザーブデータとする）の転送タイミングに空きが生じる。リザーブデータの転送タイミングではダミーデータを転送するようにしてもよいし、撮影対象物の動き等の他の特徴量をＵＶ信号にさらに多重化してもよい。
【００５０】
図９（ｂ）は、リザーブデータをラベル番号と共にＵＶ信号に多重化する場合のマルチプレクサの構成を説明するための図である。リザーブデータをラベル番号と共に多重化する場合、ラベル番号ＬをリザーブデータＲと共にマルチプレクサ９０２に送り、画素単位で両者の出力タイミングを切り替えて多重化する。さらに、多重化されたラベル番号ＬとリザーブデータＲとをＵＶ信号と共にマルチプレクサ９０３に送り、マルチプレクサ９０３でラベル番号Ｌ及びリザーブデータＲとＵＶ信号の出力タイミングとをラインごとに切り替えて出力する。このようにした場合、図１０（ｂ）に示した多重化信号が実現する。本実施形態は、ＹＵＶ４１１フォーマットのダミーデータ等、転送データの冗長な部分を転送するタイミングでラベル番号を転送することにより、データ転送系のバンド幅（データ転送能力）を最大限に有効活用し、従来の物理的構成、転送速度などの規格を維持して、ラベル番号転送という新しい機能を追加できる。
【００５１】
以上のようにして生成された信号は、ラベル番号多重信号としてＵＶ信号ポート１１９ｂから映像処理装置３に転送される。また、Ｙ信号は、Ｙ信号ポート１１９ａから映像処理部３に転送される。本実施形態のラベル番号多重信号及びＹ信号の転送は、３０ｆｐｓのフレームレートで行われる。転送は、電子カメラ１０１がラベル情報多重部２に入力された同期信号（同期信号ＩＮ）と、この同期信号を遅延させて生成された同期信号（同期信号ＯＵＴ）に基づいて行われる。同期信号は、転送される映像データのフレームの開始を示す垂直同期信号、ラインの開始を示す水平同期信号、画素の同期信号の３信号もしくはこれら３信号の複合信号である。
【００５２】
図１１は、映像処理装置３の構成を説明するための図である。映像処理装置３は、ＵＶ信号分離同期部１１０１と、ＵＶ信号格納部１１０２とを有する。ＵＶ信号分離同期部１１０１は、遅延量調整部１１０３、ＵＶ信号・ラベル番号分離部１１０４、画素カウンタ制御部１１０５を備えている。また、ＵＶ信号格納部１１０２は、ＵＶ信号分離部１１０６、ラベル番号補間部１１０７、ＶＲＡＭ１１０８を備えている。
【００５３】
ラベル情報多重部２が出力した信号のうち、Ｙ信号は遅延量調整部１１０３に入力される。また、ＵＶ信号・ラベル番号多重信号は、ＵＶ信号・ラベル番号分離部１１０４に入力され、同期信号ＯＵＴは画素カウンタ制御部１１０５に入力される。図１２は、ＵＶ信号・ラベル番号分離部１１０４の構成を説明するための図である。ＵＶ信号・ラベル番号分離部１１０４は、デマルチプレクサ１２０１を備えている。デマルチプレクサ１２０１は、入力されたＵＶ信号・ラベル番号多重信号を、ライン番号ごとに切り替わる制御信号に基づいて別々に出力することによってＵＶ信号とラベル番号とに分離する。
【００５４】
なお、ライン番号ごとに切り替わる制御信号は、画素カウンタ制御部１１０５によって同期信号ＯＵＴに基づいて出力される。遅延量調整部１１０３は、ＵＶ信号と共に転送されてくるＹ信号をＵＶ信号・ラベル番号分離部１１０４における処理時間分遅延させ、Ｙ信号の出力タイミングをＵＶ信号に同期させる構成である。
Ｙ信号、ＵＶ信号及びラベル番号、同期信号は、いずれもＵＶ信号格納部１１０２に入力される。ＵＶ信号格納部１１０２はＵＶ信号分離部１１０６、ラベル番号補間部１１０７を備えている。Ｙ信号はそのままＶＲＡＭ１１０８に入力され、格納される。また、ＵＶ信号はＵＶ信号分離部１１０６に入力されて分離されると共に補間され、ＶＲＡＭ１１０８に格納される。また、ラベル番号は、ラベル番号補間部１１０７に入力され、補間されてＶＲＡＭ１１０８に格納される。同期信号はＶＲＡＭ１１０８に入力され、ＶＲＡＭ１１０８は同期信号を基準にして動作する。
【００５５】
図１３は、ＵＶ信号分離部１１０６の構成を説明するための図である。ＵＶ信号分離部１１０６は、入力したＵＶ信号を１ライン分蓄積するラインメモリ１３０１、マルチプレクサ１３０２、遅延素子１３０３、マルチプレクサ１３０４を備えている。ＵＶ信号は、ラインメモリ１３０１を介して、あるいは直接マルチプレクサ１３０２に入力される。ＵＶ信号分離部１１０６は、ＵＶ信号のうち奇数番目のラインが転送されてきた場合、この信号を出力し、かつラインメモリ１３０１に格納する。一方、偶数番目のラインが転送されてきた場合にはメモリライン１３０１に格納されている奇数番目の信号を出力する。この結果、マルチプレクサ１３０２からは、常に奇数番目のラインのＵＶ信号が出力される。
【００５６】
また、ＵＶ信号分離部１１０６では、奇数番目（画素単位）の画素を入力した場合、この画素をＶＲＡＭ１１０８に出力すると共に遅延素子１３０３で遅延させる。そして、偶数番目（画素単位）の画素が入力した場合には遅延素子１３０３で遅延させた画素をＶＲＡＭ１１０８に出力する。この結果、Ｕ信号は、Ｖ信号と分離して図１４に示すようにＶＲＡＭ１１０８に格納される。
【００５７】
図１４では、ラインメモリ１３０１、遅延素子１３０１にいったん送られて遅延し、送出されてきた画素を補間画素としてグレーにして示す。図示しないが、以上述べた動作によってＶ信号もＵ信号と分離してＶＲＡＭ１１０８に格納される。なお、Ｕ信号が格納されるＶＲＡＭ１１０８のエリアをＵプレーンといい、Ｖ信号が格納されるＶＲＡＭ１１０８のエリアをＶプレーンという。
【００５８】
さらに、本実施形態では、ＵＶ信号・ラベル信号分離部１１０４でＵＶ信号と分離したラベル番号もＵＶ信号格納部１１０２に入力される。そして、ラベル番号補間部１１０７において補間される。この補間は、ラベル番号補間部１１０７は、図１３に示した構成とほぼ同様の構成で、例えば、偶数番目のラインの信号が転送されてきたときにだけ転送されてきたデータをそのまま出力すると共にラインメモリに蓄積する。そして、奇数番目のラインが転送されてきたときにはラインメモリに蓄積されている信号を出力し、さらに１ラインにおいて１画素ごとに出力を切り替えれば図１０に示したラベル番号Ｌ1、Ｌ2…とリザーブ信号Ｒ1、Ｒ2…のタイミングで転送されてきた特徴量とをそれぞれＶＲＡＭ１１０８に転送して別々に格納することができる。
【００５９】
以上述べた処理の後、映像処理部３は、必要に応じてＶＲＡＭ１１０８に格納されたＹＵＶ信号を処理して所定の形式で画像を表示し得る表示データを作成する。ＹＵＶ信号を画像を表示し得るデータにする処理とは、例えばＹＵＶ信号をＲＧＢ信号に変換する処理をいう。また、映像処理部３は、必要に応じてラベル番号から映像信号が示す撮影対象物（人間あるいは車等）を特定し、特定された撮影対象物を外部に通知する処理等を行う。
【００６０】
以上述べた本実施形態によれば、電子カメラ等の映像信号源で得られた映像信号にラベルを付して映像処理部に転送することができる。このため、映像処理部３における画像データから特徴を検出する処理が不要になり、映像処理部３のＣＰＵにかかる負荷を軽減することができる。このため、映像処理部３のＣＰＵにより小型、低コストのものを採用することができ、ひいては画像処理装置全体の小型化、低コスト化が実現できる。また、映像処理部３のＣＰＵに既存の処理能力を持たせた場合、この能力を画像データの特徴量検出以外の処理に充てることができる。
また、本発明の画像データ転送方法によれば、今までの監視カメラなどの映像システムにおける画像データ処理手段の構成を大きく変更することなく、ラベル情報を転送することができるので、コストアップすることなく、装置を構成することができる。
また、本発明の画像データ転送方法によれば、ラベル情報と画像データが同期をとって転送できるので、転送されるラベル情報と画像データを単にアンド（ａｎｄ）するのみで、実時間で特定画像（たとえば人物、車両など）を抽出できる。また、同一の方法で、複数の特徴量を転送できるので、より正確な領域抽出が可能となる。
【００６１】
また、本実施形態は、ラベル情報多重部２をほぼ論理回路等のハードウェアで構成した。このため、画像処理のうち画像の特徴量を検出する処理をＣＰＵ等によるよりも簡易にでき、画像処理装置全体の画像処理にかかる負荷を軽減することができる。
【図面の簡単な説明】
【００６２】
【図１】本発明の一実施形態の画像処理装置の構成を説明するためのブロック図である。
【図２】ＹＵＶ４１１フォーマットで変換された映像信号のＹ信号の転送を説明するための図である。
【図３】ＹＵＶ４１１変換部において複数の画素から１つの代表値を算出する処理を説明するための図である。
【図４】図３に示した構成において算出された代表値の伝送フォーマットを説明するための図である。
【図５】図１に示したラベリング部のより詳細な構成を説明するための図である。
【図６】特徴量として映像信号の色を検出する構成を例示する図である。
【図７】一般的なノイズ除去フィルタの構成を例示するための図である。
【図８】一般的な２値画素基本フィルタを説明するための図である。
【図９】本発明の一実施形態のＵＶ信号とラベル番号との多重化を説明するための図である。
【図１０】複数のラベル番号から１つの代表値を算出する処理を説明するための図である。
【図１１】本発明の一実施形態の映像処理装置の構成を説明するための図である。
【図１２】図１１に示したＵＶ信号・ラベル番号分離部の構成を説明するための図である。
【図１３】図１１に示したＵＶ信号分離部の構成を説明するための図である。
【図１４】図１１に示したＶＲＡＭに格納された映像信号の状態を説明するための図である。
【図１５】本発明の従来例にあたる画像処理の構成を説明するための図である。
【符号の説明】
【００６３】
２  ラベル情報多重部、３  映像処理部、１０１  電子カメラ、１０５  ＹＵＶ４１１変換部、１０８  ＶＲＡＭ、１０９  ＵＶ信号・ラベル番号多重部、１１１  ラベリング部、１１３  領域抽出部、１１５  ラベル番号エンコーダ、１１９ｂ  ＵＶ信号ポート、１１０１  ＵＶ信号分離同期部、１１０２  ＵＶ信号格納部
【図１】
2005286596.tif 000003
【図２】
2005286596.tif 000004
【図３】
2005286596.tif 000005
【図４】
2005286596.tif 000006
【図５】
2005286596.tif 000007
【図６】
2005286596.tif 000008
【図７】
2005286596.tif 000009
【図８】
2005286596.tif 000010
【図９】
2005286596.tif 000011
【図１０】
2005286596.tif 000012
【図１１】
2005286596.tif 000013
【図１２】
2005286596.tif 000014
【図１３】
2005286596.tif 000015
【図１４】
2005286596.tif 000016
【図１５】
2005286596.tif 000017