(57)【要約】【課題】画像情報に付加情報を設け画像を合成する。【解決手段】複数の画像情報の端部に画像パターンの付加情報を付加して伝送し、受信して再生して得られた画像情報とこれに付加した付加情報に基づいて複数の画像情報のそれぞれの画像位置や時間情報を識別し、識別結果に応じて画像を合成して１画面を形成することにより、システムの変更を少なくして画素数の多い画像情報を伝送できるようにした。【選択図】図１
2007189561.tif 000002
【特許請求の範囲】
【請求項１】
画像情報を複数個に分割する画像分割手段と、
前記分割された画像情報に画像パターンの付加情報を付加する情報付加手段と、
前記付加情報が設定された分割画像を伝送フォーマットに変換して出力する出力手段と
を有するカメラ用信号処理回路。
【請求項２】
前記分割された画像情報と付加情報はＭＣＵ（Ｍｉｎｉｍｕｎ  Ｃｏｄｅ  Ｕｎｉｔ）の整数倍に設定された情報である請求項１記載のカメラ用信号処理回路。
【請求項３】
前記出力手段は、前記分割された画像情報と付加情報をＪＰＥＧ画像に圧縮する手段である請求項１記載のカメラ用信号処理回路。
【請求項４】
前記画像パターンは、２値以上の明るさまたは色またはその組み合わせにより構成され、前記分割された画像情報の位置情報または時間情報を表す請求項１記載のカメラ用信号処理回路。
【請求項５】
撮像素子により得られた画像情報を複数個に分割する画像分割手段と、
前記分割された画像情報に画像パターンの付加情報を付加する情報付加手段と、
前記付加情報が設定された分割画像を伝送フォーマットに変換して出力する出力手段と
を有する撮像装置。
【請求項６】
前記分割された画像情報と付加情報はＭＣＵ（Ｍｉｎｉｍｕｎ  Ｃｏｄｅ  Ｕｎｉｔ）の整数倍に設定された情報である請求項５記載の撮像装置。
【請求項７】
前記伝送手段は、前記分割画像情報と付加情報をＪＰＥＧ画像圧縮して出力する請求項５記載の撮像装置。
【請求項８】
前記画像パターンは、２値以上の明るさまたは色またはその組み合わせにより構成され、前記分割された画像情報の位置情報または時間情報を表す請求項５記載の撮像装置。
【請求項９】
前記伝送手段は、前記分割された画像情報をネットワークを介して送信する請求項５記載の撮像装置。
【請求項１０】
画像情報に該画像情報を識別する画像パターンの付加情報を付加する情報付加手段と、
前記画像パターンが付加された画像情報を出力する出力手段と、
前記出力手段から出力された画像情報を伝送フォーマットに変換して伝送する伝送手段と、
前記伝送手段を介して伝送された画像情報を受信し、画像情報を再生する再生処理手段と、
前記再生処理手段で再生された画像情報の前記付加情報に基づいて画像位置または時間を識別する識別手段と、
前記識別手段から出力された画像情報から１フレームの画像を生成する画像合成手段と、
前記画像合成手段で合成された画像を表示する表示手段と
を有する画像伝送システム。
【請求項１１】
前記画像情報は分割された画像で構成され、該分割された画像情報にそれぞれ前記画像パターンの付加情報が付加された請求項１０記載の画像伝送システム。
【請求項１２】
前記分割された画像情報と付加情報はＭＣＵ（Ｍｉｎｉｍｕｎ  Ｃｏｄｅ  Ｕｎｉｔ）の整数倍に設定された情報である請求項１１記載の画像伝送システム。
【請求項１３】
前記出力手段は、前記分割された画像情報と付加情報をＪＰＥＧ画像圧縮して出力する請求項１２記載の画像伝送システム。
【請求項１４】
前記画像情報は、拡大または縮小された画像情報を含む複数の画像情報で構成され、該画像情報にそれぞれ前記画像パターンの付加情報が付加された請求項１０記載の画像伝送システム。
【請求項１５】
前記画像情報は、複数のカメラ装置で撮影された複数の画像情報にそれぞれ付加情報が付加された請求項１０記載の画像伝送システム。
【請求項１６】
前記画像情報は、１台のカメラ装置で異なる方向に撮影した複数の画像情報にそれぞれ付加情報が付加された請求項１０記載の画像伝送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を任意の数に分割し圧縮して伝送し、分割した画像を伸張した後合成して画像を復元するカメラ用信号処理回路、撮像装置及び画像伝送システムに関する。
【背景技術】
【０００２】
図８に従来のネットワークを通して画像を配信する画像伝送システム８００を示す。
撮像素子８０１から出力された画素信号は画像処理部８０２で処理され表示可能な画像信号となる。その後、画像信号がＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｍｅｎｔ  Ｇｒｏｕｐ）圧縮部８０３でＪＰＥＧフォーマットに従って圧縮される。圧縮された画像はネットワーク配信部８０４でＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）等の通信プロトコルに変換されＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）８０５等を介して配信され、例えば遠隔地にあるネットワーク受信部８０６で受信され、ＪＰＥＧ伸張部８０７で伸張されて画像が復元される。復元された画像は画像表示部８０８で表示される。
【０００３】
一般的に撮像素子８０１、画像処理部８０２、ＪＰＥＧ圧縮部８０３、ネットワーク配信部８０４までの装置でネットワークカメラを構成する。また、ネットワーク受信部８０６、画像表示部８０８はＰＣ（パーソナルコンピュータ）上でソフトウエアにより実現されることが多い。
撮像素子８０１は画素数が年々増加している。一般的にネットワークカメラはネットワークを介して画像を送信する関係から大容量のデータを送信することが難しく、使用される画素数は多くない。例えば一般的に普及しているＡＤＳＬ（Ａｓｙｎｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）回線の場合、上りのデータ送信のバンド幅は１Ｍｂｐｓ程度である。
一方ＪＰＥＧ圧縮したＱＶＧＡ（３２０＊２４０画素：＊印は乗算記号を表す）の画像サイズは被写体や量子化テーブルの値にもよるが、一般的な被写体を中程度の画質で圧縮した場合１５ＫＢｙｔｅ程度である。この画像を５Ｆｒａｍｅ（フレーム）／秒で送信した場合に必要になるバンド幅を計算すると１５ＫＢｙｔｅ＊ｘＢｉｔ＊５＝６００Ｋｂｐｓ（以後＊印は乗算記号を表す、ｂｐｓ；伝送速度、ビット／秒）程度であり、ＡＤＳＬを用いた場合はこの程度のサイズの画像の送信でバンド幅の多くを使ってしまうことになる。
【０００４】
一方、構内などで使用されるＬＡＮでは１０Ｍｂｐｓ、１００Ｍｂｐｓ、１Ｇｂｐｓなどのインフラがすでに整っており、ＡＤＳＬに比べると最大で１００倍の画像を送信できることになる。
監視用のネットワークカメラにおいて、ビルの中などの閉じた空間のみを画像伝送する場合があり、その場合は、これらのインフラの元で用いられることになる。この場合、使用されるカメラ装置の撮像素子は監視用途ということもあり高画質が要求され画素数が増加する傾向にある。
【特許文献１】特開２００２−３４０３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ネットワークカメラにおいて通常ＪＰＥＧ処理部はＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）でハード的に実現されている場合が多い。これはソフトウエア処理では現状動作速度が間に合わないことが多く、高フレームレート（例えばＶＧＡサイズ（６４０＊４８０）で３０Ｆｒａｍｅ（フレーム）／秒では１４Ｍｂｐｓ程度の帯域になる）のデータを処理できないためである。
ハードウエアで実現する場合、その内部にあるメモリなどで処理できる画素数が決まってしまう構成の場合が多い。一方、使用する画素数が増加すると既にあるＬＳＩではある画素数を超えた撮像素子のＪＰＥＧ圧縮処理が行えなくなってしまう問題があり、その度に対応するＪＰＥＧの処理用ＬＳＩを開発する必要があった。
また、画素数が年々増加する場合、その画素数に最適なＬＳＩを準備することは困難である。また、考えられる最大画素数の処理できるＬＳＩを準備すれば処理が可能であるが、コストが高くなりそれ以下の画素を処理する場合はコスト的に使えない場合が多い。
さらに、画像を複数に分割する場合も画像の分割情報を付加する必要があるが、そのための方法は現状の存在するシステムでは組み込むことはできないので新規開発が必要になりコスト的に高くなる。
特許文献１に示すＪＰＥＧによる動画像符号化方法は、監視画象を上下２つに分割し、監視対象外の画像は常時伝送しないで一定周期でリフレッシュし、監視対象とする画像はＭＣＵ（Ｍｉｎｉｍｕｎ  Ｃｏｄｅ  Ｕｎｉｔ）を指定して、常に伝送するようにしている。しかしながら、画像を分割してそれぞれに元の画像に対する位置識別用の情報を付与する構成はなく、また分割した画像を位置識別用情報を用いて元の画像に復元することは開示されておらず、さらに画素数が増加した場合の画像の伝送方法については開示されていない。
本発明の目的は、上記課題に対して画像処理部で画像を出力する際にあらかじめ現在ある後段のＪＰＥＧ、ＬＳＩのサイズに合わせて画像を分割する機能を持たせることによりＪＰＥＧ部を新規に作成する必要をなくするようにすることである。
また、分割した画像の周辺部に画像位置認識部を設け、ＪＰＥＧ圧縮前の画像にコードを付与することにより、分割された画像を認識し画像を合成し元の画像を効率よく復元することである。
【課題を解決するための手段】
【０００６】
本発明のカメラ用信号処理回路は、画像情報を複数個に分割する画像分割手段と、前記分割された画像情報に画像パターンの付加情報を付加する情報付加手段と、前記付加情報が設定された分割画像を伝送フォーマットに変換して出力する出力手段とを有する。
本発明の信号処理回路を有する撮像装置は、撮像素子により得られた画像情報を複数個に分割する画像分割手段と、前記分割された画像情報に画像パターンの付加情報を付加する情報付加手段と、前記付加情報が設定された分割画像を伝送フォーマットに変換して出力する出力手段とを有する。
本発明の画像伝送システムは、画像情報に該画像情報を識別する画像パターンの付加情報を付加する情報付加手段と、前記画像パターンが付加された画像情報を伝送フォーマットに変換して出力する出力手段と、前記出力手段から出力された画像情報を伝送する伝送手段と、前記伝送手段を介して伝送された画像情報を受信し、画像情報を再生する再生処理手段と、前記再生処理手段で再生された画像情報の前記付加情報に基づいて画像位置または時間を識別する識別手段と、前記識別手段から出力された画像情報から１フレームの画像を生成する画像合成手段と、前記画像合成手段で合成された画像を表示する表示手段とを有する。
【発明の効果】
【０００７】
一部のハードウエアとソフトウエアを変更することにより、画素数が増加してもネットワークを介して画像を配信し、元の画像を復元することができる。
既存のＪＰＥＧ圧縮以降の処理とシステムをほとんど変更することなく、現在送信できている画像より大きなＪＰＥＧ画像をネットワークを介して送信することができる。
また、現在ある通信プロトコルを変更することなく、複数のカメラで撮影した画像や、拡大画像などを配信することができる。
【発明を実施するための最良の形態】
【０００８】
本発明の画像分割方法について図１を用いて説明する。
撮像素子から出力された画素信号を画像処理して画像信号を出力する。以下画像は画素数が多いＳＸＧＡ画像で構成されている例について説明する。ＳＸＧＡ画像は画素数が多く、このままＪＰＥＧ圧縮してネットワークを介して伝送すると伝送時間がかかり、場合によっては伝送が中断したりする。
これを回避するため、たとえばＳＸＧＡ画像を２分割し、分割された画像１０１，１０３をそれぞれハーフフレームとして画像情報を少なくして伝送する。画像サイズは例えば、右左で同じ画素数でかつ水平画素数は８の倍数とし、ＳＸＧＡ画像の場合、１０２４／２＝５１２＝６４＊８である。
分割された画像はその右端の領域に付加（分割）情報が付加され、この付加情報は８＊８ピクセル（画素）のＭＣＵ（Ｍｉｎｉｍｕｎ  Ｃｏｄｅ  Ｕｎｉｔ）単位で構成することにより、ＪＰＥＧ圧縮時に画像に影響を及ぼさないようにしている。また、画像をＭＣＵ区切りで２分割しているので、画像圧縮、伸張した後、分割された画像を合成しても画像全体に影響を及ぼさない。
【０００９】
図１（Ａ）に示すように、１フレームを２分割し、分割された左画像１０１と右画像１０３の右端にフレームを区別する情報と元の画像に対する画像位置を区別する付加情報１０２，１０４が設定される。この付加情報１０２，１０４の領域は例えばブランキング部に設けることができる。付加情報１１０（１０２，１０４）の領域は、図１（Ｂ）に示すように、８＊８ｐｉｘｅｌ（ピクセル；画素）で構成された単位ブロックを用いて、画像の縦方向に１，２，３，４，・・・と構成されている。この単位ブロック内に黒、白などの情報が識別番号として付加（または設定）され、例えば該当する番号のところに識別番号として白色（データ）が設定される。それ以外の情報が存在しない単位ブロックは黒色のデータが設定される。
図１（Ｂ）において、第１番目のフレームを分割したハーフフレームの左画像１０１の付加情報１０２は単位ブロックの１番目に白色（データ）が設定され、それ以外は黒色データに設定される。またハーフフレームの右画像１０３の付加情報１０４は単位ブロックの２番目に白色が設定され、それ以外は黒色データに設定される。
第２番目のフレームを分割したハーフフレームの左画像データは単位ブロックの３番目に識別番号として白色が形成され、ハーフフレームの右画像データは単位ブロックの４番目に白色が設定され、それ以外は黒色（データ）に設定される。第３番目のフレーム以後同様な動作を繰り返す。
このように、ハーフフレームの左画像１０１、右画像１０３、・・・の右端に設けられた付加情報１１０にフレームを区別する情報や画像位置の情報に関する識別番号を設定して、分割された画像を識別できるようにしている。
【００１０】
ネットワークを介して画像などの情報をパケットを用いて配信するとき、送信されたパケットデータの受信順序が時間的に前後することがある。たとえば、付加情報１１０を第１番目のフレームについてハーフフレーム単位で識別番号１，２と設定すると、パケットデータの受信順序がずれて、第２フレームのハーフフレームの左画像（付加情報１）が第１フレームのハーフフレームの右画像（付加情報２）より先に受信されると、第１フレームの右画像の付加情報の識別番号は２で第２フレームの左画像の付加情報の識別番号１より早く受信されているので、このフレームの異なる２つの左右画像を用いて合成されることがあり、合成画像がずれたりする。
この不具合を回避するため、図１（Ｂ）に示すように、付加情報１１０をたとえば１，２，３，４の４個用い、第１フレームのハーフフレームの左画像１０１に付加情報を識別番号１、ハーフフレームの右画像１０３の付加情報を識別番号２とし、第２フレームのハーフフレームの左画像の付加情報を識別暗号３、ハーフフレームの右画像の付加情報を識別番号４とそれぞれ設定する。
第２フレームの左画像（識別番号３）が第１フレームの右画像（識別番号２）よりネットワークのルーターを介して早く受信された場合、識別番号２は第１フレームの右画像で、識別番号３は第２フレームの左画像であるから、左画像と右画像で１フレームの画面を構成することができる。しかし、識別番号からフレームが異なることをＣＰＵ上で判別できるのでソフトウェアを構成しておけば、これらの画像で合成は行われない。
すなわち、ハーフフレームの画像の受信順序が変わっても、所定フレーム間では、付加情報１１０に基づき正常な画像が合成される。その結果、図１（Ａ）に示すように、正確に合成された画像１０５が表示される。これらの画像合成はソフトウエアの一部を追加変更して、制御プログラムにしたがってＣＰＵを動作させ、画像の付加情報の設定、付加情報（識別番号）の判別や画像位置設定を行う。
【００１１】
上述においては、画像を２分割した例を示したが、画素数によっては４分割や、８分割等を行う必要もあり、画像分割数を限定するものではない。
また、図１に示した例では第１番目と第２番目の２フレーム（４ハーフフレーム）間で付加情報１１０の識別番号を設定したが、１〜４，１〜８フレーム間などで識別番号を設定しても良く、本発明はこれに限定されるものではない。
付加情報１１０の識別番号を白、黒色の２色で説明したが、この付加情報１１０に例えば白と黒色の間に８ビット階調を付け、この階調を識別することにより、種々の画像合成を行うことができる。また、白、黒色だけでなく、色を付加することにより更に識別情報を増やすことができ、多種の画像処理ができるようにすることができる。
付加情報は分割画像の右端のブランキング領域に設けたが、これ以外に分割画像の左端、上端、下端などに付加しても良い。但し、画像サイズと画像情報はＭＣＵの倍数である必要がある。
【００１２】
このように、画素数が増加しても画像を任意の数に分割して送ることにより、ＪＰＥＧ圧縮処理以降のシステムの変更を少なくすることができる。この場合変更する必要があるのは、信号処理ＬＳＩと画像を表示するソフトウエアの一部のみであり、システム開発やＬＳＩの開発を短期間で行うことができる。
【００１３】
次に、図２に本発明の他の実施形態であるカメラ装置を用いた画像伝送システム２００を示す。
図２のカメラ装置は例えば、撮像素子２０１、信号処理部２０２、ＪＰＥＧ圧縮部２０３、ネットワーク配信部２０４等で構成され、ネットワーク部はＬＡＮ２０５で構成され、また受信部はネットワーク受信部２０６、ＪＰＥＧ伸張部２０７、画像表示部２０８などで構成される。
カメラ装置において、不図示のレンズを介して入力された被写体の画像が撮像素子２０１の撮像面上に投写される。撮像素子２０１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などから構成され、レンズを透過した画像を電気信号に変換し、画像信号としてＣＤＳ（相関二重サンプリング）やプリアンプなどを介して信号処理部２０２に供給する。
【００１４】
信号処理部２０２は、図３に示すように、前処理部３０１、Ｙ（輝度）ブロック３２０と不図示の画像処理の分割手段、情報付加手段、Ｃ（色；クロマ）ブロック３４０、パラレルインターフェース３５０、ＣＰＵ（マイクロコンピュータ）３６０等で構成される。各ブロックの更に詳細な機能ブロック構成は図３に示してあり、画像分割手段、情報付加手段以外は従来と同様であるのでここでは詳細な説明は省略する。
前処理部３０１でビット順の変換、黒レベルの検出、ディジタル自動ゲイン調整（Ｄｉｇｉｔａｌ  Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）、不図示のレンズで生じるシェーディングの補正や、遅延線を用いて輝度信号（データ）と色信号（データ）を分離し、また遅延線を用いて画素欠陥の補正を行う。
Ｙブロック（輝度信号処理部）３２０は、Ｙ（輝度）信号の垂直・水平（方向）輪郭補正、Ｙ輝度信号と垂直・水平輪郭補正信号のＭｉｘ（混合；加算）処理、γ（ガンマ）補正、ルミナンス（輝度）キー処理、画像の一部領域を任意の輝度などに処理するソラリ、また画像を反転するネガ処理などの種々の画像処理を行う。
Ｃブロック（色信号処理部）３４０は、色分離やクランプ処理、色信号のノイズや色偽信号の除去、ＲＧＢマトリックス（Ｍａｔｒｉｘ）処理、Ｒ，Ｇ，Ｂの各色の係数を可変するホワイトバランス（ＷＢ）調整、γ（ガンマ）補正、Ｒ−Ｇ／Ｂ−Ｇ変換，色偽信号の抑圧処理、色差信号（Ｃｒ／Ｃｂ）の生成、クロマサプレス（抑制）処理，Ｈｕｅ／Ｇａｉｎ調整などを行う。
Ｙブロック３２０とＣブロック３４０等から出力されて復号されたコンポジット信号、ディジタルＹ（輝度），Ｃ（色）信号、ディジタルコンポーネント信号が不図示の画像分割手段、情報付加手段に供給される。
画像分割手段、情報付加手段において、入力された画像信号を、例えばＭＣＵの倍数となるように水平方向に画像を２分割、４分割、・・・して、それぞれ分割された画像の右端に例えば画像パターンで構成された付加情報を設定する。分割の方法や付加情報の設定は、制御プログラムに従ってＣＰＵからインターフェイスを介して画像分割手段と情報付加手段に制御信号が供給されることにより行われる。分割の方法と付加情報の設定方法は図１において説明したことと同様に行われる。
【００１５】
信号処理部２０２で分割されかつ付加情報が設定された多画像（情報）はそれぞれＪＰＥＧ圧縮部２０３に出力され、そこでＪＰＥＧフォーマットにしたがって画像データが圧縮される。圧縮された画像はネットワーク配信部２０４に出力され、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）等の通信プロトコルに変換されネットワークに配信される。
配信された画像はＬＡＮ２０５等を介して遠隔地にあるネットワーク受信部２０６で受信され、ＪＰＥＧ伸張部２０７で伝送された画像が伸張され元の分割されたハーフフレーム画像が生成される。
ハーフフレームに分割された画像の例えば右端に設けられた付加情報を、ＣＰＵ等を用いて制御プログラムに従って識別し、分割された画像が分割以前の画像のどの位置に存在するかを決定する。そして、その結果に基づいて、分割された画像が所定位置に配置されて１フレームの画像が合成され、元の全体画像が復元される。復元された画像は表示装置２０８の表示部に表示される。
【００１６】
このように、既存のＪＰＥＧ圧縮以降の処理とシステムはほとんど変更することなく、現在送信できている画像より大きなＪＰＥＧ画像をネットワークを介して送信することができる。この場合、信号処理ＬＳＩと画像を表示するソフトウエアの一部のみを変更するだけでよい。また、ネットワーク配信の場合、通信プロトコルを変更することなく、複数画像を配信することができる。
【００１７】
次に本発明の他の実施形態例の複数のカメラ装置を用いた画像伝送システム４００を図４に示す。
画像伝送システム４００は、例えば４個のカメラ装置１〜４で構成され、各カメラ装置１〜４はそれぞれ、撮像素子４０１と信号処理回路４０５、撮像素子４０２と信号処理回路４０６、撮像素子４０３と信号処理回路４０７、撮像素子４０４と信号処理回路４０８で構成される。
また、カメラ装置１〜４の外部はセレクタ４０９、ＪＰＥＧ圧縮回路４１０、ネットワーク配信部４１１などで構成されている。
【００１８】
撮像素子４０１〜４０４は図１で説明した撮像素子と同じ構成で、例えばＣＣＤまたはＣＭＯＳなどの固体撮像素子で形成される。この撮像素子４０１〜４０４で得られた画像信号が信号処理部４０５〜４０８にそれぞれ出力される。
信号処理部４０５〜４０８は図３で説明したように、前処理部３０１、Ｙブロック３２０、不図示の画像分割手段と情報付加手段、Ｃブロック３４０、パラレルインターフェース３５０、ＣＰＵ（マイクロコンピュータ）３６０等で構成される。
信号処理装置は上述したように、前処理部３０１でビット順序の変換、黒レベルの検出、ディジタル自動ゲイン調整（Ｄｉｇｉｔａｌ  Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）、不図示のレンズで生じるシェーディングの補正や、遅延線を用いて輝度信号（データ）と色信号（データ）を分離し、また遅延線を用いて画素欠陥の補正を行う。
Ｙブロック（輝度信号処理部）３２０は、Ｙ（輝度）信号の垂直・水平（方向）輪郭補正、Ｙ輝度信号と垂直・水平輪郭補正信号のＭｉｘ（混合；加算）処理、γ（ガンマ）補正、ルミナンス（輝度）キー処理、画像の一部領域を任意の輝度などに処理するソラリ、また画像を反転するネガ処理などの種々の画像処理を行う。
Ｃブロック（色信号処理部）３４０は、色分離やクランプ処理、色信号のノイズや色偽信号の除去、ＲＧＢマトリックス（Ｍａｔｒｉｘ）処理、Ｒ，Ｇ，Ｂの各色の係数を可変するホワイトバランス（ＷＢ）調整、γ（ガンマ）補正、Ｒ−Ｇ／Ｂ−Ｇ変換、色偽信号の抑圧処理、色差信号（Ｃｒ／Ｃｂ）の生成、クロマサプレス（抑制）処理、Ｈｕｅ／Ｇａｉｎ調整などを行う。
不図示の画像分割手段、情報付加手段において、画像を分割する場合、Ｙブロック３２０とＣブロック３４０等から出力されて復号されたアナログまたはディジタル画像信号の表示画面を例えば２分割、４分割、・・・とし、その分割された画面の右端に画像パターンで構成された付加情報を設定する。
また画像を分割しない場合、入力された画像の右端に、例えばカメラ装置1〜４の番号等の付加情報を設定する。
例えば、カメラ装置１において、撮像素子４０１で得られた画像信号を信号処理部４０１で処理し、画面の右端にカメラ装置１で撮影した画像であることを示す付加情報の識別番号１を設定する。カメラ装置２〜４においても同様に各カメラ装置に対応して付加情報の識別番号２〜４が設定される。
【００１９】
この画像情報の付加方法は図１と同様に行う。例えば、図５（Ａ）に示すように、カメラ装置１で撮影したＶＧＡ１画像５０１の右端にカメラ装置１を区別する付加情報５０２を設定する。
また、カメラ装置２で撮影したＶＧＡ１画像５０３の右端にカメラ装置２を区別する付加情報５０４を設定する。以後同様にカメラ装置３，４で得られた画像５０５，５０７の右端に付加情報５０６，５０８を設定する。
付加情報５３０（５０２，５０４，５０６，５０８）は上述したように、図５（Ｂ）に８＊８ｐｉｘｅｌを単位ブロックとして画面右端に縦方向に形成する。カメラ装置１の付加情報５０２は付加情報５３０の領域１に白色の設定を行い、それ以外の付加情報の領域２〜４までの領域は黒色のままの状態にしておく。
また、カメラ装置２の付加情報５０４はカメラ装置２で得られた画像の右端に設けられた付加情報の領域の２に白色の設定を行う。その他の付加情報領域は変更しないで黒色のままにしておく。
以後同様に、カメラ装置３，４においても、各カメラ装置で得られた画像の右端の付加情報領域５０６，５０８の３，４番目に白色を設定する。図５（Ｂ）に付加情報を１〜４まで設定し、それ以後のブロックは黒色に設定した例を示す。また、さらに付加情報を増やすことも出来、その場合付加情報（領域）４以降の黒色領域に白色領域を設定できるようして、そこに付加情報を設定する。
【００２０】
次に、カメラ装置１〜４から出力された画像信号をセレクタ５１０で時系列に選択する。カメラ装置１〜４から供給された４画像を合成して１画面を形成する場合の選択は、１フレーム期間を等間隔に時刻ｔ１〜ｔ４と分割し、例えば、時刻ｔ１にカメラ装置１から出力された画像信号を選択し伝送する。時刻ｔ２になるとカメラ装置２から出力された画像信号を選択し伝送する。以後、時刻ｔ３，ｔ４にカメラ装置３，４の画像を選択し伝送する。
一方、ネットワーク配信のとき、カメラ装置１の画像がセレクタ５１０で選択され、後段のＪＰＥＧ圧縮部に供給され、ＪＰＥＧ圧縮部で画像圧縮される。カメラ装置１の画像がＪＰＥＧ圧縮部で圧縮処理が終わり、時刻ｔ２になると、セレクタ５１０でカメラ装置２の画像が選択され、ＪＰＥＧ圧縮部に出力され画像圧縮される。以後同様に、時刻ｔ３，ｔ４でカメラ装置３，４について同様な動作が行われる。
【００２１】
１フレーム期間の画像選択が終わると、２フレーム目の画像が同様に選択される。以後フレーム毎に各カメラ装置１〜４で得られた画像選択が行われる。画像の付加情報の設定はＣＰＵ（マイクロコンピュータ）を用いて行われ、１フレームまたは１画面を構成する付加情報の設定が終わると、その後該当するカメラ装置１〜４の画像が更新される。
セレクタ５１０のカメラ装置１〜４の画像の選択方法は付加情報の番号順に時系列に行う例を示した。しかし、各カメラ装置１〜４の画像信号に付加情報１〜４が設定されているので、その付加情報に基づいて画像合成できるので、画像の選択順序は時間に対して任意に設定することが出来る。
【００２２】
次に、ＪＰＥＧ圧縮部でＪＰＥＧフォーマットに従って圧縮された画像データはネットワーク配信部に出力され、ＴＣＰ／ＩＰ等の通信プロトコルに変換され、ＬＡＮ等を介して配信される。
ネットワークで配信された画像が遠隔地にあるネットワーク受信部で受信され、ＪＰＥＧ伸張部に供給されて圧縮された画像が伸張され、画像１〜４がそれぞれ復元される。
復元された画像１〜４の右端に設けられた画像情報を制御プログラムに従いＣＰＵを用いて読み取り、あるいは画像認識して、画像１〜４が合成した全体画面のどの位置であるかを決定する。
時刻ｔ１に対応する画像１の右端の付加情報１を識別して、画像を合成するための位置に配置する。たとえば付加情報１の画像は１フレーム画面の左上に配置する。次に、時刻ｔ２に対応する画像２の右端の付加情報２を識別して、もとの画像に対応する位置たとえば画面右上に配置する。同様に、時刻ｔ３に対応する画像３は画面左下に配置し、時刻ｔ４に対応する画像４は画面右下にそれぞれ配置する。このように配置して合成して得られた１フレームの画像の例を図５に示す。
所定位置に配置されて画像が合成されて元の全体画像が復元され、その画像は表示装置の表示部で表示される。
【００２３】
図５において、カメラ装置を４台としたときの画像伝送システム５００の例について説明したが、本発明はカメラ装置の個数を限定するものではない。カメラ装置を複数台備えることにより、各カメラ装置で撮影された画像の右端にそのカメラ装置の番号等を付加情報として設定し、設定された付加情報の番号等を識別して例えば１フレーム内の任意の位置に画像を配置し、画像を合成することができる。
【００２４】
このように、画像の一部に付加情報を設定することにより、複数台のカメラ装置から得られた画像を伝送し、伝送された画像の付加情報に基づいて１フレーム内に画像を合成することができる。
複数台のカメラによる画像伝送システムは監視カメラシステムに応用することができ、システムが簡略化でき、しかも安価に実現できる。
【００２５】
次に、本発明の他の実施形態例について述べる。例えば１台のカメラ装置にいわゆる首振り機能を設け、所定の時間間隔で撮影場所を変更し、撮影された各画像の右端に付加情報を設定して１枚の画面に複数の画像を合成する例を示す。
カメラ装置で撮影方向１に対して撮影された画像１の付加情報１の識別番号を例えば「１」として画像の右端に設定する。同様に、撮影方向２に対して得られた画像２の付加情報２の識別番号を「２」として画像右端に設定する。以下同様に必要な撮影場所の個数に応じて各画像の右端に付加情報３，４の識別番号を［３］，［４］，・・・と設定する。また、この識別番号１，２，・・・に対応する合成時の画像配置をＣＰＵ（マイクロコンピュータ）などで設定し、受信後その付加情報１，２，・・・の識別番号［１］，［２］，・・・を識別して、ＣＰＵ等により１フレーム内の任意の場所に画像を配置し、所望の画像を合成する。
【００２６】
カメラ装置の首振り機能により撮影された複数の画像をネットワーク配信する場合、画像１，２，・・・はＪＰＥＧフォーマットに基づいて圧縮されてＴＣＰ／ＩＰプロトコル変換されてネットワーク配信され、受信後圧縮された画像を伸張し、ＣＰＵ等により復元して合成して１フレームの画像を形成する。
この他、画像１，２，・・・の各画像の右端に付加情報を付加し、この画像を圧縮しないで伝送し、受信後各画像の付加情報１，２，・・・の識別番号［１］，［２］，・・・を識別して、ＣＰＵ等を用いて識別番号に基づき１フレームの画像を合成してもよい。
【００２７】
このように、カメラ装置に首振り機能を設けて撮影した複数の画像に付加情報を設定して伝送、合成することにより監視カメラ等のシステムを簡略化し安価に実現できる。また、１台のカメラ装置で撮影された複数の画像をネットワーク配信し、遠隔地で受信後画像を合成して監視画像を表示することができる。
【００２８】
次に本発明の他の実施形態であるズーム（拡大）機能付カメラ装置６００を用いた画像伝送システムを図６に示す。
カメラ装置６００で撮影して得られた全体画像（ＶＧＡ）６０１とこの全体画像（ＶＧＡ）６０１の一部をズームして得られた拡大画像（ＶＧＡ）６０３のそれぞれの画像の右端に付加情報６０２，６０４を設定する。全体画像（ＶＧＡ）６０１の右端に倍率情報６０２を設定し、拡大画像（ＶＧＡ）６０３の右端に倍率と位置情報６０４を設定する。
図６（Ｂ）に付加情報６２０の例を示す。この付加情報６２０の領域はブランキング部に設けることができる。付加情報６２０の領域は、図６（Ｂ）に示すように、８＊８ｐｉｘｅｌで構成された単位ブロックを用いて、画像の縦方向に１，２（，３，４，・・・）と構成されている。この単位ブロック内に例えば黒、白などの付加情報としての識別番号が設定され、該当する番号のときに白色が設定される。それ以外の単位ブロックは黒色が設定される。
また、図６（Ｂ）に示すように、第１フレームの前半のハーフフレームの全体画像（ＶＧＡ）６０１の画像の付加情報６０２は単位ブロックの１番目に識別番号として白色が設定され、それ以外は黒色が設定される。また１フレーム目の後半のハーフフレームの拡大画像（ＶＧＡ）６０３の付加情報６０４は単位ブロックの２番目に識別番号として倍率と位置情報のデータが設定され、それ以外は黒色が設定される。
第２フレームにおいて、前半のハーフフレーム期間に拡大画像（ＶＧＡ）６０３の画像データは単位ブロックの２番目に識別番号として白色が設定され、後半のハーフフレーム期間も拡大画像（ＶＧＡ）６０３の画像データが単位ブロックの２番目に識別番号として白色が設定される。
第３フレームからハーフフレーム毎に同様な付加情報の設定が行われる。これらの設定はＣＰＵ等によりパラレルインターフェースを介して行われる。
付加情報６２０の各領域に識別番号として白色、または黒色の２種類（１ビット）の情報を設定したが、これ以外に、白色と黒色間に階調を設けあるいは色を設定することにより多ビット情報を設定することができ、倍率の情報以外に画像位置情報などの複数の情報を同時に設定することが出来る。
【００２９】
付加情報が設定された全体画像（ＶＧＡ）６０１と拡大画像（ＶＧＡ）６０３はセレクタ６０５により時分割に選択され、伝送される。
このとき、ＰＣ（マイクロコンピュータ）上で全体画像（ＶＧＡ）６０１と拡大画像（ＶＧＡ）６０３を合成して１フレームの画像６１０（６１１，６１２）として伝送する。
付加情報６０２，６０４が設定された全体画像（ＶＧＡ）６０１と拡大画像（ＶＧＡ）６０３は画像情報（画素数）がＸＶＧＡ画像と比較して少ないので、全体画像（ＶＧＡ）６０１を分割して伝送する必要はなく、直接ゲーブルで伝送し、あるいは従来のネットワーク配信する。
配信された画像を受信後、ＣＰＵ等を用いて全体画像（ＶＧＡ）６０１と拡大画像（ＶＧＡ）６０３の付加情報６０２，６０４を識別して、付加情報に基づき１フレームの画像を合成する。
【００３０】
図７に示すように、付加情報を用いて画像表示部に全体画像７０２と拡大（ズーム）画像７０３を合成した例を示す。また、拡大画像７０３が全体画像７０２よりサイズが大きいとき、両画像が重複しないように、付加情報に設定された倍率に基づき画面上の配置位置をＣＰＵを用いて決定する。その結果、拡大画像７０３の倍率が可変されたとき、表示装置の画面の最適な場所に拡大画像７０３を配置することができる。
【００３１】
以上述べたように、既存のＪＰＥＧ圧縮以降の処理とシステムをほとんど変更することなく、現在送信できている画像より大きなＪＰＥＧ画像をネットワークを介して配信することができる。この場合、信号処理ＬＳＩと画像を表示するソフトウエアの一部のみを変更するだけでよい。
また、通信プロトコルを変更することなく、複数のカメラの入力を配信することができる。この場合、信号処理ＬＳＩと画像を表示するソフトウエアの一部のみを変更することにより画像を配信することができる。
【図面の簡単な説明】
【００３２】
【図１】画像分割と合成方法を説明するための図である。
【図２】カメラ装置を用いた画像伝送システムの構成図である。
【図３】カメラ装置の信号処理回路のブロック構成を示す図である。
【図４】複数のカメラ装置の画像伝送システムの構成図である。
【図５】多画像を伝送するためのブロック構成と付加情報を示す図である
【図６】ズーム機能付カメラ装置で撮影された全体画像と拡大画像を伝送するためのブロック構成と付加情報を示す図である。
【図７】図６に示した全体画像と拡大画像を合成した画像を示す。
【図８】従来のカメラ装置を用いた画像伝送システムの構成図である。
【符号の説明】
【００３３】
１０１，１０３…分割画像、１０２，１０４，１１０，５０２，５０４，５０６，５０８，５３０，６０２，６０４，６２０…付加情報、１０５，５２０，６１０，７０１…合成画像、２００，８００…画像伝送システム、２０１，４０１〜４０４，８０１…撮像素子、２０２，３００，４０５〜４０８，８０２…信号処理部、２０３，８０３…ＪＰＥＧ圧縮部、２０４，８０４…ネットワーク配信部、２０５，８０５…ＬＡＮ、２０６，８０６…ネットワーク受信部、２０７，８０７…ＪＰＥＧ伸張部、２０８，８０８…画像表示部、３０１…前処理部、３０３…ビット順変換部、３０４…ディジタルＡＧＣ部、３０５…シェーディング補正部、３０６…欠陥検出・補正部、３０７…ディレイライン部、３０８…パターン生成部、３０９…黒積分部、３２０…Ｙ（輝度）ブロック、３２１…ＩＲ（赤外）カット対策輝度バランス部、３２２…アパコン（アパーチャーコントロール）生成部、３２３…ハレーション対策用ゲイン部、３２４…γ（ガンマ）補正部、３４０…Ｃ（クロマ信号）ブロック、３４１…色分離・クランプ部、３４２…フィルタ、３４３…ＲＧＢマトリクス部、３４４…ＷＢ（ホワイトバランス）／γ（ガンマ）補正部、３４５…Ｒ−Ｇ／Ｂ−Ｇ変換・色偽抑圧部、３４６…Ｃｒ／Ｃｂ形成部、３５０…パラレルインターフェース（ＰＩＯ）部、３６０…ＣＰＵ（パーソナルコンピュータ）ブロック、４０９，５１０，６０５…セレクタ。
【図１】
2007189561.tif 000003
【図２】
2007189561.tif 000004
【図３】
2007189561.tif 000005
【図４】
2007189561.tif 000006
【図５】
2007189561.tif 000007
【図６】
2007189561.tif 000008
【図７】
2007189561.tif 000009
【図８】
2007189561.tif 000010
【手続補正書】
【提出日】平成18年1月30日(2006.1.30)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007189561.tif 000011
【図２】
2007189561.tif 000012
【図３】
2007189561.tif 000013
【図４】
2007189561.tif 000014
【図５】
2007189561.tif 000015
【図６】
2007189561.tif 000016
【図７】
2007189561.tif 000017
【図８】
2007189561.tif 000018