(57)【要約】【課題】撮影画角映像と広角映像２つの映像ストリームを同時に配信するネットワークカメラと、それぞれの映像ストリームを重ね合わせ表示するビューワとで構成されるシステムにおいて、通信データ量の削減と符号化・復号化処理負荷の低減を図ること。【解決手段】重ね合わせ表示を行ったときに、広角映像領域のうち撮影画角映像に隠れる領域を単色で塗り潰した画像データに置き換えて符号化処理を行い、広角映像データとして送信するような構成とする。又、置き換える単色画像データは、対象となる領域の周辺画像の輝度、色差データに最も近い値とするような構成とした。更に、周辺画像データに合わせて置き換える単色画像データは、映像のフレームごとに毎回更新するような構成とした。【選択図】図１
2006197098.tif 000002
【特許請求の範囲】
【請求項１】
撮影した画像データを符号化して遠隔地に伝送することが可能なカメラと、該カメラから受信した符号化画像データを復号化して他の画像データと重ね合わせて表示することが可能なビューワとで構成され、該カメラで撮影した画像データに対して、該ビューワで他の画像データと重ね合わせられる領域と同一な領域を単色データで上書きして符号化を行い、伝送することを特徴とするネットワークカメラの画像伝送方式。
【請求項２】
広角映像撮影が可能な第１の撮影手段と広角映像の一部の画角の撮影が可能な第２の撮影手段を備え、
それぞれの撮影手段で撮影した画像データを符号化して伝送することが可能なカメラと、該カメラから受信した符号化画像データのうち第１の撮影手段で撮影した映像に第２の撮影手段で撮影した映像を重ね合わせて表示することが可能なビューワとで構成され、該カメラは第１の撮影手段で撮影した画像データに対して、該ビューワで第２の撮影手段で撮影した画像データが重ね合わせられる領域と同一な領域を単色データで上書きして符号化を行い、伝送することを特徴とするネットワークカメラの画像伝送方式。
【請求項３】
上書きする単色データは、上書きされる領域の周辺画素データの数値に最も近い数値で構成されることを特徴とする請求項１記載のネットワークカメラの画像伝送方式。
【請求項４】
周辺画素データに最も近い数値は、周辺画素データの数値の平均値とすることを特徴とする請求項３記載のネットワークカメラの画像伝送方式。
【請求項５】
上書きされる領域のうち、映像データとの境界に最も近いブロックのデータは、上書きされる数値と上書きされる領域に隣接する画素の数値の間で連続的に増加又は減少する数値で構成されるブロックとすることを特徴とする請求項１記載のネットワークカメラの画像伝送方式。
【請求項６】
動画映像のフレームとしてとしてカメラから連続的に画像データを送信するような制御において、画像データのうち一部のフレームについては単色データの上書きを行わないフレームとして送信するとともに、ビューワで表示されている送信映像に対して、重ね合わせられる画像の形状、位置、大きさ等の条件が変化した場合は、該ビューワから変化情報を該カメラに送信し、
カメラは変化情報に対応して上書きされる領域を更新した画像データを作成しビューワに送信するような制御を行い、ビューワは条件の変化した時点から該カメラから更新された画像データを受信するまでの間は、単色データの上書きが行われていないフレームの画像データで補完するような制御を行うことを特徴とする請求項１記載のネットワークカメラの画像伝送方式。
【請求項７】
撮影映像において一定以上の動きを検出した場合において、単色データの上書きを行わないフレームとして送信することを特徴とする請求項６記載のネットワークカメラの画像伝送方式。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークに接続されたカメラの映像を遠隔地から監視したり撮影することが可能なネットワークカメラにおける画像データの伝送方式に関するものである。
【背景技術】
【０００２】
従来、ネットワークに接続されたカメラを遠隔地から操作し撮影する場合、カメラが設置されている場所が離れていて被写体の周囲の状況を直接見ることができないため、リモート制御によるパンニング操作等で被写体を探したり追尾することが困難であった。これを解決するために、撮影のための映像画角に加えて、その周囲の映像を見るための広角映像を同時配信するようなカメラも実現されている（例えば、特許文献１〜３）。
【０００３】
一方、カメラの遠隔操作を行うためのビューワにおいては、２つの映像ストリームを同時に表示する表示形態として、広角映像に撮影画角映像ウインドウを重ね合わせて表示する、いわゆるピクチャインピクチャ表示が良く用いられている。このピクチャインピクチャ表示において、重なり合う画像データのうち非表示の部分を切り出して、必要なデータのみを符号化して送信することにより符号化、復号化処理に掛かる時間を短縮するという方式（例えば、特許文献４）が提案されている。
【０００４】
【特許文献１】特開平８−２７５０４３号公報
【特許文献２】特開平８−２７５０４４号公報
【特許文献３】特開平９−０３７１３５号公報
【特許文献４】特開平８−０３２９４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
撮影画角映像と広角映像の２つのストリームを配信するネットワークカメラから構成されるシステムにおいては、２つのストリームを同時に配信した場合、ネットワーク上を流れるデータ量が増加するので、限られた通信帯域で伝送するのが困難になってしまうという課題がある。
【０００６】
これに対して、通信帯域を更に広げるためには新たな設備の導入が必要であり、又、それぞれの映像データの符号化における圧縮率を高くすると、その分、映像の品質が低下してしまうという問題もある。
【０００７】
特許文献１で示した方式では、任意の形状で切り出すためには形状情報も含めて符号化処理を行わなければならず、その分の符号化データが増加し、更に符号化・復号化処理が煩雑になるという問題がある。更に、符号化の単位は通常マクロブロック（例えば、１６×１６ドット）ごとに行われるので、切り出しの精度が制限されてしまうという問題もある。
【０００８】
本発明は上記問題に鑑みてなされたもので、その目的とする処は、撮影画角映像と広角映像２つの映像ストリームを同時に配信するネットワークカメラと、それぞれの映像ストリームを重ね合わせ表示するビューワとで構成されるシステムにおいて、通信データ量の削減と符号化・復号化処理負荷の低減を図ることを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、重ね合わせ表示を行ったときに、広角映像領域のうち撮影画角映像に隠れる領域を単色で塗り潰した画像データに置き換えて符号化処理を行い、広角映像データとして送信するような構成とした。
【００１０】
又、置き換える単色画像データは、対象となる領域の周辺画像の輝度、色差データに最も近い値とするような構成とした。
【００１１】
又、周辺画像データに合わせて置き換える単色画像データは、映像のフレームごとに毎回更新するような構成とした。
【００１２】
又、周辺画像データに合わせて置き換える単色画像データは、重ね合わせ領域の位置や大きさや形が変化した場合にのみ更新するような構成とした。
【００１３】
又、周辺画像データに合わせて置き換える単色画像データは、符号化におけるイントラフレームごとに更新するような構成とした。
【００１４】
上記手段より、単色で塗り潰した領域は、空間的、時間的な冗長性が大きくなるので、符号化効率が良くなり、動画像全体の符号化量を削減することができる。又、塗り潰し色を周辺画像のデータ値に最も近い値とすることにより、塗り潰す領域と元画像との境界部分の不連続性が小さくなるので、更に画像全体の符号化効率を上げることができる。
【発明の効果】
【００１５】
本発明によれば、撮影画角映像と広角映像２つの映像ストリームを同時に配信するネットワークカメラと、それぞれの映像ストリームを重ね合わせ表示するビューワとで構成されるシステムにおいて、重ね合わせ表示を行ったときに、広角映像領域のうち撮影画角映像に隠れる領域を単色で塗り潰した画像データに置き換えて符号化処理を行い、広角映像データとして送信することによって、符号化効率が良くなり、動画像全体の符号化量を削減することができるため、帯域幅の狭い通信路でも高画質の映像データの送受信ができるという効果が得られる。又、一般的な符号化方式で圧縮、
伸長処理が行えるので、システムに余分な処理負荷が掛からないという効果もある。
【００１６】
更に、重ね合わせ領域の変更操作から、広角映像が更新されるまでの間は、塗り潰し無しの映像で補完する処理を行うことにより、ネットワークの遅延があっても、良好な広角映像を表示することができるので、操作性が向上するという効果も得られる。
【発明を実施するための最良の形態】
【００１７】
以下、図に基づき、本発明によるネットワークカメラとビューワで構成されるシステムの実施の形態を説明する。
【００１８】
＜実施の形態１＞
図１は本発明の実施の形態１に係るネットワークカメラの概略構成を示すブロック図である。
【００１９】
図１において、１０１は広角映像を撮影するためのカメラユニットである広角カメラ部を示しており、この広角カメラ部１０１には、レンズ群１（１０２）、ＣＣＤ１（１０３）、ＣＣＤコントロール部１（１０４）、画像処理部１（１０５）が含まれている。レンズ群１０２は被写体像を光学的にＣＣＤ１０２へ投影するために複数枚のレンズで構成されており広角に被写体を撮像できる特性を持っている。
【００２０】
ＣＣＤ（光電変換素子）１０３は、レンズ群１０２によって投影された撮影画像をアナログ電気信号に変換するための素子であり、ＶＧＡサイズ（６４０×４８０ドット）の画素数を持っており、３０フレーム／秒の速度でデータを読み出すことができる。ＣＣＤコントロール部１０４は、ＣＣＤ１０３に転送クロック信号やシャッター信号を供給するためのタイミングジェネレータ、ＣＣＤ出力信号のノイズ除去、ゲイン処理を行うための回路、更に、アナログ信号を１０ビットデジタル信号に変換するためのＡ／Ｄ変換回路等を含んでいる。
【００２１】
又、画像処理部１０５は、ＣＣＤコントロール部１０４より出力された１０ビットデジタル信号をガンマ変換、色空間変換、又、ホワイトバランス、ＡＥ、フラッシュ補正等の画像処理を行い、ＹＵＶ（４：２：２）フォーマットの８ビットデジタル信号出力を行うものである。この広角映像は、ＶＧＡサイズ（６４０×４８０ドット）の画素数で、３０フレーム／秒の周期で出力している。
【００２２】
１０６は希望する画角で撮影するためのカメラユニットである撮影画角カメラ部を示している。この撮影画角カメラ部１０６には広角カメラ部１０１と同様に、レンズ群２（１０７）、ＣＣＤ２（１０８）、ＣＣＤコントロール部２（１０９）、画像処理部２（１１０）に加えて、撮影方向を移動させるパン、チルト動作のための制御モータ１１７が含まれている。レンズ群１０７は通常画角で撮影できる特性を持つズームレンズとして構成されている。
【００２３】
又、ＣＣＤ１０８はＵＸＧＡサイズ（１６００×１２００）の画素数を持っており、ＵＸＧＡサイズの読み出しとＶＧＡサイズを３０フレーム／秒での読み出しが可能である。ＣＣＤコントロール部１０９、画像処理部１１０は広角カメラ部１０１の各ブロックと同様の動作を行うものである。撮影画角映像も同様に通常はＶＧＡサイズで３０フレーム／秒の周期で出力されているが、静止画キャプチャ制御が行われるとこれに呼応してＵＸＧＡサイズの画像データを１フレーム出力する。パン・チルト制御モータ１１７は、カメラユニットを水平方向に回転させるためのモータと垂直方向に回転させるためのモータの２つのモータ及びそれぞれの駆動回路で構成されている。
【００２４】
以上のように、本発明のネットワークカメラにはそれぞれ異なった画角で撮影が可能な２つのカメラユニットが搭載されている。これらのカメラユニットは、バス１１８に接続されており、このバス１１８を経由してそれぞれのカメラで撮影された画像データが伝送され、他の処理ブロックに受け渡される。バス１１８には、静止画符号化部１１１、動画符号化部１１２、ＣＰＵ（中央演算処理装置）１１３、通信インターフェース部１１４、ＲＯＭ（リードオンリーメモリ）１１５、ＲＡＭ（ランダムアクセスメモリ）１１６がそれぞれ接続されている。
【００２５】
静止画符号化部１１１は、ＪＰＥＧ符号化を行うための処理ブロックであり、静止画キャプチャ制御によって撮影画角カメラ部１０６からバス１１８を経由して受け渡されたＵＸＧＡサイズのＹＵＶフォーマットデータを、静止画像としてＪＰＥＧフォーマットに圧縮符号化を行う。符号化された静止画像データは、同様にバス１１８を経由してＲＡＭ１１６中の後述する符号化データ一時保存エリア１１６ｃに一時的に蓄積される。
【００２６】
又、動画符号化部１１２は、ＭＰＥＧ４符号化を行うための処理ブロックであり、広角カメラ部１０１からバス１１８を経由して受け渡されたＶＧＡサイズのＹＵＶフォーマットデータを、３０フレーム／秒のフレームレートでＭＰＥＧ４フォーマットに圧縮符号化を行う。同様に、撮影画角カメラ部１０６から受け渡されたＶＧＡサイズのデータに対しても圧縮符号化を行う。これらの符号化データは、フレームごとにＲＡＭ１１６中の符号化データ一時保存エリア１１６ｃに一時的に蓄積される。
【００２７】
通信インターフェース部１１４は、ネットワークを通したデータの送受信を行うための処理ブロックで、有線ＬＡＮにおけるネットワーク層、データリンク層、物理層の処理を主に司る。カメラユニットで撮影され符号化された映像データは、この通信インターフェース部１１４を通じて遠隔地のビューワに対して送信される。
【００２８】
ＣＰＵ１１３は、ＲＯＭ１１５内の制御プログラムに基づいて各種制御を行う。これらの制御の中には、撮影画角カメラ部１０６で撮影された撮影画角映像をビューワの表示領域の大きさに合わせて拡大・縮小を行う処理、広角カメラ部１０１で撮影された広角映像のうち撮影画角映像と重ね合わせられる領域を単色で塗り潰す処理、符号化された映像データを通信パケットに分割する処理、ＴＣＰ，ＵＤＰ等のネットワークプロトコル処理、ビューワとの情報交換プロトコル処理、コマンド処理、パン、チルト操作に応じたパン・チルト制御モータの駆動処理、撮影動作における各ブロックのタイミング制御やデータ受け渡し制御等の全体的なシーケンス制御処理等が含まれる。
【００２９】
ＲＡＭ１１６は、画像展開エリア１１６ａ、符号化用フレームメモリ１１６ｂ、符号化データ一時保存エリア１１６ｃ、ワークエリア１１６ｄ、一時退避エリア１１６ｅを備えている。画像展開エリア１１６ａは、画像処理部１０５、１１０より送られてきた撮影画像（ＹＵＶデジタルデータ）を一時的に格納するためのテンポラリバッファとして、又、画像データの拡大、縮小処理、単色塗り潰し処理等のための画像専用ワークエリアとして使用される。
【００３０】
符号化用フレームメモリ１１６ｂは、動画符号化部１１２でＭＰＥＧ４圧縮符号化処理におけるフレーム間予測のための前後の参照フレームデータを一時的に保存するためのフレームメモリとして使用される。符号化データ一時保存エリア１１６ｃは、静止画符号化部１１１、動画符号化部１１２で圧縮符号化されたデータを通信インターフェース部１１４から送信するまでの間一時的に保存するためのワークメモリとして使用される。又、ワークエリア１１６ｄは、各種プログラムのためのワークエリア、一時退避エリア１１６ｅは各種データを一時退避させるためのエリアである。
【００３１】
次に、図２において本発明の実施の形態１に係るビューワの概略構成を示すブロック図を説明する。
【００３２】
図２において、ビューワの各処理ブロックはバス２１２を通じてデータの受け渡しが行われる。バス２１２には、ＣＰＵ（中央演算処理装置）２０１、静止画復号化部２０２、動画復号化部２０３、表示コントロール部２０４、通信インターフェース部２０７、ＲＯＭ（リードオンリーメモリ）２０８、ＲＡＭ（ランダムアクセスメモリ）２０９、データ格納手段２１０がそれぞれ接続されている。又、ＣＰＵ２０１には制御キー２１１が、表示コントロール部２０４には表示駆動部２０５が、更に表示駆動部２０５には表示部２０６がそれぞれ接続されている。
【００３３】
ＣＰＵ２０１は、ＲＯＭ２０８内の制御プログラムに基づいて各種制御を行う。これらの制御の中には、オペレーティングシステムやファイルシステムの処理、受信した通信パケットを１フレーム分の符号化映像データに復元する処理、ＴＣＰ，ＵＤＰ等のネットワークプロトコル処理、カメラとの情報交換プロトコル処理、コマンド処理、制御キー２１１の操作に対応したアプリケーション処理、又、表示再生動作における各ブロックのタイミング制御やデータ受け渡し制御等の全体的なシーケンス制御処理等が含まれる。
【００３４】
静止画復号化部２０２は、ＪＰＥＧ復号化を行うための処理ブロックである。このブロックでは、ネットワークカメラから受信して、データ格納手段２１０に格納されているＵＸＧＡサイズのＪＰＥＧ符号化データを、アプリケーション中のユーザー操作に応じてＹＵＶフォーマットのデジタルデータに復号化する処理を行う。復号化されたＹＵＶ静止画像データは、バス２１２を経由してＲＡＭ２０９中の後述する表示画像展開用メモリ２０９ｂに一時的に蓄積される。
【００３５】
又、動画復号化部２０３は、ＭＰＥＧ４復号化を行うための処理ブロックである。このブロックではネットワークカメラから受信した、広角映像と撮影画角映像のＭＰＥＧ４符号化データを、３０フレーム／秒のフレームレートでＹＵＶフォーマットのデジタルデータに復号化する処理を行う。復号化されたＹＵＶ動画像データは、フレームごとにバス２１２を経由してＲＡＭ２０９中の後述する表示画像展開用メモリ２０９ｂに一時的に蓄積される。
【００３６】
表示コントロール部２０４は、表示画像展開用メモリ２０９ｂに格納されているＹＵＶデジタル画像データを読み出し、ＲＧＢデジタル信号へ変換した後、表示駆動部２０５へ出力する処理、或は、フレームバッファ２０９ｃに格納されているＲＧＢデジタルデータを同様に表示駆動部２０５へ出力する処理を行う。表示駆動部２０５は表示部２０６を駆動するための制御を行う。表示部２０６は、画像を表示するための表示器であり、ＶＧＡサイズ（６４０×４８０ドット）ＴＦＴ液晶表示装置である。
【００３７】
通信インターフェース部２０７は、ネットワークを通したデータの送受信を行うための処理ブロックで、有線ＬＡＮにおけるネットワーク層、データリンク層、物理層の処理を主に司る。符号化された広角映像データ、撮影画角映像データ、撮影静止画データは、この通信インターフェース部２０７を通じて、遠隔地のネットワークカメラから受信される。
【００３８】
ＲＡＭ１１６は、符号化用フレームメモリ２０９ａ、表示画像展開用メモリ２０９ｂ、フレームバッファ２０９ｃ、ワークエリア２０９ｄ、一時退避エリア２０９ｅを備えている。符号化用フレームメモリ２０９ａは、動画復号化部２０３でＭＰＥＧ４復号化処理におけるフレーム間予測のための前後の参照フレームデータを一時的に保存するためのフレームメモリとして使用される。
【００３９】
表示画像展開用メモリ２０９ｂは、静止画復号化部で復号されたＹＵＶデジタルデータ、或は動画復号化部で復号されたＹＵＶデジタルデータを一時的に格納するためのテンポラリバッファとして、又、ＣＰＵ２０１による画像データの拡大、縮小処理等のための画像専用ワークエリアとして使用される。フレームバッファ２０９ｃは、ＣＰＵ２０１で実行されるアプリケーションが作成する表示データを記憶するＶＲＡＭとして使用され、ＲＧＢ８ビットデジタルデータで格納されている。又、ワークエリア２０９ｄは、各種プログラムのためのワークエリア、一時退避エリア２０９ｅは各種データを一時退避させるためのエリアである。
【００４０】
データ格納手段２１０は、ネットワークカメラから受信した、静止画像のＪＰＥＧ符号化データを、ファイルとして格納するための画像データ格納メモリとして使用される。このメモリにはファイルシステムが構築されている。
【００４１】
以下、本実施の形態におけるネットワークカメラとビューワで構成されるシステムの制御処理手順を図３以降に示すフローチャートに基づいて説明する。
【００４２】
図３はネットワークカメラ本体のメイン処理を示すフローチャートである。
【００４３】
先ず、図３のステップＳ３０１において、ＴＣＰ／ＩＰプロトコルによるビューワとの通信コネクションを確立する処理が行われる。次に、ステップＳ３０２において、ビューワから重ね合わせ情報を取得する処理が行われる。ここでは、ビューワに対して情報のリクエストコマンドを送信し、それに応じてビューワが送信した、広角映像データに重ねられる撮影画角映像の形状、大きさ、位置を示す情報を受信するというシーケンスで行われる。
【００４４】
以下、撮影画角映像、広角映像の撮影、送信処理へ移行する。
【００４５】
ステップＳ３０３では、１フレーム分の撮影画角映像処理が行われる。詳細については図４において説明する。又、ステップＳ３０４では、１フレーム分の広角映像処理が行われる。詳細については図５において説明する。
【００４６】
１フレーム分のこれらの処理が終了すると、ステップＳ３０５において、ビューワからコマンド受信が行われたかどうかのチェックを行い、受信が行われていない場合は再びＳ３０３の撮影画角映像処理へ戻る。Ｓ３０５においてコマンド受信が行われた場合は、先ず、ステップＳ３０６において、撮影終了コマンドかどうかをチェックし、撮影終了コマンドの場合は、ステップＳ３０７において、ネットワークカメラの終了処理及び電源切断処理を実行して処理が終了する。
【００４７】
Ｓ３０６において撮影終了コマンドでない場合は、ステップＳ３０８において、シャッタコマンドかどうかのチェックを行い、シャッタコマンドの場合は、ステップＳ３０９において、静止画キャプチャ処理、つまり撮影画角カメラ部１０６でＵＸＧＡサイズの静止画として１フレーム分のデータを取り出す処理を実行する。
【００４８】
次に、ステップＳ３１０において、静止画符号化処理が実行され、Ｓ３０９で取り出されたＹＵＶ形式の静止画データから、静止画符号化部１１１においてＪＰＥＧ符号化データが作成される。このＪＰＥＧ符号化データは、ステップＳ３１１において、通信インターフェース部１１４を経由してビューワへデータ送信される。送信処理が終了すると、再びＳ３０３の撮影画角映像処理へ戻る。
【００４９】
Ｓ３０８においてシャッタコマンドでなかった場合は、ステップＳ３１２において、重ね合わせ条件の変更コマンドかどうかのチェックを行い、変更コマンドの場合はステップＳ３１３において、Ｓ３０２と同様の手順で、重ね合わせ情報を取得する処理を実行する。それからＳ３０３の撮影画角映像処理へ戻る。Ｓ３１２において、変更コマンドでなかった場合は、ステップＳ３１４において、その他のコマンドの処理を実行し、Ｓ３０３撮影画角映像処理へ戻る。その他のコマンドとは、例えばパン・チルト制御コマンド、撮影条件（画像補正条件、圧縮率、フレームレート等）の変更コマンド、その他アプリケーションに連動したコマンド等が考えられる。
【００５０】
以上のように、Ｓ３０３〜Ｓ３１４までの処理を１／３０秒間隔で繰り返し実行することにより、撮影画角映像、広角映像を動画ストリームとして送信することが可能となる。
【００５１】
次に図４に、図３、Ｓ３０３で説明した１フレーム分の撮影画角映像処理の詳細を表わすフローチャートを示す。
【００５２】
図４において、ステップＳ４０１は撮影画角映像を１フレーム分読み出す処理である。この処理では、撮影画角カメラ部１０６において３０フレーム／秒のフレームレートで撮影されている映像をＹＵＶデジタルデータとして1 フレーム分、ＲＡＭ１１６の画像展開エリア１１６ａに読み出す。
【００５３】
次に、ステップＳ４０２において、図３、Ｓ３０２で取得した重ね合わせ情報を参照して、ビューワ上に表示される撮影画角映像の大きさに拡大又は縮小処理を行う。リサイズ処理が終了した画像データは同様に画像展開エリア１１６ａに格納され、この画像データに対して、ステップＳ４０３において、動画符号化部１１２によるＭＰＥＧ４符号化処理が実行され、ＲＡＭ１１６の符号化データ一時保存エリア１１６ｃに格納される。格納された符号化データは、ステップＳ４０４において、送信パケットサイズに分割され、送信ヘッダが付加された後、ステップＳ４０５において、通信インターフェース部１１４によりビューワへデータ送信が行われる。
【００５４】
図５は、図３、Ｓ３０４で説明した１フレーム分の広角映像処理の詳細を表わすフローチャートである。
【００５５】
図５において、ステップＳ５０１は広角映像を１フレーム分読み出す処理である。この処理では、撮影画角映像の読み出し処理と同様に、広角カメラ部１０１において３０フレーム／秒のフレームレートで撮影されている映像をＹＵＶデジタルデータとして1 フレーム分、ＲＡＭ１１６の画像展開エリア１１６ａに読み出す。
【００５６】
それから、ステップＳ５０２において、図３、Ｓ３０２で取得した重ね合わせ情報を参照して、ビューワ上に表示される広角映像のうち撮影画角映像に重ね合わせられる領域、つまり表示しない領域を単色で塗り潰す処理を行う。ここでは、黒のデータとしてＹＵＶデータをそれぞれ（０，１２８，１２８）に置き換える処理となる。塗り潰し処理が終了した画像データは同様に画像展開エリア１１６ａに格納され、この画像データに対して、ステップＳ５０３において、動画符号化部１１２によるＭＰＥＧ４符号化処理が実行され、ＲＡＭ１１６の符号化データ一時保存エリア１１６ｃに格納される。
【００５７】
以下、撮影画角映像の読み出し処理と同様に、格納された符号化データは、ステップＳ５０４において、送信パケットサイズに分割され、送信ヘッダが付加された後、ステップＳ５０５において、通信インターフェース部１１４によりビューワへデータ送信が行われる。
【００５８】
以上、図３〜図５でネットワークカメラにおける撮影動作の処理を説明したが、次にビューワにおける表示処理について説明する。
【００５９】
図６はビューワ本体のメイン処理を示すフローチャートである。
【００６０】
先ず、図６のステップＳ６０１において、ネットワークカメラにおけるＳ３０１の処理と同様に、ＴＣＰ／ＩＰプロトコルによるネットワークカメラとの通信コネクションを確立する処理が行われる。次に、ステップＳ６０２において、ビューワから送信されたリクエストコマンドに応じて、重ね合わせ情報を送信する処理が行われる。つまり、ユーザーの操作によって確定された、広角映像データに重ねられる撮影画角映像の形状、大きさ、位置を表わす情報をネットワークカメラに対して送信する処理である。
【００６１】
次に、ステップＳ６０３において、ユーザーによる操作があったかどうかをチェックする処理が行われる。ここで、操作のイベントが検出されなかった場合は、以下ステップＳ６０４〜Ｓ６１７で説明する受信した画像データの表示処理が実行される。
【００６２】
ステップＳ６０４では、通信インターフェース部２０７によって１フレーム分の画像データを受信する処理が行われる。次に、ステップＳ６０５において、受信画像が広角フレームデータの場合には、ステップＳ６０６において、受信したフレームデータを、動画復号化部２０３によってＭＰＥＧ４復号化処理を実行する。
【００６３】
復号化されＹＵＶデジタルデータに展開された広角フレームデータは、ステップＳ６０７において、ＲＡＭ２０９の表示画像展開用メモリ２０９ｂに書き出された後にステップＳ６１１へ進む。
【００６４】
一方、Ｓ６０５において、広角フレームデータでない場合は、ステップＳ６０８において、受信画像が撮影画角フレームデータかどうかをチェックし、撮影画角フレームデータの場合は、Ｓ６０６，Ｓ６０７の処理と同様に、ステップＳ６０９において、受信したフレームデータを動画復号化部２０３によってＭＰＥＧ４復号化処理を実行する。
【００６５】
復号化されＹＵＶデジタルデータに展開された撮影画角フレームデータは、ステップＳ６１０において、ＲＡＭ２０９の表示画像展開用メモリ２０９ｂに書き出された後にステップＳ６１１へ進む。ステップＳ６１１では、広角映像と撮影画角映像の重ね合わせ処理、つまり、Ｓ６０７で表示画像展開用メモリ２０９ｂに書き出された広角フレームデータに、Ｓ６１０で同様に書き出された撮影画角フレームデータを上書きし、合成映像データを作成する処理が実行される。ここで、上書きされる領域は、ネットワークカメラで単色に塗り潰されている領域と一致している。それから、ステップＳ６１２において、表示コントロール部２０４によって合成映像データをＲＧＢデジタルデータに変換された後、表示駆動部２０５で表示部２０６への表示処理が実行される。
【００６６】
又、Ｓ６０８において、撮影画角フレームデータでない場合は、ステップＳ６１３において、受信画像が静止画フレームデータかどうかをチェックし、静止画フレームデータの場合は、ステップＳ６１４において、静止画フレームデータをファイル化してデータ格納手段２１０の画像データ格納メモリへＪＰＥＧファイルとして格納する。
【００６７】
更に、ステップＳ６１５において、受信したフレームデータを、静止画復号化部２０２によってＪＰＥＧ復号化処理を実行する。復号化されＹＵＶデジタルデータに展開された静止画フレームデータは、ステップＳ６１５において、ＵＸＧＡサイズを表示解像度に縮小する処理が行われ、それからＳ６１２と同様に、ステップＳ６１７において、ＲＧＢデジタルデータへ変換された後、受信画像の確認として静止画像の表示処理が実行される。それから再びＳ６０３のユーザー操作のチェックへ戻る。
【００６８】
Ｓ６０３において、ユーザーによる操作のイベントが検出された場合には、ステップＳ６１８において、撮影終了操作のイベントかどうかをチェックし、撮影終了の場合は、ステップＳ６１９において、撮影終了コマンドをネットワークカメラに対して送信する処理を行う。更に、ステップＳ６２０において、ビューワの電源を切断する処理を実行して処理を終了する。
【００６９】
Ｓ６１８において撮影終了イベントでなかった場合は、ステップＳ６２１において、シャッタ操作のイベントかどうかをチェックし、シャッタ操作の場合は、ステップＳ６２２において、静止画撮影を指示するためのシャッタコマンドをネットワークカメラに対して送信して、再びＳ６０３のユーザー操作のチェック処理へ戻る。
【００７０】
Ｓ６２１においてシャッタ操作イベントでなかった場合は、ステップＳ６２３において、重ね合わせ状態の変更操作が行われたかどうかのチェックを行う。この重ね合わせ状態の変更とは、広角映像に重ね合わされている撮影画角映像の位置、大きさ、形状等を変更する操作であり、ビューワに付属の制御キー２１１等による操作で行われる。ここで、変更操作が行われた場合は、ステップＳ６２４において、変更条件に合わせた重ね合わせ情報をネットワークカメラに対して送信する処理を行い、その後、再びＳ６０３のユーザー操作のチェック処理へ戻る。
【００７１】
又、Ｓ６２３において変更操作イベントでなかった場合は、ステップＳ６２５において、その他の操作に対する処理、例えば、パン・チルト操作、撮影条件（画像補正条件、圧縮率、フレームレート等）の変更操作、その他アプリケーションに連動した操作等を実行し、同様にＳ６０３へ戻る。
【００７２】
次に、図７に、ネットワークカメラで撮影される映像及びビューワで表示される映像を説明する。
【００７３】
図７において、７０１は、ネットワークカメラにおける広角カメラ部１０１で撮影された１フレームの広角映像を表わしている。又、この映像中に破線で示している領域７０２は、ビューワから送信された重ね合わせ情報に対応した、撮影画角映像が重ね合わせられる領域を示している。
【００７４】
又、７０３は、広角映像に対して７０２で示した領域を単色塗り潰し処理を行った映像を表わしており、この７０３の映像データを符号化して広角映像としてビューワへ送信する。７０４は単色で塗り潰された領域である。
【００７５】
７０５は、ネットワークカメラにおける撮影画角カメラ部１０６で撮影された１フレームの撮影画角映像を表わしている。
【００７６】
７０６は、ビューワの表示部２０６に表示される表示イメージを表わしており、ネットワークカメラから送信された広角映像７０３と撮影画角映像７０５を合成表示している。この中で、７０７が広角映像、７０８が撮影画角映像である。
【００７７】
＜実施の形態２＞
実施の形態１では、広角映像のうち撮影映像と重ね合わせられる領域を固定の単色データで塗り潰した映像として、ネットワークカメラからビューワへ送信するような実施形態を説明したが、本発明はこれに限定されるものではない。
【００７８】
固定の単色データでは、塗り潰された単色データの領域と、その周辺の映像領域の境界が不連続となるため、画像としての空間周波数が高くなり、符号化効率が落ちてしまう。そこで、本実施の形態では、重ね合わせ領域の塗り潰しデータを、その周辺の画素に合わせて動的に切り替えるような実施形態について説明する。
【００７９】
図８は実施の形態１で図３、Ｓ３０４で説明した１フレーム分の広角映像処理の詳細について、実施の形態２における処理を表わすフローチャートである。
【００８０】
図８において、ステップＳ８０１は、図５、Ｓ５０１と同様に広角映像を１フレーム分読み出す処理である。この処理では、撮影画角映像の読み出し処理と同様に、広角カメラ部１０１において３０フレーム／秒のフレームレートで撮影されている映像をＹＵＶデジタルデータとして１フレーム分、ＲＡＭ１１６の画像展開エリア１１６ａに読み出す。
【００８１】
次に、ステップＳ８０２において、広角映像に撮影映像が重ね合わせられる領域（図７の７０２で示された部分）の境界が、画素ブロックの境界と一致しているか（図９で示す）、或は境界がブロックを分割する位置となっているか（図１０に示す）どうかをチェックする。この画素ブロックとは８×８ドットの画素で構成されるブロックを表わしており、通常、静止画圧縮方式であるＪＰＥＧや動画圧縮方式であるＭＰＥＧ４等は、この８×８の画素ブロックのうち上下左右に隣接する４ブロック（ＭＣＵ及びマクロブロック）を使用して符号化単位としている。
【００８２】
Ｓ８０２において、重ね合わせ境界がブロック境界と一致している場合は、ステップＳ８０３において、重ね合わせ領域より１ブロック外側の周辺ブロックにおける、輝度と色差データの平均値を求める処理を実行し、更にステップＳ８０４において、求めたそれぞれの平均値のデータで重ね合わせ領域の塗り潰し処理を実行して、Ｓ８０７へ進む。
【００８３】
又、Ｓ８０２において、重ね合わせ境界がブロック境界と一致していない場合は、ステップＳ８０５において、重ね合わせ領域の境界を含むブロックの輝度と色差データの平均値を求める処理を実行し、更にステップＳ８０６において、境界を含むブロックより１ブロック内側のブロックで囲まれる領域を、求めたそれぞれの平均値のデータで塗り潰し処理を実行してＳ８０７へ進む。
【００８４】
ステップＳ８０７の符号化処理、Ｓ８０８の送信パケットへの分割処理、Ｓ８０９のビューワへの送信処理は、それぞれ図５、Ｓ５０３，Ｓ５０４，Ｓ５０５と同様の処理である。
【００８５】
図９は重ね合わせ領域の境界が画素ブロックの境界と一致している場合の、ブロックの構成を表わす図である。
【００８６】
図９において、 ９０１は重ね合わせ領域の境界を表わす線であり、灰色で塗り潰した部分が重ね合わせ領域である。又、９０２は塗り潰されない画素ブロック、９０３は単色で塗り潰される画素ブロックを表わしている。各画素ブロックは８×８画素で構成されている。
【００８７】
図１０は重ね合わせ領域の境界が画素ブロックを分割する位置となっている場合の、画素の構成を表わす図である。
【００８８】
図１０において、１００１は図９、９０１と同様に重ね合わせ領域の境界を表わす線であり、１００２は単色で塗り潰される領域の境界を表わす線である。同様に灰色で塗り潰した部分が重ね合わせ領域であり、そのうち濃い灰色の部分が単色で塗り潰される領域を示している。１００３は塗り潰されない画素ブロック、１００４は単色で塗り潰される画素ブロックを表わしている。
【００８９】
本実施の形態では、図８で説明したように、広角映像の各フレームを読み出すたびに平均値を計算して塗り潰し画像データの値を決定するような処理手順であるが、処理負荷を低減するために、塗り潰し画像データは固定的に数フレームに１回のインターバルで更新するような実施形態でも良い。
【００９０】
又、広角映像の動きを検出する手段を設け、 一定以上の動きがあったときに塗り潰し画像データの更新を行うような実施の形態として応用できるのは言うまでもない。同様に、ビューワの操作で重ね合わせ位置が変更されたことを検出した場合のみ塗り潰し画像データの更新を行うような実施の形態も考えられる。これらのケースにおいても、通常の撮影構図では広角映像は背景部分が映像の大部分を占めることが多く、
短時間での激しい動きは殆どないため、符号化効率が大きく損なわれることはない。
【００９１】
＜実施の形態３＞
実施の形態２では、広角映像のうち撮影映像と重ね合わせられる領域を、その周辺映像の画素データに合わせて決定し、領域中の全画素を同じデータで塗り潰すような実施形態を説明したが、本発明はこれに限定されるものではない。
【００９２】
実施の形態２では、塗り潰しデータ値を重ね合わせ領域の周辺映像データの平均値で決定していたが、周辺映像の位置によって周辺映像データ値の差異が大きい場合には、重ね合わせ領域の塗り潰しデータとの差異が大きくなる画素も多くなるため、符号化効率が高くならない場合がある。
【００９３】
そこで、本実施の形態では、重ね合わせ領域と周辺映像領域の境界より内側の１ブロック分のデータを、周辺画像のデータの数値から塗り潰しデータの数値までの間で連続的に可変となるような数値とし、データの冗長性を高めるような画素データで構成するような処理を行うものである。
【００９４】
図１１は本実施の形態における、重ね合わせ領域と周辺映像の境界付近のブロックの構成を表わす図である。
【００９５】
図１１において、１１０１は重ね合わせ領域の境界を表わす線であり、１１０２は塗り潰されない画素ブロックで構成される領域、又、１１０３は重ね合わせ領域のうち可変データの画素ブロックで構成される領域、１１０４は重ね合わせ領域のうち周辺画素の平均値より求められた単一データの画素ブロックで構成される領域である。
【００９６】
１１０３の可変データの画素ブロックの各画素は、その隣接する周辺画像の画素データ１１０５の値と平均値として求められた塗り潰し画素データ１１０６の値を基に均等に増加（又は減少）していくような値としてＹ方向の８画素１１０７が決定される。
【００９７】
＜実施の形態４＞
実施の形態１では、ネットワークカメラを構成するカメラユニットとして、広角カメラ部１０１と撮影画角カメラ部１０６がそれぞれ独立したレンズ群、ＣＣＤ、ＣＣＤコントロール部、画像処理部を備えた構成となっているが、本発明はこれに限定されるものではない。
【００９８】
本実施の形態では、一組の撮像部（ＣＣＤ、ＣＣＤコントロール部、画像処理部）でカメラユニットを構成し、高解像度の広角画像から撮影したい画角を切り出すことにより撮影画各画像を作成するような構成の実施の形態について説明する。
【００９９】
図１２は本実施の形態に係るネットワークカメラの概略構成を示すブロック図である。
【０１００】
図１２において、 １２０１は広角映像を撮影するためのカメラユニットである広角カメラ部を示しており、この広角カメラ部１２０１には、レンズ群（１２０２）、ＣＣＤ（１２０３）、ＣＣＤコントロール部（１２０４）、画像処理部（１２０５）が含まれている。これらは図１、１０２〜１０５で説明した各ブロックと同様の処理を行うものであるが、各ブロックは広角映像を高解像度（ＵＸＧＡ）の広角撮像が可能な性能を持っており、画像処理部１２０５からはＵＸＧＡサイズの画素数でＹＵＶデジタルデータを３０フレーム／秒のフレームレートで出力する。
【０１０１】
１２０６は広角ひずみ補正処理部であり、画像処理部１２０５から出力されたＹＵＶデジタルデータの広角レンズによる画像のひずみをデジタル補正し、補正された映像は広角映像として使用される。
【０１０２】
又、１２０７は撮影画角切り出し部であり、１２０６でひずみ補正された広角映像の各フレームに対して一部の領域を切り出すようなトリミング処理を行い、切り出された映像をＹＵＶデジタルデータとして出力するものである。切り出された映像は撮影画各映像として使用する。この撮影画角切り出し部１２０７で切り出す位置、大きさ、形状はビューワ側からのリモートによるパン、
チルト、ズーム操作によって決定され、操作情報が送信される。受信した情報に従ってＣＰＵ１２１０が撮影画角切り出し部の切り出し条件の設定を行う。
【０１０３】
バス１２１４に接続されている、静止画符号化部１２０８、動画符号化部１２０９、ＣＰＵ１２１０、通信インターフェース部１２１１、ＲＯＭ１２１２、ＲＡＭ１２１３はそれぞれ、図１、１１１〜１１６と同様の制御を行うブロックである。
【０１０４】
＜実施の形態５＞
実施の形態５では、ビューワで重ね合わせ領域の位置や大きさ等の変更を行った場合は、更新された重ね合わせ情報をネットワークカメラに送信し、ネットワークカメラは受信した情報に従って、広角映像における塗り潰し領域を更新してビューワに送信するというシーケンスで制御を行っていたが、本発明はこれに限定されるものではない。
【０１０５】
通常、ネットワークを利用した遠隔操作においてはネットワーク上の通信遅延が発生するため操作リクエストに対するレスポンスが遅くなってしまうことが多い。実施の形態１においても、例えばビューワ側で撮像画各映像の重ね合わせ位置を移動しようとすると、ビューワ側で表示されている撮影画各映像のウインドウはユーザーの操作にすぐに反応して移動処理が行われるが、広角映像の方はネットワークカメラからの更新映像が遅延して届くために、その間、ウインドウ移動前の位置が単色で塗り潰された広角映像が残ったまま表示されてしまうために、映像が見苦しくなってしまう。
【０１０６】
そこで、本実施の形態では、ネットワークカメラから塗り潰し処理を行っていない広角映像を事前に送信しておき、ビューワで重ね合わせ条件が変更された場合は、更新された広角映像を受信するまでの間、先に送信している塗り潰し処理を行っていない広角映像で補完するような実施の形態について説明する。
【０１０７】
図１３はネットワークカメラにおいて１フレーム分の広角映像処理の詳細を表わすフローチャートである。
【０１０８】
図１３において、ステップＳ１３０１は広角映像を１フレーム分読み出す処理であり、図５、５０１と同様に３０フレーム／秒のフレームレートの映像をＹＵＶデジタルデータとして1 フレーム分、ＲＡＭ１１６の画像展開エリア１１６ａに読み出す。
【０１０９】
次に、ステップＳ１３０２において、広角映像に一定以上の動きがあるかどうかをチェックし、動きがない場合は、ステップＳ１３０３において、図５、Ｓ５０２と同様に、ビューワ上に表示される広角映像のうち撮影画角映像に重ね合わせられる領域を単色で塗り潰す処理を行う。そして、ステップＳ１３０４において、動画符号化部１１２によるＭＰＥＧ４符号化処理が実行され、ＲＡＭ１１６の符号化データ一時保存エリア１１６ｃに格納される。
【０１１０】
又、Ｓ１３０２において動きが検出された場合は、Ｓ１３０３の塗り潰し処理は行わず、Ｓ１３０４の符号化処理へ進む。以下、図５、Ｓ５０４，Ｓ５０５と同様に、格納された符号化データは、ステップＳ１３０５において、送信パケットサイズに分割され、送信ヘッダが付加された後、ステップＳ１３０６において、通信インターフェース部１１４によりビューワへデータ送信が行われる。
【０１１１】
図１４は実施の形態１、図６、Ｓ６０５，Ｓ６０６，Ｓ６０７で説明したビューワ側の広角フレーム処理において、実施の形態５での処理の詳細を表わすフローチャートである。
【０１１２】
図１６においてＡは図６、Ｓ６０４からの接続を表わし、 Ｂは同Ｓ６０８へ接続、Ｃは同Ｓ６１１へ接続されることを表わしている。
【０１１３】
ステップＳ１４０１は、図６、Ｓ６０４の通信インターフェースから受信した１フレーム分のパケットが広角フレームかどうかのチェックを行い、広角フレームでなかった場合はＢへ進む。広角フレームであった場合は、ステップＳ１４０２において、図６、Ｓ６０６と同様に広角フレームデータの復号化を行う。
【０１１４】
次に、ステップＳ１４０３において、受信した広角フレームが塗り潰し無しの映像フレームかどうかをチェックし、
塗り潰し処理が行われていないフレームの場合は、ステップＳ１４０４において、このフレーム画像を表示画像展開用メモリ２０９ｂに保存して、Ｓ１４０５へ進む。以前に保存された同フレームデータがある場合には上書き更新となる。又、Ｓ１４０３で塗り潰し処理が行われているフレームの場合は、保存処理は行わずにそのままＳ１４０５へ進む。
【０１１５】
ステップＳ１４０５では、重ね合わせ変更処理中かどうかのチェック、つまり、ビューワから重ね合わせ変更リクエストをネットワークカメラに送信してから、更新された広角フレームを受信するまでの遅延時間の間かどうかをチェックし、変更処理中でない場合は、ステップＳ１４０６において、図６、Ｓ６０７と同様に、塗り潰し処理された広角映像データをＲＡＭ２０９の表示画像展開用メモリ２０９ｂに書き出す処理を実行して、Ｃの重ね合わせ合成処理へ接続される。
【０１１６】
又、Ｓ１４０５において変更処理中の場合には、ステップＳ１４０７において、撮影画角映像ウインドウの移動操作によって前面に出てきた塗り潰し領域を、Ｓ１４０４で保存されている広角映像中の画素データで補完する処理を実行する。その後、Ｃの処理へ接続される。
【０１１７】
次に、図１５に本実施の形態におけるネットワークカメラとビューワ間で、重ね合わせ変更が行われた場合の処理シーケンスを示す。
【０１１８】
図１５において、 １５０１はネットワークカメラ側の処理、１５０２はビューワ側の処理を表わす。ここでは、ネットワークカメラからビューワに対して１／３０秒の周期で広角映像データが送信されている。ここで、１５０３は塗り潰し処理を行っている映像フレームであり、通常はこのフレームデータが継続的に送信されている。１５０４は塗り潰し処理を行っていない映像フレームデータ、又、１５０５は塗り潰し位置が変更された更新映像フレームを表わしている。
【０１１９】
図１５において、先ず、ネットワークカメラにおいて、１５０６で広角映像に一定以上の動きを検出した場合は、１５０７で塗り潰し処理から塗り潰し無し処理への切り替えを行い、次の送信フレームは塗り潰し無し映像フレーム（１５０４）となる。ビューワ側では、このフレームを検出して保存データの更新リクエストを出し（１５０８）、既に保存されている塗り潰し無しの広角映像データに対して上書き保存して更新する（１５０９）。
【０１２０】
又、１５１０はビューワ側で重ね合わせ条件の変更を行った場合の変更情報の送信であり、これを受けてネットワークカメラ側では１５１１において、送信された重ね合わせ情報に対応して、
塗り潰し位置、 大きさ等を変更する処理を実行し、 これが終了した次の撮影フレームからは、重ね合わせ変更フレームとして送信される（１５０５）。
【０１２１】
一方、１５１０で変更情報を送信すると、ビューワ側でも１５１２において重ね合わせ変更イベントが発生し、
これを受けてネットワークカメラから重ね合わせ変更フレーム（１５０５）が到着する間に到達した広角フレームに対しては、１５０９で保存されている塗り潰し無しの広角映像データを読み出し、変更操作によって前面に出てきた塗り潰し領域を補完する（１５１３）処理を実行する。この図において、１５１４で示した時間が、ビューワ操作から変更フレームを受信するまでのネットワーク上の遅延時間となる。
【０１２２】
本実施の形態では、塗り潰し無しの映像フレームデータを送信するタイミングは、広角映像に一定以上の動きがあった場合にのみ送信するような実施の形態で説明したが、ネットワークカメラ側での動き検出の処理負荷を軽減するために、一定フレーム間隔の固定的なインターバルで塗り潰し無しフレームデータ送信を行うようにしても同様の効果は得られる。
【０１２３】
又、塗りつぶし無しフレームデータは通常の塗り潰しフレームデータに置き換えて送信するような実施の形態で説明したが、
塗り潰し無しフレームデータは別ストリームで独立して送信するようにしても良い。
【０１２４】
＜他の実施の形態＞
実施の形態１〜５で説明したビューワは、液晶表示器と制御キー等を備えた専用装置として説明したが、本発明においては、ビューワとしてネットワークに接続されたＰＣのアプリケーションを利用しても良いのは言うまでもない。
【０１２５】
又、動画符号化方式としてＭＰＥＧ４を例に取り説明したが、これに限定されずモーションＪＰＥＧやＭＰＥＧ１、ＭＰＥＧ２等の空間的、又は時間的な冗長度を利用した符号化方式には全て応用可能である。
【０１２６】
更に、実施の形態では、ネットワークカメラから広角映像データと撮影画各映像データを送信してビューワで重ね合わせて表示するようなシステムへの応用として説明したが、
例えば、 テレビ電話やテレビ会議等のシステムにおいて、相手側が撮影した映像を受信し、その画面に自分側が撮影した映像を重ね合わせて表示するようなシステムにおいても、通信相手からの動画像送信方法として本発明を応用することが可能である。同様に、通信相手から送信された動画像に、自分のシステムで作成されたグラフィック画像（アイコンやメニュー等）を重ね合わせて表示するようなアプリケーションにおいても応用可能であることは言うまでもない。
【図面の簡単な説明】
【０１２７】
【図１】本発明の実施の形態１によるネットワークカメラの概略構成を示すブロック図である。
【図２】本発明の実施の形態１によるビューワの概略構成を示すブロック図である。
【図３】本発明の実施の形態１によるネットワークカメラ本体のメイン処理をあらわすフローチャートである。
【図４】本発明の実施の形態１による１フレーム分の撮影画角映像処理の詳細を表わすフローチャートである。
【図５】本発明の実施の形態１による１フレーム分の広角映像処理の詳細を表わすフローチャートである。
【図６】本発明の実施の形態１によるビューワ本体のメイン処理を表すフローチャートである。
【図７】本発明の実施の形態１によるネットワークカメラで撮影される映像及びビューワで表示される映像例を示す図である。
【図８】本発明の実施の形態２による１フレーム分の広角映像処理の詳細を表わすフローチャートである。
【図９】本発明の実施の形態２による重ね合わせ領域の境界が画素ブロックの境界と一致している場合のブロックの構成を表わす図である。
【図１０】本発明の実施の形態２による重ね合わせ領域の境界が画素ブロックを分割する位置となっている場合の画素の構成を表わす図である。
【図１１】本発明の実施の形態３による重ね合わせ領域と周辺映像の境界付近のブロックの構成を表わす図である。
【図１２】本発明の実施の形態４によるネットワークカメラの概略構成を示すブロック図である。
【図１３】本発明の実施の形態５による１フレーム分の広角映像処理の詳細を表わすフローチャートである。
【図１４】本発明の実施の形態５によるビューワ側の広角フレーム処理の詳細を表わすフローチャートである。
【図１５】本発明の実施の形態５によるネットワークカメラとビューワ間で重ね合わせ変更が行われた場合の処理シーケンス図である。
【符号の説明】
【０１２８】
１０１  広角カメラ部
１０２  レンズ群１
１０３  ＣＣＤ１
１０４  ＣＣＤコントロール部１
１０５  画像処理部１
１０６  撮影画角カメラ部
１０７  レンズ群２
１０８  ＣＣＤ２
１０９  ＣＣＤコントロール部２
１１０  画像処理部２
１１１  静止画符号化部
１１２  動画符号化部
１１３  ＣＰＵ
１１４  通信インターフェース部
１１５  ＲＯＭ
１１６  ＲＡＭ
１１７  パン・チルト制御モータ
１１８  バス
【図１】
2006197098.tif 000003
【図２】
2006197098.tif 000004
【図３】
2006197098.tif 000005
【図４】
2006197098.tif 000006
【図５】
2006197098.tif 000007
【図６】
2006197098.tif 000008
【図７】
2006197098.tif 000009
【図８】
2006197098.tif 000010
【図９】
2006197098.tif 000011
【図１０】
2006197098.tif 000012
【図１１】
2006197098.tif 000013
【図１２】
2006197098.tif 000014
【図１３】
2006197098.tif 000015
【図１４】
2006197098.tif 000016
【図１５】
2006197098.tif 000017