(57)【要約】【課題】  従来の防振処理においては、防振処理前の画像情報は保存されない。特に画像切り出しベクトル防振処理のような防振アルゴリズムを採用する場合、防振処理により、画像データの一部を廃棄することになる。詳細な画像解析がのちに必要になる場合、画像データの一部を廃棄することは不利につながるケースが考えられる。【解決手段】  防振処理を施していない画像情報とブレ情報をサーバーユニット内情報記憶部に記憶する。そして再生時に情報記憶部からデータを出力し、再生表示部で防振処理を行った画像データを表示部に表示する。そのため、画像切り出しベクトル防振処理により画像データの一部を廃棄せずにすんだデータを常にサーバー内に保存しておく。【選択図】  図１
2009302762.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置によって撮像された画像情報と、
前記画像情報を伝送するネットワークと、
前記ネットワークを介して前記画像情報を送受信し、内部記憶手段により前記画像情報を蓄積し、前記画像情報を変更する機能を有する情報中継装置と、
前記情報中継装置に前記ネットワークを介して、前記中継装置へ命令し、前記画像情報を取得し、さらに再生表示可能な機能を有する再生端末、
を含んだネットワークカメラシステムにおいて、
カメラシステムに前記撮像装置のブレ情報を検出するブレ検出手段と、
前記ブレ情報と前記画像情報を適した形式に処理する撮像情報処理部を有し、
前記ブレ情報は前記撮像情報処理部により前記撮像情報に付加され、
若しくは同期して前記ネットワークによって配信されると共に、
前記情報中継装置内の前記情報処理部により、
前記ブレ情報と前記画像情報に基づき適した画像処理をおこなう画像処理手段を有することを特徴とするネットワークカメラシステム。
【請求項２】
前記情報処理手段は、
前記情報中継装置記憶部内の撮像情報の中から前記ブレ情報値が所定値以下の画像情報を抽出し、
ブレの少ないフレーム情報群を作り出し、前記フレーム情報分を前記中継装置記憶部内に保存・蓄積し、または再生装置へネットワークを介して配信することを特徴とする請求項１に記載のネットワークカメラシステム。
【請求項３】
前記情報中継装置記憶部内の情報処理手段は、
所定期間内でのフレーム画像数と、所定値以上の前記ブレ情報に応じて、ブレ補正画像情報として適したブレ補正画像群を生成する機能を有すること特徴とする請求項１に記載のネットワークカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介して撮影情報を伝播させる監視カメラシステムに関するものである。
【背景技術】
【０００２】
従来、監視カメラなどの、壁やポールにカメラ本体を常時設置するカメラシステムは、建物の振動や、風等の外乱をうけ、カメラ本体に撮影画像に大きく影響を及ぼすブレが生まれる場合がある。
【０００３】
この為、カメラ本体に配されたジャイロセンサなどのブレ検出装置によって取得したブレ情報と、カメラで取得した画像情報を元に、カメラ内の信号処理部でブレ補正処理をおこなう技術がある。（特許文献１参照）
ブレ補正処理手段としては、画像切り出し防振処理方式などが多く採用されている。画像切り出し防振処理方式とは、CCD等の撮像素子で取得した全画像情報のうち、撮影情報を切り出す。そしてジャイロセンサなどの加速度センサにより取得したブレ情報に基づき、切り出した撮影情報をシフトさせることでブレを低減する電子防振方式である。
【０００４】
そしてブレ補正処理をおこなった画像はネットワークを介してサーバーに送信、保存され、再生装置でそれらの表示等をおこなっていた。
【特許文献１】特開2001-024934号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし情報処理装置記憶部に保存する画像データは画像切り出し防振処理などの防振処理を施した画像情報であり、防振処理前の画像情報と比較して情報が減少する問題があった。
【０００６】
これにより、再生画像の解像度が劣化するという問題や、画像を切り出すため、情報が減少し、後に詳細な画像解析が必要になる場合、画像データの一部を廃棄することは不利につながるケースが考えられる。
【０００７】
また、ジャイロなどから取得したブレ情報がない環境で画像切り出し方式等の防振処理をおこなった場合、精度の高い防止効果が得られない場合がある。さらにパン、チルト動作とブレを切り分けることが難しいケースもある。
【０００８】
また、カメラ側で防振処理をおこなうことは消費電力、カメラ本体のコストの面でも不利である。
【０００９】
従来のようにカメラ側で防振処理はおこなわず、サーバー側で防振処理をおこなう。本発明の例示的な目的は、上記方式によってカメラ側での防振画像処理によりサーバー記憶装置に保存する画像情報を低減、劣化させないネットワークカメラシステムを提供することにある。さらにブレ検出装置により取得したブレ情報を用いて防振処理をおこなえるため、従来の画像切り出し方式等の防振方式に比べ、高い防振効果が得られる。
【課題を解決するための手段】
【００１０】
この目的のため本発明においては、
撮像装置によって撮像された画像情報と、
前記画像情報を伝送するネットワークと、
前記ネットワークを介して前記画像情報を送受信し、内部記憶手段により前記画像情報を蓄積し、前記画像情報を変更する機能を有する情報中継装置と、
前記情報中継装置に前記ネットワークを介して、前記中継装置へ命令し、前記画像情報を取得し、さらに再生表示可能な機能を有する再生端末、
を含んだネットワークカメラシステムにおいて、
カメラシステムに前記撮像装置のブレ情報を検出するブレ検出手段と、
前記ブレ情報と前記画像情報を適した形式に処理する撮像情報処理部を有し、
前記ブレ情報は前記撮像情報処理部により前記撮像情報に付加され、
若しくは同期して前記ネットワークによって配信されると共に、
前記情報中継装置内の前記情報処理部により、
前記ブレ情報と前記画像情報に基づき適した画像処理をおこなう画像処理手段を有するネットワークカメラシステムを実現することで、前記目的を達成しようとするものである。
【００１１】
また本発明においては、
前記情報処理手段は、
前記情報中継装置記憶部内の撮像情報の中から前記ブレ情報値が所定値以下の画像情報を抽出し、
ブレの少ないフレーム情報群を作り出し、前記フレーム情報分を前記中継装置記憶部内に保存・蓄積し、または再生装置へネットワークを介して配信することを特徴とするネットワークカメラシステムを実現することで、前記目的を達成しようとするものである。
【００１２】
また本発明においては、
前記情報中継装置記憶部内の情報処理手段は、
所定期間内でのフレーム画像数と、
所定値以上の前記ブレ情報に応じて、ブレ補正画像情報として適したブレ補正画像群を生成する機能を有すること特徴とするネットワークカメラシステムを実現することで、前記目的を達成しようとするものである。
【発明の効果】
【００１３】
以上のように、ネットワークカメラシステムにおいて、カメラにジャイロを搭載し、カメラ側画像処理部でブレ補正をおこなわず、ブレ情報と画像情報をリンクさせた情報をサーバー記憶部に保存する。この方式により取得した画像をカメラ側の防振画像処理で情報を劣化させずに、防振処理前画像を常に記憶装置に保存することが可能となる。
【００１４】
従来の方式では情報処理装置記憶部に保存する画像データは画像切り出し防振処理などの防振処理を施した画像情報であり、防振処理前の画像情報と比較して情報が減少する問題があった。
【００１５】
これにより、再生画像の解像度が劣化するという問題や、画像を切り出すため、情報が減少し、後に詳細な画像解析が必要になる場合、画像データの一部を廃棄することは不利につながるケースが考えられる。
【００１６】
本発明のシステムの場合、画像切り出し防振処理を施す前の画像をサーバー記憶装置に常に保存するため、上記の問題を解決することができる。また、防止処理前の画像がサーバーに保存されているので、その画像を用いて画像保存後に任意のタイミングで防止処理をON、OFFできる。
【００１７】
さらにブレ検出装置により取得したブレ情報を用いて防振処理をおこなえるため、従来の画像切り出し方式等の防振方式に比べ、高い防振効果が得られる。さらにカメラのパン、チルト動作とブレを切り分けることが容易になる。
【００１８】
また、サーバーで防振処理をおこなうことは消費電力、カメラ本体のコストの面でもカメラで防止処理をおこなうことよりも有利である。
【発明を実施するための最良の形態】
【００１９】
次に、本発明の詳細を実施例の記述に従って説明する。
【実施例１】
【００２０】
以下に、本発明の実施の形態を添付の図1に基づいて詳細に説明する。
【００２１】
ネットワークカメラシステムは、ネットワークカメラ１、ネットワーク２、サーバーユニット３、再生端末４から構成される。
【００２２】
ネットワークカメラ１はカメラユニット制御部１０３からの制御によってカメラ部１０２によって画像データを取得する。
【００２３】
またジャイロなどの加速度センサ１０４によってカメラのゆれ情報、ブレ情報を取得する。ブレ情報と画像データはカメラユニット制御部１０３を解してCPU等の情報処理部１０５へ伝送される。
【００２４】
情報処理部１０５はJPEGなどのデータの圧縮、A/D、D/A変換などを含む情報処理をおこなう。
【００２５】
処理がなされたブレ情報と画像データはネットワークI/F１０６を介してネットワーク２に配信される。
【００２６】
サーバーユニット３ではネットワーク２から配信されてきた画像データとブレ情報をネットワークI/Fをインターフェースとして受信する。
【００２７】
それぞれのデータはサーバー制御部を介して情報記憶部１０８に記録される。
情報記憶部はたとえばHDDなどの大規模記憶装置である。
【００２８】
ブレ情報と画像データを送る方式としては、画像データのJPEGヘッダ内にブレ情報を組み込んだ形式でネットワークに送る方法がある。また、HTTPのヘッダ情報の中に画像情報、ブレ情報を組み込んで送ってもよい。
【００２９】
再生表示部１０４はサーバーユニット３内の情報記憶部１０８のデータを、ネットワーク２を介してネットワークI/F１１０をインターフェースとして受信する。
【００３０】
サーバーユニット３内情報処理部１１３は再生制御部からの指令をうけ、情報記憶部内のブレ情報、画像情報をもとに適した画像処理をおこない、再生端末４にむけて画像情報を転送する。
【００３１】
ブレ情報と画像データは、再生表示部１１１で状況に適した再生表示をするための処理がなされ、例えば画像切り出し防振処理などがなされ、CRTなどの表示部に表示される。
【００３２】
また、リアルタイムで高画質の画像を再生するなどの状況の場合では、サーバーユニット３を介さずに直接ネットワークカメラ１から画像データ、ブレ情報を取得することもありうる。
【００３３】
以上の処理をもって、画像切り出しベクトル防振処理により画像データの一部を廃棄せずにすんだデータを常に情報記憶部１０８に保存しておくことができる。
【００３４】
そのため、データ保存後、ある特定の画像を詳細に解析する場合などに、従来よりも多くの画像データをもとに解析することなどが可能になり、監視カメラシステムなどに採用した場合、有利に作用する。
【００３５】
図２にサーバー内情報記憶部108に保存された画像情報とブレ情報をもとに再生表示部でブレを低減する実施例を示す。
【００３６】
図２に示すとおり、サーバー内情報記憶部には、ジャイロなどの加速度センサ１０４によってレートで保存された取得されたカメラブレ情報と画像情報が記憶されている。
【００３７】
上記２種類のデータ再生処理部１１１で処理し、表示部１１２で表示させる。
【００３８】
処理方法は、あるスレッショルド以下のブレ情報に対応するフレームのみを抽出する。
【００３９】
そして抽出したフレームを再生することで、ブレの少ない動画を再生することが可能となる。
【００４０】
図３に示すフローチャートで同アルゴリズムのフローを示す。同方式の防振再生処理をおこなう場合、まずブレ量のスレッショルドを設定する（S302）。設定したスレッショルドで条件分岐をおこない（S303）、ブレ量がスレッショルド以下の場合、ブレとリンクしたフレームのみを再生フレームとして採用する（S304）。そしてそのフレームを再生する（S305）。
【００４１】
一方、ブレ量がスレッショルド以上の場合、リンクするフレームは画像として採用しない（S306）。以上のブレ量による判定作業の後、次のフレームに処理を移す（S307）。
【００４２】
また、上記のようにブレ情報がスレッショルド以下のフレームは使用しなくても良いし、画像切り出しブレ補正処理などをおこなってもよい。
【００４３】
本実施例ではCCD等の撮像センサで取得した画像を切り出さずに表示できるとともに、ブレ補正処理後もブレ補正処理前のデータはサーバーに保存されているため、データ保存後、ある特定の画像を詳細に解析する場合などに、従来よりも多くの画像データをもとに解析することなどが可能になり、監視カメラシステムなどに採用した場合、有利に作用する。
【００４４】
図４にサーバー内情報記憶部108に保存された画像情報とブレ情報をもとに再生表示部でブレを低減する実施例を示す。
【００４５】
図４に示すとおり、サーバー内情報記憶部には、ジャイロなどの加速度センサ１０４によってレートで保存されたカメラブレ情報と画像情報が記憶されている。
【００４６】
上記２種類のデータ再生処理部１１１で処理し、表示部１１２で表示させる。
【００４７】
処理方法は、ある一定期間において、あるスレッショルド以下のブレ情報に対応するフレームとそれ以外のフレームにわける。そして抽出したフレーム数がある一定期間中にある一定以上の場合にブレ補正処理をおこない、そうでない場合にはおこなわない。
【００４８】
図５に上記ブレ補正処理のアルゴリズム詳細を示す。アルゴリズムの設定値として3つのパラメータを設定する。ブレ情報のスレッショルドTh（S502）、所定時間T（S503）、画像枚数N（S504）である。画像に対応するブレ情報値がスレッショルドThの場合（S505）の場合、カウンタCnを１インクリメントする（S506）。本アルゴリズムに入ってからの所要時間ｔがT以下の場合（S507）、同様の処理を繰り返す。所要時間ｔがT以上の場合、カウンタ値CnがS５０４で設定した画像枚数N以上の場合、ブレ補正をONにする（S509）。またカウンタ値Cnが画像枚数N以下の場合（S510）、ブレ補正処理はおこなわない（S510）。その後カウンタCnをクリアし（S511）、現在時刻ｔをクリア（S512）後、S504以降の処理を繰り返しおこなう。
【００４９】
上記所定期間Tと、フレームを２種類に分けるブレ大きさのスレッショルドTh、画像枚数Nを最適に設定することで、環境により適した防振処理をおこなうことができる。
【００５０】
ブレ補正処理手段としては、例えばブレの中心位置を検出し、CCD等の撮像素子で取得した全画像情報のうち、特徴的な画素を設定する。その画素を基準としてフレームをシフトさせ、重ね合わせ、画像処理を施すことでブレの少ない画像フレームを作成する。
【００５１】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。
【図面の簡単な説明】
【００５２】
【図１】本発明の一実施形態であるネットワークカメラシステム概要
【図２】ブレの少ないフレームのみを抽出し再生表示部でブレを低減する実施例
【図３】再生表示部でブレを低減するためのアルゴリズムのフロー
【図４】サーバー内情報記憶部に保存された画像情報とブレ情報をもとに再生表示部でブレを低減する実施例
【図５】ブレ補正処理のアルゴリズム詳細
【符号の説明】
【００５３】
１  ネットワークカメラ
１０２  カメラ部
１０３  カメラユニット制御部
１０４  加速度センサ
１０５  撮像情報処理部
１０６  ネットワークI/F
１０７  サーバー制御部
１０８  情報記憶部
１０９  ネットワークI/F
１１０  ネットワークI/F
１１１  再生制御部
１１２  表示部
１１３  情報処理部
【図１】
2009302762.tif 000003
【図２】
2009302762.tif 000004
【図３】
2009302762.tif 000005
【図４】
2009302762.tif 000006
【図５】
2009302762.tif 000007