(57)【要約】【課題】長秒露光によって帯びきしたマスク対象画像のなかで、マスクを拡大することなく最適な位置でマスクすることでマスク対象物をマスクする。【解決手段】撮像対象物を撮影する撮像素子を含む撮像装置と、前記撮像装置の前記撮像対象物のプライバシー領域をマスキングするマスク生成部と、前記マスク生成部で生成するマスクの座標を演算するマスク演算部と、前記装置で得られた撮影画像と前記マスク生成部より生成されたマスクを前記マスク演算部で演算されたマスク座標の位置に合成する画像合成部と、前記撮像素子の露光の期間のうち二つ以上の時間の時点の前記マスクの座標を保持するデータ記憶部において、前記マスク演算部は、前記データ記憶部に記憶された二つ以上のマスク座標を用いてマスク座標を演算することを特徴とする撮像装置であることを特徴とする。【選択図】  図１
2013251784.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象物を撮影する撮像素子を含む撮像装置と、
前記撮像装置の前記撮像対象物のプライバシー領域をマスキングするマスク生成部と、
前記マスク生成部で生成するマスクの座標を演算するマスク演算部と、
前記装置で得られた撮影画像と前記マスク生成部より生成されたマスクを前記マスク演算部で演算されたマスク座標の位置に合成する画像合成部と、
前記撮像素子の露光の期間のうち二つ以上の時間の時点の前記マスクの座標を保持するデータ記憶部において、
前記マスク演算部は、前記データ記憶部に記憶された二つ以上のマスク座標を用いてマスク座標を演算することを特徴とする撮像装置。
【請求項２】
前記マスク演算部は、前記データ記憶部に記憶された二つ以上のマスク座標の加算平均値を演算して前記マスク座標を演算することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記マスク演算部は、前記データ記憶部に記憶された二つ以上のマスク座標のうちある分散値以上のマスク座標を使用せずに前記マスク座標を演算することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特にマスキング機能を有する撮像装置に関するものである。
【背景技術】
【０００２】
以下従来の技術について説明する。従来の撮像装置は、特に監視カメラにおいてプライバシー保護の観点から映像および画像の一部を遮蔽するマスキング技術が浸透している。一般的にマスキング技術とは、マスク対象物を画像から隠ぺいするために、マスク対象位置を演算することで、マスクをマスク対象画像に重畳するために使用するマスク座標を導きだし、そのマスク座標に基づいてマスクを画面上に描画することでマスク対象物を隠す技術である。本マスク技術において、パンチルト機構によりカメラの撮影方向が変更されたり、マスク対象物自身が移動することに応じて、マスキング位置を追従させなければならない。そのためには、撮影状況に応じて、現在どの座標が最も適したマスクを描画する座標かを常時判断して、マスク座標を演算、導出しないといけない。特に蓄積時間が大きいほど発生しやすい、撮影物が尾引きして図３に示すようにブレる現象が発生する場合がある。同現象に応じて最適なマスキング座標を演算し、マスク処理を施さなければならない。
【０００３】
上記撮像装置のマスキング処理として、特許文献１にはマスク座標の移動量に応じてマスク位置補正を施したり、マスクサイズを変更する技術が開示されている。特許文献２には、蓄積期間の始まりと終わりのマスク座標を計算し、マスク拡大処理施す技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第０３６３９４８９号明細書
【特許文献２】特開２００９―２３９４９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示された従来技術では、マスク座標の移動量に応じてマスク位置補正を施したり、マスクサイズを変更するのであって、長秒露光時に特に発生するマスク対象物のブレに応じたマスク処理を施すことができない。また、特許文献２では、蓄積期間の始まりと終わりのマスク座標を計算し、マスク拡大処理施す内容である。同処理では、マスクのサイズをマスク対象物がブレる量だけすべて拡大してしまうので、ブレ映像のなかでも映像の認識性が低い領域まで不要にマスク処理を施してしまい、必要な画像領域もマスクしてしまうことがある。
【０００６】
そこで本発明の目的は、特に長秒露光時に発生するマスク対象物のブレに応じて、マスクを拡大して有効な映像領域をマスクすることなく、最適なマスク描画位置を決定し、同位置にマスクを描画することで、最適なマスク処理を実現することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、撮像対象物を撮影する撮像素子を含む撮像装置と、前記撮像装置の前記撮像対象物のプライバシー領域をマスキングするマスク生成部と、前記マスク生成部で生成するマスクの座標を演算するマスク演算部と、前記装置で得られた撮影画像と前記マスク生成部より生成されたマスクを前記マスク演算部で演算されたマスク座標の位置に合成する画像合成部と、前記撮像素子の露光の期間のうち二つ以上の時間の時点の前記マスクの座標を保持するデータ記憶部において、前記マスク演算部は、前記データ記憶部に記憶された二つ以上のマスク座標を用いてマスク座標を演算することを特徴とする撮像装置であることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、特に長秒露光時に発生するマスク対象物のブレに応じて、マスクを拡大して有効な映像領域をマスクすることなく、最適なマスク描画位置を決定し、同位置にマスクを描画することで、最適なマスク処理を実現することにある。
【図面の簡単な説明】
【０００９】
【図１】マスク機能を有する撮像装置概略図
【図２】マスク領域設定例
【図３】ブレ画像説明図
【図４】マスク座標演算説明図
【図５】マスク座標演算フローチャート
【図６】実施例１における巡回を行う監視カメラ
【図７】図６における露光期間とマスク座標軌跡を表した図
【図８】図７中で取得した画像１
【図９】図７中で取得した画像２
【図１０】図７中で取得した画像３
【図１１】図７中で取得した画像４
【図１２】図７中で取得した画像５
【図１３】Ｔｈ以上のマスク座標を除外するマスク座標演算フローチャート
【図１４】ｋσ以上のマスク座標を除外するマスク座標演算フローチャート
【発明を実施するための形態】
【００１０】
［実施例１］
最初に、図１を参照して、本発明の第1の実施例による、撮像装置１０８について説明する。
【００１１】
この撮像装置１０８において、１００は入射光を結像するための光学レンズであり、光を撮像素子に集光させる。１０１は撮像レンズ１００からの撮像光に応じて画像信号に変化する撮像素子であり、ＣＣＤセンサやＣＭＯＳセンサがあげられる．ＡＤ変換処理部１０２はアナログ電気信号である映像信号をＡ／Ｄ変換処理でもってデジタル信号に変換する機能を有している。１０３は、Ａ／Ｄ変換処理部１０２から来た映像信号に対して、現像処理、ＷＢ処理などを施す機能を有している。図１中のマスクデータ設定部１１０は、ユーザーが、ユーザインターフェース１１２のようなＵＩ上の画像表示部１０９で任意のマスクデータを設定することができる。１０６は、マスクデータ設定部１１２で設定したマスクデータをデータ記録部１０７に記憶したり、マスク座標を演算するマスク演算部である。図１中の１０６はマスクデータ記録部１０７で保持されているマスクデータを取得し、マスク領域を生成する機能を有している。１０４はＡ／Ｄ変換処理部１０２より出力されたデジタルの撮像信号とマスク生成部１０５より生成されたマスク領域を合成する画像合成部である。１０９は画像合成部１０４より出力されたマスク領域が平面描画された撮影画像を表示する画像表示部である。
【００１２】
ユーザインターフェース１１２の撮影方向設定部１１１でユーザは撮影方向を設定することができる。撮影方向設定部からの指示を受け、撮影装置可動機構１１６内の可動装置制御部１１３は装置可動部１１５に指令を出し、撮影方向が変化する。騒動量計測部１１４は装置可動部の移動量を計測し、可動装置制御部１１３に送る。可動装置制御部１１３は同移動量に応じて可動指示量を制御する。また、可動装置制御部１１３は、マスク演算部１０６からの指示に応じて、データ記憶部１０７に現在の可動量情報を送信する。データ記憶部１０７は同情報を逐次記憶し、マスク演算部１０６に必要に応じてデータを供給する。
【００１３】
なお本実施例において、ユーザインターフェース１１２は撮像装置１０８および撮影装置可動機構１１６に直結する構造であるが、他の実施形態として、ユーザインターフェース１１２がネットワークを介して接続されるパソコン（ＰＣ）によるビューアでもよい。
【００１４】
次に、マスクデータの設定方法例を説明する。まず、ユーザインターフェース１１２上の画像表示部１０９で遮蔽したい領域（以下、プライバシー領域）が撮影画像中にあるかどうかを判断する。プライバシー領域がある場合は、撮影画像上の矩形２０１がプライバシー領域を遮蔽できるように、始点（矩形左下の頂点を始点とする）と高さと幅を指定する。指定方法の一例は、図２のようにユーザーがマウスのようなポインティングデバイスを用いて、直接カーソルで矩形の始点と高さと幅をドラッグアンドドロップで指定する方法がある。図２ａは、マスク設定モードに以移行した際の画像表示部１０９上でのマスク領域の初期位置を表している。図２ｂは、初期位置のマスク領域の幅を画像表示部１０９上で変更する例である。図２ｃは、初期位置のマスク領域の高さを画像表示部１０９上で変更する例である。図２ｄは初期位置のマスク領域を画像表示部１０９上で移動させた例である。始点と高さと幅以外に、各マスク領域を塗りつぶすための色情報を保持しても良い。更に、各マスク領域が有効か無効かを判別するためのフラグを保持してもよい。
【００１５】
次に、露光期間中のブレに応じたマスク位置の演算方法を説明する。ここで「ブレ」とは、露光期間中に、カメラの撮影方向が移動、または被写体が移動した場合、図３の３０１のように映像がブレる現象のことである。
【００１６】
図４では、パンチルト機能を有する監視カメラなどの設置型のカメラが、巡回しながら映像を撮影している場合のマスク対象物に対するマスクの座標を演算する方法を説明する。今回はマスク対象物が固定の場合を想定している。４０１はマスク対象位置の座標軌跡であり、カメラのパンチルト機能の移動量に応じて変化する。４０２は露光期間であり、同期間中の映像を撮影する。４０３は露光期間中のマスク座標のサンプルポイントを示しており、同サンプリング周波数は高いほどマスク座標の演算結果の精度が高まる。同図では蓄積期間のスタート時にＰ0の座標を取得し、以降Ｐ1，Ｐ2，，，Ｐn-1までの合計n点の座標を取得することを示している。同座標群はたとえばパンチルト機構のエンコーダ値出力から取得し、演算する。
【００１７】
図５でマスク座標を演算してからマスクを描画するまでの一連のシーケンスを示す。露光がスタートしてから(Ｓ５０１)、まず蓄積期間中か否かを判断する（Ｓ５０２）。蓄積期間中であれば、図４で示した通り、パンチルトのエンコーダ値を取得し（Ｓ５０３）、同エンコーダ値に基づくマスク座標演算値（Ｐ0，Ｐ1，，，Ｐn-1）を取得する（Ｓ５０４）。蓄積期間が終了した場合、取得したマスク座標演算値（Ｐ0，Ｐ1，，，Ｐn-1）を用いてマスク座標決定演算を行い、マスク座標Ｍを演算する（Ｓ５０５）。同演算は、以下の演算式(1)を用いて求める。
【００１８】
【数１】
2013251784.tif 000003
同演算結果で得られたマスク座標Ｍを用いて、マスクを描画し（Ｓ５０６）、終了となる（Ｓ５０７）。この計算式で求めたマスク座標Ｍは、ブレで尾引きが生じた画像のうち、もっとも像が結像された位置の座標を示している。図４の４０２の露光期間中は露光期間の後半部分でパンチルト機構が動作する。そのため画像は露光期間の前半部分で結像された像と、後半部分でブレが発生した図９の９０１に示す映像が取得される。マスク位置は式（１）から演算されたマスク座標Ｍを用いて、９０１の位置にマスクが描画される。このマスク位置は露光期間の前半部分で最も結像された像をマスクする位置になる。
【００１９】
次に、具体的に、上記で演算された座標を用いた時のマスク描画位置について説明する。図６では、パンチルト機能を有する、監視カメラなどの設置型のカメラが巡回しながら映像を撮影している場合のマスク対象物に対するマスクの座標を演算する方法を説明する。今回はマスク対象物が固定の場合を想定している。６００はパンチルト機能を有するカメラであり、６０１と６０２の２点の位置を巡回型で監視している。このとき、撮影位置６０１の撮影物６０３と、撮影位置６０２の撮影物６０４の二つをマスク対象物として、マスクをかける設定をする。図７は図６の状況を説明した図であり、具体的に同図を用いてマスクのかけ方を説明する。７０１はマスク対象位置の座標軌跡であり、カメラのパンチルト機能の移動量に応じて変化する。７０２〜７０６は露光期間であり、同期間中の映像を撮影する。
【００２０】
７０２の露光期間で撮影された映像を図８に示す。７０２の露光期間中はパンチルト機構は動作していないため、マスク対象物の撮影画像は８０１のようにしっかりと結像され、ブレのない映像が取得される。マスク位置は式（１）から演算されたマスク座標Ｍを用いて、８０２の位置にマスクが描画される。
【００２１】
７０３の露光期間中は露光期間の後半部分でパンチルト機構が動作する。そのため画像は露光期間の前半部分で結像された像と、後半部分でブレが発生した図９の９０１に示す映像が取得される。マスク位置は式（１）から演算されたマスク座標Ｍを用いて、９０１の位置にマスクが描画される。このマスク位置は露光期間の前半部分で最も結像された像をマスクする位置になる。
【００２２】
７０４の露光期間中は露光期間の前半部分でパンチルト機構が動作し、後半部分はパンチルトが停止している。そのため画像は露光期間の後半部分で結像された像と、前半部分で帯びきが発生した図１０の１００１に示す映像が取得される。マスク位置は式（１）から演算されたマスク座標Ｍを用いて、１００２の位置にマスクが描画される。このマスク位置は露光期間の後半部分で最も結像された像をマスクする位置になる。
【００２３】
７０５の露光期間中は露光期間の全領域でパンチルト機構が動作する。そのため画像は一様にブレの発生した図１１の１１０１のようになる。マスク位置は式（１）から演算されたマスク座標Ｍを用いて、１１０２の位置にマスクが描画される。このマスク位置はブレの発生した画像をもっとも広範囲にマスクできる位置のひとつである。
【００２４】
７０６の露光期間で撮影された映像を図１２に示す。７０６の露光期間中はパンチルト機構は動作していないため、マスク対象物は１２０１のようにしっかりと結像され、ブレのない映像が取得される。マスク位置は式（１）から演算されたマスク座標Ｍを用いて、２０２の位置にマスクが描画される。
【００２５】
［実施例２］
以下本発明にかかる実施例２を示す。
【００２６】
図５のＳ５０２における、マスク座標決定演算方法の第２の演算方法を以下に示す。図１３に示す通り、Ｓ１３０１で演算がスタートし、まずマスク座標（Ｐ0，Ｐ1，，，Ｐn-1）から、マスク重心座標Ｍを演算する（Ｓ１３０２）。演算式は式１と同様である。データ記憶部１０７に記憶されたマスク座標Ｐｊを用いて、式２に該当するＰｊを除外する処理を実行する。ここで、Ｔｈはあらかじめ設定された固定の値でもよいし、状況によって変更してもかまわない（Ｓ１３０３）。
【００２７】
【数２】
2013251784.tif 000004
Ｓ１３０３で特定Ｐｊを除外後、新ためて式１を用いマスク重心座標Ｍ‘を演算し（Ｓ１３０４）、導出演算を終了する（Ｓ１３０５）。以上の処理で求めたマスク重心座標Ｍ’を用いてマスクを描画することにより、長秒露光の前後一方または両方で高速にパンチルトが稼働していた場合でも、正確にもっとも結像した像に対してマスクを重畳することができる。
【００２８】
［実施例３］
以下本発明にかかる実施例３を示す。
【００２９】
図５のＳ５０２におけるマスク座標決定演算方法の第３の演算方法を以下に示す。図１４に示す通り、Ｓ１４０１で演算がスタートし、ままずマスク座標（Ｐ0，Ｐ1，，，Ｐn-1）から、マスク重心座標Ｍを演算する（Ｓ１４０２）。演算式は式１と同様である。データ記憶部１０７に記憶されたマスク座標Ｐｊを用いて、式３に示す通りマスク座標の標準偏差σを導出する（Ｓ１４０３）。
【００３０】
【数３】
2013251784.tif 000005
次にデータ記憶部１０７に記憶されたＰｊのデータを用いて、式４に該当するＰｊを除外する処理を実行する。
【００３１】
【数４】
2013251784.tif 000006
ここで、ｋはあらかじめ設定された固定の値でもよいし、状況によって変更してもかまわない（Ｓ１４０４）。
【００３２】
Ｓ１４０４で特定Ｐｊを除外後、新ためて式１を用いマスク座標Ｍ‘‘を演算し（Ｓ１４０５）、演算を終了する（Ｓ１４０６）。以上の処理で求めたマスク座標Ｍ‘‘を用いてマスクを描画することにより、長秒露光の前後一方または両方で高速にパンチルトが稼働していた場合でも、正確にもっとも結像した像に対してマスクを重畳することができる。
【００３３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００３４】
本発明は、撮像装置に関し、特にマスクを有する撮像装置に関するものである。
【符号の説明】
【００３５】
１００    光学レンズ
１０１    撮像素子
１０２    Ａ／Ｄ変換処理部
１０３    画像処理部
１０４    画像合成部
１０５    マスク生成部
１０６    マスク演算部
１０７    データ記憶部
１０８    撮像装置
１０９    画像表示部
１１０    マスクデータ設定部
１１１    撮影方向設定部
１１２    ユーザインターフェース
１１３    可動量計測部
１１４    可動量計測部
１１５    装置可動部
１１６    撮像装置可動機構
２０１    マスク領域
３０１    ブレ画像
４０１    マスク座標軌跡
４０２    蓄積期間
４０３    可動量サンプルポイント
６００    パンチルト機能付き設置型カメラ
６０１    巡回での撮影対象１
６０２    巡回での撮影対象２
６０３    マスク対象１
６０４    マスク対象２
７０１    マスク座標軌跡
７０２    蓄積期間１
７０３    蓄積期間２
７０４    蓄積期間３
７０５    蓄積期間４
７０６    蓄積期間５
８０１    蓄積期間１で撮影された画像
８０２    マスク位置
９０１    蓄積期間２で撮影された画像
９０２    マスク位置
１００１    蓄積期間３で撮影された画像
１００２    マスク位置
１１０１    蓄積期間４で撮影された画像
１１０２    マスク位置
１２０１    蓄積期間５で撮影された画像
１２０２    マスク位置
【図１】
2013251784.tif 000007
【図２】
2013251784.tif 000008
【図３】
2013251784.tif 000009
【図４】
2013251784.tif 000010
【図５】
2013251784.tif 000011
【図６】
2013251784.tif 000012
【図７】
2013251784.tif 000013
【図８】
2013251784.tif 000014
【図９】
2013251784.tif 000015
【図１０】
2013251784.tif 000016
【図１１】
2013251784.tif 000017
【図１２】
2013251784.tif 000018
【図１３】
2013251784.tif 000019
【図１４】
2013251784.tif 000020