(57)【要約】【課題】連続撮影する際に移動体を高精度に検出できるようにする。【解決手段】複数の画像間で第１の差分を抽出する第１の差分抽出手段と、前記複数の画像の間で所定の被写体に合わせて位置を補正する位置合わせ手段と、前記位置合わせ手段によって画像の位置が補正された後に前記複数の画像間で第２の差分を抽出する第２の差分抽出手段と、前記第１の差分抽出手段で抽出された第１の差分と、前記第２の差分抽出手段で抽出された第２の差分とに基づいて動体の領域を検出する検出手段と、を備える。【選択図】図４
2019153208.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像間で第１の差分を抽出する第１の差分抽出手段と、
前記複数の画像の間で所定の被写体に合わせて位置を補正する位置合わせ手段と、
前記位置合わせ手段によって画像の位置が補正された後に前記複数の画像間で第２の差分を抽出する第２の差分抽出手段と、
前記第１の差分抽出手段で抽出された第１の差分と、前記第２の差分抽出手段で抽出された第２の差分とに基づいて動体の領域を検出する検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記検出手段は、前記第１の差分と前記第２の差分とで共通する部分を前記動体の領域として検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の画像は、撮影時間で隣接した２枚の画像であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記位置合わせ手段は、前記２枚の画像のいずれかを基準として時間的に隣接した画像の位置を合わせることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記位置合わせ手段は、前記所定の被写体の動きベクトルを算出して位置合わせを行うことを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記第１の差分抽出手段及び前記第２の差分抽出手段は、色もしくは輝度のうちの少なくとも１つで評価することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
複数の画像間で第１の差分を抽出する第１の差分抽出工程と、
前記複数の画像の間で所定の被写体に合わせて位置を補正する位置合わせ工程と、
前記位置合わせ工程において画像の位置が補正された後に前記複数の画像間で第２の差分を抽出する第２の差分抽出工程と、
前記第１の差分抽出工程で抽出された第１の差分と、前記第２の差分抽出工程で抽出された第２の差分とに基づいて動体の領域を検出する検出工程と、
を備えることを特徴とする画像処理方法。
【請求項８】
複数の画像間で第１の差分を抽出する第１の差分抽出工程と、
前記複数の画像の間で所定の被写体に合わせて位置を補正する位置合わせ工程と、
前記位置合わせ工程において画像の位置が補正された後に前記複数の画像間で第２の差分を抽出する第２の差分抽出工程と、
前記第１の差分抽出工程で抽出された第１の差分と、前記第２の差分抽出工程で抽出された第２の差分とに基づいて動体の領域を検出する検出工程と、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、複数枚の画像から動体領域を検出するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、長秒時露光を行うことによって天体の日周運動を軌跡として撮影する手法が知られている。しかしながら長秒時露光を行うと、露光時間に応じて画像全体が明るくなってしまうので、所定の時間に達するまで複数回撮影を行い、複数枚の画像の明るい部分を選択して合成することで天体の軌跡を撮影する手法も行われている。このような撮影方法の場合、飛行機や車のヘッドライトなど明るい被写体が画角内に入ると天体の軌跡以外も合成されてしまうため、撮影者が望んだ画像を得ることができない。
【０００３】
この課題を解決するために、飛行機などの移動体領域を検出し、検出領域を除外して合成することで天体の軌跡のみを画像中に残す手法が考えられる。特許文献１には、移動体領域を検出するために、天体が動かない程度の十分に短い時間で撮影を行い、撮影画像間の各画素について輝度差分を抽出することで移動体領域を検出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１４７１５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら特許文献１に記載の方法では、天体の軌跡を撮影する場合に長秒時露光で連続撮影するため、輝度差分を抽出するだけでは日周運動によって天体が動いてしまい、天体も移動体領域として検出されてしまう可能性がある。
【０００６】
本発明は前述の問題点に鑑み、連続撮影する際に移動体を高精度に検出できるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、複数の画像間で第１の差分を抽出する第１の差分抽出手段と、前記複数の画像の間で所定の被写体に合わせて位置を補正する位置合わせ手段と、前記位置合わせ手段によって画像の位置が補正された後に前記複数の画像間で第２の差分を抽出する第２の差分抽出手段と、前記第１の差分抽出手段で抽出された第１の差分と、前記第２の差分抽出手段で抽出された第２の差分とに基づいて動体の領域を検出する検出手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、連続撮影する際に移動体を高精度に検出することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る画像処理装置の内部構成例を示すブロック図である。
【図２】複数のブロックにおけるヒストグラムを説明するための図である。
【図３】動きベクトルを算出する手順を説明するための図である。
【図４】動体領域を検出する手順を説明するための図である。
【図５】動体領域を検出する処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。
図１は、本実施形態に係る画像処理装置１００の内部構成例を示すブロック図である。
図１において、画像処理装置１００は、例えばデジタルカメラなどのカメラである。
【００１１】
シャッター１０１は絞り機能を備える機械式シャッターである。撮像部２２は光学像を電気信号に変換する撮像素子を備える。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をディジタル信号に変換する。撮像部２２の撮像素子は、本実施形態ではＲ、Ｇ１、Ｇ２、Ｂのカラーフィルタを備え、各色が規則的に配置されたベイヤー配列の構成となっているが、これに限られない。なお、撮像部２２、撮影レンズ１０３、シャッター１０１は不図示のタイミング発生回路を使用してシステム制御部５０により制御される。また、本実施形態に係る画像処理装置１００は、シャッター１０１以外にも、撮像素子のリセットタイミングの制御によって、電子シャッターとして蓄積時間を制御することが可能であり、動画撮影などに使用可能である。
【００１２】
画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、或いはメモリ制御部１５からのデータに対して、所定の画素補間処理やシェーディング補正などの各種補正処理、ホワイトバランス処理、γ補正処理、色変換処理などを行う。また、画像処理部２４によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。
【００１３】
シェーディング補正処理は、Ａ／Ｄ変換器２３からのデータ或いはメモリ制御部１５からのデータに対して撮影レンズ１０３の特性や撮像部２２の収差等の特性に起因して生じるシェーディングを補正するように、画面内の輝度レベルの補正を行う。ＷＢ（ホワイトバランス）処理は、画面内の白基準を白に合わせるＡＷＢ（オートホワイトバランス）処理をシェーディング補正処理後の画像データに対して行う。本実施形態においては、シェーディング補正は撮像部２２の撮像素子の２次元の座標（位置）に応じて画素ごとにゲインをかける補正であり、ホワイトバランス処理は、ベイヤー配列のＲ、Ｇ１、Ｇ２、Ｂごとに異なるゲインをかける処理である。さらにベイヤー毎のＲＡＷ画像から汎用的な画像フォーマットであるＹＵＶ形式などへ現像する機能や、ＪＰＥＧ形式などへのエンコードあるいはデコード機能も有する。さらに後述する複数枚の画像から動きベクトルを算出する機能も有する。
【００１４】
画像合成部５４は、複数の画像データを合成する合成処理回路を備える。本実施形態では、単純な加算合成あるいは加算平均合成だけでなく、合成対象の画像データの各画素あるいは各領域において最も明るいまたは暗い値を持つ画像を選択して、それらを合成して１枚の画像データを生成する。また、画像合成部５４は、画像処理部２４と一体に構成されていてもよい。
【００１５】
メモリ制御部１５は、Ａ／Ｄ変換器２３、画像処理部２４、メモリ３２を制御する。Ａ／Ｄ変換器２３のデータが画像処理部２４、メモリ制御部１５を介して、或いはＡ／Ｄ変換器２３のデータがメモリ制御部１５を直接介して、メモリ３２に書き込まれる。
【００１６】
表示部２８はＴＦＴ液晶等からなり、メモリ３２に書き込まれた表示用の画像データはメモリ制御部１５を介して表示部２８により表示される。表示部２８を用いて、撮像部２２で所定の周期で露光及び読み出しを繰り返し行って順次撮像した画像データを順次取得し、画像処理部２４、メモリ制御部１５等を経て順次表示すれば、ライブビュー表示や電子ファインダー機能を実現することが可能である。また、表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。
【００１７】
メモリ３２は撮影した静止画像や動画像のデータを格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像のデータを格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像をメモリ３２に対して書き込むことが可能となる。また、メモリ３２はシステム制御部５０の作業領域としても使用することが可能である。
【００１８】
システム制御部５０は、画像処理装置１００全体を制御する。後述する不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２は例えばＲＡＭであり、システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０はメモリ３２、表示部２８等を制御することにより表示制御も行う。また、画像処理部２４が撮像した画像データを用いて所定の演算処理を行い、システム制御部５０は、得られた演算結果に基づいて露光制御部４０、フォーカス制御手段部に対して制御を行う。つまり、システム制御部５０は、ＴＴＬ方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理の制御も行っている。
【００１９】
システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。不揮発性メモリ５６はＦｌａｓｈＲＯＭ等で構成されたメモリである。システム制御部５０が実行するプログラムコードは不揮発性メモリ５６に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ５６内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。
【００２０】
操作部７０は各種ボタンやタッチパネル等からなり、シャッターボタン、メニューボタン、セットボタン、マクロボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。また、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。また、操作部７０のシャッターボタンの操作途中でシャッタースイッチＳＷ１がＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作開始を指示する。そして、操作部７０の操作完了でシャッタースイッチＳＷ２がＯＮとなり、露光処理、現像処理、圧縮・伸長処理、記録処理という一連の処理の動作開始を指示する。
【００２１】
電源部３０はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。電源制御部８０は電源部３０を制御するための制御部である。コネクタ１８はメモリカードやハードディスク等の記録媒体とのインタフェース、メモリカードやハードディスク等の記録媒体と接続を行うコネクタである。バリア１０２は、画像処理装置１００の撮影レンズ１０３及び撮像部２２を覆う事により、撮像部２２の汚れや破損を防止するバリアである。
【００２２】
本実施形態では、画像処理部２４は、まず、複数の画像間での位置合わせ処理を行う。その後の差分抽出処理では、入力された画像間の各画素について、輝度情報または色情報、もしくはその両方について評価し、差分絶対値を算出する。このとき、位置合わせ処理を行った場合とそうでない場合との両方で差分抽出処理を行う。
【００２３】
まず、図２及び図３を参照しながら、位置合わせ処理について説明する。本実施形態において、画像処理部２４は、図２に示すように１枚の画像を複数のブロックに分割する。図２に示す例では、１０×８のブロックに分割しているが、画像の画素数などに応じてブロックサイズを変更しても良く、これに限定されるものではない。例えば撮影レンズ１０３が、焦点距離が短い、いわゆる広角レンズの場合は、星が小さく写りやすいためブロックサイズを小さくすることも好ましい。また、１ブロックの形状も図２に示す例では正方形で表しているが、長方形などその他の形状でもかまわない。また、画像間の差分を抽出し、差分が出ている領域にブロックを配置することで、星の領域を重視した効率のよいブロック配置としてもよい。
【００２４】
まず、各ブロック内に被写体である天体が写っているブロックを抽出する。そして、画像処理部２４で各ブロックのヒストグラムを作成する。例えば図２において、山など暗い部分のブロック２０４では、ピークが暗い部分に１つとなるヒストグラム２１４が作成される。また、山と空とが混ざっているブロック２０３では、暗い部分と少し明るい部分との２つのピークが現れるヒストグラム２１３が作成される。同様に、星が写っていない空だけのブロック２０２では、ピークが１つとなるヒストグラム２１２が作成される。そして、天体が写っているブロック２０１の場合は、空の部分とそれよりも明るい部分とに小さいピークが現れるヒストグラム２１２が作成される。
【００２５】
次に、図３を用いて動きベクトルを算出する処理について説明する。ここでの説明では、２枚目を撮影した結果、天体が全体的に画像の右下の方向に動いていたものとする。例えば、図２のブロック２０１内にサブブロック３０１を設定し、これをテンプレートとする。そのサブブロック３０１を２枚目の画像の同じブロック内で１画素ずつ走査して差分をとっていく。図３に示す例の場合は、右にｍ画素、下にｎ画素ずらした時の差分が一番小さく、すなわち類似度が高いので、天体は右にｍ画素、下にｎ画素移動したことがわかる。このような処理を図２で星が検出されたブロックすべてで行う。また、天体の動きベクトルが算出されなかったブロックは、近くのブロックから補間して動きベクトルを算出する。
【００２６】
なお、１画素ずつずらして差分を求めると処理時間が多くかかるため、画像処理部２４で縮小した画像に対して同様の処理を行い、大まかな動きベクトルを算出してから、その情報をもとに縮小していない画像で差分を求めることが好ましい。ここで求められた各ブロックに対する動きベクトルからアフィン変換係数を算出し、算出したアフィン変換係数を用いてアフィン変換を行うことで位置合わせの補正を行う。ここでの変換はアフィン変換を用いたが、射影変換等の一般的な画像の幾何変形を用いても良い。
【００２７】
本実施形態では、位置合わせ処理せずに差分抽出を行った差分抽出結果と、位置合わせ処理を行った後に差分抽出を行った差分抽出結果とから、どちらの差分抽出結果にも差分として共通して存在する領域を動体領域として検出する。図４に示すように、位置合わせせずに差分を抽出した場合には、動体領域４０１と天体４０２との両方が差分として抽出される。一方、位置合わせ処理を行った後に差分を抽出すると、動体領域４０１と位置あわせで補正された分ずれた前景領域４０３とが差分として抽出される。これにより、どちらの差分抽出結果にも存在する動体領域４０１を検出することが可能である。
【００２８】
図５は、本実施形態において、動体領域を検出する処理手順の一例を示すフローチャートである。
まず、Ｓ５０１において、システム制御部５０は、前述した手順によって１枚目の画像を取得する。続いて、Ｓ５０２において、システム制御部５０は、同様に２枚目の画像を取得する。この時、動体をより精度よく検出するために、取得する画像は連続撮影された画像中で撮影時間的に隣接する２枚の画像を取得することが好ましい。例えばＳ５０１では時間的に古いＮ−１枚目の画像を取得し、Ｓ５０２では時間的に新しいＮ枚目の画像を取得する。そして、Ｎ枚目の画像を動体検出の対象画像とする。例外なケースとしては、連続撮影画像中で１枚目と２枚目に関しては動体検出の対象画像をＮ−１枚目である１枚目にする。
【００２９】
次にＳ５０３において、画像処理部２４は、Ｎ−１枚目の画像とＮ枚目の画像とから差分を抽出し、位置合わせ無しでの差分抽出結果としてメモリ３２に保持しておく。Ｓ５０４においては、画像処理部２４は、Ｎ−１枚目の画像とＮ枚目の画像とで位置合わせ処理を行う。この時、動体検出の対象画像を位置あわせの基準画像とする。つまり、Ｎ枚目の画像が基準画像となるので、星の位置が一致するようにＮ−１枚目の画像をＮ枚目の画像の位置に補正する。Ｓ５０５においては、画像処理部２４は、位置あわせ後のＮ−１枚目の画像とＮ枚目の画像とで差分を抽出し、位置合わせ有りでの差分抽出結果としてメモリ３２に保持する。
【００３０】
Ｓ５０６においては、システム制御部５０は、Ｓ５０３、Ｓ５０５でそれぞれ得られた位置合わせ有り、位置合わせ無しでの差分抽出結果について、各画素を比較し、両方で差分が抽出された領域を動体領域として検出する。この時どの程度差分があったら動体領域とするのかを閾値として持っておく。本実施形態では位置合わせ無しでの差分抽出後に、位置合わせ有りの差分抽出を行ったが、位置合わせ有りの差分抽出を先に行ってもよい。
【００３１】
以上のように本実施形態によれば、位置合わせを行わずに差分を抽出した結果と、位置合わせを行って差分を抽出した結果とで共通する領域を動体領域として検出するようにした。これにより、天体などの動体として検出したくない被写体を除外して動体領域を精度よく検出することができる。
【００３２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。特に撮像センサや光学レンズなどを備えず、記録媒体等に記録された撮影された画像を読み出して動きベクトル検出を行う画像処理装置でも実施可能である。
【００３３】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３４】
２４  画像処理部
５０  システム制御部
【図１】
2019153208.tif 000003
【図２】
2019153208.tif 000004
【図３】
2019153208.tif 000005
【図４】
2019153208.tif 000006
【図５】
2019153208.tif 000007