(57)【要約】【課題】画像内の異物を除去するときに、撮像装置の物理的機構への負担を少なくすること。【解決手段】撮像装置１は、信号処理部１２が取得した視差画像の差分から検出した異物を画像から除去し、その除去結果である出力画像を記憶部１６に記憶させた後、新たに信号処理部１２が取得した時差画像と、異物を画像から除去する対象であった視差画像との変化量が所定閾値より小さいときには、手振れ補正処理を動作させる代わりに、記憶部１６から読み取った過去の出力画像を、今回の時差画像に対する異物の除去結果として出力する制御部１５を有する。【選択図】  図５
2017224878.tif 000002
【特許請求の範囲】
【請求項１】
撮像部の手振れ補正機構を制御して、手振れ補正処理の補正前と補正後とでそれぞれ視差が異なる画像を視差画像として取得する信号処理部と、
前記信号処理部が取得した視差画像の差分から検出した異物を画像から除去し、その除去結果である出力画像を記憶部に記憶させた後、新たに前記信号処理部が取得した今回の時差画像と、異物を画像から除去する対象であった前記視差画像との変化量が所定閾値より小さいときには、前記手振れ補正処理を動作させる代わりに、前記記憶部から読み取った過去の出力画像を、前記今回の時差画像に対する異物の除去結果として出力する制御部とを有することを特徴とする
異物除去装置。
【請求項２】
前記制御部は、前記時差画像と前記視差画像との変化量を求めるときに、両画像で輝度値の画像全体での平均値を求め、それぞれの平均値の差分を変化量として所定閾値と比較することを特徴とする
請求項１に記載の異物除去装置。
【請求項３】
前記制御部は、前記記憶部から読み取った過去の出力画像を、前記今回の時差画像に対する異物の除去結果として出力するときに、前記今回の時差画像の異物が写っていた一部の領域を、過去の出力画像の該当する領域の画像で上書きした画像を出力することを特徴とする
請求項１または請求項２に記載の異物除去装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異物除去装置に関する。
【背景技術】
【０００２】
複数の視差画像を用いて、画像内の異物を除去する手法が提案されている。
特許文献１には、家屋の周囲を監視するカメラシステムにおいて、遮蔽物が存在した場合には、他のカメラで撮影された画像の視点を変換することで、遮蔽物の先の画像を生成し、シースルー画像でユーザに画像を提供する監視カメラシステムが記載されている。
【０００３】
しかしながら、撮像機構が複数存在することから、コストの増加、視差画像を合成するために基準となる共通箇所を判別し辛いなどの画像合成の技術的な課題があった。
そこで、特許文献２には、手振れ補正機構を制御して撮像装置を移動させ、その撮像装置から取得した複数の視差画像を用いて、撮像素子近傍の光学素子上に存在する異物が撮影画像に写りこむことを抑制する撮像装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−７７９８２号公報
【特許文献２】特開２００７−３２３０３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献２に記載のように、１つのレンズを移動させて視差画像を得ることで、たしかに撮像装置の装置構成はシンプルになりコストは下がる。しかし、視差画像を得るためにレンズをひんぱんに移動させると、撮像装置の物理的機構が消耗してしまう。つまり、視差画像の取得頻度を低減することで、手振れ補正機構の消耗を抑えることが必要となる。
【０００６】
そこで、本発明は、画像内の異物を除去するときに、撮像装置の物理的機構への負担を少なくすることを、主な課題とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するために、本発明の異物除去装置は、以下の構成を有する。
つまり、異物除去装置は、撮像部の手振れ補正機構を制御して、手振れ補正処理の補正前と補正後とでそれぞれ視差が異なる画像を視差画像として取得する信号処理部と、
前記信号処理部が取得した視差画像の差分から検出した異物を画像から除去し、その除去結果である出力画像を記憶部に記憶させた後、新たに前記信号処理部が取得した今回の時差画像と、異物を画像から除去する対象であった前記視差画像との変化量が所定閾値より小さいときには、前記手振れ補正処理を動作させる代わりに、前記記憶部から読み取った過去の出力画像を、前記今回の時差画像に対する異物の除去結果として出力する制御部とを有することを特徴とする。
その他の手段は、後記する。
【発明の効果】
【０００８】
本発明によれば、画像内の異物を除去するときに、撮像装置の物理的機構への負担を少なくすることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に関する撮像装置の構成図である。
【図２】本発明の一実施形態に関する遮蔽物除去制御が実行される前の撮影画像の一例である。
【図３】本発明の一実施形態に関する遮蔽物除去制御が実行された後の撮影画像の一例である。
【図４】本発明の一実施形態に関する遮蔽物の除去処理を示すフローチャートの第１例である。
【図５】本発明の一実施形態に関する遮蔽物の除去処理を示すフローチャートの第２例である。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態を、図面を参照して詳細に説明する。
図１は、撮像装置１の構成図である。
撮像装置１は、撮像部１１と、信号処理部１２と、駆動部１３と、位置検出部１４と、制御部１５と、記憶部１６とを有する。撮像部１１は、ズームレンズ２１と、絞り２２と、防振レンズ２３と、フォーカスレンズ２４と、撮像素子２５とを有する。
撮像部１１は、撮像装置１の本体に内蔵される、または、着脱・交換可能に構成される撮像光学系である。
防振レンズ２３は、レンズシフト方式やセンサシフト方式、レンズユニットシフト方式などの手振れ補正機構である。この手振れ補正機構は制御部１５から制御されることで、意図的に視差のある画像を生成・合成することができる。
撮像素子２５は、撮像レンズなどの撮像光学系によって結像した被写体の光像を、光電変換して画像信号を生成する。
【００１１】
信号処理部１２は、撮像部１１から出力される画像信号に各種の信号処理を施す。
駆動部１３は、制御部１５からの制御信号を元に防振レンズ２３を駆動させる。
位置検出部１４は、防振レンズ２３の位置情報を検出し、その位置情報を制御部１５に通知（フィードバック）する。なお、駆動部１３および位置検出部１４は、一体化された構成としてもよい。
【００１２】
制御部１５は、撮像装置１の全体を統括的に制御する。例えば、制御部１５は、信号処理部１２が処理した画像信号と、位置検出部１４が検出した防振レンズ２３の位置情報とをもとに、信号処理部１２、駆動部１３、撮像素子２５を制御する。この制御内容は、例えば、画像信号に写っているフェンスなどの遮蔽物（異物）を画像信号から除去し、その除去された領域に遮蔽物の先にある被写体を表示する遮蔽物除去制御である。
記憶部１６は、信号処理部１２で得られた画像信号（映像信号）をフラッシュメモリやＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などの記憶媒体に保存する。
【００１３】
図２は、遮蔽物除去制御が実行される前の撮影画像の一例である。
通常画像４８は、被写体３１と遮蔽物３２とを光軸４１で撮像した画像イメージを示す。光軸４１は、撮像部１１内のズームレンズ２１、防振レンズ２３、フォーカスレンズ２４、撮像素子２５を順に通過する。遮蔽物３２が被写体３１の手前に位置しているため、遮蔽物３２が写る通常画像４８内の領域４８ａが被写体３１の中央部を遮っている。
【００１４】
図３は、遮蔽物除去制御が実行された後の撮影画像の一例である。
被写体３１と遮蔽物３２とを撮像した２枚の視差画像として、信号処理部１２は、光軸Ａ４２で撮影した視差画像Ａ４４と、光軸Ｂ４３で撮影した視差画像Ｂ４５とをそれぞれ記憶部１６に記録したとする。
制御部１５は、視差画像Ａ４４と視差画像Ｂ４５とを合成した結果として、合成画像４９を作成する。以下、合成処理の詳細を説明する。
【００１５】
まず、制御部１５は、視差画像Ａ４４と視差画像Ｂ４５との差分を計算することで、視差画像Ａ４４と視差画像Ｂ４５とで片方の画像にしか撮影されていない遮蔽物３２の領域を抽出する。この結果、視差画像Ａ４４において被写体３１の上部を遮っている遮蔽物３２の領域４４ａと、視差画像Ａ４４において被写体３１の中央部を遮っている遮蔽物３２の領域４５ｂとをそれぞれ抽出する。
なお、領域４４ａと領域４５ｂとにそれぞれ写っている遮蔽物３２は、同じ撮影対象を写しているので、各画像内の位置こそ異なるものの、大まかな大きさや色などの特徴量（例えば黒色の横長四角形）が互いに類似する。よって、制御部１５は、領域４４ａと領域４５ｂとの画像の特徴量を比較することにより、同じ遮蔽物３２を撮影していることを認識できる。
【００１６】
次に、制御部１５は、視差画像Ａ４４と視差画像Ｂ４５とでどちらの画像を合成画像に採用するかを領域ごとに決定する。まず、視差画像Ａ４４と視差画像Ｂ４５とで差分が発生していない領域（顔の口元など、２枚の画像で同じ内容になる領域）については、制御部１５は、どちらの画像を採用してもよい。
一方、視差画像Ａ４４と視差画像Ｂ４５とで差分が発生している領域については、制御部１５は、そのうちの遮蔽物３２が写っていない領域（被写体３１が写っている領域）を採用する。
【００１７】
例えば、被写体３１の顔の上部に着目すると、視差画像Ａ４４では領域４４ａに遮蔽物３２が写ってしまっているので、制御部１５は、領域４９ａとして視差画像Ｂ４５を採用する。
一方、被写体３１の顔の中央部に着目すると、視差画像Ｂ４５では領域４５ｂに遮蔽物３２が写ってしまっているので、制御部１５は、領域４９ｂとして視差画像Ａ４４を採用する。
【００１８】
図４は、遮蔽物の除去処理を示すフローチャートの第１例である。このフローチャートは、例えば、撮像部１１が画像を撮影するときのフレームごとに実行される。また、１枚の撮影画像全体を対象として１回のフローを実行してもよいし、１枚の撮影画像をｎ個の部分領域に分割し、その部分領域ごとに（ｎ回）フローを実行してもよい。
Ｓ１１として、制御部１５は、遮蔽物除去モードが現在設定されているか否かを判定する。遮蔽物除去モードとは、被写体から遮蔽物を除去する場合に指定するモードであり、あらかじめユーザにより記憶部１６に設定されている。Ｓ１１でＹｅｓならＳ１２に進み、Ｎｏなら処理を終了する。
【００１９】
Ｓ１２として、信号処理部１２は、撮像部１１から出力される画像信号（手振れ補正前の画像）を、視差画像Ａ４４として取得し、その視差画像Ａ４４を記憶部１６に格納する。
Ｓ１３として、制御部１５は、手振れ補正機構を動作させる。つまり、制御部１５は、位置検出部１４が検出した防振レンズ２３の位置情報を元に、駆動部１３に対して防振レンズ２３の駆動制御を行う。
Ｓ１４として、信号処理部１２は、撮像部１１から出力される画像信号（手振れ補正後の画像）を、視差画像Ｂ４５として取得し、その視差画像Ｂ４５を記憶部１６に格納する。
Ｓ１５として、制御部１５は、図３で説明したように、画像差分（輝度信号の差分）Ｄ＝（視差画像Ｂ４５−視差画像Ａ４４）から遮蔽物Ｍ（図３の遮蔽物３２）を抽出する。
【００２０】
Ｓ１６として、制御部１５は、Ｓ１５で抽出した共通領域内の遮蔽物Ｍは設定サイズ以上か否かを判定する。共通領域とは、視差画像Ａ４４と視差画像Ｂ４５とで共通の被写体が写っている領域であり、遮蔽物除去の対象とする領域全体である。設定サイズは、除去対象の遮蔽物Ｍの大きさを規定する。これらの共通領域および設定サイズについては、あらかじめユーザが記憶部１６に設定する。Ｓ１６でＹｅｓならＳ１７に進み、Ｎｏなら処理を終了する。
Ｓ１７として、信号処理部１２は、視差画像Ａ４４から遮蔽物Ｍの領域（図３の４４ａ）を視差画像Ｂ４５の同じ位置の画像に置換し、その置換結果である領域４９ａを含む合成画像４９を出力する。または、信号処理部１２は、視差画像Ｂ４５から遮蔽物Ｍの領域（図３の４５ｂ）を視差画像Ａ４４の同じ位置の画像に置換し、その置換結果である領域４９ｂを含む合成画像４９を出力してもよい。
【００２１】
図５は、遮蔽物の除去処理を示すフローチャートの第２例である。この第２例は、図４の第１例に対して、合成画像４９の出力処理として、簡易的な出力処理（Ｓ２１〜Ｓ２５）を加えたものである。よって、以下では、第１例と第２例とで相違する処理内容に着目して説明する。
Ｓ１２の後のＳ２１として、信号処理部１２は、撮像部１１から出力される画像信号を、時差画像Ａｄとして取得し、その時差画像Ａｄを記憶部１６に格納する。この時差画像Ａｄは、以降の各処理で視差画像Ａ４４の代わりに用いられる（Ｓ１５に対応するＳ１５ｂ、Ｓ１７に対応するＳ１７ｂ）。
【００２２】
Ｓ２２として、制御部１５は、視差画像Ａ４４についての時間変化量（＝Ｓ２１の時差画像Ａｄ−Ｓ１２の視差画像Ａ４４）が所定閾値以上か否かを判定する。視差画像Ａ４４についての時間変化量とは、例えば、視差画像Ａ４４の画像全体の輝度平均値の変化量である。この輝度平均値は計算量が少ない特徴量なので、高速に時間変化量を求めることができる。
例えば、輝度平均値が０から１００に変化した場合、所定閾値が５０ならＳ２２でＹｅｓ（所定閾値以上）であり、所定閾値が１１０ならＳ２２でＮｏ（所定閾値未満）である。Ｓ２２でＹｅｓならＳ１３に進み、ＮｏならＳ２４に進む。
【００２３】
Ｓ１７ｂの後のＳ２３として、制御部１５は、Ｓ１７ｂで置換した後の合成画像４９を画像Ｘとして記憶し、以降の処理で視差画像Ａ４４の代わりにする。つまり、記憶部１６に記憶された画像Ｘは、以降の処理で再利用される。
Ｓ２４として、制御部１５は、Ｓ２３において置換後の画像Ｘが記憶部１６に記憶されているか否かを判定する。Ｓ２４でＹｅｓならＳ２５に進み、ＮｏならＳ１３に進む。
Ｓ２５として、信号処理部１２は、Ｓ２３において置換後の画像Ｘを記憶部１６から読み込み、合成画像４９として出力する。
【００２４】
なお、Ｓ２３で記憶し、Ｓ２５で出力される画像Ｘについて、合成画像４９の全体としてもよいし、合成画像４９の一部（領域４９ａまたは領域４９ｂの少なくとも１つ）としてもよい。ここで、画像Ｘが合成画像４９の一部であるときには、Ｓ２５で出力する画像は、Ｓ２１の時差画像Ａｄに対して、画像Ｘ（遮蔽物３２が写っていないもの）を部分的に置き換えた（上書きした）ものである。
【００２５】
以上図４，図５で説明した各遮蔽物の除去処理により、撮像部１１が１つしか搭載されていない撮像装置１であっても、同じ撮像部１１から撮影された視差画像の差分箇所を元に、遮蔽物３２を適切に除去できる。これにより、物理的に２つの撮像部１１を用いて視差画像を取得するシステムに比べて、撮像装置１のハードウェア構成をシンプルにすることで、低コスト化が実現できる。
【００２６】
さらに、図５で説明した各遮蔽物の除去処理では、手前に自動車などの大きな遮蔽物が通過する状況や、カメラの視野を大きく変更してシーンを切り替える状況などの画像の時間変化量が大きいときには（Ｓ２２，Ｙｅｓ）、図４と同様に手振れ補正機構を動作させて遮蔽物の除去処理を行う。一方、手前にフェンスなどの固定された遮蔽物が存在し続ける状況などで画像の時間変化量が小さいときには、手振れ補正機構を動作させずに、前回の遮蔽物の除去処理の結果を再利用する。これにより、手振れ補正機構の動作（Ｓ１３）の頻度を下げることで、手振れ補正機構の消耗を抑えることができる。
【００２７】
なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。
また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
【００２８】
各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）などの記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
さらに、各装置を繋ぐ通信手段は、無線ＬＡＮに限定せず、有線ＬＡＮやその他の通信手段に変更してもよい。
【符号の説明】
【００２９】
１      撮像装置（異物除去装置）
１１    撮像部
１２    信号処理部
１３    駆動部
１４    位置検出部
１５    制御部
１６    記憶部
２１    ズームレンズ
２２    絞り
２３    防振レンズ（手振れ補正機構）
２４    フォーカスレンズ
２５    撮像素子
３１    被写体
３２    遮蔽物
３３    制御方向
４１    光軸
４２    光軸Ａ
４３    光軸Ｂ
４４    視差画像Ａ
４５    視差画像Ｂ
４８    通常画像
４９    合成画像
【図１】
2017224878.tif 000003
【図２】
2017224878.tif 000004
【図３】
2017224878.tif 000005
【図４】
2017224878.tif 000006
【図５】
2017224878.tif 000007