(57)【要約】【課題】撮影目的である被写体の手前にその被写体の一部を隠す障害物が存在していても、その被写体に合焦して障害物を取り除いた鮮明な画像を容易に得ることができるようにする。【解決手段】撮像部６は、その撮像素子６ｄに映っている画像を基に撮影目的である被写体の手前の障害物に合焦してその障害物の画像部分の領域を検出した後に、この障害物の画像部分の領域以外の画像を基に撮影目的の被写体に合焦すると共に、そのときに撮像素子６ｄに映っている画像をキャプチャ画像として取り込み、キャプチャ画像を障害物の画像部分の領域を基に補間する。【選択図】  図１
2013153321.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子を備えた撮像手段と、
前記撮像素子に映っている画像を基に、より手前に位置する被写体を障害物として合焦する第１のフォーカス手段と、
前記第１のフォーカス手段により前記障害物に合焦されて前記撮像素子に映っている画像の中から前記障害物の画像部分の領域を検出する検出手段と、
前記検出手段により検出された前記障害物の画像部分の領域を除く画像を基に、より後側に位置する被写体を撮影目的の被写体として合焦する第２のフォーカス手段と、
前記第２のフォーカス手段により前記撮影目的の被写体に合焦した状態において前記撮像素子に映っている画像をキャプチャ画像として取り込むキャプチャ手段と、
前記キャプチャ手段により取り込んだキャプチャ画像を前記障害物の画像部分の領域を基に補間する処理を行う補間手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記検出手段は、前記障害物の画像部分の領域を、コントラストの高い部分によって検出する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記検出手段により検出された前記障害物の画像部分を削除する削除手段を更に備え、
前記第２のフォーカス手段は、前記削除手段により前記障害物が削除された後の画像を基に前記撮影目的の被写体に合焦する、
ようにしたことを特徴とする請求項１あるいは請求項２に記載の撮像装置。
【請求項４】
前記障害物は、略格子状に形成された障害物である、
ことを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
【請求項５】
前記第２のフォーカス手段により前記撮影目的の被写体に合焦した状態において前記撮像手段により撮影された画像のうち、前記障害物の画像部分の領域の周辺に位置している周辺画像を解析する解析手段を更に備え、
前記補間手段は、前記障害物の画像部分の領域及び前記解析手段による解析結果を基に補間する処理を行う、
ようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
【請求項６】
前記第１のフォーカス手段、前記検出手段、前記第２のフォーカス手段、前記キャプチャ手段、及び前記補間手段は、１回の撮影操作で動作する、
ようにしたことを特徴とする請求項１〜請求項５のいずれかに記載の撮像装置。
【請求項７】
前記撮像手段の移動によって撮影方向を変えながら複数回の連写による撮影操作が行われる毎に、前記第１のフォーカス手段、前記検出手段、前記第２のフォーカス手段、及び前記キャプチャ手段は、それぞれ動作し、
前記補間手段は、最後の撮影操作で動作し、前記複数回の連写によって取り込んだ前記キャプチャ画像を重ね合わせることにより前記障害物の画像部分の領域を基に補間する処理を行う、
ようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
【請求項８】
前記障害物の画像部分の領域を全て補間したか否かを判別する判別手段と、
前記判別手段により全て補間したと判別した場合に、補間完了を報知する報知手段と、
を更に備える、
ようにしたことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記第１のフォーカス手段は、前記撮像素子に映っている画像を基に近距離側からフォーカスすることで前記撮影目的の被写体より手前に位置する障害物に合焦する、
ようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
【請求項１０】
前記第２のフォーカス手段は、前記撮像素子に映っている画像を基に遠距離側からフォーカスすることで前記撮影目的の被写体に合焦する、
ようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
【請求項１１】
前記検出手段は、画素値が急峻に変化するエッジを検出することにより前記障害物の画像部分の領域を検出する、
ようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
【請求項１２】
前記補間手段は、前記キャプチャ手段により取り込んだキャプチャ画像を前記障害物の画像部分の領域を基に補間する場合に、前記障害物の画像部分の領域と相似形でそれよりも大きな領域を前記キャプチャ画像内の障害物に相当する領域部分として検出し、その検出領域内に対して補間処理を行う、
ようにしたことを特徴とする請求項１〜請求項１１のいずれかに記載の撮像装置。  
【請求項１３】
前記補間手段により補間された後の画像を記録する記録手段を更に備える、
ようにしたことを特徴とする請求項１〜請求項１２のいずれかに記載の撮像装置。  
【請求項１４】
撮像素子に映っている画像を基に、より手前に位置する被写体を障害物として合焦するステップと、
前記障害物に合焦されて前記撮像素子に映っている画像の中から前記障害物の画像部分の領域を検出するステップと、
前記検出された障害物の画像部分の領域を除く画像を基に、より後側に位置する被写体を撮影目的の被写体として合焦するステップと、
前記撮影目的の被写体に合焦した状態において前記撮像素子に映っている画像をキャプチャ画像として取り込むステップと、
前記取り込んだキャプチャ画像を、前記障害物の画像部分の領域を基に補間する処理を行うステップと、
を備えることを特徴とする撮像方法。
【請求項１５】
コンピュータに対して、
撮像素子に映っている画像を基に、より手前に位置する被写体を障害物として合焦する機能と、
前記障害物に合焦されて前記撮像素子に映っている画像の中から前記障害物の画像部分の領域を検出する機能と、
前記検出された障害物の画像部分の領域を除く画像を基に、より後側に位置する被写体を撮影目的の被写体として合焦する機能と、
前記撮影目的の被写体に合焦した状態において前記撮像素子に映っている画像をキャプチャ画像として取り込む機能と、
前記取り込んだキャプチャ画像を、前記障害物の画像部分の領域を基に補間する処理を行う機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影目的である被写体の手前にその被写体の一部を隠す障害物が存在しているような場合での撮影に適した撮像装置及び撮像方法並びにプログラムに関する。
【背景技術】
【０００２】
一般に、コントラストＡＦ（オートフォーカス）を採用しているデジタルカメラにおいては、撮像素子に映っている画像を基にフォーカスレンズを動かしながらコントラスト（色や明るさの差）が大きい点（ＡＦ評価値）が最大となる点を焦点位置として検出し、その位置にフォーカスを合わせるようにしているが、撮影目的である被写体（例えば、動物や人間など）が金網やネットなど（障害物）の奥に位置しているような場合には、その被写体よりも金網やネットのコントラストの方が高くなってしまうため、被写体の手前で誤合焦してしまうことがある。また、このような場合に撮影目的である被写体に合焦させることができたとしても金網やネットなどが被写体の前に写り込んでしまうため、被写体の一部が隠されたものとなり、画像全体が見づらいものとなってしまう。
そこで、従来においては、合焦範囲を制御することにより金網越しの被写体を撮影するような場合においても、所望する範囲の被写体に合焦させることを可能とした技術が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２０２０６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献の技術にあっては、金網（障害物）から目的の被写体に合焦させることは可能となるが、狭い合焦範囲内の被写体に合焦させることに限られてしまい、しかも被写体への合焦までに留まる技術であった。
【０００５】
本発明の課題は、撮影目的である被写体の手前にその被写体の一部を隠す障害物が存在していても、その被写体に合焦して障害物を取り除いた鮮明な画像を容易に得ることができるようにすることである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために本発明の一つの態様は、
撮像素子を備えた撮像手段と、
前記撮像素子に映っている画像を基に、より手前に位置する被写体を障害物として合焦する第１のフォーカス手段と、
前記第１のフォーカス手段により前記障害物に合焦されて前記撮像素子に映っている画像の中から前記障害物の画像部分の領域を検出する検出手段と、
前記検出手段により検出された前記障害物の画像部分の領域を除く画像を基に、より後ろ側に位置する被写体を撮影目的の被写体として合焦する第２のフォーカス手段と、
前記第２のフォーカス手段により前記撮影目的の被写体に合焦した状態において前記撮像素子に映っている画像をキャプチャ画像として取り込むキャプチャ手段と、
前記キャプチャ手段により取り込んだキャプチャ画像を前記障害物の画像部分の領域を基に補間する処理を行う補間手段と、
を備えることを特徴とする撮像装置である。
【０００７】
上述した課題を解決するために本発明の他の態様は、
撮像素子に映っている画像を基に、より手前に位置する被写体を障害物として合焦するステップと、
前記障害物に合焦されて前記撮像素子に映っている画像の中から前記障害物の画像部分の領域を検出するステップと、
前記検出された前記障害物の画像部分の領域を除く画像を基に、より後ろ側に位置する被写体を撮影目的の被写体として合焦するステップと、
前記撮影目的の被写体に合焦した状態において前記撮像素子に映っている画像をキャプチャ画像として取り込むステップと、
前記取り込んだキャプチャ画像を前記障害物の画像部分の領域を基に補間する処理を行うステップと、
を備えることを特徴とする撮像方法である。
【０００８】
更に、上述した課題を解決するために本発明の他の態様は、
コンピュータに対して、
撮像素子に映っている画像を基に、より手前に位置する被写体を障害物として合焦する機能と、
前記障害物に合焦されて前記撮像素子に映っている画像の中から前記障害物の画像部分の領域を検出する機能と、
前記検出された前記障害物の画像部分の領域を除く画像を基に、より後ろ側に位置する被写体を撮影目的の被写体として合焦する機能と、
前記撮影目的の被写体に合焦した状態において前記撮像素子に映っている画像をキャプチャ画像として取り込む機能と、
前記取り込んだキャプチャ画像を前記障害物の画像部分の領域を基に補間する処理を行う機能と、
を実現させるためのプログラムである。
【発明の効果】
【０００９】
本発明によれば、撮影目的である被写体の手前にその被写体の一部を隠す障害物が存在していても、その被写体に合焦して障害物を取り除いた鮮明な画像を容易に得ることができ、ユーザにあっては撮影困難な被写体であっても、それを鮮明に撮影することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置としてデジタルカメラの基本的な構成要素を示したブロック図。
【図２】金網／ネット撮影モードへの切り換えに応じて実行開始される動作を示したフローチャート。
【図３】近距離側（Ｎｅａｒ側）からコントラストＡＦ処理を開始させた場合の被写体距離とコントラスト値（ＡＦ評価値）との関係を示した図。
【図４】（１）は、動物園の檻の中の動物を撮影した画像（エッジ検出前の画像）を示した図、（２）は、エッジ検出を施した後の画像を示した図。
【図５】障害物の画像部分を削除した後の画像（加工画像）を基に遠距離側（Ｆａｒ側）からコントラストＡＦ処理を開始させた場合の被写体距離とコントラスト値（ＡＦ評価値）との関係を示した図。
【図６】第２実施形態において、金網／ネット撮影モードへの切り換えに応じて実行開始されるフローチャート。
【図７】ＡＦ処理後に被写体に合焦した画像を取得する処理（図６のステップＢ６）を詳述するためのフローチャート。
【図８】第２実施形態において、撮影者の移動と静止中の被写体との関係を示した図。
【図９】同一の被写体を複数の位置Ａ、Ｂ、Ｃでそれぞれ撮影した場合の各画像を例示すと共に、各画像を重ね合わせた状態を例示した図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１実施形態）
先ず、図１〜図５を参照して本発明の第１実施形態を説明する。
本実施形態は、撮像装置としてデジタルカメラ（コンパクトカメラ）に適用した場合で、図１は、そのデジタルカメラの基本的な構成要素を示したブロック図である。
このデジタルカメラは、コントラストＡＦ（オートフォーカス）機能を備えたコンパクトカメラで、制御部１を中核とする構成となっている。制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのデジタルカメラ（以下、カメラと略称する）の全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。
【００１２】
記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図２に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリＭ１と、このカメラが動作するために必要となる各種の情報（例えば、撮影された画像、フラグ、タイマなど）を一時的に記憶するワークメモリＭ２などを有する構成となっている。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続された状態においては所定の外部サーバ側の記憶領域を含むものであってもよい。
【００１３】
操作部４は、図示省略したが、撮影を指示する撮影操作（レリーズ操作）、露出などの撮影条件を設定する設定操作、撮影済み画像の再生を指示する再生操作などを行う押しボタン式の各種のキー（シャッタキー、設定キー、再生開始キーなど）を備えたもので、制御部１は、この操作部４からの入力操作信号に応じた処理として、例えば、撮影処理、撮影条件の設定、再生処理、データ入力処理などを行う。タッチ入力表示部５は、表示部及びタッチセンサ（図示省略）を有し、指などでのタッチ操作を感知してそのタッチ操作に応じたデータを入力するもので、撮影時にはライブビュー画像をモニタ表示するファインダ画面（モニタ画面）として機能する。
【００１４】
撮像部６は、光学レンズからの被写体画像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に静止画撮影することが可能なもので、静止画像のほかに動画像の撮影も可能な構成となっている。撮像部６は、ズームレンズ６ａ、フォーカスレンズ６ｂなどを備えたレンズ部６ｃからの被写体像が、図示省略した絞りやシャッタを介して撮像素子（ＣＣＤ又はＣＭＯＳ）６ｄに結像されることにより被写体を高精細に撮影可能なもので、各種センサのほかにアナログ処理部６ｅ、画像信号処理部６ｆなどを備えている。そして、撮像素子６ｄによる光電変換後の画像信号（アナログ値の信号）に対して、色分離やＲＧＢの色成分毎のゲイン調整などが行われた後に、デジタル値のデータに変換される。そして、デジタル変換された画像データは、色補間処理（デモザイク処理）が施されてタッチ入力表示部５に送られ、ライブビュー画像としてフルカラー表示される。
【００１５】
なお、本実施形態では、ＡＦ処理、ズーム処理、露出調整処理（ＡＥ処理）、オートホワイトバランス調整処理（ＡＷＢ）、収差補正処理、画像圧縮処理、画像復元処理なども実行可能となっている。撮像部６によって撮像された撮影画像は、その画像のサイズを縮小することによって圧縮（可逆圧縮）してファイル化する画像圧縮処理を施した後に、記憶部３に記録保存される。そして、本実施形態においては、撮像部６によって撮影する際にその被写体に適した各種の撮影モード、例えば、絞り優先モード、シャッタ速度優先モード、風景モード、夜景モード、後述する金網／ネット撮影モードなどの中から被写体に適した撮影モードを選択して撮影を行うようにしている。
【００１６】
金網／ネット撮影モードは、例えば、動物園などで檻の中の動物を撮像したり、野球場などでネット越しに被写体（選手）を撮像したりするような場合に、撮影目的の被写体（動物や選手など）の前に略格子状の金網やネットなど（障害物）が存在していても、撮影目的の被写体に合焦した鮮明な画像であってその障害物が存在していないと同等の画像を得ることが可能な撮影モードである。ここで、“障害物”とは、金網やネットのほかに檻や門扉の鉄格子などをも含み、被写体の一部（例えば、１／５程度）を隠すものである。言い換えれば、第１実施形態での障害物とは、障害物で隠されていない被写体の残りの部分によってその被写体の全体を推測することが可能な程度に被写体を隠すものを意味している。
【００１７】
そして、上述の金網／ネット撮影モードにおいては、コントラストＡＦを使用し、撮像素子６ｄに映っている画像を基にフォーカスレンズ６ｂを動かしながらコントラスト（色や明るさの差）が大きい点（ＡＦ評価値）が最大となる点を焦点位置として検出してフォーカスを合わせるようにしている。この場合、撮影目的の被写体は、金網やネットなど（障害物）の奥に位置しているために、その被写体よりも障害物のコントラストの方が高くなり、撮影目的である被写体の手前（障害物の位置）で合焦してしまうことになるが、第１実施形態では、撮像素子６ｄに映っている画像内から障害物の画像部分を削除してから障害物の画像部分の領域以外の画像を基に合焦を行うようにしている。これによって撮影目的の被写体にフォーカスを合わせるようにしている。そして、撮影目的の被写体にフォーカスを合わせた状態で撮像素子６ｄに映っている画像をキャプチャ画像として取り込み、そのキャプチャ画像を障害物の画像部分の領域を基に補間するようにしている。
【００１８】
このように、第１実施形態においては、その撮像素子６ｄに映っている画像を基に撮影目的の被写体の手前の障害物に合焦してその障害物の画像部分の領域を検出した後に、この障害物の画像部分の領域以外の画像を基に撮影目的の被写体に合焦すると共に、そのときに撮像素子６ｄに映っている画像をキャプチャ画像として取り込んで障害物の画像部分の領域を基に補間するようにしているが、このような一連の処理は、撮像部６が独自に行ってもよいが、制御部１と撮像部６とが共同して行うようにしてもよい。
【００１９】
次に、第１実施形態におけるカメラの動作概念を図２に示すフローチャートを参照して説明する。ここで、このフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図２は、カメラの全体動作のうち、第１実施形態の特徴部分の動作概要を示したフローチャートであり、この図２のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。
【００２０】
図２は、金網／ネット撮影モードへの切り換えに応じて実行開始される動作を示したフローチャートである。
撮影者は、動物園などで檻や金網の中の動物を撮像したり、野球場などでネット越しに被写体（選手）を撮像したりする場合には、撮影モードのメニュー画面の中から金網／ネット撮影モードを選択して撮影モードの切り換えを行った後に、撮影目的である被写体（動物や選手など）にカメラを向けて撮影範囲を決める。この状態において、制御部１は、撮像部６の撮像素子６ｄに映っている画像をタッチ入力表示部５にプレビュー画像として表示（ステップＡ１）させた後、レリーズ操作が行われたかを調べたり（ステップＡ２）、金網／ネット撮影モードでの撮影終了を指示する操作が行われたかを調べたり（ステップＡ３）、その他の操作が行われたかを調べたりする（ステップＡ４）。
【００２１】
ここで、その他の操作として、例えば、露出設定、ズーム設定などが行われたときには（ステップＡ４でＹＥＳ）、その操作に応じた処理として、露出設定、ズーム設定などの処理（ステップＡ５）を実行した後、上述のステップＡ１に戻る。また、金網／ネット撮影モードを解除して他の撮影モードに切り換える操作が行われたり、撮影モードから再生モードに切り換える操作が行われたりしたときには（ステップＡ３でＹＥＳ）、図２のフローから抜ける。
【００２２】
いま、金網／ネット撮影モードにおいてレリーズ操作が行われたときには（ステップＡ２でＹＥＳ）、近距離側（Ｎｅａｒ側）から１回目のコントラストＡＦ処理を開始する（ステップＡ６）。そして、近距離側からフォーカスレンズ６ｂを移動させながらコントラスト値（ＡＦ評価値）を算出する（ステップＡ７）。図３は、近距離側（Ｎｅａｒ側）からコントラストＡＦ処理を開始する場合の被写体距離とコントラスト値（ＡＦ評価値）との関係を示した図である。ここで、撮影目的の被写体の手前に金網やネットなどが存在しているような場合、その被写体よりも障害物のコントラストの方が高いために近距離側からのコントラストＡＦ処理を開始することは有効である。このようにＡＦ評価値の最大点は、金網やネットなどの（障害物）の位置となるので、その点を焦点位置とするためにフォーカスレンズ６ｂを移動させて、撮影目的である被写体より手前に位置する被写体を障害物として合焦し、フォーカスをその障害物の位置に合わせ込む（ステップＡ８）。
【００２３】
このようにして障害物の位置にフォーカスを合わせた状態において、撮像素子６ｄに映っている画像に対してエッジ検出を行い、画素値が急峻に変化するエッジ部分を障害物の画像部分の領域として検出し、例えば、この障害物の画像部分の領域（例えば、輪郭：アウトライン）を認識して、一時記憶しておく（ステップＡ９）。図４（１）は、動物園の檻の中の動物（虎）を撮影した画像（エッジ検出前の画像）を示した図で、この場合、撮影目的の虎よりも手前の障害物（檻や金網）にフォーカスが合わせられている。図４（２）は、図４（１）の画像に対してエッジ検出を施した後の画像を示した図で、障害物の輪郭が明確なものとなっている。このようにして障害物を検出した後は、画像処理技術を基にその障害物の画像部分を削除する（ステップＡ１０）。
【００２４】
上述のように障害物の画像部分の領域を削除した後の画像（加工された画像）、つまり、障害物の画像部分の領域以外の画像を基に２回目のコントラストＡＦ処理を開始する（ステップＡ１１）。そして、遠距離側（Ｆａｒ側）からフォーカスレンズ６ｂを移動させながらコントラスト値（ＡＦ評価値）を算出する（ステップＡ１２）。図５は、障害物の画像部分の領域を削除した後の画像（加工された画像）を基に遠距離側（Ｆａｒ側）からコントラストＡＦ処理を開始する場合の被写体距離とコントラスト値（ＡＦ評価値）との関係を示した遷移図である。ここで、障害物の画像部分の領域を削除した後の画像（加工された画像）は、撮影目的の被写体付近のみがコントラストが高くなるために、遠距離側からコントラストＡＦ処理を開始することは有効である。この場合、ＡＦ評価値の最大点は、撮影目的の被写体付近となるので、その点を焦点位置とするためにフォーカスレンズ６ｂを移動させて、障害物より後側に位置する被写体を撮影目的の被写体として合焦し、撮影目的の被写体にフォーカスを合わせ込む（ステップＡ１３）。
【００２５】
このように撮影目的の被写体にフォーカスを合わせた状態において撮像素子６ｄに映っている画像をキャプチャ画像として取り込み（ステップＡ１４）、このキャプチャ画像のうち、障害物の画像部分の領域の周辺に位置している周辺画像（形状、色、模様、明るさなど）を解析する（ステップＡ１５）。そして、障害物により隠されていた被写体の画像部分をその解析結果から推測し（ステップＡ１６）、障害物の画像部分の領域を推測結果で補間する（ステップＡ１７）。なお、このような補間機能は、画像処理技術では一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているが、第１実施形態の補間機能は、次のような点を特徴としている。
【００２６】
すなわち、一般に、手前の障害物に合焦している画像においては、この障害物の画像部分にはほぼ１００％障害物の画像情報しか存在しないため、この障害物の画像部分を除去したとしても、後ろにある撮影目的の被写体の画像部分を復元することは難しい。一方、後ろにある目的の被写体に合焦している画像においては、障害物の画像部分がボケて広がるため、この障害物の画像部分がボケて広がった領域内には、例えば、１０％が障害物の画像情報で残りの９０％が撮影目的の被写体の画像部分のように、撮影目的の被写体の画像情報と障害物の画像情報とが混ざり合った状態となる。この混ざり合った画像から、障害物の画像情報に対応する画像成分だけを除去することができれば、撮影目的の被写体の画像情報を復元することが可能になる。しかしながら、後ろにある撮影目的の被写体に合焦している画像においては、障害物の画像部分がボケて広がっているため、障害物の画像部分の領域やその画像部分の色情報を正確に特定することができないため、どの範囲でどの色の画像成分だけを除去したら良いかわからない。そこで、手前の障害物に合焦している画像から取得した障害物の画像部分の領域や障害物の画像部分の色情報などを基に、後ろにある目的の被写体に合焦している画像内の画像情報を復元するための画像処理の対象となる範囲と色成分などとを特定することで、より正確な画像復元（画像補間）を可能とすることができる。
【００２７】
そこで、第１実施形態においては、上述した１回目のコントラストＡＦ処理を行った後のエッジ検出によって、障害物の画像部分の領域（例えば、輪郭：アウトライン）が認識されて一時記憶されている状態において、この障害物の画像部分の領域を基準パターンとして読み出し、この基準パターンを基にキャプチャ画像内の障害物に相当する部分を探し出すようにしている。この場合、キャプチャ画像内の障害物に相当する部分は、同じパターンが連続する特異な形状であって基準パターンと相似形ではあるが、障害物の画像部分の領域はボケて広がっているために、基準パターンよりも一回り大きなものとなっている。このように特異な形状の基準パターンと相似形であること及び基準パターンよりも一回り大きいことを前提として、キャプチャ画像内において基準パターンの位置を合わせながら、色や明るさ模様の連続性などをも考慮して、キャプチャ画像内の障害物に相当する領域部分（例えば、輪郭：アウトライン）を特定するようにしている。そして、上述のようにして特定した部分に対して補間する処理を行い、その障害物が存在していない画像に加工するようにしている。
上述のような補間処理を行うと、その補間した画像を圧縮（可逆圧縮）してファイル化する画像圧縮処理を施した後、記憶部３に記録保存させる（ステップＡ１８）。その後、最初のステップＡ１に戻る。
【００２８】
以上のように、第１実施形態においては、撮像素子６ｄに映っている画像を基に、より手前の被写体を障害物としてその障害物に合焦した後、その障害物の画像部分の領域を除く画像を基に、より後方の被写体を撮影目的の被写体として、その被写体に合焦すると共に、そのときに撮像素子６ｄに映っている画像をキャプチャ画像として取り込み、このキャプチャ画像を障害物の画像部分の領域を基に補間するようにしたので、撮影目的である被写体の手前にその被写体の一部を隠す障害物が存在していても、その被写体に合焦して障害物を取り除いた鮮明な画像を容易に得ることができ、ユーザにあっては撮影困難な被写体であっても、それを鮮明に撮影することが可能となる。
【００２９】
障害物の画像部分の領域を、コントラストの高い部分によって検出するようにしたので、撮影目的の被写体の手前に金網やネットなどが存在しているような場合、その被写体よりも障害物のコントラストの方が高いために、障害物の画像部分の領域を容易に検出することが可能となる。
【００３０】
また、障害物の画像部分を削除してその削除後の画像を基に撮影目的の被写体に合焦するようにしたので、障害物が存在しない画像を基に撮影目的の被写体に合焦することができ、撮影目的への合焦が容易なものとなる。
【００３１】
障害物は、略格子状に形成された障害物であるので、例えば、檻や金網内の動物あるいはネット越しの野球選手などを撮影するのに適したものとなる。
【００３２】
補間処理を行う際に、障害物の画像部分の領域の周辺画像を解析した解析結果から障害物によって隠されていた被写体の画像部分を推測して補間するようにしたので、精度の高い補間を期待することが可能となる。この場合、障害物は、略格子状に形成された障害物であるので、例えば、障害物によって隠されている部分が下半分、右半分のような場合に比べて、その推測が容易なものとなる。
【００３３】
１回目のコントラストＡＦ処理、障害物の画像部分の領域を検出する処理、２回目のコントラストＡＦ処理、撮影目的の被写体に合焦した画像をキャプチャ画像として取り込む処理、障害物の画像部分の領域を補間する処理を１回の撮影操作で行うようにしたので、１回の撮影操作を行うだけで、撮影目的の被写体に合焦して障害物を含まない鮮明な画像を得ることができる。
【００３４】
１回目のコントラストＡＦ処理は、撮像素子６ｄに映っている画像を基に近距離側からフォーカスすることで撮影目的の被写体より手前に位置する障害物に合焦するようにしたので、障害物に効率良く合焦することができる。
【００３５】
２回目のコントラストＡＦ処理は、撮像素子６ｄに映っている画像を基に遠距離側からフォーカスすることで撮影目的の被写体に合焦するようにしたので、被写体に効率良く合焦することができる。
【００３６】
画素値が急峻に変化するエッジを検出することにより障害物の画像部分の領域を検出するようにしたので、障害物の輪郭を精度良く認識することができる。
【００３７】
キャプチャ画像を障害物の画像部分の領域を基に補間する場合に、障害物の画像部分の領域と相似形でそれよりも大きな領域をキャプチャ画像内の障害物に相当する領域部分として検出し、その検出領域内に対して補間処理を行うようにしたので、キャプチャ画像において障害物の画像部分がボケて広がっていても、その障害物に相当する領域を的確に特定することができ、補間処理が容易となる。
【００３８】
補間された後の画像を記録保存するようにしたので、撮影目的の被写体に合焦して障害物を含まない鮮明な画像を記録することができる。
【００３９】
なお、上述した第１実施形態においては、障害物に合焦している状態において撮像素子６ｄに映っている画像の中から障害物の画像部分の領域を検出してその部分を削除するようにしたが、障害物の画像部分の領域をマスク又は無視するようにしてもよい。
【００４０】
また、上述した第１実施形態においては、障害物の画像部分の領域の周辺画像を解析した解析結果から障害物によって隠されていた被写体の画像部分を推測して補間するようにしたが、更に被写体の種類は何であるかを画像認識により特定し、例えば、虎であれば、画像解析の結果と画像認識により特定した被写体の種類に基づいて補間処理を行うようにしてもよい。また、撮影目的の被写体に合焦した画像をキャプチャ画像として取り込んで障害物の画像部分の領域を補間する処理を行う場合に、障害物の画像部分の領域を削除して空白にしてから被写体の画像部分を埋め込むことにより補間を行うようにしてもよく、また、障害物の画像部分の領域に被写体の画像部分を上書きにより重ね合わせることにより補間を行うようにしてもよいなど、補間の方法は任意である。
また、上述した第１実施形態においては、ＡＦ処理としてコントラストＡＦを使用しているが、位相差ＡＦなど、他のＡＦ方法を使用してもよい。
【００４１】
（第２実施形態）
以下、この発明の第２実施形態について図６〜図９を参照して説明する。
なお、上述した第１実施形態においては、障害物の画像部分の領域の周辺画像を解析した結果から障害物によって隠されていた被写体の画像部分を推測して補間するようにしたが、この第２実施形態においては、被写体を撮影位置をずらしながら（視点を変えながら）、複数回の連写撮影を行うことで、１回目の撮影時には障害物により隠されていた被写体の部分を２回目以降の撮影で撮影することにより、障害物の画像部分の領域を補間するようにしたものである。なお、上述した第１実施形態において“障害物”とは、障害物で隠されていない被写体の残りの部分によってその被写体の全体を推測することが可能な程度に被写体を隠すものを意味したが、この第２実施形態においては、第１実施形態よりも被写体を更に大きく隠すようなものであつてもよい。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。
【００４２】
図６は、第２実施形態において、金網／ネット撮影モードへの切り換えに応じて実行開始されるフローチャートである。なお、図６のステップＢ１〜Ｂ５は、図２のステップＡ１〜Ａ５に対応する処理であり、ステップＢ６（ステップＢ６１〜６９）は、図２のステップＡ６〜Ａ１４に対応する処理である。
先ず、制御部１は、撮像素子６ｄに映っている画像をプレビュー表示（ステップＢ１）させた後、レリーズ操作が行われたかを調べたり（ステップＢ２）、金網／ネット影モードでの撮影終了を指示する操作が行われたかを調べたり（ステップＢ３）、その他の操作が行われたかを調べたりする（ステップＢ４）。
【００４３】
いま、その他の操作が行われたときには（ステップＢ４でＹＥＳ）、その操作に応じた処理（ステップＢ５）を実行した後、上述のステップＢ１に戻る。また、金網／ネット影モードでの撮影終了が指示されたときには（ステップＢ３でＹＥＳ）、図６のフローから抜ける。また、金網／ネット撮影モードにおいてレリーズ操作が行われたときには（ステップＢ２でＹＥＳ）、コントラストＡＦ処理後に被写体に合焦した画像を取得する処理に移る（ステップＢ６）。
【００４４】
図７は、コントラストＡＦ処理後に被写体に合焦した画像を取得する処理（図６のステップＢ６）を詳述するためのフローチャートである。
先ず、近距離側（Ｎｅａｒ側）から１回目のコントラストＡＦ処理を開始する（ステップＢ６１）。そして、近距離側からフォーカスレンズ６ｂを移動させながらコントラスト値（ＡＦ評価値）を算出して（ステップＢ６２）、金網やネットなど（障害物）の位置にフォーカスを合わせ込む（ステップＢ６３）。この状態において撮像素子６ｄに映っている画像に対してエッジ検出（ステップＢ６４）を行った後、画像処理技術を基にその障害物の画像部分を削除する（ステップＢ６５）。そして、削除後の画像（加工画像）を基に２回目のコントラストＡＦ処理を開始（ステップＢ６６）して、遠距離側からＡＦ評価値を算出し（ステップＢ６７）、撮影目的の被写体の位置にフォーカスを合わせ込み（ステップＢ６８）、そのときの画像をキャプチャ画像として取り込む（ステップＢ６９）。
【００４５】
このようにしてＡＦ処理後に被写体に合焦した画像を取得する処理（ステップＢ６）が終わると、連写操作（レリーズ操作）が行われるまで待機状態となる（ステップＢ７）。ここで、２回目のレリーズ操作が行われると（ステップＢ７でＹＥＳ）、ＡＦ処理後に被写体に合焦した画像を取得する処理（ステップＢ８）に移り、図７のフローチャートにしたがって上述の動作を再度実行する。これによって１回目のＡＦ処理で障害物にフォーカスを合わせ込んで障害物の画像部分を削除した後、２回目のＡＦ処理で撮影目的の被写体にフォーカスを合わせ込み、そのときの画像をキャプチャ画像として取り込む。
【００４６】
そして、上述の１回目の撮影時に取り込んだ画像に２回目の撮影時に取り込んだ画像を重ね合わせる（ステップＢ９）。図８は、撮影位置を３回変更して同一の被写体をその位置毎にそれぞれ撮影する場合を例示したもので、撮影者の移動方向（図中、矢印の方向）と静止中の被写体との関係を示している。この場合、１回目の撮影では、被写体に向かって右斜め４５°方向の位置Ａで行い、その後、撮影者は被写体に正対する位置Ｂまで移動して２回目の撮影を行い、更に、図示の例では、３回目の撮影として被写体に向かって左斜め４５°方向の位置Ｃで行う場合を示している。なお、図８の例では、撮影を３回行う場合を例示したが、撮影回数は２回あるいは４回以上であってもよい。
【００４７】
このように同一の被写体を撮影する方向（撮影位置）をずらしながら、つまり、視点を変えながら複数回撮影を行うことにより、その被写体の前に障害物が存在していても、被写体に対して障害物の位置が相対的に変化するために、ある方向では障害物によって遮られて見えなかった被写体の部分が他の方向では見えるようになる。例えば、位置Ａでの１回目の撮影では見えなかった被写体の部分が位置Ｂの２回目の撮影で見えるようになり、逆に１回目の撮影で見えていた被写体の部分が２回目の撮影で見えなくなる。このため被写体に対して右斜め４５°方向の位置Ａから撮影した１回目の画像と正面Ｂから撮影した２回目の画像とを重ね合わせることにより、障害物によって被写体か隠されている部分は、全く無くなって全体が見えるようになるか、かなり少なくなる。
【００４８】
ここで、各方向から撮影した複数の画像を重ね合わせる際に、画像処理技術により被写体の位置を特定し、被写体の継ぎ目が合うように各画像を重ね合わせるようにしている。そして、重ね合わせた画像を基に被写体の輪郭を検出すると共に、撮影した各画像から被写体の画像部分をそれぞれ検出して被写体検出情報として取得し（ステップＢ１０）、この被写体検出情報に基づいて障害物の画像部分の領域を補間する（ステップＢ１１）。その結果、障害物の画像部分の領域を全て補間したか（補間を完成したか）を調べ（ステップＢ１２）、補間が完成していなければ（ステップＢ１２でＮＯ）、連写回数は限度値（例えば、３回）を超えたかを調べる（ステップＢ１５）。いま、２回目の連写操作（レリーズ操作）であるため（ステップＢ１５でＮＯ）、次の連写操作が行われるまで待機状態となる（ステップＢ７）。
【００４９】
これによって３回目の連写操作が行われると（ステップＢ７でＹＥＳ）、上述と同様の動作が行われる（ステップＢ７〜Ｂ１１）。図９は、図８の例のように複数の位置Ａ、Ｂ、Ｃで撮影した各画像を示すと共に、各画像を重ね合わせた状態を示した図である。このように３方向から撮影を行って各画像を重ね合わせることによって補間を完成することができたときには（ステップＢ１２でＹＥＳ）、その旨を撮影者に報知させるためにブザー（図示省略）を駆動して報知音を発生させる（ステップＢ１３）。そして、補間した画像を圧縮（可逆圧縮）してファイル化する画像圧縮処理を施した後、記憶部３に記録保存させる（ステップＢ１４）。その後、最初のステップＢ１に戻る。
【００５０】
また、連写回数の限度値（例えば、３回）を超えても補間を完成することができなかったときには（ステップＢ１５でＹＥＳ）、上述した第１実施形態と同様に、補間することができなかった残りの部分の周辺画像を解析し、その解析結果に基づいてその部分を推測して補間する処理を行う（ステップＢ１６）。そして、補間完了の報知音を発生させると共に（ステップＢ１３）、補間した画像を圧縮処理して記憶部３に記録保存（ステップＢ１４）させた後、最初のステップＢ１に戻る。
【００５１】
以上のように、第２実施形態においては、カメラを移動することによって撮影方向を変えながら複数回の連写操作が行われる毎に、１回目のコントラストＡＦ処理、障害物の画像部分の領域を検出する処理、２回目のコントラストＡＦ処理、及び撮影目的の被写体に合焦した画像をキャプチャ画像として取り込む処理を行い、最後の撮影操作で障害物の画像部分の領域を補間する処理を行うが、その際、複数回の連写によって取得したキャプチャ画像を重ね合わせることにより障害物の画像部分の領域を、補間するようにしたので、撮影方向を変えながら複数回の連写撮影を行うだけで、実際に撮影した画像部分を使用して補間することができ、障害物が存在していない場合の画像と同等の画像を得ることができる。
【００５２】
障害物の画像部分の領域を全て補間することができた場合に、補間完了を報知するようにしたので、補間完了を撮影者に知らせることができるようになるために、例えば、２回の連写で足りる場合にはその時点で撮影をストップすることができ、２回の連写で足りなければ、３回目の連写を行えばよいことになる。
【００５３】
なお、上述した各実施形態においては、ズーム動作については言及しなかったが、ズーム動作を行った場合には、ズームレンズ位置とフォーカスレンズ位置とを対応付けて記憶するフォーカステーブルの内容が変化するようになるためにコントラストＡＦ処理の開始位置をズーム動作に応じて適宜変更するようにすればよい。
【００５４】
また、上述した各実施形態においては、デジタルカメラ（コンパクトカメラ）に適用した場合を示したが、それに限らず、一眼レフカメラ・カメラ機能付きパーソナルコンピュータ・ＰＤＡ（個人向け携帯型情報通信機器）・スマートフォン・その他の携帯電話機・タブレット端末装置・音楽プレイヤーなどであってもよい。
【００５５】
また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【００５６】
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
撮像素子を備えた撮像手段と、
前記撮像素子に映っている画像を基に、より手前に位置する被写体を障害物として合焦する第１のフォーカス手段と、
前記第１のフォーカス手段により前記障害物に合焦されて前記撮像素子に映っている画像の中から前記障害物の画像部分の領域を検出する検出手段と、
前記検出手段により検出された前記障害物の画像部分の領域を除く画像を基に、より後側に位置する被写体を撮影目的の被写体として合焦する第２のフォーカス手段と、
前記第２のフォーカス手段により前記撮影目的の被写体に合焦した状態において前記撮像素子に映っている画像をキャプチャ画像として取り込むキャプチャ手段と、
前記キャプチャ手段により取り込んだキャプチャ画像を前記障害物の画像部分の領域を基に補間する処理を行う補間手段と、
を備えることを特徴とする撮像装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記検出手段は、前記障害物の画像部分の領域を、コントラストの高い部分によって検出する、
ようにしたことを特徴とする撮像装置である。
（請求項３）
請求項３に記載の発明は、請求項１あるいは請求項２に記載の撮像装置において、
前記検出手段により検出された前記障害物の画像部分の領域を削除する削除手段を更に備え、
前記第２のフォーカス手段は、前記削除手段により前記障害物が削除された後の画像を基に前記撮影目的の被写体に合焦する、
ようにしたことを特徴とする撮像装置である。
（請求項４）
請求項４に記載の発明は、請求項１〜請求項３のいずれかに記載の撮像装置において、
前記障害物は、略格子状に形成された障害物である、
ことを特徴とする撮像装置である。
（請求項５）
請求項５に記載の発明は、請求項１〜請求項４のいずれかに記載の撮像装置において、
前記第２のフォーカス手段により前記撮影目的の被写体に合焦した状態において前記撮像手段により撮影された画像のうち、前記障害物の画像部分の領域の周辺に位置している周辺画像を解析する解析手段を更に備え、
前記補間手段は、前記障害物の画像部分の領域及び前記解析手段による解析結果を基に補間する処理を行う、
ようにしたことを特徴とする撮像装置である。
（請求項６）
請求項６に記載の発明は、請求項１〜請求項５のいずれかに記載の撮像装置において、
前記第１のフォーカス手段、前記検出手段、前記第２のフォーカス手段、前記キャプチャ手段、及び前記補間手段は、１回の撮影操作で動作する、
ようにしたことを特徴とする撮像装置である。
（請求項７）
請求項７に記載の発明は、請求項１〜請求項４のいずれかに記載の撮像装置において、
前記撮像手段の移動によって撮影方向を変えながら複数回の連写による撮影操作が行われる毎に、前記第１のフォーカス手段、前記検出手段、前記第２のフォーカス手段、及び前記キャプチャ手段は、それぞれ動作し、
前記補間手段は、最後の撮影操作で動作し、前記複数回の連写によって取り込んだ前記キャプチャ画像を重ね合わせることにより前記障害物の画像部分の領域を、前記障害物の画像部分の領域を基に補間する処理を行う、
ようにしたことを特徴とする撮像装置である。
（請求項８）
請求項８に記載の発明は、請求項７に記載の撮像装置において、
前記障害物の画像部分の領域を全て補間したか否かを判別する判別手段と、
前記判別手段により全て補間したと判別した場合に、補間完了を報知する報知手段と、
を更に備える、
ようにしたことを特徴とする撮像装置である。
（請求項９）
請求項９に記載の発明は、請求項１〜請求項４のいずれかに記載の撮像装置において、
前記第１のフォーカス手段は、前記撮像素子に映っている画像を基に近距離側からフォーカスすることで前記撮影目的の被写体より手前に位置する障害物に合焦する、
ようにしたことを特徴とする撮像装置である。
（請求項１０）
請求項１０に記載の発明は、請求項１〜請求項４のいずれかに記載の撮像装置において、
前記第２のフォーカス手段は、前記撮像素子に映っている画像を基に遠距離側からフォーカスすることで前記撮影目的の被写体に合焦する、
ようにしたことを特徴とする撮像装置である。
（請求項１１）
請求項１１に記載の発明は、請求項１〜請求項４のいずれかに記載の撮像装置において、
前記検出手段は、画素値が急峻に変化するエッジを検出することにより前記障害物の画像部分の領域を検出する、
ようにしたことを特徴とする撮像装置である。
（請求項１２）
請求項１２に記載の発明は、請求項１〜請求項１１のいずれかに記載の撮像装置において、
前記補間手段は、前記キャプチャ手段により取り込んだキャプチャ画像を前記障害物の画像部分の領域を基に補間する場合に、前記障害物の画像部分の領域と相似形でそれよりも大きな領域を前記キャプチャ画像内の障害物に相当する領域部分として検出し、その検出領域内に対して補間処理を行う、
ようにしたことを特徴とする撮像装置。
（請求項１３）
請求項１３に記載の発明は、請求項１〜請求項１２のいずれかに記載の撮像装置において、
前記補間手段により補間された後の画像を記録する記録手段を更に備える、
ようにしたことを特徴とする撮像装置である。
（請求項１４）
請求項１４に記載の発明は、
撮像素子に映っている画像を基に、より手前に位置する被写体を障害物として合焦するステップと、
前記障害物に合焦されて前記撮像素子に映っている画像の中から前記障害物の画像部分の領域を検出するステップと、
前記検出された前記障害物の画像部分の領域を除く画像を基に、より後ろ側に位置する被写体を撮影目的の被写体として合焦するステップと、
前記撮影目的の被写体に合焦した状態において前記撮像素子に映っている画像をキャプチャ画像として取り込むステップと、
前記取り込んだキャプチャ画像を前記障害物の画像部分の領域を基に補間する処理を行うステップと、
を備えることを特徴とする撮像方法である。
（請求項１５）
請求項１５に記載の発明は、
コンピュータに対して、
撮像素子に映っている画像を基に、より手前に位置する被写体を障害物として合焦する機能と、
前記障害物に合焦されて前記撮像素子に映っている画像の中から前記障害物の画像部分の領域を検出する機能と、
前記検出された前記障害物の画像部分の領域を除く画像を基に、より後ろ側に位置する被写体を撮影目的の被写体として合焦する機能と、
前記撮影目的の被写体に合焦した状態において前記撮像素子に映っている画像をキャプチャ画像として取り込む機能と、
前記取り込んだキャプチャ画像を前記障害物の画像部分の領域を基に補間する処理を行う機能と、
を実現させるためのプログラムである。
【符号の説明】
【００５７】
１  制御部
３  記憶部
６  撮像部
６ａ  ズームレンズ
６ｂ  フォーカスレンズ
６ｃ  レンズ部
６ｄ  撮像素子
６ｅ  アナログ処理部
６ｆ  画像信号処理部
Ｍ１  プログラムメモリ
【図１】
2013153321.tif 000003
【図２】
2013153321.tif 000004
【図３】
2013153321.tif 000005
【図４】
2013153321.tif 000006
【図５】
2013153321.tif 000007
【図６】
2013153321.tif 000008
【図７】
2013153321.tif 000009
【図８】
2013153321.tif 000010
【図９】
2013153321.tif 000011