(57)【要約】      （修正有）【課題】遮蔽物を除去した画像がライブビュー表示される際に、ライブビューから遮蔽物を確認できるようにする。【解決手段】撮像装置は、遮蔽物までの距離が所定値以上の場合に、遮蔽物を除去した画像を表示画像データとして表示し、遮蔽物までの距離が所定値より小さい場合に、遮蔽物を視認できるような表示画像データを生成するなど、衝突防止処理を実行する。【選択図】図１１
2015005925.tif 000002
【特許請求の範囲】
【請求項１】
前景物に部分的に遮蔽された背景物を撮像して画像データを取得する撮像手段と、
前記画像データから前記前景物を除去し、前景物除去画像データを生成する除去手段と、
前記撮像手段から前記前景物までの距離を取得する距離取得手段と、
前記距離に基づいて、前記画像データと前記前景物除去画像データとの少なくともいずれかから表示画像データを生成して表示する表示手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記表示手段は、前記距離が所定値以上の場合に、前記前景物除去画像データを前記表示画像データとして表示し、前記距離が所定値より小さい場合に、前記画像データと前記前景物除去画像データとから前記前景物が透過するように前記表示画像データを生成して表示することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記距離が小さいほど前記前景物の透過率が小さくなるように設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記表示手段は、前記距離が所定値以上の場合に、前記前景物除去画像データを前記表示画像データとして表示し、前記距離が所定値より小さい場合に、前記前景物を含む前記画像データを前記表示画像データとして表示することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記表示手段は、前記前景物除去画像データに前記距離に関する情報を重畳することで前記表示画像データを生成して表示することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記距離が所定値以下の場合に、ユーザーに警告する警告手段をさらに有することを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
前記距離が所定値以下の場合に、前記撮像手段の撮像光学系を繰り込み方向へ移動させる制御手段をさらに有することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
前記制御手段は、前記撮像光学系が繰り込まれた状態で、前記距離が所定値より大きくなる場合に、前記撮像光学系を繰り出し方向へ移動させることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記制御手段は、前記撮像光学系が繰り込まれた状態で、所定の時間が経過したと判定された際に、前記撮像光学系を繰り出し方向へ移動させることを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記制御手段は、ユーザー指示により定まる基準状態を記憶し、前記撮像光学系を繰り出し方向に移動させる際に、前記基準状態を再現することを特徴とする請求項８または９に記載の画像処理装置。
【請求項１１】
前記撮像手段は、連続して撮像を行い、
前記表示手段は、ライブビュー表示を行うことを特徴とする請求項１から１０のいずれかに記載の画像処理装置。
【請求項１２】
前記除去手段は、前記撮像手段が前記画像データより前に取得した視点の異なる過去画像データを、前記画像データと同じ視点となるように座標変換して参照画像データを生成し、前記参照画像データと前記画像データとに基づいて前記前景物除去画像データを生成することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前景物に部分的に遮蔽された背景物を撮像して画像データを取得する撮像ステップと、
前記画像データから前記前景物を除去し、前景物除去画像データを生成する除去ステップと、
撮像手段から前記前景物までの距離を取得する距離取得ステップと、
前記取得した距離に基づいて、前記画像データと前記前景物除去画像データの少なくともいずれかから表示画像データを生成して表示する表示ステップと
を含むことを特徴とする画像処理方法。
【請求項１４】
コンピュータを請求項１から１２のいずれかに記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像から特定のオブジェクトを除去した画像を表示する画像処理装置及びその方法に関する。
【背景技術】
【０００２】
現在、手持ちカメラで撮像した映像中に含まれる特定の障害物を画像処理により除去するために様々な試みが行われている。例えば、平面構造で構成されているビルなどの被写体がその被写体よりも前景にある電柱などの障害物に遮蔽されている映像から、障害物を除去する方法が知られている（特許文献１を参照）。特許文献１では、映像中に含まれる代表的な平面構造の位置が合うように映像中の各フレームを射影変換によって変換する。そして、時空間フィルタを用いることにより映像中の前景物を除去する。
【０００３】
もう１つの方法として、視点の異なる画像間に前景物と背景物の視差の大きさの違いを利用して障害物を除去する方法も知られている（特許文献２を参照）。特許文献２では、視点Ａの画像データの前景物領域と視点Ｂの画像データの前景物領域との間の視差が背景物領域より大きいことを利用して視点Ａの画像データ中の前景物領域を認識する。そして、視点Ａの画像データ中の前景物領域を視点Ｂの画像データを用いて補正することにより、視点Ａの画像データから前景物（障害物）を除去する。また、特許文献２には、障害物の除去に適した視点の異なる撮像画像を得るために、撮像時の表示画面上の画像表示方法が記載されている。すなわち、異なる視点で撮像された複数の撮像画像を重ね合わせてライブビューに表示する。これにより、撮像者は十分な視差が得られているかを撮像時に確認することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１１８４９５号公報
【特許文献２】特開２０１０−４１５８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮像現場においては、例えば前景物であるフェンス越しに背景物である物体を撮像する場面が想定される。しかしながら、特許文献１の技術も特許文献２の技術も、実際に撮像現場での使用態様を考慮した技術ではない。
【０００６】
例えば、特許文献１のように前景物を除去した映像を表示した場合、表示画面上で前景物が確認できない。このため、前景物を除去した結果画像をライブビュー表示する場合に前景物までの距離が分からず、前景物に衝突してしまう恐れがあった。一方、特許文献２のように撮像画像を重ね合わせてライブビュー表示する場合は、前景物が半透明になって表示されるため前景物の距離は分かるものの、前景物を除去した結果をライブビュー表示で確認できない。このように、撮像現場において、表示画面上での前景物の確認と、表示画面上での前景物の除去した結果の確認とを適切にユーザーに提示する手法が存在しなかった。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、前景物に部分的に遮蔽された背景物を撮像して画像データを取得する撮像手段と、前記画像データから前記前景物を除去し、前景物除去画像データを生成する除去手段と、前記撮像手段から前記前景物までの距離を取得する距離取得手段と、前記距離に基づいて、前記画像データと前記前景物除去画像データとの少なくともいずれかから表示画像データを生成して表示する表示手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明は、撮像画像から特定の障害物を除去した画像を生成する画像処理装置において、撮像中に障害物を除去した画像を撮像者に提示するとともに、遮蔽物に衝突しないよう報知することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態１に係る画像処理装置の外観を示す図である。
【図２】本発明の実施形態１に係る画像処理装置の内部構成を示す図である。
【図３】本発明の実施形態１に係る画像処理部の構成を示すブロック図である。
【図４】本発明の実施形態１に係る処理の流れを示すフローチャートである。
【図５】本発明の実施形態１に係る撮像装置、遮蔽物、被写体の配置を示す図である。
【図６】本発明の実施形態１に係る遮蔽物除去処理の流れを表すフローチャートである。
【図７】本発明の実施形態１に係る座標変換画像データの例を表す図である。
【図８】本発明の実施形態１に係る遮蔽物除去画像データの例を表す図である。
【図９】本発明の実施形態１に係る表示画像生成処理の流れを表すフローチャートである。
【図１０】本発明の実施形態１に係る距離と透過率の関係を示す図。
【図１１】本発明の実施形態１に係るライブビュー表示の例を示す図である。
【図１２】本発明の実施形態１に係る複数の撮像手段を持つ撮像装置の例を示す図である。
【図１３】本発明の実施形態２に係る表示画像生成処理の流れを示すフローチャートである。
【図１４】本発明の実施形態２に係るライブビュー表示の例を示す図である。
【図１５】本発明の実施形態３に係る撮像装置の例を示す例である。
【図１６】本発明の実施形態３に係る光学部の制御方法の流れを示すフローチャートである。
【図１７】本発明の実施形態３に係る光学系制御処理の例を示す図である。
【図１８】本発明の実施形態４に係る光学系制御処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
［実施形態１］
＜撮像装置の外観＞
図１は本実施形態に係る撮像装置の外観を示す図であり、図１（ａ）は正面、図１（ｂ）は背面の外観を示している。撮像装置１０１は、光学部１０２、撮像ボタン１０３、ストロボ１０４、距離画像取得部１０５、表示部１０６、および操作ボタン１０７を含む。
【００１１】
光学部１０２はズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、およびシャッターによって構成される鏡筒であり、被写体の光情報を集光する。撮像ボタン１０３は、ユーザーが撮像の開始を撮像装置１０１に指示するためのボタンである。ストロボ１０４は、ユーザー指示に従い撮像の開始に合わせて発光させることができる。距離画像取得部１０５は、撮像指示に応じて被写体の距離画像データを取得する。
【００１２】
表示部１０６は、液晶ディスプレイなどが用いられており、撮像装置１０１にて処理された画像データや他の各種データなどを表示する。本実施形態では光学ファインダを設けていないので、フレーミング操作（ピントや構図の確認）は、表示部１０６を用いて行う。表示部１０６でライブビュー画像を確認しながら撮像を行うので、このフレーミングやフォーカシングの操作を行っている間は、表示部１０６は電子ファインダとして機能すると言える。表示部１０６には、撮像範囲をリアルタイムに表示するライブビュー表示を行う他、カメラ設定メニューを表示する。
【００１３】
操作ボタン１０７は、撮像条件のパラメータや撮像モードなどをユーザーが撮像装置１０１に指示するためのボタンである。本実施形態では撮像モードの一つとして遮蔽物除去モードを含む。ユーザーは操作ボタン１０７、あるいは撮像ボタン１０３を用いて遮蔽物除去モードの開始、遮蔽物除去モードの終了、遮蔽物除去画像データの出力を指示することができるものとする。なお、表示部１０６はタッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザー指示を操作ボタン１０７の入力として扱うことも可能である。
【００１４】
＜撮像装置の内部構成＞
図２は本実施形態における撮像装置１０１の内部構成を示すブロック図である。
【００１５】
ＣＰＵ２０２は、各構成の処理すべてに関わり、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０３や、ＲＡＭ（Ｒｏｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０４に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。システムバス２１２はデータを送受信するためのバスである。
【００１６】
制御部２０６は、撮像ボタン１０３や操作ボタン１０７からのユーザー指示によって、撮像動作の開始及び終了などの制御を行う。また、本実施形態において制御部２０６は、ユーザー指示に応じてＳＷ１およびＳＷ２を制御する。具体的には、遮蔽物除去モードの開始を指示された場合はＳＷ１をＯＮに、遮蔽物除去モードの終了を指示された場合はＳＷ１をＯＦＦに、遮蔽物除去画像の出力を指示された場合はＳＷ２をＯＮにする。実際にはＳＷ１及びＳＷ２はそれぞれＲＡＭ２０４内のビット信号であり、ビットが０の状態をＯＦＦ、ビットが１の状態をＯＮとし、制御部２０６はこれらビットの状態を切り替える。
【００１７】
光学系制御部２０５は光学部１０２に対して、フォーカスを合わせる、シャッターを開く、絞りを調整するなどのＣＰＵ２０２から指示された制御を行う。
【００１８】
カラー撮像素子部２０１は、光学部１０２にて集光された光情報を電流値へと変換する素子であり、カラーフィルタなどと組み合わせることで色情報を取得する。
【００１９】
距離画像取得部１０５は、赤外光を発光する赤外発光部と、被写体に反射した赤外光を受光する受光部とを含み、発光した赤外光が被写体に反射し受光するまでの時間を基に撮像装置から被写体までの距離を算出し、距離画像データとして取得する。
【００２０】
Ａ／Ｄ変換部２０８は、光学部１０２にて検知した被写体の光量をデジタル信号値に変換しＲＡＷ画像データとする。なお、本実施形態では同時刻に撮像した距離画像データとＲＡＷ画像データが取得可能であるとする。
【００２１】
画像処理部２０９は上記のＲＡＷ画像データに対して現像処理を行い、カラー画像データを生成する。また、画像処理部２０９はカラー画像データや距離画像データを基に、遮蔽物除去処理（前景物除去処理）を含む各種画像処理を行って、遮蔽物除去画像データ（前景物除去画像データ）を生成する。画像処理部２０９の内部構造は後に詳述する。
【００２２】
また、キャラクタージェネレーション部２０７は文字やグラフィックなどを生成する。ここで生成された文字やグラフィックは、画像処理部２０９によって生成された遮蔽物除去画像データと重畳して表示部１０６に表示される。
【００２３】
エンコーダ部２１０は、画像処理部２０９にて処理したカラー画像データや遮蔽物除去処理によって生成される遮蔽物除去画像データを含む各種画像データをＪｐｅｇなどのファイルフォーマットに変換処理を行う。
【００２４】
メディアＩ／Ｆ２１１は、ＰＣ／メディア２１３（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカードなど）に画像データを送受信するためのインタフェースである。
【００２５】
＜画像処理部の内部構成＞
図３は本実施形態における画像処理部２０９の内部構成を示すブロック図である。
【００２６】
現像処理部３０１は、Ａ／Ｄ変換部２０８から取得したＲＡＷ画像データに対してホワイトバランス処理、デモザイク処理、ノイズリダクション処理、色変換処理、エッジ強調処理およびガンマ処理等を施し、カラー画像データを生成する。生成したカラー画像データはＲＡＭ２０４、ＰＣ／メディア２１３などの記憶装置に記憶する。
【００２７】
遮蔽物除去処理部３０２は、現像処理部３０１で生成された複数のカラー画像データを基に被写体中に含まれる遮蔽物の除去を行い、遮蔽物除去画像データを生成する。生成した遮蔽物除去画像データはＲＡＭ２０４やＰＣ／メディア２１３などの記憶装置に出力して記憶したり、表示部１０６へ出力して表示したりすることができる。
【００２８】
表示画像生成部３０３は、距離画像取得部１０５から取得した距離画像データ、カラー画像データおよび遮蔽物除去画像データを基に表示画像データを生成する。生成した表示画像データは表示部１０６へ出力する。
【００２９】
＜画像処理部の処理フロー＞
図４は本実施形態の画像処理装置における画像処理部２０９の動作手順を示すフローチャートである。まず、連続して撮像された撮像位置の異なる複数のカラー画像データを基に遮蔽物除去画像データを生成する。そして、距離画像データに基づきカラー画像データと遮蔽物除去画像データから表示画像データを生成し表示部１０６へ出力することでライブビュー表示を行う。この際、撮像装置が遮蔽物から離れている場合は遮蔽物を除去した画像から表示画像データを生成し、撮像装置が遮蔽物に近づいた場合は遮蔽物を視認できるような表示画像データを生成する。以下、処理の詳細について述べる。
【００３０】
ステップＳ４０１において、現像処理部３０１がＡ／Ｄ変換部２０８から取得したＲＡＷ画像データを基にカラー画像データを生成する。ここで時刻ｔに撮像したカラー画像データをＩ（ｔ）とする。生成したカラー画像データはＲＡＭ２０４、ＰＣ／メディア２１３などの記憶装置に記憶する。なお、記憶装置にはＩ（ｔ）よりも前に生成したＮ枚のカラー画像データＩ（ｔ−１）〜Ｉ（ｔ−Ｎ）も格納されているものとする。
【００３１】
ステップＳ４０２において、表示画像生成部３０３が距離画像取得部１０５から距離画像データを取得する。ここで時刻ｔに撮像した距離画像データをＬ（ｔ）とする。図５にカラー画像データと距離画像データの例を示す。本実施形態では、撮像装置から被写体までの距離をｄ１、撮像装置から遮蔽物までの距離をｄ２とし、距離画像データの各画素は画素値として撮像装置から被写体や遮蔽物など各オブジェクトまでの距離値を格納しているものとする。
【００３２】
ステップＳ４０３において、遮蔽物除去処理部３０２が複数のカラー画像データを基に遮蔽物除去処理を行い遮蔽物除去画像データを生成する。ここで、ＳＷ１の状態がＯＮとされている。遮蔽物除去処理の詳細は後に詳述する。
【００３３】
ステップＳ４０４において、遮蔽物除去処理部３０２がＳＷ２の状態に基づき遮蔽物除去画像データを出力するか否かの判定を行う。ＳＷ２がＯＦＦの場合はステップＳ４０５に進み、ＳＷ２がＯＮの場合はＳＷ２をＯＦＦにした上でステップＳ４０７へ進む。なお、ＳＷ２はユーザーが遮蔽物除去画像の出力を指示した場合にＯＮになる。
【００３４】
ステップＳ４０５において、表示画像生成部３０３が距離画像データに基づきカラー画像データと遮蔽物除去画像データから表示画像データを生成する。表示画像生成処理の詳細は後に詳述する。
【００３５】
ステップＳ４０６において、表示画像生成部３０３が表示画像データを表示部１０６へ出力することにより表示画像データをライブビュー表示する。
【００３６】
ステップＳ４０７において、遮蔽物除去処理部３０２が遮蔽物除去画像データをＰＣ／メディア２１３などの記憶装置に記憶する。さらに、遮蔽物除去画像データを表示部１０６へ出力し表示する。
【００３７】
ステップＳ４０８において、遮蔽物除去処理部３０２がＳＷ１の状態に基づき処理を続行するか否かを判定する。ＳＷ１がＯＮの場合はステップＳ４０１へ進み、次の時刻のカラー画像データＩ（ｔ＋１）を取得し処理を続行する。ＳＷ１がＯＦＦの場合は処理を終了する。
【００３８】
＜遮蔽物除去処理＞
ここでは、ステップＳ４０３で行う遮蔽物除去処理について説明する。遮蔽物除去処理では、複数のカラー画像データを基にカラー画像データ中に含まれる遮蔽物を除去し、遮蔽物除去画像データを生成する。以下、図６に示すフローチャートを用い、遮蔽物除去処理の詳細を説明する。
【００３９】
まずステップＳ６０１において、遮蔽物除去処理部３０２が画像データＩ（ｔ）を基準画像とし、Ｎ−１枚の過去画像データＩ（ｔ−１）〜Ｉ（ｔ−Ｎ）を基準画像の座標系へ変換し、座標変換画像データＩ’（ｔ−１）〜Ｉ’（ｔ−Ｎ）を生成する。
【００４０】
具体的には、初めに各画像を対応付けるために有用な特徴点を抽出する。特徴点は点の周囲の情報（輝度やＲＧＢ値）に特徴のある点であり、ＳＩＦＴ、ＳＵＲＦなどを用いて抽出する。次に基準画像と他の画像の特徴点を対応付ける。特徴点の周辺情報を他の画像の特徴点の周辺情報と比較して一致するものを対応付ける。最後に、対応付けされた特徴点から各画像を基準画像へ変換する行列を算出し、各画像を基準画像の座標系へ変換する。本実施形態では、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）により特徴点を対応付け、変換行列を計算する。求めた変換行列により多視点画像データを基準画像の座標系へ変換することで座標変換画像データを生成する。
【００４１】
次にステップＳ６０２において、遮蔽物除去処理部３０２が基準画像データと座標変換画像データから遮蔽物を除去した遮蔽物除去画像データを生成する。図５に示す網のような遮蔽物（前景物）は、被写体を部分的に遮蔽しており、被写体（背景物）と比べてカラー画像データ中に占める面積が小さい。このため、基準画像データと座標変換画像データで同じ位置の画素を参照した場合、その画素に被写体が写っている画像の数は遮蔽物が写っている画像の数より多い傾向にある。図７にその例を示す。図７には基準画像データＩ（ｔ）と座標変換画像データＩ’（ｔ−１）〜Ｉ’（ｔ−４）（参照画像データ）の合計５枚の例を示している。印で示している画素は各画像データ上で同じ位置を示しており、基準画像データでは遮蔽物が、４枚の座標変換画像データでは被写体が映っている。このように各画像データ上で特定の位置の画素を参照した場合、遮蔽物が映っている画像データよりも、被写体が映っている画像データの方が多い。そこで、例えばベクトルメディアンフィルタを用いて遮蔽物の除去を行う。
【００４２】
ベクトルメディアンフィルタは１次元のメディアンフィルタの多次元への拡張であり、他のベクトルとの距離の和が最小となるベクトルを選択するフィルタである。ベクトルメディアンフィルタの式を以下に示す。
【００４３】
【数１】
2015005925.tif 000003
【００４４】
ここで、ｍはベクトルメディアン、ｖは各画素の画素値を表わす入力ベクトル、Ｎは入力ベクトルの数である。画素値はＲＧＢ値やＬａｂ値を３次元のベクトルｖとして扱う。基準画像座標系の各座標の画素群にベクトルメディアンフィルタを適用する。これにより、写っている枚数が多い被写体の画素値ｍが選択され、遮蔽物が画像上から除去される。
【００４５】
図８は、遮蔽物除去画像データの一例であり、遮蔽物が除去できていることがわかる。以上の処理により、複数のカラー画像データを基にカラー画像データ中に含まれる遮蔽物を除去し、遮蔽物除去画像データＨ（ｔ）を生成することができる。
【００４６】
＜表示画像生成処理＞
ここでは、ステップＳ４０５で行う表示画像生成処理について説明する。表示画像生成処理では、カラー画像データＩ（ｔ）と距離画像データＬ（ｔ）と遮蔽物除去画像データＨ（ｔ）を基に表示画像データＳ（ｔ）を生成する。以下、図９に示すフローチャートを用い、表示画像生成処理の詳細を説明する。
【００４７】
ステップＳ９０１において、表示画像生成部３０３が距離画像データＬ（ｔ）を基に、カラー画像データの視点位置から遮蔽物までの距離値を推定する。ここでは、カラー画像データの視点位置を撮像装置の位置と捉え、距離値を推定する。まず距離画像データＬ（ｔ）中の各画素に格納されている距離値を基にヒストグラムを生成する。次に、ヒストグラム中のビンから、含まれる画素数がしきい値以上となるビンを抽出する。そして、抽出されたビンの中から最も距離値の小さなビンを選択する。選択したビンに対応する距離値の中央値を遮蔽物までの距離値ｄとする。
【００４８】
ステップＳ９０２において、表示画像生成部３０３がＳ９０１で取得した遮蔽物までの距離値ｄを基にカラー画像データＩ（ｔ）と遮蔽物除去画像データＨ（ｔ）を加重加算することで表示画像データＳ（ｔ）を生成する。この際、ｄが小さくなるほど遮蔽物除去画像Ｈ（ｔ）に対する重みα（遮蔽物の透過率）は小さくなるよう設定する。本実施形態では、図１０（ａ）に示すように、あらかじめ定めたしきい値Ｄ１とＤ２（所定値）（Ｄ１＜Ｄ２）を用いて、ｄに対して単調増加するようにαを設定する。Αはαの最大値を設定するパラメータである。具体的には下記の式で表す。
【００４９】
【数２】
2015005925.tif 000004
【００５０】
そして、下記の式に従い、重みαを用いて下記の式に従いカラー画像データＩ（ｔ）と遮蔽物除去画像データＨ（ｔ）を加重加算し表示画像データＳ（ｔ）を算出する。
【００５１】
【数３】
2015005925.tif 000005
【００５２】
以上の処理により、ｄが小さくなるにつれて遮蔽物が視認しやすくなるように表示画像データＳ（ｔ）を生成することができる。
【００５３】
表示画像データＳ（ｔ）を表示部１０６に表示した例を図１１に示す。ここで、αの最大値Ａは１に設定されている。ｄ≦Ｄ１の場合はα＝０となるため、図１１（ａ）に示すように遮蔽物が表示される。Ｄ１＜ｄ＜Ｄ２の場合は０＜α＜１となるため、図１１（ｂ）に示すように遮蔽物が透過するように表示される。Ｄ２≦ｄ（所定値以上）の場合はα＝１となるため、図１１（ｃ）に示すように遮蔽物は表示されない。
【００５４】
なお、表示画像の生成方法はこれに限らない。例えば、重みαの設定方法を図１０（ｂ）に示すようにしてもよい。具体的には、下記の式で表す。
【００５５】
【数４】
2015005925.tif 000006
【００５６】
この場合、ｄがＤ１（所定値）を前後する際に表示画像データの変化を大きくすることができる。ここで、αの最大値Ａも１に設定されている。このように生成した表示画像データＳ（ｔ）を表示部１０６に表示した様子は、図１１（ａ）および（ｃ）に示されている。すなわち、ｄ＜Ｄ１の場合はα＝０となるため、図１１（ａ）に示すように遮蔽物が表示される。Ｄ１≦ｄの場合はα＝１となるため、図１１（ｃ）に示すように遮蔽物は表示されない。
【００５７】
なお、距離取得処理は上述した処理に限らない。例えば撮像装置を図１２に示すようなステレオカメラとし、取得した視差を持つカラー画像データから三角測量を用いて距離画像データを取得しても構わない。図１２では、２つの光学部１２０１、１２０２を用いて視差を持つ２つのカラー画像データを取得するが、撮像装置が光学部を３つ以上備え、視差を持つカラー画像データを３つ以上取得するようにしてもよい。あるいは、撮像装置から遮蔽物までの距離が特定の値以下になったことを検知可能な近接センサを用いても構わない。
【００５８】
なお、カラー画像データの視点位置から遮蔽物までの距離値を推定する処理は上述した処理に限らない。例えば、距離画像データＬ（ｔ）から視点位置からの距離が最小と思われる距離値を推定し遮蔽物までの距離値としても構わない。具体的には、距離画像データＬ（ｔ）中の各画素に格納されている距離値の最小値を遮蔽物までの距離値としてもよい。
【００５９】
なお、遮蔽物除去処理は上述した処理に限らない。例えば、画像中の遮蔽物の領域を指定し、指定した領域をその他の領域の画素値を用いて埋めてもよい。
【００６０】
以上により、遮蔽物除去結果をライブビューで確認できるとともに、撮像装置が遮蔽物へ接近した場合には遮蔽物をライブビューで視認できるようにすることができる。
【００６１】
［実施形態２］
実施形態１では撮像装置が遮蔽物へ接近した際に遮蔽物を表示するように表示画像を制御した。本実施形態では、撮像装置が遮蔽物へ接近した際にユーザーに警告を行う。
【００６２】
本実施形態では実施形態１と比較し、表示画像生成処理が異なる。本実施形態における表示画像生成処理の流れを図１３に示す。
【００６３】
ステップＳ１３０１において、実施形態１のステップＳ９０１と同様に、表示画像生成部３０３が遮蔽物までの距離値ｄを取得する。
【００６４】
ステップＳ１３０２において、表示画像生成部３０３が距離値ｄとしきい値Ｄ１（所定値）との比較を行う。距離値ｄがしきい値Ｄ１以下の場合はステップＳ１３０３に進み、距離値ｄがしきい値Ｄ１より大きい場合はステップＳ１３０４に進む。
【００６５】
ステップＳ１３０３において、表示画像生成部３０３が遮蔽物除去画像データに距離値ｄを重畳した画像を表示画像として生成する。まず、キャラクタージェネレーション部２０７が距離値ｄに対応するグラフィックを生成する。そして、生成したグラフィックを遮蔽物除去画像データに重畳することにより表示画像データを生成し、処理を終了する。
【００６６】
ステップ１３０４において、表示画像生成部３０３が遮蔽物除去画像データを表示画像にし、処理を終了する。
【００６７】
本実施形態における表示画像データＳ（ｔ）を表示部１０６に表示した例を図１４に示す。図１４（ａ）に示すように撮像装置から遮蔽物までの距離ｄがＤ１以下となると、遮蔽物までの距離ｄを表示部１０６へ表示する。ここではＤ１＝２５ｃｍ、ｄ＝２０ｃｍとした場合の例を示している。距離ｄがＤ１よりも大きくなると、図１４（ｂ）に示すように距離値ｄは表示されなくなる。
【００６８】
なお、本実施形態では距離値ｄを表示部１０６へ表示することによりユーザーへの警告を行ったが、警告方法はこれに限らない。たとえば、ステップＳ１３０３においてあらかじめ設定した警告画面を表示画像にしても構わない。あるいは、音声や音による警告を行っても構わない。ステップＳ１３０３において、あらかじめ設定した音声あるいは警告音等を再生しても構わない。  なお、本実施形態では距離値ｄがしきい値Ｄ１以下の場合にのみ距離値ｄを表示部１０６へ表示したが、距離値ｄは常に表示していても構わない。この場合は距離値ｄがしきい値Ｄ１以下の場合にのみ、距離値ｄを強調して表示することにより警告を行う。具体的には、距離値ｄの表示を大きくしたり、色を変えたりしてもよい。あるいは、距離値ｄを強調するかわりに音声や音により警告を行っても構わない。
【００６９】
なお、本実施形態は実施形態１と組み合わせて実施することも可能である。
【００７０】
以上により、遮蔽物除去結果をライブビューで確認できるとともに、撮像装置が遮蔽物へ接近した際にユーザーに警告することができる。
【００７１】
［実施形態３］
実施形態１、２では撮像装置が遮蔽物へ接近した際に情報をユーザーに提示した。本実施形態では、光学部１０２の保護を行う。
【００７２】
まず、本実施形態における撮像装置の構成について述べる。本実施形態において光学部１０２は沈胴式の撮像光学系であり、繰り出し方向や繰り込み方向に移動可能とする。このため、電源ＯＮなどのユーザー指示に従い、図１５（ａ）に示すように光学部１０２を繰り出すことで撮像可能な状態にすることができる。あるいは、電源ＯＦＦなどのユーザー指示に従い、図１５（ｂ）に示すように光学部１０２を繰り込むことで光学部１０２を保護することができる。以下、図１５（ａ）のような状態を繰り出し状態、図１５（ｂ）のような状態を繰り込み状態と呼ぶ。光学系制御部２０５はユーザー指示によって決定した焦点距離やフォーカス位置等を含む撮像パラメータに応じて、光学部１０２を繰り込み方向へ移動する操作や繰り出し方向へ移動する操作の制御を行う。また光学系制御部２０５は、繰り出し状態、繰り込み状態を含むレンズの状態をＲＡＭ（Ｒｏｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０４などに記録する。
【００７３】
図１６は本実施形態の画像処理装置の動作手順を示すフローチャートである。本実施形態では、撮像装置から遮蔽物までの距離値ｄが所定の距離値Ｄ１以下（所定値以下）となった場合、光学部１０２を繰り込むように制御を行う。これにより、光学部１０２の保護を行う。以下、処理の詳細を述べる。
【００７４】
ステップＳ１６０１において、光学系制御部２０５が電源ＯＮなどのユーザー操作に応じて光学部１０２を繰り出す制御を行う。
【００７５】
ステップＳ１６０２において、画像処理部２０９が距離画像取得部１０５から取得した距離画像データに基づき実施形態１のステップＳ９０１と同様に遮蔽物までの距離値ｄを取得する。
【００７６】
ステップＳ１６０３において、画像処理部２０９が距離値ｄと所定の距離値Ｄ１を比較する。距離値ｄがＤ１以下の場合はステップＳ１６０４へ進み、距離値ｄがＤ１より大きい場合はステップＳ１６０７へ進む。
【００７７】
ステップＳ１６０４において、光学系制御部２０５が光学部１０２の状態を判定し、光学部１０２が繰り込み状態でない場合はステップＳ１６０５へ進み、光学部１０２が繰り込み状態の場合はステップＳ１６１１へ進む。
【００７８】
ステップＳ１６０５において、光学系制御部２０５が光学部１０２の状態に関わる焦点距離やフォーカス位置等の撮像パラメータを基準状態としてＲＡＭ２０４等の記憶装置に記憶する。
【００７９】
ステップＳ１６０６において、光学系制御部２０５が光学部１０２を繰り込み、ステップＳ１６１１へ進む。
【００８０】
ステップＳ１６０７において、光学系制御部２０５が光学部１０２の状態を判定し、光学部１０２が繰り込み状態の場合はステップＳ１６０８へ進み、光学部１０２が繰り込み状態でない場合はステップＳ１６１０へ進む。
【００８１】
ステップＳ１６０８において、光学系制御部２０５が光学部１０２の状態に関わる焦点距離やフォーカス位置等の撮像パラメータをＲＡＭ２０４等の記憶装置から読み出す。
【００８２】
ステップＳ１６０９において、光学系制御部２０５はステップＳ１６０８で読み出した撮像パラメータが示す基準状態を再現するように光学部１０２を繰り出す。
【００８３】
ステップＳ１６１０において、ユーザー指示によって設定された撮像モードに応じた撮像処理を行う。ここでは、実施形態２で述べた撮像処理を行う。
【００８４】
ステップＳ１６１１において、画像処理部２０９がＳＷ１の状態に基づき処理を続行するか否かを判定する。ＳＷ１がＯＮの場合はステップＳ１６０２へ進み、ＳＷ１がＯＦＦの場合は処理を終了する。
【００８５】
上記の処理により光学部１０２を保護した例を図１７に示す。ｄ≦Ｄ１の場合は、図１７（ａ）に示すように光学部１０２が繰り込み状態となる。撮像はできないが光学部１０２を保護することができる。Ｄ１＜ｄの場合は、図１７（ｂ）に示すように光学部１０２が繰り出し状態となり、撮像が可能となる。
【００８６】
なお、本実施形態は実施形態１、２と組み合わせて実施することも可能である。
【００８７】
以上により、撮像装置が遮蔽物へ接近した際に光学部１０２を保護することができる。
【００８８】
［実施形態４］
実施形態３では光学部１０２を繰り込み状態にした後、距離値ｄを基に光学部１０２を繰り出し状態にする判定を行った。この場合、カラー画像データを用いて距離値ｄを算出する構成に適用できない。そこで、本実施形態では光学部１０２を繰り込み状態にした後、所定の時間が経過した後に光学部１０２を繰り出す。
【００８９】
図１８が本実施形態の画像処理装置の動作手順を示すフローチャートである。ステップＳ１８０１、Ｓ１８０２、Ｓ１８０３はそれぞれ実施形態３のステップＳ１６０１、ステップＳ１６０２、ステップＳ１６０３と同様の処理である。ステップＳ１８０３における判定の結果、ｄがＤ１（所定値）以下の場合はステップＳ１８０４へ進み、ｄがＤ１より大きい場合はステップＳ１８０９へ進む。なお、ステップＳ１８０４、ステップＳ１８０５はそれぞれ実施形態３のステップＳ１６０５、ステップＳ１６０６と同様の処理である。
【００９０】
次にステップＳ１８０６において、所定の時間だけ待機する。所定の時間が経過した後ステップＳ１８０７へ進む。
【００９１】
以降、ステップＳ１８０７、ステップＳ１８０８、ステップＳ１８０９、ステップＳ１８１０はそれぞれ実施形態３のステップＳ１６０８、ステップＳ１６０９、ステップＳ１６１０、ステップＳ１６１１と同様の処理である。
【００９２】
なお、本実施形態は実施形態１、２と組み合わせて実施することも可能である。
【００９３】
以上により、カラー画像データを用いて距離値ｄを算出する構成に対しても、光学部１０２を繰り込み状態から繰り出し状態へ遷移させることができる。
【００９４】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015005925.tif 000007
【図２】
2015005925.tif 000008
【図３】
2015005925.tif 000009
【図４】
2015005925.tif 000010
【図６】
2015005925.tif 000011
【図７】
2015005925.tif 000012
【図８】
2015005925.tif 000013
【図９】
2015005925.tif 000014
【図１０】
2015005925.tif 000015
【図１１】
2015005925.tif 000016
【図１２】
2015005925.tif 000017
【図１３】
2015005925.tif 000018
【図１４】
2015005925.tif 000019
【図１５】
2015005925.tif 000020
【図１６】
2015005925.tif 000021
【図１７】
2015005925.tif 000022
【図１８】
2015005925.tif 000023
【図５】
2015005925.tif 000024