(57)【要約】      （修正有）【課題】撮影対象の被写体の近傍にある他の被写体を探して、簡単に近傍にある他の被写体をボカした画像を撮影する。【解決手段】撮像手段を備える情報処理装置が、被写体及び当該被写体とは別の被写体との配置がそれぞれ異なるような撮影位置から、被写体及び当該被写体とは別の被写体との両方を含むように撮像手段で撮影された複数画像を保持し、保持する複数画像のいずれか１つの画像に含まれる被写体及び当該被写体とは別の被写体の中から基準とする被写体を指定し、基準として指定された被写体から指定された被写体ではない一方の被写体までの間隔を複数画像それぞれから抽出し、複数画像における間隔の差異を算出し、複数画像のいずれか１つの画像の指定された被写体ではない一方の被写体に、複数画像の他方の画像との差異に応じたボカシ処理して、一方の被写体がボカシ処理された複数画像のいずれか１つの画像を表示する。【選択図】図１
2014131185.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段を備える情報処理装置であって、
被写体及び当該被写体とは別の被写体との配置がそれぞれ異なるような撮影位置から、前記被写体及び当該被写体とは別の被写体との両方を含むように前記撮像手段で撮影された複数画像を保持する保持手段と、
前記保持する複数画像のいずれか１つの画像に含まれる前記被写体及び当該被写体とは別の被写体の中から基準とする被写体を指定する指定手段と、
前記基準として指定された被写体から前記指定された被写体ではない一方の被写体までの間隔を前記複数画像それぞれから抽出し、前記複数画像における前記間隔の差異を算出する算出手段と、
前記複数画像のいずれか１つの画像の前記指定された被写体ではない一方の被写体に、前記複数画像の他方の画像との前記差異に応じたボカシ処理するボカシ処理手段と、
前記一方の被写体がボカシ処理された前記複数画像のいずれか１つの画像を表示する表示手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記撮像手段で撮影された前記複数画像における前記間隔の差異が増大する程に、前記指定された被写体ではない一方の被写体のボカシ処理が増長されるようにし、前記間隔の差異が減少する程に、前記指定された被写体ではない一方の被写体のボカシ処理が低減されるように前記ボカシ処理手段がボカシ処理をすることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記指定される基準とする被写体における注視点として基準となる画素をさらに指定する基準画素指定手段と、
前記複数画像から、画像情報が類似している全ての画素を画素マッチングにより検索する画素マッチング手段と、
前記複数画像それぞれにおいて、前記指定された基準画素からの前記画素マッチングにより検索された各画素までの間隔を、前記画素マッチングにより検索された画素毎に抽出して記憶する画素間隔記憶手段と、
前記間隔を記憶する前記マッチングにより検索された画素毎に、前記画像情報が類似している全ての画素の複数画像間における変化量を算出して記憶する画素変化量算出手段と、
前記複数画像のいずれか１つの画像の前記マッチングにより検索された画素毎に、前記画素毎に算出して記憶する変化量に応じたボカシ処理する画素ボカシ処理手段と、
をさらに備え、
前記表示手段が、前記前記画素毎に算出して記憶された変化量に応じたボカシ処理された前記複数画像のいずれか１つの画像を表示することを特徴とする請求項１または請求項２に記載の情報処理装置。
【請求項４】
被写体及び当該被写体とは別の被写体との配置がそれぞれ異なるような撮影位置から、前記被写体及び当該被写体とは別の被写体との両方を含むように前記撮像手段で撮影された複数画像を保持する保持手段と、
前記保持する複数画像のいずれか１つの画像に含まれる前記被写体及び当該被写体とは別の被写体の中から基準とする被写体を指定する指定手段と、
前記基準として指定された被写体から前記指定された被写体ではない一方の被写体までの間隔を前記複数画像それぞれから抽出し、前記複数画像における前記間隔の差異を算出する算出手段と、
前記複数画像のいずれか１つの画像の前記指定された被写体ではない一方の被写体に、前記複数画像の他方の画像との前記差異に応じたボカシ処理するボカシ処理手段と、
前記一方の被写体がボカシ処理された前記複数画像のいずれか１つの画像を表示する表示手段と、
を備えることを特徴とする撮像装置。
【請求項５】
撮像手段と、被写体及び当該被写体とは別の被写体との配置がそれぞれ異なるような撮影位置から、前記被写体及び当該被写体とは別の被写体との両方を含むように前記撮像手段で撮影された複数画像を保持する保持手段と、を備える情報処理装置の制御方法であって、
前記情報処理装置の指定手段が、前記保持する複数画像のいずれか１つの画像に含まれる前記被写体及び当該被写体とは別の被写体の中から基準とする被写体を指定する指定工程と、
前記情報処理装置の算出手段が、前記基準として指定された被写体から前記指定された被写体ではない一方の被写体までの間隔を前記複数画像それぞれから抽出し、前記複数画像における前記間隔の差異を算出する算出工程と、
前記情報処理装置のボカシ処理手段が、前記複数画像のいずれか１つの画像の前記指定された被写体ではない一方の被写体に、前記複数画像の他方の画像との前記差異に応じたボカシ処理するボカシ処理工程と、
前記情報処理装置の表示手段が、前記一方の被写体がボカシ処理された前記複数画像のいずれか１つの画像を表示する表示工程と、
を含むことを特徴とする制御方法。
【請求項６】
撮像手段と、被写体及び当該被写体とは別の被写体との配置がそれぞれ異なるような撮影位置から、前記被写体及び当該被写体とは別の被写体との両方を含むように前記撮像手段で撮影された複数画像を保持する保持手段と、を備える情報処理装置で読み取り実行可能なプログラムであって、
前記情報処理装置を、
前記保持する複数画像のいずれか１つの画像に含まれる前記被写体及び当該被写体とは別の被写体の中から基準とする被写体を指定する指定手段と、
前記基準として指定された被写体から前記指定された被写体ではない一方の被写体までの間隔を前記複数画像それぞれから抽出し、前記複数画像における前記間隔の差異を算出する算出手段と、
前記複数画像のいずれか１つの画像の前記指定された被写体ではない一方の被写体に、前記複数画像の他方の画像との前記差異に応じたボカシ処理するボカシ処理手段と、
前記一方の被写体がボカシ処理された前記複数画像のいずれか１つの画像を表示する表示手段と、
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一部の被写体のピントをボカした画像を撮影する情報処理装置、撮像装置、及びその制御方法とプログラムに関する。
【背景技術】
【０００２】
複数の位置から得られた複数の画像を一つの網膜に投影すると、自然な立体視ができることが論文により報告されている。その理由は、複数の位置から得られた画像情報が網膜上で注視点以外に対してはボケとなり、２眼立体視によって感じる違和感の原因とされている輻輳調節矛盾を解消するためだと推定されている。
【０００３】
このような光線情報を活用した画像処理技術において、特許文献１には、ボカシ画像を形成するために、合焦点位置を変化させて複数枚の参照画像を撮影して各合焦点位置までの距離情報に基づいて、複数領域のボカシ量を決定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１０１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
最も撮影したい被写体だけをより際立たせて、近傍にある他の被写体をボカスと、人間の視覚でみたような写真を撮影することができる。しかしながら近傍にある他の被写体は、ピントに近い位置にあるため、ピントに近い位置にある他の被写体を適度にボカスことは困難である。
上記先行技術においては、ピントに近い位置にある被写体の近傍にある他の被写体をボカシした画像を撮影する仕組みに関しては何ら開示されていない。
【０００６】
本発明は、撮影対象の被写体の近傍にある他の被写体を探して、簡単に近傍にある他の被写体をボカした画像を撮影することが可能な仕組みを提供することを目的する。
【課題を解決するための手段】
【０００７】
本発明は、撮像手段を備える情報処理装置であって、被写体及び当該被写体とは別の被写体との配置がそれぞれ異なるような撮影位置から、前記被写体及び当該被写体とは別の被写体との両方を含むように前記撮像手段で撮影された複数画像を保持する保持手段と、前記保持する複数画像のいずれか１つの画像に含まれる前記被写体及び当該被写体とは別の被写体の中から基準とする被写体を指定する指定手段と、前記基準として指定された被写体から前記指定された被写体ではない一方の被写体までの間隔を前記複数画像それぞれから抽出し、前記複数画像における前記間隔の差異を算出する算出手段と、前記複数画像のいずれか１つの画像の前記指定された被写体ではない一方の被写体に、前記複数画像の他方の画像との前記差異に応じたボカシ処理するボカシ処理手段と、前記一方の被写体がボカシ処理された前記複数画像のいずれか１つの画像を表示する表示手段と、を備えることを特徴とする。
【０００８】
また、前記撮像手段で撮影された前記複数画像における前記間隔の差異が増大する程に、前記指定された被写体ではない一方の被写体のボカシ処理が増長されるようにし、前記間隔の差異が減少する程に、前記指定された被写体ではない一方の被写体のボカシ処理が低減されるように前記ボカシ処理手段がボカシ処理をすることを特徴とする。
【０００９】
また、前記指定される基準とする被写体における注視点として基準となる画素をさらに指定する基準画素指定手段と、前記複数画像から、画像情報が類似している全ての画素を画素マッチングにより検索する画素マッチング手段と、前記複数画像それぞれにおいて、前記指定された基準画素からの前記画素マッチングにより検索された各画素までの間隔を、前記画素マッチングにより検索された画素毎に抽出して記憶する画素間隔記憶手段と、前記間隔を記憶する前記マッチングにより検索された画素毎に、前記画像情報が類似している全ての画素の複数画像間における変化量を算出して記憶する画素変化量算出手段と、前記複数画像のいずれか１つの画像の前記マッチングにより検索された画素毎に、前記画素毎に算出して記憶する変化量に応じたボカシ処理する画素ボカシ処理手段と、をさらに備え、前記表示手段が、前記前記画素毎に算出して記憶された変化量に応じたボカシ処理された前記複数画像のいずれか１つの画像を表示することを特徴とする。
【発明の効果】
【００１０】
本発明により、撮影対象の被写体の近傍にある他の被写体を探して、簡単に近傍にある他の被写体をボカした画像を撮影することが可能な仕組みを提供することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明における画像処理によりボカシ画像を作成するための撮影環境である。
【図２】本発明における情報処理装置（スマートフォン）または撮像装置（デジタルカメラ）のハードウエア構成を示したものである。
【図３】本発明における情報処理装置が表示する撮影者が操作する画面遷移を示したものである。
【図４】本発明における情報処理装置が実行するボカシ画像作成のための操作手順に従ったフローチャートである。
【図５】本発明における情報処理装置が実行するボカシ画像生成処理のフローチャートである。
【図６】本発明における情報処理装置が画像処理にて使用する被写体の移動量の理論を示したものである。
【図７】本発明における情報処理装置が画像処理にて使用する被写体のボカシ処理（平滑化）の理論を示したものである。
【図８】本発明における情報処理装置が平滑化処理にて使用するボカシ量の理論式を示したものである。
【発明を実施するための形態】
【００１２】
図１を説明する。
【００１３】
図１は本発明のボカシ処理を実現するために、被写体１と被写体２の配置間隔が変化するように異なる撮影位置から、２枚の画像を撮影している撮影環境を示したものである。
１０１は情報処理装置（スマートフォン）である。
【００１４】
尚、被写体１と被写体２は、人物でもよく、花や料理等が撮影対象であってよい。間隔が１ｍ以内程度といったお互いが近接する距離に複数の被写体がある撮影対象であればよい。
図２を説明する。
図２は本発明の情報処理装置１０１のハードウエア構成を示す図である。
４０１はＣＰＵで、システムバス４０４に接続される各デバイスやコントローラを統括的に制御する。
【００１５】
ＲＯＭ４０２あるいは外部メモリ４１１には、ＣＰＵ４０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００１６】
４０３はＲＡＭ（記憶部）で、ＣＰＵ４０１の主メモリ、ワークエリア等として機能する。ＣＰＵ４０１は、処理の実行に際して必要なプログラム等をＲＯＭ４０２あるいは外部メモリ４１１からＲＡＭ４０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
４０５は入力コントローラで、タッチパネル４０９や不図示の操作ボタン等からの操作指示による入力信号を制御する。
【００１７】
４０６はビデオコントローラで、表示部４１０への表示を制御する。なお、表示部４１０は液晶ディスプレイ等の表示器である。これらは必要に応じて管理者が使用するものである。また表示部は指やペン等にてユーザが表示画面内の対象位置を指定するタッチパネル機能を含むものであってもよい。
【００１８】
４０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ４１１へのアクセスを制御する。
【００１９】
４０８は無線通信Ｉ／Ｆコントローラで、無線通信部４１２を介して外部ネットワークと接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
４１３は撮像部コントローラで、撮像部４１２にて撮影された静止画像および動画を制御する。
【００２０】
なお、ＣＰＵ４０１は、例えばＲＡＭ４０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ上での表示を可能としている。また、ＣＰＵ４０１は、ＣＲＴ上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００２１】
本発明を実現するための後述する各種プログラムは、外部メモリ４１１に記録されており、必要に応じてＲＡＭ４０３にロードされることによりＣＰＵ４０１によって実行されるものである。さらに、上記プログラムの実行時に用いられるデータファイル及びデータテーブル等も、外部メモリ４１１に格納されており、これらについての詳細な説明も後述する。
図３を説明する。
ユーザは３０１、３０２、３０３，３０４、３０５、３０６、３０７の順序にて各画面を表示させて、ボケ画像を取得するための操作をする。
３０１は情報処理装置が表示する、撮影対象のプレビュー表示する画面である。
３２０は撮影画像の撮影指示ボタンである。
３０２は情報処理装置が表示する、注視点を指定するように撮影者に報知する画面である。
６０１は撮影した撮影画像の１例である。
３０３は情報処理装置が表示する、注視点を決定するように撮影者に報知する画面である。
３２１は、注視点として指定された箇所（画素位置）である。
３０４は情報処理装置が表示する、撮影位置の移動するように撮影者に通知する画面である。
この画面でＯＫボタンは移動した撮影位置を決定するボタンである。
３０５は情報処理装置が表示する、決定された撮影位置に応じて撮影位置が適切ではないことを撮影者に通知するための画面である。
３０６は情報処理装置が表示する、移動した撮影位置において撮影者に視差画像を撮影させるための画面である。
３２５は撮影位置が適切であることを撮影者に通知するメッセージである。
３２６は視差画像の撮影指示ボタンである。
６０２は撮影した視差画像の１例である。
３０７は情報処理装置が表示する、被写体１にボカシ処理した画像のプレビュー表示をしている画面である。
６０３は被写体１にボカシ処理した画像の１例である。
３２７は作成したボカシ画像をメモリに記録して保存するための保存ボタンである。
図４を説明する。
ステップＳ１０１で情報処理装置は、内蔵するカメラ部（撮像手段）を起動する。
ステップＳ１０２で情報処理装置は、図３の３０１に示すように、被写体２と被写体１とを含んだ撮影対象をプレビュー表示する。
【００２２】
ステップＳ１０３で情報処理装置は、撮影ボタン（ＯＫボタン３２０）が押下されたかいなかを判断する。押下された（ＹＥＳ）と判断された場合にはステップＳ１０４に進む。押下されない（ＮＯ）と判断された場合にはステップＳ１０２に戻る。
【００２３】
ステップＳ１０４で情報処理装置は、撮影対象の撮影を実行して、撮影された被写体２と被写体１を含んだ撮影画像６０１をメモリに記録して保持する（保持手段）。
ステップＳ１０５で情報処理装置は、図３の３０２に示すように、メモリに保持する被写体２と被写体１を含んだ撮影画像６０１をプレビュー表示する。
この時に、情報処理装置はさらに、撮影画像６０１の中で注視したい点（注視したい被写体）が何処かを撮影者に指定させるためのメッセージを表示する。
【００２４】
ステップＳ１０６では、撮影画像６０１の中で注視したい点が何処かを撮影者により選択（タップ）されることで、情報処理装置は保持する撮影画像６０１の画像に含まれている被写体２とこの被写体２とは別の被写体１の中で、撮影者が撮影画像６０１の中で注視したい点として基準とする１つの被写体が撮影画像６０１中の何処の画素座標（Ｘ，Ｙ）であるかを指定（指定手段）して、指定した画素座標Ｐ（Ｘ，Ｙ）をＲＡＭに記憶する。
３２１に示すように、選択された被写体２の画素座標には赤いマークが表示される。
ここで、注視点として指定された基準とする１つの被写体２とは、撮影者がボカシ処理をしたくない撮影対象である。
ここで、指定されていない、被写体２とは別の被写体１とは、撮影者がボカシ処理をしたい撮影対象である。
【００２５】
ステップＳ１０７で情報処理装置は、決定ボタン（ＯＫボタン３２２）が押下されたかいなかを判断する。押下された（ＹＥＳ）と判断された場合にはステップＳ１０８に進む。押下されない（ＮＯ）と判断された場合にはステップＳ１０６に戻る。
【００２６】
ステップＳ１０８で情報処理装置は、図３の３２３に示すように撮影者に対して左右のいずれかの方向に少しだけ撮影位置を移動して、同じ被写体１と被写体２を再度撮影するように通知する。
【００２７】
ステップＳ１０９で情報処理装置は、図３の３０６に示すように撮影者はステップＳ１０８にて通知された方向に撮影位置を変えた後の被写体２と被写体１とを含んだ撮影対象をプレビュー表示する。
【００２８】
ステップＳ１１０で情報処理装置は、撮影ボタン（ＯＫボタン３２６）が押下されたかいなかを判断する。押下された（ＹＥＳ）と判断された場合には撮影対象の撮影を実行して、撮影された被写体２と被写体１を含んだ視差画像６０２をメモリに記録して保持する（保持手段）。
さらに、メモリに保持する被写体２と被写体１を含んだ視差画像６０２をプレビュー表示してもよい。
【００２９】
つまりここでは、被写体２とこの被写体２とは別の被写体１との配置がそれぞれ異なるような撮影位置から、被写体２とこの被写体２とは別の被写体１との両方を含むようにカメラで撮影された撮影画像、視差画像の両方を保持していることになる。
【００３０】
なお、視差画像６０２をプレビュー表示させた場合には、ステップＳ１０６で注視点を指定せずに、ここで視差画像を撮影したあとで、視差画像に含まれている被写体２とこの被写体２とは別の被写体１の中から、基準とする１つの被写体２を指定してもよい。その後ステップＳ１１１に進む。
ＯＫボタン３２６が押下されない（ＮＯ）と判断された場合にはステップＳ１０９に戻る。
ステップＳ１１１で情報処理装置は、ボカシ画像作成処理（図４）に遷移する。詳細な処理ステップは図４にて説明する。
【００３１】
ステップＳ１１２で情報処理装置は、Ｓ２０４にて被写体１がボカシ処理された撮影画像６０１または視差画像６０１のいずれか１枚を表示部にプレビュー表示（表示手段）する。
つまりここでは、一方の被写体１だけがボカシ処理された複数画像のいずれか１つの画像を表示している。
図５を説明する。
【００３２】
ステップＳ２０１で情報処理装置は、撮影画像６０１及び視差画像６０２両方の画像から注視点の画素座標を、既知のテンプレートマッチング技術を用いて検索する。
○撮影画像内での画素座標Ｐを撮影画像から検索する。
○Ｐの画像情報とマッチングした視差画像内での画素座標Ｐ´視差画像から検索する。
検索した２つの画素座標（ＰとＰ´）はＲＡＭに記憶される。
【００３３】
ステップＳ２０２で情報処理装置は、撮影画像６０１及び視差画像６０２両方の画像から画像情報が類似していてテンプレートマッチングが可能な特定の画素を検索する。
○撮影画像内でのある１つの画素の画素座標ａ２を撮影画像から検索する。
○ａ２の画像情報とマッチングした視差画像内での画素座標ａ２´視差画像から検索する。
検索した２つの画素座標（ａ２とａ２´）はＲＡＭに記憶される。
ステップＳ２０３で情報処理装置は、記憶する２点の画素座標Ｐと画素座標ａ２からベクトルＶ２を抽出する。
情報処理装置は、記憶する２点の画素座標Ｐ´と画素座標ａ２´からベクトルＶ２´を抽出する。
情報処理装置は、抽出した各ベクトルＶ２およびＶ２´から差分ｄ２を算出する。
【００３４】
差分ｄ２から、撮影画像の画素座標ａ２において、撮影位置を移動したことによる被写体１と被写体２の配置間隔の変化量を算出する（算出手段）ことができる。
【００３５】
つまりここでは、基準として指定された被写体２から、指定された被写体２ではない一方の被写体１までの間隔を複数画像それぞれから抽出し、複数画像における間隔の差異を算出していることになる。
【００３６】
撮影画像６０１及び視差画像６０２両方の画像から画像情報が類似していてテンプレートマッチングが可能な特定の画素全てに、ステップＳ２０２の処理を行うことで、テンプレートマッチングが可能な特定の画素座標全てにおいて、画素単位に細分化して、撮影位置を移動したことによる被写体１と被写体２の配置間隔の変化量を算出することもできる。
ステップＳ２０４で情報処理装置は、撮影画像の画素座標ａ２の領域に差分ｄ２に応じた量のボカシ処理（ボカシ処理手段）をする。
【００３７】
つまりここでは、複数画像のいずれか１つの画像（撮影画像）の指定された被写体２ではない一方の被写体１に、複数画像の他方の画像（視差画像）との変化量に応じたボカシ処理をしていることになる。
図６を説明する。
図６は、情報処理装置が画像処理にて使用する被写体の移動量の理論を示したものである。
６０１は撮影画像である。
６０２は撮影位置を移動した視差画像である。
Ｐは注視点である。
撮影画像上のピント（焦点）を合わせたい位置（画素）を撮影者に指定させ（基準画素指定手段）、この位置を注視点と呼ぶ。
ａ２はＰ点の近傍にある特定の画素である。
Ｖ２はＰ点とａ２間のベクトル（方向と長さ）である。
Ｐ´は注視点である。Ｐと画像情報が類似（または一致）している画素である。
ａ２´はＰ´点の近傍にある特定の画素であり、ａ２と画像情報が類似（または一致）している画素である。
Ｖ２´はＰ´点とａ２´間のベクトル（方向と長さ）である。
ｄ２はベクトルＶ２とＶ２´との差分で、ボカシ量の程度として利用される。
図７を説明する。
図７は、情報処理装置が画像処理部４１５にて実行する被写体のボカシ処理（平滑化）の理論を示したものである。
７０３及び７０４のように、情報処理装置の画像処理部４１５は下記の計算を行う
（Ｓｔｅｐ１  ボケ量の算出）
メモリ４１１の撮影画像上の注視点Ｐに対応した視差画像上の点Ｐ´をテンプレートマッチングにより求めＲＡＭ４０３に記録する
メモリの撮影画像の画素ａ２に対応した視差画像上の点ａ２´をテンプレートマッチングにより求めＲＡＭに記録する。
つまり、複数画像から、画像情報が類似している全ての画素を画素マッチングにより検索する（画素マッチング手段）。
メモリの撮影画像上の点Ｐから画素ａ２までのベクトルＶ２を求めてＲＡＭに記録する。
メモリの視差画像上の点Ｐ´から画素ａ２´までのベクトルＶ２´を求めＲＡＭに記録する。
【００３８】
つまり、複数画像それぞれにおいて、指定された基準となる画素（被写体）からの画素マッチングにより検索された各画素までの間隔（ベクトル）を、画素マッチングにより検索された画素毎にそれぞれ抽出してＲＡＭに記憶する（画素間隔記憶手段）。
記憶するベクトルＶ２とベクトルＶ２´の差の大きさ（差異）ｄ２を求めＲＡＭに記録する
【００３９】
つまり、（注視点）から各画素までの間隔を記憶して、マッチングにより検索された画素毎に、画像情報が類似している全ての画素の複数画像間における変化量をそれぞれ算出してＲＡＭに記憶している（画素変化量算出手段）。
（Ｓｔｅｐ２  平滑化フィルターによるボケ画像の生成）
【００４０】
７０５及び７０６のように、メモリの撮影画像上の画素ａ２を中心とする周辺の領域に対しては、カーネル行列を用いて算出された面積｜ｄ１｜に基づいた画素に対して平滑化フィルター（コントラストの平均化）を適用する。
【００４１】
メモリの撮影画像上の画素ａ２´を中心とする周辺の領域に対しては、カーネル行列を用いて算出された面積｜ｄ２｜に基づいた画素に対して平滑化フィルター（コントラストの平均化）を適用する。
【００４２】
つまり、複数画像のいずれか１つの画像のマッチングにより検索された画素毎に、画素毎に算出して記憶する変化量に応じたボカシ処理している（画素ボカシ処理手段）。
【００４３】
このとき、撮影者の位置から注視点Ｐまでの撮影距離（または注視点からの配置間隔）が近い距離にある点ａ１の場合、撮影画像上の点Ｐからａ１までのベクトルＶ１と視差画像上の点Ｐ´からａ１´までのベクトルＶ１´の差ｄ１の大きさは小さい。
【００４４】
反対に、撮影者の位置から注視点Ｐまでの撮影距離（または注視点からの配置間隔）が遠い距離にある点ａ２の場合、撮影画像上の点Ｐからａ２までのベクトルＶ２と、視差画像上の点Ｐ´からａ２´までのベクトルＶ２´の差ｄ２の大きさはｄ１より大きくなる。
【００４５】
撮影画像上のすべての画素ａ１、ａ２、ａ３、ａ４、、、、においてこのベクトルの差分ｄを求め、各画素に対して空間フィルタ（平滑化フィルター）を適用し、ボケ画像を生成する。この際、平滑化フィルターの適用時に利用するカーネル行列の大きさをベクトルの差ｄの大きさに基づいて決定する。そのため、ｄの大きさが小さい画素に対してはカーネル行列が小さくなり、平滑化される領域が小さくなり、ボケ量が小さくなる。また、ｄの大きさが大きい画素に対してはカーネル行列が大きくなり、平滑化される領域が大きくなり、はボケ量が大きくなる。
この結果により、注視点からの他の被写体の距離に応じたボケ量が生成される。
７０７では、生成されたボケ画像を表示する。
表示部４１０には、画素毎に算出して記憶された変化量（カーネル行列Ｋ）に応じたボカシ処理された複数画像のいずれか１つの画像が表示されている。
【００４６】
このように、カメラで撮影され複数画像（撮影画像６０１と視差画像６０２）を比べて、被写体間の間隔の差異（変化量）が増大するにつれて、撮影者により指定された被写体（注視点）ではない一方の被写体に対してボカシ処理が増長されるようにし、逆に間隔の差異が減少するにつれて、指定された被写体ではない一方の被写体に対してボカシ処理が低減されるようにボカシの処理量を調整している。つまり撮影者は注視したい被写体を画像の中心にしたままで、撮影位置を移動するので注視したい被写体の近傍にある他の被写体は、注視したい被写体からの間隔が離れている程、撮影位置の移動に伴って画像内での配置も大きく移動するので、より多くのボカシの処理量が加えられることになる。逆に注視したい被写体からとの間隔が近い被写体には少ないボカシ量が加えられ、人間の視覚で見る場合に注視点近傍の被写体のボカシ量を、画像内での被写体間の配置間隔を利用してリアルに再現することができる。
【００４７】
なお、撮影画像と視差画像内には注視点以外の被写体は２つ以上（複数）含まれていてもよく、その場合は、２つ以上の被写体それぞれに対してボカシ量を算出すればよく、被写体それぞれに対して注視点から近い順に、異なる程度のボカシ量が加えられることになる。
図８を説明する。
図８は、情報処理装置が平滑化処理にて使用するボカシ量の理論式を示したものである。
式１は本発明におけるベクトルの差分（変化量）の計算式を示したものである。
式２は本発明におけるある１つの画素座標のボカシ量であるカーネル行列Ｋの計算式を示したものである。
式２は本発明における全画素座標（Ｘ，Ｙ）点に関するボカシ処理の分布を示したものである。
（その他の実施例）
【００４８】
カーネル行列を求める際に、ベクトルの差を求めてから、差のベクトルの大きさを求めるのではなく、Ｖ１，Ｖ２の大きさを求めてからその差を求め、カーネル行列の大きさとする方法もある。
また、撮影画像の各画素から、視差画像上の対応点を求める方法としてテンプレートマッチングを用いる他に、次のような方法がある。
・テンプレートマッチングの後、誤った対応を取り除く処理（ＲＡＮＳＡＣや最少メジアン法など）を加え、対応点を決定する方法。
・ＳＩＦＴによる方法。
・ＳＵＲＦによる方法。
（その他の実施形態）
【００４９】
また、本発明におけるプログラムは、上記フローチャートに示した制御方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体には制御方法をコンピュータが実行可能なプログラムとして記憶されている。
【００５０】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは情報処理装置に供給し、そのシステムあるいは情報処理装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【００５１】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
【００５２】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テープ，不揮発性のメモリカード，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。
【００５３】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５４】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５５】
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる情報処理装置に適用してもよい。また、本発明は、システムあるいは情報処理装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは情報処理装置に読み出すことによって、そのシステムあるいは情報処理装置が、本発明の効果を享受することが可能となる。
【００５６】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ，データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【００５７】
１０１  情報処理装置
４０３  ＲＡＭ
４１０  表示部
４１１  メモリ
４１４  撮像部
４１５  画像処理部
【図１】
2014131185.tif 000003
【図２】
2014131185.tif 000004
【図３】
2014131185.tif 000005
【図４】
2014131185.tif 000006
【図５】
2014131185.tif 000007
【図６】
2014131185.tif 000008
【図７】
2014131185.tif 000009
【図８】
2014131185.tif 000010