(57)【要約】  画像の復元の精度を高める。画像処理装置（１０）の第１画像取得手段（１０１）は、第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する。第２画像取得手段（１０２）は、第１画像における空間の影部分又は被遮蔽部分から離れた第２位置から撮影され、影部分又は被遮蔽部分が写された第２画像を取得する。加工対象領域特定手段（１０３）は、第１画像において影又は遮蔽物が写された加工対象領域を特定する。撮影部分領域特定手段（１０４）は、第１画像における被写体と合うように第２画像を低解像度化し、低解像度化された第２画像において影部分又は被遮蔽部分が写された撮影部分領域を特定する。類似領域特定手段（１０５）は、第１画像及び第２画像の少なくとも一方の中から、撮影部分領域に類似する類似領域を特定する。加工手段（１０６）は、類似領域に基づいて、第１画像における加工対象領域を加工する。
2018011930.tif 000002
【特許請求の範囲】
【請求項１】
第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する第１画像取得手段と、
前記第１画像における前記空間の影部分又は被遮蔽部分から前記第１位置よりも離れた第２位置から撮影され、前記影部分又は前記被遮蔽部分が写された第２画像を取得する第２画像取得手段と、
前記第１画像において前記影又は前記遮蔽物が写された加工対象領域を特定する加工対象領域特定手段と、
前記第１画像における被写体と合うように前記第２画像を低解像度化し、前記低解像度化された第２画像において前記影部分又は前記被遮蔽部分が写された撮影部分領域を特定する撮影部分領域特定手段と、
前記第１画像及び前記第２画像の少なくとも一方の中から、前記撮影部分領域に類似する類似領域を特定する類似領域特定手段と、
前記類似領域に基づいて、前記第１画像における前記加工対象領域を加工する加工手段と、
を含むことを特徴とする画像処理装置。
【請求項２】
前記類似領域特定手段は、前記低解像度化された第２画像の解像度と合うように前記第１画像を低解像度化し、当該低解像度化された第１画像において、前記撮影部分領域に類似する領域を、前記類似領域として特定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記加工手段は、低解像度化される前の前記第１画像における前記類似領域の画素値に基づいて加工する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記類似領域特定手段は、前記撮影部分領域と、前記第１画像における前記影又は前記遮蔽物を含む周囲領域と、に類似する前記類似領域を特定する、
ことを特徴とする請求項１〜３の何れかに記載の画像処理装置。
【請求項５】
前記画像処理装置は、前記第１画像及び前記第２画像の少なくとも一方の中から、前記第１画像における前記影又は前記遮蔽物を含む周囲領域に類似する周囲類似領域を特定する周囲類似領域特定手段を更に含み、
前記加工手段は、更に前記周囲類似領域に基づいて加工する、
ことを特徴とする請求項１〜３の何れかに記載の画像処理装置。
【請求項６】
前記画像処理装置は、前記第１画像における前記影又は半透明の前記遮蔽物の周囲に基づいて、前記空間の前記影部分又は前記被遮蔽部分を推定する推定手段を更に含み、
前記加工手段は、更に前記推定手段による推定結果に基づいて加工する、
ことを特徴とする請求項１〜５の何れかに記載の画像処理装置。
【請求項７】
前記画像処理装置は、
前記第１画像における前記影又は半透明の前記遮蔽物の周囲に基づいて、前記空間の前記影部分又は前記被遮蔽部分を推定する推定手段と、
前記推定手段による推定結果に基づいて、前記周囲領域を取得する周囲領域取得手段と、
を含むことを特徴とする請求項４又は５に記載の画像処理装置。
【請求項８】
前記加工対象領域は、複数の加工対象小領域を含み、
前記撮影部分領域特定手段は、前記複数の加工対象小領域にそれぞれ対応する複数の前記撮影部分領域を特定し、
前記類似領域特定手段は、前記複数の撮影部分領域にそれぞれ類似する複数の前記類似領域を特定し、
前記加工手段は、前記複数の加工対象小領域の各々を、対応する前記撮影部分領域に類似する前記類似領域に基づいて加工する、
ことを特徴とする請求項１〜７の何れかに記載の画像処理装置。
【請求項９】
前記加工対象小領域は、前記第１画像において前記影又は前記遮蔽物が写された個々の画素又は複数の画素である、
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する第１画像取得ステップと、
前記第１画像における前記空間の影部分又は被遮蔽部分から前記第１位置よりも離れた第２位置から撮影され、前記影部分又は前記被遮蔽部分が写された第２画像を取得する第２画像取得ステップと、
前記第１画像において前記影又は前記遮蔽物が写された加工対象領域を特定する加工対象領域特定ステップと、
前記第１画像における被写体と合うように前記第２画像を低解像度化し、前記低解像度化された第２画像において前記影部分又は前記被遮蔽部分が写された撮影部分領域を特定する撮影部分領域特定ステップと、
前記第１画像及び前記第２画像の少なくとも一方の中から、前記撮影部分領域に類似する類似領域を特定する類似領域特定ステップと、
前記類似領域に基づいて、前記第１画像における前記加工対象領域を加工する加工ステップと、
を含むことを特徴とする画像処理方法。
【請求項１１】
第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する第１画像取得手段、
前記第１画像における前記空間の影部分又は被遮蔽部分から前記第１位置よりも離れた第２位置から撮影され、前記影部分又は前記被遮蔽部分が写された第２画像を取得する第２画像取得手段、
前記第１画像において前記影又は前記遮蔽物が写された加工対象領域を特定する加工対象領域特定手段、
前記第１画像における被写体と合うように前記第２画像を低解像度化し、前記低解像度化された第２画像において前記影部分又は前記被遮蔽部分が写された撮影部分領域を特定する撮影部分領域特定手段、
前記第１画像及び前記第２画像の少なくとも一方の中から、前記撮影部分領域に類似する類似領域を特定する類似領域特定手段、
前記類似領域に基づいて、前記第１画像における前記加工対象領域を加工する加工手段、
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、空間をカメラで撮影した画像に写された影又は遮蔽物を取り除くための技術が検討されている。例えば、特許文献１には、被写体の一部が遮蔽物で遮られている場合に、遮蔽物の周囲のパターンに基づいて、画像から遮蔽物を除去し、遮蔽物で遮られた部分を復元する技術が記載されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】http://research.microsoft.com/pubs/69211/siggraph05_0265_final.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１の技術を利用しても、遮蔽物で遮られた部分と同じパターンがその近くに写されているとは限らないので、復元の精度を高められない可能性がある。【０００５】
この点、本発明の発明者達は、ある第１画像において影又は遮蔽物が写された場合に、その部分が見える位置から撮影した第２画像を利用し、復元の精度を高めることを極秘に独自で検討している。しかし、この場合、第１画像と第２画像は互いに異なる位置から撮影されており、被写体の写り方は第１画像と第２画像で異なる。このため、発明者達は、第２画像に写された上記部分をそのまま第１画像に貼り付けても精度を高めることができないと考えている。例えば、第２画像が第１画像よりも遠くから撮影されていたり、第２画像が第１画像とは異なる角度から撮影されていたりする場合、第１画像と合わせるために、第２画像の上記部分を拡大したり変形したりする必要がある。この場合、第２画像の上記部分に対する加工により例えば解像度が低下し、第１画像に貼り付けた部分だけが低解像度となってしまい、第１画像が不自然になってしまう。【０００６】
本発明は上記課題に鑑みてなされたものであって、その目的は、影又は遮蔽物が写された画像の復元の精度を高めることである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る画像処理装置は、第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する第１画像取得手段と、前記第１画像における前記空間の影部分又は被遮蔽部分から前記第１位置よりも離れた第２位置から撮影され、前記影部分又は前記被遮蔽部分が写された第２画像を取得する第２画像取得手段と、前記第１画像において前記影又は前記遮蔽物が写された加工対象領域を特定する加工対象領域特定手段と、前記第１画像における被写体と合うように前記第２画像を低解像度化し、前記低解像度化された第２画像において前記影部分又は前記被遮蔽部分が写された撮影部分領域を特定する撮影部分領域特定手段と、前記第１画像及び前記第２画像の少なくとも一方の中から、前記撮影部分領域に類似する類似領域を特定する類似領域特定手段と、前記類似領域に基づいて、前記第１画像における前記加工対象領域を加工する加工手段と、を含むことを特徴とする。【０００８】
本発明に係る画像処理方法は、第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する第１画像取得ステップと、前記第１画像における前記空間の影部分又は被遮蔽部分から前記第１位置よりも離れた第２位置から撮影され、前記影部分又は前記被遮蔽部分が写された第２画像を取得する第２画像取得ステップと、前記第１画像において前記影又は前記遮蔽物が写された加工対象領域を特定する加工対象領域特定ステップと、前記第１画像における被写体と合うように前記第２画像を低解像度化し、前記低解像度化された第２画像において前記影部分又は前記被遮蔽部分が写された撮影部分領域を特定する撮影部分領域特定ステップと、前記第１画像及び前記第２画像の少なくとも一方の中から、前記撮影部分領域に類似する類似領域を特定する類似領域特定ステップと、前記類似領域に基づいて、前記第１画像における前記加工対象領域を加工する加工ステップと、を含むことを特徴とする。【０００９】
本発明に係るプログラムは、第１位置から撮影され、空間の一部に影又は遮蔽物がある様子が写された第１画像を取得する第１画像取得手段、前記第１画像における前記空間の影部分又は被遮蔽部分から前記第１位置よりも離れた第２位置から撮影され、前記影部分又は前記被遮蔽部分が写された第２画像を取得する第２画像取得手段、前記第１画像において前記影又は前記遮蔽物が写された加工対象領域を特定する加工対象領域特定手段、前記第１画像における被写体と合うように前記第２画像を低解像度化し、前記低解像度化された第２画像において前記影部分又は前記被遮蔽部分が写された撮影部分領域を特定する撮影部分領域特定手段、前記第１画像及び前記第２画像の少なくとも一方の中から、前記撮影部分領域に類似する類似領域を特定する類似領域特定手段、前記類似領域に基づいて、前記第１画像における前記加工対象領域を加工する加工手段、としてコンピュータを機能させる。【００１０】
また、本発明に係る情報記憶媒体は、上記のプログラムが記憶されたコンピュータ読み取り可能な情報記憶媒体である。【００１１】
また、本発明の一態様では、前記類似領域特定手段は、前記低解像度化された第２画像の解像度と合うように前記第１画像を低解像度化し、当該低解像度化された第１画像において、前記撮影部分領域に類似する領域を、前記類似領域として特定する。【００１２】
また、本発明の一態様では、前記加工手段は、低解像度化される前の前記第１画像における前記類似領域の画素値に基づいて加工する。【００１３】
また、本発明の一態様では、前記類似領域特定手段は、前記撮影部分領域と、前記第１画像における前記影又は前記遮蔽物を含む周囲領域と、に類似する前記類似領域を特定する。【００１４】
また、本発明の一態様では、前記画像処理装置は、前記第１画像及び前記第２画像の少なくとも一方の中から、前記第１画像における前記影又は前記遮蔽物を含む周囲領域に類似する周囲類似領域を特定する周囲類似領域特定手段を更に含み、前記加工手段は、更に前記周囲類似領域に基づいて加工する、ことを特徴とする。【００１５】
また、本発明の一態様では、前記画像処理装置は、前記第１画像における前記影又は半透明の前記遮蔽物の周囲に基づいて、前記空間の前記影部分又は前記被遮蔽部分を推定する推定手段を更に含み、前記加工手段は、更に前記推定手段による推定結果に基づいて加工する、ことを特徴とする。【００１６】
また、本発明の一態様では、前記画像処理装置は、前記第１画像における前記影又は半透明の前記遮蔽物の周囲に基づいて、前記空間の前記影部分又は前記被遮蔽部分を推定する推定手段と、前記推定手段による推定結果に基づいて、前記周囲領域を取得する周囲領域取得手段と、を含むことを特徴とする。【００１７】
また、本発明の一態様では、前記加工対象領域は、複数の加工対象小領域を含み、前記撮影部分領域特定手段は、前記複数の加工対象小領域にそれぞれ対応する複数の前記撮影部分領域を特定し、前記類似領域特定手段は、前記複数の撮影部分領域にそれぞれ類似する複数の前記類似領域を特定し、前記加工手段は、前記複数の加工対象小領域の各々を、対応する前記撮影部分領域に類似する前記類似領域に基づいて加工する、ことを特徴とする。【００１８】
また、本発明の一態様では、前記加工対象小領域は、前記第１画像において前記影又は前記遮蔽物が写された個々の画素又は複数の画素である。
【発明の効果】
【００１９】
本発明によれば、影又は遮蔽物が写された画像の復元の精度が高まる。
【図面の簡単な説明】
【００２０】
【図１】画像処理装置のハードウェア構成を示す図である。
【図２】カメラで空間が撮影される様子を示す図である。
【図３】第１位置で撮影された第１画像の一例であり、
【図４】第２位置で撮影された第２画像の一例である。
【図５】画像処理装置で実現される機能の一例を示す機能ブロック図である。
【図６】加工対象領域及び加工対象小領域を示す図である。
【図７】加工された第２画像の一例を示す図である。
【図８】撮影部分領域を示す図である。
【図９】類似領域の特定方法を示す図である。
【図１０】加工部による加工方法を示す図である。
【図１１】加工部により加工された第１画像を示す図である。
【図１２】画像処理装置において実行される処理の一例を示すフロー図である。
【図１３】変形例の機能ブロック図である。
【図１４】低解像度化された第１画像を示す図である。
【図１５】変形例（２）における類似領域の特定方法を示す図である。
【図１６】影部分の推定方法を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明に関わる画像処理装置の実施形態の例を説明する。画像処理装置は、画像処理が可能なコンピュータであり、例えば、パーソナルコンピュータ、サーバコンピュータ、携帯情報端末（タブレット型コンピュータを含む）、又は携帯電話機（スマートフォンを含む）等である。
【００２２】
［１．画像処理装置のハードウェア構成］
図１は、画像処理装置のハードウェア構成を示す図である。図１に示すように、画像処理装置１０は、制御部１１、記憶部１２、通信部１３、操作部１４、表示部１５、及び入出力部１６を含む。
【００２３】
制御部１１は、例えば、一又は複数のマイクロプロセッサを含む。制御部１１は、記憶部１２に記憶されたプログラムやデータに従って処理を実行する。記憶部１２は、主記憶部及び補助記憶部を含む。例えば、主記憶部はＲＡＭなどの揮発性メモリであり、補助記憶部は、ハードディスクやフラッシュメモリなどの不揮発性メモリである。通信部１３は、有線通信又は無線通信用の通信インタフェースであり、ネットワークを介してデータ通信を行う。
【００２４】
操作部１４は、ユーザが操作を行うための入力デバイスであり、例えば、タッチパネルやマウス等のポインティングデバイスやキーボード等である。操作部１４は、ユーザによる操作内容を制御部１１に伝達する。表示部１５は、例えば、液晶表示部又は有機ＥＬ表示部等である。表示部１５は、制御部１１の指示に従って画面を表示する。入出力部１６は、入出力インタフェースであり、例えば、ＵＳＢポートである。入出力部１６は、外部機器とデータ通信を行うために用いられる。例えば、入出力部１６は、カメラ２０と接続可能であり、画像を取り込めるようにしてよい。
【００２５】
カメラ２０は、静止画や動画を撮影可能な一般的な撮像装置であり、例えば、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサなどの撮像素子を含む。カメラ２０は、撮像素子で撮影した画像を生成してそのデータをメモリに記録する。このメモリは、カメラ２０に内蔵されたメモリであってもよいし、取り外し可能なフラッシュメモリなどであってもよい。また、カメラ２０は、広角レンズ又は魚眼レンズを備えていてもよく、画角や焦点距離は任意であってよい。例えば、カメラ２０は、全天球カメラであってもよいし、複数のレンズを備えることで水平方向及び垂直方向の少なくとも一方の全方向を撮影可能なカメラであってもよい。
【００２６】
なお、記憶部１２に記憶されるものとして説明するプログラム及びデータは、ネットワークを介して供給されるようにしてもよい。また、画像処理装置１０のハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、画像処理装置１０は、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）を含んでもよい。例えば、情報記憶媒体に記憶されたプログラムやデータが当該読取部や入出力部１６を介して、画像処理装置１０に供給されるようにしてもよい。
【００２７】
［２．画像処理装置が実行する処理の概要］
次に、画像処理装置１０が実行する処理の概要を説明する。本実施形態では、例えば、ユーザが空間内を移動しながらカメラ２０で撮影し、複数の位置でそれぞれ撮影された複数の画像が生成される。なお、空間は、カメラ２０の撮影対象となる地球上の場所であり、複数の被写体が配置されている。
【００２８】
図２は、カメラ２０で空間が撮影される様子を示す図である。図２に示すように、例えば、空間３０には、地面３１の上に道路３２と塀３３が配置されている。ユーザは、道路３２の上においてカメラ２０を三脚２１で固定して撮影する。ここでは、ユーザは、第１位置Ｐ１と第２位置Ｐ２で撮影する場合を説明するが、３地点以上において撮影してもよい。また、第１位置Ｐ１における撮影方向Ｖ１と、第２位置Ｐ２における撮影方向Ｖ２と、は異なっていてもよいが、説明の簡略化のために、ここでは同じとする。
【００２９】
また、本実施形態では、カメラ２０の後方に太陽があるものとする。このため、図２に示すように、第１位置Ｐ１における撮影時には、カメラ２０及び三脚２１の影Ｓ１が前方に伸び、第２位置Ｐ２における撮影時には、カメラ２０及び三脚２１の影Ｓ２が前方に伸びている。また、塀３３の影Ｓ３も地面３１の上にある。なお、図２では、説明の都合上、影Ｓ１，Ｓ２の両方を示しているが、実際には、第１位置Ｐ１における撮影時には影Ｓ２は存在せず、第２位置Ｐ２における撮影時には影Ｓ１は存在しない。
【００３０】
図３は、第１位置Ｐ１で撮影された第１画像の一例であり、図４は、第２位置Ｐ２で撮影された第２画像の一例である。なお、ここでは、画像の左上を原点ＯＳとしたスクリーン座標軸（ＸＳ軸及びＹＳ軸）が設定され、画像内の画素の位置は、２次元座標で示されるものとする。また、第１画像Ｉ１Ｈと第２画像Ｉ２Ｈは、互いに同じサイズであり、ここでは、正方形とする。
【００３１】
図３及び図４に示すように、第１画像Ｉ１Ｈには影Ｓ１が写されており、第２画像Ｉ２Ｈには影Ｓ２が写されている。先述したように、第２画像Ｉ２Ｈの撮影時には影Ｓ１が存在しないので、第１画像Ｉ１Ｈにおいて影Ｓ１がある空間３０の一部分（ここでは、道路３２上の一部分である。以降、影部分３４という。）は、第２画像Ｉ２Ｈでは、影で暗くなっておらず、明るい状態で写されている。このため、第１画像Ｉ１Ｈでは影Ｓ１で暗くなって見えにくい影部分３４の模様が、第２画像Ｉ２Ｈでは鮮明に写されている。
【００３２】
一応、第２画像Ｉ２Ｈにおいて影部分３４を判別可能ではあるが、先述したように、第２画像Ｉ２Ｈの影部分３４は拡大したり変形したりする必要があるため十分に復元の精度を高めることができないと、発明者達は考えている。一方、第１画像Ｉ１Ｈには、道路３２の他の部分が撮影されており、影部分３４と似た様子が写されている可能性がある。このため、本実施形態では、第１画像Ｉ１Ｈの中から影部分３４に類似する領域を探し出し、当該領域に基づいて第１画像Ｉ１Ｈに写された影Ｓ１の色を変えるようにしている。以降、この技術の詳細を説明する。
【００３３】
［３．画像処理装置において実現される機能］
図５は、画像処理装置１０で実現される機能の一例を示す機能ブロック図である。図５に示すように、本実施形態では、データ記憶部１００、第１画像取得部１０１、第２画像取得部１０２、加工対象領域特定部１０３、撮影部分領域特定部１０４、類似領域特定部１０５、及び加工部１０６が画像処理装置１０で実現される場合を説明する。
【００３４】
［３−１．データ記憶部］
データ記憶部１００は、記憶部１２を主として実現される。データ記憶部１００は、カメラ２０が撮影した画像（写真）を記憶する。本実施形態は、複数の画像の各々の縦横比、サイズ、解像度、色数（カラー画像におけるビット数）、及びデータ形式が互いに同じであるものとするが、画像間でこれらは異なっていてもよい。データ記憶部１００は、互いに異なる位置から撮影された複数の画像を記憶することになる。
【００３５】
なお、本実施形態では、データ記憶部１００に画像が記憶される場合を説明するが、画像は、他の機器又はコンピュータに記憶されているようにしてもよい。例えば、画像は、カメラ２０のメモリに記憶されていてもよいし、サーバコンピュータに記憶されていてもよい。即ち、後述する第１画像取得部１０１及び第２画像取得部１０２は、データ記憶部１００以外から画像を取得してもよい。
【００３６】
［３−２．第１画像取得部］
第１画像取得部１０１は、制御部１１を主として実現される。本実施形態の第１画像取得部１０１は、第１位置Ｐ１から撮影され、空間３０の一部に影Ｓ１がある様子が写された第１画像Ｉ１Ｈを取得する。例えば、第１画像取得部１０１は、データ記憶部１００に記憶された第１画像Ｉ１Ｈを取得する。
【００３７】
第１画像Ｉ１Ｈは、空間３０の一部である影部分３４に影Ｓ１がある状態で撮影された画像である。先述したように、影部分３４は、第１画像Ｉ１Ｈの撮影時に影Ｓ１が落とされた部分である。別の言い方をすれば、影部分３４は、第１画像Ｉ１Ｈに写された被写体のうち、影Ｓ１で暗くなった部分の被写体である。本実施形態では、影部分３４は、第１画像Ｉ１Ｈの撮影時にカメラ２０及び三脚２１の影Ｓ１がある道路３２の一部分である。
【００３８】
［３−３．第２画像取得部］
第２画像取得部１０２は、制御部１１を主として実現される。第２画像取得部１０２は、第２位置Ｐ２から撮影され、第１画像Ｉ１Ｈにおける空間３０の影部分３４が写された第２画像Ｉ２Ｈを取得する。本実施形態では、第２画像取得部１０２は、第１画像Ｉ１Ｈにおける空間３０の影部分３４から第１位置Ｐ１よりも離れた第２位置Ｐ２から撮影され、影部分３４が写された第２画像Ｉ２Ｈを取得する。例えば、第２画像取得部１０２は、データ記憶部１００に記憶された第２画像Ｉ２Ｈを取得する。
【００３９】
第２画像Ｉ２Ｈは、影部分３４に影がない状態で撮影されている。即ち、第２画像Ｉ２Ｈは、影部分３４に対して光が当たった状態で撮影されている。なお、第２画像Ｉ２Ｈには、影部分３４に絶対に影があってはならないわけではなく、第１画像Ｉ１Ｈよりも影部分３４が鮮明であれば、影部分３４に少しだけ影があってもよい。また、本実施形態では、図２に示すように、第２位置Ｐ２は、第１位置Ｐ１よりも影部分３４から離れているので、影部分３４は、第２画像Ｉ２Ｈでは第１画像Ｉ１Ｈよりも小さく写されている。同様に、第１画像Ｉ１Ｈに写された道路３２及び塀３３の部分も、第２画像Ｉ２Ｈでは、第１画像Ｉ１Ｈよりも小さく写されている。
【００４０】
［３−４．加工対象領域特定部］
加工対象領域特定部１０３は、制御部１１を主として実現される。加工対象領域特定部１０３は、第１画像Ｉ１Ｈにおいて影Ｓ１が写された加工対象領域を特定する。
【００４１】
加工対象領域は、影Ｓ１の一部又は全部を少なくとも含む領域であり、加工部１０６による画像処理の対象となる領域といえる。加工対象領域は、影Ｓ１を示す画素だけから構成されてもよいし、影Ｓ１を示す画素とその周囲の画素とから構成されてもよい。ここでは、加工対象領域が、影Ｓ１を示す画素だけから構成される場合を説明する。なお、加工対象領域が、影Ｓ１を示す画素とその周囲の画素を含む場合には、加工対象領域は、影Ｓ１の輪郭から所定距離以内の画素を含む領域としてもよいし、所定形状及び所定サイズの領域であってもよい。
【００４２】
加工対象領域は、特に複数の領域に分かれていなくてもよいが、本実施形態では、複数の加工対象小領域を含むものとする。加工対象小領域は、後述する類似領域の検索単位となる領域であり、例えば、影Ｓ１を示す画素全体のうち、少なくとも１つの画素から構成される領域である。本実施形態では、加工対象小領域は、第１画像Ｉ１Ｈにおいて影Ｓ１が写された個々の画素である場合を説明するが、影Ｓ１が写された複数の画素であってもよい。このため、加工対象領域である影Ｓ１がｎ個（ｎは正整数であり、加工対象領域の総画素数を示す。）の画素によって示されたとすると、加工対象小領域もｎ個存在する。
【００４３】
図６は、加工対象領域及び加工対象小領域を示す図である。先述したように、本実施形態では、加工対象領域は影Ｓ１であるため、図６に示すように、加工対象小領域は、影Ｓ１を構成する個々の画素ｐｎ（ｘｎ，ｙｎ）となる。なお、（ｘｎ，ｙｎ）は、画素を識別する２次元座標である。本実施形態では、画素ｐｎ（ｘｎ，ｙｎ）ごとに、当該画素ｐｎ（ｘｎ，ｙｎ）を含む所定サイズの周囲領域Ａｎが設定される。ここでは、周囲領域Ａｎは、画素ｐｎ（ｘｎ，ｙｎ）を中心点とする所定サイズの正方形である。本実施形態では、周囲領域Ａｎは、後述する撮影部分領域を特定するために用いられる。なお、図６では、周囲領域Ａｎを１つだけ示しているが、周囲領域Ａｎは、加工対象小領域の数（即ち、ｎ個）だけ設定される。
【００４４】
加工対象領域特定部１０３は、ユーザの操作又は画像解析に基づいて、加工対象領域を特定すればよい。例えば、ユーザの操作に基づいて加工対象領域が特定される場合には、加工対象領域特定部１０３は、表示部１５に第１画像Ｉ１Ｈを表示させ、ユーザの操作を受け付ける。例えば、ユーザは、操作部１４を操作して、影Ｓ１を表す領域を選択する。領域を選択する操作は、一般的なペイントソフトで採用されている領域選択操作であってよく、例えば、ポインティングデバイスを利用してカーソルで影Ｓ１の輪郭又はその付近をなぞる操作であってもよい。加工対象領域特定部１０３は、ユーザが選択した領域に基づいて、加工対象領域を特定する。
【００４５】
また例えば、画像解析に基づいて加工対象領域が特定される場合には、加工対象領域特定部１０３は、影Ｓ１の基本パターンを示すテンプレート画像を利用したテンプレートマッチングに基づいて、影Ｓ１を特定し、加工対象領域を特定する。他にも例えば、影Ｓ１は所定の色（例えば、黒、濃紺、又はグレー）を有しているので、加工対象領域特定部１０３は、第１画像Ｉ１Ｈに対してエッジ検出処理を実行して抽出した領域（即ち、同一色又は類似色が連続する領域）のうち所定の色を有する領域を、加工対象領域として特定してもよい。なお、影Ｓ１を特定するアルゴリズム自体は、公知の種々の影検出アルゴリズムを適用可能である。加工対象領域特定部１０３は、影検出アルゴリズムで検出した領域に基づいて、加工対象領域を特定すればよい。
【００４６】
なお、第１画像Ｉ１Ｈの中には、カメラ２０の三脚２１の影Ｓ１以外の影（例えば、塀３３の影Ｓ３）も存在するので、例えば、加工対象領域特定部１０３は、第１画像Ｉ１Ｈの所定領域（例えば、画像の下半分や中央付近）だけを加工対象領域の検索対象としてもよい。このように、加工対象領域の位置が予想可能である場合には、検索対象となる領域を少なくして、画像処理装置１０の処理負荷軽減及び加工対象領域の迅速な特定を図るようにしてもよい。
【００４７】
［３−５．撮影部分領域特定部］
撮影部分領域特定部１０４は、制御部１１を主として実現される。撮影部分領域特定部１０４は、第２画像Ｉ２Ｈに基づいて、空間３０の影部分３４が写された撮影部分領域を特定する。なお、本実施形態では、撮影部分領域特定部１０４は、第２画像Ｉ２Ｈを加工して撮影部分領域を特定する場合を説明するが、特に加工せずに第２画像Ｉ２Ｈの中で撮影部分領域を特定してもよい。
【００４８】
撮影部分領域は、影部分３４が写された画像の一部分である。別の言い方をすれば、撮影部分領域は、第１画像Ｉ１Ｈよりも影部分３４が鮮明に又は明るく写された画像の一部分である。本実施形態では、撮影部分領域は、空間３０の影部分３４に影がない状態で写された画像内の一部分である。
【００４９】
例えば、第１画像Ｉ１Ｈの撮影タイミングと、第２画像Ｉ２Ｈの撮影タイミングと、の時間差がほとんどない場合、塀３３と太陽との位置関係はほとんど変わらないので、道路３２上にできた塀３３の影Ｓ３の形状もほとんど変わらない。本実施形態では、この点に注目し、撮影部分領域特定部１０４は、第１画像Ｉ１Ｈにおける影Ｓ３の形状と合うように、第２画像Ｉ２Ｈを加工する場合を説明する。このように第２画像Ｉ２Ｈを加工するのは、第１画像Ｉ１Ｈにおいて影Ｓ１が写った画素に対応する第２画像Ｉ２Ｈの画素がどこであるかを特定するためである。なお、加工とは、拡大、縮小、変形、透視変換、投影変換、解像度変更、又は切り取りなどの種々の画像処理を含む意味である。
【００５０】
まず、撮影部分領域特定部１０４は、公知の影検出アルゴリズム又は輪郭抽出アルゴリズムに基づいて、第１画像Ｉ１Ｈに写された影Ｓ３と、第２画像Ｉ２Ｈに写された影Ｓ３と、を特定し、それぞれの特徴点を抽出する。特徴点は、影Ｓ３の形状的な特徴を表す点であればよく、例えば、影Ｓ３の輪郭上の任意の点が用いられるようにしてよい。ここでは、特徴点の一例として、影Ｓ３の頂点を用いる。そして、撮影部分領域特定部１０４は、第１画像Ｉ１Ｈの影Ｓ３の特徴点の位置関係と、第２画像Ｉ２Ｌの影Ｓ３の特徴点の位置関係と、に基づいて、第２画像Ｉ２Ｈを加工する。
【００５１】
図７は、加工された第２画像Ｉ２Ｌの一例を示す図である。なお、ここでは、加工の一例として、透視変換及び投影変換を説明する。一般的に、透視変換及び投影変換が行われると画像の解像度は低下するので、図７では、第２画像Ｉ２Ｌが低解像度化されている様子を、模式的に破線で描いている。即ち、本実施形態では、図面において、実線で描画している被写体は高解像度であることを意味し、破線で描画している被写体は低解像度であることを意味する。
【００５２】
図７に示すように、撮影部分領域特定部１０４は、第１画像Ｉ１Ｈの影Ｓ３の特徴点Ｑ１〜Ｑ５の２次元座標と、第２画像Ｉ２Ｌの影Ｓ３の特徴点Ｒ１〜Ｒ５の２次元座標と、のずれ具合が閾値未満となるように、第２画像Ｉ２Ｌを加工する。例えば、撮影部分領域特定部１０４は、これらの２次元座標の差に基づいて、特徴点のずれ具合を示す評価値を算出してもよい。例えば、撮影部分領域特定部１０４は、第２画像Ｉ２Ｈに対する透視変換及び投影変換を繰り返すことによって、評価値が示すずれ具合が閾値未満となる第２画像Ｉ２Ｌを見つけ出す。即ち、撮影部分領域特定部１０４は、第２画像Ｉ２Ｌにおける影Ｓ３が第１画像Ｉ１Ｈにおける影Ｓ３と合うように、第２画像Ｉ２Ｈを加工する。
【００５３】
上記のように、撮影部分領域特定部１０４は、第１画像Ｉ１Ｈの影Ｓ３と第２画像Ｉ２Ｌの影Ｓ３とのサイズ合わせ及び位置合わせをする。なお、サイズ合わせ及び位置合わせの精度を高めるために、撮影部分領域特定部１０４は、第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈのうち、道路３２以外の部分に対してぼかし処理を施したうえで、上記のサイズ合わせ及び位置合わせをするようにしてもよい。この場合、道路３２以外の部分はぼかされているので、影Ｓ３の特徴点だけを正確に検出することができるので、サイズ合わせ及び位置合わせの精度を高めることができる。なお、道路３２以外の部分は、ぼかすのではなく、マスクすることによって特徴点抽出の対象外としてもよい。
【００５４】
なお、ここでは、影Ｓ３を基準にしたが、第１画像Ｉ１Ｈと第２画像Ｉ２Ｈの両方に写された被写体を基準にすればよい。このため、他の被写体（例えば、道路３２や塀３３など）を基準にしてサイズ合わせ及び位置合わせが行われるようにしてもよい。被写体の特定は、公知の物体検出アルゴリズムを利用すればよい。
【００５５】
本実施形態では、先述したように、加工対象領域（ここでは、影Ｓ１）が複数の加工対象小領域（ここでは、影Ｓ１を示す画素ｐｎ（ｘｎ，ｙｎ））に分けられているので、撮影部分領域特定部１０４は、複数の加工対象小領域にそれぞれ対応する複数の撮影部分領域を特定する。即ち、１つの加工対象領域に対して、１つの撮影部分領域が特定される。
【００５６】
図８は、撮影部分領域を示す図である。図８に示すように、例えば、撮影部分領域特定部１０４は、低解像度化された第２画像Ｉ２Ｌにおいて、加工対象小領域である画素ｐｎ（ｘｎ，ｙｎ）と同じ座標の画素を含むように、撮影部分領域Ｂｎを特定する。なお、これらは全く同じ座標である必要はなく、多少のずれがあってもよい。また、撮影部分領域Ｂｎは、周囲領域Ａｎと同じ形状及びサイズであり、画素ｐｎ（ｘｎ，ｙｎ）を中心点とした所定サイズの正方形とする。なお、これらは、全く同じ形状及びサイズである必要はなく、形状及びサイズが多少はずれていてもよい。
【００５７】
上記のように、本実施形態では、第２位置Ｐ２は、第１位置Ｐ１よりも、空間３０の影部分３４から離れているので、撮影部分領域特定部１０４は、第１画像Ｉ１Ｈにおける被写体と合うように第２画像Ｉ２Ｈを低解像度化する。そして、撮影部分領域特定部１０４は、低解像度化された第２画像Ｉ２Ｌにおいて影部分３４が写された領域を、撮影部分領域Ｂｎとして取得する。例えば、撮影部分領域特定部１０４は、第１画像Ｉ１Ｈにおける加工対象領域と同じ位置（２次元座標）にある第２画像Ｉ２Ｌ内の領域を、撮影部分領域Ｂｎとして特定する。このため、加工対象領域に含まれる２次元座標と、撮影部分領域Ｂｎとに含まれる２次元座標と、は同じとなる。
【００５８】
また、ここでは、画像解析を利用して撮影部分領域Ｂｎが特定される場合を説明したが、撮影部分領域特定部１０４は、ユーザの操作に基づいて撮影部分領域Ｂｎを特定してもよい。この場合、撮影部分領域特定部１０４は、表示部１５に第２画像Ｉ２Ｈ又は低解像度化された第２画像Ｉ２Ｌを表示させ、ユーザの操作を受け付ける。撮影部分領域特定部１０４は、ユーザが選択した領域を、撮影部分領域Ｂｎとして特定すればよい。また例えば、撮影部分領域特定部１０４は、ユーザの操作によってある程度は第２画像Ｉ２Ｈを加工したうえで、低解像度化された第２画像Ｉ２Ｌが第１画像Ｉ１Ｈと合うように画像解析によって調整してもよい。
【００５９】
［３−６．類似領域特定部］
類似領域特定部１０５は、制御部１１を主として実現される。類似領域特定部１０５は、第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈの少なくとも一方に基づいて、撮影部分領域Ｂｎに類似する類似領域Ｃｎを特定する。本実施形態では、類似領域特定部１０５は、第１画像Ｉ１Ｈの中から類似領域Ｃｎを特定する場合を説明するが、後述する変形例のように、第１画像Ｉ１Ｈを加工した画像の中から類似領域Ｃｎを特定してもよいし、第２画像Ｉ２Ｈの中で類似領域Ｃｎを特定してもよいし、これらの画像の中で類似領域Ｃｎを特定してもよい。なお、類似領域Ｃｎは、画像全体の中から探索されるのではなく、中央付近や端部付近などの一部分から探索されてもよい。
【００６０】
また、本実施形態では、加工対象小領域である画素ｐｎ（ｘｎ，ｙｎ）ごとに撮影部分領域Ｂｎが特定されるので、類似領域特定部１０５は、複数の撮影部分領域Ｂｎにそれぞれ類似する複数の類似領域Ｃｎを特定する。即ち、ここでは、１つの撮影部分領域Ｂｎに対して、１つの類似領域Ｃｎが特定される。なお、特に加工対象小領域が設定されない場合には、類似領域Ｃｎが１つだけ特定されるようにしてもよい。
【００６１】
図９は、類似領域の特定方法を示す図である。例えば、類似領域特定部１０５は、撮影部分領域Ｂｎをテンプレート画像とし、テンプレートマッチングを実行することによって、類似領域Ｃｎを特定する。図９に示すように、類似領域特定部１０５は、第１画像Ｉ１Ｈを撮影部分領域Ｂｎと同じ又は同程度のサイズの複数の小領域（図７では、破線で区切られた８×８の６４個）に分割する。なお、ここでは、説明の簡略化のために、比較的大きい小領域としているが、数百個又はそれ以上の小領域に分割してサイズを小さくしてもよい。同様に、撮影部分領域Ｂｎも小さなサイズにして複数の領域に分割してもよい。
【００６２】
そして、類似領域特定部１０５は、各小領域内の画素値と、撮影部分領域Ｂｎ内の画素値と、に基づいて、類似度を示す評価値を算出する。なお、画素値とは、画素の色を示す値であり、ＲＧＢカラー画像であれば、Ｒ値、Ｇ値、及びＢ値である。画素値は、明度とも呼ばれる。例えば、類似領域特定部１０５は、下記の数式１を用いて評価値を算出してもよい。なお、評価値の算出は、数式１に限られず、画素値のずれ具合を総合的に評価可能な数式を用いればよい。
【００６３】
【数１】
2018011930.tif 000003
【００６４】
上記数式１のＥＨ１Ｒは、評価値である。ｍは、小領域及び撮影部分領域Ｂｎ内の画素の総数である。Ｘ１Ｈｉは、小領域内の各画素の画素値である。ＸＢｎｉは、撮影部分領域Ｂｎ内の各画素の画素値である。ここでは、これらの差の二乗の総和を評価値ＥＨ１Ｒとして用いているので、評価値ＥＨ１Ｒが大きいほど色のずれ具合が大きいことを示し、評価値ＥＨ１Ｒが小さいほど色のずれ具合が小さいことを示す。類似領域特定部１０５は、評価値ＥＨ１Ｒが最も小さくなる小領域、又は、評価値ＥＨ１Ｒが閾値未満となる小領域を、類似領域Ｃｎとして特定する。なお、上記説明した類似領域Ｃｎの特定方法は一例であり、画像の類否判断が可能な種々のマッチング手法を適用可能である。
【００６５】
［３−７．加工部］
加工部１０６は、制御部１１を主として実現される。加工部１０６は、類似領域Ｃｎに基づいて、第１画像Ｉ１Ｈにおける加工対象領域を加工する。ここでの加工とは、加工対象領域の画素値を変えることであり、即ち、加工対象領域の色を変えることである。
【００６６】
図１０は、加工部１０６による加工方法を示す図である。本実施形態では、加工対象領域（ここでは、影Ｓ１）が加工対象小領域（ここでは、影Ｓ１の画素ｐｎ（ｘｎ，ｙｎ））に分けられているので、加工部１０６は、複数の加工対象小領域の各々を、対応する撮影部分領域Ｂｎに類似する類似領域Ｃｎに基づいて加工する。
【００６７】
例えば、加工部１０６は、周囲領域Ａｎの中心にある加工対象小領域の画素ｐｎ（ｘｎ，ｙｎ）の画素値を、類似領域Ｃｎ内の画素（例えば、中心の画素）の画素値とする。加工部１０６は、この処理を画素ｐｎ（ｘｎ，ｙｎ）の数だけ繰り返す。なお、加工部１０６は、類似領域Ｃｎ内の画素値と全く同じになるように画素値を変更してもよいし、類似領域Ｃｎ内の画素値と全く同じでなくても、当該画素値に近づくように画素値を変更してもよい。
【００６８】
図１１は、加工部１０６により加工された第１画像Ｉ１Ｈを示す図である。図１１に示すように、加工部１０６の処理により、加工対象領域である影Ｓ１が除去され、影部分３４にある模様と同じ又は似た模様が、加工対象領域内に描画される。なお、加工部１０６は、加工対象領域内の色を変更した後に、ポアソンブレンディングのように色の境界を滑らかにする処理を施してもよい。
【００６９】
［４．本実施形態において実行される処理］
図１２は、画像処理装置１０において実行される処理の一例を示すフロー図である。図１２に示す処理は、制御部１１が、記憶部１２に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図５に示す機能ブロックにより実行される処理の一例である。
【００７０】
図１２に示すように、まず、制御部１１は、第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈを取得する（Ｓ１，Ｓ２）。第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈの各々は、記憶部１２に記憶されていてもよいし、カメラ２０内のメモリに記憶されていてもよい。あるいは、画像処理装置１０に接続された情報記憶媒体に記憶されていてもよいし、サーバコンピュータなどに記憶されていてもよい。
【００７１】
制御部１１は、第１画像Ｉ１Ｈの中から、影Ｓ１が写された領域である加工対象領域を特定する（Ｓ３）。先述したように、Ｓ３においては、制御部１１は、ユーザの選択に基づいて加工対象領域である影Ｓ１を特定してもよいし、画像解析により加工対象領域である影Ｓ１を特定してもよい。
【００７２】
制御部１１は、第１画像Ｉ１Ｈと合うように、第２画像Ｉ２Ｈを低解像度化する（Ｓ４）。先述したように、Ｓ４においては、制御部１１は、第１画像Ｉ１Ｈに写された影Ｓ３の特徴点と、第２画像Ｉ２Ｌに写された影Ｓ３の特徴点と、のずれ具合が閾値未満となるまで透視変換及び投影変換を繰り返す。
【００７３】
制御部１１は、低解像度化された第２画像Ｉ２Ｌの中から、影Ｓ１の画素ｐｎ（ｘｎ，ｙｎ）ごとに、撮影部分領域Ｂｎを特定する（Ｓ５）。先述したように、Ｓ５においては、制御部１１は、第１画像Ｉ１Ｈと、低解像度化された第２画像Ｉ２Ｌと、を重ね合わせ、加工対象小領域である画素ｐｎ（ｘｎ，ｙｎ）と同じ座標を含む所定形状の領域を、当該画素ｐｎ（ｘｎ，ｙｎ）の撮影部分領域Ｂｎとして特定することになる。ここでは、加工対象小領域がｎ個あるので、制御部１１は、ｎ個分の撮影部分領域Ｂｎを特定する。
【００７４】
制御部１１は、第１画像Ｉ１Ｈの中から、Ｓ５で特定した撮影部分領域Ｂｎごとに、類似領域Ｃｎを特定する（Ｓ６）。先述したように、Ｓ６においては、制御部１１は、第１画像Ｉ１Ｈを複数の小領域に分割し、撮影部分領域Ｂｎ内の画素値との類似度を示す評価値ＥＨ１Ｒに基づいて類似領域Ｃｎを特定する。ここでは、加工対象小領域がｎ個あるので、制御部１１は、ｎ個分の類似領域Ｃｎを特定する。
【００７５】
制御部１１は、Ｓ６で特定した類似領域Ｃｎに基づいて、第１画像Ｉ１Ｈの加工対象領域（ここでは、影Ｓ１）を加工し（Ｓ７）、本処理は終了する。Ｓ７においては、先述したように、制御部１１は、類似領域Ｃｎ内の画素値を、加工対象領域内の画素の画素値とする。ここでは、加工対象小領域がｎ個あるので、制御部１１は、ｎ個分の類似領域Ｃｎに基づいて、対応する加工対象小領域の画素値を変更する。
【００７６】
以上説明した画像処理装置１０によれば、高解像度の第１画像Ｉ１Ｈから類似領域Ｃｎを検索し、加工対象領域である影Ｓ１を加工するので、解像度の差に起因する不自然さを解消することができ、影部分３４の復元の精度を高めることができる。例えば、実施形態では、撮影部分領域Ｂｎは低解像度化された第２画像Ｉ２Ｌから特定されたものなので、撮影部分領域Ｂｎに影部分３４が写っていたとしても、低解像度の画像をそのまま高解像度の第１画像Ｉ１Ｈに貼り付けると、不自然な状態となってしまう。即ち、例えば、低解像度の画像は、高解像度の画像に比べて、被写体の色が詳細に表れていなかったり、色の変化が厳密に表れていなかったりする（例えば、低解像度の画像だと全体的にぼやけるため、色の変化が実際よりも小さくなるが、高解像度だと、はっきりと色が変化する様子を表現できる）ため、高解像度の第１画像Ｉ１Ｈに低解像度の画像を貼り付けると、不自然となる。この点、実施形態のように、高解像度の第１画像Ｉ１Ｈから類似領域Ｃｎを検索して、加工対象領域である影Ｓ１の色を変えることによって、加工した部分は、被写体の色を詳細に示したり、色の変化を厳密に表したりすることができるので、より自然な状態で影部分３４を復元することができる。また、第１画像Ｉ１Ｈの全体から類似領域Ｃｎを探索するので、第１画像Ｉ１Ｈにおいて影Ｓ１から離れた部分に、影部分３４と似たパターンが存在していたとしても、その部分を検出して復元することもできる。更に、第１画像Ｉ１Ｈにおける被写体と合うように第２画像Ｉ２Ｈを低解像度化することで、影部分３４が写された撮影部分領域Ｂｎをより正確に特定することができる。
【００７７】
また、加工対象領域を複数の加工対象小領域に分け、加工対象小領域ごとに、対応する類似領域Ｃｎに基づいて加工する場合には、より細かい単位で色の類否を判断し、影Ｓ１の色を変えることができるので、影部分３４の復元の精度をより高めることができる。
【００７８】
また、加工対象小領域を、影Ｓ１を構成する個々の画素ｐｎ（ｘｎ，ｙｎ）とし、より細かい単位に分けることで、より細かく色の類否を判断することができるので、影部分３４の復元の精度をより高めることができる。
【００７９】
［５．変形例］
なお、本発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。
【００８０】
図１３は、変形例の機能ブロック図である。図１３に示すように、以降説明する変形例では、周囲類似領域特定部１０７、推定部１０８、及び周囲領域取得部１０９が実現される。これら各機能は、制御部１１を主として実現される。なお、画像処理装置１０は、これらを全て備える必要はない。
【００８１】
（１）例えば、実施形態で説明したように、低解像度化した第２画像Ｉ２Ｌから撮影部分領域Ｂｎが特定される場合、マッチングの精度をより高めるために、第１画像Ｉ１Ｈの解像度を第２画像Ｉ２Ｌと同程度まで低下させ、低解像度化された第１画像Ｉ１Ｌの中から、類似領域Ｃｎを探索してもよい。
【００８２】
変形例（１）の類似領域特定部１０５は、低解像度化された第２画像Ｉ２Ｌの解像度と合うように第１画像Ｉ１Ｈを低解像度化する。例えば、類似領域特定部１０５は、第２画像Ｉ２Ｌと同じ解像度まで第１画像Ｉ１Ｈの解像度を低下させてもよいし、全く同じ解像度でなくとも、第２画像Ｉ２Ｌの解像度の差が閾値未満となる解像度まで第１画像Ｉ１Ｈの解像度を低下させてもよい。なお、画像の解像度を低下させる方法自体は、公知の解像度変換方法を適用可能である。
【００８３】
図１４は、低解像度化された第１画像Ｉ１Ｌを示す図である。なお、図１４では、図７と同様に、画像が低解像度化される様子を、模式的に破線で示している。図１４に示すように、低解像度化された第１画像Ｉ１Ｌは、低解像度化された第２画像Ｉ２Ｌと同程度のぼやけ具合となっている。類似領域特定部１０５は、第１画像Ｉ１Ｈを低解像度化して、全体的に被写体をぼかした第１画像Ｉ１Ｌを生成することになる。
【００８４】
本変形例の類似領域特定部１０５は、低解像度化された第１画像Ｉ１Ｌにおいて、撮影部分領域Ｂｎに類似する領域を、類似領域Ｃｎとして特定する。即ち、低解像度化された第１画像Ｉ１Ｌにおいて、撮影部分領域Ｂｎに類似する領域と同じ第１画像Ｉ１Ｌ内の領域が、類似領域Ｃｎとして特定されてよい。類似する領域を特定する方法自体は、実施形態で説明した方法と同様であってよい。即ち、類似領域特定部１０５は、撮影部分領域Ｂｎをテンプレート画像とし、テンプレートマッチングを実行することによって、類似領域Ｃｎを特定してもよい。この場合、例えば、類似領域特定部１０５は、第１画像Ｉ１Ｌを撮影部分領域Ｂｎと同じ又は同程度の大きさの複数の小領域に分割し、各小領域内の画素値と、撮影部分領域Ｂｎ内の画素値と、に基づいて、類似度を示す評価値ＥＬ１Ｒを算出する。評価値ＥＬ１Ｒの算出は、実施形態で説明した数式１と同様であってよい。
【００８５】
なお、加工部１０６は、低解像度化された第１画像Ｉ１Ｌにおける類似領域Ｃｎの画素値を使ってもよいが、ここでは、低解像度化された第１画像Ｉ１Ｌは類似領域Ｃｎの特定にだけ利用し、加工対象領域に対する加工には、高解像度の第１画像Ｉ１Ｈにおける類似領域Ｃｎの画素値を使うものとする。加工部１０６は、低解像度化される前の第１画像Ｉ１Ｈにおける類似領域Ｃｎの画素値に基づいて加工することになる。即ち、加工部１０６は、低解像度化された第１画像Ｉ１Ｌを使って特定された類似領域Ｃｎと同じ座標の第１画像Ｉ１Ｈの画素の画素値を使って加工する。加工部１０６が類似領域Ｃｎの画素値に基づいて加工する方法自体は、実施形態で説明した方法と同様であってよい。
【００８６】
変形例（１）によれば、低解像度化された第２画像Ｉ２Ｌと同程度まで解像度を下げた第１画像Ｉ１Ｌの中から類似領域Ｃｎを検索するので、影部分３４と類似する領域をより正確に特定することができる。その結果、影部分３４の復元の精度を高めることができる。
【００８７】
また、低解像度化された第１画像Ｉ１Ｌの画素値を使っても、影部分３４の復元の精度をそれなりに高めることができるが、高解像度の第１画像Ｉ１Ｈの画素値を使って加工すれば、解像度の差に起因する不自然さを解消することができ、影部分３４の復元の精度をより高めることができる。
【００８８】
（２）また例えば、第１画像Ｉ１Ｈに写された影Ｓ１の周囲には、影部分３４と同様のパターンが表れている可能性がある。このため、撮影部分領域Ｂｎとの類似度と、影Ｓ１の周囲のパターンとの類似度と、を総合的に考慮して、類似領域Ｃｎを特定してもよい。
【００８９】
本変形例の類似領域特定部１０５は、撮影部分領域Ｂｎと、第１画像Ｉ１Ｈにおける影を含む周囲領域Ａｎと、に類似する類似領域Ｃｎを特定する。先述したように、周囲領域Ａｎは、影Ｓ１が写された画素から一定距離以内の画素を含む領域である。周囲領域Ａｎは、任意の形状であってよく、ここでは正方形とするが、長方形又は円形などの他の形状であってよい。周囲領域Ａｎのサイズも任意であってよいが、ここでは、第１画像Ｉ１Ｈを分割した小領域と同じサイズとする。なお、影Ｓ１は、道路３２上の一部である影部分３４にあるので、周囲領域Ａｎは、その周囲の道路３２が撮影された部分となる。
【００９０】
図１５は、変形例（２）における類似領域Ｃｎの特定方法を示す図である。まず、類似領域特定部１０５は、ユーザの操作又は画像解析により、第１画像Ｉ１Ｈの中から周囲領域Ａｎを特定する。例えば、ユーザの操作に基づいて周囲領域Ａｎが特定される場合には、類似領域特定部１０５は、表示部１５に第１画像Ｉ１Ｈを表示させ、ユーザの操作を受け付ける。例えば、ユーザは、操作部１４を操作して、影Ｓ１の一部又は全部を含むように周囲領域Ａｎを選択するようにしてよい。この場合、類似領域特定部１０５は、ユーザが選択した領域に基づいて、周囲領域Ａｎを特定する。また例えば、画像解析に基づいて周囲領域Ａｎが特定される場合には、類似領域特定部１０５は、加工対象領域を特定する場合と同様の方法で影Ｓ１を特定し、当該影Ｓ１の一部又は全部を含むように周囲領域Ａｎを特定すればよい。なお、影Ｓ１を含む小領域は、検索の対象外とするようにしてよい。
【００９１】
そして、類似領域特定部１０５は、第１画像Ｉ１Ｈの各小領域内の画素値と、周囲領域Ａｎ内の画素値と、に基づいて、類似度を示す評価値ＥＨ１Ａを算出する。評価値ＥＨ１Ａは、これらの画素値の差に基づいて算出されるようにすればよく、実施形態で説明した数式１と同様の数式を利用してよい。
【００９２】
類似領域特定部１０５は、撮影部分領域Ｂｎとの類似度を示す評価値ＥＨ１Ｒと、周囲領域Ａｎとの類似度を示す評価値ＥＨ１Ａと、に基づいて、類似領域Ｃｎを特定する。例えば、類似領域特定部１０５は、評価値ＥＨ１Ｒと評価値ＥＨ１Ａとの和が最も低い小領域（即ち、Ｅ＝argmin(ＥＨ１Ｒ＋ＥＨ１Ａ)となる小領域。言い換えれば、類似度が総合的に高い小領域）を、類似領域Ｃｎとして特定する。なお、これらの和ではなく、所定の係数で重み付けをして算出した値を用いて小領域が選択されてもよい。また、これらの平均値を用いて小領域が選択されてもよい。即ち、撮影部分領域Ｂｎと周囲領域Ａｎとの総合的な類似度をもとに類似領域Ｃｎが特定されるようにすればよい。
【００９３】
変形例（２）によれば、周囲領域Ａｎとの類似度も考慮したうえで類似領域Ｃｎを特定することにより、影Ｓ１の周囲の情報を利用して影部分３４と似た領域を探し出すことができる。その結果、影部分３４の復元の精度をより高めることができる。
【００９４】
（３）また例えば、変形例（２）では、撮影部分領域Ｂｎと周囲領域Ａｎとの総合的な類似度をもとに、１つの類似領域Ｃｎを特定する場合を説明したが、撮影部分領域Ｂｎに類似する領域と、周囲領域Ａｎに類似する領域と、をそれぞれ別個に特定し、これら２つの領域内の画素値をもとに、加工対象領域である影Ｓ１を加工してもよい。
【００９５】
本変形例の画像処理装置１０は、周囲類似領域特定部１０７を含む。周囲類似領域特定部１０７は、第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈの少なくとも一方に基づいて、第１画像Ｉ１Ｈにおける影Ｓ１を含む周囲領域Ａｎに類似する周囲類似領域ＣｎＡを特定する。なお、ここでは、周囲類似領域特定部１０７は、第１画像Ｉ１Ｈの中から周囲類似領域ＣｎＡを特定する場合を説明するが、第１画像Ｉ１Ｈを加工した画像（例えば、低解像度化された第１画像Ｉ１Ｌ）の中から周囲類似領域ＣｎＡを特定してもよい。
【００９６】
類似する領域を特定する方法自体は、類似領域Ｃｎと同様であってよい。即ち、周囲類似領域特定部１０７は、周囲領域Ａｎをテンプレート画像とし、テンプレートマッチングを実行することによって、周囲類似領域ＣｎＡを特定すればよい。例えば、周囲類似領域特定部１０７は、周囲領域Ａｎとの類似度を示す評価値ＥＨ１Ａが最も高い小領域、又は、評価値ＥＨ１Ａが閾値未満の小領域を、周囲類似領域ＣｎＡとして特定する。
【００９７】
加工部１０６は、更に周囲類似領域ＣｎＡに基づいて加工する。即ち、加工部１０６は、類似領域Ｃｎと周囲類似領域ＣｎＡとに基づいて加工する。例えば、加工部１０６は、類似領域Ｃｎの評価値ＥＨ１Ｒと、周囲類似領域ＣｎＡの評価値ＥＨ１Ａと、を比較し、値が低い方（即ち、類似度の高い方）に基づいて、加工対象領域を加工してもよい。類似領域Ｃｎの方が周囲類似領域ＣｎＡよりも類似度が高い場合の加工方法は、実施形態で説明した方法と同じである。一方、周囲類似領域ＣｎＡの方が類似領域Ｃｎよりも類似度が高い場合、加工部１０６は、周囲類似領域ＣｎＡ内の画素値に基づいて、加工対象領域内の画素値を変更すればよい。
【００９８】
また例えば、加工部１０６は、類似領域Ｃｎ内の画素値と、周囲類似領域ＣｎＡ内の画素値と、を所与の数式に代入して得られる画素値を、加工対象領域である影Ｓ１内の画素値としてもよい。即ち、これら２つの画素値を混ぜて、影Ｓ１を塗りつぶすようにしてもよい。この数式は、予め定められた数式であればよく、例えば、単純平均であってもよいし、加重平均であってもよい。加重平均である場合には、評価値の値に基づいて係数が定まってもよい。
【００９９】
変形例（３）によれば、類似領域Ｃｎの画素値だけでなく、周囲類似領域ＣｎＡの画素値を考慮したうえで加工対象領域を加工することによって、より多くの情報をもとに影部分３４を復元することができるので、影部分３４の復元の精度をより高めることができる。
【０１００】
（４）また例えば、第１画像Ｉ１Ｈに写された影Ｓ１は、真っ黒とは限られず、ある程度は影部分３４の特徴が表れている可能性がある。このため、影Ｓ１の色に基づいて、影部分３４の色を推定し、類似領域Ｃｎだけでなく、当該推定結果に基づいて加工対象領域の加工が行われてもよい。
【０１０１】
変形例（４）の画像処理装置１０は、推定部１０８を含む。推定部１０８は、第１画像Ｉ１Ｈにおける影Ｓ１の周囲に基づいて、空間３０の影部分３４を推定する。例えば、推定部１０８は、第１画像Ｉ１Ｈにおける影Ｓ１の画素の画素値と、その周囲の画素の画素値と、に基づいて、影部分３４の色を推定する。
【０１０２】
図１６は、影部分３４の推定方法を示す図である。図１６に示すように、推定部１０８は、加工対象領域特定部１０３と同様の方法で、第１画像Ｉ１Ｈの中から影Ｓ１を特定し、その周囲の画素の色を取得する。なお、推定部１０８は、変形例（２）と同様に周囲領域Ａｎを特定してもよいが、ここでは、影Ｓ１の隣の画素の色を取得するものとする。例えば、影部分３４の本来の色を示す画素値をＯとし、影Ｓ１の基本色（例えば、黒）をＴとし、透明度をｒ（０≦ｒ≦１）とすると、影Ｓ１内の画素の画素値Ｘを、下記の数式２により定義することができる。
【０１０３】
【数２】
2018011930.tif 000004
【０１０４】
ここでは、影Ｓ１の端部の画素の本来の色（影Ｓ１がなかったとした場合の色。即ち、影部分３４の本来の色。）が、当該画素と隣接する隣接領域Ｓｎの画素の色と同じと仮定する。更に、影Ｓ１を示す画素の透明度ｒが共通であると仮定する。これらの仮定のもと、推定部１０８は、隣接領域Ｓｎの画素値に基づいて、透明度ｒを計算する。そして、推定部１０８は、当該透明度ｒに基づいて、各画素の画素値Ｘから画素値Ｏを逆算することによって、影部分３４の色を推定した結果を示す推定画像Ｇを生成する。なお、推定画像Ｇの生成方法は、上記の例に限られず、影Ｓ１を示す画素の画素値と、その周囲の画素値と、に基づいて生成されるようにすればよい。
【０１０５】
加工部１０６は、更に推定部１０８による推定結果に基づいて加工する。即ち、加工部１０６は、類似領域Ｃｎと、推定部１０８が推定した影部分３４の色（推定画像Ｇの画素値）と、に基づいて加工する。例えば、加工部１０６は、類似領域Ｃｎ内の画素値と、推定部１０８が推定した影部分３４の色と、を所与の数式に代入して得られる画素値を、加工対象領域内の画素値としてもよい。この数式は、予め定められた数式であればよく、例えば、単純平均であってもよいし、加重平均であってもよい。加重平均である場合には、係数は予め決めておけばよい。
【０１０６】
変形例（４）によれば、類似領域Ｃｎ内の画素値だけでなく、影部分３４の推定結果も使って加工対象領域の加工をするので、影部分３４の復元の精度をより高めることができる。
【０１０７】
（５）また例えば、変形例（２）及び（３）で利用される周囲領域Ａｎを、変形例（４）における推定結果としてもよい。即ち、第１画像Ｉ１Ｈに写された影Ｓ１の周囲をそのまま周囲領域Ａｎとして使用するのではなく、変形例（４）のように影部分３４を推定したうえで、周囲領域Ａｎとして使用してもよい。
【０１０８】
変形例（５）の画像処理装置１０は、周囲領域取得部１０９を含む。周囲領域取得部１０９は、推定部１０８による推定結果に基づいて、周囲領域Ａｎを取得する。周囲領域取得部１０９は、推定部１０８が加工した画像の画素値に基づいて、周囲領域Ａｎとして取得する。この場合、周囲領域取得部１０９は、推定画像Ｇの一部又は全部を周囲領域Ａｎとして取得することになる。即ち、周囲領域Ａｎは、推定画像Ｇのうち、画素ｐｎ（ｘｎ，ｙｎ）を中心とした所定形状の領域であってよい。周囲領域Ａｎと類似する領域を特定する方法等は、各変形例で説明した方法と同様である。
【０１０９】
変形例（５）によれば、影部分３４の推定結果を利用して周囲領域Ａｎを取得するので、影部分３４の復元の精度をより高めることができる。
【０１１０】
（６）また例えば、上記実施形態及び変形例では、類似領域特定部１０５が、第１画像Ｉ１Ｈに基づいて類似領域Ｃｎを特定する場合を説明したが、先述したように、類似領域特定部１０５は、第２画像Ｉ２Ｈに基づいて、撮影部分領域Ｂｎなどに類似する領域を検索してもよい。即ち、類似領域特定部１０５は、第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈの少なくとも一方（例えば、高解像度の第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈの中からでもよいし、低解像度の第１画像Ｉ１Ｌ及び第２画像Ｉ２Ｌの中からでもよい）に基づいて、撮影部分領域Ｂｎなどに類似する領域を検索すればよい。以降、第１画像Ｉ１Ｈに基づいて特定されるものを第１類似領域Ｃｎ１と記載し、第２画像Ｉ２Ｈに基づいて特定されるものを第２類似領域Ｃｎ２と記載し、これらを区別する。なお、第２類似領域Ｃｎ２も、第１類似領域Ｃｎ１と同様に、加工対象小領域である画素ｐｎ（ｘｎ，ｙｎ）ごとに探索されるようにしてよい。
【０１１１】
例えば、類似領域特定部１０５は、第２画像Ｉ２Ｈに基づいて、撮影部分領域Ｂｎに類似する第２類似領域Ｃｎ２を特定するようにしてよい。この特定方法自体は、第１類似領域Ｃｎ１で説明した方法と同様であってよい。即ち、類似領域特定部１０５は、撮影部分領域Ｂｎをテンプレート画像とし、テンプレートマッチングを実行することによって、第２類似領域Ｃｎ２を特定すればよい。例えば、類似領域特定部１０５は、第２画像Ｉ２Ｈを撮影部分領域Ｂｎと同じ大きさの複数の小領域に分割し、各小領域内の画素値と、撮影部分領域Ｂｎ内の画素値と、に基づいて、類似度を示す評価値ＥＨ２Ｒを算出する。評価値ＥＨ２Ｒの算出は、実施形態で説明した数式１と同様であってよく、画素値の差に基づくものであればよい。
【０１１２】
加工部１０６は、第２類似領域Ｃｎ２に基づいて加工してもよい。例えば、加工部１０６は、第１類似領域Ｃｎ１と第２類似領域Ｃｎ２の両方に基づいて加工してもよい。例えば、加工部１０６は、第１類似領域Ｃｎ１内の画素値と、第２類似領域Ｃｎ２内の画素値と、を所与の数式に代入して得られる画素値を、加工対象領域内の画素値としてもよい。即ち、これら２つの画素値を混ぜて、影Ｓ１を塗りつぶすようにしてもよい。この数式は、予め定められた数式であればよく、例えば、単純平均であってもよいし、加重平均であってもよい。加重平均である場合には、評価値の値に基づいて係数が定まってもよい。
【０１１３】
また例えば、加工部１０６は、第１類似領域Ｃｎ１と第２類似領域Ｃｎ２のうち、いずれか一方を選択して加工してもよい。例えば、加工部１０６は、第１類似領域Ｃｎ１の評価値ＥＨ１Ｒと、第２類似領域Ｃｎ２の評価値ＥＨ２Ｒと、を比較して、値が低い方（即ち、類似度の高い方）に基づいて、加工対象領域を加工してもよい。第１類似領域Ｃｎ１の方が第２類似領域Ｃｎ２よりも類似度が高い場合の加工方法は、実施形態で説明した方法と同じである。一方、第２類似領域Ｃｎ２の方が第１類似領域Ｃｎ１よりも類似度が高い場合、加工部１０６は、第２類似領域Ｃｎ２内の画素値に基づいて、加工対象領域内の画素値を変更すればよい。
【０１１４】
また例えば、類似領域特定部１０５が第１類似領域Ｃｎ１の特定を省略し、第２類似領域Ｃｎ２のみを特定する場合には、加工部１０６は、第２類似領域Ｃｎ２に基づいて加工してもよい。この場合、加工部１０６は、第２類似領域Ｃｎ２に基づいて、加工対象領域である影Ｓ１内の画素ｐｎ（ｘｎ，ｙｎ）の画素値を変更する。
【０１１５】
変形例（６）によれば、高解像度の第２画像Ｉ２Ｈに基づく第２類似領域Ｃｎ２の画素値を考慮して影部分３４の復元の精度を高めることができる。例えば、第１類似領域Ｃｎ１と第２類似領域Ｃｎ２の両方を利用する場合には、より多くの情報をもとに影部分３４を復元することができるので、影部分３４の復元の精度をより高めることができる。
【０１１６】
（７）また例えば、変形例（２）と変形例（６）を組み合わせて、類似領域特定部１０５は、第２画像Ｉ２Ｈに基づいて、撮影部分領域Ｂｎと周囲領域Ａｎとに類似する第２類似領域Ｃｎ２を特定するようにしてよい。第２類似領域Ｃｎ２の特定方法は、変形例（２）で説明した方法と同様であってよい。即ち、類似領域特定部１０５は、第２画像Ｉ２Ｈの各小領域内の画素値と、周囲領域Ａｎ内の画素値と、に基づいて、類似度を示す評価値ＥＨ２Ａを算出する。評価値ＥＨ２Ａの算出は、画素値の差に基づいて行えばよく、実施形態で説明した数式１と同様の数式を利用してよい。
【０１１７】
類似領域特定部１０５は、撮影部分領域Ｂｎとの類似度を示す評価値ＥＨ２Ｒと、周囲領域Ａｎとの類似度を示す評価値ＥＨ２Ａと、に基づいて、第２類似領域Ｃｎ２を特定する。例えば、類似領域特定部１０５は、評価値ＥＨ２Ｒと評価値ＥＨ２Ａとの和が最も低い小領域（即ち、類似度が総合的に高い小領域）を、第２類似領域Ｃｎ２として特定する。なお、これらの和ではなく、所定の係数で重み付けをして算出した値を用いて小領域が選択されてもよい。また、これらの平均値を用いて小領域が選択されてもよい。即ち、撮影部分領域Ｂｎと周囲領域Ａｎとの総合的な類似度をもとに第２類似領域Ｃｎ２が特定されるようにすればよい。
【０１１８】
また例えば、変形例（３）と変形例（６）を組み合わせて、類似領域特定部１０５は、第２画像Ｉ２Ｈに基づいて、周囲領域Ａｎに類似する第２周囲類似領域Ｃｎ２Ａを特定するようにしてよい。類似する領域を特定する方法自体は、変形例（３）で説明した方法と同様であってよい。即ち、類似領域特定部１０５は、周囲領域Ａｎをテンプレート画像とし、テンプレートマッチングを実行することによって、第２周囲類似領域Ｃｎ２Ａを特定すればよい。例えば、類似領域特定部１０５は、周囲領域Ａｎとの類似度を示す評価値ＥＨ２Ａが最も高い小領域、又は、評価値ＥＨ２Ａが閾値未満の小領域を、第２周囲類似領域Ｃｎ２Ａとして特定する。
【０１１９】
加工部１０６は、更に第２周囲類似領域Ｃｎ２Ａに基づいて加工するようにしてもよい。即ち、加工部１０６は、第２類似領域Ｃｎ２と第２周囲類似領域Ｃｎ２Ａとに基づいて加工するようにしてもよい。例えば、加工部１０６は、第２類似領域Ｃｎ２の評価値ＥＨ２Ｒと、第２周囲類似領域Ｃｎ２Ａの評価値ＥＨ２Ａと、を比較し、値が低い方（即ち、類似度の高い方）に基づいて、加工対象領域を加工してもよい。第２類似領域Ｃｎ２の方が第２周囲類似領域Ｃｎ２Ａよりも類似度が高い場合の加工方法は、変形例（３）で説明した方法と同じである。一方、第２周囲類似領域Ｃｎ２Ａの方が第２類似領域Ｃｎ２よりも類似度が高い場合、加工部１０６は、第２周囲類似領域Ｃｎ２Ａ内の画素値に基づいて、加工対象領域内の画素値を変更すればよい。
【０１２０】
また例えば、加工部１０６は、第２類似領域Ｃｎ２内の画素値と、第２周囲類似領域Ｃｎ２Ａ内の画素値と、を所与の数式に代入して得られる画素値を、加工対象領域内の画素値としてもよい。即ち、これら２つの画素値を混ぜて、影Ｓ１を塗りつぶすようにしてもよい。この数式は、予め定められた数式であればよく、例えば、単純平均であってもよいし、加重平均であってもよい。加重平均である場合には、評価値の値に基づいて係数が定まってもよい。
【０１２１】
また例えば、変形例（５）と（６）を組み合わせて、推定部１０８の推定結果を周囲領域Ａｎとしてもよい。即ち、変形例（７）においても、推定画像Ｇに基づいて、周囲領域Ａｎが取得されるようにしてもよい。
【０１２２】
変形例（７）によれば、周囲領域Ａｎとの類似度も考慮したうえで第２類似領域Ｃｎ２を特定することにより、影Ｓ１の周囲の情報を利用して影部分３４と似た領域を探し出すことができる。その結果、影部分３４の復元の精度をより高めることができる。また、第２類似領域Ｃｎ２の画素値だけでなく、第２周囲類似領域Ｃｎ２Ａの画素値を考慮したうえで加工対象領域を加工することによって、より多くの情報をもとに影部分３４を復元することができるので、影部分３４の復元の精度をより高めることができる。
【０１２３】
（８）また例えば、上記実施形態及び変形例では、影部分３４の復元を例に挙げて説明したが、画像処理装置１０は、遮蔽物に遮られた遮蔽部分の復元をしてもよい。遮蔽物は、カメラ２０から空間３０内に配置された物体を見た場合に、当該物体を遮る物体である。別の言い方をすれば、遮蔽物は、当該物体とカメラ２０との間にある物体である。以降、遮蔽物により遮られる物体を被遮蔽物という。
【０１２４】
被遮蔽物は、遮蔽物により見えなくなる物体又は見えにくくなる物体である。例えば、被遮蔽物が道路３２上の一部であれば、遮蔽物は、道路３２上にある荷物やビニール袋であってもよいし、道路３２を隠す看板などであってもよい。なお、遮蔽物は、透明度を有しない物体であってもよいし、半透明の物体であってもよい。実施形態及び変形例の説明において「影」と記載した箇所は、「遮蔽物」と読み替えることができ、「影部分」と記載した箇所は、「被遮蔽部分」と読み替えることが可能である。
【０１２５】
例えば、第１画像Ｉ１Ｈは、空間３０の一部に遮蔽物がある様子が写されていてよい。また例えば、第２画像Ｉ２Ｈは、空間３０の被遮蔽部分が写されていればよい。また例えば、加工対象領域特定部１０３は、第１画像Ｉ１Ｈにおいて、遮蔽物が写された加工対象領域を特定すればよい。また例えば、撮影部分領域特定部１０４は、空間３０の被遮蔽部分が写された撮影部分領域Ｂｎを特定すればよい。他の処理についても同様に、画像処理装置１０は、影ではなく遮蔽物を除去し、影部分ではなく遮蔽部分を復元するようにしてよい。これにより、画像処理装置１０は、被遮蔽物を復元する精度を高めることが可能となる。
【０１２６】
（９）また例えば、加工対象小領域が個々の画素である場合を説明したが、加工対象小領域は、複数の画素（例えば、３画素×３画素など）であってもよい。この場合、加工対象小領域ごとに画素の数が異なってもよい。また例えば、加工対象領域が加工対象小領域に分けられている場合を説明したが、加工対象領域は、特に複数の領域に分けられていなくてもよい。この場合、撮影部分領域特定部１０４は、加工対象領域全体に対応する１つの撮影部分領域を特定し、類似領域特定部１０５は、当該１つの撮影部分領域に類似する１つの類似領域（例えば、影Ｓ１全体に類似する類似領域）を特定してもよい。そして、加工部１０６は、1つの類似領域に基づいて、加工対象領域全体の色を変えてもよい。この場合、加工部１０６は、類似領域をそのまま加工対象領域に貼り付けてもよいし（影Ｓ１全体に類似する類似領域で一度に影Ｓ１を塗りつぶしてもよい）、類似領域の画素値に近づくように、加工対象領域の画素値を変更するようにしてもよい。
【０１２７】
また例えば、第２位置Ｐ２は、第１位置Ｐ１よりも影部分又は被遮蔽部分から離れていなくてもよい。第２位置Ｐ２は、影部分又は被遮蔽部分を撮影可能な位置であればよく、第１位置Ｐ１よりも影部分又は被遮蔽部分に近くてもよいし同じ距離であってもよい。この場合、第２位置Ｐ２からの撮影方向Ｖ２は、第１位置Ｐ１からの撮影方向Ｖ１と異なっていてよい。即ち、第２画像Ｉ２Ｈは、第１画像Ｉ１Ｈとは違う角度から撮影されたことにより、影部分や被遮蔽部分が写されているようにしてよい。この場合には、撮影部分領域Ｂｎを特定する際に、角度の違いを考慮にいれたうえで、透視変換及び投影変換が行われるようにすればよい。
【０１２８】
また例えば、第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈは、全天球カメラで撮影した画像から生成可能なキューブマップであってもよい。また例えば、第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈは、正方形でなくてもよく、長方形であってもよいし、他の形状の画像であってもよい。更に、第１画像Ｉ１Ｈ及び第２画像Ｉ２Ｈは、カラー画像でなくてもよく、グレースケール画像やモノクロ画像であってもよい。また、復元対象となる影部分又は被遮蔽部分は、１つではなく、複数であってもよい。更に、複数の影部分又は被遮蔽部分が含まれている場合に、復元対象となるのは、全部であってもよいし、一部のみであってもよい。
【０１２９】
（１０）また例えば、上記実施形態及び変形例では、画像処理装置１０が、高解像度の第１画像又は第２画像の中から探し出した類似領域に基づいて、加工対象領域の画素値を変える場合を説明したが、低解像度の画像に起因する不自然さを程度は許容する場合には、画像処理装置１０が、低解像度の第１画像又は第２画像の中から類似領域を探し、低解像度の画像の画素値に基づいて、加工対象領域の画素値を変えてもよい。例えば、従来技術では、第１画像だけを使って被遮蔽部分を復元しているが、本変形例の画像処理装置１０では、第２画像又は低解像度化された第２画像を利用しているので、従来技術に比べて復元の精度を高められる可能性がある。このため、画像処理装置１０は、低解像度の第１画像及び低解像度の第２画像の少なくとも一方の中から類似領域を特定し、低解像度の画像の画素値に基づいて、加工対象領域の画素値を変えるようにしてもよい。
【０１３０】
また例えば、画像処理装置１０は、特に類似領域を特定せず、高解像度又は低解像度の第２画像における撮影部分領域に基づいて、加工対象領域の画素値を変更してもよい。このようにすることでも、第１画像しか利用しない従来技術に比べて、復元の精度を高められる可能性がある。即ち、類似領域特定部１０５は省略してもよい。この場合、加工部１０６は、撮影部分領域に基づいて、加工対象領域を加工することになる。領域内の画素値に基づいて加工対象領域を加工する方法自体は、実施形態で説明した方法と同様であってよい。例えば、加工部１０６は、撮影部分領域の画素値と同じ画素値になるように加工対象領域の画素値を変更してもよいし、撮影部分領域の画素値と同じでなくても、当該画素値に近づくように加工対象領域の画素値を変更してもよい。
【図１】
2018011930.tif 000005
【図２】
2018011930.tif 000006
【図３】
2018011930.tif 000007
【図４】
2018011930.tif 000008
【図５】
2018011930.tif 000009
【図６】
2018011930.tif 000010
【図７】
2018011930.tif 000011
【図８】
2018011930.tif 000012
【図９】
2018011930.tif 000013
【図１０】
2018011930.tif 000014
【図１１】
2018011930.tif 000015
【図１２】
2018011930.tif 000016
【図１３】
2018011930.tif 000017
【図１４】
2018011930.tif 000018
【図１５】
2018011930.tif 000019
【図１６】
2018011930.tif 000020
【国際調査報告】
2018011930.tif 000021
2018011930.tif 000022