(57)【要約】【課題】熟練した技術や大掛かりな照明設備を必要とせず、光や影の映り込みが抑えられた画像を容易に得ることができる画像処理装置および画像処理プログラムを提供する。【解決手段】被写体を撮影した第１の撮影画像と、第１の撮影画像とは画像の欠陥部分の位置が異なる、被写体を撮影した第２の撮影画像とを取得する画像取得部と、第１の撮影画像と第２の撮影画像とを比較し、比較した結果が閾値以上の近似となるよう第２の撮影画像に対して視点を変えた撮影に相当する処理画像を生成する画像処理を施す画像制御部と、第１の撮影画像に近似する画像処理後の第２の撮影画像と、第１の撮影画像とを合成して、欠陥部分が補われた合成画像を生成する画像合成部とを備えた。【選択図】        図７
2010072813.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影した第１の撮影画像と、該第１の撮影画像とは画像の欠陥部分の位置が異なる、該被写体を撮影した第２の撮影画像とを取得する画像取得部と、
前記第１の撮影画像と前記第２の撮影画像とを比較し、該比較した結果が閾値以上の近似となるよう該第２の撮影画像に対して視点を変えた撮影に相当する処理画像を生成する画像処理を施す画像制御部と、
前記第１の撮影画像に近似する画像処理後の第２の撮影画像と、前記第１の撮影画像とを合成して、前記欠陥部分が補われた合成画像を生成する画像合成部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記画像制御部は、前記第１の撮影画像と前記処理画像について、互いに対応する画素の画素値同士の差分の絶対値の和又は該差分の二乗和を前記近似度として算出するものであることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像制御部は、前記第１の撮影画像の画素の画素値に対する前記処理画像の画素の画素値の偏差が所定の閾値を超える画素については、該処理画像の画素値を所定の偏差が得られる値に置き換えて前記近似度を算出するものであることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記画像合成部は、前記第１の撮影画像と前記処理画像とを、画素ごとに比較して相対的に輝度が低い画素を採用して合成画像を生成するものであることを特徴とする請求項１から３のうちのいずれか１項記載の画像処理装置。
【請求項５】
コンピュータ内で実行され、該コンピュータ上に、
被写体を撮影した第１の撮影画像と、該第１の撮影画像とは画像の欠陥部分の位置が異なる、該被写体を撮影した第２の撮影画像とを取得する画像取得部と、
前記第１の撮影画像と前記第２の撮影画像とを比較し、該比較した結果が閾値以上の近似となるよう該第２の撮影画像に対して視点を変えた撮影に相当する処理画像を生成する画像処理を施す画像制御部と、
前記第１の撮影画像に近似する画像処理後の第２の撮影画像と、前記第１の撮影画像とを合成して、前記欠陥部分が補われた合成画像を生成する画像合成部とを構築することを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮影した撮影画像に画像処理を施して、光の映り込みや影による欠陥部分を補正する画像処理装置、および画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラは小型・軽量化が進んでおり、普段からデジタルカメラやデジタルカメラが内蔵された携帯電話機を持ち歩くユーザも増加している。このような中で、デジタルカメラや携帯電話機で被写体を撮影して写真として残すだけではなく、例えば、ホワイトボードを撮影した撮影画像をパーソナルコンピュータに表示して内容を確認するなどというように、メモ代わりとしてデジタルカメラや携帯電話機を利用するシーンも増えてきている。しかし、ホワイトボードやポスターなどのように表面に光沢がある被写体を撮影する場合、照明などの光が反射して、あるいは建物や机の上の物品の影が撮影画像の一部に映り込んでしまい、内容の判読が困難になってしまうことがある。
【０００３】
このような反射光に対する問題に関し、従来から、カメラに偏向フィルタを装着して被写体を撮影することによって、反射光を低減させて光や影の映り込みを抑えることが行われている。しかし、被写体と照明との位置関係によっては、偏向フィルタを使っても反射光を十分には抑えることができないうえ、偏向フィルタを持ち歩く手間がかかってしまうという問題がある。
【０００４】
また、プロの写真家などの間では、撮影時の照明の種類、光量、および被写体への光の照射角度などを変えることによって被写体の反射光を調整し、被写体の質感や光沢感などを表現することが広く行われている。例えば、被写体を回転させることによって光の照射位置が異なる複数枚の撮影画像を生成し、それらを合成することによって、被写体の質感や光沢感を再現した３次元画像を生成する技術が提案されている（例えば、特許文献１参照）。このように、ライティングを調整して被写体の反射光を抑えることによっても、撮影画像中の光や影の映り込みを防止することができる。
【特許文献１】特開２００６−１４６３４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、照明の種類や位置や光量を調整するためには、大掛かりなライティング設備と熟練した技術が必要となる。このため、実際には、位置や角度を変えながら撮影した複数枚の撮影画像を目視で確認し、欠けた部分を補い合いながら内容を判読しており、大変煩雑な作業であるという問題がある。
【０００６】
上記事情に鑑み、本件開示の画像処理装置および画像処理プログラムの課題は、熟練した技術や大掛かりな照明設備を必要とせず、光の映り込みや影が抑えられた画像を容易に得ることにある。
【課題を解決するための手段】
【０００７】
本件開示の画像処理装置の基本形態は、
被写体を撮影した第１の撮影画像と、第１の撮影画像とは画像の欠陥部分の位置が異なる、被写体を撮影した第２の撮影画像とを取得する画像取得部と、
第１の撮影画像と第２の撮影画像とを比較し、比較した結果が閾値以上の近似となるよう第２の撮影画像に対して視点を変えた撮影に相当する処理画像を生成する画像処理を施す画像制御部と、
第１の撮影画像に近似する画像処理後の第２の撮影画像と、第１の撮影画像とを合成して、欠陥部分が補われた合成画像を生成する画像合成部と、
を備えたことを特徴とする。
【０００８】
例えば、被写体を撮影する位置や角度を変えることによって、撮影画像中の光や影の映り込み位置をずらすことができるが、このように撮影された複数の撮影画像は、被写体が写っている位置や被写体の角度などが相互に異なってしまっている。
【０００９】
本件開示の画像処理装置の基本形態では、第１の撮影画像とは画像の欠陥部分の位置が異なる第２の撮影画像に、第２の撮影画像が第１の撮影画像に対して閾値以上の近似となるように、例えば、撮影画像中の被写体を上下左右に移動したり、被写体を拡大・縮小するなどといった画像処理が施されて処理画像が生成され、最終的な第１の撮影画像と処理画像とに基づいて欠陥部分が補われた合成画像が生成される。このように、本件開示の画像処理装置の基本形態によると、ユーザは、特別なライティング技術や設備を必要とせず、撮影位置などを変えて被写体を複数回撮影するだけで、光や影の映り込みが抑えられた画像を容易に得ることができる。
【００１０】
本件開示の画像処理プログラムの基本形態は、
コンピュータ内で実行され、コンピュータ上に、
被写体を撮影した第１の撮影画像と、第１の撮影画像とは画像の欠陥部分の位置が異なる、被写体を撮影した第２の撮影画像とを取得する画像取得部と、
第１の撮影画像と第２の撮影画像とを比較し、比較した結果が閾値以上の近似となるよう第２の撮影画像に対して視点を変えた撮影に相当する処理画像を生成する画像処理を施す画像制御部と、
第１の撮影画像に近似する画像処理後の第２の撮影画像と、第１の撮影画像とを合成して、欠陥部分が補われた合成画像を生成する画像合成部とを構築することを特徴とする。
【００１１】
本件開示の画像処理プログラムの基本形態によると、光や影などが映り込んだ欠陥部分の位置が相互に異なる複数の撮影画像に基づいて、その欠陥部分が補正された画像を生成する画像処理装置をコンピュータ上に構築することができる。
【発明の効果】
【００１２】
以上説明したように、本件開示の画像処理装置および画像処理プログラムによると、熟練した技術や大掛かりな照明設備を必要とせず、光や影の映り込みによる欠陥部分が補正された画像を容易に得ることができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して、上記説明した画像処理装置に対する具体的な実施形態を説明する。
【００１４】
図１は、被写体を撮影する撮影システムを示す図である。
【００１５】
図１には、ポスターやホワイトボードなどといった被写体１と、被写体１を照射する光源２と、被写体１を撮影するデジタルカメラ３が示されている。この例では、同じ被写体１を、正面および斜めそれぞれの位置から２回撮影している。
【００１６】
図２は、図１に示す撮影システムで撮影された撮影画像の一例を示す図である。
【００１７】
図１（Ａ）に示すように被写体１を正面から撮影した場合、光源２から発せられた光は、図の左寄りの点Ｐ１で反射してデジタルカメラ３に入射される。その結果、図２（Ａ）に示すように、被写体像５＿１上の左寄りの位置に、光が映り込んで内容の判読が困難な欠陥部分６＿１が生じた撮影画像４＿１が生成される。また、図１（Ｂ）に示すように被写体１を斜めから撮影した場合、光源２から発せられた光は中央付近の点Ｐ２で反射し、図２（Ｂ）に示すように、被写体像５＿２上の中央付近に欠陥部分６＿２が生じた撮影画像４＿２が生成される。尚、図２では、光が映り込んだ欠陥部分６＿２を有する撮影画像４＿１の例を示しているが、例えば、撮影画像に被写体の影が映り込むことによっても、撮影画像中に欠陥部分が生じる。
【００１８】
ここで、２つの撮影画像４＿１，４＿２とでは、光が映り込んだ欠陥部分６＿１，６＿２の位置が異なっているとともに、被写体像５＿１，５＿２の大きさや形状が相互に異なっている。撮影画像４＿１，４＿２は、パーソナルコンピュータ１０（図３参照）に取り込まれて画像処理が施されることによって、欠陥部分が補われた合成画像が生成される。
【００１９】
図３は、パーソナルコンピュータ１０の外観図である。
【００２０】
パーソナルコンピュータ１０は、本体ユニット２０と表示ユニット３０とを備えており、表示ユニット３０は、ヒンジ部４０によって本体ユニット２０に対して開閉自在に連結されている。
【００２１】
本体ユニット２０は、各種情報処理を実行するためのものであり、本体筐体２８の内部にＣＰＵやハードディスク装置などが収容されている。本体筐体２８の上面には、キーボード２１、トラックパッド２２、左クリックボタン２３、および右クリックボタン２４等が備えられており、さらに、本体筐体２８の前方には、指先がなぞられることによって指紋認証を行う指紋センサ２５と、小型記録媒体が装填される媒体装填口２６が設けられている。
【００２２】
表示ユニット３０は、本体ユニット２０で実行された情報処理結果を表示するためのものであり、表示筐体３２の内部に、薄型の液晶パネルや、液晶パネル用の制御回路や、通信用のアンテナなどが収容されている。
【００２３】
図４は、パーソナルコンピュータ１０の内部構成図である。
【００２４】
パーソナルコンピュータ１０には、図４に示すように、各種プログラムを実行するＣＰＵ１０１、ハードディスク装置１０３に格納されたプログラムが読み出されＣＰＵ１０１での実行のために展開される主メモリ１０２、各種プログラムやデータ等が保存されたハードディスク装置１０３、マイクやスピーカなどが搭載されたオーディオデバイス１０４、外部装置からデータを入力する入力インタフェース１０５、キーボード２１やトラックパッド２２などを含む操作子１０６、表示画面２１上に情報を表示に関する表示装置１０７、図３にも示す指紋センサ２５、小型記録媒体６１が装填され、装填された小型記録媒体６１をアクセスする小型メモリドライブ１０９、ＣＤ−ＲＯＭ６２やＤＶＤが装填され、その装填されたＣＤ−ＲＯＭ６２やＤＶＤをアクセスする光ディスクドライブ１１０、拡張カード６３を使って通信を行う通信インタフェース１１１、および外部装置へデータを出力する出力インタフェース１１２などが内蔵されており、これらの各種要素は、バス１１３を介して相互に接続されている。
【００２５】
ここで、ＣＤ−ＲＯＭ６２には、本発明の画像処理プログラムの一実施形態である画像処理プログラム２００（図５参照）が記憶されている。
【００２６】
図５は、ＣＤ−ＲＯＭ６２を示す概念図である。
【００２７】
図５に示すように、ＣＤ−ＲＯＭ６２に記憶された画像処理プログラム２００は、画像取得部２１０、画像処理部２２０、画像比較部２３０、変形制御部２４０、低解像度生成部２５０、および画像合成部２６０で構成されている。
【００２８】
ＣＤ−ＲＯＭ６２は、パーソナルコンピュータ１００の光ディスクドライブ１１０に装填され、ＣＤ−ＲＯＭ６２に記憶された画像処理プログラム２００がパーソナルコンピュータ１００にアップロードされてハードディスク装置１０３に記憶される。そして、この画像処理プログラム２００が起動されて実行されることにより、パーソナルコンピュータ１００内に本発明の画像処理装置の一実施形態である画像表示装置３００（図６参照）が構築される。
【００２９】
尚、上記では、画像処理プログラム２００を記憶する記憶媒体としてＣＤ−ＲＯＭ６２が例示されているが、画像処理プログラム２００を記憶する記憶媒体はＣＤ−ＲＯＭに限られるものではなく、それ以外の光ディスク、ＭＯ、ＦＤ、磁気テープなどの記憶媒体であってもよい。また、画像処理プログラム２００は、記憶媒体を介さずに、入力インタフェース１０５を介して直接にパーソナルコンピュータ１００に供給されるものであってもよい。
【００３０】
また、携帯電話機に本実施の形態を適用する場合、画像処理プログラムは携帯電話機が内蔵するＲＯＭ等のメモリに格納されるものであってもよい。
【００３１】
画像処理プログラム２００の各部の詳細については、画像処理装置３００の各部の作用と一緒に説明する。
【００３２】
図６は、画像処理装置３００の機能ブロック図である。
【００３３】
画像処理装置３００は、画像取得部３１０と、画像処理部３２０と、画像比較部３３０と、変形制御部３４０と、低解像度生成部３５０と、画像合成部３６０とを有しており、画像処理部３２０と、画像比較部３３０と、変形制御部３４０は、画像制御部３７０を構成している。
【００３４】
画像処理装置３００を構成する、画像取得部３１０と、画像処理部３２０と、画像比較部３３０と、変形制御部３４０と、低解像度生成部３５０と、画像合成部３６０は、図５の画像取得部２１０、画像処理部２２０、画像比較部２３０、変形制御部２４０、低解像度生成部２５０、および画像合成部２６０にそれぞれ対応する。
【００３５】
図６の各要素は、コンピュータのハードウェアとそのコンピュータで実行されるＯＳやアプリケーションプログラムとの組合せで構成されているのに対し、図５に示す画像処理プログラム２００の各要素はそれらのうちのアプリケーションプログラムのみにより構成されている点が異なる。
【００３６】
図７は、図６に示す画像処理装置３００において、２つの撮影画像４＿１，４＿２に基づいて欠陥部分が補完された合成画像が生成されるまでの一連の処理の流れを示すフローチャート図である。
【００３７】
以下、図７のフローチャートに従って、図６に示す画像処理装置３００の各要素の動作について説明することによって、図５に示す画像処理プログラム２００の各要素も併せて説明する。
【００３８】
図１に示すデジタルカメラ３が図３に示すパーソナルコンピュータ１００と接続されると、図４に示す入力インタフェース１０５を介して、２つの撮影画像４＿１，４＿２がパーソナルコンピュータ１００に送られてくる。撮影画像４＿１，４＿２は、図６に示す画像取得部３１０で取得される（図７のステップＳ１，Ｓ２）。本実施形態においては、２つの撮影画像４＿１，４＿２のうち、被写体１を正面から撮影した撮影画像４＿１（以下では、撮影画像４＿１を第１画像４＿１と称する）を基準として、他方の撮影画像４＿２（以下では、撮影画像４＿２を第２画像４＿２と称する）に、第１画像４＿１に近似させるような画像処理が施されるものとする。第１画像４＿１は、上述した第１の撮影画像の一例にあたり、第２画像４＿２は、上述した第２の撮影画像の一例にあたり、画像取得部３１０は、上述した画像取得部の一例に相当する。第１画像４＿１と第２画像４＿２は、低解像度生成部３５０と画像合成部３６０に送られる。
【００３９】
低解像度生成部３５０では、第１画像４＿１と第２画像４＿２とに基づいて、撮影画像４＿１，４＿２中の被写体と同じ被写体を表わし、それらの撮影画像４＿１，４＿２よりも画素数が少ない低解像度画像が生成される。
【００４０】
ここで、上述した画像処理装置に対する好ましい応用形態である画像処理装置は、第１の撮影画像に基づいて第１の撮影画像と同一被写体を表わし第１の撮影画像よりも画素数が少ない第１の低解像度画像と、第２の撮影画像に基づいて第２の撮影画像と同一被写体を表わし第２の撮影画像よりも画素数が少ない第２の低解像度画像とを生成する低解像度画像生成部を備えている。
【００４１】
また、画像処理部は、第２の撮影画像に変えて、第２の低解像度画像を使用して画像処理を行うことにより、低解像度処理画像を生成するものである。
【００４２】
さらに、画像比較部は、第１の撮影画像と処理画像とに変えて、第１の低解像度画像と低解像度処理画像とを比較して近似度を算出するものである。
【００４３】
近年、デジタルカメラの画素数が増加してきており、第１画像４＿１と第２画像４＿２をそのまま利用して画像処理や比較処理を実行しようとすると、処理時間や負荷がかかってしまう。元の第１画像４＿１および第２画像４＿２よりも画素数が少ない低解像度な第１画像４＿１および第２画像４＿２を生成して画像処理や比較処理に利用することによって、処理時間を高速化することができる。低解像度生成部３５０は、上述した低解像度画像生成部の一例に相当する。低解像度な第１画像４＿１と第２画像４＿２は、画像処理部３２０と画像比較部３３０に送られる。
【００４４】
画像処理部３２０では、低解像度な第２画像４＿２に、視点を変えた撮影に相当する画像処理が施され（図７のステップＳ３）、変形後の処理画像４＿３が生成される（図７のステップＳ４）。処理画像４＿３は、上述した処理画像の一例にあたり、画像制御部３７０は、上述した画像制御部の一例に相当する。
【００４５】
ここでいう視点を変えた撮影には、例えば、図１に示す被写体１を上下左右方向に移動させて撮影する場合や、デジタルカメラ３と被写体１との距離を変えて撮影する場合や、デジタルカメラ３の角度を変えて撮影する場合などが含まれ、ここでいう画像処理としては、第２画像４＿２中の被写体像５＿２を上下左右方向に移動させたり、被写体像５＿２を矩形に変形させたり、被写体像５＿２を拡大・縮小させる処理などが相当する。これら複数の画像処理には順番が決められており、本実施形態の画像処理部３２０では、複数種類の画像処理が１度に１つずつ順次に実行される。変形後の処理画像４＿３は、変形前の第２画像４＿２と比較して、被写体像５＿３の形状や大きさは異なっているが、欠陥部分６＿３の位置は大きくは変化していない。変形後の処理画像４＿３は、画像比較部３３０に伝えられる。
【００４６】
画像比較部３３０では、低解像度な第１画像４＿１と変形後の処理画像４＿３とが画素ごとに比較されて、第１画像４＿１に対する処理画像４＿３の近似度が算出される（図７のステップＳ５）。本実施形態においては、まず、低解像度な第１画像４＿１と処理画像４＿３を使って、互いに対応する画素の画素値同士の差分が各画素の誤差量として算出される。続いて、誤差量が所定の制限値よりも大きい画素については、処理画像４＿３の画素が所定の誤差量が得られる値に置き換えられ、算出された全画素における誤差量の二乗和が近似度として算出される。近似度としては、制限値を設けずに画素同士の差分をそのまま用いて算出してもよく、対応する画素の画素値同士の差分の絶対値の和などを近似度として適用してもよい。
【００４７】
ここで、上述した画像処理装置の基本形態に対する更なる好ましい応用形態である画像処理装置として、上記画像制御部は、第１の撮影画像と処理画像について、互いに対応する画素の画素値同士の差分の絶対値の和又は差分の二乗和を前記近似度として算出するものである。
【００４８】
また、上記画像制御部は、第１の撮影画像の画素の画素値に対する処理画像の画素の画素値の偏差が所定の閾値を超える画素については、処理画像の画素値を所定の偏差が得られる値に置き換えて近似度を算出するものである。
【００４９】
画素の誤差が所定の閾値を超える画素については、画素の誤差量を所定の制限値に置き換えることによって、第１画像４＿１に対する処理画像４＿３の近似度合いが精度良く表現された近似度を取得することができる。また、撮影画像４＿１，４＿２それぞれの欠陥部分６＿１，６＿２では、制限をかけても反射光の影響は大きいので、誤差量が大きい部分については近似度の算出対象から外しても良い。算出された近似度は、変形制御部３４０に伝えられる。
【００５０】
変形制御部３４０では、画像比較部３３０で算出された近似度が予め決められた閾値レベルよりも近似していない場合、画像処理部３２０に再び画像処理を実行する指示が与えられる（図７のステップＳ６）。本実施形態においては、近似度として画素値同士の差分の二乗和が適用されているため、変形制御部３４０では、近似度が所定の閾値よりも大きい場合に、画像処理部３２０に指示が与えられる。
【００５１】
画像処理部３２０では、変形制御部３４０からの指示を受けると、低解像度な第２画像４＿２に２番目の画像処理が施され（図７のステップＳ３）、新たな処理画像４＿３が生成される（図７のステップＳ４）。生成された処理画像４＿３は、画像比較部３３０に伝えられる。
【００５２】
画像比較部３３０では、第１画像４＿１に対する新たな処理画像４＿３の近似度が算出され（図７のステップＳ５）、変形制御部３４０では、新たに算出された近似度が予め決められた閾値レベルよりも近似しているか否かが判定される（図７のステップＳ６）。
【００５３】
第２画像４＿２に順次に変形処理を施して処理画像４＿３を生成し、第１画像４＿１に対する処理画像４＿３の近似度を算出し、新たに算出された近似度と予め決められた閾値レベルとを比較する処理が、近似度が閾値レベルよりも近似していると判定されるまで続けられる。
【００５４】
変形後の処理画像４＿３が第１画像４＿１に十分に近似し、算出された近似度が閾値レベルよりも近似していると判定されると、変形制御部３４０から画像合成部３６０および画像処理部３２０にそれらの画像を合成する指示が与えられる。
【００５５】
画像処理部３２０では、デジタルカメラ３から送られてきた高解像度な第２画像４＿２に画像処理が施され、高解像度な処理画像４＿３が生成される。生成された高解像度な変形後の処理画像４＿３は、画像合成部３６０に送られる。
【００５６】
画像合成部３６０では、デジタルカメラ３から送られてきた高解像度な第１画像４＿１と、画像処理部３２０から送られてきた高解像度な変形後の処理画像４＿３とが合成されて（図７のステップＳ７）、欠陥部分６＿１，６＿３が相互に補われた合成画像４＿４が生成される（図７のステップＳ８）。本実施形態では、第１画像４＿１と変形後の処理画像４＿３とが画素ごとに比較され、相対的に輝度が低い画素が採用されることによって合成画像４＿４が生成される。また、影が映り込むことによって生じた欠陥部分を有する撮影画像を補正する場合、その欠陥部分は周辺部分と比較して輝度が低くなっていることが一般的である。このような場合には、画像合成部３６０において、元の画像（第１画像）と変形後の画像（処理画像）が画素ごとに比較されて、相対的に輝度が高い画素が採用されることによって合成画像が生成される。
【００５７】
ここで、上述した画像処理装置の基本形態に対し、
上記画像合成部は、第１の撮影画像と第２の撮影画像とを、画素ごとに比較して相対的に輝度が低い画素を採用して合成画像を生成するものであるという応用形態は好ましい。
【００５８】
欠陥部分６＿１，６＿３は光が映り込んでいるため、相対的に輝度が高いという特徴がある。第１画像４＿１と変形後の処理画像４＿３とを相対的に輝度が低い画素を選択して合成することによって、欠陥部分６＿１，６＿３が互いに他方の画像によって補われることとなり、反射光による影響が抑えられた合成画像を生成することができる。
【００５９】
以上のように、本実施形態によると、熟練した技術や大掛かりな照明設備を必要とせず、撮影位置や角度などを変えて被写体を複数回撮影することによって、光の映り込みや影が抑えられた合成画像を容易に得ることができる。このため、表面に光沢があるホワイトボードなどをメモ代わりに撮影し、画像処理装置３００によって生成された合成画像を目視で確認することによって、ホワイトボードに書かれた内容を判読することができる。
【００６０】
ここで、上記では、欠陥部分の位置が相互に異なる２つの撮影画像を合成する例について説明したが、上述した画像処理装置は、欠陥部分の位置が相互に異なる３つ以上の撮影画像を合成しても良い。
【００６１】
また、上記では、２つの撮影画像を画素ごとに比較して相対的に輝度が低い画素を採用することによって合成画像を生成する例について説明したが、上述した画像合成部は、例えば、２つの撮影画像それぞれの画素の平均値を用いても良く、基準となる第１の撮影画像における欠陥部分の位置を検出してから、その欠陥部分については第２の撮影画像の画素に置き換えても良い。
【００６２】
また、上記ではパーソナルコンピュータに本実施の形態を適用した例を説明したが、パーソナルコンピュータに限らず、デジタルカメラ付き携帯電話機や、デジタルカメラ付きのスマートフォン等々に適用可能である。
【００６３】
以下、本発明の各種形態について付記する。
【００６４】
（付記１）
被写体を撮影した第１の撮影画像と、該第１の撮影画像とは画像の欠陥部分の位置が異なる、該被写体を撮影した第２の撮影画像とを取得する画像取得部と、
前記第１の撮影画像と前記第２の撮影画像とを比較し、該比較した結果が閾値以上の近似となるよう該第２の撮影画像に対して視点を変えた撮影に相当する処理画像を生成する画像処理を施す画像制御部と、
前記第１の撮影画像に近似する画像処理後の第２の撮影画像と、前記第１の撮影画像とを合成して、前記欠陥部分が補われた合成画像を生成する画像合成部と、
を備えたことを特徴とする画像処理装置。
【００６５】
（付記２）
前記画像制御部は、前記第１の撮影画像と前記処理画像について、互いに対応する画素の画素値同士の差分の絶対値の和又は該差分の二乗和を前記近似度として算出するものであることを特徴とする付記１記載の画像処理装置。
【００６６】
（付記３）
前記画像制御部は、前記第１の撮影画像の画素の画素値に対する前記処理画像の画素の画素値の偏差が所定の閾値を超える画素については、該処理画像の画素値を所定の偏差が得られる値に置き換えて前記近似度を算出するものであることを特徴とする付記２記載の画像処理装置。
【００６７】
（付記４）
前記画像合成部は、前記第１の撮影画像と前記処理画像とを、画素ごとに比較して相対的に輝度が低い画素を採用して合成画像を生成するものであることを特徴とする付記１から３のうちのいずれか１項記載の画像処理装置。
【００６８】
（付記５）
コンピュータ内で実行され、該コンピュータ上に、
被写体を撮影した第１の撮影画像と、該第１の撮影画像とは画像の欠陥部分の位置が異なる、該被写体を撮影した第２の撮影画像とを取得する画像取得部と、
前記第１の撮影画像と前記第２の撮影画像とを比較し、該比較した結果が閾値以上の近似となるよう該第２の撮影画像に対して視点を変えた撮影に相当する処理画像を生成する画像処理を施す画像制御部と、
前記第１の撮影画像に近似する画像処理後の第２の撮影画像と、前記第１の撮影画像とを合成して、前記欠陥部分が補われた合成画像を生成する画像合成部とを構築することを特徴とする画像処理プログラム。
【００６９】
（付記６）
被写体を撮影した第１の撮影画像と、該第１の撮影画像とは画像の欠陥部分の位置が異なる、該被写体を撮影した第２の撮影画像とを取得する画像取得過程と、
前記第１の撮影画像と前記第２の撮影画像とを比較し、該比較した結果が閾値以上の近似となるよう該第２の撮影画像に対して視点を変えた撮影に相当する処理画像を生成する画像処理を施す画像制御過程と、
前記第１の撮影画像に近似する画像処理後の第２の撮影画像と、前記第１の撮影画像とを合成して、前記欠陥部分が補われた合成画像を生成する画像合成過程とを有することを特徴とする画像処理方法。
【図面の簡単な説明】
【００７０】
【図１】被写体を撮影する撮影システムを示す図である。
【図２】図１に示す撮影システムで撮影された撮影画像の一例を示す図である。
【図３】パーソナルコンピュータの外観図である。
【図４】パーソナルコンピュータの内部構成図である。
【図５】ＣＤ−ＲＯＭを示す概念図である。
【図６】画像処理装置の機能ブロック図である。
【図７】図６に示す画像処理装置において、２つの撮影画像に基づいて欠陥部分が補完された合成画像が生成されるまでの一連の処理の流れを示すフローチャート図である。
【符号の説明】
【００７１】
１    被写体
２    光源
３    デジタルカメラ
１０    パーソナルコンピュータ
２０    本体ユニット
３０    表示ユニット
４０    ヒンジ部
１０１    ＣＰＵ
１０２    主メモリ
１０３    ハードディスク装置
１０４    オーディオデバイス
１０５    入力インタフェース
１０６    操作子
１０７    表示装置
１０９    小型メモリドライブ
１１０    光ディスクドライブ
１１１    通信インタフェース
１１２    出力インタフェース
１１３    バス
２００    画像処理プログラム
３００    画像処理装置
２１０，３１０    画像取得部
２２０，３２０    画像処理部
２３０，３３０    画像比較部
２４０，３４０    変形制御部
２５０，３５０    低解像度生成部
２６０，３６０    画像合成部
【図１】
2010072813.tif 000003
【図２】
2010072813.tif 000004
【図３】
2010072813.tif 000005
【図４】
2010072813.tif 000006
【図５】
2010072813.tif 000007
【図６】
2010072813.tif 000008
【図７】
2010072813.tif 000009