(57)【要約】【課題】  移動体を含むデジタル写真画像の画像処理方法および装置並びにプログラムにおいて、流し撮りの写真画像と同様の効果を有するデジタル写真画像を取得する。【解決手段】  移動体１と背景２とを含むデジタル写真画像に基づいて移動体１の移動の方向および量を自動的に検出し、その移動の方向および量に基づいて背景２の背景画像データにブレを付加するブレ付加処理を施すとともに、移動体１の移動体画像データにブレを修正するブレ修正処理を施し、ブレ修正処理の施されたブレ修正済移動体画像データとブレ付加済背景画像データとを加算して出力画像データを生成する。【選択図】          図８
2006050070.tif 000002
【特許請求の範囲】
【請求項１】
所定の方向に移動する移動体と該移動体の背景とを含むデジタル写真画像に基づいて前記移動体の移動の方向を自動的に検出し、
前記デジタル写真画像に基づいて前記背景を抽出し、
該抽出された背景に基づく背景画像データに前記移動の方向に基づいてブレを付加するブレ付加処理を施し、
該ブレ付加処理の施されたブレ付加済背景画像データと前記移動体の移動体画像データとに基づいて出力画像データを生成することを特徴とする画像処理方法。
【請求項２】
前記デジタル写真画像に基づいて前記移動体を抽出し、
該抽出された移動体に基づく移動体画像データに前記移動の方向に基づいて前記移動体の画像のブレを修正するブレ修正処理を施し、
該ブレ修正処理の施されたブレ修正済移動体画像データと前記ブレ付加済背景画像データとに基づいて出力画像データを生成することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記デジタル写真画像に基づいて前記移動体の移動の量をさらに自動的に検出し、
前記移動の方向および量に基づいて前記背景画像データに前記ブレ付加処理を施すことを特徴とする請求項１記載の画像処理方法。
【請求項４】
前記デジタル写真画像に基づいて前記移動体を抽出し、
該抽出された移動体に基づく移動体画像データに前記移動の方向および量に基づいて前記移動体の画像のブレを修正するブレ修正処理を施し、
該ブレ修正処理の施されたブレ修正済移動体画像データと前記ブレ付加済背景画像データとに基づいて出力画像データを生成することを特徴とする請求項４記載の画像処理方法。
【請求項５】
前記デジタル写真画像の前記検出された移動の方向のエッジ情報を検出し、
該検出された移動の方向のエッジ情報に基づいて前記移動の量を自動的に検出することを特徴とする請求項３または４記載の画像処理方法。
【請求項６】
前記デジタル写真画像の複数の異なる方向毎のエッジ情報を検出し、
該方向毎に検出された各エッジ情報の間の関係に基づいて前記移動の方向を自動的に検出することを特徴とする請求項１から５いずれか１項記載の画像処理方法。
【請求項７】
所定の方向に移動する移動体と該移動体の背景とを含むデジタル写真画像に基づいて前記移動体の移動の方向を自動的に検出する移動方向検出手段と、
前記デジタル写真画像に基づいて前記背景を抽出する背景抽出手段と、
前記背景抽出手段により抽出された背景に基づく背景画像データに前記移動の方向に基づいてブレを付加するブレ付加処理を施すブレ付加処理手段と、
前記ブレ付加処理の施されたブレ付加済背景画像データと前記移動体の移動体画像データとに基づいて出力画像データを生成する画像データ生成手段とを備えたことを特徴とする画像処理装置。
【請求項８】
前記デジタル写真画像に基づいて前記移動体を抽出する移動体抽出手段と、
該移動体抽出手段により抽出された移動体に基づく移動体画像データに前記移動の方向に基づいて前記移動体の画像のブレを修正するブレ修正処理を施すブレ修正処理手段とを有し、
前記画像データ生成手段が、前記ブレ修正処理の施されたブレ修正済移動体画像データと前記ブレ付加済背景画像データとに基づいて出力画像データを生成するものであることを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記デジタル写真画像に基づいて前記移動体の移動の量を自動的に検出する移動量検出手段を有し、
前記ブレ付加処理手段が、前記移動の方向および量に基づいて前記背景画像データに前記ブレ付加処理を施すものであることを特徴とする請求項７記載の画像処理装置。
【請求項１０】
前記デジタル写真画像に基づいて前記移動体を抽出する移動体抽出手段と、
該移動体抽出手段により抽出された移動体に基づく移動体画像データに前記移動の方向および量に基づいて前記移動体の画像のブレを修正するブレ修正処理を施すブレ修正処理手段とを有し、
前記画像データ生成手段が、前記ブレ修正処理の施されたブレ修正済移動体画像データと前記ブレ付加済背景画像データとに基づいて出力画像データを生成するものであることを特徴とする請求項９記載の画像処理装置。
【請求項１１】
前記デジタル写真画像の前記検出された移動の方向のエッジ情報を検出するエッジ情報検出手段を有し、
前記移動方法検出手段が、前記検出された移動の方向のエッジ情報に基づいて前記移動の量を自動的に検出するものであることを特徴とする請求項９また１０記載の画像処理装置。
【請求項１２】
前記デジタル写真画像の複数の異なる方向毎のエッジ情報を検出するエッジ情報検出手段を有し、
前記移動方向検出手段が、前記方向毎に検出された各エッジ情報の間の関係に基づいて前記移動の方向を自動的に検出するものであることを特徴とする請求項７から１１いずれか１項記載の画像処理装置。
【請求項１３】
所定の方向に移動する移動体と該移動体の背景とを含むデジタル写真画像に基づいて前記移動体の移動の方向を自動的に検出する手順と、
前記デジタル写真画像に基づいて前記背景を抽出する手順と、
該抽出された背景に基づく背景画像データに前記移動の方向に基づいてブレを付加するブレ付加処理を施す手順と、
該ブレ付加処理の施されたブレ付加済背景画像データと前記移動体の移動体画像データとに基づいて出力画像データを生成する手順とをコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１４】
前記デジタル写真画像に基づいて前記移動体を抽出する手順と、
該抽出された移動体に基づく移動体画像データに前記移動の方向に基づいて前記移動体の画像のブレを修正するブレ修正処理を施す手順とをさらにコンピュータに実行させ、
前記ブレ修正処理の施されたブレ修正済移動体画像データと前記ブレ付加済背景画像データとに基づいて出力画像データを生成する手順をコンピュータに実行させることを特徴とする請求項１３記載の画像処理プログラム。
【請求項１５】
前記デジタル写真画像に基づいて前記移動体の移動の量を検出する手順をさらにコンピュータに実行させ、
前記移動の方向および量に基づいて前記背景画像データに前記ブレ付加処理を施す手順をコンピュータに実行させることを特徴とする請求項１３記載の画像処理プログラム。
【請求項１６】
前記デジタル写真画像に基づいて前記移動体を抽出する手順と、
該抽出された移動体に基づく移動体画像データに前記移動の方向および量に基づいて前記移動体の画像のブレを修正するブレ修正処理を施す手順とをさらにコンピュータに実行させ、
前記ブレ修正処理の施されたブレ修正済移動体画像データと前記ブレ付加済背景画像データとに基づいて出力画像データを生成する手順をコンピュータに実行させることを特徴とする請求項１５記載の画像処理プログラム。
【請求項１７】
前記デジタル写真画像の前記検出された移動の方向のエッジ情報を検出する手順をさらにコンピュータに実行させ、
前記検出された移動の方向のエッジ情報に基づいて前記移動の量を自動的に検出する手順をコンピュータに実行させることを特徴とする請求項１５または１６記載の画像処理プログラム。
【請求項１８】
前記デジタル写真画像の複数の異なる方向毎のエッジ情報を検出する手順をさらにコンピュータに実行させ、
前記方向毎に検出された各エッジ情報の間の関係に基づいて前記移動の方向を自動的に検出する手順をコンピュータに実行させることを特徴とする請求項１３から１７いずれか１項記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル写真画像の画像処理方法および装置並びにプログラムに関するものであり、特に、移動体する被写体を含むデジタル写真画像の画像処理方法および装置並びにプログラムに関するものである。
【背景技術】
【０００２】
従来、走行中の車などの移動体する被写体を撮影する方法として、いわゆる流し撮りの撮影技術が利用されている。流し撮りとは、カメラを被写体に合わせて移動させて撮影する撮影技術であり、被写体を静止させて見せるとともに背景をブレさせることにより、スピード感、躍動感の強調された写真画像を取得することができる技術である。
【０００３】
また、特許文献１においては、上記のようにスピード感、躍動感の強調された写真画像を取得する方法として、同じ被写体を高速シャッターおよび低速シャッターで２回撮影し、高速シャッターの撮影により背景の静止画を取得するとともに、低速シャッターの撮影により残像効果を有する被写体の画像を取得し、これらを加算することによりスピード感、躍動感の強調されたデジタル写真画像を取得する方法が提案されている。
【特許文献１】特開２０００−１２５１９３号公報
【特許文献２】特開２００２−１７０１３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の方法では、２回の撮影が必要であるため、非常に高速な連写を行うための機構が必要であり、カメラのコストアップとなるとともに、小型化が困難となる。また、特許文献１に記載の撮影方法は、上記のように背景を静止させて見せるとともに、被写体に残像効果を持たせて見せる方法であるため、流し撮りと同様の効果を得ることもできない。
【０００５】
また、近年、デジタル化されたデジタル写真画像などに対して施される画像処理が種々提案されており、上記のような画像処理を利用すれば流し撮りの写真画像に近いデジタル写真画像を得ることは可能であるが、そのようなデジタル写真画像を得るためには、画像処理を行うソフトウェアを使いこなす必要があるとともに、画像処理のためのパラメータなどを適切に設定する必要があり、簡単にできるものではない。
【０００６】
本発明は、上記事情に鑑み、移動体する被写体を含むデジタル写真画像の画像処理方法および装置並びにプログラムにおいて、流し撮りの写真画像と同様な効果を持つデジタル写真画像を容易に取得することができる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の画像処理方法は、所定の方向に移動する移動体と移動体の背景とを含むデジタル写真画像に基づいて移動体の移動の方向を自動的に検出し、デジタル写真画像に基づいて背景を抽出し、その抽出された背景に基づく背景画像データに上記移動の方向に基づいてブレを付加するブレ付加処理を施し、ブレ付加処理の施されたブレ付加済背景画像データと移動体の移動体画像データとに基づいて出力画像データを生成することを特徴とする。
【０００８】
また、上記画像処理方法においては、デジタル写真画像に基づいて移動体を抽出し、その抽出された移動体に基づく移動体画像データに上記移動の方向に基づいて移動体の画像のブレを修正するブレ修正処理を施し、ブレ修正処理の施されたブレ修正済移動体画像データとブレ付加済背景画像データとに基づいて出力画像データを生成するようにすることができる。
【０００９】
また、デジタル写真画像に基づいて移動体の移動の量をさらに自動的に検出し、上記移動の方向および量に基づいて背景画像データにブレ付加処理を施すようにすることができる。
【００１０】
また、デジタル写真画像に基づいて移動体を抽出し、その抽出された移動体に基づく移動体画像データに上記移動の方向および量に基づいて移動体の画像のブレを修正するブレ修正処理を施し、ブレ修正処理の施されたブレ修正済移動体画像データとブレ付加済背景画像データとに基づいて出力画像データを生成するようにすることができる。
【００１１】
また、デジタル写真画像の上記検出された移動の方向のエッジ情報を検出し、その検出された移動の方向のエッジ情報に基づいて移動の量を自動的に検出するようにすることができる。
【００１２】
また、デジタル写真画像の複数の異なる方向毎のエッジ情報を検出し、その方向毎に検出された各エッジ情報の間の関係に基づいて上記移動の方向を自動的に検出するようにすることができる。
【００１３】
本発明の画像処理装置は、所定の方向に移動する移動体と移動体の背景とを含むデジタル写真画像に基づいて移動体の移動の方向を自動的に検出する移動方向検出手段と、デジタル写真画像に基づいて背景を抽出する背景抽出手段と、背景抽出手段により抽出された背景に基づく背景画像データに上記移動の方向に基づいてブレを付加するブレ付加処理を施すブレ付加処理手段と、ブレ付加処理の施されたブレ付加済背景画像データと移動体の移動体画像データとに基づいて出力画像データを生成する画像データ生成手段とを備えたことを特徴とする。
【００１４】
また、上記画像処理装置においては、デジタル写真画像に基づいて移動体を抽出する移動体抽出手段と、移動体抽出手段により抽出された移動体に基づく移動体画像データに上記移動の方向に基づいて移動体の画像のブレを修正するブレ修正処理を施すブレ修正処理手段とを有するものとし、画像データ生成手段を、ブレ修正処理の施されたブレ修正済移動体画像データとブレ付加済背景画像データとに基づいて出力画像データを生成するものとすることができる。
【００１５】
また、デジタル写真画像に基づいて移動体の移動の量を自動的に検出する移動量検出手段を有するものとし、ブレ付加処理手段を、上記移動の方向および量に基づいて背景画像データにブレ付加処理を施すものとすることができる。
【００１６】
また、デジタル写真画像に基づいて移動体を抽出する移動体抽出手段と、移動体抽出手段により抽出された移動体に基づく移動体画像データに移動の方向および量に基づいて移動体の画像のブレを修正するブレ修正処理を施すブレ修正処理手段とを有するものとし、画像データ生成手段を、ブレ修正処理の施されたブレ修正済移動体画像データとブレ付加済背景画像データとに基づいて出力画像データを生成するものとすることができる。
【００１７】
また、デジタル写真画像の上記検出された移動の方向のエッジ情報を検出するエッジ情報検出手段を有するものとし、移動量検出手段を、上記検出された移動の方向のエッジ情報に基づいて上記移動の量を自動的に検出するものとすることができる。
【００１８】
また、デジタル写真画像の複数の異なる方向毎のエッジ情報を検出するエッジ情報検出手段を有するものとし、移動方向検出手段を、上記方向毎に検出された各エッジ情報の間の関係に基づいて上記移動の方向を自動的に検出するものとすることができる。
【００１９】
本発明の画像処理プログラムは、所定の方向に移動する移動体と移動体の背景とを含むデジタル写真画像に基づいて移動体の移動の方向を自動的に検出する手順と、デジタル写真画像に基づいて前記背景を抽出する手順と、その抽出された背景に基づく背景画像データに上記移動の方向に基づいてブレを付加するブレ付加処理を施す手順と、ブレ付加処理の施されたブレ付加済背景画像データと移動体の移動体画像データとに基づいて出力画像データを生成する手順とをコンピュータに実行させることを特徴とする。
【００２０】
また、上記画像処理プログラムにおいては、デジタル写真画像に基づいて移動体を抽出する手順と、その抽出された移動体に基づく移動体画像データに上記移動の方向に基づいて移動体の画像のブレを修正するブレ修正処理を施す手順とをさらにコンピュータに実行させ、ブレ修正処理の施されたブレ修正済移動体画像データとブレ付加済背景画像データとに基づいて出力画像データを生成する手順をコンピュータに実行させるようにすることができる。
【００２１】
また、デジタル写真画像に基づいて移動体の移動の量を検出する手順をさらにコンピュータに実行させ、上記移動の方向および量に基づいて背景画像データにブレ付加処理を施す手順をコンピュータに実行させるようにすることができる。
【００２２】
また、デジタル写真画像に基づいて移動体を抽出する手順と、その抽出された移動体に基づく移動体画像データに移動の方向および量に基づいて移動体の画像のブレを修正するブレ修正処理を施す手順とをさらにコンピュータに実行させ、ブレ修正処理の施されたブレ修正済移動体画像データとブレ付加済背景画像データとに基づいて出力画像データを生成する手順をコンピュータに実行させるようにすることができる。
【００２３】
また、デジタル写真画像の上記検出された移動の方向のエッジ情報を検出する手順をさらにコンピュータに実行させ、上記検出された移動の方向のエッジ情報に基づいて上記移動の量を自動的に検出する手順をコンピュータに実行させるようにすることができる。
【００２４】
また、デジタル写真画像の複数の異なる方向毎のエッジ情報を検出する手順をさらにコンピュータに実行させ、上記方向毎に検出された各エッジ情報の間の関係に基づいて上記移動の方向を自動的に検出する手順をコンピュータに実行させるようにすることができる。
【００２５】
ここで、上記「ブレ付加処理」とは、上記移動の方向についてぼかしを付加する処理であれば如何なる処理でもよく、たとえば、上記背景画像データを上記移動の方向に数画素シフトさせた画像データを生成し、その画像データとシフト前の背景画像データとに所定の重み付け演算を施した後、これらを加算するようにしてもよいし、上記移動の方向について作用する方向性を有するボケマスクなどを用いてボケ補正を施すようにすればよい。
【００２６】
また、上記「ブレ修正処理」とは、上記移動方向についてのブレを除去し、移動体の輪郭を明瞭にする処理であれば如何なる処理でもよく、たとえば、たとえば、上記移動の方向に作用する方向性を有する補正マスクなどを用いてアン・シャープネス・マスキング補正を施すようにすればよい。
【００２７】
また、上記「エッジ情報」とは、エッジの鮮鋭度を示す情報であれば如何なるものでもよく、たとえば、エッジ幅、エッジの勾配、エッジにおける明度変化またはエッジのプロファイルなどを利用することができる。また、一つのエッジの鮮鋭度を示す情報だけでなく、複数のエッジの鮮鋭度を示す情報も含むものであり、たとえば、エッジ幅やエッジ勾配などのヒストグラムなどを利用することができる。
【００２８】
また、上記「エッジ情報に基づいて移動の量を検出する」とは、エッジ幅を移動の量として検出することを意味し、エッジ幅を直接検出することに限らず、上記のようなエッジ幅以外のエッジ情報を間接的に検出し、これらのエッジ情報から移動の量を検出することも含むものとする。
【００２９】
また、上記「複数の異なる方向」とは、デジタル写真画像におけるボケの方向を特定するための方向を意味し、ボケの方向に近い方向を含むことが必要であるため、その数が多ければ多いほど特定の精度が高いが、処理速度との兼ね合いに応じた適切な数を設定することが望ましく、例えば、図４に示すような８方向を用いることが好ましい。
【００３０】
また、上記「方向毎に検出された各エッジ情報の間の関係に基づいて移動の方向を検出する」とは、各エッジ情報の相互関係から特定の方向を移動の方向として検出する方法であれば如何なる方法を採用してもよいが、たとえば、方向毎のエッジ幅の大きさを比較し、その大きさが一番大きい方向を移動の方向として検出するようにしてもよいし、方向毎のエッジ幅のヒストグラムを検出し、そのヒストグラムの相関関係から特定の方向を移動の方向として検出するようにしてもよい。
【発明の効果】
【００３１】
本発明の画像処理方法および装置並びにプログラムによれば、所定の方向に移動する移動体と移動体の背景とを含むデジタル写真画像に基づいて移動体の移動の方向および量を自動的に検出し、デジタル写真画像に基づいて背景を抽出し、その抽出された背景に基づく背景画像データに上記移動の方向および量に基づいてブレを付加するブレ付加処理を施し、ブレ付加処理の施されたブレ付加済背景画像データと移動体の移動体画像データとに基づいて出力画像データを生成するようにしたので、背景画像データに自動的にブレを付加することができ、流し撮りの写真画像と同様な効果を持つデジタル写真画像を容易に取得することができる。
【００３２】
また、上記画像処理方法において、デジタル写真画像に基づいて移動体を抽出し、その抽出された移動体に基づく移動体画像データに上記移動の方向および量に基づいて移動体の画像のブレを修正するブレ修正処理を施し、ブレ修正処理の施されたブレ修正済移動体画像データとブレ付加済背景画像データとに基づいて出力画像データを生成するようにした場合には、移動体の輪郭がより明瞭なデジタル写真画像を取得することができるので、より流し撮りの写真画像に近いデジタル写真画像を取得することができる。
【００３３】
また、デジタル写真画像のエッジ情報を検出し、その検出されたエッジ情報に基づいて移動の方向および量を自動的に検出するようにした場合には、比較的簡単な処理により移動体の移動の方向および量を検出することができる。
【発明を実施するための最良の形態】
【００３４】
以下、図面を参照して、本発明の画像処理方法および装置並びに画像処理プログラムの一実施形態を用いた画像処理システムについて説明する。本画像処理システムは、所定の方向に移動する移動体とその移動体の背景とを含むデジタル画像写真に対し画像処理を施し、いわゆる流し撮りの写真と同じようなデジタル画像写真を取得するためのものである。図１は、本画像処理システムの構成を示すブロック図である。
【００３５】
本画像処理システムは、移動体と背景とを含むデジタル写真画像の入力画像データＤが入力され、その入力画像データに基づいて移動体の移動の方向および量を自動的に検出する移動特徴量検出手段１０と、入力画像データＤが入力され、その入力画像データＤに基づいてデジタル写真画像における背景の背景画像データＤ１を抽出する背景抽出手段２０と、背景抽出手段２０により抽出された背景画像データＤ１に、上記移動特徴量検出手段１０により検出された移動の方向および量に基づいてブレを付加するブレ付加処理を施すブレ付加処理手段３０と、入力画像データＤが入力され、その入力画像データＤに基づいてデジタル写真画像における移動体の移動体データＤ２を抽出する移動体抽出手段４０と、移動体抽出手段４０により抽出された移動体画像データＤ２に、上記移動特徴量検出手段１０により検出された移動の方向および量に基づいて移動体の画像のブレを修正するブレ修正処理を施すブレ修正処理手段５０と、ブレ付加処理の施されたブレ付加済背景画像データＤ３とブレ修正済移動体画像データＤ４とに基づいて出力画像データＤ５を生成する画像データ生成手段６０とを備えたものである。
【００３６】
移動特徴量検出手段１０は、具体的には、図２に示すように、入力画像データＤ０に基づいてデジタル写真画像の複数の異なる方向毎のエッジ情報を検出するエッジ情報検出手段１１と、エッジ情報検出手段１１により検出されたエッジ情報に基づいて移動体の移動の方向を検出する移動方向検出手段１２と、上記エッジ情報に基づいて移動体の移動の量を検出する移動量検出手段１３とを備えている。
【００３７】
エッジ情報検出手段１１は、具体的には、図３に示すように、入力画像データＤ０に対して縮小処理を行って入力画像データＤの縮小画像データＤ６を取得する縮小手段１１ａと、縮小手段１０により取得された縮小画像データＤ６を用いて複数の異なる方向毎のエッジを検出するエッジ検出手段１１ｂと、エッジ検出手段１２により検出されたエッジのうちの、無効なエッジを除去するエッジ絞込手段１１ｃと、エッジ絞込手段１３により取得されたエッジの特徴量をエッジ情報として取得し、そのエッジ情報を移動方向検出手段１２および移動量検出手段１３に出力するエッジ特徴量取得手段１１ｄとを備えている。
【００３８】
エッジ検出手段１１ｂは、縮小画像データＤ６を用いて、図４に示すような８方向毎に、所定の強度以上のエッジを検出し、これらのエッジの座標位置を得るものである。そして、エッジ検出手段１１ｂは、検出された方向毎の各々のエッジの座標位置に基づいて、入力画像データＤ０を用いてこれらのエッジに対して、図５に示すようなエッジプロファイルを作成してエッジ絞込手段１４に出力するものである。
【００３９】
エッジ絞込手段１４は、エッジ検出手段１２から出力されたエッジのプロファイルに基づいて、複雑なプロファイル形状を有するエッジや、光源を含むエッジ（例えば一定の明度以上のエッジ）などの無効なエッジを除去し、残りのエッジのプロファイルをエッジ特徴量取得手段１６に出力するものである。
【００４０】
エッジ特徴量取得手段１６は、エッジ絞込手段１４から出力されてきたエッジのプロファイルに基づいて、図５に示すようなエッジ幅を各エッジに対して求め、図６に示すようなエッジ幅のヒストグラムを図４に示された８つの方向毎に作成し、エッジ幅と共にエッジ情報として移動方向検出手段１２および移動量検出手段１３に出力するものである。
【００４１】
移動方向検出手段１２は、デジタル画像写真における移動体の移動の方向をデジタル写真画像のブレ方向として検出するものである。通常のシャッタースピードで撮影されたデジタル写真画像の中に移動体がある場合には、その移動体の画像にはその移動の方向についてブレが生じる。したがって、移動体の移動の方向を検出するためには、上記のようにブレ方向を検出すればよいことになる。
【００４２】
上記ブレ方向を求めるために、移動方向検出手段１２は、まず、図４に示す８つの方向毎のエッジ幅のヒストグラムに基づいて、互いに直交する２つの方向のヒストグラムの相関値を求める。つまり、図４に示す１の方向と５の方向２の方向と６の方向、３の方向と７の方向、および４の方向と８の方向のそれぞれの相関値を求める。なお、相関値としては、相関が高いほど大きくなるものと、相関が高いほど小さくなるものとがあるが、本実施形態においては、相関が高いほど大きくなるものを用いる。
【００４３】
そして、上記のようにして求めた相関値を利用してブレ方向Ｄを検出する。
【００４４】
ここで、上述したように通常のシャッタースピードで撮影されたデジタル写真画像においては、上記のように移動体の画像にブレが生じるがその移動体の背景にはブレが生じない。したがって、ブレ方向のヒストグラムとそのブレ方向に直交する方向のヒストグラムとの相関は低く（図７（ａ）参照）、その相関値は小さくなる。一方、ブレ方向と関係のない方向同志のヒストグラムの相関は高く（図７（ｂ）参照）、その相関値は大きくなる。
【００４５】
したがって、移動方向検出手段１２は、上記のようにして求めた相関値のうちの最も小さい相関値を求め、その最も小さい相関値に対応する方向組の２つの方向を見つけ出す。そして、上記２つの方向のうちの１つは、最もブレ方向に近い方向として考えることができるが、一般的に、ボケ方向のヒストグラムの方の平均エッジ幅の方がボケ方向に直交する方向のヒストグラムの平均エッジ幅よりも大きくなるので、上記２つの方向のうち、そのヒストグラムの平均エッジ幅が小さい方をブレ方向Ｄとして検出する。
【００４６】
移動量検出手段１３は、デジタル写真画像における移動体の移動量を検出するものであるが、上述したように通常のシャッタースピードで撮影されたデジタル写真画像の中に移動体がある場合には、その移動体の画像にはその移動の方向についてブレが生じる。したがって、移動体の移動量を検出するためには、ブレ方向Ｄに対するボケ幅Ｌを検出すればよいことになる。したがって、移動量検出手段１３は、デジタル写真画像における移動体の画像のブレ方向Ｄのボケ幅Ｌを検出することによりその移動体の移動量を検出する。具体的には、上記ようにして移動方向検出手段１２において検出されたブレ方向Ｄが移動量検出手段１３に出力され、移動量検出手段１３は、このブレ方向Ｄのエッジの平均幅を求め、その平均幅をボケ幅Ｌとして検出する。また、図４における８つの方向の全てにおけるエッジの平均エッジ幅を求めてボケ幅Ｌとして検出するようにしてもよい。
【００４７】
背景抽出手段２０は、上記のように入力画像データＤ０から背景画像データを抽出するものであるが、具体的には、たとえば、移動特徴量検出手段１０におけるエッジ情報検出手段１１において検出されたエッジ情報を受け付け、エッジ幅が所定の閾値よりも大きいエッジを検出し、そのエッジを境界としてそのエッジを含まない範囲を背景領域とし、その背景領域の入力画像データＤ０を背景画像データとして抽出するようにすればよい。また、上記のような方法に限らず、エッジ情報を利用してその他の方法により背景領域を抽出するようにしてもよい。また、モニタなどに入力画像データＤ０に基づいてデジタル写真画像を表示させ、上記のようにエッジ情報を利用して複数の背景領域候補の範囲を検出し、その背景領域候補をデジタル写真画像上に表示させ、その複数の背景領域候補の中から手動で１つの背景領域候補を選択し、その選択された背景領域候補の入力画像データＤ０を背景画像データとして抽出するようにしてもよい。また、移動体を含まず、画像全体が背景のみのデジタル写真画像を取得し、その背景のみのデジタル画像写真の画像データと入力画像データＤ０との差を求めることにより、移動体の移動体画像データと背景画像データとを切り分けて背景画像データを抽出するようにしてもよい。また、モニタなどに表示されたデジタル写真画像上において、マウスなどのポインティングデバイスを用いて手動により背景領域を指定し、その指定された範囲の入力画像データＤ０を背景画像データとして抽出するようにしてもよい。背景画像データの抽出については、上記のような方法に限らず如何なる方法を採用してもよい。
【００４８】
移動体抽出手段４０は、上記のように入力画像データＤ０から移動体画像データを抽出するものであるが、その具体的な方法については、上記背景抽出手段２０において利用した方法と同様にすればよい。なお、本画像処理システムにおいては、背景抽出手段２０と移動体抽出手段４０とを別々に設けるようにしたが、１つにまとめて背景画像データの抽出と移動体画像データの抽出とを同時に行うようにしてもよい。
【００４９】
ブレ付加処理手段３０は、上記のように背景抽出手段２０において抽出された背景画像データに、移動特徴量検出手段１０において検出されたブレ方向Ｄおよびボケ幅Ｌに基づいてブレ付加処理を施すものである。ブレ付加処理の方法としては、たとえば、背景画像データに、ボケマスクを利用してボケマスクフィルタ処理を施し、そのボケ処理の施されたボケ処理済背景画像データを上記ブレ方向Ｄに数画素ずらしたボケシフト背景画像データを上記ボケ幅Ｌ分だけ複数生成し、その複数のボケシフト背景画像データに所定の重み付け演算を施した後、これらを加算して行うようにすればよい。なお、ブレ付加処理の方法については、上記のような方法に限らず如何なる方法を採用してもよい。
【００５０】
ブレ修正処理手段５０は、上記のように移動体抽出手段４０において抽出された移動体画像データに、移動特徴量検出手段１０において検出されたブレ方向Ｄおよびボケ幅Ｌに基づいてブレ修正処理を施すものである。具体的には、たとえば、アン・シャープネス・マスキング補正を移動体画像データに施すようにすればよい。アン・シャープネス・マスキング補正に用いられる補正マスクとしては、たとえば、ブレ方向Ｄに作用する方向性補正用の１次元補正マスクを利用し、上記ボケ幅Ｌが大きいほど大きいサイズの補正マスクを利用するようにすればよい。なお、上記のような補正マスクは、ブレ方向Ｄおよびボケ幅Ｌに対応させて複数種類のものを予め記憶しておくようにすればよい。また、ブレ修正処理の方法については、上記のような方法に限らず如何なる方法を採用するようにしてもよい。
【００５１】
画像データ生成手段６０は、ブレ付加処理手段３０から出力されたブレ付加済背景画像データとブレ修正済移動体画像データとを加算して出力画像データを生成するものである。上記のように生成された出力画像データは、プリンタに出力してもよいし、記録媒体に記憶したり、ネットワーク上における画像保管サーバや、画像の補正を依頼した依頼者により指定されたネットワーク上のアドレスなどに送信したりしてもよい。
【００５２】
次に、本画像処理システムの作用を用いて説明する。
【００５３】
まず、デジタルカメラやコンピュータなどにおける記録媒体から読み出されたデジタル写真画像の入力画像データＤ０が、移動特徴量検出手段１０、背景抽出手段２０および移動体抽出手段に入力される。そして、移動特徴量検出手段１０のエッジ情報検出手段１１に入力され、縮小手段１１ａにより縮小されて縮小画像データＤ６が生成される。縮小画像データＤ６はエッジ検出手段１１ｂに入力され、エッジ検出手段１２は、縮小画像データＤ６に対して、図４に示す８つの異なる方向毎に所定の強度以上のエッジを検出して各々のエッジの座標位置を得るとともに、これらの座標位置に基づき、入力画像データＤ０を用いて各々のエッジに対して図５に示すようなエッジプロファイルを作成してエッジ絞込手段１１ｃに出力する。エッジ絞込手段１１ｃは、エッジ検出手段１１ｂから出力されてきたエッジプロファイルに基づいて、無効なエッジを除去し、残りのエッジのプロファイルをエッジ特徴量取得手段１１ｄに出力する。エッジ特徴量取得手段１１ｄは、エッジ絞込手段１１ｃから出力された各々のエッジのプロファイルに基づいて各エッジの幅を求めるとともに、図４に示す方向毎にエッジ幅のヒストグラムを作成して、各エッジの幅および各方向のエッジ幅のヒストグラムを入力画像データＤ０のエッジ情報Ｓとして、移動方向検出手段１２および移動量検出手段１３に出力する。移動方向検出手段１２は、デジタル写真画像における移動体の移動方向を、上記のようにしてブレ方向Ｄとして検出する。また、移動量検出手段１３は、デジタル写真画像における移動体の移動量を、上記のようにしてボケ幅Ｌとして検出する。
【００５４】
上記のようにして検出されたブレ方向Ｄおよびボケ幅Ｌは、ブレ付加処理手段３０およびブレ修正処理手段５０に出力される。
【００５５】
一方、上記移動特徴量検出手段１０において検出されたエッジ情報Ｓは、背景抽出手段２０および移動体抽出手段４０に出力され、背景抽出手段２０は、入力されたエッジ情報Ｓおよび入力画像データＤ０に基づいて、上記のように入力画像データＤ０から背景画像データＤ１を抽出し、ブレ付加処理手段３０に出力する。また、移動体抽出手段４０は、入力されたエッジ情報Ｓおよび入力画像データＤ０に基づいて、上記のように入力画像データＤ０から移動体画像データＤ２を抽出し、ブレ修正処理手段５０に出力する。
【００５６】
そして、ブレ付加処理手段３０は、入力されたブレ方向Ｄおよびボケ幅Ｌに基づいて背景画像データＤ１にブレ付加処理を施し、ブレ付加済画像データＤ３を画像データ生成手段６０に出力する。また、ブレ修正処理手段５０は、入力されたブレ方向Ｄおよびボケ幅Ｌに基づいて移動体画像データＤ２にブレ修正処理を施し、ブレ修正済画像データＤ４を画像データ生成手段６０に出力する。
【００５７】
そして、画像データ生成手段６０は、ブレ付加処理手段３０から出力されたブレ付加済背景画像データＤ３とブレ修正済移動体画像データ４とを加算して出力画像データを生成し、プリンタやサーバ、またはネットワークなどに出力する。
【００５８】
本画像処理システムによれば、所定の方向に移動する移動体と移動体の背景とを含むデジタル写真画像に基づいて移動体の移動の方向および量を自動的に検出し、デジタル写真画像に基づいて背景を抽出し、その抽出された背景に基づく背景画像データに上記移動の方向および量に基づいてブレを付加するブレ付加処理を施し、ブレ付加処理の施されたブレ付加済背景画像データと移動体の移動体画像データとに基づいて出力画像データを生成するようにしたので、背景画像データに自動的にブレを付加することができ、流し撮りの写真画像と同様な効果を持つデジタル写真画像を容易に取得することができる。
【００５９】
また、デジタル写真画像に基づいて移動体を抽出し、その抽出された移動体に基づく移動体画像データに上記移動の方向および量に基づいて移動体の画像のブレを修正するブレ修正処理を施し、ブレ修正処理の施されたブレ修正済移動体画像データとブレ付加済背景画像データとに基づいて出力画像データを生成するようにしたので、移動体の輪郭がより明瞭なデジタル写真画像を取得することができ、より流し撮りの写真画像に近いデジタル写真画像を取得することができる。
【００６０】
ここで、本画像処理システムにより画像処理を施したデジタル写真画像の例を図８（ａ）。図８（ｃ）は、画像処理を施す前のデジタル写真画像を示すものであり、図示のようにデジタル写真画像には、移動体である車１と背景である林２が含まれている。図８（ａ）は、林２にブレ付加処理を施すとともに、車１にブレ修正処理を施したものである。図８（ｂ）は、図８（ａ）と同様に、林２にブレ付加処理を施すとともに、車１にブレ修正処理を施したものであるが、車１の移動の量については自動的に検出するのではなく、所定の入力手段により所定の値を設定したものである。図８（ａ）と比較すると移動の量として小さい値が設定されている。
【００６１】
また、上記画像処理システムにおいては、背景画像データにブレ付加処理を施すととともに、移動体画像データにブレ修正処理を施すようにしたが、たとえば、移動体の画像のブレがそれ程大きくない場合などには、背景画像データのブレ付加処理のみを施すようにしてもよい。
【００６２】
また、上記画像処理システムにおいては、移動体の移動の方向と量との両方を自動的に検出するようにしたが、移動の方向のみを検出するようにしてもよく、その場合、移動の量については、予め設定するようにしてもよいし、所定の入力手段により入力するようにしてもよい。
【図面の簡単な説明】
【００６３】
【図１】本発明の画像処理方法および装置並びに画像処理プログラムの一実施形態を利用した画像処理システムの概略ブロック図
【図２】図１に示す画像処理システムの移動特徴量検出手段のブロック図
【図３】図２に示すエッジ情報検出手段１１のブロック図
【図４】エッジを検出する際に用いられる方向を示す図
【図５】エッジプロファイルを示す図
【図６】エッジ幅のヒストグラムを示す図
【図７】図２に示す移動方向検出手段における移動方向の検出を説明するための図
【図８】図１に示す画像処理システムにより画像処理の施されたデジタル写真画像の例を示す図
【符号の説明】
【００６４】
１０    移動特徴量検出手段
１１    エッジ情報検出手段
１２    移動方向検出手段
１３    移動量検出手段
２０    背景抽出手段
３０    ブレ付加処理手段
４０    移動体抽出手段
５０    ブレ修正処理手段
６０    画像データ生成手段
Ｄ０    入力画像データ
Ｄ１    背景画像データ
Ｄ２    移動体画像データ
Ｄ３    ブレ付加済背景画像データ
Ｄ４    ブレ修正済移動体画像データ
Ｄ５    出力画像データ
Ｄ６    縮小画像データ
Ｄ    ブレ方向
Ｌ    ボケ幅
【図１】
2006050070.tif 000003
【図２】
2006050070.tif 000004
【図３】
2006050070.tif 000005
【図４】
2006050070.tif 000006
【図５】
2006050070.tif 000007
【図６】
2006050070.tif 000008
【図７】
2006050070.tif 000009
【図８】
2006050070.tif 000010