(57)【要約】【課題】画像のブレを正しく補正できる画像補正装置、コンピュータをそのような画像補正装置として動作させる画像補正プログラム、画像のブレを正しく補正できる画像補正方法、および画像のブレを正しく補正できる画像補正システムを提供することを目的とする。【解決手段】撮影機による撮影の際の該撮影機のブレに起因する、その撮影によって得られた画像のブレを補正する画像補正装置において、画像中の主要被写体部分を、その画像から抽出するトリミング部４１０と、その主要被写体部分のエッジを現すエッジ情報を求めるエッジ解析部４２０と、エッジ解析部４２０から渡された複数のエッジ情報に基づいて入力画像のブレを示すブレ情報を求めるブレ解析部４３０と、ブレ解析部４３０から渡されたブレ情報を用いて入力画像のブレを補正する補正部４５０とを備えた。【選択図】        図５
2006024193.tif 000002
【特許請求の範囲】
【請求項１】
撮影機による撮影の際の該撮影機のブレに起因する、その撮影によって得られた画像のブレを補正する画像補正装置において、
前記画像中の主要被写体部分で該画像のブレを検出するブレ検出部と、
前記ブレ検出部によって検出されたブレを補正する補正部とを備えたことを特徴とする画像補正装置。
【請求項２】
前記ブレ検出部が、前記画像中の中心を含む所定範囲の画像部分を前記主要被写体部分として用いて該画像のブレを検出するものであることを特徴とする請求項１記載の画像補正装置。
【請求項３】
前記ブレ検出部が、所定色範囲内の色を有する画像部分を前記主要被写体部分として用いて該画像のブレを検出するものであることを特徴とする請求項１記載の画像補正装置。
【請求項４】
撮影機による撮影の際の該撮影機のブレに起因する、その撮影によって得られた画像のブレを補正する画像補正装置において、
画像中の複数の箇所でブレを検出するブレ検出部と、
前記ブレ検出部による前記複数の箇所それぞれにおける検出結果を、所定の重み付け基準に基づいた重み付けを施して統合することにより前記画像のブレを算出するブレ算出部と、
前記ブレ算出部による算出結果に基づいて画像のブレを補正する補正部とを備えたことを特徴とする画像補正装置。
【請求項５】
前記ブレ算出部が、前記画像の中心から離れた箇所の検出結果ほど軽く重み付けするものであることを特徴とする請求項４記載の画像補正装置。
【請求項６】
前記ブレ算出部が、所定の基準色から離れた色を有する箇所の検出結果ほど軽く重み付けするものであることを特徴とする請求項４記載の画像補正装置。
【請求項７】
前記撮影機が、前記撮影を行なう撮影モードを複数種類有するものであり、
ブレの補正対象の画像が撮影された際の撮影モードを取得する撮影モード取得部を備え、
前記ブレ算出部が、前記検出結果に、前記撮影モード取得部で取得された撮影モードに応じた重み付け基準に基づいた重み付けを施すものであることを特徴とする請求項４記載の画像補正装置。
【請求項８】
コンピュータで実行され、該コンピュータを、撮影機による撮影の際の該撮影機のブレに起因する、その撮影によって得られた画像のブレを補正する画像補正装置として動作させる画像補正プログラムにおいて、
前記コンピュータ上で、
前記画像中の主要被写体部分で該画像のブレを検出するブレ検出部と、
前記ブレ検出部によって検出されたブレを補正する補正部とを構築することを特徴とする画像補正プログラム。
【請求項９】
コンピュータで実行され、該コンピュータを、撮影機による撮影の際の該撮影機のブレに起因する、その撮影によって得られた画像のブレを補正する画像補正装置として動作させる画像補正プログラムにおいて、
前記コンピュータ上で、
画像中の複数の箇所でブレを検出するブレ検出部と、
前記ブレ検出部による前記複数の箇所それぞれにおける検出結果を、所定の重み付け基準に基づいた重み付けを施して統合することにより前記画像のブレを算出するブレ算出部と、
前記ブレ算出部による算出結果に基づいて画像のブレを補正する補正部とを構築することを特徴とする画像補正プログラム。
【請求項１０】
撮影機による撮影の際の該撮影機のブレに起因する、その撮影によって得られた画像のブレを補正する画像補正方法において、
前記画像中の主要被写体部分で該画像のブレを検出するブレ検出過程と、
前記ブレ検出過程によって検出されたブレを補正する補正過程とを備えたことを特徴とする画像補正方法。
【請求項１１】
撮影機による撮影の際の該撮影機のブレに起因する、その撮影によって得られた画像のブレを補正する画像補正方法において、
画像中の複数の箇所でブレを検出するブレ検出過程と、
前記ブレ検出過程による前記複数の箇所それぞれにおける検出結果を、所定の重み付け基準に基づいた重み付けを施して統合することにより前記画像のブレを算出するブレ算出過程と、
前記ブレ算出過程による算出結果に基づいて画像のブレを補正する補正過程とを備えたことを特徴とする画像補正方法。
【請求項１２】
撮影機による撮影の際の該撮影機のブレに起因する、その撮影によって得られた画像のブレを補正する画像補正システムにおいて、
前記画像中の主要被写体部分で該画像のブレを検出するブレ検出部、および
前記画像と、前記ブレ検出部によって検出されたブレとを送信する送信部を備えた画像送信装置と、
前記画像送信装置の送信部から送信された画像とブレを受信する受信部、および
前記受信部で受信された画像中の、該受信部で受信されたブレを補正する補正部を備えた画像受信装置とを備えたことを特徴とする画像補正システム。
【請求項１３】
撮影機による撮影の際の該撮影機のブレに起因する、その撮影によって得られた画像のブレを補正する画像補正システムにおいて、
画像中の複数の箇所でブレを検出するブレ検出部、
前記ブレ検出部による前記複数の箇所それぞれにおける検出結果を、所定の重み付け基準に基づいた重み付けを施して統合することにより前記画像のブレを算出するブレ算出部、および
前記画像と、前記ブレ算出部によって算出されたブレを送信する送信部を備えた画像送信装置とを備えた画像送信装置と、
前記画像送信装置の送信部から送信された画像とブレを受信する受信部、および
前記受信部で受信された画像中の、該受信部で受信されたブレを補正する補正部とを備えた画像受信装置とを備えたことを特徴とする画像補正システム。
【請求項１４】
前記画像送信装置が、前記画像のブレに応じて、該画像の解像度を落とす解像度低下部を備え、
前記画像送信装置の送信部が、前記画像として前記解像度低下部で解像度が落とされた画像を送信するものであることを特徴とする請求項１２又は請求項１３記載の画像補正システム。
【請求項１５】
前記画像送信装置が、前記撮影機に組み込まれたものであり、
前記画像受信装置が、前記補正部によってブレが補正された画像をプリントするプリンタに組み込まれたものであることを特徴とする請求項１２又は請求項１３記載の画像補正システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影機による撮影の際の該撮影機のブレに起因する、その撮影によって得られた画像のブレを補正する画像補正装置、コンピュータをそのような画像補正装置として動作させる画像補正装置、上記のブレを補正する画像補正方法、および上記のブレを補正する画像補正システムに関する。
【背景技術】
【０００２】
近年、撮影画像を画像データとして得るデジタルカメラの登場に伴って、撮影画像に所定のデータ処理を施すことによって、その撮影画像の画質を向上させる画像補正処理が可能となっている。このような画像補正処理として、例えば、処理対象の画像を解析し、その画像の特徴を表わす所定の特徴量を求め、その特徴量に基づいた補正処理を処理対象の画像に施すという技術が提案されている（例えば、特許文献１参照。）。
【０００３】
ところで画像補正処理の中で、撮影の際の撮影機のブレに起因する画像のブレである、いわゆる手ブレに対する画像補正処理は、近年普及が著しい撮影機能付の携帯電話が撮影時に手ブレを引き起こしやすいこととも相俟って特にニーズが高い。ここで、このような手ブレに対する画像補正処理の一例として、例えば上記の特許文献１に示されている技術を手ブレに対する画像補正処理に適用することが考えられる。この場合には、例えば、画像のブレを表わす特徴量求め、その特徴量が表わすブレを打ち消す補正処理を画像に施すことによって、画像のブレを補正することとなる。
【特許文献１】特開２０００−１３７８０５号公報（段落番号００４１−段落番号０１５７、図５および図８）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような補正処理には、ブレが十分に補正されない等といった不具合や、もともとブレていなかった画像部分に不要な補正処理が施される等といった不具合がしばしば発生するという問題点がある。
【０００５】
本発明は、上記事情に鑑み、画像のブレを正しく補正できる画像補正装置、コンピュータをそのような画像補正装置として動作させる画像補正プログラム、画像のブレを正しく補正できる画像補正方法、および画像のブレを正しく補正できる画像補正システムを提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
上記目的を達成する本発明の画像補正装置のうちの第１の画像補正装置は、撮影機による撮影の際のその撮影機のブレに起因する、その撮影によって得られた画像のブレを補正する画像補正装置において、
上記画像中の主要被写体部分でその画像のブレを検出するブレ検出部と、
上記ブレ検出部によって検出されたブレを補正する補正部とを備えたことを特徴とする。
【０００７】
従来、例えば撮影画像のピントを自動的にあわせるオートフォーカス処理において、撮影画像中の複数の画像部分のうち主要な被写体が写っている画像部分を特定し、特定された画像部分におけるピントをあわせる技術が知られている。また、撮影画像中の人物等といった主要被写体を特定し、その主要被写体が逆光になりそうな時に自動的に閃光を発する技術も知られている。上記の本発明の第１の画像補正装置における「主要被写体部分」とは、例えば上記の技術で特定されるような画像部分であり、主要な被写体が写っている画像部分である。
【０００８】
撮影時にブレが発生する際には、このような主要被写体部分に、撮影者から遠い背景等に比べて大きなブレが生じる可能性が高い。このような画像に対して、例えば上述した従来技術によるブレの補正処理を施すと、主要被写体部分の大きなブレが、背景等といった比較的ブレが小さい画像部分の影響により十分に補正されない等といった不具合が生じる恐れがある。また、例えば移動中の乗り物の中で人物を撮影するような場合には、窓越しに写る背景は流れてしまっている。このような画像に対して、上記のようなブレの補正処理を施すと、人物が写っている主要被写体部分がブレていなかったとしても、この主要被写体部分には、背景の流れを補正するような不要な処理がなされてしまう。
【０００９】
本発明の第１の画像補正装置によれば、上記主要被写体部分で画像のブレが検出され、その検出されたブレが補正されるので、この主要被写体部分におけるブレの補正が不十分であったり、この主要被写体部分に、背景の流れ等に基づく不要な補正処理が施されてしまう等といった不具合が回避され、画像のブレを正しく補正することができる。
【００１０】
ここで、本発明の第１の画像補正装置において、上記ブレ検出部が、上記画像中の中心を含む所定範囲の画像部分を上記主要被写体部分として用いてその画像のブレを検出するものであるという形態は好ましい形態である。
【００１１】
撮影画像の中心付近には、背景等よりも主要な被写体が写る可能性が高い。つまり、撮影時にブレが発生する際には、この中心付近には他の画像部分よりも大きなブレが生じる可能性が高い。上記の好ましい形態の第１の画像補正装置によれば、この中心付近で画像のブレを検出するという簡単な構成で、画像のブレを正しく補正する補正処理を容易に実行することができる。
【００１２】
また、本発明の第１の画像補正装置において、上記ブレ検出部が、所定色範囲内の色を有する画像部分を上記主要被写体部分として用いてその画像のブレを検出するものであるという形態も好ましい形態である。
【００１３】
例えば人物の顔を捉えた画像については、肌色を有する画像部分を抽出することにより、その画像から人物の顔が写った主要被写体部分を抽出することができ、また赤色の車を捉えた画像においては、赤色を有する画像部分を抽出することにより、その画像から車が写った主要被写体部分を抽出することができる。このように、上記主要被写体部分は色によって背景等と区別することができる。上記の好ましい形態の第１の画像補正装置によれば、所定色範囲内の色を有する画像部分で画像のブレを検出するという簡単な構成で、画像のブレを正しく補正する補正処理を容易に実行することができる。
【００１４】
上記目的を達成する本発明の画像補正装置のうちの第２の画像補正装置は、撮影機による撮影の際のその撮影機のブレに起因する、その撮影によって得られた画像のブレを補正する画像補正装置において、
画像中の複数の箇所でブレを検出するブレ検出部と、
上記ブレ検出部による上記複数の箇所それぞれにおける検出結果を、所定の重み付け基準に基づいた重み付けを施して統合することにより上記画像のブレを算出するブレ算出部と、
上記ブレ算出部による算出結果に基づいて画像のブレを補正する補正部とを備えたことを特徴とする。
【００１５】
本発明の第２の画像補正装置によれば、例えば背景における検出結果に対して重みを軽くする等といった重み付け基準を用いることにより、主要な被写体を捉えた画像部分における検出結果を上記算出結果に十分に反映させることができる。そして、その算出結果に基づいて画像のブレが補正される。つまり、本発明の第２の画像補正装置によれば、主要な被写体を捉えた画像部分におけるブレが十分に反映された上記のような算出結果に基づく補正処理の実行が可能となるので、画像のブレを正しく補正することができる。
【００１６】
また、本発明の第２の画像補正装置において、上記ブレ算出部が、上記画像の中心から離れた箇所の検出結果ほど軽く重み付けするものであるという形態は好ましい形態である。
【００１７】
上述したように画像の中心付近には主要な被写体が写る可能性が高い。上記の好ましい形態の第２の画像補正装置によれば、画像の中心から離れた箇所の検出結果ほど軽く重み付けするという簡単な重み付け基準により、主要な被写体を捉えた画像部分におけるブレが十分に反映された算出結果に基づく補正処理を容易に実行することができる。
【００１８】
また、本発明の第２の画像補正装置において、上記ブレ算出部が、所定の基準色から離れた色を有する箇所の検出結果ほど軽く重み付けするものであるという形態も好ましい形態である。
【００１９】
上述したように、主要な被写体を捉えた画像部分は色によって背景等と区別することができる。上記の好ましい形態の第２の画像補正装置によれば、例えば主要な被写体の色等といった基準色から、離れた色を有する箇所の検出結果ほど軽く重み付けするという簡単な重み付け基準により、主要な被写体を捉えた画像部分におけるブレが十分に反映された算出結果に基づく補正処理を容易に実行することができる。
【００２０】
また、本発明の第２の画像補正装置において、「上記撮影機が、上記撮影を行なう撮影モードを複数種類有するものであり、
ブレの補正対象の画像が撮影された際の撮影モードを取得する撮影モード取得部を備え、
上記ブレ算出部が、上記検出結果に、上記撮影モード取得部で取得された撮影モードに応じた重み付け基準に基づいた重み付けを施すものである」という形態も好ましい形態である。
【００２１】
撮影機には、人物や風景等といった各種の被写体に適した様々な撮影モードを有しているものがある。そして、撮影で得られる画像中の主要な画像部分の位置や色合いは各撮影モードに応じて異なる。上記の好ましい形態の第２の画像補正装置によれば、例えば各撮影モードに応じて、撮影モードから推定される主要部分について重い重み付けを行なう等といったことができ、撮影モードに応じて、画像のブレをより適切に補正することができる。
【００２２】
上記目的を達成する本発明の画像補正プログラムのうちの第１の画像補正プログラムは、コンピュータで実行され、そのコンピュータを、撮影機による撮影の際のその撮影機のブレに起因する、その撮影によって得られた画像のブレを補正する画像補正装置として動作させる画像補正プログラムにおいて、
上記コンピュータ上で、
上記画像中の主要被写体部分でその画像のブレを検出するブレ検出部と、
上記ブレ検出部によって検出されたブレを補正する補正部とを構築することを特徴とする。
【００２３】
また、上記目的を達成する本発明の画像補正プログラムのうちの第２の画像補正プログラムは、コンピュータで実行され、そのコンピュータを、撮影機による撮影の際のその撮影機のブレに起因する、その撮影によって得られた画像のブレを補正する画像補正装置として動作させる画像補正プログラムにおいて、
上記コンピュータ上で、
画像中の複数の箇所でブレを検出するブレ検出部と、
上記ブレ検出部による上記複数の箇所それぞれにおける検出結果を、所定の重み付け基準に基づいた重み付けを施して統合することにより上記画像のブレを算出するブレ算出部と、
上記ブレ算出部による算出結果に基づいて画像のブレを補正する補正部とを構築することを特徴とする。
【００２４】
これら本発明の第１および第２の画像補正プログラムによれば、画像のブレを正しく補正できる画像補正装置を容易に実現することができる。
【００２５】
なお、これら本発明第１および第２の画像補正プログラムについては、ここではその基本形態を示すのにとどめるが、これは単に重複を避けるためであり、本発明の第１および第２の画像補正プログラムには、これらの形態のみではなく、それぞれ前述した第１および第２の画像補正装置の各形態に対応する各種の形態が含まれる。
【００２６】
上記目的を達成する本発明の画像補正方法のうちの第１の画像補正方法は、撮影機による撮影の際のその撮影機のブレに起因する、その撮影によって得られた画像のブレを補正する画像補正方法において、
上記画像中の主要被写体部分でその画像のブレを検出するブレ検出過程と、
上記ブレ検出過程によって検出されたブレを補正する補正過程とを備えたことを特徴とする。
【００２７】
また、上記目的を達成する本発明の画像補正方法のうちの第２の画像補正方法は、撮影機による撮影の際のその撮影機のブレに起因する、その撮影によって得られた画像のブレを補正する画像補正方法において、
画像中の複数の箇所でブレを検出するブレ検出過程と、
上記ブレ検出過程による上記複数の箇所それぞれにおける検出結果を、所定の重み付け基準に基づいた重み付けを施して統合することにより上記画像のブレを算出するブレ算出過程と、
上記ブレ算出過程による算出結果に基づいて画像のブレを補正する補正過程とを備えたことを特徴とする。
【００２８】
これら本発明の第１および第２の画像補正方法によれば、画像のブレを正しく補正できる画像補正処理を容易に実行することができる。
【００２９】
なお、これら本発明第１および第２の画像補正方法については、ここではその基本形態を示すのにとどめるが、これは単に重複を避けるためであり、本発明の第１および第２の画像補正方法には、これらの形態のみではなく、それぞれ前述した第１および第２の画像補正装置の各形態に対応する各種の形態が含まれる。
【００３０】
上記目的を達成する本発明の画像補正システムのうちの第１の画像補正システムは、撮影機による撮影の際のその撮影機のブレに起因する、その撮影によって得られた画像のブレを補正する画像補正システムにおいて、
上記画像中の主要被写体部分でその画像のブレを検出するブレ検出部、および
上記画像と、上記ブレ検出部によって検出されたブレとを送信する送信部を備えた画像送信装置と、
上記画像送信装置の送信部から送信された画像とブレを受信する受信部、および
上記受信部で受信された画像中の、その受信部で受信されたブレを補正する補正部を備えた画像受信装置とを備えたことを特徴とする。
【００３１】
また、上記目的を達成する本発明の画像補正システムのうちの第２の画像補正システムは、撮影機による撮影の際のその撮影機のブレに起因する、その撮影によって得られた画像のブレを補正する画像補正システムにおいて、
画像中の複数の箇所でブレを検出するブレ検出部、
上記ブレ検出部による上記複数の箇所それぞれにおける検出結果を、所定の重み付け基準に基づいた重み付けを施して統合することにより上記画像のブレを算出するブレ算出部、および
上記画像と、上記ブレ算出部によって算出されたブレを送信する送信部を備えた画像送信装置とを備えた画像送信装置と、
上記画像送信装置の送信部から送信された画像とブレを受信する受信部、および
上記受信部で受信された画像中の、その受信部で受信されたブレを補正する補正部とを備えた画像受信装置とを備えたことを特徴とする。
【００３２】
これら本発明の第１および第２の画像補正システムによれば、上記の本発明の第１および第２の画像補正装置と同様に、画像のブレを正しく補正することができる。
【００３３】
また、本発明の第１または第２の画像補正システムにおいて、「上記画像送信装置が、上記画像のブレに応じて、その画像の解像度を落とす解像度低下部を備え、
上記画像送信装置の送信部が、上記画像として上記解像度低下部で解像度が落とされた画像を送信するものである」という形態は好ましい形態である。
【００３４】
この好ましい形態の第１または第２の画像補正システムによれば、上記画像のブレに応じてその画像の解像度を落とすことで、その画像を表わす画像データのデータ量を、画像の劣化を抑えて削減することができる。これにより、上記画像送信装置から上記画像受信装置への画像の受渡しに要する時間を短縮することができ、処理の効率化が図られる。
【００３５】
また、本発明の第１または第２の画像補正システムにおいて、「上記画像送信装置が、上記撮影機に組み込まれたものであり、
上記画像受信装置が、上記補正部によってブレが補正された画像をプリントするプリンタに組み込まれたものである」という形態も好ましい形態である。
【００３６】
この好ましい形態の第１または第２の画像補正システムによれば、上記の撮影部で得られた画像を、適切にブレを補正してプリントすることができる。
【００３７】
なお、これら本発明第１および第２の画像補正システムについては、ここではその基本形態と、これらの画像補正システムに特有の形態とを示すのにとどめるが、これは単に重複を避けるためであり、本発明の第１および第２の画像補正システムには、これらの形態のみではなく、それぞれ前述した第１および第２の画像補正装置の各形態に対応する各種の形態が含まれる。
【発明の効果】
【００３８】
以上、説明したように、本発明によれば、画像のブレを正しく補正できる画像補正装置、コンピュータをそのような画像補正装置として動作させる画像補正プログラム、画像のブレを正しく補正できる画像補正方法、および画像のブレを正しく補正できる画像補正システムを提供することができる。
【発明を実施するための最良の形態】
【００３９】
以下図面を参照して本発明の実施の形態を説明する。
【００４０】
図１は、本発明の画像補正装置の一実施形態として動作するパーソナルコンピュータの外観斜視図、図２はそのパーソナルコンピュータのハードウェア構成図である。
【００４１】
このパーソナルコンピュータ１０は、外観構成上、本体装置１１、その本体装置１１からの指示に応じて表示画面１２ａ上に画像を表示する画像表示装置１２、本体装置１１にキー操作に応じた各種の情報を入力するキーボード１３、および、表示画面１２ａ上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス１４を備えている。この本体装置１１は、外観上、フレキシブルディスク（以下では、ＦＤと省略する）を装填するためのＦＤ装填口１１ａ、およびＣＤ−ＲＯＭを装填するためのＣＤ−ＲＯＭ装填口１１ｂを有する。
【００４２】
本体装置１１の内部には、図２に示すように、各種プログラムを実行するＣＰＵ１１１、ハードディスク装置１１３に格納されたプログラムが読み出されＣＰＵ１１１での実行のために展開される主メモリ１１２、各種プログラムやデータ等が保存されたハードディスク装置１１３、ＦＤ２００が装填され、その装填されたＦＤ２００をアクセスするＦＤドライブ１１４、ＣＤ−ＲＯＭ２１０をアクセスするＣＤ−ＲＯＭドライブ１１５が内蔵されており、これらの各種要素と、さらに図１にも示す画像表示装置１２、キーボード１３、およびマウス１４は、バス１５を介して相互に接続されている。
【００４３】
ここで、ＣＤ−ＲＯＭ２１０には、このパーソナルコンピュータ１０を本発明の画像補正装置の一実施形態として動作させるための画像補正プログラムが記憶されており、そのＣＤ−ＲＯＭ２１０はＣＤ−ＲＯＭドライブ１１５に装填され、そのＣＤ−ＲＯＭ２１０に記憶された画像補正プログラムがこのパーソナルコンピュータ１０にアップロードされてハードディスク装置１１３に記憶される。こうして、パーソナルコンピュータ１０は本発明の画像補正装置の一実施形態として動作する。
【００４４】
ここで、ＣＤ−ＲＯＭ２１０に記憶されている画像補正プログラムが、本発明の画像補正プログラムの一実施形態に相当するものである場合には、このＣＤ−ＲＯＭ２１０に記憶されている画像補正プログラムがハードディスク装置１１３にアップロードされて格納された場合であっても、更に、ＦＤ２００にダウンロードされた場合であっても、いずれも本発明の画像補正プログラムの一実施形態に相当する。
【００４５】
また、このような画像補正プログラムに基づいて、パーソナルコンピュータ１０で実行される一連の処理が本発明の画像補正方法の一実施形態に相当する。
【００４６】
以下、本発明の画像補正プログラム、本発明の画像補正方法、および本発明の画像補正装置それぞれの第１実施形態について説明する。
【００４７】
図３は、本発明の画像補正プログラムの第１実施形態が記憶されたＣＤ−ＲＯＭを示す概念図である。
【００４８】
第１の画像補正プログラム３００は、トリミング部３１０、エッジ解析部３２０、ブレ解析部３３０、ピンボケ解析部３４０、および補正部３５０で構成されている。ここで、トリミング部３１０とエッジ解析部３２０とブレ解析部３３０とを合せたものは、パーソナルコンピュータ１０上で本発明の第１の画像補正装置におけるブレ検出部の一例を構築する。また、同様に、補正部３５０は、本発明の第１の画像補正装置における補正部の一例を構築する。この画像補正プログラム３００の各部の詳細については、本発明の画像補正装置の第１実施形態の各部の作用と併せて説明する。
【００４９】
次に、本発明の画像補正方法の第１実施形態について説明する。
【００５０】
図４は、本発明の画像補正方法の第１実施形態を示すフローチャートである。
【００５１】
この図４に示す第１の画像補正方法は、トリミング過程（ステップＳ１１０）、エッジ解析過程（ステップＳ１２０）、ブレ解析過程（ステップＳ１３０）、ピンボケ解析過程（ステップＳ１４０）、および補正過程（ステップＳ１５０）を有する。ここで、トリミング過程（ステップＳ１１０）とエッジ解析過程（ステップＳ１２０）とブレ解析過程（ステップＳ１３０）とを合せた処理は、本発明の第１の画像補正方法におけるブレ検出過程の一例に相当し、補正過程（ステップＳ１５０）は、本発明の第１の画像補正方法における補正過程の一例に相当する。この第１の画像補正方法の各過程の詳細についても、本発明の画像補正装置の第１実施形態の各部の作用と併せて説明する。
【００５２】
次に、本発明の画像補正装置の第１実施形態について説明する。
【００５３】
図５は、本発明の画像補正装置の第１実施形態を示す機能ブロック図である。
【００５４】
図５に示す第１の画像補正装置４００は、トリミング部４１０、エッジ解析部４２０、ブレ解析部４３０、ピンボケ解析部４４０、および補正部４５０で構成されている。ここで、トリミング部４１０とエッジ解析部４２０とブレ解析部４３０とを合せたものは、本発明の第１の画像補正装置におけるブレ検出部の一例に相当する。また、同様に、補正部４５０は、本発明の第１の画像補正装置における補正部の一例に相当する。
【００５５】
トリミング部４１０では、まず、例えば肌色等といった基準色の入力を希望するか否かを問うメッセージがユーザに示され、そのメッセージ対する回答がユーザからの操作によって実行される。そして、ユーザが基準色の入力を希望する旨を伝えた場合には、所望の基準色を指定するように促すメッセージがユーザに示され、ユーザからの操作によって基準色が指定される。
【００５６】
このトリミング部４１０では、このような基準色に関するユーザからの操作が終了すると、まず、処理対象の入力画像から、中心を含む所定範囲の画像部分が抽出される。上記の基準色に関するユーザからの操作において、ユーザが基準色の入力を希望しなかった場合には、この中心を含む所定範囲の画像部分がトリミング画像としてエッジ解析部４２０に渡される。一方、ユーザが基準色を指定した場合には、上記の画像部分から、その基準色を含む所定色範囲内の色を有する画像部分がさらに抽出されトリミング画像としてエッジ解析部４２０に渡される。
【００５７】
エッジ解析部４２０では、上記のトリミング画像中に写っている被写体の輪郭（以降、エッジと呼ぶ）が、以下に説明するように解析され、そのエッジを現す後述のエッジ情報が求められる。
【００５８】
以下に、エッジ解析部４２０で実行される処理について、別図を参照して説明する。
【００５９】
図６は、エッジ解析部の詳細を示す機能ブロック図である。
【００６０】
図６に示すように、エッジ解析部４２０は、濃淡画像作成部４２１、エッジ候補点抽出部４２２、エッジプロファイル作成部４２３、およびエッジプロファイル解析部４２４で構成されている。
【００６１】
濃淡画像作成部４２１では、上記のトリミング画像を明度で表わした濃淡画像が作成される。
【００６２】
エッジ候補点抽出部４２２では、まず、上記の濃淡画像に対して、以下に示す８つの方向に沿った濃度勾配の検出が実行される。そして、濃淡画像中において所定以上の濃度勾配が検出された点が、この濃淡画像におけるエッジ上にあるエッジ候補点として抽出される。
【００６３】
図７は、濃度勾配の検出における８つの検出方向を示す図である。
【００６４】
この図７に示すように、濃度勾配の検出は、互いに２２．５°だけずれた８つの方向Ｄ１，…，Ｄ８それぞれについて実行される。
【００６５】
エッジプロファイル作成部４２３では、抽出された各エッジ候補点について、そのエッジ候補点における、図７の８つの方向Ｄ１，…，Ｄ８それぞれに沿った濃度変化を、所定範囲に亘って表わすエッジプロファイルが作成される。
【００６６】
図８は、エッジ解析部でエッジ情報として求められるエッジプロファイルの一例を示す図である。
【００６７】
この図８には、上記の８つの方向Ｄ１，…，Ｄ８のうちのいずれかに沿って、上記の濃淡画像中の各点の明度をプロットして得られる、その方向に沿った濃度変化を表わす曲線（以降、エッジプロファイルと呼ぶ）Ｐが示されている。
【００６８】
また、この図８には、濃度変化の幅（以降、エッジ幅と呼ぶ）Ｗも示されている。このエッジ幅Ｗは、入力画像におけるピントのズレ（以降、ピンボケと呼ぶ）やブレの程度に依存する。これらピンボケやブレの程度が大きければエッジ幅Ｗは広がり、ピンボケやブレの程度が小さければエッジ幅Ｗは狭まる。
【００６９】
図６のエッジプロファイル解析部４２４では、エッジプロファイル作成部４２３で作成された複数のエッジプロファイルＰの中から、形状が複雑なエッジプロファイルＰや、所定以上の明度での濃度変化を表わしているエッジプロファイルＰが除去される。そして、残りのエッジプロファイルＰがエッジ情報として、図５に示すブレ解析部４３０と、ピンボケ解析部４４０とに渡される。
【００７０】
図５に示すブレ解析部４３０では、エッジ解析部４２０から渡された複数のエッジ情報に基づいて、以下に説明するように入力画像のブレを示すブレ情報が求められる。
【００７１】
以下に、このブレ解析部４３０で実行される処理について、別図を参照して説明する。
【００７２】
図９は、図５に示すブレ解析部の詳細を示す機能ブロック図である。
【００７３】
図９に示すブレ解析部４３０は、エッジ幅算出部４３１、エッジ幅ヒストグラム作成部４３２、ブレ方向算出部４３３、およびブレ幅算出部４３４で構成されている。
【００７４】
エッジ幅算出部４３１では、複数のエッジプロファイルそれぞれから上記のエッジ幅Ｗが算出される。
【００７５】
エッジ幅ヒストグラム作成部４３２では、まず、エッジ幅算出部４３１で算出された複数のエッジ幅が、図７に示す８方向Ｄ１，…，Ｄ８それぞれ毎に、８種類に分類され、そして、各方向についてエッジ幅のヒストグラムが作成される。
【００７６】
図１０は、図９に示すエッジ幅ヒストグラム作成部で作成される、エッジ幅のヒストグラムの一例を示す図である。
【００７７】
この図１０には、エッジ幅の各値に対する頻度をプロットして得られる、エッジ幅のヒストグラムＨが示されている。
【００７８】
図９に示すブレ方向算出部４３３では、まず、図７に示す８方向Ｄ１，…，Ｄ８それぞれ毎に作成された８種類のヒストグラムから、図７における「Ｄ１」と「Ｄ５」，「Ｄ２」と「Ｄ６」，「Ｄ３」と「Ｄ７」，および「Ｄ４」と「Ｄ８」といった互いに直交する４種類の方向組それぞれに対応する、ヒストグラムの４種類の組合せが求められる。そして、各組合せについて、その組合せに対応する２つのヒストグラム間の相関が求められる。ここで、以下では、２つのヒストグラムの横軸における位置が、互いに離れるほど「相関が小さい」と表現する。
【００７９】
例えば、撮影中の撮影機が動くと、撮影機が動いた方向に画像がブレるので、その画像中のエッジはそのブレの方向に広がってしまう。また、このブレの方向から離れる程、このような画像のブレに起因するエッジ幅の広がりは小さくなる。つまり、このようなブレが生じた画像では、エッジ幅に、方向に依存した偏りが生じる。つまり、このようなブレが生じた画像について、互いに直交する２つの方向それぞれに対応する、上記のようなエッジ幅のヒストグラムを作成すると、ブレが生じていない画像について同様なヒストグラムを作成した場合と比較して、これら２つのヒストグラム間の相関は小さなものとなる。
【００８０】
図１１は、相関が小さな２つのヒストグラムの一例を示す図である。
この図１１の例では、第１および第２のヒストグラムＨ１，Ｈ２は、横軸に対して互いに離れており、両者の相関が小さくなっている。また、図１１の例では、第１のヒストグラムＨ１が、第２のヒストグラムＨ２に対して、エッジ幅が広い方に離れている。このことは、各ヒストグラムに対応する方向のうち、第１のヒストグラムＨ１に対応する方向が、画像のブレの方向に近いことを示している。このような２つのヒストグラムの相関は、各ヒストグラムに対応する方向のうちの一方が画像のブレの方向に近いほど小さくなる。
【００８１】
一方、２つのヒストグラムそれぞれに対応する方向が、ともに同程度ブレの方向から離れている場合や、あるいは画像にブレが生じていない場合には、２つのヒストグラム間の相関は大きなものとなる。
【００８２】
図１２は、相関が大きな２つのヒストグラムの一例を示す図である。
【００８３】
この図１２の例では、第１および第２のヒストグラムＨ３，Ｈ４は、横軸に対して互いに近く、両者の相関が大きくなっている。
【００８４】
図９に示すブレ方向算出部４３３では、上記の４種類の方向組中から、ヒストグラムの相関が最小となる方向組が選択され、そして、選択された方向組をなす２つの方向のうち、広いエッジ幅に対応する方向が、画像のブレの方向として選択される。
【００８５】
図９に示すブレ幅算出部４３４では、ブレ方向算出部４３３で求められたブレ方向についてのエッジの幅の平均値が、画像のブレの幅として算出される。
【００８６】
以上、図９〜図１１を参照して詳細を説明したように、図５に示すブレ解析部４３０では、画像のブレの方向と幅とがブレ情報として求められる。
【００８７】
次に、図５に示すピンボケ解析部４４０について説明する。
【００８８】
ここで、画像にピンボケが生じた場合、エッジは、全方向に亘って均等に広がってしまう。このようなピンボケに起因するエッジの広がりは、上記のようなブレに起因するエッジの広がりとは異なり、方向に依存して偏ったりはせずに均一なものとなる。そこで、本実施形態におけるピンボケ解析部４４０では、エッジ解析部４２０からエッジ情報として渡されたエッジプロファイル全てについてエッジ幅が求められ、そして、求められたエッジ幅の平均値が、画像のピンボケの程度を示すピンボケ情報として算出される。
【００８９】
そして、図５に示す補正部４５０では、ブレ解析部４３０から渡されたブレ情報と、ピンボケ解析部４４０から渡されたピンボケ情報とに基づき、従来から公知の補正方法である、アン・シャープネス・マスキング（ＵＳＭ）補正方法が用いられて入力画像のエッジが強調されることによって、この入力画像のブレとピンボケが補正される。
【００９０】
図１３は、図５に示す補正部の詳細を示すブロック図である。
【００９１】
図１３に示す補正部４５０は、マスク記憶部４５１、１次元補正マスク決定部４５２、２次元補正マスク決定部４５３、輝度画像作成部４５４、１次元高周波成分算出部４５５、２次元高周波成分算出部４５６、および高周波成分加算部４５７で構成されている。
【００９２】
輝度画像作成部４５４では、入力画像から、その入力画像の濃淡を輝度で表わす輝度画像が作成される。
【００９３】
マスク記憶部４５１には、入力画像の輝度変化におけるブレの方向に沿った１次元高周波成分を算出するための１次元補正マスクが、図７に示す８方向Ｄ１，…，Ｄ８それぞれについて、互いにマスクサイズが異なる複数種類ずつ記憶されている。
【００９４】
また、このマスク記憶部４５１には、入力画像のエッジの均一な広がりであるピンボケについて、入力画像の輝度変化における等方的な２次元高周波成分を算出するための２次元補正マスクが、互いにマスクサイズが異なる複数種類記憶されている。
【００９５】
１次元補正マスク決定部４５２には、上記のブレ解析部４３０から、画像のブレの方向と幅とからなるブレ情報が渡される。この１次元補正マスク決定部４５１では、このブレ情報が示すブレの方向と幅とに対応する１次元補正マスクが、マスク記憶部４５１に記憶されている複数種類の１次元補正マスクの中から選択される。このとき、１次元補正マスク決定部４５１では、上記のブレの幅が広いほど、大きなサイズの１次元補正マスクが選択される。
【００９６】
２次元補正マスク決定部４５３には、上記のピンボケ解析部４４０から、画像のピンボケの幅（全エッジ幅の平均値）を示すピンボケ情報が渡される。この２次元補正マスク決定部４５３では、このピンボケ情報が示すピンボケの幅に対応する２次元補正マスクが、マスク記憶部４５１に記憶されている複数種類の２次元補正マスクの中から選択される。このとき、２次元補正マスク決定部４５３では、上記のピンボケの幅が広いほど、大きなサイズの２次元補正マスクが選択される。
【００９７】
１次元高周波成分算出部４５５では、輝度画像作成部４５４で作成された輝度画像に対して、１次元補正マスク決定部４５２で決定された１次元補正マスクが適用されて上記の１次元高周波成分が算出される。
【００９８】
２次元高周波成分算出部４５６では、上記の輝度画像に対して、２次元補正マスク決定部４５３で決定された２次元補正マスクが適用されて上記の２次元高周波成分が算出される。
【００９９】
高周波成分加算部４５７では、１次元高周波成分算出部４５５で算出された１次元高周波成分と、２次元高周波成分算出部４５６で算出された２次元高周波成分とが入力画像に加算される。これにより入力画像の輝度変化が強調されて、ブレとピンボケとが補正された出力画像が生成される。
【０１００】
以上、図５〜図１３を参照して説明したように、第１の画像補正装置４００によれば、上記のトリミング部４１０で、入力画像から、画像の中央付近の画像部分や、肌色等といった所定の基準色に近い色を有する画像部分等といった、背景等よりも主要な被写体が写る、比較的大きなブレが生じる可能性が高い画像部分が取り出され、その画像部分についてブレが検出される。これにより、入力画像のブレを正しく補正することができる。
【０１０１】
次に、本発明の画像補正プログラム、本発明の画像補正方法、および本発明の画像補正装置それぞれの第２実施形態について説明する。ここで、以下では、重複説明を避けるため、上述の第１実施形態との相違点に注目して説明する。
【０１０２】
図１４は、本発明の画像補正プログラムの第２実施形態が記憶されたＣＤ−ＲＯＭを示す概念図である。この図１４では、図３と同等な構成要素については図３と同じ符号が付されている。
【０１０３】
第２の画像補正プログラム５００は、エッジ解析部３２０、重み付けブレ解析部５１０、ピンボケ解析部３４０、および補正部３５０で構成されている。この第２の画像補正プログラム５００におけるエッジ解析部３２０は、パーソナルコンピュータ１０上で本発明の第２の画像補正装置におけるブレ検出部の一例を構築する。また、同様に、重み付けブレ解析部５１０は、本発明の第２の画像補正装置におけるブレ算出部の一例を構築し、補正部３５０は、本発明の第２の画像補正装置における補正部の一例を構築する。この画像補正プログラム５００の各部の詳細については、本発明の画像補正装置の第２実施形態の各部の作用と併せて説明する。
【０１０４】
次に、本発明の画像補正方法の第２実施形態について説明する。
【０１０５】
図１５は、本発明の画像補正方法の第２実施形態を示すフローチャートである。この図１５では、図４と同等な処理については図４と同じ符号が付されている。
【０１０６】
この図１５に示す第２の画像補正方法は、エッジ解析過程（ステップＳ１２０）、重み付けブレ解析過程（ステップＳ２１０）、ピンボケ解析過程（ステップＳ１４０）、および補正過程（ステップＳ１５０）を有する。ここで、この第２の画像補正方法におけるエッジ解析過程（ステップＳ１２０）、重み付けブレ解析過程（ステップＳ２１０）、および補正過程（ステップＳ１５０）は、それぞれ本発明の第２の画像補正方法におけるブレ検出過程、ブレ算出過程、および補正過程の各一例に相当する。この第２の画像補正方法の各過程の詳細についても、本発明の画像補正装置の第２実施形態の各部の作用と併せて説明する。
【０１０７】
次に、本発明の画像補正装置の第２実施形態について説明する。
【０１０８】
図１６は、本発明の画像補正装置の第２実施形態を示す機能ブロック図である。この図１６では、図５と同等な構成要素については図５と同じ符号が付されている。
【０１０９】
図１６に示す第２の画像補正装置６００は、エッジ解析部４２０、重み付けブレ解析部６１０、ピンボケ解析部４４０、および補正部４５０で構成されている。ここで、この第２の画像補正装置６００におけるエッジ解析部４２０、重み付けブレ解析部６１０、および補正部４５０は、それぞれ本発明の第２の画像補正装置におけるブレ検出部、ブレ算出部、および補正部の各一例に相当する。
【０１１０】
図１６に示すエッジ解析部４２０では、図５に示す第１の画像補正装置４００のエッジ解析部４２０と同様に、画像中のエッジが解析され、そのエッジを現すエッジ情報として、上述したエッジプロファイルが求められる。ただし、図５に示す第１の画像補正装置４００のエッジ解析部４２０が、トリミング部４１０で求められたトリミング画像中のエッジについて解析するのに対し、図１６に示す本実施形態のエッジ解析部４２０は、入力画像中の全てのエッジについて解析を実行する。
【０１１１】
重み付けブレ解析部６１０では、エッジ解析部４２０で求められたエッジ情報について以下に説明する解析が実行され、入力画像のブレの方向と幅とを表わすブレ情報が求められる。
【０１１２】
図１７は、図１６に示す重み付けブレ解析部の詳細を示すブロック図である。ここで、図１７では、図９と同等な構成要素については図９と同じ符号が付されている。
【０１１３】
この図１７に示す重み付けブレ解析部６１０は、エッジ幅算出部４３１、エッジ幅ヒストグラム作成部４３２、ブレ方向算出部４３３、および重み付けブレ幅算出部６１１で構成されている。
【０１１４】
この重み付けブレ解析部６１０では、エッジ幅算出部４３１からブレ方向算出部４３３に至る各要素における処理によって、入力画像におけるブレの方向が求められる。
【０１１５】
次に、重み付けブレ幅算出部６１１では、まず、例えば肌色等といった基準色の入力を希望するか否かを問うメッセージがユーザに示され、そのメッセージ対する回答がユーザからの操作によって実行される。そして、ユーザが基準色の入力を希望する旨を伝えた場合には、所望の基準色を指定するように促すメッセージがユーザに示され、ユーザからの操作によって基準色が指定される。
【０１１６】
この重み付けブレ幅算出部６１１では、このような基準色に関するユーザからの操作が終了すると、ブレ方向算出部４３３で求められたブレの方向に対応するエッジ幅に対して、以下に説明する演算が実行されて、エッジ幅の重み付け平均が、入力画像におけるブレの幅として求められる。
【０１１７】
図１８は、エッジ幅に対する重みを示す図である。
【０１１８】
この図１８には、縦軸に重み、横軸に所定の基準からの距離が示されたグラフに記載された、重みの変化を示すラインＬが示されている。
【０１１９】
ここで、重み付けブレ幅算出部６１１では、上記の基準色に関するユーザからの操作において、ユーザが基準色の入力を希望しなかった場合には、上記の重みとして、画像の中央からエッジ部分までの距離ｒ１に関する重みｗ１のみが用いられ、一方、ユーザが基準色を指定した場合には、その基準色と、エッジ部分の色との、所定の色空間における距離ｒ２に関する重みｗ２と、上記の中央からの距離ｒ１に関する重みｗ１との２種類の重みが用いられる。
【０１２０】
ここで、上記の中央からの距離ｒ１に関する重みｗ１は、この距離ｒ１が所定の閾値ｒ１ａ以下である場合、即ち、重み付け対象のエッジが画像の中央付近にある場合には「２」となり、距離ｒ１がこの閾値ｒ１ａを超えるものについては中央から離れるに従って減少する。また、所定の色空間における基準色からの距離ｒ２に関する重みｗ２は、この距離ｒ２が所定の閾値ｒ２ａ以下である場合、即ち、重み付け対象のエッジの色が例えば肌色等といった所定の色範囲の色である場合には「２」となり、距離ｒ２がこの閾値ｒ２ａを超えるものについては基準色から離れるに従って減少する。図１８には、これら２種類の重みｗ１，ｗ２の変化が、１本のラインＬで代表的に示されている。
【０１２１】
以下では、これらの２種類の重みが両方用いられる場合を例にとって、エッジ幅の重み付け平均を求める演算について説明する。
【０１２２】
この場合、画像中の各エッジの幅をｖi、各エッジに対応する位置に関する重みをｗ１i、各エッジに対応する色に関する重みをｗ２iとすると、次の式を用いた演算によりエッジ幅の重み付け平均が求められる。
【０１２３】
【数１】
2006024193.tif 000003
【０１２４】
そして本実施形態では、ブレの幅として求められた、上記のエッジ幅の重み付け平均が用いられて、入力画像のブレが補正される。この補正処理は前述の第１の画像補正装置４００における補正処理と同等であるので重複説明を省略する。
【０１２５】
以上、図１６〜図１８を参照して説明したように、第２の画像補正装置６００によれば、ブレの補正に用いる上記のエッジ幅の重み付け平均を求めるにあたり、上記の重み付けブレ解析部６１０で、画像の中央付近の画像部分や、肌色等といった所定の基準色に近い色を有する画像部分等といった、背景等よりも主要な被写体が写る、比較的大きなブレが生じる可能性が高い画像部分におけるエッジの幅が重く重み付けられる。これにより、入力画像のブレを正しく補正することができる。
【０１２６】
次に、本発明の画像補正プログラム、本発明の画像補正方法、および本発明の画像補正装置それぞれの第３実施形態について説明する。これらの第３実施形態は、本発明の画像補正方法、および本発明の画像補正装置それぞれの上述の第２実施形態が若干変更された形態である。そこで、以下では、重複説明を避けるため、上述の第２実施形態に対する相違点に注目して説明する。
【０１２７】
図１９は、本発明の画像補正プログラムの第３実施形態が記憶されたＣＤ−ＲＯＭを示す概念図である。この図１９では、図１４と同等な構成要素については図１４と同じ符号が付され、以下ではこれらの構成要素についての重複説明を省略する。
【０１２８】
第３の画像補正プログラム７００は、図１４に示す第２の画像補正プログラム５００とは、撮影モード取得部７１０と、図１４に示す重み付けブレ解析部５１０とは異なる重み付けブレ解析部７２０とを備えている点が異なる。ここで、この第３の画像補正プログラム７００における撮影モード取得部７１０は、本発明の第２の画像補正装置における撮影モード取得部の一例を構築し、重み付けブレ解析部７２０は、本発明の第２の画像補正装置におけるブレ算出部の一例を構築する。撮影モード取得部７１０および重み付けブレ解析部７２０の詳細については、本発明の画像補正装置の第３実施形態における各部の作用と併せて説明する。
【０１２９】
次に、本発明の画像補正方法の第３実施形態について説明する。
【０１３０】
図２０は、本発明の画像補正方法の第３実施形態を示すフローチャートである。この図２０では、図１５と同等な処理については図１５と同じ符号が付され、以下ではこれらの構成要素についての重複説明を省略する。
【０１３１】
この図２０に示す第３の画像補正方法のフローチャートは、図１５に示す第２の画像補正方法のフローチャートとは、撮影モード取得過程（ステップＳ３１０）と、図１５に示す重み付けブレ解析過程（ステップＳ２１０）とは異なる重み付けブレ解析過程（ステップＳ３２０）とを有している点が異なる。ここで、この図２０のフローチャートにおける撮影モード取得過程（ステップＳ３１０）および重み付けブレ解析過程（ステップＳ３２０）は、それぞれ本発明の第２の画像補正方法における撮影モード取得過程およびブレ算出過程の各一例に相当する。撮影モード取得過程（ステップＳ３１０）および重み付けブレ解析過程（ステップＳ３２０）の詳細についても、本発明の画像補正装置の第３実施形態の各部の作用と併せて説明する。
【０１３２】
次に、本発明の画像補正装置の第３実施形態について説明する。
【０１３３】
図２１は、本発明の画像補正装置の第３実施形態を示す機能ブロック図である。この図２１では、図１６と同等な構成要素については図１６と同じ符号が付されている。
【０１３４】
図２１に示す第３の画像補正装置８００は、図１６に示す第２の画像補正装置６００とは、撮影モード取得部８１０と、図１６に示す重み付けブレ解析部６１０とは異なる重み付けブレ解析部８２０とを備えている点が異なる。ここで、この第３の画像補正装置８００における撮影モード取得部８１０は、本発明の第２の画像補正装置における撮影モード取得部の一例に相当し、重み付けブレ解析部８２０は、本発明の第２の画像補正装置におけるブレ算出部の一例に相当する。
【０１３５】
ここで、本実施形態では、入力画像は、撮影機において、肖像の撮影を目的としたポートレートモードと、風景の撮影を目的とした風景モードと、標準的な撮影を目的とした標準モードとの３つの撮影モードのうちのいずれかの撮影モードで撮影されたものであって、さらに、入力画像には、その入力画像に対応する撮影モードを示すモード情報が添付されているものとする。
【０１３６】
撮影モード取得部８１０では、入力画像に添付されているモード情報が取得され、そのモード情報が重み付けブレ解析部８２０に伝えられる。
【０１３７】
重み付けブレ解析部８２０では、図１６に示す重み付けブレ解析部６１０とほぼ同等の方法により、入力画像のブレの方向と幅とを表わすブレ情報が求められる。ただし、この図２１に示す重み付けブレ解析部８２０では、ブレの幅が、撮影モード取得部８１０から伝えられたモード情報に基づいて求められる点が、図１６に示す重み付けブレ解析部６１０とは異なる。以下、このモード情報に基づいたブレの幅の求め方について説明する。
【０１３８】
上述の図１６に示す重み付けブレ解析部６１０では、入力画像の中央を基準位置としてその基準位置からエッジ部分までの距離ｒ１に関する重みｗ１と、ユーザからの操作で指定された基準色と、エッジ部分の色との、所定の色空間における距離ｒ２に関する重みｗ２とが、それぞれ図１８に示すグラフ上のラインＬによって決定され、決定された重みｗ１，ｗ２が上記の数１に示す演算式に代入されることにより、入力画像中の各エッジの幅をｖiについての重み付け平均が、その入力画像におけるブレの幅として求められる。
【０１３９】
これに対し、図２１に示す重み付けブレ解析部８２０では、まず、基準位置と、基準色と、２種類の重みｗ１，ｗ２それぞれの最大値とが、それぞれ上記のモード情報に基づいて決定される。本実施形態では、これら基準位置、基準色、および２種類の重みｗ１，ｗ２それぞれの最大値は、次のようなテーブルを使って決定される。
【０１４０】
図２２は、基準位置、基準色、および２種類の重みｗ１，ｗ２それぞれの最大値の決定に使われるテーブルを示す図である。
【０１４１】
この図２２に示すテーブルＴａでは、標準モードとポートレートモードと風景モードとの３つの撮影モードそれぞれと、各撮影モードに対応する基準位置、各撮影モードに対応する基準色、および各撮影モードに対応する２種類の重みｗ１，ｗ２それぞれの最大値の比率との対応関係が定義されている。
【０１４２】
標準モードについては、標準モードによる撮影で得られる画像が、中央に人物を捉えた画像であるとの仮定の下に、基準位置として、画像の左右上下ともに中央が対応付けられている。また、基準色としては、人物の顔を想定して肌色が対応付けられている。さらに、２種類の重みｗ１，ｗ２それぞれの最大値の比率としては、エッジの色に関する重みｗ２の方が重い「１：２」という比率が対応付けられている。
【０１４３】
ポートレートモードについては、肖像では人物の顔が画像中のやや高い位置に捉えられることが多いために、基準位置として、画像中の左右方向の中央であって上下方向には下から２／３まで上がった位置が対応付けられている。また、基準色としては、肌色が対応付けられ、２種類の重みｗ１，ｗ２それぞれの最大値の比率としては、エッジの位置に関する重みｗ１の方が重い「２：１」という比率が対応付けられている。
【０１４４】
風景モードについては、画像の中央に緑色が捉えられることが多いために、基準位置として、画像の左右上下ともに中央が対応付けられ、基準色として、緑色が対応付けられている。また、２種類の重みｗ１，ｗ２それぞれの最大値の比率としては、エッジの位置に関する重みｗ１とエッジの色に関する重みｗ２とが、それぞれ上記の基準位置からの距離と基準色からの距離に同じように対応した重みとなるように「１：１」という比率が対応付けられている。
【０１４５】
図２１に示す重み付けブレ解析部８２０では、まず、撮影モード取得部８１０から伝えられたモード情報が示す撮影モードに対応する基準位置、基準色、および重みの最大値の比率が、図２２のテーブルＴａを使って求められる。さらに、この重み付けブレ解析部８２０では、上記の比率が「１：２」あるいは「２：１」の場合には、「２」の比率に対応する側の重みの最大値を「２．０」、「１」比率に対応する側の重みの最大値を「１．０」とし、比率が「１：１」の場合には、２種類の重みｗ１，ｗ２それぞれの最大値を共に「２．０」とすることで、２種類の重みｗ１，ｗ２それぞれの最大値が決定される。そして、このように決定された基準位置、基準色、および２種類の重みｗ１，ｗ２それぞれの最大値に基づき、上述した図１６に示す重み付けブレ解析部６１０における演算方法と同じ演算方法で、入力画像中の各エッジの幅をｖiについての重み付け平均が、その入力画像におけるブレの幅として求められる。
【０１４６】
以上説明した第３の画像補正装置８００によれば、入力画像におけるブレの幅の算出に使われる基準位置、および、位置と色それぞれについての重みの最大値が撮影モードに応じて決定されるので、精度良くブレの幅が求められ、精度良く補正することができる。また、第３の画像補正装置８００によれば、基準色も、撮影モードに応じて決定されるので、ユーザの負担が軽い。
【０１４７】
次に、本発明の画像補正システムの第１実施形態について説明する。
【０１４８】
図２３は、本発明の画像補正システムの第１実施形態である第１の画像送信プリントシステムを示す外観図である。
【０１４９】
この図２３に示す第１の画像送信プリントシステム１０００は、撮影機能付きの携帯電話１１００と、この携帯電話１１００から送信されてきた画像データに基づいて画像をプリントするモバイルプリンタ１２００とを備えている。ここで、携帯電話１１００は、本発明の第１の画像補正システムにおける画像送信装置が組み込まれた撮影機の一例に相当し、モバイルプリンタ１２００は、本発明の第１の画像補正システムにおける画像受信装置が組み込まれたプリンタの一例に相当する。
【０１５０】
携帯電話１１００は、裏面にカメラ用撮影レンズを備えた上部１１１０と、操作キーや音声入力口を備えた下部１１２０とからなる。この携帯電話１１００は、ユーザの操作を受けて被写体を撮影し、Ｒ（Ｒｅｄ），Ｇ（Ｇｒｅｅｎ），Ｂ（Ｂｌｕｅ）３色でカラー画像を表わす画像データを生成することができる。そして、後述するように、この携帯電話１１００では、この撮影で得られた画像データが表わす画像についてのブレ情報と、その画像のピンボケの程度を示すピンボケ情報とが求められる。
【０１５１】
また、この携帯電話１１００の上部１１１０には、赤外線を送信あるいは受信する赤外線送受部１１０１が備えられており、その赤外線送受部１１５から、ユーザの操作を受けて画像データをモバイルプリンタ１２００に赤外線通信によって送信することもできる。このとき、この携帯電話１１００では、送信前に、撮影で得られた画像データのデータ量が、画像のブレに応じて削減され、送信の際にはその削減済みの画像データが送信される。これにより、送信時間の短縮が図られている。また、その画像データが送信される際には、上記のブレ情報およびピンボケ情報も一緒にモバイルプリンタ１２００に送信される。
【０１５２】
モバイルプリンタ１２００には、携帯電話１１００と同様に赤外線送受部２０４が設けられており、携帯電話１１００から、上記の削減済みの画像データ、ブレ情報、およびピンボケ情報が送信されてくると、この赤外線送受部２０４で受信される。このモバイルプリンタ１２００では、ブレ情報およびピンボケ情報に基づいた補正処理が削減済みの画像データに施されて、その画像データが表わす画像のブレとピンボケが補正され、その補正済みの画像が、モバイルプリンタ１２００内部に装填されたインスタントフィルムシート上にプリントされる。また、このモバイルプリンタ１２００は小型で軽量な装置であり、図２３に示すように、ユーザはこのモバイルプリンタ１２００と携帯電話１１００との双方を手に持って画像のプリントを行なうことができる。
【０１５３】
次に、この第１の画像送信プリントシステム１０００を構成する携帯電話１１００およびモバイルプリンタ１２００それぞれの内部構成について説明する。
【０１５４】
図２４は、図２３に示す第１の画像補正システムを構成する携帯電話１１００およびモバイルプリンタそれぞれの内部構成を示す機能ブロック図である。
【０１５５】
ここで、携帯電話１１００が備える通話機能については、本発明の主題ではないので図示および説明を省略する。
【０１５６】
携帯電話１１００は、まず、カメラ用撮影レンズで被写体を撮影し、撮影画像を表わす画像データを生成する撮影部１１３０を備えている。
【０１５７】
また、この携帯電話１１００は、撮影で得られた画像についてのブレ情報と、その画像のピンボケの程度を示すピンボケ情報とを求めるための要素として、図５に示す第１の画像補正装置４００においてブレ情報とピンボケ情報とを求めるための要素であるトリミング部４１０、エッジ解析部４２０、ブレ解析部４３０、およびピンボケ解析部４４０と同じ要素を備えている。図２４では、携帯電話１１００における、これら図５の第１の画像補正装置４００の要素と同じ要素については図５と同じ符号が付されており、この図２４に示すトリミング部４１０とエッジ解析部４２０とブレ解析部４３０とを合せたものが、本発明の第１の画像補正システムにおけるブレ検出部の一例に相当する。以下では、これら図２４のトリミング部４１０、エッジ解析部４２０、ブレ解析部４３０、およびピンボケ解析部４４０については重複説明を省略する。
【０１５８】
また、図２４の携帯電話１１００は、上記の要素以外に、画像縮小部１１４０と送信部１１５０とを備えている。ここで、画像縮小部１１４０および送信部１１５０が、それぞれ本発明第１の画像補正システムにおける画像縮小部および送信部の各一例に相当する。
【０１５９】
ブレ解析部４３０では、撮影で得られた画像データが表わす画像中のブレの方向と幅とが、画像のブレを示すブレ情報として求められるが、このブレ情報は、送信部１１５０とともに、画像縮小部１１４０にも渡される。
【０１６０】
画像縮小部１１４０では、渡されたブレ情報が示すブレの幅に応じて画像の解像度を落とすことによって、撮影で得られた画像データのデータ量が削減される。このとき、画像縮小部１１４０では、画素１個分の幅を広げて、ブレの幅に近づけることで、画像の解像度を落とす。このとき、解像度が落とされても、画素１個分の幅がブレの幅以下に抑えられていれば、画像の見た目の変化も抑えられる。これにより、画像縮小部１１４０では、撮影で得られた画像データが表わす画像の劣化を抑えて、その画像データのデータ量が削減される。データ量が削減された画像データは送信部１１５０に渡される。
【０１６１】
送信部１１５０には、削減済みの画像データとブレ情報との他に、ピンボケ解析部４３０で得られる、画像のピンボケの程度を示すピンボケ情報も渡される。送信部１１５０は、これらの削減済みの画像データ、ブレ情報、およびピンボケ情報を、ユーザの操作をうけて図２３に示す赤外線送受部１１０１からモバイルプリンタ１２００に向けて赤外線で送信する。
【０１６２】
モバイルプリンタ１２００は、まず、赤外線で送信されてくる信号を赤外線送受部１２０１で受信する受信部１２１０を備えており、この受信部１２１０が、本発明の第１の画像補正システムにおける受信部の一例に相当する。また、モバイルプリンタ１２００は、図５に示す第１の画像補正装置４００において画像のブレとピンボケを補正する補正部４５０と同じ要素とを備えている。ここで、図２４では、この図５の補正部４５０と同じ要素については図５と同じ符号が付されており、この図２４に示す補正部４５０が、本発明の第１の画像補正システムにおける補正部の一例に相当する。以下では、この図２４に示す補正部４５０については重複説明を省略する。さらに、モバイルプリンタ１２００は、補正部４５０でブレが補正された画像をプリントするプリント部１２２０を備えている。
【０１６３】
受信部１２１０では、携帯電話１１００から送られてくる上記の削減済みの画像データ、ブレ情報、およびピンボケ情報が受信され、補正部４５０に渡される。そして、補正部４５０において、削減済みの画像データが表わす画像のブレとピンボケとが補正され、その補正された画像が、プリント部１２２０によってプリント出力される。
【０１６４】
以上、図２３と図２４とを参照して説明したように、この第１の画像送信プリントシステム１０００によれば、モバイルプリンタ１２００でブレとピンボケが補正された画像が出力されるだけでなく、撮影で得られた画像データが携帯電話１１００からモバイルプリンタ１２００に送信される際には、その画像データが、画像の劣化を抑えてデータ量が削減された後に送信されるので、画像を劣化させることなく送信時間の短縮を図ることができる。
【０１６５】
次に、本発明の画像補正システムの第２実施形態について説明する。
【０１６６】
図２５は、本発明の画像補正システムの第２実施形態である第２の画像送信プリントシステムを示す外観図である。
【０１６７】
この図２５に示す第２の画像送信プリントシステム２０００は、図２３の第１の画像送信プリントシステム１０００を構成する携帯電話１１００とは異なる携帯電話２１００を備えている他は、この第１の画像送信プリントシステム１０００と同等なシステムである。この第２の画像送信プリントシステム２０００では、携帯電話２１００が、本発明の第２の画像補正システムにおける画像送信装置が組み込まれた撮影機の一例に相当し、モバイルプリンタ１２００が、本発明の第２の画像補正システムにおける画像受信装置が組み込まれたプリンタの一例に相当する。
【０１６８】
図２６は、図２５に示す第２の画像補正システムを構成する携帯電話１１００およびモバイルプリンタそれぞれの内部構成を示す機能ブロック図である。
【０１６９】
第２の画像送信プリントシステム２０００の携帯電話２１００の内部構成は、この図２６に示すように、図２３の携帯電話１１００の内部構成とは異なり、撮影で得られた画像についてのブレ情報と、その画像のピンボケの程度を示すピンボケ情報とを求めるための要素として、図１６に示す第２の画像補正装置６００においてブレ情報とピンボケ情報とを求めるための要素であるエッジ解析部４２０、重み付けブレ解析部６１０、およびピンボケ解析部４４０と同じ要素を備えている。図２６では、携帯電話２１００における、これら図１６の第２の画像補正装置６００の要素と同じ要素については図１６と同じ符号が付されている。また、この携帯電話２１００は、図２３の携帯電話１１００が備えている撮影部１１３０と送信部１１５０と同じ要素も備えており、これらの要素については図２３と同じ符号が付されている。ここで、この図２５の携帯電話２１００が備えるエッジ解析部４２０、重み付けブレ解析部６１０、および送信部１１５０は、それぞれ本発明の第２の画像補正システムにおけるブレ検出部、ブレ算出部、および送信部の各一例に相当する。
【０１７０】
また図２６の携帯電話１１００は、上記の要素以外に、画像縮小部２１１０を備えている。ここで、画像縮小部２１１０が、本発明にいう第２の画像補正システムにおける画像縮小部の一例に相当する。
【０１７１】
画像縮小部２１１０では、重み付けブレ解析部６１０で求められる上記のエッジ幅の重み付け平均に応じて、撮影で得られた画像データが表わす画像の解像度が落とされる。これにより、その画像の劣化を抑えて、その画像データのデータ量が削減される。データ量が削減された画像データは送信部１１５０に渡され、図２４のモバイルプリンタ１２００と同じモバイルプリンタに送信される。図２６では、このモバイルプリンタおよび、モバイルプリンタの各構成要素については、図２４と同等な要素が、図２４と同じ番号を付して示されている。この図２６のモバイルプリンタ１２００を構成する受信部１２１０および補正部４５０が、それぞれ本発明の第２の画像補正システムにおける受信部および補正部の各一例に相当する。
【０１７２】
このように図２５および図２６に示す第２の画像送信プリントシステム２０００によれば、図２３および図２４に示す第１の画像送信プリントシステム１０００と同様に、撮影で得られた画像データが携帯電話２１００からモバイルプリンタ１２００に送信される際には、その画像データが、画像の劣化を抑えてデータ量が削減された後に送信されるので、画像を劣化させることなく送信時間の短縮を図ることができる。
【０１７３】
尚、上記では、本発明にいう主要被写体部分の一例として、画像の中央付近であって、さらにユーザから指定された色を有する画像部分を例示して説明したが、本発明はこれに限るものではない。本発明にいう主要被写体部分は、例えば、ユーザから指定された位置の画像部分等であってもよく、あるいは、例えば、画像中の位置とは関わりなくユーザから指定された色を有する画像部分であってもよく、あるいは、例えば、ユーザからの指定ではなく画像の色分布や彩度を自動解析することによって得られる、ある色範囲の色を有する画像部分等であってもよい。
【０１７４】
また、上記では、本発明にいうブレ算出部の一例として、画像の中央あるいは撮影モードに応じた基準位置からの距離、さらにユーザから指定された基準色あるいは撮影モードに応じた基準色からの所定の色空間における距離が長いほど重みを重くするという例を挙げて説明したが、本発明はこれに限るものではない。本発明にいうブレ算出部は、例えば、画像中の位置とは関わりなく上記の基準色からの所定の色空間における距離が長いほど重みを重くするもの等であってもよく、あるいは、例えば、ユーザから指定された基準色や撮影モードに応じた基準色ではなく画像の色分布や彩度を自動解析することによって得られる、ある色からの所定の色空間における距離が長いほど重みを重くするもの等であってもよい。
【図面の簡単な説明】
【０１７５】
【図１】本発明の画像補正装置の一実施形態として動作するパーソナルコンピュータの外観斜視図である。
【図２】パーソナルコンピュータのハードウェア構成図である。
【図３】本発明の画像補正プログラムの第１実施形態が記憶されたＣＤ−ＲＯＭを示す概念図である。
【図４】本発明の画像補正方法の第１実施形態を示すフローチャートである。
【図５】本発明の画像補正装置の第１実施形態を示す機能ブロック図である。
【図６】エッジ解析部の詳細を示す機能ブロック図である。
【図７】濃度勾配の検出における８つの検出方向を示す図である。
【図８】エッジ解析部でエッジ情報として求められるエッジプロファイルの一例を示す図である。
【図９】図５に示すブレ解析部の詳細を示す機能ブロック図である。
【図１０】図９に示すエッジ幅ヒストグラム作成部で作成される、エッジ幅のヒストグラムの一例を示す図である。
【図１１】相関が小さな２つのヒストグラムの一例を示す図である。
【図１２】相関が大きな２つのヒストグラムの一例を示す図である。
【図１３】図５に示す補正部の詳細を示すブロック図である。
【図１４】本発明の画像補正プログラムの第２実施形態が記憶されたＣＤ−ＲＯＭを示す概念図である。
【図１５】本発明の画像補正方法の第２実施形態を示すフローチャートである。
【図１６】本発明の画像補正装置の第２実施形態を示す機能ブロック図である。
【図１７】図１６に示す重み付けブレ解析部の詳細を示すブロック図である。
【図１８】エッジ幅に対する重みを示す図である。
【図１９】本発明の画像補正プログラムの第３実施形態が記憶されたＣＤ−ＲＯＭを示す概念図である。
【図２０】本発明の画像補正方法の第３実施形態を示すフローチャートである。
【図２１】本発明の画像補正装置の第３実施形態を示す機能ブロック図である。
【図２２】基準位置、基準色、および２種類の重みｗ１，ｗ２それぞれの最大値の決定に使われるテーブルを示す図である。
【図２３】本発明の画像補正システムの第１実施形態である第１の画像送信プリントシステムを示す外観図である。
【図２４】図２３に示す第１の画像補正システムを構成する携帯電話１１００およびモバイルプリンタそれぞれの内部構成を示す機能ブロック図である。
【図２５】本発明の画像補正システムの第２実施形態である第２の画像送信プリントシステムを示す外観図である。
【図２６】図２５に示す第２の画像補正システムを構成する携帯電話１１００およびモバイルプリンタそれぞれの内部構成を示す機能ブロック図である。
【符号の説明】
【０１７６】
１０    パーソナルコンピュータ
１１    本体装置
１１ａ    ＦＤ装填口
１１ｂ    ＣＤ−ＲＯＭ装填口
１１１    ＣＰＵ
１１２    主メモリ
１１３    ハードディスク装置
１１４    ＦＤドライブ
１１５    ＣＤ−ＲＯＭドライブ
１２    画像表示装置
１２ａ    表示画面
１３    キーボード
１４    マウス
１５    バス
２００    ＦＤ
２１０    ＣＤ−ＲＯＭ
３００    第１の画像補正プログラム
３１０    トリミング部
３２０    エッジ解析部
３３０    ブレ解析部
３４０    ピンボケ解析部
３５０    補正部
４００    第１の画像補正装置
４１０    トリミング部
４２０    エッジ解析部
４２１    濃淡画像作成部
４２２    エッジ候補点抽出部
４２３    エッジプロファイル作成部
４２４    エッジプロファイル解析部
４３０    ブレ解析部
４３１    エッジ幅算出部
４３２    エッジ幅ヒストグラム作成部
４３３    ブレ方向算出部
４３４    ブレ幅算出部
４４０    ピンボケ解析部
４５０    補正部
４５１    マスク記憶部
４５２    １次元補正マスク決定部
４５３    ２次元補正マスク決定部
４５４    輝度画像作成部
４５５    １次元高周波成分算出部
４５６    ２次元高周波成分算出部
４５７    高周波成分加算部
５００    第２の画像補正プログラム
５１０    重み付けブレ解析部
６００    第２の画像補正装置
６１０    重み付けブレ解析部
６１１    重み付けブレ幅算出部
７００    第３の画像補正プログラム
７１０    撮影モード取得部
７２０    重み付けブレ解析部
８００    第３の画像補正装置
８１０    撮影モード取得部
８２０    重み付けブレ解析部
１０００    第１の画像送信プリントシステム
１１０１    赤外線送受部
１１００    携帯電話
１１１０    上部
１１２０    下部
１１３０    撮影部
１１４０    画像縮小部
１１５０    送信部
１２００    モバイルプリンタ
１２０１    赤外線送受部
１２１０    受信部
１２２０    プリント部
２０００    第２の画像送信プリントシステム
２１００    携帯電話
２１１０    画像縮小部
【図１】
2006024193.tif 000004
【図２】
2006024193.tif 000005
【図３】
2006024193.tif 000006
【図４】
2006024193.tif 000007
【図５】
2006024193.tif 000008
【図６】
2006024193.tif 000009
【図７】
2006024193.tif 000010
【図８】
2006024193.tif 000011
【図９】
2006024193.tif 000012
【図１０】
2006024193.tif 000013
【図１１】
2006024193.tif 000014
【図１２】
2006024193.tif 000015
【図１３】
2006024193.tif 000016
【図１４】
2006024193.tif 000017
【図１５】
2006024193.tif 000018
【図１６】
2006024193.tif 000019
【図１７】
2006024193.tif 000020
【図１８】
2006024193.tif 000021
【図１９】
2006024193.tif 000022
【図２０】
2006024193.tif 000023
【図２１】
2006024193.tif 000024
【図２２】
2006024193.tif 000025
【図２３】
2006024193.tif 000026
【図２４】
2006024193.tif 000027
【図２５】
2006024193.tif 000028
【図２６】
2006024193.tif 000029