(57)【特許請求の範囲】
【請求項１】
撮像手段により撮像された撮像画像を自動でトリミングする画像のトリミング方法において、
前記撮像画像を解析して複数のトリミング範囲の候補を設定し、
前記撮像手段の前記撮像時におけるズーム倍率が、前記撮像手段が設定可能な範囲の最大の限界に相当する倍率であるか否かを判定し、
前記ズーム倍率が前記最大の限界に相当する倍率であると判定されたとき、前記ズーム倍率が前記最大の限界に相当する倍率でないと判定されたときに比して、範囲がより小さい前記候補をトリミング範囲として設定すると共に、
前記複数のトリミング範囲の候補の設定が、前記撮像画像に含まれる所定のオブジェクトを検出し、検出されたオブジェクト毎に該オブジェクトの種類、輝度、大きさおよび位置のうち少なくとも１つを含む特徴を用いて該オブジェクトの注目度を算出し、所定の閾値以上の前記注目度が算出されたオブジェクトを含むようにトリミング範囲の候補を設定するものであり、
前記ズーム倍率が、光学ズーム倍率と電子ズーム倍率とを含むものであり、
前記光学ズーム倍率と前記電子ズーム倍率がともに前記最大の限界に相当する倍率であるとき、前記ズーム倍率が前記最大の限界に相当する倍率であると判定するものであることを特徴とする画像のトリミング方法。
【請求項２】
前記ズーム倍率が前記最大の限界に相当する倍率であると判定されたとき、前記複数の候補のうち範囲が最小の候補をトリミング範囲として設定することを特徴とする請求項１記載の画像のトリミング方法。
【請求項３】
撮像手段により撮像された撮像画像を自動でトリミングする画像のトリミング方法において、
前記撮像画像を解析して複数のトリミング範囲の候補を設定し、
前記撮像手段の前記撮像時におけるズーム倍率が、前記撮像手段が設定可能な範囲の最小の限界に相当する倍率であるか否かを判定し、
前記ズーム倍率が前記最小の限界に相当する倍率であると判定されたとき、前記ズーム倍率が前記最小の限界に相当する倍率でないと判定されたときに比して、範囲がより大きい前記候補をトリミング範囲として設定すると共に、
前記複数のトリミング範囲の候補の設定が、前記撮像画像に含まれる所定のオブジェクトを検出し、検出されたオブジェクト毎に該オブジェクトの種類、輝度、大きさおよび位置のうち少なくとも１つを含む特徴を用いて該オブジェクトの注目度を算出し、所定の閾値以上の前記注目度が算出されたオブジェクトを含むようにトリミング範囲の候補を設定するものであり、
前記ズーム倍率が、光学ズーム倍率と電子ズーム倍率とを含むものであり、
前記光学ズーム倍率と前記電子ズーム倍率がともに前記最小の限界に相当する倍率であるとき、前記ズーム倍率が前記最小の限界に相当する倍率であると判定するものであることを特徴とする画像のトリミング方法。
【請求項４】
前記ズーム倍率が前記最小の限界に相当する倍率であると判定されたとき、前記複数の候補のうち範囲が最大の候補をトリミング範囲として設定することを特徴とする請求項３記載の画像のトリミング方法。
【請求項５】
さらに、前記ズーム倍率を特定するズーム倍率情報と前記撮像手段の機種を表す機種情報とを取得し、
前記ズーム倍率の判定が、前記ズーム倍率情報に基づいて、予め用意された、撮像手段の機種毎のズームの仕様のうち前記機種情報が表す機種に対応するズームの仕様を参照して判定するものであることを特徴とする請求項１から４いずれか記載の画像のトリミング方法。
【請求項６】
前記光学ズーム倍率が前記最大の限界に相当する倍率であると判定されたとき、前記トリミング範囲の画像に対して歪み補正処理を施すことを特徴とする請求項１または２記載の画像のトリミング方法。
【請求項７】
前記電子ズーム倍率が前記最大の限界に相当する倍率であると判定されたとき、前記トリミング範囲の画像に対してシャープネス処理を施すことを特徴とする請求項１または２記載の画像のトリミング方法。
【請求項８】
撮像手段により撮像された撮像画像を自動でトリミングする画像のトリミング装置において、
前記撮像画像を解析して複数のトリミング範囲の候補を設定するトリミング範囲候補設定手段と、
前記撮像手段の前記撮像時におけるズーム倍率が、前記撮像手段が設定可能な範囲の最大の限界に相当する倍率であるか否かを判定するズーム倍率判定手段と、
前記ズーム倍率が前記最大の限界に相当する倍率であると判定されたとき、前記ズーム倍率が前記最大の限界に相当する倍率でないと判定されたときに比して、範囲がより小さい前記候補をトリミング範囲として設定するトリミング範囲設定手段とを備え、
前記トリミング範囲候補設定手段が、前記撮像画像に含まれる所定のオブジェクトを検出し、検出されたオブジェクト毎に該オブジェクトの種類、輝度、大きさおよび位置のうち少なくとも１つを含む特徴を用いて該オブジェクトの注目度を算出し、所定の閾値以上の前記注目度が算出されたオブジェクトを含むようにトリミング範囲の候補を設定するものであり、
前記ズーム倍率が、光学ズーム倍率と電子ズーム倍率とを含むものであり、
前記ズーム倍率判定手段が、前記光学ズーム倍率と前記電子ズーム倍率がともに前記最大の限界に相当する倍率であるとき、前記ズーム倍率が前記最大の限界に相当する倍率であると判定するものであることを特徴とする画像のトリミング装置。
【請求項９】
前記トリミング範囲設定手段が、前記ズーム倍率が前記最大の限界に相当する倍率であると判定されたとき、前記複数の候補のうち範囲が最小の候補をトリミング範囲として設定するものであることを特徴とする請求項８記載の画像のトリミング装置。
【請求項１０】
撮像手段により撮像された撮像画像を自動でトリミングする画像のトリミング装置において、
前記撮像画像を解析して複数のトリミング範囲の候補を設定するトリミング範囲候補設定手段と、
前記撮像手段の前記撮像時におけるズーム倍率が、前記撮像手段が設定可能な範囲の最小の限界に相当する倍率であるか否かを判定するズーム倍率判定手段と、
前記ズーム倍率が前記最小の限界に相当する倍率であると判定されたとき、前記ズーム倍率が前記最小の限界に相当する倍率でないと判定されたときに比して、範囲がより大きい前記候補をトリミング範囲として設定するトリミング範囲設定手段とを備え、
前記トリミング範囲候補設定手段が、前記撮像画像に含まれる所定のオブジェクトを検出し、検出されたオブジェクト毎に該オブジェクトの種類、輝度、大きさおよび位置のうち少なくとも１つを含む特徴を用いて該オブジェクトの注目度を算出し、所定の閾値以上の前記注目度が算出されたオブジェクトを含むようにトリミング範囲の候補を設定するものであり、
前記ズーム倍率が、光学ズーム倍率と電子ズーム倍率とを含むものであり、
前記ズーム倍率判定手段が、前記光学ズーム倍率と前記電子ズーム倍率がともに前記最小の限界に相当する倍率であるとき、前記ズーム倍率が前記最小の限界に相当する倍率であると判定するものであることを特徴とする画像のトリミング装置。
【請求項１１】
前記トリミング範囲設定手段が、前記ズーム倍率が前記最小の限界に相当する倍率であると判定されたとき、前記複数の候補のうち範囲が最大の候補をトリミング範囲として設定するものであることを特徴とする請求項１０記載の画像のトリミング装置。
【請求項１２】
前記ズーム倍率を特定するズーム倍率情報と前記撮像手段の機種を表す機種情報とを取得する情報取得手段と、
撮像手段の機種毎のズームの仕様を記憶する記憶手段とをさらに備え、
前記ズーム倍率判定手段が、前記ズーム倍率情報に基づいて、前記記憶手段に記憶されているズームの仕様のうち前記機種情報が表す機種に対応するズームの仕様を参照して判定するものであることを特徴とする請求項８から１１いずれか記載の画像のトリミング装置。
【請求項１３】
前記光学ズーム倍率が前記最大の限界に相当する倍率であると判定されたとき、前記トリミング範囲の画像に対して歪み補正処理を施す歪み補正処理手段をさらに備えたことを特徴とする請求項８または９記載の画像のトリミング装置。
【請求項１４】
前記電子ズーム倍率が前記最大の限界に相当する倍率であると判定されたとき、前記トリミング範囲の画像に対してシャープネス処理を施すシャープネス処理手段をさらに備えたことを特徴とする請求項８または９記載の画像のトリミング装置。
【請求項１５】
コンピュータを、撮像手段により撮像された撮像画像を自動でトリミングする画像のトリミング装置として機能させるためのプログラムにおいて、
該コンピュータを、
前記撮像画像を解析して複数のトリミング範囲の候補を設定するトリミング範囲候補設定手段と、
前記撮像手段の前記撮像時におけるズーム倍率が、前記撮像手段が設定可能な範囲の最大の限界に相当する倍率であるか否かを判定するズーム倍率判定手段と、
前記ズーム倍率が前記最大の限界に相当する倍率であると判定されたとき、前記ズーム倍率が前記最大の限界に相当する倍率でないと判定されたときに比して、範囲がより小さい前記候補をトリミング範囲として設定するトリミング範囲設定手段として機能させるものであり、
前記トリミング範囲候補設定手段が、前記撮像画像に含まれる所定のオブジェクトを検出し、検出されたオブジェクト毎に該オブジェクトの種類、輝度、大きさおよび位置のうち少なくとも１つを含む特徴を用いて該オブジェクトの注目度を算出し、所定の閾値以上の前記注目度が算出されたオブジェクトを含むようにトリミング範囲の候補を設定するものであり、
前記ズーム倍率が、光学ズーム倍率と電子ズーム倍率とを含むものであり、
前記ズーム倍率判定手段が、前記光学ズーム倍率と前記電子ズーム倍率がともに前記最大の限界に相当する倍率であるとき、前記ズーム倍率が前記最大の限界に相当する倍率であると判定するものであることを特徴とするプログラム。
【請求項１６】
前記トリミング範囲設定手段が、前記ズーム倍率が前記最大の限界に相当する倍率であると判定されたとき、前記複数の候補のうち範囲が最小の候補をトリミング範囲として設定するものであることを特徴とする請求項１５記載のプログラム。
【請求項１７】
コンピュータを、撮像手段により撮像された撮像画像を自動でトリミングする画像のトリミング装置として機能させるためのプログラムにおいて、
該コンピュータを、
前記撮像画像を解析して複数のトリミング範囲の候補を設定するトリミング範囲候補設定手段と、
前記撮像手段の前記撮像時におけるズーム倍率が、前記撮像手段が設定可能な範囲の最小の限界に相当する倍率であるか否かを判定するズーム倍率判定手段と、
前記ズーム倍率が前記最小の限界に相当する倍率であると判定されたとき、前記ズーム倍率が前記最小の限界に相当する倍率でないと判定されたときに比して、範囲がより大きい前記候補をトリミング範囲として設定するトリミング範囲設定手段として機能させるものであり、
前記トリミング範囲候補設定手段が、前記撮像画像に含まれる所定のオブジェクトを検出し、検出されたオブジェクト毎に該オブジェクトの種類、輝度、大きさおよび位置のうち少なくとも１つを含む特徴を用いて該オブジェクトの注目度を算出し、所定の閾値以上の前記注目度が算出されたオブジェクトを含むようにトリミング範囲の候補を設定するものであり、
前記ズーム倍率が、光学ズーム倍率と電子ズーム倍率とを含むものであり、
前記ズーム倍率判定手段が、前記光学ズーム倍率と前記電子ズーム倍率がともに前記最小の限界に相当する倍率であるとき、前記ズーム倍率が前記最小の限界に相当する倍率であると判定するものであることを特徴とするプログラム。
【請求項１８】
前記トリミング範囲設定手段が、前記ズーム倍率が前記最小の限界に相当する倍率であると判定されたとき、前記複数の候補のうち範囲が最大の候補をトリミング範囲として設定するものであることを特徴とする請求項１７記載のプログラム。
【請求項１９】
前記コンピュータを、
前記ズーム倍率を特定するズーム倍率情報と前記撮像手段の機種を表す機種情報とを取得する情報取得手段と、
撮像手段の機種毎のズームの仕様を記憶する記憶手段としてさらに機能させるものであり、
前記ズーム倍率判定手段が、前記記憶手段に記憶されているズームの仕様のうち前記機種情報が表す機種に対応するズームの仕様を参照して判定するものであることを特徴とする請求項１５から１８いずれか記載のプログラム。
【請求項２０】
前記コンピュータを、前記光学ズーム倍率が前記最大の限界に相当する倍率であると判定されたとき、前記トリミング範囲の画像に対して歪み補正処理を施す歪み補正処理手段としてさらに機能させることを特徴とする請求項１５または１６記載のプログラム。
【請求項２１】
前記コンピュータを、前記電子ズーム倍率が前記最大の限界に相当する倍率であると判定されたとき、前記トリミング範囲の画像に対してシャープネス処理を施すシャープネス処理手段としてさら機能させることを特徴とする請求項１５または１６記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置により撮像された画像を自動的にトリミングする画像のトリミング方法および装置並びにそのためのプログラムに関するものである。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置により撮像された画像の一部を切り出して、その構図を撮像者が意図した構図や客観的に見てより好ましい構図に修正するトリミング処理が行われている。また、このトリミング処理は、コンピュータの一般的な画像処理ソフトを用いることにより比較的簡単に行うことが可能となっている。
【０００３】
ところで、一般ユーザがトリミング処理を行う際には、客観的に見てどのような構図が最も好ましいかといった判断が難しく、また、トリミング範囲を設定するためのソフト上の操作が煩雑であるといった問題が存在する。
【０００４】
このような問題を解決するために、撮像された画像の特徴や撮像条件を解析して、その画像に適したトリミング範囲を自動で設定する方法が提案されている。例えば、特許文献１には、撮影者が撮像装置の撮影モード（人物モード／風景モード）を選択し、撮像された画像に対して上記選択された撮影モードに適した画像解析を行い、その解析結果に基づいて撮像された画像のトリミング範囲を決定し、そのトリミング範囲に従ってトリミングを行う方法が提案されている。
【特許文献１】特開２００５−１７５６８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の方法にように、撮像された画像の特徴を解析し、その解析結果に基づいてトリミング範囲を決定しても、撮影者の撮像時の意図が十分に反映されず、満足度の低い構図となってしまう場合がある。
【０００６】
例えば、現在市販されているデジタルカメラ等の撮像装置の大半にはズーム機能が備わっているが、そのような撮像装置で撮像された画像が比較的広角の構図である場合に、撮影者が意図的にズームをしない広角の構図を求めていたのか、その撮像装置のズーム性能の限界のために広角の構図となってしまったのかが分からず、好ましいトリミング処理が行えない場合がある。
【０００７】
図７は、同一のシーンを表す構図が異なる２つの写真画像の例を示す図である。画像Ｐｚは、被写体である人物に対して比較的広角の構図である画像であり、画像全体にサッカーをする複数の子供が写っている写真画像である。一方、画像Ｐｚ′は、その写真画像の略中央の特定の子供をクローズアップした構図の画像を示した図である。一般に、画像Ｐｚを見ただけでは、撮影者が意図的にズームをしない広角の構図を求めて撮像した画像なのか、本来は画像Ｐｚ′のように撮像したかったが、その撮像装置のズーム性能の限界のためにこのような広角の構図となってしまったのかが分からない。
【０００８】
本発明は、上記事情に鑑み、撮影者のズームに関する意図を踏まえて、撮像された画像をより好ましい構図に修正するトリミングを行うことができる画像のトリミング方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明の画像のトリミング方法は、撮像手段により撮像された撮像画像を自動でトリミングする画像のトリミング方法において、前記撮像画像を解析して複数のトリミング範囲の候補を設定し、前記撮像手段の前記撮像時におけるズーム倍率が、前記撮像手段が設定可能な範囲の最大および最小のうちいずれか所定の限界に相当する倍率であるか否かを判定し、前記ズーム倍率が前記所定の限界に相当する倍率であると判定されたとき、前記ズーム倍率が前記所定の限界に相当する倍率でないと判定されたときに比して、範囲がより小さいまたはより大きい前記候補をトリミング範囲として設定することを特徴とするものである。
【００１０】
本発明の画像のトリミング方法において、前記ズーム倍率が前記所定の限界に相当する倍率であると判定されたとき、前記複数の候補のうち範囲が最小または最大の候補をトリミング範囲として設定するようにしてもよい。
【００１１】
本発明の画像のトリミング方法において、さらに、前記ズーム倍率を特定するズーム倍率情報と前記撮像手段の機種を表す機種情報とを取得し、前記ズーム倍率の判定を、前記ズーム倍率情報に基づいて、予め用意された、撮像手段の機種毎のズームの仕様のうち前記機種情報が表す機種に対応するズームの仕様を参照して判定するものとしてもよい。
【００１２】
本発明の画像のトリミング方法において、前記複数のトリミング範囲の候補の設定は、前記撮像画像に含まれる所定のオブジェクトを検出し、検出されたオブジェクト毎に該オブジェクトの種類、輝度、大きさおよび位置のうち少なくとも１つを含む特徴を用いて該オブジェクトの注目度を算出し、所定の閾値以上の前記注目度が算出されたオブジェクトを含むようにトリミング範囲の候補を設定するものであってもよい。
【００１３】
本発明の画像のトリミング方法において、前記ズーム倍率は、光学ズーム倍率と電子ズーム倍率とを含むものであり、前記光学ズーム倍率と前記電子ズーム倍率がともに前記所定の限界に相当する倍率であるとき、前記ズーム倍率が前記所定の限界に相当する倍率であると判定するものであってもよい。
【００１４】
また、本発明の画像のトリミング方法において、前記ズーム倍率は、光学ズーム倍率を含むものであり、前記光学ズーム倍率が最大倍率であるか否かを判定し、該光学ズーム倍率が最大倍率であると判定されたとき、前記トリミング範囲の画像に対して歪み補正処理を施すようにしてもよい。
【００１５】
また、本発明の画像のトリミング方法において、前記ズーム倍率は、電子ズーム倍率を含むものであり、前記電子ズーム倍率が最大倍率であるか否かを判定し、該電子ズーム倍率が最大倍率であると判定されたとき、前記トリミング範囲の画像に対してシャープネス処理を施すようにしてもよい。
【００１６】
本発明の画像のトリミング装置は、撮像手段により撮像された撮像画像を自動でトリミングする画像のトリミング装置において、前記撮像画像を解析して複数のトリミング範囲の候補を設定するトリミング範囲候補設定手段と、前記撮像手段の前記撮像時におけるズーム倍率が、前記撮像手段が設定可能な範囲の最大および最小のうちいずれか所定の限界に相当する倍率であるか否かを判定するズーム倍率判定手段と、前記ズーム倍率が前記所定の限界に相当する倍率であると判定されたとき、前記ズーム倍率が前記所定の限界に相当する倍率でないと判定されたときに比して、範囲がより小さいまたはより大きい前記候補をトリミング範囲として設定するトリミング範囲設定手段とを備えたことを特徴とするものである。
【００１７】
本発明の画像のトリミング装置において、前記トリミング範囲設定手段は、前記ズーム倍率が前記所定の限界に相当する倍率であると判定されたとき、前記複数の候補のうち範囲が最小または最大の候補をトリミング範囲として設定するものであってもよい。
【００１８】
本発明の画像のトリミング装置において、前記ズーム倍率を特定するズーム倍率情報と前記撮像手段の機種を表す機種情報とを取得する情報取得手段と、撮像手段の機種毎のズームの仕様を記憶する記憶手段とをさらに備え、前記ズーム倍率判定手段は、前記記憶手段に記憶されているズームの仕様のうち前記機種情報が表す機種に対応するズームの仕様を参照して判定するものであってもよい。
【００１９】
本発明の画像のトリミング装置において、前記トリミング範囲候補設定手段は、前記撮像画像に含まれる所定のオブジェクトを検出し、検出されたオブジェクト毎に該オブジェクトの種類、輝度、大きさおよび位置のうち少なくとも１つを含む特徴を用いて該オブジェクトの注目度を算出し、所定の閾値以上の前記注目度が算出されたオブジェクトを含むようにトリミング範囲の候補を設定するものであってもよい。
【００２０】
本発明の画像のトリミング装置において、前記ズーム倍率は、光学ズーム倍率と電子ズーム倍率とを含むものであり、前記ズーム倍率判定手段は、前記光学ズーム倍率と前記電子ズーム倍率がともに前記所定の限界に相当する倍率であるとき、前記ズーム倍率が前記所定の限界に相当する倍率であると判定するものであってもよい。
【００２１】
本発明の画像のトリミング装置において、前記ズーム倍率は、光学ズーム倍率を含むものであり、前記ズーム倍率判定手段は、前記光学ズーム倍率が最大倍率であるか否かを判定するものであり、該光学ズーム倍率が最大倍率であると判定されたとき、前記トリミング範囲の画像に対して歪み補正処理を施す歪み補正処理手段をさらに備えるようにしてもよい。
【００２２】
本発明の画像のトリミング装置において、前記ズーム倍率は、電子ズーム倍率を含むものであり、前記ズーム倍率判定手段は、前記電子ズーム倍率が最大倍率であるか否かを判定するものであり、該電子ズーム倍率が最大倍率であると判定されたとき、前記トリミング範囲の画像に対してシャープネス処理を施すシャープネス処理手段をさらに備えるようにしてもよい。
【００２３】
本発明のプログラムは、コンピュータを、撮像手段により撮像された撮像画像を自動でトリミングする画像のトリミング装置として機能させるためのプログラムにおいて、該コンピュータを、前記撮像画像を解析して複数のトリミング範囲の候補を設定するトリミング範囲候補設定手段と、前記撮像手段の前記撮像時におけるズーム倍率が、前記撮像手段が設定可能な範囲の最大および最小のうちいずれか所定の限界に相当する倍率であるか否かを判定するズーム倍率判定手段と、前記ズーム倍率が前記所定の限界に相当する倍率であると判定されたとき、前記ズーム倍率が前記所定の限界に相当する倍率でないと判定されたときに比して、範囲がより小さいまたはより大きい前記候補をトリミング範囲として設定するトリミング範囲設定手段として機能させることを特徴とするものである。
【００２４】
本発明のプログラムにおいて、前記トリミング範囲設定手段は、前記ズーム倍率が前記所定の限界に相当する倍率であると判定されたとき、前記複数の候補のうち範囲が最小または最大の候補をトリミング範囲として設定するものであってもよい。
【００２５】
本発明のプログラムにおいて、該コンピュータを、前記ズーム倍率を特定するズーム倍率情報と前記撮像手段の機種を表す機種情報とを取得する情報取得手段と、撮像手段の機種毎のズームの仕様を記憶する記憶手段としてさらに機能させるものであり、前記ズーム倍率判定手段は、前記ズーム倍率情報に基づいて、前記記憶手段に記憶されているズームの仕様のうち前記機種情報が表す機種に対応するズームの仕様を参照して判定するものであってもよい。
【００２６】
本発明のプログラムにおいて、前記トリミング範囲候補設定手段は、前記撮像画像に含まれる所定のオブジェクトを検出し、検出されたオブジェクト毎に該オブジェクトの種類、輝度、大きさおよび位置のうち少なくとも１つを含む特徴を用いて該オブジェクトの注目度を算出し、所定の閾値以上の前記注目度が算出されたオブジェクトを含むようにトリミング範囲の候補を設定するものであってもよい。
【００２７】
本発明のプログラムにおいて、前記ズーム倍率は、光学ズーム倍率と電子ズーム倍率とを含むものであり、前記ズーム倍率判定手段は、前記光学ズーム倍率と前記電子ズーム倍率がともに前記所定の限界に相当する倍率であるとき、前記ズーム倍率が前記所定の限界に相当する倍率であると判定するものであってもよい。
【００２８】
本発明のプログラムにおいて、前記ズーム倍率は、光学ズーム倍率を含むものであり、前記ズーム倍率判定手段は、前記光学ズーム倍率が最大倍率であるか否かを判定するものであり、前記コンピュータを、該光学ズーム倍率が最大倍率であると判定されたとき、前記トリミング範囲の画像に対して歪み補正処理を施す歪み補正処理手段としてさらに機能させるようにしてもよい。
【００２９】
本発明のプログラムにおいて、前記ズーム倍率は、電子ズーム倍率を含むものであり、前記ズーム倍率判定手段は、前記電子ズーム倍率が最大倍率であるか否かを判定するものであり、前記コンピュータを、該電子ズーム倍率が最大倍率であると判定されたとき、前記トリミング範囲の画像に対してシャープネス処理を施すシャープネス処理手段としてさら機能させるようにしてもよい。
【００３０】
前記撮像手段としては、例えば、デジタルスチルカメラ、デジタルビデオカメラ等を考えることができる。
【００３１】
「前記ズーム倍率が、前記撮像手段が設定可能な範囲の最大および最小のうちいずれか所定の限界に相当する倍率であるか否かを判定する」方法としては、上記のように、前記撮像時の前記ズーム倍率を特定し得る情報の入力を受け付け、その情報に基づいて前記撮像手段のズームの仕様を参照して判定する方法や、前記ズーム倍率が前記所定の限界に相当する倍率であることを表す情報の入力を受け付け、その情報に基づいて判定する方法等が考えられる。
【００３２】
なお、前記ズーム倍率を特定し得る情報としては、例えば、ズーム倍率そのものを表す情報、ズームレンズの焦点距離を表す情報、ズームレンズの伸縮位置を表す情報、ズームレンズ駆動系のギアの位置を表す情報等を考えることができる。
【００３３】
また、前記ズーム倍率が前記所定の限界に相当する倍率であることを表す情報としては、例えば、撮像手段が、ズーム倍率が前記所定の限界に相当する倍率に達したときにそれを検出するハードまたはソフトの検出器を備え、当該検出器から出力される電気信号またはデータを考えることができる。当該データは前記撮像画像に付帯し、トリミング装置が前記撮像画像とともに入力を受け付ける形態であってもよいし、当該データの入力を、別途、受け付ける形態であってもよい。
【００３４】
前記撮像手段のズームの仕様としては、例えば、その撮像手段における光学焦点距離の最大値／最小値、電子ズーム倍率の最大値／最小値等を考えることができる。
【００３５】
なお、この仕様の参照方法としては、例えば、撮像手段のズームの仕様をトリミング装置のデータベースに記憶させておき、そのデータベースから読み出して参照することが考えられる。この場合、撮像手段の製造メーカ等から予め入手して当該データベースに記憶させるようにしてもよいし、撮像手段の製造メーカのインターネットのＷＥＢサイトから直接ダウンロードして当該データベースに記憶させるようにしてもよい。あるいは、撮像手段の製造メーカから供給されたコンピュータ読取可能な記録媒体を用いて当該データベースに記憶させるようにしてもよいし、ユーザが手入力で当該データベースに記憶させるようにしてもよい。
【００３６】
前記ズームの仕様を参照して前記ズーム倍率が前記所定の限界に相当する倍率であるか否かを判定する場合において、前記撮像画像の撮像に用いられた撮像手段の機種が予め決まっていない場合には、その撮像手段の機種（製造メーカおよびモデル等）を特定し、その特定された機種の仕様を参照する必要があるが、例えば、撮像画像が付帯するタグ情報に含まれる撮像手段の機種情報を読み取って特定するようにしてもよいし、予め用意された撮像手段の機種リストの中からユーザが手入力で選択して特定するようにしてもよい。
【００３７】
前記所定のオブジェクトとしては、例えば、人体、人物の顔、動物、自動車、植物、地面、空、建築物（ランドマーク）等を考えることができる。
【００３８】
前記注目度を算出する方法としては、例えば、オブジェクトの種類によって定まる所定の種類の特徴量の値と注目度との対応関係を示した変換曲線を予め用意しておき、検出されたオブジェクト毎にその所定の種類の特徴量を算出し、そのオブジェクトの種類に対応する変換曲線を用いてその特徴量の値から注目度を算出する方法が考えられる。
【００３９】
前記特徴量としては、例えば、オブジェクトの輝度（オブジェクトに対応する画像を構成する画素の平均画素値）、大きさ（撮像画像に対する相対面積）、位置（撮像画像上の座標）等を考えることができる。輝度に関しては、撮影者が注目する被写体は適正な明るさで写っている可能性が高いと考えられるため、輝度が低すぎたり高すぎたりするオブジェクトは注目度を低く設定することができる。また、大きさに関しては、撮影者が注目する被写体は大きく写っている可能性が高いと考えられるため、その大きさが大きいほど注目度を高く設定することができる。また、位置に関しては、撮影者が注目する被写体は画像の中央寄りに売っている可能性が高いと考えられるため、その位置が画像の端近傍である場合には注目度を低く設定することができる。
【００４０】
なお、注目度は、これら画像上の特徴以外の特徴、例えば、撮像装置の人物モード／風景モード等の撮影モード、ＧＰＳにより検出された撮影場所、撮影条件等の情報をさらに用いて算出するようにしてもよい。撮影モードが人物モードのときは、ポートレート撮影である可能性が高いため、人物の顔であるオブジェクトに対する注目度を重み付けして設定することができる。同様に、撮影モードが風景モードのときは、建築物や自然を撮影している可能性が高いため、建築物や植物であるオブジェクトに対する注目度を重み付けして設定することができる。撮影場所が行楽地であるときは、その行楽地に特有のランドマークがある場合には、そのランドマークであるオブジェクトに対する注目度を重み付けして設定することができる。
【００４１】
なお、本発明において、候補として設定するトリミング枠は、注目度が所定の閾値以上であるオブジェクト全体をすべて含むように設定してもよいし、そのオブジェクトの主要部（例えば、そのオブジェクトの略中央部であって面積がオブジェクト全体の５０％以上の領域）がすべて含まれるようにしてもよい。また、各オブジェクトの位置や種類の組合せ等も考慮して、より自然な構図となるようにトリミング枠の候補を設定するようにしてもよい。
【００４２】
前記光学ズームとは、レンズ等の光学系を用いて取得すべき画像の大きさを拡縮するものであり、また、前記電子ズームとは、撮像装置が有する撮像素子によって取得された画像の一部を切り出し、切り出された画像の単位画素当たりの大きさを変換する画像処理により取得すべき画像の大きさを拡縮するものである。
【００４３】
本発明においては、前記ズーム倍率が最大倍率であるか否かを判定し、当該ズーム倍率が最大倍率であると判定されたときに、前記複数の候補のうち範囲が最小である候補をトリミング範囲として設定してもよいし、前記ズーム倍率が最小倍率であるか否かを判定し、当該ズーム倍率が最小倍率であると判定されたときに、前記複数の候補のうち範囲が最大である候補をトリミング範囲として設定してもよい。
【００４４】
なお、後者の場合において、この範囲が最大である候補は、前記撮像画像の大きさと同じ大きさの範囲の候補を含むものとする。すなわち、当該ズーム倍率が最小倍率であると判定されたときには、トリミングを行わないとすることもできる。
【発明の効果】
【００４５】
本発明の画像のトリミング方法および装置によれば、撮像画像が撮像されたときの撮像装置のズーム倍率が、その撮像装置が設定可能なズーム倍率の範囲の最大および最小のうちいずれか所定の限界に相当する倍率であるか否かを判定し、その所定の限界に相当する倍率であると判定されたときに、複数のトリミング範囲の候補のうち範囲が最小または最大である候補を撮像画像のトリミング範囲として設定するようにしているので、撮像画像が、撮影者がその構図を求めた結果として得られた画像なのか、ズーム性能の限界のために不本意な構図となってしまった画像なのかを推測して、その推測結果をトリミング範囲の設定に反映させることができ、その撮影者のズームに関する意図を踏まえて、撮像画像をより好ましい構図に修正するトリミングを行うことができる。
【発明を実施するための最良の形態】
【００４６】
以下、図面を参照して、本発明の実施形態について説明する。
【００４７】
図１は、本発明の実施形態による画像トリミング装置の構成を示すブロック図である。なお、この画像トリミング装置は、画像の中で注目度の高い領域を検出し、注目度の高い領域を含むようにトリミング枠を設定し、そのトリミング枠に従って画像をトリミングするシステムであり、補助記憶装置に読み込まれた処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。また、画像データは画像を表すものであり、以下、特に画像と画像データの区別をせずに説明を行う。
【００４８】
図１に示すように、本実施形態による画像トリミング装置は、撮像装置により撮像された撮像画像Ｓ０の入力を受け付ける画像入力部１０と、撮像画像Ｓ０の付帯情報である、撮像画像Ｓ０の撮像に用いられた撮像装置Ｍの機種ｍやその撮像装置の撮像時の光学焦点距離（以下、入力光学焦点距離という）Ｌin、電子ズーム倍率（以下、入力電子ズーム倍率という）Ｎin等を含むタグ情報ＴＧを撮像画像Ｓ０から読み取るタグ情報読取部（情報取得手段）２０と、機種ｍの撮像装置のズームの仕様情報を後述のデータベース（記憶手段）４０から読み出して参照し、入力光学焦点距離Ｌinにより特定される光学ズーム倍率や、入力電子ズーム倍率Ｎinが表す電子ズーム倍率が、その機種ｍの撮像装置で設定可能な最大倍率であるか否かをそれぞれ判定し、これらの判定結果ＺＪを出力するズーム倍率判定部（ズーム倍率判定手段）３０と、撮像装置の各機種毎のズームの仕様情報が記憶されているデータベース４０と、撮像画像Ｓ０を解析して複数のトリミング枠の候補ｑｊを設定するトリミング枠候補設定部（トリミング範囲候補設定手段）５０と、判定結果ＺＪに応じて複数のトリミング枠の候補のうち１つをトリミング枠Ｘとして設定するトリミング枠設定部（トリミング範囲設定手段）５２と、トリミング枠Ｘに従って撮像画像Ｓ０をトリミングし、トリミング画像Ｓ１を得るトリミング処理部６０と、判定結果ＺＪに基づいてトリミング画像Ｓ１に各種の補正処理を施し、補正済みのトリミング画像Ｓ１′を得る画像補正部（歪み補正処理手段、シャープネス処理手段）７０とを備える。
【００４９】
画像入力部１０は、撮像画像Ｓ０の入力を受け付け、この撮像画像Ｓ０を不図示のメモリに保存するものである。ユーザはこの画像入力部１０により、例えば、デジタルカメラ等により取得されたスナップ写真の画像を入力することができる。この画像入力部１０は、撮像画像Ｓ０の入力を１つずつ受け付けるようにしてもよいし、一度に複数の撮像画像Ｓ０の入力を受け付けるようにしてもよい。なお、この撮像画像Ｓ０には付帯情報であるタグ情報ＴＧが存在する。
【００５０】
タグ情報読取部２０は、入力された撮像画像Ｓ０からその付帯情報であるタグ情報ＴＧを読み取るものである。このタグ情報ＴＧにはその撮像画像Ｓ０が撮像されたときの撮像条件を表す各種の情報が含まれている。この撮像条件を表す各種の情報には、例えば、撮像に用いられた撮像装置Ｍの機種、その撮像装置Ｍの撮像時のしぼり値、シャッタースピード、受光感度、光学系の焦点距離、電子ズーム倍率、撮像日時等が含まれる。タグ情報読取部２０は、これらの情報のうち、特に、撮像装置Ｍの機種ｍ、撮像装置Ｍの撮像時の光学系の焦点距離である入力光学焦点距離Ｌin、撮像装置Ｍの撮像時の電子ズーム倍率である入力電子ズーム倍率Ｎinを読み取り、これらの情報をズーム倍率判定部３０に出力する。
【００５１】
ズーム倍率判定部３０は、撮像装置の機種Ｍのズームの仕様情報をデータベース４０から読み出し、この仕様情報を参照して、入力光学焦点距離Ｌinにより特定される光学ズーム倍率が、機種ｍの撮像装置が設定可能な光学ズーム倍率の最大倍率であるか否か、および、入力電子ズーム倍率Ｎinが表す電子ズーム倍率が、機種ｍの撮像装置が設定可能な電子ズーム倍率の最大倍率であるか否かをそれぞれ判定し、これらの判定結果ＺＪを得るものである。
【００５２】
具体的には、例えば、データベース４０に撮像装置の機種毎に、光学ズーム倍率が最大倍率であるときの参照光学焦点距離Ｌrefｉと、電子ズーム倍率が最大倍率であるときの参照電子ズーム倍率Ｎrefｉが記憶されており、そのデータベース４０から機種ｍの撮像装置に対応する参照光学焦点距離Ｌrefｍと参照電子ズーム倍率Ｎrefｍとを読み出し、入力光学焦点距離Ｌinと参照光学焦点距離Ｌrefｍとを比較して双方が一致するか否かを判定することにより、入力光学焦点距離Ｌinにより特定される光学ズーム倍率が、機種ｍの撮像装置が設定可能な光学ズーム倍率の最大倍率であるか否か判定し、また、入力電子ズーム倍率Ｎinと参照電子ズーム倍率Ｎrefｍとを比較して双方が一致するか否かを判定することにより、入力電子ズーム倍率Ｎinが表す電子ズーム倍率が、機種ｍの撮像装置が設定可能な電子ズーム倍率の最大倍率であるか否か判定する。なお、機種ｍの撮像装置が設定可能な光学ズームの最大倍率のみが参照可能である場合には、入力光学焦点距離Ｌinに基づいて光学ズーム倍率を算出して、双方の光学ズーム倍率を比較するようにする。
【００５３】
トリミング枠設定部５０は、撮像画像Ｓ０を解析して撮像画像Ｓ０に適した幾つかのトリミング枠の候補ｑｊを設定するものである。以下、この処理について具体的に説明する。
【００５４】
まず、撮像画像Ｓ０において所定の種類のオブジェクトを検出する。このオブジェクトを検出する方法としては、例えば、古典的なパターンマッチングによる方法や、ブースティングと呼ばれる学習アルゴリズムにより生成されたオブジェクト識別器を用いる方法や、自己組織化マップと呼ばれるクラス分類手法により生成されたオブジェクト識別器を用いる方法等が考えられる。また、検出するオブジェクトの種類としては、例えば、人物の顔、植物、地面、空、建築物（ランドマーク）等が考えられる。
【００５５】
図２は、撮像画像上で各種のオブジェクトが検出された様子を示す図である。画像Ｐｏは、ある城を背景に人物が撮像された撮像画像を示しており、画像Ｐｏ′は、画像Ｐｏに対してオブジェクト検出処理がなされ、画像Ｐｏが各オブジェクト毎に区分けされた画像を示している。
【００５６】
すべてのオブジェクトが検出されたら、その検出されたオブジェクト毎に、被写体として注目すべき程度を表す注目度を所定の基準に従って算出する。すなわち、オブジェクトの種類毎にその種類によって定まる所定の種類の特徴量の値と注目度との対応関係を示した変換曲線が用意されており、検出されたオブジェクト毎にその所定の種類の特徴量を算出し、そのオブジェクトの種類に対応する変換曲線を用いてその特徴量の値から注目度を算出する。
【００５７】
例えば、オブジェクトの種類が人物の顔である場合には、図３に示すように、対応する変換曲線が２つ用意されており、第１の変換曲線ＬＵＴ１はそのオブジェクト（顔）の平均輝度と注目度Ｔ１との対応関係を表す変換曲線、第２の変換曲線ＬＵＴ２はそのオブジェクトの撮像画像Ｓ０に対する相対的な大きさ（面積）と注目度Ｔ２との対応関係を表す変換曲線である。そこで、検出された顔を表す画像の平均輝度と大きさを求め、各変換曲線を用いて注目度Ｔ１，Ｔ２をそれぞれ算出し、算出された注目度Ｔ１，Ｔ２を重み係数を用いて合算し、得られた注目度を最終的な注目度Ｔｔとする（Ｔｔ＝ａ×Ｔ１＋ｂ×Ｔ２）。
【００５８】
検出されたオブジェクト毎の注目度が算出されたら、撮像画像Ｓ０において、注目度が第１の閾値以上であるオブジェクトをすべて含む枠や第１の閾値より大きい第２の閾値以上であるオブジェクトをすべて含む枠等をトリミング枠の候補として設定する。なお、候補として設定するトリミング枠は、注目度が所定の閾値以上であるオブジェクト全体をすべて含むように設定してもよいし、そのオブジェクトの主要部（例えば、そのオブジェクトの略中央部であって面積がオブジェクト全体の５０％以上の領域）がすべて含まれるようにしてもよい。また、各オブジェクトの位置や種類の組合せ等も考慮して、より自然な構図となるようにトリミング枠の候補を設定するようにしてもよい。このようにして、複数のトリミング枠の候補ｑｉを用意する。
【００５９】
トリミング枠設定部５２は、判定結果ＺＪに応じてこれら複数の候補ｑｊの中から最も適した候補をトリミング枠Ｘとして選択するものである。例えば、入力光学焦点距離Ｌinにより特定される光学ズーム倍率が、機種ｍの撮像装置が設定可能な光学ズーム倍率の最大倍率であると判定され、かつ、入力電子ズーム倍率Ｎinが表す電子ズーム倍率が、機種ｍの撮像装置が設定可能な電子ズーム倍率の最大倍率であると判定された場合に、それら複数のトリミング枠の候補ｑｊの中からその範囲が最も小さい候補をトリミング枠Ｘとして選択する。一方、判定結果ＺＪが、入力光学焦点距離Ｌinにより特定される光学ズーム倍率と入力電子ズーム倍率Ｎinが表す電子ズーム倍率のいずれか一方でも最大倍率でないと判定された場合には、それら複数のトリミング枠の候補ｑｊの中からその範囲が最も小さい候補を除く他の候補のいずれか、例えば範囲が最も大きいトリミング枠の候補をトリミング枠Ｘとして選択する。
【００６０】
これは、撮像装置Ｍの撮像画像Ｓ０の撮像時における光学ズーム倍率と電子ズーム倍率のいずれもが最大倍率となっている場合には、その撮像画像Ｓ０が、撮影者がその構図を求めた結果として得られた画像ではなく、撮像装置Ｍのズーム性能の限界のために不本意な構図となってしまった画像であると推測することができ、このような場合に、撮影者の意図した構図に近づけるべく、画角がより狭い構図となるように、範囲が最も小さいトリミング枠の候補をトリミング枠Ｘとして選択するという趣旨である。
【００６１】
図４は撮像画像Ｓ０と設定されたトリミング枠Ｘとの関係を示すための図である。図４（ａ）は入力された撮像画像Ｓ０の例を示した図であり、この撮像画像Ｓ０には照明が充分に当たって適正な明るさとなっている右側の２人の人物と照明が充分に当たらず比較的暗い左側の１人の人物とが写っている。このような場合、右側の人物に対する注目度が左側の人物に対する注目度より大きくなることが予想される。その結果、例えば、注目度が第１の閾値以上となる人物は３人すべてであるが、注目度が第１の閾値より大きい第２の閾値以上となる人物は右側の２人だけとなり、右側の２人の人物を囲むトリミング枠の候補と３人の人物すべてを囲むトリミング枠の候補とが設定される場合が想定される。図４（ｂ）はこのようにして撮像画像Ｓ０に設定された、範囲の大きさが異なる２つのトリミング枠の候補ｑ１，ｑ２を示した図である。そして、撮像装置Ｍの撮像画像Ｓ０の撮像時におけるズーム倍率に応じていずれかのトリミング枠の候補がトリミング枠Ｘとして選択される。図４（ｃ）は範囲がより小さいトリミング枠の候補ｑ１がトリミング枠Ｘとして選択された様子を示した図、図４（ｄ）は範囲がより大きいトリミング枠の候補ｑ２がトリミング枠Ｘとして選択された様子を示した図である。
【００６２】
トリミング処理部６０は、撮像画像Ｓ０からトリミング枠Ｘで囲まれた画像を切り出し、その切り出されたトリミング画像Ｓ１を得るものである。このとき、トリミング画像Ｓ１の画像サイズが撮像画像Ｓ０の画像サイズと略同じになるように、トリミング画像Ｓ１を引き延ばす。
【００６３】
画像補正部７０は、トリミング画像Ｓ１に対して必要に応じて歪み補正処理やシャープネス処理を施すものである。すなわち、判定結果ＺＪから、入力光学焦点距離Ｌinにより特定される光学ズーム倍率が、機種ｍの撮像装置が設定可能な光学ズーム倍率の最大倍率であると判明した場合には、トリミング画像Ｓ１に対して歪み補正処理を施し、また、入力電子ズーム倍率Ｎinが表す電子ズーム倍率が、機種ｍの撮像装置が設定可能な電子ズーム倍率の最大倍率であると判明した場合には、トリミング画像Ｓ１に対してシャープネス処理を施すものである。
【００６４】
これは、光学ズーム倍率が最大倍率であるときに撮像された撮像画像は、光学系に起因する画像の歪が発生するのでこれを歪みのない画像に補正し、また、電子ズーム倍率が最大倍率であるときに撮像された撮像画像は、解像度が低くなってエッジ成分がなまるのでこれを補正するという趣旨である。
【００６５】
図５は、光学系に起因する歪みが発生した画像Ｐｄとその歪みを補正した画像Ｐｄ′の例を示す図である。画像Ｐｄは撮像装置の光学系に起因して画像がたる型に歪んでしまっている。一般に、光学ズーム倍率を大きくすると画像がこのようにたる型に歪む傾向がある。撮像装置の機種毎にこの歪み具合を求め、撮像装置の機種毎にその歪みを補正するための補正処理パラメータをデータベースに登録しておけば、入力された撮像装置の機種情報からその機種を特定することができるので、トリミング画像に対して適切な歪み補正処理を施すことが可能となる。
【００６６】
同様に、シャープネス処理についても、撮像装置の機種毎にエッジのなまり具合を求め、撮像装置の機種毎にそのなまりを補正するためのシャープネス処理パラメータをデータベースに登録しておけば、入力された撮像装置の機種情報からその機種を特定することができるので、トリミング画像に対して適切なシャープネス処理を施すことが可能となる。
【００６７】
なお、歪み補正処理およびシャープネス処理は、トリミング処理の前に行ってもよいし、トリミング処理の後に行ってもよい。
【００６８】
次に、本実施形態において行われる処理について説明する。図６は、本実施形態において行われる処理を示すフローチャートである。
【００６９】
まず、画像入力部１０がトリミングの対象となる撮像画像Ｓ０の入力を受け付ける（ステップＳＴ１）。この際、多数の一連の画像Ｓ０の入力を連続的に受け付けてもよい。次に、タグ情報読取部２０が、撮像画像Ｓ０から撮像画像Ｓ０の付帯情報であるタグ情報ＴＧを読み取り、そのタグ情報ＴＧに含まれている、撮像画像Ｓ０の撮像に用いられた撮像装置Ｍの機種ｍ、その撮像装置の撮像時における光学焦点距離を表す入力光学焦点距離Ｌinおよび電子ズーム倍率を表す入力電子ズーム倍率Ｎinを取得して、ズーム倍率判定部３０に出力する（ステップＳＴ２）。
【００７０】
次に、ズーム倍率判定部３０は、機種ｍの撮像装置のズームの仕様情報をデータベース４０から読み出して参照し、入力光学焦点距離Ｌinにより特定される光学ズーム倍率や、入力電子ズーム倍率Ｎinが表す電子ズーム倍率が、その機種ｍの撮像装置で設定可能な最大倍率であるか否かをそれぞれ判定し、これらの判定結果ＺＪを得る（ステップＳＴ３）。
【００７１】
判定結果ＺＪが得られると、トリミング枠候補設定部５０は、撮像画像Ｓ０において人物の顔、植物、地面、空、建築物等の所定の種類のオブジェクトを検出し、検出されたオブジェクト毎に注目度を算出し、その注目度の大きさを考慮して、複数のトリミング枠の候補ｑｉを用意する（ステップＳＴ４）。そして、トリミング枠設定部５２が、判定結果ＺＪが、撮像装置Ｍの撮像画像Ｓ０を撮像したときの光学ズーム倍率および電子ズーム倍率がともに設定可能な最大倍率であったとの判定を示す場合には、それら複数のトリミング枠の候補の中から枠の範囲が最も小さいトリミング枠の候補をトリミング枠Ｘとして選択し、当該判定とは異なる判定を示す場合には、それら複数のトリミング枠の候補の中から枠の範囲が最も大きいトリミング枠の候補をトリミング枠Ｘとして選択する（ステップＳＴ５）。
【００７２】
トリミング枠Ｘが設定されると、トリミング処理部６０は、撮像画像Ｓ０からトリミング枠Ｘで囲まれた画像を切り出し、その切り出されたトリミング画像Ｓ１を得、トリミング画像Ｓ１の画像サイズが撮像画像Ｓ０の画像サイズと略同じになるように、トリミング画像Ｓ１を引き延ばす（ステップＳＴ６）。
【００７３】
トリミング処理が済むと、画像補正部７０は、判定結果ＺＪから、入力光学焦点距離Ｌinにより特定される光学ズーム倍率が、機種ｍの撮像装置が設定可能な光学ズーム倍率の最大倍率であると判明した場合には、トリミング画像Ｓ１に対して歪み補正処理を施し、入力電子ズーム倍率Ｎinが表す電子ズーム倍率が、機種ｍの撮像装置が設定可能な電子ズーム倍率の最大倍率であると判明した場合には、トリミング画像Ｓ１に対してシャープネス処理を施す（ステップＳＴ７）。
【００７４】
このように、本実施形態による画像トリミング装置によれば、撮像画像Ｓ０が撮像されたときの撮像装置Ｍのズーム倍率が、その撮像装置Ｍが設定可能なズーム倍率の限界に相当する最大倍率であるか否かを判定し、最大倍率であると判定されたときに、複数のトリミング枠の候補のうち枠の範囲が最小である候補を撮像画像Ｓ０のトリミング枠Ｘとして設定するようにしているので、撮像画像Ｓ０が、撮影者がその構図を求めた結果として得られた画像なのか、ズーム性能の限界のために不本意な構図となってしまった画像なのかを推測して、その推測結果をトリミング枠Ｘの設定に反映させることができ、その撮影者のズームに関する意図を踏まえて、ズーム倍率の制約により実現できなかった撮像装置Ｓ０の構図をより好ましい構図に修正するトリミングを行うことができる。
【００７５】
なお、本実施形態では、撮像装置Ｍの撮像時のズーム倍率が最大倍率であるか否かを判定し、最大倍率であると判定されたときに、枠の範囲が最小である候補をトリミング枠として設定するようにしているが、撮像装置Ｍの撮像時のズーム倍率が最小倍率であるか否かを判定し、最小倍率であると判定されたときに、枠の範囲が最大である候補をトリミング枠として設定するようにしてもよい。
【００７６】
また、３つ以上のトリミング枠の候補が設定された場合には、撮像装置Ｍの撮像時のズーム倍率が最大倍率であるか否かを判定し、最大倍率であると判定されたときに、最大倍率でないと判定されたときに比してより枠の範囲が小さい候補をトリミング枠として設定するようにしてもよいし、撮像装置Ｍの撮像時のズーム倍率が最小倍率であるか否かを判定し、最小倍率であると判定されたときに、最小倍率でないと判定されたときに比してより枠の範囲が大きい候補をトリミング枠として設定するようにしてもよい。例えば、検出されたオブジェクト毎に算出された注目度を用いて複数のトリミング枠の候補を設定した後、別の要素によってある候補を最有力候補とし、ここで、撮像装置Ｍの撮像時のズーム倍率が最大倍率であると判定されたときには、その最有力候補より枠の大きさがそれより一段階小さい候補をトリミング枠として設定するようにすることができる。
【００７７】
また、撮像装置Ｍの撮像時のズーム倍率が最大倍率でないと判定されたとき、最小倍率でないと判定されたとき、あるいは最小倍率であると判定されたときには、トリミングを行わないようにしてもよい。
【００７８】
なお、撮像装置Ｍの撮像時のズーム倍率が最小倍率である場合には、撮影者の意図に反してズーム性能の限界により広角にできなかったと推測して、トリミングをまったく行わない方が好ましいという考え方もあるが、トリミングには特定の被写体を拡大して切り取るズームトリミングを目的としたものだけでなく、余分な領域をそぎ落としてバランスの取れた構図にすることを目的としたものもあり（例えば、人物の顔が端で半分に切れているような画像の場合、その人物の顔が含まれないように外側の領域をそぎ落とすなど）、後者の目的を優先する場合には、そぎ落とす範囲を最小限とするトリミングを行うという考え方もある。また、撮像装置Ｍの撮像時のズーム倍率が最小倍率である場合であっても、撮影者は特に広角にしたいという意図がなかった場合も考えられる。このような理由から、撮像装置Ｍの撮像時のズーム倍率が最小倍率であっても、敢えてトリミングを行う場合が考えられる。
【００７９】
以上、本発明の望ましい実施形態について説明したが、本発明の方法および装置並びにそのためのプログラムは、上述した実施形態に限られることなく、本発明の主旨を逸脱しない限り、様々な増減、変化を加えることができる。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施形態となる画像トリミング装置の構成を示すブロック図
【図２】撮像画像上で各種のオブジェクトが検出された様子を示す図
【図３】オブジェクトの特徴量と注目度との対応関係を表す変換曲線を示す図
【図４】撮像画像Ｓ０とトリミング枠Ｘとの関係を示すための図
【図５】光学系に起因する歪みが発生した画像と歪みを補正した画像の例を示す図
【図６】本実施形態における処理を示すフローチャート
【図７】同一のシーンを表す構図が異なる２つの写真画像の例を示す図
【符号の説明】
【００８１】
１０  画像入力部
２０  タグ情報読取部
３０  ズーム倍率判定部
４０  データベース
５０  トリミング枠候補設定部
５２  トリミング枠設定部
６０  トリミング処理部
７０  画像補正部
【図１】
0004624947.tif 000002
【図２】
0004624947.tif 000003
【図３】
0004624947.tif 000004
【図４】
0004624947.tif 000005
【図５】
0004624947.tif 000006
【図６】
0004624947.tif 000007
【図７】
0004624947.tif 000008