(57)【要約】【課題】  撮像された画像に写った被写体の傾きを補正した、見やすい画像を得ることができる画像処理装置、画像処理方法、画像処理プログラムまたはそのプログラムを記録した記録媒体を提供する。【解決手段】  傾き検出部１０１は、Ｅｘｉｆ形式の画像ファイルから撮像時のデジタルスチルカメラ６の傾き角度を検出し、これより静止画像１０中の被写体１１の傾き角度を算出する。補正画像生成部１０２は、静止画像中の被写体１１の傾きに対応して、この傾きを打ち消すように静止画像１０を回転させる傾き補正を行い、補正画像１２を生成する。トリミング領域設定部１０３は、補正画像１２の画像表示領域から所定の形状をもつトリミング領域１３の設定を行う。画像生成部１０４は、補正画像１２からトリミング領域１３に対応する画像を抽出して、新たにトリミング画像１４を生成する。【選択図】      図１
2005318401.tif 000002
【特許請求の範囲】
【請求項１】
静止画像中の被写体の鉛直方向に対する撮像装置の傾き情報を画像データと併せて記録した画像ファイルを読み取り、前記撮像装置の傾き情報から前記静止画像中の前記被写体の鉛直方向に対する傾きを取得する傾き検出部と、
前記静止画像を回転させ、前記被写体の鉛直方向に対する傾きを補正した補正画像を生成する補正画像生成部と、
前記補正画像の画像領域から所定の形状をもつように出力領域を設定する出力領域設定部と、
前記補正画像から前記出力領域に対応する領域を抽出し、出力画像を生成する出力画像生成部と、を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記出力領域設定部は、前記出力領域を鉛直軸に対して対称な形状に領域設定することを特徴とする画像処理装置。
【請求項３】
請求項１ないし２のいずれか一項に記載の画像処理装置において、
前記出力領域設定部は、前記出力領域が最大の面積を有するように領域設定を行うことを特徴とする画像処理装置。
【請求項４】
請求項１ないし３のいずれか一項に記載の画像処理装置において、
前記補正画像生成部は、入力部からの操作に対応して傾きの補正を行うか否かを選択することを特徴とする画像処理装置。
【請求項５】
請求項１ないし４のいずれか一項に記載の画像処理装置において、
前記出力領域設定部は、前記静止画像と前記補正画像のうちいずれかの画像上の任意な位置に選択点を設定し、前記選択点を通る鉛直軸に対して対称な形状に前記出力領域を領域設定することを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記傾き検出部は、鉛直方向に対する前記撮像装置の傾きと、静止画像の中の所定の領域を示す領域情報と、画像データと、を記録した画像ファイルを読み取り、前記撮像装置の傾きから前記静止画像中の前記被写体の鉛直方向に対する傾きを取得すると共に、前記所定の領域の領域情報を取得し、
前記出力領域設定部は、前記所定の領域の略中心に選択点を設定し、前記選択点を通る鉛直軸に対して対称な形状に前記出力領域を領域設定することを特徴とする画像処理装置。
【請求項７】
請求項１ないし６のいずれか一項に記載の画像処理装置を備えたことを特徴とする画像撮像装置。
【請求項８】
静止画像中の被写体の鉛直方向に対する撮像装置の傾き情報を画像データと併せて記録した画像ファイルを読み取り、前記撮像装置の傾き情報から前記静止画像中の前記被写体の鉛直方向に対する傾きを取得する傾き検出工程と、
前記静止画像を回転させ、前記被写体の鉛直方向に対する傾きを補正した補正画像を生成する補正画像生成工程と、
前記補正画像の画像領域から所定の形状をもつように出力領域を設定する出力領域設定工程と、
前記補正画像から前記出力領域に対応する領域を抽出し、出力画像を生成する出力画像生成工程と、を備えたことを特徴とする画像処理方法。
【請求項９】
コンピュータを、
静止画像中の被写体の鉛直方向に対する撮像装置の傾き情報を画像データと併せて記録した画像ファイルを読み取り、前記撮像装置の傾き情報から前記静止画像中の前記被写体の鉛直方向に対する傾きを取得する傾き検出手段、
前記静止画像を回転させ、前記被写体の鉛直方向に対する傾きを補正した補正画像を生成する補正画像生成手段、
前記補正画像の画像領域から所定の形状をもつように出力領域を設定する出力領域設定手段、
前記補正画像から前記出力領域に対応する領域を抽出し、出力画像を生成する出力画像生成手段、として機能させるための画像処理プログラム。
【請求項１０】
請求項９に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像中の被写体の傾きを補正する画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
近年、銀塩カメラに替わってデジタルスチルカメラが広く普及し、静止画像の撮像装置として日常の様々な撮像シーンにおいて使用されている。そして、撮像シーンの状況によっては、故意にデジタルスチルカメラ本体を傾けた状態で撮像が行われる場合がある。また、カメラを持つ手の手ぶれなどの為にデジタルスチルカメラが傾くことも考えられる。これらの場合では、撮像画像に対して被写体が傾いて写っている画像が得られるので、ユーザーにとっては見にくく感じられる。例えば被写体として文字が写っていた場合、傾いた文字は見にくく読み取ることが困難になる。被写体を見やすくするためには撮像画像そのものを傾けて見るようにするとよいが、そうした場合、被写体は傾いていなくとも撮像画像全体が傾いているので、全体としてはやはり見にくく不自然な印象を与える画像になる。
【０００３】
特許文献１には、撮像画像に写った被写体の傾きの補正をユーザーが操作することなく自動的に行うことができる技術が開示されている。このものでは、デジタルスチルカメラに重力センサを備え、撮像時のカメラの撮像方向や画像の天地情報などの撮像情報を画像ファイルに付与し、画像ファイルに付与されている撮像情報に従って画像を回転させて補正を行っている。したがって、ユーザーは被写体の傾きが補正された画像を容易に得ることができる。また、特許文献２には、撮像画像に写っている人物像の両眼を認識することより人物像の傾きを検出し、人物像の傾きを補正した後に、人物像の写っている領域を矩形に切り出して、人物画像を取得する技術が示されている。したがって、人物像の傾き方向にあわせて矩形の形状をもつ画像を得ることができるので、ユーザーは見やすい画像を得ることができる。
【０００４】
【特許文献１】特開２０００−１８８７１５号公報
【特許文献２】特開２００３−３１９１６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１にあるように画像を回転させて撮像時の傾き方向を補正した画像では、被写体は傾きのない絵として写っている一方で、画像全体では、画像を回転させて傾きを補正した分だけ傾いてみえる（特許文献１、図４参照）。特許文献２に記載の技術を用いて、人物像に合わせて矩形に切り出した画像についても、画像の局所に写っている人物像の両眼部に相当する領域情報を元にして被写体の傾きを補正しているので、人物像以外に写っている被写体（背景など）については傾きを確実に補正することはできない。また、人物像の両眼部に相当する位置を検出しているので、風景画像などの人物像が写っていない画像に対しては傾きを補正することができない。したがって、このような従来の画像処理方法により傾きを補正した画像では、被写体の傾きを確実に補正することができないので、これを見たユーザーは不自然な印象を受けることになる。また、画像の中の被写体の傾きや人物像の写っている形状によって、得られる画像の形状が変化することになるので、所定の形状をもつ画像を得ることができない。
【０００６】
本発明は、このような課題を解決する為になされたものであり、撮像時にカメラを傾けて撮像した撮像画像であっても、撮像画像に写った被写体の傾きを補正した、見やすい画像を得ることができる画像処理装置、画像処理方法、画像処理プログラムまたはそのプログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の画像処理装置は、静止画像中の被写体の鉛直方向に対する撮像装置の傾き情報を画像データと併せて記録した画像ファイルを読み取り、撮像装置の傾き情報から静止画像中の被写体の鉛直方向に対する傾きを取得する傾き検出部と、静止画像を回転させ、被写体の鉛直方向に対する傾きを補正した補正画像を生成する補正画像生成部と、補正画像の画像領域から所定の形状をもつように出力領域を設定する出力領域設定部と、補正画像から出力領域に対応する領域を抽出し、出力画像を生成する出力画像生成部と、を備えたことを要旨とする。
【０００８】
この構成によれば、撮像時の鉛直方向に対する撮像装置の傾き情報を画像データと併せて画像ファイルに記録し、撮像装置の傾き情報に基づいて静止画像中の被写体の鉛直方向に対する傾きを取得することにより静止画像を回転させ、被写体の鉛直方向に対する傾きを補正すると共に、所定の形状をもつ出力画像を得ることができる。したがって、予め決められた所定の形状を持ちながら、見やすい画像を得ることができる。なお、静止画像を回転させて得られる画素の配列は傾いているので、ニアレストネイバー法、バイ・リニア法またはバイ・キュービック法などの画素補間処理手法を用いて、傾きのない画素配列の各画素位置に対応した画素値を算出しておくことが望ましい。また、この場合の撮像装置には、重力センサを備え、検出した重力方向に対する傾き情報を画像ファイルに記録することが望ましい。被写体が人物または風景であるかに関わりなく、鉛直方向の傾きを検出して補正した出力画像を容易に得ることができる。
【０００９】
ここで、出力領域設定部は、出力領域を鉛直軸に対して対称な形状に領域設定することが好ましい。
【００１０】
こうすれば、鉛直軸に対して対称な形状をもつ出力画像を得ることができるので、出力画像に写った被写体には傾きがなく、鉛直方向に対して対称な形状の出力画像を得ることができる。したがって、見やすく、自然な印象を与える出力画像を得ることができる。なお、出力領域の形状としては、矩形または楕円形であることが好ましいが、菱形・六角形など鉛直な対称軸に対して対称に設定することのできる形状であればよい。
【００１１】
ここで、出力領域設定部は、出力領域が最大の面積を有するように領域設定を行うことが好ましい。
【００１２】
こうすれば、出力画像の中の被写体に傾きがなく、最大の面積をもつ出力画像を得ることができる。したがって、ユーザーは大きく且つ見やすい画像を得ることができる。また、静止画像のもつ情報量を出力画像に最大限に残すことになるので、静止画像の被写体を忠実に再現した画像を得ることができる。
【００１３】
ここで、補正画像生成部は、入力部からの操作に対応して傾きの補正を行うか否かを選択することが好ましい。
【００１４】
こうすれば、入力部からの選択に対応して補正画像生成部で行われる傾きの補正を行うことを選択できるので、傾き補正が必要な静止画像に対してのみ傾きの補正を行うことができる。したがって、必要な画像についてのみ被写体の傾きが補正された出力画像を得ることができる。
【００１５】
ここで、出力領域設定部は、静止画像と補正画像のうちいずれかの画像上の任意な位置に選択点を設定し、選択点を通る鉛直軸に対して対称な形状に出力領域を領域設定するとしてもよい。
【００１６】
こうすれば、ユーザーが任意に選択した選択点（例えば、被写体が画像の周辺に写っているときの被写体の位置）が中心に写りながら、静止画像の中の被写体の傾きが補正された出力画像を得ることができる。なお、選択点の設定には、ユーザーが選択点を直接指定するほか、ユーザーは静止画像上の領域を選択し、出力領域設定部が選択した領域の中央付近に選択点を設定するようにしても良い。また、静止画像または補正画像に画像処理を行って被写体の写っている領域を判別し、その被写体領域の中央付近に選択点を設定するようにしても良い。
【００１７】
ここで、傾き検出部は、鉛直方向に対する撮像装置の傾きと、静止画像の中の所定の領域を示す領域情報と、画像データと、を記録した画像ファイルを読み取り、撮像装置の傾きから静止画像中の被写体の鉛直方向に対する傾きを取得すると共に、所定の領域の領域情報を取得し、出力領域設定部は、前記所定の領域の略中心に選択点を設定し、選択点を通る鉛直軸に対して対称な形状に出力領域を領域設定するとしてもよい。
【００１８】
こうすれば、所定の領域が中心に写った出力画像を容易に得ることができる。なお、所定の領域としては、撮影時に撮像装置の焦点を合わせた領域（合焦点領域）を用いるとよい。この場合、通常、撮像時には被写体に焦点を合わせて撮像を行うので、被写体が画像の中心からずれて写っていた場合でも被写体が中心に写った出力画像が得やすくなる。また、静止画像の中の特定の色をもつ領域を所定の領域として良く、例えば肌色の領域を所定の領域とした場合では、肌色の人物像が中心に写った出力画像が得やすくなる。
【００１９】
ここで、本発明にある画像処理装置を備えた画像撮像装置としてもよい。
【００２０】
こうすれば、静止画像の撮像より、静止画像に写った被写体の傾きの検出および出力画像の生成に至る一連の処理をすべて撮像装置側で行うので、画像の傾きを補正した、見やすい出力画像を容易に得ることができる。また、撮像装置に画像の表示部があった場合には、出力画像を画像表示部に表示させることにより、ユーザーは被写体が傾くことなく写っている画像を見て確認しながら、撮像することができる。さらに、この撮像装置で出力画像を生成するので、本発明にある画像処理装置をもたないコンピュータ装置においても、出力画像を表示させることができる。
【００２１】
本発明の画像処理方法は、静止画像中の被写体の鉛直方向に対する撮像装置の傾き情報を画像データと併せて記録した画像ファイルを読み取り、撮像装置の傾き情報から静止画像中の被写体の鉛直方向に対する傾きを取得する傾き検出工程と、静止画像を回転させ、被写体の鉛直方向に対する傾きを補正した補正画像を生成する補正画像生成工程と、補正画像の画像領域から所定の形状をもつように出力領域を設定する出力領域設定工程と、補正画像から出力領域に対応する領域を抽出し、出力画像を生成する出力画像生成工程と、を備えたことを要旨とする。
【００２２】
また、本発明は、画像処理プログラムまたはその画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体としてもよい。すなわち、コンピュータを、静止画像中の被写体の鉛直方向に対する撮像装置の傾き情報を画像データと併せて記録した画像ファイルを読み取り、撮像装置の傾き情報から静止画像中の前記被写体の鉛直方向に対する傾きを取得する傾き検出手段、静止画像を回転させ、被写体の鉛直方向に対する傾きを補正した補正画像を生成する補正画像生成手段、補正画像の画像領域から所定の形状をもつように出力領域を設定する出力領域設定手段、補正画像から出力領域に対応する領域を抽出し、出力画像を生成する出力画像生成手段、として機能させることを要旨とする。プログラムの記録媒体としては、フレキシブルディスクなどの磁気ディスク、ＣＤ−Ｒなどの光ディスク、ＭＯなどの光磁気ディスクなどのコンピュータが読み取り可能な種々の記録媒体を利用することができる。
【発明を実施するための最良の形態】
【００２３】
（第１の実施形態）
以下、本発明を具体化した第１の実施形態を図面に従って説明する。
【００２４】
図１は、本実施形態における画像処理装置のハードウェア構成を示している。この画像処理装置１００は、汎用のコンピュータ１を中心に構成されており、コンピュータ１に情報を入力する機器として、キーボード２およびマウス３（入力部）並びにＣＤ−Ｒ／ＲＷドライブ４、情報を出力する装置として液晶ディスプレイ５を備えている。また、画像処理装置１００の外部には液晶表示部７を有するデジタルスチルカメラ６およびプリンタ８が備わり、ＵＳＢ接続ケーブルを介してコンピュータ１と接続されている。そして、コンピュータ１内部に備わるＣＰＵ（図示せず）によりこれらの装置の動作制御を行っている。したがって、デジタルスチルカメラ６により撮像した静止画像１０は、ＵＳＢ接続ケーブルを通してコンピュータ１に取り込み、コンピュータ１内に備わる画像処理装置１００により処理された画像が、プリンタ８に出力され印刷が行われる。なお、本実施形態では、デジタルスチルカメラ６内部に備わる重力センサ（図示せず）により鉛直方向に対する撮像時のデジタルスチルカメラ６本体の傾き角度を検出し、撮像した静止画像１０の画像データと共に傾き角度をＥｘｉｆ（登録商標）形式の画像ファイルに記録するようにしている。したがって、コンピュータ１は、デジタルスチルカメラ６から画像ファイルを取得することにより撮像時のデジタルスチルカメラ６本体の傾き角度を得ることができる。
【００２５】
コンピュータ１は、所定のオペレーションシステムの管理下で、静止画像１０に対して画像処理を行う画像処理プログラムをコンピュータ１内部に備わるハードディスク（図示せず）から読み出し、コンピュータ１内部に備わるメモリに記憶させて、実行する。画像処理プログラムを実行すると、画像処理アプリケーションが起動し、コンピュータ１は、液晶ディスプレイ５に表示させるユーザーインターフェイス画面（図２参照）にしたがって、キーボード２またはマウス３からの入力に対応して画像処理を行う画像処理装置１００として機能する。なお、画像処理プログラムは、ＣＤ−ＲＯＭに記録された状態でユーザーに供給され、ＣＤ−Ｒ／ＲＷドライブ４より読み出して、コンピュータ１内部に備わるハードディスク（図示せず）に記録するようにしている。もっとも、インターネットなどのネットワーク回線を通じて、画像処理プログラムをコンピュータ１に供給するようにしてもよい。
【００２６】
画像処理装置１００は、静止画像１０の傾きを検出する傾き検出部１０１と、傾きを補正した補正画像１２を生成する補正画像生成部１０２と、補正画像１２の画像領域からトリミング領域１３を設定するトリミング領域設定部（出力領域設定部）１０３と、トリミング画像（出力画像）１４および合成画像１５を生成する画像生成部（出力画像生成部）１０４と、から構成されている。すなわち、画像処理装置１００は、静止画像１０に写った被写体１１の傾きに基づいて、静止画像１０に写った被写体１１の傾きを補正し、任意の形状をもつトリミング画像１４および合成画像１５の生成を行う。
【００２７】
傾き検出部１０１は、デジタルスチルカメラ６が作成したＥｘｉｆ形式の画像ファイルから撮像時のデジタルスチルカメラ６の傾き角度を検出し、これより静止画像１０中の被写体１１の傾き角度を算出する（図１１（ａ）参照）。補正画像生成部１０２は、静止画像中の被写体１１の傾きに対応して、この傾きを打ち消すように静止画像１０を回転させて、補正画像１２を生成する（傾き補正）。次に、トリミング領域設定部１０３は、補正画像１２の画像領域から任意な形状をもつトリミング領域１３の設定を行う（詳細は後述する）。画像生成部１０４は、補正画像１２からトリミング領域１３に対応する画像を抽出して、新たにトリミング画像１４を生成し（トリミング処理）、さらにトリミング画像１４と規定の背景パターン画像を合成した合成画像１５の生成を行う。
【００２８】
次に、図２に示した画像処理アプリケーションのユーザーインターフェイス画面を用いて、画像処理装置１００の機能について具体的に説明する。なお、この画像処理アプリケーションは、複数のＥｘｉｆ形式の画像ファイルからユーザーの選択した静止画像１０について必要に応じて傾き補正を行い、予め用意された台紙パターン３１から任意に選択し、各台紙パターン３１がもつ画像表示形状に合わせて、プリンタ８に出力して、プリント画像を得るものである。
【００２９】
画像処理アプリケーションを起動すると、印刷を行う画像を選択するプリント画像選択画面２０が表示される（図２（ａ）参照）。プリント画像選択画面２０は、複数の画像が並べて表示される画像表示窓２１と、画像表示窓２１に表示させる画像ファイルを選択する「ディレクトリの変更」ボタン２２と、次の設定画面へ進む「次へ」ボタン２３と、から構成されている。このプリント画像選択画面２０では、始めに「ディレクトリの変更」ボタン２２をマウス３でクリックし、画像ファイルが収められているフォルダのディレクトリの指定を行う。この操作により、指定したディレクトリに収められている全画像ファイルについて、静止画像１０を縮小した縮小画像（サムネイル画像）２４が画像表示窓２１に並べて表示される。ユーザーはこの画像表示窓２１に表示された縮小画像２４を見ながら、印刷する画像ファイルの選択を行う。画像ファイルの選択は、印刷を行う縮小画像２４上にポインタ２５を合わせて、マウス３をクリックすることにより行い、選択された画像ファイルの縮小画像２４の右上にはプリントマーク２６が表示される。また、既にプリントマーク２６が表示されている縮小画像２４にポインタ２５を合わせてクリックした場合には、画像ファイルは選択から外され画像右上のプリントマーク２６の表示が消えるようにしている。例えば、図２（ａ）では画像表示窓２１に表示された６枚の静止画像１０から、「Ａ」、「Ｂ」および「Ｃ」の文字がそれぞれ傾いて写っている３枚の静止画像１０の選択を行っている。こうして、印刷する画像ファイルの選択を終えると、「次へ」ボタン２３をクリックし、次の台紙選択画面に進む。
【００３０】
図２（ｂ）に示す台紙選択画面３０は、複数の台紙パターン３１が並べて表示される台紙表示窓３２と、次の設定画面へ進む「次へ」ボタン３３と、プリント画像選択画面２０へ戻る「前へ」ボタン３４と、から構成されている。この台紙選択画面３０では、台紙表示窓３２に表示させた複数の台紙パターン３１から任意に選択することにより、台紙パターン３１ごとに予め決められた画像の形状（矩形または楕円形）と画像のレイアウトと背景パターンとの設定が行われる。
【００３１】
図２（ｂ）に示されているように、台紙パターン３１は、画像表示領域３５とそれ以外の領域の背景表示領域３８とから構成されている。画像表示領域３５は、矩形の画像表示領域３６または楕円形の画像表示領域３７を含んだ種々の台紙パターン３１を複数並べて構成されている。ユーザーはこの複数の台紙パターン３１から任意の台紙パターン３１を選んでクリックすると、クリックした台紙パターン３１の周辺に強調枠３９が表示され、台紙パターン３１の選択が行われる。
【００３２】
また、背景表示領域３８には、台紙パターン３１ごとに既定の背景パターンが表示されている。例えば、図２（ｂ）では台紙表示窓３２に表示された６つの台紙パターン３１より上段中央に表示されている台紙パターン３１が選択されている。したがって、選択された上段中央の台紙パターン３１にみられるように、トリミング画像１４が矩形であることおよび２枚のトリミング画像を重ねあうようにして、背景表示領域３８の背景パターンと合成した合成画像１５を生成することが選択されている。この台紙パターン３１の選択が行われた状態で、「次へ」ボタン３３をクリックすると、次のレイアウト確認画面４０へ進む。「前へ」ボタン３４をクリックすると、プリント画像選択画面２０へ戻り再度画像ファイルの選択を行う。
【００３３】
図２（ｃ）に示すレイアウト確認画面４０は、レイアウト表示窓４１と、補正設定窓４２と、印刷を行う「プリント」ボタン４３と、台紙選択画面３０へ戻る「前へ」ボタン４４と、から構成されている。なお、レイアウト確認画面４０では、ユーザーは、画像ファイルごとに、傾き補正（詳細は後述する）の有無および台紙選択画面３０で選択した台紙パターン３１の画像表示領域３５が矩形であった場合には、縦横比（アスペクト比）が自由な矩形と静止画像の縦横比に固定した矩形との選択を行うことができるようにしている。
【００３４】
レイアウト表示窓４１は、台紙選択画面３０で選択した台紙パターン３１と、次のページの画像を表示させるボタン４５と、前のページの画像を表示させるボタン４６とから構成されている。レイアウト表示窓４１に表示される台紙パターン３１の画像表示領域３５には、プリント画像選択画面２０で選択した画像ファイルの静止画像１０を縮小表示している。また、複数の画像表示領域３５を有する台紙パターン３１では、それぞれの画像表示領域３５にプリント画像選択画面２０で選択した複数の静止画像１０を同時に表示させ、マウス３をクリックして選択した静止画像１０には強調枠４７が表示されるようにしている。また、プリント画像選択画面２０で選択した画像ファイルの数が台紙パターン３１に含まれる画像表示領域３５の数より多い場合には、複数ページの台紙パターン３１に分けて管理を行い、次のページを表示させるボタン４５または前のページを表示させるボタン４６をクリックすることで、異なるページの台紙パターン３１に表示を切替える。
【００３５】
補正設定窓４２は、傾き補正選択表示部４８と、縦横比選択表示部４９と、から構成され、レイアウト表示窓４１で選択されている画像ファイルについての補正の設定を行う。傾き補正選択表示部４８のボックス部５０をクリックして選択した場合では、ボックス部５０にチェックマークが表示され、選択されている静止画像１０に対して傾き補正を行うことが設定される。また、台紙パターン３１の画像表示領域３５が矩形であった場合には、縦横比選択表示部４９から、静止画像１０の縦横比を固定または自由の設定からいずれかを選択を行うようにしている。縦横比固定を選択した場合は、台紙選択画面３０で選択した台紙パターン３１は矩形の画像表示領域３６ごとに固定の縦横比を有しており、この縦横比の値に固定する。こうして、補正設定窓４２で選択される補正の設定を変更すると、静止画像１０に替えて、補正された画像（トリミング画像１４）をレイアウト表示窓４１に表示されている台紙パターン３１の画像表示領域３５に表示させる。したがって、ユーザーはレイアウト表示窓４１に補正後の画像を見ながら、各種補正の設定を選択できるようにしている。
【００３６】
例えば、図２（ｃ）ではプリント画像選択画面２０で選択された３枚の静止画像１０から２枚の静止画像１０を、台紙選択画面３０で選択された台紙パターン３１の画像表示領域３５に合成して、レイアウト表示窓４１に表示されている。この例では、「Ａ」の文字の写っている静止画像１０について、傾き補正を行い、縦横比が自由な矩形になるように処理を行った画像が台紙パターン３１の画像表示領域３５に表示されている。また、プリント画像選択画面２０で選択された残りの静止画像（「Ｃ」の文字が写っている静止画像）１０は、次のページの台紙パターン３１に表示されることになり、ボタン４５をクリックすると次のページの台紙パターン３１がレイアウト表示窓４１に表示される。
【００３７】
ユーザーがレイアウトを確認した後は、レイアウト確認画面４０上の「プリント」ボタン４３を押すことにより、レイアウト表示窓４１に表示されている画像（合成画像１５（図１２（ｃ）参照））をそのままプリンタ８に出力する。なお、本実施形態では、傾き補正を行った画像は台紙パターン３１の画像表示領域３５の配列に従って並べた合成画像１５を印刷しているが、印刷することなく新しい画像ファイルに記録するようにしてもよく、トリミング画像１４を直接印刷するようにしてもよい。
【００３８】
以上に述べたアプリケーションの表示画面のデータ（台紙選択画面３０、傾き補正選択表示部４８、プリント画像選択画面２０）および台紙パターン３１等のデータは、コンピュータ１内部に備わるハードディスク（図示せず）に記憶されている。また、後述する図３〜図７に示した各フローチャートで示される画像処理プログラムもハードディスクに記憶されている。
【００３９】
以上、ユーザーインターフェイス画面に基づいて画像処理アプリケーションの説明を行った。次に、本画像処理アプリケーションを実現する画像処理プログラムによる処理について説明を行う。
【００４０】
図３は、画像処理プログラムの処理の流れを示すフローチャートである。なお、前述したユーザーインターフェイス画面上においては、プリント画像選択画面２０における選択処理がステップＳ１、台紙選択画面３０における選択処理がステップＳ２、レイアウト確認画面４０における選択処理がステップＳ３〜Ｓ１２に対応する。
【００４１】
画像処理アプリケーションを起動すると、コンピュータ１（ＣＰＵ）が図３のフローチャートで示される画像処理プログラムを実行する。
【００４２】
まず、ステップＳ１において、ユーザーからの操作に対応して、コンピュータ１のＣＰＵが主体となり画像ファイルの選択を行う。
【００４３】
次に、ステップＳ２では、ユーザーからの操作に対応して、コンピュータ１のＣＰＵが主体となり台紙パターン３１の選択を行う。ここで、図２（ｂ）に示すように台紙パターン３１は、画像表示領域３５（矩形または楕円形の画像表示領域３６,３７）および背景パターンをそれぞれ有しており、複数の台紙パターン３１の中から任意に選択するようになっている。したがって、ユーザーが台紙パターン３１を選択することにより、台紙パターン３１ごとに決められているトリミング領域１３の形状および背景パターンが選択される。
【００４４】
次に、ステップＳ３では、ユーザーからの操作に対応して、コンピュータ１のＣＰＵが主体となってステップＳ１で選択した画像ファイルに含まれる複数の静止画像１０から補正を行う画像を選択する。
【００４５】
次に、ステップＳ４では、ステップＳ３で選択した静止画像１０に対して傾き補正を行うか否かを判断する。傾き補正を行わない場合（Ｎｏ）、ステップＳ５に進む。傾き補正を行う場合（Ｙｅｓ）、ステップＳ６に進む。
【００４６】
ステップＳ５では、補正画像生成部１０２による傾き補正を行なわずに、静止画像１０をそのまま複写して補正画像１２を生成する。次にステップＳ９に進む。
【００４７】
ステップＳ６〜Ｓ８では、静止画像１０に対する傾き補正を行う。傾き補正の詳細な内容については後述し、ここでは、処理の流れについて述べることにする。
【００４８】
ステップＳ６では、ステップＳ１で選択した静止画像１０の画像ファイルから読み込んだ撮像時のデジタルスチルカメラ６の鉛直方向に対する傾き角度Θ0から、傾き補正時に静止画像１０を回転させる角度Θ1（＝Θ0）および静止画像中の被写体の傾き角度Θ（＝−Θ0）を取得する。
【００４９】
次に、ステップＳ７では、選択した画像ファイルの静止画像１０を、ステップＳ６で取得した角度Θ1だけ回転させた画像を得る。なお、このステップＳ７で得られた画像は、補正を行ったことにより画素が鉛直方向・水平方向に対して傾いて配列している。
【００５０】
次に、ステップＳ８では、ステップＳ７で得られる画素配列が傾いた画像に対して、周知の画素補間手法であるバイ・キュービック法を用いた画素補間処理を行い、鉛直・水平方向に対して傾きのない画素配列をもつ補正画像１２を生成する。したがって、ステップＳ８で得られた画像は、鉛直・水平方向に傾くことなく画素が配列している。処理を終えると、次はステップＳ９に進む。
【００５１】
ステップＳ９では、ステップＳ５またはＳ８で生成した補正画像１２の画像領域からトリミング領域１３を決定する。トリミング領域１３を設定する処理の内容については後述する。
【００５２】
次に、ステップＳ１０では、補正画像１２からトリミング領域１３に対応する領域を抽出し、トリミング画像１４を生成する（トリミング処理）。
【００５３】
ステップＳ１１では、トリミング画像１４を台紙パターン３１の画像表示領域３５に合わせて合成し、合成画像１５を生成する。
【００５４】
ステップＳ１２では、ステップＳ１１で生成した合成画像１５をレイアウト表示窓４１に表示し、この合成画像１５を印刷して良いか否かを判断する。印刷しても良い場合（Ｙｅｓ）、ユーザーはレイアウト確認画面４０の「プリント」ボタン４３をクリックし、ステップＳ１３に進む。印刷しない場合（Ｎｏ）、ステップＳ３へ戻り、再度、補正を行う静止画像１０の選択から行う。
【００５５】
ステップＳ１３では、生成した合成画像１５の出力を行い、処理を終了する。
【００５６】
次に、トリミング領域を決定する処理（ステップＳ９）について図４〜図１０のフローチャートを用いて説明する。この処理では、台紙選択画面３０およびレイアウト確認画面４０で指定された、トリミング領域１３の３つのパターン（矩形・縦横比自由、矩形・縦横比固定、楕円形）のいずれかを持ちながら、補正画像１２から最も大きな面積をもつトリミング領域が得られるようにトリミング領域１３の寸法を決定する。なお、図４は、トリミング領域１３を決定する全体の処理を示すフローチャートを示し、図５ないし図７はそれぞれ、３つのパターン（矩形・縦横比自由、矩形・縦横比固定、楕円形）のトリミング領域１３を算出するフローチャート、図８〜図１０は３つのパターンのトリミング領域を設定した状態を説明する図である。
【００５７】
トリミング領域１３を決定する処理について、図４に示すフローチャートに基づいて説明する。
【００５８】
ステップＳ９０では、出力するトリミング画像１４の形状が楕円形であるか否かを判断する。すなわち、ステップＳ２（台紙選択画面３０）で選択された台紙パターン３１の画像表示領域３５の形状が楕円形であるか否かを判断する。出力するトリミング画像の形状が楕円形の場合（Ｙｅｓ）、ステップＳ９４へ進む。楕円形でない場合（Ｎｏ）、ステップＳ９１へ進む。
【００５９】
次に、ステップＳ９１では、出力するトリミング画像１４の矩形の縦横比が、固定であるか否かを判断する。縦横比固定である場合（Ｙｅｓ）、ステップＳ９３に進み、縦横比固定でない（縦横比自由）場合（Ｎｏ）、ステップＳ９２に進む。
【００６０】
ここで、本実施形態に係る画像処理プログラムによると、ステップＳ９２〜９４において、選択したトリミング画像１４の形状に合わせて、補正画像１２から得られるトリミング領域１３の面積が最大になる場合のトリミング領域１３の寸法を算出している。
【００６１】
ステップＳ９２では、トリミング画像１４が縦横比自由な矩形である場合のトリミング領域寸法を算出する。次にステップＳ９５に進む。
【００６２】
ステップＳ９３では、トリミング画像１４が縦横比固定な矩形である場合のトリミング領域寸法を算出し、次にステップＳ９５に進む。
【００６３】
ステップＳ９４では、トリミング画像１４が楕円形である場合のトリミング領域寸法を算出し、次にステップＳ９５に進む。
【００６４】
ステップＳ９５では、ステップＳ９２〜９４により算出されたトリミング領域寸法に基づいて、トリミング領域１３の中心を補正画像１２の中心に重ね合わせるようにしてトリミング領域を設定する。このステップＳ９５を終えると、トリミング領域１３を決定する処理は終了する。
【００６５】
次に、図８を用いて、トリミング領域１３の形状を矩形・縦横比自由とした条件の下、補正画像領域内に設定するトリミング領域１３の面積が最大になる寸法の算出方法について説明する。縦横比自由な矩形とした場合、補正画像１２の形状に応じて切り出される条件が異なる。すなわち、図８（ａ）に示すようにトリミング領域１３を、補正画像１２の内部に４点で内接することができる場合と、図８（ｂ）に示すようにトリミング領域１３を、静止画像１０の内部の上下の２点で内接することができる場合とがある。なお、本実施形態では、式の簡略化のために｜Θ｜＜４５°および１≦Ｒ＜２と仮定して式を算出している。
【００６６】
まず、図８（ａ）に示す補正画像１２の内部に４点で内接する場合について述べる。
補正画像１２の横方向、縦方向の寸法をそれぞれＷ、Ｈとし、トリミング領域１３の横方向、縦方向の寸法をｗ、ｈとすると、次の式が成り立つ。
ｗｃｏｓΘ＋ｈｓｉｎΘ＝Ｗ  …（１）
ｗｓｉｎΘ＋ｈｃｏｓΘ＝Ｈ  …（２）
次に式（１）および式（２）を解くことによりｗ、ｈは以下の式で求められる。
ｗ＝（ＷｃｏｓΘ−ＨｓｉｎΘ）／ｃｏｓ（２Θ）  …（３）
ｈ＝（ＨｃｏｓΘ−ＷｓｉｎΘ）／ｃｏｓ（２Θ）  …（４）
【００６７】
次に、図８（ｂ）に示すようにトリミング領域１３を、補正画像１０の内部の上下の２点で内接する場合について述べる。
この場合、トリミング領域１３は、補正画像１２に対して高さ方向に接しているので、上記した式（２）が成り立つ。
この時のトリミング領域１３の面積ｓを表す式は、式（２）を用いて次式で表すことができる。
ｓ＝ｈ・ｗ＝ｈ・（Ｈ−ｈ・ｃｏｓΘ）／ｓｉｎΘ  …（５）
面積ｓが最大になるように、式（５）が極大（ｄｓ／ｄｈ＝０）となるｗおよびｈを求めると以下の式（６）、（７）が求められる。
ｗ＝Ｈ／（２・ｓｉｎΘ）  …（６）
ｈ＝Ｈ／（２・ｃｏｓΘ）  …（７）
【００６８】
また、図８（ａ）に示す補正画像１２の内部に４点で内接する領域を切り出す場合と、図８（ｂ）に示す補正画像１２の上下の２点で内接する領域を切り出す場合とを切り分ける条件は以下のようにして求めることができる。
４点で内接する領域を切り出す場合のトリミング領域１３の横方向寸法を示す式（３）および上下の２点で内接するトリミング領域１３の横方向寸法を示す式（７）が一致する場合を考えると以下の式が得られる。
ｓｉｎ（２Θ）＝１／Ｒ＝Ｈ／Ｗ  …（８）
式（８）が成り立つときは式（３）が成り立っているので４点が接しているが、縦横比Ｒ（＝Ｗ／Ｈ）がさらに大きくなると上下の２点のみで接するようになる。
したがって、ｓｉｎ（２Θ）＞Ｈ／Ｗの場合は上下の２点で内接する状態になり、トリミング領域寸法は式（６）および（７）で与えられる。それ以外の場合（ｓｉｎ（２Θ）≦Ｈ／Ｗ）は４点で内接する状態になり、トリミング領域寸法は式（３）および式（４）で与えられる。
【００６９】
次に、トリミング領域寸法を算出する処理について、図５のフローチャートを用いて以下に説明する。
【００７０】
ステップＳ９３１では、静止画像１０から縦寸法Ｈおよび横寸法Ｗを求める。
【００７１】
次に、ステップＳ９３２では、Ｈ／Ｗ≧ｓｉｎ２Θの条件が成立するか否かを判断し、成立する場合にはステップＳ９３３に進み（Ｙｅｓ）、成立しない場合にはステップＳ９３４に進む（Ｎｏ）。
【００７２】
ステップＳ９３３では、トリミング領域の縦寸法ｈおよび横寸法ｗを式（３）および式（４）により算出する。
【００７３】
ステップＳ９３４では、トリミング領域の縦寸法ｈおよび横寸法ｗを式（６）および式（７）により算出する。
【００７４】
以上の、処理により矩形・縦横比自由の条件の下、面積が最大となるトリミング領域１３の寸法が算出され、トリミング領域の設定は終了する。次にステップＳ１０に進み、トリミング画像の切り出しを行う。
【００７５】
次に、トリミング領域１３を矩形・縦横比固定とした条件の下、最大の面積を有するトリミング領域１３の寸法算出方法を、図９を用いて説明する。図９に示すように、トリミング領域１３の縦横比ｒを静止画像１０と同じ値に固定とした場合、トリミング領域１３の４頂点が静止画像１０に内接することはなく、常に対角の２頂点のみが補正画像１２のフレームの長辺に内接した状態でトリミング領域１３の面積が最大になる。
このとき、補正画像１２の上下方向について上記した式（１）が成り立つ。
また、台紙選択画面３０で選択した台紙パターン３１の矩形の画像表示領域３６ごとに予め設定されている縦横比ｒ（＝ｗ／ｈ）の値を用いて、式（１）よりトリミング領域１３の面積ｓを求めると次の式が得られる。
ｓ＝ｗ・ｈ＝ｈ・（Ｈ−ｈｃｏｓΘ）／ｓｉｎΘ  …（９）
面積ｓが最大になるように、式（９）が極大（ｄｓ／ｄｈ＝０）となるｗおよびｈを求めると以下の式（１０）、（１１）が求められる。
ｗ＝ｒ・Ｈ／（２・ｃｏｓΘ）  …（１０）
ｈ＝Ｈ／（２・ｃｏｓΘ）  …（１１）
したがって、トリミング領域１３を矩形・縦横比固定とした場合、常に式（１０）および式（１１）によりトリミング領域１３の縦寸法ｈおよび横寸法ｗが与えられる。
【００７６】
従って、矩形・縦横比固定としたときの面積が最大となるトリミング領域寸法を算出する処理を示すフローチャートは図６のようになる。以下、図６のフローチャートの処理について説明する。
【００７７】
ステップＳ９４１では、静止画像１０の縦寸法Ｈおよび横寸法Ｗを求める。また、台紙選択画面３０で選択した台紙パターン３１ごとに指定されている矩形の画像表示領域３６の縦横比ｒを取得する。
【００７８】
次に、ステップＳ９４２では、トリミング領域１３の縦寸法ｈおよび横寸法ｗを式（１０）および式（１１）により算出する。
【００７９】
以上の、処理により矩形・縦横比固定の条件の下、面積が最大となるトリミング領域１３の寸法が算出され、トリミング領域１３の設定は終了する。次にステップＳ１０に進み、トリミング画像の切り出しを行う。
【００８０】
次に、トリミング領域１３を楕円形とした条件の下、最大の面積を有するトリミング領域１３の寸法算出方法を、図１０を用いて説明する。楕円形とした場合には、補正画像１２の形状に応じて、切り出される条件が異なることになる。すなわち、図１０（ａ）に示すようにトリミング領域１３を、補正画像１０の内部に４点で内接することができる場合と、図１０（ｂ）に示すようにトリミング領域１３を、静止画像１０内部の上下の２点で内接することができる場合とに分けられる。
【００８１】
まず、４点で内接する場合について図１０（ａ）を用いて述べる。ここで、図においては、得られる楕円形の中心を原点として、水平方向、鉛直方向にそれぞれｘ、ｙ軸を定めている。
この場合、補正画像１０の長辺に接する補正画像の上側の一辺５１を表す式は次のように与えられる。
ｙ＝−ｔａｎΘ・ｘ＋Ｈ／（２ｃｏｓΘ）  …（１２）
同様に、補正画像１２の短辺に接する補正画像の右側の一辺５２を表す式は次のように与えられる。
ｙ＝（ｔａｎΘ）-1・ｘ−Ｗ／（２ｓｉｎΘ）  …（１３）
また、楕円形のトリミング領域１３の外形形状を示す式は次のように示される。
ｘ2／ａ2＋ｙ2／ｂ2＝１  …（１４）
次に、補正画像１２の上側の一辺５１と、補正画像の右側の一辺５２とが、楕円形に接するような条件を求める。すなわち、式（１２）を式（１４）に代入し、判別式Ｄ1＝０とすることにより式（１５）を得る。同様に、式（１３）を式（１４）に代入し、判別式Ｄ2＝０とすることにより式（１６）を得る。
Ｄ1＝（−Ｗ／（ｂ2ｓｉｎΘｔａｎΘ））2−４（１／ａ2＋１／ｂ2ｔａｎ2Θ）
・（Ｗ2／（４ｂ2ｓｉｎ2Θ）−１）＝０  …（１５）
Ｄ2＝（−ＨｔａｎΘ／（ｂ2ｃｏｓΘ））2−４（１／ａ2＋ｔａｎ2Θ／ｂ2）
・（Ｈ2／４ｂ2ｃｏｓ2Θ−１）＝０  …（１６）
こうして得られた式（１５）および式（１６）を解くことで楕円形のトリミング領域１３の寸法、長径ａおよび短径ｂを示す式（１７）および式（１８）が得られる。
ａ＝（（Ｗ2−Ｈ2ｔａｎ2Θ）／４（１−ｔａｎ2Θ））1/2  …（１７）
ｂ＝（（Ｈ2−Ｗ2ｔａｎ2Θ）／４（１−ｔａｎ2Θ））1/2  …（１８）
【００８２】
次に、図１０（ｂ）に示すように２点で内接する場合の式の算出過程を説明する。
まず、楕円形の面積ｓは、長径寸法ａおよび短径寸法ｂを用いてｓ＝πａｂで与えられるので、次のような関係が得られる。
ｓ＝π／２・（Ｗ2ａ2／ｓｉｎ2Θ−４ａ4／ｔａｎ2Θ）1/2  …（１９）
面積ｓが最大になるように、式（１７）の極大点（ｄｓ／ｄａ＝０）を求めると以下の式（２０）、（２１）によりトリミング領域１３の長径寸法ａおよび短径寸法ｂが求められる。
ａ＝Ｈ／（２√２ｓｉｎΘ）  …（２０）
ｂ＝Ｈ／（２√２ｃｏｓΘ）  …（２１）
【００８３】
また、図１０（ａ）に示す補正画像１２の内部に４点で内接する領域を切り出す場合と、図１０（ｂ）に示す補正画像１２の上下の２点で内接する領域を切り出す場合とを切り分ける条件は以下のようにして求めることができる。
４点で内接する領域を切り出す場合のトリミング領域１３の長径方向寸法を示す式（１５）および上下の２点で内接するトリミング領域１３の長径方向寸法を示す式（１８）が一致する場合を考えると以下の式が得られる。
Ｒ2＝２／ｓｉｎ2２Θ−１  …（２２）
式（２２）が成り立つときは式（１７）が成り立っているので４点が接した状態となるが、縦横比Ｒがこの値よりさらに大きくなると上下の２点のみで接するようになる（図１０（ｂ）参照）。
したがって、Ｒ2＞２／ｓｉｎ2２Θ−１の場合は上下の２点で内接する状態になり、トリミング領域寸法は式（２０）および（２１）で与えられる。それ以外の場合（Ｒ2≦２／ｓｉｎ2２Θ−１）は４点で内接する状態になり、トリミング領域寸法は式（１７）および式（１８）で与えられる。
【００８４】
従って、楕円形としたときの面積が最大となるトリミング領域寸法を算出する処理を示すフローチャートは図７のようになる。以下、図７のフローチャートの処理について説明する。
【００８５】
ステップＳ９５１では、静止画像１０から縦寸法Ｈおよび横寸法Ｗを求める。
【００８６】
次に、ステップＳ９５２では、静止画像１０の縦横比Ｒ（＝Ｗ／Ｈ）を算出する。
【００８７】
次のステップＳ９５３では、Ｒ2≦２／（ｓｉｎ2（２Θ）−１）の関係が成立しているか否かを判断する。この関係が成立していればステップＳ９５４に進み（Ｙｅｓ）、成立していなければステップＳ９５５に進む（Ｎｏ）。
【００８８】
ステップＳ９５４では、式（１７）および式（１８）によりトリミング領域１３の長径寸法ａおよび短径寸法ｂを算出する。
【００８９】
ステップＳ９５５では、式（２０）および式（２１）によりトリミング領域１３の長径寸法ａおよび短径寸法ｂを算出する。
【００９０】
以上の、処理により楕円形の条件の下、面積が最大となるトリミング領域１３の寸法が算出されトリミング領域１３の設定は終了する。次にステップＳ１０に進み、トリミング画像１４の切り出しを行う。
【００９１】
以上に本実施形態に係る画像処理アプリケーション（画像処理プログラム）の処理フローについて述べた。次に、トリミング画像１４および合成画像１５を得る本実施形態での傾き補正およびトリミング処理について詳述する。
【００９２】
傾き補正（ステップＳ６〜Ｓ８）を図１１に示す模式図を用いて説明する。なお、以下では、反時計回り方向を角度の正方向とし、鉛直方向をＹ軸方向、水平方向をＸ方向としている。図１１（ａ）には、デジタルスチルカメラ６を鉛直軸（Ｙ軸）に対して角度（Θ0）だけ傾けて、鉛直に立っている被写体（図１１では「Ａ」の文字）１１を撮像した様子を示している。この場合、デジタルスチルカメラ６の液晶表示部７に見られるように、鉛直軸に対して被写体１１が傾いて表示されている。こうして撮像された静止画像１０では、図１１（ｂ）に示すように被写体１１がカメラの傾き角度の逆方向に傾いて写っているようにみえる。すなわち、静止画像１０には、鉛直軸に対して角度Θ（＝−Θ0）だけ傾いた被写体１１が写っている。
【００９３】
次に、図１１（ｂ）に見られる静止画像１０を角度Θ1（＝−Θ）だけ回転させて傾き補正を行う。傾き補正後には図１１（ｃ）に見られるように被写体１１が鉛直に写っている補正画像１２が得られる。次に、こうして得られた補正画像１２からトリミング画像１４の抽出を行う。
【００９４】
トリミング画像１４を抽出し、台紙パターン３１とを合成した合成画像１５を生成するトリミング処理を、図１２を用いて説明する。なお、ここでは、トリミング領域１３の形状は、矩形・縦横比固定とした場合について説明する。まず、図１２（ａ）のように、補正画像１２の画像領域に対して、矩形・縦横比固定の形状をもちながら最大の面積となるトリミング領域１３を設定する。このとき、トリミング領域の横寸法（ｗ）、縦寸法（ｈ）は式（３）により算出する。トリミング領域１３の位置については、補正画像１２の中心にトリミング領域１３の中心を重ね合わせるようにして設定する。すなわち、補正画像１２の中心から、横方向（Ｘ方向）に±ｗ／２、縦方向（Ｙ方向）に±ｈ／２の領域をトリミング領域１３に設定する。次に、補正画像１２からトリミング領域１３に対応する領域の抽出を行うとトリミング画像１４が得られる（図１２（ｂ））。このようにして得られたトリミング画像１４は、被写体１１が鉛直に写り、矩形・縦横比固定の条件を満たしながら、最大の面積をもつ画像となる。
【００９５】
次に、トリミング画像１４は、台紙選択画面３０で選択された台紙パターン３１と合成される。台紙パターン３１には、トリミング画像１４を貼り付ける画像表示領域３５とそれ以外の背景領域のパターンが予め決められており、トリミング画像１４を画像表示領域３５に合成することにより図１２（ｃ）に示すような背景表示のある合成画像１５が得られる。
【００９６】
以上に述べた本実施形態によると、被写体１１が傾くことなく鉛直に写り、鉛直軸に対して対称な形状をもちながら、最大の面積をもつ画像（トリミング画像１４）の写った合成画像１５が得られる。
【００９７】
以上に述べた本実施形態によれば、以下に示す効果が得られる。
（１）  トリミング画像１４および合成画像１５の中の被写体が鉛直に写っているので、ユーザーが見やすい画像を得ることができる。
（２）  被写体１１が鉛直に写りながら、鉛直方向を対称軸として対称な形状をもつ画像が得られる。したがって、被写体１１に対して画像のフレームが傾いていないのでユーザーに自然な印象を与える画像を得ることができる。
（３）  矩形（縦横比自由または、固定）または楕円形の形状をもちながら、最大の面積をもつトリミング画像１４を得ることができる。大きな画像を得られるので、ユーザーが見やすい画像が得られる。
（４）  静止画像１０に写った人物像の特定部位に相当する位置を検出して傾きを求めているのではなく、Ｅｘｉｆ形式の画像ファイルに記録された傾き情報を用いて被写体１１の傾きを求めているので、静止画像１０に写った被写体１１が人物であるか風景であるかに関わりなく傾き補正を行うことができる。
（５）  台紙パターン３１から選択することにより、トリミング画像１４の形状を矩形（縦横比自由または、固定）または楕円形の中から選択できるようにしているので、所望の形状をもつ画像を容易に得ることができる。
（６）  所定の台紙パターン３１から選択することにより、背景パターンを選択しているので、所望の背景表示のなされた画像を容易に得ることができる。
【００９８】
（第２の実施形態）
また、第２の実施形態として、デジタルスチルカメラ６に本発明の画像処理装置１００を備えても良い。図１３に示すように、本実施例にあるデジタルスチルカメラ６は、画像を表示する液晶表示部７と、その内部には傾き補正およびトリミング画像１４の生成を行う画像処理装置１００と、を備えている。画像処理装置１００は、デジタルスチルカメラ６の傾きを検出する傾き検出部（重力センサ）２０１と、補正画像１２を生成する補正画像生成部１０２と、補正画像１２からトリミング領域１３を設定するトリミング領域設定部１０３と、補正画像１２からトリミング領域１３に対応する画像領域を抽出し、トリミング画像１４を生成するトリミング画像生成部１０５と、を備えている。したがって、デジタルスチルカメラ６を傾けて撮像したことによる静止画像１０に写った被写体１１の傾きを補正しながら、最大限の大きさになるように切り出されたトリミング画像１４を液晶表示部７に表示し、撮像したその場で撮像画像を確認することができる。なお、液晶表示部７の大きさ（解像度）に合わせて、トリミング画像１４の大きさ（解像度）を拡大縮小させて表示しても良い。また、この場合の画像処理装置１００では、撮像時のデジタルスチルカメラ６の傾き角度を重力センサから直接傾き角度情報を取得し、画像の確認後に被写体１１の傾きを補正した画像データを画像ファイルに記録するようにしても良い。
【００９９】
第２の実施形態によれば、前記第１の実施形態で述べた効果（１）〜（６）に加えて以下に示す効果が得られる。
（７）  撮像したその場で、傾きを補正した画像を液晶表示部７により確認することができる。
（８）  デジタルスチルカメラ６の液晶表示部７を見ながら傾き補正、トリミング、台紙パターンとの画像の合成を行うことができるので、例えばデジタルスチルカメラ６を直接プリンタに接続して印刷できる機能を持てば、デジタルスチルカメラ６で適切に補正された画像をプリンタ８から直接印刷することができる。
【０１００】
以上、本実施形態について説明したが、本発明はこの実施例に限定されるものではなく、以下に示す変形例についても適用することができる。
【０１０１】
（第１の変形例）前記実施形態では、ステップＳ９において補正画像１２の中心とトリミング領域１３の中心とを重ね合わせるようにして、トリミング領域１３を設定した。これに対し、トリミング領域１３の中心を、補正画像１２または静止画像１０中の任意の位置に合わせるようにしてトリミング領域１３を設定するようにしても良い。すなわち、図１４に示すように補正画像１２の任意の位置に選択点６０を設定し、この選択点６０を中心として最大の面積を得られるようにトリミング領域１３の設定を行う（図１４（ａ））。こうすれば、選択点６０が中央に写りながら、被写体１１の傾きが補正されているトリミング画像１４を得ることができる（図１４（ｂ））。なお、ここでは補正画像１２上において、選択点６０の位置を設定したが、静止画像１０上において設定するようにしても良く、また、複数の選択点６０を設定し、一つの静止画像１０から複数のトリミング画像１４を生成する構成としても良い。
【０１０２】
（第２の変形例）図１５に示すように、静止画像の撮像時にデジタルスチルカメラ６がフォーカスを合わせた領域（合焦点領域７０）についての領域情報を画像ファイルに記録している場合、この合焦点領域７０の中心に、トリミング領域１３の中心を重ね合わせるようにしてトリミング領域１３を設定するようにしても良い。すなわち、図１５に示すように、撮像時の合焦点領域７０の領域情報を画像ファイルに記録し（図１５（ａ））、合焦点領域７０の中心位置を回転中心として補正画像１２を生成し（図１５（ｂ））、補正画像１２から合焦点領域７０が写ったトリミング画像１４を生成する（図１５（ｃ））。通常、被写体１１に焦点を合わせて撮像を行うので、例えば、被写体１１が画像の中心からずれて写っていた場合でも被写体１１が中心に写ったトリミング画像１４を得やすくなる。
【０１０３】
（第３の変形例）、静止画像１０に写った被写体１１の位置を認識し、この被写体１１の位置を中心にしてトリミング画像１４を抽出するようにしてもよい。すなわち、図１６（ａ）にみられるように被写体１１の位置を認識し、傾き補正を行った後、この被写体１１の位置を中心にしてトリミング画像１４を抽出する（図１６（ｂ））。こうすれば、図１６（ｃ）に示すように被写体１１の傾きが補正され、被写体１１が中心に写ったトリミング画像１４を得ることができる。なお、被写体１１の位置を認識する方法としては、静止画像１０に対してパターンマッチングなどの周知の画像処理技術を用いて被写体１１の位置を抽出すると良い。
【０１０４】
（第４の変形例）前記実施形態によれば、トリミング画像１４の形状を矩形（縦横比自由または、固定）または楕円形から選択するようにしている。しかし、トリミング画像１４の形状はこれに限られるものではなく、鉛直軸に対して対称な形状であれば良い。したがって、第４の変形例として、トリミング画像１４が、菱形、星型またはハニカム状の形状など様々な形状をもつようにしても良い。
【０１０５】
（第５の変形例）動画像を構成する各フレーム画像（静止画像１０）に対して、傾き補正およびトリミング処理を行っても良い。これによれば、動画像を構成する各フレーム画像（静止画像１０）に対して傾き補正およびトリミング処理を行うので、自然で見やすい動画像を得ることができる。
【図面の簡単な説明】
【０１０６】
【図１】本発明に係る第１の実施形態の画像処理装置を示す模式図。
【図２】第１の実施形態におけるユーザーインターフェイス画面を示す模式図。（ａ）プリント画像選択画面（ｂ）台紙選択画面（ｃ）レイアウト確認画面。
【図３】画像処理装置が行う処理のフローチャート。
【図４】画像処理装置が行うトリミング領域決定処理のフローチャート。
【図５】トリミング領域寸法の算出処理のフローチャート（矩形、縦横比固定）。
【図６】トリミング領域寸法の算出処理のフローチャート（矩形、縦横比自由）。
【図７】トリミング領域寸法の算出処理のフローチャート（楕円形）。
【図８】トリミング領域寸法の算出処理を説明する模式図（矩形、縦横比固定）。（ａ）補正画像に４点が内接するトリミング領域が得られる場合。（ｂ）補正画像に２点が内接するトリミング領域が得られる場合。
【図９】トリミング領域寸法の算出処理を説明する模式図（矩形、縦横比自由）。
【図１０】トリミング領域寸法の算出処理を説明する模式図（楕円形）。（ａ）補正画像に４点が内接するトリミング領域が得られる場合。（ｂ）補正画像に２点が内接するトリミング領域が得られる場合。
【図１１】画像処理装置が行う傾き補正処理を説明する模式図。（ａ）撮像時のカメラ方向と被写体（ｂ）静止画像（ｃ）補正画像。
【図１２】画像処理装置が行う画像生成処理を説明する模式図。（ａ）補正画像（ｂ）トリミング画像（ｃ）合成画像。
【図１３】本発明に係る第２の実施形態の画像処理装置を説明する模式図。
【図１４】画像処理装置の第１の変形例を説明する模式図。（ａ）補正画像（ｂ）トリミング画像。
【図１５】画像処理装置の第２の変形例を説明する模式図。（ａ）撮像時のカメラ方向と被写体（ｂ）静止画像（ｃ）補正画像。
【図１６】画像処理装置の第３の変形例を説明する模式図。（ａ）静止画像（ｂ）補正画像（ｃ）トリミング画像。
【符号の説明】
【０１０７】
１…コンピュータ、６…デジタルスチルカメラ、７…液晶表示部、８…プリンタ、１０…静止画像、１１…被写体、１２…補正画像、１３…トリミング領域、１４…トリミング画像、１５…合成画像、２０…プリント画像選択画面、２１…画像表示窓、３０…台紙選択画面、３１…台紙パターン、３２…台紙表示窓、３５…画像表示領域、３８…背景表示領域、４０…レイアウト確認画面、４１…レイアウト表示窓、４２…補正設定窓、１００…画像処理装置、１０１…傾き検出部、１０２…補正画像生成部、１０３…トリミング領域設定部、１０４…画像生成部、１０５…画像生成部、Ｗ…静止画像の幅方向の寸法、Ｈ…静止画像の高さ方向の寸法、Ｒ…静止画像の縦横比、ｗ…トリミング領域の横寸法、ｈ…トリミング領域の縦寸法、ｒ…トリミング領域の縦横比、ｓ…トリミング領域の面積、ａ…トリミング領域の長径寸法、ｂ…トリミング領域の短径寸法、Θ…静止画像中の被写体の傾き角度、Θ0…撮像時のデジタルスチルカメラ６の鉛直方向に対する傾き角度、Θ1…傾き補正時に静止画像を回転させる角度。
【図１】
2005318401.tif 000003
【図２】
2005318401.tif 000004
【図３】
2005318401.tif 000005
【図４】
2005318401.tif 000006
【図５】
2005318401.tif 000007
【図６】
2005318401.tif 000008
【図７】
2005318401.tif 000009
【図８】
2005318401.tif 000010
【図９】
2005318401.tif 000011
【図１０】
2005318401.tif 000012
【図１１】
2005318401.tif 000013
【図１２】
2005318401.tif 000014
【図１３】
2005318401.tif 000015
【図１４】
2005318401.tif 000016
【図１５】
2005318401.tif 000017
【図１６】
2005318401.tif 000018