(57)【要約】  【課題】赤目補正等の高品位な画像処理を行って画像を出力する際に、画像出力の依頼者等に、そのことを訴求し、認識せしめることを目的とする。  【解決手段】基本的な第１の画像処理と、高品位な第２の画像処理とを行う画像形成において、第１の画像処理のみを施した画像から、第１および第２の画像処理を施した画像に変化する動画を作成し、製品となる画像に加え、この動画ファイルも出力することにより、前記課題を解決する。【選択図】図４
2006172358.tif 000002
【特許請求の範囲】
【請求項１】
光学的に撮影された複数の画像からなる１件の全画像について、第１の画像処理と、第２の画像処理とを施して、静止画を画像ファイルとして出力し、
かつ、前記１件の中から選択された１以上の対象画像については、前記第１の画像処理のみを施した画像から第１の画像処理および第２の画像処理を施した画像に変化する動画、および、前記第１の画像処理および第２の画像処理を施した画像から第１の画像処理のみを施した画像に変化する動画の少なくとも一方を作成して、動画ファイルとして出力することを特徴とする画像形成方法。
【請求項２】
前記動画が、前記第１の画像処理のみを施した画像が、次第に、前記第１の画像処理および第２画像処理を施した画像に変化していく動画、および、前記第１の画像処理および第２画像処理を施した画像が、次第に、前記第１の画像処理のみを施した画像に変化していく動画の少なくとも一方である請求項１に記載の画像形成方法。
【請求項３】
前記動画が、前記第１の画像処理のみを施した画像から、前記第１の画像処理および第２の画像処理を施した画像が形成されるまでを、前記第２の画像処理の処理の進行に応じて示した動画である請求項１に記載の画像形成方法。
【請求項４】
前記第１の画像処理が、画像の拡大もしくは縮小、階調補正、色／濃度補正、彩度補正、シャープネス処理、および、覆い焼き処理である請求項１〜３のいずれかに記載の画像形成方法。
【請求項５】
前記第２の画像処理は、画像に関連する情報を解析し、その結果、画像的欠陥を有することが検出された場合にのみ、その画像的欠陥を補正する画像処理である請求項１〜４のいずれかに記載の画像形成方法。
【請求項６】
前記画像に関連する情報とは、画像および撮影情報の少なくとも一方である請求項５に記載の画像形成方法。
【請求項７】
前記第２の画像処理は、赤目補正、画像欠損部の補正、撮影レンズに起因する収差補正、および、撮影レンズに起因する周辺減光補正の少なくとも１つである請求項５または６に記載の画像形成方法。
【請求項８】
光学的に撮影された複数の画像からなる１件毎に画像を取得する手段と、取得した画像に第１の画像処理および第２の画像処理を施して静止画ファイルとして出力する処理手段と、前記１件の中から１以上の画像を対象画像として選択する選択手段とを有し、
かつ、前記処理手段は、前記選択手段が選択した対象画像については、第１の画像処理のみを施した画像も生成し、さらに、前記選択手段が選択した対象画像について、前記第１の画像処理のみを施した画像から第１の画像処理および第２の画像処理を施した画像に変化する動画、および、前記第１の画像処理および第２の画像処理を施した画像から第１の画像処理のみを施した画像に変化する動画の少なくとも一方を作成して動画ファイルとして出力する動画作成手段を有することを特徴とする画像形成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学的に撮影された画像に画像処理を施して画像ファイルとして出力する画像形成の技術分野において、赤目補正処理等の高品位な画像処理を行って画像を出力した際に、画像の出力を注文した顧客に、出力した画像に高品位な画像処理を施したことを認知してもらうことを可能にする画像形成方法および画像形成装置に関する。
【背景技術】
【０００２】
近年、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を露光してプリントとして出力するデジタルフォトプリンタが実用化されている。
デジタルフォトプリンタでは、フィルムに撮影された画像を光電的に読み取って、画像をデジタルの画像データとして、画像の処理や感光材料の露光を行う。そのため、フィルムに撮影された画像のみならず、デジタルカメラ等で撮影された画像（画像データ）からも、プリントの作成を行うことができる。
【０００３】
また、デジタルフォトプリンタでは、画像をプリントとして出力するのみならず、画像データを画像ファイルとして、ＣＤ−ＲやＤＶＤ等の記録媒体に出力して顧客に提供したり、インターネット等の通信ネットワークによって顧客に提供することもできる。
さらに、単に画像データを出力するのみならず、スライドショーのように画像を順次表示したり、画像の拡大／縮小や移動等を行いながら画像を順次再生する、いわゆるフォトムービーサービスも行われている。
【０００４】
ところで、前述のように、デジタルフォトプリンタでは、画像をデジタルの画像データとして扱うので、画像データを処理することによって画像処理（画像の補正や調整）を行うことができる。
そのため、従来のアナログ露光のプリンタ（フィルムの投影光で感光材料（印画紙）を露光するプリンタ）に比して、極めて高い自由度で、色／濃度補正、階調補正、彩度補正、シャープネス処理、覆い焼き処理（中間階調を維持した画像ダイナミックレンジの調整による覆い焼き効果の付与）等の画像処理を行うことができ、例えば、オーバー露光やアンダー露光、逆光シーンやハイコントラストシーン等であっても、安定して高画質な画像を再生できる。
【０００５】
さらに、デジタルの画像処理であれば、赤目補正（ストロボ撮影に起因する赤目現象の補正）、周辺減光補正（撮影レンズの周辺減光による濃度ムラの補正）、収差補正（撮影レンズの収差による歪みの補正）、傷消し処理（フィルムや撮影レンズの傷や付着したゴミ等による欠損画素の補正）など、アナログ露光のプリンタでは、オペレータに非常に高度な技術を要求し、あるいは、極めて困難もしくは実質的に不可能な画像処理も、画像データの処理によって行うことができる。
【０００６】
前記色／濃度補正、階調補正、彩度補正、シャープネス処理、および覆い焼き処理を行うことにより、写真画質的には、十分に高画質な画像を得ることができる。すなわち、これらの画像処理のみを行うことで、製品としての画像を仕上げることはできる。
これに対し、赤目補正、周辺減光補正、収差補正、傷消し処理などは、いわゆる写真画質とは別な、画像的な欠陥を修正する処理である。
ここで、前記色／濃度補正等の各画像処理は、いわゆるプレスキャンデータや間引いた画像などの低解像度の画像データを解析することにより、画像処理条件等を設定することができ、さらに演算量等も差程多くはないため、比較的、短時間での処理が可能である。これに対して、赤目補正や傷消し処理は、出力に対応する高解像度な画像データでの解析が必要で、しかも、複雑かつ多量な演算が必要である。また、収差補正や周辺減光補正も、撮影レンズに対応する情報が必要であり、複雑かつ多量な演算が必要である。
【０００７】
すなわち、赤目補正や周辺減光補正などは、適正な画像を仕上げるために色や濃度、階調等を補正する通常の画像処理に比して、いわば高品位な画像処理と言うことができ、これらの処理を行うことにより、デジタル露光の利点を十分に発揮し、いわゆる画像的な欠陥を補正した高品位な画像を出力することができるが、その反面、これらを実施することにより処理に時間が掛かり、かつ高度なシステムが必要になる。
【０００８】
しかしながら、顧客（写真プリントの作成依頼者）が鑑賞するのは、製品として仕上がった画像であり、赤目補正などの高品位な画像処理を行っても、顧客は、通常、これらの高品位な画像処理を実施したことや、その効果を知ることはない。
そのため、処理時間を掛け、また、高度な画像処理システムを用いて高品位な処理を行い、一般的なラボシステムや処理システムよりも高画質な画像を仕上げても、そのことを顧客に訴求し、評価してもらうことは、非常に困難である。
【０００９】
このような問題を解決する方法として、特許文献１には、顧客が注文した１件の中から画像を選択して、この画像については、デジタル的にエンハンスメント（質的な向上・強化）を施した画像と、エンハンスメントを施さない画像とを出力する方法が開示されている。
【００１０】
【特許文献１】特開２００３−２０５６６０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
この方法によれば、画像処理によって高画質な画像を出力したことを顧客に認識してもらい、評価してもらうことができる。
しかしながら、この方法では、赤目補正、傷消し処理、周辺減光補正、収差補正等の高品位処理の効果は、十分に示すことができず、しかも、高品位処理の効果のアピール性も十分では無い。
【００１２】
本発明の目的は、前記従来技術の問題点を解決することにあり、写真フィルムに撮影された画像やデジタルカメラ等で撮影された画像に、赤目補正のような手間や時間の係る高品位な画像処理を行って画像を出力した際に、画像を注文した顧客等に、高品位な画像処理を施して画像を出力したことを確実に訴求し、認識してもらうことができ、しかも、趣味性や娯楽性も高い画像を出力できる画像形成方法、および、この画像形成方法を実施する画像形成装置を提供することにある。
【課題を解決するための手段】
【００１３】
前記目的を達成するために、本発明の画像形成方法は、光学的に撮影された複数の画像からなる１件の全画像について、第１の画像処理と、第２の画像処理とを施して、静止画を画像ファイルとして出力し、かつ、前記１件の中から選択された１以上の対象画像については、前記第１の画像処理のみを施した画像から第１の画像処理および第２の画像処理を施した画像に変化する動画、および、前記第１の画像処理および第２の画像処理を施した画像から第１の画像処理のみを施した画像に変化する動画の少なくとも一方を作成して、動画ファイルとして出力することを特徴とする画像形成方法を提供する。
【００１４】
また、本発明の画像形成装置は、光学的に撮影された複数の画像からなる１件毎に画像を取得する手段と、取得した画像に第１の画像処理および第２の画像処理を施して静止画ファイルとして出力する処理手段と、前記１件の中から１以上の画像を対象画像として選択する選択手段とを有し、かつ、前記処理手段は、前記選択手段が選択した対象画像については、第１の画像処理のみを施した画像も生成し、さらに、前記選択手段が選択した対象画像について、前記第１の画像処理のみを施した画像から第１の画像処理および第２の画像処理を施した画像に変化する動画、および、前記第１の画像処理および第２の画像処理を施した画像から第１の画像処理のみを施した画像に変化する動画の少なくとも一方を作成して動画ファイルとして出力する動画作成手段を有することを特徴とする画像形成装置を提供する。
【００１５】
このような本発明の画像形成方法および画像形成装置において、前記動画が、前記第１の画像処理のみを施した画像が、次第に、前記第１の画像処理および第２画像処理を施した画像に変化していく動画、および、前記第１の画像処理および第２画像処理を施した画像が、次第に、前記第１の画像処理のみを施した画像に変化していく動画の少なくとも一方であるのが好ましく、また、前記動画が、前記第１の画像処理のみを施した画像から、前記第１の画像処理および第２の画像処理を施した画像が形成されるまでを、前記第２の画像処理の処理の進行に応じて示した動画であるのが好ましい。
また、前記第１の画像処理が、画像の拡大もしくは縮小、階調補正、色／濃度補正、彩度補正、シャープネス処理、および、覆い焼き処理であるのが好ましく、また、前記第２の画像処理は、画像に関連する情報を解析し、その結果、画像的欠陥を有することが検出された場合にのみ、その画像的欠陥を補正する画像処理であるのが好ましく、この際において、前記画像に関連する情報とは、画像および撮影情報の少なくとも一方であるのが好ましく、さらに、前記第２の画像処理は、赤目補正、画像欠損部の補正、撮影レンズに起因する収差補正、および、撮影レンズに起因する周辺減光補正の少なくとも１つであるのが好ましい。
【発明の効果】
【００１６】
本発明は、上記構成を有することにより、赤目補正、フィルムやレンズに付着したゴミおよびフィルムやレンズの傷等に起因する画像（画素）欠損部の補正、画像を撮影したレンズの収差に起因する画像の歪みの補正、画像を撮影したレンズの周辺減光に起因する周辺濃度低下の補正など、手間や時間の係る高品位な画像処理を施して画像を出力した際に、画像の出力を依頼された顧客に、このような高品位な画像処理を施して画像を出力したことを認識してもらうことができる。しかも、動画ファイルを出力し、動画として高品位処理を施さない画像から処理済の画像への変化を見せるので、アピール性が非常に高く、かつ、趣味性や娯楽性も高い。
従って、本発明を利用することにより、赤目補正のような高品位な処理や作業を顧客に確実に訴求し、かつ、認識してもらい、画像（製品）の高付加価値化、高品位処理を行わない画像との差別化、ラボ店等における他店舗との差別化や他店舗に対する価格維持、顧客の獲得および確保などを図ることができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の画像形成方法および画像形成装置について、添付の図面に示される好適実施例を基に、詳細に説明する。
【００１８】
図１に、本発明の画像形成方法の一例の概念をフローで示す。
図１に示すのは、前述のデジタルフォトプリンタで本発明の画像形成方法を実施する際における、処理フローの一例で、画像（画像データ）を取得して出力用の画像（画像データ）として出力する、デジタルフォトプリンタの入力機１０である。
【００１９】
一例として、入力機１０は、スキャナによって写真フィルムに撮影された画像を光電的に読み取って画像（画像データ）を取得し、および／または、デジタルカメラや撮影機能付の携帯電話などの撮像装置、同撮像装置によって撮影された画像を記憶するスマートメディアTMやＰＣカードTM等の記憶媒体、パーソナルコンピュータやプリント注文受付端末等が接続される各種の通信ネットワーク等から、撮像装置によって撮像された画像（画像データ）を取得する。
すなわち、入力機１０は、写真フィルムからの画像形成のみに対応する機能を有するものであっても、デジタルカメラ等によって撮影された画像（すなわち画像データ）を取得しての画像形成のみに対応する機能を有するものであっても、両機能を有するものであってもよい。
【００２０】
画像を取得した入力機１０は、検定を行うために、ディスプレイに検定画像（仕上がりシュミレーション画像）を表示し、検定が終了したら、必要な画像処理（後述する基本処理および高品位処理）を施して、出力用の画像（画像データ）として、出力する。
【００２１】
入力機１０が作成した画像の出力先には、特に限定はない。例えば、ＣＤ−ＲやＤＶＤなどの記憶媒体に画像を記録する記録手段が例示される。あるいは、インターネットなどの通信手段を用いて、所定のサーバ、街頭やラボ店などに設置される注文受付機、ラボ店などに設置される通信端末等に、画像を出力してもよい。
また、入力機１０は、後述するプロモーション動画以外の製品画像は、画像を再生したプリント（ハードコピー）を出力するプリンタに、画像を出力してもよい。なお、プリンタには、特に限定はなく、印画紙に画像を再生する写真プリンタ、インクジェットプリンタ、電子写真プリンタ、感熱記録媒体を用いるプリンタ、感光感熱記録媒体を用いるプリンタ等、公知の全てのプリンタが利用可能である。
【００２２】
本発明は、前述のような画像処理（基本処理および高品位処理）を行う１件の画像の出力において、１件の中から、高品位処理の効果の訴追を目的とするプロポーション動画を形成するための画像（コマ）を、プロモーション対象画像として１つあるいは複数選択し、選択したプロモーション対象画像については、基本処理および高品位処理を施した出力用の画像（製品画像）に加え、基本処理のみを施した画像から高品位処理を施した画像へと変化（および／または逆に変化）する動画を作成して、この動画ファイルも出力する。
【００２３】
基本処理（第１の画像処理）とは、画像の色／濃度（調子再現、色再現）や像構造（鮮鋭度、粒状性）等が適正な画像を出力するために実施する、基本的な画像処理である。この基本処理を行うことで、画像は写真画質的には完成し、高品位処理を行わない通常のプリント出力などの画像出力に対応する完成した画像となる。図示例においては、一例として、画像の拡大もしくは縮小（電子変倍処理）、階調補正、色／濃度補正、彩度補正、シャープネス処理、および、覆い焼き処理（画像の中間階調を維持した、画像濃度ダイナミックレンジの圧縮もしくは伸長）を行う。
他方、高品位処理（第２の画像処理）とは、画像的な欠陥を補正するために、欠陥を有する画像のみを補正する画像処理である。より好適には、画像に関する情報を解析した結果、欠陥を有することが検出された画像のみに補正を施す画像処理である。具体的には、ストロボ撮影に起因する赤目の補正（赤目補正）、写真フィルムや撮影レンズに付着した異物および写真フィルムや撮影レンズの傷に起因する画像（画素）欠損部の補正（ゴミ傷消し処理）、撮影レンズの収差に起因する画像の歪みの補正（レンズ収差補正）、および、撮影レンズの周辺減光に起因する周辺濃度低下の補正（周辺減光補正）が例示される。
【００２４】
なお、本発明において、画像に関する情報とは、画像（画像データ）自身および画像の撮影情報である。
また、撮影情報とは、具体的には、撮影時におけるストロボ発光の有無、画像を撮影したカメラ（レンズ）の情報、画像を撮影した写真フィルムの情報、撮影時の絞りの情報、シャッタースピードの情報等が例示される。撮影情報は、例えば、ＡＰＳフィルムからの画像形成であれば、フィルムに記録された磁気情報から取得すればよく、デジタルカメラ等で撮影された画像であれば、画像ファイルに記録される情報から取得すればよい。
【００２５】
以下、高品位処理として赤目補正を実施する場合を例に、図１に示す本発明の画像形成の一例を説明する。
また、以下の説明では、便宜的に、基本処理および高品位処理（画像に関する情報の解析のみを実施して、補正を行わなかった場合を含む）の両方を行った画像を処理済画像、基本処理のみを行った画像を未処理画像とし、さらに、未処理画像と処理済画像との間で変化する動画をプロモーション動画とする。
【００２６】
図１（Ａ）に示す例は、オペレータによって、プロモーション動画を作成する画像であるプロモーション対象画像の選択が行われる例である（プロモーション対象画像の手動選択。）
入力機１０は、前述のようにして１件分の画像（画像データ）を取得したら（もしくは、１件分の画像の取得途中で）、検定画像をディスプレイに表示し、オペレータに検定を実行させる。なお、検定画像には、出力する画像に施す基本処理に準じた画像処理が施される。また、基本処理の画像処理条件は、一例として、検定画像の原画像を解析することで設定され、検定によって色／濃度調整等が行われた場合には、それに応じて、基本処理の画像処理条件も変更される。
図示例においては、検定画面は、プロモーション対象画像の選択画面も兼ねており、ＧＵＩ(Graphical User Interface)等の公知の手段を利用して（以下に実施される他の選択も同様）、プロモーション対象画像が指示される。入力機１０は、これに応じて、指示された画像をプロモーション対象画像として選択する。なお、プロモーション対象画像の選択（入力指示）は、１コマでも複数コマでもよい。また、オペレータは、例えば、後述する自動での選択基準を用いて、プロモーション対象画像を選択すればよい。
【００２７】
なお、１件の処理において、プロモーション対象画像が選択されなかった場合には、この件では、プロモーション動画は作成しない。また、検定を行わない場合には、プロモーション対象画像の選択のために画像（好ましくは検定画像と同様の画像）を表示する。
【００２８】
図示例においては、検定画像の表示は、通常のデジタルフォトプリンタと同様に行えばよい。すなわち、スキャナでフィルムを読み取って画像を取得した場合には、出力用の画像読取であるファインスキャンに先立って行われる、プレスキャンで得られた画像（プレスキャンデータ）で行い、デジタルカメラ等で撮影された画像であれば、取得した画像を間引いた（あるいは縮小した）画像で行えばよい。
また、スキャナでフィルムを読み取る際において、ファインスキャンは、検定終了後に行ってもよく、プレスキャンに引き続いて連動的に行ってもよい。
【００２９】
検定およびプロモーション対象画像の選択が行われたら、次いで、１件の各コマの画像
に、順次、基本処理を施す。なお、この画像とは出力に対応する画像であり、写真フィルムからのプリント作成であればファインスキャンによる画像（ファインスキャンデータ）であり、デジタルカメラ等による画像であれば撮影画像（撮影画像データ）である。
図示例においては、前述のように、基本処理として、画像の拡大もしくは縮小、階調補正、色／濃度補正、彩度補正、シャープネス処理、および覆い焼き処理を行う。
これらの画像処理は、いずれも公知の方法で行えばよい。
【００３０】
基本処理を施した画像には、次いで、順次、赤目補正（高品位処理）を行う。また、プロモーション対象画像として選択した画像は、赤目補正と並行して、未処理画像（基本処理のみをおこなった画像）を記憶手段にも送り、記憶する。
なお、この時点で、撮影情報を取得でき、かつ、撮影情報の解析結果から画像がストロボ撮影ではないことを知見した場合には、赤目の生じていない画像（以下、非赤目画像とする）として、この時点で赤目補正を終了して、画像の補正は行わずに、基本処理と赤目補正（高品位処理）とが行われた処理済画像とする。
【００３１】
赤目補正の方法には、特に限定はなく、公知の方法が各種、利用可能である。好適な一例として、下記の方法が例示される。
この赤目補正では、まず最初に、基本処理を終了した画像から、赤目候補（赤目である可能性のある領域）を検出し、赤目候補の位置情報（中心の座標位置情報）、領域情報、個数の情報等を得る。
従って、この赤目候補の検出によって、赤目候補が検出されなかった画像は、非赤目画像として、この時点で赤目補正を終了し、画像の補正を行わずに基本処理および赤目補正が行われた処理済画像とする。
【００３２】
一例として、図２に示すような、背景に３つの赤ランプを有するシーンで人物を撮影し、この人物に赤目現象が生じた画像（シーン）であれば、赤ランプに対応するａ、ｂ、およびｃ、ならびに、赤目に対応するｄおよびｅで示す領域が、赤目候補として検出されることになる。
【００３３】
赤目候補の検出方法には、特に限定はなく、公知の各種方法が利用可能である。
一例として、赤目の色情報（赤目が赤いこと）および形状情報（赤目が丸いこと）を用いて、赤色の色相で、かつ、所定画素数以上の円形領域を抽出し、予め多数の赤目の画像サンプルから設定した、赤目度（どの程度赤目らしい色か）および円形度（どの程度丸いか）を用い、赤目度および円形度が閾値を超えた領域を、赤目である可能性を有する赤目候補として検出する方法が例示される。
【００３４】
次いで、この赤目候補の検出結果（例えば前記位置情報）を用いて、検出した赤目候補を含む周辺領域において、顔検出を行う。
例えば、図２に示す例であれば、前記ａ、ｂ、ｃ、ｄ、およびｅの各赤目候補に対応して、各赤目候補を含む所定領域において、順次、顔検出を行う。従って、顔領域として例えば点線で囲まれた領域が検出され、赤目候補ｄおよびｅが顔領域に含まれる赤目候補であるとの情報、あるいはさらに、検出した顔領域の情報が得られる。
【００３５】
顔検出の方法には、特に限定はなく、公知の各種の方法で利用可能である。
好適な一例として、多数の顔の画像サンプルから予め作成した平均的な顔画像いわゆる顔のテンプレート（以下、顔テンプレートとする）を用いて、テンプレートマッチングによって顔検出を行う方法を行う。
この方法では、一例として、縦位置（縦撮影）／横位置（横撮影）などの撮影時のカメラの向きに応じて、図３（Ａ）に示すように顔テンプレート（もしくは対象画像）を天地および左右方向に回転（画像面において０°→９０°→１８０°→２７０°と回転）して顔の向きを変え、かつ、画像中の顔のサイズ（解像度）に応じて、図４（Ｂ）に示すような顔テンプレート（同前）の顔サイズの変更（拡大／縮小＝解像度変換）を行って、各種の顔の向きおよび顔サイズの組み合わせの顔テンプレートと、画像中の顔候補領域とのマッチング（一致度の確認）を、順次、行って、顔検出を行う。
なお、顔テンプレートの回転および拡大／縮小に変えて、回転した顔テンプレートや拡大／縮小した顔テンプレートを予め作成しておいて、これを用いてマッチングを行ってもよい。また、顔候補領域の検出は、例えば肌色抽出や輪郭抽出等の手段で行えばよい。
【００３６】
なお、顔検出の方法は、このテンプレートマッチングによる方法に限定されない。
例えば、学習手法を使用した顔検出も好適に例示される。この方法では、多数の顔画像と非顔画像とを用意して、それぞれの特徴量の抽出を行って、その結果から、適宜選択した学習手法を利用して、顔か非顔かを分離する関数や閾値を算出する、事前学習を行う。顔検出を行う際には、対称画像に対して、事前学習と同様にして特徴量の抽出を行って、事前学習で得られた関数や閾値を用いて顔か非顔かを判別して、顔検出を行う、学習手法による顔検出も好適である。
さらに、特開平８−１８４９２５号や特開平９−１３８４７１号の各公報に開示されるエッジ（輪郭）抽出やエッジ方向の抽出による形状認識による顔検出、肌色抽出や黒抽出等の色抽出による顔検出、形状認識と色抽出とを組み合わせた顔検出や、前記特許文献１〜３において、顔テンプレートを用いたマッチング以外の顔候補の検出方法として例示されている各方法も、利用可能である。
【００３７】
このようにして、赤目候補の検出結果、および、顔が検出できた赤目候補の情報を用いて、周囲に顔が検出できた赤目候補を赤目と特定する。
従って、顔検出を行って、全ての赤目候補の周囲で顔が検出できなかった画像は、非赤目画像として、この時点で赤目補正を終了し、画像の補正を行わずに、基本処理および赤目補正が行われた処理済画像とする。
【００３８】
このようにして赤目を特定したら、特定した赤目領域を画像処理して、赤目補正を行い、基本処理および赤目補正を行った処理済画像とする。
赤目の修正方法には、特に限定はなく、公知の方法が各種利用可能である。例えば、赤目や赤目周囲（顔の周囲を含んでもよい）の画像特徴量等に応じて赤目領域の彩度、明度、色相等をコントロールして赤目を修正する処理や、単純に赤目領域の色を黒に変換する修正処理等が例示される。
【００３９】
このように、最初に赤目候補検出を行い、次いで、検出した赤目候補の周辺のみで顔検出を行って、周辺に顔が検出できた赤目候補を赤目と特定することにより、赤目検出の時間を大幅に短縮することができる。
すなわち、前述のように、顔検出を含む赤目の検出は、時間のかかる処理であるが、従来の赤目検出では、顔検出を行った後に、検出された顔領域内で赤目検出を行っているため、赤目の存在しない領域でも顔検出を行っており、その結果、顔検出に非常に時間がかかる。これに対し、このように、赤目候補を検出した後に、この赤目候補を含む所定領域でのみ顔検出を行うことにより、赤目が存在しない領域での無駄な顔検出を無くして、赤目検出において、顔検出にかかる時間を大幅に短縮することができる。
【００４０】
なお、赤目補正方法（赤目補正アルゴリズム）は、この方法に限定はされず、顔検出を行った後に赤目検出を行って補正する、通常の赤目補正方法も利用可能であり、その他、公知の赤目補正方法が、全て利用可能である。
また、全ての装置で同じ赤目補正方法を行うのにも、限定はされず、１以上あるいは全ての装置で、互いに異なる赤目補正方法を実行するものであってもよい。
【００４１】
前述のように、図１（Ａ）に示す画像形成において、入力機１０では、基本処理を施した画像（コマ）に、順次、赤目補正を行って、製品（静止画ファイル）として出力するための処理済画像（その画像データ）とする。
ここで、プロモーション対象画像として選択した画像は、未処理画像を記憶手段に記憶している。この未処理画像は、所定のタイミングで記憶手段から読み出され、プロモーション動画を作成するための処理画像としてプロモーション処理に供給する。
さらに、プロモーション対象画像として選択した画像の処理済画像（あるいはさらに、その赤目補正処理中の画像）も、例えば、赤目補正が終了した時点で、プロモーション処理に供給する。
【００４２】
入力機１０は、プロモーション対象画像の処理済画像および未処理画像がプロモーション処理に供給されると、プロモーション処理を行い、プロモーション動画を形成する。
この点に関しては、後に詳述する。
【００４３】
図１（Ａ）に示す例では、プロモーション対象画像の選択をオペレータ等による入力指示に応じて行っているが、本発明は、これに限定はされず、プロモーション対象画像の選択を、画像（画像データ）や撮影情報の解析によって装置が自動的に行うようにしてもよい（プロモーション対象画像の自動選択）。
以下、図１（Ｂ）を参照して、この自動選択について説明する。
【００４４】
本例においては、入力機１０では、検定時等にオペレータによるプロモーション対象画像の指示（プロモーション対象画像の手動選択）が行われない以外は、先の例と同様にして、１件分の画像の取得、検定画像の表示／検定を行う。
【００４５】
入力機１０は、検定を終了したら、各画像に、順次、基本処理を施し、次いで、赤目補正（高品位処理）を行って処理済画像として、製品プリントに再生する画像（その画像データ）とする。
また、赤目補正とは別に、基本処理のみを施した未処理画像を、順次、記憶手段に送り、記憶する。
【００４６】
なお、この時点で、撮影情報からストロボ撮影では無いことが知見できた画像は、赤目補正を行わずに処理済画像としてもよいのは、先の例と同様である。また、ストロボ撮影では無い未処理画像は、記憶手段に保存しなくてもよい。撮影情報を取得できない場合、および撮影情報からストロボ撮影か否かを判断できない場合には、１件の全ての基本処理済の画像に赤目補正を行い、かつ、未処理画像を記憶手段に記憶する。
すなわち、本例においては、１件の全ての未処理画像、あるいは、１件のうち、撮影情報からストロボ撮影と判別できた全ての未処理画像を、記憶手段に記憶する。
【００４７】
赤目補正は、先と同様に行われる。
すなわち、まず、撮影情報からストロボ撮影では無いことが知見できた画像は、非赤目画像として、この時点で赤目補正は終了して、補正は行わずに、基本処理および赤目補正が行われた処理済画像とする。それ以外の画像は、まず、赤目候補の検出を行い、次いで、赤目候補の周辺で顔検出を行い、周辺で顔が検出できた赤目候補を赤目と確定して、補正を行い、基本処理および赤目補正を行った処理済画像とする。また、赤目候補が検出できなかった画像、および、赤目候補周辺で顔が検出できなかった画像は、赤目画像ではないとして、その時点で赤目補正を終了して、画像の補正を行わずに基本処理および赤目補正が行われた処理済画像とする。
【００４８】
赤目補正を終了したら、次いで、各画像毎に、プロモーション動画として最適な画像の判別を行い、プロモーション対象画像を選択する。
プロモーション動画に最適な画像の判別は、前述の赤目検出結果を用い、例えば、赤目の大きさ（顔の大きさ）、赤目が画像の中心付近（画像主要部）に存在するか否か、赤目らしさ（色や彩度）、赤目なっている特定人物が１件の複数画像に撮影されているか否か（赤目の人物が重要人物か否か）、赤目検出の信頼度（赤目候補検出、顔検出等における判定値の高さ）等の各種の要素から、１つあるいは複数を総合的に判断して、赤目補正の訴求効果が大きいと考えられる画像を判別し、プロモーション対象画像として選択する。すなわち、処理済画像と未処理画像とを比較して、赤目補正を行ったことが明瞭に知見できる１画像もしくは複数画像を、プロモーション対象画像として選択する。
【００４９】
図示例においては、赤目補正を終了した時点で、各画像について、順次、赤目補正における赤目の検出結果を用いて、プロモーション動画としての適性を所定の判別基準で評価し、１件の全画像の評価を終了した時点で、最も評価の高い画像（１コマ）をプロモーション対象画像として選択する。もしくは、評価の高い所定数の画像を、プロモーション対象画像として選択してもよい。
一例として、処理済画像（製品画像）上で所定サイズ（画素数）以上の赤目を有することを必須条件として、必須条件を満たす画像において、最も大きなサイズの赤目の画像中心（画面中心）からの距離で、プロモーション動画としての適性を評価する。すなわち、所定サイズ以上の赤目を有し、かつ、画像中の最大サイズの赤目が最も画像中心の近くに位置する画像を最適画像と判別して、プロモーション対象画像として選択する。
【００５０】
なお、プロモーション対象画像の自動選択方法は、これに限定はされず、各画像を個々に比較して、最適な画像を所定数選択する方法も好適である。
すなわち、１コマ目の画像の基本処理を終了したら、先と同様に、未処理画像を記憶手段に記憶すると共に、画像に赤目補正を行い、赤目の検出結果を用いて、同様にプロモーション画像としての評価を行い、その評価結果を記憶手段に送る。２コマ目の画像の基本処理を終了したら、同様に、未処理画像を記憶手段に記憶し、赤目補正を行い、さらに、評価を行い、その結果を記憶手段に送る。記憶手段では、１コマ目と２コマ目とで画像の評価を比較し、より評価の高い未処理画像のみを残し、他方を消去する。さらに、３コマ目の画像についても、同様に、記憶手段への記憶、赤目補正、評価を行って記憶手段に送り、記憶手段では、記憶している画像と３コマ目の画像とで評価を比較して、評価の高い未処理画像のみを候補画像として残し、以下、同様にして、４コマ目、５コマ目、……と処理を行い、１件の全画像について処理を行った時点で、記憶手段に残っている未処理画像の画像をプロモーション対象画像として選択する。
【００５１】
ここで、プロモーション対象画像を自動選択する態様において、例えば前述の例であれば処理済画像上で所定サイズ以上の赤目となる画像が無かった場合など、プロモーション動画の最適画像の判別における必須要件（最低基準）を満たす画像が無かった場合には、プロモーション動画の効果を十分に得られないので、プロモーション動画の作成を行わないようにするのが好ましい。
【００５２】
本発明において、プロモーション対象画像の自動選択は、最適な画像を判別して選択する構成に限定はされない。
例えば、最初に赤目が検出された所定数の画像（コマ）をプロモーション対象画像として選択してもよい。あるいは、同様に、各画像毎に、赤目補正が終了した時点でプロモーション対象画像としての評価を行い、評価が適宜設定した閾値を超える画像をプロモーション対象画像として選択して、所定数が選択できた時点で選択を終了してもよい。
さらに、プロモーション対象画像の選択のため、幾つかの判別基準を準備しておき選択可能にしてもよく、および／または、判別基準を任意に設定可能にしてもよい。
【００５３】
このようにしてプロモーション対処画像を決定したら、プロモーション対象画像の未処理画像を記憶手段からプロモーション処理に送る。なお、必要な未処理画像をプロモーション処理に送った後に、記憶手段に残っている不要な未処理画像は、消去してもよい。
また、プロモーション対象画像の処理済画像（あるいはさらに、その赤目補正処理中の画像）もプロモーション処理に送る。従って、自動選択を行う場合には、プロモーション対象画像とはならないことが確定した画像以外は、記憶しておく必要がある。
【００５４】
プロモーション対象画像の手動選択および自動選択のいずれにおいても、入力機１０は、前述のようにしてプロモーション対象画像の処理済画像および未処理画像をプロモーション処理に供給すると、プロモーション処理を行い、未処理画像から処理済画像に変化する動画であるプロモーション動画を形成する。
なお、本発明において、プロモーション動画は、未処理画像から処理済画像に変化する動画に限定はされず、処理済画像から未処理画像に変化する動画であってもよく、未処理画像から処理済画像に変化して、再度、未処理画像となる動画であってもよく、各変化を複数回繰り返す動画であってもよい。
【００５５】
プロモーション動画には、特に限定はなく、未処理画像と処理済画像との間で変化する各種の動画が例示される。
好ましい一例として、未処理画像から次第に変化して処理済画像となる動画が例示される。この動画は、例えば、未処理画像と処理済画像とを加算した画像において、両者の加算率（合計１００％）を次第に変化させて作成すればよい。図２に示す画像で例示すれば、図４（Ａ）および（Ｂ）に模式的に示すように、最初は未処理画像の加算率を１００％、処理済画像の加算率を０％の画像として、次第に、画像の未処理画像の加算率が低減し逆に処理済画像の加算率が増加し、最終的に、処理済画像の加算率が１００％で未処理画像の加算率が０％の画像となる動画が例示される。
なお、加算率の変化は、図４（Ａ）に示すように連続的であっても、あるいは、段階的であってもよい。
【００５６】
また、別の好適な一例として、処理済画像および未処理画像に加え、赤目補正処理（高品位処理）中の画像も用いて、赤目補正（高品位処理）の処理プロセスに応じて、未処理画像から処理済画像に変化する動画も例示される。
前述のように、図示例の赤目補正は、最初に赤目候補を検出し、検出した赤目候補の周辺で顔検出を行い、周辺で顔が検出できた赤目候補を赤目として、未処理画像の画像の赤目を補正する。
同様に図２に示す画像で例示すれば、図５に模式的に示すように、この赤目補正のプロセスに応じて、未処理画像から赤目候補を抽出した画像に変化し、次いで、赤目候補から顔検出ができた画像に変化し、最後に赤目を補正した処理済画像に変化する動画を作成したプロモーション動画とするのも好適である。
【００５７】
入力機１０は、図４に示す次第に変化する動画と、図５に示す処理プロセスに応じた動画の、両動画をプロモーション動画として作成してもよい。
また、作成する動画を選択できるようにしてもよい。
【００５８】
プロモーション動画には、各種のメッセージを画像として合成してもよい。また、プロモーション動画には、メッセージやＢＧＭを音声として付加してもよく、メッセージ画像の合成と音声付加の両方を行なってもよい。
メッセージの内容には、特に限定はない。一例として、この画像に対して赤目補正を行った旨を示すメッセージ、赤目補正（高品位処理）の効果のアピール、１件の仲の他の赤目補正を行ったコマ（画像）の情報、ラボ店等の店舗の宣伝、デジタルフォトプリンタや製造メーカの宣伝、これらを複合したメッセージ、等が例示される。
このメッセージの内容は、予め複数を設定しておいて選択可能にするのが好ましく、また、任意に設定可能にするのも好ましい。さらに、メッセージの合成位置や表示／再生タイミング、フォントや文字サイズ、色、音質等も、任意に選択、設定できるようにするのが好ましい。
【００５９】
入力機１０は、このようにして、１件の全画像の処理済画像、および、選択したプロモーション対象画像のプロモーション動画を作成したら、処理済画像（製品画像）は静止画ファイルとして、他方、プロモーション動画は動画ファイルとして、ＣＤ−ＲやＤＶＤなどの記憶媒体にデータを記録する記録手段に出力する。あるいは、インターネットなどの通信手段を用いて、この静止画ファイルおよび動画ファイルを、所定のサーバ、街頭やラボ店などに設置される注文受付機、ラボ店などに設置される通信端末等に出力する。あるいは、この静止画ファイルおよび動画ファイルを、記録手段およびサーバ等の両者に出力する。なお、静止画ファイルおよび動画ファイルの出力先は、同じでも異なってもよい。
また、、入力機１０は、上記出力に加え、処理済画像を前述のプリンタに出力して、プリント（ハードコピー）の出力に供してもよく、あるいは、処理済画像はプリンタのみに出力し、プロモーション動画の動画ファイルは記録手段やサーバ等に出力してもよい。
【００６０】
以上の説明より明らかなように、本発明によれば、赤目補正、ゴミ傷消し、レンズ収差補正、周辺減光補正等の高品位処理を行う画像形成において、フィルム１本や記録媒体などからの１オーダの注文等、関連を有する１件の画像から画像を選択し、高品位処理を行った処理済画像の静止画ファイルと、未処理画像〜処理済画像で変化するプロモーション動画の動画ファイルとを出力するので、手間と時間のかかる高品位処理の実施、および、その効果を、画像の作成を依頼された顧客に確実に訴求し、かつ、認識してもらうことができる。また、高品位処理の効果を動画で訴求できるので、訴求効果が非常に高く、また、趣味性や娯楽性にも優れる。
従って、本発明によれば、出力画像の高付加価値化、高品位処理を行わない画像との差別化、ラボ店等における他店舗との差別化や他店舗に対する価格維持、顧客の獲得および確保などを図ることができる。
【００６１】
以上の例では、プロモーション対象画像の選択は、手動選択（オペレータの入力指示）、もしくは、自動選択（画像および撮影情報の解析による選択）によって行っている。
本発明は、これに限定はされず、例えば、操作モードとして、手動選択でプロモーション対象画像を選択するモード（手動モード）と、自動選択でプロモーション対象画像を選択するモード（自動モード）とを設定して、選択できるようにする等、手動選択と自動選択とを選択できるようにするのも好ましい。
【００６２】
自動選択であれば、オペレータの手間が省け、かつ生産性を向上できるのはもちろん、技術的に未熟なオペレータが装置を操作した場合でも、適性にプロモーション対象画像を選択して、好適なプロモーション動画を安定して作成できる。
他方、手動選択では、実質的には最高に赤目補正の効果を実感できるが、自動選択では選択されない画像をプロモーション対象画像として選択できる。例えば、赤ちゃんや幼児が赤目になっている画像などは、顧客が非常に不快に思う画像であり、従って、この画像で赤目補正を行ったことを訴求することで、赤目補正の効果を非常に強くアピールすることができる。ところが、一件の中に、このような赤ちゃんが赤目となっている画像よりも判別基準的に評価の高い画像が多数存在した場合には、この画像はプロモーション対象画像としては選択されない。しかしながら、手動選択を行うことにより、自動選択はされないが、このようなアピール効果の高い画像をプロモーション対象画像として選択することが可能となり、より効果の高いプロモーション動画の作成が可能となる。
【００６３】
従って、例えばこのように自動モードと手動モードとを設ける方法等で、プロモーション対象画像の手動選択と自動選択とを切り替え可能にすることにより、操作性および生産性の向上や処理／操作の汎用性の確保と、より高品位な処理との両立を図ることができ、前述のようなプロモーション動画の作成効果を、より向上できる。
【００６４】
以上の例は、高品位処理（第２の画像処理）として赤目補正を行うものであるが、前述のように、本発明においては、高品位処理としては、赤目補正以外にも、各種の画像的な欠陥の補正する画像処理が利用可能であり、好ましくは、画像に関する情報の解析の結果、欠陥が検出された画像のみを補正する各種の画像処理が利用可能であり、より好ましくは、前述のように、傷消し処理、レンズ収差補正、および周辺減光補正等が好適に例示される。
赤目補正と同様、これらの各高品位処理も、公知の方法で行えばよい。
【００６５】
傷消し処理の方法としては、一例として、特開２０００−７４８４６号公報に開示される、エッジ検出によって条件を満たす線分を検出して、この線分を用いてゴミや傷に起因する欠損部を検出し、周辺画素との連続性や周辺領域の画像データを用いた補完等によって、欠損部を修正する方法や、特開２０００−９２３１９号公報に開示される、スムージング画像と原画像との差分の大きさから、ゴミや傷に起因する欠損候補領域を検出し、形状や色の変化などの候補領域の特徴から欠損部を検出し、先と同様に欠損部を修正する方法等が例示される。
また、写真フィルムに撮影された画像からの画像形成を行う際には、通常のＲ（赤）、Ｇ（緑）、およびＢ（青）の画像読取に加え、ＩＲ光（赤外光）での読み取りを行い、フィルムのゴミや傷に起因するＩＲ光の遮光や散乱を利用して、ＩＲ光の読取結果を用いてフィルム上におけるゴミや傷の位置を検出し、先と同様に欠損部を修正する方法も好適に利用可能である。
【００６６】
高品位処理として傷消しを行う場合において、図１（Ｂ）に示すようにプロモーション対象画像を自動選択する場合には、前記ゴミや傷の検出結果を用いて、ゴミや傷の長さ、太さ、および数、ゴミや傷が顔などの主要被写体にかかっているか否か、ゴミや傷の位置が画像の中心部（画像主要部）に近いか否か等の１つあるいは複数を総合的に判断して、傷消し処理の訴求効果が大きいと考えられる１画像もしくは複数画像を選択すればよい。
さらに、傷消し方法として、ＩＲ光を用いたゴミや傷の位置検出を行う場合には、ＩＲ光の画像を有さない画像に関しては、傷消し処理の対象にならない画像として、未処理画像を記憶手段に記憶せず、さらに、傷消し処理を行わずに高品位処理を施した処理済画像として扱ってもよい。
【００６７】
また、傷消し処理のプロモーション動画としては、図４に示すような、加算率を変化させることにより、次第に処理済画像から未処理画像に変化していく動画が例示される。あるいは、図５に示すような、処理プロセスに応じた動画、例えば、未処理画像から検出したゴミや傷による欠損部のみを示す動画に変化し、次いで、処理済画像に変化する動画も利用可能である。
【００６８】
他方、レンズ収差補正および周辺減光補正の方法としては、例えば、特開平１１−２２５２７０号公報に開示される、予めカメラのレンズ特性を知見して記憶しておき、画像を撮影したカメラ種（レンズ種）を知見して、対応するレンズ特性を用いてレンズ収差補正および／または周辺減光補正を行う方法が例示される。なお、レンズ種は、ＡＰＳフィルムからの画像形成であれば、スキャナでの読取時に磁気情報も読み取って、この情報を解析することにより、他方、デジタルカメラ等で撮影された画像からの画像形成であれば、画像フィルムに記憶されている各種の画像を解析することにより、検出すればよい。
【００６９】
高品位処理としてレンズ収差補正および周辺減光補正を行う場合において、図１（Ｂ）に示すようにプロモーション対象画像を自動選択する場合には、収差や減光の大きさ、収差や減光の目立ち具合等を総合的に判断して、レンズ収差補正や周辺減光補正の訴求効果が大きいと考えられる１画像もしくは複数画像を選択すればよい。収差や減光の大きさ、目立ち具合は、例えば、画面の中央を中心とする、次第に大きくなる同心円において、収差や減光の変化を検出することで判別すればよい。
さらに、高品位処理としてレンズ収差補正および周辺減光補正を行う場合において、レンズ種の判別およびレンズ特性の取得ができなかった画像に関しては、レンズ収差補正および周辺減光補正の対象にならない画像として、未処理画像を記憶手段に記憶せず、さらに、補正を行わずに高品位処理を施した画像として扱ってもよい。
【００７０】
レンズ収差補正のプロモーション動画としては、未処理画像から、歪みが次第に補正されて処理済画像となる動画が、周辺減光補正のプロモーション動画としては、未処理画像から、周辺の濃度が次第に低下もしくは向上して処理済画像となる動画が、それぞれ例示される。
【００７１】
なお、本発明において、画像に施す高品位処理は、赤目補正、ゴミ傷消し処理、レンズ収差補正、および周辺減光補正のいずれか１つに限定はされず、これらの処理のうちの２以上を行ってもよいのは、もちろんである。
さらに、選択手段を儲ける方法や作業モードの設定等によって、実施する高品位処理を、適宜、選択可能にしてもよい。
【００７２】
また、実施する高品位処理や、複数の高品位処理を行う際の組み合わせによっては、基本処理に先立って、高品位処理（あるいは、その一部）を実施した方が好ましい場合も有る。
このような場合には、図６に模式的に示すように（プロモーション対象画像を自動選択する例で示す）、検定を行った後、処理済画像を得るための基本処理および高品位処理を画像に行うと共に、並行して、基本処理を施すことなく全く未処理の原画像を記憶手段に記憶し、プロモーション対象画像として選択した画像は、対応する原画像を記憶手段から読み出した後に基本処理を行って未処理画像とし、その後、プロモーション処理を行ってプロモーション動画を作成すればよい。
なお、プロモーション動画において、各高品位処理に対応する動画の変化は、各処理毎に、順次、変化するものでもよく、複数あるいは全処理で同時に変化するものでもよい。
【００７３】
以上、本発明の画像形成方法および画像形成装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのは、もちろんである。
【図面の簡単な説明】
【００７４】
【図１】（Ａ）および（Ｂ）は、本発明の画像形成方法の一例の概念を示すフロー図である。
【図２】本発明における赤目補正方法の一例を説明するための概念図である。
【図３】（Ａ）および（Ｂ）は、本発明における赤目補正方法の一例を説明するための概念図である。
【図４】（Ａ）および（Ｂ）は、本発明におけるプロモーション動画の一例を説明するための概念図である。
【図５】本発明におけるプロモーション動画の別の例を説明するための概念図である。
【図６】本発明の画像形成方法の別の例の概念を示すフロー図である。
【符号の説明】
【００７５】
１０  入力機
【図１】
2006172358.tif 000003
【図２】
2006172358.tif 000004
【図３】
2006172358.tif 000005
【図４】
2006172358.tif 000006
【図５】
2006172358.tif 000007
【図６】
2006172358.tif 000008