(57)【要約】  【課題】カメラにおいて撮影された画像の画像データに画像処理を施す画像処理方法において、処理時間や処理用に保持するデータ量や作業を増大することなく、画質を向上させて、顧客にとって理想的な品質の画像を得る。  【解決手段】カメラにおいて撮影された撮影画像の撮影画像データを取得するとともに、撮影画像の撮影時にカメラにおいて取得された撮影位置情報および撮影方位情報の少なくとも一方を含むカメラ情報を取得し、カメラ情報を基に撮影画像の被写体を推定し、推定された被写体と同一の被写体を有する画像の補正済み画像データを、蓄積されている補正済み画像データ群から選択して参照画像データとし、この参照画像データから被写体に関する画像特徴量の目標値を設定し、撮影画像中の被写体に関する画像特徴量が目標値を満たすように、撮影画像データに画像処理を施すことにより上記課題を解決する。【選択図】図４
2005284366.tif 000002
【特許請求の範囲】
【請求項１】
カメラにおいて撮影された撮影画像の撮影画像データを取得するとともに、前記撮影画像の撮影時に前記カメラにおいて取得された撮影位置情報および撮影方位情報の少なくとも一方を含むカメラ情報を取得し、
前記カメラ情報、および、前記撮影画像データから得られる前記撮影画像の画像特徴量の少なくとも一方を基に前記撮影画像の被写体を推定し、
推定された前記被写体と同一の被写体を有する画像の補正済み画像データを、蓄積されている補正済み画像データ群から選択して参照画像データとし、この参照画像データから前記被写体に関する画像特徴量の目標値を設定し、
前記撮影画像中の前記被写体に関する画像特徴量が前記目標値を満たすように、前記撮影画像データに画像処理を施す画像処理方法。
【請求項２】
前記補正済み画像データは、その画像の撮影位置情報および撮影方位情報の少なくとも一方を含む撮影情報が既知の撮影画像データであり、
選択される前記参照画像データは、前記補正済み画像データの前記撮影情報と前記カメラ情報との差から算出される前記被写体の画像の類似度が所定値以上のものである請求項１に記載の画像処理方法。
【請求項３】
前記参照画像データとして、複数の前記補正済み画像データが選択された場合には、
前記画像特徴量の目標値は、選択された複数の前記参照画像データにおける被写体に関する画像特徴量を、前記被写体の画像の類似度に基づいて重み付けして導出される請求項２に記載の画像処理方法。
【請求項４】
前記補正済み画像データには、画質信頼性を数値化したランク値が対応して設けられており、
前記画像特徴量の目標値は、選択された複数の前記参照画像データにおける被写体に関する画像特徴量を、前記ランク値に基づいて重み付けして導出される請求項３に記載の画像処理方法。
【請求項５】
前記ランク値は、前記参照画像データの利用実績、前記参照画像データの画像の撮影者、前記参照画像データの画像の撮影に用いられたカメラ種および前記参照画像データの画像の鑑賞者から与えられた評価の少なくとも１つによって設定される請求項４に記載の画像処理方法。
【請求項６】
撮影とともにその撮影時の撮影位置情報および撮影方位情報の少なくとも一方を含むカメラ情報を取得するカメラにおいて撮影された撮影画像の撮影画像データを取得する画像データ取得手段と、
前記カメラにおいて取得された前記カメラ情報を取得するカメラ情報取得手段と、
前記カメラ情報、および、前記撮影画像データから得られる前記撮影画像の画像特徴量の少なくとも一方を基に、前記画像の被写体を推定する被写体推定手段と、
複数の補正済み画像データが蓄積されたデータベースと、
前記被写体推定手段によって推定された前記被写体と同一の被写体を有する画像の補正済み画像データを、前記データベースに蓄積されている補正済み画像データ群から選択して参照画像データとする参照画像選択手段と、
前記参照画像選択手段によって選択された前記参照画像データから前記被写体に関する画像特徴量の目標値を設定する目標値設定手段と、
前記撮影画像中の前記被写体に関する画像特徴量が、前記目標値設定手段によって設定された前記目標値を満たすように、前記撮影画像データに施す画像処理条件を設定する処理条件設定手段と、
前記処理条件設定手段によって設定された画像処理条件に応じて前記撮影画像データに画像処理を施す画像処理手段とを有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法および装置に関し、詳しくは、カメラによって撮影された画像から得られた画像データに画像処理を施す画像処理方法および装置に関する。
【背景技術】
【０００２】
ネガフィルム、リバーサルフィルム等の写真フィルム（以下、フィルムとする。）に撮影された画像の感光材料（印画紙）への焼き付けを行う焼付装置としては、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光（アナログ露光）によって行う従来の装置に加え、近年では、デジタル露光を利用する焼付装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、（仕上がり）プリントとするデジタルフォトプリンタも実用化されている。
【０００３】
デジタルフォトプリンタでは、画像をデジタル画像データとして画像処理を行うことができるので、複数画像の合成や画像分割、さらには文字の合成等も画像データ処理によって行うことができ、用途に応じて自由に編集／処理したプリントが出力可能である。しかも、デジタルフォトプリンタでは、画像をプリント（写真）として出力するのみならず、画像データをコンピュータ等に供給したり、フレキシブルディスク等の記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。
【０００４】
前述のように、デジタルフォトプリンタでは、フィルムの画像を光電的に読み取って、デジタルの画像データ（濃度データ）とし、この画像データを解析することによって、画像の状態を把握し、その画像に応じた画像処理条件を設定している。そしてこの画像処理条件に応じて画像データを処理することによって、焼き付け時の露光条件の規定された出力用の画像データを得る。そのため、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、シャープネス（鮮鋭化）処理、カラーフェリアあるいは濃度フェリアの補正等を好適に行って、従来の直接露光では得られなかった高画質な画像が再生された高品位なプリントを得ることができる。
【０００５】
ところが、フィルムに撮影される画像は、決まったものではなく、人物、風景、花等、様々な被写体を対象とするものであり、また、その構図も撮影環境や撮影条件も様々であるため、フィルムの画像を光電的に読み取って得られた画像データを解析して画像処理条件を設定しても、必ずしも、その被写体を最適に再現するような最適な画像処理条件が得られない場合がある。画像処理条件が適切でない場合、プリントを依頼した顧客の満足を得られなかったり、適切なプリント画像となるまで何度も画像処理条件の設定をし直してはプリント出力するという作業を繰り返さなければならなかったりという不都合を生じる。
【０００６】
このような問題に対し、特許文献１には、撮影コマの画像に付随させた撮影位置またはカメラ方位の撮影情報に基づいて、対象とする複数の撮影コマ間の類似性の判定、すなわち類似シーンの判定や同一被写体の判定を行って、類似性があると判断された複数の類似コマの画像データに対して、その複数の類似コマの再生画像の品質が揃うように同様の画像処理を施すことが提案されている。
【０００７】
また、特許文献２には、被写体の撮影時に取得された撮影シーンの撮影位置情報等のカメラ情報や、地図情報等の関連情報に基づいて、撮影シーンの推定を行い、推定された撮影シーンに応じた所定の画像処理を、そのデジタル画像データに対して行うことが提案されている。ここで、所定の画像処理としては、撮影場所が屋内であるか屋外であるかや、撮影された季節や時間帯等によって、その被写体に応じた階調制御を行うことが挙げられている。
【０００８】
また、同じく特許文献２には、被写体の撮影時に取得された撮影位置情報または撮影方位情報および撮影倍率情報のカメラ情報と、地図情報または蓄積画像とを用いて、被写体を撮影した撮影シーンのシミュレーション画像を作成し、シミュレーション画像と撮影画像とを比較して、撮影シーン中の不良または不要領域を検出して、その不良または不要領域に修復処理を行うことも提案されている。
【特許文献１】特開平１１−３５２６０１号公報
【特許文献２】特開２００１−２３８１７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１の画像処理方法では、対象とする複数の撮影コマ間で、例えば、１ユーザの撮影画像コマ間で共通の被写体の濃度を揃えるものであり、その再生画像の品質を揃えることはできるものの、得られた再生画像の品質を保証するものではなく、ユーザや顧客が満足する、理想的な品質の画像が得られるとは限らないという問題があった。
【００１０】
また、特許文献２の画像処理方法では、画像ごとに、その被写体に応じた階調制御が行われるため、高画質なプリントを得ることが期待できるが、同一の被写体を有する複数の画像についても、その都度、撮影シーンの推定結果に基づく濃度や色の階調制御を行わなければならず、処理時間が長くなるという問題が有り、また、そのようにして得られたプリントは、高画質であったとしても、顧客の好みや流行などに一致するものでない場合には、理想的品質であるとは言えず、顧客の満足を得られないという問題もあった。
【００１１】
また、撮影シーンのシミュレーション画像を作成して撮影画像データの補正を行う場合、補正の基になるシミュレーション画像を作成するためには、高精度の３Ｄ地図データと、３Ｄ被写体表面のレンダリング用データを充実させる必要があるため、シミュレーション画像作成のために必要なデータ量が膨大となり、また、同一の被写体について、多様な条件毎に最適なシミュレーション画像を作成することは多くの作業を要するという問題があった。
【００１２】
本発明の目的は、上記従来技術の問題点を解消し、カメラにおいて撮影された画像の画像データに画像処理を施す際に、既に補正され、良好なプリントが得られた画像データの中から、処理対象の画像に類似する画像のものを検索し、その補正済み画像の画像特徴量に合わせるように処理対象画像の画像データを補正することにより、処理時間や保持するデータ量や作業を増大することなく、画質を向上させ、顧客やユーザ等にとって理想的な品質の画像を得ることができる画像処理方法および装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明は、カメラにおいて撮影された撮影画像の撮影画像データを取得するとともに、前記撮影画像の撮影時に前記カメラにおいて取得された撮影位置情報および撮影方位情報の少なくとも一方を含むカメラ情報を取得し、
前記カメラ情報、および、前記撮影画像データから得られる前記撮影画像の画像特徴量の少なくとも一方を基に前記撮影画像の被写体を推定し、
推定された前記被写体と同一の被写体を有する画像の補正済み画像データを、蓄積されている補正済み画像データ群から選択して参照画像データとし、この参照画像データから前記被写体に関する画像特徴量の目標値を設定し、
前記撮影画像中の前記被写体に関する画像特徴量が前記目標値を満たすように、前記撮影画像データに画像処理を施す画像処理方法を提供するものである。
【００１４】
ここで、画像特徴量とは、画像の濃度、色味、コントラスト、周波数分布を含む。
また、前記補正済み画像データは、その画像の撮影位置情報および撮影方位情報の少なくとも一方を含む撮影情報が既知の撮影画像データであり、
選択される前記参照画像データは、前記補正済み画像データの前記撮影情報と前記カメラ情報との差から算出される前記被写体の画像の類似度が所定値以上のものであるのが好ましい。
【００１５】
また、前記参照画像データとして、複数の前記補正済み画像データが選択された場合には、前記画像特徴量の目標値は、選択された複数の前記参照画像データにおける被写体に関する画像特徴量を、前記被写体の画像の類似度に基づいて重み付けして導出されるのが好ましい。
【００１６】
また、前記補正済み画像データには、画質信頼性を数値化したランク値が対応して設けられており、
前記画像特徴量の目標値は、選択された複数の前記参照画像データにおける被写体に関する画像特徴量を、前記ランク値に基づいて重み付けして導出されるのが好ましい。
【００１７】
また、前記ランク値は、前記参照画像データの利用実績、前記参照画像データの画像の撮影者、前記参照画像データの画像の撮影に用いられたカメラ種および前記参照画像データの画像の鑑賞者から与えられた評価の少なくとも１つによって設定されるのが好ましい。
【００１８】
また、本発明は、撮影とともにその撮影時の撮影位置情報および撮影方位情報の少なくとも一方を含むカメラ情報を取得するカメラにおいて撮影された撮影画像の撮影画像データを取得する画像データ取得手段と、
前記カメラにおいて取得された前記カメラ情報を取得するカメラ情報取得手段と、
前記カメラ情報、および、前記撮影画像データから得られる前記撮影画像の画像特徴量の少なくとも一方を基に、前記画像の被写体を推定する被写体推定手段と、
複数の補正済み画像データが蓄積されたデータベースと、
前記被写体推定手段によって推定された前記被写体と同一の被写体を有する画像の補正済み画像データを、前記データベースに蓄積されている補正済み画像データ群から選択して参照画像データとする参照画像選択手段と、
前記参照画像選択手段によって選択された前記参照画像データから前記被写体に関する画像特徴量の目標値を設定する目標値設定手段と、
前記撮影画像中の前記被写体に関する画像特徴量が、前記目標値設定手段によって設定された前記目標値を満たすように、前記撮影画像データに施す画像処理条件を設定する処理条件設定手段と、
前記処理条件設定手段によって設定された画像処理条件に応じて前記撮影画像データに画像処理を施す画像処理手段とを有することを特徴とする画像処理装置を提供するものである。
【発明の効果】
【００１９】
本発明によれば、処理対象画像と共通の被写体を持つ画像を、蓄積されている既に画質が良好であるとされた多数の補正済み画像データから検索し、その補正済み画像データから該被写体の理想的とされる画像の特徴量を求めて、その理想的画像の特徴量を目標値として処理対象画像の画像データを補正するので、処理後の画像の画質を向上させ、ユーザ等にとって理想的な品質の画像を得ることができる。
【００２０】
また、データベースに存在する補正済み画像データを利用することにより、理想的とされる画像の特徴量を求めることができるので、画像ごとに補正値を演算する場合に比べ、少ない計算量で処理することができ、また、シミュレーション画像を作成する場合に比べ、少ないデータ量で十分な補正を行うことができる。
【発明を実施するための最良の形態】
【００２１】
本発明に係る画像処理方法および装置を添付の図面に示す好適実施例に基づいて以下に詳細に説明する。
【００２２】
図１は、本発明の画像処理方法を実施する画像処理装置を適用するデジタルフォトプリンタの一実施例のブロック図である。
図１に示されるデジタルフォトプリンタ１０は、基本的に、（写真）フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、本発明の画像処理方法を実施するとともに、読み取られた画像データ（画像情報）の画像処理や種々のデータ処理やデジタルフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料を画像露光し、現像処理して写真プリントとして出力するプリンタ１６とを有する。
【００２３】
なお、画像処理装置１４から出力される本発明の画像処理方法によって画像処理された出力画像データは、写真プリントとして出力するためにプリンタ１６に出力されるものに限定されず、各種の画像データ記録媒体（画像記録媒体）２５に記録（および再生）するために出力されるものであっても良いし、スロット２７を経由してインターネットなどの通信手段を介して配信されるもの、例えば、ネット転送サービス（および再生）であっても良い。
【００２４】
また、画像処理装置１４には、様々な条件の入力や設定、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、様々な条件の設定／登録画面等を表示する画像表示装置（ディスプレイモニタ、以下、単にモニタという）２０とが接続される。
スキャナ１２は、フィルムＦに撮影されたカラー画像を光電的に読み取る装置で、光源２２と、可変絞り２４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２８と、結像レンズユニット３２と、フィルムの撮影画像を読み取るフォトセンサであるＣＣＤセンサ３４と、アンプ（増幅器）３６と、Ａ／Ｄ（アナログ／デジタル）変換器３７とを有し、さらに、スキャナ１２の本体に装着自在な専用のキャリア３０から構成される。
【００２５】
キャリア３０は、例えば２４枚取りの１３５サイズのフィルムや新写真システムフィルム（ＡＰＳのカートリッジ）等の、長尺なフィルムに対応する各種専用のキャリアが用意されており、所定の読み取り位置にフィルムＦを保持しつつ、ＣＣＤセンサ３４のラインＣＣＤセンサの延在方向（主走査方向）と直行する副走査方向に、フィルムＦの長手方向を一致して搬送する、読み取り位置を副走査方向に挟んで配置される搬送ローラ対と、フィルムＦの投影光を所定のスリット状に規制する、読み取り位置に対応して位置する主走査方向に延在するスリットを有するマスク、更に磁気読取書込装置とを有する。
フィルムＦはこのキャリア３０によって保持されて副走査方向に搬送されつつこのフィルムＦには読み取り光が入射される。これにより、フィルムＦが主走査方向に延在するスリットによって２次元的にスリット走査され、フィルムＦに撮影された各コマの画像が読み取られる。
【００２６】
ＣＣＤセンサ３４は、それぞれＲ画像、Ｇ画像およびＢ画像の読み取りを行う３つのラインＣＣＤセンサを有するラインセンサで、ラインセンサは主走査方向に延在している。フィルムＦの投影光は、このＣＣＤセンサによってＲ、ＧおよびＢの３原色に分解されて光電的に読み取られる。
光源２２から射出され、可変絞り２４によって光量調整され拡散ボックス２８を通して均一にされた読み取り光が、キャリア３０によって所定の読み取り位置に保持されつつ搬送されるフィルムＦに入射して、透過することにより、フィルムＦに撮影された画像を担持する投影光を得る。
フィルムＦの投影光は、結像レンズユニット３２によってＣＣＤセンサ３４の受光面に結像され、ＣＣＤセンサ３４によって光電的に読み取られ、その出力信号は、アンプ３６で増幅されて、Ａ／Ｄ変換器３７でデジタル画像データに変換され、入力画像データとして画像処理装置１４に送られる。
【００２７】
新写真システム（ＡＰＳ）のフィルムＦの場合においては、周知のように、フィルムＦの裏面（非乳化剤面）側で撮影シーンの画像、すなわち撮影画像を記録した各コマの画像記録領域の上部および下部の領域に磁気記録層が形成され、この磁気記録層に、予め記録されたカートリッジＩＤやフィルム種等のフィルム情報に加え、撮影日付・撮影時刻等の撮影日時や撮影位置（カメラ位置）や撮影方位（カメラ方位）や撮影倍率等の撮影情報および被写体に関する付加情報などのカメラで取得される撮影画像の付属情報が、カメラ情報として記録されている。
【００２８】
これらの記録された情報は、スキャナ１２でフィルムＦの画像が読み取られる際に、同時にスキャナ１２内の磁気読取書込装置にて読み取られる。すなわち、新写真システムＡＰＳのフィルム（カートリッジ）がそれに対応するキャリア３０にセットされ、フィルムＦがキャリア３０によって副走査方向に搬送されてＣＣＤセンサ３４で読み取られる間に、磁気読取書込装置にて磁気記録された情報が読み取られ、撮影情報を含む各種の情報が画像処理装置１４に送られる。場合によっては、磁気読取書込装置によって磁気記録層に撮影情報に基づく付加情報などの必要な情報が記録される。
【００２９】
また、フィルムカートリッジがＩＣメモリを装着したものである時、装着されたＩＣメモリにカートリッジＩＤやフィルム種等のフィルム情報や、上記カメラ情報が記録されている場合は、その情報を読み取ることができる。また、必要な情報が場合に応じてＩＣメモリに記録される。
撮影情報や付加情報の取得方法および記録方法は、ＡＰＳフィルムの磁気記録層やＩＣメモリ付きフィルムカートリッジのＩＣメモリからの読み出しや記録に限定されないのはもちろんである。
【００３０】
なお、デジタルフォトプリンタ１０を構成するスキャナ１２は、上述のスリット走査によるものに限定されず、１コマの画像の全面を一度に読み取る面露光を利用したＣＣＤエリアセンサであってもよい。その場合、図１に示す可変絞り２４と拡散ボックス２８との間にＲ，ＧおよびＢの色フィルタを設け、そこを通過してＲ、ＧおよびＢに色調整された光を、フィルムＦの１コマに入射して、透過することにより、フィルムＦに撮影されたこのコマの画像を担持する投影光を得てもよい。この場合、色フィルタを順次Ｒ、ＧおよびＢについて３回行う必要がある。
【００３１】
また、スキャナ１２における画像のＣＣＤセンサでの読み取りは、写真プリントを出力するために画像を読み取るファインスキャンに先立ち、画像処理条件等を決定するために、画像を低解像度で読み取るプレスキャンを行ない画像処理条件を決定し、オペレータ（またはユーザ）がモニタ２０で確認し調整した後、高解像度で画像を読み取るファインスキャンを行うため、スキャンはプレスキャンとファインスキャンの２回行われる。そのため、Ｒ、ＧおよびＢの色フィルタを設け、面露光を利用したＣＣＤエリアセンサを用いた場合、Ｒ、ＧおよびＢの色フィルタを用いて３回スキャンする必要があるため、計６回のスキャンを行うことになる。
また、プレスキャンは、フィルムＦのすべての画像を一気にプレスキャンで取り込んで、画像処理条件を設定した後、ファインスキャンを行っているが、フィルムＦを一コマごとにプレスキャンとファインスキャンを逐次行ってもよい。
【００３２】
また、図１に示されるデジタルフォトプリンタ１０では、ネガやリバーサル等のフィルムに撮影された画像を光電的に読み取るスキャナ１２以外にも、反射原稿の画像を読み取る画像読取装置、コンピュータ通信等の通信手段（モデムを介するものも含む）、デジタルカメラやデジタルビデオカメラ等の撮像デバイスや内蔵メモリ、ＰＣカードやスマートメディア等のデジタルカメラ用の画像記録媒体、ＦＤ（フレキシブルディスク）やＭＯ（光磁気記録媒体）等の汎用の画像記録媒体などの各種の画像データ供給源を利用することができ、これらを直接またはその駆動装置を介して画像処理装置１４に接続することができ、画像処理装置１４は、これらの画像データ供給源からデジタル画像データやその撮影情報や付加情報を受け取ることができる。具体的には、画像処理装置１４には、各種の画像記録媒体２５の駆動装置２６が接続され、また、（パーソナル）コンピュータやデジタルカメラや他のデジタルフォトプリンタのスキャナや画像処理装置等の種々の画像データ供給源に直接ケーブル（例えば、ＲＳ２３２Ｃ）を介して接続して、あるいはインターネットなどの通信ネットワークを介して接続して、デジタル画像データやその付属情報である撮影情報や付加情報を取得するとともに処理済画像データを配信するためのスロット２７等が画像処理装置１４に配置されている。なお、これらの画像データ供給源は、本発明の画像処理方法による処理済画像データの出力先としても機能する。
【００３３】
なお、図示例では、入力信号（デジタル画像データおよびカメラ情報（撮影情報や付加情報）等）は、スキャナ１２やドライブ装置２６等の種々の画像データ供給源から画像処理装置１４に入力されるが、以下の説明では、主としてスキャナ１２から画像処理装置１４にデジタル画像データが供給される場合を代表例として説明する。
【００３４】
画像処理装置１４は、スキャナ１２で読み取られ、デジタルデータとして、画像処理装置１４に送られてきた画像データに所定の画像処理を施し、プリンタ１６またはモニタ２０に出力するもので、そのブロック図が図２に示される。
同図に示すように、画像処理装置１４は、データ処理部３８、プレスキャンメモリ４０、ファインスキャンメモリ４２、プレスキャン画像処理部４４、ファインスキャン画像処理部４６、条件設定部４８、撮影画像判定部６０および目標値設定部６２から構成される。
【００３５】
データ処理部３８では、スキャナ１２から出力されたＲ、ＧおよびＢのデジタル画像データ（入力画像データ信号）に、Ｌｏｇ変換、ＤＣオフセット補正、暗時補正、シェーディング補正等を行い、処理済プレスキャン（画像）データはプレスキャンメモリ４０に、処理済ファインスキャン（画像）データはファインスキャンメモリ４２に、それぞれ記憶（格納）される。なお、Ａ／Ｄ変換は、スキャナ１２で行わず、このデータ処理部３８で行うようにしてもよい。
プレスキャンメモリ４０およびファインスキャンメモリ４２には、データ処理部３８で処理されたデジタル画像データが記憶され、必要に応じて、画像処理を施し出力するために、プレスキャン画像処理部４４、または、ファインスキャン画像処理部４６に呼び出される。
【００３６】
プレスキャン画像処理部４４は、画像処理部５０と画像データ変換部５２とから構成される。
画像処理部５０は、色バランス調整、コントラスト補正、明るさ補正、さらにシャープネス処理や覆い焼処理等の従来技術としての画像処理のほか、撮影レンズの収差特性に基づく歪曲収差や倍率色収差や周辺光量低下や画像ボケなどの収差の補正処理を実施する部分である。
画像データ変換部５２では、画像処理部５０で画像処理の施された画像データを、モニタ２０による表示に対応する画像データに加工するため、３Ｄ（三次元）−ＬＵＴ等を用いて変換する。
【００３７】
ファインスキャン画像処理部４６は、画像処理部５４および画像データ変換部５８から構成される。
画像処理部５４では、ファインスキャン画像データについて、プレスキャン画像データにおいて決定された画像処理条件下、色バランス調整、コントラスト補正（階調処理）、明るさ補正等が図示しないＬＵＴ（ルックアップテーブル）による処理によって、また、彩度補正が図示しないＭＴＸ演算によって公知の方法で行われ、さらに、オペレータの指示や画像データ等に応じて、シャープネス処理や覆い焼き処理等が行われる他、撮影レンズの特性による歪曲収差や倍率色収差などの補正および写真プリントの出力サイズに応じて画像を拡大縮小する電子変倍処理を行う。
画像データ変換部５８では、画像処理部５４で画像処理の施された処理画像データを、プリンタ１６にプリント出力する画像データに加工するため、３Ｄ（三次元）−ＬＵＴ等を用いて変換する。
【００３８】
なお、ここでは、画像処理部５４で得られた処理画像データをプリンタ１６にプリント出力しているが、本発明はこれに限定されず、画像データ変換部５８で、画像記録媒体２５に記録するための画像データに変換（例えば、媒体出力に応じたフォーマット変換など）を行って、ドライブ装置２６に出力しても良いし、インターネットなどの通信網や通信手段等を介して配信するための画像データに変換（例えば、ネット出力に応じたフォーマット変換など）を行って、スロット２７に出力しても良い。こうして、本発明においても、プリント出力のみならず、各種の画像記録媒体への記録や再生、各種のネット配信（転送）サービスや再生に処理画像データを利用することができる。
この時、後述するデータベース部６２ｂから導出した被写体関連情報や、その他の関連情報などをプリントの合成時や各種の画像記録媒体やネット転送からの再生時、例えば、モニタ等への再生表示時の付加情報として用いても良い。
【００３９】
条件設定部４８は、プレスキャンメモリ４０から読み出されたプレスキャン画像データを用いて画像処理条件を決定する。
具体的には、プレスキャン画像データから、濃度ヒストグラムの作成や、平均濃度、ＬＡＴＤ（大面積透過濃度）、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出等を行い、加えて、後述する目標値設定部６２によって設定された画像特徴量の目標値、および、必要に応じて行われるオペレータによる指示に応じて、前述のグレイバランス調整等のテーブル（ＬＵＴ）や彩度補正を行うマトリクス演算の作成等を行い、
画像処理条件を決定する。決定された画像処理条件は、さらに、キーボード１８ａおよびマウス１８ｂを有する操作系１８で調整され、画像処理条件が再設定される。
【００４０】
なお、モニタ２０は、プレスキャン画像データの画像処理が適切かどうか、オペレータが確認、検定するものであり、画像データ変換部５２を介して画像処理装置１４と接続される。
なお、図２は主に画像処理関連の部位を示すものであり、画像処理装置１４には、これ以外にも、画像処理装置１４を含むデジタルフォトプリンタ１０全体の制御や管理を行うＣＰＵ、デジタルフォトプリンタ１０の作動等に必要な情報を記憶するメモリ、ファインスキャンの際の可変絞り２４の絞り値やＣＣＤセンサ３４の蓄積時間を決定する手段等が配置される。
【００４１】
撮影画像判定部６０および目標値設定部６２は、本発明の特徴とする部分であり、そのブロック図が図３に示される。撮影画像判定部６０は、撮影画像の付属情報を取得してこれを基に撮影画像の被写体を推定（判定）し、目標値設定部６２は、推定された被写体の画像が理想的な画像となるような画像処理の目標値を設定して条件設定部４８へ送る。
【００４２】
撮影画像判定部６０は、撮影位置や撮影方位や撮影倍率や撮影日時等の撮影情報および被写体に関する付加情報などの、カメラで取得される撮影画像の付属情報であるカメラ情報を取得するカメラ情報取得部６０ａと、カメラ情報取得部６２ａで取得されたカメラ情報等に基づいて撮影シーンの画像内の被写体の特定および撮影時の状況の推定を行う被写体推定部６０ｂと、地図データベースや各地の天候を記録した天候データベースや各地のイベント情報を記録したイベントのデータベース等々の、被写体の特定およびその撮影状況の推定のために用いられる各種の情報を有する被写体データベース部６０ｃとから構成される。
【００４３】
被写体データベース部６０ｃは、画像処理装置１４の撮影画像判定部６０に内蔵されているものに限定されず、外部記憶装置として画像処理装置１４に接続されるものであっても良いし、またその数も１つに限られず、２つ以上の記憶装置で構成されていても良いし、さらに、デジタルフォトプリンタ１０に備えられているものに限定されず、インターネット等の通信手段を介して接続可能、または検索可能なデータベースであっても良い。
【００４４】
目標値設定部６２は、撮影画像判定部６０の被写体推定部６０ｂにおいて推定された被写体およびその撮影状況のデータを基に参照画像データを選択する参照画像選択部６２ａと、補正済み画像データが多数蓄積された参照画像データベース部６２ｂと、選択された参照画像データから補正対象の被写体の画像特徴量の理想値を導出する理想値導出部６２ｃとから構成される。ここで、画像特徴量の理想値とは、画像を鑑賞する顧客等からの評価が高い、鑑賞者にとって好ましいとされる画像となるときの特徴量をいう。
【００４５】
参照画像データベース部６２ｂは、過去に画像処理が施され、出力画像の画質が良好であると判断された補正済み画像データが多数蓄積されている。この参照画像データベース部６２ｂは、被写体データベース部６０ｃと同様に、画像処理装置１４の撮影画像判定部６０に内蔵されているものに限定されず、外部記憶装置として画像処理装置１４に接続されるものであっても良いし、またその数も１つに限られず、２つ以上の記憶装置で構成されていても良いし、さらに、デジタルフォトプリンタ１０に備えられているものに限定されず、インターネット等の通信手段を介して接続可能、または検索可能なデータベースであっても良い。また、顧客ごと、処理装置ごと、ラボ店ごと等の所定の単位で個人用または個別データベースとして構築されていてもよいし、インターネット等を介した公開データベースとして構築されていていもよい。
【００４６】
本発明の画像処理方法を実施する本発明の画像処理装置を適用するデジタルフォトプリンタは、基本的に以上のように構成されるが、以下に、図１〜図４を参照して、その作用および本発明の画像処理方法および装置を説明する。
【００４７】
図４は、図１に示す本発明の画像処理装置１４によって実施される本発明の画像処理方法における、画像情報取得から被写体に応じた画像処理条件を設定するまでの流れの一例を示すフローチャートである。
ＧＰＳ（Global Positioning System）を利用することのできるカメラ６６により、被写体が撮影されるとともにＧＰＳによるデータ等の撮影情報および付加情報などのカメラ情報が取得され、記録される（ステップＳ１００）。例えばＡＰＳ（新写真システム）カメラの場合、ＡＰＳ対応フィルムＦの各コマの画像記録領域の上部および下部の領域に磁気記録層が形成されており、ここにＧＰＳ情報等のカメラ情報が記録される。さらに、方向探知機用方位指示器を付加すると、撮影した緯度、経度および高度さらには、水平面および垂直面に関する撮影方位角が記録される他、撮影時の撮影倍率などのカメラ情報も記録することができる。また、例えば、被写体に被写体を識別するコードを記憶するＩＣタグが付されており、カメラ６６が、そのＩＣタグを読み取ることのできるものである場合には、カメラ６６により、被写体が撮影されるとともに、カメラ情報（付加情報）としてＩＣタグからの被写体を識別する情報が取得され、記録される。また、撮影時または撮影後に、撮影者等によるカメラ６６における入力操作や録音操作によって、コード、文字データ、音声データ等による各画像の被写体に関する情報がカメラ情報（付加情報）として記録されてもよい。なお、このようなカメラ情報の取得の形態は、デジタルカメラ等によって静止画または動画が撮影される場合も同様であり、取得されたカメラ情報は、各画像記録媒体に応じた形式で記録される。
【００４８】
この記録されたカメラ情報は、スキャナ１２のキャリア３０に設けられている磁気読取書込装置で読み込まれ、スキャナ１２から画像データと別の経路で撮影画像判定部６０へ送られ、そのカメラ情報取得部６０ａによって撮影画像に付属情報として関連づけて得られる撮影情報等を含むカメラ情報が取得される（ステップＳ１０２）。
【００４９】
撮影画像判定部６０の被写体推定部６０ｂは、カメラ情報取得部６０ａが取得したカメラ情報である撮影位置、撮影方位等から、被写体データベース部６０ｃ内の地図データベースを参照して、撮影された画像の撮影地点や被写体を特定するとともに、カメラ情報である撮影日時等からその撮影状況を推定する（ステップＳ１０４およびＳ１０６）。この被写体推定部６０ｂによる被写体の推定は、以下のように行う。
【００５０】
例えば、撮影された被写体が山である場合、その山およびその撮影されている方角の特定は、得られた撮影位置と方位から地図データベースを参照して行う。複数の人工衛星からの信号をもとに位置を正確に知ることのできるＧＰＳを利用することで、撮影した位置、すなわち経度、緯度および高度を得ることができる。これらの経度、緯度および高度の位置に関する測位精度は１００ｍ以内であり実用上問題はなく、方位角についても方向探知機用方位指示器を用いることで方位を精度よく測定できるので、撮影倍率データに依存して定まる地図上の所定の画角内に収まる対象物と撮影された被写体を照合することで、撮影被写体や撮影地点を地図データベース上の対象物として特定することができる。
【００５１】
さらに、一層精度が要求される場合や撮影位置や撮影方位さらに撮影倍率の精度がなんらかの理由で不十分な場合には、次のようにして撮影位置や撮影方位や撮影倍率を精度良く知ることができ、被写体や撮影地点を詳細に特定できる。すなわち、撮影情報をもとに地図データベースによる３次元コンピュータグラフィック画像を公知のコンピュータグラフィックス（以下、ＣＧと称する）作成手法により作成し、この作成されたＣＧ画像と実際の撮影された画像とのパターンマッチング、例えば、得られた撮影位置や撮影方位や撮影倍率データをもとに地図データベースから作成したＣＧ画像の山の稜線と撮影画像上の山の稜線との間で、２次元的にＣＧ画像の画素をずらしながらパターンマッチングを行い、もっともマッチするような位置および方位さらに撮影倍率を算出することで、撮影位置や撮影方位や撮影倍率を高い精度で知ることができ、その結果被写体の山やその山のある地点を特定できる。なお、撮影画像上の山の稜線は、画素の色濃度の違いからエッジを抽出して行う。
【００５２】
以上のようにして、撮影位置や撮影方位や撮影倍率を精度良く知ることで、地図データベースから撮影された山の位置や撮影された山の一つ一つの山名等を詳細に特定できる。また、市街地であれば、一つ一つの建物（建造物）の名称を特定することができる。
【００５３】
また、撮影日時から、撮影された季節や時間帯を特定することができ、さらには撮影日時を基にして、被写体データベース部６０ｃ内の天候データベースやイベントのデータベースなどを参照することにより、天候や撮影環境（花火、スキー場、屋外イベント、屋内イベント等）といった撮影状況を推定することができる。
【００５４】
また、カメラ情報が不十分な場合や、被写体推定の精度がさら要求される場合等には、被写体の画像特徴量を基に被写体を推定してもよい。すなわち、被写体データベース部６０ｃに、被写体ごとの画像データまたは画像特徴量データを被写体画像データベースとして蓄積しておき、被写体推定部６０ｂによって、処理対象画像データをプレスキャンメモリ４０から読み出して、この処理対象画像データの画像特徴量を基に、被写体画像データベースの画像データを検索して、画像特徴量（例えば、色味の分布など）の類似度が高いものを被写体として推定してもよい。
【００５５】
目標値設定部６２の参照画像選択部６２ａは、撮影画像判定部６０の被写体推定部６０ｂによって推定された被写体の情報に基づいて、参照画像データベース部６２ｂに蓄積されている補正済み画像データ群から、同一の被写体を持つ画像の画像データを検索して抽出し、さらに、抽出された複数の補正済み画像データの中から、参照画像データとして用いるのにふさわしいものを複数選択する。（ステップＳ１０８およびＳ１１０）
【００５６】
参照画像データベース部６２ｂには、過去に画像処理が施され、出力画像の画質が良好であると判断された補正済み画像データが蓄積されている。これらの補正済み画像データは、その画像処理時に被写体の抽出が行われており、その被写体を識別できる情報が付属情報として与えられている。１つの画像中に複数の被写体がある場合には、各被写体について識別情報が与えられている。また、参照画像データベース部６２ｂに蓄積される画像データは、実写画像による画像データのほか、ＣＧにより作成されたシミュレーション画像であってもよい。その場合にも、付加情報として被写体を識別する情報が与えられている。
さらに、参照画像データベース部６２ｂに蓄積されている補正済み画像データの付属情報には、その画像の撮影情報（撮影日時、撮影位置、撮影方位、撮影倍率等）も含まれている。シミュレーション画像の場合には、撮影情報に相当する情報が与えられていればよい。
【００５７】
参照画像選択部６２ａは、参照画像データベース部６２ｂから、同一の被写体を持つ画像の画像データを抽出すると、抽出された補正済み画像データの画像と、処理対象画像データの画像との間で、共通の被写体に関して類似度を計算する。
被写体の類似度は、その画像の撮影時の被写体とカメラとの距離、撮影方位および撮影日時等の類似性によって表すことができる。例えば、補正済み画像データの撮影情報、および、カメラ情報取得部６０ａによって取得されたカメラ情報（撮影情報）に基づき、両画像の撮影時の被写体との距離差、方位差、時間（日／時刻）差等を求め、それらの絶対値にそれぞれ所定の係数をかけて累算値Ｓを求め、類似度Ｄ＝Ｔ−Ｓとする。ここで、Ｔは定数であり、上記各項目の差の絶対値が小さいほど、すなわち類似しているほどＳが小さくなり、したがって、類似度が大となる程Ｄが大となる。なお、撮影時の被写体との距離差、方位差、時間（日／時刻）差等について、絶対値に替えて二乗値を用いてその累算値Ｓ’を求め、また定数Ｔ’を設定し、これにより類似度Ｄ’を計算するようにしてもよい。
【００５８】
また、被写体の類似度は、上記の撮影情報が得られていない場合や、不十分な場合等には、抽出された補正済み画像データの画像と処理対象画像データの画像との間で、共通の被写体の画像データから画像特徴量の類似度を算出することによって算出してもよい。画像特徴量としては、画像の濃度、色味、コントラスト、周波数分布等が例示される。
【００５９】
また、参照画像データベース部６２ｂからシミュレーション画像が抽出されていた場合の処理対象画像との被写体の類似度は、シミュレーション画像に撮影情報に相当する情報が付属情報として与えられていれば、撮影条件の類似性によって被写体の類似度を算出すればよいし、そうでなければ、画像特徴量の類似度を算出すればよい。後者の場合、シミュレーション画像の付属情報として、予め画像特徴量のデータが与えられていてもよい。
【００６０】
参照画像選択部６２ａは、このようにして求められた被写体の類似度に基づいて、参照画像データベース部６２ｂから抽出された複数の補正済み画像データのうち、類似度が所定閾値以上のものをすべて参照画像データとして自動的に選択する。なお、参照画像データの選択は、このように自動的に行われるのが好ましいが、抽出された複数の補正済み画像データを、類似度の高い順にモニタ２０に表示するようにし、ユーザによるキーボード１８ａおよびマウス１８ｂからのマニュアル入力操作によって選択されるようにしてもよい。また、自動的に選択された複数の補正済み画像データの画像特徴量について、所定以上のばらつきがある場合には、さらにマニュアルで選択が可能とされていてもよい。なお、所定以上の類似度を持つ参照画像が存在しない場合には、公知の手法による対象画像単独による補正処理が施されればよい。
【００６１】
理想値導出部６２ｃは、参照画像選択部６２ａにより選択された複数の参照画像データから、目的とする被写体の理想画像の特徴量を求めることにより、画像特徴量の理想値を導出する（ステップＳ１１２）。被写体の画像特徴量の理想値は、複数の参照画像データの画像特徴量の類似度による加重平均により導出される。例えば、画像特徴量として、濃度、色味、コントラストおよび周波数分布の１以上について理想値が導出される。これらの画像特徴量の理想値は、処理対象画像の補正の目標値となる。例えば、周波数分布の理想値は、エッジ強調やぼかしやノイズ低減のための目標値となる。具体的には、例えば、被写体が富士山であった場合に、処理対象画像にどの程度エッジ強調を掛けると理想的な画像になるか、という目標値が、周波数分布の理想値から得られる。濃度、色味、コントラスト等についても同様に、導出された理想値から補正の目標値が設定される。
【００６２】
条件設定部４８は、上述したように、プレスキャンメモリ４０から読み出されたプレスキャン画像データを用いて、画像特徴量の算出等を行って、画像処理条件を決定するが、このとき、理想値導出部６２ｃによって導出された画像特徴量の理想値を受け取って、処理対象画像の目的とする被写体の画像特徴量が上記理想値となる様に画像処理条件を設定する（ステップＳ１１４）。
【００６３】
目的とする被写体の画像特徴量を理想値にするための画像処理条件は、該被写体領域の画像データにのみ設定されてもよいし、画像全体へ適用されてもよい。また、処理対象画像が複数の被写体を有する場合には、被写体別に、それぞれの画像特徴量が理想値となるように処理条件が設定されてもよいし、複数の被写体のうち最も重要な被写体を理想画像とするための処理条件が画像全体に適用されてもよいし、複数の被写体が平均的に理想値を満たす条件が得られる場合には、そのような共通の処理条件が画像全体に適用されるようにしてもよい。
【００６４】
以上により、条件設定部４８において、処理対象画像の被写体が理想的な画像となるように画像処理条件が設定され、プレスキャン画像処理部４４およびファインスキャン画像処理部４６において、設定された画像処理条件でプレスキャン画像データおよびファインスキャン画像データが画像処理されて、モニタ２０や、プリンタ１６等に出力される。
【００６５】
上記の例では、被写体の画像特徴量の理想値を、複数の参照画像データの画像特徴量の類似度による加重平均によって導出したが、これに加えて、あるいは類似度に替えて、参照画像の画質の信頼性によって被写体の画像特徴量を重み付けして、その理想値を導出するのも好ましい。この場合には、参照画像データベース部６２ｂに蓄積される画像データの付属情報として、画質の信頼性を数値化したランク値を設けておく。ランク値の設定方法としては、次のようなものが例示される。
【００６６】
例えば、参照画像データベース部６２ｂへの登録後、利用実績が大きいものは画質の良好な信頼できる画像であると考えられるため、利用実績が大きいものほどランク値を大きくし、利用実績が小さいものは、ランク値を小さくする。ここで、利用実績の大きいものとは、参照画像データとしての引用回数が多いもの、その画像データを用いたプリントの出力回数や枚数が多いもの、プリントサイズが大きいものなどであり、このような利用実績のデータを画像処理装置１４において自動的に集積し、対応するランク値を参照画像データベース部６２ｂの各画像データの付属情報として記録する。
【００６７】
また、例えば、プロの写真家による撮影画像にはランク値を大きく設定し、一般ユーザの撮影画像にはランク値を小さく設定する。あるいは、撮影画像の付属情報等から得られるカメラ機種の情報に応じて、例えば、一眼レフカメラで撮影された画像には大きい値、簡易型カメラによる画像には小さい値、レンズ付きフィルムによる画像にはさらに小さい値を設定する。
【００６８】
また、参照画像データベース部６２ｂ内の画像の鑑賞者から与えられた評価によってランク値を設定してもよい。例えば、参照画像データベース部６２ｂを公開データベースとした場合には、参照画像データベース部６２ｂ内の画像について人気投票を行って、人気の高い画像にはランク値を大きく設定する。人気の高い画像は、一般に好まれる画質であるため参照画像とするのにふさわしい、理想的な画像と言える。あるいは、参照画像データベース部６２ｂを個人または個別データベースとした場合には、そのデータベースのユーザの好み（お気に入り度）などによる評価によってランク値を設定してもよく、この場合には、例えば、同じ被写体でも好みの色合いや明るさなどについて、ユーザの好みを反映させることができる。
【００６９】
参照画像データベース部６２ｂに蓄積される補正済み画像データには、その画像処理時に適用された補正処理内容が付属情報として記録されているのも好ましい。この場合には、処理対象画像データについても同様の補正処理を適用するようにし、理想値導出部６２ｃにおいて、その補正処理条件の設定に必要な画像特徴量の理想値を求めるようにしてもよい。
【００７０】
以上、本発明に係る画像処理方法および装置について詳細に説明したが、本発明は上記種々の実施例に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【図面の簡単な説明】
【００７１】
【図１】本発明の画像処理方法を実行する本発明の画像処理装置を適用するデジタルフォトプリンタの一実施例のブロック図である。
【図２】図１のデジタルフォトプリンタに用いられる本発明の画像処理装置の一実施例の構成を示すブロック図である。
【図３】図２の画像処理装置に用いられる撮影画像判定部および目標値設定部の構成を示すブロック図である。
【図４】図２の画像処理装置によって実施される本発明の画像処理方法における画像情報取得から被写体に応じた画像処理条件を設定するまでの流れの一例を示すフローチャートである。
【符号の説明】
【００７２】
１０  デジタルフォトプリンタ
１２  スキャナ
１４  画像処理装置
１６  プリンタ
１８  操作系
１８ａ  キーボード
１８ｂ  マウス
２０  モニタ
２２  光源
２４  可変絞り
２５  画像記録媒体
２６  ドライブ装置
２７  スロット
２８  拡散ボックス
２９  マスク
３０  キャリア
３１  磁気読取書込装置
３２  結像レンズユニット
３４  ＣＣＤセンサ
３６  アンプ
３７  Ａ／Ｄ（アナログ／デジタル）変換器
３８  データ処理部
４０  プレスキャン（フレーム）メモリ
４２  ファインスキャン（フレーム）メモリ
４４  プレスキャン画像処理部
４６  ファインスキャン画像処理部
４８  条件設定部
５０，５４  画像処理部
５２，５８  画像データ変換部
６０  撮影画像判定部
６０ａ  カメラ情報取得部
６０ｂ  被写体推定部
６０ｃ  被写体データベース部
６２  目標値設定部
６２ａ  参照画像選択部
６２ｂ  参照画像データベース部
６２ｃ  理想値導出部
【図１】
2005284366.tif 000003
【図２】
2005284366.tif 000004
【図３】
2005284366.tif 000005
【図４】
2005284366.tif 000006