(57)【要約】【課題】  マニュアル撮影した画像データに対して、写真補正を適用するべきか自動的に判別して写真補正処理を実行すること。【解決手段】  撮影時における撮影情報を含む画像データを１つもしくは複数取得する画像取得手段と、取得した画像データの撮影情報を解析する撮影情報解析手段と、画像データを解析して画像特徴量を求める画像解析手段と、写真補正を実行する際の制御情報を取得する写真補正制御情報取得手段と、写真補正制御情報と撮影情報解析結果と画像解析結果を用いて、マニュアル撮影された画像特性に関わる写真補正を行うか判定するマニュアル撮影補正処理判定手段とを有し、  マニュアル撮影補正処理判定結果と撮影情報解析結果と画像解析結果を用いて写真補正係数を求め、写真補正することを特徴とする画像処理装置とする。【選択図】  図２
2010124219.tif 000002
【特許請求の範囲】
【請求項１】
撮影時における撮影情報を含む画像データを１つもしくは複数取得する画像取得手段と、取得した画像データの撮影情報を解析する撮影情報解析手段と、画像データを解析して画像特徴量を求める画像解析手段と、写真補正を実行する際の制御情報を取得する写真補正制御情報取得手段と、写真補正制御情報と撮影情報解析結果と画像解析結果を用いて、マニュアル撮影された画像特性に関わる写真補正を行うか判定するマニュアル撮影補正処理判定手段とを有し、
マニュアル撮影補正処理判定結果と撮影情報解析結果と画像解析結果を用いて写真補正係数を求め、写真補正することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、前記写真補正制御情報手段は、写真補正制御情報として前記画像取得手段で取得された画像に対する自動写真補正設定と取得画像データの数を表すことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、前記マニュアル撮影補正処理判定手段は、前記写真補正制御情報と前記撮影情報解析結果と前記画像解析結果からマニュアル撮影と判定されて写真補正がされない場合に、マニュアル撮影であっても前記画像解析結果に応じて写真補正する判定を行うことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、マニュアル撮影であっても写真補正を行うと判定された前記取得画像では、マニュアル撮影ではないときにかかる写真補正量とは異なる補正量を与えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像出力装置の制御情報と撮影情報または画像処理を指定する情報を用いて画像データに対する画像処理を実行する画像処理技術に関する。
【背景技術】
【０００２】
ポートレート、夜景といった撮影シーンに応じた撮影モードを備えるディジタルスチルカメラ（ＤＳＣ）が実用化されている。これらＤＳＣでは、撮影モードが選択されると、シャッター速度、露出等の複数の撮影パラメータの値が選択された撮影モードに応じて予め設定された値に設定される。したがって、撮影者は、撮影パラメータを個別に設定する必要がなく、簡易に撮影シーンに応じた撮影条件にて被写体を撮影することができる。選択された撮影モードは、ＤＳＣのファイルフォーマット規格であるＥｘｉｆ２．２に準拠する画像データでは、シャッター速度、露出モード、光源等の他の撮影条件と共に画像データのヘッダ相当部に記述される。また、撮影されたデータは、ＤＳＣ内臓のメモリもしくは、ＤＳＣに接続された記録メディアに記録される。
【０００３】
ＤＳＣにて選択された撮影モード、撮影条件に応じて写真補正を行う写真補正処理装置における写真補正処理の条件を指定する写真補正処理制御情報を設定する。そして、設定された写真補正処理制御情報を画像データに関連付けて出力することにより、撮影者が選択した撮影モードに適した（撮影者の意図に沿った）写真補正処理結果をもたらす技術が実用化されている。（特許文献１参照）
なお、補正機能としては、カラーバランス補正、レベル補正、コントラスト補正などさまざまな機能がある。カラーバランス補正では画像データの持つ色立体を理想とする色立体に向けて変換することで非常に小さな処理負荷で補正する技術などが実用化されている。（特許文献２参照）
上述したような自動写真補正技術を搭載した写真補正処理装置には、アプリケーションソフトの補正機能の一つとして実現されているものもある。また、撮影画像の記録された記録メディアを複合機などの画像出力装置と接続し印刷する、一般に言うＣａｒｄＤｉｒｅｃｔＰｒｉｎｔ機能における写真補正として搭載されている場合もある。
【特許文献１】特開２００４−７０７１５号公報
【特許文献２】特開２０００−１３６２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮影モードを含む撮影情報がマニュアルモードを示す場合では、撮影者の意図に沿った写真補正処理結果が得られているとは言えないのが現状である。ここで述べるマニュアルモードとは、撮影モードだけでなく、シャッター速度、露出プログラム、ISOスピードレート、ホワイトバランスなどの撮影条件におけるマニュアル指定も含むものとする。
【０００５】
マニュアルモードで撮影された写真は、マニュアル設定された画像特性に関わる部分において、そのままの写真状態が撮影者の意図を表している可能性があり、下手に写真補正を行ってしまうと意図的に表現された画像を壊してしまう問題がある。そのため、撮影情報からマニュアルモードと判断した場合、マニュアル設定された画像特性に関わる写真補正処理を行わないのが一般的である。例えば、ホワイトバランスがマニュアルの場合、ホワイトバランスに関わる画像特性を補正するカラーバランス補正処理をOFFにする。
【０００６】
しかし、マニュアルモードは、撮影者が意図的に撮影を行った可能性は高いものの、意図していた写真が撮れていない可能性も高いモードであり、写真補正の対象となりやすい。だが、上述したように、現在の方法では、マニュアルモードで意図的に取った写真か、意図的に撮影したが失敗してしまった写真かの判断が困難なため写真補正は行われていない。そのため、たとえ写真補正装置の利用者が、明示的に1枚だけ画像を選択して写真補正を実行するように促しても、マニュアルモードの写真である限り写真補正が実行されない場合が出てくる。例えば、カラーバランス補正とレベル補正の機能を持つ写真補正装置をあげる。この場合、カラーバランス補正とレベル補正に関わる画像特性であるホワイトバランスと露光モードがマニュアル撮影の画像では、どんなに失敗した画像であっても写真補正を実行することができない。
【０００７】
この解決方法としては、撮影情報に対して細かく分岐条件を設定する方法か、複雑な画像解析を行い撮影者の意図的に撮影した画像か判定する方法が考えられるが、どちらも非常に大きな開発工数がかかる上に、高い判定精度が得られるわけでもないと考えられる。
【０００８】
そこで、本発明では、マニュアルモードで撮影された写真が意図的に撮影され成功した画像なのかを判定するのを目的としない。写真補正を行う際の画像出力装置の制御情報を用いることによって、撮影者の意図ではなく写真補正実行者の意図が、写真補正を望むのかどうかを判定し、写真補正を実行することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、請求項１に係る画像処理装置は、
撮影時における撮影情報を含む画像データを１つもしくは複数取得する画像取得手段と、取得した画像データの撮影情報を解析する撮影情報解析手段と、画像データを解析して画像特徴量を求める画像解析手段と、写真補正を実行する際の制御情報を取得する写真補正制御情報取得手段と、写真補正制御情報と撮影情報解析結果と画像解析結果を用いて、マニュアル撮影された画像特性に関わる写真補正を行うか判定するマニュアル撮影補正処理判定手段とを有し、
マニュアル撮影補正処理判定結果と撮影情報解析結果と画像解析結果を用いて写真補正係数を求め、写真補正することを特徴とする。
【発明の効果】
【００１０】
マニュアルモードで撮影された画像に対して、写真補正実行者の意図を汲んで、写真補正を実行することができる。
【発明を実施するための最良の形態】
【００１１】
次に、本発明の詳細を実施例の記述に従って説明する。
【実施例１】
【００１２】
本実施例では、撮影情報を含む画像データに対して写真補正を指示した場合、撮影情報がマニュアルモードであることを示していても、写真補正実行者の意図を汲んで、写真補正を実行して画像を出力する画像処理装置を開示する。
【００１３】
まず図１を参照して、全体の概要を説明することとする。なお、図１に示す各処理部は画像処理装置内のＣＰＵにより統括的に制御される。また、各処理部が行う処理内容を定義したプログラムは同じく画像処理装置内の記憶媒体（ＨＤＤやフラッシュメモリやＣＤ−ＲＯＭやＤＶＤ）に記憶可能な状態で保存されている。従って、ＣＰＵは、この記憶媒体に記憶されているプログラムを順次読み出すことにより、各処理部の処理内容を統括的に制御する。
【００１４】
＜図１の説明＞
ステップ１０１では、写真補正付きの出力装置の利用者が、所持する画像の中から出力したい画像を１枚、もしくは複数枚選択する。
【００１５】
ステップ１０２では、選択した画像に対して、写真補正制御情報の設定を行う。写真補正制御情報は、出力装置の利用者が選択画像に対して自動写真補正行うかの設定情報と、選択された画像枚数などの出力設定情報を指すものとする。このとき自動写真補正の設定は選択した画像ごとに設定するのではなく、選択画像全体に一括して設定されるものとする。また、自動写真補正は単機能の補正機能を指す名称ではなく、条件に応じて、カラーバランス補正、レベル補正、コントラスト補正、明度調整、顔明るく補正など装置に搭載されている複数の写真補正機能を適時自動実行する機能である。
【００１６】
ステップ１０３では、自動写真補正がONかどうか判定する。OFFの場合には、ステップ１０６へ移行して、画像データに対して写真補正を行わずに通常出力する。ONの場合には、ステップ１０４に移行する。
【００１７】
ステップ１０４では、ステップ１０１で選択された画像に対して画像解析を行い、その画像解析結果とステップ１０２で設定された写真補正制御情報から、マニュアル撮影された画像特性に関わる写真補正を行うかどうかの判定を行う。マニュアル撮影された画像特性に関わる写真補正は行わないと判定された場合、ステップ１０７に移行して、従来通りの写真補正出力処理を実行する。マニュアル撮影された画像特性に関わる写真補正を行うと判定した場合は、ステップ１０５に移行して、マニュアル撮影された画像特性であっても写真補正出力処理を行う。
【００１８】
なお、ステップ１０５とステップ１０７が示す写真補正出力処理の持つ補正機能のアルゴリズムは同一のものである。異なる部分は、マニュアル撮影された画像特性に対して、補正処理をマスクしないところにある。また、このとき補正係数を通常時とは異なるものとしてもよいものとする。それから、以下では、説明をわかりやすくするため、写真補正出力装置の持つ補正機能は、カラーバランス補正機能と、レベル補正機能のみとして説明していくこととする。
【００１９】
＜図２の説明＞
図２は、図１のステップ１０４Manual撮影補正判定処理についての詳細説明を記載したフローチャートである。この画像処理装置は、画像処理装置内のＣＰＵにより統括的に制御される。
【００２０】
従って、各ステップの処理はＣＰＵが実行する。
【００２１】
ステップ２０１では、判定処理におけるデータの初期化を行っている。iは画像のカウント数を示し、Manual補正_flagはマニュアル撮影された画像特性に対して補正処理を行うかどうかを示すフラグである。
【００２２】
ステップ２０２では、Manual補正_flagがONか判定する。OFFの場合には、Manual撮影補正判定処理を終了して、写真補正出力処理へ移行する。ONの場合には、ステップ２０３へ移行する。
【００２３】
ステップ２０３では、画像カウンターiの示す画像データXiの取得を行う。
【００２４】
ステップ２０４では、画像データに付加されているExifTagと呼ばれる撮影情報を抽出して、撮影情報の解析を行う。ここでは、説明をわかりやすくするため、ホワイトバランスと露出モードのみで説明していくこととする。
●画像Xi  撮影情報解析結果
ホワイトバランス：マニュアル
露出モード：オート
ステップ２０５では、画像データXiの画像解析を行う。解析方法に指定はないが、ここでは次の方法で行うものとする。
【００２５】
まず、画像を輝度成分と色差成分に分解し、輝度ヒストグラムを作成していく。そして、高輝度側、低輝度側それぞれからの累積度数値がそれぞれ所定の度数に達する輝度位置（輝度値）を白位置（ハイライトポイント）、黒位置（シャドーポイント）として求める。こうして白位置と判断された輝度値を有する画素データの色差の平均値と、黒位置と判断された輝度値を有する画素データの色差の平均値とを計算し、色空間上でそれら２点を結んだ直線を画像の色立体軸（グレーライン）と判断する。
【００２６】
グレーラインの理想状態は輝度軸と重なることであることから、グレーラインと輝度軸の傾きを求め、この傾きと黒位置と白位置から、カラーバランス補正とレベル補正を実行するか決定する。
●画像Xi  画像解析結果
カラーバランス補正：ON
レベル補正：OFF
ステップ２０６では、ステップ２０４で求めた撮影情報解析結果とステップ２０５で求めた画像解析結果から、マニュアル撮影された画像特性に対して補正をかけるかどうか求める。
【００２７】
搭載補正機能  撮影情報解析＋画像解析結果＝ON/OFF
カラーバランス補正：マニュアル＋ON＝OFF
レベル補正：オート＋OFF＝OFF
従来の方法では、上記のような場合、搭載されている補正機能が全てOFFになってしまう。そのため、写真補正実行者が写真補正をかけたいとしても常にOFFになってしまい、自動写真補正OFFで実行した場合と出力結果が変わらないことになる。そこで、このように自動写真補正OFFと出力結果が変わらない場合、Manual補正_flagをONにする。また、何らかの写真補正がかかる場合は、Manual補正_flagをOFFにする。
【００２８】
ステップ２０７では、画像カウンターiを進める。
【００２９】
ステップ２０８では、選択画像枚数Nと画像カウンターiが等しいか判定する。等しくない場合にはステップ２０２へ移行して次の選択画像に対して解析を行っていく。等しい場合には、写真補正出力処理へ移行する。
【００３０】
＜図３の説明＞
図３は、図１のステップ１０６通常出力処理についての詳細説明を記載したフローチャートである。ステップ１０１で選択した画像をすべて記憶手段に出力するようにしている。以下では、図１、図２にはない処理のみ説明することとする。
【００３１】
ステップ３０１では、画像カウンターiを初期化している。
【００３２】
ステップ３０２では、ステップ２０３で取得した画像データを記憶手段に出力している。この記憶手段が４色トナーを持つカラープリンターによる紙媒体へのカラー印刷をさす場合について以下に簡単に説明する。まず、画像データはRed,Green,Blueの強度で表されるデータであり、各成分が8bit(256階調)の表現力を持つとする。そして、RGBデータをCyan,Magenta,Yellow,Blackの濃度値で表されるCMYKデータに変換する変換テーブルを用意する。この参照することで、RGBで表現された画像データをCMYKデータに変換する。さらに、プリンターは１ドットで表現できる階調数が少ないので、ディザ処理をかけることで１ドットの階調数を落とし、面積内での階調表現を行う。プリンターが表現できるドットパターン情報になったので、これをプリンターに渡して紙媒体に出力する。
【００３３】
＜図４の説明＞
図４は、図１のステップ１０５とステップ１０７の写真補正出力処理についての詳細説明を記載したフローチャートである。以下では、図１、図２、図３にはない処理のみ説明することとする。
【００３４】
ステップ４０１では、ステップ２０５の画像解析結果を元に、補正量を計算する。図２のステップ２０６で求めたManual補正_flagがON/OFFに応じて、ステップ２０４の撮影情報解析結果がマニュアルであることを示していても補正を行うこととする。
【００３５】
具体例を示すと、撮影情報解析結果がマニュアルであっても、Manual補正_flagのON/OFFに応じて、次のように写真補正機能のON/OFFが切り替わる。
●Manual補正_flag＝OFF
搭載補正機能  撮影情報解析＋画像解析結果＝ON/OFF
カラーバランス補正：マニュアル＋ON＝OFF
レベル補正：オート＋OFF＝OFF
●Manual補正_flag＝ON
搭載補正機能  撮影情報解析＋画像解析結果＝ON/OFF
カラーバランス補正：マニュアル＋ON＝ON
レベル補正：オート＋OFF＝OFF
補正量の計算は、例えば次のような方法がある。カラーバランス補正であれば、画像データの色立体軸と輝度軸の内積計算から、色立体軸が輝度軸からどの程度傾いているのか求めることができる。また、原点座標と黒位置の座標からどの程度黒位置が原点座標からズレているのか求めることができる。そして、傾きとズレ量から画像データの色立体軸を理想的な色立体軸に合わせる変換行列式を求めることができる。それから、レベル補正であれば、白位置の輝度データと黒位置の輝度データの間隔が輝度データの最大表現範囲になるようにする。つまり、輝度データの取り得る値が0〜255ならば、白位置の輝度データが255、黒位置の輝度データが0になるように変換式を作成する。
【００３６】
ステップ４０２では、ステップ４０１で求めた補正量を元に補正処理を実行する。変換方法については、すでに上述した通りであり、ここでは、画像データの持つ色立体軸を理想的な色立体軸に乗せ、輝度のダイナミックレンジを最大限利用するとしている。
【００３７】
以上で、図４の説明は終わりである。
【００３８】
ただ、ステップ４０１では、Manual補正_flagのON/OFFに応じて、単に写真補正機能のON/OFFを切り替えるとしたが、それだけでなくマニュアル撮影であっても補正したいと判断していることから、通常とは違う補正量に調整してもよい。
【００３９】
また、本実施例では、搭載補正機能をカラーバランス補正とレベル補正に限定して説明したが、本発明はこれに限定されるものではない。コントラスト補正や顔明るく補正、明度補正など様々な補正機能において、撮影情報がマニュアルを示す場合にその補正機能をOFFとするならば、同様にManual補正_flagのON/OFF切替の判定条件に加えていくものとする。
【００４０】
また、図１、図４でのフローからわかるように、本実施例では、同じ画像に対して重複して撮影情報解析や画像解析を行うこととしていた。しかし、図１で撮影情報解析結果と画像解析結果をメモリに一時記憶しておき、図４ではその結果情報を呼び出して利用するのであれば、結果情報の記憶してある画像データにおいては、図４のフローでは撮影情報解析と画像解析を行う必要はないものとする。
【００４１】
以上より、マニュアルモードで撮影された画像に対して、写真補正実行者の意図を汲んで、写真補正を実行することができる。
【００４２】
＜その他の実施例＞
本発明の目的は、上述した各処理を実現するプログラムコードを記憶した記憶媒体から、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が、そのプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになる。そのため、このプログラムコード及びプログラムコードを格納したコンピュータ読取り可能な記憶媒体も本発明の一つを構成することになる。
【００４３】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＨＤＤ、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００４４】
またコンピュータが読み出したプログラムコードを実行することにより、その実行によって上述した実施形態の機能が実現される場合も本発明の一つを構成することになる。
【図面の簡単な説明】
【００４５】
【図１】マニュアルモードで撮影された画像に対して、写真補正実行者の意図を汲んで、写真補正を実行する画像処理装置を表す図
【図２】マニュアルモードで撮影された画像に対して、写真補正を実行するかどうか判定するフローチャートを表す図
【図３】通常出力処理のフローチャートを表す図
【図４】写真補正出力処理のフローチャートを表す図
【図１】
2010124219.tif 000003
【図２】
2010124219.tif 000004
【図３】
2010124219.tif 000005
【図４】
2010124219.tif 000006