(57)【特許請求の範囲】
【請求項１】
コンピュータに、
処理対象の画像を取得する取得ステップと、
予め定められた複数のイメージ表示のそれぞれについて、配色を含む色情報が予め対応づけられたテーブルに基づいて、前記処理対象の画像全体における配色を解析する解析ステップと、
前記解析ステップによる解析結果と前記テーブルとに基づいて、予め定められた複数のイメージ表示から、前記処理対象の画像のイメージを表す少なくとも１つのイメージ表示を抽出する抽出ステップと、
前記抽出ステップにおいて抽出した前記イメージ表示の画像処理に対する寄与度を指定する指定ステップと、
前記抽出ステップにおいて抽出した前記イメージ表示に対応づけられた前記色情報に基づいて、前記処理対象の画像から処理対象とする画素を抽出し、抽出した画素を対象として、前記指定ステップによる指定に基づく画像処理を行う画像処理ステップと
を実行させることを特徴とする画像処理プログラム。
【請求項２】
請求項１に記載の画像処理プログラムにおいて、
前記解析ステップでは、前記テーブルに基づいて、前記処理対象の画像全体における各イメージ表示の頻度を求め、求めた前記頻度に応じて、前記処理対象の画像全体における配色を解析する
ことを特徴とする画像処理プログラム。
【請求項３】
請求項１または請求項２に記載の画像処理プログラムにおいて、
前記画像処理ステップでは、前記解析により求められた前記色情報に応じた前記画像処理を行う
ことを特徴とする画像処理プログラム。
【請求項４】
請求項１に記載の画像処理プログラムにおいて、
前記指定ステップは、前記抽出ステップにおいて抽出した前記イメージ表示のうち、前記画像処理に寄与させるイメージ表示を選択する選択ステップと、前記抽出ステップにおいて抽出した前記イメージ表示ごとに前記画像処理における寄与の程度を決定する決定ステップとの少なくとも一方を有する
ことを特徴とする画像処理プログラム。
【請求項５】
請求項１に記載の画像処理プログラムにおいて、
前記画像処理ステップでは、少なくとも彩度補正を含む前記画像処理を行う
ことを特徴とする画像処理プログラム。
【請求項６】
処理対象の画像を取得する取得手順と、
予め定められた複数のイメージ表示のそれぞれについて、配色を含む色情報が予め対応づけられたテーブルに基づいて、前記処理対象の画像全体における配色を解析する解析手順と、
前記解析手順による解析結果と前記テーブルとに基づいて、予め定められた複数のイメージ表示から、前記処理対象の画像のイメージを表す少なくとも１つのイメージ表示を抽出する抽出手順と、
前記抽出手順において抽出した前記イメージ表示の画像処理に対する寄与度を指定する指定手順と、
前記抽出手順において抽出した前記イメージ表示に対応づけられた前記色情報に基づいて、前記画像から処理対象とする画素を抽出し、抽出した画素を対象として、前記指定手順による指定に基づく画像処理を行う画像処理手順と
をコンピュータに実行させることを特徴とする画像処理方法。
【請求項７】
請求項６に記載の画像処理方法において、
前記解析手順では、前記テーブルに基づいて、前記処理対象の画像全体における各イメージ表示の頻度を求め、求めた前記頻度に応じて、前記処理対象の画像全体における配色を解析する
ことを特徴とする画像処理方法。
【請求項８】
請求項６または請求項７に記載の画像処理方法において、
前記画像処理手順では、前記解析により求められた前記色情報に応じた前記画像処理を行う
ことを特徴とする画像処理方法。
【請求項９】
請求項６に記載の画像処理方法において、
前記指定手順は、前記抽出手順において抽出した前記イメージ表示のうち、前記画像処理に寄与させるイメージ表示を選択する選択手順と、前記抽出手順において抽出した前記イメージ表示ごとに前記画像処理における寄与の程度を決定する決定手順との少なくとも一方を有する
ことを特徴とする画像処理方法。
【請求項１０】
請求項６に記載の画像処理方法において、
前記画像処理手順では、少なくとも彩度補正を含む前記画像処理を行う
ことを特徴とする画像処理方法。
【請求項１１】
被写体像を撮像して画像を生成する撮像部と、
予め定められた複数のイメージ表示のそれぞれについて、配色を含む色情報が予め対応づけられたテーブルに基づいて、前記画像全体における配色を解析する解析部と、
前記解析部による解析結果と前記テーブルとに基づいて、予め定められた複数のイメージ表示から、前記画像のイメージを表す少なくとも１つのイメージ表示を抽出する抽出部と、
前記抽出部により抽出した前記イメージ表示の画像処理に対する寄与度を指定する指定部と、
前記抽出部により抽出した前記イメージ表示に対応づけられた前記色情報に基づいて、前記画像から処理対象とする画素を抽出し、抽出した画素を対象として、前記指定部による指定に基づく画像処理を行う画像処理部と
を備えることを特徴とする電子カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、処理対象の画像に対する画像処理をコンピュータで実現するための画像処理プログラム、処理対象の画像に対する画像処理を行う画像処理方法、および、撮像により生成した画像に対する画像処理を行う電子カメラに関する。
【背景技術】
【０００２】
従来より、処理対象の画像に応じた画像処理を行う様々な技術が考えられている。例えば、特許文献１の発明では、画像処理効果を感覚的に表現した感性語を用いて、感性語に対応した画像処理を行う。このような感性語を用いることにより、ユーザがわかりやすく操作できる画像処理装置を実現している。
【特許文献１】特開２００６−９３７５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１の発明において使用されている感性語は、「明るさ」、「コントラスト」、「白飛び、黒潰れ（飽和度）」、「優先順位」など、画像処理結果の仕上がり具合いに対する主観的印象を表現する語句である。そのため、これらの感性語は画質の評価言語に近い性質を有する。また、特許文献１の発明では、画像の一部の領域に対して局所的な画像処理を行う。したがって、画像全体についての情緒的な印象に応じた画像処理を行うことができる訳ではない。
【０００４】
本発明は、画像全体についての情緒的な印象に応じた画像処理を簡単かつ適切に実現可能とすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の画像処理プログラムは、処理対象の画像に対する画像処理をコンピュータで実現するための画像処理プログラムであって、前記処理対象の画像を取得する取得ステップと、前記処理対象の画像全体における配色を解析する解析ステップと、前記解析ステップによる解析結果に基づいて、予め定められた複数のイメージ表示から、前記処理対象の画像のイメージを表す少なくとも１つのイメージ表示を抽出する抽出ステップと、前記抽出ステップにおいて抽出した前記イメージ表示の前記画像処理に対する寄与度を指定する指定ステップと、前記指定ステップによる指定に基づいて、前記処理対象の画像に対する画像処理を行う画像処理ステップとをコンピュータで実現することを特徴とする。
【０００６】
なお、好ましくは、前記解析ステップおよび前記抽出ステップでは、前記予め定められた複数のイメージ表示のそれぞれについて、前記配色を含む色情報が予め対応づけられたテーブルに基づいて、前記配色の解析および前記イメージ表示の抽出を行っても良い。
【０００７】
また、好ましくは、前記画像処理ステップでは、前記解析により求められた前記色情報に応じた前記画像処理を行っても良い。
【０００８】
また、好ましくは、前記指定ステップは、前記抽出ステップにおいて抽出した前記イメージ表示のうち、前記画像処理に寄与させるイメージ表示を選択する選択ステップと、前記抽出ステップにおいて抽出した前記イメージ表示ごとに前記画像処理における寄与の程度を決定する決定ステップとの少なくとも一方を有しても良い。
【０００９】
また、好ましくは、前記画像処理ステップでは、少なくとも彩度補正を含む前記画像処理を行っても良い。
【００１０】
また、上記発明に関する構成を、処理対象の画像に対する画像処理を行う画像処理方法、および、撮像により生成した画像に対する画像処理を行う電子カメラに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【００１１】
本発明によれば、画像全体についての情緒的な印象に応じた画像処理を簡単かつ適切に実現可能とすることができる。
【発明を実施するための最良の形態】
【００１２】
＜第１実施形態＞
以下、図面を用いて本発明の第１実施形態について説明する。第１実施形態では、図１のブロック図に示すコンピュータを例に挙げて説明する。
【００１３】
コンピュータ１は、図１に示すように、画像解析部１０、画像処理部１１、操作部１２、表示部１３、記録部１４、通信部１５の各部を備えるとともに、各部を制御する制御部１６を備える。また、コンピュータ１は、後述するイメージカラーテーブルを予め記憶するテーブル記憶部１７を備える。画像解析部１０および画像処理部１１の詳細は後述する。操作部１２は、キーボードやマウスなどの操作用機器を備え、ユーザからの指示を受け付ける。操作部１２の操作状態は、制御部１６により検知される。表示部１３は、液晶モニタ等の表示機器を備え、各種画像やメニュー画面などを表示する。記録部１４は、画像をはじめとする各種データを記録する。通信部１５は、有線または無線によりコンピュータ１の外部と接続し、各種データの授受を行う。
【００１４】
次に、テーブル記憶部１７について説明する。表１は、テーブル記憶部１７に記憶されるイメージカラーテーブルの一例である。
【００１５】
【表１】
0005124312.tif 000002
イメージカラーテーブルには、色情報とイメージ語（イメージ表示）ＩＤとが予め対応づけて記憶される。色情報は、表１の例では、Ｒ値，Ｇ値，Ｂ値からなる色情報である。表１の例では、２５６階調である場合の例を示し、２５６3通りの色情報のそれぞれにイメージ語ＩＤ（イメージ表示ＩＤ）が対応づけられている。なお、色情報の数は、必ずしも階調数および色の数の全ての組み合わせである必要はない。例えば、階調に適宜幅を持たせて、組み合わせの数を減らしても良い。また、色情報はＲＧＢ形式以外の形式であっても良い。
【００１６】
また、イメージ語ＩＤとは、予め用意された複数のイメージ語についての識別番号である。表１の例では、１〜Ｎの識別番号に、表２に示すイメージ語がそれぞれ対応づけられている。
【００１７】
【表２】
0005124312.tif 000003
イメージ語とは、画像についての情緒的な印象を示す抽象的概念のキーワードであり、表２に示すように、「鮮やかな」、「爽やかな」、「清潔な」、「フレッシュな」などがある。これらのイメージ語は、色情報と結びつく性質を有する。そして、これらのイメージ語は、予め複数（例えば、Ｎ＝３０〜５０程度）用意され、それぞれが上述した色情報と応づけられる。例えば、表１において、（Ｒ値，Ｇ値，Ｂ値）＝（６０，１２０，１８０）の色情報には、イメージ語ＩＤ＝２（「爽やかな」）およびイメージ語ＩＤ＝Ｎ（「フレッシュな」）について、「１」が記憶されている。これは、（Ｒ値，Ｇ値，Ｂ値）＝（６０，１２０，１８０）の色情報が、イメージ語として「爽やかな」および「フレッシュな」に対応づけられている（関連がある）ことを意味する。逆に、「０」が記憶されているイメージ語については、その色情報が対応づけられていない（関連がない）ことを意味する。また、表１に示すように、色情報とイメージ語とは１対１対応ではなく、ある色情報に１以上のイメージ語が対応づけられる。
【００１８】
テーブル記憶部１７は、上述したイメージカラーテーブルを予め記憶する。なお、このイメージカラーテーブルは、ユーザ操作に基づいて、適宜更新可能とするのが好ましい。
【００１９】
次に、イメージ語を用いた画像処理の詳細について、図２に示すフローチャートを用いて説明する。
【００２０】
ステップＳ１において、制御部１６は、処理対象の画像を取得する。処理対象の画像は、記録部１４に記録された画像でも良いし、通信部１５を介してコンピュータ１の外部から取得した画像でも良い。
【００２１】
ステップＳ２において、制御部１６は、画像解析部１０を制御して、イメージ語の候補を抽出する。画像解析部１０は、テーブル記憶部１７に記憶されたイメージカラーテーブルを参照して、処理対象の画像を構成する画素ごとに、その画素の色情報に対応するイメージ語ＩＤを抽出する。そして、画像解析部１０は、全ての画素において抽出した各イメージ語ＩＤの頻度をヒストグラム化する。このヒストグラムは、処理対象の画像全体の情報が反映されたものであり、画像解析部１０は、このヒストグラムにおける頻度が一定の閾値を超えるイメージ語ＩＤに対応するイメージ語をイメージ語の候補として抽出する。なお、閾値は、イメージ語ごとに定められても良いし、共通の閾値を用いても良い。また、イメージ語の候補として抽出するイメージ語の数は、例えば、５〜６個程度である。このようにしてイメージ語の候補を抽出することにより、色情報の含有率に基づいた適切なイメージ語の抽出が可能である。
【００２２】
ステップＳ３において、制御部１６は、表示部１３を制御して、イメージ語の候補を表示する。図３に表示の一例を示す。制御部１６は、図３に示すように、ステップＳ２で抽出したイメージ語の候補を表示部１３に表示する。
【００２３】
ステップＳ４において、制御部１６は、操作部１２を介して、イメージ語の選択を受け付ける。制御部１６は、例えば、図３に示すように、「相応しいイメージ語を選択してください。」をいうメッセージを表示部１３に表示し、操作部１２を介したユーザによる選択を受け付ける。このような選択のステップを設けることにより、ステップＳ２において相応しくないイメージ語を候補として抽出してしまった場合でも、そのイメージ語を排除することができる。
【００２４】
なお、ステップＳ４においては、複数の候補の中から複数のイメージ語を選択可能とする。ただし、反意イメージ語の組み合わせ（例えば、「古い」と「新しい」など）を選択することは禁止するものとする。
【００２５】
ステップＳ５において、制御部１６は、操作部１２を介して、画像処理の程度を受け付ける。制御部１６は、例えば、図４に示すように、「画像処理への寄与の程度を指定してください。」をいうメッセージを表示部１３に表示し、操作部１２を介したユーザによる指定を受け付ける。指定は、ステップＳ４でユーザが選択したイメージ語ごとに行われる。このような指定のステップを設けることにより、ステップＳ４においてユーザが選択したイメージ語に重みをつけて画像処理に寄与させることができる。
【００２６】
ステップＳ６において、制御部１６は、画像処理実行が指示されたか否かを判定する。制御部１６は、例えば、図４においてＯＫボタンが選択されると、画像処理実行が指示されたと判定してステップＳ７に進み、画像処理実行が指示されていないと判定するとステップＳ４に戻る。
【００２７】
ステップＳ７において、制御部１６は、画像処理部１１を制御して、画像処理を実行する。画像処理部１１は、ステップＳ１で取得した処理対象の画像に対して、ステップＳ４で選択されたイメージ語と、それぞれのイメージ語についてステップＳ５で指定された程度とに基づいて画像処理を行う。具体的には、画像処理部１１は、テーブル記憶部１７に記憶されたイメージカラーテーブルを参照し、ステップＳ４で選択されたイメージ語に対応づけられた色情報を有する画素を抽出する。そして、抽出した画素を対象として、ステップＳ５で指定された程度に応じて彩度を補正する。なお、彩度を補正する際には、公知技術と同様に、該当画素の画素値をＲＧＢ形式からＨＳＶ形式に変換し、彩度成分（Ｓ）を増減させることにより補正を行った後に、再びＲＧＢ形式に逆変換して元の画素値と置き換える。このような置き換えにより、ステップＳ４で選択されたイメージ語に対応づけられた色情報を、印象がより強く、かつ、類似した色と置き換える場合と同等の効果を得ることができる。なお、彩度成分の増減により上限値または下限値に達する場合には、上限値または下限値に置き換えても良い。また、彩度以外の要素に関する画像処理を同様に行っても良い。
【００２８】
ステップＳ８において、制御部１６は、表示部１３を制御して、画像処理後の画像を表示する。なお、画像処理後の画像とともに画像処理前の画像を表示しても良い。このような表示を行うことにより、ユーザは、画像処理前後の画像を比較して確認することができる。また、ユーザの要望に応じて、ステップＳ４で説明したイメージ語の選択ステップやステップＳ５で説明した程度の指定ステップに戻る構成としても良い。
【００２９】
ステップＳ９において、制御部１６は、画像処理後の画像を記録部１４に記録して一連の処理を終了する。
【００３０】
以上説明したように、第１実施形態によれば、処理対象の画像を取得し、取得した処理対象の画像全体における配色を解析する。そして、解析結果に基づいて、予め定められた複数のイメージ語（イメージ表示）から、処理対象の画像のイメージを表す少なくとも１つのイメージ語を抽出する。さらに、抽出したイメージ語の画像処理に対する寄与度を指定し、指定に基づいて、処理対象の画像に対する画像処理を行う。したがって、画像全体についての情緒的な印象に応じた画像処理を簡単かつ適切に実現可能とすることができる。
【００３１】
また、第１実施形態によれば、上述したテーブルに基づいて、色情報に応じた画像処理を行う。したがって、イメージ語（イメージ表示）の抽出および画像処理を同一のテーブルに基づいて行うことにより、全体として矛盾のない、調和の取れた処理を行うことができる。
【００３２】
また、第１実施形態によれば、上述した指定は、抽出したイメージ語（イメージ表示）のうち、画像処理に寄与させるイメージ語を選択することと、抽出したイメージ語ごとに画像処理における寄与の程度を決定することとにより実現する。したがって、イメージ語の誤検出および誤検出に伴う誤補正（不適切な画像処理）の問題を回避することができるとともに、ユーザの好みに応じた画像処理を実現することができる。また、色情報に応じた適切な画像処理を行うことにより、処理対象の画像が有する色に関する特性だけを伸縮して、自然な画像処理を実現することができる。また、寄与の程度を弱める側にも指定可能とすることにより、強調するのみならず、必要に応じて抑えることにより表現を落ち着かせる画像処理も可能となる。
【００３３】
なお、第１実施形態で説明したイメージ語（イメージ表示）は一例であり、本発明はこれらの例に限定されない。画像についての情緒的な印象を示す抽象的概念のキーワードであれば、どのようなキーワードでもイメージ語として利用することができる。例えば、「赤っぽい」や「青みがかった」など、色に関するキーワードであっても良いし、「アメリカ的な」や「アフリカ的な」など、地理的、民族的なキーワードであっても良い。
【００３４】
また、第１実施形態において、表１および表２で説明したイメージカラーテーブルは、一例であり、本発明はこの例に限定されない。表１の例では、イメージ語ＩＤごとに「１」または「０」が対応づけて記憶されている例を示したが、例えば、０〜５というように適宜重みをつけた値を記憶する構成としても良い。
【００３５】
＜第２実施形態＞
以下、図面を用いて本発明の第２実施形態について説明する。第２実施形態では、図５のブロック図に示す電子カメラを例に挙げて説明する。また、第２実施形態では、第１実施形態と異なる部分についてのみ説明する。
【００３６】
電子カメラ１００は、図５に示すように、撮像部１０１、画像解析部１１０、画像処理部１１１、操作部１１２、表示部１１３、記録部１１４、通信部１１５の各部を備えるとともに、各部を制御する制御部１１６を備える。また、電子カメラ１００は、第１実施形態で説明したイメージカラーテーブルと同様のイメージカラーテーブルを予め記憶するテーブル記憶部１１７を備える。撮像部１０１は、不図示の撮影レンズ、撮像素子、Ａ／Ｄ変換部などを備え、被写体像を撮像して画像を生成する。画像解析部１１０および画像処理部１１１は、第１実施形態の画像解析部１０および画像処理部１１と同様である。操作部１１２は、レリーズボタンや選択ボタンなどの操作用機器を備え、ユーザからの指示を受け付ける。操作部１１２の操作状態は、制御部１１６により検知される。表示部１１３は、液晶モニタ等の表示機器を備え、各種画像やメニュー画面などを表示する。また、表示部１１３は、構図確認用のスルー画像を表示することにより、ビューファインダーとして利用されても良い。記録部１１４は、不図示のメモリカードなどを備え、画像をはじめとする各種データを記録する。通信部１１５は、有線または無線により電子カメラ１００の外部と接続し、各種データの授受を行う。
【００３７】
以上説明した構成の電子カメラ１００において、制御部１１６は、第１実施形態の図２で説明したフローチャートと同様の処理を行う。第２実施形態において処理対象の画像となり得るのは、撮像部１０１により生成された画像と、記録部１１４に記録された画像と、通信部１１５を介して電子カメラ１００の外部から取得した画像との何れかである。
【００３８】
なお、撮像部１０１により生成される画像には、いわゆるＲＡＷ形式の画像やＪＰＥＧ形式の画像が含まれる。何れの形式の画像も処理対象の画像となり得るが、処理対象の画像としてより好ましいのは、いわゆるＲＡＷ形式の画像である。
【００３９】
以上説明したように、第２実施形態によれば、被写体像を撮像して画像を生成し、生成した画像全体における配色を解析する。そして、解析結果に基づいて、予め定められた複数のイメージ語（イメージ表示）から、生成した画像のイメージを表す少なくとも１つのイメージ語を抽出する。さらに、抽出したイメージ語の画像処理に対する寄与度を指定し、指定に基づいて、画像に対する画像処理を行う。したがって、電子カメラにおいても第１実施形態と同様の効果を得ることができる。
【００４０】
また、上記した各実施形態では、画像処理後の画像を記録して一連の処理を終了する例を示したが、画像処理後の画像は、画像処理後に出力される際に有用である。例えば、本発明の技術をプリンター、オンラインプリントサービス等の出力機器、出力サービスに適用する場合には、画像処理後の画像を適宜印刷することにより好適な印刷出力を実現することができる。また、印刷する場合に限らず、画像処理後の画像をデジタルカメラや携帯電話などの表示器に表示することにより好適な表示出力を実現することができる。
【図面の簡単な説明】
【００４１】
【図１】第１実施形態のコンピュータ１の構成を示すブロック図である。
【図２】第１実施形態のコンピュータ１の動作を示すフローチャートである。
【図３】表示の一例を示す図である。
【図４】表示の例を示す別の図である。
【図５】第２実施形態の電子カメラ１００の構成を示すブロック図である。
【符号の説明】
【００４２】
１…コンピュータ，１０…画像解析部，１１…画像処理部，１２…操作部，１３…表示部，１４…記録部，１５…通信部，１６…制御部，１７…テーブル記憶部
【図１】
0005124312.tif 000004
【図２】
0005124312.tif 000005
【図３】
0005124312.tif 000006
【図４】
0005124312.tif 000007
【図５】
0005124312.tif 000008