【手続補正書】
【提出日】平成16年11月11日(2004.11.11)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の画素からなる実写画像の画像データを入力し、各画素の画像データを変換する画像処理装置であって、
前記画像データを変換する対応関係を複数保持する第１保持手段と、
画像処理の適用対象とされる色に関する色関係情報を、画像処理の内容を表わす処理内容情報と関連付けて保持する第２保持手段と、
前記入力された画像データに対応する画素が画像処理の適用対象であるか否かを、前記色関係情報を参照して判定する適用対象判定手段と、
前記画素が画像処理の適用対象であると判定された場合に、前記参照した色関係情報に関連付けられた処理内容情報を参照して、前記複数の対応関係のうちから、画像処理の内容を実現する前記対応関係を特定する対応関係特定手段と、
該対応関係の特定が行なわれた画素については、該特定した対応関係を参照して、当該画素の画像データを変換する画像データ変換手段と
を備えた画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記第２保持手段は、色関係情報および処理内容情報の組を、複数保持する手段であり、
前記適用対象判定手段は、前記複数の各色関係情報を参照して、前記判定を行なう手段であり、
前記対応関係特定手段は、前記参照した複数の各色関係情報に関連付けられた処理内容情報を参照して、複数種類の画像処理の内容のそれぞれを実現する前記対応関係の特定を行なう手段である
画像処理装置。
【請求項３】
前記第１保持手段は、前記対応関係を、トーンカーブの形態で保持する請求項１または２に記載の画像処理装置。
【請求項４】
前記第１保持手段は、前記対応関係を、変換元の画像データと変換後の画像データの対応関係を表わした色変換テーブルの形態で保持する請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
前記第１保持手段は、前記複数の対応関係を、一の対応関係と該対応関係を適用する度合いを変化させることによって生成される他の対応関係として保持する請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記第２保持手段は、使用者の操作によって入力された前記色関係情報および前記処理内容情報を保持する手段である請求項１ないし５のいずれかに記載の画像処理装置。
【請求項７】
前記第１保持手段は、前記対応関係として、前記画像データに基づいて明るさを変化させる関係を保持する請求項１ないし６のいずれかに記載の画像処理装置。
【請求項８】
前記第１保持手段は、前記対応関係として、前記画像データに基づいて色の鮮やかさを変化させる関係を保持する請求項１ないし７のいずれかに記載の画像処理装置。
【請求項９】
複数の画素からなる実写画像の画像データを入力し、各画素の画像データを変換する方法であって、
前記画像データを変換する対応関係を複数保持すると共に、画像処理の適用対象とされる色に関する色関係情報を、画像処理の内容を表わす処理内容情報と関連付けて保持し、
前記入力された画像データに対応する画素が画像処理の適用対象であるか否かを、前記色関係情報を参照して判定し、
前記画素が画像処理の適用対象であると判定された場合に、前記参照した色関係情報に関連付けられた処理内容情報を参照して、前記複数の対応関係のうちから、画像処理の内容を実現する前記対応関係を特定し、
該対応関係の特定が行なわれた画素については、該特定した対応関係を参照して、当該画素の画像データを変換する
画像処理方法。
【請求項１０】
複数の画素からなる実写画像の画像データを変換するプログラムを、コンピュータに読み取り可能に記録した記録媒体であって、
前記入力された画像データに対応する画素が画像処理の適用対象であるか否かを、画像処理の適用対象とされる色に関する色関係情報を参照して判定する機能と、
前記画素が画像処理の適用対象であると判定された場合に、前記参照した色関係情報に関連付けられた、画像処理の内容を表わす処理内容情報を参照して、前記複数の対応関係のうちから、画像処理の内容を実現する前記対応関係を特定する機能と、
該対応関係の特定が行なわれた画素については、該特定した対応関係を参照して、当該画素の画像データを変換する機能と
を記録した記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
【従来の技術】
デジタル写真画像のような実写の画像データに対して各種の画像処理が行われている。例えば、コントラストを拡大するとか、色度を補正するとか、明るさを補正するといった画像処理である。これらの画像処理は、各画素の画像データを所定の対応関係となるように変換して行われる。色度を補正する例では、色変換テーブルを用意しておき、変換元の画像データを入力データとして同色変換テーブルを参照して出力データを生成する。これにより、肌色補正であれば画像の肌色部分が鮮やかになったりする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像処理装置は、複数の画素からなる実写画像の画像データを入力し、各画素の画像データを変換する画像処理装置であって、  前記画像データを変換する対応関係を複数保持する第１保持手段と、画像処理の適用対象とされる色に関する色関係情報を、画像処理の内容を表わす処理内容情報と関連付けて保持する第２保持手段と、前記入力された画像データに対応する画素が画像処理の適用対象であるか否かを、前記色関係情報を参照して判定する適用対象判定手段と、前記画素が画像処理の適用対象であると判定された場合に、前記参照した色関係情報に関連付けられた処理内容情報を参照して、前記複数の対応関係のうちから、画像処理の内容を実現する前記対応関係を特定する対応関係特定手段と、該対応関係の特定が行なわれた画素については、該特定した対応関係を参照して、当該画素の画像データを変換する画像データ変換手段とを具備する構成としてある。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記のように構成した本発明においては、画像を複数の画素として表すとともに各画素を画像データで表現している場合に、各画素の画像データを入力する。この際、適用対象判定手段は、入力された画像データに対応する画素が画像処理の適用対象であるか否かを、画像処理の適用対象とされる色に関する色関係情報を参照して判定し、当該画素が画像処理の適用対象であると判定された場合には、対応関係特定手段が、前記参照した色関係情報に関連付けられた処理内容情報を参照して、画像データを変換する複数の対応関係のうちから、画像処理の内容を実現する対応関係を特定し、該対応関係の特定が行なわれた画素については、画像データ変換手段が、該特定した対応関係を参照して、当該画素の画像データを変換する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
色関係情報は、色度等によって表わすことができる。こうした場合には、入力された画像データに基づいて画素の色度を検知する手段を設けると共に、上記適用対象判定手段を、検知された色度が色関係情報によって表わされる色度に含まれている場合に、当該画素が画像処理の適用対象であると判定する構成としてもよい。この場合、あくまでも適用すべき対応関係を判断するために色度を利用するのであり、必ずしも色度を修正する必要はない。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
色範囲を示す条件としての色度を判断するには、入力された画像データをそのまま利用しても構わないし、いわゆる色空間を変更してより色度を判断しやすい画像データに変換してから判断しても良い。さらには、必ずしも狭義の色度にとらわれず、画像データから判断可能な所定の特徴量を利用する場合であっても広義の意味で色度と判断することが可能である。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
上記の画像処理装置において、前記第２保持手段を、色関係情報および処理内容情報の組を、複数保持する手段とした場合には、前記適用対象判定手段を、前記複数の各色関係情報を参照して、前記判定を行なう手段とし、前記対応関係特定手段を、前記参照した複数の各色関係情報に関連付けられた処理内容情報を参照して、複数種類の画像処理の内容のそれぞれを実現する前記対応関係の特定を行なう手段としてもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
一方、画像データを変換するための対応関係を備えるための各種の具体的手法を採用可能である。その一例として、上記第１保持手段が、上記の対応関係を、トーンカーブの形態で保持する構成や、上記の対応関係を、変換元の画像データと変換後の画像データの対応関係を表わした色変換テーブルの形態で保持する構成を考えることができる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
上記の色変換テーブルの形態で保持する構成においては、上記第１保持手段の色変換テーブルに変換元の画像データと変換後の画像データとが記憶されており、画像データ変換手段は変換元の画像データを用いて同色変換テーブルを参照することにより、変換後の画像データを得ることになる。すなわち、対応関係をテーブルとして記憶するものである。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
複数の対応関係は必ずしも個別の対応関係が複数ある場合に限るものではなく、実質的に複数の変換結果が得られるようなものでも良い。その一例として、上記第１保持手段が、複数の対応関係を、一の対応関係と該対応関係を適用する度合いを変化させることによって生成される他の対応関係として保持する構成を考えることができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
上記の構成においては、第１保持手段は対応関係を適用する度合いを変化させることにより複数の対応関係を実現する。例えば、同対応関係を適用しない画像データと適用した画像データとの間で適応度合いに応じた値に設定すると入ったことが可能である。この場合、リニアな関連づけであってもよいし非線形的な関連づけをしても構わない。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
さらには、このような適用度合いを利用する場合には、一つの対応関係だけを備えれば、当該対応関係を適用して変換させた状態と、実質的に変換させない状態とが得られ、複数の対応関係を備えたものということができるし、この場合に適応度合いを変化させることによってさらに多くの対応関係を実現できる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
第２保持手段が備える対応関係は予め定められたものであってもよいし、適宜定めるものであっても良く、後者の一例として、上記第２保持手段を、使用者の操作によって入力された色関係情報および処理内容情報を保持する手段とした構成を考えることができる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
上記の構成においては、上記画像データに適用すべき対応関係が、使用者の操作によって入力された色関係情報および処理内容情報に基づいて特定される。対応関係には変換内容と適用対象の二つの要素があり、上記第２保持手段はいずれを対象とするものであっても構わない。この場合、各画像の部位を指定し、指定された部位における変換内容を選択するといったことも可能である。また、画像処理のオプションとして肌色補正であるとか空色補正といった項目を選択するといったものでも良い。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
このような対応関係の具体的な一例として、上記第１保持手段が、対応関係として、画像データに基づいて明るさを変化させる関係を保持する構成を考えることができる。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
上記の構成においては、第１保持手段が画像データに基づいて明るさを変化させる対応関係を保持し、画像データ変換手段はこの対応関係を利用して所定の画素に対して明るさを変化させる変換を行う。例えば、画像のある部分について画素を明るくするといった変換を行う。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
また、他の一例として、上記第１保持手段が、対応関係として、画像データに基づいて色度を変化させる関係を保持する構成を考えることができる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
上記の構成においては、第１保持手段が画像データに基づいて色度を変化させる対応関係を保持し、画像データ変換手段はこの対応関係を利用して所定の画素に対して色度を変化させる変換を行う。例えば、画像の中に肌色の画素があれば赤みを強調させる変換を行う。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
さらに、他の一例として、上記第１保持手段が、対応関係として、画像データに基づいて色の鮮やかさを変化させる関係を保持する構成を考えることができる。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
上記の構成においては、第１保持手段が画像データに基づいて色の鮮やかさを変化させる対応関係を保持し、画像データ変換手段はこの対応関係を利用して画像の鮮やかさを変化させる変換を行う。例えば、色鮮やかな被写体を周りの背景と比べて引き立てたい場合に当該被写体をより鮮やかにする変換を行う。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】削除
【補正の内容】
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】削除
【補正の内容】
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】削除
【補正の内容】
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
上述したようにして、複数の対応関係を備えて画素に応じて対応関係を変える手法は、実体のある装置に限定される必要はなく、その方法としても機能することは容易に理解できる。このため、本発明の画像処理方法は、複複数の画素からなる実写画像の画像データを入力し、各画素の画像データを変換する方法であって、前記画像データを変換する対応関係を複数保持すると共に、画像処理の適用対象とされる色に関する色関係情報を、画像処理の内容を表わす処理内容情報と関連付けて保持し、前記入力された画像データに対応する画素が画像処理の適用対象であるか否かを、前記色関係情報を参照して判定し、前記画素が画像処理の適用対象であると判定された場合に、前記参照した色関係情報に関連付けられた処理内容情報を参照して、前記複数の対応関係のうちから、画像処理の内容を実現する前記対応関係を特定し、該対応関係の特定が行なわれた画素については、該特定した対応関係を参照して、当該画素の画像データを変換する構成としてある。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
以上のような手法で画像処理する発明の思想は、各種の態様を含むものである。すなわち、ハードウェアで実現されたり、ソフトウェアで実現されるなど、適宜、変更可能である。発明の思想の具現化例として画像処理するソフトウェアとなる場合には、かかるソフトウェアを記録したソフトウェア記録媒体上においても当然に存在し、利用されるといわざるをえない。その一例として、本発明の記録媒体は、複数の画素からなる実写画像の画像データを変換するプログラムを、コンピュータに読み取り可能に記録した記録媒体であって、前記入力された画像データに対応する画素が画像処理の適用対象であるか否かを、画像処理の適用対象とされる色に関する色関係情報を参照して判定する機能と、前記画素が画像処理の適用対象であると判定された場合に、前記参照した色関係情報に関連付けられた、画像処理の内容を表わす処理内容情報を参照して、前記複数の対応関係のうちから、画像処理の内容を実現する前記対応関係を特定する機能と、該対応関係の特定が行なわれた画素については、該特定した対応関係を参照して、当該画素の画像データを変換する機能とを記録した構成としてある。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
【発明の効果】
以上説明したように本発明の画像処理装置は、画素毎に画像データを変換する対応関係を変化させることができるため、他の部分に悪影響を与えることなく、所望の画像処理を実現することが可能な画像処理装置を提供することができる。また、各画素の画像データに適用すべき対応関係の特定を、複数組の色関係情報および処理内容情報を参照して行なう構成を採れば、画像処理したい画素が複数の部分に存在する場合であっても、他の部分に悪影響を与えない画像処理を比較的容易に実現することができる。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】削除
【補正の内容】
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】削除
【補正の内容】
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
さらに、対応関係を色変換テーブルの形態で保持する構成を採れば、画像変換が比較的容易となる。
【手続補正３３】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
さらに、複数の対応関係を、一の対応関係と該対応関係を適用する度合いを変化させることによって生成される他の対応関係として保持する構成を採れば、適応度合いを変化させることで、一つの対応関係を複数のように利用可能となる。
【手続補正３４】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
さらに、画像データに適用する対応関係を、使用者の操作によって入力された色関係情報および処理内容情報を用いて特定する構成を備えることで、対応関係の適用に関する自由度が向上する。
【手続補正３５】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
さらに、画像データに基づいて明るさを変化させる関係を対応関係として保持する構成を採れば、適用すべき対応関係で明るさを変化させることができる。
【手続補正３６】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
さらに、画像データに基づいて色度を変化させる関係を対応関係として保持する構成を採れば、適用すべき対応関係で色度を変化させることができる。
【手続補正３７】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
さらに、画像データに基づいて色の鮮やかさを変化させる関係を対応関係として保持する構成を採れば、適用すべき対応関係で鮮やかさを変化させることができる。
【手続補正３８】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】削除
【補正の内容】
【手続補正３９】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
さらに、本発明の画像処理方法によれば、同様の効果を得ることが可能な画像処理方法を提供でき、本発明の記録媒体によれば、画像処理プログラムを記録した媒体を提供することができる。
【手続補正４０】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
画像入力装置１０の具体例は図２におけるスキャナ１１やデジタルスチルカメラ１２あるいはビデオカメラ１４などが該当し、画像処理装置２０の具体例はコンピュータ２１とハードディスク２２とキーボード２３とマウス２７とＣＤ−ＲＯＭドライブ２４とフレキシブルディスクドライブ２５とモデム２６などからなるコンピュータシステムが該当し、画像出力装置３０の具体例はプリンタ３１やディスプレイ３２等が該当する。本実施形態の場合、画像の不具合を修正すべく対象となる画素を指定しつつ所定の対応関係で画像処理を行なうものであるため、画像データとしては写真などの実写データが好適である。なお、モデム２６については公衆通信回線に接続され、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。
【手続補正４１】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
以上のようにして画像処理ごとに適用すべき対象を指定するステップＳ１００の処理が対応関係指定手段を構成するが、むろんこれらに限る必要はなく、部位や色度を指定する手法としても適宜変更可能であるし、これら以外の要素、例えば、明るさとかシャープさなどで指定することも可能である。また、図９に示すようにして所定の領域を指定しつつその画像処理を対応づけて保持する対応表はコンピュータシステム内の記憶領域に保持されるが、後述する画像処理のための色変換テーブルとともに第１，第２保持手段を構成することはいうまでもない。
【手続補正４２】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
次に、明るさを修正する画像処理の手法について説明する。先程と同様に輝度のヒストグラムを想定すると、図１８にて実線で示すように輝度分布の山が全体的に暗い側に寄っている場合には破線で示すように全体的に明るい側に山を移動させると良いし、逆に、図１９にて実線で示すように輝度分布の山が全体的に明るい側に寄っている場合には破線で示すように全体的に暗い側に山を移動させると良い。このような場合には図１７に示すような直線的な輝度の変換を施すのではなく、図２０に示すようないわゆるγ曲線を利用した輝度の変換を行えばよい。
【手続補正４３】
【補正対象書類名】明細書
【補正対象項目名】符号の説明
【補正方法】変更
【補正の内容】
【符号の説明】
１０...画像入力装置
２０...画像処理装置
２１...コンピュータ
２１ａ...オペレーティングシステム
２１ｂ...プリンタドライバ
２１ｃ...ディスプレイドライバ
２１ｄ...画像処理アプリケーション
２２...ハードディスク
２３...キーボード
２４...ＣＤ−ＲＯＭドライブ
２５...フレキシブルディスクドライブ
２６...モデム
３０...画像出力装置
【手続補正４４】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
1999146219.tif 000001