【手続補正書】
【提出日】平成16年6月9日(2004.6.9)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ドットマトリクス状の画素からなる実写画像に対して所定の画像処理を行なう画像処理装置であって、
上記実写画像を構成する各画素についての画像データを入力し、該画像データに基づいて、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素として抽出する画素抽出手段と、
上記抽出された検出画素の画像データにおける統計的な性質に基づいて、上記実写画像に対する画像処理の内容を決定する処理内容決定手段と、
該決定された内容での画像処理を、上記実写画像の画像データに対して実施する処理手段と
を備え、
上記画素抽出手段は、上記所定の基準を上記実写画像の部位によって異ならせて、上記検出画素の抽出を行なう手段である
画像処理装置。
【請求項２】
上記画素抽出手段は、上記周辺画素に対する変化の度合いを、隣接する画素間での画像データの差に基づいて判断し、上記検出画素の抽出を行なう手段である請求項１に記載の画像処理装置。
【請求項３】
上記画素抽出手段は、実写画像の中央部における上記所定の基準を実写画像の周縁部よりも低くして、上記検出画素の抽出を行なう手段である請求項１または２に記載の画像処理装置。
【請求項４】
請求項１または２に記載の画像処理装置であって、
上記実写画像を構成する画素の周辺画素に対する変化の度合いが、該実写画像において分布する状態を特定する分布状態特定手段と、
該分布状態特定手段により特定された分布状態に基づいて上記所定の基準を決定する基準決定手段と
を備え、
上記画素抽出手段は、上記基準決定手段により決定された所定の基準を適用して、上記検出画素の抽出を行なう手段である
画像処理装置。
【請求項５】
上記処理内容決定手段は、上記検出画素の画像データにおける統計的な性質として、上記検出画素についてのヒストグラムを用いる請求項１ないし４に記載の画像処理装置。
【請求項６】
上記処理内容決定手段は、上記ヒストグラムを、上記検出画素の輝度分布に基づいて作成する請求項５に記載の画像処理装置。
【請求項７】
上記処理内容決定手段は、上記ヒストグラムを、上記検出画素の彩度分布に基づいて作成する請求項５に記載の画像処理装置。
【請求項８】
上記処理内容決定手段は、上記ヒストグラムを、上記検出画素の画像データから導かれたパラメータを用いて作成する請求項５に記載の画像処理装置。
【請求項９】
ドットマトリクス状の画素からなる実写画像に対して所定の画像処理を行なう方法であって、
上記実写画像を構成する各画素についての画像データに基づいて、周辺画素に対する変化の度合いが所定の基準以上大きな画素を、上記所定の基準を上記実写画像の部位によって異ならせて、検出画素として抽出し、
上記抽出された検出画素の画像データにおける統計的な性質に基づいて、上記実写画像に対する画像処理の内容を決定し、
該決定された内容での画像処理を、上記実写画像の画像データに対して実施する
画像処理方法。
【請求項１０】
ドットマトリクス状の画素からなる実写画像に対して行なわれる所定の画像処理に対応したプログラムをコンピュータに読み取り可能に記録した記録媒体であって、
上記実写画像を構成する各画素についての画像データに基づいて、周辺画素に対する変化の度合いが所定の基準以上大きな画素を、上記所定の基準を上記実写画像の部位によって異ならせて、検出画素として抽出する機能と、
上記抽出された検出画素の画像データにおける統計的な性質に基づいて、上記実写画像に対する画像処理の内容を決定する機能と、
該決定された内容での画像処理を、上記実写画像の画像データに対して実施する機能と
をコンピュータにより実現するプログラムを記録した記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
【課題を解決するための手段およびその作用・効果】
上記目的を達成するため、本発明の画像処理装置は、
ドットマトリクス状の画素からなる実写画像に対して所定の画像処理を行なう画像処理装置であって、
上記実写画像を構成する各画素についての画像データを入力し、該画像データに基づいて、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素として抽出する画素抽出手段と、
上記抽出された検出画素の画像データにおける統計的な性質に基づいて、上記実写画像に対する画像処理の内容を決定する処理内容決定手段と、
該決定された内容での画像処理を、上記実写画像の画像データに対して実施する処理手段と
を備え、
上記画素抽出手段は、上記所定の基準を上記実写画像の部位によって異ならせて、上記検出画素の抽出を行なう手段であることを要旨としている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
一般的な人物像の写真画像を想定すると、その人物を中心に捉えて撮影するのが普通である。従って、人物部分にピントが合わせられてシャープな画像となっている。画像がシャープであるとその輪郭部分がはっきりし、画像の変化度合いは大きくなる。このため、画像の変化度合いが大きな画素はピントを合わせられた本来のオブジェクトであると想定しても誤りではない可能性が極めて高い。よって、上記検出画素をオブジェクトを構成する画素とみなすことが可能である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
上記の発明では、実写画像を構成する各画素についての画像データに基づいて、画素抽出手段が、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素として抽出する。処理内容決定手段は、抽出された検出画素の画像データにおける統計的な性質に基づいて実写画像に対する画像処理の内容を決定し、該決定された内容での画像処理を、処理手段が、上記実写画像の画像データに対して実施する。画素抽出手段は、上記所定の基準を上記実写画像の部位によって異ならせて、上記検出画素の抽出を行なう。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
画素抽出手段が周辺画素に対する変化の度合いを判断する手法は適宜各種のものを採用可能である。その一例として、上記オブジェクト判断手段は、隣接する画素間での画像データの差に基づいて周辺画素に対する変化の度合いを判断する構成を考えることができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
上記の構成においては、各画素について周辺画素に対する変化の度合いを判断するにあたり、隣接する画素間での画像データの差に基づいて判断する。ドットマトリクス状の画素のように一定間隔で並んでいる場合、隣接する画素間のデータの差は一次微分値と比例するため、このような差分をもってして一の画素の周辺画素に対する変化度合いと判断できる。この場合、差分をベクトルの大きさと考えるとともに、隣接方向を考慮してベクトルを合成するようにしてもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
写真の構図を想定すると、人物像を中央に据えて取ることが多い。この場合、オブジェクトを構成する画素を中央部分から選択して、画像処理の内容を決定することが好ましいと言える。ところで、画素の周辺画素に対する変化度合いが大きいか否かは比較となる値との差といえるし、このような比較の値が必ずしも一定でなければならない理由はない。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
そこで、上記の構成においては、画素の周辺画素に対する変化の度合いが所定の基準以上大きなものか否かを判断するにあたり、所定の基準を実写画像の部位によって異ならせて、部位毎の基準と各画素の周辺画素に対する変化度合いとを比較する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
所定の基準を異ならせる方針は各種のものを採用可能である。その一例として一定の傾向を決めておいても良いし、他の一例として所定の基準を異ならせる傾向自体を画像から読み取るような方針でも良い。前者の一例として、実写画像の中央部における所定の基準を実写画像の周縁部よりも低くする構成を考えることができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
上記の構成においては、実写画像の中央部における基準を周縁部よりも低くすることにより、同程度の画像の変化度合いであったとしても画像の中央部の方がよりオブジェクトを構成する画素として判断されやすくなる。従って、中央部に人物像があればこの人物像の画素がより多くオブジェクトを構成する画素として判断されることになる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
また、所定の基準を異ならせる傾向自体を画像から読み取る場合の後者の一例として、実写画像を構成する画素の周辺画素に対する変化の度合いが、該実写画像において分布する状態を特定する分布状態特定手段と、該分布状態特定手段により特定された分布状態に基づいて上記所定の基準を決定する基準決定手段とを備え、この基準決定手段により決定された所定の基準を適用して、上記画素抽出手段が検出画素の抽出を行なう手法がある。具体的には、実写画像の部位毎における、上記実写画像を構成する画素の周辺画素に対する変化の度合いの分布状態に基づいて、上記所定の基準を決定する構成を考えることができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
上記の構成においては、実写画像の部位毎における画素の変化度合いの分布を求め、この分布を求めてから上記所定の基準を決定する。この後、上記画素抽出手段が、同所定の基準と比較してオブジェクトを構成する画素であるか否かを判断する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
画素の変化度合いの分布状態に基づいて所定の基準を決定する場合、変化度合いの大きな画素が多く集まっている部位はオブジェクトの可能性が高いものと判断して基準を低くするようなものでも良いし、予め変化度合いの分布パターンに応じた基準設定のパターンを用意しておき、検出された分布パターンに基づいて基準設定のパターンを選択するというようなものでもよい。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
一方、処理内容決定手段ないし処理手段はオブジェクトを構成すると判断された画素の画像データに基づいて画像処理内容を決定しつつ同決定した内容に基づいて画像処理するものであればよく、具体的な処理手法などは特に限定されない。一例として、上記処理内容決定手段が、検出画素の画像データにおける統計的な性質として、上記検出画素についてのヒストグラムを用いる構成を考えることができる。こうしたヒストグラムは、例えば、検出画素（換言すれば、オブジェクトを構成すると判断された画素）の輝度分布を求め、この輝度分布に基づいて作成することができる。この場合において、輝度分布範囲が狭ければ所定の割合で拡大するように輝度を修正すればコントラストを拡大する画像処理を実行できる。また、検出画素の輝度分布が全体として暗いようであれば、明るくする補正を実行しても良い。さらに、検出画素の色分布を求め、グレイバランスがずれていないかを判断し、ずれているようであればトーンカーブなどを使用してグレイバランスを修正することもできる。また、上記のヒストグラムを、検出画素の彩度分布に基づいて作成してもよい。上記のヒストグラムを、検出画素の画像データから導かれたパラメータを用いて作成することも可能である。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
実写画像を構成する画素から、周辺画素に対する変化度合いの大きな画素を検出画素として抽出し、検出画素の画像データにおける統計的な性質に基づいて実写画像に対する画像処理の内容を決定する手法は、必ずしも実体のある装置に限られる必要もなく、その一例として、本発明の画像処理方法は、ドットマトリクス状の画素からなる実写画像に対して所定の画像処理を行なう方法であって、
上記実写画像を構成する各画素についての画像データに基づいて、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素として抽出し、
上記抽出された検出画素の画像データにおける統計的な性質に基づいて、上記実写画像に対する画像処理の内容を決定し、
該決定された内容での画像処理を、上記実写画像の画像データに対して実施することを要旨としている。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
ところで、上述した画像処理装置は、単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては各種の態様を含むものである。また、ハードウェアで実現されたり、ソフトウェアで実現されるなど、適宜、変更可能である。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
その一例として、本発明の記録媒体は、ドットマトリクス状の画素からなる実写画像に対して行なわれる所定の画像処理に対応したプログラムをコンピュータに読み取り可能に記録した記録媒体であって、
上記実写画像を構成する各画素についての画像データに基づいて、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素として抽出する機能と、
上記抽出された検出画素の画像データにおける統計的な性質に基づいて、上記実写画像に対する画像処理の内容を決定する機能と、
該決定された内容での画像処理を、上記実写画像の画像データに対して実施する機能と
をコンピュータにより実現するプログラムを記録したことを要旨としている。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
以上説明したように、本発明の画像処理装置は、従来は人間が関与しなければ判断できなかったオブジェクトの判断を、周辺画素に対する変化度合いの大きな画素を実写画像から検出画素として抽出することにより自動的に実現可能となり、そのオブジェクトに応じて画像処理内容を適宜変更して最適な画像処理を実行することが可能な画像処理装置を提供することができる。加えて、実写画像に対する画像処理の内容は、抽出された検出画素の画像データにおける統計的な性質に基づいて決定されるので、実写画像の画像データに対する画像処理をバランスよく行なうことができる。さらに、実写画像の部位に応じて、画素の周辺画素に対する変化度合いの評価基準を変える構成としているので、構図などを考慮したより融通の高い判断が可能となる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
また、隣接する画素間での画像データの差を求める構成とすれば、演算が容易であり、オブジェクト判断のための処理量を低減できる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】削除
【補正の内容】
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
さらに、画素の周辺画素に対する変化度合いを評価する基準を、実写画像の中央部が実写画像の周縁部よりも低くなるように定めれば、写真の構図としての中央部分に重点をおく判断が可能となり、多くの画像データを効率的に処理することが可能となる。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
さらに、実写画像を構成する画素の周辺画素に対する変化の度合いが該実写画像において分布する状態を考慮して、周辺画素に対する変化度合いの大きな画素を抽出する構成とすれば、種々の実写画像についてオブジェクトの判断が可能となり、柔軟な対処が可能となる。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
さらに、本発明の画像処理方法によれば、オブジェクトを自動的に判断し、オブジェクトに応じた画像処理をバランスよく行なうことが可能となり、本発明の記録媒体によれば、同様の処理をコンピュータにて実行する画像処理制御プログラムを記録した媒体を提供することができる。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
図１において、画像入力装置１０は写真などをドットマトリクス状の画素として表した実写画像データを画像処理装置２０へ出力し、同画像処理装置２０は所定の処理を経て画像処理の内容と程度を決定してから画像処理を実行する。同画像処理装置２０は画像処理した画像データを画像出力装置３０へ出力し、画像出力装置は画像処理された画像をドットマトリクス状の画素で出力する。ここにおいて、画像処理装置２０が出力する画像データは、実写画像を構成する各画素のうち、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素（換言すれば、オブジェクトを構成する画素）として抽出し、このような検出画素の画像データにおける統計的な性質に基づいて、実写画像に対する画像処理の内容を決定し、この内容に基づいて画像処理されたものである。従って、画像処理装置２０は、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素として抽出する画素抽出手段と、検出画素の画像データにおける統計的な性質に基づいて、実写画像に対する画像処理の内容を決定する処理内容決定手段と、該決定された内容での画像処理を実写画像の画像データに対して実施する処理手段とを備えている。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
例えば、図１７にて実線で示すように輝度分布の山が全体的に暗い側に寄っている場合には破線で示すように全体的に明るい側に山を移動させると良いし、逆に、図１８にて実線で示すように輝度分布の山が全体的に明るい側に寄っている場合には破線で示すように全体的に暗い側に山を移動させると良い。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
最後に、ステップＳ３４０にてコントラスト補正と明度補正が必要であるか否かを判断する。この判断は上述した拡大率（ａ）とγ値について適当なしきい値と比較し、拡大率の方が大きかったりγ値が所定範囲を超えていたら必要性有りと判断する。そして、必要性有りと判断されれば画像データの変換を行う。すなわち、ステップＳ３１０〜ステップＳ３４０にて画像処理の必要性とその程度を判断し、ステップＳ３５０にて必要と判断された画像処理を実行することになり、これらを実行するハードウェア構成とソフトウェアとによって処理内容決定手段ないし処理手段を構成することになる。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
ところで、この処理内容決定手段ないし処理手段の場合はコントラスト補正と明度補正だけについて判断を行なうようにしているが、画像処理の具体例はこれに限られるものではない。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
従って、ステップＳ４１０〜Ｓ４３０にて、彩度強調処理の必要性とその程度を判断し、ステップＳ４３０にて必要と判断された場合に彩度強調処理を実行することになり、これらを実行するハードウェア構成とソフトウェアとによって処理内容決定手段ないし処理手段を構成することになる。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
従って、このエッジ強調処理では、ステップＳ５１０〜Ｓ５３０にて、エッジ強調処理の必要性とその程度を判断し、ステップＳ５３０にて必要と判断された場合に画像処理を実行することになり、これらを実行するハードウェア構成とソフトウェアとによって処理内容決定手段ないし処理手段を構成することになる。
【手続補正３１】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
1998340332.tif 000001
【手続補正３２】
【補正対象書類名】図面
【補正対象項目名】図１４
【補正方法】変更
【補正の内容】
【図１４】
1998340332.tif 000002