【手続補正書】
【提出日】平成19年10月16日(2007.10.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置により撮像された画像に画像処理を施して前記画像中から特定の対象を抽出する画像処理装置において、
画像フィルタを木構造状に組み合わせた処理プログラムに基づいて、前記撮像装置により撮像された複数種類の画像に画像処理を施し、前記特定の対象が抽出された出力画像を形成するための画像処理部を備え、
前記複数種類の画像は、前記撮像装置により時間間隔をおいて撮像された複数枚の動画像を構成する複数種類の画像であることを特徴とする画像処理装置。
【請求項２】
前記複数種類の画像は、前記撮像装置により時間間隔をおいて撮像された複数枚の画像のフレーム間差分画像またはエッジ抽出画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記処理プログラムを形成するための処理プログラム形成部を備え、前記処理プログラム形成部は、前記複数種類の画像、目標画像および重み画像を用いた遺伝的プログラミングにより処理プログラムを形成するように構成されていることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記重み画像は、その抽出領域の重みと非抽出領域の重みとの比が、前記抽出領域および前記非抽出領域の面積比の逆数の比となるように設定されることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記処理プログラム形成部は、前記複数種類の画像、目標画像および重み画像よりなる学習セットを複数セット用いて処理プログラムを形成することを特徴とする請求項３または請求項４に記載の画像処理装置。
【請求項６】
前記処理プログラム形成部での遺伝的プログラミングに用いられる適応度が、前記処理プログラムにおけるノード数が大きいほど小さい値をとるように算出されることを特徴とする請求項３から請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
前記ノード数の適応度に対する割合が、遺伝的プログラミングにおける進化過程の世代数に応じて変化するように構成されていることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記処理プログラム形成部での遺伝的プログラミングに用いられる適応度が、前記処理プログラムにおける２入力画像フィルタのノード数が大きいほど大きな値をとるように算出されることを特徴とする請求項３から請求項７のいずれか一項に記載の画像処理装置。
【請求項９】
前記２入力画像フィルタのノード数の適応度に対する割合が、遺伝的プログラミングにおける進化過程の世代数に応じて変化するように構成されていることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記処理プログラムは、複数の処理プログラムが組み合わされて形成されていることを特徴とする請求項１から請求項９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記複数の処理プログラムによる処理の非線形の重ね合わせにより出力画像が形成されるように構成されていることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記画像フィルタには、マスクフィルタが含まれることを特徴とする請求項１から請求項１１のいずれか一項に記載の画像処理装置。
【請求項１３】
画像を表示するための表示部を備え、前記処理プログラムに基づいて形成した出力画像を前記表示部に表示されている前記入力画像に重ね合わせて表示するように構成されていることを特徴とする請求項１から請求項１２のいずれか一項に記載の画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
前記の問題を解決するために、請求項１に記載の画像処理装置は、
撮像装置により撮像された画像に画像処理を施して前記画像中から特定の対象を抽出する画像処理装置において、
画像フィルタを木構造状に組み合わせた処理プログラムに基づいて、前記撮像装置により撮像された複数種類の画像に画像処理を施し、前記特定の対象が抽出された出力画像を形成するための画像処理部を備え、
前記複数種類の画像は、前記撮像装置により時間間隔をおいて撮像された複数枚の動画像を構成する複数種類の画像であることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、木構造の処理プログラムは、入力される複数種類の画像として、時間間隔をおいて撮像された複数枚の動画像のフレームが用いられるように構成される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記複数種類の画像は、前記撮像装置により時間間隔をおいて撮像された複数枚の画像のフレーム間差分画像またはエッジ抽出画像であることを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
請求項２に記載の発明によれば、木構造の処理プログラムは、入力される複数種類の画像として、時間間隔をおいて撮像された複数枚の画像のフレーム間差分画像またはエッジ抽出画像が用いられるように構成される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
請求項３に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記処理プログラムを形成するための処理プログラム形成部を備え、前記処理プログラム形成部は、前記複数種類の画像、目標画像および重み画像を用いた遺伝的プログラミングにより処理プログラムを形成するように構成されていることを特徴とする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
請求項３に記載の発明によれば、画像処理装置は、処理プログラム形成部において、撮像装置で撮像された動画像と、形成された処理プログラムが前記動画像を入力された場合に出力すべき画像として与えられる目標画像と、出力画像の輝度値と目標画像の輝度値との画素ごとの差（正確には差の絶対値）に重み付けをするための重み画像とを用いて、遺伝的プログラミングにより処理プログラムを自動形成する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
請求項４に記載の発明は、請求項３に記載の画像処理装置において、前記重み画像は、その抽出領域の重みと非抽出領域の重みとの比が、前記抽出領域および前記非抽出領域の面積比の逆数の比となるように設定されることを特徴とする。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
請求項４に記載の発明によれば、前記重み画像による重み付けを、画像の抽出領域と非抽出領域とで異なるものとし、特に、その重みの比が抽出領域および非抽出領域の面積比の逆数の比となるようにする。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
請求項５に記載の発明は、請求項３または請求項４に記載の画像処理装置において、前記処理プログラム形成部は、前記複数種類の画像、目標画像および重み画像よりなる学習セットを複数セット用いて処理プログラムを形成することを特徴とする。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
請求項５に記載の発明によれば、１つの処理プログラムを形成するために、複数種類の画像、目標画像および重み画像よりなる学習セットを１セットだけでなく、例えば、場面が異なる別の学習セットを複数セット用いる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
請求項６に記載の発明は、請求項３から請求項５のいずれか一項に記載の画像処理装置において、前記処理プログラム形成部での遺伝的プログラミングに用いられる適応度が、前記処理プログラムにおけるノード数が大きいほど小さい値をとるように算出されることを特徴とする。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
請求項６に記載の発明によれば、遺伝的プログラミングにおいて、ノード数が大きい処理プログラムを淘汰され易くする。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
請求項７に記載の発明は、請求項６に記載の画像処理装置において、前記ノード数の適応度に対する割合が、遺伝的プログラミングにおける進化過程の世代数に応じて変化するように構成されていることを特徴とする。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
請求項７に記載の発明によれば、請求項６に記載の発明においてノード数が大きくなるほど適応度を減少させる割合を、遺伝的プログラミングにおける進化過程に応じて変化させる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
請求項８に記載の発明は、請求項３から請求項７のいずれか一項に記載の画像処理装置において、前記処理プログラム形成部での遺伝的プログラミングに用いられる適応度が、前記処理プログラムにおける２入力画像フィルタのノード数が大きいほど大きな値をとるように算出されることを特徴とする。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
請求項８に記載の発明によれば、遺伝的プログラミングにおいて、２入力画像フィルタのノード数が大きい処理プログラムの適応度を大きくして淘汰され難くする。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
請求項９に記載の発明は、請求項８に記載の画像処理装置において、前記２入力画像フィルタのノード数の適応度に対する割合が、遺伝的プログラミングにおける進化過程の世代数に応じて変化するように構成されていることを特徴とする。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
請求項９に記載の発明によれば、請求項８に記載の発明において２入力画像フィルタのノード数が大きくなるほど適応度を増加させる割合を、遺伝的プログラミングにおける進化過程に応じて変化させる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
請求項１０に記載の発明は、請求項１から請求項９のいずれか一項に記載の画像処理装置において、前記処理プログラムは、複数の処理プログラムが組み合わされて形成されていることを特徴とする。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
請求項１０に記載の発明によれば、人為的に形成した処理プログラムや遺伝的プログラミングにより形成した処理プログラムを複数組み合わせて大規模な処理プログラムを形成する。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
請求項１１に記載の発明は、請求項１０に記載の画像処理装置において、前記複数の処理プログラムによる処理の非線形の重ね合わせにより出力画像が形成されるように構成されていることを特徴とする。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
請求項１１に記載の発明によれば、請求項１０に記載の発明における大規模な処理プログラムにより出力される画像は、大規模な処理プログラムを構成する各処理プログラムの多数が出力輝度値を持つ画素部分は出力輝度値が大きくなり、少数しか出力輝度値を持たない画素部分は出力輝度値が小さくなり或いは０になる。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
請求項１２に記載の発明は、請求項１から請求項１１のいずれか一項に記載の画像処理装置において、前記画像フィルタには、マスクフィルタが含まれることを特徴とする。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
請求項１２に記載の発明によれば、木構造の処理プログラムを構成する非終端記号としてマスクフィルタを用いたり、処理プログラムを複数組み合わせて構成される大規模な処理プログラムにおける各処理プログラムの組み合わせにマスクフィルタを用いることができる。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
請求項１３に記載の発明は、請求項１から請求項１２のいずれか一項に記載の画像処理装置において、画像を表示するための表示部を備え、前記処理プログラムに基づいて形成した出力画像を前記表示部に表示されている前記入力画像に重ね合わせて表示するように構成されていることを特徴とする。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
請求項１３に記載の発明によれば、画像処理装置の表示部には、例えば、白黒画像として表示された入力画像に、赤色で着色された出力画像が重ね合わせて表示される。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
さらに、木構造の処理プログラムは、入力される複数種類の画像として、時間間隔をおいて撮像された複数枚の動画像のフレームが用いられるように構成されるため、動画像の各フレームの差分処理等を行うことにより、特に時間的な変化や変位を伴う特定対象の抽出をより的確に行うことが可能となる。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
請求項２に記載の発明によれば、木構造の処理プログラムは、入力される複数種類の画像として、時間間隔をおいて撮像された複数枚の画像のフレーム間差分画像またはエッジ抽出画像が用いられるように構成される。そのため、処理プログラムは、動画像の各フレームの時間微分的なデータ画像（すなわち、フレーム間差分画像）等に基づいて直接的に時間的変化等を伴う特定対象の抽出を行うことが可能となる。
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
請求項３に記載の発明によれば、画像処理装置は、処理プログラム形成部において、撮像装置で撮像された動画像と、形成された処理プログラムが前記動画像を入力された場合に出力すべき画像として与えられる目標画像と、出力画像の輝度値と目標画像の輝度値との画素ごとの差（正確には差の絶対値）に重み付けをするための重み画像とを用いて、遺伝的プログラミングにより処理プログラムを自動形成する。そのため、前記各請求項に記載の発明の効果に加え、適切な目標画像と重み画像を与えることにより、非常に容易に処理プログラムを獲得することが可能となる。
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
請求項４に記載の発明によれば、請求項３に記載の発明において、前記重み画像による重み付けを、画像の抽出領域と非抽出領域とで異なるものとし、特に、その重みの比が抽出領域および非抽出領域の面積比の逆数の比となるように設定する。重み画像のすべての画素において同一の重みとすることも可能であるが、その場合には、抽出領域と非抽出領域のうち面積が大きい方の一致度がより重視される結果を招き易い。重みの比が抽出領域および非抽出領域の面積比の逆数の比となるように設定することにより、抽出領域と非抽出領域との一致度が同等に重視された処理プログラムを得ることが可能となる。
【手続補正３３】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
請求項５に記載の発明によれば、１つの処理プログラムを形成するために、複数種類の画像、目標画像および重み画像よりなる学習セットを１セットだけでなく、例えば、場面が異なる別の学習セットを複数セット用いる。そのため、前記各請求項に記載の発明の効果に加え、学習セットとして１セットのみを用いた場合に陥り易い画像中の特定位置の対象の抽出という現象が生じることを避けることができるとともに、遺伝的プログラミングにおける学習セットには用いなかった画像の中からもより的確に特定の対象を抽出できるようになり、動画像中から的確に人物のみを抽出する汎用性の高い処理プログラムを得ることが可能となる。
【手続補正３４】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
請求項６に記載の発明によれば、遺伝的プログラミングにおいて、ノード数が大きい処理プログラムを淘汰され易くすることにより、前記各請求項に記載の発明の効果に加え、処理プログラムが過学習の状態になることを回避することが可能となる。すなわち、処理プログラムは、ノード数が大きくなるほどより限定された対象（例えば、歩行者一般に対する濃い色の服を着た歩行者）を抽出するようになる場合があるが、このような過学習の状態の処理プログラムが形成されることを有効に防止することができる。
【手続補正３５】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
請求項７に記載の発明によれば、請求項６に記載の発明においてノード数が大きくなるほど適応度を減少させる割合を、遺伝的プログラミングにおける進化過程に応じて変化させることで、ノード数が大きな処理プログラムを進化過程のどの段階で淘汰され易くするかを自由に決定することができる。また、遺伝的プログラミングにおける進化が進むと、世代数が増えても適応度の最大値は増加せず停滞が生じることがあるが、そのような停滞が生じた場合に、前記割合を変化させることで、より最適化された処理プログラムが得られる可能性が高くなる。
【手続補正３６】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
請求項８に記載の発明によれば、遺伝的プログラミングにおいて、２入力画像フィルタのノード数が大きい処理プログラムの適応度を大きくして淘汰され難くすることにより、前記各請求項に記載の発明の効果に加え、処理プログラムに入力される画像の多様性を増加させることができ、より的確に特定の対象を抽出できる処理プログラムを得ること可能となる。
【手続補正３７】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
請求項９に記載の発明によれば、請求項８に記載の発明において２入力画像フィルタのノード数が大きくなるほど適応度を増加させる割合を、遺伝的プログラミングにおける進化過程に応じて変化させることで、２入力画像フィルタのノード数が大きな処理プログラムを進化過程のどの段階で生き残り易くするかを自由に決定することができる。また、遺伝的プログラミングにおける進化が進むと、世代数が増えても適応度の最大値は増加せず停滞が生じることがあるが、そのような停滞が生じた場合に、前記割合を変化させることで、より最適化された処理プログラムが得られる可能性が高くなる。
【手続補正３８】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
請求項１０に記載の発明によれば、人為的に形成した処理プログラムや遺伝的プログラミングにより形成した処理プログラムを複数組み合わせて大規模な処理プログラムを形成することにより、前記各請求項に記載の発明の効果に加え、目的とする特定対象をより的確に抽出することが可能となる。さらに、処理プログラムを遺伝的プログラミングで求める場合、通常、処理プログラムを構成する画像フィルタ（非終端記号）の数が増えるに従って解プログラムの探索空間がいわば指数関数的に増大し、膨大な探索が必要となり、局所解に落ち込む可能性が高くなるが、このように処理プログラムを複数組み合わせることで、より容易にかつ的確に特定対象を抽出可能な汎用性の高い処理プログラムを得ることが可能となる。
【手続補正３９】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
請求項１１に記載の発明によれば、請求項１０に記載の発明における大規模な処理プログラムにより出力される画像は、大規模な処理プログラムを構成する各処理プログラムの多数が出力輝度値を持つ画素部分は出力輝度値が大きくなり、少数しか出力輝度値を持たない画素部分は出力輝度値が小さくなり或いは０となる。そのため、大規模な処理プログラムによる出力画像がより鮮明になるとともに、本来抽出すべきでないノイズ等も効果的に除去することができる。
【手続補正４０】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
請求項１２に記載の発明によれば、木構造の処理プログラムを構成する非終端記号としてマスクフィルタを用いたり、処理プログラムを複数組み合わせて構成される大規模な処理プログラムにおける各処理プログラムの組み合わせにマスクフィルタを用いることができる。そのため、前記各請求項に記載の発明の効果に加え、処理プログラムや大規模な処理プログラムの出力画像中から不必要なノイズを除去したり、或いは出力画像を分割してそれぞれの領域に別々の処理プログラムの出力画像を割り当てて出力画像を形成することが可能となる。
【手続補正４１】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
請求項１３に記載の発明によれば、画像処理装置は表示部を備え、その表示部には、例えば、白黒画像として表示された入力画像に、赤色で着色された出力画像が重ね合わせて表示されるため、前記各請求項に記載の発明の効果に加え、入力画像中の特定の対象を明確に表示することが可能となる。