(57)【要約】【課題】画像処理技術を用いた画像からの対象物画像の抽出に際し、対象物画像に対応する対象物画像領域を検出して、対象物画像の抽出処理の効率を向上させる画像処理システム、画像処理方法及び画像処理プログラムを提供すること。【解決手段】対象物画像を含む画像の中から対象物画像を抽出するために、対象物画像に対応する対象物画像領域を画定する境界を検出する画像処理システムであって、互いに平行である複数の軸上の所定範囲における輝度情報を軸毎に取得して、取得した輝度情報を軸毎に比較することにより、対象物画像領域を画定する境界を検出する。【選択図】図２
2009265998.tif 000002
【特許請求の範囲】
【請求項１】
対象物画像を含む画像の中から対象物画像を抽出するために、対象物画像に対応する対象物画像領域を画定する境界を検出する画像処理システムであって、
前記画像上において互いに平行である複数の軸上の所定範囲における輝度情報を取得する輝度情報取得手段と、
前記輝度情報取得手段によって取得した所定範囲における輝度情報を軸毎に比較することにより、前記対象物画像領域を画定する境界を検出する境界検出手段と、を備える画像処理システム。
【請求項２】
前記境界検出手段は、前記輝度情報取得手段によって取得した所定範囲における輝度情報の累積値に基づいて、前記対象物画像領域を画定する境界を検出する、請求項１に記載の画像処理システム。
【請求項３】
前記境界検出手段は、前記軸毎の輝度情報のうち、任意に設定された所定値以上又は所定値以下のいずれか一方の範囲に含まれる輝度情報に基づいて、前記対象物画像領域を画定する境界を検出する、請求項１又は請求項２に記載の画像処理システム。
【請求項４】
前記境界検出手段は、前記所定範囲における輝度情報の軸毎の相対的な変化量に基づいて、前記対象物画像領域を画定する境界を検出する、請求項１から請求項３のいずれかに記載の画像処理システム。
【請求項５】
前記境界検出手段は、対象物の物体情報を取得して、該物体情報と前記所定範囲における軸毎の輝度情報に基づいて、前記対象物画像領域を画定する境界を検出する、請求項１から請求項４のいずれかに記載の画像処理システム。
【請求項６】
前記輝度情報取得手段は、前記軸上の所定範囲における輝度情報を軸毎に取得するとともに、該軸と交差して互いに平行である複数の第二軸上の所定範囲における輝度情報を該第二軸毎に取得し、
前記境界検出手段は、前記軸の輝度情報及び前記第二軸の輝度情報に基づいて、前記対象物画像領域を画定する境界を検出する、請求項１から請求項５のいずれかに記載の画像処理システム。
【請求項７】
対象物画像を含む画像の中から対象物画像を抽出するために、対象物画像に対応する対象物画像領域を画定する境界を検出する画像処理方法であって、
前記画像上において互いに平行である複数の軸上の所定範囲における輝度情報を取得するステップと、
前記所定範囲における輝度情報を軸毎に比較することにより、前記対象物画像領域を画定する境界を検出するステップと、を備える画像処理方法。
【請求項８】
対象物画像を含む画像の中から対象物画像を抽出するために、対象物画像に対応する対象物画像領域を画定する境界を検出する画像処理プログラムであって、
前記対象物を含む画像を記憶手段に格納するステップと、
前記格納した画像上において互いに平行である複数の軸上の所定範囲における輝度情報を該軸毎に取得するステップと、
前記取得した輝度情報を軸毎に比較することにより、前記対象物画像領域を画定する境界を検出するステップと、
前記検出した境界の情報を出力するステップと、を順次実行させるコンピュータ実行可能な画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物画像を含む画像の中から対象物画像を抽出するために、対象物画像に対応する対象物画像領域を画定する境界を検出する画像処理システム、画像処理方法及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
近年、マーケティング分析等の統計処理において、人の目視によって統計対象となる対象物の識別及び分析を行うのではなく、該対象物を撮影した画像を取得し、その画像を解析処理することによって対象物の識別及び分析を行うことが行われている。
【０００３】
例えば、特許文献１には、画像処理技術を利用した交通状況調査システムが記載されている。この交通状況調査システムは、市街の特定地点における交通対象物の走行状況をカメラにて記録し、記録した画像を解析することにとより、交通対象物を識別するとともに交通対象物の動きを分析して、交通対象物の交通量をカウントするものである。
【０００４】
この交通状況調査システムによれば、統計対象となる交通対象物の識別及び分析は、人が目視によらず画像処理技術を利用しているため、統計処理の一部を自動化して、処理時間の短縮化を図ることが可能となる。さらに、この交通状況調査システムは、交通対象物を記録した画像を一旦取得すれば画像の解析を複数回行うことができ、調査精度を向上させることも可能である。
【０００５】
【特許文献１】特開２００５−２１５９０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、このような画像処理技術における画像からの対象物画像の抽出処理は、例えば予め対象物のデータ上の特徴点を抽出しておき、画像内の特徴点と抽出した対象物画像の特徴点とのマッチング処理を行うことで対象物画像を抽出している。しかし、画像における対象物画像の縮尺、すなわち画像における対象物画像の占有比率が不明であることが多い。その場合には、マッチング処理の対象となる範囲を順次切り替えて、処理を行う必要があり、処理時間の短縮化を図ることが困難であった。
【０００７】
本発明は上記の事情に鑑みて為されたものであり、画像処理技術を用いた画像からの対象物画像の抽出に際し、対象物画像に対応する対象物画像領域を検出して、対象物画像の抽出処理の効率を向上させる画像処理システム、画像処理方法及び画像処理プログラムを提供することを例示的課題とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の例示的側面としての画像処理システムは、対象物画像を含む画像の中から対象物画像を抽出するために、対象物画像に対応する対象物画像領域を画定する境界を検出する画像処理システムであって、画像上において互いに平行である複数の軸上の所定範囲における輝度情報を取得する輝度情報取得手段と、輝度情報取得手段によって取得した所定範囲における輝度情報を軸毎に比較することにより、対象物画像領域を画定する境界を検出する境界検出手段と、を備える。
【０００９】
本発明に係る画像処理システムは、輝度情報取得手段によって、画像上に設定された互いに平行な複数の軸上の所定範囲における輝度情報を取得するとともに、境界検出手段によって、輝度情報を軸毎に比較する。そして、境界検出手段が、軸毎の相対的な輝度情報の強弱を比較することによって、輝度情報を取得した所定範囲内において対象物画像領域を画定する境界を検出する。対象物画像に対応する対象物画像領域を画定する境界を検出することにより、画定された対象物画像領域において特徴検出等による対象物画像の抽出処理を行うことが可能となる。このような対象物画像の抽出処理を行うことにより、画像全体における対象物画像の抽出処理と比較して、抽出処理の対象となる範囲を限定的とすることができ、処理時間を短縮することが可能となる。
【００１０】
ここで、輝度情報とは、画像に表現される光エネルギー強度である輝度の数値情報であり、輝度情報が高いほど明るい状態を指す。なお、本発明における輝度には、明度の概念も含むものであり、「輝度が高い」には、「明度が高い」ことも含む。
【００１１】
対象物画像領域を画定する境界の検出とは、対象物画像領域内部の輝度情報と、対象物画像領域を画定する境界の輝度情報と、の違いを把握するとともに、対象となる軸上の輝度情報がどちらの領域の輝度情報に含まれる値であるか、又は複数の軸を比較していずれの領域の輝度情報により近いか、を判定することによって、その軸上に対象物画像領域を画定する境界が存在するか否かを判定することができる。
【００１２】
ここで、対象物画像領域を画定する境界は、対象物画像領域の外周縁を指す。また、対象物画像領域が複数並列して配置されている場合には、対象物画像領域を画定する境界は、対象物画像領域間の領域を指す。対象物画像領域内部の輝度と、対象物画像領域を画定する輝度情報と、の違いとは、対象物の記録態様によって異なるものである。例えば、複数の対象物が近接して配列され対象物間が影として記録された画像では、対象物画像領域と比べて境界部分の輝度情報は低く（暗く）なる。一方、複数の対象物が離間して配列されることにより、その背景の輝度情報が高く（明るく）記録された画像では、対象物画像領域と比べて境界部分の輝度情報は高く（明るく）なる。すなわち、対象物画像領域内部の輝度と、対象物画像領域を画定する輝度情報と、の違いは、対象物そのものの輝度情報や、対象物以外の画像領域の輝度情報や、対象物の配列態様等によって異なるものである。したがって、境界検出手段によって境界を判定する基準は、対象物画像領域内部の輝度情報等に応じて適宜変更されることが好ましい。
【００１３】
輝度情報取得手段は、平行に配置された複数の軸上の輝度情報を取得するものの、この平行に配置された軸と軸との間の部分では輝度情報を取得しないため、その軸間の部分における輝度を対象物画像領域の境界の検出に十分反映することが困難となる。したがって、輝度情報を取得する軸は、軸毎の輝度情報を相対比較するため２以上あれば良いが、軸数は多い方（平行して配置される軸の間隔を狭めること）が望ましい。輝度情報を取得する軸数を増やすことにより、軸間の部分を少なくすることができ、より多くの部分からの輝度情報を取得することができるので、境界の検出精度を向上させることが可能となる。
【００１４】
また、境界検出手段は、輝度情報取得手段によって取得した所定範囲における輝度情報の累積値に基づいて、対象物画像領域を画定する境界を検出することが望ましい。
【００１５】
本発明は、軸上の輝度情報を軸毎に相対比較することにより、軸上に対象物画像領域を画定する境界が存在するか否かを判定するが、軸上のいずれの点で境界が存在するかが不明である場合がある。例えば、軸上の輝度情報として、軸上の任意の１点のみの輝度情報を用いた場合には、同じ軸上の他の点で軸と境界とが交差していても、軸上の輝度情報が境界領域の輝度情報と乖離して、軸上のいずれかの点において境界と交差していることを検出できない虞がある。
【００１６】
したがって、軸上の輝度情報は、より多くの点における輝度情報を反映することが好ましく、可能な限り軸上における画像の最小単位間隔（例えば、隣接するピクセルごと。）にて輝度情報を取得することが望ましい。そして、複数の点における輝度情報の累積値に基づいて、対象物画像領域の境界を検出することが更に望ましい。軸上の輝度情報の累積値を用いることにより、任意の１点の輝度情報によるノイズの影響を低減し、軸単位における輝度情報の特徴が把握しやすくなり、他の軸との相対的な比較をより明確に行うことができ、境界の検出精度をより向上させることが可能となる。
【００１７】
さらに、境界検出手段は、前記軸毎の輝度情報のうち、任意に設定された所定値以上又は所定値以下のいずれか一方の範囲に含まれる輝度情報に基づいて、対象物画像領域を画定する境界を検出することが望ましい。この所定値とは、予め設定された輝度情報値である。所定値以下又は所定値以上の範囲に含まれる輝度情報を用いることにより、演算処理を低減して、処理時間を短縮することができる。
【００１８】
例えば、輝度情報取得手段によって取得した軸上の輝度情報の平均値を算出し、平均値を分岐点として境界と判定される輝度情報値を含む一方の範囲のみの輝度情報で境界の判定を行うことにより、複数の軸上の輝度情報から境界と判定されない輝度情報を効果的に排除することができ、境界の検出に用いるデータ数を減らし、境界の検出処理の迅速化を図ることが可能となる。
【００１９】
また、境界検出手段は、軸毎の所定範囲における輝度情報の相対的な変化量に基づいて、対象物画像領域を画定する境界を検出することが望ましい。
【００２０】
前述のように、本発明は、複数の軸上の所定範囲における輝度情報を取得して、この所定範囲における輝度情報が、対象物画像領域内部の輝度情報であるか、対象物画像領域を画定する境界の輝度情報であるか、を判定しているが、この判定基準は、対象物の配列態様等に応じて種々異なる。しかし、対象物画像領域を画定する境界は、対象物同士の陰になる等、対象物画像領域と比較して大きく輝度情報が変化することが多い。すなわち、対象物画像領域内部に配置された軸同士の輝度情報の相対的な変化に比べて、対象物画像領域内部の軸と境界を含む軸の輝度情報の変化は、その変化量が大きくなることが多い。
【００２１】
したがって、平行に配置された複数の軸における輝度情報の変化量を算出し、変化量に基づいて境界を検出することが望ましい。特に対象物画像領域とその境界との輝度情報の変化量が大きい場合に、境界の検出精度を向上させることが可能となる。輝度情報の変化量に基づいて境界を検出する場合には、軸毎の輝度情報をヒストグラムとして表し、ヒストグラムの変化量を用いることができる。
【００２２】
さらに、境界検出手段は、対象物の物体情報を取得して、物体情報と軸毎の輝度情報に基づいて対象物画像領域を画定する境界を検出することが望ましい。
【００２３】
本発明は、所定範囲における軸上の輝度情報を取得し、所定範囲の輝度情報を軸毎に相対的に比較することにより、軸上に対象物画像領域を画定する境界が存在するか否かを判定する。すなわち、軸上の所定範囲に境界が存在するかを判定しており、軸と境界とが平行に配置されている場合には、軸と境界とは重なっており、境界の方向をも含む配置を検出することができるが、軸と境界とが平行でない場合には、境界の配置を検出できない虞がある。すなわち、境界と交わる軸を検出することができるが、その軸がどの位置で境界と交わるかを、又は複数の軸に跨って境界が位置するか否かを判定することができない虞がある。よって、対象物の物体情報を取得して、この物体情報を用いて境界を検出することが好ましい。
【００２４】
ここで、物体情報とは、対象物の寸法、縦横寸法比率、配列状態、物体の形状等が例示でき、物体の領域を特定するための情報である。例えば、物体情報として対象物の配列状態が横配列であることを取得することにより、軸が縦方向の場合には、対象物画像領域の境界は縦に位置し、軸と境界が平行に配置されているため、境界は複数の軸に跨って配置されてなく、境界と軸が重なっていることがわかるため、軸毎の輝度情報の変化により軸を検出することが可能となる。
【００２５】
さらに、物体情報を用いることにより、検出した境界の正否を検証することも可能となる。具体的には、境界間の寸法が対象物の寸法より小さい場合には対象物画像領域を構成しないとしてエラーと判定したり、対象物画像領域の縦長比率と対象物の縦長比率が所定値以上異なる場合には、対象物が重なって配置されているとしてエラーと判定することができる。このような、検出した境界の正否を検証することにより、境界の検出精度を更に向上させることが可能となる。
【００２６】
また、輝度情報取得手段は、軸毎の所定範囲における輝度情報を取得するとともに、軸と交差して互いに平行である複数の第二軸上の所定範囲における輝度情報を第二軸毎に取得し、境界検出手段は、軸の輝度情報及び第二軸の輝度情報に基づいて、対象物画像領域を画定する境界を検出することが望ましい。
【００２７】
平行に配置された複数の軸上の輝度情報を取得して、この輝度情報を軸毎に相対比較することによる境界の検出は、境界と交わる軸を検出することができるが、軸のどの位置で境界と交わるか、又は複数の軸にまたがって境界が位置するか否かを判定することができない虞もある。よって、軸と交差する（平行でない）第二軸上の輝度情報を取得して、この第二軸上の輝度情報も考慮の上で境界を検出することにより、少なくとも２方向における軸上の輝度情報を相対比較することができ、対象物の境界の検出精度を高めることが可能となる。
【００２８】
なお、第二軸は、予め所定方向に設定してもよいが、軸の輝度情報のみでは境界を検出できない場合に第二軸の輝度情報を用いるように構成してもよいし、また、軸と第二軸との交差する角度は、所定角度毎に複数設定してもよく、境界の検出状況に応じて適宜設定することが望ましい。
【００２９】
本発明の他の例示的側面としての画像処理方法は、対象物画像を含む画像の中から対象物画像を抽出するために、対象物画像に対応する対象物画像領域を画定する境界を検出する画像処理方法であって、画像上において互いに平行である複数の軸上の所定範囲における輝度情報を取得するステップと、所定範囲における輝度情報を軸毎に比較することにより、対象物画像領域を画定する境界を検出するステップと、を備える。
【００３０】
この画像処理方法によっても、平行に配置された複数の軸上の所定範囲における輝度情報を軸毎に取得して、所定範囲における輝度情報を軸毎に相対的な比較をすることによって、対象物画像領域内部及び境界における輝度情報と各軸上の輝度情報とを比較して、対象物画像領域を画定する境界を検出することができる。このように対象物画像領域を画定する境界を検出することにより、画像の中から対象物画像を抽出する抽出処理の効率を向上させることができる。
【００３１】
また、本発明の他の例示的側面としての画像処理プログラムは、対象物画像を含む画像の中から対象物画像を抽出するために、対象物画像に対応する対象物画像領域を画定する境界を検出する画像処理プログラムであって、対象物を含む画像を記憶手段に格納するステップと、格納した画像上において互いに平行である複数の軸上の所定範囲における輝度情報を軸毎に取得するステップと、取得した輝度情報を軸毎に比較することにより、対象物画像領域を画定する境界を検出するステップと、検出した境界の情報を出力するステップと、を順次実行させるコンピュータ実行可能な画像処理プログラムである。
【００３２】
この画像処理プログラムによっても、平行に配置された複数の軸上の所定範囲における輝度情報を軸毎に取得して、所定範囲における輝度情報を軸毎に相対的な比較をすることによって、対象物画像領域内部及び境界における輝度情報と各軸上の輝度情報とを比較して、対象物画像領域を画定する境界を検出することができる。このように対象物画像領域を画定する境界を検出することにより、画像の中から対象物画像を抽出する抽出処理の効率を向上させることができる。
【００３３】
本発明の更なる目的又はその他の特徴は、以下添付図面を参照して説明される好ましい実施の形態によって明らかにされるであろう。
【発明の効果】
【００３４】
本発明によれば、画像上の相対的な輝度情報の高低を比較することによって、輝度情報を取得した所定範囲内において対象物画像領域を画定する境界を検出することができる。対象物画像に対応する対象物画像領域を画定する境界を検出することにより、画定された対象物画像領域において特徴検出等による対象物画像の抽出処理を行うことが可能となる。このような対象物画像の抽出処理は、画像全体における対象物画像の抽出処理と比較して、抽出処理の対象となる範囲を限定的とすることができ、対象物画像の抽出処理時間を短縮することが可能となる。
【発明を実施するための最良の形態】
【００３５】
以下、本発明の実施の形態について図面を用いて説明する。図１は、本発明の実施の形態に係る画像処理システムの全体構成を示す概略ブロック図である。この画像処理システムは、マーケティング分析の統計対象となる対象物を記録した画像に基づいて、対象物画像を抽出するシステムである。本実施の形態は、対象物としての飲料用缶容器（以下、対象物とする。）の統計処理に関し、画像処理システムを用いて、対象物画像を含む画像の中から飲料用缶容器画像（以下、対象物画像とする。）に対応する飲料用缶容器画像領域（以下、対象物画像領域とする。）の境界を検出する。この対象物画像領域の境界の検出は、画像から対象物画像を抽出する抽出処理のための前処理である。対象物画像の抽出処理は、検出された対象物画像領域において行い、抽出処理時間の短縮化を図る。
【００３６】
画像処理システム１は、画像を撮影する画像撮影装置２と、画像撮影装置２から取得した画像を画像処理する画像処理装置３と、を備えている。画像撮影装置２は、対象物を含む画像を撮影し、撮影した画像を画像処理装置３に出力できるものであればよい。本実施の形態では、撮影画像をデジタル信号として記憶し、外部に出力可能なデジタルカメラを用いる。
【００３７】
画像処理装置３は、図１に示すように、中央処理装置（ＣＰＵ）３１とバス（ＢＵＳ）３２とを中心とした構成となっており、ＢＵＳ３２には、画像撮影装置２から取得した画像等を記憶する記憶装置３３、入力手段としてのキーボード装置（ＫＢ）３４、及び出力手段としてのディスプレイ（ＤＩＳＰ）３５が接続されている。記憶装置には、オペレーションシステム（ＯＳ）、及び画像処理プログラムが格納されている。画像処理装置３は、ＣＰＵが画像撮影装置１から入力される画像に基づいて、メモリを介してプログラムを順次読み取って実行することにより、以下の機能を実現する。
【００３８】
画像処理装置３は、画像の輝度情報を取得する輝度情報取得手段と、輝度情報取得手段によって測定された輝度情報を記憶装置３３に格納する記録手段と、記憶装置３３に格納された輝度情報に基づいて対象物画像領域を画定する境界を検出する境界検出手段と、を備えている。以下、図面を参照して、対象物画像領域の境界を検出する画像処理について詳細に説明する。
【００３９】
図２は、画像処理装置３における対象物画像領域を検出する画像処理手順を示すフローチャートであり、図３から図６は、画像処理装置３のディスプレイ３５の表示画面の一例を示す図である。
【００４０】
まず、画像処理装置３は、画像撮影装置２から対象物を記録した画像を取得する（Ｓ．１）。図３は、画像撮影装置２から取得した画像を表示した状態である。画像は、店舗内に設置された対象物の陳列棚を撮影したものであり、陳列棚は上下方向に複数配置された棚Ａ１〜Ａ３を備えており、各棚には、種類の異なる対象物Ｂ１〜Ｂ１５が配置されている。図示にて、陳列棚において対象物が配列されている横方向をＸ方向、対象物の上下である縦方向をＹ方向とする。また、対象物画像領域を画定する境界とは、各対象物画像領域の外縁のみならず、隣接する対象物画像領域の間の領域も含むものとする。
【００４１】
次いで、画像処理装置３は、対象物画像に対応する対象物画像領域が複数含まれる区画領域の抽出を行う（Ｓ．２）。本実施の形態では、陳列棚Ａ１〜Ａ３は上下方向に複数段あり、陳列棚毎に対象物画像領域の境界のＸ方向における位置が異なるため、陳列棚毎に境界の検出を行う。なお、陳列棚が複数段に配置されている場合であっても、Ｘ方向における境界の位置が各陳列棚において重なる（同じ位置）場合には、区画領域の抽出を行わず、全ての陳列棚における境界の検出を同時に行うことが可能である。
【００４２】
区画領域の抽出は、後述する輝度情報の相対的な比較に基づく画像処理によるものでもよいし、陳列棚の段数入力又は範囲指定を人が入力することによる処理でもよい。本実施の形態では、人が陳列棚の段数を入力することによって区画領域の抽出を行うため、画像処理装置３のディスプレイ３５に、陳列棚数の入力を受け付ける画面を表示する（図示せず）。画像処理装置３は、陳列棚数の入力を受け付けると、Ｙ方向において画像を棚数で分割し、分割された画像領域Ｃ１からＣ３として記憶する。
【００４３】
次いで、Ｓ．２において抽出された区画領域Ｃ３の画像の輝度情報を取得する（Ｓ．３）。画像処理装置３は、Ｙ方向に平行な複数の軸を設定し、区画領域Ｃ３における輝度情報を軸毎に累積する（Ｓ．４）。図４は、Ｓ．４によって得られる区画領域Ｃ３の輝度情報を累積した輝度累積値を表した図であり、図５は、区画領域Ｃ３の一部であるＤ領域の輝度累積値を表した図である。縦軸は、輝度累積値であり、横軸はＸ方向の位置を示す。図５に示すＺ１〜Ｚ２３は、Ｙ方向に平行な軸を示す。
【００４４】
ここでいう輝度情報とは、単位面積あたりの明るさであり、数値が高いほど明るいことを表す。本実施の形態にかかる画像は、対象物同士は近接しており対象物間は影となっている。そのため、対象物画像領域部分の輝度情報と境界部分の輝度情報とを比較すると、境界部分の輝度情報が低い。また、対象物画像領域の境界と軸は平行であるため、軸と境界は重なって配置される。したがって、輝度累積値が最も小さいＸ方向における位置の軸上に境界があるという基準に基づいて境界の検出を行う。
【００４５】
なお、対象物の配列態様、及び対象物画像の輝度情報等によっては、対象物画像領域部分に比べて境界部分の輝度情報が高い場合もある。その場合には、輝度累積値が最も大きい位置に境界があるという判定基準で境界の検出を行うことが好ましい。
【００４６】
次いで、各軸の輝度累積値の平均値を算出し、平均値を境として平均値以下の累積値のみを抽出する（Ｓ．５）。本実施の形態では、輝度累積値が最も小さいＸ方向における位置に境界があると判定するため、輝度累積値が平均以上である軸は、軸上の点における輝度情報が高く、境界がないと判定する。したがって、平均値を境として平均値以下の累積値のみを抽出し、全体の軸の中で比較的に輝度累積値が小さい軸のみを抽出する。さらに、平均値以上の輝度累積値を平均値として更新し、平均値以上の累積値による境界の検出に対する影響を抑制する。図６は、図４に示した区画領域Ｃ３の輝度累積値の平均値を算出し、その平均値以上の輝度累積値を平均値に更新した状態を示した図である。この平均値以上の輝度累積値を平均値として更新することにより、更新処理を行わずに変曲点を抽出する場合に比べて、輝度変動が大きな領域で複数の変曲点が存在する場合においてもノイズとなる変曲点を効果的に排除することができる。よって、境界の検出精度を向上させることが可能となる。
【００４７】
そして、Ｓ．５において抽出した軸毎の輝度累積値に基づいて、隣接する軸との単位距離当たりの輝度累積値の変化量、すなわち図５に示すグラフの傾きを算出する（Ｓ．６）。輝度累積値の変化量を算出することにより、Ｘ方向において隣接する軸の相対的な変化を比較することができる。図７は、図６に示す輝度累積値の傾きの変化量を示した図である。図示するプラス及びマイナスは、傾きに対応したものである。
【００４８】
次いで、Ｓ．６において算出した傾きの平均値を算出し、この平均値の絶対値を分岐点として傾きの絶対値が平均値以上となる軸のみを抽出する（Ｓ．７）。境界が位置すると判定される（輝度累積値が最小値となる）軸は、グラフで示される谷（変曲点）となる。変曲点は、グラフで示す谷であり、傾きがプラスの値では変曲点とならない。そのため、傾きがマイナスの値のみ抽出し、この傾きの平均値を算出する。図８は、図７に示す輝度累積値の傾きデータのうちマイナスの値のみを抽出するとともに、マイナスの値の平均値を算出し、この平均値より小さい（絶対値が大きい）値のみを示した図である。
【００４９】
なお、本実施の形態では、輝度累積値が最も小さいＸ方向における位置の軸上に境界があるという基準で境界の検出を行っているため、輝度累積値を示すグラフの谷に注目し、傾きがマイナスの値のみを処理対象にした。しかしながら、異なる画像条件において輝度累積値が最も大きい位置の軸上に境界があるという基準の場合には、傾きがプラスの値で変曲点になることがあり、輝度累積値を示すグラフの山に注目するとともに、傾きがプラスの値に注目して処理を行ってもよい。さらに、傾きがプラスの値及びマイナスの値のうちいずれかによらず、両方の値を用いて処理を行ってもよく、画像条件等に応じて適宜設定することが可能である。
【００５０】
Ｓ．７において抽出した軸における輝度累積値に基づいて、変位量（スカラー）を比較して変曲点を検出する（Ｓ．８）。Ｓ．７では、隣接する軸との変化量（単位距離当たりの変化量）を算出し、比較的変化量が大きい軸を抽出した。次いで、Ｓ．８において、絶対的な変位量、すなわち図示するグラフの長さに基づいて、変曲点を検出する。Ｓ．７において、抽出された軸毎に変位量を算出するとともに、変位量の平均値を算出する。この平均値より小さく、隣接する変位量と比較して小さい変位量のデータを削除し、残ったデータが変曲点である。
【００５１】
変曲点は、輝度累積値の傾きがマイナスからプラスに変化した点であり、輝度累積値のグラフがゼロでない（変化している）点を有する軸を対象物画像領域の境界として検出する（Ｓ．９）。このようにして検出された変曲点を有する軸は、図５に示す軸Ｘ１３であり、この軸を境界として検出する。このようにして区画領域Ｃ３において検出した対象物画像領域の境界を図９に示す。
【００５２】
画像領域の輝度情報測定から境界の検出までの流れを要約すると、以下のような流れとなる。Ｘ軸位置におけるＹ方向に沿った軸の輝度累積値を取得し（Ｓ．４）、この輝度累積値の平均以下の値を削除して変曲点を有しない軸を削除する（Ｓ．５）。次いで、輝度累積値の傾きの平均以下の値を削除して変曲点を有しない軸を削除する（Ｓ．７）。このＳ．７で抽出された軸は、輝度情報が低く、かつ単位距離当たりの変化量が大きい。この軸のうち隣接する軸と比較して、変位量が大きい軸を抽出することにより、変曲点を検出する。この検出した変曲点を有する軸を境界と判定する。
【００５３】
以上のように、実施の形態によれば、検出された境界を用いて、対象物が含まれる対象物画像領域を画定し、対象物画像領域において対象物画像の抽出処理を行うことができる。抽出処理は、画像データの特徴点の分析を行うことによって、複数種類ある対象物の中からマッチング処理にて対象物の種類を特定する。対象物画像領域を画定せずに対象物のマッチング処理を行う場合には、対象物の縮尺がわからないため、対象物の特徴点を順次拡大縮小してマッチング処理を行う必要がある。これに対して、対象物画像領域を画定することにより、対象物画像領域を画定せずに対象物のマッチング処理を行うと比較して、画定された領域おいて抽出処理を行うことができるため、解析処理時間の短縮化を図ることが可能となる。
【００５４】
なお、本実施の形態では、区画領域Ｃ３に含まれる対象物数が不明であり、検出する境界数が不明であったため、隣接する輝度累積値の変化量を比較して変曲点を判定した（Ｓ．８）。しかし、対象物画像領域数（すなわち、境界線数）が判明している場合には、区画領域全体における輝度累積値のグラフの傾きを算出し、傾きが大きい軸を境界線数抽出することにより、変曲点を抽出して境界を検出することが可能である。すなわち、本発明は、輝度累積値を用いて、輝度累積値の変曲点、若しくは輝度累積値の最小値又は最大値となる点を抽出して、対象物画像領域の境界を検出できるものであればよく、上述の構成を適宜組み合わせて構成できることは勿論である。
【００５５】
さらに、前述の実施の形態の画像処理に加えて、対象物の物体情報を用いて画像処理を行うことができる。対象物情報とは、対象物の寸法、縦長寸法比率、配列状態であり、物体情報を用いて、検出した境界の正否の検証を行うことが可能となる。具体的には、境界を検出した後、隣接する境界間の寸法と物体情報の寸法とを比較して、所定以上寸法に差がある場合にエラーと判定したり、検出された境界から画定される対象物画像領域の縦長比率が物体情報の縦長比率とを比較して、所定比率以上差がある場合にエラーと判定する。
【００５６】
エラーと判定される要因としては、例えば、対象物が重なった状態で記録されていることや、個々の対象物に対する光の照射態様が異なることによる光の斑がある。この対象物の物体情報に基づくエラー判定を行うことにより、目視による確認を促すことや、再度の境界を判定を行うことが可能となり、境界の検出精度を向上させることができる。
【００５７】
また、上述の実施の形態では、Ｙ方向の軸の輝度累積値を用いて境界を検出したが、この輝度累積値と合わせて、Ｙ方向の軸と異なる第二軸の輝度累積値を用いて境界を検出してもよい。実施の形態では、Ｘ方向に沿って対象物が配列されており、その境界はＹ方向に沿っているため、軸上の輝度累積値の変化量は境界位置で大きく、境界を検出できる。しかしながら、対象物画像領域の境界と輝度情報を累積する軸の方向が平行でない場合には、輝度累積値の変曲点が境界位置で明確に表れない虞がある。
【００５８】
第二軸とは、Ｙ方向と平行な軸（以下、第一軸とする）と交差する（平行でない）軸であり、第一軸と同様に複数配置されており、互いに平行である。この第二軸と第一軸においてそれぞれの軸上の輝度累積値を用いることにより、少なくとも２方向における輝度情報の変化量を取得することができる。
【００５９】
この２方向の輝度情報の変化量に基づいて、前述の実施の形態における棚画像領域の検出を行うことができる。棚Ａ１〜Ａ３は、Ｘ方向に沿って配置されているため、第二軸をＸ方向に平行な複数の軸として、軸毎に輝度累積値を取得し、軸毎に輝度累積値を比較する。対象物画像の輝度情報と棚画像（画像のうち棚が含まれる領域）の輝度情報は異なり、軸毎に輝度情報の変化量を比較することにより、前述の実施の形態と同様に棚画像に対応する棚画像領域を画定する境界を検出し、棚画像領域を検出することが可能となる。棚画像領域を検出することにより、人による棚数の入力を省略することができ、処理の迅速化を図ることができる。
【００６０】
なお、第二軸の輝度累積値を用いる構成は、対象物の配列態様によって用いてもよいし、実施の形態のように対象物が複数段に配列されている場合における棚数の算出に用いてもよい、対象物の物体情報を用いた処理においてエラー判定がなされた際に用いてもよく、前述した処理と適宜組み合わせて用いることができる。
【００６１】
また、本実施の形態では。画像処理システムとして、画像撮影装置を含んでいるが、本発明は、画像の輝度情報の取得できる構成を備えていればよく、この実施の形態に限定されるものではない。
【００６２】
以上、本発明の好ましい実施の形態を説明したが、本発明はこれらに限定されるものではなく、その要旨の範囲内で様々な変形や変更が可能である。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施の形態に係る画像処理システムの全体構成を示す概略ブロック図
【図２】対象物画像領域を検出する画像処理手順を示すフローチャート
【図３】画像処理装置のディスプレイの表示画面の一例であり、画像撮影装置から取得した画像を表示した図である。
【図４】画像処理装置のディスプレイの表示画面の一例であり、区画領域Ｃ３のＸ方向の各位置におけるＹ方向の輝度累積値を表示した画面である。
【図５】画像処理装置のディスプレイの表示画面の一例であり、Ｄ領域のＸ方向の各位置におけるＹ方向の輝度累積値を表示した画面である。
【図６】画像処理装置のディスプレイの表示画面の一例であり、区画領域Ｃ３の輝度累積値のうち平均値以上の輝度累積値を平均値に更新した状態を表示した画面である。
【図７】画像処理装置のディスプレイの表示画面の一例であり、区画領域Ｃ３の輝度累積値の隣接する軸との単位距離当たりの変化量を表示した画面である。
【図８】画像処理装置のディスプレイの表示画面の一例であり、区画領域Ｃ３の輝度累積値の傾きデータのうちマイナスの値のみを抽出し、マイナスの値の平均値を算出し、この平均値より小さい値のみを表示した画面である。
【図９】画像処理装置のディスプレイの表示画面の一例であり、区画領域Ｃ３の対象物画像領域の境界を表示した画面である。
【符号の説明】
【００６４】
１  画像処理システム
２  画像撮影装置
３  画像処理装置
３１  中央処理装置（ＣＰＵ）
３２  バス（ＢＵＳ）
３３  記憶装置
３４  キーボード装置（ＫＢ）
３５  ディスプレイ（ＤＩＳＰ）
Ａ１〜Ａ３  陳列棚
Ｂ１〜Ｂ１５  対象物
Ｃ１〜Ｃ３  区画領域
【図１】
2009265998.tif 000003
【図２】
2009265998.tif 000004
【図３】
2009265998.tif 000005
【図４】
2009265998.tif 000006
【図５】
2009265998.tif 000007
【図６】
2009265998.tif 000008
【図７】
2009265998.tif 000009
【図８】
2009265998.tif 000010
【図９】
2009265998.tif 000011