(57)【特許請求の範囲】
【請求項１】
画像を複数領域に分割する分割部と、
各領域を構成する画素の階調情報に基づいて、前記分割部により分割された領域毎に標準偏差及びエントロピーを計算し、前記標準偏差と前記エントロピーとの比を計算する計算部と、
前記比が基準値を超える領域を判定する判定部と、
前記判定部による判定結果に基づく情報を出力する出力部と、
を備える画像処理装置。
【請求項２】
前記分割部は、前記判定部により前記比が前記基準値を超えると判定された領域を複数領域に分割する、請求項１記載の画像処理装置。
【請求項３】
前記画像を撮影する撮影部を備える、請求項１記載の画像処理装置。
【請求項４】
当該画像処理装置を移動させる移動体を備える、請求項１記載の画像処理装置。
【請求項５】
前記移動体の動作を制御する制御部を備える、請求項４記載の画像処理装置。
【請求項６】
画像を複数領域に分割することと、
各領域を構成する画素の階調情報に基づいて、分割された領域毎に標準偏差及びエントロピーを計算することと、
前記標準偏差と前記エントロピーとの比を計算することと、
前記比が基準値を超える領域を判定することと、
判定された結果に基づく情報を出力することと、
をコンピュータに実行させるプログラムを記憶したコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置及びコンピュータ可読記憶媒体に関する。
【背景技術】
【０００２】
画像の中から記号（文字、数字及びマークを含む）を検出する技術が様々な分野で活用されている。自動車の分野では、ドライバーに対する注意喚起や自動運転制御を目的として、画像の中から道路標識を検出する技術が開発されている。例えば、この技術は、画像の中から特定の単一色を検出することで道路標識を検出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４４２３５２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特定の単一色が必ずしも記号部分に対応しているとは限らない。さらに、単一色の検出を複数の色について行うことは処理時間の増大につながる。
【０００５】
本発明の実施形態が解決しようとする課題は、画像の中から記号部分を短時間に検出する画像処理装置及びコンピュータ可読記憶媒体を提供することにある。
【課題を解決するための手段】
【０００６】
実施形態によれば、画像処理装置は、分割部と、計算部と、判定部と、出力部を備える。前記分割部は、画像を複数領域に分割する。前記計算部は、各領域を構成する画素の階調情報に基づいて、前記分割部により分割された領域毎に標準偏差及びエントロピーを計算し、前記標準偏差と前記エントロピーとの比を計算する。前記判定部は、前記比が基準値を超える領域を判定する。前記出力部は、前記判定部による判定結果に基づく情報を出力する。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係る一例となる画像処理装置のブロック図。
【図２】第１の実施形態に係る一例となる移動体を示す図。
【図３】第１の実施形態に係る一例となる対象の認識で用いられる指標を説明するための図。
【図４】第１の実施形態に係る一例となる道路標識の画像のＳＥＲを示す図。
【図５】第１の実施形態に係る一例となる自然画像のＳＥＲを示す図。
【図６】第１の実施形態に係る一例となる対象の認識を示す図。
【図７】第１の実施形態に係る一例となる対象の認識を示す図。
【図８】第１の実施形態に係る一例となる対象の認識を示す図。
【図９】第１の実施形態に係る一例となる画像処理装置による処理のフローチャート。
【図１０】第２の実施形態に係る一例となる対象の認識を示す図。
【図１１】第２の実施形態に係る別の例となる画像処理装置による処理のフローチャート。
【図１２】第３の実施形態に係る一例となる画像処理装置のブロック図。
【図１３】第３の実施形態に係る一例となる画像処理装置の移動方向を説明する図。
【発明を実施するための形態】
【０００８】
以下、いくつかの実施の形態について、図面を参照して説明する。  
（第１の実施形態）
第１の実施形態について説明する。図１は、第１の実施形態に係る一例となる画像処理装置１０のブロック図である。  
画像処理装置１０は、撮影部１１と、処理部１２と、記憶部１３と、表示部１４と、音声出力部１５と、インターフェース１６を備える。なお、画像処理装置１０は、これら全ての要素を備える必要はない。例えば、画像処理装置１０は、少なくとも処理部１２及び記憶部１３を備える装置であってもよい。
【０００９】
撮影部１１は、対象を撮影するカメラである。撮影部１１は、例えば車載用カメラである。撮影部１１は、対象を動画像として撮影するカメラであっても、対象を静止画像として撮影するカメラであってもよい。撮影部１１は、画像のデータを処理部１２へ送る。
【００１０】
処理部１２は、画像処理装置１０の中枢部分に相当する。処理部１２は、オペレーティングシステムやアプリケーションプログラムに従って、画像処理装置１０の各要素を制御する。処理部１２は、生成部１２１と、分割部１２２と、計算部１２３と、判定部１２４と、登録部１２５と、認識部１２６を備える。処理部１２は、これらの要素により、撮影部１１から取得した１画像の中から対象を認識する。対象は、画像に写る記号部分である。なお、記号は、文字、数字及びマークを含む概念である。一般に、グレースケールの画像において、記号部分は２値画像部分に相当すると言える。なお、ここでは画像における２値画像部分の位置の検出について説明するが、２値に限定されるものではなく、３値以上であってもよい。生成部１２１、分割部１２２、計算部１２３、判定部１２４、登録部１２５及び認識部１２６の処理内容は後述する。
【００１１】
処理部１２は、映像信号を表示部１４へ送る。処理部１２は、音声信号を音声出力部１５へ送る。処理部１２は、画像処理装置１０と接続されている外部装置のための制御信号をインターフェース１６へ送る。
【００１２】
記憶部１３は、上記オペレーティングシステムやアプリケーションプログラムを記憶するメモリを含む。さらに、記憶部１３は、処理部１２による処理に必要なワークエリアとなるメモリを含む。さらに、記憶部１３は、処理部１２による処理に必要なデータを記憶するメモリを含む。記憶部１３は、基準値１３１を記憶している。基準値１３１は、画像の中から２値画像部分の位置を検出するために用いられる閾値である。
【００１３】
表示部１４は、処理部１２からの映像信号に基づいて映像を表示するディスプレイである。音声出力部１５は、処理部１２からの音声信号に基づいて音声を出力するスピーカである。インターフェース１６は、画像処理装置１０と外部装置を接続する。インターフェース１６は、処理部１２からの制御信号を外部装置へ送る。表示部１４、音声出力部１５及びインターフェース１６は、処理部１２による２値画像部分の位置の検出に関する判定結果に基づく情報を出力する出力部である。
【００１４】
図２は、第１の実施形態に係る一例となる移動体２０を示す図である。例えば、移動体２０は自動車である。移動体２０は画像処理装置１０を搭載する。移動体２０の走行に応じて、撮影部１１は対象を撮影する。第1の実施形態における対象は道路標識３０である。
【００１５】
次に、対象の認識に用いられる指標の算出例について図３を用いて説明する。  
図３は、異なる２つの画像に関するデータを示す。図３において「１」で示すデータは、第１の画像に対応している。第１の画像は鮮明な白黒の幾何学パターンの画像である。図３において「２」で示すデータは、第２の画像に対応している。第２の画像は鮮明な自然画像である。図３の左図は、第１の画像及び第２の画像それぞれの任意の１ラインのデータを入力関数として表したグラフである。横軸は１画像の任意の１ラインに含まれる各画素の座標を示し、縦軸は階調（画素値）を示す。処理部１２は、１画像のデータから入力関数を生成する。なお、任意の１ラインは、１画像全体の横軸に対応していても、縦軸に対応していてもよい。
【００１６】
図３の中央図は、第１の画像及び第２の画像それぞれのヒストグラムを表したグラフである。横軸は階調を示し、縦軸は画素数を示す。ヒストグラムは、１画像の任意の１ラインに含まれる画素の分布であり、画像を構成する画素の階調情報である。処理部１２は、入力関数からヒストグラムを生成する。ヒストグラムの２つのピークは、画像に含まれる２値画像部分が鮮明になるほど鋭くなる。さらに、ヒストグラムの２つのピークの位置は、画像に含まれる２値画像部分が鮮明になるほど離れる。
【００１７】
図３の右図は、第１の画像及び第２の画像それぞれにおける標準偏差σとエントロピーＳとの比（σ／Ｓ）（以下、ＳＥＲという）を表したグラフである。処理部１２は、以下に示す計算式を用いてヒストグラムに基づいて標準偏差σ及びエントロピーＳを計算する。その後、処理部１２は、標準偏差σ及びエントロピーＳに基づいてＳＥＲを計算する。
【００１８】
標準偏差σの計算式は、以下とおりである。
【数１】
0006313724.tif 000002
ここで、
【数２】
0006313724.tif 000003
エントロピーＳの計算式は、以下のとおりである。
【数３】
0006313724.tif 000004
ここで、niはヒストグラムにおける階調iの画素数、nはヒストグラムにおける全画素数である。
【００１９】
標準偏差σは、ヒストグラムにおける少なくとも２つのピークの分離度を表す指標（画像特徴量）である。エントロピーＳは、ヒストグラムにおけるピークの鋭さを表す指標（画像特徴量）である。標準偏差σは、ヒストグラムの２つのピークが離れるほど大きくなる。エントロピーＳは、ヒストグラムの２つのピークが鋭くなるほど小さくなる。標準偏差σが大きく、エントロピーＳが小さければ、ＳＥＲは大きい。
【００２０】
図３の右図を参照すると、第１の画像のＳＥＲは、第２の画像のＳＥＲよりも大きい。したがって、ＳＥＲは、画像に２値画像部分が所定領域以上含まれているか否かの指標（画像特徴量）として有効である。さらに、ＳＥＲは、その大きさによって２値画像部分の鮮明度が変わるので、２値画像部分の鮮明度を定量的に表す指標（画像特徴量）としても有効である。
【００２１】
なお、ＳＥＲは、ヒストグラムにおける少なくとも２つのピークの分離度を表す指標（一例が標準偏差σ）と、ヒストグラムにおけるピークの鋭さを表す指標（一例がエントロピーＳ）との比であればよい。そのため、処理部１２は、標準偏差σやエントロピーＳ以外の指標を用いてＳＥＲを計算してもよい。例えば、標準偏差σの大きさは、画像全体の明るさによって変わる。そのため、処理部１２は、標準偏差σの代わりに標準偏差σを平均値ｍで割った変動係数を用いてＳＥＲを計算することが好ましい。処理部１２は、標準偏差σの代わりに標準偏差σの２乗である分散を用いてＳＥＲを計算してもよい。処理部１２は、エントロピーＳを計算する際に各階調の画素数niを全画素数nで割っているが、各階調の画素数niを全画素数nで割らなくてもよい。ＳＥＲは、第１の画像及び第２の画像それぞれの任意の１ラインに基づいて算出される値に限られるものではない。例えば、ＳＥＲは、第１の画像の任意の複数ラインまたは全ラインから算出される複数のＳＥＲの平均値であってもよい。  
なお、処理部１２は、上記のように画像全体から１つのＳＥＲを計算するだけではなく、画像の中から抽出した任意のブロックのＳＥＲを計算することもできる。この場合、処理部１２は、任意のブロックのヒストグラムを上記同様に生成し、ヒストグラムに基づいて任意のブロックのＳＥＲを計算することができる。
【００２２】
次に、記号の画像のＳＥＲと自然画像のＳＥＲとの違いについて図４及び図５を用いて説明する。  
図４は、第１の実施形態に係る一例となる記号の画像のＳＥＲを示す図である。図４の左図は、第３の画像を示す。第３の画像は、記号の画像の一例となる道路標識の画像である。道路標識の画像は、白、赤及び黒色で構成されている。図４の右図は、図４の左図に示される第３の画像から処理部１２によって生成されるヒストグラムを示す。図４の右図を参照すると、黒色のピークと、赤色のピークと、白色のピークそれぞれは、鋭く、かつ、互いに離れている。処理部１２は、図４の右図に示すヒストグラムに基づいて第３の画像の標準偏差σ、エントロピーＳ及びＳＥＲを計算することができる。図４に示すように、第３の画像の標準偏差σは５７、エントロピーＳは９、ＳＥＲは６３である。
【００２３】
図５は、第１の実施形態に係る一例となる自然画像のＳＥＲを示す図である。図５の左図は、第４の画像を示す。第４の画像は、自然画像である。図５の右図は、図５の左図に示される第４の画像から処理部１２によって生成されるヒストグラムを示す。処理部１２は、図５の右図に示すヒストグラムに基づいて第４の画像の標準偏差σ、エントロピーＳ及びＳＥＲを計算することができる。図５に示すように、第４の画像の標準偏差σは３８、エントロピーＳは５０、ＳＥＲは７である。
【００２４】
図４及び図５を比較すると、記号の画像のＳＥＲは、自然画像のＳＥＲよりも大きい。これは、記号の画像が２値画像部分を多く含むからである。したがって、ＳＥＲは、画像に２値画像部分が所定領域以上含まれているか否かの指標として有効である。言い換えると、ＳＥＲは、画像に記号部分が所定領域以上含まれているか否かの指標として有効である。さらに、ＳＥＲは、２値画像部分の鮮明度を定量的に表す指標として有効でもある。言い換えると、ＳＥＲは、記号部分の鮮明度を定量的に表す指標として有効でもある。
【００２５】
次に、画像における記号部分の認識について図６、７及び８を用いて説明する。  
図６は、第１の実施形態に係る一例となる第５の画像における記号部分の認識を示す図である。図６の左上の図は、第５の画像を示す。第５の画像は、自然画像の中に道路標識が写る画像である。道路標識は、第５の画像における記号部分である。第５の画像は、焦点が合っている画像である。
【００２６】
処理部１２は、第５の画像を複数ブロック（領域）に分割する。図６の左上の図を参照すると、処理部１２は、第５の画像を６４ブロックに均等に分割している。なお、画像の分割数は任意に設定可能である。分割サイズは均等でなくてもよい。処理部１２は、ブロック毎の任意の１ラインのデータに基づいて各ブロックのヒストグラムを生成する。ヒストグラムは、各ブロックを構成する画素の階調情報である。なお、任意の１ラインは、各ブロックの横軸または縦軸に対応していてもよい。図６の左下の図は、第５の画像の各ブロックに対応する位置にヒストグラムを並べた２次元のヒストグラムマップである。処理部１２は、各ヒストグラムに基づいて、第５の画像のブロック毎に標準偏差σ及びエントロピーＳを計算する。次に、処理部１２は、第５の画像のブロック毎にＳＥＲを計算する。なお、各ブロックのＳＥＲは、各ブロックの任意の複数ラインまたは全ラインから算出される複数のＳＥＲの平均値であってもよい。
【００２７】
図６の右上段の図は、第５の画像の各ブロックに対応する位置に標準偏差σの値を並べた２次元のσマップである。図６の右中段の図は、第５の画像の各ブロックに対応する位置にエントロピーＳの値を並べた２次元のＳマップである。図６の右下段の図は、第５の画像の各ブロックに対応する位置にＳＥＲの値を並べた２次元のＳＥＲマップである。
【００２８】
図６の右上段の図を参照すると、道路標識の位置に対応するブロックの標準偏差σは、自然画像の位置に対応するブロックの標準偏差σの約２倍である。そのため、道路標識の位置に対応するブロックの標準偏差σは、自然画像の位置に対応するブロックの標準偏差σに対して有意差がある。
【００２９】
図６の右中段の図を参照すると、道路標識の位置に対応するブロックのエントロピーＳは、自然画像の位置に対応するブロックのエントロピーＳの約半分である。そのため、道路標識の位置に対応するブロックのエントロピーσは、自然画像の位置に対応するブロックのエントロピーσに対して有意差がある。
【００３０】
図６の右下段の図を参照すると、道路標識の位置に対応するブロックのＳＥＲは、自然画像の位置に対応するブロックのＳＥＲの２倍以上である。そのため、道路標識の位置に対応するブロックのＳＥＲは、自然画像の位置に対応するブロックのＳＥＲに対して有意差がある。図６の右下段の図は、第１の閾値を超えるＳＥＲのブロックを白地で示している。
【００３１】
処理部１２は、道路標識を認識するための第５の画像の各ブロックのＳＥＲと第１の閾値とを比較する。第１の閾値は、記憶部１３に記憶されている第１の基準値に対応する。第１の基準値は、各ブロックに２値画像部分が所定領域以上含まれているか否かを判断するための基準である。第１の基準値は、任意に設定された値である。例えば、第１の基準値は、予め撮影された鮮明な２値画像のＳＥＲの値に対応していてもよい。処理部１２は、第５の画像の複数ブロックのうち、ＳＥＲが第１の閾値を超えるブロックを判定する。ＳＥＲが第１の閾値を超えるブロックは、２値画像部分が所定領域以上含まれているブロックである。図６の右下段の図から見て取れるように、ＳＥＲが第１の閾値を超えるブロックは、道路標識の位置に対応している。一方、ＳＥＲが第１の閾値を超えないブロックは、２値画像部分が所定領域以上含まれていないブロックである。図６の右下段の図から見て取れるように、ＳＥＲが第１の閾値を超えないブロックは、自然画像の位置に対応している。
【００３２】
処理部１２は、第５の画像において２値画像部分が所定領域以上含まれているブロックを抽出する。処理部１２は、抽出したブロックの位置に基づいて第５の画像の中から２値画像部分の位置を検出する。処理部１２は、抽出したブロックを連結した領域から道路標識を認識する。
【００３３】
図７は、第１の実施形態に係る一例となる第６の画像における記号部分の認識を示す図である。図７の左上の図は、第６の画像を示す。第６の画像は、自然画像の中に道路標識が写る画像である。第６の画像は、第５の画像よりも焦点が合っていない画像である。第６の画像は、第５の画像よりも道路標識が不鮮明な画像である。処理部１２は、第６の画像を第５の画像と同様のブロック数に分割する。図７の左下の図は、第６の画像の各ブロックに対応する位置にヒストグラムを並べたヒストグラムマップである。
【００３４】
図７の右上段の図は、第６の画像の各ブロックに対応する位置に標準偏差σの値を並べたσマップである。図７の右中段の図は、第６の画像の各ブロックに対応する位置にエントロピーＳの値を並べたＳマップである。図７の右下段の図は、第６の画像の各ブロックに対応する位置にＳＥＲの値を並べたＳＥＲマップである。
【００３５】
図７の右上段の図を参照すると、道路標識の位置に対応するブロックの標準偏差σは、自然画像の位置に対応するブロックの標準偏差σの約２倍である。そのため、道路標識の位置に対応するブロックの標準偏差σは、自然画像の位置に対応するブロックの標準偏差σとの間には有意差がある。
【００３６】
図７の右中段の図を参照すると、道路標識の位置に対応するブロックのエントロピーＳは、自然画像の位置に対応するブロックのエントロピーＳとほとんど差がない。そのため、道路標識の位置に対応するブロックのエントロピーＳは、自然画像の位置に対応するブロックのエントロピーＳに対して有意差がない。
【００３７】
図７の右下段の図を参照すると、道路標識の位置に対応するブロックのＳＥＲは、自然画像の位置に対応するブロックのＳＥＲの２倍以上である。そのため、道路標識の位置に対応するブロックのＳＥＲは、自然画像の位置に対応するブロックのＳＥＲに対して有意差がある。これは、標準偏差σにおける有意差が起因している。図７の右下段の図は、第１の閾値を超えるＳＥＲのブロックを白地で示している。図７の右下段の図から見て取れるように、ＳＥＲが第１の閾値を超えるブロックは、道路標識の位置に対応している。図７の右下段の図から見て取れるように、ＳＥＲが第１の閾値を超えないブロックは、自然画像の位置に対応している。
【００３８】
処理部１２は、第６の画像において２値画像部分が所定領域以上含まれているブロックを抽出する。処理部１２は、抽出したブロックの位置に基づいて第６の画像の中から２値画像部分の位置を検出する。処理部１２は、抽出したブロックを連結した領域から道路標識を認識する。
【００３９】
図８は、第１の実施形態に係る一例となる第７の画像における記号部分の認識を示す図である。図８の左上の図は、第７の画像を示す。第７の画像は、自然画像の中に道路標識が写る画像である。第７の画像は、第５の画像よりも道路標識のコントラストが低い画像である。処理部１２は、第７の画像を第５の画像と同様のブロック数に分割する。図８の左下の図は、第７の画像の各ブロックに対応する位置にヒストグラムを並べたヒストグラムマップである。
【００４０】
図８の右上段の図は、第７の画像の各ブロックに対応する位置に標準偏差σの値を並べたσマップである。図８の右中段の図は、第７の画像の各ブロックに対応する位置にエントロピーＳの値を並べたＳマップである。図８の右下段の図は、第７の画像の各ブロックに対応する位置にＳＥＲの値を並べたＳＥＲマップである。
【００４１】
図８の右上段の図を参照すると、道路標識の位置に対応するブロックの標準偏差σは、自然画像の位置に対応するブロックの標準偏差σとほとんど差がない。そのため、道路標識の位置に対応するブロックの標準偏差σは、自然画像の位置に対応するブロックの標準偏差σに対して有意差がない。
【００４２】
図８の右中段の図を参照すると、道路標識の位置に対応するブロックのエントロピーＳは、自然画像の位置に対応するブロックのエントロピーＳの約半分である。そのため、道路標識の位置に対応するブロックのエントロピーＳは、自然画像の位置に対応するブロックのエントロピーＳに対して有意差がある。
【００４３】
図８の右下段の図を参照すると、道路標識の位置に対応するブロックのＳＥＲは、自然画像の位置に対応するブロックのＳＥＲの２倍以上である。そのため、道路標識の位置に対応するブロックのＳＥＲは、自然画像の位置に対応するブロックのＳＥＲに対して有意差がある。これは、エントロピーＳにおける有意差が起因している。図８の右下段の図は、第１の閾値を超えるＳＥＲのブロックを白地で示している。図８の右下段の図から見て取れるように、ＳＥＲが第１の閾値を超えるブロックは、道路標識の位置に対応している。図８の右下段の図から見て取れるように、ＳＥＲが第１の閾値を超えないブロックは、自然画像の位置に対応している。
【００４４】
処理部１２は、第７の画像において２値画像部分が所定領域以上含まれているブロックを抽出する。処理部１２は、抽出したブロックの位置に基づいて第７の画像の中から２値画像部分の位置を検出する。処理部１２は、抽出したブロックを連結した領域から道路標識を認識する。
【００４５】
図６〜８を用いて説明したように、処理部１２は、鮮明な画像、不鮮明な画像またはコントラストが低い画像の何れの画像であっても、画像の中から２値画像部分の位置を短時間で検出することができる。それにより、処理部１２は、画像の中から記号部分を短時間で認識することができる。
【００４６】
次に、画像処理装置１０による処理の一例を説明する。図９は、第１の実施形態に係る一例となる画像処理装置１０による処理のフローチャートである。
【００４７】
撮影部１１は、移動体２０の移動に伴い撮影する（Ａｃｔ１００１）。処理部１２は、撮影部１１から画像を取り込む（Ａｃｔ１００２）。Ａｃｔ１００２において撮影部１１から処理部１２へ取り込まれた画像を元画像という。
【００４８】
処理部１２の分割部１２２は、元画像を複数ブロックに分割する（Ａｃｔ１００３）。処理部１２の計算部１２３は、元画像のブロック毎にＳＥＲを計算する（Ａｃｔ１００４）。Ａｃｔ１００４では、処理部１２の計算部１２３は、各ブロックのヒストグラムを生成する。処理部１２の計算部１２３は、ヒストグラムに基づいて元画像のブロック毎に標準偏差σ及びエントロピーＳを計算する。処理部１２の計算部１２３は、標準偏差σ及びエントロピーＳに基づいて元画像の領域毎にＳＥＲを計算する。
【００４９】
処理部１２の登録部１２５は、ＳＥＲが第１の閾値を超えるブロックを記憶部１３に登録する（Ａｃｔ１００５）。Ａｃｔ１００５では、処理部１２の判定部１２４は、元画像の全てのブロックについてＳＥＲが第１の閾値を超えるか否かを判定する。これにより、処理部１２の判定部１２４は、元画像の全てのブロックからＳＥＲが第１の閾値を超えるブロックを判定する。処理部１２の登録部１２５は、ＳＥＲが第１の閾値を超えるブロックを抽出し、抽出したブロックを記憶部１３に登録する。ＳＥＲが第１の閾値を超えるブロックの位置は、２値画像部分が所定領域以上含まれているブロックであり、記号部分の位置に対応している。ここでは、Ａｃｔ１００５において記憶部１３に登録されたＳＥＲが第１の閾値を超えるブロックを登録ブロックと言うものとする。
【００５０】
処理部１２の認識部１２６は、元画像から対象となる記号部分を認識する（Ａｃｔ１００６）。Ａｃｔ１００６では、処理部１２の認識部１２６は、登録ブロックの位置に基づいて元画像の中から２値画像部分の位置を検出する。２値画像部分の位置は、元画像における登録ブロックの位置に対応している。処理部１２の認識部１２６は、登録ブロックを連結した領域から対象を認識する。処理部１２が取得した登録ブロックの位置、２値画像部分の位置及び対象の情報は、処理部１２による判定結果に基づく情報である。
【００５１】
表示部１４は、対象となる記号部分を表示する（Ａｃｔ１００７）。ここでは、例えば図６〜８で示したような道路標識を対象となる記号部分の例として説明する。Ａｃｔ１００７では、処理部１２は、認識した道路標識の映像信号を判定結果に基づく情報として表示部１４へ送る。例えば、処理部１２は、元画像から抽出した道路標識の映像信号を判定結果に基づく情報として表示部１４へ送ることもできる。この場合、表示部１４は、元画像から抽出された道路標識の画像を表示する。例えば、処理部１２は、道路標識が写る元画像全体の映像信号を判定結果に基づく情報として表示部１４へ送ることもできる。この場合、表示部１４は、処理部１２から送られた道路標識が写る元画像全体を表示する。表示部１４は、道路標識をナビゲーション表示に重畳して表示してもよい。これにより、表示部１４は、目的地までの経路を表示するだけでなく、この経路において処理部１２で実際に認識した道路標識も表示することができる。以上のように、表示部１４は、処理部１２による判定結果に基づく情報を表示することができる。
【００５２】
なお、表示部１４は、道路標識が写る画像の各ブロックに対応する位置にヒストグラムを並べた図６〜８で示したようなヒストグラムマップを表示してもよい。表示部１４は、道路標識が写る画像の各ブロックに対応する位置にＳＥＲの値を並べた図６〜８で示したようなＳＥＲマップを表示してもよい。表示部１４は、道路標識が写る画像の中で登録ブロックに対応する位置を強調表示するようにしてもよい。
【００５３】
なお、処理部１２は、道路標識に対応する警告の音声信号を判定結果に基づく情報として音声出力部１５へ送ってよい。この場合、音声出力部１５は、道路標識に対応する警告を音声で出力することができる。以上のように、音声出力部１５は、判定結果に基づく情報を音声で出力することができる。
【００５４】
移動体２０のドライバーは、表示部１４または音声出力部１５による出力によって道路標識の内容を容易に認識することができる。
【００５５】
第１の実施形態の他の例として、Ａｃｔ１００６の後に、処理部１２は、認識した道路標識に対応する制御信号を判定結果に基づく情報としてインターフェース１６を介して外部装置へ送ることができる。インターフェース１６は、処理部１２による判定結果に基づく情報を外部装置へ出力する。例えば処理部１２が制限速度に関する道路標識を認識した場合、処理部１２は、制限速度に応じた制御信号を、インターフェース１６を介して外部装置へ送る。例えば、外部装置は、移動体２０の動作を制御する制御装置である。外部装置は、処理部１２からの制御信号に基づいて、移動体２０のステアリングまたはブレーキを制御する。なお、処理部１２が道路標識の内容を判断しなくても、外部装置が処理部１２から送られる道路標識の画像に基づいて道路標識の内容を判断するようにしてもよい。この例によれば、移動体２０の自動制御が可能になる。
【００５６】
第１の実施形態の他の例として、処理部１２は、Ａｃｔ１００５の後に登録ブロックをさらに複数のブロックに分割し、分割した各ブロックに対して、Ａｃｔ１００４及びＡｃｔ１００５と同様の処理をすることができる。つまり、処理部１２は、元画像の中から２値画像部分を含むブロックの位置を粗く検出し、その後、２値画像部分を含むブロックを再度分割処理し、詳細な２値画像部分の位置を検出する。これにより、画像処理装置１０は、元画像に対して最初から細かい分割処理を行うよりも、短時間で２値画像部分の位置を検出することができる。さらに、画像処理装置１０は、分割処理を１回だけ行うよりも元画像の中から２値画像部分の位置を正確に検出することができる。
【００５７】
第１の実施形態によれば、画像処理装置１０は、グレースケールの画像だけでなくＲＧＢ混色の画像においても、画像の中から２値画像部分の位置を短時間で検出することができる。それにより、画像処理装置１０は、画像の中から記号部分を短時間で認識することができる。
【００５８】
（第２の実施形態）
第２の実施形態について説明する。第２の実施形態は、画像処理装置１０が元画像からサンプリングした画像に基づいて２値画像部分の位置を検出する点で第１の実施形態と異なる。ここでは、第１の実施形態と異なる部分について説明し、第１の実施形態と同様である部分については説明を省略する。
【００５９】
図１０は、第２の実施形態に係る一例となる第８の画像における２画像値部分の位置の検出を示す図である。
【００６０】
図１０の左の図は、第８の画像を示す。第８の画像は、自然画像の中に２つの道路標識が写る画像である。第８の画像は、処理部１２が撮影部１１から取り込んだ元画像である。図１０の右上の図は、処理部１２が第８の画像から生成する第９の画像を示す。処理部１２は、第８の画像から画素をサンプリングして第９の画像を生成する。一例として、処理部１２は、第８の画像から縦横それぞれ４画素おきに画素をサンプリングして第９の画像を生成する。なお、縦横それぞれのサンプリング間隔は、任意に設定可能である。
【００６１】
図１０の右上の図に示すように、処理部１２は、第９の画像を複数ブロック（領域）に分割する。画像の分割数は、任意に設定可能である。分割サイズは、均等でなくてもよい。処理部１２は、第1の実施形態と同様にブロック毎にＳＥＲを計算する。図１０の右下の図は、第９の画像の各ブロックに対応する位置にＳＥＲの値を並べた２次元のＳＥＲマップである。図８の右下の図は、第２の閾値を超えるＳＥＲのブロックを白地で示している。なお、第２の閾値は、記憶部１３に記憶されている第２の基準値に対応する。第２の基準値は、各ブロックに２値画像部分が所定領域以上含まれているか否かを判断するための基準である。第２の基準値は、任意に設定された値である。例えば、第２の基準値は、予め撮影された鮮明な２値画像のＳＥＲの値に対応していてもよい。
【００６２】
処理部１２は、道路標識を認識するための第９の画像の各ブロックのＳＥＲと第２の閾値とを比較する。処理部１２は、第９の画像の複数ブロックのうち、ＳＥＲが基準値を超えるブロックを判定する。ＳＥＲが基準値を超えるブロックは、２値画像部分が所定領域以上含まれているブロックである。図１０の右下の図から見て取れるように、ＳＥＲが基準値を超えるブロックは、道路標識の位置に対応している。一方、ＳＥＲが基準値を超えないブロックは、２値画像部分が所定領域以上含まれていないブロックである。図１０の右下の図から見て取れるように、ＳＥＲが基準値を超えないブロックは、自然画像の位置に対応している。
【００６３】
処理部１２は、第９の画像の中から２値画像部分が所定領域以上含まれているブロックを抽出する。処理部１２は、第９の画像から抽出したブロックの位置に基づいて、第８の画像の中から２値画像部分の位置を検出する。ここでは、処理部１２は、第８の画像において、抽出したブロックに対応する領域を２値画像部分の位置として検出する。処理部１２は、抽出したブロックを連結した領域に対応する第８の画像の領域から道路標識を認識する。
【００６４】
次に、画像処理装置１０による処理の一例を説明する。図１１は、第２の実施形態に係る画像処理装置１０による一例となる処理のフローチャートである。
【００６５】
撮影部１１は、移動体２０の移動に伴い撮影する（Ａｃｔ２００１）。Ａｃｔ２００１は、上述のＡｃｔ１００１と同様である。処理部１２は、撮影部１１から画像を取り込む（Ａｃｔ２００２）。Ａｃｔ２００２は、上述のＡｃｔ１００２と同様である。
【００６６】
処理部１２の生成部１２１は、撮影部１１から処理部１２へ取り込まれた元画像から数画素おきに画素をサンプリングし、サイズを縮小した画像を生成する（Ａｃｔ２００３）。ここでは、Ａｃｔ２００３において生成される画像をサンプリング画像という。
【００６７】
処理部１２の分割部１２２は、サンプリング画像を複数ブロックに分割する（Ａｃｔ２００４）。処理部１２の計算部１２３は、サンプリング画像のブロック毎にＳＥＲを計算する（Ａｃｔ２００５）。Ａｃｔ２００５では、上述のＡｃｔ１００４と同様である。
【００６８】
処理部１２の登録部１２５は、ＳＥＲが第２の閾値を超えるブロックを記憶部１３に登録する（Ａｃｔ２００６）。Ａｃｔ２００６は、上述のＡｃｔ１００５と同様である。Ａｃｔ２００６において記憶部１３に登録されたブロックを登録ブロックと言うものとする。
【００６９】
処理部１２の認識部１２６は、元画像から対象となる記号部分を認識する（Ａｃｔ２００７）。Ａｃｔ２００７では、処理部１２の認識部１２６は、登録ブロックの位置に基づいて、元画像の中から２値画像部分の位置を検出する。ここでは、処理部１２の認識部１２６は、元画像において、登録ブロックに対応する領域を２値画像部分の位置として検出する。処理部１２の認識部１２６は、登録ブロックを連結した領域に対応する元画像の領域から対象を認識する。
【００７０】
表示部１４は、対象となる記号部分を表示する（Ａｃｔ２００８）。Ａｃｔ２００８は、Ａｃｔ１００７と同様である。
【００７１】
第２の実施形態は、画像処理装置１０がサンプリング画像に基づいて記号部分を認識するため、第１の実施形態よりも画像処理装置１０による処理量を減らすことができる。そのため、第２の実施形態に係る画像処理装置１０は、第１の実施形態よりも画像の中から記号部分を短時間で認識することができる。
【００７２】
（第３の実施形態）
第３の実施形態について説明する。第３の実施形態に係る画像処理装置４０は、第１の実施形態及び第２の実施形態に係る画像処理装置１０と用途が異なる。図１２は、第３の実施形態に係る一例となる画像処理装置４０のブロック図である。  
画像処理装置４０は、倉庫や店舗の棚５０に載せられた複数の物品の在庫管理等に用いられる。画像処理装置４０は、撮影部４１と、処理部４２と、記憶部４３と、表示部４４と、音声出力部４５と、インターフェース４６と、移動体４７と、制御部４８を備える。なお、画像処理装置４０は、これら全ての要素を備える必要はない。例えば、画像処理装置４０は、少なくとも処理部４２及び記憶部４３を備える装置であってもよい。
【００７３】
撮影部４１、処理部４２、記憶部４３、表示部４４、音声出力部４５及びインターフェース４６は、上述の撮影部１１、処理部１２、記憶部１３、表示部１４、音声出力部１５及びインターフェース１６それぞれと同様の要素である。
【００７４】
処理部４２は、生成部４２１と、分割部４２２と、計算部４２３と、判定部４２４と、登録部４２５と、認識部４２６を備える。生成部４２１、分割部４２２、計算部４２３、判定部４２４、登録部４２５及び認識部４２６は、上述の生成部１２１、分割部１２２、計算部１２３と、判定部１２４、登録部１２５及び認識部１２６それぞれと同様の要素である。記憶部４３は、上述の基準値１３１と同様の基準値４３１を記憶している。
【００７５】
移動体４７は、画像処理装置４０を何れの方向にも移動させる台車である。移動体４７は、直線状に並べられた棚５０の延在方向と平行な方向に走行することもできるし、棚５０の延在方向と直交する方向に走行することもできる。
【００７６】
制御部４８は、処理部４２からの制御信号に基づいて移動体４７の動作を制御する。制御部４８は、移動体４７の走行方向や、走行の開始及び停止を制御する。移動体４７の動作は、処理部４２で判断されても、制御部４８で判断されてもよい。
【００７７】
図１３は、第３の実施形態に係る一例となる画像処理装置４０の移動方向を説明する図である。図１３の左図と図１３の右図とは、互いに直交した方向から見た図である。図１３の左図を参照すると、画像処理装置４０は、移動体４７の走行によって棚５０の延在方向と平行に移動する。したがって、撮影部４１は、棚５０の延在方向と平行に移動しながら、棚５０に載せられた複数の物品に貼られているそれぞれのラベルを順次撮影することができる。第３の実施形態では、画像に写るラベル部分が記号部分に相当する。図１３の右図を参照すると、画像処理装置４０は、棚５０の延在方向と平行な方向への移動を停止し、移動体１７の走行によって棚５０の延在方向と直交する方向へ移動することもできる。
【００７８】
画像処理装置４０は、第１の実施形態及び第２の実施形態と同様の処理により、画像の中からラベル部分を短時間で認識することができる。第３の実施形態によれば、第１の実施形態及び第２の実施形態と同様の効果を得ることができる。
【００７９】
動作を実行する主体は例えば、ハードウェア、ハードウェアとソフトウェアとの複合体、ソフトウェア、及び実行中のソフトウェアなどといった、コンピュータに係る主体である。動作を実行する主体は例えば、プロセッサ上で実行されるプロセス、プロセッサ、オブジェクト、実行ファイル、スレッド、プログラムおよびコンピュータであるがこれらに限るものではない。例えば、画像処理装置やそこで実行されるアプリケーションが動作を実行する主体であってもよい。プロセスやスレッドに、動作を実行する主体を複数演じさせてもよい。動作を実行する主体が１つの画像処理装置内にあってもよいし、複数の画像処理装置へ分配されたかたちであってもよい。
【００８０】
装置内部に以上説明した機能が予め記録されていてもよいし、同様の機能をネットワークから装置にダウンロードしてもよいし、同様の機能を記録媒体に記憶させたものを装置にインストールしてもよい。記録媒体としては、ディスクＲＯＭやメモリカード等プログラムを記憶でき、かつ装置が読み取り可能な記録媒体であれば、その形態は何れの形態であっても良い。またこのように予めインストールやダウンロードにより得る機能は装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。
【００８１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８２】
１０…画像処理装置、１１…撮影部、１２…処理部、１３…記憶部、１４…表示部、１５…音声出力部、１６…インターフェース、２０…移動体、３０…道路標識、４０…画像処理装置、４１…撮影部、４２…処理部、４３…記憶部、４４…表示部、４５…音声出力部、４６…インターフェース、４７…移動体、４８…制御部、５０…棚、１２１…生成部、１２２…分割部、１２３…計算部、１２４…判定部、１２５…登録部、１２６…認識部、１３１…基準値、４２１…生成部、４２２…分割部、４２３…計算部、４２４…判定部、４２５…登録部、４２６…認識部、４３１…基準値。
【図１】
0006313724.tif 000005
【図２】
0006313724.tif 000006
【図３】
0006313724.tif 000007
【図４】
0006313724.tif 000008
【図５】
0006313724.tif 000009
【図６】
0006313724.tif 000010
【図７】
0006313724.tif 000011
【図８】
0006313724.tif 000012
【図９】
0006313724.tif 000013
【図１０】
0006313724.tif 000014
【図１１】
0006313724.tif 000015
【図１２】
0006313724.tif 000016
【図１３】
0006313724.tif 000017