(57)【要約】  画像処理装置は、カメラで撮像されたカラーの画像を取得する画像取得部と、カメラの撮像範囲の明るさを判定する明るさ判定部と、明るさ判定部の判定結果に基づいて、３色以上の領域を含むラベルに付される３色以上の色の中から、２色以上の検出対象色を決定する検出対象色決定部と、画像取得部が取得した画像から、検出対象色決定部が決定した検出対象色の領域を抽出することにより、ラベルを検出するラベル検出部とを備える。
2019008936.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮像されたカラーの画像を取得する画像取得部と、
前記カメラの撮像範囲の明るさを判定する明るさ判定部と、
前記明るさ判定部の判定結果に基づいて、３色以上の領域を含むラベルに付される前記３色以上の色の中から、２色以上の検出対象色を決定する検出対象色決定部と、
前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部と
を備える画像処理装置。
【請求項２】
前記明るさ判定部は、
前記画像取得部が取得した前記画像、前記カメラから取得される明るさの調整に関する撮像パラメータ情報、および前記カメラの撮像範囲に含まれる位置に係る照度を計測する照度センサから取得される照度情報の少なくとも１つに基づいて、前記明るさを判定する請求項１に記載の画像処理装置。
【請求項３】
前記検出対象色決定部は、
前記３色以上の色のうち、少なくとも波長が最長の色および波長が最短の色以外の色である中間波長色を、前記検出対象色と決定する請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記ラベル検出部は、
前記中間波長色の領域から順に前記検出対象色の領域を抽出する請求項３に記載の画像処理装置。
【請求項５】
前記ラベルは、赤色領域、青色領域および緑色領域を含む請求項１〜請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
さらに、前記ラベル検出部による検出結果に応じた情報を出力する出力部を備える請求項１〜請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
コンピュータを、
カメラで撮像されたカラーの画像を取得する画像取得部と、
前記カメラの撮像範囲の明るさを判定する明るさ判定部と、
前記明るさ判定部の判定結果に基づいて、３色以上の領域を含むラベルに付される前記３色以上の色の中から、２色以上の検出対象色を決定する検出対象色決定部と、
前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部と
して機能させるためのコンピュータプログラム。
【請求項８】
検出対象物に取り付けられる、３色以上の領域を含むラベルと、
カラーの画像を撮影するカメラと、
請求項１〜請求項６のいずれか１項に記載の画像処理装置と
を備える画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、コンピュータプログラム、および画像処理システムに関する。
本出願は、２０１７年７月３日出願の日本出願第２０１７−１３０１９４号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
【背景技術】
【０００２】
従来、複数の色領域を含むラベルが物体を認識するために用いられている。例えば、特許文献１には、ラベルの一例として、マークと呼ばれる色領域を複数含む二次元コードが開示されている。二次元コードに含まれるマークの色およびマークの位置により、所定の情報がエンコードされる。つまり、二次元コードは、所定の情報を表す。このため、カメラで二次元コードを撮影した画像から、複数のマークを検出し、検出したマークの色およびマークの位置に基づいて、情報をデコードすることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−０７６３９５号公報
【発明の概要】
【０００４】
（１）本開示の画像処理装置は、カメラで撮像されたカラーの画像を取得する画像取得部と、前記カメラの撮像範囲の明るさを判定する明るさ判定部と、前記明るさ判定部の判定結果に基づいて、３色以上の領域を含むラベルに付される前記３色以上の色の中から、２色以上の検出対象色を決定する検出対象色決定部と、前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部とを備える。
（７）本開示のコンピュータプログラムは、コンピュータを、カメラで撮像されたカラーの画像を取得する画像取得部と、前記カメラの撮像範囲の明るさを判定する明るさ判定部と、前記明るさ判定部の判定結果に基づいて、３色以上の領域を含むラベルに付される前記３色以上の色の中から、２色以上の検出対象色を決定する検出対象色決定部と、前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部として機能させる。
（８）本開示の画像処理システムは、検出対象物に取り付けられる、３色以上の領域を含むラベルと、カラーの画像を撮影するカメラと、上述の画像処理装置とを備える。
【０００５】
なお、本開示は、このような特徴的な処理部を備える画像処理装置として実現することができるだけでなく、画像処理装置に含まれる特徴的な処理部が実行する処理をステップとして含む画像処理方法として実現することができる。また、上述のコンピュータプログラムを、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本開示は、画像処理装置の一部又は全部を実現する半導体集積回路として実現することもできる。
【図面の簡単な説明】
【０００６】
【図１】実施の形態１に係る画像処理システムの取付例を示す図である。
【図２】実施の形態１に係る画像処理システムの構成を示すブロック図である。
【図３Ａ】人物が被るヘルメットを側方から見た図である。
【図３Ｂ】人物が被るヘルメットを上方から見た図である。
【図４】各色ラベルのマンセル表色系（ＪＩＳＺ８７２１）における表現を示す図である。
【図５】各色ラベルの分光反射率を示す図である。
【図６】太陽光の分光分布を示す図である。
【図７】太陽光下の明るい環境で撮影されたラベルを模式的に示す図である。
【図８】白熱電球の光の分光分布を示す図である。
【図９】白熱電球光下の暗い環境で撮影されたラベルを模式的に示す図である。
【図１０】明暗基準ＤＢの一例を示す図である。
【図１１Ａ】画像上の緑色領域と赤色領域との一例を示す図である。
【図１１Ｂ】画像上の緑色領域と赤色領域との一例を示す図である。
【図１２】実施の形態１に係る画像処理装置が実行する処理の手順を示すフローチャートである。
【図１３】ヘルメットに貼り付けられたラベルの一例を示す図である。
【図１４】実施の形態２に係る画像処理装置が実行する処理の手順を示すフローチャートである。
【図１５】実施の形態２の変形例に係る画像処理装置が実行する処理の手順を示すフローチャートである。
【図１６】実施の形態２に係る画像処理システムの構成を示すブロック図である。
【図１７】明暗基準ＤＢの一例を示す図である。
【図１８】実施の形態３に係る画像処理システムの構成を示すブロック図である。
【図１９】明暗基準ＤＢの一例を示す図である。
【図２０】明暗基準ＤＢの一例を示す図である。
【図２１】人物を正面から見た図である。
【図２２】段ボール箱の外観図である。
【図２３】フォークリフトが走行する道路を模式的に示す図である。
【発明を実施するための形態】
【０００７】
[本開示が解決しようとする課題]
しかし、マークの色は、照明の影響を受けやすく、同じ色のマークであっても、照明が異なると、異なる色のマークとしてカメラに撮影される場合がある。具体的には、日中の屋外のように太陽光下で赤色マークを撮影した場合には、赤色マークが黄色く映る場合がある。また、屋内の白熱電球光下で青色マークを撮影した場合には、青色マークが黒く映る場合がある。マークが本来の色とは異なる色の領域として撮影された場合には、二次元コードの誤検出や、情報の誤認識を起こしてしまう。
【０００８】
そこで、照明の影響を受けずに、複数の色領域を含むラベルを検出することのできる画像処理装置、コンピュータプログラム、および画像処理システムを提供することを目的とする。
【０００９】
[本開示の効果]
本開示によると、照明の影響を受けずに、複数の色領域を含むラベルを検出することができる。
【００１０】
［本願発明の実施形態の概要］
最初に本開示の実施形態の概要を列記して説明する。
（１）本開示の一実施形態に係る画像処理装置は、カメラで撮像されたカラーの画像を取得する画像取得部と、前記カメラの撮像範囲の明るさを判定する明るさ判定部と、前記明るさ判定部の判定結果に基づいて、３色以上の領域を含むラベルに付される前記３色以上の色の中から、２色以上の検出対象色を決定する検出対象色決定部と、前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部とを備える。
【００１１】
この構成によると、３色以上の領域を含むラベルの色の中から、カメラの撮像範囲の明るさに基づいて、２色以上の検出対象色が決定される。これにより、明るさによっては色の見え方が変化するような色を除いて検出対象色を決定することができる。よって、検出対象色の領域を抽出することで、照明の影響を受けずに、ラベルを検出することができる。
【００１２】
（２）好ましくは、前記明るさ判定部は、前記画像取得部が取得した前記画像、前記カメラから取得される明るさの調整に関する撮像パラメータ情報、および前記カメラの撮像範囲に含まれる位置に係る照度を計測する照度センサから取得される照度情報の少なくとも１つに基づいて、前記明るさを判定する。
【００１３】
この構成によると、カメラの撮像範囲の明るさを容易に判定することができる。特に、画像または撮像パラメータに基づいて明るさを判定する場合には、明るさ判定のための特別な装置を設ける必要がないため、低コストで明るさを判定することができる。
【００１４】
（３）また、前記検出対象色決定部は、前記３色以上の色のうち、少なくとも波長が最長の色および波長が最短の色以外の色である中間波長色を、前記検出対象色と決定してもよい。
【００１５】
カメラの撮像範囲が明るい場合には、波長の長い色が本来の色とは異なる色として撮影され、カメラの撮像範囲が暗い場合には、波長の短い色が本来の色とは異なる色として撮影される。このため、少なくともこれらの色を除く中間波長色は、照明の影響を受けにくい。よって、この構成によると、照明の影響を受けずに、ラベルを検出することができる。
【００１６】
（４）また、前記ラベル検出部は、前記中間波長色の領域から順に前記検出対象色の領域を抽出してもよい。
【００１７】
この構成によると、最も照明の影響を受けにくい中間波長色の領域から優先して、領域抽出を行うことができる。よって、中間波長色の領域が抽出できなかった場合には、他の検出対象色の領域を抽出する必要がなく、処理時間を短縮することができる。
【００１８】
（５）また、前記ラベルは、赤色領域、青色領域および緑色領域を含んでもよい。
【００１９】
光の三原色である赤色、青色および緑色は、波長が適度に離れた色同士である。このため、いずれか一色の領域が照明の影響を受けて本来の色とは異なる色領域として撮影された場合であっても、他の二色は照明の影響を受けずに、元の色の色領域として撮影される。よって、当該他の二色を検出対象色とすることにより、照明の影響を受けずに、ラベルを検出することができる。
【００２０】
（６）また、上述の画像処理装置は、さらに、前記ラベル検出部による検出結果に応じた情報を出力する出力部を備えてもよい。
【００２１】
この構成によると、例えば、ラベルを検出した際に、ラベルを検出したことを示す音声、アラーム音等の音をスピーカーから出力させたり、ラベルの検出結果を示す画像をディスプレイ装置に表示させたりできる。これにより、ユーザに、ラベルの検出結果を通知することができる。
【００２２】
（７）本開示の他の実施形態に係るコンピュータプログラムは、コンピュータを、カメラで撮像されたカラーの画像を取得する画像取得部と、前記カメラの撮像範囲の明るさを判定する明るさ判定部と、前記明るさ判定部の判定結果に基づいて、３色以上の領域を含むラベルに付される前記３色以上の色の中から、２色以上の検出対象色を決定する検出対象色決定部と、前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部として機能させる。
【００２３】
この構成によると、コンピュータを、上述の画像処理装置として実現することができる。このため、上述の画像処理装置と同様の作用および効果を奏することができる。
【００２４】
（８）本開示の他の実施形態に係る画像処理システムは、検出対象物に取り付けられる、３色以上の領域を含むラベルと、カラーの画像を撮影するカメラと、上述の画像処理装置とを備える。
【００２５】
この構成には、上述の画像処理装置が含まれる。このため、上述の画像処理装置と同様の作用および効果を奏することができる。
【００２６】
［本願発明の実施形態の詳細］
以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。本開示は、請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、本開示の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
【００２７】
また、同一の構成要素には同一の符号を付す。それらの機能および名称も同様であるため、それらの説明は適宜省略する。
【００２８】
（実施の形態１）
以下、実施の形態１に係る画像処理システムについて説明する。
［画像処理システムの構成］
図１は、実施の形態１に係る画像処理システムの取付例を示す図である。図２は、実施の形態１に係る画像処理システムの構成を示すブロック図である。
【００２９】
以下では、フォークリフトにカメラおよび画像処理装置を設置した画像処理システムについて説明するが、カメラおよび画像処理装置の設置される場所はフォークリフトに限定されるものではない。例えば、自動車にこれらが取り付けられていてもよいし、カメラを所定エリアの監視用途に用いる場合には、当該エリアを撮像可能な場所にカメラを設置してもよい。
【００３０】
画像処理システム１は、フォークリフト２５の周囲を監視するためのシステムであり、カメラ２０と、照度センサ２６と、画像処理装置１０と、音出力装置３０と、表示装置４０と、端末装置５０とを備える。なお、図１および図２に示す画像処理システム１の構成は一例であり、例えば、音出力装置３０、表示装置４０および端末装置５０のいずれかが備えられていなくてもよい。
【００３１】
カメラ２０は、例えば、フォークリフト２５の後方を撮像可能な位置（例えば、フォークリフト２５のフォークヘッドガード後端位置など）に取り付けられ、フォークリフト２５の後方のカラー画像を撮像する。カメラ２０のカメラレンズは、例えば、画角１２０°以上の超広角レンズである。
【００３２】
フォークリフト２５の後方には、フォークリフト２５の撮像領域２１から外れる死角領域２２が生じる場合がある。この死角領域２２をカバーするために、フォークリフト２５の撮像領域２１内にミラー６０が設置されている。つまり、カメラ２０がミラー６０越しに撮像した場合の撮像領域６１が死角領域２２をカバーするようにミラー６０を配置することにより、カメラ２０が、死角領域２２に存在する人物７２を撮像することができる。なお、死角領域２２を撮像するために、ミラー６０の代わりに、カメラ２０とは異なる他のカメラを配置してもよい。
【００３３】
照度センサ２６は、受光素子に入射した光を電流に変換して照度を測定するセンサである。照度センサ２６は、例えば、フォークリフト２５の天井部分等に配置され、カメラ２０の撮像範囲に含まれる位置の照度を測定する。なお、照度センサ２６は、カメラ２０の近傍または撮像領域２１内に設けられるのが望ましい。また、照度センサ２６は、カメラ２０の光軸方向の照度を測定可能なように、該光軸方向と平行な向きに取り付けられるのが望ましい。
【００３４】
なお、照度センサ２６は、必ずしもフォークリフト２５に設置されていなくてもよい。例えば、照度センサ２６Ａが、フォークリフト２５の走行可能範囲内に予め設置されていてもよい。つまり、照度センサ２６Ａが、フォークリフト２５の走行経路上や走行経路の近傍に設置されていてもよい。ここで、照度センサ２６Ａは、照度センサ２６と同様に周囲の照度を測定するセンサである。
【００３５】
また、照度センサ２６または２６Ａによる照度の測定範囲は、カメラ２０の撮影範囲に含まれていることが望ましいが、数ｍ程度であれば、測定範囲および撮影範囲が多少ずれていても良い。多少の位置ずれにより照度が急激に変化することは考えにくいため、この程度のずれであれば、画像処理の結果に影響を及ぼさないと考えられるからである。
【００３６】
画像処理装置１０は、フォークリフト２５に設置されたコンピュータである。画像処理装置１０は、カメラ２０に接続され、カメラ２０が撮像した撮像領域２１および６１の画像から、人物７１および７２を検出する。なお、本実施の形態では、人物７１および７２には、必ず所定の３色以上の領域が所定の位置関係で配置されているラベルを付けているものとする。
【００３７】
図３Ａは、人物が被るヘルメットを側方から見た図であり、図３Ｂは、そのヘルメットを上方から見た図である。
【００３８】
図３Ａおよび図３Ｂに示すように、ヘルメット８０には、ラベル９０Ａが貼り付けられている。ラベル９０Ａは、平行に配置された青ラベル９０Ｂ、赤ラベル９０Ｒおよび緑ラベル９０Ｇから構成される。図３Ａに示すように、ヘルメット８０の幅が２８３ｍｍ、高さが１４８ｍｍとした場合、ラベル９０Ａの幅は約６０ｍｍ、長さは約１８０ｍｍ以上２５０ｍｍ以下とすることができる。
【００３９】
なお、青ラベル９０Ｂおよび赤ラベル９０Ｒとの間、および赤ラベル９０Ｒと緑ラベル９０Ｇとの間には、それぞれ間隙領域９０Ｓが設けられている。間隙領域９０Ｓは、例えば黒色の領域であり、２〜３ｍｍの幅を有する。間隙領域９０Ｓを設けることにより、フォークリフト２５の走行時の振動などによりカメラ２０で撮像された画像に乱れが生じている場合であっても、ある色ラベルの色が隣接する色ラベルの色と混じり合って撮像されるのを防止することができる。
【００４０】
図３Ｂに示すように、同様のラベル９０Ａがヘルメット８０の上方にも貼り付けられている。また、ラベル９０Ａは、ヘルメット８０の反対側の側面および前後にも貼り付けられている。このように、あらゆる箇所にラベル９０Ａを貼り付けることで、人物がどのような姿勢（直立、しゃがみ込み等）を行っても、いずれかのラベル９０Ａがカメラ２０に撮像されるようにすることができる。
【００４１】
ラベル９０Ａは、光の３原色のラベルである赤ラベル９０Ｒ、緑ラベル９０Ｇおよび青ラベル９０Ｂから構成されている。
【００４２】
図４は、各色ラベルのマンセル表色系（ＪＩＳＺ８７２１）における表現を示す図である。
【００４３】
図４において、Ｈ、Ｖ、Ｃは、それぞれマンセル表色系における色相、明度、彩度を示す。つまり、赤ラベル９０Ｒの色彩は、マンセル表色系の色相（Ｈ）が１０Ｐ〜７．５ＹＲの範囲に含まれ、明度（Ｖ）が３以上であり、彩度（Ｃ）が２以上である。緑ラベル９０Ｇの色彩は、マンセル表色系の色相（Ｈ）が２．５ＧＹ〜２．５ＢＧの範囲に含まれ、明度（Ｖ）が３以上であり、彩度（Ｃ）が２以上である。青ラベル９０Ｂの色彩は、マンセル表色系の色相（Ｈ）が５ＢＧ〜５Ｐの範囲に含まれ、明度（Ｖ）が１以上であり、彩度（Ｃ）が１以上である。ただし、ラベル９０Ａは、光の３原色のラベルから構成されるものには限定されず、それ以外の色のラベルから構成されていてもよい。
【００４４】
図５は、各色ラベルの分光反射率を示す図である。横軸は波長（ｎｍ）を示し、縦軸は分光反射率（％）を示す。
【００４５】
図５に示すように、赤ラベル９０Ｒが示す赤色は、波長７００ｎｍ付近に分光反射率のピークを有する。緑ラベル９０Ｇが示す緑色は、波長５４６．１ｎｍ付近に分光反射率のピークを有する。青ラベル９０Ｂが示す青色は、波長４３５．８ｎｍ付近に分光反射率のピークを有する。なお、各色の分光反射率のピークは上記した値に限定されるものではない。例えば、赤色は、波長７００±３０ｎｍに分光反射率のピークを有していればよい。緑色は、波長５４６．１±３０ｎｍに分光反射率のピークを有していればよい。青色は、波長４３５．８±３０ｎｍに分光反射率のピークを有していればよい。
【００４６】
また、青ラベル９０Ｂ、赤ラベル９０Ｒおよび緑ラベル９０Ｇは、蛍光テープにより構成されていたり、これらのラベルに蛍光塗料が塗られたりしていることが好ましい。これにより、夜間や曇天などの照度が低い環境下であっても、ラベルを認識しやすくすることができる。また、赤外線カメラなどの特殊なカメラを用いなくてもラベルを認識することができる。
【００４７】
図１を参照して、画像処理装置１０は、カメラ２０が撮像した画像からラベル９０Ａを検出することにより、人物の検出を行う。なお、画像処理装置１０の詳細な構成については後述する。
【００４８】
音出力装置３０は、例えば、フォークリフト２５のドライバーの座席付近に設置され、スピーカーを含んで構成される。音出力装置３０は、画像処理装置１０に接続され、画像処理装置１０が人物７１または人物７２を検出したことをドライバーに通知するメッセージ音声やアラーム音などの通知音を出力する。
【００４９】
表示装置４０は、例えば、フォークリフト２５のドライバーが視認可能な位置に設置され、液晶ディスプレイなどを含んで構成される。表示装置４０は、画像処理装置１０に接続され、画像処理装置１０が人物７１または人物７２を検出したことを知らせる画像を表示する。
【００５０】
端末装置５０は、例えば、フォークリフト２５を管理する管理室などフォークリフト２５と離れた場所に設置されるコンピュータである。端末装置５０は、画像処理装置１０に接続され、画像処理装置１０が人物７１または人物７２を検出したことを知らせる画像または音を出力したり、人物７１または人物７２を検出したことを時刻情報とともにログ情報として記録したりする。なお、端末装置５０と画像処理装置１０との間は、４Ｇなどの通信規格に従った携帯電話回線や、Ｗｉ−Ｆｉ（登録商標）などの無線ＬＡＮ（Local Area Network）により接続されていてもよい。
【００５１】
なお、端末装置５０は、人物７１または７２が携帯するスマートフォンなどであってもよい。これにより、画像処理装置１０により自身が検出されたこと、つまり、近くにフォークリフト２５が存在することを、人物７１または７２に通知することができる。
【００５２】
なお、画像処理装置１０、カメラ２０、音出力装置３０および表示装置４０の機能が、スマートフォンやカメラ付のコンピュータなどに備えられていてもよい。例えば、図１に示したカメラ２０の位置に、スマートフォンを取り付けることにより、スマートフォンが撮像した画像を、スマートフォンが処理して、人物７１および７２を検出する。また、スマートフォンが検出結果を音または画像により通知する。ただし、スマートフォンがカメラ２０の位置に取り付けられている場合には、ドライバーは画像を見ることができない。このため、別のタブレット装置などをドライバーが視認可能な位置に設置し、タブレット装置がスマートフォンから送信された画像を表示するようにしてもよい。タブレット装置とスマートフォンとの間は、例えば、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）などの無線通信規格に従い無線接続されていてもよい。
【００５３】
［照明環境によるラベルの色の見え方の変化について］
次に、照明環境によって、ラベル９０Ａの色の見え方が変化する現象について説明する。
【００５４】
図６は、太陽光の分光分布を示す図である。横軸が波長を示し、縦軸が放射エネルギーを示す。
【００５５】
太陽光に含まれる赤色、緑色および青色の光の成分を比較すると、赤色の光の成分が、緑色および青色の光の成分よりも少ない。このため、太陽を光源とする屋外でカメラ２０が赤色領域を撮影した場合には、カメラ２０が受光する赤色成分の光が相対的に弱くなる。よって、画像上では赤色領域が黄色領域として映る場合がある。
【００５６】
図７は、太陽光下の明るい環境で撮影されたラベルを模式的に示す図である。図７に示すラベル９０Ａは、図３Ａに示したラベル９０Ａと同じである。ただし、太陽光の影響により、赤色成分の光の強度が弱い。このため、画像上では赤ラベル９０Ｒが、黄色いラベルとして映ってしまう。
【００５７】
図８は、白熱電球の光の分光分布を示す図である。横軸が波長を示し、縦軸が比エネルギーを示す。比エネルギーは、測定した波長範囲での発光強度の最大値を１００％とした場合の相対的な強度を示す。
【００５８】
白熱電球光に含まれる赤色、緑色および青色の光の成分を比較すると、青色の成分が赤色および緑色の成分よりも少ない。このため、白熱電球を光源とする屋内でカメラ２０が青色領域を撮影した場合には、カメラ２０が受光する青色成分の光が相対的に弱くなる。よって、画像上では青色領域が黒色領域として映る場合がある。
【００５９】
図９は、白熱電球光下の暗い環境で撮影されたラベルを模式的に示す図である。図９に示すラベル９０Ａは、図３Ａに示したラベル９０Ａと同じである。ただし、白熱電球光の影響により、青色成分の光の強度が弱い。このため、画像上では青ラベル９０Ｂが、黒色のラベルとして映ってしまう。
【００６０】
なお、暗い環境で用いられる照明は、白熱電球に限定されるものではなく、その他の色の電球であってもよいし、蛍光灯やＬＥＤ（Light Emitting Diode）照明等であってもよい。
【００６１】
このように、照明の影響により各色ラベルの色の見え方が変化する場合がある。本実施の形態では、照明の影響を受けずに、ラベル９０Ａを検出することのできる画像処理装置１０について、以下説明する。
【００６２】
［画像処理装置１０の構成］
図２を参照して、画像処理装置１０の機能的な構成についてより詳細に説明する。
【００６３】
画像処理装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、通信Ｉ／Ｆ（インタフェース）、タイマーなどを備える一般的なコンピュータにより構成される。画像処理装置１０は、ＨＤＤまたはＲＯＭからＲＡＭに読み出したコンピュータプログラムを実行することにより実現される機能的な構成として、画像取得部１１と、明るさ判定部１２と、検出対象色決定部１３と、ラベル検出部１４と、出力部１５とを備える。また、画像処理装置１０は、記憶装置１６を備える。
【００６４】
画像取得部１１は、通信Ｉ／Ｆを介して、カメラ２０が撮像したカラーの画像を取得する。つまり、図１に示した撮像領域２１および６１をカメラ２０が撮像した画像を取得する。
【００６５】
明るさ判定部１２は、カメラ２０の撮像範囲の明るさを判定する。つまり、明るさ判定部１２は、照度センサ２６が測定したカメラ２０の撮像範囲の照度情報に基づいて、後述する記憶装置１６に記憶されている明暗基準ＤＢ（データベース）を参照して、カメラ２０の撮像範囲が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定する。
【００６６】
なお、明るさ判定部１２が、フォークリフト２５以外に設置された照度センサ２６Ａから照度情報を取得する場合には、無線通信により照度センサ２６Ａから照度情報を直接受信してもよいし、端末装置５０を経由して照度センサ２６Ａから照度情報を受信してもよい。その際、明るさ判定部１２は、フォークリフト２５の位置とカメラ２０のカメラパラメータ（光軸方向、ズーム倍率等）とから、カメラ２０の撮像範囲に含まれる照度センサ２６Ａを特定し、特定した照度センサ２６Ａから照度情報を取得する。なお、明るさ判定部１２は、照度センサ２６Ａから照度情報とともに位置情報を取得可能であれば、取得した位置情報が示す照度センサ２６Ａの位置と、フォークリフト２５の位置とを比較することにより、カメラ２０の撮像範囲に含まれる照度センサ２６Ａを特定してもよい。
【００６７】
図１０は、明暗基準ＤＢ１７の一例を示す図である。明暗基準ＤＢ１７は、照度（ＩＬ）に基づいて、当該照度を有する環境が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定するための基準が示されている。例えば、図１０に示す明暗基準ＤＢ１７によると、照度がＩＬ＜５００ｌｘの環境は、暗い環境である。照度が５００≦ＩＬ＜１００００の環境は、中程度の明るさの環境である。照度がＩＬ≧１００００の環境は、明るい環境である。
【００６８】
つまり、明るさ判定部１２は、照度センサ２６が測定した照度ＩＬがＩＬ＜５００ｌｘであれば、カメラ２０の撮像範囲は暗い環境であると判定する。また、明るさ判定部１２は、照度センサ２６が測定した照度ＩＬが５００≦ＩＬ＜１００００であれば、カメラ２０の撮像範囲は中程度の明るさの環境であると判定する。さらに、明るさ判定部１２は、照度センサ２６が測定した照度ＩＬがＩＬ≧１００００であれば、カメラ２０の撮像範囲は明るい環境であると判定する。
【００６９】
検出対象色決定部１３は、明るさ判定部１２の判定結果に基づいて、ラベル９０Ａに付された３色の中から２色以上の検出対象色を決定する。つまり、検出対象色決定部１３は、照明環境によって、見え方が変化する色を除く色を検出対象色として決定する。
【００７０】
具体的には、明るい環境では、赤色領域が黄色領域として画像に映る可能性がある。このため、検出対象色決定部１３は、明るさ判定部１２が明るい環境と判定した場合には、赤色を除く、緑色および青色の２色を検出対象色として決定する。
【００７１】
また、暗い環境では、青色領域が黒色領域として画像に映る可能性がある。このため、検出対象色決定部１３は、明るさ判定部１２が暗い環境と判定した場合には、青色を除く、赤色および緑色の２色を検出対象色として決定する。
【００７２】
ただし、ここで言う暗い環境は白熱電球光下の環境を示している。このため、蛍光灯やＬＥＤ照明などの他の人工光源下では、見え方が変化する色が青色とは限らない。このため、人工光源が白熱電球以外の場合には、検出対象色決定部１３は、人工光源の種類に応じて、見え方が変化する色を除いた色を、検出対象色として決定する。
【００７３】
中程度の明るさの環境で、赤色領域、緑色領域および青色領域をカメラ２０で撮影した場合には、カメラ２０が受光する光の強度は各領域間で大差がないと考えられる。このため、検出対象色決定部１３は、明るさ判定部１２が中程度の明るさの環境と判定した場合には、赤色、緑色および青色の３色を検出対象色として決定する。
【００７４】
ラベル検出部１４は、画像取得部１１が取得した画像から、検出対象色決定部１３が決定した検出対象色の領域を抽出することにより、ラベル９０Ａを検出する。
【００７５】
具体的には、ラベル検出部１４は、画像取得部１１が取得した画像を構成する各画素の色空間上の画素値と所定の閾値とに基づいて、検出対象色の領域を抽出する。ここでは、色空間としてＨＳＶ色空間を想定する。また、ＨＳＶ色空間上の画素値として、色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）を想定する。
【００７６】
なお、画像取得部１１が取得した画像がＲＧＢ色空間の画素値から構成される場合には、ラベル検出部１４は、ＲＧＢ色空間の画素値をＨＳＶ色空間の画素値に変換した上で、領域抽出処理を行う。ＲＧＢ色空間の画素値からＨＳＶ色空間の画素値への変換は例えば、以下の式１〜式３に従い実行される。
【００７７】
【数１】
2019008936.tif 000003
【００７８】
ここで、Ｒ、Ｇ、Ｂは、それぞれ、変換前の画素の赤色成分、緑色成分、青色成分を表す。また、MAXおよびMINは、それぞれ、変換前の画素の赤色成分、緑色成分、青色成分の最大値および最小値を表す。
【００７９】
ラベル検出部１４には、例えば、緑色の色相（Ｈ）の範囲として、９５以上１４５以下が設定され、緑色の彩度（Ｓ）の範囲として７０以上１００以下が設定され、緑色の明度（Ｖ）の範囲として７０以上１００以下が設定されているものとする。緑色が検出対象色の場合には、ラベル検出部１４は、ある画素の色相（Ｈ）が９５以上かつ１４５以下で、彩度（Ｓ）が７０以上かつ１００以下で、明度（Ｖ）が７０以上かつ１００以下である場合に、当該画素を緑色画素として抽出する。
【００８０】
ラベル検出部１４には、同様に、赤色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の範囲と、青色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の範囲とが設定されているものとする。赤色が検出対象色の場合には、ラベル検出部１４は、赤色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の範囲を用いて、画像中から赤色画素を抽出する。青色が検出対象色の場合には、ラベル検出部１４は、青色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の範囲を用いて、画像中から青色画素を抽出する。
【００８１】
ラベル検出部１４は、検出対象色の画素である緑色画素、赤色画素または青色画素に対してそれぞれラベリング処理を施し、ラベリング処理により同一のラベル（符号）が付された画素同士を１つの領域として、緑色領域、赤色領域または青色領域を抽出する。なお、ラベル検出部１４は、抽出した緑色領域、赤色領域または青色領域の各々に対して膨張収縮処理や領域サイズによるフィルタリング処理を施すことによりノイズ領域を除去してもよい。
【００８２】
ラベル検出部１４は、抽出した検出対象色の領域同士が所定の位置関係を有している場合には、画像取得部１１が取得した画像に検出対象色の領域が含まれると判定する。例えば、検出対象色が赤色、緑色および青色の場合には、ラベル検出部１４は、画像上で緑色領域の重心位置から所定距離範囲内に赤色領域が存在し、かつ赤色領域の重心位置から所定距離範囲内に青色領域が存在する場合に、画像に緑色領域、赤色領域および青色領域が含まれると判定する。ラベル検出部１４は、画像に検出対象色の領域が含まれると判定した場合には、画像中でラベル９０Ａを検出したこととする。これにより、ラベル検出部１４は、フォークリフト２５の周囲に人物が存在すると判定することができる。
【００８３】
なお、ラベル検出部１４は、明るさ判定部１２の判定結果に応じて、各色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の範囲を変更してもよい。カメラ２０の撮像範囲の明るさに応じて範囲を変更することで、ラベル検出部１４は、より正確に領域抽出を行うことができる。
【００８４】
図１１Ａおよび図１１Ｂは、画像上の緑色領域と赤色領域との一例を示す図である。図１１Ａに示すように、緑色領域８２Ｇの重心位置８３を中心とする円で示される所定距離範囲８４内に、赤色領域８２Ｒが含まれていれば、画像上で緑色領域８２Ｇの重心位置８３から所定距離範囲８４内に赤色領域８２Ｒが存在すると判定される。
【００８５】
一方、図１１Ｂに示すように、緑色領域８２Ｇの重心位置８３を中心とする円で示される所定距離範囲８４内に、赤色領域８２Ｒが含まれていなければ、画像上で緑色領域８２Ｇの重心位置８３から所定距離範囲８４内に赤色領域８２Ｒが存在しないと判定される。
【００８６】
ここで、所定距離範囲８４の円の直径は、例えば、緑色領域８２Ｇの最も長い辺の長さとしてもよい。緑色領域８２Ｇが矩形以外の領域の場合には、緑色領域８２Ｇの外接矩形の最も長い辺の長さを、所定距離範囲８４の円の直径としてもよい。ただし、当該直径は、これら以外の値でもよい。
【００８７】
なお、検出対象色の組み合わせが、赤色、緑色および青色以外の場合であっても、同様の処理により、ラベル検出部１４は、抽出した検出対象色の領域同士が所定の位置関係を有するか否かを判定する。
【００８８】
出力部１５は、ラベル検出部１４の検出結果に応じた情報を出力する。例えば、ラベル検出部１４がラベル９０Ａを検出した場合には、出力部１５は、通信Ｉ／Ｆを介して音出力装置３０に対して所定の音信号を送信すること、音出力装置３０に通知音を出力させる。これにより、ドライバーに対してフォークリフト２５の周囲に人物がいることを通知する。
【００８９】
また、ラベル検出部１４がラベル９０Ａを検出した場合に、出力部１５は、通信Ｉ／Ｆを介して表示装置４０に所定の画像信号を送信することで、表示装置４０に人物を検出したことを知らせる画像を表示させる。これにより、ドライバーに対してフォークリフト２５の周囲に人物がいることを通知する。
【００９０】
また、ラベル検出部１４がラベル９０Ａを検出した場合に、出力部１５は、通信Ｉ／Ｆを介して端末装置５０に対して、人物を検出したことを示す情報を送信することで、端末装置５０に音や画像の出力処理をさせたり、ログ情報の記録処理をさせたりする。出力部１５は、その際に、検出時刻の情報を送信してもよい。
【００９１】
記憶装置１６は、明暗基準ＤＢ１７を含む各種情報を記憶するための記憶装置であり、磁気ディスクや半導体メモリなどにより構成される。
【００９２】
［画像処理装置１０の処理の流れ］
次に、画像処理装置１０が実行する処理の流れについて説明する。
【００９３】
図１２は、実施の形態１に係る画像処理装置１０が実行する処理の手順を示すフローチャートである。
【００９４】
図１２を参照して、画像取得部１１は、カメラ２０が撮像した画像を取得する（Ｓ１）。
【００９５】
ラベル検出部１４は、画像取得部１１が取得した画像から、緑色領域を抽出する（Ｓ２）。なお、緑色領域は、照明環境に影響されずに抽出可能であるため、緑色は必須の検出対象色とされる。このため、検出対象色決定部１３による検出対象色の決定処理（後述のステップＳ６、Ｓ９およびＳ１２）を行うことなく、緑色領域の抽出処理が実行される。
【００９６】
緑色領域が抽出されなかった場合には（Ｓ３でＮＯ）、画像中にラベル９０Ａが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
【００９７】
緑色領域が抽出された場合には（Ｓ３でＹＥＳ）、明るさ判定部１２は、照度センサ２６が測定したカメラ２０の撮像範囲の照度に基づいて、明暗基準ＤＢ１７を参照して、カメラ２０の撮像範囲が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定する明るさ判定処理を実行する（Ｓ４）。
【００９８】
明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が明るい環境であると判定された場合には（Ｓ５で明るい）、検出対象色決定部１３は、緑色および青色を検出対象色として決定する（Ｓ６）。
【００９９】
ラベル検出部１４は、未抽出の検出対象色領域である青色領域を抽出する（Ｓ７）。
【０１００】
ラベル検出部１４は、緑色領域と所定の位置関係を有する青色領域が画像から抽出されたか否かを判定する（Ｓ８）。
【０１０１】
所定の位置関係を有する青色領域が抽出されなかった場合には（Ｓ８でＮＯ）、画像中にラベル９０Ａが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
【０１０２】
所定の位置関係を有する青色領域が抽出された場合には（Ｓ８でＹＥＳ）、ラベル検出部１４は、緑色領域および青色領域をラベル９０Ａとして検出し、出力部１５は、ラベル９０Ａの検出結果を出力する（Ｓ１５）。例えば、出力部１５は、音出力装置３０に対して所定の音信号を送信することにより、音出力装置３０に通知音を出力させる。
【０１０３】
明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が暗い環境であると判定された場合には（Ｓ５で暗い）、検出対象色決定部１３は、赤色および緑色を検出対象色として決定する（Ｓ９）。
【０１０４】
ラベル検出部１４は、未抽出の検出対象色領域である赤色領域を抽出する（Ｓ１０）。
【０１０５】
ラベル検出部１４は、緑色領域と所定の位置関係を有する赤色領域が画像から抽出されたか否かを判定する（Ｓ１１）。
【０１０６】
所定の位置関係を有する赤色領域が抽出されなかった場合には（Ｓ１１でＮＯ）、画像中にラベル９０Ａが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
【０１０７】
所定の位置関係を有する赤色領域が抽出された場合には（Ｓ１１でＹＥＳ）、ラベル検出部１４は、赤色領域および緑色領域をラベル９０Ａとして検出し、出力部１５は、ラベル９０Ａの検出結果を出力する（Ｓ１５）。
【０１０８】
明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が中程度の明るさの環境であると判定された場合には（Ｓ５で中程度）、検出対象色決定部１３は、赤色、緑色および青色を検出対象色として決定する（Ｓ１２）。
【０１０９】
ラベル検出部１４は、未抽出の検出対象色領域である赤色領域および青色領域を抽出する（Ｓ１３）。
【０１１０】
ラベル検出部１４は、緑色領域と所定の位置関係を有する赤色領域および青色領域が画像から抽出されたか否かを判定する（Ｓ１４）。
【０１１１】
所定の位置関係を有する赤色領域および青色領域が抽出されなかった場合には（Ｓ１４でＮＯ）、画像中にラベル９０Ａが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
【０１１２】
所定の位置関係を有する赤色領域および青色領域が抽出された場合には（Ｓ１４でＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域および青色領域をラベル９０Ａとして検出し、出力部１５は、ラベル９０Ａの検出結果を出力する（Ｓ１５）。
【０１１３】
なお、ステップＳ１４において、赤色領域および青色領域のうちの少なくとも一方の領域が緑色領域と所定の位置関係を有していれば、画像中にラベル９０Ａが含まれると判定してもよい。
【０１１４】
また、ラベル検出結果出力処理（ステップＳ１５）は、ラベル９０Ａが検出されなかった場合にも行うことにしてもよい。つまり、出力部１５は、ラベル９０Ａが検出されなかったことを示す通知音を音出力装置３０に出力させてもよいし、ラベル９０Ａが検出されなかったことを示す画像を表示装置４０に表示させてもよい。また、出力部１５は、ラベル９０Ａが検出されなかったことを示す情報を端末装置５０に送信してもよい。
【０１１５】
画像処理装置１０は、図１２に示す処理を、所定の周期（例えば、１００ｍｓｅｃ間隔）で繰り返し実行する。これにより、リアルタイムでラベル９０Ａを検出することができる。
【０１１６】
［実施の形態１の効果］
以上説明したように、本発明の実施の形態１によると、検出対象色決定部１３は、３色以上の領域を含むラベル９０Ａの色の中から、カメラ２０の撮像範囲の明るさに基づいて、２色以上の検出対象色を決定する。これにより、明るさによっては色の見え方が変化するような色を除いて検出対象色を決定することができる。よって、ラベル検出部１４が検出対象色の領域を抽出することで、照明の影響を受けずに、ラベルを検出することができる。
【０１１７】
また、明るさ判定部１２は、照度センサ２６が測定したカメラ２０の撮像範囲の照度に基づいて、カメラ２０の撮像範囲の明るさを判定することができる。このため、カメラ２０の撮像範囲の明るさを容易に判定することができる。
【０１１８】
また、検出対象色決定部１３は、赤色、緑色および青色のうち、最も波長の長い赤色と最も波長の短い青色以外の色である中間波長色の緑色を、照明環境によらずに必須の検出対象色と決定する。緑色は照明の影響を受けにくい色であることより、ラベル検出部１４は、照明の影響を受けずに、ラベル９０Ａを検出することができる。
【０１１９】
また、ラベル検出部１４は、必須の検出対象色である中間波長色の緑色の領域から優先して、領域抽出処理を行っている（図１２のＳ２）。これにより、緑色領域が抽出できなかった場合には、ラベル検出部１４は、他の検出対象色である赤色領域または青色領域を抽出する必要がなく、処理時間を短縮することができる。
【０１２０】
また、ラベル９０Ａは、赤ラベル９０Ｒ、緑ラベル９０Ｇおよび青ラベル９０Ｂから構成される。光の三原色である赤色、青色および緑色は、波長が適度に離れた色同士である。このため、いずれか一色（赤色または青色）の領域が照明の影響を受けて本来の色とは異なる色領域として撮影された場合であっても、中間波長色ある緑色を含む他の二色は照明の影響を受けずに、元の色の色領域として撮影される。よって、当該他の二色を検出対象色とすることにより、照明の影響を受けずに、ラベルを検出することができる。
【０１２１】
また、出力部１５は、ラベル検出部１４がラベル９０Ａを検出した際に、ラベル９０Ａを検出したことを示す音声、アラーム音等の音を音出力装置３０から出力させたり、ラベル９０Ａの検出結果を示す画像を表示装置４０に表示させたりできる。また、出力部１５は、ラベル９０Ａの検出結果を示す情報を端末装置５０に送信することもできる。これにより、ユーザに、ラベル９０Ａの検出結果を通知することができる。
【０１２２】
（実施の形態２）
実施の形態１では、ラベルは、青ラベル９０Ｂ、赤ラベル９０Ｒおよび緑ラベル９０Ｇから構成されるものとしたが、ラベルの色はこれらに限定されるものではない。実施の形態２では、４色の色ラベルから構成されるラベルを用いた例を説明する。
【０１２３】
図１３は、ヘルメットに貼り付けられたラベルの一例を示す図である。図１３に示すように、ヘルメット８０には、ラベル９０Ｃが貼り付けられている。ラベル９０Ｃは、平行に配置された青ラベル９０Ｂ、赤ラベル９０Ｒ、緑ラベル９０Ｇおよび白ラベル９０Ｗから構成される。また、青ラベル９０Ｂおよび赤ラベル９０Ｒとの間、赤ラベル９０Ｒと緑ラベル９０Ｇとの間、および緑ラベル９０Ｇと白ラベル９０Ｗとの間には、それぞれ間隙領域９０Ｓが設けられている。
【０１２４】
白色は、彩度が０の無彩色であり、様々な波長を含む。このため、白ラベル９０Ｗは、明るさに影響されずに検出可能なラベルである。
【０１２５】
なお、白色は無彩色であることより、ラベル検出部１４が画像中の白色画素を抽出する際には、各画素の彩度（Ｓ）および明度（Ｖ）と、それぞれの範囲との比較を行い、色相（Ｈ）と範囲との比較は行わない。これにより、ラベル検出部１４は、画像中から、白色の彩度範囲および明度範囲をそれぞれ超える彩度（Ｓ）および明度（Ｖ）を有する画素を、白色画素として抽出し、抽出した白色画素をラベリング処理することにより、白色領域を抽出する。
【０１２６】
実施の形態２に係る画像処理装置の構成は、図２に示したものと同様である。ただし、検出対象色決定部１３およびラベル検出部１４の処理が一部異なる。以下、図１４に示すフローチャートを参照しながら、実施の形態１と異なる処理について説明する。
【０１２７】
図１４は、実施の形態２に係る画像処理装置１０が実行する処理の手順を示すフローチャートである。
【０１２８】
画像処理装置１０は、ステップＳ１〜Ｓ４の処理を実行する。ステップＳ１〜Ｓ４の処理は、図１２に示したものと同様である。
【０１２９】
明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が明るい環境であると判定された場合には（Ｓ５で明るい）、検出対象色決定部１３は、緑色、青色および白色を検出対象色として決定する（Ｓ６Ａ）。
【０１３０】
ラベル検出部１４は、未抽出の検出対象色領域である青色領域および白色領域を抽出する（Ｓ７Ａ）。
【０１３１】
ラベル検出部１４は、緑色領域と所定の位置関係を有する青色領域および白色領域が画像から抽出されたか否かを判定する（Ｓ８Ａ）。
【０１３２】
所定の位置関係を有する青色領域および白色領域が抽出されなかった場合には（Ｓ８ＡでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
【０１３３】
所定の位置関係を有する青色領域および白色領域が抽出された場合には（Ｓ８ＡでＹＥＳ）、ラベル検出部１４は、緑色領域、青色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。
【０１３４】
明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が暗い環境であると判定された場合には（Ｓ５で暗い）、検出対象色決定部１３は、赤色、緑色および白色を検出対象色として決定する（Ｓ９Ａ）。
【０１３５】
ラベル検出部１４は、未抽出の検出対象色領域である赤色領域および白色領域を抽出する（Ｓ１０Ａ）。
【０１３６】
ラベル検出部１４は、緑色領域と所定の位置関係を有する赤色領域および白色領域が画像から抽出されたか否かを判定する（Ｓ１１Ａ）。
【０１３７】
所定の位置関係を有する赤色領域および白色領域が抽出されなかった場合には（Ｓ１１ＡでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
【０１３８】
所定の位置関係を有する赤色領域および白色領域が抽出された場合には（Ｓ１１ＡでＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。
【０１３９】
明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が中程度の明るさの環境であると判定された場合には（Ｓ５で中程度）、検出対象色決定部１３は、赤色、緑色、青色および白色を検出対象色として決定する（Ｓ１２Ａ）。
【０１４０】
ラベル検出部１４は、未抽出の検出対象色領域である赤色領域、青色領域および白色領域を抽出する（Ｓ１３Ａ）。
【０１４１】
ラベル検出部１４は、緑色領域と所定の位置関係を有する赤色領域、青色領域および白色領域が画像から抽出されたか否かを判定する（Ｓ１４Ａ）。
【０１４２】
所定の位置関係を有する赤色領域、青色領域および白色領域が抽出されなかった場合には（Ｓ１４ＡでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
【０１４３】
所定の位置関係を有する赤色領域、青色領域および白色領域が抽出された場合には（Ｓ１４ＡでＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域、青色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。
【０１４４】
画像処理装置１０は、図１４に示す処理を、所定の周期（例えば、１００ｍｓｅｃ間隔）で繰り返し実行する。これにより、リアルタイムでラベル９０Ｃを検出することができる。
【０１４５】
本発明の実施の形態２によると、実施の形態１に比べて、より多くの色の色ラベルを用いて、ラベル検出を行うことができる。このため、より照明の影響を受けずに、ラベルを検出することができる。なお、ラベルに含まれる色ラベルの色は、上記したものには限定されず、例えば、白ラベル９０Ｗの代わりに、黒ラベルを用いてもよい。
【０１４６】
（実施の形態２の変形例）
本変形例では、実施の形態２と同様に、ラベルは４色の色ラベルから構成されるものとする。ただし、画像処理装置１０が実行する処理の手順が実施の形態２とは異なる。
【０１４７】
図１５は、実施の形態２の変形例に係る画像処理装置１０が実行する処理の手順を示すフローチャートである。
【０１４８】
画像処理装置１０は、ステップＳ１〜Ｓ３の処理を実行する。ステップＳ１〜Ｓ３の処理は、図１２に示したものと同様である。
【０１４９】
緑色領域が抽出された場合には（Ｓ３でＹＥＳ）、ラベル検出部１４は、画像取得部１１が取得した画像から、白色領域を抽出する（Ｓ２１）。なお、白色領域は、照明環境に影響されずに抽出可能であるため、白色は必須の検出対象色とされる。このため、検出対象色決定部１３による検出対象色の決定処理（後述のステップＳ６Ａ、Ｓ９ＡおよびＳ１２Ａ）を行うことなく、白色領域の抽出処理が実行される。
【０１５０】
白色領域が抽出されなかった場合には（Ｓ２２でＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
【０１５１】
白色領域が抽出された場合には（Ｓ２２でＹＥＳ）、明るさ判定処理（ステップＳ４）を実行する。明るさ判定処理（ステップＳ４）は、図１２に示したものと同様である。
【０１５２】
明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が明るい環境であると判定された場合には（Ｓ５で明るい）、検出対象色決定部１３は、緑色、青色および白色を検出対象色として決定する（Ｓ６Ａ）。
【０１５３】
ラベル検出部１４は、未抽出の検出対象色領域である青色領域を抽出する（Ｓ７）。
【０１５４】
ラベル検出部１４は、緑色領域および白色領域と所定の位置関係を有する青色領域が画像から抽出されたか否かを判定する（Ｓ８Ｂ）。
【０１５５】
所定の位置関係を有する青色領域が抽出されなかった場合には（Ｓ８ＢでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
【０１５６】
所定の位置関係を有する青色領域が抽出された場合には（Ｓ８ＢでＹＥＳ）、ラベル検出部１４は、緑色領域、青色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。
【０１５７】
明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が暗い環境であると判定された場合には（Ｓ５で暗い）、検出対象色決定部１３は、赤色、緑色および白色を検出対象色として決定する（Ｓ９Ａ）。
【０１５８】
ラベル検出部１４は、未抽出の検出対象色領域である赤色領域を抽出する（Ｓ１０）。
【０１５９】
ラベル検出部１４は、緑色領域および白色領域と所定の位置関係を有する赤色領域が画像から抽出されたか否かを判定する（Ｓ１１Ｂ）。
【０１６０】
所定の位置関係を有する赤色領域が抽出されなかった場合には（Ｓ１１ＢでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
【０１６１】
所定の位置関係を有する赤色領域が抽出された場合には（Ｓ１１ＢでＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。
【０１６２】
明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が中程度の明るさの環境であると判定された場合には（Ｓ５で中程度）、検出対象色決定部１３は、赤色、緑色、青色および白色を検出対象色として決定する（Ｓ１２Ａ）。
【０１６３】
ラベル検出部１４は、未抽出の検出対象色領域である赤色領域および青色領域を抽出する（Ｓ１３Ａ）。
【０１６４】
ラベル検出部１４は、緑色領域および白色領域と所定の位置関係を有する赤色領域および青色領域が画像から抽出されたか否かを判定する（Ｓ１４Ｂ）。
【０１６５】
所定の位置関係を有する赤色領域および青色領域が抽出されなかった場合には（Ｓ１４ＢでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。
【０１６６】
所定の位置関係を有する赤色領域および青色領域が抽出された場合には（Ｓ１４ＢでＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域、青色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。
【０１６７】
画像処理装置１０は、図１５に示す処理を、所定の周期（例えば、１００ｍｓｅｃ間隔）で繰り返し実行する。これにより、リアルタイムでラベル９０Ｃを検出することができる。
【０１６８】
（実施の形態３）
実施の形態１および２では、照度センサの測定結果に基づいて、カメラ２０の撮像範囲の明るさを判定した。実施の形態３では、照度センサを用いずに明るさ判定を行う例について説明する。
【０１６９】
図１６は、実施の形態２に係る画像処理システムの構成を示すブロック図である。図１６に示す画像処理システム１Ａは、図２に示した画像処理システム１の構成において、画像処理装置１０の代わりに画像処理装置１０Ａを備える。
【０１７０】
画像処理装置１０Ａは、画像処理装置１０と同様にコンピュータにより構成される。なお、画像処理装置１０Ａは、機能的な構成として明るさ判定部１２の代わりに明るさ判定部１２Ａを備える。
【０１７１】
明るさ判定部１２Ａは、画像取得部１１に接続され、画像取得部１１が取得した画像に基づいて、カメラ２０の撮像範囲の明るさを判定する。つまり、明るさ判定部１２Ａは、画像取得部１１が取得した画像に含まれる画素の輝度の平均を算出し、算出した輝度平均に基づいて、記憶装置１６に記憶されている明暗基準ＤＢ１７を参照して明るさを判定する。
【０１７２】
図１７は、明暗基準ＤＢ１７の一例を示す図である。明暗基準ＤＢ１７は、輝度平均（Ｍ）に基づいて、当該輝度平均を有する環境が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定するための基準が示されている。例えば、図１７に示す明暗基準ＤＢ１７によると、輝度平均がＭ＜５０の環境は、暗い環境である。輝度平均が５０≦Ｍ＜１３０の環境は、中程度の明るさの環境である。輝度平均がＭ≧１３０の環境は、明るい環境である。なお、一例として輝度は２５６階調を有するものとする。
【０１７３】
つまり、明るさ判定部１２は、算出した輝度平均ＭがＭ＜５０であれば、カメラ２０の撮像範囲は暗い環境であると判定する。また、明るさ判定部１２は、輝度平均Ｍが５０≦Ｍ＜１３０であれば、カメラ２０の撮像範囲は中程度の明るさの環境であると判定する。さらに、明るさ判定部１２は、輝度平均ＭがＭ≧１３０であれば、カメラ２０の撮像範囲は明るい環境であると判定する。画像処理装置１０が実行する処理の手順は、実施の形態１または２と同様である。
【０１７４】
本発明の実施の形態３によると、照度センサ２６を用いることなく明るさを判定することができる。このため、低コストで明るさを判定することができる。
【０１７５】
また、フォークリフト２５が屋内に位置し、カメラ２０が屋外の明るい環境を撮影しているような場合には、照度センサ２６を用いて明るさ判定を行うと、暗い環境と判定されてしまい、撮影対象の環境と異なる結果となる場合がある。しかし、画像の輝度平均を用いて明るさを判定した場合には、カメラ２０が撮像対象とする環境と同様に明るい環境と判定される。このため、ラベルをより正しく検出することができる。
【０１７６】
（実施の形態４）
実施の形態１および２では、照度センサの測定結果に基づいて、カメラ２０の撮像範囲の明るさを判定した。実施の形態３では、照度センサを用いずに明るさ判定を行う例について説明する。
【０１７７】
図１８は、実施の形態３に係る画像処理システムの構成を示すブロック図である。図１８に示す画像処理システム１Ｂは、図２に示した画像処理システム１の構成において、画像処理装置１０の代わりに画像処理装置１０Ｂを備える。
【０１７８】
画像処理装置１０Ｂは、画像処理装置１０と同様にコンピュータにより構成される。なお、画像処理装置１０Ｂは、機能的な構成として明るさ判定部１２の代わりに明るさ判定部１２Ｂを備える。
【０１７９】
明るさ判定部１２Ｂは、カメラ２０に接続され、カメラ２０から取得される明るさの調整に関する撮像パラメータ情報に基づいて、カメラ２０の撮像範囲の明るさを判定する。カメラ２０が撮像範囲の明るさに応じて露光時間を自動調整する機能を備えている場合には、明るさ判定部１２Ｂは、カメラ２０から撮像パラメータ情報として露光時間（シャッター速度）の情報を取得する。明るさ判定部１２Ｂは、取得した露光時間に基づいて、記憶装置１６に記憶されている明暗基準ＤＢ１７を参照して明るさを判定する。
【０１８０】
図１９は、明暗基準ＤＢ１７の一例を示す図である。明暗基準ＤＢ１７は、露光時間（ＥＴ）に基づいて、当該露光時間でカメラ２０が撮像した環境が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定するための基準が示されている。例えば、図１９に示す明暗基準ＤＢ１７によると、露光時間がＥＴ＞１／３０秒となる環境は、暗い環境である。露光時間が１／１００秒＜ＥＴ≦１／３０秒となる環境は、中程度の明るさの環境である。露光時間がＥＴ≦１／１００秒となる環境は、明るい環境である。
【０１８１】
つまり、明るさ判定部１２は、カメラ２０から取得した露光時間（ＥＴ）がＥＴ＞１／３０秒であれば、カメラ２０の撮像範囲は暗い環境であると判定する。また、明るさ判定部１２は、露光時間（ＥＴ）が１／１００秒＜ＥＴ≦１／３０秒であれば、カメラ２０の撮像範囲は中程度の明るさの環境であると判定する。さらに、明るさ判定部１２は、露光時間（ＥＴ）がＥＴ≦１／１００秒であれば、カメラ２０の撮像範囲は明るい環境であると判定する。画像処理装置１０が実行する処理の手順は、実施の形態１または２と同様である。
【０１８２】
なお、撮像パラメータ情報として、その他の情報を用いることもできる。例えば、カメラ２０が自動絞り機構を備える場合には、明るさ判定部１２Ｂは、カメラ２０から撮像パラメータ情報として絞り値（Ｆ値）を取得する。明るさ判定部１２Ｂは、取得した絞り値に基づいて、絞り値と明るさとの対応関係を示した明暗基準ＤＢ１７を参照して、カメラ２０の撮像範囲の明るさを判定する。なお、明るい環境ではレンズを通過する光を少なくするために絞り値が大きくなり、暗い環境ではレンズを通過する光を多くするために絞り値が小さくなる。
【０１８３】
本発明の実施の形態３によると、照度センサ２６を用いることなく明るさを判定することができる。このため、低コストで明るさを判定することができる。
【０１８４】
（変形例１）
上述の実施の形態１〜３では、照度、輝度平均および露光時間などのうち、１つの項目に基づいて、カメラ２０の撮像範囲の明るさを判定していた。しかし、２つ以上の項目に基づいて、明るさを判定するようにしてもよい。
【０１８５】
例えば、明るさ判定部１２は、照度センサ２６が測定したカメラ２０の撮像範囲の照度と、カメラ２０の露光時間とに基づいて、明暗基準ＤＢ１７を参照して、カメラ２０の撮像範囲の明るさを判定してもよい。
【０１８６】
図２０は、明暗基準ＤＢ１７の一例を示す図である。明暗基準ＤＢ１７は、照度（ＩＬ）および露光時間（ＥＴ）に基づいて、当該照度を有し、当該露光時間でカメラ２０が撮像した環境が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定するための基準が示されている。例えば、図２０に示す明暗基準ＤＢ１７によると、照度がＩＬ＜５００ｌｘかつ露光時間がＥＴ＞１／３０秒となる環境は、暗い環境である。照度がＩＬ≧１００００かつ露光時間がＥＴ≦１／１００秒となる環境は、明るい環境である。それ以外の場合には、中程度の明るさの環境である。
【０１８７】
明るさ判定部１２は、照度センサ２６が測定した（ＩＬ）とカメラ２０から取得した露光時間（ＥＴ）に基づいて、明暗基準ＤＢ１７を参照して、カメラ２０の撮像範囲の明るさを判定する。
【０１８８】
本変形例によると、複数の項目に基づいて、カメラ２０の撮像範囲の明るさを判定することができる。このため、より正確に明るさを判定することができる。
【０１８９】
（変形例２）
上述の実施の形態１〜３では、ラベルをヘルメット８０に取り付ける例を説明したが、ラベルの取り付け位置はヘルメット８０に限定されるものではない。
【０１９０】
例えば、ラベルは、人物が身に着ける衣類や腕章などに取り付けられていてもよい。
【０１９１】
図２１は、人物を正面から見た図である。人物は、ラベル９０Ｆが取り付けられた腕章を両腕にはめている。ラベル９０Ｆは、青ラベル９０Ｂ、赤ラベル９０Ｒおよび緑ラベル９０Ｇから構成され、各ラベル間には間隙領域９０Ｓが設けられている。
【０１９２】
また、ラベルの取り付けられる対象は人物に限定されるものではない。例えば、対象物を検出するための画像処理装置１０を用いる場合には、検出対象物にラベルが取り付けられていてもよい。
【０１９３】
図２２は、段ボール箱の外観図である。検出対象物が段ボール箱である場合には、段ボール箱にラベル９０Ｄが取り付けられる。ラベル９０Ｄは、青ラベル９０Ｂ、赤ラベル９０Ｒおよび緑ラベル９０Ｇから構成され、各ラベル間には間隙領域９０Ｓが設けられている。
【０１９４】
また、車両の進入禁止場所を検出するために画像処理装置１０を用いる場合には、進入禁止場所にラベルが取り付けられていてもよい。
【０１９５】
図２３は、フォークリフト２５が走行する道路を模式的に示す図である。フォークリフト２５が走行する道路１００には、例えば、フォークリフト２５の進入が禁止された進入禁止道路１０１、進入禁止道路１０２および進入禁止エリア１０３が設けられている。進入禁止道路１０１および進入禁止道路１０２の入口付近には、ラベル９０Ｊおよびラベル９０Ｋが貼り付けられている。また、進入禁止エリア１０３の周囲にはラベル９０Ｌが貼り付けられている。なお、ラベル９０Ｊ、９０Ｋおよび９０Ｌのそれぞれは、青ラベル９０Ｂ、赤ラベル９０Ｒおよび緑ラベル９０Ｇから構成される。このような構成により、画像処理装置１０は、フォークリフト２５が進入禁止場所（進入禁止道路１０１、進入禁止道路１０２または進入禁止エリア１０３）に接近したことを検知することができる。画像処理装置１０は、フォークリフト２５が進入禁止場所に接近したことをフォークリフト２５のドライバーやフォークリフト２５の周囲にいるユーザに通知するために、音出力装置３０から通知音を出力したり、表示装置４０にメッセージを表示させたり、端末装置５０に進入禁止場所に接近したことを示す情報を送信する。
【０１９６】
このように、進入禁止場所にラベルを取り付けることにより、フォークリフト２５のドライバーに対して、進入禁止場所に近づかないように注意喚起を行うことができる。
【０１９７】
このように、検出したい対象にラベルを取り付けることにより、対象を正確に検出することができる。
【０１９８】
（付記）
上記の画像処理装置１０を構成する構成要素の一部または全部は、１個のシステムＬＳＩから構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１９９】
また、本発明は、上記に示す方法をコンピュータにより実現するコンピュータプログラムとして実現することもできる。このようなコンピュータプログラムは、コンピュータ読取可能な非一時的な記録媒体、例えば、ＨＤＤ、ＣＤ−ＲＯＭ、半導体メモリなどに記録して流通させることもできるし、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送させることもできる。また、画像処理装置１０は、複数のコンピュータにより実現されてもよい。
【０２００】
また、画像処理装置１０の一部または全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、画像処理装置１０の一部または全部の機能がクラウドサーバにより実現されていてもよい。例えば、画像処理装置１０において、ラベル検出部１４の機能がクラウドサーバにより実現され、画像処理装置１０は、クラウドサーバに対して画像および検出対象色の情報を送信し、クラウドサーバからラベルの検出結果を取得する構成であってもよい。さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
【０２０１】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０２０２】
１、１Ａ、１Ｂ  画像処理システム
１０、１０Ａ、１０Ｂ  画像処理装置
１１  画像取得部
１２、１２Ａ、１２Ｂ  明るさ判定部
１３  検出対象色決定部
１４  ラベル検出部
１５  出力部
１６  記憶装置
１７  明暗基準ＤＢ
２０  カメラ
２１  撮像領域
２２  死角領域
２５  フォークリフト
２６、２６Ａ  照度センサ
３０  音出力装置
４０  表示装置
５０  端末装置
６０  ミラー
６１  撮像領域
７１、７２  人物
８０  ヘルメット
８２Ｇ  緑色領域
８２Ｒ  赤色領域
８３  重心位置
８４  所定距離範囲
９０Ａ、９０Ｃ、９０Ｄ、９０Ｆ、９０Ｊ、９０Ｋ、９０Ｌ  ラベル
９０Ｂ  青ラベル
９０Ｇ  緑ラベル
９０Ｒ  赤ラベル
９０Ｓ  間隙領域
９０Ｗ  白ラベル
１００  道路
１０１、１０２  進入禁止道路
１０３  進入禁止エリア
【図１】
2019008936.tif 000004
【図２】
2019008936.tif 000005
【図３Ａ】
2019008936.tif 000006
【図３Ｂ】
2019008936.tif 000007
【図４】
2019008936.tif 000008
【図５】
2019008936.tif 000009
【図６】
2019008936.tif 000010
【図７】
2019008936.tif 000011
【図８】
2019008936.tif 000012
【図９】
2019008936.tif 000013
【図１０】
2019008936.tif 000014
【図１１Ａ】
2019008936.tif 000015
【図１１Ｂ】
2019008936.tif 000016
【図１２】
2019008936.tif 000017
【図１３】
2019008936.tif 000018
【図１４】
2019008936.tif 000019
【図１５】
2019008936.tif 000020
【図１６】
2019008936.tif 000021
【図１７】
2019008936.tif 000022
【図１８】
2019008936.tif 000023
【図１９】
2019008936.tif 000024
【図２０】
2019008936.tif 000025
【図２１】
2019008936.tif 000026
【図２２】
2019008936.tif 000027
【図２３】
2019008936.tif 000028
【国際調査報告】
2019008936.tif 000029
2019008936.tif 000030