(57)【要約】【課題】物体の存在度合いを定量的に評価し、当該評価に応じた安全化支援および効率化支援を行う。【解決手段】画像データから物体の線分情報を抽出する線分抽出部１４と、入力された画像データの線分情報と、記録部１５に記録された画像データの線分情報とを比較し、線分情報の変化を検出する特徴的変化判定部１６と、入力された画像データと記録部１５に記録された画像データを参照して、特徴的変化判定部１６が検出した線分情報の変化の発生箇所を特定する画像比較部１７と、特徴的変化判定部１６が検出した線分情報の変化について定量的評価を行うと共に、当該定量的評価と画像比較部１７が特定した線分情報の変化の発生箇所とを表示装置３に表示する効率化制御部１８とを備えた。【選択図】図１
2012141884.tif 000002
【特許請求の範囲】
【請求項１】
画像データから物体の線分情報を抽出する線分抽出部と、
前記画像データと、前記線分抽出部が抽出した線分情報とを記録する記録部と、
入力された画像データの線分情報と、前記記録部に記録された画像データの線分情報とを比較し、前記線分情報の変化を検出する変化検出部と、
前記入力された画像データと前記記録部に記録された画像データを参照して、前記変化検出部が検出した線分情報の変化の発生箇所を特定する画像比較部と、
前記変化検出部が検出した線分情報の変化について定量的評価を行うと共に、当該定量的評価と前記画像比較部が特定した線分情報の変化の発生箇所とを表示手段に表示する効率化制御部とを備えた評価支援装置。
【請求項２】
画像データから物体の輪郭情報を抽出するオブジェクト抽出部と、
前記画像データと、前記オブジェクト抽出部が抽出した輪郭情報とを記録する記録部と、
入力された画像データの輪郭情報と、前記記録部に記録された画像データの輪郭情報とを比較し、前記輪郭情報の変化を検出する変化検出部と、
前記入力された画像データと前記記録部に記録された画像データを参照して、前記変化検出部が検出した輪郭情報に対応する物体を特定する画像比較部と、
前記入力された画像データおよび前記記録部に記録された画像データの輪郭情報を参照して、前記物体の移動方向を示す移動ベクトルを抽出する移動ベクトル抽出部と、
前記移動ベクトル抽出部が抽出した移動ベクトルに基づき前記物体の移動を指示するベクトル線を作成すると共に、前記変化検出部が検出した輪郭情報の変化について定量的評価を行い、前記ベクトル線、前記定量的評価および前記画像比較部において特定された輪郭情報の変化の発生箇所とを表示手段に表示する効率化制御部とを備えた評価支援装置。
【請求項３】
画像データから物体の線分情報を抽出する線分抽出部と、
画像データから物体の輪郭情報を抽出するオブジェクト抽出部と、
前記画像データ、前記線分抽出部が抽出した線分情報、および前記オブジェクト抽出部が抽出した輪郭情報を記録する記録部と、
入力された画像データの線分情報と、前記記録部に記録された画像データの線分情報とを比較し、前記線分情報の変化を検出する変化検出部と、
前記入力された画像データと前記記録部に記録された画像データを参照して、前記変化検出部が検出した線分情報の変化の発生箇所を特定する画像比較部と、
前記入力された画像データおよび前記記録部に記録された画像データの輪郭情報を参照して、前記画像比較部が特定した線分情報の変化の発生箇所において輪郭情報に変化がある場合に、当該輪郭情報に対応する物体の移動ベクトルを抽出する移動ベクトル抽出部と、
前記変化検出部が検出した線分情報の変化および前記線分情報の変化の発生箇所における輪郭情報の変化について定量的評価を行い、前記移動ベクトル抽出部が抽出した移動ベクトルに基づき前記物体の移動を指示するベクトル線を作成し、前記定量的評価、前記ベクトル線、および前記画像比較部が特定した線分情報の変化の発生箇所とを表示手段に表示する効率化制御部とを備えた評価支援装置。
【請求項４】
画像データに含まれる物体を認識し、当該物体の大きさを基準として他の物体の線分長および線分間隔を設定するパラメータ設定部を備え、
前記線分抽出部は、前記パラメータ設定部が設定した前記線分長および前記線分間隔に基づき画像データから物体の線分情報を抽出することを特徴とする請求項１または請求項３記載の評価支援装置。
【請求項５】
画像データに含まれる物体を認識し、当該物体の大きさを基準として他のオブジェクトサイズを設定するパラメータ設定部を備え、
前記オブジェクト抽出部は、前記パラメータ設定部が設定した前記オブジェクトサイズに基づき画像データからオブジェクトを抽出することを特徴とする請求項２または請求項３記載の評価支援装置。
【請求項６】
物体の移動に関する情報を入力するユーザ入力部と、
前記記録部に記録された線分情報から、前記物体の移動前後の線分情報の変化量を算出する変化算出部とを備え、
前記記録部は、前記変化算出部が算出した線分情報の変化量と前記物体の移動に関する情報とを関連付けて記録し、
前記変化検出部は、線分情報の変化を検出した場合に、前記記録部に記録された前記線分情報の変化量と前記物体の移動に関する情報とを参照して、移動した物体を推定することを特徴とする請求項１または請求項３記載の評価支援装置。
【請求項７】
画像データにおける物体の移動前後の座標を入力するユーザ入力部と、
前記記録部に記録された線分情報から、前記物体の移動前後の線分情報の変化量を算出する変化算出部とを備え、
前記記録部は、前記変化算出部が算出した線分情報の変化量と前記物体の移動前後の座標とを関連付けて記録し、
前記変化検出部は、線分情報の変化を検出した場合に、前記記録部に記録された前記線分情報の変化量と前記物体の移動に関する情報とを参照して、物体の移動量および移動方向を推定することを特徴とする請求項１または請求項３記載の評価支援装置。
【請求項８】
前記記録部は、前記画像データの輝度を記録し、
前記変化検出部は、前記画像データの輝度が所定範囲内である場合に、前記線分情報の変化を検出することを特徴とする請求項１または請求項３記載の評価支援装置。
【請求項９】
前記記録部は、前記画像データの輝度を記録し、
前記変化検出部は、前記画像データの輝度が所定範囲内である場合に、前記輪郭情報の変化を検出することを特徴とする請求項２または請求項３記載の評価支援装置。
【請求項１０】
画像を取得する撮像装置と、
前記画像から画像データを構成するキャプチャ部と、
画像データから物体の線分情報を抽出する線分抽出部と、
前記画像データと、前記線分抽出部が抽出した線分情報とを記録する記録部と、
入力された画像データの線分情報と、前記記録部に記録された画像データの線分情報とを比較し、前記線分情報の変化を検出する変化検出部と、
前記入力された画像データと前記記録部に記録された画像データを参照して、前記変化検出部が検出した線分情報の変化の発生箇所を特定する画像比較部と、
前記変化検出部が検出した線分情報の変化について定量的評価を行うと共に、当該定量的評価と前記画像比較部が特定した線分情報の変化の発生箇所との表示指示を出力する効率化制御部とを備えた評価支援装置と、
前記効率化制御部から出力された表示指示に基づき前記定量的評価および前記線分情報の変化の発生箇所を画面表示する表示装置とを備えた評価支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、作業環境のレベルを判定し、作業環境の安全化および効率化支援を行う評価支援装置および評価支援システムに関するものである。
【背景技術】
【０００２】
従来より、物体の移動を検出する装置が提案されている。例えば、特許文献１に開示された映像監視システムでは、入力画像から監視エリアの画像認識処理の基準となる画像を生成し、入力画像と基準画像との比較により出現物体の動き状態を検出し、所定時間停止状態にあるものを停止物体とし停止物体画像を取得し保持し、出現物体と判定された領域を除外したマスク画像を入力画像と停止物体画像でそれぞれ生成し、停止物体画像に対する入力画像の類似度から監視エリアの物体の変化を検出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１０４１３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に開示された技術では、入力画像と基準画像とを比較して物体の動き状態を検出しているため、物体の動きは検出できるものの、当該動きの度合いを評価し、当該評価に応じた支援情報を提供することは困難であった。
【０００５】
この発明は、上記のような課題を解決するためになされたもので、物体の存在度合いの変化と、並び方を定量的に評価し、当該評価に応じた安全化支援および効率化支援を行うことを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る評価支援装置は、画像データから物体の線分情報を抽出する線分抽出部と、画像データと、線分抽出部が抽出した線分情報とを記録する記録部と、入力された画像データの線分情報と、記録部に記録された画像データの線分情報とを比較し、線分情報の変化を検出する変化検出部と、入力された画像データと記録部に記録された画像データを参照して、変化検出部が検出した線分情報の変化の発生箇所を特定する画像比較部と、変化検出部が検出した線分情報の変化について定量的評価を行うと共に、当該定量的評価と画像比較部が特定した線分情報の変化の発生箇所とを表示手段に表示する効率化制御部とを備えるものである。
【発明の効果】
【０００７】
この発明によれば、入力された画像データの線分情報と、画像データから物体の線分情報を抽出する線分抽出部と、記録部に記録された画像データの線分情報とを比較し、線分情報の変化を検出する変化検出部と、入力された画像データと記録部に記録された画像データを参照して、変化検出部が検出した線分情報の変化の発生箇所を特定する画像比較部と、変化検出部が検出した線分情報の変化について定量的評価を行うと共に、当該定量的評価と画像比較部が特定した線分情報の変化の発生箇所とを表示手段に表示する効率化制御部とを備えるように構成したので、定量的評価に基づき作業環境を評価し、安全化支援および効率化支援を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１による評価支援装置の構成を示すブロック図である。
【図２】実施の形態１による評価支援装置の動作を示すフローチャートである。
【図３】実施の形態１による評価支援装置の安全化・効率化支援の表示例を示す図である。
【図４】実施の形態２による評価支援装置の構成を示すブロック図である。
【図５】実施の形態２による評価支援装置の動作を示すフローチャートである。
【図６】実施の形態２による評価支援装置の安全化・効率化支援の表示例を示す図である。
【図７】実施の形態３による評価支援装置の構成を示すブロック図である。
【図８】実施の形態３による評価支援装置の動作を示すフローチャートである。
【図９】実施の形態４による評価支援装置の構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は、この発明の実施の形態１による評価支援装置の構成を示すブロック図である。
評価支援装置１は、キャプチャ部１１、ユーザ入力部１２、抽出パラメータ設定部１３、線分抽出部１４、記録部１５、特徴的変化判定部（変化検出部）１６、画像比較部１７および効率化制御部１８で構成されている。また評価支援装置１は、画像センサ２および表示装置３と接続されている。画像センサ２は、画像を検知して検出信号を出力する。表示装置３は、評価支援装置１から出力される表示指示に基づき画像データ、評価結果、および安全化・効率化支援の情報を表示する。
【００１０】
キャプチャ部１１は、画像センサ２から入力されるセンサ信号に基づき画像データを構成する。ユーザ入力部１２は、ユーザ操作を受け付ける。抽出パラメータ設定部１３は、画像データ中の線分を抽出する際のパラメータを設定する。ここで、パラメータの設定は種々構成可能である。例えば、画像データ中の人の顔を認識し、認識した顔の大きさを基準として、当該顔の１／２程度の長さを線分と設定し、顔の１／４程度の長さを線分間隔と設定する。このように、画像データ中のあるオブジェクトの大きさを基準として線分および線分間隔を設定することができる。また異なる構成として、ユーザ入力部１２を介してユーザが設定した値を抽出パラメータとしてもよい。
【００１１】
線分抽出部１４は、抽出パラメータ設定部１３において設定された抽出パラメータを用いて、Ｈｏｕｇｈ変換により画像データから線分を抽出する。さらに抽出した線分の座標データも合せて取得する。取得した線分の座標データおよび線分の本数などは線分情報として画像データと共に記録部１５に格納する。記録部１５は、画像データと当該画像データの線分情報を合せて記録する。
【００１２】
特徴的変化判定部１６は、記録部１５に記録された過去の画像の線分情報と、現在の画像の線分情報とを比較して特徴的な変化が生じているか否か判定する。ここで特徴的な変化とは、例えば線分の数に急な増減があった場合、線分の座標に大きな変化があった場合などである。なお、ユーザ入力部１２を介して設定された基準に基づいて特徴的変化と判断するように構成してもよい。画像比較部１７は、特徴的変化判定部１６において特徴的な変化が生じていると判定された線分情報を有する画像データを比較し、画像データ内の最も変化している領域を特定する。
【００１３】
効率化制御部１８は、画像比較部１７において特定された画像データ内の最も変化している領域について、当該変化を視認し易い表示レイアウトデータを作成する。例えば、記録部１５に記録された画像データから最も線分数が少ない場合、最も線分数が多い場合、あるいは平均的な線分数の場合の画像データと、現在の画像データを並べて表示する表示レイアウトデータを作成する。さらに効率化制御部１８は、記録部１５に記録された過去の画像データと現在の画像データにおける線分数を算出し、当該線分数の増減に基づいて定量的評価を行い、当該評価に対応するメッセージなどの支援情報を作成する。
【００１４】
定量的評価とは、例えば過去の画像データと現在の画像データにおける線分数をそれぞれ数値で示したものである。過去の画像データの線分数に対する現在の画像データの線分数の増加量が所定値以上であるか否かにより作業環境の整理整頓度合いを評価する。効率化制御部１８において生成された表示レイアウトデータ、定量的評価の結果および支援情報の表示指示は表示装置３に出力される。
【００１５】
次に、実施の形態１の評価支援装置１の動作について説明する。図２は、実施の形態１による評価支援装置の動作を示すフローチャートである。
評価支援装置１に画像センサ２からセンサ信号が入力されると（ステップＳＴ１）、キャプチャ部１１は入力されたセンサ信号に基づいた画像データを構成する（ステップＳＴ２）。抽出パラメータ設定部１３は、ステップＳＴ２で構成された画像データから線分および線分間隔の抽出パラメータを設定する（ステップＳＴ３）。
【００１６】
線分抽出部１４は、ステップＳＴ３で設定された抽出パラメータを用いて、ステップＳＴ２で構成された画像データから線分を抽出し、抽出した線分の数および線分の座標データなどの線分情報を取得する（ステップＳＴ４）。取得した線分情報は画像データと共に記録部１５に格納される(ステップＳＴ５)。特徴的変化判定部１６は、記録部１５に格納された過去の画像データの線分情報と、ステップＳＴ４で取得された現在の画像データの線分情報とを比較し、現在の画像データの線分情報に特徴的変化が生じているか否か判定を行う。（ステップＳＴ６）。
【００１７】
ステップＳＴ６において、現在の画像データの線分情報に特徴的変化が発生していないと判定された場合には、ステップＳＴ１の処理に戻り、新たにセンサ信号が入力されるまで待機する。一方、ステップＳＴ６において、現在の画像データの線分情報に特徴的変化が発生していると判定された場合には、画像比較部１７が、当該線分情報を有する現在および過去の画像データを比較し、画像データ内で最も大きく変化している領域を特定する（ステップＳＴ７）。
【００１８】
効率化制御部１８は、ステップＳＴ７における特定結果を参照し、画像データ内で最も変化している領域が視認し易い表示レイアウトデータを作成する（ステップＳＴ８）。さらに、効率化制御部１８は、ステップＳＴ７における特定結果を参照し、線分数の増減に基づいて定量的評価を行い、当該定量的評価に対応した表示メッセージなどを作成する（ステップＳＴ９）。表示装置３は、ステップＳＴ８で作成された表示レイアウトデータに基づいた画面表示を行い、当該画面上にステップＳＴ９で作成した定量的評価の結果およびメッセージを合せて表示する（ステップＳＴ１０）。その後フローチャートはステップＳＴ１の処理に戻り、上述した処理を繰り返す。
【００１９】
なお、上述したステップＳＴ３の抽出パラメータの設定は、画像データ中のオブジェクトの大きさを基準としてもよいし、ユーザ入力部１２を介して設定されたユーザが所望する値としてもよい。ユーザが所望する値をパラメータとして設定すると、特に細かい部品を扱う作業環境や、大きな部品を扱う作業環境であった場合にも、線分抽出部１４において有効な線分抽出を行うことができる。
【００２０】
図３は、実施の形態１による評価支援装置の安全化・効率化支援の表示例を示す図である。表示装置３の表示画面３ａには、現在の画像３ｂと過去の画像３ｃが並列に表示され、現在の画像３ｂに対する定量的評価の結果３ｄが「2010.10.15  15：47  整理整頓レベル742」と表示され、過去の画像３ｃに対する定量的評価の結果３ｅが「2010.10.15  08：30  整理整頓レベル217」と表示されている。図３の例では定量的評価の結果、すなわち線分数を「整理整頓レベル」として記載している。また、図３の例では過去の画像３ｃの線分数に対して現在の画像３ｂの線分数の増加量が所定値「５００」を超えているため、支援情報であるメッセージ３ｆ「机の上のものがだいぶ増えてきました。使わない部品や工具を棚に戻して、作業環境をシンプルにし、ミスや怪我のないように作業環境を整えましょう。」が作成され、表示される。
【００２１】
ユーザは、表示装置３の表示画面３ａに表示された定量的評価の結果３ｄ，３ｅを確認することにより、作業環境にオブジェクトが増大していることを確認することができる。さらにメッセージ３ｆを表示することにより、作業環境を整える必要があることを認識することができる。
【００２２】
以上のように、この実施の形態１によれば、抽出パラメータに基づいて画像データから線分を抽出し、抽出した線分の数および線分の座標データなどの線分情報を取得する線分抽出部１４と、過去の画像データの線分情報と現在の画像データの線分情報とを比較して特徴的変化が発生しているか否か判定を行う特徴的変化判定部１６と、画像データ内の最も大きく変化している領域を特定する画像比較部１７と、変化している領域を明示する表示レイアウトデータを作成すると共に、線分情報に基づいて定量的評価を行い、当該評価に対応した支援情報を作成する効率化制御部１８を備えるように構成したので、作業環境の整理整頓度合いを数値化して判断することができる。また、整理整頓度合いを示す数値に基づき作業環境を評価するため、評価が容易となり、作業環境の安全化・効率化支援を容易に行うことができる。
【００２３】
また、この実施の形態１によれば、効率化制御部１８が、変化している領域を明示する表示レイアウトデータを作成すると共に、線分情報に基づいて定量的評価を行い、当該評価に対応した支援情報を作成し、表示装置３に表示レイアウトデータ、定量的評価の結果および支援情報を表示するように構成したので、ユーザは作業環境の整理整頓度合いを数値により容易に把握することができる。また、変化している領域が明示されているため、どの作業環境を整えるべきか容易に判断することができる。さらに支援情報が表示されることから作業環境を整える必要があることを容易に認識することができる。これらにより、ユーザは容易且つスムーズに作業環境の安全化・効率化を実施することができる。
【００２４】
なお、上述した実施の形態１では、特徴的変化判定部１６が記録部１５に記録された過去の画像の線分情報と、現在の画像の線分情報とを比較して特徴的な変化が生じているか否か判定する構成を示したが、特徴的変化判定部１６に学習機能を持たせて構成してもよい。例えば、これまでの判定において最も少ない線分数を最良値として記録部１５に記録しておき、当該最良値と現在の画像の線分情報とを比較して特徴的な変化が生じているか否か判定する。また異なる例として、作業環境が整理整頓されていると思われる始業時の線分数、あるいは始業時間帯の線分数の平均値を判定の指標として記録部１５に記録し、当該判定の指標と現在の画像の線分情報とを比較して特徴的な変化が生じているか否か判定してもよい。
また、特徴的変化判定部１６に学習機能を持たせる構成は、以下で説明する実施の形態２−５においても適用可能である。
【００２５】
また、上述した実施の形態１の構成に追加して、表示装置３に評価パターン設定画面を表示し、ユーザがユーザ入力部１２を介して評価パターンを設定するように構成してもよい。評価パターンの設定として、評価対象の設定、評価対象の広さの設定、評価対象での作業内容の設定などが考えられる。例えば、評価対象について「工場」「事務所」「運動場」などの項目が表示され、評価対象の広さについて「グランド」「１フロア」「１机」などの項目が表示され、評価対象での作業内容について「分解組み立て」「デザインワーク」「文書作成」「調査」などの項目が表示され、ユーザがユーザ入力部１２を介してこれらの項目から該当する項目を選択する。
【００２６】
評価パターンを設定することにより、線分抽出パラメータ１３、線分抽出部１４、特徴的変化判定部１６、画像比較部１７および効率化制御部１８における処理動作がより的確なものとなる。なお、評価パターンや、評価対象、評価対象の広さおよび評価対象での作業内容に関する項目は上述した項目に限定されるものではなく、使用環境に応じて適宜変更や追加が可能である。
また、このユーザ入力部１２を介して評価パターンを設定する構成は、以下で説明する実施の形態２−５においても適用可能である。
【００２７】
実施の形態２．
上述した実施の形態１では、画像データの線分情報を比較して作業環境を評価する構成を示したが、この実施の形態２では、画像データの輪郭を用いて物体の移動を判断して作業環境を評価する構成を示す。
図４は、実施の形態２による評価支援装置の構成を示すブロック図である。実施の形態１で示した線分抽出部１４に替えてオブジェクト抽出部２１を備えている。さらに、物体の移動を示す移動ベクトルを抽出する移動ベクトル抽出部２２を追加して設けている。なお以下では、実施の形態１による評価支援装置１の構成要素と同一または相当する部分には実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００２８】
抽出パラメータ設定部１３は、画像データ中の物体を認識し、認識した物体の大きさを基準としてその他のオブジェクトサイズを設定する。オブジェクト抽出部２１は、キャプチャ部１１において構成された画像データをＷａｖｅｌｅｔ変換することによりオブジェクトを抽出する。さらに抽出したオブジェクトの座標データを取得する。抽出したオブジェクトの座標データおよびオブジェクトの数をオブジェクト情報として画像データと共に記録部１５に格納する。記録部１５は、画像データと当該画像データのオブジェクト情報を合せて記録する。
【００２９】
特徴的変化判定部１６は、記録部１５に記録された過去の画像データのオブジェクト情報と、オブジェクト抽出部２１から入力される現在の画像のオブジェクト情報とを比較し、オブジェクトに特徴的な変化が生じているか否か判定する。ここでオブジェクトの特徴的な変化とは、例えばオブジェクトの座標データに急な変化があった場合などである。なお、ユーザ入力部１２を介して設定された基準に基づいて特徴的変化と判断するように構成してもよい。画像比較部１７は、特徴的変化判定部１６において特徴的な変化が生じていると判定されたオブジェクト情報を有する画像データを比較し、画像データ内の最も変化しているオブジェクトを特定する。
【００３０】
移動ベクトル抽出部２２は、画像比較部１７において最も変化していると特定されたオブジェクトについて、記録部１５に記録された過去の画像データのオブジェクト情報と、オブジェクト抽出部２１から入力される現在の画像データのオブジェクト情報とを参照し、座標データの変化から移動ベクトルを抽出する。抽出した移動ベクトルは効率化制御部１８に出力される。
【００３１】
効率化制御部１８は、画像比較部１７において特定された最も変化しているオブジェクトについて、オブジェクトの変化を視認し易い表示レイアウトデータを作成する。さらにオブジェクトの移動あるいはオブジェクト数の増加などの変化に基づいて定量的評価を行い、当該評価に対応した支援情報を作成する。さらに、移動ベクトル抽出部２２が抽出した移動ベクトルに基づき、最も変化しているオブジェクトがどのような移動ベクトルを持って出現したかを示したベクトル線、あるいはオブジェクトを何処に収納すべきかを示したベクトル線を作成する。効率化制御部１８において生成された表示レイアウトデータ、支援情報およびベクトル線の表示指示は表示装置３に出力される。表示装置３は、効率化制御部１８から入力される画像の表示レイアウトデータ、支援情報およびベクトル線の表示指示に基づき、画面表示を行う。
【００３２】
次に、実施の形態２の評価支援装置１の動作について説明する。図５は、実施の形態２による評価支援装置の動作を示すフローチャートである。なお、以下では実施の形態１に係る評価支援装置１と同一のステップには図２で使用した符号と同一の符号を付し、説明を省略または簡略化する。
ステップＳＴ３においてオブジェクトを抽出するためのパラメータが設定されると、オブジェクト抽出部２１は、当該抽出パラメータを用いて、ステップＳＴ２で構成された画像データからオブジェクトを抽出し、抽出したオブジェクトの数およびオブジェクトの座標データなどのオブジェクト情報を取得する（ステップＳＴ２１）。取得したオブジェクト情報は画像データと共に記録部１５に格納される（ステップＳＴ２２）。
【００３３】
特徴的変化判定部１６は、記録部１５に格納された過去の画像データのオブジェクト情報と、ステップＳＴ２１で取得された現在の画像データのオブジェクト情報とを比較し、現在の画像データのオブジェクト情報に特徴的変化が発生しているか否か判定を行う。（ステップＳＴ２３）。ステップＳＴ２３において、現在の画像データのオブジェクト情報に特徴的変化が発生していないと判定された場合には、ステップＳＴ１の処理に戻り、新たなセンサ信号が入力されるまで待機する。一方、ステップＳＴ２３において、現在の画像データのオブジェクト情報に特徴的変化が発生していると判定された場合には、当該オブジェクト情報を有する現在および過去の画像データのオブジェクト情報を比較し、最も大きく変化しているオブジェクトを特定する（ステップＳＴ２４）。
【００３４】
移動ベクトル抽出部２２は、ステップＳＴ２４において特定されたオブジェクトについて、記録部１５に記録された過去の画像データのオブジェクト情報と、オブジェクト抽出部２１から入力される現在の画像データのオブジェクト情報とを参照して移動ベクトルを抽出する（ステップＳＴ２５）。
【００３５】
効率化制御部１８は、ステップＳＴ２４における特定結果を参照し、画像データ内で最も変化しているオブジェクトが視認し易い表示レイアウトデータを作成する（ステップＳＴ２６）と共に、オブジェクト数の増減に基づいて定量的評価を行い、当該評価に対応した表示メッセージを作成する（ステップＳＴ２７）。さらに効率化制御部１８は、ステップＳＴ２５において抽出した移動ベクトルを用いて、最も変化しているオブジェクトの出現方向あるいは収納方向を示すベクトル線を作成する（ステップＳＴ２８）。
【００３６】
表示装置３は、ステップＳＴ２６において生成された表示レイアウトデータに基づいた画面表示を行い、当該画面上にステップＳＴ２７およびステップＳＴ２８で作成した定量的評価の結果、メッセージおよびベクトル線を合せて表示する（ステップＳＴ２９）。その後フローチャートはステップＳＴ１の処理に戻り、上述した処理を繰り返す。
【００３７】
図６は、実施の形態２による評価支援装置の安全化・効率化支援の表示例を示す図である。表示装置３の表示画面３ａには、現在の画像データ３ｂと過去の画像データ３ｃが並列に表示される。また、定量的評価結果３ｄ，３ｅ、およびオブジェクトの変化に応じたメッセージ３ｆが表示される。さらに、画像比較部１７において最も大きく変化していると特定されたオブジェクトをどこに収納すべきかを示すベクトル線３ｇが表示されている。
【００３８】
ユーザは、表示装置３の表示画面３ａに表示されたメッセージ３ｆにより作業環境を整える必要があることを認識することができる。さらにベクトル線３ｇにより、オブジェクトを何処に収納すべきか容易に認識することができる。
【００３９】
以上のように、この実施の形態２によれば、抽出パラメータに基づいて画像データからオブジェクトを抽出し、抽出したオブジェクトの数および座標データなどのオブジェクト情報を取得するオブジェクト抽出部２１と、過去の画像データのオブジェクト情報と現在の画像データのオブジェクト情報とを比較して特徴的変化が発生しているか否か判定を行う特徴的変化判定部１６と、画像データ内の最も大きく変化しているオブジェクトを特定する画像比較部１７と、特定されたオブジェクトの移動ベクトルを抽出する移動ベクトル抽出部２２と、変化しているオブジェクトを明示する表示レイアウトデータを作成すると共に、オブジェクト情報に基づいて定量的評価を行い、当該評価に対応した支援情報および特定されたオブジェクトの移動方向を示すベクトル線を作成する効率化制御部１８を備えるように構成したので、変化したオブジェクトを明示し、変化したオブジェクトの出現方向あるいは収納方向を示すことができる。これによりユーザは、整理すべき対象および収納するべき方向を容易に認識することができる。
【００４０】
また、この実施の形態２によれば、効率化制御部１８が、変化しているオブジェクトを明示する表示レイアウトデータを作成すると共に、定量的評価に対応した支援情報およびベクトル線の表示制御を行うように構成したので、ユーザはどのオブジェクトを整理すべきか容易に判断することができる。さらに支援情報が表示されることから作業環境を整える必要があることを容易に認識することができる。また、ベクトル線を参照することにより、ユーザは容易且つスムーズに作業環境を整えることができる。
【００４１】
実施の形態３．
この実施の形態３では、実施の形態１で示した線分抽出部１４と、実施の形態２で示したオブジェクト抽出部２１および移動ベクトル抽出部２２とを有する評価支援装置１について説明する。図７は、実施の形態３による評価支援装置の構成を示すブロック図である。なお以下では、実施の形態１および実施の形態２による評価支援装置１の構成要素と同一または相当する部分には実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００４２】
記録部１５は、線分抽出部１４において抽出された線分情報と、オブジェクト抽出部２１において抽出されたオブジェクト情報とを画像データと共に記録する。移動ベクトル抽出部２２は、画像比較部１７において特定される領域内のオブジェクト情報に特徴的変化があると判断した場合に、当該特徴的変化のあるオジェクトの移動ベクトルを抽出する。
【００４３】
効率化制御部１８は、画像比較部１７において特定された画像データ内の最も変化している領域について当該変化を視認し易い表示レイアウトデータを作成する。また、過去の画像データの線分数やオブジェクト数と現在の画像データの線分数やオブジェクト数の増減に基づいて定量的評価を行い、当該評価に対応するメッセージなどの支援情報を作成する。さらに、移動ベクトル抽出部２２が抽出した移動ベクトルに基づき、画像比較部１７において特定された最も変化しているオブジェクトのベクトル線を作成する。効率化制御部１８において生成された表示レイアウトデータ、定量的評価の結果、支援情報およびベクトル線の表示指示は表示装置３に出力される。
【００４４】
表示装置３は、効率化制御部１８から出力される表示指示に基づき画像表示を行う。具体的には、変化している領域を明示した表示画面上に、定量的評価の結果、整理整頓を指示するメッセージ、およびオブジェクトの収納場所を示すベクトル線を表示する。
【００４５】
次に、実施の形態３の評価支援装置１の動作について説明する。図８は、実施の形態３による評価支援装置の動作を示すフローチャートである。なお、以下では実施の形態１および実施の形態２による評価支援装置１と同一のステップには図２または図４で使用した符号と同一の符号を付し、説明を省略または簡略化する。
【００４６】
線分抽出部１４は、線分情報を取得し（ステップＳＴ４）、画像データと共に記録部１５に格納する（ステップＳＴ５）。オブジェクト抽出部２１は、オブジェクト情報を取得し（ステップＳＴ２１）、画像データと共に記録部１５に格納する（ステップＳＴ２２）。
【００４７】
次に特徴的変化判定部１６は、現在の画像データの線分情報と、現在の画像の線分情報とを比較して特徴的な変化が生じているか否か判定を行う（ステップＳＴ６）。ステップＳＴ６において現在の画像データの線分情報に特徴的変化が発生していないと判定された場合にはステップＳＴ１の処理に戻る。一方、ステップＳＴ６において線分情報に特徴的変化が発生していると判定された場合には、画像比較部１７が画像データ内で最も大きく変化している領域を特定する（ステップＳＴ７）。
【００４８】
次に、移動ベクトル抽出部２２は、ステップＳＴ７において特定された領域内のオブジェクト情報に特徴的変化があるか否か判定を行う（ステップＳＴ３１）。ステップＳＴ３１において特徴的変化があると判定された場合には、特徴的変化があると判定されたオブジェクトの移動ベクトルを抽出する（ステップＳＴ３２）。
【００４９】
効率化制御部１８は、ステップＳＴ７における特定結果、およびステップＳＴ３１において特徴的変化があると判定されたオブジェクト情報を参照し、画像データ内で最も変化している領域が視認し易い表示レイアウトデータを作成する（ステップＳＴ３３）。さらに、効率化制御部１８は、ステップＳＴ７における特定結果およびステップＳＴ３１において特徴的変化があると判定されたオブジェクト情報を参照し、線分数およびオブジェクト数の増減に基づいて定量的評価を行い、当該定量的評価に対応した表示メッセージなどを作成する（ステップＳＴ３４）。
【００５０】
さらに効率化制御部１８は、ステップＳＴ３２において抽出した移動ベクトルを用いて、最も変化しているオブジェクトの出現方向あるいは収納方向を示すベクトル線を作成する（ステップＳＴ３５）。表示装置３は、ステップＳＴ３３で作成された表示レイアウトデータに基づいた画面表示を行い、当該画面上にステップＳＴ３４およびステップＳＴ３５で作成した定量的評価の結果、メッセージおよびベクトル線を合せて表示する（ステップＳＴ３６）。
【００５１】
一方、ステップＳＴ３１において、領域内のオブジェクト情報に特徴的変化がないと判定された場合には、実施の形態１と同様の処理（ステップＳＴ８〜１０）を行う。その後フローチャートはステップＳＴ１の処理に戻り、上述した処理を繰り返す。
【００５２】
この実施の形態３による評価支援装置１の安全化・効率化支援の表示例は、図３と同一の表示画面３ａ、あるいは表示画面３ａの過去の画像３ｃにベクトル線３ｇを追加したものとなる。
【００５３】
以上のように、この実施の形態３によれば、画像比較部１７において特定された最も変化している領域内のオブジェクト情報に変化がある場合に、当該オブジェクトの移動ベクトルを抽出するように構成したので、定量的評価の結果および支援情報に加えてオブジェクトの収納方向などを同時に表示することができる。これにより、ユーザはより容易且つスムーズに作業環境を整えることができる。
【００５４】
実施の形態４．
この実施の形態４では、実施の形態１から実施の形態３で示した評価支援装置１に、作業者が行った整理状況と画像データの変化とを関連付けて記録させる構成を追加して設けている。図９は、実施の形態４による評価支援装置の構成を示すブロック図である。なお以下では、実施の形態１による評価支援装置１の構成要素と同一または相当する部分には実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００５５】
ユーザは作業環境を整理した際に、ユーザ入力部１２を介して整理前後の画像を選択する。画像の選択方法としては、例えば整理前の時間と整理後の時間を入力する、あるいは表示部に表示された画像から選択するなど適宜構成可能である。なお、画像の選択方法は一般的な方法を用いて構成可能であることから、詳細な説明は省略する。さらにユーザ入力部１２を介して、整理した物体の種別や量なども入力される。
【００５６】
特徴的変化判定部１６は、変化算出部１６ａを備えている。変化算出部１６ａは、ユーザ入力部１２を介して指示された整理前後の画像データと当該画像データの線分情報を記録部１５から読み出し、読み出した線分情報に基づき整理前後の線分の変化量を取得する。取得した変化量、整理した物体の種別や量などは画像データと関連付けて記録部１５に格納される。特徴的変化判定部１６は、現在の画像データと過去の画像データを比較して特徴的変化があると判定した場合に、記録部１５に記録された画像データ、線分の数の変化、および整理した物体の種別や量などを参照し、整理した物体の種別と量を推定することができる。
【００５７】
また、異なる構成として、ユーザは作業環境を整理した際に、ユーザ入力部１２を介して整理した場所の画像データの座標を入力するように構成してもよい。この場合、特徴的変化判定部１６の変化算出部１６ａは、ユーザ入力部１２を介して指示された整理前後の画像データと整理した場所の画像データの座標、および整理前後の線分の変化量とを関連付けて記録部１５に記録させる。特徴的変化判定部１６は、現在の画像データと過去の画像データを比較して特徴的変化があると判定した場合に、記録部１５に記録された画像データ、および整理した場所の画像データの座標、線分の数の変化、整理した物体の種別や量などから、物体の収納方向および物体の移動量などを推定することができる。
【００５８】
以上のように、この実施の形態４によれば、ユーザ入力部１２を介して整理した物体の種別や量、あるいは整理した場所の画像データの座標の入力を受け付け、特徴的変化判定部１６においてこれら入力された情報と画像データ、線分の数の変化を関連付けて記録するように構成したので、線分情報に変化が生じた際に、整理すべき物体および物体の収納場所を推定することができ、ユーザに作業環境を整理するためのより詳しい支援情報を提示することができる。
【００５９】
なお、上述した実施の形態４では、実施の形態１の評価支援装置１に上述した構成を追加する構成を示したが、実施の形態２および実施の形態３の評価支援装置１に追加して設けてもよい。実施の形態２に上述した実施の形態４の構成を追加する場合には、変化算出部１６ａは画像データのオブジェクト情報を参照する。
【００６０】
実施の形態５．
この実施の形態５では、実施の形態１から実施の形態４で示した評価支援装置１に、画像データの輝度を記録部１５に記録させる構成を追加して設けている。なお以下では、実施の形態１から実施の形態４による評価支援装置１の構成要素と同一または相当する部分は説明を省略または簡略化する。
【００６１】
キャプチャ部１１に入力される画像データには輝度を示す情報が含まれていることから、線分抽出部１４あるいはオブジェクト抽出部２１において線分情報あるいはオブジェクト情報と画像データとを記録部１５に格納する際に、輝度情報も合せて格納する。特徴的変化判定部１６は、輝度情報を参照し、輝度が所定の範囲内の画像データのみを採用し、特徴的変化が生じているか否かの判定を行う。また、画像データの輝度が所定の範囲外である場合には、所定の範囲内となるように輝度調整を行った後に特徴的変化の発生を判定するように構成してもよい。これらにより、画像の輝度を一定の範囲として特徴的変化の判定を行うことができる。
【００６２】
なお、記録部１５に格納する輝度情報は、画像データ全体の輝度、あるいは基準となる部分の輝度であってもよい。
【００６３】
この実施の形態５によれば、画像データの輝度情報を記録し、当該輝度が所定範囲内である画像データを用いて特徴的変化が生じているか否かの判定を行うように構成したので、画像データの輝度を一定範囲内として評価することができ、正確な判定を行うことができる。
【００６４】
なお、上述した実施の形態１−５では、画像センサ２および画像キャプチャ部１１を備える構成を示したが、画像データ取得方法はこれらに限定されることはなく、適宜変更可能である。例えば、撮像手段を用いて画像データを取得してもよいし、撮影手段により取得された映像データから画像データを取得するように構成してもよい。
【００６５】
なお、上述した実施の形態１−５では、最も変化が大きい物を認識させる構成を示したが、認識対象は適宜変更可能である。例えば、変化が大きい上位３つの画像データの部分あるいはオブジェクトを抽出するように構成してもよい。
【００６６】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００６７】
１  評価支援装置、２  画像センサ、３  表示装置、１１  キャプチャ部、１２  ユーザ入力部、１３  抽出パラメータ設定部、１４  線分抽出部、１５  記録部、１６  特徴的変化判定部、１６ａ  変化算出部、１７  画像比較部、１８  効率化制御部、２１  オブジェクト抽出部、２２  移動ベクトル抽出部。
【図１】
2012141884.tif 000003
【図２】
2012141884.tif 000004
【図３】
2012141884.tif 000005
【図４】
2012141884.tif 000006
【図５】
2012141884.tif 000007
【図６】
2012141884.tif 000008
【図７】
2012141884.tif 000009
【図８】
2012141884.tif 000010
【図９】
2012141884.tif 000011