(57)【要約】【課題】画像センサーの診断に優れた診断装置を提供することである。【解決手段】実施形態に係る診断装置は、入力手段と、画像展開手段と、診断手段と、出力手段とを備える。前記入力手段は、１以上の画像センサーにより取得された画像データを入力する。前記画像展開手段は、前記画像データに含まれる直方体の対象物の画像から展開画像を生成する。前記診断手段は、前記展開画像に基づき前記画像センサーを診断する。前記出力手段は、診断結果を出力する。【選択図】図１
2015058393.tif 000002
【特許請求の範囲】
【請求項１】
１以上の画像センサーにより取得された画像データを入力する入力手段と、
前記画像データに含まれる直方体の対象物の画像から展開画像を生成する画像展開手段と、
前記展開画像に基づき前記画像センサーを診断する診断手段と、
診断結果を出力する出力手段と、
を備える診断装置。
【請求項２】
前記入力手段は、前記画像センサーの固有情報を入力し、
前記出力手段は、前記画像センサーの固有情報に対応する診断結果を出力する請求項１の診断装置。
【請求項３】
前記出力手段は、前記展開画像と前記展開画像から復元された前記対象物の復元画像とを表示する請求項１乃至２の何れか一つの診断装置。
【請求項４】
前記診断手段は、前記展開画像と判断基準との照合結果に基づき前記画像センサーを診断する請求項１乃至３の何れか一つの診断装置。
【請求項５】
前記判断基準は、前記展開画像に含まれる辺が直線であることを示す第１の基準、前記展開画像に含まれる対向する辺が平行であることを示す第２の基準、前記展開画像に含まれる各辺で構成される角度が直角であることを示す第３の基準を含み、
前記診断手段は、前記展開画像に含まれる画像特徴情報と前記第１、第２、第３の基準との照合結果に基づき前記画像センサーを診断する請求項４の診断装置。
【請求項６】
前記診断手段は、前記展開画像から復元された前記対象物の復元画像に基づき前記画像センサーを診断する請求項１乃至５の何れか一つの診断装置。
【請求項７】
前記診断手段は、異常展開画像を基に構築された前記画像センサーの異常データベースと前記展開画像とに基づき前記画像センサーの異常を推定する請求項１乃至６の何れか一つの診断装置。
【請求項８】
前記入力手段は、複数の画像センサーにより取得された画像データを入力し、
前記画像展開手段は、これら複数の画像センサーにより取得された画像データから展開画像を生成し、
前記診断手段は、前記異常データベースと前記展開画像とに基づき、前記複数の画像センサーの中から異常の画像センサーを検出する請求項７の診断装置。
【請求項９】
前記診断手段は、前記異常データベースと前記展開画像とに基づき前記画像センサーの異常原因を推定する請求項７乃至８の何れか一つの診断装置。
【請求項１０】
前記診断手段は、前記異常データベースと前記展開画像とに基づき前記画像センサーの異常レベルを推定する請求項８の何れか一つの診断装置。
【請求項１１】
前記診断手段は、前記異常データベースへの追加指示に対応して前記展開画像の特徴情報を前記異常データベースへ追加する請求項７乃至１０の何れか一つの診断装置。
【請求項１２】
前記出力手段は、表示角度変更操作に対応して表示角度を変更して前記復元画像を表示する請求項２の診断装置。
【請求項１３】
前記入力手段は、複数の画像センサーにより取得された画像データを入力し、
前記診断手段は、前記異常データベースに基づき、各画像センサーの異常原因及び異常レベルを検出し、
前記出力手段は、各画像センサーの異常原因及び異常レベルを表示する請求項７の診断装置。
【請求項１４】
前記診断手段は、異常診断を導き出した前記展開画像に基づき前記異常データベースを更新する請求項７乃至１０の何れか一つの診断装置。
【請求項１５】
１以上の画像センサーにより取得された画像データを入力し、
前記画像データに含まれる直方体の対象物の画像から展開画像を生成し、
前記展開画像に基づき前記画像センサーを診断し、
診断結果を出力する診断方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、診断装置及び診断方法に関する。
【背景技術】
【０００２】
画像情報をもとにセンサーの故障、不具合を検出するために、オペレータからの入力情報を利用する手法が知られている。
【０００３】
また、OCRおよびビデオコーディング用の画像を撮影するために、物体を形状測定し、それに合わせて宅配便の上面や側面を位置に応じて補正し平面画像に展開するスキャナを利用する手法もある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１０３１６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前者の手法では、オペレータの主観的な判断に依存するため、センサーの故障、不具合の判断基準が異なり、誤検出につながる場合がある。
【０００６】
後者の方法では、補正画像の作成が失敗した際には平面展開図が歪むなどして、OCRでの自動認識はもちろんのこと、人間が目視で区分先を教示するビデオコーディングも不可能となる場合がある。また、スキャナ等のセンサーが不適合な挙動を続けていても、自動的に故障判別できずに、故障状態が分からないまま運用されてしまうことがある。
【０００７】
本発明の目的は、画像センサーの診断に優れた診断装置及び診断方法を提供することである。
【課題を解決するための手段】
【０００８】
実施形態に係る診断装置は、入力手段と、画像展開手段と、診断手段と、出力手段とを備える。前記入力手段は、１以上の画像センサーにより取得された画像データを入力する。前記画像展開手段は、前記画像データに含まれる直方体の対象物の画像から展開画像を生成する。前記診断手段は、前記展開画像に基づき前記画像センサーを診断する。前記出力手段は、診断結果を出力する。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る画像処理システムの一例を示すシステム構成図である。
【図２】実施形態に係る画像処理システムの基本処理の一例を示すフローチャートである。
【図３】実施形態に係る画像処理システムのセンサー異常診断時（故障診断時）の基本処理の一例を示すフローチャートである。
【図４】画像センサー及びその他のセンサーが正常な場合の展開画像の一例を示す図である。
【図５】センサー故障解析の基本処理の一例を示すフローチャートである。
【図６】センサー１０３に異常が発生した際の展開画像の第１例を示す図である。
【図７】画像センサー１０３に異常が発生した際の展開画像の第２例を示す図である。
【図８】画像センサー１０３が正常な場合の出力結果の一例を示す図である。
【図９】画像センサー１０３に異常が発生した際の出力結果の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、実施形態について図面を参照して説明する。
【００１１】
図１は、実施形態に係る画像処理システムの一例を示すシステム構成図であり、図２は、実施形態に係る画像処理システムの基本処理の一例を示すフローチャートであり、図３は、実施形態に係る画像処理システムのセンサー異常診断時（故障診断時）の基本処理の一例を示すフローチャートである。
【００１２】
例えば、図１に示す画像処理システムは、ビデオコーディングシステムの一部である。ビデオコーディングシステムは、郵便物または宅配便の画像を読み取り、画像から宛先情報領域を検出し、宛先情報領域に含まれる住所等を認識し、認識結果に基づき、郵便物または宅配便を区分する。一方で、住所等を認識できない場合、ビデオコーディングシステムは、ディスプレイで宛先情報領域を表示し、オペレータによる住所等の入力を受け、入力された住所等に基づき、郵便物または宅配便を区分する。
【００１３】
図１に示すように、画像処理システムは、ベルトコンベア１０２、画像センサー１０３、その他のセンサー１０４（距離、角度センサーなど）、センサー情報入力部１０５、画像展開部１０６、展開画像解析部１０７、センサー故障診断部１０８、診断結果出力部１０９、画像表示部１１０、診断結果表示部１１１、警告表示部１１２、故障情報データベース１１３を備える。
【００１４】
図１に示すように、ベルトコンベア１０２は、直方体の郵便物または宅配便１０１を搬送し、画像センサー１０３及びその他のセンサー１０４が多方向から郵便物または宅配便１０１を撮影する。例えば、第１の画像センサー１０３が、第１の方向から郵便物または宅配便１０１を撮影し、郵便物または宅配便１０１に対応する第１の画像を出力する。第２の画像センサー１０３が、第２の方向から郵便物または宅配便１０１を撮影し、郵便物または宅配便１０１に対応する第２の画像を出力する。なお、本実施形態では、直方体の郵便物または宅配便１０１を撮影するケースについて説明するが、本実施形態の異常診断は、円筒形等の郵便物または宅配便１０１を撮影するケースにも適用できる。
【００１５】
画像展開部１０６は、撮影により取得された画像により展開画像を生成する。例えば、画像展開部１０６は、第１の画像及び第２の画像から展開画像を生成する。或いは、画像展開部１０６は、画像センサー１０３により取得された画像と、その他のセンサー１０４（例えば距離センサー）により取得された距離情報とに基づき展開画像を生成する。
【００１６】
展開画像解析部１０７は、展開画像を解析する。センサー故障診断部１０８は、展開画像を基にセンサーの異常（故障、不具合）を診断する。診断結果出力部１０９は、センサーの異常（故障、不具合）の診断結果を出力（表示）する。画像表示部１１０は、展開画像を表示し、またこの展開画像に基づき生成される復元画像（郵便物または宅配便１０１に対応する復元画像）を表示する。診断結果表示部１１１は、センサーの異常（故障、不具合）の診断結果を表示する。警告表示部１１２は、センサーに異常（故障、不具合）が起きていると診断された場合に、異常を表示する。
【００１７】
続いて、図２及び図３を参照し、画像処理システムによる各処理について説明する。
【００１８】
図２に示すように、センサー情報入力部１０５が、画像センサー１０３及びその他のセンサー１０４から画像情報及びその他の情報を取得する（ＳＴ２０１）。ここで、取得した連続画像情報は画像センサー１０３から撮影した画像でもよいし、既に画像処理を行った連続展開画像でもよい。入力画像は画像センサー１０３から撮影した連続画像の場合、画像展開部１０６が、画像を展開する。次に、センサー故障診断部１０８は、入力された連続展開画像に対してセンサー診断を行う（ＳＴ２０２）。診断の結果が正常の場合は（ＳＴ２０３、ＹＥＳ）、結果出力し（ＳＴ２０５）、異常の場合（ＳＴ２０３、ＮＯ）、警告を出して結果を出力する（ＳＴ２０５）。
【００１９】
図３に示すように、画像展開部解析部１０７は、入力された連続展開画像を解析し（ＳＴ３０１）、解析の結果を確認し（ＳＴ３０２）、正常として判断した場合（ＳＴ３０３、ＹＥＳ）、“正常”として診断結果を出力する（ＳＴ３０５）。異常として判断した場合（ＳＴ３０３、ＮＯ）、故障原因を解析し（ＳＴ３０４）、解析結果を含めた診断結果を出力する（ＳＴ３０５）。
【００２０】
以下、さらに詳細に説明する。
【００２１】
画像展開部１０６は、ベルトコンベア１０２で搬送された直方体の郵便物または宅配便１０１を対象にした展開画像を展開画像解析部１０７へ入力する。展開画像解析部１０７は、展開画像と事前に設定した判断基準とを照合し、センサー故障診断部１０８は、照合結果に基づきセンサーの異常（故障、不具合）を推定する。
【００２２】
判断基準は対象物によって、変更、追加することができる。直方体を対象にする場合、対象物の対面の辺（対向する辺）が平行に展開されているか、面の各角が直角になるか、隣接する面の交線を展開した後の長さが一致するかを判断基準として設定してもよい。
【００２３】
図４は、画像センサー１０３及びその他のセンサー１０４が正常な場合の展開画像の一例を示す図である。図４に示すように、画像センサー１０３及びその他のセンサー１０４が正常な場合、展開画像１０１ｃが得られる。展開画像からセンサーの異常（故障、不具合）を診断する場合の判断基準として、Ａ面の上辺と下辺、左辺と右辺が平行である、Ｂ面の右辺とＣ面の上辺が同じ長さであるなどを設定しても良い。また、画像センサーのパラメーターなどが既知の場合、展開画像より物体の３次元画像を復元することができる。３次元画像の復元結果を対象に、画像センサー１０３やその他のセンサー１０４が正常に動作するかどうかに対して判断基準を設定しても良い。例えば、隣接する面の展開画像から復元した結果、正確に交わるかどうか、復元した直方体の寸法が正常範囲内であるかを判断基準として設定しても良い。
【００２４】
展開画像から対象物を復元する手法として、入力した展開画像と画像センサー１０３及びその他のセンサー１０４のキャリブレーション情報を利用することで復元してもよい、複数の画像センサー１０３から撮影した画像から３次元画像を復元してもよい、展開画像とその他のセンサー１０４からの情報を利用して３次元画像を復元してもよい。一例として、２つ画像センサー１０３から撮影した２枚の画像を対象に、画像上の対応点（８点以上）を検出すれば、エピポーラ幾何を算出することができ、３次元画像を復元することができる。更に、画像センサー１０３とその他のセンサー１０４（距離、角度など）との組み合わせでも復元することができる。別の復元手法を利用してもよい。
【００２５】
展開画像を対象にセンサーの故障、不具合を推定する場合、事前に構築した故障情報データベース１１３をもとに、センサーの故障原因、故障レベルまで推定することができる。図３のＳＴ３０２、ＳＴ３０３で展開画像に対して解析した結果を確認し、センサー１０３とその他のセンサー１０４になんらかの故障が起きていると判断する場合、センサー故障診断部１０８は、センサー１０３とその他のセンサー１０４の故障原因を解析する。
【００２６】
図５は、センサー故障解析の基本処理の一例を示すフローチャートである。センサー故障診断部１０８は、故障状況を解析する処理を実行し（ＳＴ５０１）、展開画像から抽出した故障発生時の画像特徴と事前構築したセンサー故障情報データベース１１３を参照し、センサー１０３とその他のセンサー１０４の故障原因を推定し、推定した故障原因を出力し（ＳＴ５０２）、推定した故障レベルを出力する（ＳＴ５０３）。
【００２７】
図６は、センサー１０３に異常が発生した際の展開画像の第１例を示す図である。センサー故障診断部１０８は、二つの画像センサ１０３から撮影した画像から作成した展開画像１０１ｄから、一方の画像センサー１０３には故障があると診断することができる。画像情報及びセンサー情報により、Ａ面、Ｂ面とＤ面から復元した結果が正常であり、Ａ面、Ｂ面とＣ面の組合せで復元した結果に異常であることが分かる。従って、Ａ面、Ｂ面とＣ面を撮影した画像センサー１０３になんらかの不具合が起きていると推定できる。また、展開画像から抽出した画像特徴（面の各角は直角ではない、Ｂ面とＣ面の間の角は直角ではない、Ｃ面から文字特徴を抽出失敗、Ｃ面画像が変形している等）と故障情報データベース１１３と照合することで、故障センサーの故障原因を推定することができる。
【００２８】
図７は、画像センサー１０３に異常が発生した際の展開画像の第２例を示す図である。図６と図７の展開画像の画像特徴が異なるため、同じセンサーに故障が起きていると推定ができても、故障の原因が異なり、故障のレベルが異なることを推定することができる。画像センサー１０３に不具合があることを検出できても、展開画像から抽出した画像特徴情報と故障情報データベース１１３に蓄積された情報と照合することができない時、ユーザの判断、分析で故障情報データベース１１３に追加することができる。
【００２９】
図８は、画像センサー１０３が正常な場合の出力結果の一例を示す図である。図８に示した展開画像が入力された場合、画像表示部１１０は、復元した結果を画面の左下に表示する。図８には４面が展開され、４面を復元できる例を示す。画像表示部１１０は、表示した復元結果に対して、ユーザのカーソル、キーなど端末操作により異なる角度で表示することができ、センサーの故障、不具合の推定結果を目視で確認することができる。
【００３０】
図９は、画像センサー１０３に異常が発生した際の出力結果の一例を示す図である。センサー故障診断部１０８が、展開画像を基に構築されたセンサーの故障情報データベース１１３を参照することで、警告表示部１１２は、推定したセンサーの故障、不具合の故障原因別、レベル別、センサー別に応じて警告を出すことができる。更に、警告を出した展開画像及び３次元復元画像、推定したセンサーの故障原因、レベルなどを保存し、センサー故障診断部１０８が、故障情報データベース１１３を更新（再構築及び情報の追加）することができる。
【００３１】
なお、対象物を撮影する画像センサー１０３、対象物展開部１０６、展開画像を基にセンサーの故障、不具合を診断するセンサー故障診断部１０８、センサーに故障が起きていると診断された場合の警告表示部１１２など単独動作可能である。
【００３２】
また、図８で示した画面構成は一例であり、図８に示す画像構成の各要素は、同じ計算装置で計算されたものであってもよいし、別の計算装置で計算されたものであってもよい。また、計算装置は画像センサー１０３と別で動作してもよいし、画像センサーの一部として内装されてもよい。
【００３３】
以下、本実施形態についてまとめる。
【００３４】
（１）（展開画像に基づくセンサー故障診断）
本実施形態に係るシステムは、宛先情報を基に区分すべき直方体対象を搬送する装置の一部であるセンサー故障診断装置であって、対象物を撮影し、対象物を撮影した画像情報及びセンサーの固有情報を入力し、対象物を撮影した画像により展開画像を作成し、展開画像を解析し、展開画像を基にセンサーの故障、不具合を診断し、故障、不具合の診断結果を表示し、展開画像及び復元画像を表示し、センサーに故障が起きていると診断された場合に警告表示する。
【００３５】
（２）（展開画像に基づくセンサー故障についての判断基準）
さらに、本実施形態に係るシステムは、対象物を撮影した画像により作成した展開画像を対象に、センサーの故障、不具合を診断する時、展開画像と事前に設定した判断基準と照合することで、センサーの故障、不具合を推定する。
【００３６】
（３）（判断基準：直方体に対する展開画像の辺の平行や直角）
さらに、本実施形態に係るシステムは、直方体の対象物を対象とする場合、事前に設定した判断基準は、展開画像の辺が直線であり、対面の辺が平行であり、各角の角度が直角に近いことなどである。展開画像から抽出した画像特徴を判断基準と照合することで、センサーの故障、不具合を推定する。
【００３７】
（４）（判断基準：展開画像を基に復元した結果からセンサー故障を診断）
さらに、本実施形態に係るシステムは、事前に設定した判断基準は、展開画像からの直方体対象物を復元すると、復元結果が直方体であり、復元した直方体の寸法も通常範囲内であることを判定することで、センサーの故障、不具合を推定する。
【００３８】
（５）（展開画像を基にセンサーの故障情報 データベースを構築）
さらに、本実施形態に係るシステムは、展開画像を基にセンサーの故障、不具合を診断する故障診断部は、展開画像を基に構築されたセンサーの故障情報データベースを利用し、蓄積された故障情報をもとにセンサーの故障、不具合を推定する。
【００３９】
（６）（展開画像を基に故障側のセンサーを推定）
さらに、本実施形態に係るシステムは、展開画像を基に構築されたセンサーの故障情報データベースを参照することで、展開画像から不具合を起きたセンサーを推定する。
【００４０】
（７）（展開画像を基に故障センサーの故障原因を推定）
さらに、本実施形態に係るシステムは、展開画像を基に構築されたセンサーの故障情報データベースを参照することで、展開画像の画像特徴から故障、不具合を起きたセンサーの故障原因を推定する。
【００４１】
（８）（展開画像を基に故障センサーの故障レベルを推定）
さらに、本実施形態に係るシステムは、展開画像を基に構築されたセンサーの故障情報データベースを参照することで、展開画像の画像特徴から故障、不具合を起きたセンサーの故障レベルを推定する。
【００４２】
（９）（展開画像を基に復元した結果を対象にユーザの目視によりセンサーを診断、故障情報データベースに追加）
さらに、本実施形態に係るシステムは、作業員の目視により故障、不具合が起きたセンサーを診断し、展開画像特徴をセンサーの故障情報データベースに追加する。
【００４３】
（１０）（展開画像より復元した結果を画面表示し、ユーザの操作により異なる角度で確認できる）
さらに、本実施形態に係るシステムは、展開画像から復元した対象物の復元結果を画面に表示することができ、ユーザの操作により異なる角度で確認することができ、異なる角度からセンサーの故障、不具合を推定する。
【００４４】
（１１）（展開画像を基にセンサーの故障原因別、レベル別、センサー別に応じて警告を出す）
さらに、本実施形態に係るシステムは、展開画像を基に構築されたセンサーの故障情報データベースを参照することで、推定したセンサーの故障、不具合情報を故障原因別、レベル別、センサー別に応じて警告を出す。
【００４５】
（１２）（警告出した画像及び復元した３次元画像を保存）
さらに、本実施形態に係るシステムは、センサーの故障、不具合を検出した上、警告を出す場合、対象になった展開画像及び３次元復元画像、推定したセンサーの故障原因、レベルなどを保存し、データベースの再構築及び情報の追加、修正する。
【００４６】
（１３）（システム構成）
本実施形態に係るシステムは、対象物を撮影する画像センサーと、画像展開部と、
展開画像を基にセンサーの故障、不具合を診断する故障診断部と、センサーに故障が起きていると診断された場合の警告表示部を一体化にする。
【００４７】
上記説明した実施形態によれば、ベルトコンベア１０２で搬送される直方体の郵便物または宅配便１０１に対して撮影した画像から作成した展開画像を対象に、センサーに故障、不具合が生じる場合を自動的に診断することができる。また、展開画像から抽出した画像特徴から異常の生じたセンサーの故障原因、故障レベルを自動的に診断し、警告を出すことができる。
【００４８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００４９】
１０２…ベルトコンベア、１０３…画像センサー、１０４…その他のセンサー、１０５…センサー情報入力部、１０６…画像展開部、１０７…展開画像解析部、１０８…センサー故障診断部、１０９…診断結果出力部、１１０…画像表示部、１１１…診断結果表示部、１１２…警告表示部、１１３…故障情報データベース
【図１】
2015058393.tif 000003
【図２】
2015058393.tif 000004
【図３】
2015058393.tif 000005
【図４】
2015058393.tif 000006
【図５】
2015058393.tif 000007
【図６】
2015058393.tif 000008
【図７】
2015058393.tif 000009
【図８】
2015058393.tif 000010
【図９】
2015058393.tif 000011