(57)【要約】【課題】食品工場等の生産ラインを移動する物体をカメラで撮像して検査する画像解析システムにおいて、取得した画像から所望の詳細な情報を検出し、画像と共に記録できる画像解析システムを提供することを目的とする。【解決手段】ＧＵＩ解析画面上で、検査したい項目を操作者が任意に設定し、設定した項目について自動で情報を読み取って比較し、結果を画像と共に記録することで、より詳細な情報を表示・記録することができ、事後検証の際等に役立たせることができる。【選択図】図１
2013205182.tif 000002
【特許請求の範囲】
【請求項１】
受信した画像を解析する画像処理部と、
解析対象に関連する情報を記憶するメモリ部と、
画像表示部と機能スイッチを備えるＧＵＩ解析画面を表示する表示部と、を備え、
画像表示部に情報解析する検出エリアの指定を受け付け、画像の要求先の選択を受け付け、該選択された要求先へ画像を要求し、受信した画像の前記検出エリア内の情報を解析し、解析結果と画像とを関連付けて記録させることを特徴とする画像解析装置。
【請求項２】
画面に画像と機能スイッチを表示してＧＵＩ操作を受け付けるコンピュータにおいて、
画像上に検出エリアの指定を受け付け、
画像の要求先の選択を受け付けて、選択された要求先へ画像を要求し、
受信した画像の前記検出エリア内の情報を解析し、
解析結果と画像とを関連付けて記録させる
ことを特徴とする画像解析方法。
【請求項３】
画像上に検出エリアの指定を受け付ける処理と、
画像の要求先の選択を受け付ける処理と、
選択された要求先へ画像を要求する処理と、
受信した画像の前記検出エリア内の情報を解析する処理と、
解析結果と画像とを関連付けて記録させる処理と、
をコンピュータに実行させることを特徴とするプログラム
【請求項４】
前記画像処理部は、前記検出エリアから解析された情報と前記メモリ部に記憶する解析対象に関連する情報とを比較し、差異がある場合には表示部で通知する請求項１に記載の画像解析装置。
【請求項５】
前記検出エリアから解析された情報と予め保有している解析対象に関連する情報とを比較し、差異がある場合には画面上で通知する請求項２に記載の画像解析方法。
【請求項６】
前記検出エリアから解析された情報と予め保有している解析対象に関連する情報とを比較する処理と、
該比較により差異がある場合には画面上に通知する処理を
コンピュータに実行させることを特徴とする請求項３に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、食品工場等の生産ラインを移動する物体をカメラで撮像して検査する画像解析システムに関する。
【背景技術】
【０００２】
従来、生産ライン上の移動物体、例えば、菓子やパン等の食品がベルトコンベア等のライン上を移動する場合、その移動する製品を産業用カメラで撮像し、モニタ上に表示したり、また、その画像を記録装置に記録したりして、不良品の早期発見や歩留まりの向上のための生産管理に利用される画像表示記録システムが知られている。
【０００３】
従来のこの種の画像表示記録システム（例えば、特許文献１参照）、例えば次の様な構成である。
ベルトコンベアに組立て用カメラ部品が一定の間隔で乗せられており、ベルトコンベアが移動する。フォトセンサーや赤外線等のセンサーはベルトコンベアにカメラ部品が供給される位置に設置され、供給されるカメラ部品を次々と感知し、感知する度にカメラ部品が通過したことを示す信号をトリガー発生器に次々と出力する。トリガー発生器は、感知したことを示す信号によってトリガーパルスを生成し、カメラに出力する。カメラは、入力されたトリガーパルスに基づいて予め定められたタイミングで、割り当てられた撮像視野範囲を撮像し、撮像した画像を画像処理装置に出力する。なお、予め定められたタイミングは、例えば、センサーがカメラ部品を感知してからカメラ装置の撮像視野に入る時間を予め設定されている。画像処理装置は、入力された画像を、その撮像システムに適応した画像信号のフォーマットに変換してモニタおよび画像記録装置に出力する。モニタは、入力された画像信号から画像を再生して表示し、画像記録装置は、入力された画像信号をハードディスク等の記録媒体に記録する。また、モニタには、カメラで撮像された画像をリアルタイムで表示することもできるが、例えば、画像処理装置で適宜表示間隔を調整し、複数のカメラ部品の像を同一のモニタ画面に表示することもできる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３３５４５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この様な従来の画像表示記録システムでは、欠陥品を検出して画像と共に表示・記録しておくことはできるが、なにがどう異常なのかという詳細な情報は人間の目で再度確認して判断するしかなかった。
【０００６】
本発明は、この様な状況を鑑みて為されたものであり、所望の詳細な情報を検出し、画像と共に記録できる画像解析システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像解析装置は、受信した画像を解析する画像処理部と、解析対象に関連する情報を記憶するメモリ部と、画像表示部と機能スイッチを備えるＧＵＩ解析画面を表示する表示部と、を備え、画像表示部に情報解析する検出エリアの指定を受け付け、画像の要求先の選択を受け付け、該選択された要求先へ画像を要求し、受信した画像の前記検出エリア内の情報を解析し、解析結果と画像とを関連付けて記録させることを特徴とする。
【０００８】
本発明の画像解析処理は、画面に画像と機能スイッチを表示してＧＵＩ操作を受け付けるコンピュータにおいて、画像上に検出エリアの指定を受け付け、画像の要求先の選択を受け付けて、選択された要求先へ画像を要求し、受信した画像の前記検出エリア内の情報を解析し、解析結果と画像とを関連付けて記録させることを特徴とする。
【０００９】
本発明の画像解析プログラムは、画像上に検出エリアの指定を受け付ける処理と、画像の要求先の選択を受け付ける処理と、選択された要求先へ画像を要求する処理と、受信した画像の前記検出エリア内の情報を解析する処理と、解析結果と画像とを関連付けて記録させる処理と、をコンピュータに実行させることを特徴とする。
【００１０】
また、本発明の画像解析装置は、さらに、前記画像処理部は、前記検出エリアから解析された情報と前記メモリ部に記憶する解析対象に関連する情報とを比較し、差異がある場合には表示部で通知する。
【００１１】
また、本発明の画像解析処理は、さらに、前記検出エリアから解析された情報と予め保有している解析対象に関連する情報とを比較し、差異がある場合には画面上で通知する。
【００１２】
また、本発明の画像解析プログラムは、さらに、前記検出エリアから解析された情報と予め保有している解析対象に関連する情報とを比較する処理と、該比較により差異がある場合には画面上に通知する処理をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、検査したい項目を操作者が任意に設定し、設定した項目について自動で情報を読み取って比較することで、より詳細な情報を表示・記録することができ、事後検証の際等に役立たせることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の画像解析システムの第一の実施例の全体構成を示すブロック図である。
【図２】本発明の画像解析システムの操作画面を示す図である。
【図３】本発明の画像解析システムの解析処理の様子を示すフローチャートである。
【図４】本発明の画像解析システムの第二の実施例の全体構成を示すブロック図である。
【図５】本発明の画像解析システムの第二の実施例の解析装置が保有する生産データを示す図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施形態について詳細に説明する。
本実施例においては、食品の包装工程を例に、賞味期限の表記が正しいか否かを判断する手順について説明する。
【実施例１】
【００１６】
図１は、本発明の画像解析システムの一実施例の全体構成を示すブロック図である。
図１において、図面上方には矢印の方向へ流れるベルトコンベアと、ベルトコンベア上に例えばあんぱん等の食品である製品が移動している。１はベルトコンベア上を移動する製品を検出するためのフォトセンサーや赤外線装置等のセンサー、２はセンサー１からの情報を受けてカメラ３に対して撮像タイミングとなるトリガー信号を出力するトリガー発生装置、３はトリガー信号を受けて製品を撮像して製品画像を出力するするカメラ、４は例えばパソコン等で、操作者が本システムを操作して画像を解析するための解析装置、５は画像を記録する画像記録装置である。また、解析装置４は、画像から情報を解析する画像処理部４１、工場名や商品名、ロット番号、工程、賞味期限等の製品に関する生産データを記憶するメモリ部４２、画像や解析画面を表示する表示部４３から構成される。
【００１７】
ベルトコンベア上を移動する製品がセンサー１の前を通過すると、センサー１は製品が通過したことを検出し、トリガー発生装置２へセンサー信号を出力する。トリガー発生装置２はセンサー信号を受信すると、トリガー信号を生成しカメラ３へ出力する。カメラ３はトリガー信号を受信すると、製品がカメラ３の前に来るまでの予め定められた所定期間経過後、撮像して製品の画像を取得し、解析装置４へ出力する。解析装置４は画像を受信すると、画像処理部４１は操作者の図示しない入力装置による操作に従ってメモリ部４２に記録された情報を適宜参照して画像を解析し、表示部４３に画像および操作画面を表示し、同時に画像記録装置５へ画像と読み取った情報や欠陥情報等（以降、解析結果と称する）を出力する。画像記録装置５は、画像と解析結果を受信すると、これらを関連付けて記録する。この解析結果は、キーワードやパラメータ化されて記録されることで、後に画像検索する際に検索し易くなる。
【００１８】
なお、このとき、画像記録装置５から取得した画像を解析した場合には、解析装置４から画像は出力せず、解析情報のみを画像記録装置５へ出力し、記録されている対応する画像にこれらの情報を関連付けて記録する様にしてもよい。これは後述する実施例２においても同様である。
【００１９】
また、操作者の操作によって、画像記録装置５に既に記録された画像を解析することが指示されると、解析装置４は画像記録装置５に対して指定された画像を要求する。画像記録装置５は解析装置４からの要求を受信すると、指定された画像を読み出し、解析装置４へ出力する。解析装置４は指定した画像を受信すると、画像処理部４１がメモリ部４２に記憶された情報を適宜参照して画像を解析し、必要に応じて表示部４３へ画像と操作画面を表示し、画像と解析結果を画像記録装置５へ出力する。画像記録装置５は画像と解析結果を受信すると、これらを関連付けて記録する。
【００２０】
この場合、画像処理部４１は、操作者が指定した検出エリア内の賞味期限情報を読み取り、読み取った情報をメモリ部４２に記憶された賞味期限情報と比較し、一致していればそのまま操作画面に表示し、一致しなければ一致しない旨を文字列や視覚的強調表示にて操作画面に表示する。また、この解析情報は画像と関連付けて画像記録装置５にて記録される。
【００２１】
次に、図２を用いて、本発明の画像解析システムの操作画面について説明する。
１０１はカメラ３で取得した画像または画像記録装置５から読み出した画像を表示する画像表示部、１０２は所望の検出を画像上に設定するための検出エリア設定部、１０４は設定した検出エリアの項目を示す検出エリア情報部、１０５は生産データを表示する生産データ部、１０６は検出エリアから読み取った情報を表示する読取結果部、１０７はカメラ３の取得画像か画像記録装置５の記録画像かを選択する選択部である。
【００２２】
検出エリアの設定は、サンプル画像等である画像１０１上の所望の範囲を指定後に検出エリア設定スイッチ１０２を押下するか、検出エリア設定スイッチ１０２を押下した後で画像１０１上の所望の範囲を指定することで検出エリア１０３が設定され、さらに検出エリア情報部１０４に項目行が追加され、読み取った文字列が自動で入力されるか操作者が文字列を入力することで検出項目を追加する。また、検出エリアを追加する場合には、画像１０１上の所望の範囲を指定後に追加ボタンを押下するか、追加ボタンを押下した後に画像１０１上の所望の範囲を指定することで追加でき、検出エリア情報部１０４に行が追加される。これに伴い、生産データ部１０５と読取結果部１０６に項目が追加され、生産データ部１０５の追加された項目に基準となる情報、本実施例の場合は「賞味期限」に対して「２０１２／５／７」を入力する。この情報は、後に画像から賞味期限情報を読み取った際に、この生産データ部１０５に入力された情報と比較して一致か不一致かを判断する。なお、検出エリア１０３はここでは塗りつぶしなしの点線枠で表示しているが、実線でもよく、解析処理時には非表示としても半透明で表示する様にしてもよい。
【００２３】
検出エリアの設定が完了すると、選択部１０７で解析したい画像のソースを選択する。ここでは、カメラ３で撮像する画像か画像記録装置５に記録されている画像かをラジオボタンにより選択する。このとき、カメラ名や画像記録装置名をプルダウン等の操作により選択できる様にしてもよい。図１に示す構成の本実施例１においては、他のカメラや画像記録装置は選択できない様にして、カメラか画像記録装置かのみの選択とする運用が好ましい。
【００２４】
画像のソースを選択した状態で、読取開始ボタンを押下すると、指定したカメラ３または画像記録装置５から画像の取得が開始される。取得した画像は順次画像表示部１０１に表示され、画像処理によって読み取った検出エリア内の情報は読み取り時刻や画像ナンバー等と共に読取結果部１０６に表示される。このとき、読み取った情報は、生産データとして生産データ部１０５に表示される情報と比較され、一致している場合にはそのまま表示され、一致していない場合には文字列や着色表示等により欠陥品である旨が画面上で通知される。これにより、操作者は欠陥品の有無を画像と共に確認することができる。
【００２５】
そして、解析された画像は、順次、解析情報と共に解析装置４から画像記録装置５へ出力され、画像記録装置５で、解析情報と関連付けて記録される。全ての画像が解析されると、画面上に終了した旨表示される。
【００２６】
次に、図３のフローチャートを用いて、本発明の画像解析システムの解析処理の様子を説明する。
画像解析ソフトを起動されると、解析装置４はサンプル画像を取得し、サンプル画像と共に解析画面を表示する（Ｓ１）。このとき、サンプル画像は、カメラ３から取得してもよいし、解析装置４内のメモリ部または画像記録装置５に予め記録しておいて、そこから取得する様にしてもよい。
【００２７】
解析装置４は、表示した解析画面上で、操作者から検出エリアと項目の設定を受け付けると、これらの情報を解析画面に反映する（Ｓ２）。解析装置４は、操作者からカメラまたは画像記録装置の選択を受け付けると、選択されたカメラ３または画像記録装置５へ画像を要求する（Ｓ３）。
【００２８】
Ｓ３でカメラ３が選択された場合、解析装置４はカメラ３に対して画像を要求し、カメラ３で撮像した画像を取得する（Ｓ４）。一方、Ｓ３で画像記録装置が選択された場合、解析装置４は画像記録装置５に対して画像を要求し、画像記録装置５に記録されている画像を取得する（Ｓ５）。
【００２９】
解析装置４は、カメラ３または画像記録装置５から画像を取得すると、設定された検出エリアに対応する部分の文字等を画像から読み取る。読み取った情報と解析結果を画像と共に解析画面上に反映し、同時に、画像記録装置５へ出力し、画像記録装置５では解析情報と画像が関連付けて記録される（Ｓ６）。
【００３０】
１枚の画像の解析が終了すると、解析する次の画像の有無を判断する（Ｓ８）。次の画像がある場合、Ｓ３へ進み、選択されたカメラまたは記録装置の画像の解析処理を繰り返し、次の画像が無い場合、解析処理が完了した旨を表示して解析処理を終了する。
【００３１】
以上の様に、実施例１によると、検査したい項目を操作者が任意に設定し、設定した項目について自動で情報を読み取って比較することで、詳細に管理でき、既に記録された画像についても、関連付けられて記録された解析情報をキーに画像を検索することが可能になる。また、カメラで撮像したリアルタイムの画像と既に記録されている画像のどちらも解析して記録できるため、既存のシステムに新規導入するのに親和性が高く、簡単に導入することができる。また、生産工程ごとにシステムを構築して解析、管理できるので、小規模な生産設備等で使い勝手良く運用することができる。
【実施例２】
【００３２】
次に、図４，５を用いて別の実施例について説明する。
図４は、本発明の画像解析システムの第二の実施例の全体構成を示すブロック図であり、図１とは撮像システムと解析装置と画像記録装置がネットワークで接続されており、解析装置と画像記録装置は他の工程の画像も統括して管理している点で異なる。図５は、解析装置４´が保有する各製品、各工程の生産データを示す図である。
【００３３】
センサー１、トリガー発生装置２、カメラ３は実施例１のものと同じであり、カメラ３と解析装置４´と画像記録装置５´がＬＡＮ（Local Area Network）などで接続されている。また、解析装置４´の内部構成は実施例１の解析装置４と基本的に同じであるが、メモリ部４２´には図５に示す各製品、各工程の生産データが記憶されている。
【００３４】
ベルトコンベア上を移動する製品がセンサー１の前を通過すると、センサー１は製品が通過したことを検出し、トリガー発生装置２へセンサー信号を出力する。トリガー発生装置２はセンサー信号を受信すると、トリガー信号を生成しカメラ３へ出力する。カメラ３はトリガー信号を受信すると、製品がカメラ３の前に来るまでの予め定められた所定期間経過後、撮像して製品の画像を取得し、ネットワークを介して解析装置４´へ出力する。解析装置４´は画像を受信すると、画像処理部４１´は図示しない入力装置による操作者の操作に従ってメモリ部４２´に記録された生産データの対応する情報を適宜参照して画像を解析し、表示部４３´に画像および操作画面を表示し、同時に画像記録装置５´へ画像と解析結果を出力する。画像記録装置５は、画像と解析結果を受信すると、これらを関連付けて記録する。この解析結果は、キーワードやパラメータ化されて記録されることで、後に画像検索する際に検索し易くなる。
【００３５】
本実施例２においては、選択部１０７におけるカメラと画像記録装置の選択に関して、解析装置４´が工場にあるのなら工場内全体、製品単位、または工程単位でカメラ名または画像記録装置名からのカメラや画像記録装置を選択できる様にし、解析装置４´が本社等の統括する場所にあるのなら工場単位、製品単位、または工程単位でカメラ名または画像記録装置名からのカメラや画像記録装置を選択できる様にして、装置を指定できる運用が好ましい。
【００３６】
その他の処理に関しては基本的に実施例１と同じである。
【００３７】
以上の様に、実施例２によると、解析装置と画像記録装置が複数の工程や製品を統括して管理することで、大規模な生産設備の管理がし易く効率的な運用が可能となる。
【００３８】
本発明の解析装置は一般的なパソコン等のコンピュータでよく、本解析処理のプログラムをコンピュータにインストールして動作させるようにすることが好ましい。
【００３９】
また、本発明は上記各実施形態に限定されるものではない。例えば、上記実施形態では、食品生産工場の賞味期限の記載チェックで説明したが、これに限定されるものではなく、パッケージの表示や食品へのプリント、大きさ、形のチェックや、他の電気製品や加工金属、樹脂等様々なものに適用することができる。
【００４０】
要するに本発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００４１】
１：センサー、２：トリガー発生装置、３：カメラ、４，４´解析装置、４１，４１´：画像処理部、４２，４２´：メモリ部、４３，４３´：表示部、５，５´：画像記録装置。
【図１】
2013205182.tif 000003
【図２】
2013205182.tif 000004
【図３】
2013205182.tif 000005
【図４】
2013205182.tif 000006
【図５】
2013205182.tif 000007