(57)【要約】      （修正有）【課題】画像から認識される対象物の識別情報の認識結果の良否を作業者が容易に判断できる技術を提供する。【解決手段】画像処理装置は、対象物を撮影して得られた撮影画像を受け付ける画像受付部２７１と、前記撮影画像を処理することによって前記対象物の識別情報を検出する検出部２７２と、前記撮影画像と前記識別情報とを合成した合成画像を生成して表示装置に表示させる合成画像生成部２７３と、を備える。合成画像では、撮影画像内の対象物に識別情報が重ねられている。【選択図】図４
2019205111.tif 000002
【特許請求の範囲】
【請求項１】
撮影した対象物の識別情報を表示装置に表示する画像処理装置であって、
前記対象物を撮影して得られた撮影画像を受け付ける画像受付部と、
前記撮影画像を処理することによって前記対象物の識別情報を検出する検出部と、
前記撮影画像と前記識別情報とを合成した合成画像を生成して前記表示装置に表示させる合成画像生成部と、
を備え、
前記合成画像は、前記撮影画像内の前記対象物に前記識別情報が重ねられている、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記識別情報は数字又は文字である、画像処理装置。
【請求項３】
請求項１又は２に記載の画像処理装置であって、 
前記識別情報の色は、前記識別情報の背景の色と互いに補色である、画像処理装置。
【請求項４】
請求項１〜３のいずれか一項に記載の画像処理装置であって、
前記画像受付部は、前記対象物が撮影された複数の撮影画像を順次受け付け、
前記検出部と前記合成画像生成部は、前記撮影画像に対して前記撮影画像の処理と前記合成画像の生成とを順次実行し、
前記合成画像生成部は、第１対象物が含まれる第１撮影画像に対する処理結果の第１統計情報を生成し、前記第１統計情報を含む第１合成画像を生成する、画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記合成画像生成部は、前記第１統計情報と、第２対象物が含まれる第２撮影画像に対する処理結果を含めた第２統計情報を生成し、前記第２統計情報を含む第２合成画像を生成する、画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記第１統計情報または前記第２統計情報は、前記識別情報を検出できなかった回数を含む、画像処理装置。
【請求項７】
撮影した対象物の識別情報を表示装置に表示する画像処理装置であって、
プロセッサーを備え、
前記プロセッサーは、
（ａ）前記対象物を撮影して得られた撮影画像を受け付け、
（ｂ）前記撮影画像を処理することによって前記対象物の識別情報を検出し、
（ｃ）前記撮影画像と前記識別情報とを合成した合成画像を生成して前記表示装置に表示させる、
ように構成されており、
前記合成画像は、前記撮影画像内の前記対象物に前記識別情報が重ねられている、画像処理装置。
【請求項８】
請求項１〜７のいずれか一項に記載の画像処理装置を含む制御装置に接続されたロボット。
【請求項９】
ロボットと、
前記ロボットに接続された請求項１〜７のいずれか一項に記載の画像処理装置を含む制御装置と、
を備えるロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の撮影と画像処理を行う技術に関するものである。
【背景技術】
【０００２】
ロボットなどの各種の装置において、被写体をカメラで撮影し、その画像を処理することによって被写体を認識し、ロボットに被写体に対して作業を行わせる技術が利用される。特許文献１には、カメラを用いてワーク上の製品番号やシリアル番号を検出し認識することによって、製品管理や流通管理などに利用する技術が開示されている。この技術では、ワークの画像に隣接する詳細結果エリアに、検出領域の座標等が表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−０８１２２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、対象物の製品番号やシリアル番号などの識別情報はカメラで撮影された画像として異なる場所に表示されるだけなので、それらの認識結果を作業者が同時に見ることが困難であり、識別情報の認識の良否が判断し難いという問題があった。
【課題を解決するための手段】
【０００５】
本発明の一形態によれば、撮影した対象物の識別情報を検出して表示装置に表示する画像処理装置が提供される。この画像処理装置は、前記対象物を撮影して得られた撮影画像を受け付ける画像受付部と；前記撮影画像を処理することによって前記対象物の識別情報を検出する検出部と；前記撮影画像と前記識別情報とを合成した合成画像を生成して前記表示装置に表示させる合成画像生成部と；を備える。前記合成画像は、前記撮影画像内の前記対象物に前記識別情報が重ねられている。
【図面の簡単な説明】
【０００６】
【図１】ロボットシステムの概念図。
【図２】複数のプロセッサーを有する制御装置の一例を示す概念図。
【図３】複数のプロセッサーを有する制御装置の他の例を示す概念図。
【図４】制御装置の機能を示すブロック図。
【図５】対象物の一例を示す平面図。
【図６】第１実施形態における画像処理の手順を示すフローチャート。
【図７】対象物に識別情報としての文字列が表示された合成画像の一例を示す説明図。
【図８】文字認識処理の詳細手順を示すフローチャート。
【図９】文字列表示処理の詳細手順を示すフローチャート。
【図１０】第２実施形態において対象物に識別情報としての文字列が表示された画像の例を示す説明図。
【図１１】第２実施形態における画像処理の手順を示すフローチャート。
【図１２】対象物に識別情報としての文字列が表示された合成画像の他の例を示す説明図。
【発明を実施するための形態】
【０００７】
A. 第１実施形態：
図１は、ロボットシステムの概念図である。このロボットシステムは、架台７００に設置されており、ロボット１００と、ロボット１００に接続された制御装置２００と、ティーチングペンダント３００と、搬送装置４００と、トレイ６００と、ストロボ８１０と、カメラ８２０とを備えている。ロボット１００は、架台７００の天板７１０の下に固定されている。トレイ６００は、架台７００のテーブル部７２０に載置されている。搬送装置４００は、対象物としての複数のワークＷＫをロボット１００の作業位置まで順次搬送する。ワークＷＫの搬送方向は紙面に垂直な方向である。搬送装置４００の上面は、ワークＷＫを搬送する搬送経路である。
【０００８】
ロボット１００は、ティーチングプレイバック方式のロボットである。ロボット１００を用いた作業は、予め作成された教示データに従って実行される。このロボットシステムには、直交する３つの座標軸Ｘ，Ｙ，Ｚで規定されるシステム座標系Σｓが設定されている。図１の例では、Ｘ軸とＹ軸は水平方向であり、Ｚ軸は鉛直上方向である。教示データに含まれる教示点やエンドエフェクタの姿勢は、このシステム座標系Σｓの座標値と各軸回りの角度で表現される。
【０００９】
ロボット１００は、基台１２０と、アーム１３０とを備えている。アーム１３０は、４つの関節Ｊ１〜Ｊ４で順次接続されている。これらの関節Ｊ１〜Ｊ４のうち、３つの関節Ｊ１，Ｊ２，Ｊ４はねじり関節であり、１つの関節Ｊ３は並進関節である。本実施形態では４軸ロボットを例示しているが、１個以上の関節を有する任意のアーム機構を有するロボットを用いることが可能である。
【００１０】
アーム１３０の先端部に設けられたアームフランジ１３２には、エンドエフェクター１６０が装着されている。図１の例では、エンドエフェクター１６０は、把持機構１６４を用いてワークＷＫを把持して拾い上げるグリッパーである。但し、エンドエフェクター１６０としては、吸着ピックアップ機構などの他の機構を取り付けることも可能である。本実施形態において、ロボット１００は、搬送装置４００によって搬送されてくるワークＷＫを拾い上げて、トレイ６００内の適切な位置に収納する作業を実行する。但し、ロボットシステムは、これ以外の他の作業を行う場合にも適用可能である。
【００１１】
制御装置２００は、プロセッサー２１０と、メインメモリー２２０と、不揮発性メモリー２３０と、表示制御部２４０と、表示部２５０と、Ｉ／Ｏインターフェース２６０とを有している。これらの各部は、バスを介して接続されている。プロセッサー２１０は、例えばマイクロプロセッサー又はプロセッサー回路である。制御装置２００は、Ｉ／Ｏインターフェース２６０を介して、ロボット１００と、ティーチングペンダント３００と、搬送装置４００とに接続される。制御装置２００は、更に、Ｉ／Ｏインターフェース２６０を介してストロボ８１０とカメラ８２０にも接続される。
【００１２】
制御装置２００の構成としては、図１に示した構成以外の種々の構成を採用することが可能である。例えば、プロセッサー２１０とメインメモリー２２０を図１の制御装置２００から削除し、この制御装置２００と通信可能に接続された他の装置にプロセッサー２１０とメインメモリー２２０を設けるようにしてもよい。この場合には、当該他の装置と制御装置２００とを合わせた装置全体が、ロボット１００の制御装置として機能する。他の実施形態では、制御装置２００は、２つ以上のプロセッサー２１０を有していてもよい。更に他の実施形態では、制御装置２００は、互いに通信可能に接続された複数の装置によって実現されていてもよい。これらの各種の実施形態において、制御装置２００は、１つ以上のプロセッサー２１０を備える装置又は装置群として構成される。
【００１３】
図２は、複数のプロセッサーによってロボットの制御装置が構成される一例を示す概念図である。この例では、ロボット１００及びその制御装置２００の他に、パーソナルコンピューター１４００，１４１０と、ＬＡＮなどのネットワーク環境を介して提供されるクラウドサービス１５００とが描かれている。パーソナルコンピューター１４００，１４１０は、それぞれプロセッサーとメモリーとを含んでいる。また、クラウドサービス１５００においてもプロセッサーとメモリーを利用可能である。これらの複数のプロセッサーの一部又は全部を利用して、ロボット１００の制御装置を実現することが可能である。
【００１４】
図３は、複数のプロセッサーによってロボットの制御装置が構成される他の例を示す概念図である。この例では、ロボット１００の制御装置２００が、ロボット１００の中に格納されている点が図２と異なる。この例においても、複数のプロセッサーの一部又は全部を利用して、ロボット１００の制御装置を実現することが可能である。
【００１５】
図４は、制御装置２００の機能を示すブロック図である。制御装置２００のプロセッサー２１０は、メモリー２２０に予め記憶された各種のプログラム命令２２２を実行することにより、ロボット制御部２１１と、撮影制御部２１２と、画像処理部２７０の機能をそれぞれ実現する。画像処理部２７０は、「画像処理装置」に相当する。
【００１６】
画像処理部２７０は、画像受付部２７１と、検出部２７２と、合成画像生成部２７３と、を含んでいる。画像受付部２７１は、カメラ８２０を用いて対象物としてのワークＷＫを撮影して得られた撮影画像を受け付ける。検出部２７２は、撮影画像を処理することによって対象物の識別情報を検出する。合成画像生成部２７３は、撮影画像と識別情報とを合成した合成画像を生成して表示部２５０に表示させる。これらの各部２７１〜２７３の機能については更に後述する。
【００１７】
図５は、対象物としてのワークＷＫの一例を示す平面図である。このワークＷＫの表面には、２つの識別情報ＣＲ１，ＣＲ２が描かれている。第１の識別情報ＣＲ１は数字又は文字を含む文字列であり、第２の識別情報ＣＲ２は２次元コードである。これらの識別情報ＣＲ１，ＣＲ２は、いずれもコンピューターを用いて機械的に認識可能な情報である点で共通している。以下の説明では、第１の識別情報ＣＲ１を画像から検出する例について説明する。但し、第２の識別情報ＣＲ２を検出する場合にも以下の説明を同様に適用可能である。また、ワークＷＫの識別情報としては、文字列や２次元コード以外のものを使用してもよい。例えば、特定のパターンやマークをワークＷＫの識別情報として検出するようにしてもよい。
【００１８】
本明細書において、狭義の「文字」は数字を含まず、広義の「文字」は数字を含む意味で使用される。「数字又は文字」という語句における「文字」は狭義で使用されている。また、「文字列」という語句における「文字」は広義で使用されている。なお、「文字列」は１つ以上の数字又は文字を含んでいれば良い。但し、識別情報としての「文字列」は複数の数字又は文字を含むことが好ましい。また、「文字列」は１列でなくてもよく、複数の列を含んでいてもよい。
【００１９】
図６は、第１実施形態における画像処理の手順を示すフローチャートである。ステップＳ１００では、画像受付部２７１が、カメラ８２０にワークＷＫを撮影させる。撮影時には、必要に応じてストロボ８１０を発光させても良い。ワークＷＫの撮影画像は、画像受付部２７１によって受け付けられ、メモリー２２０に一時的に格納される。
【００２０】
ステップＳ１１０〜Ｓ１４０は、検出部２７２によって実行される。ステップＳ１１０では、前処理が実行される。前処理としては、例えば、撮影画像全体の明るさ調整や、コントラスト調整が実施される。但し、前処理を省略してもよい。
【００２１】
ステップＳ１２０では、ワークＷＫの表面の識別情報ＣＲ１を読み取るために、撮影画像内におけるワークＷＫの位置を検出するとともに、識別情報ＣＲ１の位置を検出する。撮影画像内におけるワークＷＫの位置は、例えば、ワークＷＫの幾何形状と近似する形状を有する画素群を探索することによって検出することができる。ワークＷＫの識別情報ＣＲ１の位置は、例えば、ワークＷＫにおける識別情報ＣＲ１の既知の位置から検出することができる。
【００２２】
ステップＳ１３０では、撮影画像から、識別情報ＣＲ１が含まれている画像領域が抽出される。ステップＳ１４０では、ステップＳ１３０で得られた画像領域から、識別情報ＣＲ１の文字列が認識される。ステップＳ１４０の文字認識処理の詳細については後述する。
【００２３】
ステップＳ１５０，Ｓ１６０は、合成画像生成部２７３によって実行される。ステップＳ１５０では、認識した識別情報ＣＲ１を表す文字列を撮影画像に重ねて描画する態様を示す文字列表示設定を読み込む。この文字列表示設定は、予め設定されており、メモリー２２０に格納されている。
【００２４】
文字列表示設定としては、例えば以下のパラメーターのうちの１つ以上が設定される。
（１）結果フラグ
文字認識処理が成功したか否かを示すフラグである。初期設定では、結果フラグを「成功」と「失敗」のいずれに設定してもよい。結果フラグの「成功」と「失敗」に対して、異なる色を設定することができる。例えば、結果フラグが「成功」の場合は緑色で文字列を描画し、「失敗」の場合には赤色で文字列を描画する、というような選択的な色文字の使い方が可能となる。
（２）前景色
前景色は、文字色のことであり、ユーザー指定による固定色や、背景の補色などを設定可能である。
（３）背景色
背景色は、文字の背景の色であり、ユーザー指定による固定色や、透明、文字色の補色、αブレンディング等を設定可能である。
（４）文字列の挿入位置座標、文字列の幅、高さ、及び、回転角度
文字列の文字の回転角度としては、例えば、文字が成立することを示す０度や、識別情報ＣＲ１を構成する文字列の矩形枠の検出角度に等しい角度を指定することができる。後者の設定によれば、合成画像ＭＧにおける識別情報ＣＲ１の文字の向きと等しい向きで、認識結果の文字を表示することが可能となる。
（５）枠外処理
枠外処理とは、認識された文字列を合成画像ＭＧに描画すると文字列が合成画像ＭＧの枠からはみ出す場合に、設定された態様で文字列を描画する処理である。例えば、文字列を折り返して合成画像ＭＧ内に描画する態様や、文字列を折り返さずに合成画像ＭＧから外にはみ出した位置に描画する態様などを指定することが可能である。
（６）文字の属性
文字の属性としては、フォント種類（明朝、ゴシック等）と、スタイル（標準、斜体、太字、太字斜体等）と、サイズ（ポイント数）と、文字飾り（影付き、中抜き、浮き出し、浮き彫り等）を設定可能である。
（７）追加描画項目
認識された文字列の他に合成画像ＭＧに描画する項目を指定することができる。例えば、処理日時、処理時刻、及び、後述する処理結果の統計情報等を描画することを指定することが可能である。
【００２５】
ステップＳ１６０では、ステップＳ１５０で読み込まれた文字列表示設定に従って、識別情報ＣＲ１から認識された識別情報として文字列が、撮影画像内のワークＷＫに重ねて表示される。ステップＳ１６０の文字列表示処理の詳細については後述する。
【００２６】
図７は、対象物としてのワークＷＫに識別情報としての文字列ＣＦが重ねて描画された合成画像ＭＧの一例を示す説明図である。この例では、識別情報ＣＲ１に隣接した位置に文字列ＣＦが表示されているので、作業者はこの文字列ＣＦを観察すれば、識別情報ＣＲ１の認識が正常に行われていることを容易に判断できる。
【００２７】
合成画像ＭＧには、更に、文字認識処理が成功したか否かを示す結果フラグＲＦと、文字列ＣＦの認識位置座標ＣＤも描画されている。この例では、結果フラグＲＦとして「ＯＫ」の文字が表示されている。文字列ＣＦの認識位置座標ＣＤは、例えば、ワークＷＫの基準位置を原点としたワーク座標系における文字列ＣＦの最初の文字の位置を示している。
【００２８】
図８は、図６のステップＳ１４０における文字認識処理の詳細手順を示すフローチャートである。ステップＳ１４１では、前処理が実行される。前処理としては、例えば台形補正によって、合成画像ＭＧ内におけるワークＷＫの台形歪みを解消する処理が行われる。ステップＳ１４２では、合成画像ＭＧの２値化が実行される。２値化手法としては、予め規定された閾値を用いる方法してもよく、或いは、合成画像ＭＧ内の輝度ヒストグラムを作成して、前景と背景を分離する閾値を決定する方法を使用してもよい。ステップＳ１４３では、２値化後の合成画像ＭＧから識別情報ＣＲ１が抽出される。ステップＳ１４４では、抽出された識別情報ＣＲ１を予め準備された辞書と照合することによって、識別情報ＣＲ１を構成する文字がそれぞれ認識される。ステップＳ１４５では、認識された文字列ＣＦが文字認識結果として出力され、メモリー２２０に格納される。また、文字認識が成功したときには文字列表示設定の結果フラグが「成功」に設定され、文字認識が失敗したときには文字列表示設定の結果フラグが「失敗」に設定される。
【００２９】
図９は、図６のステップＳ１６０における文字列表示処理の詳細手順を示すフローチャートである。ワークＷＫによっては、認識された文字列ＣＦを合成画像ＭＧに描画したときに、文字列ＣＦの視認性が著しく低くなる可能性がある。そこで、本実施形態では、背景の補色を用いて文字列ＣＦの描画を行う。なお、図７に示した結果フラグＲＦと文字列ＣＦの認識位置座標ＣＤも、それぞれの背景の色と互いに補色となる色で描画することが好ましい。
【００３０】
ステップＳ１６１では、文字列表示設定で指定された前景と背景の色情報が取得される。「前景」は、認識された文字列ＣＦを意味する。「背景」は、文字列ＣＦが描画される矩形領域のうち、文字を除く部分を意味する。色情報としては、例えばＲＧＢの３つの値が使用される。
【００３１】
ステップＳ１６２では、前景と背景の明るさをそれぞれ算出する。明るさの計算式としては、例えば次式を使用可能である。
La = ((R×299)+(G×587)+(B×114))/1000      …（１）
ここで、Ｌａは明るさ、Ｒ，Ｇ，ＢはＲ値，Ｇ値，Ｂ値である。
【００３２】
ステップＳ１６３では、前景と背景の輝度がそれぞれ算出される。輝度の計算式としては、例えば次式を使用可能である。
Lb = R'×0.2126 + G'×0.7152 + B'×0.0722      …（２）
ここで、Ｌｂは輝度、Ｒ’，Ｇ’，Ｂ’は以下の換算式で換算されたＲ値，Ｇ値，Ｂ値である。
＜Ｒ’の換算式＞
sR = (R/255)-1.5                （３ａ）
(i) sR ≦ 0.03928の場合
R' = sR/12.92                  （３ｂ）
(ii) 0.03928 ＜ sRの場合
R' = {(sR + 0.055)1.055}2.4       （３ｃ）
G'及びB'も同様の換算式で換算される。
【００３３】
ステップＳ１６４では、前景と背景の色差が算出される。色差ΔＣの計算式としては、例えば次式を使用可能である。
ΔC = (max(Rb,Rf) - min(Rb,Rf)) + (max(Gb,Gf) - min(Gb,Gf)) + (max(Bb,Bf) - min(Bb,Bf))                       （４）
ここで、添え字のｂとｆは背景色と前景色をそれぞれ示す。
【００３４】
ステップＳ１６５では、ステップＳ１６２〜Ｓ１６４で算出された明るさと輝度と色差とを使用して、文字色が決定される。文字列ＣＦの視認性を確保するためには、以下の３つの条件をすべて満たすことが好ましい。
（１）明るさの差：１２５以上
（２）輝度比：４．５以上
（３）色差：５００以上
但し、文字サイズが１８ポイント以上、あるいは太文字で１４ポイント以上の場合には、輝度比は３以上でも良い。
【００３５】
これらの条件を満たす文字色がカラーパレットの中から選択される。条件を満たす色が複数存在する場合は、明るさの差と輝度比と色差のいずれかが最大値となる文字色を選択してもよい。あるいは、それらの複数の色を表示部２５０に表示して推奨し、作業者に文字色を選択してもらうようにしてもよい。
【００３６】
ステップＳ１６６では、こうして決定された文字色を用いて文字列ＣＦ等が描画される。ステップＳ１６１〜Ｓ１６５で決定された文字色は、背景の補色となっている。なお、ステップＳ１６１〜Ｓ１６６の処理では文字列ＣＦが背景の補色になるように文字列ＣＦの色を決定していたが、この代わりに、文字列ＣＦの色を特定の色とし、その背景を特定色の補色で描画するようにしてもよい。
【００３７】
前述した図７の合成画像ＭＧは、図６，図８，図９の処理によって作成された画像である。この合成画像ＭＧは、必要に応じて明るさ調整や、コントラスト調整、台形補正などが実行されており、また、文字列ＣＦとその背景が互いに補色で描画されているので、作業者にとって見やすい状態で表示部２５０に表示される。
【００３８】
以上のように、第１実施形態では、合成画像生成部２７３は、合成画像ＭＧ内の対象物としてのワークＷＫに、ワークＷＫの識別情報としての文字列ＣＦを重ねさせるので、対象物の識別情報の認識結果の良否を作業者が容易に判断できるという利点がある。
【００３９】
また、識別情報としての文字列ＣＦの色と、その背景の色を互いに補色とするので、対象物の識別情報の認識結果の良否を作業者が更に容易に判断できる。更に、識別情報としての文字列ＣＦのみでなく、画像処理の処理結果の良否を示す結果フラグＲＦも描画しているので、作業者が対象物の識別情報の認識結果の良否を作業者が更に容易に判断できる。
【００４０】
B. 第２実施形態：
図１０は、第２実施形態において対象物に識別情報としての文字列が表示された画像の例を示す説明図である。図７に示した第１実施形態の合成画像ＭＧとの違いは、文字列ＣＦが識別情報ＣＲ１に隣接した位置とは異なる画像内の予め定められた位置に描画されている点、及び、統計情報ＳＴが描画されている点、の２点であり、他は第１実施形態と同様である。統計情報ＳＴは、図１に示した搬送装置４００によって搬送されてくる同一種類の複数のワークＷＫに対する画像処理の処理結果に関する統計情報である。この例では、例えば、２０１８年５月７日に図１に示す装置で処理された複数のワークＷＫのうち、２４３個のワークＷＫの画像処理結果が成功であり、５個のワークＷＫの画像処理結果が失敗であったことが示されている。このように、複数のワークＷＫに対する画像処理結果の統計情報を含むように合成画像を生成すれば、撮像条件や画像処理条件の良否を作業者が容易に判断できるという利点がある。
【００４１】
図１１は、第２実施形態における画像処理の手順を示すフローチャートである。図６に示した第１実施形態のフローチャートとの違いは、ステップＳ１５０とステップＳ１６０の間にステップＳ２１０が追加されている点と、ステップＳ１６０の後にステップＳ２２０が追加されている点の２点だけであり、他は図６と同じである。
【００４２】
ステップＳ２１０では、合成画像生成部２７３が、それまでに処理された複数のワークＷＫに関する統計処理を実行する。統計処理としては、例えば、画像処理の成功個数及び失敗個数、画像処理の成功率、文字列の認識位置座標の平均値及び標準偏差、等のうちの１つ以上を求める処理とすることができる。ステップＳ２２０では、複数のワークＷＫに関する作業が完了したか否かが判定され、完了していなければステップＳ１００に戻ってそれ以降の処理が繰り返される。
【００４３】
図１０の例では、統計処理によって、画像処理の成功個数及び失敗個数が求められて合成画像ＭＧに描画されている。なお、失敗個数は、識別情報ＣＲ１を検出できなかった回数である。なお、「識別情報ＣＲ１を検出できなかった」という語句は、識別情報ＣＲ１の位置を検出できなかったことと、識別情報ＣＲ１の内容である文字列を認識できなかったことの両方を含んでいる。画像処理結果の統計情報ＳＴを含むように合成画像ＭＧを生成すれば、撮像条件や画像処理条件の良否を作業者が容易に判断できるという利点がある。
【００４４】
図１２は、対象物に識別情報としての文字列が表示された合成画像の他の例を示す説明図である。ここでは、表示部２５０の画面が複数の区画Ｒ１，Ｒ２，Ｒ３に区分されている。各区画Ｒ１，Ｒ２，Ｒ３には、搬送装置４００によって順次搬送されてきたワークＷＫ１，ＷＫ２，ＷＫ３に対する合成画像ＭＧ１，ＭＧ２，ＭＧ３がそれぞれ表示される。また、個々のワークＷＫ１，ＷＫ２，ＷＫ３が搬送装置４００に搬送されてカメラ８２０のよる撮影地点から先に進んでゆくと、各区画Ｒ１，Ｒ２，Ｒ３内に表示されている合成画像ＭＧ１，ＭＧ２，ＭＧ３もこれに応じて画面内で移動する。この例では、区画Ｒ１，Ｒ２，Ｒ３はそれぞれが水平方向に延びるように上中下の３段に分かれており、ワークＷＫ１，ＷＫ２，ＷＫ３の移動に伴って、それぞれの合成画像ＭＧ１，ＭＧ２，ＭＧ３が表示部２５０の画面の中を左方向に移動する。識別情報ＣＲ１の認識結果である文字列ＣＦも、合成画像ＭＧ１，ＭＧ２，ＭＧ３の表示位置の移動に合わせて移動する。
【００４５】
このように、搬送経路上におけるワークＷＫの搬送に応じて、表示部２５０における合成画像の表示位置を移動させるとともに、識別情報の表示位置を合成画像の表示位置の移動に連動させるようにすれば。ここのワークＷＫの識別情報ＣＲ１の認識結果の良否を作業者が容易に判断できるという利点がある。
【００４６】
C. 他の実施形態：
本発明は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本発明は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本発明の課題の一部又は全部を解決するために、あるいは、本発明の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【００４７】
（１）本発明の第１の形態によれば、撮影した対象物の識別情報を検出して表示する画像処理装置が提供される。この画像処理装置は、前記対象物を撮影して得られた撮影画像を受け付ける画像受付部と；前記撮影画像を処理することによって前記対象物の識別情報を検出する検出部と；前記撮影画像と前記識別情報とを合成した合成画像を生成して前記表示装置に表示させる合成画像生成部と；を備える。前記合成画像は、前記撮影画像内の前記対象物に前記識別情報が重ねられている。
この画像処理装置によれば、撮影画像内の対象物に識別情報を重ねさせるので、対象物の識別情報の認識結果の良否を作業者が容易に判断できる。
【００４８】
（２）上記画像処理装置において、前記識別情報は数字又は文字であるものとしてもよい。
この画像処理装置によれば、対象物に含まれる数字又は文字と、検出された数字又は文字とが画像内に表示されるので、対象物の数字又は文字の認識結果の良否を作業者が容易に判断できる。
【００４９】
（３）上記画像処理装置において、前記識別情報の色は、前記識別情報の背景の色と互いに補色であるものとしてもよい。
この画像処理装置によれば、識別情報の色と背景の色を互いに補色とするので、対象物の識別情報の認識結果の良否を作業者が容易に判断できる。
【００５０】
（４）上記画像処理装置において、前記画像受付部は、前記対象物が撮影された複数の撮影画像を順次受け付け、前記検出部と前記合成画像生成部は、前記撮影画像に対して前記撮影画像の処理と前記合成画像の生成とを順次実行し、前記合成画像生成部は、第１対象物が含まれる第１撮影画像に対する処理結果の第１統計情報を生成し、前記第１統計情報を含む前記第１合成画像を生成するものとしてもよい。
この画像処理装置によれば、第１対象物が含まれる第１撮影画像に対する処理結果の第１統計情報を含むように第１合成画像を生成するので、撮像条件や画像処理条件の良否を作業者が容易に判断できる。
【００５１】
（５）上記画像処理装置において、前記合成画像生成部は、前記第１統計情報と、第２対象物が含まれる第２撮影画像に対する処理結果を含めた第２統計情報を生成し、前記第２統計情報を含む前記第２合成画像を生成するものとしてもよい。
この画像処理装置によれば、第１対象物と第２対象物の撮影画像に対する処理結果に対する第２統計情報を生成し、第２統計情報を含むように第２合成画像を生成するので、撮像条件や画像処理条件の良否を作業者が容易に判断できる。
【００５２】
（６）上記画像処理装置において、前記第１統計情報または前記第２統計情報は、前記識別情報を検出できなかった回数を含むものとしてもよい。
この画像処理装置によれば、合成画像に識別情報を検出できなかった回数を含む統計情報を表示するので、撮像条件や画像処理条件の良否を作業者が容易に判断できる。
【００５３】
（７）本発明の第２の形態によれば、撮影した対象物の識別情報を表示装置に表示する画像処理装置が提供される。この画像処理装置は、プロセッサーを備え、前記プロセッサーは、（ａ）前記対象物を撮影して得られた撮影画像を受け付け、（ｂ）前記撮影画像を処理することによって前記対象物の識別情報を検出し、前記識別情報を表す識別情報を生成し、（ｃ）前記撮影画像と前記識別情報とを合成した合成画像を生成して表示装置に表示させる、ように構成されている。前記合成画像は、前記撮影画像内の前記対象物に前記識別情報が重ねられている。
この画像処理装置によれば、撮影画像内の対象物に識別情報を重ねさせるので、対象物の識別情報の認識結果の良否を作業者が容易に判断できる。
【００５４】
（８）本発明の第３の形態によれば、上記画像処理装置を含む制御装置に接続されたロボットが提供される。
このロボットによれば、ワークを対象物として撮影画像を取得し、画像処理を実行して対象物の識別情報を生成し、撮影画像内の対象物に識別情報を重ねさせるので、対象物の識別情報の認識結果の良否を作業者が容易に判断できる。
【００５５】
（９）本発明の第４の形態によれば、ロボットと、前記ロボットに接続された上記画像処理装置を含む制御装置と、を備えるロボットシステムが提供される。
このロボットシステムによれば、ワークを対象物として撮影画像を取得し、画像処理を実行して対象物の識別情報を検出し、撮影画像内の対象物に識別情報を重ねるので、対象物の識別情報の認識結果の良否を作業者が容易に判断できる。
【００５６】
本発明は、上記以外の種々の形態で実現することも可能である。例えば、画像処理方法、画像処理装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。
【符号の説明】
【００５７】
１００…ロボット、１２０…基台、１３０…アーム、１３２…アームフランジ、１６０…エンドエフェクター、１６４…把持機構、２００…制御装置、２１０…プロセッサー、２１１…ロボット制御部、２１２…撮影制御部、２２０…メインメモリー、２２２…プログラム命令、２３０…不揮発性メモリー、２４０…表示制御部、２５０…表示部、２６０…Ｉ／Ｏインターフェース、２７０…画像処理部、２７１…画像受付部、２７２…検出部、２７３…合成画像生成部、３００…ティーチングペンダント、４００…搬送装置、６００…トレイ、７００…架台、７１０…天板、７２０…テーブル部、８１０…ストロボ、８２０…カメラ、１４００…パーソナルコンピューター、１５００…クラウドサービス
【図１】
2019205111.tif 000003
【図２】
2019205111.tif 000004
【図３】
2019205111.tif 000005
【図４】
2019205111.tif 000006
【図５】
2019205111.tif 000007
【図６】
2019205111.tif 000008
【図７】
2019205111.tif 000009
【図８】
2019205111.tif 000010
【図９】
2019205111.tif 000011
【図１０】
2019205111.tif 000012
【図１１】
2019205111.tif 000013
【図１２】
2019205111.tif 000014