(57)【要約】【課題】ＣＮＣを利用する機械の表示器のＧＵＩ画面の使用に慣れた作業員が、ＧＵＩの操作の違いに起因する認知上の操作ミスを起こすのを防止するロボットシステムを提供する。【解決手段】ロボットシステム１は、表示器５のＧＵＩ画面５１にロボット３の表示要素を追加するための種類、外観、表示位置の各属性に対応する値の組合せ、および表示要素の各種類の操作応答仕様の各属性に対応する値の組合せを記憶する機械属性値記憶部１２と、機械属性値記憶部１２に記憶された各属性に対応する値の組合せに基づいて、機械２のＧＵＩ画面５１にロボット３の表示要素を追加して生成する機械画面生成部１１と、を備えている。機械画面生成部１１は、ロボット３の表示要素を含めて表示器５のＧＵＩ画面５１を生成するように構成される。【選択図】図２
2017084108.tif 000002
【特許請求の範囲】
【請求項１】
ＣＮＣ（２０）を利用する機械（２）と、通信ネットワーク（６）を介して前記ＣＮＣ（２０）に接続されたロボット制御装置（４）と、前記機械（２）のＧＵＩ画面（５１）を表示する表示器（５）と、を備えたロボットシステム（１）において、
前記表示器（５）のＧＵＩ画面（５１）にロボット（３）の表示要素を追加するための種類、外観、表示位置の各属性に対応する値の組合せ、および前記表示要素の各種類の操作応答仕様の各属性に対応する値の組合せを記憶する機械属性値記憶部（１２）と、
前記機械属性値記憶部（１２）に記憶された前記各属性に対応する値の組合せに基づいて、前記機械（２）のＧＵＩ画面（５１）に前記ロボット（３）の表示要素を追加して生成する機械画面生成部（１１）とを備えており、
前記機械属性値記憶部（１２）が、前記ロボット（３）の前記表示要素と前記表示要素の各種類の操作応答仕様の各属性に対応する値の組合せを記憶している場合に、前記機械画面生成部（１１）が、前記ロボット（３）の表示要素を含めて前記表示器（５）のＧＵＩ画面（５１）を生成するように構成されており、
前記ＣＮＣ（２０）と前記ロボット制御装置（４）が通信中であるときに、前記機械（２）から前記ロボット（３）の状態確認または操作を実行可能であることを特徴とする、ロボットシステム（１）。
【請求項２】
前記ロボット制御装置（４）が、前記ロボット（３）の表示要素と前記表示要素の各種類の操作応答仕様を前記表示器（５）のＧＵＩ画面（５１）に追加するためのロボット属性値記憶部（４２）を備えており、
前記ロボットシステム（１）が、
前記機械属性値記憶部（１２）から前記表示器（５）のＧＵＩ画面（５１）を構成する各表示要素の種類、外観、表示位置の各属性に対応する値の組合せと、前記表示要素の各種類の操作応答仕様の各属性に対応する値の組合せを前記ロボット制御装置（４）に送信する第１の送信部（２１２）と、
前記ロボット制御装置（４）が、前記ロボット属性値記憶部（４２）に記憶された追加されるべき前記ロボット（３）の各表示要素の外観と操作応答仕様の属性に対応する値を、送信された前記各属性に対応する値の組合せを分析することにより、前記表示器（５）のＧＵＩ画面（５１）の各表示要素の外観と操作応答仕様の属性に対応する値に一致させ、前記表示器（５）のＧＵＩ画面（５１）の各表示要素の外観と操作応答仕様の一致した前記ロボット（３）の各表示要素の各属性に対応する値の組合せを作成する第１の作成部（４３）と、
前記表示器（５）のＧＵＩ画面（５１）の、少なくとも機能または目的に応じて分離された領域における各表示要素の整列規則を、送信された各属性の前記表示位置の属性値を分析して抽出し、前記ロボット属性値記憶部（４２）に記憶されていて追加される前記ロボット（３）の各表示要素に適用して、前記ロボット（３）の各表示要素の表示位置の属性値の組合せを作成する第２の作成部（４４）と、をさらに備えており、
前記機械属性値記憶部（１２）が、前記通信ネットワーク（６）を介して、作成された前記表示器（５）のＧＵＩ画面（５１）の各表示要素の外観と操作応答仕様の一致した前記ロボット（３）の各表示要素の各属性に対応する値の組合せと、作成された前記ロボット（３）の各表示要素の表示位置の属性値の組合せを反映するように構成されており、
前記機械画面生成部（１１）が、前記機械属性値記憶部（１２）の各属性値が変更されるのに応じて前記表示器（５）のＧＵＩ画面（５１）を再生成するように構成されることを特徴とする、請求項１に記載のロボットシステム（１）。
【請求項３】
前記ロボット制御装置（４）が、前記ロボット（３）の表示要素と該表示要素の各種類の操作応答仕様を前記表示器（５）のＧＵＩ画面（５１）に追加するためのロボット属性値記憶部（４２）を備え、
前記ロボットシステム（１）が、
前記機械（２）が前記表示器（５）のＧＵＩ画面（５１）をキャプチャして画面キャプチャ画像データを取得する表示器ＧＵＩ画面キャプチャ処理部（１３）と、
前記表示器ＧＵＩ画面キャプチャ処理部（１３）から前記通信ネットワーク（６）を介して、前記画面キャプチャ画像データを前記ロボット制御装置（４）に送信する第２の送信部（２１４）と、
前記ロボット制御装置（４）が送信された前記画面キャプチャ画像データを分析して、前記表示器（５）のＧＵＩ画面（５１）の各表示要素の外観、表示位置、種類を特定するとともに、前記ロボット属性値記憶部（４２）に記憶された追加される前記ロボット（３）の各表示要素の外観の属性に対応する値を、前記画面キャプチャ画像データから特定された外観に一致させ、前記表示器（５）のＧＵＩ画面（５１）の各表示要素の外観の一致した前記ロボット（３）の各表示要素の各属性に対応する値の組み合わせを作成する第３の作成部（４５）と、
前記表示器（５）のＧＵＩ画面（５１）の、少なくとも機能、または目的に応じて分離された領域における各表示要素の整列規則を、前記画面キャプチャ画像データから特定された各表示要素の位置を分析して抽出し、前記ロボット属性値記憶部（１２）に記憶されていて追加される前記ロボット（３）の各表示要素に適用し、前記ロボット（３）の各表示要素の表示位置の属性値の組み合わせを作成する第４の作成部（４４）と、をさらに備えており、
前記機械属性値記憶部（１２）が、前記通信ネットワーク（６）を介して、作成された前記表示器（５）のＧＵＩ画面（５１）の各表示要素の外観の一致した前記ロボット（３）の各表示要素の各属性に対応する値の組合せと、作成された前記ロボット（３）の各表示要素の表示位置の属性値の組み合わせを反映するように構成されており、
前記機械画面生成部（１１）が前記機械属性値記憶部（１２）の各属性値が変更されるのに応じて前記表示器（５）のＧＵＩ画面（５１）を再生成するように構成されることを特徴とする、請求項１に記載のロボットシステム（１）。
【請求項４】
前記第２の送信部（２１４）が、表示器ＧＵＩ画面キャプチャ処理部（１３）によって周期的に取得される画面キャプチャ画像データを、前記通信ネットワーク（６）を介して前記ロボット制御装置（４）に送信するように構成されており、
前記第４の作成部（４４）が、前記ロボット制御装置（４）が画面キャプチャ画像データを新たに取得する毎に、取得済の過去の画像データと比較して分析し、前記表示器（５）のＧＵＩ画面（５１）の操作応答の内容を特定し、前記ロボット属性値記憶部（１２）に記憶された追加される前記ロボット（３）の表示要素の各種類の操作応答仕様の各属性値の組み合わせを作成するように構成されており、
前記機械属性値記憶部（１２）が、前記通信ネットワーク（６）を介して、追加されるべき作成された前記ロボット（３）の表示要素の各種類の操作応答仕様の各属性値の組合せを反映するように構成されることを特徴とする、請求項３に記載のロボットシステム（１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＮＣを利用する機械およびロボットを備えるロボットシステムに関する。
【背景技術】
【０００２】
近年、工作機械などのＣＮＣ（コンピュータ数値制御装置）を利用する機械とロボットとを連携させることで生産工程を自動化する様々なシステムが提案されている。そのような自動化システムは、工場の人員を増やさずに生産量を増やすことが可能であり、一部の工程を再設計して生産量を増やす際、または新工場を建設する際などに積極的に採用されている。
【０００３】
そのような自動化システムにおいて実行される工程では、ロボットが、工場のＰＬＣ（プログラマブル・ロジック・コントローラ）の簡易制御盤、またはＣＮＣを利用する機械の表示器のＧＵＩ（グラフィカル・ユーザ・インタフェース）から状態を確認し、操作できるようになっていることがある。それにより、現場の作業員は、ＣＮＣを利用する機械、たとえば工作機械の運用に集中できるように、或いは機械による加工中に並行して別の作業ができるようになる。
【０００４】
例えば、特許文献１には、工作機械からロボットプログラムの編集、起動、およびロボットのジョグを実施する技術が開示されている。しかしながら、特許文献１には、どのような機械操作画面が望ましいかについては特に記載されていない。特許文献２には、ロボットの教示操作盤のＧＵＩとして、工作機械を管理するための画面を備えた加工システムが開示されている。それにより、オペレータは、工作機械の状態を確認できるとともに、工作機械の一部の操作をロボットから実行できる。
【０００５】
工場の作業員にとって、ロボットは２つのタイプに分けられる。一方のタイプのロボットは、製品の加工に直接関与する。そのため、製品の生産量および品質は、ロボットの性能と活用方法に依存する。他方のタイプのロボットは、ワークの搬送、工具の自動交換または洗浄など、生産工程における補助作業のみを行う。その場合、製品の加工は、工作機械などの専用の機械によって実行される。
【０００６】
前者の適用例には、例えば、ロボットによる機械部品のアーク溶接、または自動車の車体工場でのスポット溶接などがある。それらの場合、ロボットを意図したとおりに使用できなければ、品質問題が発生し、不良品を大量に生産してしまう虞がある。したがって、工場の作業員は、ロボットの使用方法を慎重に調べる動機がある。また、作業員の管理責任者は、作業員がロボットの操作の習熟のために就業時間中の時間を割くことについて容認する傾向にある。
【０００７】
後者の場合は、事情が異なる。製品の加工は、ＣＮＣを利用する機械などによって実行されるので、作業員がその機械の使用方法を正確に理解するとともに、加工そのものについて基本的知識を有している必要がある。また、その機械で実行可能な加工を補助する様々な機能を使いこなせなければ、必要十分な品質を確保した加工を短時間で手戻りなく実施することができない。例えば、マシニングセンタを使用する場合、作業員は、ワークを適切に取扱うための知識、ＮＣプログラムを出力するＣＡＤ／ＣＡＭ、クーラントの調節、ワークを固定する最適な治具の選択、摩耗した工具の工具長補正など様々な事柄に注意を払う必要がある。
【０００８】
前述したようなＣＮＣを利用する機械を取扱うとき、作業員は、ロボットが変化の少ない条件下で同じ作業を繰返しているように感じる傾向がある。また、作業員の管理責任者も、ロボットが正常に運転している間は製品の品質には関与しないので、同様の印象を持つ傾向にある。
【０００９】
その結果、作業員または管理責任者は、通常の生産業務に必要な１つか２つの手順を覚えれば十分であると考えて、ロボットの取扱説明書を熟読しない傾向がある。このことをロボットの提供者が批難することはできない。なぜなら、ロボットの管理コストが、ロボット導入による工場全体の生産性向上を打消してしまえば、ロボットを導入する意義が失われるからである。
【００１０】
ロボットが正常に運転を継続し、通常の生産業務を実行している限りにおいては、作業員がロボットに熟練していなくても問題は発生しない。しかし、作業員または管理責任者が業務の改善を検討するためにロボットの作業内容を見直したい場合には、規模の小さな変更であっても、ページ数の膨大な取扱説明書から関連する説明箇所を探し出すのに多大な時間を要することになり得る。
【００１１】
また、作業員は、普段、ロボットをほとんど意識することなく別の作業に従事しているので、不具合が発生してロボットが停止した場合、そのことを不意の出来事として受け取め、心理的な抑圧を感じることがある。さらに、ロボットのＧＵＩの設計仕様は、作業員が通常使用しているＣＮＣを利用する機械のＧＵＩとは異なるので、不慣れな作業中にヒューマン・エラーが発生し、復旧作業が円滑に進まない可能性がある（ヒューマン・エラーについて、特に非特許文献４参照）。
【００１２】
ＣＮＣを利用する機械またはロボットのいずれか一方のＧＵＩ画面を、任意の外観と操作応答仕様との間で切替える技術が多数提案されている。例えば、特許文献３には、ＣＮＣを利用する機械の表示を切り替える技術が開示されている。特許文献４では、ＨＴＭＬ（ハイパー・テキスト・マークアップ・ランゲージ）ファイルにおけるフレームおよびその内部に表示される表示要素のレイアウトを変更する技術が開示されている。特許文献５には、タッチパネルにキー入力エリアが表示される際に、キーレイアウトを変更する方法が開示されている。
【００１３】
ところで、ＧＵＩの構築を支援する種々の方法またはソフトウェアが利用可能であっても、２つのＧＵＩの設計が、異なる設計元で、異なる目的で、異なる用途のために行われる場合、一般に２つのＧＵＩの最終的な仕様の差異は大きくなる。したがって、一方のＧＵＩを使いこなせる作業者が、取扱説明書または経験者の指導に頼らずに他方のＧＵＩを使いこなせるようになるのは困難である。
【００１４】
このような問題への対策として、特許文献１に開示された関連技術と同様に、ＣＮＣを利用する機械の表示器のＧＵＩの提供者より、ＣＮＣと通信接続されるロボットを取扱うためのＧＵＩを、機械のためのＧＵＩと統合して提供する方法がある。それにより、機械を取扱うのと同じ使いやすさでロボットを使用できるようになる。
【００１５】
しかしながら、その場合、ＣＮＣを利用する機械を設計する側が専用のＧＵＩを開発することになり、結果的に機械のコスト増大につながる。そのため、実際には、各機械メーカがロボットを操作するための画面を開発し、顧客に提供することは稀である。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開平６−１４９３２９号公報
【特許文献２】特開２０１０−２７７４２５号公報
【特許文献３】特開平６−１６８０２０号公報
【特許文献４】国際公開第２００７／０１８７５３号
【特許文献５】特開平２−０５１７２０号公報
【特許文献６】特開２０１０−１０２４６５号公報
【非特許文献】
【００１７】
【非特許文献１】「The CAMELEON Reference Framework」、 Sep. 2002
【非特許文献２】「Model-Based UI XG Final Report」、 May 2010
【非特許文献３】「ＵＩデザインの心理学  わかりやすさ・使いやすさの法則第２版」、Jeff Johnson、インプレス、原著「Designing with the Mind in Mind, Second Edition」、視覚認知についての「ゲシュタルトの法則(Gestalt principles of visual perception)」について、３４ページから４９ページまで
【非特許文献４】「誰のためのデザイン？  増補・改訂版」、Donald A Norman、新曜社、原著『The Design of Everyday Things Revised and Expanded Edition』、第４章 何をするか知る  −  制約、発見可能性、フィードバック、第５章 ヒューマン・エラー？いや、デザインが悪い。
【非特許文献５】「Associating the Visual Representation of User Interfaces with their Internal Structures and Metadata」、Oct. 15-19, 2011、 UIST’11
【非特許文献６】「条件付高解像度化と文字線幅判定を用いた劣化文書画像の2値化法」、池田修二郎、吉田大海、飯國洋二、2014電子情報通信学会総合大会講演論文集
【非特許文献７】「Simultaneous cartoon and texture image inpainting using morphological component analysis(MCA)』, M. Elad、J.-L.、Starck, P. Querre、D.L. Donoho、Applied and Computational Harmonic Analysis、August 2005
【発明の概要】
【発明が解決しようとする課題】
【００１８】
作業員がロボットを使いにくいと感じる状況として、次の２つの場合が考えられる。第一に、元々のロボットのＧＵＩ画面において、人間に対して一般的に適用可能な公知の設計指針が適用されておらず、使いにくい。第二に、ＣＮＣを利用する機械の表示器のＧＵＩ画面を使用した運用に熟練した作業員が、ＧＵＩの操作の違いに起因する認知上の操作ミスを起こす。本発明は、後者の問題に対処することを目的とする。
【課題を解決するための手段】
【００１９】
本願の１番目の発明によれば、ＣＮＣを利用する機械と、通信ネットワークを介して前記ＣＮＣに接続されたロボット制御装置と、前記機械のＧＵＩ画面を表示する表示器と、を備えたロボットシステムにおいて、前記表示器のＧＵＩ画面に前記ロボットの表示要素を追加するための種類、外観、表示位置の各属性に対応する値の組合せ、および前記表示要素の各種類の操作応答仕様の各属性に対応する値の組合せを記憶する機械属性値記憶部と、前記機械属性値記憶部に記憶された前記各属性に対応する値の組合せに基づいて、前記機械のＧＵＩ画面に前記ロボットの表示要素を追加して生成する機械画面生成部とを備えており、前記機械属性値記憶部が、前記ロボットの前記表示要素と前記表示要素の各種類の操作応答仕様の各属性に対応する値の組合せを記憶している場合に、前記機械画面生成部が、前記ロボットの表示要素を含めて前記表示器のＧＵＩ画面を生成するように構成されており、前記ＣＮＣと前記ロボット制御装置が通信中であるときに、前記機械から前記ロボットの状態確認または操作を実行可能であることを特徴とする、ロボットシステムが提供される。
本願の２番目の発明によれば、１番目の発明に係るロボットシステムにおいて、前記ロボット制御装置が、前記ロボットの表示要素と前記表示要素の各種類の操作応答仕様を前記表示器のＧＵＩ画面に追加するためのロボット属性値記憶部を備えており、前記ロボットシステムが、前記機械属性値記憶部から前記表示器のＧＵＩ画面を構成する各表示要素の種類、外観、表示位置の各属性に対応する値の組合せと、前記表示要素の各種類の操作応答仕様の各属性に対応する値の組合せを前記ロボット制御装置に送信する第１の送信部と、前記ロボット制御装置が、前記ロボット属性値記憶部に記憶された追加されるべき前記ロボットの各表示要素の外観と操作応答仕様の属性に対応する値を、送信された前記各属性に対応する値の組合せを分析することにより、前記表示器のＧＵＩ画面の各表示要素の外観と操作応答仕様の属性に対応する値に一致させ、前記表示器のＧＵＩ画面の各表示要素の外観と操作応答仕様の一致した前記ロボットの各表示要素の各属性に対応する値の組合せを作成する第１の作成部と、前記表示器のＧＵＩ画面の、少なくとも機能または目的に応じて分離された領域における各表示要素の整列規則を、送信された各属性の前記表示位置の属性値を分析して抽出し、前記ロボット属性値記憶部に記憶されていて追加される前記ロボットの各表示要素に適用して、前記ロボットの各表示要素の表示位置の属性値の組合せを作成する第２の作成部と、をさらに備えており、前記機械属性値記憶部が、前記通信ネットワークを介して、作成された前記表示器のＧＵＩ画面の各表示要素の外観と操作応答仕様の一致した前記ロボットの各表示要素の各属性に対応する値の組合せと、作成された前記ロボットの各表示要素の表示位置の属性値の組合せを反映するように構成されており、前記機械画面生成部が、前記機械属性値記憶部の各属性値が変更されるのに応じて前記表示器のＧＵＩ画面を再生成するように構成される。
本願の３番目の発明によれば、１番目の発明に係るロボットシステムにおいて、前記ロボット制御装置が、前記ロボットの表示要素と該表示要素の各種類の操作応答仕様を前記表示器のＧＵＩ画面に追加するためのロボット属性値記憶部を備え、前記ロボットシステムが、前記機械が前記表示器のＧＵＩ画面をキャプチャして画面キャプチャ画像データを取得する表示器ＧＵＩ画面キャプチャ処理部と、前記表示器ＧＵＩ画面キャプチャ処理部から前記通信ネットワークを介して、前記画面キャプチャ画像データを前記ロボット制御装置に送信する第２の送信部と、前記ロボット制御装置が送信された前記画面キャプチャ画像データを分析して、前記表示器のＧＵＩ画面の各表示要素の外観、表示位置、種類を特定するとともに、前記ロボット属性値記憶部に記憶された追加される前記ロボットの各表示要素の外観の属性に対応する値を、前記画面キャプチャ画像データから特定された外観に一致させ、前記表示器のＧＵＩ画面の各表示要素の外観の一致した前記ロボットの各表示要素の各属性に対応する値の組み合わせを作成する第３の作成部と、前記表示器のＧＵＩ画面の、少なくとも機能、または目的に応じて分離された領域における各表示要素の整列規則を、前記画面キャプチャ画像データから特定された各表示要素の位置を分析して抽出し、前記ロボット属性値記憶部に記憶されていて追加される前記ロボットの各表示要素に適用し、前記ロボットの各表示要素の表示位置の属性値の組み合わせを作成する第４の作成部と、をさらに備えており、前記機械属性値記憶部が、前記通信ネットワークを介して、作成された前記表示器のＧＵＩ画面の各表示要素の外観の一致した前記ロボットの各表示要素の各属性に対応する値の組合せと、作成された前記ロボットの各表示要素の表示位置の属性値の組み合わせを反映するように構成されており、前記機械画面生成部が前記機械属性値記憶部の各属性値が変更されるのに応じて前記表示器のＧＵＩ画面を再生成するように構成される。
本願の４番目の発明によれば、３番目の発明に係るロボットシステムにおいて、前記第２の送信部が、表示器ＧＵＩ画面キャプチャ処理部によって周期的に取得される画面キャプチャ画像データを、前記通信ネットワークを介して前記ロボット制御装置に送信するように構成されており、前記第４の作成部が、前記ロボット制御装置が画面キャプチャ画像データを新たに取得する毎に、取得済の過去の画像データと比較して分析し、前記表示器のＧＵＩ画面の操作応答の内容を特定し、前記ロボット属性値記憶部に記憶された追加される前記ロボットの表示要素の各種類の操作応答仕様の各属性値の組み合わせを作成するように構成されており、前記機械属性値記憶部が、前記通信ネットワークを介して、追加されるべき作成された前記ロボットの表示要素の各種類の操作応答仕様の各属性値の組合せを反映するように構成される。
【００２０】
これら並びに他の本発明の目的、特徴および利点は、添付図面に示される本発明の例示的な実施形態に係る詳細な説明を参照することによって、より明らかになるであろう。
【発明の効果】
【００２１】
本発明に係るロボットシステムによれば、ロボット用のＧＵＩ画面の外観および操作が、ＣＮＣを利用する機械のＧＵＩ画面と一貫性を有するようになる。したがって、ロボットの操作に関連して向上の作業員がヒューマン・エラーを起こすのを防止できるとともに、作業者がロボットの操作を習得するのを補助できる。
【図面の簡単な説明】
【００２２】
【図１】一実施形態に係るロボットシステムの構成例を示す図である。
【図２】第１の実施形態に係るロボットシステムの機能ブロック図である。
【図３】第１の実施形態に従って実行される処理を示すフローチャートである。
【図４】ＧＵＩ画面の第１の例を示す図である。
【図５】ＧＵＩ画面の第２の例を示す図である。
【図６】ＧＵＩ画面の第３の例を示す図である。
【図７】第２の実施形態に係るロボットシステムの機能ブロック図である。
【図８】第２の実施形態に従って実行される処理を示すフローチャートである。
【図９】図８のステップＳ２０６の処理を示すフローチャートである。
【図１０】アイコンを追加する態様について示す図である。
【図１１】アイコンを追加する態様について示す図である。
【図１２】アイコンを追加する処理を示すフローチャートである。
【図１３】第３の実施形態に係るロボットシステムの機能ブロック図である。
【図１４】第３の実施形態に従って実行される処理を示すフローチャートである。
【図１５】図１４のステップＳ５０７の処理を示すフローチャートである。
【図１６】第４の実施形態に従って実行される処理を示すフローチャートである。
【図１７】第１の実施形態の変形例に係るロボットシステムを示す図である。
【図１８】第２の実施形態の変形例に係るロボットシステムを示す図である。
【図１９】第１の実施形態の別の変形例に係るロボットシステムを示す図である。
【図２０】第２の実施形態の別の変形例に係るロボットシステムを示す図である。
【図２１】第３の実施形態または第４の実施形態の変形例に係るロボットシステムを示す図である。
【図２２】第３の実施形態または第４の実施形態の別の変形例に係るロボットシステムを示す図である。
【図２３】第１の実施形態のまた別の変形例に係るロボットシステムを示す図である。
【図２４】第２の実施形態のまた別の変形例に係るロボットシステムを示す図である。
【図２５】第１の実施形態のまた別の変形例に係るロボットシステムを示す図である。
【図２６】第２の実施形態のまた別の変形例に係るロボットシステムを示す図である。
【図２７】第３の実施形態または第４の実施形態のまた別の変形例に係るロボットシステムを示す図である。
【図２８】第３の実施形態または第４の実施形態のまた別の変形例に係るロボットシステムを示す図である。
【発明を実施するための形態】
【００２３】
以下、添付図面を参照して本発明の実施形態を説明する。図示される実施形態の構成要素は、縮尺が適宜変更されている。同一または対応する構成要素には、同一の参照符号が使用される。
【００２４】
図１は、一実施形態に係るロボットシステムの構成例を示している。ロボットシステム１は、ＣＮＣ（コンピュータ数値制御装置）を利用する機械２と、ロボット３と、ロボット３を制御するロボット制御装置４と、を備えている。また、図１に示されるように、機械２は、ＧＵＩ画面５１を有する表示器５を備えている。
【００２５】
本実施形態に係るロボットシステム１においては、後述するように、機械２のＧＵＩ画面５１を操作する操作系統を介して、ロボット３の状態を確認したり、ロボット３の操作を実行できるようになっている。
【００２６】
ＣＮＣを利用する機械２は、特に限定されないものの、例えば、ＮＣ旋盤、ＮＣフライス盤、マシニングセンタ（ＭＣ）、ターニングセンタ（複合旋盤、ＴＣ）、研削盤、グラインディングセンタ、ホブ盤、歯車型削り盤、歯車研削盤、歯車仕上げ機械、型彫り放電加工機、ワイヤカット放電加工機、レーザ加工機などの工作機械、或いは、プレス機械、ＮＣタレットパンチプレス、プレスブレーキなどの鍛圧機械、電動射出成形機などであってもよい。
【００２７】
ロボット３は、特に限定されないものの、例えば、図示されるような６軸を有する垂直多関節ロボットである。ロボット３は、ロボット制御装置４からの制御指令に応答して、ツール先端点（ＴＣＰ）を所定の姿勢で所定の位置に位置決めできるように構成される。
【００２８】
ロボット制御装置４は、公知の通信ネットワークを介して機械２に接続されている。ロボット制御装置４は、各種演算を実行するＣＰＵと、ロボット３の制御プログラムおよびパラメータなどの情報を記憶したメモリと、外部装置と接続するために使用されるインタフェースと、を備えるデジタルコンピュータである。
【００２９】
本実施形態において使用される通信ネットワーク６は、Ｍ２Ｍで採用される通信などであり、有線でもあってもよしい、または無線であってもよい。通信ネットワーク６は、通信のリアルタイム性が確保されていることが望ましい。通信ネットワーク６は、一般的なデータを送受信できる通信仕様が含まれていれば、例えば、フィールドネットワークに属する通信、またはサーボコントロールネットワークに属する通信であってもよい。
【００３０】
表示器５のＧＵＩ画面５１は、例えば、タッチパネル、液晶モニタ（ＬＣＤ）、電子ペーパー、ブラウン管などの平面型のモニタである。特殊なメガネを用いて立体視可能な３Ｄモニタ、３Ｄホログラフィー装置は、機械２とロボット３の両方の表示要素が共通のモデルに基づくＵＩ（ユーザ・インタフェース）自動生成仕様に従っている場合に使用され得る。
【００３１】
図２は、ロボットシステム１の機能ブロック図である。ロボットシステム１は、機械画面生成部１１および機械属性値記憶部１２を備えている。
【００３２】
機械画面生成部１１は、属性の定義と値に基づいたモデルベースのＵＩ自動生成仕様に基づいて構成される。機械画面生成部１１は、属性の定義および値を分析することによって、リバースエンジニアリングできるようにモデルを定義する。モデル化の原理については、例えば、非特許文献１の4.2.2.3 「Multi-targeting by Reverse Engineering」、4.3.1の「Run-time Adaptation: a Three-step Process」、或いは非特許文献２を参照されたい。
【００３３】
機械画面生成部１１は、プログラミング無しでＵＩを切替えることができる。本実施形態においては、（１）機械２のＧＵＩ画面内の機械２の状態確認および操作に関するものと、ロボット３の状態確認および操作に関するもののすべてが、同一仕様の属性の定義に従い、各属性値の組合せとして生成されている場合と、（２）機械の状態確認および操作に関するものは、属性の定義および属性値に基づく方法に限らず、ロボット３の状態確認および操作に関するものだけについて、モデルベースのＵＩ自動生成仕様をサポートする場合の両者について言及する。
【００３４】
ＧＵＩ画面５１に表示される表示要素は、設計者がＧＵＩ画面５１を検討する場合に想起するような、ＧＵＩ画面５１内において視認可能な名称を伴った判別対象の種類およびその個別対象である。それら表示要素には、限定されないものの、アイコン、ラベル、テキストボックス、ラベル、メニュー、画像表示領域（イメージ）、リスト、グリッド、チェックボックス、選択ボタン、グルーピングエリア、円グラフ、棒グラフ、線グラフ、ゲージ、スクロールバーなどが含まれ得る。
【００３５】
本明細書で使用される「表示要素の外観の属性」は、形状に関する特徴である。例えば、矩形、三角形、六角形、円、正円などの形状、サイズ、位置、形状とサイズと位置によって決定される有効境界、境界が直線と接続点で角度をつけて別の直線で囲まれるようにしたもの、或いは、直線と直線の接続点に対して弧を定義して角丸にしたものなどである。外観の属性には、陰影効果、付帯するテキストの有無、テキストの言語の種類、フォントの種類、サイズと表示位置が含まれていてもよい。
【００３６】
表示要素がグリッドである場合、外観の属性には、行列の定義、行のタイトル、列のタイトルの有無、各セル内の表示要素の種類（テキスト、チェックボックス、画像表示領域など）が含まれてもよい。
【００３７】
本明細書で使用される「表示要素の操作応答仕様」には、有効操作の規定と限定、各種有効操作に対する応答フィードバックの種類（アニメーション、色彩変化、点滅効果）が含まれ得る。作業員が、ロボット３のＧＵＩが機械２のそれと適合しているか否かの実感は、ＧＵＩ画面５１のフィードバック仕様が一致するかにも関係する。そのため、本発明におけるロボット３の表示要素を指定する属性の仕様には、ＧＵＩ画面５１のフィードバックの仕様を規定する属性が含まれていてもよい。
【００３８】
本明細書で使用される「グループ化領域（Grouping Region）」は、「ＧＵＩ画面５１の、少なくとも機能または目的に応じて分離された領域」に相当する。例えば、グループ化領域には、ＣＳＳ３規格におけるボックスモデル、またはＨＴＭＬ規格におけるフレームである。ＨＴＭＬでは、矩形領域単位でウィンドウが分割され、表示要素のグループ化が行われる。しかしながら、ＣＮＣを利用する機械２のＧＵＩ画面５１では、矩形以外に、六角形、正円、楕円などの一般の幾何図形で表示要素がグループ化されていてもよい。
【００３９】
矩形ではない幾何図形で表示要素のグループ化が行われている実際のＧＵＩ画面では、ＧＵＩ画面での作業員が誤解しないように、ＧＵＩ画面の設計者が視覚認知のゲシュタルトの法則（Gestalt principles of visual perception）を応用していると解釈できる場合が多く、最近は一般の幾何図形（六角形、正円、楕円など）を多用して設計することが珍しくない。そのため、本実施形態においては、表示要素がグループ化された領域を、フレームやボックスと呼ばず、グループ化領域と称する。
【００４０】
機械属性値記憶部１２は、機械属性値を記憶する。また、機械属性値記憶部１２は、ロボット３の表示要素の属性値記憶部１２１を備えている。
【００４１】
図２に示されるように、機械２のＣＮＣ２０は、ロボット操作内容送信部２１１を備えた通信部２１を備えている。また、ロボット制御装置４は、ロボット操作内容受信部４１１を備えた通信部４１を備えている。それにより、ロボット３の操作内容が、ＣＮＣ２０とロボット制御装置４との間で送受信されるようになっている。
【００４２】
図３を参照して、一実施形態に係るロボットシステム１によって実行される処理について説明する。まず、ステップＳ１０１において、ＣＮＣ２０とロボット制御装置４とが通信中であるか否かが判定される。
【００４３】
ＣＮＣ２０とロボット制御装置４とが通信中であるときは、ステップＳ１０２に進む。ステップＳ１０２では、機械属性値記憶部１２にロボット３の表示装置の属性値が記憶されているか否かが判定される。
【００４４】
ステップＳ１０２の判定結果が肯定である場合、ステップＳ１０３に進み、機械属性値記憶部１２が、ロボット３の表示要素の種類、外観、表示位置、操作応答仕様に対応する属性値を機械画面生成部１１に送信する。
【００４５】
ステップＳ１０４では、機械画面生成部１１が、ロボット３の表示要素の属性値の組合せに応じて、ロボット３の表示要素を追加してＧＵＩ画面５１を生成する。ＧＵＩ画面５１には、元々機械２の状態確認および操作のための情報が含まれている。ここでは、それに加えて、機械画面生成部１１が、機械２のＧＵＩ画面５１の各グループ化領域内に、外観および操作応答仕様が共通するロボット３の表示要素を追加する。したがって、機械２の作業員は、機械２のＧＵＩ画面５１からロボット３を操作できるようになる。
【００４６】
ＣＮＣ２０とロボット制御装置４とが通信していないとき（ステップＳ１０１での判定結果が否定である場合）、または、ロボット３の表示要素に関連する属性値が記憶されていないとき（ステップＳ１０２での判定結果が否定である場合）は、ステップＳ１０５に進み、機械画面生成部１１が、機械２のみに対する状態確認および操作のための画面を生成する。すなわち、ロボット３の表示要素は、ＧＵＩ画面５１から除外される。
【００４７】
表示器５のＧＵＩ画面５１の一部区画の矩形領域に限って、ロボット３の表示要素が追加されるだけではない。例えば、機械２のナビゲーションに関わる表示領域に、同等の外観、操作応答仕様の表示要素で、ロボット３の状態確認または操作のための画面に切り替えるナビゲーションが追加されてもよい。
【００４８】
図４は、ＧＵＩ画面５１の第１の例を示している。図４の左側には、機械２の表示要素のみを含むＧＵＩ画面５１が示されており、右側には、機械２の表示要素およびロボット３の表示要素を含むＧＵＩ画面５１が示されている。
【００４９】
表示器のＧＵＩ画面５１の各種切替画面領域には、ＣＮＣ２０がロボット３と通信していないとき、機械２の各種設定および管理画面などが表示される。ロボット３との通信が開始されると、各種切替画面領域は、ロボット３の状態を確認するなどのための領域に割り当てられる。
【００５０】
機械２のアイコンのグローバルナビゲーションの領域には、ロボット３の状態確認および操作のための画面を開くためのアイコンが追加される。また、テキストサブメニュー領域にも、ロボット３の別画面を開くためのテキストのサブメニューが加えられる。
【００５１】
図５は、ＧＵＩ画面５１の第２の例を示している。図４と同様に、図５の左側には、機械２の表示要素のみを含むＧＵＩ画面５１が示されており、右側には、機械２の表示要素およびロボット３の表示要素を含むＧＵＩ画面５１が示されている。
【００５２】
機械２のＧＵＩ画面５１では、アイコンのグローバルナビゲーション領域において、スライドを示す三角形の記号に触れてスライドさせれば、表示されているアイコンを切替えることができる。ロボット３のアイコンは、グローバルナビゲーションのアイコンリストに追加される。また、上部にグリッドで領域分割された小さなアイコンによる状態表示領域があり、その領域に余裕があるときには、ロボット３の警告表示を同じ外観で表示させてもよい。
【００５３】
図６は、ＧＵＩ画面５１の第３の例を示している。前述した例と同様に、図６の左側には、機械２の表示要素のみを含むＧＵＩ画面５１が示されており、右側には、機械２の表示要素およびロボット３の表示要素を含むＧＵＩ画面５１が示されている。
【００５４】
機械２のＧＵＩ画面５１には、アイコンを含むグローバルナビゲーションの表示領域があり、そこにロボット３のアイコンが追加される。図６に示されるように、機械２の様々な目的の画面を４つの領域に分割して表示できる仕様の場合、例えば、そのうちの２つの領域に、ロボット３の状態確認および操作のための画面が割当てられてもよい。
【００５５】
本実施形態に係るロボットシステム１によれば、次のような利点が得られる。
【００５６】
ＣＮＣ２０を利用する機械２の表示器５に表示されるＧＵＩ５１の設計を行う機械メーカは、通信接続先のロボット３の表示要素の設定を、各属性値の定義に従って、ロボット３の表示要素の属性値記憶部１２１に予め保存しておく。ここで、ロボット３の表示要素が、機械２の表示要素の外観および操作応答仕様と同等となるように設定される。それにより、ロボット３と通信している際に、ロボット３の状態確認および操作のためのＧＵＩを機械２のＧＵＩ画面５１に表示できる。
【００５７】
結果として、作業員は、機械２のメーカや機種に関わらず、その機械２と同様にロボット３を操作できるようになる。それにより、作業員がロボット３について熟知していなくても、また、作業員がロボット３の取扱説明書を読まなくても、作業員は、機械２の表示器５に表示された情報から、ロボット３の状態確認および操作に必要な情報を取得できる。
【００５８】
産業機器を取扱う際に、ＧＵＩ画面上での操作を利用することが一般的になった現在においても、実際の使用方法は機器によって異なる。本実施形態によれば、作業員は、ＣＮＣを利用する機械のＧＵＩ画面を見ただけで、ロボットに関連する情報を推測できるようになる。結果的に、ロボットの操作を習得するのに必要な時間が短縮される。本システムでは通信ネットワーク６でのデータ送受信によってロボット制御装置がＣＮＣを用いた機械のメーカと機種を特定することができる。したがって、機械属性値記憶部１２のロボットの表示要素の属性値記憶部１２１に複数のメーカのＣＮＣを用いた機械に対応した属性値の組み合わせを予め保持しておけば、ロボットが現在の機械２とは異なる機械と接続された場合でも、その異なる機械に対応した属性値の組み合わせを保持している限り、その異なる機械のＧＵＩ画面設計に応じて適切にロボットの操作、及び状態確認のための表示要素を追加することができる。
【００５９】
ＣＮＣとロボット制御装置との間の通信が切断されているとき、ロボットのＧＵＩは、機械の表示器に表示されない。したがって、作業員は、ロボットとの連携が可能か否かを機械のＧＵＩ画面から判断できる。いったんロボットの表示要素が機械のＧＵＩ画面に正常に追加された後に、ロボットの表示要素が消えた場合は、作業員は、ロボットとの通信が何らかの理由で切断されたことを推測できる。この方式では、作業員がプラグアンドプレイのＵＸ（User Experience）と同等に感じることができるので、習熟が速くなる。
【００６０】
実際に使いやすくなったかどうかについては、切替えられたロボットの画面に対して、ロボットの操作経験の少ない作業員に協力を依頼し、一般にユーザビリティテスト(またはＵＸメトリクス（User Experience Metrics）計測）として一般に知られている様々な方法で試験することで調査できる。或いは、特許文献６に開示されている作業員の操作記録情報に基づいて、所定の計算式で熟練の度合いを推定することで試験する方法などが利用されてもよい。
【００６１】
図７は、第１の実施形態に係るロボットシステム１の機能ブロック図である。本実施形態において、機械属性値記憶部１２は、機械２の表示要素の属性値を記憶する機械属性値記憶部１２２と、ロボット３の表示要素の属性値を記憶するロボット属性値記憶部１２１と、を備えている。
【００６２】
ＣＮＣ２０の通信部２１は、ロボット操作内容送信部２１１と、機械２の表示要素の属性値を送信する属性値送信部２１２と、ロボット３の表示要素の属性値を受信する属性値受信部２１３と、を備えている。
【００６３】
ロボット制御装置４の通信部４１は、ロボット操作内容受信部４１１と、機械２の表示要素の属性値を受信する属性値受信部４１２と、ロボット３の表示要素の属性値を送信する属性値送信部４１３と、ロボット属性値記憶部４２と、機械２の表示要素の属性値を分析する属性値分析部４３と、ロボット３の表示要素の属性値を決定する属性値決定部４４と、を備えている。
【００６４】
本実施形態においては、機械属性値記憶部１２の属性値記憶部１２２によって、機械２の状態確認および操作のための属性値が記憶されている。それに対し、機械属性値記憶部１２には、ロボット３の状態確認および操作のための属性値が記憶されていない。ロボット３の状態確認および操作のための画面情報を生成する属性値は、ロボット制御装置４のロボット属性値記憶部４２に記憶されている。
【００６５】
図８を参照して、本実施形態に係るロボットシステム１において実行される処理について説明する。ステップＳ２０１〜Ｓ２０５における処理は、図３を参照して説明したステップＳ１０１〜Ｓ１０５の処理と同じである。しかしながら、本実施形態では、ステップＳ２０２における判定結果が否定である場合、ステップＳ２０６、Ｓ２０７の処理を実行する。
【００６６】
ステップＳ２０６では、ロボット制御装置４が、ロボット３の表示要素の属性値の組合せを決定する。ステップＳ２０６における処理の詳細については後述する。ステップＳ２０７では、ロボット制御装置４が、ロボット３の表示要素の属性値の組合せを機械属性値記憶部１２に送信する。
【００６７】
続いて、図９を参照して、図８のステップＳ２０６での処理について説明する。機械属性値記憶部１２には、機械２の表示要素の属性の定義および属性値の組合せが格納されている。この情報は読出しのみ可能であり、変更できないようになっている。そこで、この情報をロボット制御装置４に送信して、ロボット制御装置４によって分析する。
【００６８】
ステップＳ３０１では、表示器５のＧＵＩ画面５１を構成する属性の定義および属性値の組合せを、機械属性値記憶部１２からロボット制御装置４に送信する。
【００６９】
ステップＳ３０２では、機械２のＧＵＩ画面仕様のすべての属性の定義および属性値が公開されているか否かを判定する。すなわち、機械２の表示要素の種類、外観、表示位置、操作応答仕様などの属性値の組合せがすべて公開されているか否かが判定される。
【００７０】
すべての属性の定義および属性値の組合せが公開されている場合（ステップＳ３０２での判定結果が肯定である場合）、ステップＳ３０３に進み、属性の定義および属性値の組合せから、表示装置の各々の外観、表示位置、種類、操作応答仕様を特定する。
【００７１】
ステップＳ３０４では、機械２の操作のグローバルナビゲーションに相当するアイコンメニューやテキストメニューを検索する。検索の結果として発見された形式で、ロボット３の状態確認、操作向けのナビゲーション向けのアイコンやメニューを追加するようにロボット３の表示要素の属性と値の組合せを決定する。
【００７２】
ステップＳ３０５では、機械２のグループ化領域と画面遷移の関係をすべて検索して特定する。ステップＳ３０６では、それぞれのグループ化領域の表示要素の整列規則を特定する。
【００７３】
ステップＳ３０７では、特定された整列規則に従って、ロボット３用の各種画面で予め用意されていた各表示要素の配列を再整列するようにロボット３の表示要素の属性の定義および属性値の組み合わせを決定する。レイアウト決定のアルゴリズムについては後述する。
【００７４】
他方、ステップＳ３０２において、すべての属性の定義および属性値の組合せが公開されていない場合（判定結果が否定である場合）、すなわち、ロボット３の表示要素を追加するために必要な最小限の属性および属性値を定めるための、機械２の表示要素の属性値の組み合わせのみが公開されている場合、ステップＳ３０８に進む。ステップＳ３０８では、追加可能なグループ化領域と表示要素の種別が公開属性で限定されているので、変更及び追加可能な属性の定義と属性値を検索して特定する。
【００７５】
ステップＳ３０９では、検索の結果として発見されたものから、グローバルナビゲーション、メニューに相当する機械のグループ化領域に特定し、必要なロボットの表示要素を追加するように指定する。
【００７６】
続いて、ロボット３の表示要素を自由に追加して良い領域のサイズと位置を特定し、表示要素の配列規則については、公開されている仕様だけに従って、残りは既定値のままとし、レイアウト処理を完了する。変更されたロボット３の表示要素の属性値の組み合わせをロボット制御装置４から、機械属性値記憶部１２に格納する。その結果を利用して、機械画面生成部１１によって表示器５のＧＵＩ画面５１が更新される。
【００７７】
機械２を取扱うための画面からロボット３を取扱うための画面に切り替わった際に、作業員がヒューマン・エラーの乗取り型スリップまたはモードエラー・スリップ（非特許文献４参照）を引き起こさないように、視認する領域と操作する領域が、機械２を取り扱う際の領域と一致するか、機械２を取り扱う際の領域から自然に推測できるようにすることが望ましい。
【００７８】
この目的のため、ロボット３の各種の表示要素が、表示器５のＧＵＩ画面５１の同種のものに接近するように整列させる。次にレイアウトを指定する例を挙げるが、ヒューマン・エラーを誘発しないという範囲内で別のレイアウト決定の規則を定義してレイアウトを生成してもよい。
【００７９】
図１０および図１１を参照して、アイコンを追加する処理について説明する。機械属性値記憶部１２には、機械２の状態確認および操作のための属性の定義および属性値が格納されている。ただし、ロボット３の状態確認および操作のための属性の定義および属性値は格納されていない。
【００８０】
他方、ロボット制御装置４のロボット属性値記憶部４２には、機械２のＧＵＩ画面５１に加えられるべき、ロボット３の状態確認および操作のための既定のＧＵＩの属性の定義および定義値が格納されている。図１１を参照すれば、表示器５のＧＵＩ画面５１に機械２用のデザインに適合するように追加されたロボットのアイコンが示されている。アイコンの追加処理は、図１２に示されるステップＳ４０１〜Ｓ４１１に従って実行される。
【００８１】
本実施形態に係るロボットシステム１によれば、機械画面生成部１１における生成に関する属性の定義および定義値の組合せをリバースエンジニアリングすることによって、ロボット３の表示要素を機械２に適合させるための画面の分析を自動化する。それにより、ロボット３の表示要素の追加処理を自動化できる。
【００８２】
したがって、機械２のメーカは、機械属性値記憶部１２に、ロボット３のメーカまたは機種に応じて異なる値の組み合わせを予め指定する必要がない。このロボットシステム１によって処理が自動化されるので、ＧＵＩ画面の設計費用を削減できる。また、ロボット３を機械２とは異なる機械に接続した場合でも、その異なる機械が機械２と同様の構成を持つ限り、その異なる機械のためのロボット３の操作、および状態確認のための表示要素が自動的に決定される。そしてロボット３を機械２との接続に戻した場合には、機械属性値記憶部１２のロボットの表示要素の属性値記憶部１２１に適切なロボットの表示要素の属性値の組み合わせが既に存在しており、機械のＧＵＩ画面にロボットの表示要素が円滑に追加される。ロボット３に新しく接続された機械が、接続の度にその機械のＧＵＩ画面をロボット３に分析させ、ロボット３に適切な表示要素の追加仕様を自動決定させる。このことによって、複数メーカの機械が、本実施形態の機械２と同様の構成を有していれば、それらの複数メーカの各ＧＵＩ画面を、人間のデザイナーが分析することなく、ロボット３が適切にロボット３を操作、状態確認するための表示要素の追加仕様を決めることができる。
【００８３】
図１３は、第３の実施形態に係るロボットシステム１の機能ブロック図である。本実施形態によれば、機械２の状態確認および操作のための画面を生成する属性値の代わりに、ロボット制御装置４が、表示器５のＧＵＩ画面５１の画面キャプチャデータを分析する。本実施形態は、機械２に関連する属性値を機械属性値記憶部１２から読取ることができないときに特に有効である。
【００８４】
本実施形態によれば、ロボットシステム１は、表示器ＧＵＩ画面キャプチャ処理部１３をさらに備えている。また、ＣＮＣ２０は、表示器５のＧＵＩ画面５１の画像キャプチャデータ送信部２１４をさらに備えている。ロボット制御装置４は、表示器５のＧＵＩ画面５１の画像キャプチャデータ受信部４１４と、表示器５のＧＵＩ画面５１の画像キャプチャデータ分析部４５と、をさらに備えている。
【００８５】
図１４は、本実施形態に係るロボットシステム１によって実行される処理を示すフローチャートである。ロボットシステム１は、ステップＳ５０１〜Ｓ５０９に従って、ＧＵＩ画面５１の画面キャプチャデータを分析する。図１５に示されるステップＳ６０１〜Ｓ６０８は、ステップＳ５０７における処理をより詳細に示すフローチャートである。
【００８６】
画面更新周期は、ＣＮＣを利用する機械２とロボット３の両者において、遅くても１５ｆｐｓ（フレーム／秒）であり、例えば６０ｆｐｓまたは３０ｆｐｓである。機械２およびロボット３の間で画面更新周期が異なる場合、ロボット３の画面更新周期は、機械２の画面更新周期と同じであるかそれよりも小さいことが望ましい。
【００８７】
機械２のＧＵＩ画面５１から取得される静止画像データまたは動画データが、ＧＵＩ画面５１の各表示要素を判別するために使用される。例えば、ＧＵＩ画面５１の稼働中に画面キャプチャされたビットマップ(bit-map)データに類する画像ファイルが使用される。公知のファイル画像形式として、「ｂｍｐ」、「ＧＩＦ」、「ｐｎｇ」、「ｊｐｅｇ」などがある。
【００８８】
また、公知の方法として、非特許文献５に開示されているコンピュータの画面を自動分析するソフトウェア「Ｓｉｋｕｌｉ」が使用されてもよい。
【００８９】
ＰＣなどのワークステーションのＧＵＩ画面を分析する技術が公知であり、ＣＮＣを利用する機械のＧＵＩ画面を分析するアルゴリズムは、公知技術と類似したものを使用できる。
【００９０】
ＣＮＣを利用する機械のＧＵＩ画面を自動分析するアルゴリズムは、次の工程１および工程２を含んでいる。
【００９１】
工程１：ロボット制御装置４が、取得した表示器５のＧＵＩ画面５１の画像キャプチャデータから、機械２の表示要素を特定する。
【００９２】
工程２：ロボット制御装置４が、すべての属性値を特定できるとは限らないので、判明した機械２の各種の表示要素の外観をロボット３の表示要素に模倣させ、配列規則を再現するように表示位置に関する属性値を定める。
【００９３】
なお、表示器５のＧＵＩ画面５１にロボット３の表示要素が追加されたときに、模倣が不十分である場合には、作業員は画面キャプチャデータをロボット制御装置４に繰返し送信して分析させるように操作できる。例えば、この操作は、ロボット３の表示要素の追加が完了した時点で表示器５のＧＵＩ画面５１にメッセージボックスを表示させ、ロボット３のＧＵＩ追加の完了を承認するかしないかについて作業員が回答することによって実行できる。
【００９４】
次に、表示要素の種類の特定方法について説明する。
【００９５】
一般の写真画像を分析するのとは異なり、ＧＵＩ画面の画像データの分析は、既存のＧＵＩ画面の設計の傾向を前提としたアルゴリズムを構築することによって精度良く実行できる。なぜなら、産業機器のＧＵＩ画面の設計は、設計者が言うところのスキュオモーフィックデザイン（Skeuomorphic Design）が適用されることが多いからである。非特許文献４の２２０頁より抜粋すれば、「スキュオモーフィックデザインは、古い、見慣れたアイデアを、たとえそれがすでに機能的に役割を果たさなくなっていても、新しいテクノロジーに合体させること(To incorporate old, familiar ideas into new technologies, even though they no longer play a functional role)」をいう。「新しいものへの恐れを克服する一つの方法は、それを古いものに似せて作ることである。これには古いものから新しいものへの移行を簡単にするという利点がある。心地よいし、学習が容易になるのである。今の概念モデルを置き換える必要はなく、修正すればよいのである。(One way of overcoming the fear of the new is to make it look like the old. In fact, it has its benefits in easing the transition from the old to the new. It gives comfort and makes learning easier. Existing conceptual models need only be modified rather than replaced)」。
【００９６】
ＣＮＣを利用する機械とロボットのそれぞれでＧＵＩ画面の設計者が想定する設計の方向性について説明する。ＧＵＩ画面の設計は、情報処理機器のパソコンやワークステーションの分野においてシェアの大きい特定設計元のＧＵＩ画面デザインに似る傾向がある。ＧＵＩ画面の設計としては、ＡＴＭの預貯金取扱いのための設計、発電所などのプラントの管理用の設計、保安警備業務会社が提供する監視及び警報用のＧＵＩ画面の設計などが含まれるものの、それらに類似した設計が採用されることは少ない。
【００９７】
なぜなら、ＣＮＣを利用する機械の使用者にしろ、ロボットの使用者にしろ、彼らは、雇用されるなり起業するなりしてそのような業務に携わることになったと想定できるが、それ以前に家庭用のパソコンや教育機関で訓練されるパソコンなどでＧＵＩ画面を使用した経験を有していると想定されるからである。
【００９８】
しかしながら、新興国の教育機関または家庭においては、パソコンの普及率が依然として低く、新興国において製造工場の人員を確保しようとしても、パソコンの使用経験がある人はなかなか見つからない場合がある。そこで、昨今はスマートフォンがＧＵＩ画面の設計において無視できない存在になっている。スマートフォンは、先進国でまず普及したが、新興国でも急速に普及している。したがって、製造工場の作業員として新たに採用された人員は、パソコンを扱えなくても、スマートフォンの扱いには慣れていると期待できる場合は多い。そのためＧＵＩ画面を新規に設計する場合は、スマートフォンにおけるＧＵＩ画面の設計のガイドラインを考慮することが望ましい。
【００９９】
パソコンやスマートフォンなど、製造工場での新規募集人員が使用経験を積んだと想定して妥当と考えられる既存の機器があり、それらのＧＵＩ画面の設計がある。そしてそのようなＧＵＩ画面の設計の方向性を無視した場合は、製品を使用する作業員が機器を使いこなすまでの習熟の期間が長くなるか、すべての有用な機能を使いこなせない虞があると設計者は考える。
【０１００】
したがって、以下に示すアルゴリズムは、従来のパソコンやスマートフォンの画面を画像処理によって自動分析する場合の効率を重視した順序であるが、これはＣＮＣを利用する機械やロボットのＧＵＩ画面を自動分析する目的に対しても有用である。
【０１０１】
まず、１つのＧＵＩ画面の画像データを分析するアルゴリズムを説明する。この画像データの分析においては既知の画像処理技術、および光学文字認識（Optical Character Recognition、以下「ＯＣＲ」と称する。）技術を利用する。ただし、ＧＵＩ画面が属性の定義および属性値で指定される様式で、文字表示とその画面内の表示位置と文字のついてのフォント、サイズ、水平線に対する文字描画の角度、アーチ状に曲線状の文字を配置するなどの文字の描画の特徴がすべて指定されている場合は、その情報を分析に利用できるが、以下では、画像データ内の文字はＯＣＲで読み取る必要があり、文字そのもの的中率は１００％でなくても、文字領域の検出は１００％と仮定して解説する。
【０１０２】
（文字領域の分析アルゴリズム）
一般にＯＣＲは、文字領域を確定し、その内部の個別の文字を認識する。ＯＣＲ処理によって、複数の文字領域の位置が得られる。手書き文字を認識するのでなく、また、カメラによる実写画像を認識するのでもないので、認識成功率は１００％とみなしてよいほど高い。文字を個別に評価すると誤検出が含まれる場合があるが、文字領域の認識に失敗することはほとんどない。根拠としては、低品質文書画像を対象とした条件付高解像度化方式の技術の進展、ニューラルネットワーク技術による分析性能向上などの認識率向上の進展があるためである。
【０１０３】
また、本発明においては、文字色が淡色であり、背景色が濃色である場合であっても、或いは、文字色が濃色であり、背景色が淡色である場合であっても検出可能なＯＣＲを使用する。原理上は、画像データに対し、彩度（Saturation）に関してハイパスフィルタをかけると、文字色と背景色の濃淡関係に関わらずエッジを検出できることを利用する。エッジを検出できたら、彩度の中央値に関して反転するようにすべてのピクセルに対して表示色を変更するなどすれば、どんな場合でも、文字色が濃色で背景色が単色であるようにして文字検出処理が可能である。
【０１０４】
ＧＵＩ画面のアイコンが表示される領域の背景が、単色か、単色に対して陰影が施されたものに対して文字検出ができるのは当然であるものの、背景が実写画像であるか、または特別な意匠の画像であっても、文字がＧＵＩ画面の使用者に読めるように白抜き文字などにされており、それにより文字検出可能であるとする。この場合、個別の文字の的中率は低くなっても、文字領域は正確に検出できるものとする。
【０１０５】
次に、ＯＣＲによって検出された文字領域から背景情報を取得するアルゴリズムについて説明する。
【０１０６】
（１−１）元の画像データから文字領域のみを切り抜く。
（１−２）文字領域の画像を２５６階調のグレースケールに変換する。
（１−３）各階調の濃淡色に対応する画像内のピクセル数の合計値の分布を得る。
（１−４）分布内で最大の階調の濃淡色に注目する。
【０１０７】
背景が単色であるか、単色に対して陰影が施されたものであれば、最大の階調の濃淡色は背景色のピクセルが反映されたものである可能性が高い。背景が実写画像であるか、または特別な意匠の画像である場合、最大の階調の濃淡色は、文字色のピクセルが反映されたものであるか背景色のピクセルが反映されたもののどちらかとなる。
【０１０８】
この階調の濃淡色をＡとする。ここではＡはまだ不定である。
（１−５）最大の階調の濃淡色から±５程度の階調の濃淡色のピクセルを抽出する。これを「Ａの近傍のピクセル」と称する。そして、文字領域の全ピクセル数に対して、Ａの近傍のピクセル数の合計数の割合を算出する。その割合が２０％から４０％程度であれば、Ａは文字色である可能性が高い。割合が６０％から８０％程度であれば、Ａは背景色である可能が高い。
【０１０９】
ここで述べたパーセンテージの値は、言語によってかなり異なる。インド・ヨーロッパ系の表音文字であれば、文字領域内の文字を構成するピクセル数の存在割合は小さい傾向があり、中国語繁体字の表意文字などは逆に高い傾向にある。この点に関しては、本発明を使用する前に、予め検出対象のＣＮＣを利用する機械のＧＵＩ画面の表示言語の種類を特定しておく必要がある。
【０１１０】
文字色を単色としない理由は、一般にフォントを描画する際には背景に対してアンチエイリアス処理を行うことで、人間の視覚より滑らかに感じられるようにすることが多いためである。
【０１１１】
（１−６）最初に文字領域内の全ピクセルより得た、濃淡色の階調に対するピクセルの合計数の最大となる階調Ａから、±３０程度以上離れた階調に、背景色か文字色に対応するピクセルが存在する可能性が高い。Ａの近傍の階調を除いて、次に最大となる階調の濃淡色をＢとする。Ａの近傍の階調のピクセルの全面積の割合により、前段で、Ａは背景色という公算が高くなった場合、次の手順を実行する。
【０１１２】
Ｂの近傍の±５程度の階調のピクセルを「Ｂの近傍のピクセル」と称する。文字領域の全ピクセル数に対するＢの近傍のピクセル数の合計数の割合を算出する。その割合と、Ａの割合の合計値が９０％以上になれば、Ａは背景色でＢは文字色と確定する。中国語繁体字などの場合には、文字表現に使用されるピクセル数と背景色に使用されるピクセル数の各存在割合が半々に近くなる場合がある。
【０１１３】
そのような場合には、Ｂの近傍のピクセルとＡの近傍のピクセルの割合のそれぞれ両者に対して、文字領域ではなく、元の画像データから得られるピクセル数の存在割合を算出する。その際、文字色として特定された色の近傍のピクセル数は必ず、背景色として特定された色の近傍のピクセル数よりも少なくなる。このことを利用して、文字色と背景色を確定させることができる。
【０１１４】
（１−７）文字領域の全ピクセル数に対して、Ａの近傍の階調のピクセル数とＢの近傍の階調のピクセル数の合計割合が、２０％〜５０％程度であれば、背景には実写画像か、特別な意匠の画像が割り当てられている可能性が高い。
【０１１５】
（１−８）この場合、文字領域の全ピクセルから、Ａの近傍の階調に対応するピクセルを切り抜き、残ったピクセルをＣの領域とする。Ｃの領域に対して、色相に関して２５６階調に分解し、階調に対するＣの領域のピクセル数の合計数の分布を得る。また、Ｃの領域に対して、明度に関して２５６階調に分解し、階調に対するＣの領域のピクセル数の誤係数の分布を得る。ここで、各分布の最大となる階調の±５の領域のピクセル数の合計数が、Ｃの領域の合計ピクセル数の９０％以上になるか評価する。
【０１１６】
明度と階調に対するこの評価が両者とも真であれば、Ｃの領域は単色の背景か、視覚的に単色に近い印象の背景であるが、そうでなければ、背景が実写画像か、特別な意匠の画像が割り当てられていると判断できる。これによって、Ａは文字色であると判定できる。
【０１１７】
以上、文字領域の判定方法について述べた。実際には、ゲシュタルトの法則（Gestalt principles of visual perception）を利用することにより、微妙な陰影効果を使用して、作業員に特別な意匠を認知させる芸術効果を生み出している。また、上記方法によれば、その芸術効果を生み出す領域の内側で検出されるいくつかの文字領域の背景は、単色であるか、単色に陰影を施したものと判定されてしまう場合も想定される。しかしながら、そのことは、本発明の目的であるロボットのＧＵＩ画面を機械のＧＵＩ画面に適合させることの阻害要因にはならない。
【０１１８】
次に、図柄と背景を分離するための図柄のサイズとレイアウト位置の特定アルゴリズムについて説明する。
【０１１９】
表示要素の種類を判定するとき、図柄の処理が問題となる。図柄が、企業ロゴなどの特別な意匠を表示している領域なのか、アイコンなのか、写真なのか、或いは線グラフ、円グラフまたはゲージであるかが問題となる。
【０１２０】
図柄を特定するアルゴリズムについて説明する。
【０１２１】
ここでは、図柄のサイズおよびレイアウト位置を特定する際に、それらが収められているグループ化領域は既知であるとする。グループ化領域内で背景と図柄を分離するアルゴリズムを考える際に、前提となる事実は次のとおりである。
【０１２２】
（２−１）グループ化領域内の操作可能対象が図柄である場合、図柄は背景に囲まれている。作業員が図柄を視認するとき、図柄に注目して認識するようにＧＵＩ設計者は考える。したがって、図柄が明瞭に注目されるように背景の面積は、グループ化領域内で図柄よりも小さくなる傾向がある。
【０１２３】
（２−２）図柄が操作可能対象と認知されなくてもよい場合は、前述した考え方は成立せず、特定グループ化領域の全域が特別な意匠の図柄になっている場合がある。以下の背景を検出するアルゴリズムで背景と図柄を分離できなければ、そこに作業員が操作可能な表示要素は存在しないと判定できる。
【０１２４】
（２−３）操作対象であるアイコンは、正方形、正多角形、正円に収まるものとして図案が決定されていると限定できる。そうでない図案は、一般の作業員にとって一見しただけではアイコンとして受け取られないので、産業機器のＧＵＩの設計者は縦長の領域のアイコンや横長の領域のアイコンを通常考案しない。
【０１２５】
（２−４）アイコンは、単色とその色に施された陰影が存在する背景以外に、実写画像や特別な意匠の画像を背景としている場合がある。これはスキューアモーフィックデザインのアイコンが、背景の画像上に存在する場合である。この場合、アイコンの名称としての文字の表示は白抜き文字で描画されるなど、背景画像から分離された領域に描画される。ここでは実写画像や特別な意匠の画像の背景であった場合でも、前手順までの元の画像データの全体のＯＣＲ処理によって、文字領域の背景情報は得ており、それに基づいて分析を続ける。
【０１２６】
（２−５）アイコン図柄の意味については、ＧＵＩ画面を動画で分析する時に限り、変化の記録としてのみデータとして保持し、それ以上は分析しない。
【０１２７】
第１の例として、背景が単色であるか、または単色に対して陰影が施されたものと特定されている場合について説明する。第２の例として、一般に背景が実写画像か、または特別な意匠の画像である場合について説明する。
【０１２８】
第１の例におけるアルゴリズムは次のようになる。
【０１２９】
（３−１）特定済みの背景色と同質のグループ化領域を特定する。ここでは、主にツールアイコンメニュー、スキュオモーフィックデザインが施されたアイコン、フラットデザインのアイコン、そしてその他の棒形状のゲージや円グラフのゲージをレイアウト位置の検出を想定する。
【０１３０】
（３−２）まず、ツールアイコンメニューが存在すると仮定して画像処理を行う。これで検出できればツールアイコンメニューであり、ここで図柄のサイズとレイアウト位置を特定でき、処理を終える。特定できなければ、次の候補を特定するための段階に移る。
ツールアイコンメニューは伝統的に１６×１６ピクセルの矩形の領域で、背景色を浮き上がらせる立体視可能な色を矩形の境界に配し、図柄は線描画でもスキュオモーフィックデザインでもよいが、その背景色は単色であることが特徴である。また複数のアイコンがあるとき、画面の横方向に水平に等間隔で並べられるか、縦方向に垂直に等間隔に並べられるという特徴がある。１６×１６ピクセルより大きい正方形や長方形の場合でもあるが、これも検出可能であってもよい。
【０１３１】
したがって、まずグループ化領域から、背景色と一致したピクセルを抜き出す。残った領域を黒とした２値化処理を行う。次に、矩形形状の四隅を表す９０度角の４種類のモデルを動的に作成し、パターンマッチングを行う。四隅のモデルの内一つでもヒットしたら、その一つの水平線か垂直線の長さを１ピクセル分伸ばすとともに、伸ばした部分に元の四隅のモデルのパターンマッチングを行う。
【０１３２】
この四隅を表すモデルと、動的に生成される四隅のモデルから一辺の長さを伸ばす新しいモデルを使用することで、ツールアイコンメニューの各アイコンの領域の境界の枠のサイズが確定する。このサイズは１６×１６でもよいしそれより大きい長方形でも確定させることができる。
【０１３３】
アイコンの枠のモデルのサイズを確定されたら、それらが水平方向に等間隔で並んでいるかどうか、または垂直方向に等間隔で並んでいるかどうかをパターンマッチングで調べる。これでマッチングしたらツールアイコンメニューである可能性が高い。
【０１３４】
次に、パターンマッチングで特定された枠内に最低でも何かが描画されていることを確認する。
【０１３５】
元のグループ化領域より、特定されたアイコンの枠内に限定して、アイコンらしき図柄が存在するかどうかを検出する。ここで、枠内で色相（Hue）、彩度（Saturation）、明度（Value）に対する分布を得るが、分布を得る手順を全面積に一括して行うのではなく、図柄が存在する可能性の高い領域に分割して、それぞれで分布を得る。なぜなら、枠の中央に近ければ近いほど、図柄のためのピクセルが存在する可能性が高く、枠の境界に近づけば近づく程、そのピクセルは背景色で占められている可能性が高いからである。そこで、始まりの分布取得領域をアイコンの枠の境界から１ピクセル内側に進めただけの四角形の辺だけからなる領域で分布を取り、背景色と枠に使用されている色を除いてピクセルの合計数を計測する。そしてそれらの分布をその領域を構成するピクセル数で割る。
【０１３６】
そして、次の分布をさらに１ピクセル内側に進めただけの四角形の辺だけからなる領域で分布を取り、同じ処理を進め、最後には枠の中央の一点または線で処理を終える。
【０１３７】
この際、始めの分布はゼロであるかゼロに近く、最後の枠の中央の分布に近づくのに従って、１または１に近い値を取る。最初の分布より中央に近い分布が非連続であっても大きい傾向を確認することで、アイコンであると確定させる。
【０１３８】
次に、スキューアモルフィックデザインのアイコンであるか、フラットデザインのアイコンであるか判定するアルゴリズムについて説明する。このアルゴリズムによって、ツールアイコンメニューの存在と存在位置を自動で確定させることができる。また、六角形などの特殊な輪郭形状のアイコンを使用している場合でも枠を２値化処理で取り出せてしまえば、同様な処理で自動分析できる。
【０１３９】
（３−３）ここでは、フラットデザインのアイコンが存在すると仮定して画像処理を行う。ただし、この画像処理では、機器の状態を表示するアイコンであるか、ユーザが操作して画面が応答するアイコンであるかの判定はできない。
【０１４０】
これを判定するためには、動画データを分析して応答している様子を検出することが必要になる。ただし、模倣するための設計の傾向を計測して補足するためには、フラットデザインのアイコンのサイズと他の表示要素の間の相対的位置関係を計測できればよい。
【０１４１】
フラットデザインのアイコンの特徴としては、単色の背景色に対して、彩度か明度がはっきりと異なる単色であるか、その単色に対して陰影をつけた配色で描画された図柄で、一般に正方形か正円内に収まるように描画されている。
【０１４２】
状態表示用のフラットデザインのアイコンは整列されているとは限らないが、操作用のものは整列されていると前提できる。アイコン同士の距離が近い場合は、背景色とは彩度か明度の異なる色で区分けされている場合もある。また、文字色と図柄の色が全く同じか非常に近い場合も多い。
【０１４３】
この特徴より連続的な画像処理を行うことで、アイコン存在位置を人間のデザイナーが視認することなく自動検出できる。
【０１４４】
例えば、次の方法がある。特定位置のピクセルに対し、一意の特徴量を与える関数を定義し、そこが高ければ高い程、アイコンの中心であることが高いようなものを作成する。それをグループ化領域内の全域に対して評価する。するとその評価値はピクセル位置の高さとして得られるので、アイコンらしき図がある領域に絞って、その関数処理を実施することにより、複数のアイコンの中心位置とそれらの間の間隔を計測することができる。それらが等間隔であればあるほど、フラットデザインのアイコンである可能性が高い。
【０１４５】
その関数の定義方法は次のようになる。そのピクセルの中心に輪を描くように複数の領域を定義する。輪のサイズはアイコンのサイズと期待できるものとする。それぞれの領域に対して、背景色のピクセルを除いて、彩度の分布を作成し、領域に含む全ピクセル数で割る。中心の領域と輪を描いた数だけの領域でそれらの値を足し合わせる。すると、アイコンの中心でその関数を計算した場合は最も大きな値になり、それかずれると少し小さな値になり、背景しか存在しない領域の中心のピクセルに対して関数を実行するとゼロになるのである。
【０１４６】
上記のような特徴量を演算する関数を定義し、存在が期待できる領域のピクセルを一つ一つ評価することで、アイコンの図柄を解釈しなくてもアイコンの中心点とサイズを正確に計測することができる。
【０１４７】
第２の例におけるアルゴリズムは次のようになる。
【０１４８】
（４−１）背景色を単色に特定できず、実写画像か特別な意匠の画像であることがわかっているため、ここでは、ツールボックスアイコン、フラットデザインのアイコンの検出は試みない。このような場合は、スキュオモーフィックデザインのアイコンが存在するかどうかを検査する。
【０１４９】
（４−２）グループ化領域を等間隔の正方形格子に分割し、格子領域内に正円の領域を指定する。これを「格子正円領域」と称する。矩形を判定用データとしないのは、図柄が四角形でなく、六角形や円弧や円である場合にその分析の精度を高めるようにするためである。
【０１５０】
各格子の一辺の長さは、ＧＵＩ画面の全体の画像データをＯＣＲで解析した際に、最小のサイズの文字が占める矩形の一辺の長さと一致させることが望ましい。これは、ＧＵＩ画面が、２０ｃｍ〜４０ｃｍの距離で作業員に凝視される場合は、小さな文字が使われる傾向がある。しかし、作業員が別の並行作業を行いながら、作業上の選択を行う場合や単に状態を確認することだけが想定されている場合には、画面を視界に収める程度でＧＵＩのレイアウトが認知できるように大きな文字が使われる傾向があるからである。
【０１５１】
文字情報がなくアイコン、ゲージ、状態を表す表示色のみの場合もある。その場合は、５ｍｍ程度と決め、ＧＵＩ画面の実寸と画素数より対応する格子正円領域の直径に相当するピクセル数を確定させる。
【０１５２】
（４−３）そして、格子正円領域のすべてに対し、色相と彩度と明度に関して、２５６階調に対するピクセルの合計の分布を得る。そしてその分布が似ていると判定される部分が全体の格子において３０〜５０％程度になった場合には、それは背景の図柄である可能性が高い、それ以外の格子正円領域は、任意の図柄であるため、一般に分布が似ていない。そのため、その領域にスキュオモーフィックデザインのアイコンが存在する可能性が高い。
【０１５３】
ここまでの処理によって、おおよそのアイコンの位置の範囲を推定できるが、まだ特定できない。そこで、このグループ化領域に対し、アイコンが存在する可能性のあるピクセルを除いてモルフォロジ分析（MCA:morphological component analysis）を応用して、各アイコンが上書きしたピクセル領域の元の背景の図柄を復元する。このアルゴリズムは、非特許文献７に詳細に説明されている。
【０１５４】
そして、除かれたピクセルと復元されたピクセルを相互に比較し、色相、彩度、明度のそれぞれで近いと判定可能なピクセルを除くことで、除かれたピクセルから元の背景を排除することができ、スキュオモーフィックデザインのアイコンを浮かび上がらせることができる。このようにアイコンのサイズと中心位置を特定することができる。
【０１５５】
換言すれば、アイコンの周囲の背景を枠の領域として扱い、枠に相当する図柄を明瞭にすることでスキュオモーフィックデザインのアイコンの中心位置を特定する。
【０１５６】
（４−４）また、その後、テキストボックスやリストボックスなどが存在することをモデルマッチングで検査する。
【０１５７】
上記のようにすることでＣＮＣを利用する機械のＧＵＩ画面のアイコンの外観の設計の傾向を自動分析できる。アイコンそのものの意味解析は必要ない。
【０１５８】
（アルゴリズム解説）
なお、フォントの典型的な種類とサイズは、前節までで説明した「文字領域の分析アルゴリズム」の所で、ＯＣＲ処理により既知とする。
【０１５９】
（５−１）背景を特定する。画面全域に背景として実写画像、及び図柄の画像が指定されていないことを前提として分析を行う。
（５−２）画像をグレースケールに変換し、２５６階調に分割する。各階調の濃淡色に対応する画像内のピクセルの合計値を計測する。これによって各階調に対応する濃淡色が画像データ内にどれだけ含まれるかの分布を得る。その分布の中で最も合計値の高い階調の濃淡色に対応するピクセルが背景になっている可能性が高い。この濃淡色をＤとする。それを絞り込むために、その中で最も合計値の高い階調の濃淡色から±２０程度の階調の濃淡色に対するピクセル位置を特定する。これを「Ｄの近傍の濃淡色」と称する。±２０程度としたのは、背景に陰影効果を付加したグラデーションが使用されている場合が多く、それを検出するためである。
【０１６０】
そして、処理前の画像データより、その対象となるピクセルだけを抽出した２値化画像を生成する。その画像は外側と内側に分けることができ、内側には棒や円グラフなどのインジゲータを表す幾何形状など様々なＵＩがある。
【０１６１】
２値化画像の外側の境界の形状が単純な矩形や角丸の四角形や棒形状の場合、Ｄは背景色である可能性が高い。そこで、２値化画像の外側を覆うようなパターンマッチングの画像処理を行う。マッチングのモデル画像を矩形や角丸の四角形として、その形状が画面の水平線に対して平行な条件で、２値化画像の外側の境界と一致するかどうかを計測する。完全に一致しなくても割合で８０％以上当たっていればよいものとする。
【０１６２】
（５−３）元の画像データに全体に対してＯＣＲ処理を行う。そして、検出された文字領域のすべてが、２値化画像の境界と重なっておらず、２値化画像の内側に１つ以上存在する時に、Ｄは背景色であると決定する。
【０１６３】
元の画像データより、Ｄに対応するピクセルのＲＧＢ値を取得することで背景色のＲＧＢ値を得る。
【０１６４】
（５−４）背景色が１色ではないと仮定して、残り３色の基本背景色を探索する。３色としたのはこの探索で何も見つからなければ、背景色は１色であると前提して次のステップに進む。
【０１６５】
（５−５）大画面のＧＵＩでは、淡色の背景に対して濃色の文字以外に、濃色の背景に対して淡色の文字を含む領域を含む場合は珍しくない。前述した、文字領域の背景情報の分析方法を、検出されたすべての文字領域に対して実施する。
【０１６６】
ここで、これまでに１つか２つに確定された背景色以外の背景色がその背景色をすべて保持する。
【０１６７】
（５−６）これまでの方法で得られない場合には、背景色Ｄに対して、文字色と背景色の濃淡関係が反転した別の背景色が元の画像データに存在していたとしても、ＧＵＩ画面の操作領域ではなく、ＯＣＲの検出対象とはならないようなロゴなどの図の表示領域が残っている可能性がある。
【０１６８】
例えば、特別な質感を感じるような背景の地に対して、掘り込んで書き込まれたようなロゴは特別な意匠になっている場合が多く、ＯＣＲで文字として検出できない可能性がある。そのようなものは、元の画像データのグレースケール変換画像の各階調に対するピクセル数の合計値の分布より、最大数となった階調から、±２０程度の範囲の外側にある、ピクセルの合計値の高い階調を探索する。発見された階調の濃淡色をＦと呼称する。Ｆは一般のＧＵＩ操作領域から分離した、特別な意匠を施された領域の背景と判断できる。
【０１６９】
Ｆを判定した閾値は、合計値が低い階調からを除いていき、一挙に合計値が高くなる差が、低い階調の合計値よりも３倍以上になることを目安とするなど、適切になるように予め決めておく必要がある。
【０１７０】
（５−７）ここまでの分析で、文字領域から抽出された単色の背景色が見つかっているのにもかかわらず、元の画像データ全域からその背景色の存在割合を算出すると、背景色としては、その存在割合が小さいという場合がある。このような場合は画面全域の面積に近い程に実写画像が指定されている場合や、特別な意匠が施された特別な画像が指定されている可能性が高い。
【０１７１】
ＣＮＣを利用する機械のＧＵＩ画面で、操作するための表示要素が存在しない状態は通常、存在しないと前提できるので、画面全域に設定された画像の内側に、作業員の操作領域である矩形、楕円、円などの操作領域が存在すると仮定した探索アルゴリズムを使用することで、画面全体に対して一部領域に狭められた操作用領域を分析することができる。
【０１７２】
（５−８）第一に狭められた操作用領域は、ＯＣＲで検出可能な文字が存在すると前提できる。これはＣＮＣを利用する機械が機械操作用の業務用であることが根拠となる。
【０１７３】
（５−９）前手順までに行った、元の画像データ全域に対するＯＣＲ処理と、文字領域の背景情報の分析の実施により、背景色の候補が確定している。この背景色が拡がっている域が、作業員の操作用領域である可能性が高い。
【０１７４】
（５−１０）それらの背景色から得られる濃淡色とその濃淡色の±２０階調程度の近い濃淡色に限定して、元の画像データ全体から２値化画像を得る。この２値化画像に対して、矩形や角丸矩形などで内側くり抜きのモデルを用いたパターンマッチングを施して、操作用領域を確定させる。
【０１７５】
マッチングが８０％以上となるような領域であれば、領域の外側で、実写画像か特別な画像が施されている部分からノイズとして出現した部分を取り除いて、領域の形状を特定することができる。さらにマッチングを施した領域の内側に、ＯＣＲより検出された文字領域が存在することを確認して、操作用領域を確定させ、また、背景色を確定させる。
【０１７６】
（５−１１）グループ化領域を特定する。
【０１７７】
グループ化領域とは、産業機器を操作するためのＧＵＩ画面の場合、機器の運転状態を示す領域、操作対象領域を分離し、また、企業ロゴの表示領域を分離するものである。これは背景色として検出された領域を、元の画像から抜き出すことで特定できる。
【０１７８】
（５−１２）グループ化領域は、背景色とは異なる色の矩形形状、または一般の幾何図形の境界で区切られている場合と、そのようなものが一切ない場合がある。境界に相当する色が一切ない場合は、表示要素の位置関係でグループ化領域を分断する境界を、同じ種類の表示要素の集合領域の間か、別の背景色との境界で任意に分断する。
【０１７９】
境界に相当する色が存在する場合は、彩度（Value）に関してハイパスフィルタを使用するか、または、色相（Hue）に関してハイパスフィルタを使用することでエッジを検出し、そのエッジが直線で且つ、背景領域全体の幅や長さに近いようなパターンマッチング処理を行い、検出する。検出位置のピクセル位置をグループ化領域の境界と定めることができる。
【０１８０】
（５−１３）常時表示されるメニュー、アイコンメニュー、またはグローバルナビゲーションを特定する。
【０１８１】
（５−１４）メニューの特定は、文字ラベルが存在することを前提とする。メニューであることは以下の従来の設計パターンがあるので、それら毎に検出可能なアルゴリズムを準備する。
【０１８２】
文字ラベルが存在している場合、前手順までの元の画像データ全域に対するＯＣＲ処理と、各文字領域の分析により、文字ラベルの存在位置の候補と、その背景色の情報がある。
【０１８３】
単なるラベルでなく、テキストボックスでもなくその他の表示要素でもなく、メニューであることを確定させるのは、グループ化領域の境界の近くに、縦列か横列で平行に並べられているかどうかで判定できる。
【０１８４】
１つの画像データだけではこれが限界である。動画データが存在した場合、メニュー画面に対して操作した際の画面応答後の画像データを用いで、画面変化を計測することで、メニューである判定の各証の情報を保持させる。メニューでない画面変化結果を自動分析によって取得しない限り、メニューであるとの判定を覆させない。逆にメニュー判定は出ても、作業員の操作による画面変化を取得できない場合には、メニューであるかラベルであるかの可能性を残した判定データを保持する。
【０１８５】
（５−１５）文字のみだが、特定の背景色が指定されているパターン。文字領域が縦か横に平行して並んでおり、上下か左右の端が濃い色の境界色、境界を表す棒などで区切られていることをハイパスフィルタにより検出して確認し、メニューを特定する。
【０１８６】
（５−１６）機器のキーシートの指定キーを押すことで、近傍の表示エリアに上書き表示されるパターン。これは１つの画像だけでは判断できない。メニューが表示されていない画像と表示されている画像の２つの画像を準備し、その差分をとって、ＯＣＲで検出する。
【０１８７】
（５−１７）アイコンメニュー、ラベル付きアイコンの場合、前節の「図柄と背景を分離するための図柄のサイズとレイアウト位置の特定アルゴリズム」で述べた方法で特定できる。
【０１８８】
（５−１８）テキスト入力エリア、ラベルを特定する。これは、テキスト入力エリアの背景色は白である場合が多く、そうでなく、色相に違いがあっても、背景色の彩度に近い場合が多い。これを前提としてパターンマッチングを行えば位置を特定できる。
【０１８９】
（５−１９）ラベルは、ＯＣＲで特定された文字領域の中で、ここまでの手順で発見された表示要素の内側に存在するものを除いたすべての文字領域がラベルとして判定される。
【０１９０】
（５−２０）残りの不明の領域は特別な意匠の画像と判断する。ただし、棒グラフ、ゲージ、円グラフ、の候補はパターンマッチングで検出しておく。状態表示用の棒グラフ、ゲージ、円グラフは、動画データでは、表示状態が時間に応じて変化する場合があり、それを感知したら、解析を進める。特に３次元形状の表示領域は、１つの画像データだけでは特定できない。その表示領域が含まれ、且つ、その表示内容が変化した状態の1枚以上の画像データを画像処理することで特定できる。
【０１９１】
前述したアルゴリズムは、既存の画像処理技術で連続して自動実行させることができ、表示要素の種類とレイアウトを解析できる。１つの画像データからは種類不定となる表示要素があるが、動画データを分析し、表示要素の操作応答による画面の変化を切り出して、比較して分析することで、不定となった情報を補い表示要素の種類を特定できる。
【０１９２】
上記方法では画像データ、動画データのみを頼りとしては自動ですべての表示要素を１００％の精度で特定することはできないが、８０％以上の精度を見込める。特定した表示要素をさらに分析して特定の確からしさを数値判定することはできる。特定の誤りと判定される閾値を指定しておくことで、模倣の基準とする表示要素の特定率は１００％に近づく。
【０１９３】
（各表示要素に対する差異検出方法）
ここでいう差異は、個別のアイコンなどの個別の意匠のことではなく、意匠を除いた外観のサイズ、使用色、陰影描画効果などを言う。ロボットの画面の各表示要素について、種類が一致するものについて細部にわたり、ＣＮＣを利用する機械のＧＵＩ画面での表現に一致するようにＧＵＩ画面の各属性に対応する値を決定する。
【０１９４】
ＣＮＣを利用する機械のＧＵＩ画面の表示要素の種類とサイズと表示位置のデータは既にそろっているので、これより第２の実施形態に関連して前述したレイアウト決定のアルゴリズムを実施する。
【０１９５】
ただし、アイコンとフォントについては、ロボットの側で個別機械の機種に対応するように用意されていなければならない。例えば、アイコンの場合は、ロボットの側でスキュオモーフィックデザインに対応するものとフラットデザインに対応するものを用意する。
【０１９６】
（視覚認知のゲシュタルトの法則に基づいて一貫性を持った画面を生成するための方法）
認知心理学の成果であるゲシュタルトの法則(Gestalt principles of visual perception)の中でＧＵＩ設計に応用可能なものは、非特許文献３にあるとおり、以下のようなものがある。
【０１９７】
（ａ）近接(Proximity): 近いものが同じグループに属するように見える。
（ｂ）類同(Similarity): 似ているもの同士は同じグループと見なされる。
（ｃ）連続(Continuity): 連続していない複数の部分ではなく連続した形ととらえる傾向にある。
（ｄ）閉合(Closure): 開いた形を閉じようとする。
（ｅ）対称性(Symmetry): 複雑なものは簡略化して解釈する傾向にある。
（ｆ）図と地(Figure/Ground): 脳は視野を前景と背景に分離する。
（ｇ）共同運命(Common Fate): 同時に動くオブジェクトはグループを形成しているか関連があると知覚される。
【０１９８】
これらを模倣に応用するための実施方法がいくつかある。
【０１９９】
（ゲシュタルトの法則を用いた表示要素の種類の特定方法）
（背景の検出方法の拡張）
前節で説明した背景の検出は、ゲシュタルトの法則（Gestalt principles of visual perception）から導かれるアルゴリズムによって検出精度を高めることができる。
【０２００】
図と地（Figure/Ground）の法則を用いた背景の検出方法について説明する。これは背景に写真画像を指定していない場合で有効に働く。
【０２０１】
特定の色の相対的に広い領域に対して、内部に相対的に狭い領域が存在する場合、人間は狭い領域の側を図として解釈し、それを覆う広い領域を地として解釈する傾向が強く、デザイナーはこれに従う傾向が強い。特に産業機器の操作用のＧＵＩは、作業員による誤操作を防止するために必ず従っていることが前提である。
【０２０２】
これはフラットデザインでのアイコンを検出するアルゴリズムから逆に背景色を特定するためのアルゴリズムを作成できることを意味する。グループ化領域の検出方法の拡張および近接（Proximity）の法則と、類同（Similarity）の法則は、設計者が知っていようと知っていまいと実際的に応用されている。
【０２０３】
ラベルとテキストボックスの位置関係は、水平線に並行に並列で近いものであるか、垂直線の一方に位置寄せされて、ラベルが上に、その直下にテキストボックスが配置されていることが多い。すなわち、前節までのテキストボックスらしきパターンマッチングを行ったあと、その近傍で、整列位置に文字領域が存在するとき、その文字領域はラベルであり、そのラベルはテキストボックスを説明していると特定してほぼ外れないことを意味する。実際には、他のＵＩ要素のレイアウトの規則と矛盾しない傍証を積み重ねることで最終的にラベルとテキストボックスであると特定することができる。
ゲシュタルトの法則(Gestalt principles of visual perception)を人間のデザイナーが応用しようとするとき、新しいデザインを考えるためというよりも、考えたデザインが誤解されないかどうかをチェックするための指針として利用される場合が多い。人間のデザイナーが注意するようなチェックは、すべては無理でもその一部はロボット３によって自動化できる。
本発明によって自動追加されるロボット３の操作、状態確認のための表示要素が、作業員にとって誤解されないかどうかを、連続(Continuity)の法則、閉合(Closure)の法則を応用したアルゴリズムを構成し、画像処理によって自動検査できる。例えば、追加されたアイコンが、周囲の画像の特徴と比較して、連続の法則に対応した判定処理によって、別の特徴と連続に見られる可能性が高くなってしまう場合、また、閉合の法則に対応した判定処理によって別の意味に解釈されてしまう場合などを検査する。判定されたものは、判定されない代替えの表示要素に切り替えることで、作業員にとって誤解されやすい表示要素の自動追加を回避させることができる。
ここでの判定処理はロボット３の開発元の開発者が考え出したものでもよいが、機械学習または多層ニューラルネット技術によって導かれた判定処理であってもよい。例えば、多層ニューラルネットを応用する場合、中間層の学習規則に連続(Continuity)の法則、閉合(Closure)の法則に対応した学習の方向性を緩やかに定める演算を組み込む方法がある。対人のユーザビリティテストから得られる誤解されるか否かの統計のデータを入出力とし、教師学習させる。それから得られたニューラルネットによる判定処理をロボット３が実行する。
【０２０４】
これを応用して、スキュオモーフィックデザインのアイコンが整列されて存在していると評価できる時、それを覆う矩形の領域はグループ化領域候補として検出できる。
【０２０５】
本実施形態によれば、次のような利点が得られる。
機械のメーカが、各社のロボットの取扱いの表示要素に対応する属性値の組み合わせを提供せず、また、ＣＮＣを利用する機械のＧＵＩ画面の特徴が属性の定義とそれらの値の形式で取得できないような一般の場合においても、機械のＧＵＩ画面の画像データと動画データを、人間の設計者が視認して分析することなく、画像処理を適切な順序で実施することで自動分析し、ロボットのＧＵＩ画面を適合させる費用を減らす。
ロボット３が機械２とは異なる機械と接続された場合でも、その異なる機械が機械２と同様の構成である限り、その異なる機械のＧＵＩ画面でロボット３を操作、状態確認するための表示要素は、上述の説明と同様の順序で自動追加される。このようにして複数メーカの機械のＧＵＩ画面の各設計に対してロボット３は、人間のデザイナーの介入なしに自動で対処することができる。
【０２０６】
ただし、画像キャプチャデータからの表示要素の分析の成功率は、非特許文献５にも記載されているように、１００％ではない。分析できなかった属性値に対しては既定値を採用する。
【０２０７】
次に、第４の実施形態に係るロボットシステム１について説明する。本実施形態に係るロボットシステム１は、図１３に示された第３の実施形態と同様の構成を有する。ロボットシステム１は、表示器ＧＵＩ画面キャプチャ処理部が周期的に画面をキャプチャし、ロボット制御装置４が、画像キャプチャデータを随時分析するように構成される。
【０２０８】
本実施形態においては、「通信ネットワーク」は、キャプチャ画像を高速で転送できるように、リアルタイム性が確保されているものとする。
【０２０９】
図１６は、本実施形態に係るロボットシステム１において実行される処理を示すフローチャートである。本実施形態によれば、キャプチャ画像のデータを短い時間間隔で取得できる。
【０２１０】
１つの画像キャプチャデータを分析する工程は、第３の実施形態と同様に実行される。異なる時刻に取得された複数の画面のデータから、変化のあった部分を抽出することによって、ＧＵＩ画面５１内での操作応答仕様を特定する。
【０２１１】
また、１つの画像キャプチャデータからでは特定できない種類の表示要素については、画面変化のコンテキストを分析することによって、特定した属性値の妥当性を検証できる。検証によって特定の処理に誤りを発見した場合には、誤りを訂正するように修正できる。
【０２１２】
本実施形態によれば、短い周期で画像をキャプチャし続け、表示器５のＧＵＩ画面５１の変化を計測することができるので、表示器５の表示要素の操作応答仕様を検出できる。１つのＧＵＩ画面５１の分析では特定できないと判定されるような表示器５のＧＵＩ画面５１のグループ化領域についても、作業員の操作のコンテキスト分析を行うことによって、表示要素の種類が特定できる場合がある。さらに、新たに判明した分析結果に基づいて、表示器５のＧＵＩ画面５１におけるロボット３の表示要素の表示を改善することができる。
【０２１３】
図１７〜図２８は、種々の変形例に係るロボットシステム１を示している。
【０２１４】
図１７は、第１の実施形態の変形例に係るロボットシステム１を示している。本変形例では、機械画面生成部１１および機械属性値記憶部１２がＣＮＣ２０に内蔵されている。この場合、表示器５は、例えばタッチパネル、または液晶画面とメカニカルキーシートの組合せを備えている。
【０２１５】
図１８は、第２の実施形態の変形例に係るロボットシステム１を示している。本変形例では、機械画面生成部１１および機械属性値記憶部１２がＣＮＣ２０に内蔵されている。
【０２１６】
図１９は、第１の実施形態の別の変形例に係るロボットシステム１を示している。本変形例では、機械画面生成部１１および機械属性値記憶部１２が表示器５に内蔵されている。表示器５には、タッチパネル、または液晶画面とメカニカルキーシートの組合せなどのＨＣＩ（Human-Computer Interaction）部分以外に画面を生成し、或いはそれを制御するためのＯＳ（Operating System）メモリ、大容量記憶ディスク(ＨＤＤ（hard disk drive）、ＳＳＤ（solid state disk）など)、ビデオカード、及び画面制御ソフトウェアなどが内蔵されている。この変形例では、ＣＮＣ２０はＧＵＩ画面５１の生成に関与しない。
【０２１７】
図２０は、第２の実施形態の別の変形例に係るロボットシステム１を示している。本変形例では、機械画面生成部１１および機械属性値記憶部１２が表示器５に内蔵されている。
【０２１８】
図２１は、第３の実施形態または第４の実施形態の変形例に係るロボットシステム１を示している。本変形例では、機械画面生成部１１、表示器ＧＵＩ画面キャプチャ処理部１３および機械属性値記憶部１２がＣＮＣ２０に内蔵されている。
【０２１９】
図２２は、第３の実施形態または第４の実施形態の別の変形例に係るロボットシステム１を示している。本変形例では、機械画面生成部１１、表示器ＧＵＩ画面キャプチャ処理部１３および機械属性値記憶部１２が表示器５に内蔵されている。
【０２２０】
図２３は、第１の実施形態のまた別の変形例に係るロボットシステム１を示している。本変形例では、機械画面生成部１１がＣＮＣ２０に内蔵されている。機械属性値記憶部１２は、クラウドサーバに設けられている。ＣＮＣ２０は、クラウド通信ネットワーク７１を介してクラウドサーバ７に接続されている。ロボット３の表示要素の属性値は、クラウドサーバ７からＣＮＣ２０の機械画面生成部１１に送信される。ＣＮＣ２０とロボット制御装置４との間の通信が切断されているときは、ロボット３の表示要素はＧＵＩ画面５１に表示されない。
【０２２１】
図２４は、第２の実施形態のまた別の変形例に係るロボットシステム１を示している。本変形例では、機械画面生成部１１がＣＮＣに内蔵されている。機械属性値記憶部１２は、クラウドサーバに設けられている。ＣＮＣ２０は、クラウド通信ネットワーク７１を介してクラウドサーバ７に接続されている。
【０２２２】
図２５は、第１の実施形態のまた別の変形例に係るロボットシステム１を示している。本変形例では、機械画面生成部１１が表示器５に内蔵されている。機械属性値記憶部１２は、クラウドサーバ７に設けられている。表示器５は、クラウド通信ネットワーク７１を介してクラウドサーバ７に接続されている。本変形例では、ＣＮＣ２０は、ＧＵＩ画面５１の生成に関与しない。ロボット３の表示要素の属性値は、クラウドサーバ７から表示器５の機械画面生成部１１に送信される。ＣＮＣ２０とロボット制御装置４との間の通信が切断されているときは、ロボット３の表示要素はＧＵＩ画面５１に表示されない。
【０２２３】
図２６は、第２の実施形態のまた別の変形例に係るロボットシステム１を示している。本変形例では、機械画面生成部１１が表示器５に内蔵されている。機械属性値記憶部１２は、クラウドサーバ７に設けられている。
【０２２４】
クラウドサーバ７を活用した変形例によれば、ＣＮＣ２０とロボット制御装置４との間の通信が開始されたとき、機械２の表示要素の属性の定義とロボット３の機種の情報がクラウドサーバ７に送信される。クラウドサーバ７は、対応するロボット３のＧＵＩの属性値を表示器５に送信し、ＧＵＩ画面５１が生成される。このように、機械２のＧＵＩ画面５１の設計とロボット３の機種に対応したデータをクラウドサーバ７に格納しておくことにより、通信がすべて確立された後、速やかに機械２からロボット３の状態確認および操作を実行できるようになる。
【０２２５】
図２７は、第３の実施形態または第４の実施形態のまた別の変形例に係るロボットシステム１を示している。本変形例では、機械画面生成部１１および表示器ＧＵＩ画面キャプチャ処理部１３がＣＮＣ２０に設けられている。機械属性値記憶部１２は、クラウドサーバ７に設けられている。ＣＮＣ２０は、クラウド通信ネットワーク７１を介してクラウドサーバ７に接続されている。
【０２２６】
図２８は、第３の実施形態または第４の実施形態のまた別の変形例に係るロボットシステム１を示している。本変形例では、機械画面生成部１１および表示器ＧＵＩ画面キャプチャ処理部１３が表示器５に設けられている。機械属性値記憶部１２は、クラウドサーバ７に設けられている。表示器５は、クラウド通信ネットワーク７１を介してクラウドサーバ７に接続されている。
【０２２７】
本発明に係るロボットシステムによれば、次のような効果を奏することができる。
（１）ロボットのＧＵＩ画面の外観と操作に関して、ＣＮＣを利用する機械のＧＵＩ画面が一貫性を持つようになるので、作業員がロボットの操作に関してヒューマン・エラーを発生させにくくなる。また、作業員は、ロボットの操作について学びやすくなり、容易に習熟できるようになる。
【０２２８】
（２）ロボットについて十分な知識を有しない機械の作業員が、ロボットを取扱わなくてはならない状況に直面した場合でも、ＣＮＣを利用する機械に関する知識と経験に基づいて、ロボットの操作を推測することができる。特に、ロボットの安全に関する情報の表示方法が、ロボットの提供者によって規定されるＧＵＩ仕様でなく、ＣＮＣを利用する機械において使用されるＧＵＩ設計仕様に適合される。したがって、作業員は、取扱い方法がわからないロボットに近づくような危険行為を回避でき、ロボットの状態を迅速に確認できる。
【０２２９】
（３）ＣＮＣを利用する機械は、ＧＵＩ画面を自動生成するための属性の定義および属性値の形式に基づいたモデルに従ってＧＵＩを自動生成する機能を有している。したがって、各属性に適合する値を指定すれば、機械のＧＵＩ画面を適切に切替えることができる。それにより、ＣＮＣを利用する機械のコストを削減できる。
【０２３０】
（４）各属性値は、ＣＮＣを利用する機械の表示器のＧＵＩ画面の仕様に基づいて求められる。ＧＵＩ画面の仕様は、機械の提供者から入手可能であるし、或いは実機を使用して調査すれば必要なデータを取得できるであろう。ロボットの提供者は、様々な開発元から提供されるＣＮＣを利用する機械に適合するＧＵＩ画面を予め準備しておくことができる。
【０２３１】
（５）ＣＮＣを利用する機械の表示器のＧＵＩ画面の画面キャプチャデータをロボット制御装置に取込むことによって、機械の表示器のＧＵＩ画面を自動分析し、各属性値を求めることができる。この場合、機械の提供者とロボットの提供者との間でＧＵＩ画面の仕様について情報交換する必要がなくなるし、またはロボットシステムの使用者は、機械のＧＵＩ画面の仕様を調査する必要がなくなる。ＣＮＣを利用する機械とロボットが正常に通信を開始できれば、各属性値が自動的に求められる。そのため、作業員は、ＣＮＣを利用する機械からロボットを円滑に操作できる。
【０２３２】
以上、本発明の種々の実施形態について説明したが、当業者であれば、他の実施形態によっても本発明の意図する作用効果を実現できることを認識するであろう。特に、本発明の範囲を逸脱することなく、前述した実施形態の構成要素を削除または置換することができるし、或いは公知の手段をさらに付加することができる。また、本明細書において明示的または暗示的に開示される複数の実施形態の特徴を任意に組合せることによっても本発明を実施できることは当業者に自明である。
【符号の説明】
【０２３３】
１    ロボットシステム
２    機械
３    ロボット
４    ロボット制御装置
５    表示器
６    通信ネットワーク
１１    機械画面生成部
１２    機械属性値記憶部
１３    表示器ＧＵＩ画面キャプチャ処理部
２０    ＣＮＣ
４２    ロボット属性値記憶部
４３    機械の表示要素の属性値分析部（第１の作成部）
４４    ロボットの表示要素の属性値決定部（第２の作成部、第４の作成部）
４５    表示器のＧＵＩ画面の画像キャプチャデータ分析部（第３の作成部）
５１    ＧＵＩ画面
２１２    機械の表示要素の属性値送信部（第１の送信部）
２１４    表示器のＧＵＩ画面の画像キャプチャデータ送信部（第２の送信部）
【図１】
2017084108.tif 000003
【図２】
2017084108.tif 000004
【図３】
2017084108.tif 000005
【図４】
2017084108.tif 000006
【図５】
2017084108.tif 000007
【図６】
2017084108.tif 000008
【図７】
2017084108.tif 000009
【図８】
2017084108.tif 000010
【図９】
2017084108.tif 000011
【図１０】
2017084108.tif 000012
【図１１】
2017084108.tif 000013
【図１２】
2017084108.tif 000014
【図１３】
2017084108.tif 000015
【図１４】
2017084108.tif 000016
【図１５】
2017084108.tif 000017
【図１６】
2017084108.tif 000018
【図１７】
2017084108.tif 000019
【図１８】
2017084108.tif 000020
【図１９】
2017084108.tif 000021
【図２０】
2017084108.tif 000022
【図２１】
2017084108.tif 000023
【図２２】
2017084108.tif 000024
【図２３】
2017084108.tif 000025
【図２４】
2017084108.tif 000026
【図２５】
2017084108.tif 000027
【図２６】
2017084108.tif 000028
【図２７】
2017084108.tif 000029
【図２８】
2017084108.tif 000030