(57)【要約】【課題】ネットワーク帯域の圧迫および計算装置の処理負荷増大を軽減できるパケット廃棄システム及び方法を提供する。【解決手段】画像情報送信装置１００を有する作動装置１００と計算装置２００との通信経路上にパケット廃棄システム４００を配置する。パケット廃棄システム４００は、作動装置１００からの状態情報及び計算装置２００からの動作命令情報の何れか又はその組み合わせと画像情報との対応関係に基づき、作動装置１００から計算装置２００に対して送信された画像情報を廃棄するかをパケット単位で判定し、この判定結果に基づき画像情報をパケット単位で廃棄する。【選択図】図２
2019029697.tif 000002
【特許請求の範囲】
【請求項１】
画像情報を送信する画像情報送信装置を有する作動装置と、ネットワークを介して作動装置から取得した画像情報に基づき画像処理を行う計算装置とを備えたネットワークシステムにおいて前記作動装置と前記計算装置との通信経路上に配置されたパケット廃棄システムであって、
前記作動装置が前記計算装置に対して送信する自身の動作状態を示す状態情報及び前記計算装置が前記作動装置に対して送信する動作命令情報の何れか又はその組み合わせと、前記画像情報との対応関係に基づき、前記作動装置から前記計算装置に対して送信された前記画像情報を廃棄するかをパケット単位で判定し、この判定結果に基づき前記画像情報をパケット単位で廃棄するパケット廃棄手段を備えた
ことを特徴とするパケット廃棄システム。
【請求項２】
前記パケット廃棄手段は、前記状態情報から算出した前記作動装置の当該動作状態の継続時間及び前記動作命令情報から算出した前記作動装置の当該動作状態の継続情報の何れか又はその組み合わせに基づき、前記画像情報をパケット単位で廃棄する
ことを特徴とする請求項１記載のパケット廃棄システム。
【請求項３】
前記パケット廃棄手段は、前記状態情報に含まれる座標情報や加速度情報に基づき前記作動装置の速度情報を算出し、この速度情報に基づき動作状態の継続時間を算出する
ことを特徴とする請求項２記載のパケット廃棄システム。
【請求項４】
前記パケット廃棄手段は、前記動作命令情報に含まれる目的座標情報や加速度情報に基づき前記作動装置の速度情報を算出し、この速度情報に基づき動作状態の継続時間を算出する
ことを特徴とする請求項２又は３記載のパケット廃棄システム。
【請求項５】
前記パケット廃棄手段は、前記状態情報に含まれる座標情報や加速度情報などから算出した前記作動装置の速度情報及び前記動作命令情報に含まれる目的座標や加速度などから算出した前記作動装置の速度情報の何れか又はその組み合わせに基づき、前記画像情報をパケット単位で廃棄する
ことを特徴とする請求項１乃至４何れか１項記載のパケット廃棄システム。
【請求項６】
画像情報を送信する画像情報送信装置を有する作動装置と、ネットワークを介して作動装置から取得した画像情報に基づき画像処理を行う計算装置とを備えたネットワークシステムにおいて前記作動装置と前記計算装置との通信経路上に配置されたパケット廃棄システムが画像情報に係るパケットを廃棄するパケット廃棄方法であって、
前記作動装置が前記計算装置に対して送信する自身の動作状態を示す状態情報及び前記計算装置が前記作動装置に対して送信する動作命令情報の何れか又はその組み合わせと、前記画像情報との対応関係に基づき、前記作動装置から前記計算装置に対して送信された前記画像情報を廃棄するかをパケット単位で判定するステップと、
この判定結果に基づき前記画像情報をパケット単位で廃棄するステップとを備えた
ことを特徴とするパケット廃棄方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介して接続されているカメラのような画像情報送信装置、ロボットのような作動装置、サーバのような計算装置によって構成されるシステムにおける、画像情報送信装置から計算装置に送信される画像情報をパケット単位で廃棄するシステムおよびその方法に関する。
【背景技術】
【０００２】
ネットワークとロボットを組み合わせることで、ロボット単体ではできないサービスの実現を目指すネットワークロボットの概念がある。ネットワークロボットでは、カメラ等のセンサから得られるロボットの動作環境の情報をクラウド上に集約することで、単体ロボットの機能向上だけではなく、ネットワークを介して複数のロボットを制御するための情報として活用できる。これまではローカルに配備されることが多かったロボットを制御する機能をクラウド上に集約して配備すれば、カメラ等のセンサから得られるロボットの動作環境の情報を活用した高度な制御機能を個々のロボットに実装する必要がなくなるため、個々のハードウェアのコストやメンテナンスにかかる保守運用コストを軽減しつつ、複数のロボットの高度な制御を利用したサービスを展開できる。
【０００３】
サービスの一例として、カメラをセンサとして装備する複数のロボットとクラウドサーバ間をネットワークで接続し、ロボットが設置された環境の画像情報をクラウドサーバに送信して画像認識処理させる、またその結果を利用してロボットを制御する場合を考えると、テキストベースの情報と比較してデータサイズの大きい画像情報がネットワーク上に大量に発生する。そのような場合でも、あらかじめ定められたトラフィックの基準量を超えないようにパケットを遅延させることでトラフィックを制御する技術として、トラフィックシェーピングがある（非特許文献１）。
【０００４】
他方、データサイズの大きい画像情報をデータ圧縮する既存技術としては、Ｈ．２６４のような動画像情報の圧縮符号化方式が挙げられる（非特許文献２）。Ｈ．２６４は動き補償、フレーム間予測、離散コサイン変換、エントロピー符号化などを組み合わせたアルゴリズムを利用して端末から送信する動画像情報を圧縮することで、実質的な性質を保ったままデータ量を減らした別のデータに変換する圧縮符号化方式である。Ｈ．２６４のような圧縮符号化方式は、画像情報の内容を見てキーフレームやその差分を決定しているため、画像情報そのものを処理する機能を具備することで初めて実施できる画像情報削減の方法の一つである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４９５３４２５号公報
【非特許文献】
【０００６】
【非特許文献１】"Traffic control and congestion control in B-ISDN", ITU-T, I.371, section 7.2.7 defines and discusses Traffic Shaping in B-ISDN
【非特許文献２】"Advanced video coding for generic audiovisual services", ITU-T, H.264, SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Infrastructure of audiovisual services - Coding of moving video, 2004
【発明の概要】
【発明が解決しようとする課題】
【０００７】
カメラをセンサとして装備する複数のロボットとクラウドサーバ間をネットワークで接続し、ロボットが設置された環境の画像情報をクラウドサーバに送信して画像認識処理させる、またその結果を利用してロボットを制御する場合、ロボットが振動したり高速に移動したりするとカメラで取得する画像情報の画像品質が悪化することがある。クラウドサーバで実施される画像認識においては、画像内の対象物をクラウドサーバが正しく認識できる程度の画像品質が画像に必要となり、その画像品質に満たない画像が送信されてきたとしても、画像認識には使用できない。したがって、劣悪な画像品質の画像情報はネットワークを介してロボット側からクラウドサーバ側に送信する必要はなく、送信することでネットワークの帯域圧迫とクラウドサーバの処理負荷増大が引き起こされる課題が生じる。また、ロボットが連続的に静止している場合の画像情報などの画像認識には使用できるものの、ロボット制御には影響を与えない画像情報もクラウドサーバに到達させる必要はないため、これらの情報の送信もネットワークの帯域圧迫とクラウドサーバの処理負荷増大を引き起こす課題を生じさせる。
【０００８】
一方で、画像品質の如何を問わずにロボット側からクラウドサーバ側に画像情報を送信し、画像内の対象物をクラウドサーバが正しく認識できない画像品質の画像情報を使用してクラウドサーバが画像認識をした場合、誤認識が発生する。誤認識した結果を用いてロボットを制御した場合、ロボットを利用する目的の作業が達成できない課題とロボットを利用する目的以外の動作、例えば安全上問題のあるような動作をする課題が生じる。
【０００９】
ロボット側から送信される画像内の対象物をクラウドサーバが正しく認識できない画像品質の画像情報をクラウドサーバ側に到達させないようにするためには、どのような場合の画像情報をクラウドサーバに到達させる必要があるかを判断する必要がある。トラフィックシェーピングのような既存技術では、あらかじめ定められたトラフィックの基準量に従ってパケットを遅延させるなどによりトラフィックを制御する点で、画像内の対象物をクラウドサーバが正しく認識できない画像品質の画像情報を選択的に削除することはできないため、そのままでは適用できない課題がある。Ｈ．２６４のような動画像情報を圧縮符号化する方式を用いる場合は、ロボットとクラウドサーバが接続されているネットワーク上に画像情報そのものを処理できる機能を具備する必要がある。パケット単位で断片化された画像情報から画像を再構成し、その内容を解析して再度圧縮処理をするためには処理時間が必要となり、ロボットが設置された環境についての画像認識処理のリアルタイム性を損なう課題が生じる。また、上記に示す高負荷な処理をネットワーク上で行わなければならない課題も生じる。
【００１０】
本発明は上記事情に鑑みてなされたものであり、その目的とするところは、ネットワーク帯域の圧迫および計算装置の処理負荷増大を軽減できるパケット廃棄システム及び方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本願発明は、画像情報を送信する画像情報送信装置を有する作動装置と、ネットワークを介して作動装置から取得した画像情報に基づき画像処理を行う計算装置とを備えたネットワークシステムにおいて前記作動装置と前記計算装置との通信経路上に配置されたパケット廃棄システムであって、前記作動装置が前記計算装置に対して送信する自身の動作状態を示す状態情報及び前記計算装置が前記作動装置に対して送信する動作命令情報の何れか又はその組み合わせと、前記画像情報との対応関係に基づき、前記作動装置から前記計算装置に対して送信された前記画像情報を廃棄するかをパケット単位で判定し、この判定結果に基づき前記画像情報をパケット単位で廃棄するパケット廃棄手段を備えたことを特徴とする。
【発明の効果】
【００１２】
本発明のパケット廃棄システムにより、計算装置で実施される画像認識に使用できない画像情報のパケットが画像情報送信装置と計算装置間のネットワーク上で廃棄することができるため、パケット廃棄システムと計算装置間のネットワークにおいて、データサイズの大きい画像情報によるネットワーク帯域の圧迫および計算装置の処理負荷増大を軽減できる。
【００１３】
同時に、計算装置が画像品質に問題がある画像を使用して画像認識をした場合に生じる誤認識、またそれに起因するロボットを利用する目的の作業を達成するための動作命令を作成できない危険性とロボットを利用する目的以外の動作、例えば安全上問題のあるような動作命令を作成する危険性を軽減できる。
【００１４】
さらに、画像情報の削除は作動装置の状態を示す情報を使ってパケット単位で実施されるため、パケット単位で断片化された画像情報から画像を再構成し、その内容を解析して再度圧縮処理をするようなリアルタイム性を損ない、処理時間を要するような高負荷な処理を回避できる。つまり、ロボットが設置された環境についての画像認識処理のリアルタイム性を確保するとともに、ネットワーク上での処理を軽減できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の前提となるネットワークシステムの構成図
【図２】本発明のパケット廃棄システムを導入したネットワーク構成図
【図３】作動装置と作業対象物が設置されるｘｙｚ空間の例
【図４】パケット廃棄システムの機能ブロック図
【図５】第１の実施の形態に係るパケット廃棄システムの動作シーケンス
【図６】第１の実施の形態に係る画像情報削除判定部の動作フロー
【図７】対応関係情報の一例
【図８】画像情報削除部の動作フロー
【図９】パケット廃棄システムの機能ブロック図
【図１０】第２の実施の形態に係るパケット廃棄システムの動作シーケンス
【図１１】第２の実施の形態に係る画像情報削除判定部の動作フロー
【図１２】対応関係情報の一例
【図１３】第３の実施の形態に係るパケット廃棄システムの動作シーケンス
【図１４】第３の実施の形態に係る画像情報削除判定部の動作フロー
【図１５】第４の実施の形態に係るパケット廃棄システムの動作シーケンス
【図１６】第４の実施の形態に係る画像情報削除判定部の動作フロー
【図１７】画像情報削除部の動作フロー
【図１８】第５の実施の形態に係るパケット廃棄システムの動作シーケンス
【図１９】第５の実施の形態に係る画像情報削除判定部の動作フロー
【図２０】第６の実施の形態に係るパケット廃棄システムの動作シーケンス
【図２１】第６の実施の形態に係る画像情報削除判定部の動作フロー
【発明を実施するための形態】
【００１６】
本発明の一実施の形態に係るパケット廃棄システムについて図面を参照して説明する。まず図１及び図２を参照して本発明の概要について説明する。図１は前提となるネットワークシステムの構成図、図２はパケット廃棄システムを適用したネットワーク構成図である。
【００１７】
図１に示すように、ネットワークシステムは、ロボットのような作動装置１００、画像認識処理や画像認識処理を基にして作動装置１００に対する動作命令情報を作成・送信する計算装置２００を、ネットワーク３００に接続したものである。本発明に係るパケット廃棄システム４００は、図１に示すネットワークシステムに適用したものである。
【００１８】
図１及び図２において、作動装置１００は、作動装置１００の周囲を撮像した映像をリアルタイムの画像情報として送信する画像情報送信装置１１０と、作動装置１００の座標や移動速度などの状態情報を取得・送信する機能を持つ信号装置１２０と、計算装置２００から送信される動作命令情報を受信して作動装置１００を駆動させる運動装置１３０とを具備する。なお、画像情報送信装置１１０は、作動装置１００と一体に配置してもよいし、作動装置１００とは独立して配置してもよい。作動装置１００の映像情報送信装置１００から計算装置２００への画像情報の送信プロトコルは、従来周知の種々のものを用いることができる。
【００１９】
パケット廃棄システム４００は、画像情報送信装置１１０から送信される画像情報と信号装置１２０から送信される状態情報、計算装置２００から送信される動作命令情報を送受信できる機能と、状態情報・動作命令情報・状態継続時間を単独で、あるいはその組み合わせを利用して、画像情報送信装置１１０から送信される画像情報の送信可否を判定するための情報を参照する機能と、画像情報の送信可否を判定する機能と、画像情報の断片であるパケットを廃棄する機能とを具備したものである。なお、パケットとは、ＯＳＩ参照モデルのネットワーク層におけるパケットを意味する。パケットの典型的な例はＩＰパケットである。
【００２０】
パケット廃棄システム４００は、作動装置１００と計算装置２００との通信経路上に配置される。図２の例では、作動装置１００とパケット廃棄システム４００は第１ネットワーク３０１により通信可能に接続され、パケット廃棄システム４００と計算装置２００は第２ネットワーク３０２により通信可能に接続されている。
【００２１】
パケット廃棄システム４００は、例えばルータやゲートウェイ装置などのネットワーク装置としてのハードウェア、もしくは既存のネットワーク装置上で動作するソフトウェアのいずれで動作しても構わない。
【００２２】
パケット廃棄システム４００は、画像情報送信装置１１０から送信される画像情報のうち、作動装置１００の状態を示す情報を使って計算装置２００に到達させる必要のない画像情報をパケット単位で廃棄し、廃棄されなかった画像情報を当該システム４００から計算装置２００に送信することで、第２ネットワーク３０２に送信される画像情報を削減する。
【００２３】
パケット廃棄システム４００は、画像情報送信装置１１０から送信される画像情報のうち、作動装置１００の状態を示す情報を使って計算装置２００の誤認識を誘発する画像情報をパケット単位で廃棄し、廃棄されなかった画像情報を当該システム４００から計算装置２００に送信することで、計算装置２００で実施される画像認識処理に画像品質に問題のある画像情報が使用される事態を回避する。
【００２４】
パケット廃棄システム４００は、画像情報そのものを処理することで画像情報を削除するのではなく、作動装置１００の状態を示す情報を処理することで画像情報をパケット単位で廃棄する。したがって、パケット単位で断片化された画像情報から画像を再構成し、その内容を解析して再度圧縮処理をするようなリアルタイム性を損ない、処理時間を要する高負荷な処理を回避できる。
【００２５】
以下に本発明の実施の形態について詳述する。なお、以下の実施形態における作動装置１００はｘｙｚ空間上に設置されており、画像情報送信装置１１０を含む部分がｘｙｚ空間内を移動する。一方、作動装置１００が撮影や操作などの作業を実施する対象物である作業対象物はｘｙｚ空間上に固定して設置されているものとする。作動装置の例と作業対象物の例が設置されるｘｙｚ空間の例を図３に示す。
【００２６】
図３では作動装置１００の例として、カメラ搭載車１０１とカメラ付きロボットアーム１０２を挙げている。図３に示すカメラ搭載車１０１の場合、車載カメラ１１１が画像情報送信装置１１０に対応し、車載センサ１２１が信号装置１２０に対応し、モータ１３１が運動装置１３０に対応する。また図３に示すカメラ付きロボットアーム１０２の場合、アームに付設したＷｅｂカメラ１１２が画像情報送信装置１１０に対応し、軸センサ１２２が信号装置１２０に対応し、アクチュエータ１３２が運動装置１３０に対応する。また、図３では作業対象物として荷物１がｘｙｚ空間に配置されている。
【００２７】
［第１の実施の形態］
第１の実施の形態は、パケット廃棄システム４００が、信号装置１２０から送信される状態情報に基づいて画像情報送信装置１１０から送信される画像情報をパケット単位で廃棄し、廃棄しなかった画像情報を計算装置２００に送信するものである。
【００２８】
図４に本実施の形態に係るパケット廃棄システムの機能ブロック図、図５にパケット廃棄システムのシーケンスチャート、図６に画像情報削除判定部の動作フロー、図７に記憶部に格納されている対応関係情報の一例、図８に画像情報削除部の動作フローを示す。
【００２９】
パケット廃棄システム４００は、図４に示すように、画像情報受信部４１０と、画像情報削除部４２０と、状態情報受信部４３０と、画像情報削除判定部４４０と、記憶部４５０と、画像情報送信部４６０とを備えている。
【００３０】
画像情報送信装置１１０は、図５に示すように、画像情報受信部４１０に画像情報を送信し、画像情報受信部４１０は画像情報削除部４２０に受信した画像情報を送信する。一方、信号装置１２０は状態情報受信部４３０に状態情報を送信し、状態情報受信部４３０は画像情報削除判定部４４０に受信した状態情報を送信する。
【００３１】
画像情報削除判定部４４０は図６に示す動作フローにしたがい、受信した状態情報の内容を確認し、当該状態時における画像情報の送信可否を判定するために、記憶部４５０に格納されているデータベースを参照する。画像情報削除判定部４４０は、記憶部４５０内部に保持されている状態情報と画像情報の送信可否の対応関係のデータベースを基に、画像情報の送信可否を判定し、その結果を画像情報削除部４２０に通知する。
【００３２】
上記対応関係を決定する要素である状態情報は六軸ロボットの各軸の位置座標や加速度などで特に規定しないが、ここでは単位時間Δｔ当たりの作動装置１００が設置されているｘｙｚ空間における画像情報送信装置１１０の三次元座標（ｘ，ｙ，ｚ）の変化率、すなわち時刻ｔにおける位置変化度Ｒｔ＝（Δｘ／Δｔ，Δｙ／Δｔ，Δｚ／Δｔ）を用い、｜Ｒｔ｜とあらかじめ定めた閾値｜Ｒｓｈ｜の大小関係を画像情報の送信可否を判定する要素の一例として記載している。なお、信号装置１２０から送信されてくる状態情報の中にＲｔが含まれていればそれを利用する、あるいは信号装置１２０から送信されてくる状態情報の中の作動装置１００の座標や加速度から画像情報削除判定部４４０がＲｔを算出して利用しても構わない。
【００３３】
また本実施の形態では、位置変化度と画像情報の対応関係をあらかじめ調べた結果をデータベース化し、そのデータベースを記憶部４５０に静的に格納して利用する形式に則って説明しているが、逐次更新されるデータベースを利用しても、動的に上記対応関係の情報を外部から取得して利用する形式でも構わない。
【００３４】
画像情報削除部４２０は、図８に示す動作フローにしたがい、上記通知に基づいて画像情報をパケット単位で廃棄し、廃棄しなかった画像情報を画像情報送信部４６０に送信する。画像情報の送信可否通知を画像情報と同じ頻度、もしくは画像情報より高い頻度で受信する場合は、画像情報送信可否通知と同じタイムスタンプの画像情報のパケットに関して廃棄するかどうかを判定することになり、画像情報より低い頻度で画像情報送信可否通知を受信する場合は、保持している画像情報送信可否通知に従って画像情報のパケットに関して廃棄するかどうかを判定する。受信した画像情報送信可否通知は、新たに画像情報送信可否通知を受信するか、あらかじめ定めた保持時間の閾値を超えるまで保持され、上記の画像情報のパケットに関して廃棄するかどうかの判定に利用する。画像情報送信部４６０は受信した画像情報を計算装置２００に送信する。
【００３５】
以上により、画像情報そのものを処理することなくネットワーク上で流れる画像情報を削減できると同時に、計算装置２００で処理する画像情報量も削減でき、かつ計算装置２００で実施される画像認識における誤認識の危険性も軽減できる。
【００３６】
［第２の実施の形態］
第２の実施の形態は、パケット廃棄システム４００が、計算装置２００から送信される動作命令情報に基づいて画像情報送信装置１１０から送信される画像情報パケット単位で廃棄し、廃棄しなかった画像情報を計算装置２００に送信するものである。
【００３７】
図９に本実施の形態に係るパケット廃棄システムの機能ブロック図、図１０にパケット廃棄システムのシーケンスチャート、図１１に画像情報削除判定部の動作フロー、図１２に記憶部に格納されている対応関係情報の一例を示す。なお、画像情報削除部の動作フローは前述した図８と同様である。
【００３８】
パケット廃棄システム４００は、図９に示すように、画像情報受信部４１０と、画像情報削除部４２０と、状態情報受信部４３０と、画像情報削除判定部４４０と、記憶部４５０と、画像情報送信部４６０と、動作命令情報受信部４７０、動作命令情報送信部４８０と、状態情報送信部４９０とを備えている。
【００３９】
画像情報送信装置１１０は、図１０に示すように、画像情報受信部４１０に画像情報を送信し、画像情報受信部４１０は画像情報削除部４２０に受信した画像情報を送信する。一方、計算装置２００は動作命令情報受信部４７０に動作命令情報を送信し、動作命令情報受信部４７０は画像情報削除判定部４４０と動作命令情報送信部４８０に受信した動作命令情報を送信する。
【００４０】
画像情報削除判定部４４０は、図１１に示す動作フローにしたがい、受信した動作命令情報の内容を確認し、当該動作命令時における画像情報の送信可否を判定するために、記憶部４５０に格納されているデータベースを参照する。画像情報削除判定部４４０は、記憶部４５０内部に保持されている動作命令情報と画像情報の送信可否の対応関係のデータベースを基に、画像情報の送信可否を判定し、その結果を画像情報削除部４２０に通知する。
【００４１】
上記対応関係を決定する要素である動作命令情報は六軸ロボットの各軸の目的位置座標や加速度などで特に規定しないが、ここでは単位時間Δｔ当たりの作動装置１００が設置されているｘｙｚ空間における画像情報送信装置１１０の三次元座標（ｘ，ｙ，ｚ）の変化率の動作命令指示、すなわち時刻ｔにおける動作命令速度Ｖｔ＝（Δｘ／Δｔ，Δｙ／Δｔ，Δｚ／Δｔ）を用い、｜Ｖｔ｜とあらかじめ定めた閾値｜Ｖｓｈ｜の大小関係を画像情報の送信可否を判定する要素の一例として記載している。なお、計算装置２００から送信されてくる動作命令情報の中にＶｔが含まれていればそれを利用する、あるいは計算装置２００から送信されてくる動作命令情報の中の作動装置１００の座標や加速度から画像情報削除判定部４４０がＶｔを算出して利用しても構わない。
【００４２】
また本実施の形態では、動作命令速度と画像情報の対応関係をあらかじめ調べた結果をデータベース化し、そのデータベースを記憶部４５０に静的に格納して利用する形式に則って説明しているが、逐次更新されるデータベースを利用しても、動的に上記対応関係の情報を外部から取得して利用する形式でも構わない。
【００４３】
画像情報削除部４２０は、第１の実施の形態と同様に、図８に示す動作フローにしたがい、上記通知に基づいて画像情報をパケット単位で廃棄し、廃棄しなかった画像情報を画像情報送信部４６０に送信する。画像情報の送信可否通知を画像情報と同じ頻度、もしくは画像情報より高い頻度で受信する場合は、画像情報送信可否通知と同じタイムスタンプの画像情報のパケットに関して廃棄するかどうかを判定することになり、画像情報より低い頻度で画像情報送信可否通知を受信する場合は、保持している画像情報送信可否通知に従って画像情報のパケットに関して廃棄するかどうかを判定する。受信した画像情報送信可否通知は、新たに画像情報送信可否通知を受信するか、あらかじめ定めた保持時間の閾値を超えるまで保持され、上記の画像情報のパケットに関して廃棄するかどうかの判定に利用する。画像情報送信部４６０と動作命令情報送信部４８０はそれぞれ、受信した画像情報を計算装置２００に、受信した動作命令情報を作動装置１００の運動装置１３０に送信する。
【００４４】
以上により、画像情報そのものを処理することなくネットワーク上で流れる画像情報を削減できると同時に、計算装置２００で処理する画像情報量も削減でき、かつ計算装置２００で実施される画像認識における誤認識、誤認識によって生じる動作命令情報の作成の危険性も軽減できる。
【００４５】
［第３の実施の形態］
第３の実施の形態は、パケット廃棄システム４００が、計算装置２００から送信される動作命令情報と作動装置１００の信号装置１２０から送信される状態情報の組み合わせに基づいて画像情報送信装置１１０から送信される画像情報をパケット単位で廃棄し、廃棄しなかった画像情報を計算装置２００に送信するものである。
【００４６】
本実施の形態に係るパケット廃棄システムの機能ブロックは前述の図９に示すものと同じである。図１３にパケット廃棄システムのシーケンスチャート、図１４に画像情報削除判定部の動作フローを示す。なお、画像情報削除部の動作フローは前述した図８と同様である。
【００４７】
画像情報送信装置１１０は、図１３に示すように、画像情報受信部４１０に画像情報を送信し、画像情報受信部４１０は画像情報削除部４２０に受信した画像情報を送信する。一方、計算装置２００は動作命令情報受信部４７０に動作命令情報を送信し、動作命令情報受信部４７０は画像情報削除判定部４４０と動作命令情報送信部４８０に受信した動作命令情報を送信する。他方、信号装置１２０は状態情報受信部４３０に状態情報を送信し、状態情報受信部４３０は画像情報削除判定部４４０と状態情報送信部４９０に受信した状態情報を送信する。
【００４８】
画像情報削除判定部４４０は、図１４に示す動作フローにしたがい、受信した動作命令情報あるいは状態情報の内容を確認し、当該動作命令時あるいは状態時における画像情報の送信可否を判定するために、記憶部４５０に格納されているデータベースを参照する。画像情報削除判定部４４０は、記憶部４５０内部に保持されているデータベースを基に、画像情報の送信可否を判定し、その結果を画像情報削除部４２０に通知する。
【００４９】
画像情報の送信可否を判定する要素である動作命令情報あるいは状態情報は特に規定しないが、ここでは単位時間Δｔ当たりの作動装置１００が設置されているｘｙｚ空間における画像情報送信装置１１０の三次元座標（ｘ，ｙ，ｚ）の変化率の動作命令指示、すなわち時刻ｔにおける動作命令速度Ｖｔ＝（Δｘ／Δｔ，Δｙ／Δｔ，Δｚ／Δｔ）、あるいは単位時間Δｔ当たりの作動装置１００が設置されているｘｙｚ空間における三次元座標（ｘ，ｙ，ｚ）の変化率、すなわち時刻ｔにおける位置変化度Ｒｔ＝（Δｘ／Δｔ，Δｙ／Δｔ，Δｚ／Δｔ）を用い、｜Ｖｔ｜とあらかじめ定めた閾値｜Ｖｓｈ｜の大小関係、あるいは｜Ｒｔ｜とあらかじめ定めた閾値｜Ｒｓｈ｜の大小関係を画像情報の送信可否を判定する要素の一例として記載している。対応関係情報の一例としては、前述した図７及び図１２に記載したものが挙げられる。
【００５０】
なお、Ｖｔに関して、計算装置２００から送信されてくる動作命令情報の中にＶｔが含まれていればそれを利用する、あるいは計算装置２００から送信されてくる動作命令情報の中の作動装置１００の座標や加速度から画像情報削除判定部４４０がＶｔを算出して利用しても構わない。同様に、Ｒｔに関しても、信号装置１２０から送信されてくる状態情報の中にＲｔが含まれていればそれを利用する、あるいは信号装置１２０から送信されてくる状態情報の中の作動装置１００の座標や加速度から画像情報削除判定部４４０がＲｔを算出して利用しても構わない。
【００５１】
また本実施の形態では、動作命令速度あるいは位置変化度と画像情報の対応関係をあらかじめ調べた結果をデータベース化し、そのデータベースを記憶部４５０に静的に格納して利用する形式に則って説明しているが、逐次更新されるデータベースを利用しても、動的に上記対応関係の情報を外部から取得して利用する形式でも構わない。
【００５２】
画像情報削除部４２０は、第１及び第２の実施の形態と同様に、図８に示す動作フローにしたがい、上記通知に基づいて画像情報をパケット単位で廃棄し、廃棄しなかった画像情報を画像情報送信部４６０に送信する。画像情報の送信可否通知を画像情報と同じ頻度、もしくは画像情報より高い頻度で受信する場合は、画像情報送信可否通知と同じタイムスタンプの画像情報のパケットに関して廃棄するかどうかを判定することになり、画像情報より低い頻度で画像情報送信可否通知を受信する場合は、保持している画像情報送信可否通知に従って画像情報のパケットに関して廃棄するかどうかを判定する。受信した画像情報送信可否通知は、新たに画像情報送信可否通知を受信するか、あらかじめ定めた保持時間の閾値を超えるまで保持され、上記の画像情報のパケットに関して廃棄するかどうかの判定に利用する。
【００５３】
画像情報送信部４６０と動作命令情報送信部４８０、状態情報送信部４９０はそれぞれ、受信した画像情報と状態情報を計算装置２００に、受信した動作命令情報を作動装置１００の運動装置１３０に送信する。
【００５４】
以上により、画像情報そのものを処理することなくネットワーク上で流れる画像情報を削減できると同時に、計算装置２００で処理する画像情報量も削減でき、かつ計算装置２００で実施される画像認識における誤認識、誤認識によって生じる動作命令情報の作成の危険性も軽減できる。
【００５５】
［第４の実施の形態］
第４の実施の形態は、パケット廃棄システム４００が、作動装置１００の信号装置１２０から送信される状態情報の状態が継続する時間に基づいて画像情報送信装置１１０から送信される画像情報をパケット単位で廃棄し、廃棄しなかった画像情報を計算装置２００に送信するものである。
【００５６】
本実施の形態に係るパケット廃棄システムの機能ブロックは前述の図４に示すものと同じである。図１５にパケット廃棄システムのシーケンスチャート、図１６に画像情報削除判定部の動作フロー、図１７に画像情報削除部の動作フローを示す。
【００５７】
画像情報送信装置１１０は、図１５に示すように、画像情報受信部４１０に画像情報を送信し、画像情報受信部４１０は画像情報削除部４２０に受信した画像情報を送信する。信号装置１２０は状態情報受信部４３０に状態情報を送信し、状態情報受信部４３０は画像情報削除判定部４４０に受信した状態情報を送信する。
【００５８】
画像情報削除判定部４４０は、図１６に示す動作フローにしたがい、受信した状態情報の内容を確認し、当該状態時における画像情報の送信方法を判定するために、記憶部４５０に格納されているデータベースを参照する。画像情報削除判定部４４０は、記憶部４５０内部に保持されている状態情報と画像情報の送信可否の対応関係のデータベースを基に、画像情報の送信方法を判定し、その結果を画像情報削除部４２０に通知する。
【００５９】
上記対応関係を決定する要素である状態情報は六軸ロボットの各軸の位置座標や加速度などで特に規定しないが、ここでは単位時間Δｔ当たりの作動装置１００が設置されているｘｙｚ空間における画像情報送信装置１１０の三次元座標（ｘ，ｙ，ｚ）の変化率、すなわち時刻ｔにおける位置変化度Ｒｔ＝（Δｘ／Δｔ，Δｙ／Δｔ，Δｚ／Δｔ）を用い、｜Ｒｔ｜とあらかじめ定めた閾値｜Ｒｓｈ｜の大小関係を画像情報の送信可否を判定する要素の一例として記載している。信号装置１２０から送信されてくる状態情報の中にＲｔが含まれていればそれを利用する、あるいは信号装置１２０から送信されてくる状態情報の中の作動装置１００の座標や加速度から画像情報削除判定部４４０がＲｔを算出して利用しても構わない。
【００６０】
また本実施の形態では、位置変化度と画像情報の対応関係をあらかじめ調べた結果をデータベース化し、そのデータベースを記憶部４５０に静的に格納して利用する形式に則って説明しているが、逐次更新されるデータベースを利用しても、動的に上記対応関係の情報を外部から取得して利用する形式でも構わない。
【００６１】
さらに、本実施の形態では、｜Ｒｔ｜とあらかじめ定めた閾値｜Ｒｓｈ’｜との大小関係が｜Ｒｔ｜＜｜Ｒｓｈ’｜となる状態で継続する時間ＴＲを画像情報削除判定部４４０が計測し、ＴＲとあらかじめ定めた閾値｜ＴＲｓｈ｜との大小関係を画像情報の送信可否を判定する要素の一例として記載している。
【００６２】
本実施の形態では、ＴＲと画像情報の対応関係をあらかじめ調べた結果をデータベース化し、そのデータベースを記憶部に静的に格納して利用する形式に則って説明しているが、逐次更新されるデータベースを利用しても、動的に上記対応関係の情報を外部から取得して利用する形式でも構わない。
【００６３】
画像情報削除部４２０は、図１７に示す動作フローにしたがい、上記通知に基づいて画像情報の送信方法を決定し、決定した方法に従って画像情報を画像情報送信部４６０に送信する。画像情報の送信方法の通知を画像情報と同じ頻度、もしくは画像情報より高い頻度で受信する場合は、画像情報の送信方法の通知と同じタイムスタンプの画像情報のパケットに関して送信方法を判定することになり、画像情報より低い頻度で画像情報の送信方法の通知を受信する場合は、保持している画像情報の送信方法の通知に従って画像情報のパケットに関して送信方法を判定する。受信した画像情報の送信方法の通知は、新たに画像情報の送信方法の通知を受信するか、あらかじめ定めた保持時間の閾値を超えるまで保持され、上記の画像情報のパケットに関する送信方法の判定に利用する。なお、本実施の形態では、方法１をパケット廃棄なしで送信、方法２を画像情報のパケットを廃棄とする２つの例を使って説明しているが、方法の数や内容については限定しない。
【００６４】
画像情報送信部４６０は受信した画像情報を計算装置２００に送信する。
【００６５】
以上により、画像情報そのものを処理することなくネットワーク上で流れる画像情報を削減できると同時に、計算装置２００で処理する画像情報量も削減できる。
【００６６】
［第５の実施の形態］
第５の実施の形態は、パケット廃棄システム４００が、計算装置２００から送信される動作命令情報に従った動作状態が継続する時間に基づいて画像情報送信装置１１０から送信される画像情報をパケット単位で廃棄し、廃棄しなかった画像情報を計算装置２００に送信するものである。
【００６７】
本実施の形態に係るパケット廃棄システムの機能ブロックは前述の図９に示すものと同じである。図１８にパケット廃棄システムのシーケンスチャート、図１９に画像情報削除判定部の動作フローを示す。なお、画像情報削除部の動作フローは前述した図１７と同様である。
【００６８】
画像情報送信装置１１０は図９に示す画像情報受信部４１０に画像情報を送信し、画像情報受信部４１０は画像情報削除部４２０に受信した画像情報を送信する。一方、計算装置２００は動作命令情報受信部４７０に動作命令情報を送信し、動作命令情報受信部４７０は画像情報削除判定部４４０に受信した動作命令情報を送信する。
【００６９】
画像情報削除判定部４４０は、図１９に示す動作フローにしたがい、受信した動作命令情報の内容を確認し、当該動作命令時における画像情報の送信方法を判定するために、記憶部４５０に格納されているデータベースを参照する。画像情報削除判定部４４０は、記憶部４５０内部に保持されている動作命令情報と画像情報の送信方法の対応関係のデータベースを基に、画像情報の送信方法を判定し、その結果を画像情報削除部４２０に通知する。
【００７０】
上記対応関係を決定する要素である動作命令情報は六軸ロボットの各軸の目的位置座標や加速度などで特に規定しないが、ここでは単位時間Δｔ当たりの作動装置１００が設置されているｘｙｚ空間における画像情報送信装置１１０の三次元座標（ｘ，ｙ，ｚ）の変化率の動作命令指示、すなわち時刻ｔにおける動作命令速度Ｖｔ＝（Δｘ／Δｔ，Δｙ／Δｔ，Δｚ／Δｔ）を用い、｜Ｖｔ｜とあらかじめ定めた閾値｜Ｖｓｈ｜の大小関係を画像情報の送信可否を判定する要素の一例として記載している。計算装置２００から送信されてくる動作命令情報の中にＶｔが含まれていればそれを利用する、あるいは計算装置２００から送信されてくる動作命令情報の中の作動装置１００の座標や加速度から画像情報削除判定部４４０がＶｔを算出して利用しても構わない。
【００７１】
また本実施の形態では、動作命令速度と画像情報の対応関係をあらかじめ調べた結果をデータベース化し、そのデータベースを記憶部に静的に格納して利用する形式に則って説明しているが、逐次更新されるデータベースを利用しても、動的に上記対応関係の情報を外部から取得して利用する形式でも構わない。
【００７２】
さらに、本実施の形態では、｜Ｖｔ｜とあらかじめ定めた閾値｜Ｖｓｈ’｜との大小関係が｜Ｖｔ｜＜｜Ｖｓｈ’｜となる状態で継続する時間ＴＶを画像情報削除判定部が計測し、ＴＶとあらかじめ定めた閾値｜ＴＶｓｈ｜との大小関係を画像情報の送信可否を判定する要素の一例として記載している。
【００７３】
本実施の形態では、ＴＶと画像情報の対応関係をあらかじめ調べた結果をデータベース化し、そのデータベースを記憶部に静的に格納して利用する形式に則って説明しているが、逐次更新されるデータベースを利用しても、動的に上記対応関係の情報を外部から取得して利用する形式でも構わない。
【００７４】
画像情報削除部４２０は、第４の実施の形態と同様に、図１７に示す動作フローにしたがい、上記通知に基づいて画像情報の送信方法を決定し、決定した方法に従って画像情報を画像情報送信部４６０に送信する。画像情報の送信方法の通知を画像情報と同じ頻度、もしくは画像情報より高い頻度で受信する場合は、画像情報の送信方法の通知と同じタイムスタンプの画像情報のパケットに関して送信方法を判定することになり、画像情報より低い頻度で画像情報の送信方法の通知を受信する場合は、保持している画像情報の送信方法の通知に従って画像情報のパケットに関して送信方法を判定する。受信した画像情報の送信方法の通知は、新たに画像情報の送信方法の通知を受信するか、あらかじめ定めた保持時間の閾値を超えるまで保持され、上記の画像情報のパケットに関する送信方法の判定に利用する。なお、本実施の形態では、方法１をパケット廃棄なしで送信、方法２を画像情報のパケットを廃棄とする２つの例を使って説明しているが、方法の数や内容については限定しない。
【００７５】
画像情報送信部４６０は受信した画像情報を計算装置２００に送信する。
【００７６】
以上により、画像情報そのものを処理することなくネットワーク上で流れる画像情報を削減できると同時に、計算装置２００で処理する画像情報量も削減できる。
【００７７】
［第６の実施の形態］
第６の実施の形態は、パケット廃棄システム４００が、計算装置２００から送信される動作命令情報に従った動作状態が継続する時間と作動装置１００の信号装置１２０から送信される状態情報が継続する時間の組み合わせに基づいて画像情報送信装置１１０から送信される画像情報をパケット単位で廃棄し、廃棄しなかった画像情報を計算装置２００に送信するものである。
【００７８】
本実施の形態に係るパケット廃棄システムの機能ブロックは前述の図９に示すものと同じである。図２０にパケット廃棄システムのシーケンスチャート、図２１に画像情報削除判定部の動作フローを示す。なお、画像情報削除部の動作フローは前述した図１７と同様である。
【００７９】
画像情報送信装置１１０は、図２０に示すように、画像情報受信部４１０に画像情報を送信し、画像情報受信部４１０は画像情報削除部４２０に受信した画像情報を送信する。一方、計算装置２００は動作命令情報受信部４７０に動作命令情報を送信し、動作命令情報受信部４７０は画像情報削除判定部４４０に受信した動作命令情報を送信する。
【００８０】
画像情報削除判定部４４０は図２１に示す動作フローにしたがい、受信した動作命令情報あるいは状態情報の内容を確認し、当該動作命令時あるいは状態時における画像情報の送信方法を判定するために、記憶部４５０に格納されているデータベースを参照する。画像情報削除判定部４４０は、記憶部４５０内部に保持されているデータベースを基に、画像情報の送信方法を判定し、その結果を画像情報削除部４２０に通知する。
【００８１】
画像情報の送信可否を判定する要素である動作命令情報あるいは状態情報は特に規定しないが、ここでは単位時間Δｔ当たりの作動装置１００が設置されているｘｙｚ空間における画像情報送信装置１１０の三次元座標（ｘ，ｙ，ｚ）の変化率の動作命令指示、すなわち時刻ｔにおける動作命令速度Ｖｔ＝（Δｘ／Δｔ，Δｙ／Δｔ，Δｚ／Δｔ）、あるいは単位時間Δｔ当たりの作動装置１００が設置されているｘｙｚ空間における三次元座標（ｘ，ｙ，ｚ）の変化率、すなわち時刻ｔにおける位置変化度Ｒｔ＝（Δｘ／Δｔ，Δｙ／Δｔ，Δｚ／Δｔ）を用い、｜Ｖｔ｜とあらかじめ定めた閾値｜Ｖｓｈ｜の大小関係、あるいは｜Ｒｔ｜とあらかじめ定めた閾値｜Ｒｓｈ｜の大小関係を画像情報の送信方法、あるいは送信可否を判定する要素の一例として記載している。
【００８２】
なお、Ｖｔに関して、計算装置２００から送信されてくる動作命令情報の中にＶｔが含まれていればそれを利用する、あるいは計算装置２００から送信されてくる動作命令情報の中の作動装置１００の座標や加速度から画像情報削除判定部４４０がＶｔを算出して利用しても構わない。また、Ｒｔに関しても、信号装置２００から送信されてくる状態情報の中にＲｔが含まれていればそれを利用する、あるいは信号装置２００から送信されてくる状態情報の中の作動装置１００の座標や加速度から画像情報削除判定部４４０がＲｔを算出して利用しても構わない。
【００８３】
また本実施の形態では、動作命令速度あるいは位置変化度と画像情報の対応関係をあらかじめ調べた結果をデータベース化し、そのデータベースを記憶部４５０に静的に格納して利用する形式に則って説明しているが、逐次更新されるデータベースを利用しても、動的に上記対応関係の情報を外部から取得して利用する形式でも構わない。
【００８４】
さらに、｜Ｖｔ｜とあらかじめ定めた閾値｜Ｖｓｈ’｜との大小関係が｜Ｖｔ｜＜｜Ｖｓｈ’｜となる状態で継続する時間ＴＶ、あるいは｜Ｒｔ｜とあらかじめ定めた閾値｜Ｒｓｈ’｜との大小関係が｜Ｒｔ｜＜｜Ｒｓｈ’｜となる状態で継続する時間ＴＲを画像情報削除判定部４４０が計測し、ＴＶあるいはＴＲとあらかじめ定めた閾値｜ＴＶｓｈ｜あるいは｜ＴＲｓｈ｜との大小関係を画像情報の送信方法、あるいは送信可否を判定する要素の一例として記載している。
【００８５】
本実施の形態では、ＴＶあるいはＴＲと画像情報の対応関係をあらかじめ調べた結果をデータベース化し、そのデータベースを記憶部４５０に静的に格納して利用する形式に則って説明しているが、逐次更新されるデータベースを利用しても、動的に上記対応関係の情報を外部から取得して利用する形式でも構わない。
【００８６】
画像情報削除部４２０は、第４及び第５の実施の形態と同様に、図１７に示す動作フローにしたがい、上記通知に基づいて画像情報の送信方法あるいは送信可否を決定し、決定した方法に従って画像情報を画像情報送信部４６０に送信する。画像情報の送信方法の通知を画像情報と同じ頻度、もしくは画像情報より高い頻度で受信する場合は、画像情報の送信方法の通知と同じタイムスタンプの画像情報のパケットに関して送信方法を判定することになり、画像情報より低い頻度で画像情報の送信方法の通知を受信する場合は、保持している画像情報の送信方法の通知に従って画像情報のパケットに関して送信方法を判定する。受信した画像情報の送信方法の通知は、新たに画像情報の送信方法の通知を受信するか、あらかじめ定めた保持時間の閾値を超えるまで保持され、上記の画像情報のパケットに関する送信方法の判定に利用する。本実施の形態では、方法１をパケット廃棄なしで送信、方法２を画像情報のパケットを廃棄とする２つの例を使って説明しているが、方法の数や内容については限定しない。
【００８７】
画像情報送信部４６０は受信した画像情報を計算装置２００に送信する。
【００８８】
以上により、画像情報そのものを処理することなくネットワーク上で流れる画像情報を削減できると同時に、計算装置２００で処理する画像情報量も削減できる。
【００８９】
以上、本発明の実施の形態について詳述したが本発明はこれに限定されるものではない。例えば、上記実施の形態では、画像情報削除判定に際して、作動装置１００の動作状態を示す状態情報として位置情報（座標情報）や加速度情報を用いる場合を例示したが、他のパラメータであっても本発明を適用できる。同様に、画像情報削除判定に際して、計算装置２００から作動装置１００に送信される動作命令情報として目的位置情報（座標情報）や加速度情報を用いる場合を例示したが、他のパラメータであっても本発明を適用できる。
【符号の説明】
【００９０】
１００…作動装置
１１０…画像情報送信装置
１２０…信号装置
１３０…運動装置
２００…計算装置
３００，３０１，３０２…ネットワーク
４００…パケット廃棄システム
４１０…画像情報受信部
４２０…画像情報削除部
４３０…状態情報受信部
４４０…画像情報削除判定部
４５０…記憶部
４６０…画像情報送信部
４７０…動作命令情報受信部
４８０…動作命令情報送信部
４９０…状態情報送信部
【図１】
2019029697.tif 000003
【図２】
2019029697.tif 000004
【図３】
2019029697.tif 000005
【図４】
2019029697.tif 000006
【図５】
2019029697.tif 000007
【図６】
2019029697.tif 000008
【図７】
2019029697.tif 000009
【図８】
2019029697.tif 000010
【図９】
2019029697.tif 000011
【図１０】
2019029697.tif 000012
【図１１】
2019029697.tif 000013
【図１２】
2019029697.tif 000014
【図１３】
2019029697.tif 000015
【図１４】
2019029697.tif 000016
【図１５】
2019029697.tif 000017
【図１６】
2019029697.tif 000018
【図１７】
2019029697.tif 000019
【図１８】
2019029697.tif 000020
【図１９】
2019029697.tif 000021
【図２０】
2019029697.tif 000022
【図２１】
2019029697.tif 000023