(57)【要約】【課題】  ３次元情報を含めた作業指示方法により指示を容易にかつ的確に行うことが可能な遠隔操作モニターシステムを提供する。【解決手段】  操作設定部２において、被検体操作部１からの被検体１５の画像データを第１表示部２１に表示し、調整条件設定手段２４により条件設定を行い、操作設定撮像部２２に撮像された画像から観察領域及び調整条件を解析し、観察領域条件と調整条件を決定する。この観察領域条件と調整条件に基づき、第２表示部１７に二次元画像データを表示し、かつ光照射光源１３の照射位置、角度を設定し、被検体の観察領域および調整条件に対応する位置、角度で光を照射することにより遠隔地からの作業内容指示を行う。【選択図】  図１
2008263394.tif 000002
【特許請求の範囲】
【請求項１】
被検体を収める被検体収容部と、前記被検体収容部内の被検体を設置する被検体設置部と、被検体上方に設置された光源と、前記被検体を撮像する撮像部と、前記撮像部により撮像された画像データを送信する第１情報処理送信部からなる被検体操作部と、前記第１情報処理送信部から受信した前記画像データに基づいて前記被検体の画像を表示する第1表示部と、前記第1表示部に表示されている画像データについて観察領域を２次元情報として設定する観察領域設定手段と、前記画像データについて前記観察領域における調整条件を設定する調整条件設定手段と、前記観察領域設定手段の設定情報と前記調整条件設定手段の設定情報とを撮像する操作設定撮像部と、前記操作設定撮像部からの前記設定情報に基づき観察領域設定と調整条件設定を行いその条件を送信する第２情報処理送信部からなる操作設定部を有し、被検体操作部の第２表示部に前記被検体の前記観察領域設定に対応する位置情報を付加した画像情報を表示し、前記情報処理部が受信する前記観察領域設定と前記調整条件とに基づいて、前記被検体の前記観察領域に対応する位置に光を照射することを特徴とするモニターシステム。
【請求項２】
前記観察領域設定手段は、前記観察領域として前記第1表示部に表示されている画像データに対し操作される調整条件設定手段の端点位置を設定するものであり、前記観察領域条件に応じて光の照射位置を変化させることを特徴とする請求項１に記載のモニターシステム。
【請求項３】
前記調整条件設定手段は、前記調整条件として角度条件を設定するものであり、前記光源は、前記調整条件に応じて光の照射角度を変化させることを特徴とする請求項１に記載のモニターシステム。
【請求項４】
前記被検体の前記２次元情報に対応する位置情報を付加する前記観察領域設定のために、被検体収容部内に収容された被検体設置部平面に少なくとも３点以上の基準点を設定することにより前記平面の座標を規定し、前記第１表示部に表示された前記基準点の位置から、前記画像データの前記観察領域と前記被検体が位置する平面の２次元情報を一致させるための算出部とをさらに有することを特徴とする請求項２に記載のモニターシステム。
【請求項５】
前記観察領域設定手段として、前記観察領域条件の設定者が規定された長さの棒状体の前記調整条件設定手段を使用し、前記第1表示部に表示されている画像データ上に前記調整条件設定手段の端点位置を設定し、前記操作設定撮像部からの前記端点位置情報に基づき前記観察領域を設定することを特徴とする請求項２に記載のモニターシステム。
【請求項６】
前記角度条件設定手段として、前記調整条件の設定者が規定された長さの棒状体の前記調整条件設定手段を使用し、前記第1表示部に表示されている画像データ上に投影された前記調整条件設定手段の長さを前記操作設定撮像部により撮像した画像データから前記第２情報処理送信部において前記角度条件を算出することを特徴とする請求項３に記載のモニターシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，２次元情報である画像データに光照射による３次元情報を付加することで容易かつ的確な操作指示を行うことが可能な遠隔操作モニターシステムに関するものである。
【背景技術】
【０００２】
作業を実施する実施場所とその作業を指示する指示者が実施場所に位置せず、指示者が実施場所とは異なる遠隔地より実物体への作業を指示する必要がある。これまでにも、遠隔保守システムや遠隔修理システム、また遠隔医療システム等が遠隔地より実物体への作業を指示する場合として知られている。
【０００３】
このような遠隔側から実物体側へ作業手順等を遠隔指示するシステムとして、例えば、被写体を撮像手段により撮像させつつその撮像画像を遠隔地に設置した遠隔端末に送信し、さらに遠隔端末で設定された撮像画像に基づく指示に応じたアノテーション画像を投影手段により被写体へ投影させることにより、遠隔地からの指示を的確かつ容易にする技術が知られている（例えば特許文献１）。
【０００４】
【特許文献１】特開2006-352496号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記従来技術においては、作業者への遠隔指示のために、撮像手段により得られた２次元画像に対して実施した作業内容を２次元画像であるアノテーション画像として作製し、そのアノテーション画像を２次元の被写体に投影することで遠隔地からの作業内容の指示を行っているが、作業内容が２次元平面に対して実施されるのではなく３次元の立体物に対して実施される場合、作業内容を含むアノテーション画像を立体物に投影する必要が生じる。しかしながら、３次元被写体へ画像を投影した場合、被写体の形状に因っては陰影を生じるため、アノテーション画像に含まれる作業内容指示表示が投影画像の陰影部分に位置した場合にはその作業内容指示が判別出来なくなる可能性がある。また、作業内容が３次元立体物に対して実施される場合には、２次元平面方向には作業内容が描画できるが、３次元方向に対しての作業内容情報は２次元画像だけでは描画することが出来ない可能性がある。
【０００６】
遠隔地からの作業内容指示を行う場合において、作業内容指示を含む二次元のアノテーション画像のみを用いて行うのではなく、作業内容指示の３次元情報を含めた指示を行うことが可能な作業指示方法を備え、これにより作業内容が３次元立体物に対して実施される場合、また3次元方向の作業内容を指示する場合において、作業内容を容易にかつ的確に指示することが出来る遠隔操作モニターシステムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
被検体を収める被検体収容部と、前記被検体収容部内の被検体を設置する被検体設置部と、被検体上方に設置された光源と、前記被検体を撮像するための撮像部と、前記撮像部により撮像された画像データを送信する第１情報処理送信部からなる被検体操作部と、前記第１情報処理送信部から受信した前記画像データに基づいて前記被検体の画像を表示する第1表示部と、前記第1表示部において表示されている画像データについて観察領域を２次元情報として設定する観察領域設定手段と、前記画像データについて前記観察領域における調整条件を設定する調整条件設定手段と、前記観察領域設定手段の設定情報と前記調整条件設定手段の設定情報とを撮像する操作設定撮像部と、前記操作設定撮像部からの前記設定情報に基づき観察領域設定と調整条件設定を行いその条件を送信する第２情報処理送信部からなる操作設定部を有し、被検体操作部の第２表示部に前記被検体の前記観察領域設定に対応する位置情報を付加した画像情報を表示し、前記情報処理部が受信する前記観察領域設定と前記調整条件とに基づいて、前記被検体の前記観察領域に対応する位置に光を照射することを特徴としている。これにより、遠隔地からの作業内容指示に２次元の画像データに加え、３次元の位置情報を含めた指示を行うことにより、作業内容を容易にかつ的確に指示することを達成した。
【０００８】
本発明は、上記目的を達成した構成として以下の構成とすることができる。
（１）被検体を収める被検体収容部と、前記被検体収容部内の被検体を設置する被検体設置部と、被検体上方に設置された光源と、前記被検体を撮像するための撮像部と、前記撮像部により撮像された画像データを送信する第１情報処理送信部からなる被検体操作部と、前記第１情報処理送信部から受信した前記画像データに基づいて前記被検体の画像を表示する第1表示部と、前記第1表示部において表示されている画像データについて観察領域を２次元情報として設定する観察領域設定手段と、前記画像データについて前記観察領域における調整条件を設定する調整条件設定手段と、前記観察領域設定手段の設定情報と前記調整条件設定手段の設定情報とを撮像する操作設定撮像部と、前記操作設定撮像部からの前記設定情報に基づき観察領域設定と調整条件設定を行いその条件を送信する第２情報処理送信部からなる操作設定部を有し、被検体操作部の第２表示部に前記被検体の前記観察領域設定に対応する位置情報を付加した画像情報を表示し、前記情報処理部が受信する前記観察領域設定と前記調整条件とに基づいて、前記被検体の前記観察領域に対応する位置に光を照射する。
（２）前記観察領域設定手段は、前記観察領域として前記第1表示部において表示されている画像データに対し操作される調整条件設定手段の端点位置を設定するものであり、前記観察領域条件に応じて光の照射位置を変化させる。
（３）前記調整条件設定手段は、前記調整条件として角度条件を設定するものであり、前記光源は、前記調整条件に応じて光の照射角度を変化させる。
（４）前記被検体の前記２次元情報に対応する位置情報を付加する前記観察領域設定のために、被検体収容部内に収容された被検体設置部平面に少なくとも３点以上の基準点を設定することにより前記平面の座標を規定し、前記第１表示部に表示された前記基準点の位置から、前記画像データの前記観察領域と前記被検体が位置する平面の２次元情報を一致させるための算出部とをさらに有する。
（５）前記観察領域設定手段として、前記観察領域条件の設定者が規定された長さの棒状体の前記調整条件設定手段を使用し、前記第1表示部において表示されている画像データ上に前記調整条件設定手段の端点位置を設定し、前記操作設定撮像部からの前記端点位置情報に基づき前記観察領域を設定する。
（６）前記角度条件設定手段として、前記調整条件の設定者が規定された長さの棒状体の前記調整条件設定手段を使用し、前記第1表示部において表示されている画像データ上に投影された前記調整条件設定手段の長さを前記操作設定撮像部により撮像した画像データから前記第２情報処理送信部において前記角度条件を算出する。
【発明の効果】
【０００９】
本発明によれば、作業指示内容として２次元画像データに加えて３次元情報を含めた指示を行うことが可能な作業指示方法を備えることより、作業指示内容を容易にかつ的確に指示することが出来る。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態を図面を用いて説明する。
図１は、本発明の遠隔操作モニターシステムの実施の形態を示す構成図である。この遠隔操作モニターシステムは、図１に示すように被検体操作部１に配置される構成部分と被検体操作部１とは別の操作設定部２に配置される構成部分を有している。
【００１１】
被検体操作部１に配置される構成部分は、被検体１５を収容する被検体収容部１１と、被検体１５を設置する被検体設置部１２と、観察領域及び調整条件を表示する光照射光源１３と、被検体の画像データを撮像する被検体撮像部１４と、被検体の画像データを操作設定部２に送信するための第１情報解析送信部１６と、操作設定部２において設定された観察領域及び調整条件を付加した画像情報を表示するための第２表示部１７とを含んでいる。なお、図示しないが、光照射光源１３は照射位置及び照射角度を制御する機構を有している。
操作設定部２に配置される構成部分は、第１情報解析送信部１６から送信されてきた被検体１５の画像データを表示する第１表示部２１と、第１表示部２１上の操作設定を撮像する操作設定撮像部２２と、操作設定撮像部２２により撮像された画像から調整条件を解析し、被検体操作部１に配置される第２表示部１７に調整条件を送信する第２情報解析送信部２３と調整条件設定手段２４を含んでいる。
【００１２】
図１に示す実施形態では、被検体操作部１と操作設定部２が直接接続され情報を送受信する場合を示しているが、これに限定されるわけではなく、ネットワークや無線通信等の他の手段により被検体操作部１と操作設定部２を接続する構成とすることも可能である。
【００１３】
次に、上記構成の遠隔操作モニターシステムの動作について図２から図６により説明する。
【００１４】
図２において、図２(a)は被検体操作部１における被検体収容部１１内の被検体設置部１２に設置された被検体１５を上方より俯瞰した場合の一例を示している。この図２(a)では、位置情報を付加する観察領域設定のために、被検体収容部内に収容された被検体設置部平面に平面の座標を規定するための画像情報設定基準点１０１、１０２、１０３、１０４の４点を配置している例を示している。
【００１５】
図２(b)は、図２(a)での被検体１５と被検体設置部１２を被検体撮像部１４により撮像し、その画像データが第１情報解析送信部１６から送信されて第１表示部２１において表示されている場合を示している。このとき、図２(b)の第１表示部２１に表示されている、図２(a)で示されている被検体収容部１１内の被検体設置部１２とそこに設置された被検体１５に対応する画像のサイズは、実際の図２(a)で示されている被検体設置部１２とそこに設置された被検体１５の実寸とは必ずしも一致している必要はないが、その場合、図２(b)の第１表示部２１に表示されている被検体１５と被検体設置部１２のサイズと実際の被検体１５と被検体設置部１２のサイズを対応づける必要がある。
図２(a)の画像情報設定基準点１０１と１０２間また１０１と１０３間の距離を既定値として設定する。次に、第１表示部２１に表示されている画像データにおいて、図２(a)の画像情報設定基準点１０１と１０２と１０３に対応する点間の距離を、第１表示部２１上方に設置されている操作設定撮像部２２により撮像し、そのデータを第２情報解析送信部２３において解析し、第１表示部２１に表示されている対応画像上の画像情報設定基準点１０１と１０２と１０３に対応する点間の距離を決定する。この決定された距離と既定値である画像情報設定基準点間距離の関係から、図２(b)の第１表示部２１に表示されている被検体設置部１２上の位置情報と実際の被検体設置部１２上の位置情報を１対１に対応づけることが可能となる。
【００１６】
次に、図３(a)、(b)は、調整条件設定手段２４による調整条件設定について示している。調整条件設定手段２４は任意の位置、角度に調整することが出来る規定された長さを持つ棒状体で、図３(b)では、その一方の先端が尖った形状を持つ例を示している。図３(a)は、操作設定部２において調整条件設定手段２４により調整条件設定している状態を操作設定撮像部２２により撮像し、そのデータを第２情報解析送信部２３経て、被検体操作部１の送信し、第２表示部１７に表示されている状態を示している。被検体に対する操作者は、この第２表示部１７に表示されている画像を操作の参考に用いることが出来る。
【００１７】
次に、調整条件設定手段２４による調整条件設定の詳細について図４、５を用いて説明する。図４は、操作設定部２において、第１表示部２１に表示されている画像データに対して調整条件設定手段２４により調整条件の設定作業中の状態を操作設定撮像部２２により撮像した場合を示している。画像情報設定基準点１０１から１０２方向への観察領域設定軸Ｌ２、と１０１から１０３方向の観察領域設定軸Ｌ１とする。なお、観察領域設定軸Ｌ１とＬ２が直角に交わる様に画像情報設定基準点１０１、１０２、１０３を被検体設置部１２上に設置しておく。棒状の調整条件設定手段２４の一方の尖った先端が観察領域を設定する。観察領域の２次元情報は、調整条件設定手段２４の一方の尖った先端と観察領域設定軸Ｌ１とＬ２からの垂線の交点の座標が観察領域座標（Ｌ１０、Ｌ２０）として設定される。また、調整条件設定手段２４の延長線方向に観察領域２次元情報補助線５０を想定し、観察領域設定軸Ｌ１またはＬ２とのなす角を観察領域２次元情報Ａ１とする。これら、観察領域座標（Ｌ１０、Ｌ２０）及び観察領域２次元情報Ａ１、さらには調整条件設定手段２４の投影長を、操作設定撮像部２２により撮像した画像から第２情報解析送信部２３において算出する。
【００１８】
次に、調整条件設定手段２４による調整条件設定を図５により説明する。図５は、第１表示部２１に表示されている画像データに対し調整条件設定手段２４による調整条件の設定作業中の状態を横方向から見た構成を示している。調整条件設定手段２４の投影長として算出される操作設定撮像部測定条件Ｌ４０と調整条件設定手段２４の規定長から、操作設定撮像部測定条件Ｌ４０に対し直交する調整条件設定３次元情報Ｌ３０が算出される。これら調整条件設定手段２４の規定長と調整条件設定３次元情報Ｌ３０、操作設定撮像部測定条件Ｌ４０から、調整条件設定手段２４と操作設定撮像部測定条件Ｌ４０のなす角である調整条件Ａ２が算出できる。
【００１９】
次いで、第２情報解析送信部において、先に得られた観察領域座標（Ｌ１０、Ｌ２０）を、第１表示部２１に表示されている被検体設置部１２上の位置情報と実際の被検体設置部１２上の位置情報の１対１対応関係を利用して、被検体設置部１２上の位置情報に変換する。この変換された観察領域座標条件と、観察領域２次元情報Ａ１と、調整条件Ａ２を被検体操作部１に送信し、この条件を満たす位置、及び角度となるよう光照射光源１３を設定し、被検体１５の観察領域に対応する位置に光照射し、且つ光照射角度により被検体操作の３次元情報を提示することにより、被検体操作部１内の操作者に操作内容の指示すること作業することを特徴とするモニターシステム観察領域及びを設定することが出来る。
【００２０】
上述してきたように、本実施の形態によれば、遠隔地からの操作指示を画像による２次元情報だけでなく、操作の３次元情報を付加することが出来るので、操作内容を容易にかつ的確に指示することを達成できる。
【図面の簡単な説明】
【００２１】
【図１】本発明の遠隔操作モニターシステムの実施の形態を示す構成図。
【図２ａ】被検体収容部内の被検体設置部に設置された被検体を示す説明図。
【図２ｂ】図２(a)での被検体と被検体設置部の画像データの第１表示部における説明図。
【図３ａ】被検体操作部１における図３ｂに示す調整条件設定のモニター画像を示す説明図。
【図３ｂ】操作設定部における調整条件設定手段による調整条件設定を示す説明図。
【図４】操作設定部において調整条件設定手段により観察領域設定及び調整条件設定を示す説明図。
【図５】操作設定部において調整条件設定手段により調整条件として３次元情報設定を示す説明図。
【符号の説明】
【００２２】
１…被検体操作部、２…操作設定部、１１…被検体収容部、１２…被検体設置部、１３…光照射光源、１４…被検体撮像部、１５…被検体、１６…第１情報解析送信部、１７…第２表示部、２１…第１表示部、２２…操作設定撮像部、２３…第２情報解析送信部、２４…調整条件設定手段、５０…観察領域２次元情報補助線、１０１、１０２、１０３、１０４…画像情報設定基準点、Ｌ１、Ｌ２…観察領域設定軸、Ｌ１０、Ｌ２０…観察領域座標、Ｌ３０…調整条件設定３次元情報、Ｌ４０…操作設定撮像部測定条件、Ａ１…観察領域２次元情報、Ａ２……調整条件
【図１】
2008263394.tif 000003
【図２ａ】
2008263394.tif 000004
【図２ｂ】
2008263394.tif 000005
【図３ａ】
2008263394.tif 000006
【図３ｂ】
2008263394.tif 000007
【図４】
2008263394.tif 000008
【図５】
2008263394.tif 000009