(57)【要約】【課題】撮像してから表示されるまでの間の遅延時間を補償した画像を表示する。【解決手段】実施形態の画像処理装置は、画像取得部と、距離取得部と、予測部と、画像生成部と、を備える。画像取得部は、動体に設けられた撮像装置により撮像された被写体画像を取得する。距離取得部は、基準位置から撮像装置の被写体までの距離を表す距離画像を取得する。予測部は、動体の移動情報に基づき、被写体画像を撮像した第１時点における撮像装置の撮像視点と、第１時点と異なる第２時点における撮像装置の撮像視点との間の視点のずれを予測する。画像生成部は、被写体画像、距離画像、および、視点のずれに基づき、第２時点において撮像装置により撮像されると予測される被写体画像を生成する。【選択図】図３
2015100075.tif 000002
【特許請求の範囲】
【請求項１】
動体に設けられた撮像装置により撮像された被写体画像を取得する画像取得部と、
基準位置から前記撮像装置の被写体までの距離を表す距離画像を取得する距離取得部と、
前記動体の移動情報に基づき、前記被写体画像を撮像した第１時点における前記撮像装置の撮像視点と、前記第１時点と異なる第２時点における前記撮像装置の撮像視点との間の視点のずれを予測する予測部と、
前記被写体画像、前記距離画像、および、前記視点のずれに基づき、前記第２時点において前記撮像装置により撮像されると予測される被写体画像を生成する画像生成部と、
を備える画像処理装置。
【請求項２】
前記第１時点から前記第２時点までの遅延時間を取得する遅延取得部をさらに備え、
前記予測部は、前記動体の移動情報と前記遅延時間とに基づき、前記視点のずれを予測する
請求項１に記載の画像処理装置。
【請求項３】
前記動体を移動させるための制御情報を入力する入力部をさらに備え、
前記予測部は、前記制御情報を前記動体の移動情報として、前記視点のずれを予測する
請求項２に記載の画像処理装置。
【請求項４】
前記遅延取得部は、前記制御情報が入力されてから前記動体が移動するまでの遅延を含む前記遅延時間を取得する
請求項３に記載の画像処理装置。
【請求項５】
前記遅延取得部は、前記第１時点から、前記被写体画像が表示される前記第２時点までの遅延時間を取得する
請求項２に記載の画像処理装置。
【請求項６】
前記視点のずれは、前記撮像装置の前記第１時点における撮像位置と前記第２時点における撮像位置との差、および、前記撮像装置の前記第１時点における撮像方向と前記第２時点における撮像方向との差の少なくとも一方である
請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記被写体画像および前記距離画像をネットワークを介して送信する送信部と、
前記被写体画像および前記距離画像を前記ネットワークを介して受信する受信部と、
をさらに備え、
前記送信部および前記受信部は、画像の表示レートよりも遅い伝送レートで前記被写体画像を伝送し、
前記画像生成部は、画像が伝送されてこなかった表示タイミングの被写体画像を、直前に受信された前記被写体画像および前記距離画像に基づき生成する
請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記画像取得部は、前記被写体画像とともに、前記被写体画像を撮像した時刻を示すタイムスタンプを取得し、
前記遅延取得部は、前記タイムスタンプに基づき前記遅延時間を算出する
請求項２に記載の画像処理装置。
【請求項９】
動体と、
前記動体に設けられた撮像装置と、
前記撮像装置により撮像された画像に対して画像処理をする請求項１〜８のいずれか１項に記載の画像処理装置と、
前記画像処理装置により生成された画像を表示する表示装置と、
を備えるシステム。
【請求項１０】
動体に設けられた撮像装置により撮像された被写体画像を取得する画像取得ステップと、
基準位置から前記撮像装置の被写体までの距離を表す距離画像を取得する距離取得ステップと、
前記動体の移動情報に基づき、前記被写体画像を撮像した第１時点における前記撮像装置の撮像視点と、前記第１時点と異なる第２時点における前記撮像装置の撮像視点との間の視点のずれを予測する予測ステップと、
前記被写体画像、前記距離画像、および、前記視点のずれに基づき、前記第２時点において前記撮像装置により撮像されると予測される被写体画像を生成する画像生成ステップと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、システムおよび方法に関する。
【背景技術】
【０００２】
従来、動体をオペレータが遠隔地から操作するシステムが知られている。このようなシステムでは、例えば動体に搭載された撮像装置により撮像された画像を確認しながら、オペレータが動体を操作する。
【０００３】
その場合、画像を撮像してから表示するまでの間に、ネットワークによる伝送遅延等による遅延が生じる。このため、実際に表示される画像と、動体の現在いる位置で撮像される画像との間にずれが生じる。従って、遅延が大きい場合、表示された画像を確認しながら動体の動作を操作したときに操作タイミングが遅れてしまう等、正確な操作が困難となってしまう。
【０００４】
そこで、遅れ予測時間と動体の移動速度、振れ角度、バッテリー電圧値等のセンサ情報に基いて受信画像をズームまたは、上下、左右、または斜めにシフトする技術があった。しかしながら、動体と被写体の位置関係を考慮せずに上記の処理を行うと、表示すべき画像と、実際に表示される画像との間の乖離が大きい場合があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許５１４０８８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このため、画像を撮像してから表示するまでの間に遅延が含まれる場合であっても、現在の位置の動体から撮像される画像との乖離の小さい画像を表示できることが望まれる。
【課題を解決するための手段】
【０００７】
実施形態の画像処理装置は、画像取得部と、距離取得部と、予測部と、画像生成部と、を備える。前記画像取得部は、動体に設けられた撮像装置により撮像された被写体画像を取得する。前記距離取得部は、基準位置から前記撮像装置の被写体までの距離を表す距離画像を取得する。前記予測部は、前記動体の移動情報に基づき、前記被写体画像を撮像した第１時点における前記撮像装置の撮像視点と、前記第１時点と異なる第２時点における前記撮像装置の撮像視点との間の視点のずれを予測する。前記画像生成部は、前記被写体画像、前記距離画像、および、前記視点のずれに基づき、前記第２時点において前記撮像装置により撮像されると予測される被写体画像を生成する。
【図面の簡単な説明】
【０００８】
【図１】実施形態の遠隔操作システムの概略構成図。
【図２】実施形態の遠隔操作システムのハードウェア構成図。
【図３】実施形態の遠隔操作システムを示す図。
【図４】実施形態の遠隔操作システムのフロー図。
【図５】第１変形例の遠隔操作システムを示す図。
【図６】第２変形例の遠隔操作システムを示す図。
【図７】第３変形例の遠隔操作システムを示す図。
【図８】伝送周期および表示周期の一例を示す図。
【発明を実施するための形態】
【０００９】
以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をするものとして、相違点を除き重複する説明を適宜省略する。
【００１０】
図１は、本実施形態に係る遠隔操作システム１０の概略構成を示す図である。図２は、遠隔操作システム１０のハードウェア構成を示す図である。
【００１１】
遠隔操作システム１０は、対象装置２０と、オペレータが対象装置２０を遠隔操作するための操作装置３０とを備える。対象装置２０と操作装置３０とは、ネットワーク１２を介して接続される。ネットワーク１２は、有線であっても無線であってもよい。また、ネットワーク１２は、専用のネットワーク回線であっても、インターネット等の公衆に利用可能なネットワーク回線であってもよい。
【００１２】
対象装置２０は、ネットワーク１２を介して遠隔制御が可能な装置である。対象装置２０は、一例として、ロボットアームである。また、対象装置２０は、自動車（模型も含む）、飛行機（模型も含む）、ヘリコプタ（模型も含む）、ボート（模型も含む）、または、各種のロボットであってもよい。
【００１３】
対象装置２０は、図２に示すように、動体４１と、駆動部４２と、撮像装置４３と、距離画像取得装置４４と、対象装置内コントローラ４５とを有する。
【００１４】
動体４１は、遠隔制御に応じて移動する物体である。対象装置２０がロボットアームである場合、動体４１は、例えばアームである。また、対象装置２０が自動車、飛行機、ヘリコプタまたはボート等である場合、動体４１は、例えば車体または機体等である。
【００１５】
駆動部４２は、動体４１を移動させるための装置である。駆動部４２は、一例として、アクチュエータ、モータおよびエンジン等である。また、駆動部４２は、移動方向を変更するための装置および移動を停止するためのブレーキも含んでもよい。
【００１６】
撮像装置４３は、動体４１に設けられ、動体４１から被写体を撮像して画像を生成する。従って、撮像装置４３は、動体４１の移動位置に応じて、撮像視点（撮像位置および撮像方向）が変更される。
【００１７】
撮像装置４３は、被写体の像を画像に変換する装置である。撮像装置４３は、一例として、被写体からの可視光を撮像する可視光カメラである。また、撮像装置４３は、被写体からの赤外光を撮像する赤外線カメラ、被写体からの紫外光を撮像する紫外光カメラ、または、被写体からの超音波を検出して画像に変換する超音波カメラであってもよい。また、撮像装置４３は、暗所においても撮像が可能となるように、被写体に光（例えば可視光、赤外光、紫外光）を照射する装置を含んでもよい。同様に、撮像装置４３が超音波カメラである場合、撮像装置４３は、超音波を発生させる装置を含んでもよい。
【００１８】
距離画像取得装置４４は、基準位置から、撮像装置４３が撮像している被写体までの距離を表す距離画像（デプス画像）を検出する。距離画像取得装置４４は、動体４１における、基準位置から撮像装置４３が撮像する被写体までの距離が検出できる位置に設けられる。例えば、距離画像取得装置４４は、撮像装置４３とほぼ同一の位置に、撮像装置４３とほぼ同一の撮像方向となるように、動体４１に設けられる。なお、基準位置は、例えば、撮像装置４３の撮像位置である。また、基準位置は、撮像装置４３と相対的な位置関係が固定されていれば、撮像装置４３の撮像位置以外の位置であってもよい。
【００１９】
距離画像取得装置４４は、撮像装置４３が撮像した被写体画像の画素単位（または一定数の画素から構成される領域単位）毎に被写体までの距離を示す距離画像を生成する。距離画像取得装置４４は、一例として、Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ距離画像センサまたはパターン照射式距離画像センサ等である。
【００２０】
対象装置内コントローラ４５は、ネットワーク１２を介して操作装置３０と通信をする機能、および、駆動部４２を制御する機能を有する。また、対象装置内コントローラ４５は、撮像装置４３により撮像された被写体画像および距離画像取得装置４４により取得された距離画像を符号化および送信する機能を有する。
【００２１】
対象装置内コントローラ４５は、通常のコンピュータと同様のハードウェア構成を備え、予めインストールされたプログラムを実行することにより上述の一部または全部の機能を実現してもよい。この場合、対象装置内コントローラ４５は、一例として、プロセッサ５１と、メインメモリ５２と、記憶装置５３と、デバイスＩ／Ｆ５４と、通信用Ｉ／Ｆ５５とを有する。
【００２２】
プロセッサ５１は、ＣＰＵ（Central  Processing  Unit）等であって、プログラムに従ってデータ処理および制御処理を実行する。メインメモリ５２は、ＲＡＭ（Random  Access  Memory）等であって、プロセッサ５１の作業領域として機能する。記憶装置５３は、ＲＯＭ（Read  Only  Memory）およびＨＤＤ（Hard  disk  drive）等の不揮発性のデータ記憶装置であって、プロセッサ５１により実行されるプログラムを予め記憶する。デバイスＩ／Ｆ５４は、対象装置２０内の駆動部４２、撮像装置４３および距離画像取得装置４４とデータをやり取りするためのインターフェースである。通信用Ｉ／Ｆ５５は、ネットワーク１２を介して操作装置３０との間で情報のやり取りをするためのインターフェースである。
【００２３】
なお、対象装置２０のハードウェア構成は一例であって、他の構成であってもよい。また、対象装置内コントローラ４５は、対象装置２０の本体内に設けられてもよいし、本体とは別体に設けられてもよい。また、対象装置２０は、撮像装置４３および距離画像取得装置４４により撮像された画像の符号化および送信を実行するコントローラを、対象装置内コントローラ４５とは別個に有してもよい。
【００２４】
操作装置３０は、オペレータにより操作され、ネットワーク１２を介して対象装置２０を遠隔制御する。操作装置３０は、一例として、対象装置２０の設置場所とは離隔したオペレーションルーム等に設けられる。
【００２５】
操作装置３０は、図２に示すように、入力装置６１と、表示装置６２と、操作装置内コントローラ６３とを有する。入力装置６１は、例えばキーボード、マウス、スイッチ、ハンドル、スライドバーまたはボリュームツマミ等の、オペレータが情報を入力するための各種のデバイスを有する。
【００２６】
表示装置６２は、オペレータに対して画像を表示する。表示装置６２は、さらに、各種の情報をオペレータに対して表示してもよい。
【００２７】
操作装置内コントローラ６３は、ネットワーク１２を介して対象装置２０と通信をする機能、および、オペレータの入力に応じて動体４１を移動制御するための制御情報を生成して対象装置２０へと送信する機能を有する。また、操作装置内コントローラ６３は、符号化された被写体画像および距離画像を対象装置２０から受信して復号する機能、および、復号した被写体画像および距離画像に基づき、遅延を補償した被写体画像を生成して表示装置６２に表示させる機能を有する。
【００２８】
操作装置内コントローラ６３は、一例として、通常のコンピュータと同様のハードウェア構成を備え、予めインストールされたプログラムを実行することにより上述の一部または全部の機能を実現してもよい。この場合、操作装置内コントローラ６３は、一例として、プロセッサ７１と、メインメモリ７２と、記憶装置７３と、デバイスＩ／Ｆ７４と、表示用Ｉ／Ｆ７５と、通信用Ｉ／Ｆ７６とを有する。
【００２９】
プロセッサ７１は、ＣＰＵ等であって、プログラムに従ってデータ処理および制御処理を実行する。メインメモリ７２は、ＲＡＭ等であって、プロセッサ７１の作業領域として機能する。記憶装置７３は、ＲＯＭおよびＨＤＤ等の不揮発性のデータ記憶装置であって、プロセッサ７１により実行されるプログラムを予め記憶する。デバイスＩ／Ｆ７４は、入力装置６１から入力された情報を取得するためのインターフェースである。通信用Ｉ／Ｆ７６は、ネットワーク１２を介して対象装置２０との間で情報のやり取りをするためのインターフェースである。
【００３０】
図３は、本実施形態に係る遠隔操作システム１０を示す図である。対象装置２０および操作装置３０は、図３に示す構成を有する。遠隔操作システム１０は、撮像した被写体画像に対して画像処理をして表示させる。
【００３１】
具体的には、対象装置２０は、第１受信部８３と、動体制御部８４と、画像取得部８５と、距離取得部８６と、符号化部８７と、第２送信部８８とを有する。操作装置３０は、入力部８１と、第１送信部８２と、第２受信部８９と、復号部９０と、遅延取得部９１と、予測部９２と、画像生成部９３と、表示部９４とを有する。
【００３２】
入力部８１は、動体４１を移動させるための制御情報をオペレータから入力する。第１送信部８２は、入力部８１により入力された制御情報をネットワーク１２を介して対象装置２０へと送信する。第１受信部８３は、操作装置３０からネットワーク１２を介して制御情報を受信する。動体制御部８４は、第１受信部８３が受信した制御情報に応じて動体４１を移動させる。これにより、遠隔操作システム１０は、オペレータによる操作に応じて対象装置２０の動体４１を移動させることができる。
【００３３】
画像取得部８５は、動体４１に設けられた撮像装置４３により撮像された被写体画像を取得する。距離取得部８６は、基準位置から撮像装置４３の被写体までの距離を表す距離画像を取得する。本例においては、距離取得部８６は、距離画像取得装置４４により検出された距離画像を取得する。
【００３４】
符号化部８７は、画像取得部８５が取得した被写体画像および距離取得部８６が取得した距離画像を、予め定められた方式で符号化する。符号化部８７は、一例として、ＪＰＥＧ（Joint  Photographic  Experts  Group）、ＭＰＥＧ（Moving  Picture  Experts  Group）−２、Ｈ．２６４／ＡＶＣまたはＨ．２６５／ＨＥＶＣ等の方式で画像を符号化する。第２送信部８８は、符号化部８７により符号化された被写体画像および距離画像を、ネットワーク１２を介して操作装置３０へと送信する。
【００３５】
第２受信部８９は、対象装置２０から送信された符号化された被写体画像および距離画像を受信する。復号部９０は、第２受信部８９が受信した符号化された被写体画像および距離画像を、符号化時に用いられた方式で復号する。復号部９０は、一例として、ＪＰＥＧ、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣまたはＨ．２６５／ＨＥＶＣ等の方式で画像を復号する。
【００３６】
なお、対象装置２０および操作装置３０は、符号化部８７および復号部９０を備えない構成であってもよい。すなわち、第２送信部８８および第２受信部８９は、符号化しない被写体画像および距離画像を送信および受信してもよい。
【００３７】
遅延取得部９１は、被写体画像を撮像した第１時点から、第１時点と異なる第２時点までの遅延時間を取得する。遅延取得部９１は、一例として、撮像装置４３により被写体画像が撮像された第１時点から、その被写体画像が表示される第２時点までの遅延時間を取得する。すなわち、この場合、遅延取得部９１は、被写体画像が撮像されてから表示されるまでの、画像取得処理、符号化処理、送信処理、受信処理、復号処理および画像表示処理等による遅延を含む遅延時間を取得する。なお、第２時点は、被写体画像が表示される時点のみならず、表示時点より前または後の時点であってもよい。
【００３８】
遅延取得部９１は、予め測定された値をメモリから読み出すことにより、遅延時間を取得してもよい。また、遅延取得部９１は、遠隔操作システム１０の動作開始時または動作中に定期的に第２送信部８８と第２受信部８９との間のラウンドトリップディレイタイム等を測定し、その測定結果に基づき遅延時間を算出してもよい。測定をすることにより、遅延取得部９１は、ネットワーク１２の通信状況に応じた精度の良い遅延時間を取得することができる。
【００３９】
また、遅延取得部９１は、被写体画像を撮像した時刻を示すタイムスタンプに基づき遅延時間を算出してもよい。この場合、画像取得部８５は、被写体画像とともに、撮像装置４３が被写体画像を撮像した時刻を示すタイムスタンプを取得する。第２送信部８８は、画像取得部８５からタイムスタンプを取得して、符号化した被写体画像および距離画像とともにタイムスタンプを操作装置３０へと送信する。第２受信部８９は、符号化した被写体画像および距離画像とともにタイムスタンプを受信する。遅延取得部９１は、操作装置３０により管理されている時刻と、タイムスタンプにより示されている時刻との差を検出する。そして、遅延取得部９１は、検出した差に基づき、遅延時間を算出する。これにより、遅延取得部９１は、被写体画像毎に遅延時間が変化する場合であっても、精度良く遅延時間を取得することができる。
【００４０】
予測部９２は、動体４１の移動情報および遅延取得部９１により取得された遅延時間に基づき、被写体画像を撮像した第１時点における撮像装置４３の撮像視点と、第２時点（例えば、被写体画像を表示する時点）における撮像装置４３の撮像視点との間の視点のずれを予測する。
【００４１】
動体４１が移動を続けている場合、撮像装置４３の撮像視点は変化し続けている。従って、遅延時間が存在する場合、被写体画像が表示される時点（例えば第２時点）においては、撮像装置４３の撮像視点は、被写体画像を撮像した時点（第１時点）の撮像視点からずれてしまっている。予測部９２は、このような視点のずれを、動体４１の移動情報および遅延時間に基づき予測する。
【００４２】
ここで、視点のずれは、撮像装置４３の第１時点における撮像位置と第２時点における撮像位置との３次元の位置の差、および、撮像装置４３の第１時点における撮像方向と第２時点における撮像方向との３次元の角度の差の少なくとも一方である。例えば、動体４１が直線移動をするが回転移動をしないような場合には、視点のずれは、撮像位置の３次元の並行移動量（３次元座標上の並進量）により表される。また、動体４１が回転移動をするが直線移動をしないような場合には、視点のずれは、撮像方向の３次元の回転量（３次元座標上の回転量）により表される。また、動体４１が空間を複雑に移動する場合には、視点のずれは、撮像位置の３次元の並行移動量および撮像方向の３次元の回転量の両者により表される。
【００４３】
予測部９２は、一例として、動体４１の移動情報として、入力部８１が取得した制御情報を取得する。また、予測部９２は、予め設定されたプログラムに従って制御情報が生成される場合には、そのプログラムに基づき移動情報を生成してもよい。また、予測部９２は、外部から、動体４１の動きを表す画像情報またはセンサ情報等を移動情報として取得してもよい。
【００４４】
予測部９２は、一例として、次のように視点のずれを算出する。まず、予測部９２は、取得した移動情報に基づき、被写体画像を撮像した第１時点における撮像視点（撮像位置および撮像方向）と、第１時点から遅延取得部９１により取得された遅延時間だけ遅れた第２時点における撮像視点（撮像位置および撮像方向）との差（撮像位置の差、および、撮像方向の差）を予測する。そして、予測部９２は、撮像視点の差から、視点のずれを算出する。
【００４５】
画像生成部９３は、復号部９０により復号された被写体画像および距離画像、並びに、予測部９２により予測された視点のずれに基づき、第２時点において撮像装置４３により撮像されると予測される被写体画像を生成する。
【００４６】
画像生成部９３は、被写体画像データ（２次元座標に画素値が割り当てられた画像データ）と、距離画像データ（２次元座標に距離が割り当てられたデータ）とを予め定められたパラメータで合成して、３次元画像データ（３次元空間座標に画素値が割り当てられた画像データ）に変換する。例えば、画像生成部９３は、下記の式（１）に示す演算式で３次元画像データを生成する。
【００４７】
【数１】
2015100075.tif 000003
【００４８】
（ｘ，ｙ，１）は、被写体画像における座標（ｘ，ｙ）を表す。また、ｚは、座標（ｘ，ｙ）の基準位置から被写体までの距離を表す。また、Ａは、３次元空間座標の画素値を２次元座標の画素値に透視投影変換するためのパラメータを表す。Ａ−１は、Ａの逆変換をするためのパラメータを表す。（Ｘ，Ｙ，Ｚ）は３次元空間における座標を表す。被写体画像における座標（ｘ，ｙ）の画素の値を３次元空間座標（Ｘ，Ｙ，Ｚ）に割り当てることにより、３次元画像データが生成される。
【００４９】
続いて、画像生成部９３は、変換後の３次元画像データに対して、第１時点の撮像視点と第２時点の撮像視点との間の視点のずれ（撮像位置の差および撮像方向の差の少なくとも一方）に応じた視点変換処理をする。すなわち、画像生成部９３は、第１時点の撮像視点から被写体を見た３次元画像データを、第２時点の撮像視点から被写体を見た３次元画像データに変換する。続いて、画像生成部９３は、視点変換後の３次元画像データを、予め定められたパラメータに基づき、２次元画像データと距離画像データとに分解する。
【００５０】
例えば、画像生成部９３は、下記の式（２）に示す演算式で、視点変換処理および分解処理をする。
【００５１】
【数２】
2015100075.tif 000004
【００５２】
Ｒおよびｔは、第１時点の撮像視点と第２時点の撮像視点との間の視点のずれを表すパラメータである。Ｒは、撮像視点の方向の差（３次元座標上の回転量）を表す。また、ｔは、撮像視点の位置の差（３次元座標上の並進量）を表す。また、（ｘ´，ｙ´，１）は、視点変換後の被写体画像における座標（ｘ´，ｙ´）を表す。３次元空間座標（Ｘ，Ｙ，Ｚ）における画素の値を被写体画像における座標（ｘ´，ｙ´）に割り当てることにより、被写体画像が生成される。
【００５３】
そして、画像生成部９３は、このように生成した２次元画像を、第２時点において撮像装置４３により撮像されると予測される被写体画像として出力する。
【００５４】
このように画像生成部９３は、距離画像を用いることにより、３次元空間座標上で視点変換処理をすることができる。従って、画像生成部９３は、２次元画像のシフトおよび拡大縮小により視点変換する場合よりも、精度良く視点変換をすることができる。なお、画像生成部９３は、このような透視投影変換に基づく処理に限らず、他の方法で視点のずれを変換する処理を実行してもよい。
【００５５】
また、画像生成部９３は、撮像視点の変換処理に加えて、内挿補間、ノイズ除去およびアップサンプリング等の各種の処理を行ってもよい。また、画像生成部９３は、動体４１が移動しておらず、撮像視点のずれが無い場合には視点変換処理を行わなくてもよい。
【００５６】
表示部９４は、画像生成部９３により生成された、第２時点において撮像装置４３により撮像されると予測される被写体画像をオペレータに表示する。
【００５７】
図４は、本実施形態に係る遠隔操作システム１０の処理の流れを示すフロー図である。
【００５８】
まず、ステップＳ１１において、操作装置３０は、制御情報を入力する。続いて、ステップＳ１２において、操作装置３０は、入力した制御情報を対象装置２０にネットワーク１２を介して送信する。
【００５９】
続いて、対象装置２０は、操作装置３０から制御情報を受信する（ステップＳ１２）。続いて、ステップＳ１３において、対象装置２０は、受信した制御情報に応じて動体４１を移動させる。そして、以後、対象装置２０および操作装置３０は、制御情報が入力される毎に、ステップＳ１１からステップＳ１３の処理を繰り返して実行する。これにより、遠隔操作システム１０は、制御情報が入力されたことに応じて動体４１を移動させることができる。
【００６０】
一方、ステップＳ１４において、対象装置２０は、被写体画像を取得する。これとともに、対象装置２０は、距離画像を取得する。
【００６１】
続いて、ステップＳ１５において、対象装置２０は、被写体画像および距離画像を符号化する。続いて、ステップＳ１６において、対象装置２０は、符号化した被写体画像および距離画像を、操作装置３０にネットワーク１２を介して送信する。
【００６２】
続いて、操作装置３０は、対象装置２０から、符号化された被写体画像および距離画像をネットワーク１２を介して受信する（ステップＳ１６）。続いて、ステップＳ１７において、符号化された被写体画像および距離画像を復号して、被写体画像および距離画像を取得する。
【００６３】
続いて、ステップＳ１８において、操作装置３０は、被写体画像が撮像されてから表示されるまでの遅延時間を取得する。続いて、ステップＳ１９において、操作装置３０は、動体４１の移動情報および取得した遅延時間に基づき、被写体画像を撮像した第１時点における撮像装置４３の撮像視点と、被写体画像を表示する第２時点における撮像装置４３の撮像視点との間における視点のずれを予測する。
【００６４】
続いて、ステップＳ２０において、操作装置３０は、復号した被写体画像および距離画像、並びに、予測した視点のずれに基づき、第２時点において撮像装置４３により撮像されると予測される被写体画像を生成する。続いて、ステップＳ２１において、操作装置３０は、第２時点において撮像装置４３により撮像されると予測される被写体画像を表示する。そして、以後、対象装置２０および操作装置３０は、伝送周期毎に、ステップＳ１４からステップＳ２１の処理を繰り返して実行する。
【００６５】
以上のように、遠隔操作システム１０は、被写体画像を撮像してから表示されるまでの間に遅延時間が存在する場合であっても、被写体画像の表示時において動体４１から撮像される被写体画像を予測して、表示する。これにより、遠隔操作システム１０によれば、撮像してから表示されるまでの間の遅延時間を補償した被写体画像をオペレータに提供することができる。従って、遠隔操作システム１０によれば、オペレータの操作性を向上させることができる。
【００６６】
特に、遠隔操作システム１０は、距離画像を用いることにより３次元空間で視点変換処理をして予測画像を生成する。従って、遠隔操作システム１０によれば、動体４１から撮像される画像との乖離の小さい予測画像を表示することができる。例えば動体４１が複雑な動きをする場合であっても、動きを補償した予測画像を表示することができる。
【００６７】
なお、遅延取得部９１は、オペレータにより制御情報が入力されてから動体４１が移動するまでの遅延を含む遅延時間を取得してもよい。すなわち、遅延取得部９１は、被写体画像が撮像されてから表示されるまでの時間に、制御情報が入力されてから動体４１が移動するまでの時間を加えた時間を、遅延時間としてもよい。これにより、遠隔操作システム１０は、操作入力から動体４１の移動までの遅延を補償した被写体画像をオペレータに提供し、操作性をより向上させることができる。
【００６８】
（第１変形例）
図５は、第１変形例に係る遠隔操作システム１０を示す図である。
【００６９】
第１変形例に係る画像取得部８５は、視差を有する２以上の被写体画像（視差画像）を取得する。例えば、画像取得部８５は、ステレオカメラのような複数の撮像装置４３から視差画像を取得する。また、画像取得部８５は、単一の撮像素子に２以上の像を形成させるレンズアレイを含む撮像装置４３から、視差画像を取得してもよい。
【００７０】
第１変形例に係る距離取得部８６は、画像取得部８５により取得された視差画像から距離画像を取得する。距離取得部８６は、一例として、視差画像からブロックマッチング等により画像内の各位置の視差量を算出して、距離画像を生成する。なお、第１変形例においては、対象装置２０は、動体４１に設けられる距離画像取得装置４４を備えなくてよい。
【００７１】
符号化部８７は、視差画像、および、距離画像を符号化する。符号化部８７は、視差画像を構成する２以上の被写体画像のそれぞれを別個に符号化してもよいし、視差画像を符号化する符号化方法（例えば、Ｈ．２６４／ＭＶＣ）により符号化してもよい。
【００７２】
復号部９０は、符号化された視差画像および距離画像を復号する。画像生成部９３は、視差画像に対して視点変換処理を実行する。そして、表示部９４は、視線変換処理がされた視差画像を表示する。
【００７３】
このような第１変形例に係る遠隔操作システム１０によれば、被写体画像を撮像してから表示されるまでの間の遅延時間を補償した被写体画像をオペレータに提供することができる。さらに、第１変形例に係る遠隔操作システム１０によれば、被写体画像から距離画像を生成することができるので、距離画像取得装置４４を備えなくてよく、構成を簡易にすることができる。
【００７４】
なお、第１変形例において、距離取得部８６は、対象装置２０に代えて、操作装置３０に備えられてもよい。この場合、距離取得部８６は、復号部９０により復号された視差画像から、距離画像を生成する。視差画像から距離画像を生成する処理は、演算量が多くなる可能性がある。従って、距離取得部８６を操作装置３０に備えさせることにより、対象装置２０の計算リソースを少なくして、対象装置２０の構成を簡易にすることができる。
【００７５】
（第２変形例）
図６は、第２変形例に係る遠隔操作システム１０を示す図である。
第２変形例に係る対象装置２０は、記憶部１０１をさらに有する。記憶部１０１は、画像取得部８５により取得された被写体画像を所定時間記憶する。記憶部１０１は、一例として、画像取得部８５が予め定められた枚数の被写体画像を出力する間、被写体画像を記憶する。
【００７６】
第２変形例に係る距離取得部８６は、異なるタイミングで撮像された２以上の被写体画像の運動視差に基づき、距離画像を生成する。具体的には、距離取得部８６は、異なるタイミングで撮像された２以上の被写体画像（例えば記憶部１０１が直近に記憶した連続した２以上の被写体画像）を記憶部１０１から読み出す。距離取得部８６は、読み出した２以上の被写体画像が撮像されている間における、動体４１の移動情報を取得する。例えば、距離取得部８６は、読み出した２以上の被写体画像が撮像されている間における動体４１の移動を指示する制御情報を、第１受信部８３から取得する。
【００７７】
距離取得部８６は、動体４１の移動情報から、異なるタイミングで撮像した２以上の被写体画像のそれぞれを撮像した時点における、撮像視点間の距離を算出する。そして、距離取得部８６は、異なるタイミングで撮像した２以上の被写体画像と、撮像視点間の距離とから、距離画像を算出する。距離取得部８６は、一例として、ブロックマッチング等により画像内の各位置の視差量を算出して、距離画像を生成する。なお、第２変形例においては、対象装置２０は、動体４１に設けられる距離画像取得装置４４を備えなくてよい。
【００７８】
このような第２変形例に係る遠隔操作システム１０によれば、被写体画像を撮像してから表示されるまでの間の遅延時間を補償した被写体画像をオペレータに提供することができる。さらに、第２変形例に係る遠隔操作システム１０によれば、被写体画像から距離画像を生成することができるので、距離画像取得装置４４を備えなくてよく、構成を簡易にすることができる。
【００７９】
なお、第２変形例において、記憶部１０１および距離取得部８６は、対象装置２０に代えて、操作装置３０に備えられてもよい。この場合、記憶部１０１は、復号部９０により復号された２以上の被写体画像を記憶する。視差画像から距離画像を生成する処理は、演算量が多くなる可能性がある。従って、距離取得部８６を操作装置３０に備えさせることにより、対象装置２０の計算リソースを少なくして、対象装置２０の構成を簡易にすることができる。
【００８０】
（第３変形例）
図７は、第３変形例に係る遠隔操作システム１０を示す図である。
【００８１】
第３変形例に係る対象装置２０は、第３送信部１０２をさらに有する。また、第３変形例に係る操作装置３０は、第３受信部１０３をさらに有する。
【００８２】
第３送信部１０２は、動体制御部８４から動体４１の移動情報を取得し、ネットワーク１２を介して操作装置３０に送信する。例えば、動体制御部８４は、予め対象装置２０に登録されたプログラムに従って動体４１を自動で移動させる場合もある。また、一般に、様々な外的要因（例えば風、水流、または動体上の積載物の重量等）により、制御情報から期待される動体４１の動作と、実際の動作とが異なる場合があることから、動体制御部８４は、動体４１の位置をセンサ等で検出して正確に移動制御している場合もある。このような場合には、動体制御部８４は、正確な移動情報を出力することができる。
【００８３】
第３受信部１０３は、対象装置２０からネットワーク１２を介して動体４１の移動情報を取得する。そして、本変形例において、予測部９２は、第３受信部１０３が受信した移動情報に基づき、被写体画像を撮像した第１時点における撮像装置４３の撮像視点と、第２時点における撮像装置４３の撮像視点との間の視点のずれを予測する。また、予測部９２は、第３受信部１０３が受信した移動情報と入力部８１が入力した制御情報とに基づき、視点のずれを予測してもよい。
【００８４】
このような第３変形例に係る遠隔操作システム１０は、オペレータにより入力された制御情報に代えてまたは入力された制御情報に加えて、動体制御部８４から出力された移動情報を用いて撮像視点のずれを予測する。これにより、遠隔操作システム１０によれば、より精度の良い予測画像を表示することができる。
【００８５】
（第４変形例）
図８は、第４変形例に係る遠隔操作システム１０における、画像の伝送周期および表示周期の一例を示す図である。
【００８６】
撮像装置４３、距離画像取得装置４４、画像取得部８５、距離取得部８６または符号化部８７の性能による影響、または、第２送信部８８から第２受信部８９までの経路の影響（例えばネットワーク１２の帯域の影響）により、第２送信部８８および第２受信部８９は、図８に示すように、画像の表示周期よりも遅い伝送周期で被写体画像および距離画像を伝送する場合がある。
【００８７】
この場合、画像生成部９３は、画像の周期をアップコンバートするために、画像が伝送されてこなかった表示タイミングの被写体画像を、直前に受信された被写体画像および距離画像に基づき生成する。また、このとき、遅延取得部９１は、表示タイミング毎に異なる遅延時間を取得する。すなわち、遅延取得部９１は、直前に受信した被写体画像の遅延時間に、その直前に受信した被写体画像から表示タイミングまでの遅延（例えば、図８のΔｔ１、Δｔ２）を加算した時間を出力する。そして、予測部９２は、表示タイミング毎に、遅延取得部９１により取得された遅延時間に基づき視点のずれを算出する。
【００８８】
これにより、画像生成部９３は、表示タイミング毎に異なる予測画像を生成することができる。従って、第４変形例に係る遠隔操作システム１０によれば、画像の表示周期よりも伝送周期が遅い場合であっても、滑らかに撮像視点の移動がされる予測画像を表示することができる。
【００８９】
また、画像生成部９３は、例えば伝送エラーにより一部分の被写体画像または距離画像を取得できない場合に、取得できなかった表示タイミングの被写体画像を同様の方法で生成してもよい。あるいは、被写体画像内のエラーが発生した一部分のみを同様の方法で生成してもよい。これにより、第４変形例に係る遠隔操作システム１０によれば、伝送エラー等により一部の画像が取得できなかった場合にも、取得できなかった画像を予測して表示することができる。
【００９０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９１】
１０  遠隔操作システム
１２  ネットワーク
２０  対象装置
３０  操作装置
４１  動体
４２  駆動部
４３  撮像装置
４４  距離画像取得装置
４５  対象装置内コントローラ
５１  プロセッサ
５２  メインメモリ
５３  記憶装置
５４  デバイスＩ／Ｆ
５５  通信用Ｉ／Ｆ
６１  入力装置
６２  表示装置
６３  操作装置内コントローラ
７１  プロセッサ
７２  メインメモリ
７３  記憶装置
７４  デバイスＩ／Ｆ
７５  表示用Ｉ／Ｆ
７６  通信用Ｉ／Ｆ
８１  入力部
８２  第１送信部
８３  第１受信部
８４  動体制御部
８５  画像取得部
８６  距離取得部
８７  符号化部
８８  第２送信部
８９  第２受信部
９０  復号部
９１  遅延取得部
９２  予測部
９３  画像生成部
９４  表示部
１０１  記憶部
１０２  第３送信部
１０３  第３受信部
【図１】
2015100075.tif 000005
【図２】
2015100075.tif 000006
【図３】
2015100075.tif 000007
【図４】
2015100075.tif 000008
【図５】
2015100075.tif 000009
【図６】
2015100075.tif 000010
【図７】
2015100075.tif 000011
【図８】
2015100075.tif 000012