(57)【要約】      （修正有）【課題】無人運転設備が置かれた環境のＶＲシーンをユーザに提供して、ユーザのシーンへの没入感及び実際の環境に対する感知を効果的に向上させ、正確な遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性を確保することを可能にする運転支援方法、設備、無人運転設備を提供する。【解決手段】無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信し（１０１）、次に、前記シーン情報に対し処理を行って、ＶＲシーンを生成し（１０２）、さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるように構成される（１０３）。【選択図】図２
2020042780.tif 000002
【特許請求の範囲】
【請求項１】
運転支援方法であって、
無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信することと、
前記シーン情報に対し処理を行って、ＶＲシーンを生成することと、
ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられることと、を含むことを特徴とする運転支援方法。
【請求項２】
前記シーン情報には無人運転設備のその時点の環境における複数の環境角度の画像情報が含まれており、ただし、前記複数の環境角度の画像情報は前記無人運転設備が同一時刻に収集して取得したものであり、
対応するように、前記シーン情報に対し処理を行って、ＶＲシーンを生成することは、
画像情報のそれぞれに対応する環境角度に基づき、合成してその時点の環境の環境画像情報を取得することと、
前記環境画像情報に対しビジュアル画像処理を行って、左目環境画像情報及び右目環境画像情報を含むＶＲシーンを取得することとを含むことを特徴とする請求項１に記載の運転支援方法。
【請求項３】
前記シーン情報は無人運転設備のその時点の環境における複数の環境角度の映像情報を含み、
対応するように、前記シーン情報に対し処理を行って、ＶＲシーンを生成することは、
複数の環境角度の映像情報に対しフレーミング処理を行って、同一フレームに対応する複数の環境角度の画像データを取得することと、
フレームごとの複数の環境角度の画像データに対しビジュアル画像処理を行って、フレームごとの左目環境画像データ及び右目環境画像データを取得することと、
フレームごとの左目環境画像データ及び右目環境画像データに基づき、ＶＲシーンを取得することとを含むことを特徴とする請求項１に記載の運転支援方法。
【請求項４】
ユーザに前記ＶＲシーンを表示した後に、
ユーザがトリガした遠隔運転支援操作を受信することと、
前記無人運転設備が操作コマンドに基づき運転操作を実行できるように、前記遠隔運転支援操作に基づき対応する前記操作コマンドを生成するとともに、前記無人運転設備に送信することとをさらに含むことを特徴とする請求項１に記載の運転支援方法。
【請求項５】
無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記運転支援方法は、
前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを受信することと、
ユーザに前記ＶＲシーンを表示すると同時に、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを表示することと、をさらに含むことを特徴とする請求項１に記載の運転支援方法。
【請求項６】
前記無人運転設備が５Ｇ移動通信ネットワークにより送信するシーン情報を受信することを特徴とする請求項１〜請求項５のいずれか１項に記載の運転支援方法。
【請求項７】
運転支援方法であって、
遠隔自動運転機能をトリガする場合、シーン情報を収集することと、
運転支援設備が前記シーン情報に対し処理を行って、ＶＲシーンを生成するとともに、ユーザに前記ＶＲシーンを表示できるように、前記シーン情報を運転支援設備に送信することとを含むことを特徴とする運転支援方法。
【請求項８】
前記シーン情報を運転支援設備に送信した後に、
運転支援設備が返す遠隔運転支援操作コマンドを受信して実行することをさらに含み、ただし前記遠隔運転支援操作コマンドはユーザが前記ＶＲシーンに基づきトリガしたものであることを特徴とする請求項７に記載の運転支援方法。
【請求項９】
運転支援設備であって、
無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信するために用いられる通信ユニットと、
前記シーン情報に対し処理を行って、ＶＲシーンを生成するために用いられるＶＲシーン生成ユニットと、
ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示するために用いられ、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるＶＲシーン対話ユニットとを含むことを特徴とする運転支援設備。
【請求項１０】
前記シーン情報には無人運転設備のその時点の環境における複数の環境角度の画像情報が含まれており、ただし、前記複数の環境角度の画像情報は前記無人運転設備が同一時刻に収集して取得したものであり、
ＶＲシーン生成ユニットは、具体的に、
画像情報のそれぞれに対応する環境角度に基づき、合成してその時点の環境の環境画像情報を取得し、
前記環境画像情報に対しビジュアル画像処理を行って、左目環境画像情報及び右目環境画像情報を含むＶＲシーンを取得するために用いられることを特徴とする請求項９に記載の運転支援設備。
【請求項１１】
前記シーン情報は無人運転設備のその時点の環境における複数の環境角度の映像情報を含み、
ＶＲシーン生成ユニットは、具体的に、
複数の環境角度の映像情報に対しフレーミング処理を行って、同一フレームに対応する複数の環境角度の画像データを取得し、
フレームごとの複数の環境角度の画像データに対しビジュアル画像処理を行って、フレームごとの左目環境画像データ及び右目環境画像データを取得し、
フレームごとの左目環境画像データ及び右目環境画像データに基づき、ＶＲシーンを取得するために用いられることを特徴とする請求項９に記載の運転支援設備。
【請求項１２】
操作コマンド生成ユニットをさらに含み、
前記ＶＲシーン対話ユニットは、ユーザに前記ＶＲシーンを表示した後、ユーザがトリガした遠隔運転支援操作を受信するために用いられ、
前記操作コマンド生成ユニットは前記遠隔運転支援操作に基づき対応する操作コマンドを生成して、前記通信ユニットは前記操作コマンドを前記無人運転設備に送信し、ただし、前記操作コマンドは前記無人運転設備が運転操作を実行するために用いられることを特徴とする請求項９に記載の運転支援設備。
【請求項１３】
前記通信ユニットは、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを受信するためにも用いられ、
前記ＶＲシーン対話ユニットは、ユーザに前記ＶＲシーンを表示すると同時に、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを表示するためにも用いられることを特徴とする請求項９に記載の運転支援設備。
【請求項１４】
前記通信ユニットは具体的に、前記無人運転設備が５Ｇ移動通信ネットワークにより送信するシーン情報を受信するために用いられることを特徴とする請求項９〜請求項１３のいずれか１項に記載の運転支援設備。
【請求項１５】
無人運転設備であって、
遠隔自動運転機能をトリガする場合、シーン情報を収集するために用いられる収集ユニットと、
運転支援設備が前記シーン情報に対し処理を行って、ＶＲシーンを生成するとともに、ユーザに前記ＶＲシーンを表示できるように、前記シーン情報を運転支援設備に送信するために用いられる送受信ユニットとを含むことを特徴とする無人運転設備。
【請求項１６】
実行ユニットをさらに含み、
前記送受信ユニットは、運転支援設備が返す遠隔運転支援操作コマンドを受信するためにも用いられ、ただし前記遠隔運転支援操作コマンドはユーザが前記ＶＲシーンに基づきトリガしたものであり、
前記実行ユニットは、前記遠隔運転支援操作コマンドを実行するために用いられることを特徴とする請求項１５に記載の無人運転設備。
【請求項１７】
表示機器と、メモリと、前記メモリに接続されるプロセッサと、及び前記メモリに記憶されて前記プロセッサにおいて実行可能なコンピュータプログラムとを含む運転支援設備であって、
前記プロセッサは前記コンピュータプログラムを実行する時、請求項１〜６のいずれか１項に記載の運転支援方法を実行し、
前記表示機器は前記メモリ及び前記プロセッサに接続され、ＶＲ技術を利用してユーザにＶＲシーンを表示することを特徴とする運転支援設備。
【請求項１８】
メモリと、前記メモリに接続されるプロセッサと、前記メモリに記憶されて前記プロセッサにおいて実行可能なコンピュータプログラムとを含む無人運転設備であって、
前記プロセッサは前記コンピュータプログラムを実行する時、請求項７又は８に記載の運転支援方法を実行することを特徴とする無人運転設備。
【請求項１９】
読み取り可能な記憶媒体であって、端末において実行させられる時、前記端末に請求項１〜６のいずれか１項に記載の運転支援方法を実行させるためのプログラムを含むことを特徴とする読み取り可能な記憶媒体。
【請求項２０】
読み取り可能な記憶媒体であって、端末において実行させられる時、前記端末に請求項７又は８に記載の運転支援方法を実行させるためのプログラムを含むことを特徴とする読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動運転技術に関し、より詳しくは、運転支援方法、設備、無人運転設備及び読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
科学技術の発展と社会の進歩に伴い、自動運転技術は交通分野において発展の方向性となっている。無人運転設備が自動運転タスクを実行する過程で、複雑な地形又は複雑な道路状況に遭遇する場合、自動運転タスクの実行を継続できないという問題が生じやすい。この時、無人運転設備は自動運転の遠隔支援機能をトリガする。
【０００３】
自動運転を遠隔支援する過程で、ユーザは、遠隔設置されている自動運転支援設備を通じて、無人車に対し自動運転の遠隔支援を行うことができる。従来技術において、当該自動運転支援設備はフラットパネルディスプレイによりユーザに無人運転設備が置かれたシーンを表示している。しかしながら、平面的な映像と画像だけでは、ユーザは無人運転設備と周辺障害物との間の距離を感知することが難しく、またシーンへの没入感がなく実際の環境を感知できないため、ユーザは誤った遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性が損なわれることが生じやすい。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
自動運転を遠隔支援する過程で、ユーザが無人運転設備と周辺障害物との間の距離を取得するには平面的な映像と画像しか利用できず、シーンへの没入感がなく実際の環境を感知できないため、誤った遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性が損なわれることが生じやすいという上記従来の技術的課題に対し、本発明は運転支援方法、設備、無人運転設備及び読み取り可能な記憶媒体を提供する。
【課題を解決するための手段】
【０００５】
本発明の一つの態様として、運転支援方法を提供し、当該方法は、
無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信することと、
前記シーン情報に対し処理を行って、ＶＲシーンを生成することと、
ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられることと、を含む。
【０００６】
一つの選択可能な実施形態において、前記シーン情報には無人運転設備のその時点の環境における複数の環境角度の画像情報が含まれており、ただし、前記複数の環境角度の画像情報は前記無人運転設備が同一時刻に収集して取得したものであり、
対応するように、前記シーン情報に対し処理を行って、ＶＲシーンを生成することは、
画像情報のそれぞれに対応する環境角度に基づき、合成してその時点の環境の環境画像情報を取得することと、
前記環境画像情報に対しビジュアル画像処理を行って、左目環境画像情報及び右目環境画像情報を含むＶＲシーンを取得することと、を含む。
【０００７】
一つの選択可能な実施形態において、前記シーン情報は無人運転設備のその時点の環境における複数の環境角度の映像情報を含み、
対応するように、前記シーン情報に対し処理を行って、ＶＲシーンを生成することは、
複数の環境角度の映像情報に対しフレーミング処理を行って、同一フレームに対応する複数の環境角度の画像データを取得することと、
フレームごとの複数の環境角度の画像データに対しビジュアル画像処理を行って、フレームごとの左目環境画像データ及び右目環境画像データを取得することと、
フレームごとの左目環境画像データ及び右目環境画像データに基づき、ＶＲシーンを取得することと、を含む。
【０００８】
一つの選択可能な実施形態において、前記ユーザに前記ＶＲシーンを表示した後に、
ユーザがトリガした遠隔運転支援操作を受信することと、
前記無人運転設備が操作コマンドに基づき運転操作を実行できるように、前記遠隔運転支援操作に基づき対応する前記操作コマンドを生成するとともに、前記無人運転設備に送信することとをさらに含む。
【０００９】
一つの選択可能な実施形態において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記運転支援方法は、
前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを受信することと、
ユーザに前記ＶＲシーンを表示すると同時に、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを表示することとをさらに含む。
【００１０】
一つの選択可能な実施形態において、前記無人運転設備が５Ｇ移動通信ネットワークにより送信するシーン情報を受信する。
【００１１】
本発明のもう一つの態様として、運転支援方法を提供し、当該方法は、
遠隔自動運転機能をトリガする場合、シーン情報を収集することと、
運転支援設備が前記シーン情報に対し処理を行って、ＶＲシーンを生成するとともに、ユーザに前記ＶＲシーンを表示できるように、前記シーン情報を運転支援設備に送信することと、を含む。
【００１２】
一つの選択可能な実施形態において、前記シーン情報を運転支援設備に送信した後に、
運転支援設備が返す遠隔運転支援操作コマンドを受信して実行することをさらに含み、ただし前記遠隔運転支援操作コマンドはユーザが前記ＶＲシーンに基づきトリガしたものである。
【００１３】
本発明のもう一つの態様として、運転支援設備をさらに提供し、当該設備は、
無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信するために用いられる通信ユニットと、
前記シーン情報に対し処理を行って、ＶＲシーンを生成するために用いられるＶＲシーン生成ユニットと、
ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示するために用いられ、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるＶＲシーン対話ユニットと、を含む。
【００１４】
一つの選択可能な実施形態において、前記シーン情報には無人運転設備のその時点の環境における複数の環境角度の画像情報が含まれており、ただし、前記複数の環境角度の画像情報は前記無人運転設備が同一時刻に収集して取得したものであり、
ＶＲシーン生成ユニットは、具体的に、
画像情報のそれぞれに対応する環境角度に基づき、合成してその時点の環境の環境画像情報を取得し、
前記環境画像情報に対しビジュアル画像処理を行って、左目環境画像情報及び右目環境画像情報を含むＶＲシーンを取得するために用いられる。
【００１５】
一つの選択可能な実施形態において、前記シーン情報は無人運転設備のその時点の環境における複数の環境角度の映像情報を含み、
ＶＲシーン生成ユニットは、具体的に、
複数の環境角度の映像情報に対しフレーミング処理を行って、同一フレームに対応する複数の環境角度の画像データを取得し、
フレームごとの複数の環境角度の画像データに対しビジュアル画像処理を行って、フレームごとの左目環境画像データ及び右目環境画像データを取得し、
フレームごとの左目環境画像データ及び右目環境画像データに基づき、ＶＲシーンを取得するために用いられる。
【００１６】
一つの選択可能な実施形態において、操作コマンド生成ユニットをさらに含み、
前記ＶＲシーン対話ユニットは、ユーザに前記ＶＲシーンを表示した後、ユーザがトリガした遠隔運転支援操作を受信するために用いられ、
前記操作コマンド生成ユニットは前記遠隔運転支援操作に基づき対応する操作コマンドを生成して、前記通信ユニットは前記操作コマンドを前記無人運転設備に送信し、ただし、前記操作コマンドは前記無人運転設備が運転操作を実行するために用いられる。
【００１７】
一つの選択可能な実施形態において、前記通信ユニットは、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを受信するためにも用いられ、
前記ＶＲシーン対話ユニットは、ユーザに前記ＶＲシーンを表示すると同時に、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを表示するためにも用いられる。
【００１８】
一つの選択可能な実施形態において、前記通信ユニットは具体的に、前記無人運転設備が５Ｇ移動通信ネットワークにより送信するシーン情報を受信するために用いられる。
【００１９】
本発明のさらにもう一つの態様として、無人運転設備を提供し、当該設備は、
遠隔自動運転機能をトリガする場合、シーン情報を収集するために用いられる収集ユニットと、
運転支援設備が前記シーン情報に対し処理を行って、ＶＲシーンを生成するとともに、ユーザに前記ＶＲシーンを表示できるように、前記シーン情報を運転支援設備に送信するために用いられる送受信ユニットと、を含む。
【００２０】
一つの選択可能な実施形態において、実行ユニットをさらに含み、
前記送受信ユニットは、運転支援設備が返す遠隔運転支援操作コマンドを受信するためにも用いられ、ただし前記遠隔運転支援操作コマンドはユーザが前記ＶＲシーンに基づきトリガしたものであり、
前記実行ユニットは、前記遠隔運転支援操作コマンドを実行するために用いられる。
【００２１】
本発明のさらにもう一つの態様として、表示機器と、メモリと、前記メモリに接続されるプロセッサと、前記メモリに記憶されて前記プロセッサにおいて実行可能なコンピュータプログラムとを含む運転支援設備を提供し、当該設備において、
前記プロセッサは前記コンピュータプログラムを実行させる時、上記いずれか一つの態様に記載の方法を実行し、
前記表示機器は前記メモリ及び前記プロセッサに接続され、ＶＲ技術を利用してユーザにＶＲシーンを表示することを特徴とする。
【００２２】
本発明のさらにもう一つの態様として、メモリと、前記メモリに接続されるプロセッサと、前記メモリに記憶されて前記プロセッサにおいて実行可能なコンピュータプログラムとを含む無人運転設備を提供し、当該設備において、
前記プロセッサは前記コンピュータプログラムを実行させる時、上記方法を実行することを特徴とする。
【００２３】
本発明のさらにもう一つの態様として、読み取り可能な記憶媒体を提供し、当該媒体は、端末において実行させられる時、当該端末に上記方法を実行させるためのプログラムを含むことを特徴とする。
【００２４】
本発明の最後の一つの態様として、読み取り可能な記憶媒体を提供し、当該媒体は、端末において実行させられる時、当該端末に上記いずれか一つの態様に記載の方法を実行させるためのプログラムを含む。
【発明の効果】
【００２５】
本発明に係る運転支援方法、設備、無人運転設備及び読み取り可能な記憶媒体は、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信し、次に、前記シーン情報に対し処理を行って、ＶＲシーンを生成し、さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるように構成される。これにより、無人運転設備が置かれた環境のＶＲシーンをユーザに提供して、ユーザのシーンへの没入感及び実際の環境に対する感知を効果的に向上させ、正確な遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性を確保することを可能にする。
【図面の簡単な説明】
【００２６】
以下、関連する各図により明確に開示されている本願の実施例を、詳細に説明する。これらの図及び文字による説明は、何らかの形で本願の範囲を限定するためのものではなく、特定の実施例を参照して当業者向け本願の主旨を説明するためのものに過ぎない。
【図１】図１は、本発明が係るネットワークアーキテクチャを概略的に示す図である。
【図２】図２は、本発明の実施例１に係る運転支援方法のプロセスを概略的に示す図である。
【図３】図３は、本発明の実施例２に係る運転支援方法のプロセスを概略的に示す図である。
【図４】図４は、本発明の実施例３に係る運転支援方法のプロセスを概略的に示す図である。
【図５】図５は、本発明の実施例４に係る運転支援方法のプロセスを概略的に示す図である。
【図６】図６は、本発明の実施例５に係る運転支援設備の構造を概略的に示す図である。
【図７】図７は、本発明の実施例６に係る無人運転設備の構造を概略的に示す図である。
【図８】図８は、本発明の実施例７に係る運転支援設備のハードウェア構成を概略的に示す図である。
【図９】図９は、本発明の実施例８に係る無人運転設備のハードウェア構成を概略的に示す図である。
【００２７】
ここに説明されている各図は、本明細書の一部として本明細書に組み込まれ、本願に係る実施例を説明するとともに、本明細書と共に本願の原理を解釈するために用いられる。
【発明を実施するための形態】
【００２８】
本発明の実施例の目的、技術的解決手段及びその利点をより明瞭にするため、以下、本発明の実施例の各図を参照しながら、本発明の実施例に係る技術的解決手段を明瞭且つ完全に説明する。
【００２９】
科学技術の発展と社会の進歩に伴い、自動運転技術は交通分野において発展の方向性となっている。無人運転設備が自動運転タスクを実行する過程で、複雑な地形又は複雑な道路状況に遭遇する場合、自動運転タスクの実行を継続できないという問題が生じやすい。この時、無人運転設備は自動運転の遠隔支援機能をトリガする。
【００３０】
自動運転を遠隔支援する過程で、ユーザは、遠隔設置されている自動運転支援設備を通じて、無人車に対し自動運転の遠隔支援を行うことができる。従来技術において、当該自動運転支援設備はフラットパネルディスプレイによりユーザに無人運転設備が置かれたシーンを表示している。しかしながら、平面的な映像と画像だけでは、ユーザは無人運転設備と周辺障害物との間の距離を感知することが難しく、またシーンへの没入感がなく実際の環境を感知できないため、ユーザは誤った遠隔運転支援コマンドをトリガして、無人運転設備の運転中安全性が損なわれることが生じやすい。
【００３１】
自動運転を遠隔支援する過程で、ユーザが無人運転設備と周辺障害物との間の距離を取得するには平面的な映像と画像しか利用できず、シーンへの没入感がなく実際の環境を感知できないため、誤った遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性が損なわれることが生じやすいという従来の技術的課題に対し、本発明は運転支援方法、設備及び読み取り可能な記憶媒体を提供する。なお、本願に係る運転支援方法、設備及び読み取り可能な記憶媒体は、無人運転設備に対し遠隔運転支援を行うことが必要なシーンに幅広く用いることができ、これらの適用シーンは、無人自動車、無人機等移動型の無人設備が自動運転タスクを実行するシーンや、作業用ロボット、メンテナンス用ロボットが作業現場又はメンテナンス現場で作業タスクを実行するシーン等を含むが、これらに限定されない。
【００３２】
図１は、本発明が係るネットワークアーキテクチャを概略的に示す図であり、図１に示すとおり、本発明が係るネットワークアーキテクチャにおいて、少なくとも無人運転設備１と、運転支援設備２とを含む。ただし、無人運転設備１は、無人自動車、無人機等自動運転タスクを実行可能な移動型の有人又は無人設備を含むが、これらに限定されず、また無人運転設備１は、作業用ロボット、メンテナンス用ロボット、消火用ロボット等作業タスクを実行するために用いられる移動設備をさらに含むが、これらにも限定されない。運転支援設備２は、具体的に、ハードウェア／ソフトウェア構造からなってもよく、そのデータの交換及び処理には、具体的に、サーバクラスタにおけるそれぞれのサーバを利用することができ、そのシーンの表示及び対話は、具体的に、エンティティとしての対話設備及び表示機器を利用することができる。
【００３３】
図２は、本発明の実施例１に係る運転支援方法のプロセスを概略的に示す図である。
【００３４】
図２に示すとおり、当該運転支援方法は、ステップ１０１〜ステップ１０３を含み、
ステップ１０１において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信する。
【００３５】
ステップ１０２において、前記シーン情報に対し処理を行って、ＶＲシーンを生成する。
【００３６】
ステップ１０３において、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられる。
【００３７】
本発明の実施例１は運転支援方法を提供し、その実行主体は運転支援設備である。以下言及されている仮想現実（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ、略称ＶＲ）シーンとは、具体的に、ＶＲ技術を利用して構築されるシーンを指すものであり、当該ＶＲシーンはユーザが視聴できるように、ＶＲ表示機器により表示してもよい。
【００３８】
具体的には、無人運転設備は所定の運転ルート、運転策略又は運転モードに従って自動運転タスクを実行し、複雑な地形又は複雑な道路状況等、自らの力で解决できない問題に遭遇する場合、自動運転の遠隔支援機能をトリガする。ただし、当該無人運転設備が自動運転の遠隔支援機能をトリガするトリガ条件として、従来技術を採用してもよく、本願ではこれについて限定しない。
【００３９】
無人運転設備は自動運転の遠隔支援機能をトリガする場合、運転支援設備に対し自動運転の遠隔支援要求を開始すると同時に、その時点で収集したシーン情報も運転支援設備に送信して、当該運転支援設備はこれを受信して処理する。ただし、無人運転設備が５Ｇ移動通信ネットワークにより送信するシーン情報が受信される。
【００４０】
次に、運転支援設備は受信されるシーン情報に対し処理を行って、対応するＶＲシーンを生成する。さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられる。
【００４１】
すなわち、運転支援設備は無人運転設備が自動運転の遠隔支援機能をトリガした場合、無人運転設備により収集されたその時無人運転設備が置かれたシーンのシーン情報を受信する。ただしシーン情報は無人運転設備を中心として多角度で撮影した画像情報又は映像情報を含んでもよいが、これらに限定されない。運転支援設備はこれらのシーン情報に対し処理を行って、無人運転設備が置かれたシーンのＶＲシーンを作成する。ユーザは無人運転設備が対応する運転操作を実行して、困難から脱出できるように、運転支援設備によりＶＲシーンを取得するとともに、取得されたＶＲシーンに基づき遠隔運転支援操作をトリガしてもよい。
【００４２】
従来技術との相違点は、ユーザが無人運転設備が置かれた環境のＶＲシーンの映像を直接視聴できるようにＶＲ技術を利用しており、そのシーンの再現度が極めて高いことにある。ユーザが平面的な映像と画像だけにより無人運転設備が置かれた環境を取得するという従来の方式と比べて、ユーザは実際のシーンにより近い情報取得を体験できるため、ユーザが意思決定を行って無人運転設備に正確な遠隔運転支援コマンドを発することを可能にし、無人運転設備の運転の安全性を向上させる。
【００４３】
好ましくは、本実施形態において、ユーザに前記ＶＲシーンを表示した後に、ユーザがトリガした遠隔運転支援操作を受信することと、前記無人運転設備が操作コマンドに基づき運転操作を実行できるように、前記遠隔運転支援操作に基づき対応する前記操作コマンドを生成するとともに、前記無人運転設備に送信することとをさらに含む。ただし、遠隔運転支援操作は無人運転設備が置かれた環境に適合するものであり、その具体例として、操舵操作、ブレーキ操作、システムチェック操作、加速操作、飛び上がり操作等が挙げられる。
【００４４】
好ましくは、本実施形態において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記運転支援方法は、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを受信することと、ユーザに前記ＶＲシーンを表示すると同時に、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを表示することとをさらに含む。
【００４５】
具体的には、ユーザにより完全で詳細な環境情報を提供して、ユーザが意思決定を行いやすくするために、本実施形態において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、運転支援設備は無人運転設備が送信する無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを受信するとともに、ＶＲシーンにおいてこれらのパラメータを同期して表示する。ただし無人運転設備のその時点の設定パラメータは、無人運転設備の型番、自動運転モード、その時点実行されているタスク等を含むが、これらに限定されず、無人運転設備の動作パラメータは、無人運転設備の速度、加速度、車載処理の動作状態、車体の傾斜度等を含むが、これらに限定されず、無人運転設備が置かれた環境の測定パラメータは、無人運転設備が置かれた環境における障害物のそれぞれと当該無人運転設備との間の距離、無人運転設備が置かれた環境の天気パラメータ、無人運転設備が置かれた環境の地面又は地形状態等を含むが、これらに限定されない。
【００４６】
本発明に係る運転支援方法は、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信し、次に、前記シーン情報に対し処理を行って、ＶＲシーンを生成し、さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるように構成される。これにより、無人運転設備が置かれた環境のＶＲシーンをユーザに提供して、ユーザのシーンへの没入感及び実際の環境に対する感知を効果的に向上させ、正確な遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性を確保することを可能にする。
【００４７】
以下、本発明に係る運転支援方法を、実施例１をベースにしてさらに説明し、図３は、本発明の実施例２に係る運転支援方法のプロセスを概略的に示す図である。
【００４８】
図３に示すとおり、当該運転支援方法は、ステップ２０１〜ステップ２０４を含み、
ステップ２０１において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信し、ただし前記シーン情報には無人運転設備のその時点の環境における複数の環境角度の画像情報が含まれる。ただし、前記複数の環境角度の画像情報は前記無人運転設備が同一時刻に収集して取得したものである。
【００４９】
ステップ２０２において、画像情報のそれぞれに対応する環境角度に基づき、合成してその時点の環境の環境画像情報を取得する。
【００５０】
ステップ２０３において、前記環境画像情報に対しビジュアル画像処理を行って、左目環境画像情報及び右目環境画像情報を含むＶＲシーンを取得する。
【００５１】
ステップ２０４において、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられる。
【００５２】
実施例１と同じく、本発明の実施例２は運転支援方法を提供し、その実行主体は運転支援設備である。ただし、仮想現実（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ、略称ＶＲ）シーンとは、具体的に、ＶＲ技術を利用して構築されるシーンを指すものであり、当該ＶＲシーンはユーザが視聴できるように、ＶＲ表示機器により表示してもよい。
【００５３】
具体的には、無人運転設備は所定の運転ルート、運転策略又は運転モードに従って自動運転タスクを実行し、複雑な地形又は複雑な道路状況等、自らの力で解决できない問題に遭遇する場合、自動運転の遠隔支援機能をトリガする。ただし、当該無人運転設備が自動運転の遠隔支援機能をトリガするトリガ条件として、従来技術を採用してもよく、本願ではこれについて限定しない。
【００５４】
無人運転設備は自動運転の遠隔支援機能をトリガする場合、運転支援設備に対し自動運転の遠隔支援要求を開始すると同時に、その時点で収集したシーン情報も運転支援設備に送信して、当該運転支援設備はこれを受信して処理する。ただし、無人運転設備が５Ｇ移動通信ネットワークにより送信するシーン情報が受信される。
【００５５】
実施例１との相違点として、本発明の実施例２において、シーン情報は無人運転設備のその時点の環境における複数の環境角度の画像情報を含み、ただし、前記複数の環境角度の画像情報は前記無人運転設備が同一時刻に収集して取得したものである。
【００５６】
すなわち、無人運転設備には複数の収集角度の画像収集機器が設けられてもよく、これらの画像収集機器は当該無人運転設備の複数の環境角度の画像情報を同期して収集することができる。運転支援設備は複数の環境角度の画像情報を取得した後、画像情報のそれぞれに対応する環境角度に基づき、合成してその時点の環境の環境画像情報を取得してもよい。次に、合成して得られた環境画像情報に対しビジュアル画像処理を行って、左目環境画像情報及び右目環境画像情報を含むＶＲシーンを取得する。
【００５７】
最後に、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられる。
【００５８】
好ましくは、本実施形態において、ユーザに前記ＶＲシーンを表示した後に、ユーザがトリガした遠隔運転支援操作を受信することと、前記無人運転設備が操作コマンドに基づき運転操作を実行できるように、前記遠隔運転支援操作に基づき対応する前記操作コマンドを生成するとともに、前記無人運転設備に送信することとをさらに含む。ただし、遠隔運転支援操作は無人運転設備が置かれた環境に適合するものであり、その具体例として、操舵操作、ブレーキ操作、システムチェック操作、加速操作、飛び上がり操作等が挙げられる。
【００５９】
好ましくは、本実施形態において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記運転支援方法は、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを受信することと、ユーザに前記ＶＲシーンを表示すると同時に、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを表示することとをさらに含む。
【００６０】
具体的には、ユーザにより完全で詳細な環境情報を提供して、ユーザが意思決定を行いやすくするために、本実施形態において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、運転支援設備は無人運転設備が送信する無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを受信するとともに、ＶＲシーンにおいてこれらのパラメータを同期して表示する。ただし無人運転設備のその時点の設定パラメータは、無人運転設備の型番、自動運転モード、その時点実行されているタスク等を含むが、これらに限定されず、無人運転設備の動作パラメータは、無人運転設備の速度、加速度、車載処理の動作状態、車体の傾斜度等を含むが、これらに限定されず、無人運転設備が置かれた環境の測定パラメータは、無人運転設備が置かれた環境における障害物のそれぞれと当該無人運転設備との間の距離、無人運転設備が置かれた環境の天気パラメータ、無人運転設備が置かれた環境の地面又は地形状態等を含むが、これらに限定されない。
【００６１】
本発明に係る運転支援方法は、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信し、次に、前記シーン情報に対し処理を行って、ＶＲシーンを生成し、さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるように構成される。これにより、無人運転設備が置かれた環境のＶＲシーンをユーザに提供して、ユーザのシーンへの没入感及び実際の環境に対する感知を効果的に向上させ、正確な遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性を確保することを可能にする。
【００６２】
実施例１をベースにして、図４は、本発明の実施例４に係る運転支援方法のプロセスを概略的に示す図である。
【００６３】
図４に示すとおり、当該運転支援方法は、ステップ３０１〜ステップ３０５を含み、
ステップ３０１において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信し、ただし前記シーン情報は無人運転設備のその時点の環境における複数の環境角度の映像情報を含む。
【００６４】
ステップ３０２において、複数の環境角度の映像情報に対しフレーミング処理を行って、同一フレームに対応する複数の環境角度の画像データを取得する。
【００６５】
ステップ３０３において、フレームごとの複数の環境角度の画像データに対しビジュアル画像処理を行って、フレームごとの左目環境画像データ及び右目環境画像データを取得する。
【００６６】
ステップ３０４において、フレームごとの左目環境画像データ及び右目環境画像データに基づき、ＶＲシーンを取得する。
【００６７】
ステップ３０５において、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられる。
【００６８】
実施例１と同じく、本発明の実施例３は運転支援方法を提供し、その実行主体は運転支援設備である。ただし、仮想現実（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ、略称ＶＲ）シーンとは、具体的に、ＶＲ技術を利用して構築されるシーンを指すものであり、当該ＶＲシーンはユーザが視聴できるように、ＶＲ表示機器により表示してもよい。
【００６９】
具体的には、無人運転設備は所定の運転ルート、運転策略又は運転モードに従って自動運転タスクを実行し、複雑な地形又は複雑な道路状況等、自らの力で解决できない問題に遭遇する場合、自動運転の遠隔支援機能をトリガする。ただし、当該無人運転設備が自動運転の遠隔支援機能をトリガするトリガ条件として、従来技術を採用してもよく、本願ではこれについて限定しない。
【００７０】
無人運転設備は自動運転の遠隔支援機能をトリガすう場合、運転支援設備に対し自動運転の遠隔支援要求を開始すると同時に、その時点で収集したシーン情報も運転支援設備に送信して、当該運転支援設備はこれを受信して処理する。ただし、無人運転設備が５Ｇ移動通信ネットワークにより送信するシーン情報が受信される。
【００７１】
実施例１との相違点として、本発明の実施例３において、無人運転設備のその時点の環境における複数の環境角度の映像情報である。
【００７２】
すなわち、無人運転設備には、複数の収集角度の映像収集機器が設けられてもよく、これらの映像収集機器は当該無人運転設備の複数の環境角度の映像情報を同期して収集することができる。運転支援機器は複数の環境角度の映像情報を取得した後、これらの映像情報に対しフレーミング処理を行って、同一フレームに対応する複数の環境角度の画像データを取得してもよい。次に、フレームごとの左目環境画像データ及び右目環境画像データに基づき、ＶＲシーンを取得するように、フレームごとの複数の環境角度の画像データに対しビジュアル画像処理を行って、フレームごとの左目環境画像データ及び右目環境画像データを取得する。
【００７３】
実施例２が係る画像情報との相違点として、本発明の実施例３において、シーン情報は映像情報を含むため、ＶＲシーンを生成する時、まず映像情報に対しフレーミング処理を行って、フレームごとの画像データを取得してから、同一フレームの複数の画像データに対しビジュアル画像処理を行うことにより、最終的にＶＲシーンの画像を生成する必要があり、
最後に、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられる。
【００７４】
好ましくは、本実施形態において、ユーザに前記ＶＲシーンを表示した後に、ユーザがトリガした遠隔運転支援操作を受信することと、前記無人運転設備が操作コマンドに基づき運転操作を実行できるように、前記遠隔運転支援操作に基づき対応する前記操作コマンドを生成するとともに、前記無人運転設備に送信することとをさらに含む。ただし、遠隔運転支援操作は無人運転設備が置かれた環境に適合するものであり、その具体例として、操舵操作、ブレーキ操作、システムチェック操作、加速操作、飛び上がり操作等が挙げられる。
【００７５】
好ましくは、本実施形態において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記運転支援方法は、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを受信することと、ユーザに前記ＶＲシーンを表示すると同時に、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを表示することとをさらに含む。
【００７６】
具体的には、ユーザにより完全で詳細な環境情報を提供して、ユーザが意思決定を行いやすくするために、本実施形態において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、運転支援設備は無人運転設備が送信する無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つも受信するとともに、ＶＲシーンにおいてこれらのパラメータを同期して表示する。ただし無人運転設備のその時点の設定パラメータは、無人運転設備の型番、自動運転モード、その時点実行されているタスク等を含むが、これらに限定されず、無人運転設備の動作パラメータは、無人運転設備の速度、加速度、車載処理の動作状態、車体の傾斜度等を含むが、これらに限定されず、無人運転設備が置かれた環境の測定パラメータは、無人運転設備が置かれた環境における障害物のそれぞれと当該無人運転設備との間の距離、無人運転設備が置かれた環境の天気パラメータ、無人運転設備が置かれた環境の地面又は地形状態等を含むが、これらに限定されない。
【００７７】
本発明に係る運転支援方法は、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信し、次に、前記シーン情報に対し処理を行って、ＶＲシーンを生成し、さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるように構成される。これにより、無人運転設備が置かれた環境のＶＲシーンをユーザに提供して、ユーザのシーンへの没入感及び実際の環境に対する感知を効果的に向上させ、正確な遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性を確保することを可能にする。
【００７８】
図５は、本発明の実施例４に係る運転支援方法のプロセスを概略的に示す図である。
【００７９】
図５に示すとおり、当該運転支援方法は、ステップ４０１と、ステップ４０２とを含み、
ステップ４０１において、遠隔自動運転機能をトリガする場合、シーン情報を収集し、
ステップ４０２において、運転支援設備が前記シーン情報に対し処理を行って、ＶＲシーンを生成するとともに、ユーザに前記ＶＲシーンを表示できるように、前記シーン情報を運転支援設備に送信する。
【００８０】
本発明の実施例４は運転支援方法を提供し、その実行主体は無人運転設備であり、ただし、仮想現実（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ、略称ＶＲ）シーンとは、具体的に、ＶＲ技術を利用して構築されるシーンを指すものであり、当該ＶＲシーンはユーザが視聴できるように、ＶＲ表示機器により表示してもよい。
【００８１】
無人運転設備は所定の運転ルート、運転策略又は運転モードに従って自動運転タスクを実行し、複雑な地形又は複雑な道路状況等、自らの力で解决できない問題に遭遇する場合、自動運転の遠隔支援機能をトリガする。ただし、当該無人運転設備が自動運転の遠隔支援機能をトリガするトリガ条件として、従来技術を採用してもよく、本願ではこれについて限定しない。
【００８２】
無人運転設備は自動運転の遠隔支援機能をトリガする場合、運転支援設備に対し自動運転の遠隔支援要求を開始すると同時に、その時点で収集したシーン情報も運転支援設備に送信して、当該運転支援設備はこれを受信して処理する。ただし、無人運転設備が５Ｇ移動通信ネットワークにより送信するシーン情報が受信される。
【００８３】
次に、運転支援設備は受信されるシーン情報に対し処理を行って、対応するＶＲシーンを生成する。さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられる。
【００８４】
すなわち、運転支援設備は無人運転設備が自動運転の遠隔支援機能をトリガした場合、無人運転設備により収集されたその時無人運転設備が置かれたシーンのシーン情報を受信する。ただしシーン情報は無人運転設備を中心として多角度で撮影した画像情報又は映像情報を含んでもよいが、これらに限定されない。運転支援設備はこれらのシーン情報に対し処理を行って、無人運転設備が置かれたシーンのＶＲシーンを作成する。ユーザは無人運転設備が対応する運転操作を実行して、困難から脱出できるように、運転支援設備によりＶＲシーンを取得するとともに、取得されたＶＲシーンに基づき遠隔運転支援操作をトリガしてもよい。
【００８５】
従来技術との相違点は、ユーザが無人運転設備が置かれた環境のＶＲシーンの映像を直接視聴できるようにＶＲ技術を利用しており、そのシーンの再現度が極めて高いことにある。ユーザが平面的な映像と画像だけにより無人運転設備が置かれた環境を取得するという従来の方式と比べて、ユーザは実際のシーンにより近い情報取得を体験できるため、ユーザが意思決定を行って無人運転設備に正確な遠隔運転支援コマンドを発することを可能にし、無人運転設備の運転の安全性を向上させる。
【００８６】
好ましくは、前記シーン情報を運転支援設備に送信した後に、運転支援設備が返す遠隔運転支援操作コマンドを受信して実行することをさらに含み、ただし前記遠隔運転支援操作コマンドはユーザが前記ＶＲシーンに基づきトリガしたものである。
【００８７】
本発明に係る運転支援方法は、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信し、次に、前記シーン情報に対し処理を行って、ＶＲシーンを生成し、さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるように構成される。これにより、無人運転設備が置かれた環境のＶＲシーンをユーザに提供して、ユーザのシーンへの没入感及び実際の環境に対する感知を効果的に向上させ、正確な遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性を確保することを可能にする。
【００８８】
図６は、本発明の実施例５に係る運転支援設備の構造を概略的に示す図であり、図５に示すとおり、当該運転支援設備は、
無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信するために用いられる通信ユニット１０と、
前記シーン情報に対し処理を行って、ＶＲシーンを生成するために用いられるＶＲシーン生成ユニット２０と、
ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示するために用いられ、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるＶＲシーン対話ユニット３０と、を含む。
【００８９】
一つの選択可能な実施形態において、前記シーン情報には無人運転設備のその時点の環境における複数の環境角度の画像情報が含まれており、ただし、前記複数の環境角度の画像情報は前記無人運転設備が同一時刻に収集して取得したものであり、
ＶＲシーン生成ユニット２０は、具体的に、
画像情報のそれぞれに対応する環境角度に基づき、合成してその時点の環境の環境画像情報を取得し、
前記環境画像情報に対しビジュアル画像処理を行って、左目環境画像情報及び右目環境画像情報を含むＶＲシーンを取得するために用いられる。
【００９０】
一つの選択可能な実施形態において、前記シーン情報は無人運転設備のその時点の環境における複数の環境角度の映像情報を含み、
ＶＲシーン生成ユニット２０は、具体的に、
複数の環境角度の映像情報に対しフレーミング処理を行って、同一フレームに対応する複数の環境角度の画像データを取得し、
フレームごとの複数の環境角度の画像データに対しビジュアル画像処理を行って、フレームごとの左目環境画像データ及び右目環境画像データを取得し、
フレームごとの左目環境画像データ及び右目環境画像データに基づき、ＶＲシーンを取得するために用いられる。
【００９１】
一つの選択可能な実施形態において、操作コマンド生成ユニットをさらに含み、
前記ＶＲシーン対話ユニット３０は、ユーザに前記ＶＲシーンを表示した後、ユーザがトリガした遠隔運転支援操作を受信するために用いられ、
前記操作コマンド生成ユニットは前記遠隔運転支援操作に基づき対応する操作コマンドを生成するために用いられ、そして前記通信ユニット１０は前記操作コマンドを前記無人運転設備に送信し、ただし、前記操作コマンドは前記無人運転設備が運転操作を実行するために用いられる。
【００９２】
一つの選択可能な実施形態において、前記通信ユニット１０は、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを受信するためにも用いられ、
前記ＶＲシーン対話ユニットは、ユーザに前記ＶＲシーンを表示すると同時に、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを表示するためにも用いられる。
【００９３】
一つの選択可能な実施形態において、前記通信ユニット１０は具体的に、前記無人運転設備が５Ｇ移動通信ネットワークにより送信するシーン情報を受信するために用いられる。
【００９４】
当業者にとって自明なように、説明の便宜上、上述したシステムの具体的な動作プロセス及び対応する有益な効果は、上述した方法の実施例における対応するプロセスを参照されればよいため、ここにおいてその説明が省略される。
【００９５】
本発明に係る運転支援設備は、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信し、次に、前記シーン情報に対し処理を行って、ＶＲシーンを生成し、さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるように構成される。これにより、無人運転設備が置かれた環境のＶＲシーンをユーザに提供して、ユーザのシーンへの没入感及び実際の環境に対する感知を効果的に向上させ、正確な遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性を確保することを可能にする。
【００９６】
図７は、本発明の実施例６に係る無人運転設備の構造を概略的に示す図であり、図７に示すとおり、当該無人運転設備は、
遠隔自動運転機能をトリガする場合、シーン情報を収集するために用いられる収集ユニット４０と、
運転支援設備が前記シーン情報に対し処理を行って、ＶＲシーンを生成するとともに、ユーザに前記ＶＲシーンを表示できるように、前記シーン情報を運転支援設備に送信するために用いられる送受信ユニット５０とを含む。
【００９７】
一つの選択可能な実施形態において、実行ユニットをさらに含み、
前記送受信ユニットは、運転支援設備が返す遠隔運転支援操作コマンドを受信するためにも用いられ、ただし前記遠隔運転支援操作コマンドはユーザが前記ＶＲシーンに基づきトリガしたものであり、
前記実行ユニットは、前記遠隔運転支援操作コマンドを実行するために用いられる。
【００９８】
本発明に係る無人運転設備は、自動運転の遠隔支援機能をトリガして、前記無人運転設備が収集するシーン情報を収集し、次に、運転支援設備は前記シーン情報に対し処理を行って、ＶＲシーンを生成し、さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるように構成される。これにより、無人運転設備が置かれた環境のＶＲシーンをユーザに提供して、ユーザのシーンへの没入感及び実際の環境に対する感知を効果的に向上させ、正確な遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性を確保することを可能にする。
【００９９】
図８は、本発明の実施例７に係る運転支援設備のハードウェア構成を概略的に示す図である。図８に示すとおり、当該運転支援設備は、表示機器４３と、プロセッサ４２と、メモリ４１に記憶されてプロセッサ４２において実行可能なコンピュータプログラムとを含み、プロセッサ４２はコンピュータプログラムを実行させる時、上記実施例１ないし実施例３に記載のいずれかの方法を実行する。
【０１００】
前記表示機器４３は前記メモリ４１及び前記プロセッサ４２に接続され、ＶＲ技術を利用してユーザにＶＲシーンを表示する。
【０１０１】
図９は、本発明の実施例８に係る無人運転設備のハードウェア構成を概略的に示す図である。図９に示すとおり、当該無人運転設備は、プロセッサ５２と、メモリ５１に記憶されてプロセッサ５２において動作可能なコンピュータプログラムとを含み、プロセッサ５２はコンピュータプログラムを実行させる時、上記実施例４に記載の方法を実行する。
【０１０２】
本発明は、読み取り可能な記憶媒体をさらに提供し、当該記憶媒体は、端末において実行させられる時、端末に上記実施例１ないし実施例３に記載のいずれかの方法を実行させるためのプログラムを含む。
【０１０３】
本発明は、読み取り可能な記憶媒体をさらに提供し、当該記憶媒体は、端末において実行させられる時、端末に上記実施例４に記載の方法を実行させるためのプログラムを含む。
【０１０４】
当業者ならば理解できるように、上記各方法の実施例を実現するためのステップは、その全て又は一部はプログラムコマンドに関連するハードウェアにより行うことができる。上述したプログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。当該プログラムが実行される時、上記各方法の実施例に含まれるステップを実行する。なお、上述した記憶媒体は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク又はコンパクトディスク等、プログラムコードを記憶可能な様々な媒体を含む。
【０１０５】
なお、上記各実施例のそれぞれは、本発明の実施例に係る技術的解決手段を説明するためのものに過ぎず、それを限定するものではない。上記各実施例を踏まえて本発明を詳細に説明しているが、当業者ならば理解できるように、なおも上記各実施例のそれぞれに記載されている技術的解決手段に対し修正を加えたり、その一部又は全ての技術的特徴に対し均等な差し替えを行ったりしてもよい。ただしこれらの修正又は差し替えにより、技術的解決手段の主旨が本発明の各実施例に係る技術的解決手段の範囲から逸脱することはない。
【図１】
2020042780.tif 000003
【図２】
2020042780.tif 000004
【図３】
2020042780.tif 000005
【図４】
2020042780.tif 000006
【図５】
2020042780.tif 000007
【図６】
2020042780.tif 000008
【図７】
2020042780.tif 000009
【図８】
2020042780.tif 000010
【図９】
2020042780.tif 000011