(57)【要約】【課題】車両の動作に応じた画像を送信することができる画像処理装置、画像処理システム、画像表示方法、プログラムを提供する。【解決手段】  本実施の形態にかかる画像処理装置１００は、車両４に配置された撮像部２で撮像されたひとつまたは複数の撮像画像を取得する撮像画像取得部１０１と、車両４の走行に関する車両情報を取得する車両情報取得部１０２と、車両情報に基づいて、撮像画像の一部を切り出すこと、少なくともひとつの前記撮像画像から送信画像を選択すること、及び複数の前記撮像画像を合成することの少なくとも一つを行うことで、送信画像を生成する送信画像生成部１０４と、無線通信により送信画像を送信する通信部１０５と、を備えている。【選択図】図３
2020145612.tif 000002
【特許請求の範囲】
【請求項１】
車両に配置された撮像部で撮像されたひとつまたは複数の撮像画像を取得する撮像画像取得部と、
前記車両の走行に関する車両情報を取得する車両情報取得部と、
前記車両情報に基づいて、少なくともひとつの前記撮像画像の一部を切り出すこと、少なくともひとつの前記撮像画像から送信画像を選択すること、及び複数の前記撮像画像を合成することの少なくとも一つを行うことで、送信画像を生成する送信画像生成部と、
無線通信により前記送信画像を送信する通信部と、を備えた画像処理装置。
【請求項２】
前記撮像画像取得部は、少なくとも車両内部を撮像した画像を取得し、
前記車両情報が、前記車両が停止しているか否かを示す情報を含んでおり、
前記車両が停止している場合に、少なくともひとつの前記車両内部の撮像画像の一部を切り出すこと、少なくともひとつの前記車両内部の撮像画像から送信画像を選択すること、及び車両内部の撮像画像を含む複数の前記撮像画像を合成することの少なくとも一つを行うことで、送信画像を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記車両情報が前記車両の速度を示す速度情報または加速度情報を含んでおり、
前記送信画像生成部が、前記速度情報または加速度情報に基づいて、前記撮像画像における前記送信画像の切り出し範囲を変更する請求項１、又は２に記載の画像処理装置。
【請求項４】
前記送信画像生成部が、前記速度情報または加速度情報に基づいて、前記撮像画像における前記送信画像の切り出しサイズを変更する請求項３に記載の画像処理装置。
【請求項５】
請求項１〜４のいずれか１項に記載の画像処理装置と、
前記送信画像を受信して、表示する表示機器と、を備えた画像処理システム。
【請求項６】
車両に配置された撮像部で撮像されたひとつまたは複数の撮像画像を取得するステップと、
前記車両の走行に関する車両情報を取得するステップと、
前記車両情報に基づいて、少なくともひとつの前記撮像画像の一部を切り出すこと、少なくともひとつの前記撮像画像から送信画像を選択すること、及び複数の前記撮像画像を合成することの少なくとも一つを行うことで、送信画像を生成するステップと、
無線通信により前記送信画像を送信するステップと、を備えた画像処理方法。
【請求項７】
車両に配置された撮像部で撮像されたひとつまたは複数の撮像画像を取得するステップと、
前記車両の走行に関する車両情報を取得するステップと、
前記車両情報に基づいて、少なくともひとつの前記撮像画像の一部を切り出すこと、少なくともひとつの前記撮像画像から送信画像を選択すること、及び複数の前記撮像画像を合成することの少なくとも一つを行うことで、送信画像を生成するステップと、
無線通信により前記送信画像を送信するステップと、をコンピュータに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、他の車両間との間で、車両間通信を行う車両用情報処理装置が開示されている。車両に搭乗したユーザが、通信データ量を削減するために、他車両の進行方向と角度幅を指定する。他車両は、指定された進行方向と角度幅に応じた範囲の画像を切り出して、送信している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１１５３６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の車両用情報処理装置では、他車両のユーザが進行方向と角度幅を指定している。車両の動作に応じた画像を取得することができないという問題点がある。
【０００５】
上記課題に鑑み、本開示は、車両の動作に応じた画像を送信することができる画像処理装置、画像処理システム、画像処理方法、を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本実施形態にかかる画像処理装置は、車両に配置された撮像部で撮像されたひとつまたは複数の撮像画像を取得する撮像画像取得部と、前記車両の走行に関する車両情報を取得する車両情報取得部と、前記車両情報に基づいて、前記撮像画像の一部を切り出すこと、複数の前記撮像画像から送信画像を選択すること、及び複数の前記撮像画像を合成することの少なくとも一つを行うことで、送信画像を生成する送信画像生成部と、無線通信により前記送信画像を送信する通信部と、を備えている。
【０００７】
本実施形態にかかる画像処理方法は、車両に配置された撮像部で撮像されたひとつまたは複数の撮像画像を取得するステップと、前記車両の走行に関する車両情報を取得するステップと、前記車両情報に基づいて、前記撮像画像の一部を切り出すこと、複数の前記撮像画像から送信画像を選択すること、及び複数の前記撮像画像を合成することの少なくとも一つを行うことで、送信画像を生成するステップと、無線通信により前記送信画像を送信するステップと、を備えている。
【０００８】
本実施形態にかかるプログラムは、車両に配置された撮像部で撮像されたひとつまたは複数の撮像画像を取得するステップと、前記車両の走行に関する車両情報を取得するステップと、前記車両情報に基づいて、前記撮像画像の一部を切り出すこと、複数の前記撮像画像から送信画像を選択すること、及び複数の前記撮像画像を合成することの少なくとも一つを行うことで、送信画像を生成するステップと、無線通信により前記送信画像を送信するステップと、をコンピュータに実行させる、ものである。
【発明の効果】
【０００９】
本開示によれば、車両の動作に応じた画像を送信することができる画像処理装置、画像処理システム、画像処理方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態にかかる画像処理システムを示す図である。
【図２】撮像部のカメラの配置例を説明するための図である。
【図３】車室内を撮像した撮像画像を模式的に示す図である。
【図４】車両前方を撮像した撮像画像を模式的に示す図である。
【図５】本実施の形態にかかる画像処理システムの制御ブロック図である。
【図６】姿勢情報に基づいて生成された送信画像を説明するための図である。
【図７】本実施の形態にかかる画像処理方法を示すフローチャートである。
【図８】撮像部のカメラの配置例を説明するための図である。
【図９】車両情報に応じて画像サイズを変更した場合の送信画像を説明するための図である。
【図１０】車両情報に応じて切り出し位置を変更した場合の送信画像を説明するための図である。
【図１１】カメラの配置例と、その撮像範囲を説明するための上面図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態の一例について図面を参照して説明する。以下の説明は、本発明の好適な実施形態を示すものであって、本発明の技術的範囲が以下の実施形態に限定されるものではない。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明を省略する。
【００１２】
実施の形態１
図１は、実施の形態１にかかる画像処理システム１を模式的に示す図である。画像処理システム１は、撮像部２と、ＶＲ（Virtual Reality）ゴーグル３と、車両４に備えられる画像処理装置１００と、サーバ装置５とを備えている。
【００１３】
撮像部２は、１つまたは複数のカメラを備えており、車両４の外部又は内部の画像を撮像する。撮像部２は、車両４に配置されている。撮像部２は、例えば、車両４の外側に設置されたフロントカメラ、リアカメラ、又はサイドカメラなどの車載カメラであり、車両４の周囲の画像を撮像する。あるいは、撮像部２は、車両４の車内に設置されたドライブレコーダのカメラであってもよい。さらには、撮像部２は、カメラを有する電子機器であってもよい。例えば、撮像部２は、スマートホン、タブレットコンピュータ等のカメラであってもよい。
【００１４】
撮像部２は魚眼レンズ等を用いた広角カメラであってもよい。また、撮像部２は、車両４の周囲全体を撮像するために、車両４の上部または車両内部に設けられた３６０°カメラであってもよい。また、撮像部２は、３６０°回転可能に設けられたカメラであってもよい。あるいは、複数台のカメラが異なる方向に向けて配置されていてもよい。このようなカメラを撮像部２とすることで、車両４の外側のより広い範囲を撮像することができる。
【００１５】
車両４は、後述する画像処理装置１００を備えており、撮像部２で撮像された撮像画像を処理する。具体的には、画像処理装置１００は、撮像画像を加工することで、送信画像を生成する。画像処理装置１００での処理については後述する。
【００１６】
画像処理装置１００は、サーバ装置５に送信する。サーバ装置５は、例えば、送信画像をＶＲゴーグル３に配信する配信サーバとなっている。ＶＲゴーグル３は、ヘッドマウントディスプレイなどであり、受信した送信画像を表示する。ＶＲゴーグル３は、送信画像を表示する画像表示装置として機能する。つまり、ＶＲゴーグル３を装着したユーザは、車両４の外部又は内部の画像を視認することができる。なお、以下の説明では、ＶＲゴーグル３を装着した人物をユーザとして、車両４に搭乗している人物を運転者又は搭乗者として識別する。
【００１７】
ＶＲゴーグル３は、ジャイロセンサ、方位センサ、加速度センサなどを備えており、姿勢を検出する。そして、ＶＲゴーグル３はセンサが検出した姿勢を姿勢情報として取得する。具体的には、加速度センサにより重力の向きを検出して、ユーザの頭部の上下方向の向きを検出する。また方位センサおよびジャイロセンサにより、ユーザの顔の方角または左右方向の向きを検出する。これら頭部の向きを検出することで、ユーザの姿勢情報とする。またＶＲゴーグル３でなくとも、同様のセンサを有する電子機器、例えばスマートフォンによって、ユーザの姿勢を検出することができる。ＶＲゴーグル３は、サーバ装置５を介して、姿勢情報を車両４に送信する。なお、送信画像を受信して、表示する表示機器としては、ＶＲゴーグル３に限らず、スマートホンやタブレットコンピュータなどであってもよい。ＶＲ機能を有しないモニタやプロジェクタなどの表示装置であってもよい。車両４とＶＲゴーグル３との通信は、サーバ装置５を介さないＰ２Ｐ（Ｐｅｅｒ  Ｔｏ  Ｐｅｅｒ）通信であってもよい。
【００１８】
次に、撮像部２について説明する。図２は、撮像部２に設けられたカメラの配置例を説明するための図である。図２は、車両４の内部の運転室を運転席から車両４の前方向に見た図である。車両４は、ステアリングホイール１０、ダッシュボード１２、ウィンドシールド１４、センターコンソール１６、車両の走行速度及びエンジン回転数などを表示するクラスターパネル１８などを有する。また、センターコンソール１６には、ナビゲーション画面などを表示するセンター表示部２０が設けられていてもよい。
【００１９】
ダッシュボード１２の上には、スマートホン２１０が配置されている。スマートホン２１０は、撮像部２として機能する。スマートホン２１０は、インカメラ２１１、アウトカメラ２１２、及び表示画面２１３等を備えている。インカメラ２１１と表示画面２１３は、スマートホン２１０の同一面に設けられている。アウトカメラ２１２は、インカメラ２１１が設けられた面と反対側の面に設けられている。
【００２０】
インカメラ２１１は、後方を面しており、運転室内を撮像する。図３に示すように、インカメラ２１１は、運転席に座った運転者を含む運転室内を撮像する。アウトカメラ２１２は、前方を面しており、車両４の前方の景色を撮像する。図４は、アウトカメラ２１２による撮像画像５０を模式的に示す図である。図４に示すように、アウトカメラ２１２は、車両４の前方にある道路、建物、車両など含む景色をウィンドシールド１４越しに撮像する。撮像画像は、動画像であってもよく、時間的に連続する複数の静止画像であってもよい。
【００２１】
また、ダッシュボード１２の内部には、画像処理装置１００が設けられている。画像処理装置１００は、インカメラ２１１、及びアウトカメラ２１２で撮像された撮像画像に対して、所定の画像処理を行う。画像処理装置１００の設置位置は、ダッシュボード内に限定されるものではない。画像処理装置１００は車載型の装置にかぎらず、携帯型の装置であってもよい。つまり、画像処理装置１００は、車両４に固定された機器であってもよく、車両４から持ち出し可能な機器であってもよい。
【００２２】
さらに、画像処理装置１００は物理的に単一な装置に限らず、複数の装置から構成されていてもよい。つまり、画像処理装置１００の処理は分散された処理装置により実施されてもよい。例えば、車両４に設置された車載機器が一部の処理を実施し、携帯型の装置が残りの処理を実施してもよい。複数の装置間の接続は、有線接続であってもよく、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等の無線接続であってもよい。また、スマートホン２１０が、画像処理装置１００と機能してもよい。つまり、スマートホン２１０が画像処理の一部、又は全てを実施してもよい。
【００２３】
図５は、本実施の形態にかかる画像処理システムの制御ブロック図である。画像処理システム１は、撮像部２と、画像処理装置１００と、ＶＲゴーグル３とを備えている。画像処理装置１００とＶＲゴーグル３とはネットワーク６を介して接続されている。
【００２４】
まず、画像処理装置１００について説明する。画像処理装置１００は、撮像画像取得部１０１と、車両情報取得部１０２と、送信画像生成部１０４と、通信部１０５と、を備えている。姿勢情報取得部１０３を備える形態があってもよい。
【００２５】
撮像画像取得部１０１は、撮像部２からの撮像画像を取得する。例えば図２に示すように、撮像部２が２つのカメラを有する場合、撮像画像取得部１０１は、それぞれのカメラでの撮像画像を取得する。つまり、撮像画像取得部１０１は、インカメラ２１１による撮像画像と、アウトカメラ２１２による撮像画像を取得する。画像処理装置１００と撮像部２との接続は、有線接続でもよく、無線接続でも良い。
【００２６】
車両情報取得部１０２は、車両４の走行に関する車両情報を取得する。車両情報は、例えば車両４の速度、加速度を含んでいてもよい。また、車両情報は、車両４の操作情報を含んでいてもよい。操作情報としては、ギヤ、ハンドル、ブレーキ、アクセルの操作に関する情報を含んでいる。ここでは、操作情報がオートマチックトランスミッション車のギヤ操作に関するギヤ情報を含んでいるとする。例えば、ギヤ情報は、例えば、前進動作(Ｄレンジ)、後退動作（Ｒレンジ）、或いは駐車（Ｐレンジ）などを示す。
【００２７】
車両情報取得部１０２は、ＣＡＮ（Control Area Network）を介して、車両情報を取得してもよい。つまり、画像処理装置１００は、ＣＡＮに接続され得る。あるいは、画像処理装置１００は、ＣＡＮに接続されたカーナビゲーションシステム等からＢｌｕｅｔｏｏｔｈ（登録商標）などにより、車両情報取得部１０２が車両情報を取得してもよい。
【００２８】
また、画像処理装置１００に加速度センサやジャイロセンサ等が搭載されている場合、車両情報取得部１０２は、これらのセンサ情報に基づいて車両情報を取得することができる。例えば、スマートホン２１０に設けられた加速度センサなどを用いることで、車両情報取得部１０２は、速度、加速度、進行方向（前進、後退、左折、右折）等の車両情報を取得することができる。
【００２９】
姿勢情報取得部１０３は、ＶＲゴーグル３の姿勢検出部３２が検出した姿勢情報を取得する。送信画像生成部１０４は、撮像画像を加工することで、送信画像を生成する。具体的には、送信画像生成部１０４は、車両情報に基づいて、撮像画像の一部を切り出すこと、複数の撮像画像から送信画像を選択すること、及び複数の撮像画像を合成することの少なくとも一つを行って、画像を加工する。また、送信画像生成部１０４は、姿勢情報に基づいて、撮像画像を加工してもよい。例えば、送信画像生成部１０４は、車両情報及び姿勢情報の少なくとも一方に基づいて、撮像画像の一部を切り出すこと、複数の撮像画像から送信画像を選択すること、及び複数の撮像画像を合成することの少なくとも一つを行って、送信画像を生成する。
【００３０】
通信部１０５は、遠距離無線通信機能を有する。具体的には、通信部１０５は、無線信号を出力するためのアンテナに、送信画像生成部１０４が生成した送信画像を変調して出力する、変調回路である。通信部１０５は、アンテナを含んで構成されていてもよい。また、アンテナが受信した信号の復調回路を含んで構成されていてもよい。アンテナは、受信信号を受信するとともに、送信信号を空間に放射する。復調回路は、アンテナが受信した受信信号を復調する。変調回路は、送信信号を変調して、アンテナに出力する。例えば、通信部１０５は、３Ｇ，ＬＴＥ（登録商標），４Ｇ、５Ｇ等の携帯電話の通信規格に従って通信処理を行う。通信部１０５の通信規格は特に限定されるものではない。
【００３１】
通信部１０５による無線通信によって、車外のネットワーク６に対するデータ通信が可能となる。ネットワーク６は、例えば、インターネットなどの外部ネットワークである。通信部１０５は、ネットワーク６を介して、ＶＲゴーグル３に送信画像を送信する。さらに、通信部１０５は、ネットワーク６を介して、ＶＲゴーグル３から送信された姿勢情報を受信する。例えば、ネットワーク６は、図１で示したサーバ装置５を備えている。通信部１０５は、音声通話のための無線通信を行ってもよい。
【００３２】
次に、ＶＲゴーグル３の構成について説明する。ＶＲゴーグル３は、表示部３１と、姿勢検出部３２と、制御部３３と、通信部３５とを備えている。
【００３３】
表示部３１は、ＶＲゴーグル３を装着したユーザに対して、画像を表示する。表示部３１は、液晶モニタや有機ＥＬ（Electro-Luminescence）モニタなどのフラットパネルディスプレイを備えている。さらに、表示部３１は、ディスプレイで表示された表示画像をユーザの眼に導くための光学系を備えている。表示部３１は、左眼用の光学系と、右眼用の光学系とをそれぞれ備えていてもよい。
【００３４】
姿勢検出部３２は、ＶＲゴーグル３を装着したユーザの姿勢を検出する。具体的には、姿勢検出部３２は、ヘッドトラッキング機能を備えている。姿勢検出部３２は、３軸センサや６軸センサ等の姿勢状態を検知するセンサを有している。さらに、姿勢検出部３２は、センサ出力から移動量を推定する回路を備えている。姿勢検出部３２は、各軸の検出結果に応じた移動量信号を生成する。姿勢検出部３２によって、ユーザの頭部の位置や向きを検出することで、ＶＲゴーグル３は表示画像を変えることができる。
【００３５】
通信部３５は、通信部１０５と同様に遠距離無線通信機能を有する。例えば、通信部１０５は、３Ｇ，ＬＴＥ（登録商標），４Ｇ、５Ｇ等の携帯電話の通信規格に従って通信処理を行う。通信部１０５の通信規格は特に限定されるものではない。あるいは、通信部３５は、Ｂｌｕｅｔｏｏｔｈ通信やＷｉＦｉ通信等の近距離無線通信機能であってもよい。また、通信部３５は、ＨＤＭＩ（登録商標）などの有線接続インターフェースであってもよい。これらの場合、通信部３５は、ネットワーク６との通信が可能なＷｉＦｉルータ等に接続される。
【００３６】
通信部３５による通信によって、ＶＲゴーグル３はネットワーク６に対するデータ通信が可能となる。通信部３５は、ネットワーク６を介して、画像処理装置１００に姿勢情報を送信する。さらに、通信部３５は、ネットワーク６を介して、画像処理装置１００から送信された送信画像を受信する。さらに、通信部３５は、音声通話のための無線通信を行ってもよい。
【００３７】
制御部３３は、ＶＲゴーグル３全体を統括的に制御する。例えば、制御部３３には、通信部３５が受信した送信画像が入力されている。制御部３３は、送信画像に基づいて、映像信号、制御信号を生成する。表示部３１のディスプレイが映像信号、制御信号に基づいて表示画像を生成する。例えば、制御部３３は、送信画像の画像サイズとディスプレイの表示サイズとが異なる場合、送信画像をディスプレイの表示サイズに変換する。表示部３１が、送信画像に基づいた表示画像を表示することができる。なお、送信画像と表示画像は、同一の画像に限られるものではない。例えば、制御部３３が、送信画像に適宜情報を追加して、表示画像を生成してもよい。
【００３８】
なお、画像処理装置１００における処理の一部又は全部は、コンピュータプログラムにより実現可能である。同様に、ＶＲゴーグル３における処理の一部又は全部は、コンピュータプログラムにより実現可能である。画像処理装置１００、及びＶＲゴーグル３は、メモリ、及びプロセッサを備えている。メモリは、処理プログラムや各種パラメータやデータなどを記憶している。プロセッサは、メモリに格納された処理プログラムを実行する。プロセッサが処理プログラムを実行することで、各処理が実行される。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＤＳＰ（Digital Signal Processor），ＡＳＩＣ（Application Specific Integrated Circuit）、又は、GPU(Graphics Processing Unit)等であってもよい。
【００３９】
送信画像生成部１０４における処理について詳細に説明する。まず、送信画像生成部１０４が車両情報に基づいて、送信画像を生成する例を説明する。具体的には、送信画像生成部１０４は、車両４が停止しているか否かの車両情報、例えば車両４のギヤ情報に基づいて、送信画像を選択している。撮像画像取得部１０１は、例えば、図２に示したように、インカメラ２１１の撮像画像と、アウトカメラ２１２の撮像画像とを取得している。インカメラ２１１の撮像画像は、図３に示したように運転室内の画像であり、アウトカメラ２１２の撮像画像は図４に示したように車両４の前方の景色である。送信画像生成部１０４は、車両情報に基づいて、送信画像の切り出し範囲を決定してもよい。
【００４０】
ギヤがＤレンジにある場合、つまり前進動作中である場合、送信画像生成部１０４は、前方景色を撮像したアウトカメラ２１２の撮像画像を選択する。ギヤがＰレンジにある場合、つまり駐車中である場合、送信画像生成部１０４は、運転室内を撮像したインカメラ２１１の撮像画像を選択する。このように、送信画像生成部１０４は、車両情報に基づいて、複数の撮像画像の中から１つの送信画像を選択している。そして、通信部１０５は、選択された送信画像をＶＲゴーグル３に送信する。これにより、ＶＲゴーグル３は、選択画像に基づく表示画像を表示することができる。
【００４１】
ユーザが、ＶＲゴーグル３で表示された表示画像を視認するため、運転中の景色を楽しむことができる。つまり、ユーザは、運転者が見ている前方の景色と同様の景色を視認することができる。また、駐車中には、テレビ電話と同様に運転者の顔を視認することができる。これにより、ユーザが運転者と旅行しているかのような疑似体験をすることができる。
【００４２】
車両情報は、ギヤ情報に限定されず、車両４が停止しているか否かを示すものであればよい。例えば、送信画像生成部１０４又は車両情報取得部１０２が、センサで検出された加速度や速度に応じて、停止しているか否かを判定すればよい。例えば、送信画像生成部１０４又は車両情報取得部１０２が、エンジンの停止や、位置情報が変化していないことに応じて、車両の停止を判定してもよい。そして、車両情報が停止中を示す場合、送信画像生成部１０４は、インカメラ２１１による撮像画像を選択する。また、車両情報が前進走行中であることを示す場合、送信画像生成部１０４は、アウトカメラ２１２を選択してもよい。
【００４３】
上記の説明では、走行中では、アウトカメラ２１２による撮像画像を送信画像とし、停止中では、インカメラ２１１による撮像画像を送信画像としているが、送信画像の選択はこの例に限られるものではない。撮像部２に３つ以上のカメラがある場合、送信画像生成部１０４は、車両情報に応じて、適宜撮像画像を選択することができる。撮像部２が３６０°カメラである場合、送信画像生成部１０４は、車両情報に応じて、適宜撮像画像の一部を切り出してもよい。また、送信画像生成部１０４は、３以上の撮像画像から１又は複数の画像を選択して、送信画像とする。
【００４４】
例えば、ギヤがＲレンジにある場合、つまり、後退動作中である場合、車両４の後方を撮像するリアカメラの撮像画像を送信画像としてもよい。ユーザが車両４の後方を視認することができる。これにより、ユーザが遠隔地にて、後退動作中の安全確認を行うことができる。例えば、車両４の後方に障害物がある場合に、ユーザは、音声通話によって運転者に障害物の存在を報知することができる。よって、安全性を高めることができる。
【００４５】
このように、送信画像生成部１０４は、車両情報に基づいて、撮像画像を加工することで送信画像を生成している。例えば、送信画像生成部１０４は、複数の撮像画像の中から送信画像を選択することで、送信画像を生成している。これにより、画像処理装置１００が車両４の動作に応じた画像を送信することができる。また、送信画像のデータ量を少なくすることができる。よって、通信遅延を抑制することができるため、ＶＲゴーグル３が、応答性の高い表示を行うことができる。
【００４６】
次に、送信画像生成部１０４が姿勢情報に基づいて、送信画像を生成する例を説明する。ここでは、車両が前進している動作中に、ユーザが頭部の向きを変えた場合の送信画像について説明する。送信画像生成部１０４は、図４に示すように、アウトカメラ２１２で撮像された撮像画像を取得している。姿勢検出部３２は、ユーザの頭部の向き又は位置を検出している。そして、ＶＲゴーグル３は、頭部の向き又は位置を姿勢情報として、画像処理装置１００に送信している。
【００４７】
画像処理装置１００が、ＶＲゴーグル３が送信した姿勢情報を受信すると、送信画像生成部１０４が姿勢情報に応じて送信画像を生成する。ここでは、送信画像生成部１０４は、姿勢情報に応じて、撮像画像の一部を切り出している。
【００４８】
例えば、図６に示すように、撮像画像５０は、図４と同様に車両４の前方の景色を含んでいる。送信画像生成部１０４は、姿勢情報に基づいて、送信画像の切り出し位置を決定する。例えば、ユーザが正面前方を向いている場合、送信画像生成部１０４は、撮像画像５０の上下左右それぞれの中央部の一部を切り出して、送信画像６０Ｃとする。ユーザが左側を向いた場合、送信画像生成部１０４は、撮像画像５０の左側の一部を切り出して、送信画像６０Ｌとする。ユーザが上側を向いた場合、送信画像生成部１０４は、撮像画像５０の上側の一部を切り出して、送信画像６０Ｕとする。
【００４９】
このように、送信画像生成部１０４は、姿勢情報に基づいて、撮像画像を加工することで送信画像を生成している。送信画像生成部１０４は、撮像画像の一部を切り出して送信画像としている。これにより、送信画像の画像サイズを撮像画像の画像サイズよりも小さくすることがため、送信データ量を少なくすることができる。よって、通信遅延を抑制することができるため、ＶＲゴーグル３が、応答性の高い表示を行うことができる。
【００５０】
特に、撮像部２が、車両４の周囲３６０°を撮像可能な場合、撮像画像の一部を送信画像として切り出すことで、画像サイズを小さくすることができる。よって、解像度を落とさずに送信画像を送信することができる。また、ＶＲゴーグル３側で圧縮画像を伸張する処理時間を短縮することができる。低遅延で高画質の配信が可能となり、リアルタイム性を高くすることができる。
【００５１】
また、送信画像生成部１０４は、姿勢情報に基づいて、切り出し位置を決定している。送信画像生成部１０４は、姿勢情報に基づいて、撮像画像において送信画像を切り出す画素アドレスを算出する。具体的には、ＶＲゴーグル３が検出したユーザの頭部の向きが正面方向であった場合、送信画像生成部１０４は、アウトカメラ２１２による撮像画像の中心部を切り出し位置とする。ＶＲゴーグル３が検出したユーザの頭部の向きが後方であった場合、つまりユーザが後方を向いた場合、送信画像生成部１０４は、インカメラ２１１による撮像画像の中心部を切り出し位置とする。また３６０°カメラの映像を切り出す場合、ユーザの頭部の向きに応じて切り出し位置の中心を上下左右に自在に変更することができる。したがって、送信画像生成部１０４は、ＶＲゴーグル３を装着したユーザが見たい方向の景色を送信画像として生成することができる。よって、ユーザは助手席に座った状態で、運転者と一緒に旅行しているような体験をすることができる。さらに、ＶＲゴーグル３のユーザが、車両４の運転者又は搭乗者と音声通話により会話を行うようにしてもよい。これにより、ユーザによる道案内や観光案内などのアドバイスを運転者又は搭乗者が受けることができる。さらに、運転者が気づきにくい運転上の危険をユーザが指摘することができる。
【００５２】
また、ＶＲゴーグル３を装着したユーザが後方を向いた場合、送信画像生成部１０４は、インカメラ２１１による撮像画像に切り替えてもよい。つまり、ユーザが後方を向いた場合、送信画像生成部１０４は、運転室内を撮像した撮像画像を送信画像としてもよい。
【００５３】
なお、上記の説明では、姿勢情報又は車両情報に基づいて送信画像を生成する例を別々に説明したが、送信画像生成部１０４は、姿勢情報及び車両情報の両方に基づいて送信画像を生成してもよい。この場合、例えば、送信画像生成部１０４が、車両の前進動作中においては姿勢情報に基づいて送信画像を生成し、車両の停止中においては車両情報に基づいて送信画像を生成してもよい。図６に示すような送信画像の切り出し位置を調整すればよい。
【００５４】
実施の形態１にかかる画像処理方法について、図７を用いて説明する。図７は、画像処理方法のフローチャートである。まず、撮像画像取得部１０１が撮像部２が撮像した撮像画像を取得する（Ｓ１１）。車両情報取得部１０２が車両情報を取得する（Ｓ１２）。姿勢情報取得部１０３がＶＲゴーグル３のユーザの姿勢情報を取得する（Ｓ１３）。
【００５５】
送信画像生成部１０４が撮像画像から送信画像を生成する（Ｓ１４）。つまり、送信画像生成部１０４は、車両情報又は姿勢情報に基づいて撮像画像を加工する。例えば、送信画像生成部１０４は、複数の撮像画像から１つの送信画像を選択する。あるいは、送信画像生成部１０４は、撮像画像の一部を切り出して送信画像を生成する。具体的な加工処理については、上記と同様であるため説明を省略する。これにより、送信画像が生成される。通信部１０５は、送信画像を送信する（Ｓ１５）。
【００５６】
画像処理装置１００が上記の処理を繰り返すことで、ＶＲゴーグル３が動画像を表示することができる。よって、ユーザは、車両４に同乗しているかのような疑似体験をすることができる。画像処理装置１００は、高画質の送信画像を低遅延で送信することが可能であり、リアルタイム性を高くすることができる。また、撮像画像のフレーム間隔が、車両情報及び姿勢情報の更新間隔と一致していない場合、画像処理装置１００は、最新の車両情報及び姿勢情報を用いて、送信画像を生成すればよい。また、送信画像生成部１０４は、姿勢情報及び車両情報の一方のみに基づいて、送信画像を生成してもよい。
【００５７】
実施の形態２．
実施の形態２では、車両情報取得部１０２が、車両情報として車両の速度を示す速度情報を取得している。例えば、車両情報取得部１０２は、ＣＡＮから出力された車速パルスを用いて速度情報を取得することができる。あるいは、車両４又はスマートホン２１０に設けられた加速度センサと通信することによって、車両情報取得部１０２が速度情報を取得してもよい。
【００５８】
図８は、本実施の形態に係る撮像部２の配置例を示す図である。本実施の形態では、スマートホン２１０の代わりにドライブレコーダ２２０が設けられている。ドライブレコーダ２２０は、フロントガラスであるウィンドシールド１４に設置されている。撮像部２がドライブレコーダ２２０のカメラ２２１を備えている。カメラ２２１は、実施の形態１のアウトカメラ２１２と同様に前方の景色を撮像している。図９は、カメラ２２１による撮像画像を示す図である。
【００５９】
送信画像生成部１０４は、速度情報に応じて、切り出す画像の範囲、例えば、切り出す画像サイズ（切り出しサイズともいう）を変更する。図９は、速度Ｖ１の場合の送信画像６１と、速度Ｖ２の場合の送信画像６２を示す。速度Ｖ１は、速度Ｖ２よりも速い速度であり、送信画像６１は、送信画像６２よりも小さい画像サイズである。送信画像生成部１０４は、速度情報が示す車両速度が速くなるほど、切り出す画像サイズを小さくする。このようにすることで、臨場感の高い表示画像を得ることができる。なお、送信画像６１と送信画像６２は、縦横比が同じであるが、縦×横の画素数が異なっている。このとき、切り出した送信画像６１、６２の中心点は同一であることが好ましい。送信画像６１，６２の中心点は、姿勢情報により、ユーザが注視している点または注視している領域の中心部であることがより好ましい。
【００６０】
また、車両の移動速度が速くなるほど、通信が不安定となり、通信速度が低下するおそれがある。また、車両の速度が速くなるほど、送信画像がＭＰＥＧ（Moving Picture Experts Group）エンコーダ等により圧縮されて、送信されている場合には。撮像画像の変化が大きくなり、画像圧縮した圧縮データのデータサイズが大きくなるおそれがある。よって、車両速度が速くなるほど、切り出しサイズを小さくすることで、通信遅延を抑制することができる。ＶＲゴーグル３がリアルタイム性の高い表示を行うことができる。
【００６１】
また、送信画像生成部１０４は、速度情報に応じて、切り出す画像の範囲、例えば、切り出し位置を変更してもよい。例えば、送信画像生成部１０４は、速度情報に応じて、撮像画像における送信画像の切り出し位置を上下方向に変更することができる。図１０は、速度Ｖ１の場合の送信画像６１と、速度Ｖ２の場合の送信画像６２を示す。速度Ｖ１は、速度Ｖ２よりも速い速度であり、送信画像６１は、送信画像６２よりも上方にある。送信画像生成部１０４は、速度情報が示す車両速度が速くなるほど、切り出し位置を上方にする。このようにすることで、車両速度が速いほど、より車両４から遠い位置を撮像した送信画像を生成することができる。よって、より臨場感の高い表示画像を得ることができる。
【００６２】
送信画像生成部１０４は、車両速度が速くなるほど、切り出し位置を上方にしている。このようにすることで、通信遅延を抑制することができる。例えば、車両速度が速くなると、送信画像に道路が含まれなくなる。送信画像がＭＰＥＧエンコーダ等により圧縮されて、送信されているとする。道路を含まない送信画像は画像の変化量が少ないため、圧縮率は、画像の変化量が大きい道路を含む送信画像の圧縮率よりも高くなる。よって、画像処理装置１００が道路を含まない送信画像を圧縮することで、より送信画像のデータ量を小さくすることができる。また、車両の移動速度が速くなるほど、画像の変化量が大きい道路を注視することにより、ユーザの眩暈などの不具合が生じる可能性が高くなるため、切り出し位置を情報にすることが好ましい。また、送信画像は道路を全く含んでいない画像であっても、一部含んだ画像であってもよい。送信画像における道路の領域を小さくすることで、より高い圧縮率で送信画像を生成することができる。これにより、通信遅延を抑制することができ、ＶＲゴーグル３がリアルタイム性の高い表示を行うことができる。
【００６３】
上記の説明では、送信画像生成部１０４が、速度情報に応じて、画像サイズ、及び切り出し位置を変更する例を別々に説明したが、送信画像生成部１０４は、速度情報に応じて画像サイズ及び切り出し位置の両方を変更してもよい。たとえば、速度情報が示す車両速度が速くなるほど、画像サイズを小さくし、かつ切り出し位置を上方にしてもよい。
【００６４】
実施の形態２と実施の形態１とを組み合わせてもよい。例えば、送信画像生成部１０４は、姿勢情報と速度情報とに基づいて、切り出し位置を決定することができる。
【００６５】
実施の形態３．
実施の形態３では、車両情報取得部１０２が、車両情報として車両の加速度を示す加速度情報を取得している。例えば、車両情報取得部１０２は、ＣＡＮから出力された車速パルスを用いて加速度情報を取得することができる。あるいは、車両４又はスマートホン２１０に設けられた加速度センサによって、車両情報取得部１０２が加速度情報を取得してもよい。
【００６６】
送信画像生成部１０４は、加速度情報に応じて、切り出す画像サイズを変更する。送信画像生成部１０４は、加速度が大きくなるほど、送信画像の画像サイズを小さくする。図９において、送信画像６１は加速度Ａ１の場合の送信画像であり、送信画像６２は加速度Ａ２の場合の送信画像である。なお、加速度Ａ１は、加速度Ａ２よりも大きくなっている。
【００６７】
このように、加速度情報に応じて画像サイズ（切り出しサイズ）を変更することで、ＶＲゴーグル３が、より臨場感の高い表示画像を表示することができる。例えば、車両４の発進時には、加速度が大きくなるため、より小さい画像サイズとなる。ＶＲゴーグル３を装着したユーザは、高い臨場感で表示画像を視認することができる。
【００６８】
あるいは、送信画像生成部１０４は、加速度情報に応じて、切り出し位置を変更してもよい。送信画像生成部１０４は、加速度が大きくなるほど、送信画像の切り出し位置を上方にする。図１０において、送信画像６１は加速度Ａ１の場合の送信画像であり、送信画像６２は加速度Ａ２の場合の送信画像である。なお、加速度Ａ１は、加速度Ａ２よりも大きくなっている。
【００６９】
このように、加速度情報に応じて切り出し位置を変更することで、ＶＲゴーグル３が、より臨場感の高い表示画像を表示することができる。例えば、車両４の発進時には、加速度が大きくなるため、切り出し位置がより上方となる。ＶＲゴーグル３を装着したユーザは、高い臨場感で表示画像を視認することができる。
【００７０】
上記の説明では、送信画像生成部１０４が、速度情報、又は加速度情報に応じて、画像サイズ、及び切り出し位置を変更する例を別々に説明したが、送信画像生成部１０４は、加速度情報又は速度情報に応じて画像サイズ及び切り出し位置の両方を変更してもよい。たとえば、速度情報が示す車両速度が速くなるほど、あるいは、加速度情報が示す加速度が大きくなるほど、画像サイズを小さくし、かつ切り出し位置を上方にしてもよい。さらに、加速度情報、及び速度情報の両方に応じて、送信画像生成部１０４が撮像画像を加工してもよい。
【００７１】
実施の形態３は、実施の形態１とを組み合わせてもよい。例えば、送信画像生成部１０４は、姿勢情報と加速度情報とに基づいて、切り出し位置を決定することができる。
【００７２】
実施の形態４．
実施の形態４にかかる画像処理システムでは、撮像部２が複数のカメラを有している。撮像部２でのカメラの配置例について、図１１を用いて説明する。図１１は、車両４を上面から見た模式図である車両４の周囲３６０°全体をカバ−するために、撮像部２は、フロントカメラ２３１，リアカメラ２３２，左サイドカメラ２３３、及び右サイドカメラ２３４を備えている。図１１は、フロントカメラ２３１，リアカメラ２３２，左サイドカメラ２３３、及び右サイドカメラ２３４の撮像範囲を破線で示してる。
【００７３】
フロントカメラ２３１、リアカメラ２３２、左サイドカメラ２３３、及び右サイドカメラ２３４は広い撮像範囲をカバーするために広角カメラとなっている。撮像部２は、車両４の周囲全体を撮像する。
【００７４】
フロントカメラ２３１は、車両４の前方を撮像し、リアカメラ２３２は車両４の後方を撮像する。左サイドカメラ２３３は、車両４の左側を撮像し、右サイドカメラ２３４は、車両４の右側を撮像する。フロントカメラ２３１の撮像範囲の一部は、左サイドカメラ２３３の撮像範囲の一部と重複している。フロントカメラ２３１の撮像範囲の一部は、右サイドカメラ２３４の撮像範囲の一部と重複している。同様に、リアカメラ２３２の撮像範囲の一部は、左サイドカメラ２３３の撮像範囲の一部、並びに右サイドカメラ２３４の撮像範囲の一部と重複している。
【００７５】
姿勢情報取得部１０３は、ユーザの姿勢を示す姿勢情報を取得する。ここでは、ユーザが左斜め前方を向いているとする。このとき、送信画像で表示すべき範囲を図１１に示すように範囲６５とする。範囲６５の左右両端を左端６６Ｌ、右端６６Ｒとする。範囲６５は、フロントカメラ２３１による撮像範囲の一部と、左サイドカメラ２３３による撮像範囲の一部とを含んでいる。範囲６５の左端６６Ｌは、左サイドカメラ２３３の撮像範囲のみに含まれ、右端６６Ｒはフロントカメラ２３１の撮像範囲のみに含まれている。
【００７６】
送信画像生成部１０４は、フロントカメラ２３１の撮像画像の一部を切り出す。具体的には、送信画像生成部１０４は、フロントカメラ２３１の撮像範囲の左側にある切り出し範囲６７で撮像画像を切り出している。また、送信画像生成部１０４は、左サイドカメラ２３３の撮像画像の一部を切り出す。具体的には、送信画像生成部１０４は、左サイドカメラ２３３の撮像画像の前側にある切り出し範囲６８で撮像画像を切り出している。切り出し範囲６７と切り出し範囲６８は一部重複している。送信画像生成部１０４は、切り出した２つの切り出し画像を合成して、送信画像としている。
【００７７】
送信画像生成部１０４が、２つの撮像画像を合成している。すなわち、２つのカメラで撮像された撮像画像を送信画像生成部１０４が合成して、送信画像としている。また、送信画像生成部１０４は、一方のカメラの撮像画像の一部を切り出して、他方のカメラの撮像画像の全体と合成してもよい。もちろん、合成する２つの撮像画像は同期している。すなわち、送信画像生成部１０４は、同じタイミングにおいて異なるカメラで撮像された２つの撮像画像を合成している。さらには、送信画像生成部１０４は、３つ以上のカメラの撮像画像を合成することで、送信画像を生成してもよい。
【００７８】
上記の実施の形態１〜４は適宜組み合わせることが可能である。送信画像生成部１０４は、車両情報に基づいて、撮像画像の一部を切り出すこと、及び複数の撮像画像から送信画像を選択すること、複数の撮像画像を合成することの少なくとも一つを行うことで、送信画像を生成することができる。このようにすることで、画像処理装置１００が車両４の動作に応じた画像を送信することができる。また、送信画像のデータ量を削減することができるため、ＶＲゴーグル３において高画質でリアルタイム性の高い表示が可能になる。
【００７９】
上記の実施の形態では、送信画像生成部１０４は、姿勢情報に基づいて、撮像画像における切り出し位置を決定したが、姿勢情報以外の情報に基づいて、切り出し位置を決定してもよい。例えば、ユーザが、マイクによる音声入力やボタン等による操作入力によって、見たい方向を変えるようにしてもよい。つまり、ユーザが音声入力や操作入力によって見たい方向を指定すると、送信画像生成部１０４は、その方向が送信画像に含まれるように切り出し位置を変更する。さらには、ユーザによる音声入力や操作入力により、カメラ切り替えや、画像サイズ変更を行ってもよい。
【００８０】
画像処理装置１００、及びＶＲゴーグル３は、ＣＰＵ（Central Processing Unit）等のプロセッサ、メモリ等の記憶装置、ユーザインタフェース及び各種周辺回路によって構成されている。つまり、画像処理装置１００及びＶＲゴーグル３は、コンピュータとしての機能を有する。また、画像処理装置１００は、記憶装置に格納されたプログラムをプロセッサが実行することによって、撮像画像取得部１０１、車両情報取得部１０２、姿勢情報取得部１０３、送信画像生成部１０４、及び通信部１０５といった構成要素を実現してもよい。ＶＲゴーグル３は、記憶装置に格納されたプログラムをプロセッサが実行することによって、表示部３１、姿勢検出部３２、制御部３３、通信部３５といった構成要素を実現してもよい。
【００８１】
また、画像処理装置１００、及びＶＲゴーグル３の各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、画像処理装置１００の各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このことは、後述する他の実施の形態においても同様である。
【００８２】
また、上記の表示制御方法を実行するためのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【００８３】
１  システム
２  撮像部
３  ＶＲゴーグル
４  車両
５  サーバ装置
６  ネットワーク
３１  表示部
３２  姿勢検出部
３３  制御部
３５  通信部
５０  撮像画像
６１  送信画像
６２  送信画像
１００  画像処理装置
１０１  撮像画像取得部
１０２  車両情報取得部
１０３  姿勢情報取得部
１０４  送信画像生成部
１０５  通信部
２１０  スマートホン
２１１  インカメラ
２１２  アウトカメラ
２２０  ドライブレコーダ
２２１  カメラ
２３１  フロントカメラ
２３２  リアカメラ
２３３  左サイドカメラ
２３４  右サイドカメラ
【図１】
2020145612.tif 000003
【図２】
2020145612.tif 000004
【図３】
2020145612.tif 000005
【図４】
2020145612.tif 000006
【図５】
2020145612.tif 000007
【図６】
2020145612.tif 000008
【図７】
2020145612.tif 000009
【図８】
2020145612.tif 000010
【図９】
2020145612.tif 000011
【図１０】
2020145612.tif 000012
【図１１】
2020145612.tif 000013