(57)【要約】【課題】特定の画像を注視するように、ユーザに促すことができ、撮影した方向を直感的に理解させることができる画像処理装置を提供する。【解決手段】画像処理装置は、移動体の周囲の画像を撮影する画像撮影部と、画像撮影部によって撮影された画像を表示領域ＨＲに表示する際、表示領域ＨＲにおける画像の配置を設定する画像配置部とを備えている。画像撮影部は、移動体の前方を撮影した前方画像ＧＺと、移動体の後方を撮影した後方画像ＧＫと、移動体の左方を撮影した左方画像ＧＳと、移動体の右方を撮影した右方画像ＧＵとの４つの画像を出力する。画像配置部は、４つの画像のうち、３つの画像（左方画像ＧＳ、後方画像ＧＫ、および右方画像ＧＵ）を横方向Ｘで並べた組合位置に配置し、残り１つの画像（前方画像ＧＺ）を組合位置とは縦方向Ｙで異なる単独位置に配置する。【選択図】図４
2017123627.tif 000002
【特許請求の範囲】
【請求項１】
搭載された機器の周囲の画像を撮影する画像撮影部と、
前記画像撮影部によって撮影された画像を表示領域に表示する際、前記表示領域における画像の配置を設定する画像配置部とを備えた画像処理装置であって、
前記画像撮影部は、前記機器の周囲を撮影した３つ以上の複数の画像を出力する構成とされ、
前記画像配置部は、前記複数の画像のうち、２つ以上の画像を予め設定された組合方向で並べた組合位置に配置し、残り１つの画像を、前記組合位置に対し前記組合方向と直交する方向で異なる単独位置に配置すること
を特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記組合方向は、横方向とされ、
前記単独位置は、前記組合位置に対して縦方向で異なる位置とされていること
を特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置であって、
前記機器は、走行面を走行する移動体とされていること
を特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記画像配置部は、前記移動体の進行方向を撮影した画像を前記単独位置に配置すること
を特徴とする画像処理装置。
【請求項５】
請求項３または請求項４に記載の画像処理装置であって、
前記画像配置部は、前記複数の画像のうち、前記移動体の進行方向を撮影した画像を他の画像より大きく配置すること
を特徴とする画像処理装置。
【請求項６】
請求項３から請求項５までのいずれか１つに記載の画像処理装置であって、
前記表示領域は、前記複数の画像が配置される画像領域と、前記移動体の進行方向に基づく表示が配置される移動体領域とが設けられ、
前記画像配置部は、前記移動体の進行方向を示す進行方向表示と、前記移動体への進行方向の指示を示す方向指示表示とを前記移動体領域に配置すること
を特徴とする画像処理装置。
【請求項７】
請求項１から請求項６までのいずれか１つに記載の画像処理装置であって、
前記画像撮影部は、前記機器の前方を撮影した前方画像と、前記機器の後方を撮影した後方画像と、前記機器の左方を撮影した左方画像と、前記機器の右方を撮影した右方画像との４つの画像を出力する構成とされていること
を特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置であって、
前記組合方向が横方向とされているとき、
前記画像配置部は、前記左方画像を前記組合位置のうち、左方に配置し、前記右方画像を前記組合位置のうち、右方に配置すること
を特徴とする画像処理装置。
【請求項９】
請求項７に記載の画像処理装置であって、
前記画像配置部は、前記前方画像、前記左方画像、前記後方画像、および前記右方画像を前記組合位置に配置する際、予め設定された順に並べること
を特徴とする画像処理装置。
【請求項１０】
請求項１から請求項９までのいずれか１つに記載の画像処理装置であって、
ユーザからの指示を受けて、前記表示領域における画像の配置を指定する配置指定部を備え、
前記画像配置部は、前記配置指定部によって指定された画像を前記単独位置に配置すること
を特徴とする画像処理装置。
【請求項１１】
請求項１から請求項１０までのいずれか１つに記載の画像処理装置であって、
前記画像配置部は、前記組合位置において隣接する画像を繋げる処理を施すこと
を特徴とする画像処理装置。
【請求項１２】
請求項１から請求項１１までのいずれか１つに記載の画像処理装置であって、
前記画像配置部は、画像を水平方向で反転させる処理を施すこと
を特徴とする画像処理装置。
【請求項１３】
請求項１から請求項１２までのいずれか１つに記載の画像処理装置を備えた画像処理システムであって、
前記機器は、走行面を走行する移動体とされ、通信を介して前記画像配置部によって配置が設定された画像を送信すること
を特徴とする画像処理システム。
【請求項１４】
搭載された機器の周囲の画像を撮影する画像撮影部を備え、走行面を走行する移動体であって、
前記画像撮影部によって撮影された画像を表示領域に表示する際、前記表示領域における画像の配置を設定する画像配置部を備え、
前記画像撮影部は、前記機器の周囲を撮影した３つ以上の複数の画像を出力する構成とされ、
前記画像配置部は、前記複数の画像のうち、２つ以上の画像を横方向で並べた組合位置に配置し、残り１つの画像を前記組合位置とは縦方向で異なる単独位置に配置すること
を特徴とする移動体。
【請求項１５】
搭載された機器の周囲の画像を撮影する画像撮影部を備えた画像処理装置における画像処理方法であって、
画像配置部に、前記画像撮影部によって撮影された画像を表示領域に表示する際、前記表示領域における画像の配置を設定させる画像配置ステップを含み、
前記画像撮影部は、前記機器の周囲を撮影した３つ以上の複数の画像を出力する構成とされ、
前記画像配置ステップは、前記複数の画像のうち、２つ以上の画像を横方向で並べた組合位置に配置し、残り１つの画像を前記組合位置とは縦方向で異なる単独位置に配置すること
を特徴とする画像処理方法。
【請求項１６】
請求項１５に記載の各ステップをコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、搭載された機器の周囲を撮影した画像に対して処理を施す画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
近年、走行面を自律走行する移動ロボットは、周囲の画像を撮影するカメラを搭載することで、ユーザに代わって広範囲を監視する用途に用いられている。移動ロボットや車両などにカメラを搭載した際、カメラを設けた位置によって死角が生じてしまうので、複数のカメラを用いて、死角となる領域を補っている（例えば、特許文献１参照。）。
【０００３】
また、移動ロボットを用いてユーザが監視する際には、複数の画像を同時に視認できることが望ましく、複数のカメラによって撮影された画像を表示装置に同時に表示する方法として、様々な配置が考えられている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１６６１９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の車両周辺監視装置は、車両周辺の近景を撮影する近景カメラと、車両周囲の遠景を撮影する遠景カメラと、車載カメラによって取得された画像を１つの画像に合成処理する画像処理コントローラと、合成画像を画面上に映し出すモニタとを備え、遠景カメラの死角となる領域に近景カメラの画像を組み合わせる。これによって、隣接する画像間のつなぎ目に二重写りが生じることを抑えながら、近景と遠景との連続的な車両周囲画像を生成している。
【０００６】
しかしながら、上述した車両周辺監視装置では、複数の画像が連続的に合成されているため、画像と対応する車載カメラとを判別することができない。そのため、モニタに表示された画像が、車両に対して、いずれの方向を撮影したものかを理解することが困難だという課題がある。
【０００７】
本発明は、上記の課題を解決するためになされたものであり、特定の画像を注視するように、ユーザに促すことができ、撮影した方向を直感的に理解させることができる画像処理装置、画像処理システム、移動体、画像処理方法、および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、搭載された機器の周囲の画像を撮影する画像撮影部と、前記画像撮影部によって撮影された画像を表示領域に表示する際、前記表示領域における画像の配置を設定する画像配置部とを備えた画像処理装置であって、前記画像撮影部は、前記機器の周囲を撮影した３つ以上の複数の画像を出力する構成とされ、前記画像配置部は、前記複数の画像のうち、２つ以上の画像を予め設定された組合方向で並べた組合位置に配置し、残り１つの画像を、前記組合位置に対し前記組合方向と直交する方向で異なる単独位置に配置することを特徴とする。
【０００９】
本発明に係る画像処理装置では、前記組合方向は、横方向とされ、前記単独位置は、前記組合位置に対して縦方向で異なる位置とされている構成としてもよい。
【００１０】
本発明に係る画像処理装置では、前記機器は、走行面を走行する移動体とされている構成としてもよい。
【００１１】
本発明に係る画像処理装置では、前記画像配置部は、前記移動体の進行方向を撮影した画像を前記単独位置に配置する構成としてもよい。
【００１２】
本発明に係る画像処理装置では、前記画像配置部は、前記複数の画像のうち、前記移動体の進行方向を撮影した画像を他の画像より大きく配置する構成としてもよい。
【００１３】
本発明に係る画像処理装置では、前記表示領域は、前記複数の画像が配置される画像領域と、前記移動体の進行方向に基づく表示が配置される移動体領域とが設けられ、前記画像配置部は、前記移動体の進行方向を示す進行方向表示と、前記移動体への進行方向の指示を示す方向指示表示とを前記移動体領域に配置する構成としてもよい。
【００１４】
本発明に係る画像処理装置では、前記画像撮影部は、前記機器の前方を撮影した前方画像と、前記機器の後方を撮影した後方画像と、前記機器の左方を撮影した左方画像と、前記機器の右方を撮影した右方画像との４つの画像を出力する構成としてもよい。
【００１５】
本発明に係る画像処理装置では、前記組合方向が横方向とされているとき、前記画像配置部は、前記左方画像を前記組合位置のうち、左方に配置し、前記右方画像を前記組合位置のうち、右方に配置する構成としてもよい。
【００１６】
本発明に係る画像処理装置では、前記画像配置部は、前記前方画像、前記左方画像、前記後方画像、および前記右方画像を前記組合位置に配置する際、予め設定された順に並べる構成としてもよい。
【００１７】
本発明に係る画像処理装置では、ユーザからの指示を受けて、前記表示領域における画像の配置を指定する配置指定部を備え、前記画像配置部は、前記配置指定部によって指定された画像を前記単独位置に配置する構成としてもよい。
【００１８】
本発明に係る画像処理装置では、前記画像配置部は、前記組合位置において隣接する画像を繋げる処理を施す構成としてもよい。
【００１９】
本発明に係る画像処理装置では、前記画像配置部は、画像を水平方向で反転させる処理を施す構成としてもよい。
【００２０】
本発明に係る画像処理システムは、本発明に係る画像処理装置を備え、前記機器は、走行面を走行する移動体とされ、通信を介して前記画像配置部によって配置が設定された画像を送信することを特徴とする。
【００２１】
本発明に係る移動体は、搭載された機器の周囲の画像を撮影する画像撮影部を備え、走行面を走行する移動体であって、前記画像撮影部によって撮影された画像を表示領域に表示する際、前記表示領域における画像の配置を設定する画像配置部を備え、前記画像撮影部は、前記機器の周囲を撮影した３つ以上の複数の画像を出力する構成とされ、前記画像配置部は、前記複数の画像のうち、２つ以上の画像を横方向で並べた組合位置に配置し、残り１つの画像を前記組合位置とは縦方向で異なる単独位置に配置することを特徴とする。
【００２２】
本発明に係る画像処理方法は、搭載された機器の周囲の画像を撮影する画像撮影部を備えた画像処理装置における画像処理方法であって、画像配置部に、前記画像撮影部によって撮影された画像を表示領域に表示する際、前記表示領域における画像の配置を設定させる画像配置ステップを含み、前記画像撮影部は、前記機器の周囲を撮影した３つ以上の複数の画像を出力する構成とされ、前記画像配置ステップは、前記複数の画像のうち、２つ以上を横方向で並べた組合位置に配置し、残り１つの画像を前記組合位置とは縦方向で異なる単独位置に配置することを特徴とする。
【００２３】
本発明に係る画像処理プログラムは、本発明に係る画像処理方法の各ステップをコンピュータに実行させることを特徴とする。
【発明の効果】
【００２４】
本発明によると、複数の画像のうち１つが独立して表示されるので、単独位置に配置された画像を注視するように、ユーザに促すことができ、画像撮影部が撮影した方向を直感的に理解させることができる。
【図面の簡単な説明】
【００２５】
【図１】周囲の画像を撮影する移動体の概略上面図である。
【図２】本発明の第１実施形態に係る画像処理装置の概略構成を示す概略構成図である。
【図３】本発明の第１実施形態に係る画像処理装置を用いた監視システムの概略構成を示す概略構成図である。
【図４】表示領域に表示される第１表示画像を示す説明図である。
【図５】第１表示画像の変形例である第２表示画像を示す説明図である。
【図６Ａ】従来の表示形式である第１比較画像を示す説明図である。
【図６Ｂ】従来の表示形式である第２比較画像を示す説明図である。
【図７】表示領域に表示される第３表示画像を示す説明図である。
【図８】表示領域に表示される第４表示画像を示す説明図である。
【図９】表示領域に表示される第５表示画像を示す説明図である。
【図１０】本発明の第５実施形態に係る画像処理装置を用いた監視システムの詳細な構成を示す構成図である。
【図１１Ａ】表示領域に表示される第６表示画像を示す説明図である。
【図１１Ｂ】表示領域に表示される第７表示画像を示す説明図である。
【図１２】表示領域に表示される第８表示画像を示す説明図である。
【発明を実施するための形態】
【００２６】
以下、本発明の第１実施形態に係る画像処理装置について、図面を参照して説明する。
【００２７】
図１は、周囲の画像を撮影する移動体の概略上面図である。
【００２８】
図１に示す移動体１は、予め設定された経路に沿って走行面を移動する四輪の車両である。移動体１は、通常、正面（図１では、上方）に向かって直進し、適宜進行方向を変更する。なお、以下では説明の簡略化のため、移動体１が正面に向かって直進する方向を直進方向Ｓと呼び、直進方向Ｓにおける前方を前方と省略し、移動体１の進行方向における後方（図１では、下方）を後方と省略することがある。また、直進方向Ｓに対して直交する方向のうち、一方を左方（図１では、左方）と呼び、他方を右方（図１では、右方）と呼ぶことがある。
【００２９】
移動体１は、周辺の画像を撮影する搭載カメラとして、移動体１の前方を撮影する前方カメラ２ａと、移動体１の右方を撮影する右方カメラ２ｂと、移動体１の後方を撮影する後方カメラ２ｃと、移動体１の左方を撮影する左方カメラ２ｄとの４つを備えている。４つの搭載カメラは、広角レンズを用いて、画像および映像を撮影する構成とされ、搭載カメラが向けられた方向に対し、上面視において、約１９０°で広がる範囲を撮影する。具体的に、前方カメラ２ａは、移動体１前方の前方範囲ＳＲ１を前方画像ＧＺ（後述する図４参照）として出力する。前方カメラ２ａと同様にして、右方カメラ２ｂは、移動体１右方の右方範囲ＳＲ２を右方画像ＧＵとして出力し、後方カメラ２ｃは、移動体１後方の後方範囲ＳＲ３を後方画像ＧＫとして出力し、左方カメラ２ｄは、移動体１左方の左方範囲ＳＲ４を左方画像ＧＳとして出力する。搭載カメラから出力された４つの画像は、後述する画像処理装置１０によって、同時に表示するように処理が施される。なお、搭載カメラで撮影する画像は、静止画に限定されず、動画であってもよい。また、以下では他の画像と区別するため、前方画像ＧＺ、後方画像ＧＫ、左方画像ＧＳ、および右方画像ＧＵを撮影画像と呼ぶことがある。
【００３０】
図２は、本発明の第１実施形態に係る画像処理装置の概略構成を示す概略構成図である。
【００３１】
本発明の第１実施形態に係る画像処理装置１０は、画像撮影部１１、画像表示部１２、画像配置部１３、および配置指定部１４を含む構成とされている。
【００３２】
画像撮影部１１は、搭載された機器（特に、移動体１）の周囲の画像を撮影する。本実施の形態では、搭載カメラ（前方カメラ２ａ、後方カメラ２ｃ、左方カメラ２ｄ、および右方カメラ２ｂ）が画像撮影部１１に相当する。なお、画像撮影部１１は、図１に示す構成だけに限定されず、搭載カメラの数や配置を変えてもよい。例えば、画像撮影部１１が３つの撮影画像を出力する際には、搭載カメラがそれぞれ移動体１の周囲に対し、少なくとも１２０°で広がる範囲を撮影する構成とすればよい。
【００３３】
画像表示部１２は、例えば、ディスプレイであって、画像撮影部１１によって撮影された画像を表示領域ＨＲに表示する。画像配置部１３は、表示領域ＨＲにおける画像の配置を設定する。すなわち、画像撮影部１１が出力した撮影画像を画像配置部１３が配置することで、画像表示部１２に表示される画像が決定される。なお、画像表示部１２が表示する表示画像の具体例については、後述する図４を参照して、詳細に説明する。
【００３４】
配置指定部１４は、ユーザからの指示を受けて、表示領域ＨＲにおける画像の配置を指定する。配置指定部１４は、例えば、キーやボタンなどを含む構成とされており、ユーザの入力を受けて画像を指定する。なお、画像の配置を指定する処理については、後述する第２実施形態に基づいて、詳細に説明する。
【００３５】
図３は、本発明の第１実施形態に係る画像処理装置を用いた監視システムの概略構成を示す概略構成図である。
【００３６】
上述した画像処理装置１０は、複数の移動体１を用いて、周辺を監視する監視システムに適用されている。具体的に、監視システム（画像処理システム）は、ネットワークＮＷを通じて接続された監視装置２０と複数の移動体１とで構成されている。つまり、移動体１によって撮影された画像は、監視装置２０へ送信され、監視装置２０のディスプレイに表示される。
【００３７】
なお、本発明はこれに限定されず、移動体１および監視装置２０のうち、いずれか一方だけで構成されていてもよく、監視装置２０に画像撮影部１１を設けてもよい。また、移動体１だけで構成する場合は、移動体１で撮影画像に画像処理を施し、外部へ画像を送信したり、画像を蓄積したりすればよい。上述した画像配置部１３および配置指定部１４は、図示しないＣＰＵに予め組み込まれたプログラムとして記憶され、記憶したプログラムを実行することにより、後述する処理を実行する。画像配置部１３および配置指定部１４を記憶するＣＰＵは、画像処理システムの構成に応じて、移動体１または監視装置２０のいずれか、あるいは両方に設けられていればよい。
【００３８】
図４は、表示領域に表示される第１表示画像を示す説明図である。
【００３９】
表示領域ＨＲは、縦方向Ｙよりも横方向Ｘが幅広の矩形状とされている。第１表示画像ＨＧ１には、前方画像ＧＺ、後方画像ＧＫ、左方画像ＧＳ、および右方画像ＧＵの４つの撮影画像が配置されている。そして、表示領域ＨＲにおいて、４つの撮影画像は、３つの撮影画像が横方向Ｘで並べた組合位置に配置され、残り１つの撮影画像が組合位置とは縦方向Ｙで異なる単独位置に配置されている。以下では説明のため、表示領域ＨＲのうち、縦方向Ｙで上方の領域を上段と呼び、縦方向Ｙで下方の領域を下段と呼ぶことがある。
【００４０】
第１表示画像ＨＧ１は、上段を単独位置として前方画像ＧＺが配置され、下段を組合位置として、左方画像ＧＳ、後方画像ＧＫ、および右方画像ＧＵが配置されている。つまり、移動体１の直進方向Ｓを撮影した前方画像ＧＺが単独位置に配置されている。また、前方画像ＧＺは、他の画像より大きく表示されている。表示領域ＨＲの下段には、左方画像ＧＳ、後方画像ＧＫ、および右方画像ＧＵの順に横方向Ｘの左方から並べられている。従って、左方画像ＧＳは、組合位置のうち、左方に配置され、右方画像ＧＵは、組合位置のうち、右方に配置されている。
【００４１】
なお、画像撮影部１１が撮影した撮影画像は、予め補正等の処理が施されていてもよい。つまり、広い範囲を撮影する広角カメラでは、画像の外縁部が湾曲するなどの歪みが生じたりするので、これを解消するための歪み補正を行っている。また、画像の配置位置に応じて、サイズを変更するクロッピング処理などを行ってもよい。次に、画像のサイズを変更する処理を施した変形例について説明する。
【００４２】
図５は、第１表示画像の変形例である第２表示画像を示す説明図である。
【００４３】
第２表示画像ＨＧ２は、第１表示画像ＨＧ１に対して、撮影画像のサイズが異なっている。第１表示画像ＨＧ１では、補正等の処理を施す前の画像の縦横比を維持しており、前方画像ＧＺ、後方画像ＧＫ、左方画像ＧＳ、および右方画像ＧＵが配置されていない余白が生じていた。これに対し、第２表示画像ＨＧ２では、撮影画像を拡大や移動させるなどして、前方画像ＧＺ、後方画像ＧＫ、左方画像ＧＳ、および右方画像ＧＵで表示領域ＨＲ全体を占めるようにしている。表示領域ＨＲの余白が無くなるように表示することで、撮影画像が大きくなり見易さを向上させることができる。
【００４４】
次に、本発明との比較のため、従来の表示形式を示す比較例１および比較例２について、図面を参照して説明する。
【００４５】
図６Ａは、従来の表示形式である第１比較画像を示す説明図である。
【００４６】
第１比較画像ＲＧ１では、４つの画像を区別することなく、縦横に並べられている。具体的には、表示領域ＨＲの左上に前方画像ＧＺが配置され、表示領域ＨＲの右上に右方画像ＧＵが配置され、表示領域ＨＲの左下に左方画像ＧＳが配置され、表示領域ＨＲの右下に後方画像ＧＫが配置されている。４つの画像は、全て同じサイズとされている。第１比較画像ＲＧ１では、表示領域ＨＲに対して、４つの画像を均等に割り当てているため、画像を大きく表示することができるが、カメラが撮影した方向と表示領域ＨＲでの配置位置とに関連がないため、方向を把握することが難しい。
【００４７】
図６Ｂは、従来の表示形式である第２比較画像を示す説明図である。
【００４８】
第２比較画像ＲＧ２では、４つの画像が横方向Ｘで一列に並べられている。なお、後方画像ＧＫは、第１後方分割画像ＧＫ１と第２後方分割画像ＧＫ２との２つに分割されている。具体的に、４つの画像は、表示領域ＨＲの左方から、第１後方分割画像ＧＫ１、左方画像ＧＳ、前方画像ＧＺ、右方画像ＧＵ、および第２後方分割画像ＧＫ２の順に並べられ、前方画像ＧＺが表示領域ＨＲの中央に配置されている。つまり、第２比較画像ＲＧ２は、４つの画像を並べてパノラマ状に示すような配置とされているため、画像同士が繋がっているような印象を与えることができる。しかしながら、表示領域ＨＲのサイズを考慮せずに、複数の画像が一列に並べられているため、画像のサイズが小さくなり、余白が大きくなってしまうことで、画像の見易さが損なわれてしまう。
【００４９】
上述したように、第１表示画像ＨＧ１では、複数の画像のうち１つが独立して表示されているので、単独位置に配置された画像（前方画像ＧＺ）を注視するように、ユーザに促すことができ、画像撮影部１１が撮影した方向を直感的に理解させることができる。この際、進行方向を示す画像が最も目立つ単独位置に配置されていれば、ユーザに移動体１の進行方向を視覚的に把握させることができる。また、画像を配置する位置だけに限らず、サイズを異ならせることで、前方画像ＧＺを際立たせることができる。さらに、表示領域ＨＲに配置する位置に関連付けることで、画像撮影部１１が撮影した方向を、ユーザにより明確に把握させることができる。本発明では、表示領域ＨＲを有効に利用しつつ、撮影方向を考慮した配置とすることで、画像自体の視認性と、方向の理解度の向上とを両立させている。なお、第１表示画像ＨＧ１では、４つの撮影画像を表示し、組合位置に３つの画像を並べて表示したが、撮影画像の数を変更した場合は、組合位置に配置する画像の数を変更すればよい。
【００５０】
本実施の形態では、前方画像ＧＺを大きくすることで、ユーザの注視を促していたが、これに限定されず、他の表示方法を取り入れてもよい。例えば、表示領域ＨＲの余白を黒色にして前方画像ＧＺだけを明るい色で縁取ったり、前方画像ＧＺを明滅させながら表示したり、丸や三角など移動体１の進行方向を示すマークを前方画像ＧＺに重ねて表示したりするなど、１つの画像だけ、他の画像と異なるように表示してもよい。
【００５１】
本発明に係る画像処理方法は、搭載された機器（例えば、移動体１）の周囲の画像を撮影する画像撮影部１１を備えた画像処理装置１０における画像処理方法であって、画像配置部１３に、画像撮影部１１によって撮影された画像を表示領域ＨＲに表示する際、表示領域ＨＲにおける画像の配置を設定させる画像配置ステップを含んでいる。画像撮影部１１は、機器の周囲を撮影した３つ以上の複数の画像を出力する構成とされている。画像配置ステップは、複数の画像のうち、２つ以上の画像を横方向Ｘで並べた組合位置に配置し、残り１つの画像を組合位置とは縦方向Ｙで異なる単独位置に配置する構成とされている。
【００５２】
（第２実施形態）
次に、本発明の第２実施形態に係る画像処理装置について、図面を参照して説明する。
【００５３】
図７は、表示領域に表示される第３表示画像を示す説明図である。
【００５４】
第２実施形態では、第１実施形態に対し、画像表示部１２に表示される内容が異なる構成とされている。なお、第２実施形態は、図１ないし図３に示す第１実施形態とほぼ同様の構成とされているので、説明を省略する。
【００５５】
第３表示画像ＨＧ３は、第１表示画像ＨＧ１に対して、撮影画像の配置が異なっている。具体的に、第３表示画像ＨＧ３は、上段を単独位置として後方画像ＧＫが配置され、下段を組合位置として、左方画像ＧＳ、前方画像ＧＺ、および右方画像ＧＵが配置されている。つまり、第３表示画像ＨＧ３は、第１表示画像ＨＧ１に対して、前方画像ＧＺと後方画像ＧＫとの位置を入れ換えた配置とされている。前方画像ＧＺは、他の画像より大きく表示されており、左方画像ＧＳおよび右方画像ＧＵは、前方画像ＧＺと縦方向Ｙで同じ幅とされている。なお、左方画像ＧＳおよび右方画像ＧＵのサイズを大きくしたことによって、表示領域ＨＲ内に収まらない部分については、クロッピング処理等で切り取っておけばよい。
【００５６】
上述したように、第３表示画像ＨＧ３は、左方画像ＧＳと右方画像ＧＵとを前方画像ＧＺに対して、横方向Ｘで隣接させており、自動車の中から外部を見た状態を模した配置とされている。この際、上段に配置された後方画像ＧＫは、バックミラーに相当する。このような配置とすることで、自動車に乗っているような感覚をユーザに与えることができ、カメラが撮影している方向の認識を容易にする。
【００５７】
（第３実施形態）
次に、本発明の第３実施形態に係る画像処理装置について、図面を参照して説明する。
【００５８】
図８は、表示領域に表示される第４表示画像を示す説明図である。
【００５９】
第３実施形態では、第１実施形態および第２実施形態に対し、画像表示部１２に表示される内容が異なる構成とされている。なお、第３実施形態は、図１ないし図３に示す第１実施形態とほぼ同様の構成とされているので、説明を省略する。
【００６０】
第４表示画像ＨＧ４は、第１表示画像ＨＧ１に対して、上段が組合位置とされ、下段が単独位置とされている点で異なっている。具体的に、第４表示画像ＨＧ４は、上段に左方画像ＧＳ、前方画像ＧＺ、および右方画像ＧＵが並べて配置され、下段に大きく表示された後方画像ＧＫが配置されている。ここで、移動体１は、後方へ進行しており、画像表示部１２は、移動体１の進行方向を示す後方画像ＧＫに注視させるような表示とされている。
【００６１】
本発明では、複数の表示方法を切り換える構成としてもよく、例えば、移動体１が前進している際には、第１表示画像ＨＧ１を表示し、移動体１の進行方向が後方へ変わると、第４表示画像ＨＧ４に表示を切り換えてもよい。表示する画像を適宜切り換えることで、移動体１の進行方向が変化したことを、ユーザに容易に把握させることができる。
【００６２】
（第４実施形態）
次に、本発明の第４実施形態に係る画像処理装置について、図面を参照して説明する。
【００６３】
図９は、表示領域に表示される第５表示画像を示す説明図である。
【００６４】
第４実施形態では、第１実施形態ないし第３実施形態に対し、画像表示部１２に表示される内容が異なる構成とされている。なお、第４実施形態は、図１ないし図３に示す第１実施形態とほぼ同様の構成とされているので、説明を省略する。
【００６５】
第５表示画像ＨＧ５は、第１表示画像ＨＧ１に対して、単独位置に配置されている撮影画像が異なっている。第４実施形態では、配置指定部１４によって指定された撮影画像を単独位置に配置しており、第５表示画像ＨＧ５は、右方画像ＧＵが指定された場合を示している。具体的に、第５表示画像ＨＧ５は、上段に大きく表示された右方画像ＧＵが配置され、下段に前方画像ＧＺ、左方画像ＧＳ、および後方画像ＧＫが並べて配置されている。なお、本発明において、単独位置に配置する撮影画像は、右方画像ＧＵだけに限定されず、他の撮影画像を配置してもよい。また、組合位置に配置する撮影画像は、単に配置を入れ換えるだけでなく、予め設定された順に並べて配置してもよい。具体的に、組合位置に配置する撮影画像は、前方画像ＧＺ、左方画像ＧＳ、後方画像ＧＫ、および右方画像ＧＵの順を維持するように、横方向Ｘで左方から並べられている。なお、右方画像ＧＵの右側には、前方画像ＧＺを配置すればよく、移動体１を中心にして視点を回転させるように、設定された順番を繰り返せばよい。
【００６６】
上述したように、本実施の形態では、移動体１の進行方向に拘わらず、ユーザが指定した撮影画像を目立たせる表示とされている。つまり、通常時には、第１表示画像ＨＧ１を表示し、ユーザが指定した際に、第５表示画像ＨＧ５などを表示する。したがって、撮影画像の配置を切り換えることで、ユーザが注視したい撮影画像を分かりやすく表示することができる。
【００６７】
（第５実施形態）
次に、本発明の第５実施形態に係る画像処理装置について、図面を参照して説明する。
【００６８】
図１０は、本発明の第５実施形態に係る画像処理装置を用いた監視システムの詳細な構成を示す構成図である。
【００６９】
第５実施形態では、第１実施形態ないし第４実施形態に対し、画像表示部１２に表示される内容が異なる構成とされている。なお、第５実施形態は、図１ないし図３に示す第１実施形態とほぼ同様の構成とされているので、概略の説明を省略する。
【００７０】
図３で示したように、監視システムでは、移動体１と監視装置２０とがネットワークを通じて接続されている。移動体１は、上述した画像撮影部１１に加えて、さらに、移動体通信部３、移動体画像配置部４、および走行制御部５を備えている。また、監視装置２０は、上述した画像表示部１２および配置指定部１４に加えて、監視通信部２１、監視画像配置部２２、および走行指示部２３を備えている。
【００７１】
移動体通信部３および監視通信部２１は、ネットワークＮＷを介して、互いの間で信号や画像などの情報を送受信している。なお、情報を送信する際には、圧縮して情報量を小さくすることで、通信における負荷などを軽減してもよい。また、圧縮された情報は、受信した際に、伸長して元の状態に戻せばよい。
【００７２】
移動体画像配置部４は、移動体１に設けられた画像配置部１３であって、撮影画像の配置を設定する。監視画像配置部２２は、監視装置２０に設けられた画像配置部１３であって、撮影画像の配置を設定する。なお、本実施の形態では、画像配置部１３を移動体１および監視装置２０の両方に設けた構成としたが、これに限定されず、いずれか一方に設けた構成としてもよい。
【００７３】
走行制御部５は、移動体１の進行方向や速度を制御する。走行指示部２３は、例えば、ジョイスティックなどのマニピュレータや、マウス、キー、およびボタンなどを含む構成とされており、ユーザから移動体１に対する指示を受け付ける。本実施の形態において、移動体１は、設定された経路を移動するように、進行方向や速度を決定しているが、ユーザからの指示を受けた際には、指示に基づいて移動するように制御される。つまり、ユーザは、画像表示部１２による視覚情報の助けを得ながら、走行指示部２３による指示を行うことで、移動体１の周囲の環境を認識しつつ、移動体１の走行制御を遠隔で実施することができる。
【００７４】
図１１Ａは、表示領域に表示される第６表示画像を示す説明図である。
【００７５】
第６表示画像ＨＧ６では、撮影画像が配置される画像領域ＰＲと、移動体１の進行方向に基づく表示が配置される移動体領域ＭＲとが設けられている。具体的に、画像領域ＰＲは、表示領域ＨＲの左上方寄りに設けられており、画像領域ＰＲ以外の部分が移動体領域ＭＲとされている。
【００７６】
画像領域ＰＲは、上述した第１表示画像ＨＧ１ないし第５表示画像ＨＧ５のような画像が表示される領域とされており、第６表示画像ＨＧ６では、第１表示画像ＨＧ１と同様の画像が表示されている。つまり、第６表示画像ＨＧ６の画像領域ＰＲでは、単独位置に前方画像ＧＺが配置され、組合位置に左方画像ＧＳ、後方画像ＧＫ、および右方画像ＧＵが順に並べて配置されている。
【００７７】
画像領域ＰＲに表示される画像は、画像配置部１３によって、適宜画像処理が施されていてもよい。具体的には、画像を水平方向で反転させるフリップ処理や、組合位置で隣接する画像を繋げるパノラマ処理などが施される。フリップ処理では、例えば、後方画像ＧＫを反転させた鏡像とすることで、自動車のバックミラーに相当する画像を表示することができる。また、パノラマ処理では、隣接する画像の重複する部分などを除去して繋げている。このように、画像処理を施すことで、多様な表示方法を実現でき、ユーザが直感的に理解しやすい表示とすることができる。
【００７８】
移動体領域ＭＲには、移動体１の進行方向を示す進行方向表示３１と、移動体１への進行方向の指示を示す方向指示表示３２とが表示されている。
【００７９】
進行方向表示３１は、上面視した移動体１を模した図形である移動体図形３１ａと、向きを示す矢符を模した図形である進行方向図形３１ｂとで構成されている。移動体図形３１ａは、上方が移動体１の正面を示している。第６表示画像ＨＧ６において、進行方向図形３１ｂは、移動体図形３１ａの上方に配置されており、矢符の向きが上方とされている。つまり、進行方向表示３１では、移動体図形３１ａと、上方へ向けられた進行方向図形３１ｂとを併せて表示することで、移動体１の進行方向が前方であることを示している。なお、進行方向表示３１は、これに限定されず、移動体１の進行方向がいずれであるかを明確に示すものであればよく、図形に限らず、文字などで示してもよい。
【００８０】
方向指示表示３２は、上下左右の４方向を向いた矢符を模した図形である指示入力図形３２ａと、指示入力図形３２ａの向きを示す指示方向図形３２ｂとで構成されている。指示入力図形３２ａは、走行指示部２３からの入力に対応しており、矢符の上下左右が進行方向の指示における「前方」、「後方」、「左方」、および「右方」に相当する。第６表示画像ＨＧ６では、指示入力図形３２ａの上方に指示方向図形３２ｂが配置されており、指示入力図形３２ａの矢符における上方が「前方」に相当することを示している。この場合では、例えば、走行指示部２３で上方に相当する入力を行った際、移動体１に対して、「前方」を進行方向とすることが指示される。なお、方向指示表示３２は、これに限定されず、移動体１への進行方向の指示と、走行指示部２３での入力との対応関係を明確に示すものであればよく、図形に限らず、文字などで示してもよい。また、指示方向図形３２ｂは、「前方」を示すものだけに限らず、「前方」、「後方」、「左方」、および「右方」の全てに対応して配置されていてもよい。
【００８１】
上述したように、移動体１の周囲を示す画像と併せて、移動体１の進行方向や、走行指示部２３で入力した際の方向などを表示することで、ユーザによる移動体１の遠隔制御を補助することができる。
【００８２】
図１１Ｂは、表示領域に表示される第７表示画像を示す説明図である。
【００８３】
第７表示画像ＨＧ７は、第６表示画像ＨＧ６に対して、画像や図形の配置が異なっている。具体的に、画像領域ＰＲでは、単独位置に後方画像ＧＫが配置され、組合位置に右方画像ＧＵ、前方画像ＧＺ、および左方画像ＧＳが順に並べて配置されている。つまり、第７表示画像ＨＧ７の画像領域ＰＲでは、第５表示画像ＨＧ５のように、組合位置に配置された撮影画像が予め設定された順に並べて配置されている。
【００８４】
進行方向表示３１では、進行方向図形３１ｂが、移動体図形３１ａの下方に配置されており、矢符の向きが下方とされている。つまり、第７表示画像ＨＧ７では、移動体１の進行方向が後方であることを示している。
【００８５】
方向指示表示３２では、指示入力図形３２ａの下方に指示方向図形３２ｂが配置されており、指示入力図形３２ａの矢符における下方が「前方」に相当することを示している。
【００８６】
上述したように、第６表示画像ＨＧ６では、画像領域ＰＲにおいて、前方画像ＧＺが上方の単独位置に配置され、進行方向表示３１および方向指示表示３２では、上方と「前方」とを対応させて表示している。このように、画像配置部１３によって、画像領域ＰＲの表示に対応するように、移動体領域ＭＲの表示を設定し、画像領域ＰＲと移動体領域ＭＲとで方向を揃えることで、ユーザが直感的に理解しやすい配置としている。また、第７表示画像ＨＧ７を表示すれば、移動体１の進行方向が後方へ変わった際に、素早く対応することができる。
【００８７】
（第６実施形態）
次に、本発明の第６実施形態に係る画像処理装置について、図面を参照して説明する。
【００８８】
図１２は、表示領域に表示される第８表示画像を示す説明図である。
【００８９】
第６実施形態では、第１実施形態ないし第５実施形態に対し、組合位置に配置される画像の並べられる方向が異なる。なお、第５実施形態は、図１ないし図３に示す第１実施形態とほぼ同様の構成とされているので、説明を省略する。
【００９０】
本実施の形態の表示領域ＨＲにおいて、４つの撮影画像は、３つの撮影画像が縦方向Ｙ（組合方向）で並べた組合位置に配置され、残り１つの撮影画像が組合位置とは横方向Ｘ（組合方向と直交する方向）で異なる単独位置に配置されている。つまり、複数の撮影画像が並べられる方向は、横方向Ｘだけに限らず、縦方向Ｙとされていてもよく、画像の配置を適宜設定することで、表現の自由度を向上させることができる。
【００９１】
第８表示画像ＨＧ８は、右側が組合位置とされ、左側が単独位置とされている。具体的に、第８表示画像ＨＧ８は、前方画像ＧＺ、右方画像ＧＵ、および後方画像ＧＫが上から順に並べて配置され、左方寄りに大きく表示された左方画像ＧＳが配置されている。
【００９２】
上述した第４実施形態では、通常時に第１表示画像ＨＧ１を表示し、ユーザが指定した際に、組合方向を変えることなく、第５表示画像ＨＧ５を表示していたが、これに限定されず、組合方向を変えて、第８表示画像ＨＧ８を表示させてもよい。このように、カメラが撮影した方向と表示領域ＨＲでの配置位置とを関連付けることで、ユーザが方向を直感的に理解できる表示とすることができる。また、第８表示画像ＨＧ８を表示するのは、ユーザが指定した際だけに限らず、適宜状況に応じて設定することができる。
【００９３】
また、第１実施形態ないし第６実施形態に記載した画像処理方法は、画像処理プログラムとして、例えば、フラッシュメモリ、光ディスク、磁気ディスク、磁気テープ、および光磁気ディスク等の記録媒体に記憶させてもよい。この記録媒体を用いれば、コンピュータに画像処理プログラムをインストールすることができる。
【００９４】
なお、今回開示した実施の形態は全ての点で例示であって、限定的な解釈の根拠となるものではない。従って、本発明の技術的範囲は、上記した実施の形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれる。
【符号の説明】
【００９５】
１  移動体
１０  画像処理装置
１１  画像撮影部
１２  画像表示部
１３  画像配置部
１４  配置指定部
２０  監視装置
ＧＫ  後方画像
ＧＳ  左方画像
ＧＵ  右方画像
ＧＺ  前方画像
ＨＲ  表示領域
Ｓ  直進方向
Ｘ  横方向
Ｙ  縦方向
【図１】
2017123627.tif 000003
【図２】
2017123627.tif 000004
【図３】
2017123627.tif 000005
【図４】
2017123627.tif 000006
【図５】
2017123627.tif 000007
【図６Ａ】
2017123627.tif 000008
【図６Ｂ】
2017123627.tif 000009
【図７】
2017123627.tif 000010
【図８】
2017123627.tif 000011
【図９】
2017123627.tif 000012
【図１０】
2017123627.tif 000013
【図１１Ａ】
2017123627.tif 000014
【図１１Ｂ】
2017123627.tif 000015
【図１２】
2017123627.tif 000016