(57)【要約】【課題】表示領域を意図した位置に容易に調整することができる画像表示装置を提供すること。【解決手段】画像データを生成する撮像装置１１と、前記画像データのうち表示装置に表示する表示領域の上下方向又は水平方向への移動、及び、前記画像データの回転を受け付ける受付手段２２と、前記受付手段が受け付けた回転量に応じて回転させた前記画像データに対し、前記受付手段が前記表示領域の上下方向又は水平方向への移動を受け付けた場合、回転後の前記画像データに対して上下方向又は水平方向に前記表示領域を移動させる画像処理手段２３と、前記画像処理手段により回転された前記画像データから、前記画像処理手段が移動させた前記表示領域を切り取る画像切り取り手段２４と、前記画像切り取り手段が切り取った前記表示領域を表示装置に表示する出力手段２５と、を有することを特徴とする画像表示装置１０を提供する。【選択図】図２
2020036166.tif 000002
【特許請求の範囲】
【請求項１】
画像データを生成する撮像装置と、
前記画像データのうち表示装置に表示する表示領域の上下方向又は水平方向への移動、及び、前記画像データの回転を受け付ける受付手段と、
前記受付手段が受け付けた回転量に応じて回転させた前記画像データに対し、前記受付手段が前記表示領域の上下方向又は水平方向への移動を受け付けた場合、回転後の前記画像データに対して上下方向又は水平方向に前記表示領域を移動させる画像処理手段と、
前記画像処理手段により回転された前記画像データから、前記画像処理手段が移動させた前記表示領域を切り取る画像切り取り手段と、
前記画像切り取り手段が切り取った前記表示領域を表示装置に表示する出力手段と、
を有することを特徴とする画像表示装置。
【請求項２】
前記画像処理手段は、座標系に配置された前記画像データ及び前記表示領域のうち前記受付手段が受け付けた回転量に応じて前記画像データを回転させ、前記表示領域を回転させず、
回転させた前記画像データに対し、前記受付手段が前記表示領域の上下方向又は水平方向への移動を受け付けた場合、前記座標系において回転された状態の前記画像データに対して前記座標系で回転していない前記表示領域を上下方向又は水平方向に移動させることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記受付手段が受け付けた移動量に応じて前記表示領域が上下方向又は水平方向に移動された前記画像データに対し、前記受付手段が前記画像データの回転を受け付けた場合、
前記画像処理手段は、前記画像データの回転量に応じて、前記表示領域を上下方向又は水平方向に移動させることを特徴とする請求項１又は２に記載の画像表示装置。
【請求項４】
前記画像処理手段は、座標系に配置された前記画像データにおいて前記受付手段が受け付けた移動量に応じて前記表示領域を移動させ、
前記表示領域が移動された前記画像データに対し、前記受付手段が前記画像データの回転を受け付けた場合、前記受付手段が受け付けた回転量に応じて前記画像データを回転させ、前記表示領域を回転させず、
前記画像データと共に回転した場合の仮想的な前記表示領域の座標と、前記表示領域の座標との差分だけ、前記表示領域を上下方向又は水平方向に移動させることを特徴とする請求項３に記載の画像表示装置。
【請求項５】
前記受付手段が前記画像データの回転を受け付けた場合、前記画像処理手段は回転量に応じて前記画像データを回転させ、
前記画像データの中心と前記表示領域の中心が一致していない場合、前記画像データの回転量に応じて、前記表示領域を上下方向又は水平方向に移動させ、
前記受付手段が前記表示領域の上下方向又は水平方向への移動を受け付け、かつ、すでに画像が回転済みの場合、前記画像処理手段は回転後の前記画像データに対して上下方向又は水平方向に前記表示領域を移動させることを特徴とする請求項３又は４に記載の画像表示装置。
【請求項６】
前記撮像装置は移動体に搭載されていることを特徴とする請求項１〜５のいずれか１項に記載の画像表示装置。
【請求項７】
撮像装置が、画像データを生成するステップと、
受付手段が、前記画像データのうち表示装置に表示する表示領域の上下方向又は水平方向への移動、及び、前記画像データの回転を受け付けるステップと、
画像処理手段が、前記受付手段が受け付けた回転量に応じて回転させた前記画像データに対し、前記受付手段が前記表示領域の上下方向又は水平方向への移動を受け付けた場合、回転後の前記画像データに対して上下方向又は水平方向に前記表示領域を移動させるステップと、
画像切り取り手段が、前記画像処理手段により回転された前記画像データから、前記画像処理手段が移動させた前記表示領域を切り取るステップと、
出力手段が、前記画像切り取り手段が切り取った前記表示領域を表示装置に表示するステップと、
を有することを特徴とする画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、及び、画像表示方法に関する。
【背景技術】
【０００２】
車両のルームミラーをＣＭＳ（カメラモニタリングシステム）で置き換える試みがある。ＣＭＳは撮像装置で撮像した画像をディスプレイに表示する技術である。ＣＭＳが採用されたルームミラーを以下、電子ルームミラーと称する。電子ルームミラーは従来のルームミラーにディスプレイが内蔵された形態となる。従来のルームミラーは、車両の乗員や荷物により後方の視界を遮られる場合があるが、電子ルームミラーは車両後方に設置された撮像装置の映像をルームミラー内のディスプレイに表示するので、後方視界を確保しやすくなる。
【０００３】
一般に、取り付け誤差が全く生じないように撮像装置を車両に搭載することは困難であり、撮像装置の取り付け誤差により撮像装置が撮像する画像が回転していたり、所望の方向の画像を撮像しなかったりする場合がありうる。また、従来のルームミラーでも運転者が見たい方向に角度を調整することはよく行われている。このため、電子ルームミラーにおいてもユーザによる表示領域の調整を受け付ける機能を備えている（例えば、特許文献１、２参照。）。特許文献１には、電子ルームミラーの角度に応じて電子ルームミラーが表示する表示領域を上下左右に移動する技術が開示されている。特許文献２には、電子ルームミラーを押す力と手前に引く力によって電子ルームミラーが表示する映像を拡大又は縮小する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１９５６３４号公報
【特許文献２】特開２０１６−１６７８５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、運転者が意図した位置に表示領域を調整することが困難な場合があるという問題がある。図１を用いて説明する。
【０００６】
図１は、電子ルームミラーが表示する表示領域の位置調整について説明する図である。まず、図１（ａ−１）は車両後方に設置された撮像装置１１が取り付け誤差により時計回りに回転している場合に（光軸方向から見ると半時計回り）、撮像装置１１が撮像した画像データを示す。図１（ａ−２）は電子ルームミラー１０が表示する、画像データから切り取られた表示領域（以下、ＣＭＳエリア８という）の画像を示す。撮像装置１１が回転しているため画像データも傾き、電子ルームミラー１０が表示する画像も傾いている。このため運転者は画像を水平にしたいと考える。
【０００７】
運転者は予め用意された設定画面から電子ルームミラーが表示する画像を調整することができる。この場合は、画像を時計回りに回転させる。図１（ｂ−１）は運転者が時計回りに回転させた画像データの一例を示す。図１（ｂ−２）に示すように、回転された状態でＣＭＳエリア８が切り取られるので、電子ルームミラー１０が表示するＣＭＳエリア８の画像も傾かずに表示されている。
【０００８】
図１（ｂ−１）の状態で運転者が上下左右にＣＭＳエリア８を移動させたい場合がある。しかし、図１（ｂ−１）の状態で運転者が上下左右の位置調整を行っても、電子ルームミラー１０は内部的に、回転前の画像データに対してＣＭＳエリア８を移動する処理を行っている。図１（ｃ−１）は、回転前の画像データに対して運転者がＣＭＳエリア８を右方向に移動した状態を示す。
【０００９】
すでに画像は運転者により回転されているので、運転者がＣＭＳエリア８を右方向に移動した状態で、電子ルームミラー１０が画像データを回転させる。
【００１０】
図１（ｃ−２）はＣＭＳエリア８の移動後に、時計回りに回転された画像データとＣＭＳエリア８を示す。図１（ｃ−１）と図１（ｃ−２）を比較すると、ＣＭＳエリア８が右方向だけでなく下方向にも移動していることが分かる。すなわち、運転者は右方向にのみＣＭＳエリア８を移動したいのに、斜め右下にＣＭＳエリア８が移動している。
【００１１】
図１（ｃ−３）はＣＭＳエリア８を右に移動して更に画像データを時計回りに回転させた場合に、電子ルームミラー１０が表示するＣＭＳエリアの画像を示す。図１（ｂ−２）と比較しても分かるように、運転者にはＣＭＳエリア８が右下に移動したように見えてしまう。運転者がＣＭＳエリア８を右方向にだけ移動させるにはＣＭＳエリア８を上方向に移動させるという余分な操作が必要になる。
【００１２】
このように、運転者が水平に表示されるように回転させた画像に対しＣＭＳエリア８を上下左右に位置調整しても、電子ルームミラー１０は回転前の画像データに対して上下左右の方向にＣＭＳエリア８を移動するため、運転者が意図した位置調整が困難であった。
【００１３】
本発明は、上記課題に鑑み、表示領域を意図した位置に容易に調整することができる画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題に鑑み、本発明は、画像データを生成する撮像装置と、前記画像データのうち表示装置に表示する表示領域の上下方向又は水平方向への移動、及び、前記画像データの回転を受け付ける受付手段と、前記受付手段が受け付けた回転量に応じて回転させた前記画像データに対し、前記受付手段が前記表示領域の上下方向又は水平方向への移動を受け付けた場合、回転後の前記画像データに対して上下方向又は水平方向に前記表示領域を移動させる画像処理手段と、前記画像処理手段により回転された前記画像データから、前記画像処理手段が移動させた前記表示領域を切り取る画像切り取り手段と、前記画像切り取り手段が切り取った前記表示領域を表示装置に表示する出力手段と、を有することを特徴とする画像表示装置を提供する。
【発明の効果】
【００１５】
表示領域を意図した位置に容易に調整することができる画像表示装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】電子ルームミラーが表示する表示領域の位置調整について説明する図である。
【図２】電子ルームミラーにおけるＣＭＳエリアの位置調整について説明する図である。
【図３】電子ルームミラーの搭載例を示す図である。
【図４】ディスプレイユニットの概略斜視図の一例である。
【図５】ディスプレイユニットの概略構造を示す図の一例である。
【図６】ディスプレイユニットの機能を説明する機能ブロック図の一例である。
【図７】画像データの座標系とＣＭＳエリアの座標について説明する図の一例である。
【図８】電子ルームミラーがＣＭＳエリア画像データを表示する手順を示すフローチャート図の一例である。
【図９】ＣＭＳエリアの上下方向又は水平方向の移動後における画像データの回転の課題を説明する図である。
【図１０】電子ルームミラーにおけるＣＭＳエリアの位置調整について説明する図である。
【図１１】画像データの座標系とＣＭＳエリアの座標について説明する図の一例である。
【図１２】電子ルームミラーがＣＭＳエリア画像データを表示する手順を示すフローチャート図の一例である。
【図１３】ＣＭＳエリア画像データの表示方法を選択する手順を示すフローチャート図の一例である。
【発明を実施するための形態】
【００１７】
以下、本発明を実施するための形態の一例として、電子ルームミラーと電子ルームミラーが行う画像表示方法ついて実施例を挙げながら図面を参照しながら説明する。
【実施例１】
【００１８】
＜本実施形態の電子ルームミラーの概略＞
本実施例の電子ルームミラーは、撮像装置１１の取り付け誤差を運転者が補正する場合、「回転補正が行われた後の画像に対して上下方向又は水平方向にＣＭＳエリアを移動する処理」を行う。ＣＭＳエリアは画像データのうちディスプレイにおける表示領域である。
【００１９】
図２は、本実施例の電子ルームミラーにおけるＣＭＳエリア８の位置調整について説明する図である。図２（ａ−１）は図１（ｂ−１）と同様に、回転補正が行われた状態の画像データを示し、図２（ａ−２）は図１（ｂ−２）と同様に回転補正が行われた状態のＣＭＳエリア８を示す。この状態で、運転者が上下左右にＣＭＳエリア８を移動した場合、電子ルームミラー１０は回転補正が行われた後の画像に対して上下方向又は水平方向にＣＭＳエリア８を移動する。
【００２０】
図２（ｂ−１）は、回転補正が行われた後の画像に対して右方向に移動されたＣＭＳエリア８を示す。このような処理により、ＣＭＳエリア８は右方向にのみ移動し、上下方向には移動しない。図２（ｂ−２）は図２（ｂ−１）のＣＭＳエリア８で切り取られた画像を示す。図２（ａ−２）と比較すると、ＣＭＳエリア８が右方向にだけ移動していることが分かる。
【００２１】
このように、本実施形態の電子ルームミラー１０は、回転補正が行われた後の画像に対して上下方向又は水平方向にＣＭＳエリア８を移動することで、ＣＭＳエリア８を斜めに移動するのではなく、運転者が意図した上下左右の方向にだけＣＭＳエリア８を移動させることができる。
【００２２】
＜用語について＞
画像表示装置は、撮像装置１１を用いて撮像された周辺の画像データを表示装置に表示する装置である。撮像装置１１は車載されたものに限られない。本実施形態では一例として電子ルームミラーという用語で説明する。電子バックミラー、電子ミラーなどと呼ばれてもよい。
【００２３】
また、撮像装置は車両以外の移動体に搭載されてよい。例えば、自動二輪車、自転車等の軽車両、車椅子、ロボットなどに搭載されてよい。
【００２４】
また、画像表示装置は、監視カメラにも適用できる。監視カメラとは、様々な目的で監視を行うための撮像装置をいう。主な用途として、防犯、防災、記録などがある。
【００２５】
また、画像とはディスプレイ等に表示された像をいい、画像データとはそれ自体に形態がない情報をいうが、本実施形態では画像と画像データを厳密には区別しない。
【００２６】
＜構成例＞
図３は、電子ルームミラー１０の搭載例を示す図である。図３（ａ）は車室内に設置されるディスプレイユニット１２の一例を示し、図３（ｂ）は撮像装置１１とディスプレイユニット１２の配置例を示す図である。
【００２７】
図３（ａ）に示すように、電子ルームミラー１０のディスプレイユニット１２は従来のルームミラーと同様に、運転席と助手席の間でありフロントガラス内側の上部に固定されている。ディスプレイユニット１２の搭載位置については法令上の明確な指定がない国や地域があり、図示する位置は一例に過ぎない。また、法令上の明確な指定がある国や地域では法令に従った位置に搭載される。ディスプレイユニット１２の数は１つに限らず、複数のディスプレイユニット１２が搭載されてよい。
【００２８】
撮像装置１１は車両１０１の後方に配置されている。従来のルームミラーに入射する光の方向に近い光軸方向で撮像装置１１が撮像することが好ましい。従来のルームミラーはフロントガラスの上方に配置され車両の後方を鏡に映し出すものであるため、撮像装置１１も車両の上方に配置されることが好ましい場合が多い。例えば、ルーフやルーフスポイラーに設置してよい。撮像装置１１の水平方向に関しては車両の中央又は中央付近であることが好ましい。しかし、右端又は左端に設置されても後方の撮像は可能である。右端又は左端に設置された撮像装置１１の画像を中央付近で撮像したように画像処理してもよい。
【００２９】
なお、撮像装置１１の場所は、車種ごとに限らず個別の車両ごとに異なってよい。例えば、ナンバープレートの周辺、車両メーカエンブレムの周辺、リアバンパーの適切な場所などでもよい。
【００３０】
また、従来から車両１０１にはバックカメラが搭載される場合がある。バックカメラは車庫入れなど、車を後進させる際（運転者がシフトレバーをリバースに操作した場合）に、後方の映像を映し出すカメラで、撮像された画像がカーナビゲーションシステムなどのディスプレイに映し出されることが多い。本実施形態では、このバックカメラの画像をディスプレイユニット１２で表示してもよいし、電子ルームミラー１０の撮像装置１１が撮像した画像をバックカメラの画像としてカーナビゲーションシステムなどのディスプレイに表示してもよい。
【００３１】
また、魚眼カメラなど比較的、広角なカメラを電子ルームミラー１０とバックカメラで兼用してしようしてもよい。すなわち、広角カメラが撮像した画像の一部をディスプレイユニット１２で表示し、別の一部（重複してよい）をカーナビゲーションシステムなどのディスプレイで表示する。
【００３２】
なお、撮像装置１１からディスプレイユニット１２までの配線は天井又は床付近などに這わせればよく、配線長や取り回しを考慮して決定される。また、撮像装置１１が例えばディスプレイユニット１２まで無線通信で画像を送信してもよい。
【００３３】
また、ディスプレイユニット１２には、電源ライン、リバース信号線、ウィンカー信号線、及び、他の撮像装置（サイドカメラ、バックカメラなど）のビデオ入力などが接続されていてよいが、図３では図示が省略されている。例えば、リバース信号線からの信号によりバックカメラの画像をディスプレイユニット１２が表示したり、ウィンカー信号線からの信号によりサイドカメラの画像をディスプレイユニット１２が表示したりすることが可能になる。
【００３４】
図４は、ディスプレイユニット１２の概略斜視図の一例である。ディスプレイユニット１２は、ディスプレイ１５、４つの操作ボタン１〜４、及び、レバー１７を有している。なお、配線のインタフェースなどは省略されている。図示する構成の他、ドライブレコーダのようにメモリーカードの挿入部を有していてもよく、形状、ボタン数、ボタンの位置などは一例に過ぎない。
【００３５】
ディスプレイ１５は液晶ディスプレイや有機ＥＬディスプレイなどのフラットパネルディスプレイである。リアプロジェクション型でもよい。後述するようにディスプレイ１５の前面（室内側）にはハーフミラーがディスプレイ１５と重畳するように固定されている。
【００３６】
４つの操作ボタン１〜４は電子ルームミラー１０の設定画面を表示し、ユーザからの操作を受け付けるための入力装置である。簡易的な設定画面を表示する機能としてＯＳＤ（On Screen Display）が知られている。ただし、どのようにユーザインタフェースを表示するかはディスプレイユニットのリソースに応じて変更されうる。例えば、後述する基板にＯＳ（Operation System）がインストールされている場合、ＯＳがサポートする画面表示の機能を利用できる。
【００３７】
各操作ボタンの機能は例えば次のようになる。
操作ボタン１：メニュー表示（輝度、コントラスト、色温度、言語、ＣＭＳエリアの設定など）
操作ボタン２：ある方向の選択（右移動、上移動、右回転、増大など）
操作ボタン３：別の方向の選択（左移動、下移動、左回転、減少など）
操作ボタン４：決定
運転者は輝度、コントラスト、色温度、言語などの設定、画像データの回転、及び、ＣＭＳエリア８の移動などを行うことができる。
【００３８】
レバー１７は電子ルームミラー１０の電源ＯＮと電源ＯＦＦを切り替えるための入力装置である。電源ＯＮの場合、ディスプレイユニット１２は撮像装置１１が撮像した画像を出力し、電源ＯＦＦ場合、ディスプレイユニット１２は撮像装置１１が撮像した画像を表示しない。このため、ハーフミラーにより外光が反射され、ディスプレイユニット１２は通常の鏡と同様に室内を映し出す鏡となる。図５を用いて説明する。
【００３９】
図５は、ディスプレイユニット１２の概略構造を示す図の一例である。図５（ａ）は電源ＯＮの状態のハーフミラー１６の作用を示し、図５（ｂ）は電源ＯＦＦの状態のハーフミラー１６の作用を示す。例えば、ハーフミラー１６の透過度がＴ％（例えば５０〜９０％）であるとすると、電源ＯＮの状態では、ディスプレイ１５のＴ％の光がハーフミラー１６を通過する。Ｔ％の光しか通過しなくてもディスプレイ１５の明るさは車室内より明るいので、運転者はディスプレイ１５が表示する画像を目視できる。
【００４０】
電源ＯＦＦの状態ではディスプレイ１５が光を照射しないので、ハーフミラーの内側は暗くなっている。ハーフミラーの内側よりも車室内の光の方が強いため、ハーフミラー１６が反射する光の強度も大きい。この結果、ハーフミラー１６の内側からの透過光は、車室側の明るい反射光にかき消されてしまうため、車室側から鏡のように見える。したがって、運転者はレバーを前方又は後方に揺動する操作でディスプレイ１５により表示される画像と通常の鏡による室内光の反射とを簡単に切り替えることができる。例えば、西日などで車両後方からの入射光が強く、ディスプレイ１５の視認性が低下した際などに、通常のミラーに切り替えるといった使い方が可能になる。
【００４１】
なお、図５に示すように、ディスプレイユニット１２は基板１４を有しており、この基板１４により撮像装置１１の制御とＣＭＳエリア８を切り取るなどの画像処理を行っている。基板１４は、一般的なコンピュータの機能を有し、ＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、及び、入出力Ｉ／Ｆなどを有している。
【００４２】
＜ディスプレイユニットの機能＞
図６を用いてディスプレイユニット１２が有する機能について説明する。図６はディスプレイユニット１２の機能を説明する機能ブロック図の一例である。ディスプレイユニット１２は、画像取得部２１、操作受付部２２、画像回転移動部２３、画像切り取り部２４、及び、画像出力部２５を有する。これらディスプレイユニット１２が有する各機能は、ディスプレイユニット１２の基板１４が有するＣＰＵがプログラムを実行して実現させる機能又は手段である。
【００４３】
なお、基板１４は撮像装置１１の一般的な制御を行っている。例えば、基板１４は画像が適正な明るさとなるようにシャッター速度及び感度（ゲイン量）の少なくとも一方を制御する露出制御を行う。また、オートホワイトバランス制御（ＡＷＢ制御）と呼ばれる、Ｒ、Ｇ，Ｂのそれぞれの比率を同程度にすることで、光源の色温度により被写体の白色部及び彩色部の色彩が変化してしまうことを低減する処理を行う。また、撮像素子が適切なタイミングで撮像動作を行えるように駆動信号を生成したり、Ａ/Ｄ変換器にクロック信号を供給したりする。この他、ノイズを除去したり、エッジ成分のみを抽出・強調して画像のシャープネスを調整したりする処理なども行ってよい。
【００４４】
画像取得部２１は、撮像装置１１から所定のフレームレートで順次、画像データを取得する。このように画像は動画であることが想定されるが、画像は静止画でもよい。
【００４５】
操作受付部２２は、運転者が操作ボタン１〜４を操作したことに応じて、電子ルームミラーに対する各種の操作を受け付ける。本実施形態では画像の回転及びＣＭＳエリア８の移動を受け付ける。なお、操作ボタン１〜４の操作量と、回転量又は移動量の関係は、例えば、以下のように予め定められているものとする。
設定画面が回転を受け付ける場合の操作ボタンの１回の押下：θ度回転
設定画面が移動を受け付ける場合の操作ボタンの１回の押下：Ｎ画素移動
画像回転移動部２３は、操作受付部２２が受け付けた回転量及び移動量の少なくとも一方を取得して、画像データを回転させ、また、上下又は水平にＣＭＳエリア８を移動させる。本実施例では、運転者が画像を回転させた後に、ＣＭＳエリア８を上下左右に移動させた場合に、回転補正が行われた後の画像に対して上下方向又は水平方向にＣＭＳエリア８を移動する。
【００４６】
画像切り取り部２４は、画像データからＣＭＳエリア８を切り取り、ＣＭＳエリア画像データを生成する。ＣＭＳエリア画像データはディスプレイ１５のサイズとほぼ同じサイズの画像データである。なお、運転者の操作に応じてＣＭＳエリア８を拡大又は縮小してもよい。切り取る処理をトリミングという場合がある。画像出力部２５はＣＭＳエリア画像データをディスプレイ１５に送出してディスプレイ１５に表示させる。
【００４７】
＜画像の回転とＣＭＳエリアの移動の処理＞
続いて、図７を用いて画像の回転とＣＭＳエリア８の移動の処理について説明する。図７は画像データの座標系とＣＭＳエリア８の座標について説明する図の一例である。
【００４８】
まず、図７（ａ）に示すように、Ｘ軸とＹ軸の座標系（直交座標系）を設け、そこに画像データ２０１を配置する。座標系は固定されており、画像が回転しても座標系は回転しない。画像回転移動部２３は取り付け誤差がある撮像装置１１が撮像した画像データ（すなわち、写っている被写体が傾いている）の水平方向がＸ軸と平行になるように配置する。図７（ａ）では一例として原点(0,0)と画像データ２０１の左下コーナーが一致するように配置されている。画像データ２０１の幅Ｗと高さＨは固定なので、画像データ２０１の各コーナーの座標P1〜P4は容易に求められる。
【００４９】
画像データ２０１の所定位置にＣＭＳエリア８が設定される。図７（ａ）のＣＭＳエリア８の位置は、予め決まっている初期位置でも運転者の調整後の位置でもよい。ＣＭＳエリア８の中心又は各コーナーの座標Q1〜Q4の１つでも座標が決まれば、ＣＭＳエリア８の幅ｗと高さｈは固定なので、ＣＭＳエリア８の各コーナーの座標Q1〜Q4は容易に求められる。
Q1(X1，Y1）  Q2(X2，Y2）  Q3(X3，Y3）  Q4(X4，Y4）
図７（ｂ）は運転者によりθ度、回転された画像データ２０１を示す。画像データ２０１は中心Ｏの回りを角度θ回転されている。ＣＭＳエリア８が一緒に回転すると回転補正にならないので、座標Q1〜Q4は変更がない（回転しない）。これにより、まずディスプレイ１５が表示するＣＭＳエリア画像データの傾きが補正される。
【００５０】
画像回転移動部２３が画像データ２０１を回転する処理は以下のように表すことができる。式（１）は画像データの中心Ｏを原点(0,0)に移動して回転した後、元の位置に平行移動することを表している。式（１）により、画像データ２０１の任意の画素の回転後の座標が算出される。回転後の画像データの各コーナーの座標をP1'〜P4'で表す。
【００５１】
【数１】
2020036166.tif 000003
次に、図７（ｃ）は右方向に移動されたＣＭＳエリア８を示し、図７（ｄ）は上方向に移動されたＣＭＳエリア８を示す。例えば、右方向に１００画素移動したとし、移動した後のＣＭＳエリア８の座標をQ1'（X1'，Y1'）〜Q4'（X4''，Y4'）で表す。
X1'=X1+100、X2'=X2+100、X3'=X3+100、X4'=X4+100
Y１〜Y4には変更がない。画像切り取り部２４はこのQ1'（X1'，Y1'）〜Q4'（X4'，Y4'）で特定される矩形領域を切り取ればよい。上方向に移動した場合は、移動量に応じてY'を算出すればよい。
【００５２】
こうすることで、電子ルームミラー１０は回転補正が行われた後の画像データに対して上下方向又は水平方向にＣＭＳエリア８を移動することができる。
【００５３】
＜動作手順＞
図８は、電子ルームミラーがＣＭＳエリア画像データを表示する手順を示すフローチャート図の一例である。図８の処理は電子ルームミラーの電源がＯＮの間、繰り返し実行される。
【００５４】
まず、画像取得部２１は、撮像装置１１から画像データを取得する（Ｓ１０）。撮像装置１１からは次々と画像データが送信される。
【００５５】
操作受付部２２は運転者による操作ボタン１〜４の操作を介して画像データの回転を受け付ける（Ｓ２０）。この間、実際には画像データが切り替わるが、受け付けた回転量は全ての画像データに対し共通でよい。
【００５６】
画像回転移動部２３は操作受付部２２が受け付けた回転量で画像データを回転させる（Ｓ３０）。
【００５７】
また、操作受付部２２は運転者による操作ボタン１〜４の操作を介してＣＭＳエリア８の移動を受け付ける（Ｓ４０）。
【００５８】
画像回転移動部２３は回転補正が行われた後の画像データに対して上下方向又は水平方向にＣＭＳエリア８を移動する（Ｓ５０）。
【００５９】
画像切り取り部２４は操作受付部２２が受け付けた回転量と移動量で決まる位置のＣＭＳエリア８を画像データから切り取る（Ｓ６０）。
【００６０】
画像出力部２５はＣＭＳエリア画像データをディスプレイ１５に表示する（Ｓ７０）。
【００６１】
＜まとめ＞
以上説明したように、本実施形態の電子ルームミラー１０は、回転補正が行われた後の画像に対して上下方向又は水平方向にＣＭＳエリア８を移動することで、ＣＭＳエリア８を斜めに移動するのではなく、運転者が意図した上下左右の方向にだけＣＭＳエリア８を移動させることができる。
【実施例２】
【００６２】
実施例１では画像データの回転後のＣＭＳエリア８の上下方向又は水平方向の移動について説明したが、本実施例ではＣＭＳエリア８の上下方向又は水平方向の移動後の画像データの回転について説明する。
【００６３】
＜ＣＭＳエリアの上下方向又は水平方向の移動後における画像データの回転の課題＞
図９は、ＣＭＳエリア８の上下方向又は水平方向の移動後における画像データの回転の課題を説明する図である。図９（ａ−１）に示すように、車両後方に設置された撮像装置１１が取り付け誤差により時計回りに回転しているため、図９（ａ−２）に示すように電子ルームミラー１０が表示するＣＭＳエリア画像データも傾いている。
【００６４】
しかし、運転者は傾きよりも先にＣＭＳエリア８の上下方向又は水平方向の移動を行った。図９（ｂ−１）はＣＭＳエリア８が左方向に移動された画像の一例である。この状態で電子ルームミラー１０のディスプレイ１５が表示するＣＭＳエリア８が切り取られる。図９（ｂ−２）に示すように、電子ルームミラー１０が表示するＣＭＳエリア画像データは傾いたままである。
【００６５】
次に、運転者が画像データを回転補正する。すなわち、画像を時計回りに回転させる。図９（ｃ−１）は回転補正後の画像データを示す。画像の回転により、撮像装置１１が取り付け誤差は補正され、被写体が水平になる。
【００６６】
しかし、画像回転移動部２３はＣＭＳエリア８を回転させないので、ＣＭＳエリア８が固定のまま画像データだけが回転する。図９（ｃ−２）は図９（ｃ−１）のＣＭＳエリア８で切り取ったＣＭＳエリア画像データを示す。図９（ｂ−２）と比べると、ＣＭＳエリアデータが下方向に移動している。したって、運転者からはＣＭＳエリア画像データが下方向に移動するように見えてしまう。
【００６７】
このように、運転者としては回転補正のみを行いたく、ＣＭＳエリア８の上下方向への移動は望んでいない場合、操作性が低下するおそれがあるという問題があった。
【００６８】
図９のような課題は画像データの中心とＣＭＳエリア８の中心が一致していない場合に、画像データが回転することにより生じる。図９ではＣＭＳエリア８が画像データの左端にあるため、回転補正によりＣＭＳエリア画像データが下方向に移動したように見えるが、ＣＭＳエリア８が画像データの右端にあれば、回転補正によりＣＭＳエリア画像データが上方向に移動したように見える。同様に、ＣＭＳエリア８が画像データの上方にあれば回転補正によりＣＭＳエリア画像データが左方向に移動したように見え、ＣＭＳエリア８が画像データの下方にあれば、回転補正によりＣＭＳエリア画像データが右方向に移動したように見える（いずれも回転補正が時計回りの場合）。
【００６９】
＜本実施形態の電子ルームミラーの概略＞
本実施例の電子ルームミラーは、上下方向又は水平方向の移動が行われた後の画像に対して撮像装置１１の取り付け誤差を運転者が回転補正する場合、「回転量に応じて水平方向及び垂直方向にＣＭＳエリアを移動する処理」を行う。
【００７０】
図１０は、本実施例の電子ルームミラーにおけるＣＭＳエリア８の位置調整について説明する図である。図１０（ａ−１）（ａ−２）〜図１０（ｃ−１）は図９（ａ−１）（ａ−２）〜（ｃ−１）と同様である。
【００７１】
運転者からはＣＭＳエリア画像データが下方向に移動するように見えてしまうという課題に対し、本実施例の画像回転移動部２３はＣＭＳエリア８を上方向に移動させる。図１０（ｄ−１）はＣＭＳエリア８が上方向に移動された画像データを示し、図１０（ｄ−２）は図１０（ｄ−１）のＣＭＳエリア８で切り取ったＣＭＳエリア画像データを示す。ＣＭＳエリア８が上方向に移動することで、画像データが回転補正されていてもＣＭＳエリア画像データは上方向には移動していないことがわかる。
【００７２】
このように、本実施例の電子ルームミラーは、回転補正に合わせてＣＭＳエリア８も上下左右に移動するので、運転者が意図した回転補正だけを行うことができる。
【００７３】
なお、本実施例においては、上記の実施例にて説明した図６の機能ブロック図を援用できるものとして説明する。
【００７４】
＜ＣＭＳエリアの移動と画像の回転の処理＞
図１１を用いてＣＭＳエリア８の移動と画像の回転の処理について説明する。図１１は画像データの座標系とＣＭＳエリア８の座標について説明する図の一例である。
【００７５】
図１１（ａ）に示すように、図示する座標系において、回転前の画像データ２０１に対し運転者がＣＭＳエリア８を左方向に移動したものとする。画像データ２０１の中心をＯ、ＣＭＳエリア８の中心をQ０とする。
【００７６】
図１１（ｂ）は運転者が画像データ２０１を回転させた場合のＣＭＳエリア８と、画像データ２０１と共に回転した仮想的なＣＭＳエリア８１を示す。実際にはＣＭＳエリア８は画像データ２０１と共に回転しないので、仮想的なＣＭＳエリア８１は説明のために図示されている。ＣＭＳエリア８の中心Q0の座標を(X0,Y0)、仮想的なＣＭＳエリア８１の中心Q0'の座標を(X0',Y0')とする。
【００７７】
運転者が電子ルームミラー１０に表示させていたＣＭＳエリア画像データを、画像データの回転後も電子ルームミラー１０に表示させるには、ＣＭＳエリア８をQ0からQ0'に追随させればよい。したがって、画像回転移動部２３はQ0とQ0'の差分に基づいてＣＭＳエリア８を移動する。
【００７８】
図１１（ｃ）はQ0とQ0'の差分を説明する図の一例である。Q0の座標(X0,Y0)は運転者が操作ボタン１〜４で入力した値であり、Q0'の座標(X0',Y0')は実施例１の式（１）により算出できる。これにより、Q0とQ0'の差分（ΔX,ΔY）は以下のように求めることができる。
ΔX=X0'−Xo
ΔY=Y0'−Y0
図１１（ｄ）は差分（ΔX,ΔY）に基づいて回転方向に補正されたＣＭＳエリア８の位置の一例を示す。画像回転移動部２３は、図１１（ｂ−１）のQ1〜Q4にそれぞれ差分（ΔX,ΔY）を加算することで、画像データの回転方向に追随したＣＭＳエリア８の座標Q1'〜Q4'を算出することができる。
【００７９】
＜動作手順＞
図１２は、電子ルームミラー１０がＣＭＳエリア画像データを表示する手順を示すフローチャート図の一例である。図１２の処理は電子ルームミラーの電源がＯＮの間、繰り返し実行される。
【００８０】
まず、画像取得部２１は、撮像装置１１から画像データを取得する（Ｓ１１０）。撮像装置１１からは次々と画像データが送信される。
【００８１】
操作受付部２２は運転者による操作ボタン１〜４の操作を介してＣＭＳエリア８の移動を受け付ける（Ｓ１２０）。
【００８２】
画像回転移動部２３は操作受付部２２が受け付けた移動量でＣＭＳエリア８を移動させる（Ｓ１３０）。
【００８３】
次に、操作受付部２２は運転者による操作ボタン１〜４の操作を介して画像データの回転を受け付ける（Ｓ１４０）。この間、実際には画像データが切り替わるが、受け付けた回転量は全ての画像データに対し共通でよい。
【００８４】
画像回転移動部２３は回転量に応じて仮想的なＣＭＳエリア８１の座標を算出する（Ｓ１５０）。ＣＭＳエリア８の幅ｗと高さｈが分かっているので、算出する座標は中心でもよいし、４つのコーナーのいずれかの座標でもよい。
【００８５】
次に、画像回転移動部２３は仮想的なＣＭＳエリア８１の座標とステップＳ１２０のＣＭＳエリア８の座標の差分を算出して、ＣＭＳエリア８の位置を補正する（Ｓ１６０）。
【００８６】
画像切り取り部２４は画像回転移動部２３が補正した位置のＣＭＳエリア８を画像データから切り取る（Ｓ１７０）。
【００８７】
画像出力部２５はＣＭＳエリア画像データをディスプレイ１５に表示する（Ｓ１８０）。
【００８８】
＜まとめ＞
以上説明したように、本実施形態の電子ルームミラーは、ＣＭＳエリア８が上下方向又は水平方向に移動された状態で、画像データが回転補正されても、ＣＭＳエリア８が運転者の意図しない方向に移動することを抑制できる。
【実施例３】
【００８９】
本実施例では実施例１と実施例２のいずれの画像処理も適用可能な電子ルームミラー１０について説明する。
【００９０】
画像データが回転済みの状態でＣＭＳエリア８が移動されたのか（実施例１）、及び、画像データの中心とＣＭＳエリア８の中心が一致してない状態で画像データが回転されたのか（実施例２）に応じて、処理を分ければよい。
【００９１】
図１３は、ＣＭＳエリア画像データの表示方法を選択する手順を示すフローチャート図の一例である。
【００９２】
まず、操作受付部２２は画像の回転操作を受け付けたか否かを判断する（Ｓ２１０）。ステップＳ２１０の判断がＮｏの場合、処理はステップＳ２５０に進む。
【００９３】
ステップＳ２１０の判断がＹｅｓの場合、画像回転移動部２３は画像データを回転させる（Ｓ２２０）。すなわち、画像データの回転は実施例１、２のいずれでもそのまま反映されてよい。
【００９４】
次に、画像回転移動部２３は画像データの中心とＣＭＳエリア８の中心が一致しているか否か判断する（Ｓ２３０）。ステップＳ２３０の判断がＹｅｓの場合、処理はステップＳ２５０に進む。
【００９５】
ステップＳ２３０の判断がＮｏの場合、画像回転移動部２３は実施例２の方法でＣＭＳエリア８を移動する（Ｓ２４０）。すなわち、画像データの回転によりＣＭＳエリア画像データが上下方向又は左右方向に移動したように見えるため、これを補正する。
【００９６】
ステップＳ２５０において、操作受付部２２はＣＭＳエリア８の移動を受け付けたか否かを判断する（Ｓ２５０）。ステップＳ２５０の判断がＮｏの場合、運転者の操作が行われていないので図１３の処理は終了する。
【００９７】
ステップＳ２５０の判断がＹｅｓの場合、画像回転移動部２３はすでに画像データが回転済みか否かを判断する（Ｓ２６０）。画像データが回転済みの状態で、ＣＭＳエリア８が移動されると運転者にはＣＭＳエリア画像データが斜めに移動するように見えるためである。ステップＳ２６０の判断がＮｏの場合、図１３の処理は終了する。
【００９８】
ステップＳ２６０の判断がＹｅｓの場合、画像回転移動部２３は実施例１の方法でＣＭＳエリア８を移動する（Ｓ２７０）。
【００９９】
＜まとめ＞
このように、本実施例の電子ルームミラーは、実施例１と実施例２の画像処理を統合して、運転者が画像データの回転又はＣＭＳエリア８の移動のどちらを先に行っても、ＣＭＳエリアを意図した位置に容易に調整することができる。
【０１００】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０１０１】
例えば、本実施形態では撮像装置１１の取り付け誤差の調整を運転者が画像データを回転させることで行ったが、撮像装置１１の取り付け誤差を撮像装置１１又はディスプレイユニットが検出してもよい。例えば、撮像装置１１が加速度センサを内蔵している場合、加速度センサが検出した撮像装置１１の姿勢（取り付け誤差）から求めた画像の回転量を画像回転移動部２３が自動的にキャンセルする。あるいは、画像処理により撮像装置１１の回転量を検出してもよい。例えば機械学習で画像と撮像装置１１の姿勢との関係を学習しておき、車載された撮像装置１１がどのような姿勢かを検出する。画像回転移動部２３はこの姿勢に起因する画像データの回転をキャンセルするように画像データを回転する。
【０１０２】
また、本実施形態ではルームミラーにＣＭＳを搭載する例を説明したが、ＣＭＳが搭載される表示装置はルームミラーに限られない。例えば、サイドミラーにＣＭＳが搭載された場合には、車両の後側方の画像データの傾きと移動に関して好適に適用できる。また、ナビゲーションシステムのディスプレイや後席用のディスプレイが表示する画像データの傾きと移動に関して好適に適用できる。この他、車内に設置されるディスプレイに表示する画像データの傾きと移動に関して好適に適用できる。
【０１０３】
また、図６などの構成例は、電子ルームミラー１０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。電子ルームミラー１０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【０１０４】
なお、操作受付部２２は受付手段の一例であり、画像回転移動部２３は画像処理手段の一例であり、画像切り取り部２４は画像切り取り手段の一例であり、画像出力部２５は出力手段の一例である。
【符号の説明】
【０１０５】
８        ＣＭＳエリア
１０      電子ルームミラー
１１      撮像装置
１２      ディスプレイユニット
１４      基板
１５      ディスプレイ
【図１】
2020036166.tif 000004
【図２】
2020036166.tif 000005
【図３】
2020036166.tif 000006
【図４】
2020036166.tif 000007
【図５】
2020036166.tif 000008
【図６】
2020036166.tif 000009
【図７】
2020036166.tif 000010
【図８】
2020036166.tif 000011
【図９】
2020036166.tif 000012
【図１０】
2020036166.tif 000013
【図１１】
2020036166.tif 000014
【図１２】
2020036166.tif 000015
【図１３】
2020036166.tif 000016