(57)【要約】  表示システムは、移動体に設けられて画像を撮像する撮像部を有する撮像装置と、移動体において撮像装置と別の位置に設けられて撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置と、撮像装置側で振動を検知する第１センサと、表示装置側で振動を検知する第２センサと、第１センサの検知結果に基づいて撮像画像よりも小さい前処理画像を撮像画像から切り出す第１画像処理部と、第２センサの検知結果に基づいて前処理画像よりも小さい後処理画像を前処理画像から切り出す第２画像処理部とを備え、第１画像処理部は、撮像画像内における前処理画像の切り出し範囲を撮像装置側での振動を打ち消す方向に移動させ、第２画像処理部は、前処理画像内における後処理画像の切り出し範囲を表示装置側での振動に追従させる。
2016190372.tif 000002
【特許請求の範囲】
【請求項１】
移動体に設けられて画像を撮像する撮像部を有する撮像装置と、
前記移動体において前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置と、
前記撮像装置側で振動を検知する第１センサと、
前記表示装置側で振動を検知する第２センサと、
前記第１センサの検知結果に基づいて前記撮像画像よりも小さい前処理画像を前記撮像画像から切り出す第１画像処理部と、
前記第２センサの検知結果に基づいて前記前処理画像よりも小さい後処理画像を前記前処理画像から切り出す第２画像処理部と
を備え、
前記第１画像処理部は、前記撮像画像内における前記前処理画像の切り出し範囲を前記撮像装置側での振動を打ち消す方向に移動させ、
前記第２画像処理部は、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる
表示システム。
【請求項２】
前記第２画像処理部は、前記前処理画像内における所定の第２座標を用いて定められた第２範囲に基づいて、前記第２センサにより検知された振動の方向及び振動量に基づいて補正された前記第２座標に応じて移動した前記第２範囲を前記後処理画像として前記前処理画像から切り出す
請求項１に記載の表示システム。
【請求項３】
補正前の前記第２座標は、前記移動体が静止している場合の前記前処理画像内で定められた座標である
請求項２に記載の表示システム。
【請求項４】
前記第１画像処理部は、前記撮像画像内における所定の第１座標を用いて定められた第１範囲に基づいて、前記第１センサにより検知された振動の方向及び振動量に基づいて補正された前記第１座標に応じて移動した前記第１範囲を前記前処理画像として前記撮像画像から切り出す
請求項１から３のいずれか一項に記載の表示システム。
【請求項５】
補正前の前記第１座標は、前記移動体が静止している場合の前記撮像画像内で定められた座標である
請求項４に記載の表示システム。
【請求項６】
前記第１画像処理部及び前記第２画像処理部は、前記撮像装置側又は前記表示装置側に設けられる
請求項１から５のいずれか一項に記載の表示システム。
【請求項７】
前記表示装置は、前記第１画像処理部及び前記第２画像処理部を有する
請求項６に記載の表示システム。
【請求項８】
前記第１画像処理部は、前記撮像装置側に設けられ、前記第２画像処理部は、前記表示装置側に設けられる
請求項１から５のいずれか一項に記載の表示システム。
【請求項９】
前記移動体は、自動車である
請求項１から８のいずれか一項に記載の表示システム。
【請求項１０】
画像を撮像する撮像部を有する撮像装置が設けられた移動体において前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置であって、
前記撮像装置側で振動を検知する第１センサの検知結果に基づいて前記撮像画像よりも小さい前処理画像を前記撮像画像から切り出し、前記表示装置側で振動を検知する第２センサの検知結果に基づいて前記前処理画像よりも小さい前記後処理画像を前記前処理画像から切り出す画像処理部を備え、
前記画像処理部は、前記撮像画像内における前記前処理画像の切り出し範囲を前記撮像装置側での振動を打ち消す方向に移動させ、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる
表示装置。
【請求項１１】
画像を撮像する撮像部を有する撮像装置及び前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する撮像部を有する表示装置が設けられた移動体において前記撮像画像に基づいて前記後処理画像を得る画像処理装置であって、
前記撮像装置側で振動を検知する第１センサの検知結果に基づいて前記撮像画像よりも小さい前処理画像を前記撮像画像から切り出し、前記表示装置側で振動を検知する第２センサの検知結果に基づいて前記前処理画像よりも小さい前記後処理画像を前記前処理画像から切り出す画像処理部を備え、
前記画像処理部は、前記撮像画像内における前記前処理画像の切り出し範囲を前記撮像装置側での振動を打ち消す方向に移動させ、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる
画像処理装置。
【請求項１２】
画像を撮像する撮像部を有する撮像装置が設けられた移動体において前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置であって、
前記表示装置側で振動を検知するセンサの検知結果に基づいて、前記撮像画像に基づいて生成された画像であって前記撮像装置側での振動の影響が低減された前処理画像から前記前処理画像よりも小さい後処理画像を前記前処理画像から切り出す画像処理部を備え、
前記画像処理部は、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる
表示装置。
【請求項１３】
画像を撮像する撮像部を有する撮像装置及び前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置が設けられた移動体において前記後処理画像を得る画像処理装置であって、
前記表示装置側で振動を検知するセンサの検知結果に基づいて、前記撮像画像に基づいて生成された画像であって前記撮像装置側での振動の影響が低減された前処理画像から前記前処理画像よりも小さい後処理画像を前記前処理画像から切り出す画像処理部を備え、
前記画像処理部は、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる
画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示システム、表示装置及び画像処理装置に関する。
【背景技術】
【０００２】
近年、自動車等の移動体に設けられた撮像装置及び表示装置により構成された表示システムが知られている。当該表示システムは、撮像装置による撮像画像を表示装置で確認することができるようになっている。【０００３】
しかしながら、移動体は移動に伴い振動する。係る振動によって画像にぶれが生じ、表示装置に何が映っているのかの把握を困難にする。係る振動による影響を低減するための構成として、画像の撮像時に生じる振動の影響を低減する車載の撮像装置が知られている（例えば特許文献１、特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１５０１５３号公報
【特許文献２】特開２０１０−２６８５２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮像装置及び表示装置の両方が移動体に設けられている場合、撮像装置と表示装置は異なる場所にあり、それぞれの場所で個別に振動する。このため、手ぶれ補正だけでは表示装置に加わった振動による画像のぶれを低減することができなかった。【０００６】
本発明は、上記の課題に鑑みてなされたもので、撮像装置及び表示装置が設けられた移動体で撮像装置及び表示装置の各々に加えられた振動による画像のぶれが低減された状態で画像を視認することができる表示システム、表示装置及び画像処理装置を提供することを目的とする。又は、撮像装置が設けられた移動体に設けられた表示装置に加わった振動による画像のぶれを低減することができる表示システム、表示装置及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様である表示システムは、移動体に設けられて画像を撮像する撮像部を有する撮像装置と、前記移動体において前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置と、前記撮像装置側で振動を検知する第１センサと、前記表示装置側で振動を検知する第２センサと、前記第１センサの検知結果に基づいて前記撮像画像よりも小さい前処理画像を前記撮像画像から切り出す第１画像処理部と、前記第２センサの検知結果に基づいて前記前処理画像よりも小さい後処理画像を前記前処理画像から切り出す第２画像処理部とを備え、前記第１画像処理部は、前記撮像画像内における前記前処理画像の切り出し範囲を前記撮像装置側での振動を打ち消す方向に移動させ、前記第２画像処理部は、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる。【０００８】
また、本発明の一態様は、画像を撮像する撮像部を有する撮像装置が設けられた移動体において前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置であって、前記撮像装置側で振動を検知する第１センサの検知結果に基づいて前記撮像画像よりも小さい前処理画像を前記撮像画像から切り出し、前記表示装置側で振動を検知する第２センサの検知結果に基づいて前記前処理画像よりも小さい前記後処理画像を前記前処理画像から切り出す画像処理部を備え、前記画像処理部は、前記撮像画像内における前記前処理画像の切り出し範囲を前記撮像装置側での振動を打ち消す方向に移動させ、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる。【０００９】
また、本発明の一態様は、画像を撮像する撮像部を有する撮像装置及び前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する撮像部を有する表示装置が設けられた移動体において前記撮像画像に基づいて前記後処理画像を得る画像処理装置であって、前記撮像装置側で振動を検知する第１センサの検知結果に基づいて前記撮像画像よりも小さい前処理画像を前記撮像画像から切り出し、前記表示装置側で振動を検知する第２センサの検知結果に基づいて前記前処理画像よりも小さい前記後処理画像を前記前処理画像から切り出す画像処理部を備え、前記画像処理部は、前記撮像画像内における前記前処理画像の切り出し範囲を前記撮像装置側での振動を打ち消す方向に移動させ、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる。【００１０】
また、本発明の一態様は、画像を撮像する撮像部を有する撮像装置が設けられた移動体において前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置であって、前記表示装置側で振動を検知するセンサの検知結果に基づいて、前記撮像画像に基づいて生成された画像であって前記撮像装置側での振動の影響が低減された前処理画像から前記前処理画像よりも小さい後処理画像を前記前処理画像から切り出す画像処理部を備え、前記画像処理部は、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる。【００１１】
また、本発明の一態様は、画像を撮像する撮像部を有する撮像装置及び前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置が設けられた移動体において前記後処理画像を得る画像処理装置であって、前記表示装置側で振動を検知するセンサの検知結果に基づいて、前記撮像画像に基づいて生成された画像であって前記撮像装置側での振動の影響が低減された前処理画像から前記前処理画像よりも小さい後処理画像を前記前処理画像から切り出す画像処理部を備え、前記画像処理部は、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施形態による表示システムの主要構成を示す図である。
【図２】図２は、ルームミラーユニット及びサイドミラーユニットが有する撮像装置の配置例を示す図である。
【図３】図３は、サイドミラーユニットが有する表示装置の配置例を示す図である。
【図４】図４は、表示装置の構成の一例を示すブロック図である。
【図５】図５は、サイドミラーユニットの主要構成を示すブロック図である。
【図６】図６は、撮像画像と前処理画像との関係の一例を示す図である。
【図７】図７は、第１センサによって検知された振動と、撮像装置に振動が加わることによる撮像範囲の変動と、第１座標の補正と、第１座標の補正による前処理画像の切り出し範囲の変動と、切り出しによって得られる前処理画像との関係の一例を示す図である。
【図８】図８は、前処理画像と後処理画像との関係の一例を示す図である。
【図９】図９は、第２センサによって検知された振動と、表示装置に振動が加わることによる所定位置の水平線に対する画像表示位置の変動と、第２座標の補正と、第２座標の補正による後処理画像の切り出し範囲の変動と、後処理画像を表示する表示装置の表示出力内容と所定位置の水平線との関係の一例を示す図である。
【図１０】図１０は、サイドミラーユニットにおける画像処理の流れの一例を示すフローチャートである。
【図１１】図１１は、第１センサによるセンシングのタイミングと第２センサによるセンシングのタイミングが同時である場合の処理の流れの一例を示すフローチャートである。
【図１２】図１２は、変形例に係るサイドミラーユニットの主要構成を示すブロック図である。
【図１３】図１３は、変形例に係るサイドミラーユニットの主要構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下に、本発明の各実施形態について、図面を参照しつつ説明する。なお、開示はあくまで一例にすぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。
【００１４】
（実施形態）
図１は、本発明の実施形態による表示システム１の主要構成を示す図である。図１に示すように、表示システム１は、ルームミラーユニット２、２つのサイドミラーユニット３Ａ，３Ｂ及びＣＩＤ（Center  Information  Display）ユニット４を備える。表示システム１は、移動体である自動車に設けられたいわゆる車載の表示システムである。
【００１５】
図２は、サイドミラーユニット３Ａ，３Ｂ及びルームミラーユニット２が有する撮像装置５Ａ，５Ｂ，５Ｃの配置例を示す図である。図２では、撮像装置５Ａ，５Ｂ，５Ｃの画角を破線で示している。例えば図２に示すように、実施形態の表示システム１は、３つの撮像装置５Ａ，５Ｂ，５Ｃを有する。３つの撮像装置５Ａ，５Ｂ，５Ｃは、自動車の車体ＢＯの側方及び後方に配置される。３つの撮像装置５Ａ，５Ｂ，５Ｃは、撮像部７１（図５参照）の一構成である固体撮像素子がレンズを介して外部の光を検知可能に設けられており、画角が車外に向けられている。すなわち、３つの撮像装置５Ａ，５Ｂ，５Ｃは、車外の状況を確認可能な画像を撮像する。より具体的には、側方に設けられる撮像装置５Ａ，５Ｂと後方に設けられる撮像装置５Ｃの画角とは、画角が一部重複するように設けられている。これにより、側方の撮像装置５Ａ，５Ｂの画角のうち、自動車の前方側の画角ＡＶ１，ＡＶ２よりも後方の状況を３つの撮像装置５Ａ，５Ｂ，５Ｃの撮像範囲内に収めることができる。実施形態では、例えばサイドミラーユニット３Ａ，３Ｂの表示装置２０Ａ，２０Ｂが側方の撮像装置５Ａ，５Ｂにより撮像された画像を表示し、ルームミラーユニット２の表示装置２０Ｃが後方の撮像装置５Ｃにより撮像された画像を表示する。撮像装置５Ａ，５Ｂ，５Ｃを特に区別しない場合、撮像装置５と記載することがある。また、表示装置２０Ａ，２０Ｂ，２０Ｃ及びＣＩＤユニット４の表示装置２０Ｄを特に区別しない場合、表示装置２０と記載することがある。
【００１６】
また、表示システム１は、撮像装置５側で振動を検知する第１センサ７２を備える。具体的には、例えば図２に示すように、第１センサ７２Ａ，７２Ｂ，７２Ｃは、撮像装置５Ａ，５Ｂ，５Ｃのそれぞれの筐体内に個別に設けられている。第１センサ７２Ａ，７２Ｂ，７２Ｃを特に区別しない場合、第１センサ７２と記載することがある。
【００１７】
図３は、サイドミラーユニット３Ａが有する表示装置２０Ａの配置例を示す図である。サイドミラーユニット３Ａが有する表示装置２０Ａは、四輪自動車の車内であって運転席の側方に配置される。具体的には、表示装置２０Ａが有する表示部８３は、例えば図３に示すように、フロントガラスＦＧとサイドガラスＳＧとの間に存するＡピラーＡＰの付け根付近に設けられる。サイドミラーユニット３Ｂが有する表示装置２０Ｂは、ハンドルＨＮ等が運転席に対してサイドミラーユニット３Ａが有する表示装置２０Ａと左右逆の位置に設けられる。サイドミラーユニット３Ａ，３Ｂが有する表示装置２０Ａ，２０Ｂは、車外の状況のうち主に車体ＢＯの側方の状況を示す画像を表示する。すなわち、サイドミラーユニット３Ａ，３Ｂは、従来ドアミラー又はフェンダーミラーにより確認されていた車外側方の状況確認に利用することができる。ルームミラーユニット２が有する表示装置２０Ｃは、例えば従来の自動車においてバックミラーが設けられていた位置に、バックミラーを代替するよう配置される。すなわち、ルームミラーユニット２は、従来バックミラーにより確認されていた車外後方の状況確認に利用することができる。
【００１８】
また、表示システム１は、表示装置２０側で振動を検知する第２センサ８２を備える。具体的には、例えば図３に示すように、表示装置２０Ａ側で振動を検知する第２センサ８２Ａは、表示装置２０Ａの表示面の反対側等、表示装置２０Ａによる表示出力に影響のない位置であって表示装置２０Ａの筐体内に個別に設けられている。他の表示装置２０Ｂ，２０Ｃ，２０Ｄにも、同様の第２センサが設けられている。第２センサ８２Ａを含めて、表示装置２０Ａ，２０Ｂ，２０Ｃ，２０Ｄのそれぞれに個別に設けられる第２センサを区別しない場合、第２センサ８２と記載することがある。
【００１９】
ＣＩＤユニット４は、例えば中央処理部１４、表示装置２０Ｄ等を有する。ＣＩＤユニット４の表示装置２０Ｄは、例えばダッシュボードに設けられて、カーナビゲーションシステムにおける道案内情報等を表示する。ＣＩＤユニット４の表示装置２０Ｄは、スピードメータ、タコメータ、燃料計、水温計、距離計等の計器類と同様の情報を表示してもよい。
【００２０】
実施形態のＣＩＤユニット４は、ルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂとデータ伝送可能に接続される。具体的には、ＣＩＤユニット４とルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂとは例えばＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）等のインタフェースを介して接続されるが、係る接続形態は、ＣＩＤユニット４とルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂとの接続の具体的形態の一例であってこれに限られるものでなく、適宜変更可能である。ＣＩＤユニット４の表示装置２０Ｄは、サイドミラーユニット３Ａ，３Ｂ及びルームミラーユニット２の各々が有する表示装置２０Ａ，２０Ｂ，２０Ｃのうちいずれかが故障した場合、故障した表示装置の表示出力を代替する。中央処理部１４は、ＣＩＤユニット４の表示装置２０Ｄによる表示出力に係る各種の処理を行う。
【００２１】
撮像装置５Ａ，５Ｂ，５Ｃ、表示装置２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ、第１センサ７２Ａ，７２Ｂ，７２Ｃの記載のように、符号における数字の後に付加された大文字のアルファベットは、移動体である自動車における配置を区別するためのものであり、具体的構成に特段の差異はない。
【００２２】
図４は、表示装置２０の構成の一例を示すブロック図である。図４に示すように、表示装置２０は、第２画像処理装置８１と、第２センサ８２と、表示部８３とを備える。表示部８３は、例えば、後処理画像９３（図８等参照）に基づいて第２画像処理装置８１により生成された信号（出力信号）に基づいて画像を表示させる画像表示パネル３０と、画像表示パネル３０の駆動を制御する画像表示パネル駆動回路４０と、画像表示パネル３０を、例えばその背面から照明する光源装置５０と、光源装置５０の駆動を制御する光源装置制御回路６０と、を備える。後処理画像９３及び第２センサ８２については後述する。
【００２３】
画像表示パネル３０は、例えば、Ｐ０×Ｑ０個（行方向にＰ０個、列方向にＱ０個）、２次元のマトリクス状に配列された画素４８を有する。この例において、行方向がＸ方向、列方向はＹ方向である。また、ＸＹの２方向に直交する方向はＺ方向である。
【００２４】
表示装置２０は、より具体的には、例えば透過型のカラー液晶表示装置である。画素４８は、カラー表示出力を行うための複数の色の副画素を有する。例えば、画素４８は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の副画素を有し、これらの副画素の各々の階調値に応じたカラー表示出力を行う。画素４８は、他の色の副画素を有していてもよい。例えば、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）のような、原色（ＲＧＢ）に対する補色の副画素のいずれか又は複数を有していてもよい。また、画素４８は、白（Ｗ）のような原色（ＲＧＢ）よりも高輝度の副画素を有していてもよい。
【００２５】
画像表示パネル駆動回路４０は、信号出力回路４１及び走査回路４２を備えている。信号出力回路４１は、所謂ソースドライバであり、第２画像処理装置８１から出力された出力信号に応じて画素４８を駆動するための映像信号を生成する。画像表示パネル駆動回路４０は、信号出力回路４１によって映像信号を保持し、順次、画像表示パネル３０に出力する。信号出力回路４１は、配線ＤＴＬによって画像表示パネル３０と電気的に接続されている。画素４８は、例えば、複数の副画素を有し、副画素が映像信号に応じた光透過率となるように動作する。走査回路４２は、所謂ゲートドライバであり、第２画像処理装置８１から出力された出力信号が示す画素行に応じた走査信号を出力する。画像表示パネル駆動回路４０は、走査回路４２が走査信号を出力することによって、画像表示パネル３０における副画素の動作（例えば表示輝度で、この場合は光透過率）を制御するためのスイッチング素子（例えば、薄膜トランジスタ(ＴＦＴ：Thin  Film  Transistor)）のＯＮ／ＯＦＦを制御する。走査回路４２は、走査線ＳＣＬによって画像表示パネル３０と電気的に接続されている。走査回路４２が走査線ＳＣＬを介してスイッチング素子をＯＮ／ＯＦＦするということは、走査線ＳＣＬに沿って設けられた画素行（ライン）単位でスイッチング素子をＯＮ／ＯＦＦすることができるということである。このように、表示装置２０は、ライン単位で表示出力のＯＮ／ＯＦＦを制御することができるよう設けられている。
【００２６】
光源装置５０は、画像表示パネル３０の背面に配置され、画像表示パネル３０に向けて光を照射することで、バックライトとして機能して画像表示パネル３０を照明する。光源装置５０は、画像表示パネル３０の前面に配置したフロントライト構成であってもよい。また画像表示パネル３０として自発光のディスプレイ、例えばＯＬＥＤ（Organic  Light  Emitting  Diode）ディスプレイ等を用いる場合には、この光源装置５０は不要にできる。
【００２７】
光源装置５０は、画像表示パネル３０の全面にわたり光を照射し、画像表示パネル３０を照明する。光源装置制御回路６０は、光源装置５０から出力する光の照射光量等を制御する。具体的には、光源装置制御回路６０は、第２画像処理装置８１から出力される光源装置制御信号に基づいて光源装置５０に供給する電流、電圧又は信号のｄｕｔｙ比を調整することで、画像表示パネル３０を照射する光の照射光量（光の強度）を制御する。
【００２８】
以下、１つの撮像装置５と１つの表示装置２０との組み合わせの例として、サイドミラーユニット３Ａについてより具体的に説明する。
【００２９】
図５は、サイドミラーユニット３Ａの主要構成を示すブロック図である。図５に示すように、サイドミラーユニット３Ａの撮像装置５Ａは、撮像部７１と、第１センサ７２Ａと、第１画像処理装置７３とを備える。また、サイドミラーユニット３Ａの表示装置２０Ａは、図４を参照して説明した通り、第２画像処理装置８１と、第２センサ８２Ａと、表示部８３とを備える。
【００３０】
撮像部７１は、移動体である自動車に設けられて画像を撮像する（図２参照）。具体的には、撮像部７１は、固体撮像素子（イメージセンサ）、レンズ、固体撮像素子から出力された電荷に基づいてＸＹ方向に沿って並ぶ複数の画素により構成された画像を生成する回路等を有するいわゆるデジタルカメラである。固体撮像素子は、例えばＣＭＯＳ（Complementary  metal  oxide  semiconductor）イメージセンサ又はＣＣＤ（Charge  Coupled  Device）イメージセンサであるが、２次元画像を生成可能な電荷を出力する機能を有する他の種類のイメージセンサであってもよい。撮像部７１は、所定のフレームレートで画像を撮像し、撮像画像９１（図６等参照）として出力する。所定のフレームレートは任意であるが、例えば６０ｆｐｓ、１２０ｆｐｓ等が挙げられる。以下、固体撮像素子が光を検知する２次元の面をｘｙ平面とし、当該ｘｙ平面に沿い直交する２方向をｘｙ方向とし、ｘｙ方向に直交する１方向（撮像の奥行き方向に沿う方向）をｚ方向と記載することがある。
【００３１】
第１センサ７２Ａを含む第１センサ７２は、撮像装置５側で振動を検知する。具体的には、第１センサ７２Ａは、例えば撮像装置５Ａに設けられた撮像部７１が有する固体撮像素子のｘｙｚ方向の３方向のうち、少なくとも撮像面に水平な面となるｘｙ方向の２方向について加速度を検知することができる加速度計を有し、当該加速度計により検知された加速度に基づいて振動量を検知する。もちろん、当該ｘｙ方向に垂直な方向となるｚ方向の加速度計を有し、これらｘｙｚ方向についての加速度を検知し、該加速度に基づいて各方向における振動量を検知する構成も採用可能である。第１センサ７２は、自動車における撮像装置５側、すなわち、表示装置２０よりも撮像装置５に近傍な位置において自動車の走行に伴って撮像装置５に加えられる振動を検出する。第１センサ７２は、図２に示すように撮像装置５の筐体内に存していてもよいし、撮像装置５の近傍に設けられていてもよい。
【００３２】
第１画像処理装置７３は、撮像装置５による撮像画像９１に基づいて前処理画像９２（図６等参照）を生成出力する回路である。具体的には、撮像装置５Ａの第１画像処理装置７３は、第１センサ７２Ａの検知結果に基づいて撮像画像９１よりも小さい前処理画像９２を撮像画像９１から切り出す第１画像処理部１０１として機能する。実施形態では、第１画像処理装置７３は、撮像装置５の筐体内に存する回路であるが、撮像装置５から出力される画像信号を処理してデータの流れの下流側（表示装置２０側）に出力する外部の回路であってもよい。第１画像処理部１０１としての機能については後述する。
【００３３】
第２センサ８２Ａを含む第２センサ８２は、表示装置２０側で振動を検知する。具体的には、第２センサ８２Ａは、例えば表示装置２０Ａに設けられた表示部８３のＸＹＺ方向の３方向のうち、少なくとも表示面に水平な面となるＸＹ方向の２方向について加速度を検知することができる加速度計を有し、当該加速度計により検知された加速度に基づいて振動量を検知する。もちろん、当該ＸＹ方向に垂直な方向となるＺ方向の加速度計を有し、これらＸＹＺ方向についての加速度を検知し、該加速度に基づいて各方向における振動量を検知する構成も採用可能である。第２センサ８２は、自動車における表示装置２０側、すなわち、撮像装置５よりも表示装置２０に近傍な位置において自動車の走行に伴って表示装置２０に加えられる振動を検出する。第２センサ８２は、表示装置２０の筐体内に存していてもよいし、表示装置２０の近傍に設けられていてもよい。
【００３４】
なお、第１センサ７２、第２センサ８２を構成する加速度センサは、例えばＭＥＭＳ（Micro  Electro  Mechanical  Systems）技術を用いて作成される小型のものを利用することで、図２、図３に示すようにそれぞれ撮像装置５、表示装置２０に内蔵された構成として設けることができる。
【００３５】
第２画像処理装置８１は、撮像装置５側から出力された画像である前処理画像９２に基づいて後処理画像９３を生成出力する回路である。具体的には、表示装置２０Ａの第２画像処理装置８１は、第２センサ８２Ａの検知結果に基づいて前処理画像９２よりも小さい後処理画像９３を前処理画像９２から切り出す第２画像処理部１０２として機能する。実施形態では、第２画像処理装置８１は、表示装置２０の筐体内に存する回路であるが、表示装置２０に入力される前処理画像９２の信号を表示装置２０よりもデータの流れの上流側（撮像装置５側）で処理する外部の回路であってもよい。第２画像処理部１０２としての機能については後述する。また、図４を参照して説明したように、実施形態の第２画像処理装置８１は、さらに、画像表示パネル駆動回路４０及び光源装置制御回路６０の動作制御に係る信号（出力信号及び光源装置制御信号）を出力する機能を有するが、第２画像処理部１０２として機能する回路と画像表示パネル駆動回路４０及び光源装置制御回路６０の動作制御に係る信号を出力する回路とは個別に設けられてもよい。
【００３６】
表示装置２０は、移動体である自動車において撮像装置５と別の位置に設けられる（図３参照）。表示装置２０の表示部８３は、後処理画像９３を表示する。ここで、後処理画像９３は、前処理画像９２に基づいて生成出力される。また、前処理画像９２は、撮像画像９１に基づいて生成出力される。よって、後処理画像９３は、撮像装置５による撮像画像９１に基づいた画像である。すなわち、表示装置２０は、撮像装置５による撮像画像９１に基づいた後処理画像９３を表示する。
【００３７】
次に、第１画像処理部１０１について説明する。第１画像処理部１０１は、撮像画像９１内における前処理画像９２の切り出し範囲を撮像装置５側での振動を打ち消す方向に移動させる。具体的には、第１画像処理部１０１は、移動体が静止している場合の撮像画像９１内における所定の第１座標を用いて定められた第１範囲に基づいて、第１センサ７２Ａにより検知された振動の方向及び振動量に基づいて補正された第１座標に応じて移動した第１範囲を撮像画像９１から前処理画像９２として切り出す。
【００３８】
図６は、撮像画像９１と前処理画像９２との関係の一例を示す図である。撮像画像９１の所定位置（例えば、左上）に存する画素を第１原点（ｘ１，ｙ１）とする座標を用いると、第１原点を開始位置としてｘ方向にｐ個の画素が並び、ｙ方向にｑ個の画素が並ぶ２次元画像である撮像画像９１の画素領域は、第１原点の座標（ｘ１，ｙ１）から第１原点の対角の座標（ｘｐ，ｙｑ）に亘る２次元領域として表すことができる。
【００３９】
第１画像処理部１０１は、前処理画像９２として撮像画像９１から切り出される範囲を、撮像画像９１の画素領域よりも小さい２次元領域とする。具体的には、第１画像処理部１０１は、例えば、第１原点の座標（ｘ１，ｙ１）から第１原点の対角の座標（ｘｐ，ｙｑ）に亘る撮像画像９１の画素領域内の領域であって、ｘ方向の画素数が撮像画像９１よりもａ個少ない画素を有し、ｙ方向の画素数が撮像画像９１よりもｂ個少ない画素を有する２次元領域を前処理画像９２として撮像画像９１から切り出される範囲とする。ｐ，ｑ，ａ，ｂは整数である。
【００４０】
実施形態の第１画像処理部１０１は、移動体が静止している場合、撮像画像９１内の中央部分から前処理画像９２を得る。よって、移動体である自動車が静止している場合、第１画像処理部１０１は、図６に示すように、撮像画像９１内における（ｘ（ａ／２），ｙ（ｂ／２））の座標から（ｘ（ｐ−（ａ／２）），ｙ（ｑ−（ｂ／２）））の座標に亘る画素領域を所定の第１座標を用いて定められた第１範囲とし、当該所定の第１座標を用いて定められた第１範囲を前処理画像９２として切り出す。この場合、第１原点の座標（ｘ１，ｙ１）に対する（ｘ（ａ／２），ｙ（ｂ／２））の座標が第１座標となる。このように、補正前の第１座標は、移動体（例えば、自動車）が静止している場合の撮像画像９１内で定められた座標である。
【００４１】
実施形態では、第１原点の座標（ｘ１，ｙ１）に対する（ｘ（ａ／２），ｙ（ｂ／２））の座標を第１座標とし、第１原点からｘ方向に（ｐ−ａ）個の画素を有し、ｙ方向に（ｑ−ｂ）個の画素を有する２次元領域を前処理画像９２とすることで、図６を参照して説明した第１範囲を設定しているが、第１座標及び第１座標に基づいて定められる前処理画像９２として撮像画像９１から切り出される範囲を具体的にどのように設定するかは、適宜変更可能である。例えば、ａ，ｂが奇数である場合、（ａ／２）、（ｂ／２）で表される座標が整数でなくなる。このため、例えば第１座標を（ｘ（（ａ／２）±１／２），ｙ（（ｂ／２）±１／２））のように設定することで、前処理画像９２として切り出される画素領域を正しく設定することができる。なお、「±」は、プラス（＋）又はマイナス（−）のいずれか一方である。
【００４２】
図７は、第１センサ７２Ａによって検知された振動量と、撮像装置５Ａに振動が加わることによる撮像範囲の変動と、第１座標の補正と、第１座標の補正による前処理画像９２の切り出し範囲の変動と、切り出しによって得られる前処理画像９２との関係の一例を示す図である。図７では、自動車の静止状態における撮像範囲を破線で示し、撮像装置５Ａに振動が加わることによる撮像範囲の変動後の撮像範囲を実線で示している。第１センサ７２Ａは、自動車の走行に伴い撮像装置５Ａ側で生じるｘｙ方向の振動量を検知する。
【００４３】
図７の「フレーム１」では、自動車は静止している。このような場合等、振動量がｘｙ方向ともに０である場合、第１画像処理部１０１は、第１座標に対する補正を行わずに前処理画像９２を切り出す。すなわち、第１画像処理部１０１は、第１座標のｘｙ方向の補正量を±０として撮像画像９１から前処理画像９２を切り出す。この場合、図６を参照して説明した通り、前処理画像９２は、撮像画像９１内における（ｘ（ａ／２），ｙ（ｂ／２））の座標から（ｘ（ｐ−（ａ／２）），ｙ（ｑ−（ｂ／２）））の座標に亘る画素領域を切り出した画像になる。
【００４４】
図７の「フレーム２」以降のフレームでは、自動車は走行している。自動車が走行中である等の理由により、第１センサ７２Ａによってｘｙ方向の少なくともいずれか一方に０を超える振動量が検知された場合、第１画像処理部１０１は、第１センサ７２Ａにより検知された振動の方向及び振動量に基づいて補正された第１座標に応じて移動した第１範囲を撮像画像９１から前処理画像９２として切り出す。
【００４５】
例えば、振動量が（ｘ：−１，ｙ：−１）である場合、すなわち、ｘ方向に−１、ｙ方向に−１の振動量が検知された場合、振動によって撮像装置５Ａの画角が第１原点側に向かってｘｙ方向に画素１つ分ずれている。この場合、図７の「フレーム２」で示すように、静止状態において第１原点の座標（ｘ１，ｙ１）で撮像されていた撮像対象は、座標（ｘ２，ｙ２）で撮像されることになり、「フレーム１」の場合に比して矢印ｍ１のように撮像範囲が移動する。
【００４６】
第１画像処理部１０１は、振動によって生じた画角のずれ方向と反対の方向に向かって前処理画像９２の切り出し範囲を移動させるように第１座標を補正する。具体的には、図７の「フレーム２」では、振動量が（ｘ：−１，ｙ：−１）であるので、第１座標を表すｘ座標及びｙ座標に１を加える。よって、「フレーム２」における第１座標は、補正されて（ｘ（（ａ／２）＋１），ｙ（（ｂ／２）＋１））になる。補正により、第１座標は矢印Ｍ１のように移動し、切り出し範囲も第１座標の補正に伴い移動する。第１画像処理部１０１は、「フレーム２」のタイミングで得られた撮像画像９１内における（ｘ（（ａ／２）＋１），ｙ（（ｂ／２）＋１））の座標から（ｘ（ｐ−（ａ／２）＋１），ｙ（ｑ−（ｂ／２）＋１））の座標に亘る画素領域を前処理画像９２として切り出す。
【００４７】
また、振動量が（ｘ：＋２，ｙ：＋１）である場合、すなわち、ｘ方向に＋２、ｙ方向に＋１の振動量が検知された場合、振動によって撮像装置５Ａの画角が第１原点の対角側に向かってｘ方向に画素２つ分、ｙ方向に画素１つ分ずれている。この場合、図７の「フレーム３」で示すように、静止状態において第１原点の座標（ｘ１，ｙ１）で撮像されていた撮像対象は、撮像範囲外となり、静止状態において座標（ｘ３，ｙ２）で撮像されていた撮像対象が第１原点で撮像されることになる。よって、「フレーム１」の場合に比して矢印ｍ２のように撮像範囲が移動する。第１画像処理部１０１は、振動によって生じた画角のずれ方向と反対の方向に向かって前処理画像９２の切り出し範囲を移動させるように第１座標を補正する。具体的には、図７の「フレーム３」では、振動量が（ｘ：＋２，ｙ：＋１）であるので、第１座標を表すｘ座標から２を減じ、ｙ座標から１を減じる。よって、「フレーム３」における第１座標は、補正されて（ｘ（（ａ／２）−２），ｙ（（ｂ／２）−１））になる。補正により、第１座標は矢印Ｍ２のように移動し、切り出し範囲も第１座標の補正に伴い移動する。第１画像処理部１０１は、「フレーム３」のタイミングで得られた撮像画像９１内における（ｘ（（ａ／２）−２），ｙ（（ｂ／２）−１））の座標から（ｘ（（ｐ−（ａ／２）−２），ｙ（（ｑ−（ｂ／２）−１）））の座標に亘る画素領域を前処理画像９２として切り出す。
【００４８】
振動によって生じた画角のずれ方向と反対の方向に向かって前処理画像９２の切り出し範囲を移動させるように第１座標を補正して前処理画像９２を切り出すことで、前処理画像９２として切り出される撮像範囲は、図７の「フレーム２」、「フレーム３」における「前処理画像９２」で示すように、自動車が静止している場合に前処理画像９２として切り出される「フレーム１」の撮像範囲と同一になる。すなわち、図７を参照した説明のように、第１画像処理部１０１が撮像画像９１内における前処理画像９２の切り出し範囲を撮像装置５Ａ側での振動を打ち消す方向に移動させることで、撮像装置５Ａ側で振動が生じたとしても前処理画像９２にぶれが生じることを抑制することができる。
【００４９】
図７の「フレーム１」〜「フレーム３」で示す例に限らず、第１画像処理部１０１は、同様の仕組みで第１センサ７２Ａにより検知された振動の方向及び振動量に基づいて補正された第１座標に応じて移動した第１範囲を撮像画像９１から前処理画像９２として切り出す。
【００５０】
図７を参照した説明では、撮像画像９１の中心からみて第１原点側の方向に画角がずれるように撮像装置５Ａが振動する場合の振動量をマイナス（−）とし、撮像画像９１の中心からみて第１原点の対角側の方向に画角がずれるように撮像装置５Ａが振動する場合の振動量をプラス（＋）としているが、これは振動量の管理方法の一例であってこれに限られるものでなく、適宜変更可能である。
【００５１】
次に、第２画像処理部１０２について説明する。第２画像処理部１０２は、前処理画像９２内における後処理画像９３の切り出し範囲を表示装置２０Ａ側での振動に追従させる。具体的には、第２画像処理部１０２は、移動体が静止している場合の前処理画像９２内における所定の第２座標を用いて定められた第２範囲に基づいて、第２センサ８２Ａにより検知された振動の方向及び振動量に基づいて補正された第２座標に応じて移動した第２範囲を前処理画像９２から後処理画像９３として切り出す。
【００５２】
図８は、前処理画像９２と後処理画像９３との関係の一例を示す図である。前処理画像９２の所定位置（例えば、左上）に存する画素を第２原点（Ｘ１，Ｙ１）とする座標を用いると、第２原点を開始位置としてＸ方向にＡ個の画素が並び、Ｙ方向にＢ個の画素が並ぶ２次元画像である前処理画像９２の画素領域は、第２原点の座標（Ｘ１，Ｙ１）から第２原点の対角の座標（ＸＡ，ＹＢ）に亘る２次元領域として表すことができる。ここで、図６における前処理画像９２と図８における前処理画像９２との対応関係を説明すると、Ａ＝（ｐ−ａ）であり、Ｂ＝（ｑ−ｂ）である。
【００５３】
第２画像処理部１０２は、後処理画像９３として前処理画像９２から切り出される範囲を、前処理画像９２の画素領域よりも小さい２次元領域とする。具体的には、第２画像処理部１０２は、例えば、図８に示す第２原点の座標（Ｘ１，Ｙ１）から第２原点の対角の座標（ＸＡ，ＹＢ）に亘る前処理画像９２の画素領域内の領域であって、Ｘ方向の画素数が撮像画像９１よりもｃ個少ない画素を有し、Ｙ方向の画素数が撮像画像９１よりもｄ個少ない画素を有する２次元領域を後処理画像９３として撮像画像９１から切り出される範囲とする。ｃ，ｄは整数である。
【００５４】
実施形態の第２画像処理部１０２は、移動体が静止している場合、前処理画像９２内の中央部分から後処理画像９３を得る。よって、移動体である自動車が静止している場合、第２画像処理部１０２は、図８に示すように、前処理画像９２内における（Ｘ（ｃ／２），Ｙ（ｄ／２））の座標から（Ｘ（Ａ−（ｃ／２）），Ｙ（Ｂ−（ｄ／２）））の座標に亘る画素領域を所定の第２座標を用いて定められた第２範囲とし、当該所定の第１座標を用いて定められた第２範囲を後処理画像９３として切り出す。この場合、第２原点の座標（Ｘ１，Ｘ１）に対する（Ｘ（ｃ／２），Ｙ（ｄ／２））の座標が第２座標となる。このように、補正前の第２座標は、移動体（例えば、自動車）が静止している場合の前処理画像９２内で定められた座標である。
【００５５】
なお、後処理画像９３のＸＹ方向の画素数と、画像表示パネル３０の解像度（Ｐ０×Ｑ０）とを対応させることで、表示出力に係るリサンプリングを不要とすることができる。
【００５６】
実施形態では、第２原点の座標（Ｘ１，Ｙ１）に対する（Ｘ（ｃ／２），Ｙ（ｄ／２））の座標を第２座標とし、第２原点からＸ方向に（Ａ−ｃ）個の画素を有し、Ｙ方向に（Ｂ−ｄ）個の画素を有する２次元領域を後処理画像９３とすることで、図８を参照して説明した第２範囲を設定しているが、第２座標及び第２座標に基づいて定められる前処理画像９２として撮像画像９１から切り出される範囲を具体的にどのように設定するかは、前処理画像９２の場合と同様に、適宜変更可能である。
【００５７】
図９は、第２センサ８２Ａによって検知された振動量と、表示装置２０Ａに振動が加わることによる所定位置の水平線Ｈに対する画像表示位置の変動と、第２座標の補正と、第２座標の補正による後処理画像９３の切り出し範囲の変動と、後処理画像９３を表示する表示装置２０Ａの表示出力内容と所定位置の水平線Ｈとの関係の一例を示す図である。図９では、自動車の静止状態における表示部８３の位置を破線で示し、表示装置２０Ａに振動が加わることによる表示部８３の変動後の位置を実線で示している。第２センサ８２Ａは、自動車の走行に伴い表示装置２０Ａ側で生じるＸＹ方向の振動量を検知する。
【００５８】
図９の「フレーム１」では、自動車は静止している。このような場合等、振動量がＸＹ方向ともに０である場合、第２画像処理部１０２は、第２座標に対する補正を行わずに後処理画像９３を切り出す。すなわち、第２画像処理部１０２は、第２座標のＸＹ方向の補正量を±０として前処理画像９２から後処理画像９３を切り出す。この場合、図８を参照して説明した通り、後処理画像９３は、前処理画像９２内における（Ｘ（ｃ／２），Ｙ（ｄ／２））の座標から（Ｘ（Ａ−（ｃ／２）），Ｙ（Ｂ−（ｄ／２）））の座標に亘る画素領域を切り出した画像になる。
【００５９】
図９の「フレーム２」以降のフレームでは、自動車は走行している。自動車が走行中である等の理由により、第２センサ８２ＡによってＸＹ方向の少なくともいずれか一方に０を超える振動量が検知された場合、第２画像処理部１０２は、第２センサ８２Ａにより検知された振動の方向及び振動量に基づいて補正された第２座標に応じて移動した第２範囲を前処理画像９２から後処理画像９３として切り出す。
【００６０】
例えば、振動量が（Ｘ：−１，Ｙ：−１）である場合、すなわち、Ｘ方向に−１、Ｙ方向に−１の振動量が検知された場合、振動によって表示部８３の位置が表示領域の第２原点側（左上側）に向かってＸＹ方向に画素１つ分ずれており、「フレーム１」の場合に比して矢印ｍ３のように表示装置が移動する。
【００６１】
第２画像処理部１０２は、振動によって生じた画角のずれ方向と同一の方向に向かって後処理画像９３の切り出し範囲を移動させるように第２座標を補正する。具体的には、図９の「フレーム２」では、振動量が（Ｘ：−１，Ｙ：−１）であるので、第２座標を表すＸ座標及びＹ座標から１を減じる。よって、「フレーム２」における第２座標は、補正されて（Ｘ（（ｃ／２）−１），Ｙ（（ｄ／２）−１））になる。補正により、第２座標は矢印Ｍ３のように移動し、切り出し範囲も第２座標の補正に伴い移動する。第２画像処理部１０２は、「フレーム２」のタイミングで得られた前処理画像９２内における（Ｘ（（ｃ／２）−１），Ｙ（（ｄ／２）−１））の座標から（Ｘ（Ａ−（ｃ／２）−１），Ｙ（Ｂ−（ｄ／２）−１））の座標に亘る画素領域を後処理画像９３として切り出す。
【００６２】
また、振動量が（Ｘ：＋２，Ｙ：＋１）である場合、すなわち、Ｘ方向に＋２、Ｙ方向に＋１の振動量が検知された場合、振動によって表示部８３の位置が第２原点の対角側（右下側）に向かってＸ方向に画素２つ分、Ｙ方向に画素１つ分ずれており、「フレーム１」の場合に比して矢印ｍ４のように表示装置が移動する。第２画像処理部１０２は、振動によって生じた画角のずれ方向と同一の方向に向かって後処理画像９３の切り出し範囲を移動させるように第２座標を補正する。具体的には、図８の「フレーム３」では、振動量が（Ｘ：＋２，Ｙ：＋１）であるので、第２座標を表すＸ座標に２を加え、Ｙ座標に１を加える。よって、「フレーム３」における第２座標は、補正されて（Ｘ（（ｃ／２）＋２），Ｙ（（ｂ／２）＋１））になる。補正により、第２座標は矢印Ｍ４のように移動し、切り出し範囲も第２座標の補正に伴い移動する。第２画像処理部１０２は、「フレーム３」のタイミングで得られた前処理画像９２内における（Ｘ（（ｃ／２）＋２），Ｙ（（ｂ／２）＋１））の座標から（Ｘ（（Ａ−（ｃ／２）＋２），Ｙ（（Ｂ−（ｄ／２）＋１）））の座標に亘る画素領域を後処理画像９３として切り出す。
【００６３】
振動によって生じた画角のずれ方向と同一の方向に向かって後処理画像９３の切り出し範囲を移動させるように第２座標を補正して後処理画像９３を切り出すことで、後処理画像９３として切り出される撮像範囲は、表示装置２０Ａ側での振動に追従する。ここで、図９の「フレーム２」、「フレーム３」における「後処理画像９３」で示すように、後処理画像９３を表示する表示装置２０Ａの表示出力内容は、所定位置の水平線Ｈに対して移動しない。すなわち、表示装置２０Ａが振動することで所定位置の水平線Ｈに対してぶれを生じても、表示出力内容はぶれを生じない。図９を参照した説明のように、第２画像処理部１０２が撮像画像９１内における後処理画像９３の切り出し範囲を表示装置２０Ａ側での振動に追従させることで、表示装置２０Ａ側で振動が生じた場合の見かけ上のぶれを抑制することができる。
【００６４】
図９の「フレーム１」〜「フレーム３」で示す例に限らず、第２画像処理部１０２は、同様の仕組みで第２センサ８２Ａにより検知された振動の方向及び振動量に基づいて補正された第２座標に応じて移動した第２範囲を前処理画像９２から後処理画像９３として切り出す。
【００６５】
図９を参照した説明では、表示領域の中央からみて第２原点側の方向に移動するように表示装置２０Ａが振動する場合の振動量をマイナス（−）とし、表示領域の中央からみて第２原点の対角側の方向に移動するように表示装置２０Ａが振動する場合の振動量をプラス（＋）としているが、これは振動量の管理方法の一例であってこれに限られるものでなく、適宜変更可能である。
【００６６】
図１０は、サイドミラーユニット３Ａにおける画像処理の流れの一例を示すフローチャートである。撮像装置５Ａは、撮像部７１を動作させて撮像画像９１を生成する（ステップＳ１）。また、第１センサ７２Ａは、撮像装置５Ａ側での振動量を検知する（ステップＳ２）。ステップＳ１とステップＳ２の処理は並行して行われる。
【００６７】
第１画像処理部１０１として機能する第１画像処理装置７３は、前処理画像９２の切り出し範囲を撮像装置５Ａ側での振動を打ち消す方向に移動させるように第１座標を補正する（ステップＳ３）。第１画像処理装置７３は、補正後の第１座標によって特定される前処理画像９２の切り出し範囲を採用して撮像画像９１から前処理画像９２を切り出す（ステップＳ４）。第１画像処理装置７３は、前処理画像９２を表示装置２０Ａに出力する（ステップＳ５）。
【００６８】
第２センサ８２Ａは、表示装置２０Ａ側での振動量を検知する（ステップＳ６）。第２画像処理部１０２として機能する第２画像処理装置８１は、後処理画像９３の切り出し範囲を表示装置２０Ａ側での振動に追従させるように第２座標を補正する（ステップＳ７）。第２画像処理装置８１は、補正後の第２座標によって特定される後処理画像９３の切り出し範囲を採用して前処理画像９２から後処理画像９３を切り出す（ステップＳ８）。表示装置２０Ａは、後処理画像９３を表示出力する（ステップＳ９）。
【００６９】
以上、サイドミラーユニット３Ａが備える撮像装置５Ａ及び表示装置２０Ａを例として実施形態を説明したが、サイドミラーユニット３Ｂが備える撮像装置５Ｂ及び表示装置２０Ｂならびにルームミラーユニット２が備える撮像装置５Ｃ及び表示装置２０Ｃも、サイドミラーユニット３Ａが備える撮像装置５Ａ及び表示装置２０Ａと同様である。すわなち、サイドミラーユニット３Ａ，３Ｂ及びルームミラーユニット２は、それぞれ、移動体に設けられて画像を撮像する撮像部７１を有する撮像装置５と、移動体において撮像装置５と別の位置に設けられて撮像装置５による撮像画像９１に基づいた後処理画像９３を表示する表示部８３を有する表示装置２０と、撮像装置５側で振動を検知する第１センサ７２と、表示装置２０側で振動を検知する第２センサ８２と、第１センサ７２の検知結果に基づいて撮像画像９１よりも小さい前処理画像９２を撮像画像９１から切り出す第１画像処理部１０１と、第２センサ８２の検知結果に基づいて前処理画像９２よりも小さい後処理画像９３を前処理画像９２から切り出す第２画像処理部１０２とを備え、第１画像処理部１０１が、撮像画像９１内における前処理画像９２の切り出し範囲を撮像装置５側での振動を打ち消す方向に移動させ、第２画像処理部１０２が、前処理画像９２内における後処理画像９３の切り出し範囲を表示装置２０側での振動に追従させる表示システムとしての特徴を有している。
【００７０】
なお、図５〜図９を参照した説明では、画素と座標とを１：１で対応させて画像に座標を設定しているが、座標の設定方法はこれに限られるものでなく、適宜変更可能である。例えば、第１センサ７２による振動量の分解能の最小単位に基づいて、座標の最小単位と画素数との対応比率を設定してもよい。また、第１センサ７２による振動量の分解能の最小単位と画素数とを対応させること等を目的として撮像画像９１及び前処理画像９２の解像度変換を行うようにしてもよい。
【００７１】
また、第１センサによるセンシングのタイミングと第２センサによるセンシングのタイミングの関係は、適宜変更可能である。例えば、図１０を参照して例示した、撮像の動作タイミングに応じて撮像装置側の第１センサ７２を動作させ、表示出力のタイミングに応じて表示装置側の第２センサ８２を動作させる個別タイミングでのセンシングであってもよいし、同時のセンシングであってもよい。
【００７２】
図１１は、第１センサによるセンシングのタイミングと第２センサによるセンシングのタイミングが同時である場合の処理の流れの一例を示すフローチャートである。第１センサによるセンシングのタイミングと第２センサによるセンシングを同時に行う場合、例えば図１１に示すように、ステップＳ１の撮像タイミングと並行して撮像装置側の第１センサ７２と表示装置側の第２センサ８２を動作させてセンシングを行う（ステップＳ１１）。図１１に示す処理は、図１０におけるステップＳ２の処理がステップＳ１１の処理に置換され、ステップＳ６の処理が省略される点を除いて図１０に示す処理と同様である。
【００７３】
以上、実施形態によれば、第１画像処理部１０１が撮像画像９１内における前処理画像９２の切り出し範囲を撮像装置５側での振動を打ち消す方向に移動させる。このため、撮像装置５側で振動が生じたとしても前処理画像９２にぶれが生じることを抑制することができる。また、第２画像処理部１０２が前処理画像９２内における後処理画像９３の切り出し範囲を表示装置２０側での振動に追従させる。このため、表示装置２０側で振動が生じた場合の見かけ上のぶれを抑制することができる。すなわち、このような前処理画像９２の切り出し処理及び後処理画像９３の切り出し処理によって、撮像装置５及び表示装置２０が設けられた移動体で撮像装置５及び表示装置２０の各々に加えられた振動による画像のぶれが低減された状態で画像を視認することができる。また、撮像装置５が設けられた移動体に設けられた表示装置２０に加わった振動による画像のぶれを低減することができる。
【００７４】
また、第１画像処理部１０１は、移動体（例えば、自動車）が静止している場合の撮像画像９１内における所定の第１座標を用いて定められた第１範囲に基づいて、第１センサ７２により検知された振動の方向及び振動量に基づいて補正された第１座標に応じて移動した第１範囲を撮像画像９１から前処理画像９２として切り出し、第２画像処理部１０２は、移動体が静止している場合の前処理画像９２内における所定の第２座標を用いて定められた第２範囲に基づいて、第２センサ８２により検知された振動の方向及び振動量に基づいて補正された第２座標に応じて移動した第２範囲を前処理画像９２から後処理画像９３として切り出す。このため、移動体が静止している場合を基準として、振動による画像のぶれを抑制するための切り出し範囲の補正を行うことができる。
【００７５】
また、第１画像処理部１０１として機能する第１画像処理装置７３は、撮像装置５側に設けられ、第２画像処理部１０２として機能する第２画像処理装置８１は、表示装置２０側に設けられる。このため、撮像装置５側で生じた振動の影響を抑制するための処理と表示装置２０側で生じた振動の影響を抑制するための処理とを分散させることができ、個々の画像処理装置の処理負荷を軽減することができる。
【００７６】
（変形例）
次に、本発明の変形例について説明する。変形例の説明に係り、上記で説明した実施形態と同様の構成については同じ符号を付して説明を省略することがある。
【００７７】
図１２及び図１３は、変形例に係るサイドミラーユニット３Ａの主要構成を示すブロック図である。例えば図１２に示すように、表示装置２０Ａ側に設けられた画像処理装置１００が第１画像処理部１０１及び第２画像処理部１０２として機能してもよい。この場合、実施形態において撮像装置５Ａ側に設けられていた第１画像処理装置７３は不要である。第１センサ７２Ａ及び第２センサ８２Ａの各々は、画像処理装置１００に検知結果を出力する。また、撮像部７１は、画像処理装置１００に撮像画像９１を出力する。画像処理装置１００は、第１画像処理部１０１として機能することで撮像画像９１から前処理画像９２を切り出し、第２画像処理部１０２として機能することで前処理画像９２から後処理画像９３を切り出す。また、図１２では表示装置２０Ａが第１画像処理部１０１及び第２画像処理部１０２として機能する画像処理装置１００を備えているが、表示装置２０Ａに代えて撮像装置５Ａが当該画像処理装置１００を備えていてもよい。
【００７８】
また、図１３に示すように、撮像装置５Ａ及び表示装置２０Ａ側から独立して設けられた画像処理装置１１０が第１画像処理部１０１及び第２画像処理部１０２として機能してもよい。この場合、実施形態における第１画像処理装置７３及び第２画像処理装置８１は不要である。また、第１センサ７２Ａ及び第２センサ８２Ａの各々は、独立して設けられた画像処理装置１１０に検知結果を出力する。また、撮像部７１は、独立して設けられた画像処理装置１１０に撮像画像９１を出力する。独立して設けられた画像処理装置１１０は、第１画像処理部１０１として機能することで撮像画像９１から前処理画像９２を切り出し、第２画像処理部１０２として機能することで前処理画像９２から後処理画像９３を切り出す。
【００７９】
また、実施形態では、撮像装置５側の第１画像処理装置７３が第１センサ７２の検知結果に基づいて撮像画像９１よりも小さい前処理画像９２を撮像画像９１から切り出す処理に際して撮像画像９１内における前処理画像９２の切り出し範囲を撮像装置５側での振動を打ち消す方向に移動させることで撮像装置５側の振動による画像のぶれを抑制しているが、他の方法によって撮像装置５側の振動による画像のぶれを抑制するようにしてもよい。例えば、いわゆるレンズシフト方式等、光学式のぶれ補正機能を採用して撮像装置５側の振動による画像のぶれを抑制してもよい。
【００８０】
これらの変形例は、サイドミラーユニット３Ａに限らず、サイドミラーユニット３Ｂ及びルームミラーユニット２についても同様に適用可能である。
【００８１】
なお、変形例を含む本発明の実施形態等においては、表示装置２０の開示例として液晶表示装置の場合を例示したが、その他の適用例として、有機エレクトロルミネセンス（Electroluminescence：ＥＬ）表示装置、その他の自発光型表示装置等、あらゆるフラットパネル型の表示装置が挙げられる。また、中小型から大型まで、特に限定することなく適用が可能であることは言うまでもない。
【００８２】
また、変形例を含む本発明の実施形態等においては、移動体の開示例として自動車の場合を例示したが、３輪以上の車輪と乗員が車室内に備えられた座席に座ることができるボディとを備えたいわゆる自動車に限らず、２輪であっても所謂ボディを備えるものであれば適用が可能であるし、モーターボート等、他の移動体にも適用が可能である。
【００８３】
また、変形例を含む本発明の実施形態等において述べた態様によりもたらされる他の作用効果について本明細書記載から明らかなもの、又は当業者において適宜想到し得るものについては、当然に本発明によりもたらされるものと解される。
【符号の説明】
【００８４】
１  表示システム
２  ルームミラーユニット
３Ａ，３Ｂ  サイドミラーユニット
４  ＣＩＤユニット
５，５Ａ，５Ｂ，５Ｃ  撮像装置
１４  中央処理部
２０，２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ  表示装置
７１  撮像部
７２  第１センサ
７３  第１画像処理装置
８１  第２画像処理装置
８２，８２Ａ  第２センサ
８３  表示部
９１  撮像画像
９２  前処理画像
９３  後処理画像
１００，１１０  画像処理装置
１０１  第１画像処理部
１０２  第２画像処理部
【図１】
2016190372.tif 000003
【図２】
2016190372.tif 000004
【図３】
2016190372.tif 000005
【図４】
2016190372.tif 000006
【図５】
2016190372.tif 000007
【図６】
2016190372.tif 000008
【図７】
2016190372.tif 000009
【図８】
2016190372.tif 000010
【図９】
2016190372.tif 000011
【図１０】
2016190372.tif 000012
【図１１】
2016190372.tif 000013
【図１２】
2016190372.tif 000014
【図１３】
2016190372.tif 000015
【手続補正書】
【提出日】平成29年11月27日(2017.11.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示システム、表示装置及び画像処理装置に関する。
【背景技術】
【０００２】
近年、自動車等の移動体に設けられた撮像装置及び表示装置により構成された表示システムが知られている。該表示システムは、撮像装置による撮像画像を表示装置で確認することができるようになっている。
【０００３】
移動体は移動に伴い振動する。係る振動によって画像にぶれが生じ、表示装置に何が映っているのかの把握を困難にする。係る振動による影響を低減するための構成として、画像の撮像時に生じる振動による影響を低減する車載の撮像装置が知られている（例えば特許文献１、特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１５０１５３号公報
【特許文献２】特開２０１０−２６８５２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮像装置及び表示装置の両方が移動体に設けられている場合、撮像装置と表示装置は異なる場所にあり、それぞれの場所で個別に振動する。このため、手ぶれ補正だけでは表示装置に加わった振動による画像のぶれを低減することができなかった。
【０００６】
本発明は、上記の課題に鑑みてなされたもので、撮像装置及び表示装置が設けられた移動体で撮像装置及び表示装置の各々に加えられた振動による画像のぶれが低減された状態で画像を視認することができる表示システム、表示装置及び画像処理装置を提供することを目的とする。又は、撮像装置が設けられた移動体に設けられた表示装置に加わった振動による画像のぶれを低減することができる表示システム、表示装置及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様である表示システムは、移動体に設けられて画像を撮像する撮像部を有する撮像装置と、前記移動体において前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置と、前記撮像装置側で振動を検知する第１センサと、前記表示装置側で振動を検知する第２センサと、前記第１センサの検知結果に基づいて前記撮像画像よりも小さい前処理画像を前記撮像画像から切り出す第１画像処理部と、前記第２センサの検知結果に基づいて前記前処理画像よりも小さい後処理画像を前記前処理画像から切り出す第２画像処理部とを備え、前記第１画像処理部は、前記撮像画像内における前記前処理画像の切り出し範囲を前記撮像装置側での振動を打ち消す方向に移動させ、前記第２画像処理部は、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる。
【０００８】
また、本発明の一態様は、画像を撮像する撮像部を有する撮像装置が設けられた移動体において前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置であって、前記撮像装置側で振動を検知する第１センサの検知結果に基づいて前記撮像画像よりも小さい前処理画像を前記撮像画像から切り出し、前記表示装置側で振動を検知する第２センサの検知結果に基づいて前記前処理画像よりも小さい前記後処理画像を前記前処理画像から切り出す画像処理部を備え、前記画像処理部は、前記撮像画像内における前記前処理画像の切り出し範囲を前記撮像装置側での振動を打ち消す方向に移動させ、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる。
【０００９】
また、本発明の一態様は、画像を撮像する撮像部を有する撮像装置及び前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置が設けられた移動体において前記撮像画像に基づいて前記後処理画像を得る画像処理装置であって、前記撮像装置側で振動を検知する第１センサの検知結果に基づいて前記撮像画像よりも小さい前処理画像を前記撮像画像から切り出し、前記表示装置側で振動を検知する第２センサの検知結果に基づいて前記前処理画像よりも小さい前記後処理画像を前記前処理画像から切り出す画像処理部を備え、前記画像処理部は、前記撮像画像内における前記前処理画像の切り出し範囲を前記撮像装置側での振動を打ち消す方向に移動させ、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる。
【００１０】
また、本発明の一態様は、画像を撮像する撮像部を有する撮像装置が設けられた移動体において前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置であって、前記表示装置側で振動を検知するセンサの検知結果に基づいて、前記撮像画像に基づいて生成された画像であって前記撮像装置側での振動による影響が低減された前処理画像から前記前処理画像よりも小さい後処理画像を切り出す画像処理部を備え、前記画像処理部は、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる。
【００１１】
また、本発明の一態様は、画像を撮像する撮像部を有する撮像装置及び前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置が設けられた移動体において前記後処理画像を得る画像処理装置であって、前記表示装置側で振動を検知するセンサの検知結果に基づいて、前記撮像画像に基づいて生成された画像であって前記撮像装置側での振動による影響が低減された前処理画像から前記前処理画像よりも小さい後処理画像を切り出す画像処理部を備え、前記画像処理部は、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施形態による表示システムの主要構成を示す図である。
【図２】図２は、ルームミラーユニット及びサイドミラーユニットが有する撮像装置の配置例を示す図である。
【図３】図３は、サイドミラーユニットが有する表示装置の配置例を示す図である。
【図４】図４は、表示装置の構成の一例を示すブロック図である。
【図５】図５は、サイドミラーユニットの主要構成を示すブロック図である。
【図６】図６は、撮像画像と前処理画像との関係の一例を示す図である。
【図７】図７は、第１センサによって検知された振動と、撮像装置に振動が加わることによる撮像範囲の変動と、第１座標の補正と、第１座標の補正による前処理画像の切り出し範囲の変動と、切り出しによって得られる前処理画像との関係の一例を示す図である。
【図８】図８は、前処理画像と後処理画像との関係の一例を示す図である。
【図９】図９は、第２センサによって検知された振動と、表示装置に振動が加わることによる所定位置の水平線に対する画像表示位置の変動と、第２座標の補正と、第２座標の補正による後処理画像の切り出し範囲の変動と、後処理画像を表示する表示装置の表示出力内容と所定位置の水平線との関係の一例を示す図である。
【図１０】図１０は、サイドミラーユニットにおける画像処理の流れの一例を示すフローチャートである。
【図１１】図１１は、第１センサによるセンシングのタイミングと第２センサによるセンシングのタイミングが同時である場合の処理の流れの一例を示すフローチャートである。
【図１２】図１２は、変形例に係るサイドミラーユニットの主要構成を示すブロック図である。
【図１３】図１３は、変形例に係るサイドミラーユニットの主要構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下に、本発明の各実施形態について、図面を参照しつつ説明する。なお、開示はあくまで一例にすぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。
【００１４】
（実施形態）
図１は、本発明の実施形態による表示システム１の主要構成を示す図である。図１に示すように、表示システム１は、ルームミラーユニット２、２つのサイドミラーユニット３Ａ，３Ｂ及びＣＩＤ（Center  Information  Display）ユニット４を備える。表示システム１は、移動体の一例である自動車に設けられたいわゆる車載の表示システムである。以下、自動車と記載された箇所は、移動体の一例としての自動車である。
【００１５】
図２は、サイドミラーユニット３Ａ，３Ｂが有する撮像装置５Ａ，５Ｂ及びルームミラーユニット２が有する撮像装置５Ｃの配置例を示す図である。図２では、撮像装置５Ａ，５Ｂ，５Ｃの画角を破線で示している。例えば図２に示すように、表示システム１は、３つの撮像装置５Ａ，５Ｂ，５Ｃを有する。３つの撮像装置５Ａ，５Ｂ，５Ｃは、自動車の車体ＢＯの側方及び後方に配置される。３つの撮像装置５Ａ，５Ｂ，５Ｃは、撮像部７１を有する（図５参照）。撮像部７１は、レンズ、固体撮像素子等を有する。固体撮像素子は、レンズを介して外部の光を検知可能に設けられている。３つの撮像装置５Ａ，５Ｂ，５Ｃがそれぞれ有する撮像部７１の画角は、車外に向けられている。すなわち、３つの撮像装置５Ａ，５Ｂ，５Ｃは、車外の状況を確認可能な画像を撮像する。より具体的には、撮像装置５Ａ，５Ｂは、車体の側方に設けられる。撮像装置５Ｃは、車体の後方に設けられる。これら撮像装置５Ａ，５Ｂ，５Ｃの画角は、一部重複する。これにより、画角ＡＶ１，ＡＶ２よりも後方を、３つの撮像装置５Ａ，５Ｂ，５Ｃの撮像範囲内に収めることができる。実施形態では、表示装置２０Ａ，２０Ｂが撮像装置５Ａ，５Ｂにより撮像された画像を表示する。そして、表示装置２０Ｃが撮像装置５Ｃにより撮像された画像を表示する。撮像装置５Ａ，５Ｂ，５Ｃを特に区別しない場合、撮像装置５と記載することがある。また、表示装置２０Ａ，２０Ｂ，２０Ｃ及び後述する表示装置２０Ｄを特に区別しない場合、表示装置２０と記載することがある。
【００１６】
また、表示システム１は、撮像装置５側で振動を検知する第１センサ７２を備える。具体的には、例えば図２に示すように、第１センサ７２Ａ，７２Ｂ，７２Ｃは、撮像装置５Ａ，５Ｂ，５Ｃの筐体内に個別に設けられている。第１センサ７２Ａ，７２Ｂ，７２Ｃを特に区別しない場合、第１センサ７２と記載することがある。
【００１７】
図３は、サイドミラーユニット３Ａが有する表示装置２０Ａの配置例を示す図である。表示装置２０Ａは、自動車内（例えば、運転席の側方）に配置される。具体的には、表示装置２０Ａが有する表示部８３は、例えば図３に示すように、ＡピラーＡＰの下端部付近に設けられる。ＡピラーＡＰは、フロントガラスＦＧとサイドガラスＳＧとの間に存するピラーである。表示装置２０Ｂは、ハンドルＨＮを含む運転席に対して表示装置２０Ａと左右逆の位置に設けられる。表示装置２０Ａ，２０Ｂは、主に車体ＢＯ側方の状況を示す画像を表示する。すなわち、サイドミラーユニット３Ａ，３Ｂは、従来ドアミラー又はフェンダーミラーにより確認されていた車外側方の状況確認に利用することができる。表示装置２０Ｃは、例えば従来の自動車においてバックミラーが設けられていた位置に、バックミラーを代替するよう配置される。すなわち、ルームミラーユニット２は、従来バックミラーにより確認されていた車外後方の状況確認に利用することができる。
【００１８】
また、表示システム１は、表示装置２０側で振動を検知する第２センサ８２を備える。具体的には、例えば図３に示すように、表示装置２０Ａには、第２センサ８２Ａが設けられている。第２センサ８２Ａは、表示装置２０Ａの表示面の反対側に設けられている。該表示面の反対側は、表示装置２０Ａの筐体内であって表示装置２０Ａによる表示出力に影響のない位置の一例である。他の表示装置２０Ｂ，２０Ｃ，２０Ｄにも、同様の第２センサが設けられている。第２センサ８２Ａを含めて、表示装置２０Ａ，２０Ｂ，２０Ｃ，２０Ｄのそれぞれに個別に設けられる第２センサを区別しない場合、第２センサ８２と記載することがある。
【００１９】
ＣＩＤユニット４は、例えば中央処理部１４、表示装置２０Ｄ等を有する。表示装置２０Ｄは、例えばダッシュボードに設けられる。表示装置２０Ｄは、カーナビゲーションシステムにおける道案内情報等を表示する。ＣＩＤユニット４の表示装置２０Ｄは、スピードメータ、タコメータ、燃料計、水温計、距離計等の計器類と同様の情報を表示してもよい。
【００２０】
実施形態のＣＩＤユニット４は、ルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂとデータ伝送可能に接続される。具体的には、ＣＩＤユニット４とルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂとは例えばＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）等のインタフェースを介して接続される。この接続形態は、ＣＩＤユニット４とルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂとの接続形態の一例であってこれに限られるものでなく、適宜変更可能である。表示装置２０Ｄは、表示装置２０Ａ，２０Ｂ，２０Ｃのうちいずれかが故障した場合、故障した表示装置の表示出力を代替する。中央処理部１４は、表示装置２０Ｄによる表示出力に係る各種の処理を行う。
【００２１】
撮像装置５Ａ，５Ｂ，５Ｃ、表示装置２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ、第１センサ７２Ａ，７２Ｂ，７２Ｃの記載のように、符号における数字の後に付加された大文字のアルファベットは、自動車における配置を区別するためのものであり、具体的構成に特段の差異はない。
【００２２】
図４は、表示装置２０の構成の一例を示すブロック図である。図４に示すように、表示装置２０は、第２画像処理装置８１と、第２センサ８２と、表示部８３とを備える。表示部８３は、例えば、画像表示パネル３０（display  panel）と、画像表示パネル駆動回路（display  driver）４０と、光源装置５０と、光源装置制御回路６０と、を備える。画像表示パネル３０は、後処理画像９３（図８等参照）に基づいて第２画像処理装置８１により生成された信号（出力信号）に基づいて画像を表示させる。画像表示パネル駆動回路４０は、画像表示パネル３０の駆動を制御する。光源装置５０は、画像表示パネル３０を、例えばその背面から照明する。光源装置制御回路６０は、光源装置５０の駆動を制御する。第２画像処理装置８１（図４等参照）、後処理画像９３（図８等参照）及び第２センサ８２（図４参照）については後述する。
【００２３】
画像表示パネル３０は、例えば、Ｐ０×Ｑ０個（行方向にＰ０個、列方向にＱ０個）、２次元のマトリクス状（column-row  configuration）に配列された画素４８を有する。この例において、行方向がＸ方向、列方向はＹ方向である。また、ＸＹの２方向に直交する方向はＺ方向である。
【００２４】
表示装置２０は、より具体的には、例えば透過型のカラー液晶表示装置である。画素４８は、カラー表示出力を行うための複数色の副画素を有する。例えば、画素４８は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の副画素を有し、各副画素の階調値に応じたカラー表示出力を行う。画素４８は、他の色の副画素を有していてもよい。例えば、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）のような、原色（ＲＧＢ）に対する補色の副画素のいずれか又は複数を有していてもよい。また、画素４８は、白（Ｗ）のような原色（ＲＧＢ）よりも高輝度の副画素を有していてもよい。
【００２５】
画像表示パネル駆動回路４０は、信号出力回路４１及び走査回路４２を備えている。信号出力回路４１は、所謂ソースドライバであり、第２画像処理装置８１から出力された出力信号に応じて画素４８を駆動するための映像信号を生成する。画像表示パネル駆動回路４０は、信号出力回路４１によって映像信号を保持し、順次、画像表示パネル３０に出力する。信号出力回路４１は、配線ＤＴＬによって画像表示パネル３０と電気的に接続されている。画素４８は、例えば、複数の副画素を有し、副画素が映像信号に応じた光透過率となるように動作する。走査回路４２は、所謂ゲートドライバであり、第２画像処理装置８１から出力された出力信号が示す画素行に応じた走査信号を出力する。画像表示パネル駆動回路４０は、走査回路４２が走査信号を出力することによって、画像表示パネル３０における副画素の動作（例えば表示輝度で、この場合は光透過率）を制御するためのスイッチング素子（例えば、薄膜トランジスタ(ＴＦＴ：Thin  Film  Transistor)）のＯＮ／ＯＦＦを制御する。走査回路４２は、走査線ＳＣＬによって画像表示パネル３０と電気的に接続されている。走査回路４２が走査線ＳＣＬを介してスイッチング素子をＯＮ／ＯＦＦする。これにより、走査線ＳＣＬに沿って設けられた画素行（ライン（row））単位でスイッチング素子をＯＮ／ＯＦＦされる。このように、表示装置２０は、ライン単位で表示出力のＯＮ／ＯＦＦを制御することができる。
【００２６】
光源装置５０は、画像表示パネル３０の背面に配置されている。光源装置５０は、画像表示パネル３０に向けて光を照射することで、バックライトとして機能して画像表示パネル３０を照明する。光源装置５０は、画像表示パネル３０の前面に配置したフロントライト構成であってもよい。また画像表示パネル３０として自発光のディスプレイ、例えばＯＬＥＤ（Organic  Light  Emitting  Diode）ディスプレイ等を用いる場合には、この光源装置５０は不要にできる。
【００２７】
光源装置５０は、画像表示パネル３０の全面にわたり光を照射し、画像表示パネル３０を照明する。光源装置制御回路６０は、光源装置５０から出力する光の照射光量等を制御する。具体的には、光源装置制御回路６０は、第２画像処理装置８１から出力される光源装置制御信号に基づいて光源装置５０に供給する電流、電圧又は信号のｄｕｔｙ比を調整することで、画像表示パネル３０を照射する光の照射光量（光の強度）を制御する。
【００２８】
以下、１つの撮像装置５と１つの表示装置２０との組み合わせの例として、サイドミラーユニット３Ａについてより具体的に説明する。
【００２９】
図５は、サイドミラーユニット３Ａの主要構成を示すブロック図である。図５に示すように、撮像装置５Ａは、撮像部７１と、第１センサ７２Ａと、第１画像処理装置７３とを備える。また、表示装置２０Ａは、図４を参照して説明した通り、第２画像処理装置８１と、第２センサ８２Ａと、表示部８３とを備える。
【００３０】
撮像部７１は、自動車に設けられて画像を撮像する（図２参照）。具体的には、撮像部７１は、いわゆるデジタルカメラであり、固体撮像素子、レンズ、固体撮像素子から出力された電荷に基づいてＸＹ方向に沿って並ぶ複数の画素により構成された画像を生成する回路等を有する。固体撮像素子は、例えばＣＭＯＳ（Complementary  metal  oxide  semiconductor）イメージセンサ又はＣＣＤ（Charge  Coupled  Device）イメージセンサである。これらに加え、固体撮像素子は、２次元画像を生成可能な電荷を出力する機能を有する他の種類のイメージセンサであってもよい。撮像部７１は、所定のフレームレートで画像を撮像し、撮像画像９１（図６等参照）として出力する。所定のフレームレートは任意であるが、例えば６０ｆｐｓ（frame  per  second）、１２０ｆｐｓ等が挙げられる。以下、固体撮像素子が光を検知する２次元の面をｘｙ平面とし、該ｘｙ平面に沿い直交する２方向をｘｙ方向とし、ｘｙ方向に直交する１方向（撮像の奥行き方向に沿う方向）をｚ方向と記載することがある。
【００３１】
第１センサ７２は、撮像装置５側で振動を検知する。例えば、第１センサ７２Ａは、撮像装置５Ａに設けられた撮像部７１が有する固体撮像素子に基づいたｘｙｚ３方向のうち、少なくともｘｙ２方向について加速度を検知することができる加速度計を有している。第１センサ７２Ａは、該加速度計により検知された加速度に基づいて振動量を検知する。もちろん、第１センサ７２Ａは、ｘｙｚ３方向についての加速度を検知し、該加速度に基づいて各方向における振動量を検知する構成であってもよい。第１センサ７２は、自動車における撮像装置５側、すなわち、表示装置２０よりも撮像装置５に近傍な位置に設けられることにより、自動車の走行に伴って撮像装置５に加えられる振動を検出する。第１センサ７２は、図２に示すように撮像装置５の筐体内に存していてもよいし、撮像装置５の近傍に設けられていてもよい。
【００３２】
第１画像処理装置７３は、撮像装置５による撮像画像９１に基づいて前処理画像９２（図６等参照）を生成出力する回路である。具体的には、撮像装置５Ａの第１画像処理装置７３は、第１センサ７２Ａの検知結果に基づいて撮像画像９１よりも小さい前処理画像９２を撮像画像９１から切り出す第１画像処理部１０１として機能する（図５参照）。実施形態では、第１画像処理装置７３は、撮像装置５の筐体内に存する回路である。また、第１画像処理装置７３は、撮像装置５から出力される画像信号を処理して下流側（表示装置２０側）に出力する外部の回路であってもよい。なお、下流側とは、データの送受信における受信側をさす。この場合、送信側が上流側である。第１画像処理部１０１としての機能については後述する。
【００３３】
第２センサ８２は、表示装置２０側で振動を検知する。例えば、第２センサ８２Ａは、表示装置２０Ａに設けられた表示部８３のＸＹＺ３方向のうち、少なくともＸＹ２方向について加速度を検知することができる加速度計を有している。第２センサ８２Ａは、該加速度計により検知された加速度に基づいて振動量を検知する。もちろん、第２センサ８２Ａは、ＸＹＺ３方向についての加速度を検知し、該加速度に基づいて各方向における振動量を検知する構成であってもよい。第２センサ８２は、自動車における表示装置２０側、すなわち、撮像装置５よりも表示装置２０に近傍な位置に設けられることにより、自動車の走行に伴って表示装置２０に加えられる振動を検出する。第２センサ８２は、表示装置２０の筐体内に存していてもよいし、表示装置２０の近傍に設けられていてもよい。
【００３４】
なお、第１センサ７２、第２センサ８２を構成する加速度センサは、例えばＭＥＭＳ（Micro  Electro  Mechanical  Systems）技術を用いて作成される小型のものを利用することができる。これにより、図２、図３に示すようにそれぞれ撮像装置５、表示装置２０に加速度センサを内蔵された構成を採用できる。
【００３５】
第２画像処理装置８１は、撮像装置５側から出力された画像である前処理画像９２に基づいて後処理画像９３を生成出力する回路である。具体的には、表示装置２０Ａの第２画像処理装置８１は、第２センサ８２Ａの検知結果に基づいて前処理画像９２よりも小さい後処理画像９３を前処理画像９２から切り出す第２画像処理部１０２（図５参照）として機能する。実施形態では、第２画像処理装置８１は、表示装置２０の筐体内に存する回路である。また、第２画像処理装置８１は、表示装置２０に入力される前処理画像９２の信号を表示装置２０よりも上流側（撮像装置５側）で処理する外部の回路であってもよい。第２画像処理部１０２としての機能については後述する。また、図４を参照して説明したように、実施形態の第２画像処理装置８１は、さらに、画像表示パネル駆動回路４０及び光源装置制御回路６０の動作制御に係る信号（出力信号及び光源装置制御信号）を出力する機能を有するが、第２画像処理部１０２として機能する回路と画像表示パネル駆動回路４０及び光源装置制御回路６０の動作制御に係る信号を出力する回路とは個別に設けられてもよい。
【００３６】
表示装置２０は、自動車において撮像装置５と別の位置に設けられる（図３参照）。表示装置２０の表示部８３は、後処理画像９３を表示する。ここで、後処理画像９３は、前処理画像９２に基づいて生成出力される。また、前処理画像９２は、撮像画像９１に基づいて生成出力される。よって、後処理画像９３は、撮像装置５による撮像画像９１に基づいた画像である。すなわち、表示装置２０は、撮像装置５による撮像画像９１に基づいた後処理画像９３を表示する。
【００３７】
次に、第１画像処理部１０１について説明する。第１画像処理部１０１は、撮像画像９１から前処理画像９２を切り出すにつき、その切り出し範囲を撮像装置５側での振動を打ち消す方向に移動させる。具体的には、第１画像処理部１０１は、補正後の第１座標に応じて移動した後の第１範囲を撮像画像９１から前処理画像９２として切り出す。なお、補正前の第１座標は、自動車が静止している場合の撮像画像９１内で定められた座標（所定の第１座標）である。補正後の第１座標は、第１センサ７２Ａにより検知された振動の方向及び振動量に基づいて補正された第１座標である。移動する前の第１範囲は、補正前の第１座標を用いて定められた第１範囲である。移動した後の第１範囲は、補正後の第１座標を用いて定められた第１範囲である。
【００３８】
図６は、撮像画像９１と前処理画像９２との関係の一例を示す図である。撮像画像９１は、第１原点（ｘ１，ｙ１）を開始位置としてｘ方向にｐ個の画素が並び、ｙ方向にｑ個の画素が並ぶ２次元画像である。第１原点（ｘ１，ｙ１）は、撮像画像９１の所定位置（例えば、左上）に存する画素の座標である。撮像画像９１の画素領域は、第１原点の座標（ｘ１，ｙ１）から第１原点の対角座標（ｘｐ，ｙｑ）に亘る２次元領域として表すことができる。ｐ，ｑは整数である。
【００３９】
第１画像処理部１０１は、前処理画像９２として撮像画像９１から切り出される範囲を、撮像画像９１の画素領域よりも小さい２次元領域とする。具体的には、第１画像処理部１０１は、例えば、撮像画像９１内で、ｘ方向の画素数が撮像画像９１よりもａ個少なく、ｙ方向の画素数が撮像画像９１よりもｂ個少ない２次元画像を前処理画像９２として撮像画像９１から切り出す。ａ，ｂは整数である。
【００４０】
実施形態の第１画像処理部１０１は、自動車が静止している場合、撮像画像９１内の中央部分から前処理画像９２を得る。よって、自動車が静止している場合、第１画像処理部１０１は、図６に示すように、撮像画像９１内における（ｘ（ａ／２），ｙ（ｂ／２））の座標から（ｘ（ｐ−（ａ／２）），ｙ（ｑ−（ｂ／２）））の座標に亘る画素領域を、所定の第１座標を用いて定められた第１範囲として扱う。第１画像処理部１０１は、該第１範囲を前処理画像９２として切り出す。この場合、第１原点の座標（ｘ１，ｙ１）に対する（ｘ（ａ／２），ｙ（ｂ／２））の座標が所定の第１座標となる。このように、補正前の第１座標（所定の第１座標）は、自動車が静止している場合の撮像画像９１内で定められた座標である。
【００４１】
図６を参照した説明では、第１原点の座標（ｘ１，ｙ１）に対する（ｘ（ａ／２），ｙ（ｂ／２））の座標を所定の第１座標とし、第１原点からｘ方向に（ｐ−ａ）個、ｙ方向に（ｑ−ｂ）個の画素を含む範囲を前処理画像９２として切り出す場合を説明している。これに限らず、前処理画像９２の切り出し範囲を具体的にどのように設定するかは、適宜変更可能である。例えば、ａ，ｂが奇数である場合、（ａ／２）、（ｂ／２）で表される座標が整数でなくなる。このため、例えば所定の第１座標を（ｘ（（ａ／２）±１／２），ｙ（（ｂ／２）±１／２））のように設定することで、前処理画像９２として切り出される範囲を正しく設定することができる。なお、「±」は、プラス（＋）又はマイナス（−）のいずれか一方である。
【００４２】
図７は、第１センサ７２Ａによって検知された振動量と、撮像装置５Ａに振動が加わることによる撮像範囲の変動と、第１座標の補正と、第１座標の補正による前処理画像９２の切り出し範囲の変動と、切り出しによって得られる前処理画像９２との関係の一例を示す図である。図７では、自動車の静止状態における撮像範囲を破線で示し、撮像装置５Ａに生じた振動に応じて変動した後の撮像範囲を実線で示している。第１センサ７２Ａは、自動車の走行に伴い撮像装置５Ａ側で生じるｘｙ方向の振動量を検知する。
【００４３】
図７の「フレーム１」では、自動車は静止している。このような場合等、振動量がｘｙ方向ともに０である場合、第１画像処理部１０１は、第１座標に対する補正を行わずに前処理画像９２を切り出す。すなわち、第１画像処理部１０１は、第１座標の補正量（ｘｙ方向）を±０として撮像画像９１から前処理画像９２を切り出す。この場合、図６を参照して説明した通り、前処理画像９２は、撮像画像９１内における（ｘ（ａ／２），ｙ（ｂ／２））の座標から（ｘ（ｐ−（ａ／２）），ｙ（ｑ−（ｂ／２）））の座標に亘る範囲を切り出した画像になる。
【００４４】
一方、自動車が走行中である等の理由により、第１センサ７２Ａによってｘｙ方向の少なくともいずれか一方に０を超える振動量が検知される場合がある、例えば、図７の「フレーム２」以降のフレームでは、自動車は走行しており、走行に伴う振動を生じている。このような場合、第１画像処理部１０１は、第１センサ７２Ａにより検知された振動の方向及び振動量に基づいて第１座標を補正する。第１画像処理部１０１は、補正後の第１座標に応じて移動した後の第１範囲を撮像画像９１から前処理画像９２として切り出す。
【００４５】
例えば、振動量が（ｘ：−１，ｙ：−１）である場合、すなわち、ｘ方向に−１、ｙ方向に−１の振動量が検知された場合、振動によって撮像装置５Ａの画角が第１原点側に向かってｘｙ方向に画素１つ分ずれている。この場合、図７の「フレーム２」で示すように、静止状態において第１原点の座標（ｘ１，ｙ１）で撮像されていた撮像対象は、座標（ｘ２，ｙ２）で撮像されることになり、「フレーム１」の場合に比して矢印ｍ１のように撮像範囲が移動する。
【００４６】
第１画像処理部１０１は、振動によって生じた画角のずれ方向と反対の方向に向かって前処理画像９２の切り出し範囲を移動させるように第１座標を補正する。具体的には、図７の「フレーム２」では、振動量が（ｘ：−１，ｙ：−１）であるので、第１座標を表すｘ座標及びｙ座標に１を加える。よって、「フレーム２」における第１座標は、補正されて（ｘ（（ａ／２）＋１），ｙ（（ｂ／２）＋１））になる。補正により、第１座標は矢印Ｍ１のように移動し、切り出し範囲も第１座標の補正に伴い移動する。第１画像処理部１０１は、（ｘ（（ａ／２）＋１），ｙ（（ｂ／２）＋１））の座標から（ｘ（ｐ−（ａ／２）＋１），ｙ（ｑ−（ｂ／２）＋１））の座標に亘る範囲を前処理画像９２として切り出す。
【００４７】
また、振動量が（ｘ：＋２，ｙ：＋１）である場合、すなわち、ｘ方向に＋２、ｙ方向に＋１の振動量が検知された場合、振動によって撮像装置５Ａの画角が第１原点の対角側に向かってｘ方向に画素２つ分、ｙ方向に画素１つ分ずれている。この場合、図７の「フレーム３」で示すように、静止状態において第１原点の座標（ｘ１，ｙ１）で撮像されていた撮像対象は、撮像範囲外となり、静止状態において座標（ｘ３，ｙ２）で撮像されていた撮像対象が第１原点で撮像されることになる。よって、「フレーム１」の場合に比して矢印ｍ２のように撮像範囲が移動する。第１画像処理部１０１は、振動によって生じた画角のずれ方向と反対の方向に向かって前処理画像９２の切り出し範囲を移動させるように第１座標を補正する。具体的には、図７の「フレーム３」では、振動量が（ｘ：＋２，ｙ：＋１）であるので、第１座標を表すｘ座標から２を減じ、ｙ座標から１を減じる。よって、「フレーム３」における第１座標は、補正されて（ｘ（（ａ／２）−２），ｙ（（ｂ／２）−１））になる。補正により、第１座標は矢印Ｍ２のように移動し、切り出し範囲も第１座標の補正に伴い移動する。第１画像処理部１０１は、（ｘ（（ａ／２）−２），ｙ（（ｂ／２）−１））の座標から（ｘ（ｐ−（ａ／２）−２），ｙ（ｑ−（ｂ／２）−１））の座標に亘る範囲を前処理画像９２として切り出す。
【００４８】
振動によって生じた画角のずれ方向と反対の方向に向かって第１座標を補正し、該補正した第１座標を基準にして前処理画像９２を切り出す。これによって、前処理画像９２として切り出される撮像範囲は、図７の「フレーム２」、「フレーム３」における「前処理画像９２」で示すように、自動車が静止している場合に前処理画像９２として切り出される「フレーム１」の撮像範囲と同一になる。すなわち、図７を参照した説明のように、第１画像処理部１０１が撮像画像９１内における前処理画像９２の切り出し範囲を撮像装置５Ａ側での振動を打ち消す方向に移動させることで、撮像装置５Ａ側で振動が生じたとしても前処理画像９２にぶれが生じることを抑制することができる。
【００４９】
図７の「フレーム１」〜「フレーム３」で示す例に限らず、第１画像処理部１０１は、同様の仕組みで第１センサ７２Ａにより検知された振動の方向及び振動量に基づいて補正された第１座標に応じて第１範囲を移動させる。そして、該移動後の第１範囲が前処理画像９２として撮像画像９１から切り出される。
【００５０】
図７を参照した説明では、撮像画像９１の中心からみて第１原点側の方向に画角がずれるように撮像装置５Ａが振動する場合の振動量をマイナス（−）とし、撮像画像９１の中心からみて第１原点の対角側の方向に画角がずれるように撮像装置５Ａが振動する場合の振動量をプラス（＋）としている。これは振動量の管理方法の一例であってこれに限られるものでなく、適宜変更可能である。
【００５１】
次に、第２画像処理部１０２について説明する。第２画像処理部１０２は、前処理画像９２内における後処理画像９３の切り出し範囲を表示装置２０Ａ側での振動に追従させる。具体的には、第２画像処理部１０２は、補正後の第２座標に応じて移動した後の第２範囲を前処理画像９２から後処理画像９３として切り出す。なお、補正前の第２座標は、自動車が静止している場合の前処理画像９２内で定められた座標（所定の第２座標）である。補正後の第２座標は、第２センサ８２Ａにより検知された振動の方向及び振動量に基づいて補正された第２座標である。移動する前の第２範囲は、補正前の第２座標を用いて定められた第２範囲である。移動した後の第２範囲は、補正後の第２座標を用いて定められた第２範囲である。
【００５２】
図８は、前処理画像９２と後処理画像９３との関係の一例を示す図である。前処理画像９２は、第２原点（Ｘ１，Ｙ１）を開始位置としてＸ方向にＡ個の画素が並び、Ｙ方向にＢ個の画素が並ぶ２次元画像である。第２原点（Ｘ１，Ｙ１）は、前処理画像９２の所定位置（例えば、左上）に存する画素の座標である。前処理画像９２の画素領域は、第２原点の座標（Ｘ１，Ｙ１）から第２原点の対角座標（ＸＡ，ＹＢ）に亘る２次元領域として表すことができる。なお、Ａ＝（ｐ−ａ）であり、Ｂ＝（ｑ−ｂ）である。
【００５３】
第２画像処理部１０２は、後処理画像９３として前処理画像９２から切り出される範囲を、前処理画像９２の画素領域よりも小さい２次元領域とする。具体的には、第２画像処理部１０２は、例えば、前処理画像９２内で、Ｘ方向の画素数が前処理画像９２よりもｃ個少なく、Ｙ方向の画素数が前処理画像９２よりもｄ個少ない２次元画像を後処理画像９３として切り出す。ｃ，ｄは整数である。
【００５４】
実施形態の第２画像処理部１０２は、自動車が静止している場合、前処理画像９２内の中央部分から後処理画像９３を得る。よって、自動車が静止している場合、第２画像処理部１０２は、図８に示すように、前処理画像９２内における（Ｘ（ｃ／２），Ｙ（ｄ／２））の座標から（Ｘ（Ａ−（ｃ／２）），Ｙ（Ｂ−（ｄ／２）））の座標に亘る画素領域を、所定の第２座標を用いて定められた第２範囲として扱う。第２画像処理部１０２は、該第２範囲を後処理画像９３として切り出す。この場合、第２原点の座標（Ｘ１，Ｙ１）に対する（Ｘ（ｃ／２），Ｙ（ｄ／２））の座標が所定の第２座標となる。このように、補正前の第２座標（所定の第２座標）は、自動車が静止している場合の前処理画像９２内で定められた座標である。
【００５５】
なお、後処理画像９３のＸＹ方向の画素数と、画像表示パネル３０の解像度（Ｐ０×Ｑ０）とを対応させることで、表示出力に係るリサンプリングを不要とすることができる。
【００５６】
図８を参照した説明では、第２原点の座標（Ｘ１，Ｙ１）に対する（Ｘ（ｃ／２），Ｙ（ｄ／２））の座標を所定の第２座標とし、第２原点からＸ方向に（Ａ−ｃ）個の画素を有し、Ｙ方向に（Ｂ−ｄ）個の画素を含む範囲を後処理画像９３とする場合を説明している。これに限らず、後処理画像９３として前処理画像９２から切り出される範囲を具体的にどのように設定するかは、前処理画像９２の場合と同様に、適宜変更可能である。
【００５７】
図９は、第２センサ８２Ａによって検知された振動量と、表示装置２０Ａに振動が加わることによる所定位置の水平線Ｈに対する画像表示位置の変動と、第２座標の補正と、第２座標の補正による後処理画像９３の切り出し範囲の変動と、後処理画像９３を表示する表示装置２０Ａの表示出力内容と所定位置の水平線Ｈとの関係の一例を示す図である。図９では、表示部８３の位置として、自動車の静止状態における位置を破線で示し、表示装置２０Ａに生じた振動に応じて変動した後の位置を実線で示している。第２センサ８２Ａは、自動車の走行に伴い表示装置２０Ａ側で生じるＸＹ方向の振動量を検知する。
【００５８】
図９の「フレーム１」では、自動車は静止している。このような場合等、振動量がＸＹ方向ともに０である場合、第２画像処理部１０２は、第２座標に対する補正を行わずに後処理画像９３を切り出す。すなわち、第２画像処理部１０２は、第２座標の補正量（ＸＹ方向）を±０として前処理画像９２から後処理画像９３を切り出す。この場合、図８を参照して説明した通り、後処理画像９３は、前処理画像９２内における（Ｘ（ｃ／２），Ｙ（ｄ／２））の座標から（Ｘ（Ａ−（ｃ／２）），Ｙ（Ｂ−（ｄ／２）））の座標に亘る範囲を切り出した画像になる。
【００５９】
一方、自動車が走行中である等の理由により、第２センサ８２ＡによってＸＹ方向の少なくともいずれか一方に０を超える振動量が検知される場合がある。例えば、図９の「フレーム２」以降のフレームでは、自動車は走行しており、走行に伴う振動を生じている。このような場合、第２画像処理部１０２は、第２センサ８２Ａにより検知された振動の方向及び振動量に基づいて第２座標を補正する。第２画像処理部１０２は、補正後の第２座標に応じて移動した後の第２範囲を後処理画像９３として前処理画像９２から切り出す。
【００６０】
例えば、振動量が（Ｘ：−１，Ｙ：−１）である場合、すなわち、Ｘ方向に−１、Ｙ方向に−１の振動量が検知された場合、振動によって表示部８３の位置が表示領域の第２原点側（左上側）に向かってＸＹ方向に画素１つ分ずれており、「フレーム１」の場合に比して矢印ｍ３のように表示装置が移動する。
【００６１】
第２画像処理部１０２は、振動によって生じた画角のずれ方向と同一の方向に向かって後処理画像９３の切り出し範囲を移動させるように第２座標を補正する。具体的には、図９の「フレーム２」では、振動量が（Ｘ：−１，Ｙ：−１）であるので、第２座標を表すＸ座標及びＹ座標から１を減じる。よって、「フレーム２」における第２座標は、補正されて（Ｘ（（ｃ／２）−１），Ｙ（（ｄ／２）−１））になる。補正により、第２座標は矢印Ｍ３のように移動し、切り出し範囲も第２座標の補正に伴い移動する。第２画像処理部１０２は、（Ｘ（（ｃ／２）−１），Ｙ（（ｄ／２）−１））の座標から（Ｘ（Ａ−（ｃ／２）−１），Ｙ（Ｂ−（ｄ／２）−１））の座標に亘る範囲を後処理画像９３として切り出す。
【００６２】
また、振動量が（Ｘ：＋２，Ｙ：＋１）である場合、すなわち、Ｘ方向に＋２、Ｙ方向に＋１の振動量が検知された場合、振動によって表示部８３の位置が第２原点の対角側（右下側）に向かってＸ方向に画素２つ分、Ｙ方向に画素１つ分ずれており、「フレーム１」の場合に比して矢印ｍ４のように表示装置が移動する。第２画像処理部１０２は、振動によって生じた画角のずれ方向と同一の方向に向かって後処理画像９３の切り出し範囲を移動させるように第２座標を補正する。具体的には、図８の「フレーム３」では、振動量が（Ｘ：＋２，Ｙ：＋１）であるので、第２座標を表すＸ座標に２を加え、Ｙ座標に１を加える。よって、「フレーム３」における第２座標は、補正されて（Ｘ（（ｃ／２）＋２），Ｙ（（ｂ／２）＋１））になる。補正により、第２座標は矢印Ｍ４のように移動し、切り出し範囲も第２座標の補正に伴い移動する。第２画像処理部１０２は、（Ｘ（（ｃ／２）＋２），Ｙ（（ｂ／２）＋１））の座標から（Ｘ（Ａ−（ｃ／２）＋２），Ｙ（Ｂ−（ｄ／２）＋１））の座標に亘る範囲を後処理画像９３として切り出す。
【００６３】
振動によって生じた画角のずれ方向と同一の方向に向かって第２座標を補正し、該第２座標に基づいて後処理画像９３の切り出し範囲を移動させる。その後、後処理画像９３を切り出すことで、後処理画像９３として切り出される撮像範囲は、表示装置２０Ａ側での振動に追従する。ここで、図９の「フレーム２」、「フレーム３」における「後処理画像９３」で示すように、後処理画像９３を表示する表示装置２０Ａの表示出力内容は、所定位置の水平線Ｈに対して移動しない。すなわち、表示装置２０Ａが振動することで所定位置の水平線Ｈに対してぶれを生じても、表示出力内容はぶれを生じない。図９を参照した説明のように、第２画像処理部１０２が前処理画像９２内における後処理画像９３の切り出し範囲を表示装置２０Ａ側での振動に追従させることで、表示装置２０Ａ側で振動が生じた場合の見かけ上のぶれを抑制することができる。
【００６４】
図９の「フレーム１」〜「フレーム３」で示す例に限らず、第２画像処理部１０２は、同様の仕組みで第２センサ８２Ａにより検知された振動の方向及び振動量に基づいて第２座標を補正し、該第２座標の補正により移動した第２範囲を前処理画像９２から後処理画像９３として切り出す。
【００６５】
図９を参照した説明では、表示領域の中央からみて第２原点側の方向に移動するように表示装置２０Ａが振動する場合の振動量をマイナス（−）とし、表示領域の中央からみて第２原点の対角側の方向に移動するように表示装置２０Ａが振動する場合の振動量をプラス（＋）としている。これは振動量の管理方法の一例であってこれに限られるものでなく、適宜変更可能である。
【００６６】
図１０は、サイドミラーユニット３Ａにおける画像処理の流れの一例を示すフローチャートである。撮像装置５Ａは、撮像部７１を動作させて撮像画像９１を生成する（ステップＳ１）。また、第１センサ７２Ａは、撮像装置５Ａ側での振動量を検知する（ステップＳ２）。ステップＳ１とステップＳ２の処理は並行して行われる。
【００６７】
第１画像処理部１０１として機能する第１画像処理装置７３は、前処理画像９２の切り出し範囲を撮像装置５Ａ側での振動を打ち消す方向に移動させるように第１座標を補正する（ステップＳ３）。第１画像処理装置７３は、補正後の第１座標によって特定される前処理画像９２の切り出し範囲を採用して撮像画像９１から前処理画像９２を切り出す（ステップＳ４）。第１画像処理装置７３は、前処理画像９２を表示装置２０Ａに出力する（ステップＳ５）。
【００６８】
第２センサ８２Ａは、表示装置２０Ａ側での振動量を検知する（ステップＳ６）。第２画像処理部１０２として機能する第２画像処理装置８１は、後処理画像９３の切り出し範囲を表示装置２０Ａ側での振動に追従させるように第２座標を補正する（ステップＳ７）。第２画像処理装置８１は、補正後の第２座標によって特定される後処理画像９３の切り出し範囲を採用して前処理画像９２から後処理画像９３を切り出す（ステップＳ８）。表示装置２０Ａは、後処理画像９３を表示出力する（ステップＳ９）。
【００６９】
以上、撮像装置５Ａ及び表示装置２０Ａを例として実施形態を説明したが、撮像装置５Ｂ及び表示装置２０Ｂならびに撮像装置５Ｃ及び表示装置２０Ｃも、撮像装置５Ａ及び表示装置２０Ａと同様である。すわなち、サイドミラーユニット３Ａ，３Ｂ及びルームミラーユニット２は、それぞれ、自動車に設けられて画像を撮像する撮像部７１を有する撮像装置５と、自動車において撮像装置５と別の位置に設けられて撮像装置５による撮像画像９１に基づいた後処理画像９３を表示する表示部８３を有する表示装置２０と、撮像装置５側で振動を検知する第１センサ７２と、表示装置２０側で振動を検知する第２センサ８２と、第１センサ７２の検知結果に基づいて撮像画像９１よりも小さい前処理画像９２を撮像画像９１から切り出す第１画像処理部１０１と、第２センサ８２の検知結果に基づいて前処理画像９２よりも小さい後処理画像９３を前処理画像９２から切り出す第２画像処理部１０２とを備える。サイドミラーユニット３Ａ，３Ｂ及びルームミラーユニット２は、それぞれ、第１画像処理部１０１が、撮像画像９１内における前処理画像９２の切り出し範囲を撮像装置５側での振動を打ち消す方向に移動させ、第２画像処理部１０２が、前処理画像９２内における後処理画像９３の切り出し範囲を表示装置２０側での振動に追従させる表示システムとしての特徴を有している。
【００７０】
なお、図５〜図９を参照した説明では、画素と座標とを１：１で対応させて画像に座標を設定しているが、座標の設定方法はこれに限られるものでなく、適宜変更可能である。例えば、第１センサ７２による振動量の分解能の最小単位に基づいて、座標の最小単位と画素数との対応比率を設定してもよい。また、第１センサ７２による振動量の分解能の最小単位と画素数とを対応させること等を目的として撮像画像９１及び前処理画像９２の解像度変換を行うようにしてもよい。
【００７１】
また、第１センサによるセンシングのタイミングと第２センサによるセンシングのタイミングの関係は、適宜変更可能である。例えば、図１０を参照して例示した、撮像の動作タイミングに応じて撮像装置側の第１センサ７２を動作させ、表示出力のタイミングに応じて表示装置側の第２センサ８２を動作させる個別タイミングでのセンシングであってもよいし、同時のセンシングであってもよい。
【００７２】
図１１は、第１センサによるセンシングのタイミングと第２センサによるセンシングのタイミングが同時である場合の処理の流れの一例を示すフローチャートである。第１センサによるセンシングと第２センサによるセンシングを同時に行う場合、例えば図１１に示すように、ステップＳ１の撮像タイミングと並行して撮像装置側の第１センサ７２と表示装置側の第２センサ８２を動作させてセンシングを行う（ステップＳ１１）。図１１に示す処理は、図１０におけるステップＳ２の処理がステップＳ１１の処理に置換され、ステップＳ６の処理が省略される点を除いて図１０に示す処理と同様である。
【００７３】
以上、実施形態によれば、第１画像処理部１０１が撮像画像９１内における前処理画像９２の切り出し範囲を撮像装置５側での振動を打ち消す方向に移動させる。このため、撮像装置５側で振動が生じたとしても前処理画像９２にぶれが生じることを抑制することができる。また、第２画像処理部１０２が前処理画像９２内における後処理画像９３の切り出し範囲を表示装置２０側での振動に追従させる。このため、表示装置２０側で振動が生じた場合の見かけ上のぶれを抑制することができる。すなわち、このような前処理画像９２の切り出し処理及び後処理画像９３の切り出し処理によって、撮像装置５及び表示装置２０が設けられた自動車で撮像装置５及び表示装置２０の各々に加えられた振動による画像のぶれが低減された状態で画像を視認することができる。また、撮像装置５が設けられた自動車に設けられた表示装置２０に加わった振動による画像のぶれを低減することができる。
【００７４】
また、第１画像処理部１０１は、自動車が静止している場合の撮像画像９１内における所定の第１座標を用いて定められた第１範囲に基づいて、第１センサ７２により検知された振動の方向及び振動量に基づいて第１座標及び第１範囲を移動させ、該第１範囲を前処理画像９２として撮像画像９１から切り出す。第２画像処理部１０２は、自動車が静止している場合の前処理画像９２内における所定の第２座標を用いて定められた第２範囲に基づいて、第２センサ８２により検知された振動の方向及び振動量に基づいて第２座標及び第２範囲を移動させ、該第２範囲を後処理画像９３として前処理画像９２から切り出す。このため、自動車が静止している場合を基準として、振動による画像のぶれを抑制するための切り出し範囲の補正を行うことができる。
【００７５】
また、第１画像処理部１０１として機能する第１画像処理装置７３は、撮像装置５側に設けられ、第２画像処理部１０２として機能する第２画像処理装置８１は、表示装置２０側に設けられる。このため、撮像装置５側で生じた振動による影響を抑制するための処理と表示装置２０側で生じた振動による影響を抑制するための処理とを分散させることができ、個々の画像処理装置の処理負荷を軽減することができる。
【００７６】
（変形例）
次に、実施形態の変形例について説明する。変形例の説明に係り、上記で説明した実施形態と同様の構成については同じ符号を付して説明を省略することがある。
【００７７】
図１２及び図１３は、変形例に係るサイドミラーユニット３Ａの主要構成を示すブロック図である。例えば図１２に示すように、表示装置２０Ａ側に設けられた画像処理装置１００が第１画像処理部１０１及び第２画像処理部１０２として機能してもよい。この場合、実施形態において撮像装置５Ａ側に設けられていた第１画像処理装置７３は不要である。第１センサ７２Ａ及び第２センサ８２Ａの各々は、画像処理装置１００に検知結果を出力する。また、撮像部７１は、画像処理装置１００に撮像画像９１を出力する。画像処理装置１００は、第１画像処理部１０１として機能することで撮像画像９１から前処理画像９２を切り出し、第２画像処理部１０２として機能することで前処理画像９２から後処理画像９３を切り出す。また、図１２では表示装置２０Ａが第１画像処理部１０１及び第２画像処理部１０２として機能する画像処理装置１００を備えているが、表示装置２０Ａに代えて撮像装置５Ａが該画像処理装置１００を備えていてもよい。
【００７８】
また、図１３に示すように、撮像装置５Ａ及び表示装置２０Ａ側から独立して設けられた画像処理装置１１０が第１画像処理部１０１及び第２画像処理部１０２として機能してもよい。この場合、実施形態における第１画像処理装置７３及び第２画像処理装置８１は不要である。また、第１センサ７２Ａ及び第２センサ８２Ａの各々は、独立して設けられた画像処理装置１１０に検知結果を出力する。また、撮像部７１は、独立して設けられた画像処理装置１１０に撮像画像９１を出力する。独立して設けられた画像処理装置１１０は、第１画像処理部１０１として機能することで撮像画像９１から前処理画像９２を切り出し、第２画像処理部１０２として機能することで前処理画像９２から後処理画像９３を切り出す。
【００７９】
また、実施形態では、撮像装置５側の第１画像処理装置７３が第１センサ７２の検知結果に基づいて撮像画像９１よりも小さい前処理画像９２を撮像画像９１から切り出す処理に際し、撮像画像９１内における前処理画像９２の切り出し範囲を撮像装置５側での振動を打ち消す方向に移動させることで撮像装置５側の振動による画像のぶれを抑制しているが、他の方法によって撮像装置５側の振動による画像のぶれを抑制するようにしてもよい。例えば、いわゆるレンズシフト方式等、光学式のぶれ補正機能を採用して撮像装置５側の振動による画像のぶれを抑制してもよい。
【００８０】
これらの変形例は、サイドミラーユニット３Ａに限らず、サイドミラーユニット３Ｂ及びルームミラーユニット２についても同様に適用可能である。
【００８１】
なお、変形例を含む実施形態等においては、表示装置２０の開示例として液晶表示装置の場合を例示したが、その他の適用例として、有機エレクトロルミネセンス（Electroluminescence：ＥＬ）表示装置、その他の自発光型表示装置等、あらゆるフラットパネル型の表示装置が挙げられる。また、中小型から大型まで、特に限定することなく適用が可能であることは言うまでもない。
【００８２】
また、変形例を含む実施形態等においては、移動体の開示例として自動車の場合を例示したが、３輪以上の車輪と乗員が車室内に備えられた座席に座ることができるボディとを備えたいわゆる自動車に限らず、２輪であっても所謂ボディを備えるものであれば適用が可能であるし、モーターボート等、他の移動体にも適用が可能である。
【００８３】
また、変形例を含む実施形態等において述べた態様によりもたらされる他の作用効果について本明細書記載から明らかなもの、又は当業者において適宜想到し得るものについては、当然に本発明によりもたらされるものと解される。
【符号の説明】
【００８４】
１  表示システム
２  ルームミラーユニット
３Ａ，３Ｂ  サイドミラーユニット
４  ＣＩＤユニット
５，５Ａ，５Ｂ，５Ｃ  撮像装置
１４  中央処理部
２０，２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ  表示装置
７１  撮像部
７２  第１センサ
７３  第１画像処理装置
８１  第２画像処理装置
８２，８２Ａ  第２センサ
８３  表示部
９１  撮像画像
９２  前処理画像
９３  後処理画像
１００，１１０  画像処理装置
１０１  第１画像処理部
１０２  第２画像処理部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
移動体に設けられて画像を撮像する撮像部を有する撮像装置と、
前記移動体において前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置と、
前記撮像装置側で振動を検知する第１センサと、
前記表示装置側で振動を検知する第２センサと、
前記第１センサの検知結果に基づいて前記撮像画像よりも小さい前処理画像を前記撮像画像から切り出す第１画像処理部と、
前記第２センサの検知結果に基づいて前記前処理画像よりも小さい後処理画像を前記前処理画像から切り出す第２画像処理部と
を備え、
前記第１画像処理部は、前記撮像画像内における前記前処理画像の切り出し範囲を前記撮像装置側での振動を打ち消す方向に移動させ、
前記第２画像処理部は、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる
表示システム。
【請求項２】
前記第２画像処理部は、前記前処理画像内における所定の第２座標を用いて定められた第２範囲に基づいて、前記第２センサにより検知された振動の方向及び振動量に基づいて補正された前記第２座標に応じて移動した前記第２範囲を前記後処理画像として前記前処理画像から切り出す
請求項１に記載の表示システム。
【請求項３】
補正前の前記第２座標は、前記移動体が静止している場合の前記前処理画像内で定められた座標である
請求項２に記載の表示システム。
【請求項４】
前記第１画像処理部は、前記撮像画像内における所定の第１座標を用いて定められた第１範囲に基づいて、前記第１センサにより検知された振動の方向及び振動量に基づいて補正された前記第１座標に応じて移動した前記第１範囲を前記前処理画像として前記撮像画像から切り出す
請求項１から３のいずれか一項に記載の表示システム。
【請求項５】
補正前の前記第１座標は、前記移動体が静止している場合の前記撮像画像内で定められた座標である
請求項４に記載の表示システム。
【請求項６】
前記第１画像処理部及び前記第２画像処理部は、前記撮像装置側又は前記表示装置側に設けられる
請求項１から５のいずれか一項に記載の表示システム。
【請求項７】
前記表示装置は、前記第１画像処理部及び前記第２画像処理部を有する
請求項６に記載の表示システム。
【請求項８】
前記第１画像処理部は、前記撮像装置側に設けられ、前記第２画像処理部は、前記表示装置側に設けられる
請求項１から５のいずれか一項に記載の表示システム。
【請求項９】
前記移動体は、自動車である
請求項１から８のいずれか一項に記載の表示システム。
【請求項１０】
画像を撮像する撮像部を有する撮像装置が設けられた移動体において前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置であって、
前記撮像装置側で振動を検知する第１センサの検知結果に基づいて前記撮像画像よりも小さい前処理画像を前記撮像画像から切り出し、前記表示装置側で振動を検知する第２センサの検知結果に基づいて前記前処理画像よりも小さい前記後処理画像を前記前処理画像から切り出す画像処理部を備え、
前記画像処理部は、前記撮像画像内における前記前処理画像の切り出し範囲を前記撮像装置側での振動を打ち消す方向に移動させ、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる
表示装置。
【請求項１１】
画像を撮像する撮像部を有する撮像装置及び前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置が設けられた移動体において前記撮像画像に基づいて前記後処理画像を得る画像処理装置であって、
前記撮像装置側で振動を検知する第１センサの検知結果に基づいて前記撮像画像よりも小さい前処理画像を前記撮像画像から切り出し、前記表示装置側で振動を検知する第２センサの検知結果に基づいて前記前処理画像よりも小さい前記後処理画像を前記前処理画像から切り出す画像処理部を備え、
前記画像処理部は、前記撮像画像内における前記前処理画像の切り出し範囲を前記撮像装置側での振動を打ち消す方向に移動させ、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる
画像処理装置。
【請求項１２】
画像を撮像する撮像部を有する撮像装置が設けられた移動体において前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置であって、
前記表示装置側で振動を検知するセンサの検知結果に基づいて、前記撮像画像に基づいて生成された画像であって前記撮像装置側での振動による影響が低減された前処理画像から前記前処理画像よりも小さい後処理画像を切り出す画像処理部を備え、
前記画像処理部は、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる
表示装置。
【請求項１３】
画像を撮像する撮像部を有する撮像装置及び前記撮像装置と別の位置に設けられて前記撮像装置による撮像画像に基づいた後処理画像を表示する表示部を有する表示装置が設けられた移動体において前記後処理画像を得る画像処理装置であって、
前記表示装置側で振動を検知するセンサの検知結果に基づいて、前記撮像画像に基づいて生成された画像であって前記撮像装置側での振動による影響が低減された前処理画像から前記前処理画像よりも小さい後処理画像を切り出す画像処理部を備え、
前記画像処理部は、前記前処理画像内における前記後処理画像の切り出し範囲を前記表示装置側での振動に追従させる
画像処理装置。
【国際調査報告】
2016190372.tif 000016
2016190372.tif 000017
2016190372.tif 000018
2016190372.tif 000019