(57)【要約】  本技術は、車両の運転に適切な画像を容易に提供することができるようにする撮影装置、制御方法、及び、プログラムに関する。制御部は、車両で取得される車両情報に基づいて、車両の表示部に表示される画像を撮影するイメージセンサからの画像の読み出しを制御する。本技術は、例えば、車両の後方が写る画像を表示するビューイングシステムに適用することができる。
2020090512.tif 000002
【特許請求の範囲】
【請求項１】
車両の表示部に表示される画像を撮影するイメージセンサと、
前記車両で取得される車両情報に基づいて、前記イメージセンサからの画像の読み出しを制御する制御部と
を備える撮影装置。
【請求項２】
前記車両情報を用いて、前記車両の傾き情報を検出する検出部をさらに備え、
前記制御部は前記傾き情報に応じて、イメージセンサからの画像の読出しを制御する
請求項１に記載の撮影装置。
【請求項３】
前記検出部は、前記車両の前側及び後ろ側への傾きを表す前記傾き情報を検出する
請求項２に記載の撮影装置。
【請求項４】
前記検出部は、前記車両の左側及び右側への傾きを表す前記傾き情報を検出する
請求項２に記載の撮影装置。
【請求項５】
前記検出部は、前記車両の前側及び後ろ側への傾きと、前記車両の左側及び右側への傾きとを表す前記傾き情報を検出する
請求項２に記載の撮影装置。
【請求項６】
前記制御部は、前記イメージセンサにおいて画像が読み出される読み出し位置を制御する
請求項１に記載の撮影装置。
【請求項７】
前記読み出し位置は、前記イメージセンサにおいて画像の読み出しが開始される読み出し開始位置と、前記イメージセンサにおいて読み出される画像のサイズとで指定される
請求項６に記載の撮影装置。
【請求項８】
前記制御部は、前記表示部に表示される画像に写る路面の比率が所定の比率に維持されるように、前記イメージセンサからの画像の読み出しを制御する
請求項１に記載の撮影装置。
【請求項９】
前記イメージセンサから読み出された画像の回転、及び、回転後の画像からの、前記表示部に表示する画像の切り出しを行う加工部をさらに備える
請求項１に記載の撮影装置。
【請求項１０】
前記制御部は、前記画像の回転を制御する
請求項９に記載の撮影装置。
【請求項１１】
前記制御部は、前記車両の傾き情報に応じて、前記画像の回転の回転角度を算出し、その回転角度だけ、前記画像を回転させるように、前記画像の回転を制御する
請求項１０に記載の撮影装置。
【請求項１２】
前記車両情報は、前記車両が有するジャイロから得られるジャイロ情報、前記車両のサスペンションに関するサスペンション情報、前記車両の前方を撮影するフロントカメラから得られるフロントカメラ画像、及び、GPSから得られるGPS情報のうちの１以上である
請求項１に記載の撮影装置。
【請求項１３】
前記表示部は、クラスIミラーの代替となる表示部である
請求項１に記載の撮影装置。
【請求項１４】
車両で取得される車両情報に基づいて、前記車両の表示部に表示される画像を撮影するイメージセンサからの画像の読み出しを制御する制御ステップを備える
制御方法。
【請求項１５】
車両で取得される車両情報に基づいて、前記車両の表示部に表示される画像を撮影するイメージセンサからの画像の読み出しを制御する制御部
として、コンピュータを機能させるためのプログラム。
【請求項１６】
前記車両情報を用いて、前記車両の傾き情報を検出する検出ステップをさらに備え、
前記イメージセンサからの画像の読出しの制御は前記傾き情報に応じてなされる
ことを特徴とする請求項１４に記載の制御方法。
【請求項１７】
前記車両情報を用いて、前記車両の傾き情報を検出する検出部として、さらにコンピュータを機能させるプログラムであり、
前記イメージセンサからの画像の読出しの制御は前記傾き情報に応じてなされる
ことを特徴とする請求項１５に記載のプログラム。
【請求項１８】
前記車両情報は、車両の速度情報とギア情報の少なくとも一つを含む
請求項１に記載の撮影装置。
【請求項１９】
前記車両情報は、車両の速度情報とギア情報の少なくとも一つを含む
請求項１４に記載の制御方法。
【請求項２０】
前記車両情報は、車両の速度情報とギア情報の少なくとも一つを含む
請求項１５に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮影装置、制御方法、及び、プログラムに関し、特に、例えば、車両の運転に適切な画像を容易に提供することができるようにする撮影装置、制御方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、自動車等の車両については、車両の後部に、撮影装置としてのカメラを設置し、そのカメラで撮影された車両の後方が写る画像を表示するビューイングシステムが提案されている。【０００３】
ビューイングシステムが提供する、車両の後方が写る画像としては、車両の後部の直後より後方が写る画像や、車両の後部の直後が写る画像がある。【０００４】
ここで、車両の後部の直後より後方が写る画像は、例えば、いわゆる室内バックミラー（ルームミラー）と呼ばれるクラスIミラーに写る画像に相当する画像であり、以下、BM(Back Mirror)画像ともいう。また、車両の後部の直後が写る画像は、車両の後部とその直後とが写る画像であり、以下、RV(Rear View)画像ともいう。【０００５】
車両が坂道にさしかかった場合、その他、凹凸がある路面を走行している場合、車両は傾く。また、車両に積載する荷物や、車両の搭乗者の状態によっても、車両は傾くことがある。【０００６】
車両が傾くと、車両に設置されているカメラも傾き、これにより、BM画像に写る空や道路等の比率（割合）が、車両が傾いていない場合の状態から変化する。【０００７】
車両が傾いていない場合に、車両の運転に適切なBM画像が表示されるように、ビューイングシステムが調整されているときには、車両の傾きに起因して、BM画像に写る空や道路等の比率が変化すると、車両の運転に適切なBM画像が表示されなくなることがある。【０００８】
例えば、車両が平坦な路面を走行している場合には、車両の後方から接近してくる他の車両や、車両の後方にある障害物等を運転者が十分に認識することができるBM画像が表示されていたが、車両が傾くと、BM画像において、そのような他の車両や障害物を運転者が認識するのに必要な情報が少なくなることがある。【０００９】
そこで、例えば、坂道走行時に、カメラで撮影した撮影画像を後段の記憶装置に記憶させ、記憶装置に記憶された撮影画像から、必要な画像を切り出す技術が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特許第6245274号
【発明の概要】
【発明が解決しようとする課題】
【００１１】
記憶装置に記憶された撮影画像から、必要な画像を切り出す場合には、必要な画像のサイズ（画素数）を大きく超えるサイズの撮影画像を、カメラから読み出す必要がある。カメラから読み出す撮影画像のサイズが大きいことは、フレームレートの低下の原因となる。【００１２】
また、カメラの後段の記憶装置に記憶された撮影画像から必要な画像を切り出す技術以外にも、車両の運転に適切な画像を容易に提供することができる技術の提案が要請されている。【００１３】
本技術は、このような状況に鑑みてなされたものであり、車両の運転に適切な画像を容易に提供することができるようにするものである。
【課題を解決するための手段】
【００１４】
本技術の撮影装置は、車両の表示部に表示される画像を撮影するイメージセンサと、前記車両で取得される車両情報に基づいて、前記イメージセンサからの画像の読み出しを制御する制御部とを備える撮影装置である。【００１５】
本技術の制御方法、又は、プログラムは、車両で取得される車両情報に基づいて、前記車両の表示部に表示される画像を撮影するイメージセンサからの画像の読み出しを制御する制御ステップを備える制御方法、又は、そのような制御を行う制御部として、コンピュータを機能させるためのプログラムである。【００１６】
本技術の撮影装置、制御方法、及び、プログラムにおいては、車両で取得される車両情報に基づいて、前記車両の表示部に表示される画像を撮影するイメージセンサからの画像の読み出しが制御される。【００１７】
なお、撮影装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。【００１８】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本技術を適用したビューイングシステムが搭載された車両１０の外観構成例を示す斜視図である。
【図２】車両１０の車内の構成例を示す斜視図である。
【図３】車両１０に搭載されたビューイングシステムの第１の構成例を示すブロック図である。
【図４】制御部４３による、撮影画像からの読み出し画像としてのBM画像及びRV画像の読み出し制御の例を説明する図である。
【図５】車両１０の状態とBM画像との関係の第１の例を説明する図である。
【図６】制御部４３による傾き情報に応じた読み出し画像の読み出し制御の例を説明する図である。
【図７】イメージセンサ３２の構成例を示す図である。
【図８】ビューイングシステムの第１の構成例が行うBM画像及を表示する表示処理の例を説明するフローチャートである。
【図９】車両１０に搭載されたビューイングシステムの第２の構成例を示すブロック図である。
【図１０】車両１０の状態とBM画像との関係の第２の例を説明する図である。
【図１１】制御部７１による傾き情報に応じた読み出し画像の読み出し制御の例を説明する図である。
【図１２】制御部７１による傾き情報に応じた読み出し画像の読み出し制御の例をさらに説明する図である。
【図１３】ビューイングシステムの第２の構成例が行うBM画像及を表示する表示処理の例を説明するフローチャートである。
【図１４】車両１０に搭載されたビューイングシステムの第３の構成例を示すブロック図である。
【図１５】制御部７１による傾き情報に応じた読み出し画像の読み出し制御の例を説明する図である。
【図１６】ビューイングシステムの第３の構成例が行うBM画像及を表示する表示処理の例を説明するフローチャートである。
【図１７】車両１０に搭載されたビューイングシステムの第４の構成例を示すブロック図である。
【図１８】イメージセンサ３２から出力することができる画像の例を説明する図である。
【図１９】車両１０でデータ伝送に使用することができる車両伝送帯域の例を説明する図である。
【図２０】制御部１３６によるBM画像及びRV画像のデータ量の調整制御の第１の例を説明する図である。
【図２１】制御部１３６によるBM画像及びRV画像のデータ量の調整制御の第２の例を説明する図である。
【図２２】ビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。
【図２３】車両１０に搭載されたビューイングシステムの第５の構成例を示すブロック図である。
【図２４】制御部１８１による、撮影画像からのBM画像及びRV画像の抽出制御の例を説明する図である。
【図２５】ビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。
【図２６】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
＜ビューイングシステムを搭載した車両の構成例＞
【００２１】
図１は、本技術を適用したビューイングシステムが搭載された車両１０の外観構成例を示す斜視図である。
【００２２】
例えば、（四輪）自動車である車両１０には、後部に、車両１０の後方を撮影する撮影装置としての１台のカメラユニット１１が設置されている。図１では、カメラユニット１１は、車両１０のリアガラスの上部に設置されている。
【００２３】
カメラユニット１１は、BM画像となる範囲と、RV画像となる範囲との両方が写る画像を一つの画像として撮影することができるように、広角（例えば、画角が120度以上）のカメラユニットになっている。さらに、カメラユニット１１は、BM画像において、遠方の被写体が明確に写るように、高解像度（例えば、解像度が4K以上）のカメラユニットになっている。したがって、カメラユニット１１は、広角かつ高解像度の画像を撮影することができる。
【００２４】
なお、カメラユニット１１では、後述するように、カメラユニット１１において撮影される画像（以下、撮影画像ともいう）から、BM画像及びRV画像が抽出される。
【００２５】
BM画像には、車両１０に室内バックミラー（ルームミラー。国際連合欧州経済委員会〈UN/ECE〉が定めるRegulation No.46におけるクラスIミラー）が設置されていたならば、その室内バックミラーで観察することができる、車両１０の後部の直後より後方の様子の画像が含まれるように、かつ、RV画像には、車両１０の後部とその（後部の）直後の様子の画像が含まれて写るように、カメラユニット１１は、光軸の向きが調整されて設置される。
【００２６】
したがって、BM画像は、車両１０に室内バックミラーが設置されていたならば、その室内バックミラーで観察することができる、車両１０の後部の直後より後方の様子が写る画像である。また、RV画像は、車両１０の後部とその直後の様子とが写る画像である。RV画像には、室内バックミラーでは死角となる車両１０の後部の直後が写るので、RV画像は、車両１０の後進時に、特に有用である。また、RV画像は、車両１０を上部から見たような俯瞰画像の生成に用いることができる。
【００２７】
なお、上述のようなBM画像及びRV画像を抽出することができる撮影画像を撮影することができれば、カメラユニット１１を設置する位置は、車両１０のリアガラスの上部に限定されるものではない。例えば、カメラユニット１１は、車両１０のリアガラスの上部の他、車両１０の後部のナンバープレートの上部の位置P11等に設置することができる。
【００２８】
図２は、図１の車両１０の車内の構成例を示す斜視図である。
【００２９】
車両１０の車内の室内バックミラーが設置される位置には、BM画像を表示するBM表示部２１が設けられている。BM表示部２１は、室内バックミラーの代替となる表示部である。
【００３０】
車両１０の車内のダッシュボードの中央の位置には、RV画像を表示するRV表示部２２が設けられている。
【００３１】
なお、車両１０の車内のダッシュボードの運転席側には、運転者を撮影する車内カメラ２３が設けられている。車内カメラ２３では、運転者を撮影し、その運転者が写る画像が出力される。車両１０では、運転者が写る画像から、運転者の視線や頭部の位置が検出される。
【００３２】
ここで、運転者を撮影する車内カメラ２３は、ダッシュボード以外の任意の位置、例えば、BM表示部２１の上部の位置P21等に設けることができる。
【００３３】
＜ビューイングシステムの第１の構成例＞
【００３４】
図３は、車両１０に搭載されたビューイングシステムの第１の構成例を示すブロック図である。
【００３５】
ビューイングシステムは、図１及び図２で説明したカメラユニット１１、BM表示部２１、及び、RV表示部２２を有する。
【００３６】
カメラユニット１１は、光学系３１、イメージセンサ３２、出力部３３、取得部４１、検出部４２、及び、制御部４３を有する。
【００３７】
光学系３１は、集光レンズや絞り等の光学部品で構成され、光学系３１に入射する光を、イメージセンサ３２に集光させる。
【００３８】
イメージセンサ３２は、光学系３１からの光を受光し、光電変換を行うことで、BM画像やRV画像となる画像を含む撮影画像を撮影する。そして、イメージセンサ３２は、制御部４３の制御に従い、撮影画像から、BM画像及びRV画像（となる画像）を読み出して出力する。ここで、イメージセンサ３２が撮影画像から読み出して出力する画像を読み出し画像ともいう。イメージセンサ３２が出力する読み出し画像は、出力部３３に供給される。
【００３９】
出力部３３は、イメージセンサ３２からの読み出し画像としてのBM画像及びRV画像を、カメラユニット１１の外部に伝送する出力IF(Interface)であり、BM画像を、BM表示部２１に伝送するとともに、RV画像を、RV表示部２２に伝送する。BM表示部２１では、出力部３３からのBM画像が、BM表示部２１の仕様に従って表示され、RV表示部２２では、出力部３３からのRV画像が、RV表示部２２の仕様に従って表示される。出力部３３は、BM画像及びRV画像のフォーマット変換その他の画像処理を、必要に応じて行うことができる。
【００４０】
取得部４１は、車両１０で取得される車両情報を、車両１０から、車両１０に構築されたネットワーク（車両情報ネットワーク）を介して取得（受信）し、検出部４２に供給する。
【００４１】
ここで、車両情報とは、例えば、車両１０が有するジャイロから得られるジャイロ情報、車両１０のサスペンションに関するサスペンション情報、車両１０の前方を撮影するフロントカメラから得られるフロントカメラ画像、及び、GPS(Global Positioning System)から得られるGPS情報、車両１０の車速や走行方向（前進又は後進）等の走行状態を表す走行情報、車内カメラ２３で撮影された画像から求められる車両１０の運転者の視線及び頭部の位置、車両１０が有するナビゲーションシステムで使用される3D(Dimension)マップ、ADAS（Advanced Driving Assist System）/ 自動運転システムで使用される高精細度マップ等の、車両１０で取得することができるあらゆる情報を含む。車速としては、例えば、車両１０が速度センサを搭載している場合には、その速度センサが出力する速度情報を採用することができる。走行方向としては、例えば、トランスミッションの状態を表すギア情報を採用することができる。
【００４２】
取得部４１は、必要に応じて１以上の車両情報を取得し、検出部４２に供給する。
【００４３】
ビューイングシステムの第１の構成例では、取得部４１は、車両情報としての、例えば、ジャイロ情報、又は、GPS情報及び3Dマップ（高精細度マップ）を取得し、検出部４２に供給する。
【００４４】
検出部４２は、取得部４１からの車両情報を用いて、車両１０の傾きを表す傾き情報を検出（算出）し、制御部４３に供給する。
【００４５】
制御部４３は、車両情報に基づいて、イメージセンサ３２からの読み出し画像の読み出しを制御する。
【００４６】
例えば、制御部４３は、検出部４２が車両情報から検出する傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出しを制御する。
【００４７】
すなわち、制御部４３は、検出部４２から供給される傾き情報に応じて、イメージセンサ３２で撮影された撮影画像から、読み出し画像として読み出しが開始される画像の読み出し開始位置を算出するとともに、読み出し画像のサイズ（画素数）を設定し、その読み出し開始位置とサイズとで指定される読み出し位置を、イメージセンサ３２に供給することで、イメージセンサ３２からの読み出し画像の読み出しを制御する読み出し制御を行う。
【００４８】
イメージセンサ３２は、制御部４３からの読み出し位置の画素の画素信号を読み出し、その画素信号を画素値とする読み出し画像を出力する。
【００４９】
なお、読み出し位置は、読み出し開始位置とサイズとで指定する他、例えば、読み出し開始位置と、読み出し画像の読み出しを終了する読み出し終了位置とで指定することができる。
【００５０】
ここで、ビューイングシステムの第１の構成例では、イメージセンサ３２が出力する読み出し画像は、BM表示部２１で表示されるBM画像や、RV表示部２２で表示されるRV画像に一致する。したがって、ビューイングシステムの第１の構成例では、読み出し画像のサイズとしては、BM表示部２１で表示されるBM画像や、RV表示部２２で表示されるRV画像が設定される。
【００５１】
＜撮影画像からの読み出し画像の読み出し制御＞
【００５２】
図４は、制御部４３による、撮影画像からの読み出し画像としてのBM画像及びRV画像の読み出し制御の例を説明する図である。
【００５３】
光学系３１と、イメージセンサ３２が撮影する撮影画像とは、例えば、図４に示すように、撮影画像（イメージセンサ３２の受光面）が光学系３１（を構成するレンズ）のイメージサークルを包含するような位置関係になっている。
【００５４】
制御部４３は、読み出し制御において、撮影画像から、車両１０の後部の直後より後方が写る所定の領域（車両１０に室内バックミラーが設置されていたならば、その室内バックミラーで観察される領域）R11を、BM画像として抽出するように、イメージセンサ３２からの画素信号の読み出しを制御する。つまり、表示デバイスや、画像表示機能の種類（／アプリケーション）に応じて、イメージセンサ３２からの画素信号の読出しを制御する。
【００５５】
さらに、制御部４３は、読み出し制御において、読み出し画像の読み出し位置を、イメージセンサ３２に供給することにより、撮影画像（のうちのイメージサークル内の画像）から、車両１０の後部と、その直後とが写る所定の領域R12を、RV画像として抽出するように、イメージセンサ３２からの画素信号の読み出しを制御する。
【００５６】
イメージセンサ３２は、制御部４３の制御に従い、撮影により得られた撮影画像から、BM画像（の画素値）となる領域R11の画素信号を読み出し、その画素信号を画素値とする読み出し画像を出力するとともに、RV画像となる領域R12の画素信号を読み出し、その画素信号を画素値とする読み出し画像を出力する。
【００５７】
領域R11及びR12は、制御部４３からイメージセンサ３２に供給される読み出し画像の読み出し位置によって指定される。
【００５８】
なお、制御部４３は、読み出し画像としてのBM画像の読み出し制御において、車両情報に含まれる運転者の視線及び頭部の位置等にも応じて、BM画像として抽出する領域R11を指定する読み出し位置を算出することができる。
【００５９】
すなわち、仮に、車両１０に、バックミラーが設置されていたならば、運転者が視線や頭部を移動すると、バックミラーによって運転者が見ることができる画像に写る範囲が変化する。車両１０にバックミラーが設置されている場合に観察することができる画像と同様の範囲が写るBM画像を、運転者が見ることができるように、制御部４３は、読み出し画像としてのBM画像の読み出し制御において、運転者の視線や頭部の位置にも応じて、BM画像として抽出する領域R11を指定する読み出し位置を算出することができる。
【００６０】
以下では、説明を簡単にするため、RV画像については、説明を省略する。
【００６１】
＜車両１０の状態とBM画像との関係＞
【００６２】
図５は、車両１０の状態とBM画像との関係の第１の例を説明する図である。
図５（A1)は車両１０が平坦な路面を走行している場合の車両１０の状態を示す図である。また、図5（A2）は、車両１０が平坦な路面を走行している場合のBM画像例である。
図５（B1)は車両１０が下り坂に差しかかった場合の車両１０の状態を示す図である。また、図5（B2）は、車両１０が下り坂に差しかかった場合のBM画像例である。
図５（C1)は車両１０が上り坂に差しかかった場合の車両１０の状態を示す図である。また、図5（C2）は、車両１０が上り坂に差しかかった場合のBM画像例である。
【００６３】
いま、BM画像に写る３次元空間の範囲を、BM範囲ということとする。また、以下では、説明を簡単にするため、運転者の視線及び頭部の位置は固定されているとする。したがって、撮影画像からBM画像として抽出される領域R11（の位置）、ひいては、BM範囲に関して、運転者が視線や頭部の位置を動かすことに起因する変化はないこととする。
【００６４】
さらに、制御部４３において、車両１０が平坦な路面に位置している場合（車両１０が傾いていない場合）に、図５に示すように、車両１０から所定の距離だけ後方に位置する後方車両が、ほぼ画面中央に写るBM画像が抽出されるように、読み出し制御、すなわち、読み出し位置（読み出し開始位置及びサイズ）の算出が行われることとする。
【００６５】
この場合、車両１０が下り坂にさしかかると、車両１０がピッチ方向としての前側に傾き、車両１０の後部に設置されたカメラユニット１１の光軸、ひいては、BM範囲が、車両１０が平坦な路面に位置している場合よりも上側（空側）に傾く（図５（B1）,図５（B2））。
【００６６】
その結果、車両１０が平坦な路面に位置している状態（平坦な路面を走行している場合）ではBM画像のほぼ画面中央に車両１０から所定の距離だけ後方にある後方車両が写るようなカメラ設定の場合、車両１０が下り坂にさしかかった状態では、車両１０から所定の距離だけ後方にある後方車両が、画面下方に写るBM画像が得られる。このBM画像は、図５に示すように、車両１０が平坦な路面に位置している状態のBM画像に比較して、空（が写る領域）の比率が大きく、かつ、道路の比率が小さい画像となる。
【００６７】
したがって、車両１０が下り坂にさしかかった場合のBM画像では、車両１０が平坦な路面に位置している場合のBM画像と比較して、情報量が変化する。すなわち、例えば、車両１０が下り坂にさしかかった場合のBM画像では、車両１０が平坦な路面に位置している場合のBM画像と比較して、道路に関する情報量が減少する。また、車両10と後方車両の相対位置や、下り坂の傾きの状態によっては、後方車両の一部が写らなかったり、後方車両自体が写らないことが起こることがある。
【００６８】
一方、車両１０が上り坂にさしかかると、車両１０がピッチ方向としての後ろ側に傾き、車両１０の後部に設置されたカメラユニット１１の光軸、ひいては、BM範囲が、車両１０が平坦な路面に位置している場合よりも下側（道路側）に傾く（図５(C1)、図５（C2））。
【００６９】
その結果、車両１０が平坦な路面に位置している状態ではBM画像のほぼ画面中央に車両１０から所定の距離だけ後方にある後方車両が写るようなカメラ設定の場合、車両１０が上り坂にさしかかった状態では、車両１０から所定の距離だけ後方にある後方車両が、画面上方に写るBM画像が得られる。このBM画像は、図５に示すように、車両１０が平坦な路面に位置している場合のBM画像に比較して、空（が写る領域）の比率が小さく、かつ、道路の比率が大きい画像となる。
【００７０】
したがって、車両１０が上り坂にさしかかった場合のBM画像では、車両１０が平坦な路面に位置している場合のBM画像と比較して、情報量が変化する。すなわち、例えば、車両１０が上り坂にさしかかった場合のBM画像では、車両１０が平坦な路面に位置している場合のBM画像と比較して、空の比率が小さくなるので、空に関する情報量が減少する。また、車両10と後方車両の相対位置や、上り坂の傾きの状態によっては、後方車両の一部が写らなかったり、後方車両自体が写らないことが起こることがある。
【００７１】
以上のように、車両１０が下り坂や上り坂にさしかかった場合のBM画像において、車両１０が平坦な路面に位置している場合のBM画像から情報量が変化することは、車両１０の運転者に、車両１０の運転に適切なBM画像を提供する観点からは、好ましくない。
【００７２】
そこで、制御部４３は、BM画像の読み出し制御において、検出部４２からの傾き情報に応じて、イメージセンサ３２からの読み出し画像としてのBM画像の読み出しを制御することで、車両１０の状態にかかわらず、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像が得られるようにする。
【００７３】
＜制御部４３による傾き情報に応じた読み出し画像の読み出し制御＞
【００７４】
図６は、制御部４３による傾き情報に応じた読み出し画像の読み出し制御の例を説明する図である。
【００７５】
いま、車両１０が平坦な路面に位置している場合に、制御部４３において、イメージセンサ３２が撮影する撮影画像（イメージセンサ３２の受光面）から、矩形の領域R101（の画素の画素信号）が読み出されるように、読み出し制御が行われることとする。領域R101のサイズは、読み出し画像としてのBM画像のサイズと一致する。
【００７６】
例えば、車両１０が上り坂にさしかかり、車両１０が後ろ側に傾いた場合、制御部４３は、傾き情報に応じて、領域R101から、車両１０の後ろ側への傾きの角度に応じた画素数分だけ、上方にずれた、領域R101と同一サイズの領域R102を指定する読み出し位置を算出し、その読み出し位置の画素信号を読み出すように、読み出し制御を行う。
【００７７】
また、例えば、車両１０が下り坂にさしかかり、車両１０が前側に傾いた場合、制御部４３は、傾き情報に応じて、領域R101から、車両１０の前側への傾きの角度に応じた画素数分だけ、下方にずれた、領域R101と同一サイズの領域R103を指定する読み出し位置を算出し、その読み出し位置の画素信号を読み出すように、読み出し制御を行う。
【００７８】
傾き情報に応じた読み出し位置の算出では、車両１０が平坦な路面に位置している場合のBM画像と同様の比率で、道路や空が写る読み出し画像が読み出されるように、すなわち、読み出し画像に写る路や空の比率が、車両１０が平坦な路面に位置している場合のBM画像と同様の比率に維持されるように（／近づくように）、読み出し位置が算出される。
【００７９】
制御部４３において、以上のような読み出し制御を行うことにより、車両１０の運転に適切な画像を容易に得ることができる。すなわち、車両１０のピッチ方向の傾きにかかわらず、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像を、容易に得ることができる。
【００８０】
ビューイングシステムの第１の構成例では、検出部４２は、取得部４１から供給される車両情報としてのジャイロ情報、又は、GPS情報及び3Dマップ等から、（急な）坂道を検出し、車両１０が坂道にさしかかったときの車両１０の傾き情報、すなわち、ここでは、主として、ピッチ方向としての前側及び後ろ側への車両１０の傾き（の程度）を表す傾き情報を検出（算出）する。そして、検出部４２は、傾き情報を、制御部４３に供給する。
【００８１】
検出部４２では、例えば、ジャイロ情報を用いて、車両１０が坂道にさしかかったことを検出し、さらに、そのときの車両１０のピッチ方向としての前側及び後ろ側への傾きを表す傾き情報を検出することができる。
【００８２】
また、検出部４２では、例えば、GPS情報を用いて得られる現在地と3Dマップとから、車両１０が坂道にさしかかることを検出（推定）し、さらに、3Dマップを用いて得られる坂道の傾斜を用いて、車両１０が坂道にさしかかったときの車両１０のピッチ方向としての前側及び後ろ側への傾きを表す傾き情報を検出（推定）することができる。
【００８３】
制御部４３は、検出部４２からの傾き情報に応じて、イメージセンサ３２から読み出し画像として読み出す画像の読み出し位置を算出し、イメージセンサ３２に供給することで、イメージセンサ３２からの読み出し画像の読み出しを制御する。
【００８４】
イメージセンサ３２は、制御部４３からの読み出し位置の画素の画素信号を読み出し、その画素信号を画素値とする読み出し画像を出力する。
【００８５】
＜イメージセンサ３２の構成例＞
【００８６】
図７は、図３のイメージセンサ３２の構成例を示す図である。
【００８７】
イメージセンサ３２は、画素アレイ５１、入力回路５２、行選択回路５３、列選択回路５４、AD(Analog to Digital)変換器５５、ラインバッファ５６、及び、出力回路５７を有する。
【００８８】
画素アレイ５１は、複数の画素６１が２次元平面上に配置されて構成される。画素アレイ５１において画素６１が配置されている領域が、イメージセンサ３２の受光面である。
【００８９】
画素６１は、そこに入射する光を、その光の光量に応じた電気信号としての画素信号に変換する。画素アレイ５１からは、行選択回路５３で選択された行で、列選択回路５４で選択された列の画素６１の画素信号が、列選択回路５４を介して読み出され、AD変換器５５に供給される。
【００９０】
入力回路５２には、制御部４３から、撮影画像から読み出す読み出し画像の読み出し開始位置と、その読み出し画像のサイズ（以下、読み出しサイズともいう）とで指定される読み出し位置が供給される。
【００９１】
入力回路５２は、制御部４３からの読み出し位置としての読み出し開始位置及び読み出しサイズを用いて、例えば、ラスタスキャン順で、画素アレイ５１の画素６１のうちの、画素信号の読み出しを開始する画素６１の座標を、読み出し開始座標(X_STA,Y_STA)として算出するとともに、画素信号の読み出しを終了する画素６１の座標を、読み出し終了座標(X_END,Y_END)として算出する。
【００９２】
入力回路５２は、読み出し開始座標(X_STA,Y_STA)のy座標Y_STA、及び、読み出し終了座標(X_END,Y_END)のy座標Y_ENDを、行選択回路５３に供給するとともに、読み出し開始座標(X_STA,Y_STA)のx座標X_STA、及び、読み出し終了座標(X_END,Y_END)のx座標X_ENDを、列選択回路５４に供給する（処理PR1）。
【００９３】
行選択回路５３は、入力回路５２からのy座標Y_STAが表す画素６１の行からy座標Y_ENDが表す画素６１の行までの各行を、順次選択する（処理PR2）。
【００９４】
画素アレイ５１では、行選択回路５３が選択する行の画素６１から画素信号が読み出され、列選択回路５４に供給される。
【００９５】
列選択回路５４は、画素６１から読み出された画素信号のうちの、入力回路５２からのx座標X_STAが表す画素６１の列からx座標X_ENDが表す画素６１の列までの各列の画素６１の画素信号を選択し、AD変換器５５に供給する（処理PR3）。
【００９６】
AD変換器５５は、列選択回路５４からの画素信号を、例えば、１行単位でAD変換し、AD変換後の画素信号を、ラインバッファ５６に供給する（処理PR4）。
【００９７】
ラインバッファ５６は、AD変換器５５からの画素信号を一時記憶する。
【００９８】
出力回路５７は、ラインバッファ５６に記憶された画素信号を、１画素分ずつ読み出し（処理PR5）、読み出し画像の画素値として、イメージセンサ３２の外部に出力する。
【００９９】
以上のようにして、イメージセンサ３２では、読み出し開始座標(X_STA,Y_STA)の画素６１を、左上の頂点とするとともに、読み出し終了座標(X_END,Y_END)の画素６１を、右下の頂点とする矩形の領域を、読み出し領域として、その読み出し領域内の画素６１の画素信号が読み出され、その画素信号を画素値とする画像が、読み出し画像として出力される。
【０１００】
＜表示処理＞
【０１０１】
図８は、図３のビューイングシステムの第１の構成例が行うBM画像及を表示する表示処理の例を説明するフローチャートである。
【０１０２】
ステップＳ１１において、取得部４１は、車両情報としての、例えば、ジャイロ情報、又は、GPS情報及び3Dマップを取得し、検出部４２に供給して、処理は、ステップＳ１２に進む。
【０１０３】
ステップＳ１２では、検出部４２は、取得部４１からの車両情報を用いて、坂道を検出する。さらに、検出部４２は、取得部４１からの車両情報を用いて、車両１０が坂道にさしかかったときの車両１０の傾き情報（主として、ピッチ方向としての前側及び後ろ側への傾きを表す傾き情報）を検出（算出）し、制御部４３に供給して、処理は、ステップＳ１２からステップＳ１３に進む。
【０１０４】
ステップＳ１３では、制御部４３は、検出部４２からの傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出し開始位置を算出し、その読み出し開始位置と、BM画像のサイズとを、読み出し位置として、イメージセンサ３２に供給して、処理は、ステップＳ１４に進む。
【０１０５】
ステップＳ１４では、イメージセンサ３２は、制御部４３からの読み出し位置の画素の画素信号を読み出し、その画素信号を画素値とする読み出し画像を取得して出力する。イメージセンサ３２が出力する読み出し画像は、出力部３３に供給され、処理は、ステップＳ１４からステップＳ１５に進む。
【０１０６】
ステップＳ１５では、出力部３３は、イメージセンサ３２からの読み出し画像を、BM画像として、BM表示部２１に伝送して表示させる。これにより、BM表示部２１では、BM画像が表示され、表示処理は終了する。
【０１０７】
以上のように、ビューイングシステムの第１の構成例は、主として、ピッチ方向としての前側及び後ろ側への傾きを表す傾き情報を検出し、その傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出しを制御するので、車両１０の運転に適切な画像を容易に提供することができる。すなわち、車両１０が坂道にさしかかった場合に、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像を、容易に提供することができる。
【０１０８】
さらに、ビューイングシステムの第１の構成例では、読み出し制御において、イメージセンサ３２からBM画像と同一のサイズの読み出し画像が読み出されるので、イメージセンサ３２からBM画像よりも大きなサイズの画像が読み出される場合に比較して、BM画像のフレームレートが低下するおそれを抑制することができる。
【０１０９】
第1の構成例の車両情報としては、ジャイロ情報、GPS情報と３Dマップの例で説明した。ただ、第1の構成例における車両情報としては、後述の第2の構成例、第３の構成例のように、サスペンション情報や、フロントカメラ画像等を用いてもよい。これらの、サスペンション情報や、フロントカメラ画像等を用いて、車両の傾きを検出するようにしてもよい。
【０１１０】
＜ビューイングシステムの第２の構成例＞
【０１１１】
図９は、車両１０に搭載されたビューイングシステムの第２の構成例を示すブロック図である。
【０１１２】
なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１１３】
図９において、ビューイングシステムは、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有する。さらに、図９において、カメラユニット１１は、光学系３１、イメージセンサ３２、出力部３３、取得部４１、検出部４２、制御部７１、及び、加工部７２を有する。
【０１１４】
したがって、図９のビューイングシステムの第２の構成例は、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有する点で、図３の場合と共通する。
【０１１５】
但し、図９のビューイングシステムの第２の構成例は、カメラユニット１１において、制御部４３に代えて、制御部７１が設けられるとともに、加工部７２が新たに設けられている点で、図３の場合と相違する。
【０１１６】
制御部７１は、制御部４３と同様に、検出部４２から供給される傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出しを制御する。
【０１１７】
但し、制御部７１は、検出部４２から供給される傾き情報に応じて、イメージセンサ３２で撮影された撮影画像から、読み出し画像の読み出し開始位置、及び、読み出しサイズを算出し、その読み出し開始位置と読み出しサイズとで指定される読み出し位置を、イメージセンサ３２に供給する。
【０１１８】
すなわち、ビューイングシステムの第１の構成例では、読み出し画像のサイズが、BM画像のサイズと一致するため、読み出しサイズは、BM画像のサイズに設定されるが、ビューイングシステムの第２の構成例では、読み出しサイズは、傾き情報に応じて算出される。
【０１１９】
ここで、ビューイングシステムの第２の構成例では、取得部４１は、車両情報としての、例えば、サスペンション情報等を取得し、検出部４２に供給する。
【０１２０】
この場合、検出部４２は、取得部４１からのサスペンション情報を用いて、ロール方向としての左側及び右側への傾きを検出し、その傾き（の程度）を表す傾き情報を検出（算出）する。そして、検出部４２は、傾き情報を、制御部７１に供給する。
【０１２１】
制御部７１は、検出部４２からの傾き情報に応じて、イメージセンサ３２が出力する読み出し画像を回転させる回転角度を算出し、加工部７２に供給する。制御部７１は、以上のように、回転角度を、加工部７２に供給することで、その回転角度だけ、読み出し画像を回転するように、加工部７２による読み出し画像の回転を制御する。
【０１２２】
加工部７２には、イメージセンサ３２が出力する読み出し画像が供給される。
【０１２３】
加工部７２は、制御部７１からの回転角度に従って、読み出し画像を回転する。さらに、加工部７２は、回転後の読み出し画像から、BM画像のサイズ（以下、BMサイズともいう）の画像を切り出し、BM画像として、出力部３３に供給する。
【０１２４】
以上のように、加工部７２では、読み出し画像が回転され、その回転後の読み出し画像から、BMサイズの画像が切り出される。したがって、読み出し画像は、回転後の読み出し画像からBMサイズの画像を切り出すことができるサイズを有する画像である必要がある。
【０１２５】
そのため、制御部７１は、傾き情報に応じて、例えば、回転後の読み出し画像からBMサイズの画像を切り出すことができる読み出し画像の最小のサイズを、読み出しサイズとして算出する。
【０１２６】
＜車両１０の状態とBM画像との関係＞
【０１２７】
図１０は、車両１０の状態とBM画像との関係の第２の例を説明する図である。
図１０（A1)は車両１０が平坦な路面を走行している場合の車両１０の状態を示す図である。また、図１０（A2）は、車両１０が平坦な路面を走行している場合のBM画像例である。
図１０（B1)は車両１０が前方の向きに対して右側に左側より高い段差がある路面に位置する場合の車両１０の状態を示す図である。また、図１０（B2）は、車両１０が前方の向きに対して右側に左側より高い段差がある路面に位置する場合のBM画像例である。
図１０（C1)は車両１０が前方の向きに対して左側に右側より高い段差がある路面に位置する場合の車両１０の状態を示す図である。また、図１０（C2）は、車両１０が前方の向きに対して左側に右側より高い段差がある路面に位置する場合のBM画像例である。
【０１２８】
図１０でも、図５の場合と同様に、運転者が視線や頭部の位置を動かすことに起因して、撮影画像からBM画像として抽出される領域R11は変化しないこととする。
【０１２９】
この場合、車両１０が、前方の向きに対して右側に左側より高い段差がある路面に位置すると、車両１０がロール方向としての左側に傾き、車両１０の後部に設置されたカメラユニット１１も同様にロール方向に傾く。
【０１３０】
その結果、車両１０が平坦な路面に位置している場合（図10(A)）、BM画像に水平方向に延びるように水平線が写る。車両１０が右側に高い段差がある路面に位置する場合には、右下がり（左上がり）に写るBM画像が得られる（図10(B)）。このBM画像は、図１０に示すように、車両１０が平坦な路面に位置している場合のBM画像に比較して、BM画像に写る空や道路の範囲が変化した画像になる。すなわち、車両１０が右側に高い段差がある路面に位置する場合のBM画像（図10(B)）では、車両１０が平坦な路面に位置している場合にBM画像と比較して、右側の道路の比率が小さくなるとともに、右側の空の比率が大きくなり、かつ、左側の道路の比率が大きくなるとともに、左側の空の比率が小さくなる。
【０１３１】
したがって、車両１０が右側に高い段差がある路面に位置する場合のBM画像では、車両１０が平坦な路面に位置している場合のBM画像と比較して、内容が変化する。
【０１３２】
一方、車両１０が、前方の向きに対して左側に右側より高い段差がある路面に位置すると、車両１０がロール方向としての右側に傾き、車両１０の後部に設置されたカメラユニット１１も同様にロール方向に傾く。
【０１３３】
その結果、車両１０が左側に高い段差がある路面に位置する場合には、水平線は右上がり（左下がり）に写るBM画像が得られる（図10(C)）。このBM画像は、図１０に示すように、車両１０が平坦な路面に位置している場合のBM画像に比較して、BM画像に写る空や道路の範囲が変化した画像になる。すなわち、車両１０が左側に高い段差がある路面に位置する場合のBM画像（図10(C)）では、車両１０が平坦な路面に位置している場合にBM画像と比較して、右側の道路の比率が大きくなるとともに、右側の空の比率が小さくなり、かつ、左側の道路の比率が小さくなるとともに、左側の空の比率が大きくなる。
【０１３４】
したがって、車両１０が左側に高い段差がある路面に位置する場合のBM画像では、車両１０が平坦な路面に位置している場合のBM画像と比較して、内容が変化する。
【０１３５】
以上のように、車両１０が左側又は右側に高い段差がある路面に位置する場合のBM画像が、車両１０が平坦な路面に位置している場合のBM画像から変化したものであることは、車両１０の運転者に、車両１０の運転に適切なBM画像を提供する観点からは、好ましくない。
【０１３６】
そこで、制御部７１は、BM画像の読み出し制御において、検出部４２からの傾き情報に応じて、イメージセンサ３２からの読み出し画像としてのBM画像の読み出しを制御することで、車両１０の状態にかかわらず、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像が得られるようにする。
【０１３７】
＜制御部７１による傾き情報に応じた読み出し画像の読み出し制御＞
【０１３８】
図１１は、制御部７１による傾き情報に応じた読み出し画像の読み出し制御の例を説明する図である。
左側の図１１（A）は、夫々の場合におけるイメージセンサ３２上の読出し領域を示した図である。右側の図１１（B）は、加工部７２における切りだし領域を示した図である。
【０１３９】
図６で説明したように、制御部７１では、車両１０が平坦な路面に位置している場合に、イメージセンサ３２が撮影する撮影画像（イメージセンサ３２の受光面）から、BM画像と一致するサイズの矩形の領域R101（の画素の画素信号）が読み出されるように、読み出し制御が行われることとする。
【０１４０】
例えば、車両１０が、段差がある路面に位置し、車両１０がロール方向に傾いた場合、制御部７１は、傾き情報に応じて、車両１０のロール方向への傾きの角度に応じた画素数分だけ領域R101よりも大きいサイズの領域R111を指定する読み出し位置を算出し、その読み出し位置の画素信号を読み出すように、読み出し制御を行う。
【０１４１】
ここで、車両１０がロール方向に傾いた場合のBM画像では、図１０に示したように、車両１０が平坦な路面に位置している場合のBM画像に水平方向に延びるように写る水平線が傾く。
【０１４２】
そこで、加工部７２では、イメージセンサ３２が読み出し制御に応じて出力する読み出し画像が、その読み出し画像に写る水平線が水平方向に延びるように回転され、回転後の読み出し画像から、BM画像（となる画像）が切り出される。
【０１４３】
制御部７１において、傾き情報に応じた読み出し位置の算出では、例えば、回転後の読み出し画像からBM画像を切り出すことができる最小のサイズで、領域R101の中心（重心）を中心とする領域R111を指定する読み出し位置としての読み出し開始位置及び読み出しサイズが算出され、イメージセンサ３２に供給される。
【０１４４】
さらに、制御部７１では、傾き情報に応じて、例えば、イメージセンサ３２が出力する読み出し画像としての領域R111に写る水平線が水平方向に延びるように写るように、読み出し画像としての領域R111を回転する回転角度が算出され、加工部７２に供給される。
【０１４５】
イメージセンサ３２では、制御部７１からの読み出し位置としての読み出し開始位置及び読み出しサイズによって指定される矩形の領域R111が、読み出し画像として読み出され、加工部７２に供給される。
【０１４６】
加工部７２では、イメージセンサ３２からの読み出し画像としての領域R111が、制御部７１からの回転角度だけ回転される。そして、加工部７２では、領域R111を回転した回転後の領域R112から、回転角度が0度の、BM画像と同一サイズの領域R113が、BM画像として切り出される（図１１（B））。
【０１４７】
図１１（A）の読み出し画像は、車両１０がロール方向としての右側に傾いており、読み出し画像に写る水平線が右上がりに傾く。そのため、加工部７２では、右上がりに傾いた水平線が水平方向に延びるように、読み出し画像としての領域R111が右回り（時計回り）に回転され、回転後の領域R112から、BM画像としての領域R113が切り出されている。
【０１４８】
以上により、BM画像として、車両１０の運転に適切な画像を容易に得ることができる。すなわち、車両１０のロール方向の傾きにかかわらず、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像を、容易に得ることができる。
【０１４９】
図１２は、制御部７１による傾き情報に応じた読み出し画像の読み出し制御の例をさらに説明する図である。
図１２(A）は、車両１０がロール方向に傾いている場合の読み出し画像の読み出しサイズが、BM画像のサイズよりも大きくなることを説明する図である。図１２（B）は、加工部７２における回転を説明する図である。図１２（C）は、加工部７２におけるBM画像の切り出しを説明する図である。
【０１５０】
図１２（A）では、車両１０がロール方向としての右側に傾いており、そのため、読み出し画像に写る水平線が右上がりに傾いている。
【０１５１】
ビューイングシステムの第２の構成例では、検出部４２は、取得部４１から供給される車両情報としてのサスペンション情報から、車両１０がロール方向に傾いていることを検出し、車両１０の傾きを表す傾き情報、すなわち、ここでは、主として、ロール方向としての左側及び右側への車両１０の傾き（の程度）を表す傾き情報を検出（算出）する。そして、検出部４２は、傾き情報を、制御部７１に供給する。
【０１５２】
制御部７１は、検出部４２からの傾き情報に応じて、イメージセンサ３２から読み出す読み出し画像の読み出し位置が表す領域R111の読み出し開始位置及び読み出しサイズを算出し、イメージセンサ３２に供給する。車両１０がロール方向に傾いている場合（ロール方向の傾きが0度以外である場合）、読み出しサイズは、BM画像と同一サイズの領域R101のサイズよりも大きくなる。
【０１５３】
また、制御部７１は、検出部４２からの傾き情報に応じて、読み出し画像としての領域R111を回転する回転角度を算出し、加工部７２に供給する。
【０１５４】
イメージセンサ３２は、制御部７１からの読み出し位置（読み出し開始位置及び読み出しサイズ）が表す領域R111を読み出し画像として読み出して出力する。
【０１５５】
イメージセンサ３２が出力する読み出し画像としての領域R111は、加工部７２に供給される。
【０１５６】
加工部７２では、領域R111が、制御部７１からの回転角度だけ回転され、これにより、水平線が水平方向に延びるように写る領域R112が生成される（図１２（B））。さらに、加工部７２では、領域R112から、領域R101と同一サイズの領域R113が、BM画像として切り出される（図12（B）（C））。
【０１５７】
＜表示処理＞
【０１５８】
図１３は、図９のビューイングシステムの第２の構成例が行うBM画像を表示する表示処理の例を説明するフローチャートである。
【０１５９】
ステップＳ２１において、取得部４１は、車両情報としての、例えば、サスペンション情報を取得し、検出部４２に供給して、処理は、ステップＳ２２に進む。
【０１６０】
ステップＳ２２では、検出部４２は、取得部４１からの車両情報を用いて、車両１０のロール方向の傾きを検出する。さらに、検出部４２は、取得部４１からの車両情報を用いて、車両１０がロール方向に傾いている場合の、車両１０の傾き情報（主として、ロール方向としての左側及び右側への傾きを表す傾き情報）を検出（算出）し、制御部７１に供給して、処理は、ステップＳ２２からステップＳ２３に進む。
【０１６１】
ステップＳ２３では、制御部７１は、検出部４２からの傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出し開始位置及び読み出しサイズを算出し、その読み出し開始位置及び読み出しサイズを、読み出し位置として、イメージセンサ３２に供給する。さらに、制御部７１は、検出部４２からの傾き情報に応じて、読み出し画像を回転する回転角度を算出し、加工部７２に供給して、処理は、ステップＳ２３からステップＳ２４に進む。
【０１６２】
ステップＳ２４では、イメージセンサ３２は、制御部７１からの読み出し位置の画素の画素信号を読み出し、その画素信号を画素値とする読み出し画像を取得して出力する。イメージセンサ３２が出力する読み出し画像は、加工部７２に供給され、処理は、ステップＳ２４からステップＳ２５に進む。
【０１６３】
ステップＳ２５では、加工部７２は、イメージセンサ３２からの読み出し画像を、制御部７１からの回転角度だけ回転する。さらに、加工部７２は、回転後の読み出し画像からBM画像を切り出し、出力部３３に供給して、処理は、ステップＳ２５からステップＳ２６に進む。
【０１６４】
ステップＳ２６では、出力部３３は、加工部７２からのBM画像を、BM表示部２１に伝送して表示させる。これにより、BM表示部２１では、BM画像が表示され、表示処理は終了する。
【０１６５】
以上のように、ビューイングシステムの第２の構成例は、主として、ロール方向としての左側及び右側への傾きを表す傾き情報を検出し、その傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出しを制御する。さらに、ビューイングシステムの第２の構成例では、傾き情報に応じて、読み出し画像の回転を制御し、回転後の読み出し画像からBM画像を切り出す。したがって、ビューイングシステムの第２の構成例によれば、車両１０の運転に適切な画像を容易に提供することができる。すなわち、車両１０が左右に段差がある路面に位置している場合に、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像を、容易に提供することができる。
【０１６６】
さらに、ビューイングシステムの第２の構成例では、読み出し制御において、回転後の読み出し画像からBM画像を切り出すことができる最小のサイズの読み出し画像が、イメージセンサ３２から読み出されるので、BM画像のフレームレートが低下するおそれを抑制することができる。
【０１６７】
第２の構成例の車両情報としては、サスペンション情報の例で説明した。ただ、車両情報としては、前述の第1の構成例や、後述の第３の構成例のように、ジャイロ情報、GPS情報と３Dマップ、フロントカメラ画像等を用いてもよい。そして、これらの、ジャイロ情報、GPS情報と３Dマップ、フロントカメラ画像等を用いて、車両の傾きを検出するようにしてもよい。
【０１６８】
＜ビューイングシステムの第３の構成例＞
【０１６９】
図１４は、車両１０に搭載されたビューイングシステムの第３の構成例を示すブロック図である。
【０１７０】
なお、図中、図３又は図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１７１】
図１４において、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有する。さらに、図１４において、カメラユニット１１は、光学系３１、イメージセンサ３２、出力部３３、取得部４１、検出部４２、制御部７１、及び、加工部７２を有する。
【０１７２】
したがって、図１４のビューイングシステムの第３の構成例は、図９のビューイングシステムの第２の構成例と同様に構成される。
【０１７３】
但し、図１４のビューイングシステムの第３の構成例では、取得部４１は、車両情報としての、例えば、サスペンション情報、又は、フロントカメラ画像等を取得し、検出部４２に供給する。
【０１７４】
この場合、検出部４２は、取得部４１からのサスペンション情報又はフロントカメラ画像を用いて、路面の凹凸状況を検出する。さらに、検出部４２は、その路面の凹凸による車両１０のピッチ方向としての前側及び後ろ側への傾き、並びに、ロール方向としての左側及び右側への傾きを検出し、その傾き（の程度）を表す傾き情報を検出（算出）する。そして、検出部４２は、傾き情報を、制御部７１に供給する。
【０１７５】
ここで、ビューイングシステムの第１の構成例では、車両１０のピッチ方向としての前側及び後ろ側の傾きに応じて、イメージセンサ３２からの読み出し画像の読み出しが制御される。ビューイングシステムの第２の構成例では、車両１９のロール方向としての左側及び右側への傾きに応じて、イメージセンサ３２からの読み出し画像の読み出し、及び、加工部７２での読み出し画像の回転が制御される。
【０１７６】
これに対して、ビューイングシステムの第３の構成例では、車両１０のピッチ方向としての前側及び後ろ側の傾き、並びに、ロール方向としての左側及び右側への傾きに応じて、イメージセンサ３２からの読み出し画像の読み出し、及び、加工部７２での読み出し画像の回転が制御される。
【０１７７】
したがって、ビューイングシステムの第３の構成例では、イメージセンサ３２からの読み出し画像の読み出しの制御として、ビューイングシステムの第１の構成例及び第２の構成例で行われるイメージセンサ３２からの読み出し画像の読み出しの制御それぞれを合わせたような制御が行われる。さらに、ビューイングシステムの第３の構成例では、加工部７２での読み出し画像の回転の制御として、ビューイングシステムの第２の構成例で行われる読み出し画像の回転制御と同様の制御が行われる。
【０１７８】
＜制御部７１による傾き情報に応じた読み出し画像の読み出し制御＞
【０１７９】
図１５は、制御部７１による傾き情報に応じた読み出し画像の読み出し制御の例を説明する図である。
図１５(A）は、イメージセンサ３２からの、BM画像より大きいサイズの読み出し画像の読み出しを示す図である。図１５（B）は、加工部７２における読み出し画像の回転及び切り出しを示す図である。
【０１８０】
図６及び図１１で説明したように、制御部７１では、車両１０が平坦な路面に位置している場合に、イメージセンサ３２が撮影する撮影画像（イメージセンサ３２の受光面）から、読み出し画像としてのBM画像と一致するサイズの矩形の領域R101（の画素の画素信号）が読み出されるように、読み出し制御が行われることとする。
【０１８１】
例えば、車両１０が、凹凸がある路面に位置し、車両１０がピッチ方向やロール方向に傾いた場合、制御部７１は、傾き情報に応じて、車両１０のロール方向への傾きの角度に応じた画素数分だけ領域R111より大きいサイズで、車両１０のピッチ方向への傾きの角度に応じた画素数分だけ領域R111から上下方向にずれた領域R121を指定する読み出し位置を算出し、その読み出し位置の画素信号を読み出すように、イメージセンサ３２の読み出し制御を行う。
【０１８２】
さらに、制御部７１では、傾き情報に応じて、例えば、イメージセンサ３２が出力する読み出し画像としての領域R121に写る水平線が水平方向に延びるように写るように、読み出し画像としての領域R121を回転する回転角度が算出され、加工部７２に供給される。
【０１８３】
イメージセンサ３２では、制御部７１からの読み出し制御に従って、矩形の領域R121が、読み出し画像として読み出され、加工部７２に供給される。
【０１８４】
加工部７２では、イメージセンサ３２からの読み出し画像としての領域R121が、制御部７１からの回転角度だけ回転される。そして、加工部７２では、領域R121を回転した回転後の領域R122から、回転角度が0度の、BM画像と同一サイズの領域R123が、BM画像として切り出される。
【０１８５】
図１５では、車両１０がピッチ方向としての後ろ側に傾き、かつ、ロール方向としての右側に傾いており、そのため、イメージセンサ３２からは、領域R101よりサイズが大きい、領域R101から上方にずれた領域R121が、読み出し画像として読み出されている。さらに、車両１０がロール方向としての右側に傾いているため、読み出し画像としての領域R121に写る水平線は右上がりに傾いているので、加工部７２では、その右上がりに傾いた水平線が水平方向に延びるように、読み出し画像としての領域R121が右回りに回転されている。そして、加工部７２では、領域R121を回転した回転後の領域R122から、BM画像としての領域R123が切り出されている。
【０１８６】
以上により、BM画像として、車両１０の運転に適切な画像を容易に得ることができる。すなわち、車両１０のピッチ方向やロール方向の傾きにかかわらず、車両１０が平坦な路面に位置している場合のBM画像と同様の画像表現であるBM画像を、容易に得ることができる。これにより、車両10の傾きによらず水平線が水平となるような画像を表示できるため、後方車両との一時的な傾きの違いに起因する表示画像の違い（水平線位置の違い）を起こすことが無い。運転者は運転中の表示画像の違い（水平線位置の違い）を気にすることなく、車両後方の状況を把握することができる。
【０１８７】
なお、ビューイングシステムの第３の構成例において、検出部４２では、例えば、サスペンション情報から、車両１０のピッチ方向及びロール方向の傾きを検出することができる。
【０１８８】
また、検出部４２では、例えば、フロントカメラ画像から、車両１０の前方の路面の凹凸を認識し、その凹凸の認識結果に応じて、認識した凹凸がある路面を車両１０が通るときの車両１０のピッチ方向及びロール方向の傾きを推定することにより検出することができる。
【０１８９】
＜表示処理＞
【０１９０】
図１６は、図１４のビューイングシステムの第３の構成例が行うBM画像及を表示する表示処理の例を説明するフローチャートである。
【０１９１】
ステップＳ３１において、取得部４１は、車両情報としての、例えば、サスペンション情報又はフロントカメラ画像を取得し、検出部４２に供給して、処理は、ステップＳ３２に進む。
【０１９２】
ステップＳ３２では、検出部４２は、取得部４１からの車両情報を用いて、車両１０が位置する路面の凹凸状況を検出する。さらに、検出部４２は、取得部４１からの車両情報を用いて、路面の凹凸による車両１０の傾きを表す傾き情報（ピッチ方向としての前側及び後ろ側への傾き、並びに、ロール方向としての左側及び右側への傾きを表す傾き情報）を検出（算出）し、制御部７１に供給して、処理は、ステップＳ３２からステップＳ３３に進む。
【０１９３】
ステップＳ３３では、制御部７１は、検出部４２からの傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出し開始位置及び読み出しサイズを算出し、その読み出し開始位置及び読み出しサイズを、読み出し位置として、イメージセンサ３２に供給する。さらに、制御部７１は、検出部４２からの傾き情報に応じて、読み出し画像を回転する回転角度を算出し、加工部７２に供給して、処理は、ステップＳ３３からステップＳ３４に進む。
【０１９４】
ステップＳ３４では、イメージセンサ３２は、制御部７１からの読み出し位置の画素の画素信号を読み出し、その画素信号を画素値とする読み出し画像を取得して出力する。イメージセンサ３２が出力する読み出し画像は、加工部７２に供給され、処理は、ステップＳ３４からステップＳ３５に進む。
【０１９５】
ステップＳ３５では、加工部７２は、イメージセンサ３２からの読み出し画像を、制御部７１からの回転角度だけ回転する。さらに、加工部７２は、回転後の読み出し画像からBM画像を切り出し、出力部３３に供給して、処理は、ステップＳ３５からステップＳ３６に進む。
【０１９６】
ステップＳ３６では、出力部３３は、加工部７２からのBM画像を、BM表示部２１に伝送して表示させる。これにより、BM表示部２１では、BM画像が表示され、表示処理は終了する。
【０１９７】
以上のように、ビューイングシステムの第３の構成例は、ピッチ方向としての前側及び後ろ側への傾き、並びに、ロール方向としての左側及び右側への傾きを表す傾き情報を検出し、その傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出しを制御する。さらに、ビューイングシステムの第３の構成例では、傾き情報に応じて、読み出し画像の回転を制御し、回転後の読み出し画像からBM画像を切り出す。したがって、ビューイングシステムの第３の構成例によれば、車両１０の運転に適切な画像を容易に提供することができる。すなわち、車両１０が凹凸がある路面に位置している場合に、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像を、容易に提供することができる。
【０１９８】
さらに、ビューイングシステムの第３の構成例では、ビューイングシステムの第２の構成例と同様に、読み出し制御において、回転後の読み出し画像からBM画像を切り出すことができる最小のサイズの読み出し画像を、イメージセンサ３２から読み出すことにより、BM画像のフレームレートが低下するおそれを抑制することができる。
【０１９９】
第３の構成例の車両情報としては、サスペンション情報、フロントカメラ画像の例で説明した。ただ、車両情報としては、前述の第1の構成例や、第２の構成例のように、ジャイロ情報、GPS情報と３Dマップ、等を用いてもよい。そして、これらの、ジャイロ情報、GPS情報と３Dマップ等を用いて、車両の傾きを検出するようにしてもよい。
【０２００】
なお、本技術は、車両１０が位置する路面の状況によって、車両１０が傾く場合の他、車両１０に積載する荷物や、車両１０の搭乗者の状態等によって、車両１０が傾く場合にも適用することができる。すなわち、本技術は、車両１０が傾く原因に関係なく適用することができる。
【０２０１】
＜ビューイングシステムの第４の構成例＞
【０２０２】
図１７は、車両１０に搭載されたビューイングシステムの第４の構成例を示すブロック図である。
【０２０３】
ビューイングシステムは、図１及び図２で説明したカメラユニット１１、BM表示部２１、及び、RV表示部２２を有する。
【０２０４】
カメラユニット１１は、光学系３１、イメージセンサ３２、データ量調整部１３３、出力部１３４、取得部１３５、及び、制御部１３６を有する。
【０２０５】
光学系３１は、集光レンズや絞り等の光学部品で構成され、光学系３１に入射する光を、イメージセンサ３２に集光させる。
【０２０６】
イメージセンサ３２は、光学系３１からの光を受光し、光電変換を行うことで、撮影画像を撮影する。そして、イメージセンサ３２は、制御部１３６の制御に従い、撮影画像から、BM画像及びRV画像を抽出して出力する。イメージセンサ３２が出力するBM画像及びRV画像は、データ量調整部１３３に供給される。
【０２０７】
データ量調整部１３３は、制御部１３６の制御に従い、イメージセンサ３２が出力するBM画像及びRV画像のデータ量を調整し、データ量が調整された後のBM画像及びRV画像を、出力部１３４に供給する。
【０２０８】
出力部１３４は、データ量調整部１３３からのBM画像及びRV画像を、カメラユニット１１の外部に伝送する出力IF(Interface)であり、BM画像を、BM表示部２１に伝送するとともに、RV画像を、RV表示部２２に伝送する。BM表示部２１では、出力部１３４からのBM画像が、BM表示部２１の仕様に従って表示され、RV表示部２２では、出力部１３４からのRV画像が、RV表示部２２の仕様に従って表示される。出力部１３４は、BM画像及びRV画像のフォーマット変換その他の画像処理を、必要に応じて行うことができる。
【０２０９】
取得部１３５は、車両情報を、車両１０から取得し、制御部１３６に供給する。
【０２１０】
取得部１３５が取得する車両情報としては、例えば、走行情報や、BM表示部２１及びRV表示部２２の仕様、車両１０の運転者の視線及び頭部の位置、ジャイロ情報等がある。
【０２１１】
走行情報は、車両１０の走行状態を表す情報であり、具体的には、車速や、走行方向（前進又は後進）を表す。車速は、例えば、車両１０が速度センサを搭載している場合には、その速度センサの出力から取得することができる。走行方向は、例えば、トランスミッションの状態から取得することができる。
【０２１２】
BM表示部２１及びRV表示部２２の仕様とは、例えば、BM表示部２１及びRV表示部２２の解像度等であり、BM表示部２１及びRV表示部２２から取得することができる。
【０２１３】
車両１０の運転者の視線及び頭部の位置は、車内カメラ２３で撮影された画像から求めることができる。
【０２１４】
ジャイロ情報とは、車両１０の姿勢（／車両の傾きの角度）を表す情報である。ジャイロ情報は、車両１０がジャイロセンサを搭載している場合には、そのジャイロセンサの出力から求めることができる。ジャイロ情報によれば、車両１０が坂道に位置しているかどうかを認識することができる。
【０２１５】
制御部１３６は、取得部１３５から供給される車両情報に応じて、イメージセンサ３２やデータ量調整部１３３を制御する。
【０２１６】
すなわち、制御部１３６は、車両情報に応じて、例えば、制御部４３と同様の読み出し制御を行うことで、イメージセンサ３２での撮影画像からのBM画像及びRV画像の抽出を制御する抽出制御を行う。BM画像及びRV画像の読出し範囲の一例としては、図４にて図示される範囲である。また、制御部１３６は、車両情報に応じて、データ量調整部１３３でのBM画像及びRV画像のデータ量の調整を制御する調整制御を行う。
【０２１７】
したがって、イメージセンサ３２は、車両情報に応じて、撮影画像から、BM画像及びRV画像を抽出し、データ量調整部１３３は、車両情報に応じて、BM画像及びRV画像のデータ量を調整する、ということができる。
【０２１８】
＜イメージセンサ３２から出力することができる画像＞
【０２１９】
図１８は、イメージセンサ３２から出力することができる画像の例を説明する図である。
【０２２０】
いま、イメージセンサ３２が出力可能な最高解像度の撮影画像を、最高解像度画像ということとする。イメージセンサ３２は、例えば、解像度（画素数）Rmaxの最高解像度画像を、60fps(frame per second)（のフレームレート）以上で出力することができる性能を有することとする。
【０２２１】
ここでは、最高解像度画像から抽出される最高解像度（画素数）のBM画像の解像度RBMが、最高解像度画像の解像度Rmaxの1/2以下であることとする。また、最高解像度画像から抽出される最高解像度のRV画像の解像度RRVが、BM画像の解像度RBM以下であることとする。
【０２２２】
本実施の形態では、例えば、BM画像の解像度RBMとRV画像の解像度RRVとの加算値RBM+RRVとが、最高解像度画像の解像度Rmaxの1/2以下であるとする。この場合、解像度Rmaxで、60fps（以上）の最高解像度画像を出力可能なイメージセンサ３２を用いると、最高解像度画像の一部の部分読み出しにより得られる解像度RBMのBM画像と、解像度RRVのRV画像との両方の画像を、120fpsで出力することができる。
【０２２３】
＜車両１０でデータ伝送に使用することができる車両伝送帯域の例＞
【０２２４】
図１９は、車両１０でデータ伝送に使用することができる車両伝送帯域の例を説明する図である。
【０２２５】
すなわち、図１９は、カメラユニット１１がデータ量調整部１３３でのデータ量の調整なしで出力することができるBM画像及びRV画像の例を示している。
【０２２６】
カメラユニット１１は、BM画像として、例えば、解像度RBMで、YUVが4:2:2フォーマットの、1画素のビット数が（輝度及び色差のそれぞれについて）8ビットのカラー画像を出力することができる。また、カメラユニット１１は、RV画像として、例えば、解像度RRVで、YUVが4:2:2フォーマットの、1画素のビット数が8ビットのカラー画像を出力することができる。
【０２２７】
解像度RBMで、YUVが4:2:2フォーマットの、1画素のビット数が8ビットのBM画像を、最高画質のBM画像と呼び、解像度RRVで、YUVが4:2:2フォーマットの、1画素のビット数が8ビットのRV画像を、最高画質のRV画像と呼ぶこととする。
【０２２８】
本実施の形態では、カメラユニット１１からデータが伝送される帯域である車両伝送帯域は、例えば、60fpsの最高画質のBM画像を２画面分だけ（リアルタイムで）伝送することができる伝送帯域になっていることとする。本実施の形態では、RBM>=RRVであるので、60fpsの最高画質のBM画像を２画面分だけ伝送することができる車両伝送帯域によれば、例えば、60fpsの最高画質のRV画像を２画面分を伝送することができる。また、車両伝送帯域によれば、例えば、60fpsの最高画質のBM画像を１画面分と、60fpsの最高画質のRV画像を１画面分との合計で２画面分とを伝送することができる。
【０２２９】
図１８及び図１９で説明したことから、カメラユニット１１は、最高画質のBM画像及びRV画像の両方を、最大120fpsで出力することができる。
【０２３０】
しかしながら、本実施の形態では、車両伝送帯域は、60fpsで、最高画質のBM画像（又はRV画像）の２画面分しか伝送することができない。
【０２３１】
車両伝送帯域を大きくすることにより、カメラユニット１１が出力可能な、120fpsで、最高画質のBM画像及びRV画像の両方を伝送することができるが、車両伝送帯域を大きくすると、ビューイングシステムが高コスト化する。
【０２３２】
本技術では、ビューイングシステムが高コスト化することを抑制するため、カメラユニット１１は、BM画像やRV画像のデータ量を適切に調整し、車両伝送帯域内で、BM画像やRV画像を伝送する。
【０２３３】
＜車両伝送帯域が、60fpsで、最高画質のBM画像の２画面分が伝送可能である場合のBM画像及びRV画像のデータ量の調整制御＞
【０２３４】
図２０は、制御部１３６によるBM画像及びRV画像のデータ量の調整制御の第１の例を説明する図である。
【０２３５】
図２０のＡは、車両１０が前進している場合、あるいは、速度の第１の閾値以上の速度である高速で後進している場合の調整制御を示している。
【０２３６】
この場合、制御部１３６は、解像度RBMで、120fpsのBM画像が出力され、かつ、RV画像の出力が制限されるように、データ量調整部１３３の制御としての調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMで、120fpsのBM画像を出力するとともに、RV画像の出力を制限する。
【０２３７】
したがって、この場合、カメラユニット１１からは、解像度RBMで、120fpsのBM画像が出力され、RV画像は出力されない。その結果、BM表示部２１では、解像度RBMで、120fpsのBM画像が表示され、RV表示部２２では、RV画像は表示されない。
【０２３８】
以上から、車両１０が前進している場合、あるいは、高速で後進している場合には、運転者は、解像度RBMで、120fpsのBM画像、すなわち、高解像度で、高フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。
【０２３９】
なお、車両１０が前進している場合、あるいは、高速で後退している場合には、車両１０の後部の直後の画像を含むRV画像は、表示しない。
【０２４０】
また、カメラユニット１１が出力する解像度RBMで、120fpsのBM画像は、60fpsの最高画質（解像度RBM）のBM画像を２画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
【０２４１】
ここで、データ量調整部１３３において、画像のデータ量を調整するデータ量調整方法としては、上述のように、画像の出力を制限する（画像を出力しない）方法の他、例えば、解像度（画素数）を小さくする方法や、階調（１画素のビット数）を小さくする方法、フレームレートを小さく方法、所定の圧縮符号化方式で圧縮する方法等がある。
【０２４２】
データ量調整方法の中で、画像の出力の制限、解像度を小さくすること、階調を小さくすること、フレームレートを小さくすることは、データ量調整部１３３に行わせる他、制御部１３６において、イメージセンサ３２の抽出制御等の制御を行うことにより、イメージセンサ３２に行わせることができる。
【０２４３】
すなわち、画像の出力の制限、例えば、RV画像の出力の制限は、制御部１３６において、撮影画像からのRV画像の抽出を制限するように、イメージセンサ３２からのデータの読み出しを制御し、画素５１（図７）からの、RV画像となる画素信号の読み出しを行わないことにより行うことができる。制御部１３６は、車両１０が前進している場合、あるいは、高速で後進している場合、車両情報に応じて、撮影画像からのRV画像の抽出を制限するように、イメージセンサ３２の抽出制御を行うことができる。もちろん、イメージセンサ３２で制限せずに、データ量調整部１３３においてRV画像の出力の制限を行っても良い。
【０２４４】
画像の解像度を小さくすることは、制御部１３６において、例えば、画素信号を読み出す画素５１を間引くように、又は、いわゆるSF(Source Follower)加算やFD(Floating Diffusion)加算等により、複数の画素５１の画素信号を加算するビニング(Binning)を行うように、イメージセンサ３２を制御することにより行うことができる。
【０２４５】
階調を小さくすることは、制御部１３６において、例えば、AD変換器５５（図７）のAD変換のビット数を小さくするように、イメージセンサ３２を制御することにより行うことができる。
【０２４６】
フレームレートを小さくすることは、制御部１３６において、例えば、画素５１から画素信号を読み出すレートや、AD変換器５５でAD変換を行うレートを小さくするように、イメージセンサ３２を制御することにより行うことができる。
【０２４７】
図２０のＢは、車両１０が、第１の閾値より小さい第２の閾値以上かつ第１の閾値未満の速度である中速で後進している場合の調整制御を示している。
【０２４８】
この場合、制御部１３６は、解像度RBM未満の解像度RBMMで、120fpsのBM画像が出力され、かつ、解像度RRV未満の解像度RRVMで、30fpsのRV画像が出力されるように、データ量調整部１３３の制御としての調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMMで、120fpsのBM画像を出力するとともに、解像度RRVMで、30fpsのRV画像を出力する。
【０２４９】
したがって、この場合、カメラユニット１１からは、解像度RBMMで、120fpsのBM画像と、解像度RRVMで、30fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMMで、120fpsのBM画像が表示され、RV表示部２２では、解像度RRVMで、30fpsのRV画像が表示される。
【０２５０】
以上から、車両１０が、中速で後進している場合には、運転者は、解像度RBMMで、120fpsのBM画像、すなわち、中解像度で、高フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVMで、30fpsのRV画像、すなわち、中解像度で、低フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
【０２５１】
なお、解像度RRVMで、30fpsのRV画像の伝送に必要な伝送帯域が、最大伝送レート（ここでは解像度RBMのBM画像を圧縮せずに120fpsで伝送する場合に必要になる伝送レート）と解像度RBMMを120fpsで伝送する場合に必要となる伝送レート（第1の伝送レート）の差の伝送帯域以下であることとする。この場合、カメラユニット１１が出力する解像度RBMMで、120fpsのBM画像、及び、解像度RRVMで、30fpsのRV画像の両方の画像は、60fpsの最高画質のBM画像を２画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
【０２５２】
ここで、解像度RRVMで、30fpsのRV画像の伝送に必要な伝送帯域が、最大伝送レートと第1の伝送レートの差の伝送帯域以下ではない場合、データ量調整部１３３では、BM画像及びRV画像の一方又は両方を、解像度RRVMで、30fpsのRV画像の伝送に必要な伝送帯域が、最大伝送レートと第1の伝送レートの差の伝送帯域以下となるように（解像度RRVMのRV画像が伝送できる程度になるように）圧縮（符号化）することができる。例えば、解像度RBMMで、120fpsのBM画像については、その一部又は全部を圧縮（符号化）することにより、データ量を少なくすることができる。解像度RRVMで、30fpsのRV画像については、カラー画像のまま、又は、白黒画像に変換し、圧縮符号化することにより、データ量を少なくすることができる。
【０２５３】
図２０のＣは、車両１０が、第１の閾値より小さい第２の閾値未満の速度である低速で後進している場合の調整制御を示している。
【０２５４】
この場合、制御部１３６は、解像度RBMで、60fpsのBM画像が出力され、かつ、解像度RRVで、60fpsのRV画像が出力されるように、データ量調整部１３３の制御としての調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMで、60fpsのBM画像を出力するとともに、解像度RRVで、60fpsのRV画像を出力する。
【０２５５】
したがって、この場合、カメラユニット１１からは、解像度RBMで、60fpsのBM画像と、解像度RRVで、60fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMで、60fpsのBM画像が表示され、RV表示部２２では、解像度RRVで、60fpsのRV画像が表示される。
【０２５６】
以上から、車両１０が、低速で後進している場合には、運転者は、解像度RBMで、60fpsのBM画像、すなわち、高解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVで、60fpsのRV画像、すなわち、高解像度で、中フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
【０２５７】
車両１０が、低速で後進している場合とは、例えば、車両１０を駐車しようとしている場合等であり、運転者から死角となる車両１０の後部の直後の確認が重要である。そのため、車両１０が、低速で後進している場合には、RV画像は、車両１０が高速や中速で後進している場合よりも高解像度かつ高フレームレートで表示される。これにより、死角となる領域の確認と、死角の状況に応じた車両制御が行い易くなる。
【０２５８】
なお、カメラユニット１１が出力する解像度RBMで、60fpsのBM画像、及び、解像度RRVで、60fpsのRV画像の両方の画像は、60fpsの最高画質のBM画像を２画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
【０２５９】
＜車両伝送帯域が、60fpsで、最高画質のBM画像の１画面分が伝送可能である場合のBM画像及びRV画像のデータ量の調整制御＞
【０２６０】
図２１は、制御部１３６によるBM画像及びRV画像のデータ量の調整制御の第２の例を説明する図である。
【０２６１】
ここで、BM画像及びRV画像のデータ量の調整制御の第２の例では、車両伝送帯域が、例えば、60fps（以上）の最高画質（解像度RBM）のBM画像を１画面分だけ伝送することができる伝送帯域になっていることとする。
【０２６２】
図２１のＡは、車両１０が前進している場合、あるいは、速度の第１の閾値以上の速度である高速で後進している場合の調整制御を示している。
【０２６３】
この場合、制御部１３６は、解像度RBMで、60fps（以上）のBM画像が出力され、かつ、RV画像の出力が制限されるように、データ量調整部１３３の制御としての調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMで、60fpsのBM画像を出力するとともに、RV画像の出力を制限する。
【０２６４】
したがって、この場合、カメラユニット１１からは、解像度RBMで、60fpsのBM画像が出力され、RV画像は出力されない。その結果、BM表示部２１では、解像度RBMで、60fpsのBM画像が表示され、RV表示部２２では、RV画像は表示されない。
【０２６５】
以上から、車両１０が前進している場合、あるいは、高速で後進している場合には、運転者は、解像度RBMで、60fpsのBM画像、すなわち、高解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。
【０２６６】
なお、車両１０が前進している場合、あるいは、高速で後進している場合には、図２０のＡで説明したように、車両１０の後部の直後の画像を含むRV画像は、表示しない。
【０２６７】
また、カメラユニット１１が出力する解像度RBMで、60fpsのBM画像は、60fpsの最高画質（解像度RBM）のBM画像を１画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
【０２６８】
図２１のＢは、車両１０が、第１の閾値より小さい第２の閾値以上かつ第１の閾値未満の速度である中速で後進している場合の調整制御を示している。
【０２６９】
この場合、制御部１３６は、解像度RBM未満の解像度RBMMで、60fpsのBM画像が出力され、かつ、解像度RRV未満の解像度RRVMで、30fpsのRV画像が出力されるように、データ量調整部１３３の制御としての調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMMで、60fpsのBM画像を出力するとともに、解像度RRVMで、30fpsのRV画像を出力する。
【０２７０】
したがって、この場合、カメラユニット１１からは、解像度RBMMで、60fpsのBM画像と、解像度RRVMで、30fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMMで、60fpsのBM画像が表示され、RV表示部２２では、解像度RRVMで、30fpsのRV画像が表示される。
【０２７１】
以上から、車両１０が、中速で後進している場合には、運転者は、解像度RBMMで、60fpsのBM画像、すなわち、中解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVMで、30fpsのRV画像、すなわち、中解像度で、低フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
【０２７２】
なお、カメラユニット１１が出力する解像度RBMMで、60fpsのBM画像、及び、解像度RRVMで、30fpsのRV画像の両方の画像の伝送に必要な伝送帯域（以下、必要伝送帯域ともいう）が、60fpsの最高画質のBM画像を１画面分だけ伝送することができる車両伝送帯域に収まらない場合には、必要伝送帯域が車両伝送帯域に収まるように、BM画像を、中速用の第１の圧縮率で圧縮することや、RV画像を、カラー画像のまま、又は、白黒画像に変換して、中速用の第１の圧縮率より高圧縮の中速用の第２の圧縮率で圧縮することができる。
【０２７３】
図２１のＣは、車両１０が、第１の閾値より小さい第２の閾値未満の速度である低速で後進している場合の調整制御を示している。
【０２７４】
この場合、制御部１３６は、解像度RBMM未満の解像度RBMLで、60fpsのBM画像が出力され、かつ、解像度RRVMで、30fpsのRV画像が出力されるように、データ量調整部１３３の制御としての調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMLで、60fpsのBM画像を出力するとともに、解像度RRVMで、30fpsのRV画像を出力する。
【０２７５】
したがって、この場合、カメラユニット１１からは、解像度RBMLで、60fpsのBM画像と、解像度RRVで、30fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMLで、60fpsのBM画像が表示され、RV表示部２２では、解像度RRVMで、30fpsのRV画像が表示される。
【０２７６】
以上から、車両１０が、低速で後進している場合には、運転者は、解像度RBMLで、60fpsのBM画像、すなわち、低解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVMで、30fpsのRV画像、すなわち、中解像度で、低フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
【０２７７】
なお、カメラユニット１１が出力する解像度RBMLで、60fpsのBM画像、及び、解像度RRVMで、30fpsのRV画像の両方の画像の伝送に必要な必要伝送帯域が、60fpsの最高画質のBM画像を１画面分だけ伝送することができる車両伝送帯域に収まらない場合には、必要伝送帯域が車両伝送帯域に収まるように、BM画像を、低速用の第１の圧縮率で圧縮することや、RV画像を、（カラー画像のまま）低速用の第１の圧縮率より高圧縮の低速用の第２の圧縮率で圧縮することができる。
【０２７８】
ここで、低速用の第１の圧縮率としては、中速用の第１の圧縮率よりも高圧縮の圧縮率を採用することができる。中速用の第２の圧縮率、及び、低速用の第２の圧縮率としては、同一の圧縮率を採用することができる。この場合、低速用の第１の圧縮率及び第２の圧縮率、並びに、中速の第１の圧縮率及び第２の圧縮率の関係は、低速用の第２の圧縮率＝中速用の第２の圧縮率＞低速用の第１の圧縮率＞中速用の第１の圧縮となる。但し、ここでは、圧縮率の値が大きいほど、高圧縮であるとする。低速用の第１の圧縮率及び第２の圧縮率、並びに、中速の第１の圧縮率及び第２の圧縮率それぞれでの圧縮後のデータ量の関係は、低速用の第２の圧縮率による圧縮後のデータ量＝中速用の第２の圧縮率による圧縮後のデータ量＜低速用の第１の圧縮率による圧縮後のデータ量＜中速用の第１の圧縮による圧縮後のデータ量となる。
【０２７９】
以上、車両１０の車速及び走行方向（前進、後進）に応じて、BM画像及びRV画像のデータ量を調整する調整制御について説明した。調整制御の方法は、図２０及び図２１で説明した方法に限定されるものではない。すなわち、調整制御の方法は、車両伝送帯域や、イメージセンサ３２の性能、BM表示部２１及びRV表示部２２の仕様等に応じて、適宜設定することができる。データ量は表示されるBM画像の画質やRV画像の画質と関係しているため、車両１０の車速及び走行方向（前進、後進）に応じて、BM画像及びRV画像の画質を変えていると言える。
【０２８０】
また、調整制御において、BM画像及びRV画像の解像度を小さくすることは、BM画像及びRV画像を構成する画素数を少なくすることにより行うこともできるし、BM画像及びRV画像の（不可逆な）圧縮を、画素数を変化させずに行うことにより行うこともできる。
【０２８１】
BM画像及びRV画像を圧縮することにより、BM画像及びRV画像の解像度を小さくする場合、BM画像及びRV画像を圧縮する圧縮率としては、圧縮及び伸張により得られる、高周波成分等の一部の周波数成分が失われたBM画像及びRV画像の実質的な解像度（画像が有する最高の周波数成分）が、図２０や図２１で説明した解像度（画素数）と等価になるような圧縮率を採用することができる。
【０２８２】
＜表示処理＞
【０２８３】
図２２は、図１７のビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。
【０２８４】
ステップＳ１１１において、イメージセンサ３２は、撮影画像を撮影し、処理は、ステップＳ１１２に進む。
【０２８５】
ステップＳ１１２では、取得部１３５は、車両１０から車両情報を取得し、制御部１３６に供給して、処理は、ステップＳ１１３に進む。
【０２８６】
ステップＳ１１３では、制御部１３６は、取得部１３５からの車両情報に応じて、イメージセンサ３２の抽出制御を行う。イメージセンサ３２は、制御部１３６の抽出制御に従い、撮影画像から、BM画像及びRV画像を抽出する。そして、イメージセンサ３２は、BM画像及びRV画像を、データ量調整部１３３に供給して、処理は、ステップＳ１１３からステップＳ１１４に進む。
【０２８７】
ステップＳ１１４では、制御部１３６は、取得部１３５からの車両情報に応じて、データ量調整部１３３の調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整する。そして、データ量調整部１３３は、データ量が調整されたBM画像及びRV画像を、出力部１３４に供給して、処理は、ステップＳ１１４からステップＳ１１５に進む。
【０２８８】
ステップＳ１１５において、出力部１３４は、データ量調整部１３３からのデータ量が調整されたBM画像及びRV画像を、カメラユニット１１の外部に出力し、BM画像を、BM表示部２１に伝送するとともに、RV画像を、RV表示部２２に伝送して、処理は、ステップＳ１１６に進む。
【０２８９】
ステップＳ１１６では、BM表示部２１は、出力部１３４からのBM画像を、BM表示部２１の仕様に従って表示するとともに、RV表示部２２は、出力部１３４からのRV画像を、RV表示部２２の仕様に従って表示する。
【０２９０】
＜ビューイングシステムの第５の構成例＞
【０２９１】
図２３は、車両１０に搭載されたビューイングシステムの第５の構成例を示すブロック図である。
【０２９２】
なお、図中、図１７の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２９３】
図２３において、ビューイングシステムは、カメラユニット１１、BM表示部２１、RV表示部２２、及び、抽出部１８２を有し、カメラユニット１１は、光学系３１、イメージセンサ３２、データ量調整部１３３、出力部１３４、取得部１３５、及び、制御部１８１を有する。
【０２９４】
したがって、図２３のビューイングシステムは、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有し、カメラユニット１１が、光学系３１ないし取得部１３５を有する点で、図１７の場合と共通する。
【０２９５】
但し、図２３のビューイングシステムは、抽出部１８２が新たに設けられている点、及び、カメラユニット１１において、制御部１３６に代えて、制御部１８１が設けられている点で、図１７の場合と相違する。
【０２９６】
なお、図２３では、抽出部１８２は、カメラユニット１１の外部に設けられているが、カメラユニット１１の内部に設けることができる。
【０２９７】
制御部１８１には、取得部１３５から、車両情報が供給される。車両情報としては、例えば、走行情報や、BM表示部２１及びRV表示部２２の仕様、ジャイロ情報等がある。但し、この例では、取得部１３５から供給される車両情報には、運転者の視線及び頭部の位置は、含まれない。なお、車両１０の運転者の視線及び頭部の位置は、車両情報の一部として抽出部１８２に入力される。
【０２９８】
制御部１８１は、制御部１３６と同様に、取得部１３５からの車両情報に応じて、イメージセンサ３２の抽出制御、及び、データ量調整部１３３の調整制御を行う。
【０２９９】
但し、制御部１８１は、抽出制御において、運転者の視線及び頭部の位置のうちの一方又は両方に応じて、BM画像として抽出する領域R11（の位置）を制御する代わりに、領域R11よりサイズが大きい領域を、BM画像として抽出させる。
【０３００】
したがって、図２３において、出力部１３４が出力するBM画像のサイズは、図１７及び図１２において、出力部１３４が出力するBM画像のサイズよりも大きい。
【０３０１】
図２３において、出力部１３４が出力する領域R11より大きいサイズのBM画像は、抽出部１８２に供給される。
【０３０２】
抽出部１８２には、出力部１３４から領域R11より大きいサイズのBM画像が供給される他、車両情報のうちの、運転者の視線及び頭部の位置が供給される。
【０３０３】
抽出部１８２は、運転者の視線及び頭部の位置のうちの一方又は両方に応じて、出力部１３４からの領域R11より大きいサイズのBM画像の一部の領域、すなわち、領域R11と同一サイズの領域を、BM表示部２１に表示させる最終的なBM画像として抽出し、BM表示部２１に供給する。
【０３０４】
＜撮影画像からのBM画像及びRV画像の抽出制御＞
【０３０５】
図２４は、制御部１８１による、撮影画像からのBM画像及びRV画像の抽出制御の例を説明する図である。
【０３０６】
図２４は、図４と同様に、光学系３１のイメージサークルと、イメージセンサ３２が撮影する撮影画像（イメージセンサ３２の受光面）とを示している。
【０３０７】
制御部１８１は、抽出制御において、制御部１３６と同様に、領域R12を、RV画像として抽出するように、イメージセンサ３２からのデータの読み出しを制御する。
【０３０８】
また、制御部１８１は、抽出制御において、撮像画像から、領域R11ではなく、領域R11のサイズよりも大きいサイズの領域R31を、BM画像として抽出するように、イメージセンサ３２からのデータの読み出しを制御する。
【０３０９】
領域R31は、仮に、車両１０に、室内バックミラーが設置されていたならば、運転者が視線や頭部を移動することにより、室内バックミラーによって運転者が見ることができる最大の範囲を包含する領域である。領域R11は、運転者の視線や頭部の位置に応じて位置が変更される可変の領域であるが、領域R31は、固定の領域である。
【０３１０】
抽出部１８２では、以上のような領域R31から、運転者の視線及び頭部の位置のうちの一方又は両方に応じた位置の領域であって、領域R11と同一サイズの領域が、BM表示部２１に表示させる最終的なBM画像として抽出される。すなわち、抽出部１８２では、領域R31から、車両１０に室内バックミラーが設置されていたならば、運転者が、その室内バックミラーによって観察するであろう領域R11が、BM画像として抽出される。
【０３１１】
＜表示処理＞
【０３１２】
図２５は、図２３のビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。
【０３１３】
ステップＳ１２１において、イメージセンサ３２は、撮影画像を撮影し、処理は、ステップＳ１２２に進む。
【０３１４】
ステップＳ１２２では、取得部１３５は、車両１０から車両情報を取得し、制御部１３６に供給して、処理は、ステップＳ１２３に進む。
【０３１５】
ステップＳ１２３では、制御部１３６は、イメージセンサ３２の抽出制御を行う。イメージセンサ３２は、制御部１３６の抽出制御に従い、図２４で説明したように、撮影画像から、領域R31及びR12を、BM画像及びRV画像としてそれぞれ抽出する。そして、イメージセンサ３２は、BM画像及びRV画像を、データ量調整部１３３に供給して、処理は、ステップＳ１２３からステップＳ１２４に進む。
【０３１６】
ステップＳ１２４では、制御部１３６は、取得部１３５からの車両情報に応じて、データ量調整部１３３の調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整する。そして、データ量調整部１３３は、データ量が調整されたBM画像及びRV画像を、出力部１３４に供給して、処理は、ステップＳ１２４からステップＳ１２５に進む。
【０３１７】
ステップＳ１２５において、出力部１３４は、データ量調整部１３３からのデータ量が調整されたBM画像及びRV画像を、カメラユニット１１の外部に出力して、処理は、ステップＳ１２６に進む。これにより、図２３では、BM画像は、抽出部１８２に供給され、RV画像は、RV表示部２２に伝送される。
【０３１８】
ステップＳ１２６では、抽出部１８２は、車両１０から、車両情報に含まれる運転者の視線及び頭部の位置を取得し、処理は、ステップＳ１２７に進む。
【０３１９】
ステップＳ１２７では、抽出部１８２は、出力部１３４からのBM画像から、運転者の視線及び頭部の位置に応じた位置の、領域R11と同一サイズの領域を、BM表示部２１に表示させる最終的なBM画像として抽出する。そして、抽出部１８２は、最終的なBM画像を、BM表示部２１に伝送して、処理は、ステップＳ１２７からステップＳ１２８に進む。
【０３２０】
ステップＳ１２８では、BM表示部２１は、抽出部１８２からのBM画像を、BM表示部２１の仕様に従って表示するとともに、RV表示部２２は、出力部１３４からのRV画像を、RV表示部２２の仕様に従って表示する。
【０３２１】
＜本技術を適用したコンピュータの説明＞
【０３２２】
次に、上述した一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０３２３】
図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０３２４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
【０３２５】
あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０３２６】
なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０３２７】
コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
【０３２８】
CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
【０３２９】
これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
【０３３０】
なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０３３１】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０３３２】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０３３３】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０３３４】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３３５】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３３６】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３３７】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３３８】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０３３９】
なお、本技術は、以下の構成をとることができる。
【０３４０】
＜１＞
車両の表示部に表示される画像を撮影するイメージセンサと、
前記車両で取得される車両情報に基づいて、前記イメージセンサからの画像の読み出しを制御する制御部と
を備える撮影装置。
＜２＞
前記車両情報を用いて、前記車両の傾き情報を検出する検出部をさらに備え、
前記制御部は前記傾き情報に応じて、イメージセンサからの画像の読出しを制御する
＜１＞に記載の撮影装置。
＜３＞
前記検出部は、前記車両の前側及び後ろ側への傾きを表す前記傾き情報を検出する
＜２＞に記載の撮影装置。
＜４＞
前記検出部は、前記車両の左側及び右側への傾きを表す前記傾き情報を検出する
＜２＞に記載の撮影装置。
＜５＞
前記検出部は、前記車両の前側及び後ろ側への傾きと、前記車両の左側及び右側への傾きとを表す前記傾き情報を検出する
＜２＞に記載の撮影装置。
＜６＞
前記制御部は、前記イメージセンサにおいて画像が読み出される読み出し位置を制御する
＜１＞ないし＜５＞のいずれかに記載の撮影装置。
＜７＞
前記読み出し位置は、前記イメージセンサにおいて画像の読み出しが開始される読み出し開始位置と、前記イメージセンサにおいて読み出される画像のサイズとで指定される
＜６＞に記載の撮影装置。
＜８＞
前記制御部は、前記表示部に表示される画像に写る路面の比率が所定の比率に維持されるように、前記イメージセンサからの画像の読み出しを制御する
＜１＞ないし＜７＞のいずれかに記載の撮影装置。
＜９＞
前記イメージセンサから読み出された画像の回転、及び、回転後の画像からの、前記表示部に表示する画像の切り出しを行う加工部をさらに備える
＜１＞ないし＜８＞のいずれかに記載の撮影装置。
＜１０＞
前記制御部は、前記画像の回転を制御する
＜９＞に記載の撮影装置。
＜１１＞
前記制御部は、前記車両の傾き情報に応じて、前記画像の回転の回転角度を算出し、その回転角度だけ、前記画像を回転させるように、前記画像の回転を制御する
＜１０＞に記載の撮影装置。
＜１２＞
前記車両情報は、前記車両が有するジャイロから得られるジャイロ情報、前記車両のサスペンションに関するサスペンション情報、前記車両の前方を撮影するフロントカメラから得られるフロントカメラ画像、及び、GPSから得られるGPS情報のうちの１以上である
＜１＞ないし＜１１＞のいずれかに記載の撮影装置。
＜１３＞
前記表示部は、クラスIミラーの代替となる表示部である
＜１＞ないし＜１２＞のいずれかに記載の撮影装置。
＜１４＞
車両で取得される車両情報に基づいて、前記車両の表示部に表示される画像を撮影するイメージセンサからの画像の読み出しを制御する制御ステップを備える
制御方法。
＜１５＞
車両で取得される車両情報に基づいて、前記車両の表示部に表示される画像を撮影するイメージセンサからの画像の読み出しを制御する制御部
として、コンピュータを機能させるためのプログラム。
＜１６＞
前記車両情報を用いて、前記車両の傾き情報を検出する検出ステップをさらに備え、
前記イメージセンサからの画像の読出しの制御は前記傾き情報に応じてなされる
ことを特徴とする＜１４＞に記載の制御方法。
＜１７＞
前記車両情報を用いて、前記車両の傾き情報を検出する検出部として、さらにコンピュータを機能させるプログラムであり、
前記イメージセンサからの画像の読出しの制御は前記傾き情報に応じてなされる
ことを特徴とする＜１５＞に記載のプログラム。
＜１８＞
前記車両情報は、車両の速度情報とギア情報の少なくとも一つを含む
＜１＞ないし＜１３＞のいずれかに記載の撮影装置。
＜１９＞
前記車両情報は、車両の速度情報とギア情報の少なくとも一つを含む
＜１４＞又は＜１６＞に記載の制御方法。
＜２０＞
前記車両情報は、車両の速度情報とギア情報の少なくとも一つを含む
＜１５＞又は＜１７＞に記載のプログラム。
【符号の説明】
【０３４１】
１０  車両，  １１  カメラユニット，  ２１  BM表示部，  ２２  RV表示部，  ２３  車内カメラ，  ３１  光学系，  ３２  イメージセンサ，  ３３  出力部，  ４１  取得部，  ４２  検出部，  ４３  制御部，  ５１  画素アレイ，  ５２  入力回路，  ５３  行選択回路，  ５４  列選択回路，  ５５  AD変換器，  ５６  ラインバッファ，  ５７  出力回路，  ６１  画素，  ７１  制御部，  ７２  加工部，  １３３  データ量調整部，  １３４  出力部，  １３５  取得部，  １３６  制御部，  １８１  制御部，  １８２  抽出部，  ９０１  バス，  ９０２  CPU，  ９０３  ROM，  ９０４  RAM，  ９０５  ハードディスク，  ９０６  出力部，  ９０７  入力部，  ９０８  通信部，  ９０９  ドライブ，  ９１０  入出力インタフェース，  ９１１  リムーバブル記録媒体
【図１】
2020090512.tif 000003
【図２】
2020090512.tif 000004
【図３】
2020090512.tif 000005
【図４】
2020090512.tif 000006
【図５】
2020090512.tif 000007
【図６】
2020090512.tif 000008
【図７】
2020090512.tif 000009
【図８】
2020090512.tif 000010
【図９】
2020090512.tif 000011
【図１０】
2020090512.tif 000012
【図１１】
2020090512.tif 000013
【図１２】
2020090512.tif 000014
【図１３】
2020090512.tif 000015
【図１４】
2020090512.tif 000016
【図１５】
2020090512.tif 000017
【図１６】
2020090512.tif 000018
【図１７】
2020090512.tif 000019
【図１８】
2020090512.tif 000020
【図１９】
2020090512.tif 000021
【図２０】
2020090512.tif 000022
【図２１】
2020090512.tif 000023
【図２２】
2020090512.tif 000024
【図２３】
2020090512.tif 000025
【図２４】
2020090512.tif 000026
【図２５】
2020090512.tif 000027
【図２６】
2020090512.tif 000028
【国際調査報告】
2020090512.tif 000029
2020090512.tif 000030
2020090512.tif 000031
2020090512.tif 000032