(57)【要約】  本技術は、高コスト化を抑制することができるようにする撮影装置、画像処理方法、及び、プログラムに関する。制御部は、撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行う。データ量調整部は、車両から取得される車両情報に応じて、第１の画像及び第２の画像のデータ量を調整する。本技術は、例えば、車両の後方が写る画像を表示するビューイングシステムに適用することができる。
2020090511.tif 000002
【特許請求の範囲】
【請求項１】
撮影を行うイメージセンサと、
前記イメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行う制御部と、
車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整するデータ量調整部と
を備える撮影装置。
【請求項２】
前記制御部は、前記抽出制御として、前記イメージセンサからのデータの読み出しの制御を行う
請求項１に記載の撮影装置。
【請求項３】
前記制御部は、前記抽出制御として、前記イメージセンサが出力する前記撮影画像を記憶する記憶部からのデータの読み出しの制御を行う
請求項１に記載の撮影装置。
【請求項４】
前記制御部は、前記車両情報に応じて、前記抽出制御を行う
請求項１に記載の撮影装置。
【請求項５】
前記車両情報は、前記車両の走行方向を含み、
前記制御部は、前記車両の走行方向が前進である場合、前記撮影画像からの前記第２の画像の抽出を制限する
請求項４に記載の撮影装置。
【請求項６】
前記車両情報は、前記車両の運転者の視線又は頭部の位置を含み、
前記制御部は、前記車両の運転者の視線又は頭部の位置に応じて、前記撮影画像から前記第１の画像として抽出する領域を制御する
請求項４に記載の撮影装置。
【請求項７】
前記データ量調整部は、前記第２の画像の出力を制限することにより、前記第２の画像のデータ量を調整する
請求項１に記載の撮影装置。
【請求項８】
前記データ量調整部は、前記第１の画像又は前記第２の画像を圧縮することにより、前記第１の画像又は前記第２の画像のデータ量を調整する
請求項１に記載の撮影装置。
【請求項９】
前記車両の運転者の視線又は頭部の位置に応じて、前記第１の画像の一部の領域を、前記第１の表示部に表示させる画像として抽出する抽出部をさらに備える
請求項１に記載の撮影装置。
【請求項１０】
前記車両情報は、前記車両の走行方向又は車速を含む
請求項１に記載の撮影装置。
【請求項１１】
前記第１の表示部は、クラスIミラーの代替となる表示部である
請求項１に記載の撮影装置。
【請求項１２】
前記第１の画像は、前記車両の後部の直後より後方が写る画像である
請求項１に記載の撮影装置。
【請求項１３】
前記第２の画像は、前記車両の後部の直後が写る画像である
請求項１に記載の撮影装置。
【請求項１４】
撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行うことと、
車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整することと
を含む画像処理方法。
【請求項１５】
撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行う制御部と、
車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整するデータ量調整部と
して、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮影装置、画像処理方法、及び、プログラムに関し、特に、例えば、高コスト化を抑制することができるようにする撮影装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、自動車等の車両については、車両の後部に、撮影装置としてのカメラを設置し、そのカメラで撮影された車両の後方が写る画像を表示するビューイングシステムが提案されている。【０００３】
ビューイングシステムが提供する、車両の後方が写る画像としては、車両の後部の直後より後方が写る画像や、車両の後部の直後が写る画像がある。【０００４】
ここで、車両の後部の直後より後方が写る画像は、例えば、いわゆる室内バックミラー（ルームミラー）と呼ばれるクラスIミラーに写る画像に相当する画像であり、以下、BM(Back Mirror)画像ともいう。また、車両の後部の直後が写る画像は、車両の後部とその直後とが写る画像であり、以下、RV(Rear View)画像ともいう。【０００５】
BM画像及びRV画像については、撮影に必要とされる仕様、すなわち、画角や光軸の方向が異なるため、BM画像及びRV画像は、別のカメラを用いて撮影される。したがって、ビューイングシステムにおいて、BM画像及びRV画像を表示する場合には、車両の後部に、BM画像を撮影するカメラと、RV画像を撮影するカメラとの２台のカメラを設ける必要がある。【０００６】
近年、低コスト化等のために、１台のカメラでBM画像及びRV画像を撮影することが要請されている。【０００７】
例えば、特許文献１には、PTZ(Pan, Tilt, Zoom)動作により、画角及び光軸の方向を変化させるカメラが記載されている。特許文献１に記載のカメラでは、PTZ動作によって、車両の遠方の範囲が写る遠方画像の撮影と、車両に近接する範囲が写る近接画像の撮影とを切り替えることができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平11-312300号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載のカメラによれば、遠方画像をBM画像として出力することと、近接画像をRV画像として出力することとを切り替えることができる。しかしながら、特許文献１に記載のカメラでは、遠方画像と近接画像とを同時に出力することは困難である。【００１０】
また、車両でデータ伝送に使用することができる車両伝送帯域には制限がある。そのため、仮に、遠方画像をBM画像として出力することと、近接画像をRV画像として出力することとを同時に行うことができたとしても、遠方画像及び近接画像の伝送を同時に行って表示することは困難である。【００１１】
車両伝送帯域を大きくすることにより、遠方画像及び近接画像の伝送を同時に行うことが可能となるが、車両伝送帯域を大きくすると、ビューイングシステムが高コスト化する。【００１２】
本技術は、このような状況に鑑みてなされたものであり、高コスト化を抑制することができるようにするものである。
【課題を解決するための手段】
【００１３】
本技術の撮影装置、又は、プログラムは、撮影を行うイメージセンサと、前記イメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行う制御部と、車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整するデータ量調整部とを備える撮影装置、又は、そのような撮影装置としてコンピュータを機能させるためのプログラムである。【００１４】
本技術の画像処理方法は、撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行うことと、車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整することとを含む画像処理方法である。【００１５】
本技術の撮影装置、画像処理方法、及び、プログラムにおいては、撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御が行われる。そして、車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量が調整される。【００１６】
なお、撮影装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。【００１７】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本技術を適用したビューイングシステムが搭載された車両１０の外観構成例を示す斜視図である。
【図２】車両１０の車内の構成例を示す斜視図である。
【図３】車両１０に搭載されたビューイングシステムの第１の構成例を示すブロック図である。
【図４】制御部３６による、撮影画像からのBM画像及びRV画像の抽出制御の例を説明する図である。
【図５】ジャイロ情報に応じたBM画像（としての領域R11）の抽出制御を説明する図である。
【図６】イメージセンサ３２の構成例を示す図である。
【図７】イメージセンサ３２から出力することができる画像の例を説明する図である。
【図８】車両１０でデータ伝送に使用することができる車両伝送帯域の例を説明する図である。
【図９】制御部３６によるBM画像及びRV画像のデータ量の調整制御の第１の例を説明する図である。
【図１０】制御部３６によるBM画像及びRV画像のデータ量の調整制御の第２の例を説明する図である。
【図１１】ビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。
【図１２】車両１０に搭載されたビューイングシステムの第２の構成例を示すブロック図である。
【図１３】車両１０に搭載されたビューイングシステムの第３の構成例を示すブロック図である。
【図１４】制御部８１による、撮影画像からのBM画像及びRV画像の抽出制御の例を説明する図である。
【図１５】ビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。
【図１６】車両１０に搭載されたビューイングシステムの第４の構成例を示すブロック図である。
【図１７】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
＜ビューイングシステムを搭載した車両の構成例＞
【００２０】
図１は、本技術を適用したビューイングシステムが搭載された車両１０の外観構成例を示す斜視図である。
【００２１】
例えば、（四輪）自動車である車両１０には、後部に、車両１０の後方を撮影する撮影装置としての１台のカメラユニット１１が設置されている。図１では、カメラユニット１１は、車両１０のリアガラスの上部に設置されている。
【００２２】
カメラユニット１１は、BM画像（第１の画像）となる範囲と、RV画像（第２の画像）となる範囲との両方が写る画像を一つの画像として撮影することができるように、広角のカメラユニットになっている。さらに、カメラユニット１１は、BM画像において、遠方の被写体が明確に写るように、高解像度のカメラユニットになっている。したがって、カメラユニット１１は、広角かつ高解像度の画像を撮影することができる。
【００２３】
なお、カメラユニット１１では、後述するように、カメラユニット１１において撮影される画像（以下、撮影画像ともいう）から、BM画像及びRV画像が抽出される。
【００２４】
BM画像には、車両１０に室内バックミラー（ルームミラー。国際連合欧州経済委員会〈UN/ECE〉が定めるRegulation No.46におけるクラスIミラー）が設置されていたならば、その室内バックミラーで観察することができる、車両１０の後部の直後より後方の様子の画像が含まれるように、かつ、RV画像には、車両１０の後部とその（後部の）直後の様子の画像が含まれるように、カメラユニット１１は、光軸の向きが調整されて設置される。
【００２５】
したがって、BM画像は、車両１０に室内バックミラーが設置されていたならば、その室内バックミラーで観察することができる、車両１０の後部の直後より後方の様子が写る画像である。また、RV画像は、車両１０の後部とその直後の様子とが写る画像である。RV画像には、室内バックミラーでは死角となる車両１０の後部の直後が写るので、RV画像は、車両１０の後進時に、特に有用である。また、RV画像は、車両１０を上部から見たような俯瞰画像の生成に用いることができる。
【００２６】
なお、上述のようなBM画像及びRV画像を抽出することができる撮影画像を撮影することができれば、カメラユニット１１を設置する位置は、車両１０のリアガラスの上部に限定されるものではない。例えば、カメラユニット１１は、車両１０のリアガラスの上部の他、車両１０の後部のナンバープレートの上部の位置P11等に設置することができる。
【００２７】
図２は、図１の車両１０の車内の構成例を示す斜視図である。
【００２８】
車両１０の車内の室内バックミラーが設置される位置には、BM画像を表示するBM表示部２１が設けられている。BM表示部２１は、室内バックミラーの代替となる表示部である。
【００２９】
車両１０の車内のダッシュボードの中央の位置には、RV画像を表示するRV表示部２２が設けられている。
【００３０】
なお、車両１０の車内のダッシュボードの運転席側には、運転者を撮影する車内カメラ２３が設けられている。車内カメラ２３では、運転者を撮影し、その運転者が写る画像が出力される。車両１０では、運転者が写る画像から、運転者の視線や頭部の位置が検出される。
【００３１】
ここで、運転者を撮影する車内カメラ２３は、ダッシュボード以外の任意の位置、例えば、BM表示部２１の上部の位置P21等に設けることができる。
【００３２】
＜ビューイングシステムの第１の構成例＞
【００３３】
図３は、車両１０に搭載されたビューイングシステムの第１の構成例を示すブロック図である。
【００３４】
ビューイングシステムは、図１及び図２で説明したカメラユニット１１、BM表示部２１、及び、RV表示部２２を有する。
【００３５】
カメラユニット１１は、光学系３１、イメージセンサ３２、データ量調整部３３、出力部３４、取得部３５、及び、制御部３６を有する。
【００３６】
光学系３１は、集光レンズや絞り等の光学部品で構成され、光学系３１に入射する光を、イメージセンサ３２に集光させる。
【００３７】
イメージセンサ３２は、光学系３１からの光を受光し、光電変換を行うことで、撮影画像を撮影する。そして、イメージセンサ３２は、制御部３６の制御に従い、撮影画像から、BM画像及びRV画像を抽出して出力する。イメージセンサ３２が出力するBM画像及びRV画像は、データ量調整部３３に供給される。
【００３８】
データ量調整部３３は、制御部３６の制御に従い、イメージセンサ３２が出力するBM画像及びRV画像のデータ量を調整し、データ量が調整された後のBM画像及びRV画像を、出力部３４に供給する。
【００３９】
出力部３４は、データ量調整部３３からのBM画像及びRV画像を、カメラユニット１１の外部に伝送する出力IF(Interface)であり、BM画像を、BM表示部２１に伝送するとともに、RV画像を、RV表示部２２に伝送する。BM表示部２１では、出力部３４からのBM画像が、BM表示部２１の仕様に従って表示され、RV表示部２２では、出力部３４からのRV画像が、RV表示部２２の仕様に従って表示される。出力部３４は、BM画像及びRV画像のフォーマット変換その他の画像処理を、必要に応じて行うことができる。
【００４０】
取得部３５は、車両１０から取得することが可能な情報（以下、車両情報ともいう）を、車両１０から取得し、制御部３６に供給する。
【００４１】
ここで、車両情報としては、例えば、走行情報や、BM表示部２１及びRV表示部２２の仕様、車両１０の運転者の視線及び頭部の位置、ジャイロ情報等がある。
【００４２】
走行情報とは、車両１０の走行状態を表す情報であり、具体的には、車速や、走行方向（前進又は後進）を表す。車速は、例えば、車両１０が速度センサを搭載している場合には、その速度センサの出力から取得することができる。走行方向は、例えば、トランスミッションの状態から取得することができる。
【００４３】
BM表示部２１及びRV表示部２２の仕様とは、例えば、BM表示部２１及びRV表示部２２の解像度等であり、BM表示部２１及びRV表示部２２から取得することができる。
【００４４】
車両１０の運転者の視線及び頭部の位置は、車内カメラ２３で撮影された画像から求めることができる。
【００４５】
ジャイロ情報とは、車両１０の姿勢（／車両の傾きの角度）を表す情報である。ジャイロ情報は、車両１０がジャイロセンサを搭載している場合には、そのジャイロセンサの出力から求めることができる。ジャイロ情報によれば、車両１０が坂道に位置しているかどうかを認識することができる。
【００４６】
制御部３６は、取得部３５から供給される車両情報に応じて、イメージセンサ３２やデータ量調整部３３を制御する。
【００４７】
すなわち、制御部３６は、車両情報に応じて、イメージセンサ３２での撮影画像からのBM画像及びRV画像の抽出を制御する抽出制御を行う。また、制御部３６は、車両情報に応じて、データ量調整部３３でのBM画像及びRV画像のデータ量の調整を制御する調整制御を行う。
【００４８】
したがって、イメージセンサ３２は、車両情報に応じて、撮影画像から、BM画像及びRV画像を抽出し、データ量調整部３３は、車両情報に応じて、BM画像及びRV画像のデータ量を調整する、ということができる。
【００４９】
＜撮影画像からのBM画像及びRV画像の抽出制御＞
【００５０】
図４は、制御部３６による、撮影画像からのBM画像及びRV画像の抽出制御の例を説明する図である。
【００５１】
光学系３１と、イメージセンサ３２が撮影する撮影画像とは、例えば、図４に示すように、撮影画像（イメージセンサ３２の受光面）が光学系３１（を構成するレンズ）のイメージサークルを包含するような位置関係になっている。
【００５２】
制御部３６は、抽出制御において、撮像画像から、車両１０の後部の直後より後方が写る所定の領域（車両１０に室内バックミラーが設置されていたならば、その室内バックミラーで観察される領域）R11を、BM画像として抽出するように、イメージセンサ３２からのデータ（画素信号）の読み出しを制御する。
【００５３】
さらに、制御部３６は、抽出制御において、撮像画像（のうちのイメージサークル内の画像）から、車両１０の後部と、その直後とが写る所定の領域R12を、RV画像として抽出するように、イメージセンサ３２からのデータの読み出しを制御する。
【００５４】
イメージセンサ３２は、制御部３６の制御に従い、撮影により得られた撮影画像から、BM画像（のデータ）となる領域R11のデータ（画素信号）を読み出すとともに、RV画像となる領域R12のデータを読み出す。
【００５５】
なお、領域R11及びR12の大きさは、BM表示部２１及びRV表示部２２の仕様に応じて設定することができる。
【００５６】
また、制御部３６は、BM画像の抽出制御において、車両情報に含まれる運転者の視線及び頭部の位置のうちの一方又は両方に応じて、BM画像として抽出する領域R11（の位置）を制御する。
【００５７】
すなわち、仮に、車両１０に、室内バックミラーが設置されていたならば、運転者が視線や頭部を移動すると、室内バックミラーによって運転者が見ることができる画像に写る範囲が変化する。制御部３６は、車両１０に、室内バックミラーが設置されている場合に観察することができる画像と同様の範囲が写るBM画像を、運転者が見ることができるように、BM画像の抽出制御において、運転者の視線や頭部の位置に応じて、BM画像として抽出する領域R11の位置を変更させる。
【００５８】
その他、制御部３６は、BM画像の抽出制御において、車両情報に含まれるジャイロ情報に応じて、BM画像として抽出する領域R11を制御することができる。
【００５９】
図５は、ジャイロ情報に応じたBM画像（としての領域R11）の抽出制御を説明する図である。
【００６０】
いま、BM画像に写る３次元空間の範囲を、BM範囲ということとする。また、説明を簡単にするため、運転者の視線及び頭部の位置は固定されているとする。したがって、ここでは、撮影画像からBM画像として抽出される領域R11（の位置）、ひいては、BM範囲に関して、運転者が視線や頭部の位置を動かすことに起因する変化はないこととする。
【００６１】
さらに、車両１０が平坦な道（道路）に位置している場合に、BM画像中に、車両１０から所定の距離だけ後方にある物体が写ることとする。
【００６２】
この場合、車両１０が、上りの坂道に位置すると、BM範囲は変化しないが、車両１０の後部に設置されたカメラユニット１１の光軸が、車両１０が平坦な道に位置しているケースよりも下側（道路側）に傾く。
【００６３】
その結果、車両１０が平坦な道に位置している場合は、BM範囲に入って、BM画像中に写る、車両１０から所定の距離だけ後方にある物体が、車両１０が上りの坂道に位置している場合には、BM範囲に入らず、BM画像中に写らなくなる。すなわち、車両１０から所定の距離だけ後方にある物体が、車両１０が平坦な道に位置している場合には、BM画像中に写るが、車両１０が上りの坂道に位置している場合には、BM画像中に写らなくなる。
【００６４】
この場合、車両１０が上りの坂道に位置しているケースでは、車両１０の運転者がBM画像を見て確認することができる道路上の後方の範囲が、車両１０が平坦な道に位置しているケースよりも狭くなる。
【００６５】
そこで、制御部３６では、BM画像の抽出制御において、車両情報に含まれるジャイロ情報に応じて、BM画像として抽出する領域R11を制御することができる。
【００６６】
すなわち、制御部３６は、ジャイロ情報に応じ、車両１０の前方が上側に傾いているほど、BM画像として抽出する領域R11の位置を、撮影画像中の上方位置に変更させることができる。
【００６７】
これにより、車両１０から所定の距離だけ後方にある物体が、車両１０が平坦な道に位置している場合には、BM画像に写る。そして、車両１０が上りの坂道に位置している場合には、BM画像に写らなくなることを防止することができる。なお、制御部３６では、車両１０が下りの坂道に位置している場合には、ジャイロ情報に応じて、BM画像として抽出する領域R11の位置を、撮影画像中の下方位置に変更させることができる。
【００６８】
＜イメージセンサ３２の構成例＞
【００６９】
図６は、図３のイメージセンサ３２の構成例を示す図である。
【００７０】
イメージセンサ３２は、複数の画素５１、AD(Analog to Digital)変換部、及び、ラインメモリ５３を有する。
【００７１】
複数の画素５１は、２次元平面上に配置される。図６では、複数の画素５１は、格子状に配置されている。格子状に配置された画素５１の各列には、VSL(Vertical Signal Line)が配線され、各列の画素５１は、その列に配線されたVSLに接続されている。画素５１は、そこに入射する光を、その光の光量に応じた電気信号としての画素信号に変換する。画素信号は、画素５１から読み出され、その画素５１の列に配線されたVSLに出力される。
【００７２】
AD変換部５２は、例えば、格子状に配置された画素５１の列ごとに、その列の画素５１の画素信号のAD変換を担当する図示せぬADC(AD Converter)を有する。各列のADCは、その列に配線されたVSLに接続され、そのVSLに接続された画素５１から読み出された画素信号のAD変換を行う。AD変換部５２の各列のADCでのAD変換後の画素信号は、ラインメモリ５３に供給される。
【００７３】
ラインメモリ５３は、AD変換部５２から供給される最大で１行分の画素５１の画素信号を記憶し、行方向に順次転送することで、最大で１行分の画素５１の画素信号を、イメージセンサ３２の外部に出力する。
【００７４】
ここで、以下、適宜、図６において、上からy行目で、左からx列目の画素５１、及び、その画素５１で得られる画素信号を、画素yx、及び、画素信号yxともそれぞれ表す。
【００７５】
撮像画像は、イメージセンサ３２の受光面の画素（有効画素）５１すべてで得られる画素信号で構成される画像であり、イメージセンサ３２では、撮像画像を出力する場合、例えば、最上行のa行の画素５１から、下の行に向かって、１行単位で、画素信号が読み出される。
【００７６】
１行の画素５１の画素信号は、VSLを介して、AD変換部５２に供給される。AD変換部５２では、１行の画素５１の画素信号が、同時にAD変換され、AD変換後の画素信号は、ラインメモリ５３に供給されて記憶される。
【００７７】
ラインメモリ５３では、AD変換部５２から供給される１行の画素５１の画素信号が記憶され、行方向に順次転送されることにより、イメージセンサ３２の外部に読み出される。
【００７８】
以上の処理が、画素５１の全行に対して行われることで、１画面分の撮像画像（の画素信号）が、イメージセンサ３２の外部に読み出される。
【００７９】
BM画像及びRV画像は、撮影画像の一部の領域（の画像）であるため、BM画像及びRV画像を得る場合に、イメージセンサ３２から、撮像画像の全体を読み出す必要はなく、撮影画像のBM画像及びRV画像としての一部の領域（の画素信号）だけを読み出せば十分である。
【００８０】
ここで、イメージセンサ３２から、撮像画像の全体を読み出すことを、全読み出しともいい、撮影画像の一部の領域を読み出すことを、部分読み出しともいう。
【００８１】
制御部３６において、撮像画像から、BM画像及びRV画像を抽出するように、イメージセンサ３２からのデータの読み出しを制御する抽出制御では、部分読み出しを行うように、イメージセンサ３２が制御される。
【００８２】
例えば、BM画像となる領域R11が、図６に示すように、d行からh行までの画素５１のうちの、1列から5列までの画素５１で構成される場合、制御部３６は、d行からh行までの画素５１のうちの、1列から5列までの画素５１の画素信号を読み出すように、イメージセンサ３２を制御する。
【００８３】
この場合、イメージセンサ３２では、d行の画素５１の画素信号が読み出され、AD変換部５２においてAD変換されて、ラインメモリ５３に供給される。ラインメモリ５３では、d行の画素５１のAD変換後の画素信号が記憶される。そして、ラインメモリ５３では、d行の画素５１のうちの、1行から5行までの画素５１の画素信号d1, d2, d3, d4, d5が順次転送され、イメージセンサ３２の外部に読み出される。
【００８４】
ラインメモリ５３において、d行の画素５１のうちの、1行から5行までの画素５１の画素信号d1ないしd5が転送されている間、次のe行の画素５１の画素信号が、AD変換部５２においてAD変換され、以下、同様にして、d行からh行までの画素５１のうちの、1列から5列までの画素５１の画素信号が、イメージセンサ３２の外部に読み出される。
【００８５】
以上のように、イメージセンサ３２では、部分読み出しにより、撮像画像から、BM画像及びRV画像を抽出することができる。
【００８６】
なお、図６では、AD変換部５２のAD変換方式として、1列の画素５１の画素信号のAD変換を、1個のADCが担当する列並列AD変換方式を採用するが、AD変換部５２のAD変換方式は、列並列AD変換方式に限定されるものではない。例えば、AD変換部５２のAD変換方式としては、１画素、又は、複数画素で構成されるエリア内の画素５１の画素信号のAD変換を、1個のADCが担当するエリアAD変換方式を採用することができる。
【００８７】
＜イメージセンサ３２から出力することができる画像＞
【００８８】
図７は、イメージセンサ３２から出力することができる画像の例を説明する図である。
【００８９】
いま、イメージセンサ３２が出力可能な最高解像度の撮影画像を、最高解像度画像ということとする。イメージセンサ３２は、例えば、解像度（画素数）Rmaxの最高解像度画像を、60fps(frame per second)（のフレームレート）以上で出力することができる性能を有することとする。
【００９０】
ここでは、最高解像度画像から抽出される最高解像度（画素数）のBM画像の解像度RBMが、最高解像度画像の解像度Rmaxの1/2以下であることとする。また、最高解像度画像から抽出される最高解像度のRV画像の解像度RRVが、BM画像の解像度RBM以下であることとする。
【００９１】
本実施の形態では、例えば、BM画像の解像度RBMとRV画像の解像度RRVとの加算値RBM+RRVとが、最高解像度画像の解像度Rmaxの1/2以下であるとする。この場合、解像度Rmaxで、60fps（以上）の最高解像度画像を出力可能なイメージセンサ３２を用いると、最高解像度画像の一部の部分読み出しにより得られる解像度RBMのBM画像と、解像度RRVのRV画像との両方の画像を、120fpsで出力することができる。
【００９２】
＜車両１０でデータ伝送に使用することができる車両伝送帯域の例＞
【００９３】
図８は、車両１０でデータ伝送に使用することができる車両伝送帯域の例を説明する図である。
【００９４】
すなわち、図８は、カメラユニット１１がデータ量調整部３３でのデータ量の調整なしで出力することができるBM画像及びRV画像の例を示している。
【００９５】
カメラユニット１１は、BM画像として、例えば、解像度RBMで、YUVが4:2:2フォーマットの、1画素のビット数が（輝度及び色差のそれぞれについて）8ビットのカラー画像を出力することができる。また、カメラユニット１１は、RV画像として、例えば、解像度RRVで、YUVが4:2:2フォーマットの、1画素のビット数が8ビットのカラー画像を出力することができる。
【００９６】
解像度RBMで、YUVが4:2:2フォーマットの、1画素のビット数が8ビットのBM画像を、最高画質のBM画像と呼び、解像度RRVで、YUVが4:2:2フォーマットの、1画素のビット数が8ビットのRV画像を、最高画質のRV画像と呼ぶこととする。
【００９７】
本実施の形態では、カメラユニット１１からデータが伝送される帯域である車両伝送帯域は、例えば、60fpsの最高画質のBM画像を２画面分だけ（リアルタイムで）伝送することができる伝送帯域になっていることとする。本実施の形態では、RBM>=RRVであるので、60fpsの最高画質のBM画像を２画面分だけ伝送することができる車両伝送帯域によれば、例えば、60fpsの最高画質のRV画像を２画面分を伝送することができる。また、車両伝送帯域によれば、例えば、60fpsの最高画質のBM画像を１画面分と、60fpsの最高画質のRV画像を１画面分との合計で２画面分とを伝送することができる。
【００９８】
図７及び図８で説明したことから、カメラユニット１１は、最高画質のBM画像及びRV画像の両方を、最大120fpsで出力することができる。
【００９９】
しかしながら、本実施の形態では、車両伝送帯域は、60fpsで、最高画質のBM画像（又はRV画像）の２画面分しか伝送することができない。
【０１００】
車両伝送帯域を大きくすることにより、カメラユニット１１が出力可能な、120fpsで、最高画質のBM画像及びRV画像の両方を伝送することができるが、車両伝送帯域を大きくすると、ビューイングシステムが高コスト化する。
【０１０１】
本技術では、ビューイングシステムが高コスト化することを抑制するため、カメラユニット１１は、BM画像やRV画像のデータ量を適切に調整し、車両伝送帯域内で、BM画像やRV画像を伝送する。
【０１０２】
＜車両伝送帯域が、60fpsで、最高画質のBM画像の２画面分が伝送可能である場合のBM画像及びRV画像のデータ量の調整制御＞
【０１０３】
図９は、制御部３６によるBM画像及びRV画像のデータ量の調整制御の第１の例を説明する図である。
【０１０４】
図９のＡは、車両１０が前進している場合、及び、速度の第１の閾値以上の速度である高速で後進している場合の調整制御を示している。
【０１０５】
この場合、制御部３６は、解像度RBMで、120fpsのBM画像が出力され、かつ、RV画像の出力が制限されるように、データ量調整部３３の制御としての調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMで、120fpsのBM画像を出力するとともに、RV画像の出力を制限する。
【０１０６】
したがって、この場合、カメラユニット１１からは、解像度RBMで、120fpsのBM画像が出力され、RV画像は出力されない。その結果、BM表示部２１では、解像度RBMで、120fpsのBM画像が表示され、RV表示部２２では、RV画像は表示されない。
【０１０７】
以上から、車両１０が前進している場合、及び、高速で後進している場合には、運転者は、解像度RBMで、120fpsのBM画像、すなわち、高解像度で、高フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。
【０１０８】
なお、車両１０が前進している場合、及び、高速で後退している場合には、車両１０の後部の直後の画像を含むRV画像は、表示しない。
【０１０９】
また、カメラユニット１１が出力する解像度RBMで、120fpsのBM画像は、60fpsの最高画質（解像度RBM）のBM画像を２画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
【０１１０】
ここで、データ量調整部３３において、画像のデータ量を調整するデータ量調整方法としては、上述のように、画像の出力を制限する（画像を出力しない）方法の他、例えば、解像度（画素数）を小さくする方法や、階調（１画素のビット数）を小さくする方法、フレームレートを小さく方法、所定の圧縮符号化方式で圧縮する方法等がある。
【０１１１】
データ量調整方法の中で、画像の出力の制限、解像度を小さくすること、階調を小さくすること、フレームレートを小さくすることは、データ量調整部３３に行わせる他、制御部３６において、イメージセンサ３２の抽出制御等の制御を行うことにより、イメージセンサ３２に行わせることができる。
【０１１２】
すなわち、画像の出力の制限、例えば、RV画像の出力の制限は、制御部３６において、撮影画像からのRV画像の抽出を制限するように、イメージセンサ３２からのデータの読み出しを制御し、画素５１（図６）からの、RV画像となる画素信号の読み出しを行わないことにより行うことができる。制御部３６は、車両１０が前進している場合、及び、高速で後進している場合、車両情報に応じて、撮影画像からのRV画像の抽出を制限するように、イメージセンサ３２の抽出制御を行うことができる。もちろん、イメージセンサ３２で制限せずに、データ量調整部３３においてRV画像の出力の制限を行っても良い。
【０１１３】
画像の解像度を小さくすることは、制御部３６において、例えば、画素信号を読み出す画素５１を間引くように、又は、いわゆるSF(Source Follower)加算やFD(Floating Diffusion)加算等により、複数の画素５１の画素信号を加算するビニング(Binning)を行うように、イメージセンサ３２を制御することにより行うことができる。
【０１１４】
階調を小さくすることは、制御部３６において、例えば、AD変換部５２（図６）のAD変換のビット数を小さくするように、イメージセンサ３２を制御することにより行うことができる。
【０１１５】
フレームレートを小さくすることは、制御部３６において、例えば、画素５１から画素信号を読み出すレートや、AD変換部５２でAD変換を行うレートを小さくするように、イメージセンサ３２を制御することにより行うことができる。
【０１１６】
図９のＢは、車両１０が、第１の閾値より小さい第２の閾値以上かつ第１の閾値未満の速度である中速で後進している場合の調整制御を示している。
【０１１７】
この場合、制御部３６は、解像度RBM未満の解像度RBMMで、120fpsのBM画像が出力され、かつ、解像度RRV未満の解像度RRVMで、30fpsのRV画像が出力されるように、データ量調整部３３の制御としての調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMMで、120fpsのBM画像を出力するとともに、解像度RRVMで、30fpsのRV画像を出力する。
【０１１８】
したがって、この場合、カメラユニット１１からは、解像度RBMMで、120fpsのBM画像と、解像度RRVMで、30fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMMで、120fpsのBM画像が表示され、RV表示部２２では、解像度RRVMで、30fpsのRV画像が表示される。
【０１１９】
以上から、車両１０が、中速で後進している場合には、運転者は、解像度RBMMで、120fpsのBM画像、すなわち、中解像度で、高フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVMで、30fpsのRV画像、すなわち、中解像度で、低フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
【０１２０】
なお、解像度RRVMで、30fpsのRV画像の伝送に必要な伝送帯域が、最大伝送レート（ここでは解像度RBMのBM画像を圧縮せずに120fpsで伝送する場合に必要になる伝送レート）と解像度RBMMを120fpsで伝送する場合に必要となる伝送レート（第1の伝送レート）の差の伝送帯域以下であることとする。この場合、カメラユニット１１が出力する解像度RBMMで、120fpsのBM画像、及び、解像度RRVMで、30fpsのRV画像の両方の画像は、60fpsの最高画質のBM画像を２画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
【０１２１】
ここで、解像度RRVMで、30fpsのRV画像の伝送に必要な伝送帯域が、最大伝送レートと第1の伝送レートの差の伝送帯域以下ではない場合、データ量調整部３３では、BM画像及びRV画像の一方又は両方を、解像度RRVMで、30fpsのRV画像の伝送に必要な伝送帯域が、最大伝送レートと第1の伝送レートの差の伝送帯域以下となるように（解像度RRVMのRV画像が伝送できる程度になるように）圧縮（符号化）することができる。例えば、解像度RBMMで、120fpsのBM画像については、その一部又は全部を圧縮（符号化）することにより、データ量を少なくすることができる。解像度RRVMで、30fpsのRV画像については、カラー画像のまま、又は、白黒画像に変換し、圧縮符号化することにより、データ量を少なくすることができる。
【０１２２】
図９のＣは、車両１０が、第１の閾値より小さい第２の閾値未満の速度である低速で後進している場合の調整制御を示している。
【０１２３】
この場合、制御部３６は、解像度RBMで、60fpsのBM画像が出力され、かつ、解像度RRVで、60fpsのRV画像が出力されるように、データ量調整部３３の制御としての調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMで、60fpsのBM画像を出力するとともに、解像度RRVで、60fpsのRV画像を出力する。
【０１２４】
したがって、この場合、カメラユニット１１からは、解像度RBMで、60fpsのBM画像と、解像度RRVで、60fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMで、60fpsのBM画像が表示され、RV表示部２２では、解像度RRVで、60fpsのRV画像が表示される。
【０１２５】
以上から、車両１０が、低速で後進している場合には、運転者は、解像度RBMで、60fpsのBM画像、すなわち、高解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVで、60fpsのRV画像、すなわち、高解像度で、中フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
【０１２６】
車両１０が、低速で後進している場合とは、例えば、車両１０を駐車しようとしている場合等であり、運転者から死角となる車両１０の後部の直後の確認が重要である。そのため、車両１０が、低速で後進している場合には、RV画像は、車両１０が高速や中速で後進している場合よりも高解像度かつ高フレームレートで表示される。これにより、死角となる領域の確認と、死角の状況に応じた車両制御が行い易くなる。
【０１２７】
なお、カメラユニット１１が出力する解像度RBMで、60fpsのBM画像、及び、解像度RRVで、60fpsのRV画像の両方の画像は、60fpsの最高画質のBM画像を２画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
【０１２８】
＜車両伝送帯域が、60fpsで、最高画質のBM画像の１画面分が伝送可能である場合のBM画像及びRV画像のデータ量の調整制御＞
【０１２９】
図１０は、制御部３６によるBM画像及びRV画像のデータ量の調整制御の第２の例を説明する図である。
【０１３０】
ここで、BM画像及びRV画像のデータ量の調整制御の第２の例では、車両伝送帯域が、例えば、60fps（以上）の最高画質（解像度RBM）のBM画像を１画面分だけ伝送することができる伝送帯域になっていることとする。
【０１３１】
図１０のＡは、車両１０が前進している場合、及び、速度の第１の閾値以上の速度である高速で後進している場合の調整制御を示している。
【０１３２】
この場合、制御部３６は、解像度RBMで、60fps（以上）のBM画像が出力され、かつ、RV画像の出力が制限されるように、データ量調整部３３の制御としての調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMで、60fpsのBM画像を出力するとともに、RV画像の出力を制限する。
【０１３３】
したがって、この場合、カメラユニット１１からは、解像度RBMで、60fpsのBM画像が出力され、RV画像は出力されない。その結果、BM表示部２１では、解像度RBMで、60fpsのBM画像が表示され、RV表示部２２では、RV画像は表示されない。
【０１３４】
以上から、車両１０が前進している場合、及び、高速で後進している場合には、運転者は、解像度RBMで、60fpsのBM画像、すなわち、高解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。
【０１３５】
なお、車両１０が前進している場合、及び、高速で後進している場合には、図９のＡで説明したように、車両１０の後部の直後の画像を含むRV画像は、表示しない。
【０１３６】
また、カメラユニット１１が出力する解像度RBMで、60fpsのBM画像は、60fpsの最高画質（解像度RBM）のBM画像を１画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
【０１３７】
図１０のＢは、車両１０が、第１の閾値より小さい第２の閾値以上かつ第１の閾値未満の速度である中速で後進している場合の調整制御を示している。
【０１３８】
この場合、制御部３６は、解像度RBM未満の解像度RBMMで、60fpsのBM画像が出力され、かつ、解像度RRV未満の解像度RRVMで、30fpsのRV画像が出力されるように、データ量調整部３３の制御としての調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMMで、60fpsのBM画像を出力するとともに、解像度RRVMで、30fpsのRV画像を出力する。
【０１３９】
したがって、この場合、カメラユニット１１からは、解像度RBMMで、60fpsのBM画像と、解像度RRVMで、30fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMMで、60fpsのBM画像が表示され、RV表示部２２では、解像度RRVMで、30fpsのRV画像が表示される。
【０１４０】
以上から、車両１０が、中速で後進している場合には、運転者は、解像度RBMMで、60fpsのBM画像、すなわち、中解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVMで、30fpsのRV画像、すなわち、中解像度で、低フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
【０１４１】
なお、カメラユニット１１が出力する解像度RBMMで、60fpsのBM画像、及び、解像度RRVMで、30fpsのRV画像の両方の画像の伝送に必要な伝送帯域（以下、必要伝送帯域ともいう）が、60fpsの最高画質のBM画像を１画面分だけ伝送することができる車両伝送帯域に収まらない場合には、必要伝送帯域が車両伝送帯域に収まるように、BM画像を、中速用の第１の圧縮率で圧縮することや、RV画像を、カラー画像のまま、又は、白黒画像に変換して、中速用の第１の圧縮率より高圧縮の中速用の第２の圧縮率で圧縮することができる。
【０１４２】
図１０のＣは、車両１０が、第１の閾値より小さい第２の閾値未満の速度である低速で後進している場合の調整制御を示している。
【０１４３】
この場合、制御部３６は、解像度RBMM未満の解像度RBMLで、60fpsのBM画像が出力され、かつ、解像度RRVMで、30fpsのRV画像が出力されるように、データ量調整部３３の制御としての調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMLで、60fpsのBM画像を出力するとともに、解像度RRVMで、30fpsのRV画像を出力する。
【０１４４】
したがって、この場合、カメラユニット１１からは、解像度RBMLで、60fpsのBM画像と、解像度RRVで、30fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMLで、60fpsのBM画像が表示され、RV表示部２２では、解像度RRVMで、30fpsのRV画像が表示される。
【０１４５】
以上から、車両１０が、低速で後進している場合には、運転者は、解像度RBMLで、60fpsのBM画像、すなわち、低解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVMで、30fpsのRV画像、すなわち、中解像度で、低フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
【０１４６】
なお、カメラユニット１１が出力する解像度RBMLで、60fpsのBM画像、及び、解像度RRVMで、30fpsのRV画像の両方の画像の伝送に必要な必要伝送帯域が、60fpsの最高画質のBM画像を１画面分だけ伝送することができる車両伝送帯域に収まらない場合には、必要伝送帯域が車両伝送帯域に収まるように、BM画像を、低速用の第１の圧縮率で圧縮することや、RV画像を、（カラー画像のまま）低速用の第１の圧縮率より高圧縮の低速用の第２の圧縮率で圧縮することができる。
【０１４７】
ここで、低速用の第１の圧縮率としては、中速用の第１の圧縮率よりも高圧縮の圧縮率を採用することができる。中速用の第２の圧縮率、及び、低速用の第２の圧縮率としては、同一の圧縮率を採用することができる。この場合、低速用の第１の圧縮率及び第２の圧縮率、並びに、中速の第１の圧縮率及び第２の圧縮率の関係は、低速用の第２の圧縮率＝中速用の第２の圧縮率＞低速用の第１の圧縮率＞中速用の第１の圧縮となる。但し、ここでは、圧縮率の値が大きいほど、高圧縮であるとする。低速用の第１の圧縮率及び第２の圧縮率、並びに、中速の第１の圧縮率及び第２の圧縮率それぞれでの圧縮後のデータ量の関係は、低速用の第２の圧縮率による圧縮後のデータ量＝中速用の第２の圧縮率による圧縮後のデータ量＜低速用の第１の圧縮率による圧縮後のデータ量＜中速用の第１の圧縮による圧縮後のデータ量となる。
【０１４８】
以上、車両１０の車速及び走行方向（前進、後進）に応じて、BM画像及びRV画像のデータ量を調整する調整制御について説明した。調整制御の方法は、図９及び図１０で説明した方法に限定されるものではない。すなわち、調整制御の方法は、車両伝送帯域や、イメージセンサ３２の性能、BM表示部２１及びRV表示部２２の仕様等に応じて、適宜設定することができる。データ量は表示されるBM画像の画質やRV画像の画質と関係しているため、車両１０の車速及び走行方向（前進、後進）に応じて、BM画像及びRV画像の画質を変えていると言える。
【０１４９】
また、調整制御において、BM画像及びRV画像の解像度を小さくすることは、BM画像及びRV画像を構成する画素数を少なくすることにより行うこともできるし、BM画像及びRV画像の（不可逆な）圧縮を、画素数を変化させずに行うことにより行うこともできる。
【０１５０】
BM画像及びRV画像を圧縮することにより、BM画像及びRV画像の解像度を小さくする場合、BM画像及びRV画像を圧縮する圧縮率としては、圧縮及び伸張により得られる、高周波成分等の一部の周波数成分が失われたBM画像及びRV画像の実質的な解像度（画像が有する最高の周波数成分）が、図９や図１０で説明した解像度（画素数）と等価になるような圧縮率を採用することができる。
【０１５１】
＜表示処理＞
【０１５２】
図１１は、図３のビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。
【０１５３】
ステップＳ１１において、イメージセンサ３２は、撮影画像を撮影し、処理は、ステップＳ１２に進む。
【０１５４】
ステップＳ１２では、取得部３５は、車両１０から車両情報を取得し、制御部３６に供給して、処理は、ステップＳ１３に進む。
【０１５５】
ステップＳ１３では、制御部３６は、取得部３５からの車両情報に応じて、イメージセンサ３２の抽出制御を行う。イメージセンサ３２は、制御部３６の抽出制御に従い、撮影画像から、BM画像及びRV画像を抽出する。そして、イメージセンサ３２は、BM画像及びRV画像を、データ量調整部３３に供給して、処理は、ステップＳ１３からステップＳ１４に進む。
【０１５６】
ステップＳ１４では、制御部３６は、取得部３５からの車両情報に応じて、データ量調整部３３の調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整する。そして、データ量調整部３３は、データ量が調整されたBM画像及びRV画像を、出力部３４に供給して、処理は、ステップＳ１４からステップＳ１５に進む。
【０１５７】
ステップＳ１５において、出力部３４は、データ量調整部３３からのデータ量が調整されたBM画像及びRV画像を、カメラユニット１１の外部に出力し、BM画像を、BM表示部２１に伝送するとともに、RV画像を、RV表示部２２に伝送して、処理は、ステップＳ１６に進む。
【０１５８】
ステップＳ１６では、BM表示部２１は、出力部３４からのBM画像を、BM表示部２１の仕様に従って表示するとともに、RV表示部２２は、出力部３４からのRV画像を、RV表示部２２の仕様に従って表示する。
【０１５９】
＜ビューイングシステムの第２の構成例＞
【０１６０】
図１２は、車両１０に搭載されたビューイングシステムの第２の構成例を示すブロック図である。
【０１６１】
なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１６２】
図１２において、ビューイングシステムは、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有し、カメラユニット１１は、光学系３１、イメージセンサ３２、データ量調整部３３、出力部３４、取得部３５、制御部３６、及び、メモリ７１を有する。
【０１６３】
したがって、図１２のビューイングシステムは、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有し、カメラユニット１１が、光学系３１ないし制御部３６を有する点で、図３の場合と共通する。
【０１６４】
但し、図１２のビューイングシステムは、カメラユニット１１が、メモリ７１を新たに有する点で、図３の場合と相違する。
【０１６５】
図１２のビューイングシステムにおいて、イメージセンサ３２は、最高解像度画像（最高解像度の撮影画像）を、メモリ７１に供給し、メモリ７１は、イメージセンサ３２からの最高解像度画像を記憶する。そして、制御部３６は、イメージセンサ３２ではなく、メモリ７１に対して、抽出制御としての、メモリ７１からのデータ（画素信号）の読み出しの制御を行うことで、図３の場合と同様に、最高解像度画像から、BM画像及びRV画像を抽出させる。
【０１６６】
メモリ７１に記憶された最高解像度画像から抽出されたBM画像及びRV画像は、データ量調整部３３に供給される。
【０１６７】
なお、図１２のビューイングシステムにおいて、図９のＡ及び図１０のＡで説明したような、車両１０が前進している場合、及び、高速で後進している場合のRV画像の出力の制限は、データ量調整部３３において、RV画像の出力を制限することにより行う他、メモリ７１の抽出制御において、最高解像度画像からのRV画像の抽出を制限する（RV画像を読み出さない）ことにより行うことができる。
【０１６８】
また、図１２のビューイングシステムにおいて、BM画像及びRV画像を表示する表示処理は、図１１で説明した場合と同様であるため、説明を省略する。
【０１６９】
但し、図１２のビューイングシステムでは、ステップＳ１１において、イメージセンサ３２が撮影画像を撮影した後、その撮影画像が、メモリ７１に記憶される。また、ステップＳ１３において、制御部３６は、取得部３５からの車両情報に応じて、イメージセンサ３２ではなく、メモリ７１の抽出制御を行い、これにより、メモリ７１に記憶された撮影画像から、BM画像及びRV画像が抽出される。
【０１７０】
＜ビューイングシステムの第３の構成例＞
【０１７１】
図１３は、車両１０に搭載されたビューイングシステムの第３の構成例を示すブロック図である。
【０１７２】
なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１７３】
図１３において、ビューイングシステムは、カメラユニット１１、BM表示部２１、RV表示部２２、及び、抽出部８２を有し、カメラユニット１１は、光学系３１、イメージセンサ３２、データ量調整部３３、出力部３４、取得部３５、及び、制御部８１を有する。
【０１７４】
したがって、図１３のビューイングシステムは、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有し、カメラユニット１１が、光学系３１ないし取得部３５を有する点で、図３の場合と共通する。
【０１７５】
但し、図１３のビューイングシステムは、抽出部８２が新たに設けられている点、及び、カメラユニット１１において、制御部３６に代えて、制御部８１が設けられている点で、図３の場合と相違する。
【０１７６】
なお、図１３では、抽出部８２は、カメラユニット１１の外部に設けられているが、カメラユニット１１の内部に設けることができる。
【０１７７】
制御部８１には、取得部３５から、車両情報が供給される。車両情報としては、例えば、走行情報や、BM表示部２１及びRV表示部２２の仕様、ジャイロ情報等がある。但し、この例では、取得部３５から供給される車両情報には、運転者の視線及び頭部の位置は、含まれない。なお、車両１０の運転者の視線及び頭部の位置は、車両情報の一部として抽出部８２に入力される。
【０１７８】
制御部８１は、制御部３６と同様に、取得部３５からの車両情報に応じて、イメージセンサ３２の抽出制御、及び、データ量調整部３３の調整制御を行う。
【０１７９】
但し、制御部８１は、抽出制御において、運転者の視線及び頭部の位置のうちの一方又は両方に応じて、BM画像として抽出する領域R11（の位置）を制御する代わりに、領域R11よりサイズが大きい領域を、BM画像として抽出させる。
【０１８０】
したがって、図１３において、出力部３４が出力するBM画像のサイズは、図３及び図１２において、出力部３４が出力するBM画像のサイズよりも大きい。
【０１８１】
図１３において、出力部３４が出力する領域R11より大きいサイズのBM画像は、抽出部８２に供給される。
【０１８２】
抽出部８２には、出力部３４から領域R11より大きいサイズのBM画像が供給される他、車両情報のうちの、運転者の視線及び頭部の位置が供給される。
【０１８３】
抽出部８２は、運転者の視線及び頭部の位置のうちの一方又は両方に応じて、出力部３４からの領域R11より大きいサイズのBM画像の一部の領域、すなわち、領域R11と同一サイズの領域を、BM表示部２１に表示させる最終的なBM画像として抽出し、BM表示部２１に供給する。
【０１８４】
＜撮影画像からのBM画像及びRV画像の抽出制御＞
【０１８５】
図１４は、制御部８１による、撮影画像からのBM画像及びRV画像の抽出制御の例を説明する図である。
【０１８６】
図１４は、図４と同様に、光学系３１のイメージサークルと、イメージセンサ３２が撮影する撮影画像（イメージセンサ３２の受光面）とを示している。
【０１８７】
制御部８１は、抽出制御において、制御部３６と同様に、領域R12を、RV画像として抽出するように、イメージセンサ３２からのデータの読み出しを制御する。
【０１８８】
また、制御部８１は、抽出制御において、撮像画像から、領域R11ではなく、領域R11のサイズよりも大きいサイズの領域R31を、BM画像として抽出するように、イメージセンサ３２からのデータの読み出しを制御する。
【０１８９】
領域R31は、仮に、車両１０に、室内バックミラーが設置されていたならば、運転者が視線や頭部を移動することにより、室内バックミラーによって運転者が見ることができる最大の範囲を包含する領域である。領域R11は、運転者の視線や頭部の位置に応じて位置が変更される可変の領域であるが、領域R31は、固定の領域である。
【０１９０】
抽出部８２では、以上のような領域R31から、運転者の視線及び頭部の位置のうちの一方又は両方に応じた位置の領域であって、領域R11と同一サイズの領域が、BM表示部２１に表示させる最終的なBM画像として抽出される。すなわち、抽出部８２では、領域R31から、車両１０に室内バックミラーが設置されていたならば、運転者が、その室内バックミラーによって観察するであろう領域R11が、BM画像として抽出される。
【０１９１】
＜表示処理＞
【０１９２】
図１５は、図１３のビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。
【０１９３】
ステップＳ２１において、イメージセンサ３２は、撮影画像を撮影し、処理は、ステップＳ２２に進む。
【０１９４】
ステップＳ２２では、取得部３５は、車両１０から車両情報を取得し、制御部３６に供給して、処理は、ステップＳ２３に進む。
【０１９５】
ステップＳ２３では、制御部３６は、イメージセンサ３２の抽出制御を行う。イメージセンサ３２は、制御部３６の抽出制御に従い、図１４で説明したように、撮影画像から、領域R31及びR12を、BM画像及びRV画像としてそれぞれ抽出する。そして、イメージセンサ３２は、BM画像及びRV画像を、データ量調整部３３に供給して、処理は、ステップＳ２３からステップＳ２４に進む。
【０１９６】
ステップＳ２４では、制御部３６は、取得部３５からの車両情報に応じて、データ量調整部３３の調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整する。そして、データ量調整部３３は、データ量が調整されたBM画像及びRV画像を、出力部３４に供給して、処理は、ステップＳ２４からステップＳ２５に進む。
【０１９７】
ステップＳ２５において、出力部３４は、データ量調整部３３からのデータ量が調整されたBM画像及びRV画像を、カメラユニット１１の外部に出力して、処理は、ステップＳ２６に進む。これにより、図１３では、BM画像は、抽出部８２に供給され、RV画像は、RV表示部２２に伝送される。
【０１９８】
ステップＳ２６では、抽出部８２は、車両１０から、車両情報に含まれる運転者の視線及び頭部の位置を取得し、処理は、ステップＳ２７に進む。
【０１９９】
ステップＳ２７では、抽出部８２は、出力部３４からのBM画像から、運転者の視線及び頭部の位置に応じた位置の、領域R11と同一サイズの領域を、BM表示部２１に表示させる最終的なBM画像として抽出する。そして、抽出部８２は、最終的なBM画像を、BM表示部２１に伝送して、処理は、ステップＳ２７からステップＳ２８に進む。
【０２００】
ステップＳ２８では、BM表示部２１は、抽出部８２からのBM画像を、BM表示部２１の仕様に従って表示するとともに、RV表示部２２は、出力部３４からのRV画像を、RV表示部２２の仕様に従って表示する。
【０２０１】
＜ビューイングシステムの第４の構成例＞
【０２０２】
図１６は、車両１０に搭載されたビューイングシステムの第４の構成例を示すブロック図である。
【０２０３】
なお、図中、図１２又は図１３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。取得部３５にて取得される車両情報としては、例えば、走行情報や、BM表示部２１及びRV表示部２２の仕様、ジャイロ情報等がある。なお、車両１０の運転者の視線及び頭部の位置は、車両情報の一部として抽出部８２に入力される。
【０２０４】
図１６において、ビューイングシステムは、カメラユニット１１、BM表示部２１、RV表示部２２、及び、抽出部８２を有し、カメラユニット１１は、光学系３１、イメージセンサ３２、データ量調整部３３、出力部３４、取得部３５、メモリ７１、及び、制御部８１を有する。
【０２０５】
したがって、図１６のビューイングシステムは、カメラユニット１１、BM表示部２１、RV表示部２２、及び、抽出部８２を有し、カメラユニット１１が、光学系３１ないし取得部３５、及び、制御部８１を有する点で、図１３の場合と共通する。
【０２０６】
但し、図１６のビューイングシステムは、図１２のメモリ７１を新たに有する点で、図１３の場合と相違する。
【０２０７】
図１６のビューイングシステムでは、図１２のビューイングシステムと同様に、メモリ７１が、イメージセンサ３２からの最高解像度画像（撮像画像）を記憶し、抽出制御が、イメージセンサ３２ではなく、メモリ７１に対して行われることを除いて、図１３の場合と同様の処理が行われる。
【０２０８】
＜本技術を適用したコンピュータの説明＞
【０２０９】
次に、上述した制御部３６及び８１や、データ量調整部３３、抽出部８２の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２１０】
図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０２１１】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
【０２１２】
あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２１３】
なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２１４】
コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
【０２１５】
CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
【０２１６】
これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
【０２１７】
なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２１８】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２１９】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２２０】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２２１】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２２２】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２２３】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２２４】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２２５】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０２２６】
なお、本技術は、以下の構成をとることができる。
【０２２７】
＜１＞
撮影を行うイメージセンサと、
前記イメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行う制御部と、
車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整するデータ量調整部と
を備える撮影装置。
＜２＞
前記制御部は、前記抽出制御として、前記イメージセンサからのデータの読み出しの制御を行う
＜１＞に記載の撮影装置。
＜３＞
前記制御部は、前記抽出制御として、前記イメージセンサが出力する前記撮影画像を記憶する記憶部からのデータの読み出しの制御を行う
＜１＞に記載の撮影装置。
＜４＞
前記制御部は、前記車両情報に応じて、前記抽出制御を行う
＜１＞ないし＜３＞のいずれかに記載の撮影装置。
＜５＞
前記車両情報は、前記車両の走行方向を含み、
前記制御部は、前記車両の走行方向が前進である場合、前記撮影画像からの前記第２の画像の抽出を制限する
＜４＞に記載の撮影装置。
＜６＞
前記車両情報は、前記車両の運転者の視線又は頭部の位置を含み、
前記制御部は、前記車両の運転者の視線又は頭部の位置に応じて、前記撮影画像から前記第１の画像として抽出する領域を制御する
＜４＞に記載の撮影装置。
＜７＞
前記データ量調整部は、前記第２の画像の出力を制限することにより、前記第２の画像のデータ量を調整する
＜１＞ないし＜６＞のいずれかに記載の撮影装置。
＜８＞
前記データ量調整部は、前記第１の画像又は前記第２の画像を圧縮することにより、前記第１の画像又は前記第２の画像のデータ量を調整する
＜１＞ないし＜７＞のいずれかに記載の撮影装置。
＜９＞
前記車両の運転者の視線又は頭部の位置に応じて、前記第１の画像の一部の領域を、前記第１の表示部に表示させる画像として抽出する抽出部をさらに備える
＜１＞ないし＜３＞のいずれかに記載の撮影装置。
＜１０＞
前記車両情報は、前記車両の走行方向又は車速を含む
＜１＞ないし＜９＞のいずれかに記載の撮影装置。
＜１１＞
前記第１の表示部は、クラスIミラーの代替となる表示部である
＜１＞ないし＜１０＞のいずれかに記載の撮影装置。
＜１２＞
前記第１の画像は、前記車両の後部の直後より後方が写る画像である
＜１＞ないし＜１１＞のいずれかに記載の撮影装置。
＜１３＞
前記第２の画像は、前記車両の後部の直後が写る画像である
＜１＞ないし＜１２＞のいずれかに記載の撮影装置。
＜１４＞
撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行うことと、
車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整することと
を含む画像処理方法。
＜１５＞
撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行う制御部と、
車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整するデータ量調整部と
して、コンピュータを機能させるためのプログラム。
【符号の説明】
【０２２８】
１０  車両，  １１  カメラユニット，  ２１  BM表示部，  ２２  RV表示部，  ２３  車内カメラ，  ３１  光学系，  ３２  イメージセンサ，  ３３  データ量調整部，  ３４  出力部，  ３５  取得部，  ３６  制御部，  ５１  画素，  ５２  AD変換部，  ５３  ラインメモリ，  ７１  メモリ，  ８１  制御部，  ８２  抽出部，  ９０１  バス，  ９０２  CPU，  ９０３  ROM，  ９０４  RAM，  ９０５  ハードディスク，  ９０６  出力部，  ９０７  入力部，  ９０８  通信部，  ９０９  ドライブ，  ９１０  入出力インタフェース，  ９１１  リムーバブル記録媒体
【図１】
2020090511.tif 000003
【図２】
2020090511.tif 000004
【図３】
2020090511.tif 000005
【図４】
2020090511.tif 000006
【図５】
2020090511.tif 000007
【図６】
2020090511.tif 000008
【図７】
2020090511.tif 000009
【図８】
2020090511.tif 000010
【図９】
2020090511.tif 000011
【図１０】
2020090511.tif 000012
【図１１】
2020090511.tif 000013
【図１２】
2020090511.tif 000014
【図１３】
2020090511.tif 000015
【図１４】
2020090511.tif 000016
【図１５】
2020090511.tif 000017
【図１６】
2020090511.tif 000018
【図１７】
2020090511.tif 000019
【国際調査報告】
2020090511.tif 000020
2020090511.tif 000021
2020090511.tif 000022
2020090511.tif 000023