(57)【要約】【課題】高精度な画像処理を安価に実現できる画像処理装置を提供する。【解決手段】画像処理装置は、入力された画像データを一時保持する記憶部と、前記記憶部に前記画像データを書き込む間、前記画像データの出力を遅延させる出力同期信号を、入力同期信号に基づき生成する生成部と、を備え、前記生成部は、前記画像データを前記記憶部から出力する速度が、前記画像データを前記記憶部に入力する速度より速くなる前記出力同期信号を生成する。【選択図】図６
2014135569.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データを一時保持する記憶部と、
前記記憶部に前記画像データを書き込む間、前記画像データの出力を遅延させる出力同期信号を、入力同期信号に基づき生成する生成部と、を備え、
前記生成部は、
前記画像データを前記記憶部から出力する速度が、前記画像データを前記記憶部に入力する速度より速くなる前記出力同期信号を生成することを特徴とする画像処理装置。
【請求項２】
前記生成部は、
出力側の水平ブランキング期間が、入力側の水平ブランキング期間よりも短い水平ブランキング期間となる前記出力同期信号を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記出力側の水平ブランキング期間は、
入力画像を撮像したレンズの歪み量に基づき算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記生成部は、
前記入力同期信号を所定時間遅延させた信号に基づき、前記出力同期信号を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記入力同期信号を所定時間遅延させる遅延量は、
入力画像を撮像したレンズの歪み量に基づき算出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記生成部は、
入力画像のピクセルクロックより高いピクセルクロックに基づき、前記出力同期信号を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記生成部は、
ハードウェアの実装により実現することを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関するものである。
【背景技術】
【０００２】
高精度な画像処理システムには、例えば、ステレオカメラなどがある。このような画像処理システムでは、例えば、レンズの設計値としてのディストーションや製造誤差、個体差などにより、光学的な歪みが発生することがある。そのため、画像処理システムでは、発生した光学的な歪みに対する補正処理（位置ずれ補正処理）などのような各種画像処理を高精度に行うことが求められる。そこで、画像処理システムでは、光学的な歪みに対する補正処理を行うための大きなラインバッファを含む高価なハードウェア（処理系）を備えている場合がある。これに対して、特許文献１には、レンズの光学的中心点に対応する位置を基点とした水平軸と垂直軸により、光学領域を４つに分割した各象限に基づき、ラインバッファの制御を切り替えることで、処理に必要なライン数を減らす撮像装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の技術では、画像処理精度に悪影響を及ぼすことが考えられる。
【０００４】
例えば、上述した特許文献１に開示される技術では、レンズの光学的中心点に対応する位置を基点とした主走査方向（水平軸）と副走査方向（垂直軸）により、光学領域を第１象限から第４象限に分割し、各象限に基づき、ラインバッファの制御を切り替えている。この場合には、同一象限内であっても、副走査方向についての歪み方向が、正／負のどちらか一方に定まらないようなラインに対して、高精度な歪み補正を行うことができない。
【０００５】
このように、従来の技術は、高精度な画像処理を安価に実現するものではない。
【０００６】
本発明は上記に鑑みてなされたものであって、高精度な画像処理を安価に実現できる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、入力された画像データを一時保持する記憶部と、前記記憶部に前記画像データを書き込む間、前記画像データの出力を遅延させる出力同期信号を、入力同期信号に基づき生成する生成部と、を備え、前記生成部は、前記画像データを前記記憶部から出力する速度が、前記画像データを前記記憶部に入力する速度より速くなる前記出力同期信号を生成する。
【発明の効果】
【０００８】
本発明によれば、高精度な画像処理を安価に実現できるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、第１の実施形態に係る画像処理システムの構成例を示す図である。
【図２】図２は、第１の実施形態に係る画像処理装置の構成例を示す図である。
【図３】図３は、４分割された各象限に基づく歪み補正方法の例を示す図である。
【図４】図４は、ラインバッファの使用方法例を示す図である。
【図５】図５は、第１の実施形態に係る読み出しタイミング生成部の構成例を示す図である。
【図６】図６は、第１の実施形態に係るラインバッファの入出力動作例（その１）を示す図である。
【図７】図７は、第１の実施形態に係る出力同期信号生成部の動作例を示す図である。
【図８】図８は、第１の実施形態に係るラインバッファの入出力動作例（その２）を示す図である。
【図９】図９は、変形例１に係る画像処理装置の構成例を示す図である。
【図１０】図１０は、変形例１に係る読み出しタイミング生成部の構成例を示す図である。
【発明を実施するための形態】
【００１０】
以下に、添付図面を参照して、画像処理装置の実施形態を詳細に説明する。
【００１１】
［第１の実施形態］
＜システム構成＞
図１は、本実施形態に係る画像処理システム１０００の構成例を示す図である。図１には、ステレオカメラに限らず、一般的なカメラシステムの構成例が示されている。
【００１２】
図１に示すように、本実施形態に係る画像処理システム１０００は、コントローラ１１０、操作パネル１２０、及び画像処理装置１００などを備え、それぞれが相互にバスＢで接続される。
【００１３】
操作パネル１２０は、表示装置と入力装置などを備えており、機器情報などを利用者に提供したり、動作設定や動作指示などの利用者操作を受け付けたりする。画像処理装置１００は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）などの画像処理回路を備えており、撮像装置１３０などで撮像され入力された画像に対して、所定の画像処理を行い、処理後の画像を出力する。画像処理には、例えば、歪み補正処理などがある。なお、本実施形態に係る画像処理システム１０００がステレオカメラの場合には、撮像装置１３０を２つ（複数）備える。
【００１４】
コントローラ１１０は、ＣＰＵ（Central  Processing  Unit）１１１、記憶装置１１２、通信Ｉ／Ｆ（Interface）１１３、及び外部Ｉ／Ｆ１１４などを備えており、それぞれが相互にバスＢで接続される。
【００１５】
ＣＰＵ１１１は、プログラムやデータをメモリ（ＲＡＭ：Random  Access  Memory）上に読み出し、処理を実行することで、装置全体の制御や搭載機能を実現する演算装置である。記憶装置１１２は、プログラムやデータを所定の記憶領域に保持する装置である。記憶装置１１２には、例えば、揮発性の半導体メモリであるＲＡＭ、不揮発性の半導体メモリであるＲＯＭ（Read  Only  Memory）、及び大容量の記憶装置であるＨＤＤ（Hard  Disk  Drive）などがある。
【００１６】
外部Ｉ／Ｆ１１４は、外部装置とのインタフェースである。外部装置には、例えば、記録媒体１１４ａなどがある。これにより、画像処理システム１０００は、記録媒体１１４ａの読み取り及び／又は書き込みを行うことができる。記録媒体１１４ａには、例えば、フレキシブルディスク、ＣＤ（Compact  Disk）、ＤＶＤ（Digital  Versatile  Disk）、及びメモリカード（Memory  Card）などがある。通信Ｉ／Ｆ１１３は、画像処理システム１０００を、所定のデータ伝送路に接続するインタフェースである。これにより、画像処理システム１０００は、他の機器とデータ通信を行うことができる。データ伝送路には、例えば、ネットワークなどがあり、有線又は無線などの接続方法や通信プロトコルなどの通信方式は問わない。
【００１７】
以上のように、本実施形態に係る画像処理システム１０００は、上記構成により、画像の撮影、画像の補正処理、画像の保存、画像の表示、画像の外部転送などの各種処理を実行することができる。
【００１８】
＜画像処理装置の構成＞
図２は、本実施形態に係る画像処理装置１００の構成例を示す図である。図２には、ステレオカメラに対応する画像処理回路の構成例が示されている。図２に示すように、本実施形態に係る画像処理装置１００は、ステレオカメラの各撮像装置１３０に対応するように、第１ラインバッファ１０１及び第２ラインバッファ１０２を備えている。また、本実施形態に係る画像処理装置１００は、第１書き込みアドレス計算部１１１及び第２書き込みアドレス計算部１１２を備えている。本実施形態に係る画像処理装置１００は、第１インターポレータ１７１及び第２インターポレータ１７２を備えている。
【００１９】
また、本実施形態に係る画像処理装置１００は、ＸＹ座標カウンタ１２、読み出しタイミング生成部１３、Ｘ’Ｙ’座標カウンタ１４、座標計算部１５、及び読み込みアドレス計算部１６などを備えている。本実施形態に係る画像処理装置１００は、上記部品が回路上で相互に接続されている。
【００２０】
第１ラインバッファ１０１及び第２ラインバッファ１０２は、各撮像装置１３０からの入力画像データ（入力画像信号）１，２を、所定のデータ量、一時保持する（バッファリングする）メモリ（記憶部）である。なお、第１ラインバッファ１０１及び第２ラインバッファ１０２を総称する場合には、ラインバッファ１０という。
【００２１】
第１書き込みアドレス計算部１１１及び第２書き込みアドレス計算部１１２は、入力同期信号１，２に基づき、書き込みアドレスをインクリメントする。第１書き込みアドレス計算部１１１及び第２書き込みアドレス計算部１１２は、各入力画像データ１，２をラインバッファ１０に書き込むための書き込みアドレス［Ａｄｄｒ＿ｗ１］，［Ａｄｄｒ＿ｗ２］を指定する。なお、第１書き込みアドレス計算部１１１及び第２書き込みアドレス計算部１１２を総称する場合には、書き込みアドレス計算部１１という。また、書き込みアドレス［Ａｄｄｒ＿ｗ１］，［Ａｄｄｒ＿ｗ２］を総称する場合には、書き込みアドレス［Ａｄｄｒ＿ｗ］という。計算された書き込みアドレス［Ａｄｄｒ＿ｗ］は、書き込みアドレス計算部１１からラインバッファ１０と読み込みアドレス計算部１６へと渡される。
【００２２】
なお、ラインバッファ１０は、上記書き込みアドレス計算部１１による書き込みアドレス指定に基づき、所定のデータ量より前に保持したデータが上書きされ、リングバッファのように使用される。
【００２３】
ＸＹ座標カウンタ１２は、入力同期信号１，２に基づき、現在入力されている入力画像データ１，２の画素が、各入力側の画像空間上のどの画素に対応するのかを計算する。つまり、ＸＹ座標カウンタ１２は、各入力側書き込み時の画素の座標値［Ｘ１，Ｙ１］，［Ｘ２，Ｙ２］を計算する。なお、各入力側書き込み時の画素の座標値［Ｘ１，Ｙ１］，［Ｘ２，Ｙ２］を総称する場合には、入力側書き込み時の画素の座標値［Ｘ，Ｙ］という。計算された入力側書き込み時の画素の座標値［Ｘ，Ｙ］は、ＸＹ座標カウンタ１２から読み込みアドレス計算部１６へと渡される。
【００２４】
読み出しタイミング生成部１３は、第１ラインバッファ１０１に入力画像データ１を、第２ラインバッファ１０２に入力画像データ２を、所定のデータ量、書き込む間、画像データの読み出しを遅延させる出力同期信号を生成する。読み出しタイミング生成部１３は、入力同期信号１，２に基づき、出力同期信号を生成する。
【００２５】
Ｘ’Ｙ’座標カウンタ１４は、読み出しタイミング生成部１３を介して入力された入力同期信号１，２に基づき、現在入力されている入力画像データ１，２の画素が、各出力側の画像空間上のどの画素に対応するのかを計算する。つまり、Ｘ’Ｙ’座標カウンタ１４は、各出力側読み込み時の画素の座標値［Ｘ’１，Ｙ’１］，［Ｘ’２，Ｙ’２］を計算する。なお、各出力側読み込み時の画素の座標値［Ｘ’１，Ｙ’１］，［Ｘ’２，Ｙ’２］を総称する場合には、出力側読み込み時の画素の座標値［Ｘ’，Ｙ’］という。計算された出力側読み込み時の画素の座標値［Ｘ’，Ｙ’］は、Ｘ’Ｙ’座標カウンタ１４から座標計算部１５と読み出しアドレス計算部１６へと渡される。
【００２６】
座標計算部１５は、高次多項式により、画素単位の座標変換処理を行う。このとき座標計算部１５は、各出力側の座標値（座標変換先の座標値）に対する各入力側の座標値（座標変換元の座標値）の座標移動量［Δｘ１，Δｙ１］，［Δｘ２，Δｙ２］を計算する。つまり、座標計算部１５は、上述した歪みを補正するための座標変換時の座標変換量を計算する。なお、座標移動量［Δｘ１，Δｙ１］，［Δｘ２，Δｙ２］を総称する場合には、座標移動量［Δｘ，Δｙ］という。計算された座標移動量［Δｘ，Δｙ］は、座標計算部１５から読み込みアドレス計算部１６へと渡される。
【００２７】
読み込みアドレス計算部１６は、第１ラインバッファ１０１及び第２ラインバッファ１０２の読み込みアドレス［Ａｄｄｒ＿ｒ１］，［Ａｄｄｒ＿ｒ２］を計算する。なお、読み込みアドレス［Ａｄｄｒ＿ｒ１］，［Ａｄｄｒ＿ｒ２］を総称する場合には、読み込みアドレス［Ａｄｄｒ＿ｒ］という。このとき読み込みアドレス計算部１６は、入力側書き込み時の画素の座標値［Ｘ，Ｙ］、出力側読み込み時の画素の座標値［Ｘ’，Ｙ’］、及び座標変換元の座標移動量［Δｘ，Δｙ］に基づき、ラインバッファ１０の読み込みアドレス［Ａｄｄｒ＿ｒ］を計算する。なお、本実施形態に係る読み込みアドレス計算部１６は、読み込みアドレス［Ａｄｄｒ＿ｒ］の計算に以下の計算式（式１）を用いる。
Ａｄｄｒ＿ｒ＝Ａｄｄｒ＿ｗ−(Y−Y’+Δy)×Ｌｉｎｅｐｉｘ−(X−X’+Δx)  ・・・  （式１）
Ａｄｄｒ＿ｒ：読み込みアドレス，Ａｄｄｒ＿ｗ：書き込みアドレス
X,Y：入力側書き込み時の画素の座標値，X’,Y’：出力側読み込み時の画素の座標値
Δx,Δy：座標変換元の座標移動量
Ｌｉｎｅｐｉｘ：１ラインのピクセル数（画素数）
【００２８】
計算された読み込みアドレス［Ａｄｄｒ＿ｒ］は、ラインバッファ１０と第１インターポレータ１７１及び第２インターポレータ１７２へと渡される。
【００２９】
第１インターポレータ１７１及び第２インターポレータ１７２は、各ラインバッファ１０に保持されている入力画像データ１，２を画素単位で読み出し、読み出した画素に対してインターポレーション（Interpolation）などの画像フィルタ処理を行う。本実施形態に係る第１インターポレータ１７１及び第２インターポレータ１７２は、インターポレーションに、バイリニア補間（Bilinear：双一次補間）を用いる。この場合、第１インターポレータ１７１及び第２インターポレータ１７２は、バイリニア補間で必要な４画素の左上に位置する画素のアドレスを、読み出し画素座標として指定する。なお、第１インターポレータ１７１及び第２インターポレータ１７２を総称する場合には、インターポレータ１７という。
【００３０】
これにより、本実施形態に係るインターポレータ１７からは、画像フィルタ処理後の出力画像データ１，２が出力される。
【００３１】
以上のように、本実施形態に係る画像処理装置１００は、上記構成により、撮像装置１３０からの入力画像に対して、高精度な画像処理を施し、高画質画像を出力する画像処理機能を実現することができる。
【００３２】
＜画像処理機能＞
本実施形態に係る画像処理機能について説明する。本実施形態に係る画像処理装置１００は、入力画像データ１を第１ラインバッファ１０１に、また、入力画像データ２を第２ラインバッファ１０２に書き込む（以下便宜上「入力」という）。その後、画像処理装置１００は、各ラインバッファ１０の画像データに対して、歪み補正などの画像処理（座標変換）を行い、画像処理後の画像データを読み出す（以下便宜上「出力」という）。その結果、画像処理装置１００からは、出力画像データ１，２が得られる。このとき画像処理装置１００は、一時保持（以下「バッファリング」という）された画像データをラインバッファ１０から出力する速度が、画像データをラインバッファ１０に入力する速度より速くなる出力同期信号を生成する。本実施形態に係る画像処理装置１００は、このような画像処理機能を有している。
【００３３】
例えば、ステレオカメラでは、２つのカメラの位置関係や各カメラの光学的な歪みを補正するために、大きなラインバッファ１０が必要となる。具体的には、ステレオカメラの副走査方向の歪みを補正するためには、ラインバッファ１０のライン数として、少なくとも、副走査方向における正の方向の歪み量と負の方向の歪み量の合計の最大値＋１のライン数が必要となる。例えば、副走査方向における正の方向の歪み量の最大値が２０画素、負の方向の歪み量の最大値が２０画素である場合には、歪み量がゼロ（０）であるときも含め、合計４１ライン分のラインバッファ１０が必要となる。
【００３４】
画像処理装置１００では、このようなラインバッファ１０の大きさ（メモリリソースの大きさ）が製品コストに影響を及ぼすため、できるだけ少なくすることが望ましい。そのため、従来では、レンズの光学的中心点に対応する位置を基点とした主走査方向と副走査方向により、光学領域を４つの象限に分割し、各象限に基づき、ラインバッファの制御を切り替える技術が提案されている。
【００３５】
図３は、４分割された各象限に基づく歪み補正方法の例を示す図である。図３には、レンズの光学的中心に対応する位置を基点に、画像を主走査方向（ｘ）の直線と副走査方向（ｙ）の直線で４つの象限に分割した場合の例が示されている。同一象限内では、主走査方向と副走査方向のそれぞれにおいて、歪みの正／負の方向が一定である。また、１つの象限内では、主走査方向と副走査方向のそれぞれにおいて、正／負のどちらか一方向のみの歪みしか発生しない（あるいは歪みがない）。例えば、同図における第１象限内の全ての点では、ｘ方向、ｙ方向のいずれについても、負の方向にのみ歪みが発生している。そのため、副走査方向については、各象限ごとに正／負のどちらか一方向について歪み補正を行うためのラインバッファ１０があればよい。
【００３６】
しかし、上述した従来の技術は、各象限内において、主走査方向と副走査方向のそれぞれの歪みの方向が、正／負のどちらか一方向のみであるという前提が成立するときに適応可能な技術である。よって、従来の技術では、これらの前提が成立しない場合、高精度な歪み補正を行うことができない。例えば、ステレオカメラでは、レンズの設計値としてのディストーションや製造誤差、個体差などのほか、レンズと撮像素子の位置関係による歪みや、２つのカメラ間の相対位置によるずれなどによって、歪みを補正する方向や補正量が変わってくる。このような場合には、４つの象限の境界において、歪みの正／負の方向が逆転する、また、同一ライン上の同一象限内であっても、歪みの正／負の方向がどちらか一方に定まらないなどの状況が生じる。そのため、従来の技術のような、４分割された各象限に基づき決定したラインバッファ１０のライン数では、正確な歪み補正を行うことができない。
【００３７】
そこで、本実施形態に係る画像処理機能では、バッファリングされた画像データをラインバッファ１０から出力する速度を、画像データをラインバッファ１０に入力する速度より速くする仕組みとした。
【００３８】
これにより、本実施形態に係る画像処理機能は、出力した画像データのバッファリング領域を、入力速度より速く解放し、解放したバッファリング領域を次の入力に利用することで、ラインバッファ１０のライン数を削減可能な環境を提供する。その結果、本実施形態に係る画像処理装置１００は、高精度な画像処理を安価に実現できる。
【００３９】
まず、本実施形態に係るラインバッファ１０の使用方法について説明する。図４は、ラインバッファ１０の使用方法例を示す図である。図４（ａ）には、画面上における歪み補正前の入力画像と歪み補正後の出力画像との関係が示されている。また、図４（ｂ）には、本実施形態に係るラインバッファ１０の使用方法が示されている。
【００４０】
図４（ａ）に示すように、画面上部に位置する歪みは、画面の座標空間において上方向へ引き伸ばすように座標変換を行うこと（座標変換元から座標変換先へ座標を移動すること）で補正される。また、画面下部の歪みは、画面の座標空間において下方向へ引き伸ばすように座標変換を行うことで補正される。
【００４１】
このことから、本実施形態では、図４（ｂ）に示すように、画面上部の場合、上方向への座標変換のみに、画面下部の場合、下方向への座標変換のみにラインバッファ１０を使用する方式を採用する。これに対して、従来では、上下方向の両方に対応するラインバッファ１０を備えていた。よって、本実施形態の使用方法では、従来の使用方法に比べて、ラインバッファ１０のライン数を半減することができる。
【００４２】
また、本実施形態では、図４（ｂ）に示すように、レンズ特性によって歪みを補正する方向が変化することを考慮したラインバッファ１０を備える。具体的には、ラインバッファ１０は、画面上部の上方向への座標変換のみに使用する場合であっても、下方向へも座標変換ができるように数ライン分の余裕を持っている。同様に、ラインバッファ１０は、画面下部の下方向への座標変換のみに使用する場合であっても、上方向へも座標変換ができるように数ライン分の余裕を持っている。
【００４３】
以下に、本実施形態に係る画像処理機能の構成とその動作について説明する。なお、本実施形態に係る画像処理機能は、画像データの読み出しを遅延させる出力同期信号の生成処理を行う読み出しタイミング生成部１３により実現される機能である。
【００４４】
図５は、本実施形態に係る読み出しタイミング生成部１３の構成例を示す図である。図５には、ステレオカメラに対応する読み出しタイミング生成部１３の構成例が示されている。図５に示すように、本実施形態に係る読み出しタイミング生成部１３は、出力同期信号生成部１３１などを有している。
【００４５】
出力同期信号生成部１３１は、画像データの読み出しを遅延させる出力同期信号を生成する機能部である。つまり、出力同期信号生成部１３１は、バッファリングされた画像データのラインバッファ１０からの出力を遅延させる出力同期信号を生成する。このとき出力同期信号生成部１３１は、バッファリングされた画像データをラインバッファ１０から出力する速度が、画像データをラインバッファ１０に入力する速度より速くなる出力同期信号を生成する。
【００４６】
図６は、本実施形態に係るラインバッファ１０の入出力動作例（その１）を示す図である。図６には、縦軸を［ライン番号］、横軸を［時間］とするグラフにより、ラインバッファ１０の入出力動作が示されている。また、図６（ａ）には、従来のラインバッファ１０の入出力動作、一方、図６（ｂ）には、本実施形態に係るラインバッファ１０の入出力動作が示されている。
【００４７】
図６（ａ）に示すように、従来の出力同期信号生成部１３１は、ラインバッファ１０への入力が開始されてから、所定時間の［Ｔ１］を経過した後に（所定時間遅延させて）、ラインバッファ１０からの出力が開始されるように、出力同期信号を生成している。なお、所定時間の［Ｔ１］は、予め決められた時間である。その後、従来の出力同期信号生成部１３１は、最終ラインまで、ラインバッファ１０への入力速度とラインバッファ１０からの出力速度が同一となる出力同期信号を生成している。よって、従来では、ラインバッファ１０から画像データの出力が開始されても、常に一定量の画像データがバッファリングされている。
【００４８】
これに対して、本実施形態に係る出力同期信号生成部１３１は、図６（ｂ）に示すように、ラインバッファ１０への入力が開始されてから、所定時間の［Ｔ２］を経過した後に、ラインバッファ１０からの出力が開始されるように、出力同期信号を生成する。その後、本実施形態に係る出力同期信号生成部１３１は、最終ラインまでの間に、ラインバッファ１０からの出力速度が、ラインバッファ１０への入力速度より速くなる出力同期信号を生成する。
【００４９】
このとき出力同期信号生成部１３１は、図７に示すような動作により、ラインバッファ１０からの出力速度が、ラインバッファ１０への入力速度より速くなる出力同期信号を生成する。
【００５０】
図７は、本実施形態に係る出力同期信号生成部１３１の動作例を示す図である。図７には、ラインバッファ１０へのライン単位（１ラインごと）の入力動作と出力動作の例が示されている。図７に示すように、本実施形態に係る出力同期信号生成部１３１は、入力側の水平ブランキング期間（水平帰線期間：Ｈブランク）よりも短い水平ブランキング期間の同期信号を、出力側の水平ブランキング期間の同期信号（出力同期信号）として生成する。つまり、本実施形態に係る出力同期信号生成部１３１は、出力側の水平ブランキング期間が、入力側の水平ブランキング期間よりも短い水平ブランキング期間となる出力同期信号を生成する。
【００５１】
また、本実施形態に係る出力同期信号生成部１３１は、入力同期信号を所定時間の［Ｔ２］だけ遅延させた信号に基づき、出力同期信号を生成する。その結果、本実施形態では、ラインバッファ１０への入力タイミングとラインバッファ１０からの出力タイミングに、逐次ずれが発生する。また、ラインバッファ１０への入力タイミングとラインバッファ１０からの出力タイミングのずれ量は、時間経過とともに（画面上部から画面下部に向かっていくたびに）、少なくなっていく（ずれ量Ａ＞ずれ量Ｂ）。
【００５２】
なお、本実施形態では、ラインバッファ１０からの出力開始を遅延させる所定時間（以下「初期遅延量」という）と出力側の水平ブランキング期間は、撮像装置１３０が備えるレンズの歪み量に基づき算出する。
【００５３】
このように、本実施形態に係る画像処理機能は、レンズの歪み量に基づく初期遅延量を設定し、出力側の水平ブランキング期間を変える簡易なハードウェアロジック（ハードウェアの実装）により、目的とする機能を実現する。
【００５４】
本実施形態に係る画像処理機能では、初期遅延量の時間分、ラインバッファ１０へ入力された画像データの出力が開始され、最終ライン入力時には、直前にラインバッファ１０へ入力された画像データが出力される。これにより、本実施形態に係る画像処理機能では、出力した画像データのバッファリング領域が、入力速度より速く解放され、解放されたバッファリング領域を次の入力に利用することができる。その結果、本実施形態に係る画像処理機能では、従来のように、画面上部の上方向への座標変換と画面下部の下方向への座標変換の両方を考慮したライン数を有するラインバッファ１０を備える必要がない。本実施形態に係る画像処理機能では、上述したバッファリング領域の解放により、画面上部の上方向への座標変換のみに、また、画面下部の下方向への座標変換のみにラインバッファ１０を使用することができ、ラインバッファ１０のライン数を削減できる。
【００５５】
例えば、入力側の水平ブランキング期間が８０２クロックの場合には、出力側の水平ブランキング期間を６６９クロック、初期遅延量を２５．６５ライン分の時間に設定すれば、ラインバッファ１０のライン数を１１０ラインから６２ラインにまで削減できる。
【００５６】
なお、ラインバッファ１０からの出力速度を、ラインバッファ１０への入力速度より速くする方法は、入力側の水平ブランキング期間より出力側の水平ブランキング期間を短くする方法だけではない。例えば、入力側のクロック（入力画像のピクセルクロック）よりも出力側のクロック（出力画像のピクセルクロック）を高くする方法であってもよい。この場合、出力同期信号生成部１３１は、入力側のクロックより高くした出力側のクロックに基づき、出力同期信号を生成する。
【００５７】
ここで、限られたラインバッファ１０を有効に使用するための方法について提案する。図４（ｂ）に示したように、本実施形態に係るラインバッファ１０は、次のような特徴を有している。ラインバッファ１０は、画面上部の上方向への座標変換のみに使用する場合であっても、下方向へも座標変換ができるように数ライン分の余裕を持っている。同様に、ラインバッファ１０は、画面下部の下方向への座標変換のみに使用する場合であっても、上方向へも座標変換ができるように数ライン分の余裕を持っている。
【００５８】
図８は、本実施形態に係るラインバッファ１０の入出力動作例（その２）を示す図である。図８には、上記特徴を有するラインバッファ１０を有効に使用するための入出力動作が示されている。図８に示すように、上記特徴を有するラインバッファ１０を有効に使用するためには、初期遅延量を理想値［Ｔ２］よりも少し短い値［Ｔ３］するとよい。また、出力側の水平ブランキング期間も理想値よりも少し長くし、最終ラインにおいて、ラインバッファ１０への入力が終了してから、所定時間の［Ｔ４］だけ遅延させて、ラインバッファ１０からの出力が終了するようにするとよい。この方法は、実際の画像処理において行われるレンズの歪み補正以外の補正を考慮し、初期遅延量と出力側の水平ブランキング期間に、ある程度の余裕を持たせることが望ましいからである。
【００５９】
以上のように、本実施形態に係る画像処理機能は、上記構成により、出力した画像データのバッファリング領域を、入力速度より速く解放し、解放したバッファリング領域を次の入力に利用でき、ラインバッファ１０のライン数を削減することができる。
【００６０】
図５の説明に戻る。なお、本実施形態では、ステレオカメラを例に説明を行っている。よって、出力同期信号生成部１３１は、撮像装置１３０に対応する２つの入力系統（複数の入力画像）からの入力同期信号に対して、１つの出力同期信号を生成する。
【００６１】
＜まとめ＞
以上のように、本実施形態に係る画像処理装置１００によれば、読み出しタイミング生成部１３が、バッファリングされた画像データをラインバッファ１０から出力する速度が、画像データをラインバッファ１０に入力する速度より速くなる出力同期信号を生成する。より具体的には、読み出しタイミング生成部１３が、入力側の水平ブランキング期間よりも短い水平ブランキング期間の同期信号を、出力側の水平ブランキング期間の同期信号（出力同期信号）として生成する。また、読み出しタイミング生成部１３が、入力同期信号を所定時間の［Ｔ２］だけ遅延させた信号に基づき、出力同期信号を生成する。
【００６２】
これによって、本実施形態に係る画像処理装置１００は、出力した画像データのバッファリング領域を、入力速度より速く解放し、解放したバッファリング領域を次の入力に利用することで、ラインバッファ１０のライン数を削減可能な環境を提供する。その結果、本実施形態に係る画像処理装置１００は、レンズの歪み量に基づく初期遅延量を設定し、出力側の水平ブランキング期間を変える簡易なハードウェアロジックにより、高精度な画像処理を安価に実現できる。
【００６３】
なお、上記実施形態では、画像処理装置１００がインターポレータ１７を備える構成例について説明を行ったが、この限りでない。インターポレータ１７は、画像の高画質化に必要な機能である。よって、画像の高画質化が必要でない場合には、画像処理装置１００がインターポレータ１７を備える必要がない。この場合、画像処理装置１００は、例えば、小数点以下を四捨五入した座標の画素をラインバッファ１０から読み込み、出力画像データとして出力すればよい。
【００６４】
以下に、本実施形態に係る画像処理装置１００の変形例について説明する。なお、以下の変形例の説明では、本実施形態と同じ点について、同一の参照符号を付し、その説明を省略する。
【００６５】
［変形例１］
上記実施形態では、ステレオカメラを例に説明を行ったが、この限りでない。例えば、撮像装置１３０を単体で備える画像処理システム１０００であってもよい。
【００６６】
図９は、本変形例１に係る画像処理装置１００の構成例を示す図である。図９には、撮像装置１３０を単体で備える画像処理システム１０００が備える画像処理装置１００の構成例が示されている。本変形例１に係る画像処理装置１００は、ラインバッファ１０、書き込みアドレス計算部１１、及びインターポレータ１７を単体で備える。
【００６７】
図１０は、本変形例１に係る読み出しタイミング生成部１３の構成例を示す図である。図１０には、１つの入力系統に対応する画像処理装置１００が有する読み出しタイミング生成部１３の構成例が示されている。図１０に示すように、変形例１に係る読み出しタイミング生成部１３は、撮像装置１３０に対応する１つの入力系統からの入力同期信号に対して、１つの出力同期信号を生成する出力同期信号生成部１３１を有する。
【００６８】
このように、撮像装置１３０を単体で備える画像処理システム１０００の場合には、１つの入力系統に対応する構成であればよい。
【００６９】
最後に、上記実施形態に挙げた形状や構成に、その他の要素との組み合わせなど、ここで示した要件に、本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【００７０】
１３    読み出しタイミング生成部
１３１  出力同期信号生成部
１００  画像処理装置
１０００  画像処理システム
【先行技術文献】
【特許文献】
【００７１】
【特許文献１】特許第４７９１３９９号公報
【図１】
2014135569.tif 000003
【図２】
2014135569.tif 000004
【図３】
2014135569.tif 000005
【図４】
2014135569.tif 000006
【図５】
2014135569.tif 000007
【図６】
2014135569.tif 000008
【図７】
2014135569.tif 000009
【図８】
2014135569.tif 000010
【図９】
2014135569.tif 000011
【図１０】
2014135569.tif 000012