(57)【要約】【課題】１フレーム分の画像処理を所定時間内に完了できない場合でも、後段の装置にエラーを発生させることなく画像出力する。【解決手段】入力画像に所定の画像処理を施して、複数の矩形領域画像からなる出力画像を出力する画像処理装置２００Ｂにおいて、入力画像を記憶するフレームメモリ１０２と、入力画像の少なくとも一部を読出して所定の画像処理を行い、矩形領域画像を生成するエリア画像生成部１０７と、矩形領域画像を、出力画像の主走査方向に複数ライン蓄積するラインバッファ１０８と、ラインバッファ１０８から１ラインずつ読出すことで後段の装置へ出力画像を出力するラインバッファ出力制御部１０９と、を備え、ラインバッファ出力制御部１０９は、１フレームの処理期間内に所定のライン数を出力できるか否かを判別する出力ライン数判定部を備える。【選択図】図５
2018156414.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に所定の画像処理を施して、複数の矩形領域画像からなる出力画像を出力する画像処理装置において、
前記入力画像を記憶する画像記憶部と、
前記画像記憶部から前記入力画像の少なくとも一部を読出して所定の画像処理を行い、前記矩形領域画像を生成する画像処理部と、
前記画像処理部で生成した前記矩形領域画像を、前記出力画像の主走査方向に複数ライン蓄積するラインバッファと、
前記ラインバッファから１ラインずつ読出すことで後段の装置へ前記出力画像を出力する画像出力部と、を備え、
前記画像出力部は、１フレームの処理期間内に所定のライン数を出力できるか否かを判別する出力ライン数判定部を備えることを特徴とする画像処理装置。
【請求項２】
前記出力ライン数判定部は、前記画像出力部からの出力ライン数が不足すると判定した場合は、前記ラインバッファに格納済みのラインデータを繰り返し出力することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記出力ライン数判定部は、前記画像出力部からの出力ライン数が不足すると判定した場合は、予め設定された所定のラインデータを出力することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記出力ライン数判定部は、１フレームの処理期間において、経過時間に対して最低限出力されるべきライン数である最低出力ライン数を算出するカウンタを備え、出力済みのライン数が、前記カウンタの値以下となったときに、前記画像出力部からの出力ライン数が不足すると判定することを特徴とする請求項１から３までのいずれかに記載の画像処理装置。
【請求項５】
前記カウンタは、１フレームの処理開始時刻を０とし、該開始時刻から一定期間は０を示し、その後増加するカウンタであることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記出力ライン数判定部は、１フレームの処理期間において、経過時間に対して最短時間でラインデータを出力した場合の出力可能残りライン数である最速出力可能ラインを算出するカウンタを備え、残りのライン数が、前記カウンタの値以上となったときに、前記画像出力部からの出力ライン数が不足すると判定することを特徴とする請求項１から３までのいずれかに記載の画像処理装置。
【請求項７】
前記カウンタは、１フレームの処理開始時刻における初期値から減少するカウンタであることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記出力ライン数判定部は、出力ライン数が不足すると判定した場合は、ユーザ、または、前記後段の装置にエラーを通知する通知部を備えることを特徴とする請求項１から７までのいずれかに記載の画像処理装置。
【請求項９】
入力画像に所定の画像処理を施して、複数の矩形領域画像からなる出力画像を出力する画像処理方法において、
前記入力画像を記憶する画像記憶処理と、
前記入力画像の少なくとも一部を読出して所定の画像処理を行い、前記矩形領域画像を生成する矩形領域画像生成処理と、
前記矩形領域画像を、ラインバッファに前記出力画像の主走査方向に複数ライン蓄積させる蓄積処理と、
前記ラインバッファから１ラインずつ読出すことで後段の装置へ前記出力画像を出力する画像出力処理と、行い、
前記画像出力処理では、１フレームの処理期間内に所定のライン数を出力できるか否かを判別することを特徴とする画像処理方法。
【請求項１０】
被写体の像を結像させる光学系と、
前記光学系で結像される光を受光する固体撮像素子と、
請求項１から８までのいずれかに記載の画像処理装置と、を備えることを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および撮像システムに関する。
【背景技術】
【０００２】
画像処理装置からの出力画像が画像処理された複数の矩形領域（矩形領域画像）からなり、該画像処理装置での画像処理は、入力画像の一部または全部から必要な画素を読出して行われるとともに、画素の読出しから画像処理にかかる時間が、矩形領域毎に異なる構成の画像処理装置が知られている。
【０００３】
このような画像処理装置は、画像処理された矩形領域を一旦フレームメモリに格納してから、フレームメモリから１ラインずつ読出し、後段の装置へ出力する構成を有している。このため、矩形領域毎の画像処理時間がかかり、１フレーム分の出力を所定時間内に完了できない場合には、ディスプレイ装置などの後段の装置でエラー判定されてしまうことを回避するため、例えば、前フレームの画像を出力する構成となっている。このため、生成された矩形領域画像を、一旦フレームメモリに蓄積してから出力する構成の画像処理装置では、１フレーム分の遅延が発生する。
【０００４】
特許文献１には、出力画像データを複数の出力画像エリアに分割し、各出力画像エリアを形成するために必要な入力画像データの一部を参照画像データとして読み出して画像メモリに書き込み、出力画像エリア単位で画像変形処理を行う画像変形回路において、各出力画像エリアに対応した参照画像データを画像メモリから読み出すための制御情報から、参照画像データの入力画像データ全体における参照画像の副走査方向画素数を算出し、算出された参照画像の副走査方向画素数を、入力画像データを画像メモリに対して書き込み済みのライト済み副走査方向画素数と比較し、参照画像の副走査方向画素数がライト済み副走査方向画素数よりも大きいと判断されたとき、画像メモリへの参照画像のリード要求信号をネゲートするためのペンディング信号をアクティブにすることで、フレーム遅延をできるだけ小さくすることが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した１フレーム単位での遅延を低減するために、矩形領域画像を生成しながら複数のラインメモリにデータを蓄積しつつ、随時読み出していくことが考えられる。しかしながら、上述のように矩形領域画像の生成にかかる時間（矩形領域毎の画像処理時間）は矩形領域毎に異なるため、後段の装置に対してライン単位で画像処理後の画像データを出力するにあたり、各ラインの出力時間が異なってしまうことになる。
【０００６】
そのため、矩形領域毎の画像処理時間がかかり、１フレーム分の出力を所定時間内に完了できない場合には、後段の装置が１フレーム期間中に必要とするラインの信号が不足して、後段の装置でエラーと判定されてしまう。なお、特許文献１の発明は、フレーム遅延を小さくするものであり、所定時間内に１フレーム分の出力を完了できない場合に後段の装置でエラーと判定されてしまう点については、解消することができない。
【０００７】
そこで本発明は、１フレーム分の画像処理を所定時間内に完了できない場合でも、後段の装置にエラーを発生させることなく画像出力することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
かかる目的を達成するため、本発明に係る画像処理装置は、入力画像に所定の画像処理を施して、複数の矩形領域画像からなる出力画像を出力する画像処理装置において、入力画像を記憶する画像記憶部と、画像記憶部から入力画像の少なくとも一部を読出して所定の画像処理を行い、矩形領域画像を生成する画像処理部と、画像処理部で生成した矩形領域画像を、出力画像の主走査方向に複数ライン蓄積するラインバッファと、ラインバッファから１ラインずつ読出すことで後段の装置へ出力画像を出力する画像出力部と、を備え、画像出力部は、１フレームの処理期間内に所定のライン数を出力できるか否かを判別する出力ライン数判定部を備えるものである。
【発明の効果】
【０００９】
本発明によれば、１フレーム分の画像処理を所定時間内に完了できない場合でも、後段の装置にエラーを発生させることなく画像出力することができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置を含む撮像システムの一例を示す概略構成図である。
【図２】（Ａ）画像処理装置への入力画像のイメージ、（Ｂ）画像処理装置からの出力画像のイメージである。
【図３】画像処理装置における画像データの処理の一例を示すフローチャートである。
【図４】画像処理装置の画像処理部の機能構成の一例を示すブロック図である。
【図５】画像処理装置の画像処理部の機能構成の一例を示すブロック図である（第１の実施形態）。
【図６】エリア画像の一例を示す模式図である。
【図７】ラインバッファの一例を示す模式図である。
【図８】ラインバッファにエリア画像が格納されたイメージを示す説明図である。
【図９】１フレーム期間内での総生成エリア数を示すグラフである。
【図１０】１フレーム期間内での総出力ライン数を示すグラフである（比較例）。
【図１１】１フレーム期間内での総出力ライン数を示すグラフである（第１の実施形態）。
【図１２】１フレーム期間内における最低出力ライン数を示すグラフである。
【図１３】ディスプレイ装置の出力有効画像データとブランク画素数の説明図である。
【図１４】１フレーム期間内における最低出力ライン数の算出方法の説明図である。
【図１５】総出力ライン数によりエラーを判定する処理の説明図である。
【図１６】１フレーム期間内における最低出力ライン数と残り出力ライン数を示すグラフである。
【図１７】１フレーム期間内における最速出力可能ライン数の算出方法の説明図である。
【図１８】残り出力ライン数によりエラーを判定する処理の説明図である。
【図１９】画像処理装置を含む撮像システムの他の例を示す概略構成図である。
【図２０】画像処理装置の画像処理部の機能構成の他の例を示すブロック図である（第４の実施形態）。
【発明を実施するための形態】
【００１１】
以下、本発明に係る構成を図１から図２０に示す実施の形態に基づいて詳細に説明する。
【００１２】
［第１の実施形態］
（撮像システム）
図１は、画像処理装置２００を含む撮像システム５００の一例を示す概略構成図である。
【００１３】
撮像装置３００は、例えば、魚眼レンズや超広角レンズなどの広角なレンズにより画角の広い撮像画像を撮像する撮像装置である。撮像装置３００は、魚眼レンズを構成し、被写体の像を結像させる光学系と、該光学系で結像される光を受光するＣＣＤ（Charge  Coupled  Device）センサやＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）センサなどの固体撮像素子を有し、固体撮像素子で受光した光分布を画像信号（画像データ）に変換して、画像処理装置２００に出力する。
【００１４】
画像処理装置２００は、例えば、撮像システム５００のコントローラとして撮像装置３００の筐体内に設けられる。画像処理装置２００は、撮像装置３００から入力された入力画像に所定の画像処理を施すものである。
【００１５】
撮像装置３００が、例えば、画角の広い撮像画像を撮像する撮像装置３００である場合、図２（Ａ）に示すように、画像処理装置２００への入力画像は、光学系の歪曲収差特性により、周辺部ほど歪曲率が大きい歪んだ画像となる。画像処理装置２００は、このような入力画像に対して、入力画像を分割した矩形領域（以下、エリア画像ともいう）ごとに歪みを補正するための画像処理を施す。このときの画像処理として、例えば、出力１画素ごとに対応する、入力画像の座標値とサブピクセル値を変形パラメータとして入力し、指定した入力画素に対してバイリニア補間、バイキュービック補間等の補間演算処理を行って、図２（Ｂ）に示すような出力画素を生成する方法が用いられている。
【００１６】
画像処理装置２００は、所定の画像処理を施した出力画像を、出力画像を表示するためのディスプレイ装置４００などの後段の装置（外部装置）に出力する。なお、図１では、外部装置の一例としてディスプレイ装置４００を示しているが、出力画像を印刷するための印刷装置、出力画像を記憶するためのＳＤ（登録商標）カードなどの外部記憶媒体、等の外部装置に出力するものであってもよい。
【００１７】
（画像処理装置）
次いで、図１を参照して画像処理装置２００の機能構成について説明する。画像処理装置は、画像処理部１００、画像入力部１０１、フレームメモリ１０２、および画像出力部１０３を備えている。
【００１８】
画像入力部１０１には、撮像装置３００から画像データが入力される。画像入力部１０１は、該画像データについて、電圧レベル変換やプロトコル変換などの種々の処理を施して、画像処理部１００で処理可能な画像データに変換する。
【００１９】
画像処理部１００は、例えば、図２に示すように、１フレームの出力画像を複数のエリア画像に分割して、エリア単位で所定の画像処理を施す。
【００２０】
フレームメモリ１０２は、撮像装置３００からより入力された入力画像、および、画像処理部１００で所定の画像処理を施して生成した出力画像を一時記憶するための記憶部である。
【００２１】
画像出力部１０３は、画像処理部１００から出力された画像データについて、電圧レベル変換やプロトコル変換などの種々の処理を施して、ディスプレイ装置４００で処理可能な画像データに変換する。
【００２２】
図１に示す画像処理装置２００における画像データの処理の一例を図３のフローチャートを参照して説明する。
【００２３】
先ず、撮像装置３００から画像データが出力され、該画像データは画像入力部１０１を介して画像処理部１００に入力される（Ｓ１０１）。画像処理部１００は、この画像データ（入力画像）をフレームメモリ１０２へ随時書き込む処理を行う（Ｓ１０２）。
【００２４】
１フレーム分の画像データの書き込みが終了するまで書き込み処理を実行し（Ｓ１０３：Ｎｏ）、１フレーム分の画像データの書き込みが終了すると（Ｓ１０３：Ｙｅｓ）、１フレームの出力画像を複数のエリア画像に分割して、エリア単位で出力画像の生成を行う。
【００２５】
先ず、各エリアの画像処理にあたり必要となる画像データ（すなわち、該当する１のエリアの画素データ）をフレームメモリ１０２から読出して（Ｓ１０４）、このエリアについて所定の画像処理を行う（Ｓ１０５）。例えば、バイリニア補間、バイキュービック補間による画素の補間演算処理を実行する。
【００２６】
所定の画像処理後の１エリアのデータ（エリア画像）は、フレームメモリ１０２へ書き込まれる（Ｓ１０６）。Ｓ１０４〜Ｓ１０６の処理を全てのエリアについて終了するまで繰り返す（Ｓ１０７：Ｎｏ）。全てのエリアについての画像処理の終了（Ｓ１０７：Ｙｅｓ）により、フレームメモリ１０２には画像処理後の１フレーム分の画像データ（出力画像）が記憶される。
【００２７】
次いで、フレームメモリ１０２から画像データを１ラインずつ読出して、後段の装置（例えば、ディスプレイ装置４００）へ出力し（Ｓ１０８）、１フレーム分の画像データの出力により１フレームの処理が終了する（Ｓ１０９：Ｙｅｓ）。
【００２８】
なお、図３のフローチャートでは、説明を簡易にするため各ステップの処理が逐次的に実行されるものとして説明したが、各ステップの処理は並列して処理されるものであってもよいのは勿論である。例えば、１フレーム分の画像データのフレームメモリ１０２への書き込みが終了する前（Ｓ１０３：Ｎｏ）から、すでに書き込まれたデータについての処理（Ｓ１０４以降）が開始されてもよい。
【００２９】
図４は、図３に示す処理を実行する画像処理装置２００（以下、画像処理装置２００Ａとする）の画像処理部１００の機能構成の詳細を示すブロック図である。画像処理部１００は、メモリコントローラ１０５、画像入力ＤＭＡＣ１０４（direct  memory  access  controller）、エリア画像生成部１０７、および画像出力ＤＭＡＣ１０６を備えている。
【００３０】
メモリコントローラ１０５は、フレームメモリ１０２へのアクセス順番等を制御して、フレームメモリ１０２を効率的に利用できるように優先順位を調停する機能を有している。ここでは、メモリコントローラ１０５は、（１）画像入力ＤＭＡＣ１０４によるフレームメモリ１０２への画像データ（入力画像）の書き込み、（２）エリア画像生成部１０７によるフレームメモリ１０２からの画像データ（画像処理前の各エリアの画素データ）の読出し、（３）エリア画像生成部１０７によるフレームメモリ１０２への画像データ（画像処理後の各エリアの画素データ）の書き込み、（４）画像出力ＤＭＡＣ１０６によるフレームメモリ１０２からの画像データ（出力画像）の読出し、等を調停して、フレームメモリ１０２へデータの書き込み、読出しを行う。
【００３１】
画像入力ＤＭＡＣ１０４は、画像入力部１０１からの画像データを、ＣＰＵ等を介さずにフレームメモリ１０２へ直接書き込むＤＭＡコントローラである。
【００３２】
エリア画像生成部１０７は、画像入力ＤＭＡＣ１０４によりフレームメモリ１０２へ書き込まれた画像データについて、エリア単位で、所定の画像処理に必要となる画素データをフレームメモリ１０２から読出し、所定の画像処理を施すとともに、画像処理後のエリア単位での画素データ（エリア画像）をフレームメモリ１０２へ書き込む。
【００３３】
画像出力ＤＭＡＣ１０６は、エリア画像生成部１０７が生成した１フレーム分の画像データを、フレームメモリ１０２から主走査方向の１ラインずつ読出して、画像出力部１０３へ出力する。
【００３４】
しかしながら、図４で示す画像処理装置２００Ａにより、図３に示す処理を実行した場合において、例えば、画像処理時間は矩形領域により異なるため、処理時間を要する矩形領域が多い場合など、１フレーム分の出力が所定時間内に完了できない場合、ディスプレイ装置４００などの後段の装置でエラー判定されてしまうこととなる。
【００３５】
これに対し、図５は、本実施形態に係る画像処理装置２００（以下、画像処理装置２００Ｂ）の画像処理部１００の機能構成の詳細を示すブロック図である。画像処理部１００は、メモリコントローラ１０５、画像入力ＤＭＡＣ１０４、エリア画像生成部１０７、ラインバッファ１０８、およびラインバッファ出力制御部１０９を備えている。
【００３６】
本実施形態に係る画像処理装置２００Ｂの画像処理部１００では、図４に示した構成と異なり、画像出力ＤＭＡＣ１０６を有さず、エリア画像生成部１０７が生成したエリア画像は、フレームメモリ１０２へは書き込まれずに、ラインバッファ１０８に出力される。
【００３７】
図６はエリア画像の一例を示す模式図である。エリア画像は、主走査画素数×ライン数で構成される。ここでは、１エリアが１６×１６画素で構成される例について説明する。
【００３８】
図７はラインバッファ１０８の一例を示す模式図である。また、図８はラインバッファ１０８にエリア画像（エリア０〜エリアｎ）が格納されたイメージを示す説明図である。ラインバッファ１０８は、図７に示すように、複数ライン（ここでは、ライン０〜ライン１５の１６ライン）のラインメモリで構成されており、図８に示すように、エリア単位でエリア画像が順次格納される。
【００３９】
ラインバッファ１０８に、主走査方向にエリア画像が蓄積された後、ラインバッファ出力制御部１０９は蓄積された１６ラインの画像データを、１ラインずつ画像出力部１０３へ転送する。ここで、ラインバッファ１０８は、ダブルバッファリングにより、エリア画像の蓄積と、ラインデータの出力を並行して処理することができる。
【００４０】
なお、本実施形態に係る画像処理装置２００Ｂでは、１エリアについての画像処理終了後に１エリア分のエリア画像をラインバッファ１０８に書き込む例を説明するが、２以上のエリア分のエリア画像について合成処理等を施した後にラインバッファ１０８に書き込むようにしてもよい。
【００４１】
図９は、図４に示した画像処理装置２００Ａのエリア画像生成部１０７による１フレーム期間内での時間（横軸）と、１フレーム期間内での総生成エリア数（縦軸）との関係を示すグラフである。なお、エリア数とは、エリア画像数を意味する。画像処理装置２００Ａでは、上述のように、エリア画像生成部１０７で所定の画像処理がされて生成されるエリア画像は、フレームメモリ１０２に格納される。
【００４２】
ここでは、２つのエリア（エリア０、エリア１）の例を示しており、図９に示すように１フレームの各エリア画像は、生成に要する時間が異なるものである。この理由は、例えば、エリアによって必要な画像処理での演算量が異なるためである。したがって、図９に示されるように、１フレーム期間内で生成されるエリア数は経過時間に比例して単純増加する関係にはならない。
【００４３】
図１０は、画像処理装置２００Ａでの１フレーム期間内での時間（横軸）と、１フレーム期間内での総出力ライン数（縦軸）との関係を示すグラフであり、図９で示す２つのエリアに対応している。
【００４４】
画像処理装置２００Ａでは、フレームメモリ１０２に格納されたエリア画像は、画像出力ＤＭＡＣ１０６によりフレームメモリ１０２から１ラインずつ読み出されて画像出力部１０３へ転送される。
【００４５】
このため、図１０に示されるように、画像出力部１０３から出力される画像データ（出力画像）は、一定時間ごとに１ライン出力することができ、１フレーム期間内での総出力ライン数は経過時間に比例して単純増加する関係となる。
【００４６】
図１１は、図５に示す画像処理装置２００Ｂでの１フレーム期間内での時間（横軸）と、１フレーム期間内での総出力ライン数（縦軸）との関係を示すグラフであり、２つのエリア（エリア０、エリア１）の例を示している。図１１の実線が画像処理装置２００Ｂでのラインバッファ１０８の使用時の総出力ライン数を示している。また、図１１には、比較のため画像処理装置２００Ａによるフレームメモリ１０２の使用時の総出力ライン数（点線）を併せて示している。
【００４７】
図１１に示すように、画像処理装置２００Ｂでは、画像出力部１０３からの総出力ライン数は、時間に比例して単純増加する関係を有しない。この点について説明する。
【００４８】
図４に示す画像処理装置２００Ａでは、エリア画像生成部１０７によって生成されるエリア画像は、１フレーム分、一旦フレームメモリ１０２に蓄積された後、画像出力部１０３にて所定のタイミングで必要なライン画像をフレームメモリ１０２から取り出して出力するため、図１０（図１１の点線）で示すように、総出力ライン数が単純増加となる。
【００４９】
一方、図５に示す画像処理装置２００Ｂでは、エリア画像生成部１０７によって生成されるエリア画像は、フレームメモリ１０２に格納されることなく、エリア画像を生成する毎に、ラインバッファ１０８へ出力していく。
【００５０】
このため、主走査方向１ライン分の出力画像（１フレーム）をラインバッファ１０８に蓄積するためには、エリア画像生成部１０７にて、出力画像をエリア毎に主走査方向の画素分生成する必要がある。例えば、１エリアが３２画素×３２画素からなる場合であって、出力画像の主走査方向画素数が１９２０画素の場合、主走査方向のエリア数は、１９２０（画素）／３２（画素）＝６０（エリア）となる。このため、画像処理装置２００Ｂでは、６０エリア分のエリア画像の生成後にはじめて画像出力が可能となる。
【００５１】
上述のように、エリア毎に画像処理に要する時間は異なるため、例えば、主走査方向に６０エリアのエリア画像の生成を行う際には、６０エリアのそれぞれで生成時間は異なる。したがって、図１１に示すように、画像出力部１０３からの総出力ライン数は単純増加とはならない。
【００５２】
ここで、１フレーム分の出力を所定時間内に完了できない場合には、画像処理装置２００Ａでは、フレームメモリ１０２に蓄積してから画像出力しているため、１フレーム分の遅延が発生する。一方、画像処理装置２００Ｂように、ラインバッファ１０８を用いる場合は、１フレームの処理が可能な所定時間内に所定量のライン出力が行えない場合が起こりうる。所定時間内に所定量のライン出力が行えないと、後段のディスプレイ装置４００側では、１フレーム期間内に所定量のラインデータを受信できないこととなるので、エラーと判定されてしまう。
【００５３】
そこで、本実施形態に係る画像処理装置２００は、入力画像に所定の画像処理を施して、複数の矩形領域画像（エリア画像）からなる出力画像を出力する画像処理装置（画像処理装置２００Ｂ）において、入力画像を記憶する画像記憶部（フレームメモリ１０２）と、画像記憶部から入力画像の少なくとも一部を読出して所定の画像処理を行い、矩形領域画像を生成する画像処理部（エリア画像生成部１０７）と、画像処理部で生成した矩形領域画像を、出力画像の主走査方向に複数ライン蓄積するラインバッファ（ラインバッファ１０８）と、ラインバッファから１ラインずつ読出すことで後段の装置へ出力画像を出力する画像出力部（ラインバッファ出力制御部１０９（または、画像出力部１０３））と、を備え、画像出力部は、１フレームの処理期間内に所定のライン数を出力できるか否かを判別する出力ライン数判定部を備えるものである。なお、括弧内は実施形態での符号、適用例を示す。
【００５４】
図１２は１フレーム期間内で出力すべき最低限のライン数（最低出力ライン数Ｍｌ）を示すグラフであって、横軸は時間、縦軸は総出力ライン数を示している。最低出力ライン数Ｍｌの算出方法について説明する。図１３は、ディスプレイ装置４００の出力有効画像データとブランク画素数の説明図である。
【００５５】
ディスプレイ装置４００が必要とする最低の水平ブランク画素数、垂直ブランク画素数をそれぞれＨＢｍｉｎ，ＶＢｍｉｎとし、出力有効画像の主走査画素数をＨＷ、ライン数をＶＷとし、１画素出力にかかる時間を１とすると、最低限必要となる１フレーム分の時間Ｔｃは、次式（１）で表すことができる。
Ｔｃ＝（ＨＷ＋ＨＢｍｉｎ）×（ＶＷ＋ＶＢｍｉｎ）      ・・・（１）
【００５６】
図１４は、図１２に示すグラフに最低出力ライン数Ｍｌの算出に必要な情報を併せて示したものである。ここで、１フレーム期間をＴｆとすると、最終出力ライン数Ｌｃは、次式（２）で表すことができる。
Ｌｃ＝ＶＷ＋ＶＢｍｉｎ      ・・・（２）
【００５７】
また、最低出力ライン数Ｍｌとｙ＝０の交点をＴ０とすると、Ｔ０は、次式（３）で表される。
Ｔ０＝Ｔｆ−Ｔｃ      ・・・（３）
【００５８】
そして、１フレーム期間Ｔｆ内での経過時間をｔとすると、最低出力ライン数Ｍｌは、次式（４）で表すことができる。
０≦t＜Ｔ０のとき、Ｍｌ＝０
Ｔ０≦ｔのとき、Ｍｌ＝（ｔ−Ｔ０）×Ｌｃ／Ｔｃ      ・・・（４）
【００５９】
本実施形態に係る画像処理装置２００Ｂにおいては、ラインバッファ１０８からの出力を制御するラインバッファ出力制御部１０９は、最低出力ラインＭｌを基準として、出力ライン数の過不足を判定することができる。
【００６０】
図１５は、ラインバッファ出力制御部１０９による出力ライン数の過不足を判定する処理の説明図である。すなわち、ラインバッファ出力制御部１０９は、時刻ｔにおける出力済みライン数Ｏｌと、最低出力ライン数Ｍｌとを比較して、以下のように判定することができる。
Ｏｌ＞Ｍｌのとき：ライン出力を継続することが可能
Ｏｌ≦Ｍｌのとき：エラー発生と判定（ライン出力が間に合わない）
【００６１】
この判定を実行するために、ラインバッファ出力制御部１０９は、例えば、１フレームの処理期間において、経過時間ｔに対して最低限出力されるべきライン数である最低出力ライン数Ｍｌを算出するカウンタを備えており、出力済みライン数Ｏｌが、カウンタの値以下となったときに、エラー発生と判定することができる。このカウンタは、１フレームの処理開始時刻を０とし、該開始時刻から一定期間は０を示し、その後増加するカウンタである。また、このときの一定期間、カウンタの増加量は、入力／出力画像の解像度や、フレームレート等に応じて設定可能とすることが好ましい。
【００６２】
ラインバッファ出力制御部１０９は、エラー発生と判定したとき、エリア画像生成部１０７での処理を中断し、残りの最低限必要となるラインデータを画像出力部１０３へ出力する。例えば、出力済みライン数Ｏｌ＝ｍのとき、残りの最低限必要なライン数Ｎｌは、Ｎｌ＝Ｍｌ−ｍで表せるので、残りの最低限必要なライン数Ｎｌ分を強制的に出力するものである。
【００６３】
このエラー発生時の出力画像は、強制的に出力されたライン（エリア画像生成部１０７での画像処理が未）を含むため、本来出力する理想のフレーム画像とは異なる画像であるといえるが、本実施形態に係る画像処理装置２００Ｂは、タイミング異常等により後段のディスプレイ装置４００でエラーが発生して、処理の停止等が発生してしまうことを防ぐことを主たる目的としているものであるため、エラー発生時の出力画像が理想的なフレーム画像となっていないことについては看過するものである。
【００６４】
この強制的に出力するライン画像データとしては、例えば、ラインバッファ１０８にすでに格納されているデータを繰り返し使用することが好ましい。このように、ラインバッファ１０８の内容を繰り返し出力することで、単純な構成で、エラーによる画像の欠損を目立ちにくいものにすることができる。
【００６５】
また、強制的に出力するライン画像データとして、例えば、予め設定された所定値からなるデータを用いることとしてもよい。このように、所定値を出力し続けることで、単純な構成で、エラーによる画像欠損を目立たせることができる。また、この所定値を任意に変更可能とすることも好ましい。所定値を画像の種類等に合わせて設定することで、例えば、状況に応じて色を変更することができる。
【００６６】
また、強制的に出力するライン画像データを、ラインバッファ１０８に格納されているデータ、予め設定された所定値からなるデータのいずれも設定可能として、状況に応じて最適なデータを選択可能とすることも好ましい。
【００６７】
なお、本実施形態では、ラインバッファ出力制御部１０９が出力ライン数判定部として機能する例を説明したが、画像出力部１０３がこれを備えるものであってもよい。また、出力ライン数判定部は、ハードウェアまたはソフトウェアのいずれで実現可能であり、特に限定されるものではない。
【００６８】
以上説明したように、本実施形態に係る画像処理装置２００によれば、画像入力から出力までにかかる遅延を低減しつつ、画像処理の遅れにより１フレーム分の画像処理を所定時間内に完了できない場合でも、後段の装置にエラーを発生させることなく画像出力することができる。
【００６９】
すなわち、エリア毎に画像処理を実行して、画像処理後のエリア画像（矩形領域画像）をフレームメモリ１０２に一時記憶させることなく、ラインバッファ１０８を介して１ラインずつ出力する画像処理装置２００Ｂであって、エリア毎の画像処理に要する時間が異なる場合、最低限出力が必要となるライン数を基準として、１フレームのすべてのラインデータを所定時間内に出力可能であるかを判定している。
【００７０】
そして、所定時間内にラインデータを出力不可と判定した場合には、エリア画像の生成処理を停止して、強制的に必要なライン数分のラインデータを、最短のブランク期間で強制的に出力することで、後段の装置は必要とする最低限のラインデータを受け取ることができ、後段の装置が異常状態に陥ることを回避し正常に動作させることができる。
【００７１】
また、この際のエラー判定は、２値の比較（出力済みライン数Ｏｌ、最低出力ライン数Ｍｌ）によるものであるので、判定部を簡易な構成で実現可能とするとともに、処理を単純化して精度よく判定することを可能としている。
【００７２】
［第２の実施形態］
以下、本発明に係る画像処理装置の他の実施形態について説明する。なお、上記実施形態と同様の点についての説明は適宜省略する。
【００７３】
上記第１の実施形態では、出力済みライン数Ｏｌと最低出力ライン数Ｍｌとの比較により、所定時間内にラインデータを出力できるか否かを判定する例を説明したが（図１１〜図１５）、第２の実施形態では、残り出力ライン数Ｒｌと最速出力可能ライン数Ｓｌとの比較により、所定時間内にラインデータを出力できるか否かを判定する例について説明する。
【００７４】
図１６は、１フレーム期間内における時間（横軸）と残り出力ライン数（縦軸）との関係を示すグラフであり、残り出力ライン数Ｒｌ（実線）が１フレーム期間内に、どのように変化するかを示している。また、図中の点線は、１フレーム内で最短時間でラインデータを出力した場合の出力可能残りライン数である最速出力可能ライン数Ｓｌを示している。最速出力可能ライン数Ｓｌは、時間に比例して単純減少する。
【００７５】
図１７を参照して、最速出力可能ライン数Ｓｌの算出について説明する。第１の実施形態と同様に、１フレーム期間をＴｆとし、フレームの開始からの経過時間をtとし、１画素出力にかかる時間を１とするとする。また、ＨＷ＋ＨＢｍｉｎは、１ラインを出力するために必要な最低時間を表す。ｔ＝０のときの最速出力可能ライン数をＬｒとすると、Ｌｒは次式（５）で表すことができる。
Ｌｒ＝Ｔｆ／（ＨＷ＋ＨＢｍｉｎ）      ・・・（５）
【００７６】
最速出力可能ライン数Ｓｌは、次式（６）で表すことができる。最速出力可能ライン数Ｓｌは、時間ｔ＝０のときに初期値Ｌｒをとり、時間の経過に応じて単純減少する直線で表される。なお、１画素出力にかかる時間を１としているので、最速出力可能ライン数Ｌｒは時間Ｌｒとして扱うことができる。
Ｓｌ＝−ｔ×Ｌｒ／Ｔｆ＋Ｌｒ      ・・・（６）
【００７７】
第２の実施形態に係る画像処理装置２００Ｂにおいては、ラインバッファ１０８からの出力を制御するラインバッファ出力制御部１０９は、最速出力可能ライン数Ｓｌを基準として、出力ライン数の過不足を判定することができる。
【００７８】
図１８は、ラインバッファ出力制御部１０９による出力ライン数の過不足を判定する処理の説明図である。すなわち、ラインバッファ出力制御部１０９は、時刻ｔにおける残り出力ライン数Ｒｌと、最速出力可能ライン数Ｓｌとを比較して、以下のように判定することができる。
Ｒｌ＜Ｓｌのとき：ライン出力を継続することが可能
Ｒｌ≧Ｓｌのとき：エラー発生と判定（ライン出力が間に合わない）
【００７９】
この判定を実行するために、ラインバッファ出力制御部１０９は、例えば、１フレームの処理期間において、経過時間ｔに対して最短時間でラインデータを出力した場合の最速出力可能ライン数Ｓｌを算出するカウンタを備えており、残り出力ライン数Ｒｌが、カウンタの値以上となったときに、エラー発生と判定することができる。このカウンタは、１フレームの処理開始時刻での初期値Ｌｒから、所定の傾き（−Ｌｒ／Ｔｆ）で減少していくカウンタである。また、このときの初期値Ｌｒ、カウンタの減少量は、入力／出力画像の解像度や、フレームレート等に応じて設定可能とすることが好ましい。
【００８０】
エラー発生の判定後の処理は第１の実施形態と同様である。以上説明した第２の実施形態に係る画像処理装置２００によれば、第１の実施形態と同様に、画像入力から出力までにかかる遅延を低減しつつ、画像処理の遅れにより１フレーム分の画像処理を所定時間内に完了できない場合でも、後段の装置にエラーを発生させることなく画像出力することができる。
【００８１】
また、この際のエラー判定は、２値の比較（残り出力ライン数Ｒｌ、最速出力可能ライン数Ｓｌ）によるものであるので、判定部を簡易な構成で実現可能とするとともに、処理を単純化して精度よく判定することを可能としている。
【００８２】
なお、第１および第２の実施形態において、エラー判定基準となる最低出力ライン数Ｍｌ、最速出力可能ライン数Ｓｌは、例えば、演算結果のライン数を整数値のみで扱う場合は、直線ではなく離散的な値（階段状のグラフで示される値）を取るものとしてもよい。
【００８３】
［第３の実施形態］
図１９は、画像処理装置２００を含む撮像システム５００の一例を示す概略構成図である。この撮像システム５００は、図１に示した構成に加え、通知部としての制御装置４１０と、ユーザＩ／Ｆ４２０とを備えている。
【００８４】
画像処理部１００のラインバッファ出力制御部１０９において、エラー発生と判定したとき、ラインバッファ出力制御部１０９は、その旨を制御装置４１０へ通知し、制御装置４１０は、ディスプレイ装置４００、および／または、ユーザＩ／Ｆ４２０に通知するものである。
【００８５】
この構成により、エラー発生時に後段の外部装置側（ディスプレイ装置４００）でエラーの発生を検知することができる。このため、出力される画像（理想のフレーム画像とは異なる画像）に対して、ディスプレイ装置４００側で処理を施すことが可能となる。また、エラー発生時にユーザにこれを通知することで、ユーザに対し、出力される画像に異常が存在することを知らせることができる。
【００８６】
［第４の実施形態］
図２０は、画像処理装置２００の他の実施形態（画像処理装置２００Ｃ）の画像処理部１００の機能構成の詳細を示すブロック図である。
【００８７】
この画像処理装置２００Ｃは、図４に示した画像処理装置２００Ａの機能と、図５に示した画像処理装置２００Ｂの機能の双方を備えるものである。モード設定の切替によりいずれかの画像処理方法を選択可能とし、例えば、入力／出力画像の解像度や、フレームレート等の画像の種類に応じて、モードを設定可能とすることが好ましい。
【００８８】
尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。
【符号の説明】
【００８９】
１００  画像処理部
１０１  画像入力部
１０２  フレームメモリ
１０３  画像出力部
１０４  画像入力ＤＭＡＣ
１０５  メモリコントローラ
１０６  画像出力ＤＭＡＣ
１０７  エリア画像生成部
１０８  ラインバッファ
１０９  ラインバッファ出力制御部
２００，２００Ａ〜Ｃ  画像処理装置
３００  撮像装置
４００  ディスプレイ装置
４１０  制御装置
４２０  ユーザＩ／Ｆ
５００  撮像システム
【先行技術文献】
【特許文献】
【００９０】
【特許文献１】特開２０１５−  ９９９５９号公報
【図１】
2018156414.tif 000003
【図２】
2018156414.tif 000004
【図３】
2018156414.tif 000005
【図４】
2018156414.tif 000006
【図５】
2018156414.tif 000007
【図６】
2018156414.tif 000008
【図７】
2018156414.tif 000009
【図８】
2018156414.tif 000010
【図９】
2018156414.tif 000011
【図１０】
2018156414.tif 000012
【図１１】
2018156414.tif 000013
【図１２】
2018156414.tif 000014
【図１３】
2018156414.tif 000015
【図１４】
2018156414.tif 000016
【図１５】
2018156414.tif 000017
【図１６】
2018156414.tif 000018
【図１７】
2018156414.tif 000019
【図１８】
2018156414.tif 000020
【図１９】
2018156414.tif 000021
【図２０】
2018156414.tif 000022