(57)【要約】【課題】画像処理において、ブランキング期間のような処理しない期間が発生すると、周期的に消費電流に変動が生じ、電源を不安定にさせる。【解決手段】撮像手段から出力される撮像データの補正を行い、所定時間内に処理を完了させる必要のある第１の画像処理手段と、第１の画像処理手段の出力である第１画像処理データに対してフィルタなどの処理をする第２の画像処理手段と、第１画像処理データまたは第２の画像処理手段の出力である第２画像処理データを保持する記憶手段と、第１の画像処理手段の処理速度を算出する第１の画像処理速度算出手段と、第２の画像処理手段の処理速度を算出する第２の画像処理速度算出手段を有し、第２の画像処理速度算出手段は第２の画像処理手段で処理中に実行し、第２の画像処理手段の処理速度は第２の画像処理手段が所定時間内に処理を終えかつブランキング期間を短くするように変更することを特徴とする。【選択図】図４
2019022032.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
撮像手段と、
前記撮像手段から出力される撮像データの補正を行い、所定時間内に処理を完了させる必要のある第１の画像処理手段と、
前記第１の画像処理手段から出力された第１画像処理データに対してフィルタの処理をする第２の画像処理手段と、
前記第１画像処理データまたは、前記第２の画像処理手段から出力される第２画像処理データを保持する記憶手段と、
前記第１の画像処理手段の処理速度を算出する第１の画像処理速度算出手段と、
前記第２の画像処理手段の処理速度を算出する第２の画像処理速度算出手段を有し、
前記第２の画像処理速度算出手段は、前記第２の画像処理手段で処理中に実行し、
前記第２の画像処理手段の処理速度は、前記第２の画像処理手段が所定時間内に処理を終え、かつブランキング期間を短くするように変更することを特徴とする画像処理装置。
【請求項２】
前記第１画像処理データは、前記記憶手段で記憶することなく、直接前記第２の画像処理手段に入力して、前記第２の画像処理手段の処理速度の変更は、前記第１の画像処理速度算出手段の結果と前記第２の画像処理速度算出手段で動的に決まる処理速度を用いて、前記第２の画像処理速度の方が早い場合、前記第２の画像処理手段が処理しているラインに応じて、前記第２の画像処理手段の処理速度を変更するしないを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の画像処理手段は、前記記憶手段に前記第１画像処理データを書き込み、前記第１の画像処理速度算出手段の結果と前記第２の画像処理速度算出手段で静的に決まる処理速度を元に、前記第２の画像処理手段による前記第１画像処理データの読み込みが、前記第１の画像処理手段による前記第１画像処理データの書き込みに対して追いつかないように前記記憶手段から読み出すことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第２の画像処理手段の処理速度を変更するタイミングは、前記第２の画像処理手段が処理している１ラインの中でも適宜、処理速度を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第２の画像処理手段の処理速度の変更方法は、前記第２の画像処理手段を一時停止させることで処理速度を調整することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記第２の画像処理手段の処理速度の変更方法は、前記第２の画像処理手段が動作するクロックを低くすることで処理速度を調整することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
画像処理方法であって、
撮像手段と、
前記撮像手段から出力される撮像データの補正を行い、所定時間内に処理を完了させる必要のある第１の画像処理手段と、
前記第１の画像処理手段から出力された第１画像処理データに対してフィルタの処理をする第２の画像処理手段と、
前記第１画像処理データまたは、前記第２の画像処理手段から出力される第２画像処理データを保持する記憶手段と、
前記第１の画像処理手段の処理速度を算出する第１の画像処理速度算出手段と、
前記第２の画像処理手段の処理速度を算出する第２の画像処理速度算出手段を有し、
前記第２の画像処理速度算出手段は、前記第２の画像処理手段で処理中に実行し、
前記第２の画像処理手段の処理速度は、前記第２の画像処理手段が所定時間内に処理を終え、かつブランキング期間を短くするように変更することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、消費電力の変動を抑制する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）等による撮像素子を用いて画像データを取得する撮像装置（デジタルカメラやデジタルビデオカメラ等）では、静止画像（以下、静止画）の記録に限らず、動画像（以下、動画）の記録にも対応している。
【０００３】
一般的に撮像装置が動画を記録するには、垂直または水平の同期信号を基準に動作しているが、同期信号の入力前後には、表示や記録に対して有効となる映像データ信号が入力されないブランキング期間が存在する。このブランキング期間に入力される映像データ信号は変化しない無効データとなる。そのため、動画記録中に映像データを処理する画像処理回路はブランキング期間中に殆ど動作しなく、消費電流が変動して、電源を不安定にさせる。
【０００４】
このような電流の変動を解決するための技術が特許文献１に提案されている。
【０００５】
特許文献１では、補正信号を映像データ信号に付加し、垂直同期信号、水平同期信号、及び補正信号が付加された映像データ信号を含む出力信号を出力するようにしている。この補正信号をブランキング期間中に画像処理回路が処理することで、消費電流の変動を抑制している。
【０００６】
また、画像処理に関しては、画素補間、ホワイトバランス、シャープネス、ノイズ低減、縮小／拡大等の処理が行われる。例えば、ノイズ低減処理の場合、画像データを複数の周波数帯域に分割して生成した複数種類の画像データに対して適切なフィルタ処理を施し、周波数帯域毎に処理された画像データを再び周波数合成する技術が知られている。この時、複数の周波数帯域に分割して生成した複数種類の画像データを一旦ＤＲＡＭ（“Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ”）に置く場合と、ＳＲＡＭ（“Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ”）で構成する複数のラインメモリに格納する場合がある。複数種類の画像データを一旦ＤＲＡＭに置く場合は、ＤＲＡＭの帯域の圧迫や、処理時間が長くなる。
【０００７】
一方、ＳＲＡＭに格納する場合は、周波数帯域に分割する処理部と、フィルタ処理して周波数合成する処理部とを直結することが可能となり、ＤＲＡＭの帯域を圧迫や、処理時間を短くすることが出来る。但し、複数ラインのＳＲＡＭを必要とするので、回路規模が増大してしまう。
【０００８】
このＳＲＡＭは主に、複数の周波数帯域に分割した後の複数種類の画像データを、周波数合成するまでの待ち合わせ用として使用される。複数種類の画像データをＤＲＡＭに置いた場合でも、ＳＲＡＭに置いた場合でも、複数の周波数帯域に分割するまでに画像データが一度もＤＲＡＭに置かれない場合、複数の周波数帯域に分割するまでの処理は、撮像素子の処理速度に影響される。一方、周波数合成後の処理速度は、回路の処理速度で処理が可能となる。
【０００９】
このようにＤＲＡＭまたはＳＲＡＭの前後で処理速度が異なると、ブランキング期間以外でも、消費電流に変動を生じさせる。
【００１０】
特許文献２には、直接的には消費電流の変動を抑制することは記載していないが、撮像データを平坦化部に書き込んで、読みだすことで、ＤＲＡＭのバス効率化の技術が提案されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】ＷＯ２００１／０２４３０８号公報
【特許文献２】特開２０１０−１９９８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１に開示されている技術では、本来画像処理しなくてよいブランキング期間にも画像処理させることになる。そのため、消費電流の変動はなくなるが、全体的な消費電力が増える可能性があり、消費電流の変動を少なくし、かつ消費電力が増加させない様にする種々の対策が望まれていた。
【００１３】
さらに、特許文献２に開示されている技術では、撮像データを平坦化するのに一旦ＳＲＡＭに保持する必要があり、回路規模の増加に加えて、回路規模増加による消費電力が増加する可能性がある。また、撮像データの平坦化は、静的に決めており、画像処理後のデータをＤＲＡＭに書き込む時にバス帯域が込み合った場合でも、平坦化されたもので処理をする。そのため、動画を処理している時に、規定時間内に処理が終わらずにシステムが破綻あるいはモニタに表示する画像が遅れてしまう可能性があり、それに対する種々の対策が望まれていた。
【課題を解決するための手段】
【００１４】
上記の課題を解決するために、本発明に係る画像処理装置は、
撮像手段と、
前記撮像手段から出力される撮像データの補正を行い、所定時間内に処理を完了させる必要のある第１の画像処理手段と、
前記第１の画像処理手段から出力された第１画像処理データに対してフィルタなどの処理をする第２の画像処理手段と、
前記第１画像処理データまたは、前記第２の画像処理手段から出力される第２画像処理データを保持する記憶手段と、
前記第１の画像処理手段の処理速度を算出する第１の画像処理速度算出手段と、
前記第２の画像処理手段の処理速度を算出する第２の画像処理速度算出手段を有し、
前記第２の画像処理速度算出手段は、前記第２の画像処理手段で処理中に実行し、
前記第２の画像処理手段の処理速度は、前記第２の画像処理手段が所定時間内に処理を終え、かつブランキング期間を短くするように変更することを特徴とする。
【発明の効果】
【００１５】
本発明に係る画像処理装置によれば、特定ライン中に処理速度を調整することで、システムの破綻なく消費電流の変動を抑えることが可能となる。また、処理対象の画像データに対して、読み込み側の処理が書き込み側の処理に追いつかないようにすることで、表示遅延を少なくし、かつ書き込み側と読み込み側の処理速度に関する依存関係がなくなる。これによりＨブランキング（ＨＢ）期間を持つことなく、Ｖブランキング（ＶＢ）期間も最低限の期間に抑えることが可能となり、システムの破綻なく消費電流の変動を抑えることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施例における画像処理装置のブロック図である。
【図２】本発明の第１の実施例における画像処理部と周辺のブロック図である。
【図３】本発明の第１の実施例における画像補正部における出力タイミングチャートとバッファ状態である。
【図４】本発明の第１の実施例における消費電流を平坦化するためのフローチャートである。
【図５】本発明の第１の実施例における処理速度を調整した場合の出力タイミングチャートである。
【図６】本発明の第２の実施例における画像処理部と周辺のブロック図である。
【図７】本発明の第２の実施例における画像補正部における出力タイミングチャートとバッファ状態である。
【図８】本発明の第２の実施例における消費電流を平坦化するためのフローチャートである。
【図９】本発明の第２の実施例における速度調整処理のフローチャートである。
【図１０】本発明の第２の実施例における処理速度を調整した場合の出力タイミングチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【実施例１】
【００１８】
以下、図面を用いて本発明の第１の実施例を説明する。なお本実施例の画像処理装置を、撮像装置の一部として説明する。また撮像装置をデジタルカメラとして説明するが、デジタルビデオカメラ、カメラ付き携帯電話、車載カメラ等の撮像装置を採用することも可能である。
【００１９】
図１は第１の実施例に係るデジタルカメラの構成の一例を示すブロック図である。以下、図１について説明する。
【００２０】
撮像素子１００は、受光した被写体像を電気信号に変換して画像データを作成するＣＣＤやＣＭＯＳセンサ等の受光素子である。
【００２１】
Ａ／Ｄ変換器１０１は、撮像素子１００のアナログ出力信号をデジタル信号に変換する。
【００２２】
画像処理部１０２は、撮像処理部１０３、画像補正部１０４、不図示の画像バッファメモリ、画像補正部１０４以外の画像処理を行う画像処理部、画像データの圧縮処理や伸長処理を行う圧縮伸長部やモニタなどに表示する表示制御部、記録媒体に記憶する記憶処理部などから構成される。画像補正部以外の画像処理を行う画像処理部は、撮像処理部１０３で処理された画像データ或いは不図示の画像バッファメモリやメモリ１１１に格納された画像データに対して、適正に行う。具体的には、傷補正や倍率色収差補正、縮小といったリサイズ処理や画像データのフォーマット変換処理、現像処理や歪み補正などの処理を行う。
【００２３】
撮像処理部１０３は、Ａ／Ｄ変換器１０１により変換された画像データに対して画素補正、黒レベル補正、シェーディング補正などを適正に行う。
【００２４】
画像補正部１０４は、ノイズ低減処理として、まず複数の周波数帯域に分割してそれぞれの帯域の画像データを作成する。次に複数の周波数帯域に分割した画像データに対して適切なフィルタ処理を施した後で周波数帯域毎に処理された画像データを再び周波数合成する処理を行う。また、複数の周波数帯域に分割した画像データ以外の画像データに対しても、適切なフィルタ処理を施してノイズ低減処理を行うことも可能である。
【００２５】
データ転送部１０５は、データ転送を行う複数のＤｉｒｅｃｔ  Ｍｅｍｏｒｙ  ＡｃｃｅｓｓコントローラのＷＲＤＭＡＣ１０６とＲＤＤＭＡＣ１０７で構成される。画像データは、ＷＲＤＭＡＣ１０６によってバス１０９に出力し、メモリ制御部１１０を介してメモリ１１１に一時記憶される。メモリ１１１に一時記憶された画像データは、ＲＤＤＭＡＣ１０７によってメモリ１１１からバス１０９に出力され、画像処理部１０２にデータを出力する。
【００２６】
バス１０８は、システムバスであり、バス１０９は、画像データバスである。
【００２７】
メモリ制御部１１０は、システム制御部（ＣＰＵ）１１４或いはデータ転送部１０５からの指示に応じて、メモリ１１１にデータを書き込んだり、メモリ１１１からデータを読み出したりする。なお、Ａ／Ｄ変換器１０１からの出力データがメモリ１１１に直接書き込まれる場合もある。メモリ１１１は、所定枚数の静止画像や所定時間の動画像、音声等のデータやシステム制御部１１４の動作用の定数、プログラム等を格納するのに十分な記憶容量を備える記憶装置である。
【００２８】
メモリ１１１は、データを記憶するメモリであり、ＤＲＡＭなどから構成される。
【００２９】
不揮発性メモリ制御部１１２は、システム制御部１１４からの指示に応じて、不揮発性メモリ１１３にデータを書き込んだり、不揮発性メモリ１１３からデータを読み出したりする。不揮発性メモリ１１３は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１１３には、システム制御部１１４の動作用の定数、プログラム等が記憶される。
【００３０】
システム制御部１１４は、デジタルカメラの動作制御を司るマイクロコンピュータなどで構成され、デジタルカメラを構成する各機能ブロックに対して様々な指示を行い、各種の制御処理を実行する。システム制御部１１４は、バス１０８を介して接続された画像処理部１０２、データ転送部１０５、メモリ制御部１１０、不揮発性メモリ制御部１１２、及び操作部１１５、撮像素子１００を制御する。マイクロコンピュータの実行は、前述した不揮発性メモリ１１３に記録されたプログラムを実行することで、本実施例の各処理を実現する。
【００３１】
操作部１１５は、ユーザーにより操作されるスイッチやボタン等を含み、電源のＯＮ／ＯＦＦ、シャッターのＯＮ／ＯＦＦ等の操作に使用される。
【００３２】
図２は画像補正部１０４の説明を行うためのブロック図であり、画像補正部１０４の周辺ブロックのＡ／Ｄ変換器１０１、撮像処理部１０３、ＷＲＤＭＡＣ１０６と画像補正部１０４の縮小部２００、バッファ部２０１、拡大部２０２、合成部２０３から構成される。
【００３３】
縮小部２００は、撮像処理部１０３からの入力画像データを、不図示のＳＲＡＭに１ラインまたは複数ラインをラインバッファに格納し、適切なフィルタをかけて水平垂直に１／２倍に縮小処理を行う。なお、本実施例では縮小部２００の縮小率を１／２倍としているが、縮小率は１／２倍に限らず可変に設定可能である。また、縮小処理を行わずに等倍で出力も可能である。縮小部２００の結果は、等倍画像データをバッファ部２０１へ、縮小画像データを拡大部２０２へ渡す。また、縮小部２００は、不図示の一時停止要求を、バッファ２０１及び拡大部２０２から貰い、貰った停止要求先への出力を停止させ、前段の撮像処理部１０３に対して一時停止要求を行う。具体的には、拡大部２０２からの一時停止要求を受け取ると、内部で縮小処理を一時停止させ、バッファ部２０１への出力も停止し、前段の撮像処理部１０３に対して一時停止を要求する。
【００３４】
一方、バッファ部２０１からの一時停止信号を受け取ると、縮小部２００は縮小処理を行っていないタイミング、つまりＳＲＡＭで構成されるラインに入力画像データを溜めているタイミングとなるため、前段の撮像処理部１０３に対しては一時停止を要求しない。縮小部２００の処理速度としては、縮小部２００自体の性能以外に、撮像素子１００からの画像データの入力速度と、後段からの一時停止要求によって、処理速度が決まる。ここで、縮小部２００自体の性能が十分に高い場合は、データ入力速度と一時停止要求で処理速度が決まることになる。
【００３５】
バッファ部２０１は、本実施例では２ライン分を保持するバッファであり、ＳＲＡＭから構成される。用途は、合成部２０３が拡大部２０２の出力データと縮小部２００の出力データを待ち合わせるためのバッファである。また、バッファ部２０１は、合成部２０３からの一時停止要求を受け取り、合成部２０３への出力を一時停止させる。バッファ部２０１が、縮小部２００へ一時停止要求する場合は、バッファが２ライン分埋まってしまった場合である。つまり、バッファに入力画像データを溜めている時は、合成部２０３からの一時停止要求を受けても、ラインへの書き込みは続ける。
【００３６】
拡大部２０２は、縮小部２００からの画像データを、不図示のＳＲＡＭに１ラインまたは複数ラインをラインバッファ格納し、適切なフィルタをかけて水平垂直に２倍に拡大して出力する。拡大部２０２の結果は、合成部２０３へ渡す。また、拡大部２０２は、合成部２０３からの一時停止要求を受け取り、合成部２０３への出力を一時停止させ、縮小部２００へ一時停止要求を行う。拡大部２０２の処理速度としては、拡大部２０２自体の性能以外に、縮小部２００からの画像データの入力速度と、後段からの一時停止要求によって、処理速度が決まる。ここで、拡大部２０２自体の性能が十分に高い場合は、縮小部２００と同様にデータ入力速度と一時停止要求で処理速度が決まることになる。
【００３７】
合成部２０３は、バッファ部２０１からの画像データと拡大部２０２からの画像データを待ち合わせし、合成してＷＲＤＭＡＣ１０６へ出力する。合成部２０３は、バッファ部２０１からの画像データと拡大部２０２からの画像データを待ち合わせするため、バッファ部２０１からの画像データを受けている状態で、拡大部２０２からの画像データが来ていない場合は、バッファ部２０１へ一時停止要求を行う。なお、拡大部２０２からの画像データを受けている状態で、バッファ部２０１からの画像データを受けていない状態は、本実施例の構成上、取り得ない。
【００３８】
また、ＤＲＡＭのバス帯域が込み合って、ＤＲＡＭに書き込むことができない場合は、ＷＲＤＭＡＣ１０６から一時停止要求を受け取る。ＷＲＤＭＡＣ１０６から一時停止要求を受け取ると、バッファ部２０１と拡大部２０２へ一時停止要求を行う。つまり、合成部２０３で、拡大部２０２へ一時停止要求を行うと、一時停止要求は撮像処理部１０３まで一時停止を行うことになる。なお、撮像処理部１０３の前段はＡ／Ｄ変換器１０１からは撮像素子１００から決まったタイミングでデータが流れてくるので、撮像処理部１０３の一時停止時間が長すぎると画像データを取りこぼすことになる。合成部２０３の処理速度としては、合成部２０３自体の性能以外に、バッファ部２０１と拡大部２０２からの画像データの入力速度と、後段からの一時停止要求によって、処理速度が決まる。ここで、合成部２０３自体の性能が十分に高い場合は、例えば偶数ラインが縮小部２００と同様にデータ入力速度と一時停止要求で処理速度が決まり、奇数ラインが合成部２０３自体の処理速度で動作することになる。なお、フィルタ用のラインバッファの数によっては、偶数ライン、奇数ラインが反対となることもある。
【００３９】
ここで、各ブロックの処理速度について、改めて整理すると、各ブロックの処理性能が十分に高い場合は、縮小部２００と拡大部２０２は、撮像素子１００の入力速度に影響を受ける。合成部２０３は、２ラインの内１ラインは、撮像素子１００の入力速度に影響を受け、もう１ラインは、合成部２０３の処理速度で動作することになる。この速度の説明は図３を用いて説明をする。
【００４０】
図３（Ａ）は画像補正部１０４の内の各処理の出力タイミングチャート、図３（Ｂ）バッファ部２０１のバッファ状態を示した図であり、以下図３について説明する。
【００４１】
図３（Ａ）の横軸は、時間を示して、縦は、縮小部２００、バッファ部２０１、拡大部２０２、合成部２０３の出力をライン単位に示している。ＨＢはＨブランキング期間である。
【００４２】
図３（Ｂ）は、バッファ部２０１のバッファの状態を示し、バッファ０とバッファ１から構成される。
【００４３】
期間Ｔ１は、縮小部２００が、入力画像データの等倍データの１ライン目を出力している期間である。期間Ｔ１では、その他は出力されない。期間Ｔ１のバッファ部２０１のバッファ状態は、１ライン目をバッファ０に保持することを示している。
【００４４】
期間Ｔ２は、縮小部２００が、入力画像データの等倍データの２ライン目を出力している期間である（縮小部等倍出力）。また、縮小部２００が、入力画像データの１，２ライン目を用いてフィルタ処理して水平垂直に１／２倍に縮小した画像データを出力している（縮小部１／２倍出力）。また、拡大部２０２が、縮小部２００の水平垂直１／２倍画像データを受けて、フィルタ処理して水平方向に２倍拡大したデータを出力している（拡大部出力）。また、バッファ部２０１が、縮小部２００からの等倍データをバッファに溜めた画像データ（１ライン目）を出力している（バッファ部出力）。また、合成部２０３が、バッファ部２０１と拡大部２０２から１ライン目に相当する画像データを受け取り、合成した画像データを出力している（合成部出力）。期間Ｔ２のバッファ部２０１のバッファ状態は、バッファ１に２ライン目を保持することを示している。
【００４５】
期間Ｔ３は、縮小部２００が、入力画像データの等倍データの３ライン目を出力している期間である。期間Ｔ３では、その他は出力されない。縮小部１／２倍出力は、水平垂直に１／２倍するために、２ラインに１ラインしか出力されないことを示している。また、拡大部出力は、縮小部１／２倍出力が２ラインないと、垂直方向の２倍拡大ができないので、出力されていないことを示している。また、バッファ部出力は、合成部２０３が拡大部２０２からのデータを待っている状態のため、一時停止要求を受けて、データを出力していないことを示している。合成部出力は、バッファ部２０１、拡大部２０２からデータが来ていないため、処理するデータがないために出力していないことを示している。期間Ｔ３のバッファ部２０１のバッファ状態は、バッファ０の１ライン目を使用しないため、３ライン目を上書きして保持することを示している。
【００４６】
期間Ｔ４は、縮小部２００が、入力画像データの等倍データの４ライン目を出力している期間である（縮小部等倍出力）。また、縮小部２００が、入力画像データの３，４ライン目を用いてフィルタ処理して水平垂直に１／２倍に縮小した画像データを出力している（縮小部１／２倍出力）。また、拡大部２０２が、縮小部２００の水平垂直１／２倍画像データを受け、受け取った水平垂直１／２倍画像データとラインバッファに溜めてある期間Ｔ２で受け取った画像データを使用し、フィルタ処理して水平方向に２倍拡大したデータを出力している（拡大部出力）。また、バッファ部２０１が、縮小部２００からの等倍画像データをバッファに溜めた画像データ（２ライン目）を出力している（バッファ部出力）。また、合成部２０３が、バッファ部２０１と拡大部２０２から２ライン目に相当する画像データを受け取り、合成した画像データを出力している（合成部出力）。期間Ｔ４のバッファ部２０１のバッファ状態は、バッファ１の２ライン目を読み込んだ後から、４ライン目を上書きして保持することを示している。
【００４７】
なお、期間Ｔ４までは、処理速度としては、合成部の待ち合わせ処理により、撮像素子１００の出力速度に影響を受けている。
【００４８】
期間Ｔ５は、縮小部２００が、入力画像データの等倍データの５ライン目を出力している期間である（縮小部等倍出力）。縮小部１／２倍出力は２ラインに１回出力するので、期間Ｔ５は出力しない。また、拡大部２０２が、ラインバッファに溜めてある期間Ｔ４の画像データを使用して、水平方向に２倍拡大したデータを出力している（拡大部出力）。また、バッファ部２０１が、縮小部２００からの等倍データをバッファに溜めた画像データ（３ライン目）を出力している（バッファ部出力）。ここで、拡大部出力とバッファ部出力は、ラインバッファに溜まっている画像データを処理して出力しているので、期間Ｔ４のようにラインの先頭でＨブランキング（ＨＢ）期間が発生していない。また、合成部２０３が、バッファ部２０１と拡大部２０２から３ライン目に相当する画像データを受け取り、合成した画像データを出力している（合成部出力）。この期間Ｔ５の拡大部出力、バッファ部出力、合成部出力は、撮像素子１００からの出力速度に影響を受けることなく、後段のＷＲＤＭＡＣ１０６から一時停止要求がなかったあるいは、一時停止時間が短かった時のタイミングチャートであり、３ライン目の出力が終わるとブランキング（ＨＢ）期間が発生する。これは、拡大部２０２は、拡大部２０２のラインバッファに溜まっている画像データを合成部２０３に出力し、バッファ部２０１は、バッファ部２０１のバッファに溜まっている画像データを合成部２０３に出力しているため、合成部２０３の処理速度で動作することができるからである。期間Ｔ５のバッファ部２０１のバッファ状態は、バッファ０の３ライン目を読み込んだ後から、５ライン目を上書きして保持することを示している。
【００４９】
期間Ｔ６は、期間Ｔ４と同じように出力され、以降の期間は、Ｔ５とＴ４が繰り返される。そのため、Ｔ４相当の期間は、撮像素子１００の出力速度の影響を受け、Ｔ５相当の期間は、合成部２０３の処理速度の影響を受けることになる。つまり、Ｔ５相当の期間は、合成部２０３の処理速度で動作することになるため、Ｈブランキング期間が必要以上に空いて消費電流に変動が生じことになる。この消費電流を平坦化する方法を図４で説明する。また、期間Ｔ６のバッファ部２０１のバッファ状態は、バッファ１の４ライン目を読み込んだ後から、６ライン目を上書きして保持することを示している。
【００５０】
図４は、画像補正部１０４で消費電流を平坦化するためのフローチャートであり、本実施例では、システム制御部１１４での制御を記載するが、専用モジュールを設けても良い。
【００５１】
ステップ４００は、撮像処理部１０３の設定値より、第１の処理速度（撮像素子１００の出力速度）を取得する。
【００５２】
ステップ４０１は、処理の終了判定を行う。具体的には、ＷＲＤＭＡＣ１０６が最終ラインを書き終えたかを判定するか、ＷＲＤＭＡＣ１０６の割り込みが発生したかで判定を行う。なお、その他の終了判定を用いてもよい。処理終了と判定した場合は、処理を終了させる。処理終了と判定しなかった場合はステップ４０２へ進む。
【００５３】
ステップ４０２は、ＷＲＤＭＡＣ１０６が現在何ライン目を処理中かを読み出し、かつ処理が開始してからの時間を不図示のタイマーより取得して、第２の処理速度（合成部２０３の処理速度）を取得する。
【００５４】
ステップ４０３は、第１の処理速度と第２の処理速度を比較し、第１の処理速度が早い場合には、ステップ４０１に戻る。逆に第２の処理速度が速い場合には、ステップ４０４に進む。
【００５５】
ステップ４０４は、現在処理しているラインから合成部２０３以降の処理速度の調整を実施するか判定を行う。処理速度の調整を実施しない場合は、ステップ４０５に進む。処理速度の調整を実施する場合は、ステップ４０６へ進む。なお、ここで処理ライン毎に速度調整判定を行っている理由は、撮像素子１００の出力速度の影響を受けるラインに対して、速度調整を行うと、一時停止要求が撮像処理部１０３まで行ってしまい、撮像素子１００からの画像データを取りこぼす可能性があるからである。
【００５６】
ステップ４０５は、次のラインになるまで待ってからステップ４０１に戻る。
【００５７】
ステップ４０６は、第２の処理速度の調整を行う。具体的には、ＷＲＤＭＡＣ１０６あるいはメモリ制御部１１０から一時停止要求を出力して貰い、合成部２０３を一時停止状態にする。あるいは、合成部２０３が、入力画素をコピーして、コピー中はバッファ部からデータを止めるため、一時停止要求を行うことで、処理速度の調整を行う。この時、コピーは、一時停止要求発行のためであるため、コピーした画素は処理しないようにするか、処理した画素を捨てるなどする。あるいは、合成部２０３とＷＲＤＭＡＣ１０６のクロックを遅くする。この場合は、合成部２０３の入力画像データと合成部２０３のクロックが非同期（エッジが揃っていても周波数が異なる場合も含めて非同期と総称する）になるため、非同期乗せ換えを行う回路を実装する必要がある。
【００５８】
ステップ４０７は、次のライン処理の開始を処理時間より判定（縮小部２００が等倍データの次のラインを出力する時間かを判定）し処理速度を戻すか判定を行う。処理速度を元に戻さない場合は、１ライン処理中でも適宜、処理速度を変更するために、ステップ４０６に戻る。逆に処理速度を元に戻す場合は、ステップ４０８へ進む。
【００５９】
ステップ４０８は、第２の処理速度を元に戻す処理を行う。具体的には、ＷＲＤＭＡＣ１０６あるいはメモリ制御部１１０からの速度調整用の一時停止要求を解除する。あるいは、合成部２０３とＷＲＤＭＡＣ１０６のクロックを元に戻し、ステップ４０１に戻る。
【００６０】
以上のフローチャートのように合成部２０３の処理速度を調整することで、消費電流の変動を少なくしている。
【００６１】
図５は、図３（Ａ）のタイミングチャートに対して、図４のフローチャートで処理速度を調整した場合の画像補正部１０４の内の各処理の出力タイミングチャートである。なお、図３（Ａ）と異なる箇所だけ説明を行う。
【００６２】
期間Ｔ５は、速度調整を行うことで、拡大部出力、バッファ部出力、合成部出力のデータが間延びしてＨブランキング期間を無くしている。
【００６３】
期間Ｔ６は、速度調整を行うことで、拡大部出力、バッファ部出力、合成部出力は、１ライン前のデータを出力していることを示している。次に３ライン目相当のデータが処理を終えるとＨブランキング期間となり、Ｈブランキング期間が終わると、４ライン目相当のデータが出力される。なお、期間Ｔ６では、Ｈブランキング期間があるが、速度調整によって、Ｈブランキング時間を無くしても良い。
【００６４】
以降は、期間Ｔ５と期間Ｔ６の繰り返しである。
【００６５】
以上説明したように、本発明の第１の実施例によれば、特定ライン中に処理速度を調整することで、システムの破綻なく消費電流の変動を抑えることが可能となる。
【００６６】
以上、本発明を第１の実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることは言うまでもない。
【実施例２】
【００６７】
以下、図面を用いて本発明の第２の実施例を説明する。なお、ここでは、前述した第１の実施例と異なる部分のみを説明し、同一の部分については、同一の符号を付すなどして詳細な説明を省略する。
【００６８】
図６は本発明の第２の実施例に係る画像補正部１０４の説明を行うためのブロック図であり、画像補正部１０４周辺ブロックのＡ／Ｄ変換器１０１、撮像処理部１０３、ＲＤＤＭＡＣ１０７、ＷＲＤＭＡＣ１０６と画像補正部１０４の縮小部２００、バッファ部２０１、拡大部２０２、合成部２０３、速度検出速度調整部６００から構成される。
【００６９】
図６においては、第１の実施例と異なり、撮像処理部１０３の出力データが、ＷＲＤＭＡＣ１０６へ出力されて一旦ＤＲＡＭに書き込まれる。つまり、撮像素子１００からの画像データが撮像処理部１０３で処理した画像データを一旦ＤＲＡＭに置くことになる。
【００７０】
速度検出速度調整部６００は、合成部２０３からの入力データの画素毎の入力間隔を一定期間測定して、その期間の処理速度を算出する。算出した処理速度を元に、規定時間以内に処理が終わるように合成部２０３へ一時停止要求を行うことで処理速度の調整を行う。なお、規定時間以内とは、動画を処理している場合、例えば、１秒間に６０フレーム記録するとしたら、１６．６６ｍｓ以内のことを示す。また、処理速度の調整方法は実施例１に記載の方法でもよい。
【００７１】
図７（Ａ）は画像補正部１０４の内の各処理の出力タイミングチャート、図７（Ｂ）バッファ部２０１のバッファ状態を示した図であり、以下図７について説明する。
【００７２】
図７（Ａ）の横軸は、時間を示して、縦は、撮像処理部１０３、縮小部２００、バッファ部２０１、拡大部２０２、合成部２０３の出力をライン単位に示している。
【００７３】
図７（Ｂ）は、バッファ部２０１のバッファの状態を示し、バッファ０とバッファ１から構成される。
【００７４】
図７のタイミングチャートは、撮像処理部１０３が１ライン書き込んだ後から縮小部２００が追い駆けるように読み込んで処理する場合のタイミングチャートである。これは、撮像処理部１０３が１枚分の画像データを書き終えてから、画像補正部１０４で処理を行うと、撮影したタイミングの画像データが不図示のモニタ部へ表示されるタイミングが少なくとも１６．６６ｍｓ以上、遅延する。そのため、表示の遅延をなるべく少なくするために、１ライン書いた後から読み込む様にしている。以下、詳細にタイミングチャートを説明する。
【００７５】
期間Ｔ１は、撮像処理部１０３が、入力画像データを処理した１ライン目を出力している期間である（撮像処理部出力）。期間Ｔ１では、その他は出力されない。期間Ｔ１のバッファ部２０１のバッファ状態は、何も保持していないことを示している。
【００７６】
期間Ｔ２は、撮像処理部１０３が、入力画像データを処理した２ライン目を出力している期間である（撮像処理部出力）。さらに、縮小部２００が、撮像処理部１０３によりＤＲＡＭに置かれた１ライン目の入力画像データを読み込んで、等倍データを出力している期間である（縮小部等倍出力）。ＷＲＤＭＡＣ１０６とＲＤＤＭＡＣ１０７の制御により、縮小部２００は、撮像処理部１０３が出力したデータを１ライン毎に追い駆けるように読み込んで処理することになる。以降の期間でも同様に、縮小部２００は、撮像処理部１０３の出力データをライン単位に追い駆けながら読み込んで処理する。なお、ＷＲＤＭＡＣ１０６とＲＤＤＭＡＣ１０７により、読み込みが書き込みを追いつかないように制御される。また、期間Ｔ２では、その他は出力されない。期間Ｔ２のバッファ部２０１のバッファ状態は、１ライン目をバッファ０に保持することを示している。
【００７７】
期間Ｔ３は、撮像処理部１０３が、入力画像データを処理した３ライン目を出力している期間である（撮像処理部出力）。さらに、縮小部２００が、入力画像データの等倍データの２ライン目を出力している期間である（縮小部等倍出力）。また、縮小部２００が、入力画像データの１，２ライン目を用いてフィルタ処理して水平垂直に１／２倍に縮小した画像データを出力している（縮小部１／２倍出力）。また、拡大部２０２が、縮小部２００の水平垂直１／２倍画像データを受けて、フィルタ処理して水平方向に２倍拡大したデータを出力している（拡大部出力）。また、バッファ部２０１が、縮小部２００からの等倍データをバッファに溜めた画像データ（１ライン目）を出力している（バッファ部出力）。また、合成部２０３が、バッファ部２０１と拡大部２０２から１ライン目に相当する画像データを受け取り、合成した画像データを出力している（合成部出力）。期間Ｔ３のバッファ部２０１のバッファ状態は、バッファ１に２ライン目を保持することを示している。
【００７８】
期間Ｔ４は、撮像処理部１０３が、入力画像データを処理した４ライン目を出力している期間である（撮像処理部出力）。さらに、縮小部２００が、入力画像データの等倍データの３ライン目を出力している期間である。期間Ｔ４では、その他は出力されない。縮小部１／２倍出力は、水平垂直に１／２倍するために、２ラインに１ラインしか出力されないことを示している。また、拡大部出力は、縮小部１／２倍出力が２ラインないと、垂直方向の２倍拡大ができないので、出力されていないことを示している。また、バッファ部出力は、合成部２０３が拡大部２０２からのデータを待っている状態のため、一時停止要求を受けて、データを出力していないことを示している。合成部出力は、バッファ部２０１、拡大部２０２からデータが来ていないため、処理するデータがないために出力していないことを示している。期間Ｔ４のバッファ部２０１のバッファ状態は、バッファ０の１ライン目を使用しないため、３ライン目を上書きして保持することを示している。
【００７９】
期間Ｔ５は、撮像処理部１０３が、入力画像データを処理した５ライン目を出力している期間である（撮像処理部出力）。さらに、縮小部２００が、入力画像データの等倍データの４ライン目を出力している期間である（縮小部等倍出力）。また、縮小部２００が、入力画像データの３，４ライン目を用いてフィルタ処理して水平垂直に１／２倍に縮小した画像データを出力している（縮小部１／２倍出力）。また、拡大部２０２が、縮小部２００の水平垂直１／２倍画像データを受け、受け取った水平垂直１／２倍画像データとラインバッファに溜めてある期間Ｔ３で受け取った画像データ（１ライン目）を使用し、フィルタ処理して水平方向に２倍拡大した２ライン目のデータを出力している（拡大部出力）。同時に受け取った水平垂直１／２倍画像データは、ラインバッファに溜める。さらに、２ライン目の出力が終わると、ラインバッファに溜めたデータをフィルタ処理して水平方向に２倍拡大して３ライン目を出力する（拡大部出力）。また、バッファ部２０１が、縮小部２００からの等倍画像データをバッファに溜めた画像データ（２ライン目と３ライン目）を出力している（バッファ部出力）。また、合成部２０３が、バッファ部２０１と拡大部２０２から２ライン目に相当する画像データを受け取り、合成した画像データ（２ライン目と３ライン目）を出力している（合成部出力）。期間Ｔ５のバッファ部２０１のバッファ状態は、バッファ１の２ライン目を読み込んだ後から、４ライン目を上書きして保持することを示している。この期間Ｔ５の拡大部出力、バッファ部出力、合成部出力は、後段のＷＲＤＭＡＣ１０６から一時停止要求がなかったあるいは、一時停止時間が短かった時のタイミングチャートである。これは、拡大部２０２は、拡大部２０２のラインバッファに溜まっている画像データを合成部２０３に出力し、バッファ部２０１は、バッファ部２０１のバッファに溜まっている画像データを合成部２０３に出力しているため、合成部２０３の処理速度で動作することができるからである。
【００８０】
期間Ｔ６は、撮像処理部１０３が、入力画像データを処理した６ライン目を出力している期間である（撮像処理部出力）。さらに、縮小部２００が、入力画像データの等倍データの５ライン目を出力している期間である（縮小部等倍出力）。縮小部１／２倍出力は２ラインに１回出力するので、期間Ｔ６は出力しない。また、拡大部２０２は、期間Ｔ５からの続きで３ライン目を出力している（拡大部出力）。同様に、バッファ部２０１と合成部２０３は期間Ｔ５からの続きで３ライン目を出力している（バッファ部出力、合成部出力）。なお、期間Ｔ５からの続きで出力しているため、処理が早く終わりＨブランキング期間が長くなっている。期間Ｔ６のバッファ部２０１のバッファ状態は、バッファ０の３ライン目を読み込んだ後から、５ライン目を上書きして保持することを示している。
【００８１】
期間Ｔ７は、撮像処理部１０３が、入力画像データを処理した７ライン目を出力している期間である（撮像処理部出力）。さらに、縮小部２００が、入力画像データの等倍データの６ライン目を出力している期間である（縮小部等倍出力）。また、縮小部２００が、入力画像データの５，６ライン目を用いてフィルタ処理して水平垂直に１／２倍に縮小した画像データを出力している（縮小部１／２倍出力）。また、拡大部２０２が、縮小部２００の水平垂直１／２倍画像データを受け、受け取った水平垂直１／２倍画像データとラインバッファに溜めてある期間Ｔ５で受け取った画像データ（２ライン目）を使用し、フィルタ処理して水平方向に２倍拡大した４ライン目のデータを出力している（拡大部出力）。同時に受け取った水平垂直１／２倍画像データは、ラインバッファに溜める。また、バッファ部２０１が、縮小部２００からの等倍画像データをバッファに溜めた画像データ（４ライン目）を出力している（バッファ部出力）。また、合成部２０３が、バッファ部２０１と拡大部２０２から４ライン目に相当する画像データを受け取り、合成した画像データ（４ライン目）を出力している（合成部出力）。なお、期間Ｔ７は、ＷＲＤＭＡＣ１０６から一時停止要求を受けて処理時間が間延びしている。期間Ｔ７のバッファ部２０１のバッファ状態は、バッファ１の４ライン目を読み込んだ後から、６ライン目を上書きして保持することを示している。
【００８２】
期間Ｔ８は、撮像処理部１０３が、入力画像データを処理した８ライン目を出力している期間である（撮像処理部出力）。さらに、縮小部２００が、期間Ｔ７の処理時間が間延びしているため、６ライン目を出力し、６ライン目の出力が終わると、本来期間Ｔ８で出力する７ライン目を出力している。（縮小部等倍出力）。縮小部１／２倍出力は、期間Ｔ７の処理時間が間延びしているため、期間Ｔ７の縮小した画像データを出力している。また、拡大部２０２とバッファ部２０１と合成部２０３は期間Ｔ７からの続きで４ライン目を出力し、期間Ｔ５と同様に次の５ライン目を出力している（拡大部出力、バッファ部出力、合成部出力）。期間Ｔ８のバッファ部２０１のバッファ状態は、バッファ０の５ライン目を読み込んだ後から、７ライン目を上書きして保持することを示している。
【００８３】
期間Ｔ９は、撮像処理部１０３が、入力画像データを処理した９ライン目を出力している期間である（撮像処理部出力）。さらに、縮小部２００が、期間Ｔ８の処理時間が間延びしているため、７ライン目を出力し、７ライン目の出力が終わると、本来期間Ｔ９で出力する８ライン目を出力している。（縮小部等倍出力）。また、縮小部２００が、入力画像データの７，８ライン目を用いてフィルタ処理して水平垂直に１／２倍に縮小した画像データを出力している（縮小部１／２倍出力）。拡大部２０２とバッファ部２０１と合成部２０３は期間Ｔ８からの続きで５ライン目を出力している（拡大部出力、バッファ部出力、合成部出力）。拡大部２０２は５ライン目の出力を終えると、縮小部２００の水平垂直１／２倍画像データを受け、受け取った水平垂直１／２倍画像データとラインバッファに溜めてある期間Ｔ７，８で受け取った画像データ（３ライン目）を使用し、フィルタ処理して水平方向に２倍拡大した６ライン目のデータを出力している（拡大部出力）。同時に受け取った水平垂直１／２倍画像データは、ラインバッファに溜める。また、バッファ部２０１は、５ライン目の出力を終えると、縮小部２００からの等倍画像データをバッファに溜めた画像データ（６ライン目）を出力する（バッファ部出力）。また、合成部２０３は、５ライン目の出力を終えると、バッファ部２０１と拡大部２０２から６ライン目に相当する画像データを受け取り、合成した画像データ（６ライン目）を出力する（合成部出力）。
【００８４】
期間Ｔ５〜Ｔ６では、合成部２０３の処理速度で動作することになるため、Ｈブランキング期間が必要以上に空いて消費電流に変動が生じことになる。一方、期間Ｔ７〜Ｔ８では、ＤＲＡＭのバス帯域が混雑して処理できない状態が続き、Ｔ７期間で１ラインの処理が終わらないことを示している。このようにバスが混雑した期間が、画像の最終ラインで発生した場合は、次の画像の始まりを超えてしまい、タイミングによっては、不図示のモニタ部へ表示する画像が正しく表示できないあるいは、１つ前の画像が表示される可能性があり、システムとして許容できないことがある。これは、１ライン単位で書き込みと読み込みを追い駆けているため、画像補正部１０４が撮像素子１００の処理速度に影響を受けているためである。これらに対して、消費電流を平坦化し、かつモニタ部への表示の遅延を短くし、表示画像を毎回変更可能とする方法を図８で説明する。
【００８５】
図８は、画像補正部１０４で消費電流の平坦化、表示遅延を少なくし毎回表示部の表示を更新するためのフローチャートである。
【００８６】
ステップ８００は、撮像処理部１０３の設定値より、第１の処理速度（撮像素子１００の出力速度）を取得する。
【００８７】
ステップ８０１は、システム制御部１１４が、ＤＲＡＭの帯域や前段の撮像処理部１０３からの影響を受けない時（動作周波数により一意に決まる）つまり静的に決まる画像補正部１０４の処理速度を演算する。
【００８８】
ステップ８０２は、システム制御部１１４が、第１の処理速度とステップ８０１で取得した処理速度から、撮像処理部１０３が書き込んだ画像に画像補正部１０４の読み込みが１フレーム内で追いつかない処理開始ライン数を演算する。つまり、撮像処理部１０３がＸライン書き込んだら画像補正部１０４の読み込みが追いつくことがなくなるＸラインを演算することになる。
【００８９】
ステップ８０３は、システム制御部１１４が、ステップ８０２で求めた開始ラインかの判定を行い、処理開始でなければ、ステップ８０３の判定を繰り返す。開始ラインと判定したら、ステップ８０４に進む。
【００９０】
ステップ８０４は、システム制御部１１４が、速度調整処理を開始するように制御して、速度調整処理が終わったらフローを終える。
【００９１】
図９は、速度検出速度調整部６００が速度調整処理の速度調整を行うためのフローチャートである。
【００９２】
ステップ９００は、速度検出速度調整部６００が、第２の処理速度（合成部２０３の動的な処理速度）と処理画素位置を算出し、ステップ９０１へ進む。
【００９３】
ステップ９０１は、処理している画素位置と第２の処理速度より、速度調整するかの判定を行う。具体的には、まず、処理画素位置より残りの処理する画像数を算出する。次に、処理する画像数と第２の処理速度から残りの処理時間を算出する。そして、１枚の画像データを処理しなければならない規定時間からどれくらい早く終わるかを算出する。この早く終わる時間に対して閾値を持って、速度を調整するかを判定する。速度調整する場合はステップ９０２に、調整しない場合はステップ９０３へ進む。
【００９４】
ステップ９０２は、速度検出速度調整部６００が、合成部２０３へ一定間隔で一時停止要求を行うことで、速度を調整する。
【００９５】
ステップ９０３は、１フレームの処理が終わったかの判定を行い、１フレームの処理が終わっていない場合は、ステップ９００に戻り、１フレームの処理が終わったら速度調整処理を終える。
【００９６】
図１０は、図７（Ａ）のタイミングチャートに対して、図８のフローチャートで処理速度を調整した場合の画像補正部１０４の内の各処理の出力タイミングチャートである。
【００９７】
図１０は、期間Ｔ１〜期間Ｔ９は撮像処理部１０３の出力を示し、期間Ｔ１’〜期間Ｔ９’は画像補正部１０４内の各ブロックの出力を示すタイミングチャートである。図８のフローで説明している様に、撮像処理部１０３の書き込みと画像補正部１０４の読み込みが１フレーム内で追いつくことがないため、撮像処理部１０３と画像補正部１０４に処理速度に関する依存関係がないことを示しているタイミングチャートとなっている。つまり、画像補正部１０４は画像補正部１０４自身の処理速度以下であれば、速度検出速度調整部６００における速度調整により、処理速度を決めて処理が出来ることになる。
【００９８】
期間Ｔ１では、撮像処理部１０３が、入力画像データを処理したｎライン目を出力している期間である（撮像処理部出力）。同様に期間Ｔ２〜期間Ｔ６は、撮像処理部１０３が、入力画像データを処理したｎ＋１〜ｎ＋５ライン目を出力している期間である（撮像処理部出力）。
【００９９】
期間Ｔ７では、撮像処理部１０３が、入力画像データを処理したｎ＋６目以降を出力している期間である（撮像処理部出力）。
【０１００】
期間Ｔ８、期間Ｔ９では、撮像処理部１０３が、入力画像データを処理し終えた期間つまりＶブランキング（ＶＢ）を示している期間である。
【０１０１】
期間Ｔ１’では、縮小部２００が、撮像処理部１０３によりＤＲＡＭに置かれた１ライン目の入力画像データを読み込んで、等倍データを出力している期間である（縮小部等倍出力）。期間Ｔ１’では、その他は出力されない。
【０１０２】
期間Ｔ２’では、縮小部２００が、撮像処理部１０３によりＤＲＡＭに置かれた２ライン目の入力画像データを読み込んで、等倍データを出力している期間である（縮小部等倍出力）。さらに、縮小部２００が、入力画像データの１，２ライン目を用いてフィルタ処理して水平垂直に１／２倍に縮小した画像データを出力している（縮小部１／２倍出力）。また、拡大部２０２が、縮小部２００の水平垂直１／２倍画像データを受けて、フィルタ処理して水平方向に２倍拡大したデータを出力している（拡大部出力）。また、バッファ部２０１が、縮小部２００からの等倍データをバッファに溜めた画像データ（１ライン目）を出力している（バッファ部出力）。また、合成部２０３が、バッファ部２０１と拡大部２０２から１ライン目に相当する画像データを受け取り、合成した画像データを出力している（合成部出力）。
【０１０３】
期間Ｔ３’では、縮小部２００が、入力画像データの等倍データの３ライン目を出力している期間である。期間Ｔ３’では、その他は出力されない。縮小部１／２倍出力は、水平垂直に１／２倍するために、２ラインに１ラインしか出力されないことを示している。また、拡大部出力は、縮小部１／２倍出力が２ラインないと、垂直方向の２倍拡大ができないので、出力されていないことを示している。また、バッファ部出力は、合成部２０３が拡大部２０２からのデータを待っている状態のため、一時停止要求を受けて、データを出力していないことを示している。合成部出力は、バッファ部２０１、拡大部２０２からデータが来ていないため、処理するデータがないために出力していないことを示している。
【０１０４】
期間Ｔ４’では、期間Ｔ２’と同様である。
【０１０５】
期間Ｔ５’では、縮小部２００が、入力画像データの等倍データの５ライン目を出力している期間である（縮小部等倍出力）。縮小部１／２倍出力は２ラインに１回出力するので、期間Ｔ５’は出力しない。また、拡大部２０２が、ラインバッファに溜めてある期間Ｔ４’の画像データを使用して、水平方向に２倍拡大したデータを出力している（拡大部出力）。また、バッファ部２０１が、縮小部２００からの等倍データをバッファに溜めた画像データ（３ライン目）を出力している（バッファ部出力）。また、合成部２０３が、バッファ部２０１と拡大部２０２から３ライン目に相当する画像データを受け取り、合成した画像データを出力している（合成部出力）。
【０１０６】
期間Ｔ６’と期間Ｔ７’では、期間Ｔ４’と期間Ｔ５’と同じである。
【０１０７】
期間Ｔ８’では、縮小部２００が、入力画像データの等倍データの最終ラインのｍライン目を出力している期間である（縮小部等倍出力）。縮小部１／２倍出力は２ラインに１回出力するので、期間Ｔ８’は出力しない。また、拡大部２０２が、ラインバッファに溜めてある期間Ｔ８’の前の画像データを使用して、水平方向に２倍拡大したデータを出力している（拡大部出力）。また、バッファ部２０１が、縮小部２００からの等倍データをバッファに溜めた画像データ（ｍ−１ライン目）を出力している（バッファ部出力）。また、合成部２０３が、バッファ部２０１と拡大部２０２からｍ−１ライン目に相当する画像データを受け取り、合成した画像データを出力している（合成部出力）。
【０１０８】
期間Ｔ９’では、縮小部２００の縮小部等倍出力は、期間Ｔ８’で最終ラインを出力しているので、何も出力していない期間、つまりＶブランキング（ＶＢ）を示している期間である（縮小部等倍出力）。縮小部１／２倍出力は２ラインに１回出力するので、期間Ｔ９’は出力しない。また、拡大部２０２が、ラインバッファに溜めてある期間Ｔ８’の画像データを使用して、水平方向に２倍拡大したデータを出力している（拡大部出力）。また、バッファ部２０１が、縮小部２００からの等倍データをバッファに溜めた画像データ（ｍライン目）を出力している（バッファ部出力）。また、合成部２０３が、バッファ部２０１と拡大部２０２からｍライン目に相当する画像データを受け取り、合成した画像データを出力している（合成部出力）。また、拡大部出力、バッファ部出力、合成部出力は、最終ラインの出力が終わったら何も出力していないＶブランキング（ＶＢ）期間も示している。
【０１０９】
つまり図１０では、撮像処理部１０３と画像補正部１０４に処理速度に関する依存関係がなくなることで、ＤＲＡＭから画像データを読み込んで処理してＤＲＡＭへ書き込むため、画像補正部１０４はＨブランキング（ＨＢ）期間を持つことなく処理可能となっている。
【０１１０】
以上説明したように、本発明の第２の実施例によれば、撮像処理部１０３と画像補正部１０４の処理速度から読み込みが書き込みに追いつかないようにすることで、表示遅延を小さくする。さらに処理速度に関する依存関係がなくなり、画像補正部１０４がＨブランキング（ＨＢ）期間を持つことなく、Ｖブランキング（ＶＢ）期間も最低限の期間に抑えることが可能となり、システムの破綻なく消費電流の変動を抑えることが可能となる。
【０１１１】
以上、本発明を第１の実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることは言うまでもない。
【符号の説明】
【０１１２】
１００  撮像素子、１０１  Ａ／Ｄ変換、１０２  画像処理部、
１０５  データ転送部、１０８／１０９  バス、１１０  メモリ制御部、
１１１  メモリ、１１２不揮発性メモリ制御部、１１３  不揮発性メモリ、
１１４  システム制御部（ＣＰＵ）、１１５  操作部
【図１】
2019022032.tif 000003
【図２】
2019022032.tif 000004
【図３】
2019022032.tif 000005
【図４】
2019022032.tif 000006
【図５】
2019022032.tif 000007
【図６】
2019022032.tif 000008
【図７】
2019022032.tif 000009
【図８】
2019022032.tif 000010
【図９】
2019022032.tif 000011
【図１０】
2019022032.tif 000012