(57)【要約】【課題】  システムを複雑化することなく、画像データバスの競合を防止する。【解決手段】  撮像素子及び撮像素子からの画像入力手段と、複数の信号処理手段と、上記処理画像データを保持するメモリと、撮像素子及び、その他複数の信号処理手段からのメモリへのアクセスを管理する、バス調停手段を持ち、前記、撮像素子駆動をバス競合の状態に応じて制御することを特徴とする。【選択図】  図１
2006109222.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子及び撮像素子からの画像入力手段と、
複数の信号処理手段と、
上記処理画像データを保持するメモリと、
撮像素子及び、その他複数の信号処理手段からのメモリへのアクセスを管理する、バス調停手段を持ち、
前記、撮像素子駆動をバス競合の状態に応じて制御することを特徴とする撮像装置。
【請求項２】
撮像素子からの入力を保持するメモリが複数信号処理手段からのアクセスと競合していないタイミングを選択し、撮像素子からの画像データ読み出し及びその画像データをメモリへ書き込みとすることを特徴とする請求項１記載の撮像装置。
【請求項３】
撮像素子の駆動上禁止とされる期間を除くものを、撮像素子からメモリへの画像データ転送可能領域として、メモリの競合状態に応じて撮像素子を駆動することを特徴とする請求項１記載の撮像装置。
【請求項４】
上記、撮像素子からメモリへの画像転送可能領域で、撮像素子で保持され外部へ転送可能な画像データのサイズを、メモリへの転送単位の最大として可変に制御することを特徴とする請求項１記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関するものであり、特に画像データの転送効率を向上させるための制御方法をもつ撮像装置に関する。
【背景技術】
【０００２】
近年、撮像素子の飛躍的な技術的進歩に伴い、画像データの解像度も大幅に増加している。画像データ処理系が属するバスは、それに伴い混雑するようになり、CPUの応答が悪くなる等の弊害がでている。それに対してモードに応じて、転送帯域に収まるように画像データバスの管理をするものもでている。（例えば特許文献１参照）。
【０００３】
また、撮像素子としてCMOSセンサも普及している。CMOSエリアのひとつの特徴として比較的自由な画像データアクセスが可能なことが挙げられる。この特徴を生かして、後段で行う符号化のシーケンスに同期させるといったものも提唱されている。（特許文献２参照）
また、現状考えられる撮像装置のシステム構成例を図５に示す。レンズで結像された画像データがCMOSイメージセンサ(501)で電荷として蓄積され、CDS(502),AD(503)を経由しデジタルデータとして信号処理部(505)へ入力される。信号処理部ではSDRAM(504)を媒介として各処理が行われ、外部へ出力されていく。
【０００４】
この信号処理ブロック部で画像データを最前段で受けるFIFO(505_09)及びその制御部(505_10)はセンサーの読み出しレートと、SDRAMへのアクセスの調停処理レートとの整合をとるために必要なものである。
【特許文献１】特開２０００−９２３６５号公報
【特許文献２】特許平５−３２６７０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
撮像素子の解像度は大幅に増加している上、今後もその傾向が続くと考えられる。ビデオカメラでは１フィールド、あるいは１フレームという時間内に処理を完結しなければならないという制約もあり、画像データバスのパフォーマンスによりシステムとして成り立たなくなることも考えられる。また、それを解決するために複数のバスを装備し、各バス競合を緩和することも対策としては考えられ不可欠となってくるだろうが、これはシステムの複雑化、大規模化、検証性の劣化という弊害をもたらす。
【０００６】
また、従来例としてあげたシステム構成の中での画像データを最初に受けるFIFO(505_09)にも問題はある。このFIFOはセンサーの解像度、あるいは処理レートにより大きく依存するものであり、システムが改変されるたびに見直される必要がある。もし、FIFOのサイズ増加といったことが必須となった場合のICの規模、コストへの影響は大きい。
【課題を解決するための手段】
【０００７】
本発明は以下を特徴としている。
【０００８】
１）撮像素子及び撮像素子からの画像入力手段と、複数の信号処理手段と、上記処理画像データを保持するメモリと、撮像素子及び、その他複数の信号処理手段からのメモリへのアクセスを管理する、バス調停手段を持ち、前記、撮像素子駆動をバス競合の状態に応じて制御することを特徴とする撮像装置。
【０００９】
２）撮像素子からの入力を保持するメモリが複数信号処理手段からのアクセスと競合していないタイミングを選択し、撮像素子からの画像データ読み出し及びその画像データをメモリへ書き込みとすることを特徴とする１）記載の撮像装置。
【００１０】
３）撮像素子の駆動上禁止とされる期間を除くものを、撮像素子からメモリへの画像データ転送可能領域として、メモリの競合状態に応じて撮像素子を駆動することを特徴とする１）記載の撮像装置。
【００１１】
４）上記、撮像素子からメモリへの画像転送可能領域で、撮像素子で保持され外部へ転送可能な画像データのサイズを、メモリへの転送単位の最大として可変に制御することを特徴とする１）記載の撮像装置。
【発明の効果】
【００１２】
本発明により、以下の理由のよりシステムとして複数のバスを利用する等の複雑化せずに、データバス転送効率向上を実現することが可能となる。
【００１３】
＊ 画像データバスの渋滞状況を直接センサの駆動へフィードバックし、タイミングを制御することのより、他ポートの渋滞期間を回避することが可能となる。
【００１４】
＊ センサの駆動上、電荷の読み出し可能期間に、その時点での転送可能データ量をSDRAMへの最大バースト長として可変に制御することにより、バス転送効率が上がる。
【００１５】
また、この構成によりセンサ、SDRAMのレートの整合を簡易な制御により実現できるのでFIFOが不要となり規模、開発コストの向上も見込むこともできる。
【発明を実施するための最良の形態】
【００１６】
（実施例１）
本発明を実施するためのシステムの構成を図１に示す。
【００１７】
全体として、CMOSイメージセンサ(101)、CDS(102)、AD(103)、TG(104)、信号処理部(105)、及び複数のSDRAM(106)より構成されている。
【００１８】
レンズにより結像された画像データは、CMOSイメージセンサに蓄積される。CMOSイメージセンサの駆動はTGから出力されるパルスにより制御される。蓄積電荷はTGからのパルスの制御により順次CDSへ出力される。本実施例では出力が１つ（１チャンネル）のごとく記載しているが、それが複数チャンネル出力でありさらに転送レートを向上させることも可能である。CDS、AD変換を経てデジタル信号となった画像データは信号処理ブロックへ入力される。信号処理部で各モードに応じて信号処理がされ、SDRAMを媒介として最終的にビデオIFより再生、外部メディアIFよりカードまたはテープへ記録される。また、前記外部メディアより画像データを入力し再処理を施し再度記録、再生が可能となる。
【００１９】
信号処理部の各ブロックについて説明する。CPU(105_02)は全体のシーケンス制御、あるいはキャッシュにより高速化を実現する。カメラDSP(105_07)は入力画像に対して、かかる信号処理を行う。リサイズ(105_03)は撮像素子からの入力画像を各用途に応じてサイズを変更し、次の処理へ供給するものである。NR(105_08)は入力画像中のノイズを除去するものである。エフェクト(105_04)は画像のエフェクト処理、あるいは合成処理を行うものである。JPEG(105_09)は画像の圧縮、伸張を行う。外部メディアIF(105_05)、ビデオIF(105_06)はそれぞれ処理画像を外部へ入出力するものである。
【００２０】
バス調停手段は前記信号処理部の各ブロックでの処理シーケンスに応じて、SDRAMへデータを保持、読み出しをする際の各ブロックのリクエストを調停し、SDRAM(106)との転送を行うものである。
【００２１】
このバス調停は画像サイズの増加、シーケンスの複雑化により、渋滞することが考えられる。その渋滞の状況をTG(104)へ直接フィードバックし制御することにより、CMOSイメージセンサ(101)の電荷読み出しタイミングを制御する。
【００２２】
各ポートのSDRAMへのバス調停が渋滞した場合におきる弊害について図２に図示する。例えばセンサがCCDである場合、CCDからの電荷読み出しタイミングは電荷蓄積と連動するものであり、一定の周期での駆動が必要である。このような場合、SDRAMへの画像データの保持も一定周期の間に一定データ量を終了させておく必要がある。このような一定周期で一定データ量を転送しおくことが必要なポートについての正常な転送形態について図2-1に示す。まず、転送のリクエストが調停部へだされたところから転送周期が始まる。リクエストが出されてからそれが認可されるまで（すなわち競合ポートの転送が終わった時）をWait期間として、その後にSDRAMへコマンドが発行されバースト転送が始まる。バースト長はあらかじめ設定されていて各ポート、各モードにより異なる。バースト転送終了から転送周期が終わる期間がマージンとしてSDRAM上のバスの余裕となる。図2-2は他ポートの転送のWaitが長く、転送周期内でバースト転送が終了しないケースである。この場合、バースト転送中に次の転送データのリクエストが始まり、このポートの転送の動作が誤動作あるいは、正常動作の保証がされないことになる。
【００２３】
図３はCMOSエリアセンサの駆動について図示している。TGからのリセットパルスにより、フォトダイオードに残存する電荷をリセットする。CMOSイメージセンサの場合、リセットパルスをシフトさせて供給するので、各走査線でタイムラグが生じる（図中C期間）、リセット後、シャッターを開放し電荷蓄積を開始する。このシャッタ開放期間（図中D期間）は、シャッター時間として撮像モードにより切り替えられる。電荷蓄積後、蓄積電荷は図中A期間で読み出しをされる。この際もやはりTGからの駆動パルスをシフトさせて制御するので各走査線のタイムラグが生じる。
【００２４】
CMOSエリアセンサの特徴として、他回路との混載が容易であることが挙げられる。例えば、保持手段とその制御部を混載すれば、A期間で読み出された電荷を次フィールドの電荷読み出しまで全画素保持しておくことも可能である。その場合、A,C期間を除く、B,D期間で保持された全画素をSDRAMへ転送するということが可能になる。これは、CMOSエリアセンサからSDRAMの転送が非常に自由度をもつということである。バースト長に関しても保持された全画素を最大として設定することが可能である。
【００２５】
転送可能なバースト長が長くなった場合について図４に図示している。図４では２回にわけて転送しているものとバースト長を倍にして１回で完結しているものとを比較しているものを図示しているが、図よりわかるようにマージンが増え、転送効率の向上が実現できる。
【００２６】
図６はSDRAMのバスの競合状況とCMOSセンサの駆動シーケンスを合わせてタイミングチャートとして図示したものである。図よりわかるようにセンサからの画像データはSDRAMのバスの競合しておらず、なおかつセンサ駆動上禁止となる領域を回避したタイミングで効率的にSDRAMへの書き込みを行っていることがわかる。
【図面の簡単な説明】
【００２７】
【図１】本発明システム構成。
【図２】SDRAMバースト転送について。
【図３】CMOSエリアセンサ駆動について。
【図４】バースト長を長くした場合の効果について。
【図５】従来システム構成。
【図６】SDRAMとセンサについて。
【図１】
2006109222.tif 000003
【図２】
2006109222.tif 000004
【図３】
2006109222.tif 000005
【図４】
2006109222.tif 000006
【図５】
2006109222.tif 000007
【図６】
2006109222.tif 000008