(57)【要約】【課題】複数チャンネルから順次入力される画素情報を記憶装置に記憶するができ、記憶した画素情報を順次複数ポートへ出力する際に消費電力を抑えつつ、最小限のラインメモリで構成可能な画像信号処理装置およびその方法を提供する。【解決手段】外部イネーブルに同期して２チャンネル分のデータがSDRAMにアクセスし、残りの１チャンネルのデータは外部イネーブルのブランキング期間を利用してラインメモリからSDRAMへのアクセスするため外部イネーブルの立下がりから次の外部イネーブルの立上りまではそのアクセス期間を保証する第２の信号処理装置３２００を有する。【選択図】      図１９
2006050332.tif 000002
【特許請求の範囲】
【請求項１】
外部からイネーブルに従い複数チャンネルからライン単位で入力される１画面分の画素情報を記憶装置に格納し、格納した画素情報を上記記憶装置から読み出しライン単位で入力順、または並べ変えて複数チャンネルに外部イネーブルに従い出力するような画像信号処理装置であって、
１チャンネルの１ライン分の画像情報を格納するラインメモリと、
上記ラインメモリを使用し複数チャンネルから入力される１画面分の画素情報をライン単位で順次上記記憶装置に書き込む書き込み手段と、
上記ラインメモリを使用し１画面分の画素情報を上記記憶装置から順次読み出しライン単位で複数チャンネルに入力順、または並べ変えて出力する読み出し手段と
を有する画像信号処理装置。
【請求項２】
上記書き込み手段は、外部からイネーブルに従い複数チャンネルからライン単位で入力される画素情報を外部イネーブルが有効な期間にリアルタイムにチャンネル数-1分の画素情報を上記記憶装置に書き込みつつ１チャンネル分の画素情報をラインメモリに書き込む手段と、
イネーブルが無効な期間にラインメモリに書き込まれた画素情報をラインメモリから読み出し上記記憶装置に書き込む手段と
を有する請求項１記載の画像信号処理装置。
【請求項３】
上記書き込み手段は、連続的に入力される画素情報を上記記憶装置に対し連続的に書き込むためにバンクの切替え時には、予めバンクアクティブコマンドを印加の後該当バンクに対する書き込みコマンドを印加し、その後、前アクセスバンクのプリチャージコマンドを印加する手段を有する
請求項２記載の画像信号処理装置。
【請求項４】
上記書き込み手段は、パラレルに入力される画素情報をシリアルに並べ変える手段を有する
請求項２記載の画像信号処理装置。
【請求項５】
上記書き込み手段は、入力データポートの周波数から上記記憶装置データポートの周波数へ周波数を乗り換える手段を有する
請求項２記載の画像信号処理装置。
【請求項６】
上記読み出し手段は、出力対象ラインに対する外部からのイネーブルより前のイネーブルの無効期間に１チャンネルの１ライン分のデータを上記記憶装置か予め読み出して上記ラインメモリに格納し、外部イネーブルが有効な期間にリアルタイムにチャンネル数-1分の画素情報を上記記憶装置から読み出しつつ、１チャンネル分の画素情報をラインメモリから読み出し全てのチャンネル数分の画素情報をライン単位で出力する手段を有する
請求項１記載の画像信号処理装置。
【請求項７】
上記読み出し手段は、上記記憶装置から連続的に画素情報を読み出すためにバンクの切替え時には、予めバンクアクティブコマンドを印加の後該当バンクに対する読み出しコマンドを印加し、その後、前アクセスバンクのプリチャージコマンドを印加する手段を有する
請求項５記載の画像信号処理装置。
【請求項８】
上記読み出し手段は、シリアルに入力される画素情報をパラレルに並べ変える手段を有する
請求項５記載の画像信号処理装置。
【請求項９】
上記読み出し手段は、上記記憶装置データポートの周波数から出力データポートの周波数へ周波数を乗り換える手段を有する
請求項５記載の画像信号処理装置。
【請求項１０】
入力データポートおよび出力データポートのチャンネル数は等しくそれぞれＮチャンネルとし、入力データポートと出力データポートの動作周波数は等しくf0としたとき、上記記憶装置の動作周波数ｆ１は、ｆ１＝f0×(N-1)である
請求項１記載の画像信号処理装置。
【請求項１１】
入出力データの水平画素数をＭとしたときイネーブルの有効期間Ｈ０は上記記憶装置の動作周波数でH0=(M×(N-1))サイクルで、ブランキング期間Ｈ１はH1=(M+内部遅延サイクル）である
請求項１記載の画像信号処理装置。
【請求項１２】
上記書き込み手段は、順次入力される画素情報に対し、ライン単位で任意に上記記憶装置への書き込みアドレスを生成する
請求請２記載の画像信号処理装置。
【請求項１３】
上記読み出し手段はライン単位で任意に上記記憶装置からの読み出しアドレスを生成する
請求請５記載の画像信号処理装置。
【請求項１４】
外部からイネーブルに従い複数チャンネルからライン単位で入力される１画面分の画素情報を記憶装置に格納し、格納した画素情報を上記記憶装置から読み出しライン単位で入力順、または並べ変えて複数チャンネルに外部イネーブルに従い出力するような画像信号処理方法であって、
１チャンネルの１ライン分の画像情報をラインメモリに格納する第１ステップと、
上記ラインメモリを使用し複数チャンネルから入力される１画面分の画素情報をライン単位で順次上記記憶装置に書き込む第２ステップと、
上記ラインメモリを使用し１画面分の画素情報を上記記憶装置から順次読み出しライン単位で複数チャンネルに入力順、または並べ変えて出力する第３ステップと
を有する画像信号処理方法。
【請求項１５】
上記第２ステップにおいて、外部からイネーブルに従い複数チャンネルからライン単位で入力される画素情報を外部イネーブルが有効な期間にリアルタイムにチャンネル数-1分の画素情報を上記記憶装置に書き込みつつ１チャンネル分の画素情報をラインメモリに書き込み、
イネーブルが無効な期間にラインメモリに書き込まれた画素情報をラインメモリから読み出し上記記憶装置に書き込む
請求項１４記載の画像信号処理方法。
【請求項１６】
上記第２ステップにおいて、連続的に入力される画素情報を上記記憶装置に対し連続的に書き込むためにバンクの切替え時には、予めバンクアクティブコマンドを印加の後該当バンクに対する書き込みコマンドを印加し、その後、前アクセスバンクのプリチャージコマンドを印加する
請求項１５記載の画像信号処理方法。
【請求項１７】
上記第２ステップにおいて、パラレルに入力される画素情報をシリアルに並べ変える
請求項１５記載の画像信号処理方法。
【請求項１８】
上記第２ステップにおいて、入力データポートの周波数から上記記憶装置データポートの周波数へ周波数を乗り換える
請求項１５記載の画像信号処理方法。
【請求項１９】
上記第３ステップにおいて、出力対象ラインに対する外部からのイネーブルより前のイネーブルの無効期間に１チャンネルの１ライン分のデータを上記記憶装置か予め読み出して上記ラインメモリに格納し、外部イネーブルが有効な期間にリアルタイムにチャンネル数-1分の画素情報を上記記憶装置から読み出しつつ、１チャンネル分の画素情報をラインメモリから読み出し全てのチャンネル数分の画素情報をライン単位で出力する
請求項１４記載の画像信号処理方法。
【請求項２０】
上記第３ステップにおいて、上記記憶装置から連続的に画素情報を読み出すためにバンクの切替え時には、予めバンクアクティブコマンドを印加の後該当バンクに対する読み出しコマンドを印加し、その後、前アクセスバンクのプリチャージコマンドを印加する
請求項１９記載の画像信号処理方法。
【請求項２１】
上記第３ステップにおいて、シリアルに入力される画素情報をパラレルに並べ変える
請求項１９記載の画像信号処理方法。
【請求項２２】
上記第３ステップにおいて、上記記憶装置データポートの周波数から出力データポートの周波数へ周波数を乗り換える
請求項１９記載の画像信号処理方法。
【請求項２３】
入力データポートおよび出力データポートのチャンネル数は等しくそれぞれＮチャンネルとし、入力データポートと出力データポートの動作周波数は等しくf0としたとき、上記記憶装置の動作周波数ｆ１は、ｆ１＝f0×(N-1)である
請求項１４記載の画像信号処理方法。
【請求項２４】
入出力データの水平画素数をＭとしたときイネーブルの有効期間Ｈ０は上記記憶装置（SDRAM）の動作周波数でH0=(M×(N-1))サイクルで、ブランキング期間Ｈ１はH1=(M+内部遅延サイクル）である
請求項１４記載の画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数チャンネルからライン単位で入力される１画面分の画素情報をＳＤＲＡＭ等の記憶装置に格納し、格納した画素情報を記憶装置から読み出しライン単位で入力順、または並べ変えて複数チャンネルに出力する画像信号処理装置およびその方法に関するものである。
【背景技術】
【０００２】
たとえば、ビデオカメラのカメラ信号処理においては、撮像装置によって取得された生のデジタル画像データ（以下、「RAWデータ」と記述する）にＹＣ変換や様々な処理を施し輝度信号データＹおよび色差信号データCr,Cbを生成する。静止画処理の場合は、プログレッシブのRAWデータからY,Cr,Cbを生成する。
ＣＣＤイメージセンサは、図１（Ａ）〜（Ｅ）に示すように、インターレースに奇数（ODD）フィールド、偶数（EVEN）フィールドとRAWデータを読み出すため撮像装置からODDフィールド/EVENフィールドの順に入力されるRAWデータをＳＤＲＡＭに一旦格納し、各ライン並べ替えてプログレッシブのRAWデータとし、Y,Cr,Cbを生成する手法が用いられる。
【０００３】
以下に、従来のカメラ信号処理装置として、単板式ＣＣＤをセンサとした撮像装置で、撮像装置からの出力RAWデータから余剰部分を除きインターレースでSDRAMに一旦格納し、プログレッシブでSDRAMから読み出したRAWデータに対しＹＣ変換などを施しY,Cr,Cbを生成するカメラ信号処理装置を例示して説明する。
【０００４】
図２は、単板式ＣＣＤをセンサとしたカメラ信号処理装置の構成を示すブロック図である。
カメラ信号処理装置1000は、第１の信号処理装置1100、第２の信号処理装置1200、第３の信号処理装置1300、SDRAM1400、撮像装置1500、および制御装置1600を有する。
第１の信号処理1100から第２の信号処理1200への入力RAWデータのデータ幅は、１６ビットとし、第２の信号処理1200から第３の信号処理装置1300への出力RAWデータのデータ幅も１６ビットとし、RAWデータの水平方向画素数は960とし、SDRAM1400のデータバス幅は１６ビットとし、１バンクのコラム数は256とし、容量はODDフィールド/EVENフィールド各々１画面分の合計以上とする。
【０００５】
撮像装置1500は、ＣＣＤ素子を用いたセンサ部とＡＤ変換部からなり、レンズからの光信号を電気信号に変換し、デジタルのRAWデータとして出力する。RAWデータは、図１に示すように、ODDフィールド/EVENフィールドの順で出力される。
【０００６】
第１の信号処理1100は、撮像装置1500から入力されたRAWデータから余剰部分を除き、撮像装置1500から入力されたRAWデータをODDフィールド/EVENフィールドの順でデータ幅１６ビットのRAWデータを出力する。
【０００７】
第２の信号処理装置1200は、ODDフィールド/EVENフィールドの順に入力されるRAWデータを、図３に示すように、SDRAM1400に書き込み時にプログレッシブに並び変え格納し、SDRAM1400からの読み出し時は順次読み出しプログレッシブの１フレームのRAWデータとして出力する。
または、ODD/EVENフィールドの順に入力されるRAWデータを、図４に示すように、順次SDRAM1400に書き込みSDRAM1400からの読み出し時にプログレッシブに並び変えて読み出しプログレッシブの１フレームRAWデータを出力する。
【０００８】
第３の信号処理装置1300は、第２の信号処理装置1200から入力されたプログレッシブのデータ幅１６ビットのRAWデータに対し、オフセット補正、ゲイン補正、階調補正、ＹＣ変換など周知のカメラ信号処理を行い、各８ビットの輝度信号(Y)、色差信号(Cb,Cr)として出力する。
【０００９】
制御装置1600は、マイコン等で構成され各ブロックの制御を行う。
【００１０】
第２の信号処理装置1200について図５に関連付けて詳細に説明する。
第２の信号処理装置1200は、制御信号生成部1205、SDRAM制御部1210、第１のラインメモリ制御部1215、第２のラインメモリ制御部1220、第１のSRAM1250、第２のSRAM1255、第１のセレクタ1230、第２のセレクタ1225、第３のセレクタ1235、データ制御部1260を有し、SDRAM1400およびSDRAM1400への入出力データポートがトライステートのPAD1245に接続されている。また、第２の信号処理装置1200は全て単一クロックで動作するものとする。
【００１１】
第２の信号処理装置1200は、第１の信号処理装置1100からの入力RAWデータをSDRAM1400に書き込む場合は、図６（Ａ）〜（Ｇ）に示すように、第１の信号処理装置1100から入力イネーブルに同期して入力されてくる１６ビットの入力RAWデータに対し、期間Ａでは、第１のSRAM1250に入力RAWデータD0を書き込む。期間Ｂでは、第２のSRAM1255に入力RAWデータD1を書き込み、一方で、第１のSRAM1250からD0を読み出し、D0をSDRAM1400へ書き込む。期間Ｃでは、第１のSRAM1250に入力RAWデータD2を書き込み、一方で第２のSRAM1255からD1を読み出し、D1をSDRAM1400へ書き込む。
このように、第２の信号処理装置1200は、RAWデータ入力時はSRAMをダブルバッファとして持ち、SDRAMへ書き込む処理をする。
【００１２】
また、第３の信号処理装置1300へRAWデータを出力する場合は、図７（Ａ）〜（Ｇ）に示すように、期間AにRAWデータD0をSDRAM1400から読み出し第１のSRAM1250へ書き込み先読みしておく。期間Bでは、RAWデータD1をSDRAM1400から読み出し、第２のSRAM1255に書き込み、一方で第１のSRAM1250からRAWデータD0を読み出し第3の信号処理装置1300からの出力イネーブルに同期してRAWデータD0を出力する。期間Ｃでは、RAWデータD2をSDRAM1400から読み出し、第１のSRAM1250に書き込み、一方で第２のSRAM1255からRAWデータD1を読み出し第３の信号処理装置1300からの出力イネーブルに同期して出力する。
このように、第２の信号処理装置1200は、RAWデータ出力時においてもSRAMをダブルバッファとして持ちSDRAM1400からの読み出し処理を行う。
【００１３】
第１の信号処理装置1100からの入力RAWデータ１ライン分をSRAMへ書き込むのに要する時間は、RAWデータの水平画素数と等しい960クロックで可能ある。
しかし、SDRAMへ水平画素数960のRAWデータ１ラインを書き込むには960クロック以上を要す。図６（Ａ）〜（Ｇ）においてSRAMへの書き込み期間とSRAMからの読み出し期間が異なっているのはそのためである。SRAMの読み出し期間は、SDRAMの書き込みに律束されている。
【００１４】
次に、図８（Ａ）〜（Ｃ）に関連付けて水平画素数960の１ラインのRAWデータをSDRAMに書き込む場合を例とし説明する。
RAWデータの水平画素数が960であるので、１バンク256コラムのSDRAMに１ライン書き込むには４バンクに渡ってアクセスする必要がある。図８は、１ラインのRAWデータをバンクアドレス=0、コラムアドレス=0から順次書き込む場合の例である。SDRAMコマンドのＡはアクティブコマンド、Ｗはライトコマンド、Ｐはプリチャージコマンドを指す。
【００１５】
バンクＢＮＫ０をアクティブとし、ライトコマンドＷとSRAMからの読み出したRAWデータを順にSDRAMへと書き込む。バンクＢＮＫ０に256画素書き込まれた時点でバンクを０から１へ切替える。
ここで、まずバンクＢＮＫ０をプリチャージしバンクＢＮＫ０をアイドル状態にし、次にバンクＢＮＫ１をアクティブにし、バンクＢＮＫ１を書き込み可能とした上でデータとライトコマンドＷを印加しRAWデータをバンクＢＡＮＫ１へ書き込む。
また、各コマンド間は、SDRAMのACスペックを満たす時間が必要であり、バンクの切替えのたびに書き込みが中断され、連続的にSDRAMにデータを書き込むことができない。SDRAMからの読み出し時も図９（Ａ）〜（Ｃ）に示すように、ライトコマンドＷとリードコマンドＲの違いはあるもののその他は基本的に書き込み時と同じであり、バンク切替え時にアクセスが中断し、SDRAM1400から連続的に読み出すことができない。
【００１６】
前記のSDRAMの制約によりバンク切替えの度にアクセスが中断されSRAMのようにリアルタイムに連続的にアクセスすることができないので、連続する入力RAWデータをリアルタイムに直接SDRAM1400へ書き込めない。
そのため、第２の画像処理装置1200では、１ライン分の容量をもったラインメモリをダブルバッファに持ち一旦バッファとしてSRAMに格納する構成としている。
【００１７】
第２の信号処理装置1200の各部について具体的に説明する。
制御信号1205は、制御装置1600からの設定に従い動作モードを決定し第１の信号処理装置1100からの入力イネーブルおよび、第２の信号処理装置1300からの出力イネーブルから各部へ制御信号を出力する。
制御信号生成部1205は、第１のラインメモリ制御部1215に対し第１のSRAM1250への書き込みなのか読み出しなのかの制御信号を出力し、書き込みイネーブルまたは、読み出しイネーブルを出力する。
制御信号生成部1205は、第２のラインメモリ制御部1220に対し第２のSRAM1255への書き込みなのか読み出しなのかの制御信号を出力し、書き込みイネーブルまたは、読み出しイネーブルを出力する。
制御信号生成部1205は、SDRAM制御部1210に対し、SDRAM1400への書き込みなのか読み出しなのかの制御信号および、SDRAM上のライン単位での先頭ロウ、コラム、バンクアドレス、書き込みイネーブルまたは読み出しイネーブルを出力する。
制御信号生成部1205は、第１のセレクタ1230に対し、選択信号を出力する。制御信号生成部1205は、第２のセレクタ1225に対し、選択信号を出力する。制御信号生成部1205は、第３のセレクタ1235に対し、選択信号を出力する。制御信号生成部1205は、データ制御部1260に対し、制御信号を出力する。制御信号生成部1205は、データ制御部1260に対し、出力先の選択信号を出力する。
【００１８】
SDRAM制御部1210は、SDRAM1400に対するコマンド(RAS,CAS,WE,CS,CKEなどの組合せ)およびアドレス制御、データ制御を行い、SDRAM1400への書き込み時は、制御信号生成部1205からのイネーブルに従い制御信号生成部1205で決められたライン単位の先頭アドレスから順次書き込みアドレスおよびライトコマンドをSDRAM1400に印加し、これに合わせてデータ制御部1260からの順次入力されるRAWデータをSDRAM1400に書き込み記憶する。
SDRAM制御部1210は、図８（Ａ）〜（Ｃ）に示すように、バンク切り替わり時のアドレスの制御およびプリチャージやアクティブコマンドなどの制御も行う。
SDRAM1400からの読み出し時は、制御信号生成部1205からのイネーブルに従い制御信号生成部1205で決められたライン単位の先頭アドレスから順次読み出しアドレスおよびリードコマンドをSDRAM1400に印加し、これに合わせてSDRAM1400から記憶したRAWデータを順次読み出す。
SDRAM制御部1210は、図９（Ａ）〜（Ｃ）に示すように、バンク切り替わり時のアドレスの制御およびプリチャージやアクティブコマンドなどの生成も行う。
さらに、SDRAM制御部1210は、書き込み/読み出しとは別に電源投入時のイニシャライズやリフレッシュ、パワーセーブなど汎用SDRAMで必要とされる動作を行う。
【００１９】
第１のラインメモリ制御部1215は、第１のSRAM1250に対するライトイネーブルWE、チップセレクトCSなどのコマンドおよびアドレス制御、データ制御を行い、第１のSRAM1250に対し、書き込みであるか読み出しであるかを、制御信号生成部1205からの制御信号により決定し、制御信号生成部1205からのイネーブルに従いRAWデータの書き込み記憶し、記憶したRAWデータを読み出す。
【００２０】
第２のラインメモリ制御部1220は、第２のSRAM1255に対するライトイネーブルWE、チップセレクトCSなどのコマンドおよびアドレス制御、データ制御を行い、第２のSRAM1255に対し、書き込みであるか読み出しであるかを、制御信号生成部1205からの制御信号により決定し、制御信号生成部1205からのイネーブルに従いRAWデータの書き込み記憶し、記憶したRAWデータを読み出す。
【００２１】
第１のセレクタ1230は、制御信号生成部1205の選択信号に従いSDRAM1400からの読み出しデータと第１の信号処理装置1100からの入力データを選択し、第１のラインメモリ制御部1215に出力する。
【００２２】
第２のセレクタ1225は、制御信号生成部1205の選択信号に従いSDRAM1400からの読み出しデータと第１の信号処理装置1100からの入力データを選択し、第２のラインメモリ制御部1220に出力する。
【００２３】
第３のセレクタ1235は、第１のラインメモリ1215、第２のラインメモリ1220の出力データを制御信号生成部1205の制御信号に従い選択しデータ制御部1260へと出力する。
【００２４】
データ制御部1260は、第３のセレクタからの出力データを制御信号生成部1205からの制御信号に従いSDRAMへ書き込むデータであるか第２の信号処理装置1200から出力するデータであるのか選択し、SDRAMに書き込むデータであればSDRAM制御部1210への入力データとして出力し、出力するデータであれば第２の信号処理装置1200の出力ポートへと出力する。
【００２５】
第１のSRAM1250は、シングルポートSRAMであり、入力RAWデータ１ライン分の容量を必要とするためビット幅１６ビット、ワード数960ワードの容量のあるSRAMである。
【００２６】
第２のSRAM1255は、シングルポートSRAMであり、入力RAWデータ１ライン分の容量を必要とするためビット幅１６ビット、ワード数960ワードの容量のあるSRAMである。
【発明の開示】
【発明が解決しようとする課題】
【００２７】
以上の説明は、単板式のＣＣＤをセンサとして使用した場合の例である。
しかし、より再現性の高い画像を得るためにセンサを３板式とした３板式ＣＣＤをセンサとして使うことがある。
【００２８】
３板式ＣＣＤは、光の３原色である赤(R),緑(G),青(B),のそれぞれの色情報を得るために特化したＣＣＤを３つ用意するので、単板式ＣＣＤと同じ面積を得ようとすると３倍のＣＣＤ素子が必要となる。そのため、カメラ信号処理内部のデータのやりとりは３チャンネル化する。
【００２９】
しかしながら、上述したカメラ信号処理装置は、３板式ＣＣＤには単純に適応することができず、複数チャンネルのパラレル処理を行うことができない。
第２の画像信号処理装置1200への入出力ポートはそれぞれ3チャンネルとなるので、単板式に比べ入出力ポートは３倍となり（各チャンネル16ビットずつ)、SDRAM1400のポート幅が16ビットである以上入出力ポートとSDRAM1400を前記単板式ＣＣＤのときのように同一周波数で動作させることはバンド幅的に無理である。
また、図８、図９に示すように、バンク切り替え時に連続性を欠き、SDRAMに連続的にアクセスすることができない。
【００３０】
本発明の目的は、３板式ＣＣＤの場合のように複数チャンネルから順次入力される画素情報に対応可能で、複数チャンネルから順次入力される画素情報を記憶装置に記憶することができ、記憶した画素情報を順次複数ポートへ出力する際に消費電力を抑えつつ、最小限のラインメモリで構成可能な画像信号処理装置およびその方法を提供することにある。
【課題を解決するための手段】
【００３１】
上記目的を達成するため、本発明の第１の観点は、外部からイネーブルに従い複数チャンネルからライン単位で入力される１画面分の画素情報を記憶装置に格納し、格納した画素情報を上記記憶装置から読み出しライン単位で入力順、または並べ変えて複数チャンネルに外部イネーブルに従い出力するような画像信号処理装置であって、１チャンネルの１ライン分の画像情報を格納するラインメモリと、上記ラインメモリを使用し複数チャンネルから入力される１画面分の画素情報をライン単位で順次上記記憶装置に書き込む書き込み手段と、上記ラインメモリを使用し１画面分の画素情報を上記記憶装置から順次読み出しライン単位で複数チャンネルに入力順、または並べ変えて出力する読み出し手段とを有する。
【００３２】
好適には、上記書き込み手段は、外部からイネーブルに従い複数チャンネルからライン単位で入力される画素情報を外部イネーブルが有効な期間にリアルタイムにチャンネル数-1分の画素情報を上記記憶装置に書き込みつつ１チャンネル分の画素情報をラインメモリに書き込む手段と、イネーブルが無効な期間にラインメモリに書き込まれた画素情報をラインメモリから読み出し上記記憶装置に書き込む手段とを有する。
【００３３】
好適には、上記書き込み手段は、連続的に入力される画素情報を上記記憶装置に対し連続的に書き込むためにバンクの切替え時には、予めバンクアクティブコマンドを印加の後該当バンクに対する書き込みコマンドを印加し、その後、前アクセスバンクのプリチャージコマンドを印加する手段を有する。
【００３４】
好適には、上記書き込み手段は、パラレルに入力される画素情報をシリアルに並べ変える手段を有する。
【００３５】
好適には、上記書き込み手段は、入力データポートの周波数から上記記憶装置データポートの周波数へ周波数を乗り換える手段を有する。
【００３６】
好適には、上記読み出し手段は、出力対象ラインに対する外部からのイネーブルより前のイネーブルの無効期間に１チャンネルの１ライン分のデータを上記記憶装置か予め読み出して上記ラインメモリに格納し、外部イネーブルが有効な期間にリアルタイムにチャンネル数-1分の画素情報を上記記憶装置から読み出しつつ、１チャンネル分の画素情報をラインメモリから読み出し全てのチャンネル数分の画素情報をライン単位で出力する手段を有する。
【００３７】
好適には、上記読み出し手段は、上記記憶装置から連続的に画素情報を読み出すためにバンクの切替え時には、予めバンクアクティブコマンドを印加の後該当バンクに対する読み出しコマンドを印加し、その後、前アクセスバンクのプリチャージコマンドを印加する手段を有する。
【００３８】
好適には、上記読み出し手段は、シリアルに入力される画素情報をパラレルに並べ変える手段を有する。
【００３９】
好適には、上記読み出し手段は、上記記憶装置データポートの周波数から出力データポートの周波数へ周波数を乗り換える手段を有する。
【００４０】
好適には、入力データポートおよび出力データポートのチャンネル数は等しくそれぞれＮチャンネルとし、入力データポートと出力データポートの動作周波数は等しくf0としたとき、上記記憶装置の動作周波数ｆ１は、ｆ１＝f0×(N-1)である。
【００４１】
好適には、入出力データの水平画素数をＭとしたときイネーブルの有効期間Ｈ０は上記記憶装置の動作周波数でH0=(M×(N-1))サイクルで、ブランキング期間Ｈ１はH1=(M+内部遅延サイクル）である。
【００４２】
好適には、上記書き込み手段は、順次入力される画素情報に対し、ライン単位で任意に上記記憶装置への書き込みアドレスを生成する。
【００４３】
好適には、上記読み出し手段はライン単位で任意に上記記憶装置からの読み出しアドレスを生成する。
【００４４】
本発明の第２の観点は、外部からイネーブルに従い複数チャンネルからライン単位で入力される１画面分の画素情報を記憶装置に格納し、格納した画素情報を上記記憶装置から読み出しライン単位で入力順、または並べ変えて複数チャンネルに外部イネーブルに従い出力するような画像信号処理方法であって、１チャンネルの１ライン分の画像情報をラインメモリに格納する第１ステップと、上記ラインメモリを使用し複数チャンネルから入力される１画面分の画素情報をライン単位で順次上記記憶装置に書き込む第２ステップと、上記ラインメモリを使用し１画面分の画素情報を上記記憶装置から順次読み出しライン単位で複数チャンネルに入力順、または並べ変えて出力する第３ステップとを有する。
【００４５】
本発明によれば、たとえば３チャンネルの入力データを同時に処理するのではなく処理を２チャンネル分のデータと１チャンネル分のデータに分け、外部イネーブルの有効期間に２チャンネル分のデータはリアルタイムに記憶装置（たとえばSDRAM）に書き込みつつ、1チャンネル分のデータはラインメモリに格納される。
その直後の外部イネーブルのブランキング期間にラインメモリに格納されている１チャンネル分のデータを記憶装置に書き込むというように分割処理する。
これにより、ラインメモリは１チャンネルの１ライン分の容量で済む。また、これを実現するには、記憶装置（SDRAM）に対し隙間なく連続的にアクセスできなければならない。
また、バンク切り替え時に連続性を欠く点をライト／リードコマンドに対しアクティブコマンドとプリチャージコマンドのコマンド入力タイミングを工夫し、記憶装置の制御によりリアルタイムに連続的に記憶装置にアクセスする。
【発明の効果】
【００４６】
本発明によれば、複数チャンネルの入出力を記憶装置を用いて消費電力を抑えつつ実現する場合にバッファとして格納するラインメモリを最小限に抑えることが可能となり、ＬＳＩチップの面積削減が可能となる。
また、デジタルビデオカメラなどのモバイル用ＬＳＩの用途として低消費電力という点で効果がある。
【発明を実施するための最良の形態】
【００４７】
以下、本発明の実施形態を、図面に関連付けて説明する。
【００４８】
以下では、まず、第１の実施形態として、３板式ＣＣＤに対応可能なカメラ信号処理装置について説明し、次に、第２の実施形態として複数チャンネルから順次入力される画素情報を記憶装置に記憶することができ、記憶した画素情報を順次複数ポートへ出力する際に消費電力を抑えつつ、最小限のラインメモリで構成可能なカメラ信号処理装置について説明、第３の実施形態として本発明に係るカメラ信号処理装置を採用したカメラシステムについて説明する。
【００４９】
第１実施形態
図１０は、本発明の第１の実施形態に係る３板式ＣＣＤに対応可能なカメラ信号処理装置の構成を示すブロック図である。
【００５０】
カメラ信号処理装置2000は、図１０に示すように、第１の信号処理装置2100、第２の信号処理装置2200、第３の信号処理装置2300、SDRAM2400、撮像装置2500、および制御装置2600を有する。
【００５１】
３板式のカメラ信号処理装置2000は、基本的には単板式カメラ信号処理装置と同様の構成を有するが、撮像装置2500から第１の信号処理装置2100へは、R,G,B各々が独立して３チャンネルパラレルに画素情報が入力される。第１の信号処理装置2100から第２の信号処理装置2200へも３チャンネルパラレルに画素情報が入力され、第２の信号処理装置2200から第３の信号処理装置2300へも３チャンネルパラレルに画素情報入力される。
単板式に比べ３板式は、各ブロック間のデータポートが３チャンネルパラレルとなる点が大きく異なる。
【００５２】
第２の信号処理装置2200は、図１１に示すように、制御信号生成部2205、SDRAM制御部2210、第１のラインメモリ制御部2215、第２のラインメモリ制御部2220、第１のSRAM2250、第２のSRAM2255、第１のセレクタ2230、第２のセレクタ2225、第３のセレクタ2235、データ制御部2260を有し、SDRAM2400、SDRAM2400への入出力データポートがトライステートのPAD2245、第１のクロック乗り換え部2280、第２のクロック乗り換え部3285、第１のデータ並べ替え部3295、および第１のデータ並べ替え部3290を有している。
【００５３】
第２の信号処理装置2200への入出力ポートはそれぞれ３チャンネルとなるので、単板式に比べ入出力ポートは３倍となり（各チャンネル16ビットずつ）、図２のように、SDRAM1400のポート幅が16ビットである以上入出力ポートとSDRAM2400を単板式ＣＣＤのときのように同一周波数で動作させることはバンド幅的に無理である。
【００５４】
「入出力ポートの動作周波数:SDRAMのデータバスの動作周波数=1:3」であれば、バンド幅は足りることになる。入出力ポートの動作周波数f0、SDRAM2400の動作周波数をf1とし、入力RAWデータをSDRAM2400に書き込む動作を図１２（Ａ）〜（Ｉ）に関連付けて説明する。
書き込み時は、入力ポートとSDRAM2400の動作周波数が異なるため、f0からf1へのクロック乗り換えを必要とし、また、パラレルに入力されるRAWデータをシリアルに並べ替えることを必要とする。
図１２（Ａ）〜（Ｉ）に示すように、第１の信号処理装置2100からイネーブルに同期して入力されて来る各16ビットの３チャンネル(Rチャンネル,Gチャンネル,Bチャンネル)のRAWデータに対し、期間Ａでは、動作周波数f0で入力されるR0,G0,B0をf1へとクロック乗り換えし、３チャンネルパラレルなRAWデータをパックしシリアルなRAWデータRGB0へと変換し、RGB0を第1のSRAM2250へ書き込む。
期間Ｂでは、入力RAWデータR1,G1,B1を期間Ａと同様にクロック乗り換えとパラレル-シリアル変換をし、シリアルなRAWデータRGB1へと変換し、第２のSRAM2255に書き込み、一方で、第１のSRAM2250からRGB0を読み出し、SDRAM2400へ書き込む。
期間Ｃでは、入力RAWデータR2,G2,B2を同様にクロック乗り換え、データ変換し、シリアルなRAWデータRGB2へ変換し第１のSRAM2250にRGB2を書き込み、一方で第２のSRAM2255からRGB1を読み出し、SDRAM2400へ書き込む。
このように第２の信号処理装置2200は、RAWデータ入力時はSRAMをダブルバッファとして持ち、SDRAM2400へ書き込む処理をする。
【００５５】
また、格納されたRAWデータをSDRAM2400から読み出す動作を図１３（Ａ）〜（Ｉ）に関連付けて説明する。
読み出し時は、SDRAM2400と出力ポートの動作周波数が異なるためf1からf0へのクロック乗り換えを必要とし、SDRAM2400からの読み出したシリアルなRAWデータをパラレルな出力RAWデータへと変換する必要がある。
図１３（Ａ）〜（Ｉ）に示すように、第３の信号処理装置2300へ３チャンネルのRAWデータ(Rチャンネル,Gチャンネル,Bチャンネル)を出力する場合は、期間ＡにRAWデータRGB0をSDRAM2400から読み出し第１のSRAM2250へ書き込み、先読みしておく。
期間Ｂでは、RAWデータRGB1をSDRAM2400から読み出し、第２のSRAM2255に書き込み記憶しておく、一方で第１のSRAM2250からRAWデータRGB0を読み出しシリアルなRGB0をパラレルなデータR0,G0,B0へとアンパックし、動作周波数f1からf0へのクロック乗り換えを行い、第３の信号処理装置2300からの出力イネーブルに同期してRAWデータR0,G0,B0を出力する。
期間Ｃでは、RAWデータRGB2をSDRAM2400から読み出し、第１のSRAM2250に書き込み、一方で第２のSRAM2255からRAWデータRGB1を読み出し期間Bと同様にデータ変換、クロック乗り換えをし、シリアルなRGB1をパラレルなR1,G1,B1として第３の信号処理装置2300からの出力イネーブルに同期して出力する。
このように第２の信号処理装置2200は、RAWデータ出力時においてもSRAMをダブルバッファとして持ちSDRAM2400からの読み出し処理を行う。
【００５６】
ここで、図１１を参照して、３板式に対応をした第２の信号処理装置2200について詳細に説明する。
【００５７】
第２の信号処理装置2200は、上述したように、制御信号生成部2205、SDRAM制御部2210、第１のラインメモリ制御部2215、第２のラインメモリ制御部2220、第１のSRAM2250、第２のSRAM2255、第１のセレクタ2230、第２のセレクタ2225、第３のセレクタ2235、データ制御部2260を有し、SDRAM2400、SDRAM2400への入出力データポートがトライステートのPAD2245に加えて、さらに、第１のクロック乗り換え部2285、第２のクロック乗り換え部2280、第１のデータ並べ替え部2295、第２のデータ並べ替え部2290を有する。
なお、第１のクロック乗り換え部2285および第２のクロック乗り換え部2280の２ブロックは、クロック乗り換えをするため2系統の動作周波数f0およびf1で動作するが、それ以外のブロックはf1のみで動作するものとする。
【００５８】
第１のクロック乗り換え部2285は、デュアルポートのSRAMを有し、デュアルポートのSRAMを用いて動作周波数f0で入力してくるR,G,BそれぞれのRAWデータを動作周波数f1へとクロック乗り換えしている。
デュアルポートのSRAMに対する書き込み/読み出しアドレス制御、コマンド制御も行っている。使用するデュアルポートのSRAMは、ビット幅48ビット、ワード数は数ワードのごく小規模なもので十分である。
【００５９】
第２のクロック乗り換え部2280は、デュアルポートのSRAMを有し、デュアルポートのSRAMを用いて動作周波数f0で入力してくるR,G,BそれぞれのRAWデータを動作周波数f1へとクロック乗り換えしている。
デュアルポートのSRAMに対する書き込み/読み出しアドレス制御、コマンド制御も行っている。使用するデュアルポートのSRAMは、ビット幅48ビット、ワード数は数ワードのごく小規模なもので十分である。
【００６０】
第１のデータ並べ替え部2295は、第１のクロック乗り換え部2285でf0からf1へとクロック乗り換え後の各16ビット、３チャンネルのパラレルで入力されるデータを16ビットシリアルに並べ替える必要がある。
【００６１】
図１４は、第１のデータ並べ替え部2295の具体的な構成例を示す回路図である。
図１４において、カウンタ22950は、制御信号生成部2205から送られるイネーブルに従い0→1→2→0→1→2→…とインクリメントするカウンタを生成する。
R  reg22951, G  reg22952, B  reg22953 は、それぞれ第１のデータ並べ替え部2295の入力RAWデータR Data,G Data,B Dataを１段ラッチしたものである。
セレクタ2295は、カウンタからの値が０の時は、R  reg22951の値、１の時は、G  reg22952の値、２の時は、B  reg22953 の値を出力する。  
RGB reg22955 は、セレクタからの出力を１段ラッチし、第１のラインメモリ制御部2215または、第２のラインメモリ制御部2220へと出力する。
【００６２】
また、図１５（Ａ）〜（Ｈ）は、第１のデータ並べ替え部2295において、パラレル３入力のRAWデータR Data,G Data,B DataからシリアルなRGB Dataに変換し出力するまでのタイミングチャートである。
CK0 は、動作周波数f0で動作するクロックであり、CK1は、動作周波数f1で動作するクロックである。f0:f1=1:3であるので、クロックベースではCK0の１クロックに対し、CK1は、３クロックとなる。
第１の信号処理装置2100からの入力RAWデータは動作周波数f0で動作するのでR,G,B各チャンネル１画素は、CK0で１クロックで乗り換え後のCK1で３クロック周期でパラレルに入力される各々のRAWデータをCK1で１クロック周期でシリアルにR→G→B→R→G→B→…と並び替え出力する。
【００６３】
第２のデータ並べ替え部2295は、第１のラインメモリ制御部2215または、第２のラインメモリ制御部2220から出力された16ビットのシリアルなデータRGB Dataをパラレルな各16ビットの3出力のRAWデータR Data, G Data, B Dataに並び替える必要がある。
【００６４】
図１６は、第２のデータ並べ替え部2295の具体的な構成例を示す回路図である。
図１６において、カウンタ22900は、制御信号生成部2205から送られるイネーブルに従い0→1→2→0→1→2→…とインクリメントするカウンタを生成する。
RGB reg22901は、16 ビットのレジスタで、第１のラインメモリ制御部2215または、第２のラインメモリ制御部2220から出力された16ビットのデータをRGB reg22901で１段ラッチする。
第１のセレクタ32902とR  reg22905は、カウンタ22900の値に従い、カウンタ値が0の時はRGB  reg22901の値をR  reg22905にラッチし、それ以外のときは、R  reg22905の値をホールドする。
第２のセレクタ22903とG  reg22906は、カウンタ22900の値に従い、カウンタ値が1の時は、RGB  reg22901 の値をG  reg22906にラッチし、それ以外のときは、G  reg22906 の値をホールドする。
第3のセレクタ22904とG  reg22907は、カウンタ22900の値に従い、カウンタ値が2の時は、RGB  reg22901 の値をB  reg22907にラッチし、それ以外のときは、B  reg22907 の値をホールドする。
【００６５】
図１７（Ａ）〜（Ｆ）は、第２のデータ並べ替え部3290において、シリアルにパックされたRAWデータRGB DataをパラレルなRAWデータR Data,G Data,B Dataに変換し、出力するまでのタイミングチャートである。
１画素が、CK1で１クロック周期でシリアルにR→G→B→R→G→B→…入力されるR,G,B各々のRAWデータをCK1で3クロック周期でパラレルに並び替え出力する。
【００６６】
また、第１のSRAM2250、第２のSRAM2255ともに1ラインの水平画素数960の3チャンネル分の容量が必要である。
【００６７】
以上説明したように、本第１の実施形態によれば、第２の信号処理装置2200のようにすることで３板式ＣＣＤの３チャンネル入出力にも対応が可能である。
ただし、１ラインの水平画素数960で３チャンネルパラレルで入出力するため、ダブルバッファ構成の第１のSRAM2250と第２のSRAM2255は、それぞれビット幅16ビット、ワード数960×3ワードの容量が必要となる。つまり、第２の信号処理装置2200ではトータル92160ビットのラインメモリが必要になる。
【００６８】
第２実施形態
図１８は、本発明の第２の実施形態に係る３板式ＣＣＤに対応可能なカメラ信号処理装置の構成を示すブロック図である。
【００６９】
カメラ信号処理装置3000は、図１０に示すように、第１の信号処理装置3100、第２の信号処理装置3200、第３の信号処理装置3300、SDRAM3400、撮像装置3500、および制御装置3600を有する。
本第２の実施形態に係るカメラ信号処理装置3000の撮像装置3500、第１の信号処理装置3100、第３の信号処理装置3300、制御装置3600は、それぞれ第１の実施形態に係るカメラ信号処理装置2000における、撮像装置2500、第１の信号処理装置2100、第３の信号処理装置2300、制御装置2600と同様の構成を有するが、第２の信号処理装置3200のみが前記第２の信号処理装置2200と構成が異なる。ここでは、第２の信号処理装置3200について説明する。
【００７０】
図１９は、本第２の実施形態に係る第２の信号処理装置3200の具体的な構成および機能を説明するためのブロック図である。
また、図２０（Ａ）〜（Ｇ）は、第２の実施形態に係るカメラ信号処理装置における入力RAWデータをSDRAM3400に書き込む動作を説明するための図である。
図２１（Ａ）〜（Ｇ）は、第２の実施形態に係るカメラ信号処理装置における格納されたRAWデータをSDRAM3400から読み出す動作を説明するための図である。
【００７１】
第２の信号処理装置3200は、図１９に示すように、制御信号生成部3265、第１のクロック乗換え部3205、第２のクロック乗換え部3220、書き込みデータ選択部3210、第１のデータ変換部3215、第２のデータ変換部3230、第１のセレクタ3235、第２のセレクタ3240、ラインメモリ制御部3245、SDRAM制御部3250、SRAM3260、PAD3255、およびSDRAM3400を有する。
【００７２】
第１の実施形態の第２の信号処理装置2200では、１６ビットのSDRAMデータバス幅に対し、同時に４８ビット(16ビット×3ポート)がアクセスするため入出力ポートの動作周波数に対し、SDRAMの動作周波数は３倍必要であった。
本第２の実施形態では、３チャンネルの入出力データを２チャンネルと１チャンネルに分けてSDRAMにアクセスしている。このため、１６ビットのバス幅のSDRAMに同時にアクセスするのは最大３２ビット(16ビット×2ポート)である。
したがって、入出力ポートに対するSDRAMの動作周波数は２倍あれば動作し、入出力ポートの動作周波数f0、クロックCK0、とSDRAMの動作周波数f1、クロックCK1としたとき、f1=2×f0、CK0=2×CK1となる。
【００７３】
ただし、図２０や図２１に示すように、外部イネーブルに同期して２チャンネル分のデータがSDRAMにアクセスし、残りの１チャンネルのデータは外部イネーブルのブランキング期間を利用してラインメモリからSDRAMへのアクセスするため外部イネーブルの立下がりから次の外部イネーブルの立上りまではそのアクセス期間を保証する必要がある。
【００７４】
以下に、書き込み時と読み出し時にわけ、一連の動作を詳細に説明する。
まず、図２０（Ａ）〜（Ｇ）を参照して、書き込み時の動作を詳細に説明する。
【００７５】
期間Ａでは、入力イネーブルに従って入力される３チャンネルの入力RAWデータR,G,Bを第１のクロック乗り換え部3205で動作周波数f0からf1へとクロック乗り換えを行い、書き込みデータ選択部3210では、RとGのRAWデータを第１のデータ変換部3215へ出力し、同時にＢのRAWデータをラインメモリ制御部3245へ送るため第２のセレクタ3240へ出力する。
第１のデータ変換部3215では、パラレルに入力されるRとGのRAWデータを、シリアルなデータへと変換し、第１のセレクタ3235を通りSDRAM制御部3250へと送られ、リアルタイムにSDRAM3400へと書き込まれる。
一方で、ＢのRAWデータは第２のセレクタ3240を通り、ラインメモリ制御部3245で、SRAM3260に書き込まれる。
期間Ｂの外部イネーブルのブランキング中に、SRAM3260に格納してあるBデータを読み出し、ラインメモリ制御部3245を通り第１のセレクタ3235を通りSDRAM制御部3250でSDRAM3400に書き込まれる。ブランキング中のBのRAWデータ処理のため各部への内部イネーブルなどの制御は制御信号生成部3265が行う。
期間Ｃと期間Ｄ、期間Ｅと期間Ｆでも同様に外部イネーブルの有効期間中にRGのRAWデータをSDRAM3400に書きつつ、BのRAWデータをラインメモリにため、次に外部イネーブルのブランキング中にBのRAWデータをラインメモリから読み出し、SDRAM3400に書き込む。この動作を繰り返す。
【００７６】
また、期間Ａなどの入力イネーブルの有効期間でR,G,Bの各RAWデータ１ラインは、水平画素数960画素をクロックCK0で960クロック、クロックCK1で1920クロックかけ入力される。水平画素数960画素のRとGのRAWデータ１ラインはパラレル-シリアル変換し、1920画素をクロックCK1で1920クロックかけSDRAM1400に書き込み記憶される。
一方でBのRAWデータ1ラインは、960画素をCK1で1920クロックかけSRAM3260に記憶される。期間Ｂなどのイネーブルのブランキング期間でSRAM3260に記憶されているBのRAWデータ１ラインをSRAM3260から読み出し、SDRAM3400に書き込み記憶する。
このときクロックCK1で水平画素数960画素を960クロックかけて読み出すので、イネーブルの立ち下がりから立上りまでのブランキング期間はクロックCK1で960+内部遅延クロック必要となる。
【００７７】
次に、図２１（Ａ）〜（Ｇ）を参照して、読み出し時の動作を詳細に説明する。
【００７８】
出力イネーブルの有効でない期間ＡでBのRAWデータのみをSDRAM制御部3250でSDRAM3400から第２のセレクタ3240を通りラインメモリ制御部3245でSRAM3260に格納する。
出力イネーブルのブランキング期間中のBのRAWデータ処理のための各部へのイネーブルなどの制御は制御信号生成部3265が行う。
出力イネーブルの有効期間である期間Ｂでは、RとGのRAWデータをSDRAM制御部3250でSDRAM3400から読み出し、データ変換部でシリアルな16ビットのRAWデータRGを各16ビットのパラレルなRAWデータRとGに変換する。
一方でタイミングを合わせラインメモリ制御部3260からRAWデータBをSRAM3260から読み出す。この際のSDRAM3400からの読み出しRAWデータRとGとSRAM3260からの読み出しRAWデータBとのタイミング合わせは制御信号生成部3265が行う。
各16ビットのR,G,BのRAWデータは、図２２（Ａ）〜（Ｄ）に示すように、パラレルに第２のクロック乗換え部3220へ入力され、動作周波数f1からf0へとクロック乗り換えし、第３の信号処理装置3300へと出力される。
【００７９】
SDRAM3400への書き込み時と同様に出力イネーブルのブランキング中にBのRAWデータをSDRAM3400から読み出しSRAM3260へ書き込み記憶しておくため、出力イネーブルの立ち下がりから立上りまでのブランキング期間は、クロックCK1で960+内部遅延クロック必要となる。
【００８０】
次に、本第２の実施形態における第２の信号処理装置3200の具体的な構成および機能について説明する。前述したように、図１９の第２の信号処理装置3200は、制御信号生成部3265、第１のクロック乗換え部3205、第２のクロック乗換え部3220、書き込みデータ選択部3210、第１のデータ変換部3215、第２のデータ変換部3230、第１のセレクタ3235、第２のセレクタ3240、ラインメモリ制御部3245、SDRAM制御部3250、SRAM3260、PAD3255、SDRAM3400を有している。
【００８１】
第１のクロック乗換え部3205は、前記第１の実施形態の第１の信号処理装置2285と同じ構成である。
第２のクロック乗換え部3220は、前記第２の信号処理装置2280と同じ構成である。
ラインメモリ制御部3245は、前記前記第１の実施形態の第１のラインメモリ制御部2215または、第２のラインメモリ制御部2220と同様な構成であり、制御信号生成部3265の制御信号に従い、SRAM3260への書き込みまたは読み出しを行う。
第１のセレクタ3235は、制御信号生成部からの選択信号に従い、第１のデータ変換部3215からのデータかラインメモリ制御部3240からのデータかを選択し、SDRAM制御部3250へ送る。
第２のセレクタ3240は、書き込みデータ選択部3210からのデータかSDRAM制御部3250からのデータかを選択し、ラインメモリ制御部3245に送る。
上の各部は、前記第１の実施形態の第２の信号処理装置2200の各部とほぼ同じ構成をとる。
【００８２】
制御信号生成部3265は、各部への制御信号を生成するという点では、前記第１の実施形態の制御信号生成部2205と同じであるが前記制御信号生成部2265が、外部イネーブルの有効期間中にのみ各部への制御信号を生成し、外部イネーブルのブラキング中は特に制御信号の生成はしていないのに対し、本第２の実施形態における第２の制御信号生成部3265は、外部イネーブルのブランキング中もRAWデータBの処理のために内部イネーブルなどの制御信号を生成する。
【００８３】
第１のデータ変換部3215は、パラレル-シリアル変換を行うが、前記第１の実施形態の第１のデータ並べ替え部2295が３入力のパラレルなデータからシリアルなデータに変換したのに対し、本第１の実施形態の第１のデータ変換部3215は、２入力のパラレルなデータからシリアルなデータに変換する。
【００８４】
図２３は、本第２の実施形態の第１のデータ変換部3215の具体的な構成例を示す回路図である。
また、図２４は、図２３の第１のデータ変換部のタイミングチャートである。
【００８５】
図２３において、カウンタ32150は、制御信号生成部3265から送られるイネーブルに従い0→1→→0→1→…とインクリメントするカウンタを生成する。
R  reg32151, G  reg32152は、それぞれ第１のデータ変換部3215の入力RAWデータR Data,G Data を１段ラッチしたものである。
セレクタ32154 は、カウンタからの値が０の時は、R  reg32151の値、１の時は、G  reg32152の値の値を出力する。  
RG  reg32155 は、セレクタ32155からの出力を１段ラッチし、セレクタ3235へと出力する。
【００８６】
第２のデータ変換部3230は、シリアル-パラレル変換を行うが、前記第１の実施形態第２のデータ並べ替え部部2290がシリアルなデータから３出力のパラレルなデータに変換したのに対し、本第２の実施形態の第２のデータ変換部3230は、シリアルなデータから２出力のパラレルなデータに変換する。
【００８７】
図２５は、本第２の実施形態の第２のデータ変換部3230の具体的な構成例を示す回路図である。
また、図２６は、図２５の第２のデータ変換部のタイミングチャートである。
【００８８】
図２５において、カウンタ32300は、制御信号生成部3265から送られるイネーブルに従い0→1→0→1→…とインクリメントするカウンタを生成する。
RGB reg32301は、16 ビットのレジスタで、SDRAM 制御部3250から出力された16ビットのデータをRGB  reg32301で１段ラッチする。
第１のセレクタ32302とR  reg32305は、カウンタ32300の値に従い、カウンタ値が0の時はRGB  reg32301の値をR  reg32305にラッチし、それ以外のときは、R  reg32305の値をホールドする。
第２のセレクタ32303とG  reg32306は、カウンタ22900の値に従い、カウンタ値が1の時は、RGB  reg32301 の値をG  reg32306にラッチし、それ以外のときは、G  reg32306 の値をホールドする。
【００８９】
SDRAM制御部3250は、制御信号生成部3265からのイネーブルに従いSDRAM3400への書き込み、読み出しを行い、ライン単位の先頭アドレスを制御信号生成部3265から送られる点は前記第１の実施形態のSDRAM制御装置2210と同様であるが、バンク切り替え時にアクセスの連続性が損なわれる点をアクティブコマンドとライト／リードコマンドとプリチャージコマンドのタイミングを工夫することで解消している。
【００９０】
１ラインのRAWデータをSDRAM3400に書き込む時の例を図２７（Ａ）〜（Ｃ）に関連付けて説明する。
【００９１】
従来の装置では、図８に示すように、バンクＢＮＫ０からバンクＢＮＫ１への切り替え時にはバンクＢＮＫ０のプリチャージ、バンクＢＮＫ１のアクティブコマンド、その後にバンクＢＮＫ１のライトコマンドＷを印加していたため、バンク切り替え時にSDRAMに対するアクセスの連続性が損われた。
しかし、図２７（Ａ）〜（Ｃ）に示すように、連続して入力してくるRAWデータのタイミングでライトコマンドＷを印加し、その前後ACスペックを満たすタイミングでアクティブコマンドＡ、プリチャージコマンドＰを印加することで連続的にRAWデータをSDRAM3400に書き込むことが可能になる。
バンクＢＮＫ０からバンクＢＮＫ１のアクセスを例にとるとアクティブコマンドＡ0でバンクＢＮＫ０をアクセス可能状態とし、バンクＢＮＫ０への書き込みRAWデータW0の入力タイミングに合わせライトコマンドＷ0を印加し順次バンクＢＮＫ０へ書き込みを行う。
バンクＢＮＫ１へ切替える際は、バンクＢＮＫ１への書き込みRAWデータW1が入力される前にアクティブコマンドＡ1とバンクアドレス1を印加し、バンクＢＮＫ１をアクセス可能状態としておく。その後、バンクアドレスは0へ戻しておく。
W1が入力されるタイミングでライトコマンドＷ1とバンクアドレス1を印加し、順次書き込みを行う。ライトコマンドＷ1の後にプリチャージコマンドＰ0とバンクアドレス0を印加しバンクＢＮＫ０をアイドル状態としておく。その後バンクアドレスは1へと戻しておく。
各コマンド間は、SDRAMの制約(ACスペック)を満たす期間以上の間隔を空けておく。
このようにすることで入力RAWデータW0,W1は、バンク切替え時でも隙間なく連続的にSDRAM3400に書き込むことができる。他のバンク切替え時も同様である。また、ロウアドレスの切替え時も同様な処理となる。
【００９２】
図２８（Ａ）〜（Ｃ）は、読み出す処理を示している。
【００９３】
SRAM3260は、前記の通り1チャンネルの1ライン分の容量があれば十分なので、SRAM3260の容量は、960×16ビットとなる。
【００９４】
このように本第２の実施形態においては、第１の実施形態の３板式ＣＣＤの場合が960×6×16ビットの容量のSRAMが必要であったのに対し、960×16ビットという従来例に比べ1/6のSRAM容量で所望の処理が可能となる。
また、動作周波数も第１の実施形態では、入出力ポートに対し、SDRAM側では3倍の動作周波数が必要であったが、本第２の実施形態では、２倍で済む。
【００９５】
なお、本第２の実施形態に係るSDRAM制御装置3250を用い、動作周波数を３倍とすれば、ラインメモリを使用せずに所望の動作が実現が可能である。ただし、動作周波数が上がることにより消費電力も増加するためデジタルビデオカメラのような低消費電力が求められるセットとしてはその要求を満足し得ない場合がある。
【００９６】
また、本実施形態においては、撮像装置のセンサとしてＣＣＤを例にとってきたがＣＭＯＳセンサなどでも同様である。
【００９７】
本実施形態においては、３板式ＣＣＤのように３チャンネルの入力の場合を例としてきたが、さらにチャンネル数を任意の複数チャンネルとしても動作条件を図２９（Ａ）〜（Ｅ）に示すように、イネーブルの有効期間が水平画素数×(チャンネル数-1)@f1に対し、ブランキング期間は水平画素数@f1とし、図３０に示すように、入出力ポートからクロック乗り換え部までは、動作周波数f0で動作し、クロック乗り換え部以降はf1で動作し、動作周波数f0:動作周波数f1=1:(水平画素数-1)とすれば1チャンネルの1ライン分のラインメモリでバンド幅の異なる複数チャンネルの入出力が可能である。
【００９８】
以上説明したように、本第２の施形態によれば、複数チャンネルの入出力をSDRAMを用いて消費電力を抑えつつ実現する場合にバッファとして格納するラインメモリを最小限に抑えることが可能となり、ＬＳＩチップの面積削減が可能となる。また、デジタルビデオカメラなどのモバイル用ＬＳＩの用途として低消費電力という点で効果がある。
【００９９】
第３実施形態
図３１は、本発明に係るカメラ信号処理装置を採用したカメラシステムの一例を示すブロック図である。
【０１００】
このカメラシステム4000は、撮像レンズ4100、カメラ信号処理装置4200、レゾリューションコンバータ部4300、およびコーデック変換部4400を有する。
【０１０１】
カメラ信号処理装置4200は、第１および第２の実施形態で説明したカメラ信号処理装置2000、3000に相当し、撮像装置4210、ＲＡＷ−ＹＣ変換部4220、ＳＤＲＡＭコントローラ4230、およびＳＤＲＡＭ4240により構成されている。
この例では、第１の信号処理装置と第２の信号処理装置を、ＲＡＷ−ＹＣ変換部4220として表している。
そして、ＳＤＲＡＭコントローラ4230が第２の信号処理装置に相当する。
【０１０２】
撮像装置4210は、ＣＣＤやＣＭＯＳなどのセンサ部とＡＤ変換部を含む。
ＳＤＲＡＭコントローラ4230とＲＡＷ−ＹＣ変換部4220の入出力はRAWデータでのアクセスとなる。
ＳＤＲＡＭコントローラ4230とレゾリューションコンバータ部4300の入出力は、ＹＣデータでのアクセスとなる。
【０１０３】
本実施形態においては、ＳＤＲＡＭコントローラ4230とＲＡＷ−ＹＣ変換部4220のアクセスのみを例示しているが、信号処理チップとしては、ＲＡＷ−ＹＣ変換部4220とレゾリューションコンバータ部4300がＳＤＲＡＭコントローラ4230にアクセスする。
【０１０４】
また、カメラシステム4000においては、ＲＡＷ−ＹＣ変換部4220とレゾリューションコンバータ部4300とＳＤＲＡＭコントローラ4230が一つの半導体チップＩＣに集積化され、ＳＤＲＡＭ4240は外部メモリとして位置付けされる。
【図面の簡単な説明】
【０１０５】
【図１】ビデオカメラのカメラ信号処理において、ＣＣＤイメージセンサを用いた輝度信号データＹおよび色差信号データCr,Cbを生成する方法を説明するための図である。
【図２】単板式ＣＣＤをセンサとしたカメラ信号処理装置の構成を示すブロック図である。
【図３】図２の第２の信号処理装置の信号処理の一例を説明するための図である。
【図４】図２の第２の信号処理装置の信号処理の他例を説明するための図である。
【図５】図２の第２の信号処理装置の具体的な構成および機能を説明するためのブロック図である。
【図６】図２の第２の信号処理装置のSDRAMへの書き込む処理を説明するための図である。
【図７】図２の第２の信号処理装置のSDRAMからの読み出し処理を説明するための図である。
【図８】水平画素数960の１ラインのRAWデータをSDRAMに書き込む処理を説明するための図である。
【図９】水平画素数960の１ラインのRAWデータをSDRAMから読み出す処理を説明するための図である。
【図１０】本発明の第１の実施形態に係る３板式ＣＣＤに対応可能なカメラ信号処理装置の構成を示すブロック図である。
【図１１】図１０の第２の信号処理装置の具体的な構成および機能を説明するためのブロック図である。
【図１２】図１０のカメラ信号処理装置における入力RAWデータをSDRAM2400に書き込む動作を説明するための図である。
【図１３】図１０のカメラ信号処理装置における格納されたRAWデータをSDRAM2400から読み出す動作を説明するための図である。
【図１４】実施形態に係る第１のデータ並べ替え部の具体的な構成例を示す回路図である。
【図１５】第１のデータデータ並べ替え部において、パラレル３入力のRAWデータR Data,G Data,B DataからシリアルなRGB Dataに変換し出力するまでのタイミングチャートである。
【図１６】実施形態に係る第２のデータ並べ替え部の具体的な構成例を示す回路図である。
【図１７】第２のデータ並べ替え部において、シリアルにパックされたRAWデータRGB DataをパラレルなRAWデータR Data,G Data,B Dataに変換し、出力するまでのタイミングチャートである。
【図１８】本発明の第２の実施形態に係る３板式ＣＣＤに対応可能なカメラ信号処理装置の構成を示すブロック図である。
【図１９】本第２の実施形態に係る第２の信号処理装置の具体的な構成および機能を説明するためのブロック図である。
【図２０】第２の実施形態に係るカメラ信号処理装置における入力RAWデータをSDRAM3400に書き込む動作を説明するための図である。
【図２１】第２の実施形態に係るカメラ信号処理装置における格納されたRAWデータをSDRAM3400から読み出す動作を説明するための図である。
【図２２】第２の実施形態におけるクロック乗り換え動作を示す図である。
【図２３】本第２の実施形態の第１のデータ変換部の具体的な構成例を示す回路図である。
【図２４】図２３の第１のデータ変換部のタイミングチャートである。
【図２５】本第２の実施形態の第２のデータ変換部の具体的な構成例を示す回路図である。
【図２６】図２５の第２のデータ変換部のタイミングチャートである。
【図２７】本第２の実施形態における１ラインのRAWデータをSDRAM3400に書き込む時の例を説明するための図である。
【図２８】本第２の実施形態における格納されたRAWデータをSDRAM3400から読み出す時の例を示す図である。
【図２９】チャンネル数を任意の複数チャンネルとしら場合の動作条件を説明するための図である。
【図３０】チャンネル数を任意の複数チャンネルとしら場合の動作条件を説明するための図である。
【図３１】本発明に係るカメラ信号処理装置を採用したカメラシステムの一例を示すブロック図である。
【符号の説明】
【０１０６】
2000…カメラ信号処理装置、2100…第１の信号処理装置、2200…第２の信号処理装置、2300…第３の信号処理装置、2400…SDRAM 2500…撮像装置、2600…制御装置、2205…制御信号生成部、2210…SDRAM 制御部、2215…第１のラインメモリ制御部、2220…第２のラインメモリ制御部、2250…第１のSRAM、2255…第２のSRAM、2230…第１のセレクタ、2225…第２のセレクタ、2235…第３のセレクタ、2260…データ制御部、2245…PAD 2280…第１のクロック乗り換え部、2285…第２のクロック乗り換え部、3295…第１のデータ並べ替え部、3290…１のデータ並べ替え部3290、3000…カメラ信号処理装置、3100…第１の信号処理装置、3200…第２の信号処理装置、3300…第３の信号処理装置、3400…SDRAM 3500…撮像装置、3600…制御装置、3265…制御信号生成部、3205…第１のクロック乗換え部、3220…第２のクロック乗換え部、3210…書き込みデータ選択部、3215…第１のデータ変換部、3230…第２のデータ変換部、3235…第１のセレクタ、3240…第２のセレクタ、3245…ラインメモリ制御部、3250…SDRAM 制御部、3260…SRAM、3255…PAD 、3400…SDRAM 、4000…カメラシステム、4100…撮像レンズ、4200…カメラ信号処理装置、4300…レゾリューションコンバータ部、4400…コーデック変換部、4210…撮像装置、4220…ＲＡＷ−ＹＣ変換部、4230…ＳＤＲＡＭコントローラ、4240…ＳＤＲＡＭ。
【図１】
2006050332.tif 000003
【図２】
2006050332.tif 000004
【図３】
2006050332.tif 000005
【図４】
2006050332.tif 000006
【図５】
2006050332.tif 000007
【図６】
2006050332.tif 000008
【図７】
2006050332.tif 000009
【図８】
2006050332.tif 000010
【図９】
2006050332.tif 000011
【図１０】
2006050332.tif 000012
【図１１】
2006050332.tif 000013
【図１２】
2006050332.tif 000014
【図１３】
2006050332.tif 000015
【図１４】
2006050332.tif 000016
【図１５】
2006050332.tif 000017
【図１６】
2006050332.tif 000018
【図１７】
2006050332.tif 000019
【図１８】
2006050332.tif 000020
【図１９】
2006050332.tif 000021
【図２０】
2006050332.tif 000022
【図２１】
2006050332.tif 000023
【図２２】
2006050332.tif 000024
【図２３】
2006050332.tif 000025
【図２４】
2006050332.tif 000026
【図２５】
2006050332.tif 000027
【図２６】
2006050332.tif 000028
【図２７】
2006050332.tif 000029
【図２８】
2006050332.tif 000030
【図２９】
2006050332.tif 000031
【図３０】
2006050332.tif 000032
【図３１】
2006050332.tif 000033