(57)【特許請求の範囲】
【請求項１】
ベイヤー配列のカラーフィルターを有し、内部で画素加算を行う固体撮像素子から出力される画素データ列をＡ／Ｄ変換して得られる画素データ列を処理するデータ処理装置であって、
入力したデータ列の２つのデータ要素を合わせて出力しデータ幅を２倍に変更するデータ幅変更部と、
前記データ幅変更部から出力されるデータ列の各データ要素を書き込む１ポートのメモリと、
前記メモリから読み出された各データ要素を２つに分けてデータ幅を元に戻すデータ幅復元部とを備え、
前記データ幅復元部から出力される画素データ列がベイヤー配列に沿った順序で画像データが並んでいる画像データであり、
前記データ幅変更部が複数のラッチ回路を備え、前記データ幅復元部が複数のラッチ回路を備え、
前記データ幅変更部がセレクタをさらに備え、前記セレクタが前記データ幅変更部内の複数のラッチ回路の各出力データを任意に選択することを特徴とするデータ処理装置。
【請求項２】
ベイヤー配列のカラーフィルターを有し、内部で画素加算を行う固体撮像素子と、前記固体撮像素子から出力される画素データ列をＡ／Ｄ変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換部から出力される画素データ列を処理するデータ処理装置とを備える固体撮像装置であって、
前記データ処理装置が、前記Ａ／Ｄ変換部から出力される画素データ列の２つのデータ要素を合わせて出力しデータ幅を２倍に変更するデータ幅変更部と、前記データ幅変更部から出力されるデータ列の各データ要素を書き込む１ポートのメモリと、前記メモリから読み出された各データ要素を２つに分けてデータ幅を元に戻すデータ幅復元部とを備え、
前記データ幅復元部から出力される画素データ列がベイヤー配列に沿った順序で画像データが並んでいる画像データであり、
前記データ幅変更部が複数のラッチ回路を備え、前記データ幅復元部が複数のラッチ回路を備え、
前記データ幅変更部がセレクタをさらに備え、前記セレクタが前記データ幅変更部内の複数のラッチ回路の各出力データを任意に選択することを特徴とする固体撮像装置。
【請求項３】
前記メモリが、分割された複数のアドレス空間を有し、すなわち複数の分割アドレス空間を有し、
前記Ａ／Ｄ変換部から出力される画素データ列の同一行に属する画像データ要素は全て同一の分割アドレス空間に書き込まれ、
或る分割アドレス空間に書き込まれているａ（ａは自然数）行目の画像データ要素の読み出しが開始された後、ｂ（ｂは自然数、ｂ＞ａ）行目の画像データ要素の前記或る分割アドレス空間への書き込みが開始され、前記ａ行目の画像データ要素が順次前記ｂ行目の画像データ要素に更新される請求項２に記載の固体撮像装置。
【請求項４】
請求項２または請求項３に記載の固体撮像装置を備えることを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ列の並べ替えを行うデータ処理装置並びにこれを備える固体撮像装置及び電子機器に関する。
【背景技術】
【０００２】
一般的な固体撮像素子は、ベイヤー配列のカラーフィルターを有している。ベイヤー配列は、Ｇ（グリーン）を市松状に、Ｒ（レッド）とＢ（ブルー）を線順次に配置している。１０×１０画素のベイヤー配列の一例を図７に示す。図７に示すベイヤー配列では、奇数行ではＲ（レッド）、Ｇｒ（グリーン）の順に繰り返され、偶数行ではＧｂ（グリーン）、Ｂ（ブルー）の順に繰り返されている。
【０００３】
図７に示すベイヤー配列のカラーフィルターを有する固体撮像素子から１画素ずつ全画素データを読み出す場合、固体撮像素子から読み出された画像データ列は、図８に示すように、１行目の画素データ列（R(1,1)、…、Gr(1,10)）、２行目の画素データ列（Gb(2,1)、…、B(2,10)）、…、１０行目の画素データ列（Gb(10,1)、…、B(10,10)）の順に並んでいる。ただし、R(a,b)、Gr(a,b)、Gb(a,b)、B(a,b)はそれぞれ、図７に示すベイヤー配列のカラーフィルターを有する固体撮像素子のａ行ｂ列の画素から得られる画素データである。
【０００４】
なお、図７以外のベイヤー配列として、奇数行ではＧｒ（グリーン）、Ｒ（レッド）の順に繰り返され、偶数行ではＢ（ブルー）、Ｇｂ（グリーン）の順に繰り返される配列、奇数行ではＢ（ブルー）、Ｇｂ（グリーン）の順に繰り返され偶数行ではＧｒ（グリーン）、Ｒ（レッド）の順に繰り返される配列、及び、奇数行ではＧｂ（グリーン）、Ｂ（ブルー）の順に繰り返され、偶数行ではＲ（レッド）、Ｇｒ（グリーン）の順に繰り返される配列がある。
【０００５】
近年、固体撮像素子では、高解像度化のために、画素数が多くなってきている。画素数が多くなると、固体撮像素子から１画素ずつ全画素データを読み出す場合、１フレームの画像データ読み出しに時間がかかり、フレームレートが低くなる。
【０００６】
このため、画素数が多い固体撮像素子による動画撮影において、垂直ラインを間引いてフレームレートを向上させる方策が採られることがある。例えば、図７に示すベイヤー配列のカラーフィルターを有する固体撮像素子が垂直ライン数を間引いて画素数を減らして出力する場合も、奇数行目の画素データ列がＲ（レッド）の画像データとＧｒ（グリーン）の画像データの繰り返し、偶数行目の画素データ列がＧｂ（グリーン）の画像データとＢ（ブルー）の画像データの繰り返しにすることができる。したがって、ベイヤー配列のカラーフィルターを有する固体撮像素子が垂直ライン数を間引いて画素数を減らして出力する場合、当該固体撮像素子から出力される画像データ列を処理する信号処理回路に、ベイヤー配列に沿った順序で画像データが並んでいる画像データ列を処理する既存の信号処理回路をそのまま用いることができるという利点がある。しかしながら、垂直ラインを間引くと画質が劣化するため、最近では、画素数が多い固体撮像素子による動画撮影において、画素加算方式を用いることが多くなっている。
【０００７】
画素加算方式では、固体撮像素子内部で画素データ同士の加算を行い、出力画素データ数を減らし、フレームレートを高くしている。画素加算には、近傍の同色（画素加算ではＧｂとＧｂは互いに異なる色であるとみなす）を２画素、４画素、６画素、９画素などの単位で加算する方法がある。
【０００８】
ベイヤー配列のカラーフィルターを有する固体撮像素子が内部で画素加算を行った場合、当該固体撮像素子から出力される画像データ列は、ベイヤー配列に沿った順序で画像データが並んでおらず、カラーフィルターの水平画素数と同数のデータ列中に複数行分のデータがパックされたものとなるため、ベイヤー配列に沿った順序で画像データが並んでいる画像データ列を処理する既存の信号処理回路にて処理ができるように並べ替える必要がある。このため、当該固体撮像素子から出力される画像データ列をベイヤー配列に沿った順序に並び替えるデータ処理装置が必要になる。
【０００９】
ベイヤー配列のカラーフィルターを有する固体撮像素子内で画素加算が行われた場合に、当該固体撮像素子から出力される画素データ列の出力フォーマットについて、４倍加算と９倍加算を例に挙げて以下に説明する。
【００１０】
まず、４倍加算について説明する。図９に示す１２×１２画素のベイヤー配列のカラーフィルターを有する固体撮像素子内で４画素加算を行った場合の当該固体撮像素子から出力される画素データ列は、図１０（ａ）に示すように、カラーフィルターの水平画素数と同数のデータ列中に２行分のデータが２画素データおきにパックされたものとなる。４画素加算により得られる画像データは、６×６画素のベイヤー配列になり、４画素加算を行わずに１画素ずつ全画素データを読み出す場合に比べて縦横それぞれ１／２画素のデータ量になる。そして、ベイヤー配列に沿った順序で画像データが並んでいる画像データ列を処理する既存の信号処理回路を用いるためには、当該固体撮像素子から出力される画素データ列をデータ処理装置によって、図１０（ｂ）に示す１行目の画素データ列（R4(1,1)、…、Gr4(1,6)）、２行目の画素データ列（Gb4(2,1)、…、B4(2,6)）、…、６行目の画素データ列（Gb4(6,1)、…、B4(6,6)）の順に並び替える必要がある。なお、図１０中のR4(m,n)、Gr4(m,n)、Gb4(m,n)、B4(m,n)は、それぞれ以下の（１）式〜（４）式から求まる。ただし、R(a,b)、Gr(a,b)、Gb(a,b)、B(a,b)はそれぞれ、図９に示す１２×１２画素のベイヤー配列のカラーフィルターを有する固体撮像素子のａ行ｂ列の画素から得られる画素データである。
R4(m,n)＝  R(2m-1,2n-1)＋R(2m-1,2n+1)
＋R(2m+1,2n-1)＋R(2m+1,2n+1)    …（１）
Gr4(m,n)＝  Gr(2m-1,2n-2)＋Gr(2m-1,2n)
＋Gr(2m+1,2n-2)＋Gr(2m+1,2n)    …（２）
Gb4(m,n)＝  Gb(2m-2,2n-1)＋Gb(2m-2,2n+1)
＋Gb(2m,2n-1)＋Gb(2m,2n+1)    …（３）
B4(m,n)＝  B(2m-2,2n-2)＋B(2m-2,2n)
＋B(2m,2n-2)＋B(2m,2n)          …（４）
【００１１】
続いて、９倍加算について説明する。図１１に示す１８×１８画素のベイヤー配列のカラーフィルターを有する固体撮像素子内で９画素加算を行った場合の当該固体撮像素子から出力される画素データ列は、図１２（ａ）に示すように、カラーフィルターの水平画素数と同数のデータ列中に３行分の画素データが１画素データおきにパックされたものとなる。９画素加算により得られる画像データは、６×６画素のベイヤー配列になり、９画素加算を行わずに１画素ずつ全画素データを読み出す場合に比べて縦横それぞれ１／３画素のデータ量になる。そして、ベイヤー配列に沿った順序で画像データが並んでいる画像データ列を処理する既存の信号処理回路を用いるためには、当該固体撮像素子から出力される画素データ列をデータ処理装置によって、図１２（ｂ）に示す１行目の画素データ列（R9(1,1)、…、Gr9(1,6)）、２行目の画素データ列（Gb9(2,1)、…、B9(2,6)）、…、６行目の画素データ列（Gb9(6,1)、…、B9(6,6)）の順に並び替える必要がある。なお、図１２のR9(m,n)、Gr9(m,n)、Gb9(m,n)、B9(m,n)は、それぞれ以下の（５）式〜（８）式から求まる。ただし、R(a,b)、Gr(a,b)、Gb(a,b)、B(a,b)はそれぞれ、図１１に示す１８×１８画素のベイヤー配列のカラーフィルターを有する固体撮像素子のａ行ｂ列の画素から得られる画素データである。
R9(m,n)＝  R3m-2,3n-2＋R3m-2,3n＋R3m-2,3n+2
＋R3m,3n-2＋R3m,3n＋R3m,3n+2
＋R3m+2,3n-2＋R3m+2,3n＋R3m+2,3n+2      …（５）
Gr9(m,n)＝  Gr3m-2,3n-4＋Gr3m-2,3n-2＋Gr3m-2,3n
＋Gr3m,3n-4＋Gr3m,3n-2＋Gr3m,3n
＋Gr3m+2,3n-4＋Gr3m+2,3n-2＋Gr3m+2,3n    …（６）
Gb9(m,n)＝  Gb3m-4,3n-2＋Gb3m-4,3n＋Gb3m-4,3n+2
＋Gb3m-2,3n-2＋Gb3m-2,3n＋Gb3m-2,3n+2    …（７）
＋Gb3m,3n-2＋Gb3m,3n＋Gb3m,3n+2
B9(m,n)＝  B3m-4,3n-4＋B3m-4,3n-2＋B3m-4,3n
＋B3m-2,3n-4＋B3m-2,3n-2＋B3m-2,3n      …（８）
＋B3m,3n-4＋B3m,3n-2＋B3m,3n
【特許文献１】特開２０００−１９７０６６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
水平画素数がＭ、垂直画素数がＮのベイヤー配列のカラーフィルターを有する固体撮像素子内で画素加算が行われた場合に、当該固体撮像素子から出力される画素データ列をＡ／Ｄ変換部によりＡ／Ｄ変換したもの（各画素データはＡbitとする）をベイヤー配列に沿った順序に並べ替える一般的なデータ処理装置として、図１３（ａ）に示す構成のデータ処理装置が考えられる。図１３（ａ）に示すデータ処理装置は、Ｍword×Ａbitのラインメモリ（例えばＳＲＡＭ）１０１と、Ｍword×Ａbitのラインメモリ（例えばＳＲＡＭ）１０２とを備えている。そして、ラインメモリ１０１にデータを書き込んでいるときは、ラインメモリ１０２はデータ列の順番を並び替えながら読み出して、ラインメモリ１０２にデータを書き込んでいるときは、ラインメモリ１０１はデータ列の順番を並び替えながら読み出せば簡単にデータ列の並び替えができる。
【００１３】
Ｍ＝Ｎ＝１２であり且つ４画素加算の場合のタイミングチャートを図１３（ｂ）に示す。期間Ｔ１では、ラインメモリ１０１に１，２行目の画素データを書き込む（Ｗ１，２）。続く期間Ｔ２では、ラインメモリ１０２に３，４行目の画素データを書き込む（Ｗ３，４）とともに、ラインメモリ１０１から１行目の画素データ、２行目の画素データを順次読み出す（Ｒ１、Ｒ２）。続く期間Ｔ３では、ラインメモリ１０１に５，６行目の画素データを書き込む（Ｗ５，６）とともに、ラインメモリ１０２から３行目の画素データ、４行目の画素データを順次読み出す（Ｒ３、Ｒ４）。続く期間Ｔ４では、ラインメモリ１０２から５行目の画素データ、６行目の画素データを順次読み出す（Ｒ５、Ｒ６）。
【００１４】
しかしながら、図１３（ａ）に示すデータ処理装置では、ラインメモリ１０１及び１０２のワード数が固体撮像素子の水平画素数と同数だけ必要であり、且つラインメモリが２本必要な構成であるため、面積が大きくなりチップコストに影響する。
【００１５】
図１３（ａ）に示すデータ処理装置には２本のラインメモリが設けられているが、２ポートメモリを使うことで、簡単に読み書きをシェアすることができるので、メモリを１本にすることができる。しかしながら、２ポートメモリは１ポートメモリより面積が大きい。
【００１６】
なお、特許文献１では、固体撮像素子の多画素化に起因する課題を解決することができる固体撮像素子が提案されているが、特許文献１で提案されている固体撮像素子は、ベイヤー配列ではないカラーフィルター、例えば、図１４に示すような第１の色（Ｇ）と第２の色（Ｒ）とが市松状に配列された２×２の単位配列と、第１の色（Ｇ）と第３の色（Ｂ）が市松状に配列された２×２の単位配列とがともに市松状に配列されてなるＭ行Ｎ列のカラーフィルターを有することを特徴としているため、ベイヤー配列に沿った順序で画像データが並んでいる画像データ列を処理する既存の信号処理回路が使えない。また、特許文献１ではデータ配列を直しているが、その具体的な方法については何ら開示されていない（特許文献１の００２９段落を参照）。
【００１７】
本発明は、上記の問題点に鑑み、データ列の並べ替えを行う面積の小さいデータ処理装置並びにこれを備える固体撮像装置及び電子機器を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記目的を達成するために本発明に係るデータ処理装置においては、入力したデータ列の２つのデータ要素を合わせて出力しデータ幅を２倍に変更するデータ幅変更部と、前記データ幅変更部から出力されるデータ列の各データ要素を書き込む１ポートのメモリと、前記メモリから読み出された各データ要素を２つに分けてデータ幅を元に戻すデータ幅復元部とを備える構成とする。なお、前記データ幅変更部の一実施態様としては複数のラッチ回路を備える構成が挙げられ、前記データ幅復元部の一実施態様としては複数のラッチ回路を備える構成が挙げられる。
【００１９】
このような構成によると、書き込む側は、１回の書き込みで２つのデータ要素が得られるため、２クロックに１回書き込むだけでよく、また、読み出す側も同じように、１回の読み出しで２つのデータ要素が得られるため、２クロックに１回読み出すだけでよく、クロック周波数を従来に比べて高くする必要もない。また、このような構成によると、メモリを複数本設ける必要がなくなるので、メモリのデコーダ回路などをメモリ毎に設ける必要がなくなり、面積を削減することができる。また、読み出しと書き込みとを時間的にシェアすることができるため、メモリを１ポートメモリにすることができ、２ポートのメモリを用いる構成に比べて、面積を削減することができる。
【００２０】
また、上記目的を達成するために本発明に係る固体撮像装置においては、ベイヤー配列のカラーフィルターを有し、内部で画素加算を行う固体撮像素子と、前記固体撮像素子から出力される画素データ列をＡ／Ｄ変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換部から出力される画素データ列を処理するデータ処理装置とを備える。そして、前記データ処理装置が、前記Ａ／Ｄ変換部から出力される画素データ列の２つのデータ要素を合わせて出力しデータ幅を２倍に変更するデータ幅変更部と、前記データ幅変更部から出力されるデータ列の各データ要素を書き込む１ポートのメモリと、前記メモリから読み出された各データ要素を２つに分けてデータ幅を元に戻すデータ幅復元部とを備え、前記データ幅復元部から出力される画素データ列がベイヤー配列に沿った順序で画像データが並んでいる画像データ列であるようにする。なお、前記データ幅変更部の一実施態様としては複数のラッチ回路を備える構成が挙げられ、前記データ幅復元部の一実施態様としては複数のラッチ回路を備える構成が挙げられる。さらに、上記構成の固体撮像装置において、前記メモリが、分割された複数のアドレス空間を有し、すなわち複数の分割アドレス空間を有し、前記Ａ／Ｄ変換部から出力される画素データ列の同一行に属する画像データ要素は全て同一の分割アドレス空間に書き込まれ、或る分割アドレス空間に書き込まれているａ（ａは自然数）行目の画像データ要素の読み出しが開始された後、ｂ（ｂは自然数、ｂ＞ａ）行目の画像データ要素の前記或る分割アドレス空間への書き込みが開始され、前記ａ行目の画像データ要素が順次前記ｂ行目の画像データ要素に更新されるようにすることが望ましい。これにより、メモリ容量を削減できる。また、これにより、前記ａ行目の画像データ要素の読み出しが前記ｂ行目の画像データ要素の書き込みに追いつかれるという不具合が生じない。
【００２１】
また、上記目的を達成するために本発明に係る電子機器においては、上記構成の固体撮像装置を備えるようにする。
【発明の効果】
【００２２】
本発明によると、データ列の並べ替えを行う面積の小さいデータ処理装置並びにこれを備える固体撮像装置及び電子機器を実現することができる。
【発明を実施するための最良の形態】
【００２３】
本発明の実施形態について図面を参照して以下に説明する。以下の説明では、２０４８×２０４８画素のベイヤー配列のカラーフィルターを有する固体撮像素子内で画素加算が行われた場合に、当該固体撮像素子から出力される画素データ列をＡ／Ｄ変換部によりＡ／Ｄ変換したもの（各画素データは１２bitとする）を処理するデータ処理装置を例に挙げて説明する。
【００２４】
図１３（ａ）に示すデータ処理装置を、２０４８×２０４８画素のベイヤー配列のカラーフィルターを有する固体撮像素子内で画素加算が行われた場合に、当該固体撮像素子から出力される画素データ列をＡ／Ｄ変換部によりＡ／Ｄ変換したもの（各画素データは１２bitとする）を処理する構成にすると、ラインメモリ１０１及び１０２はそれぞれ２０４８word×１２bitのラインメモリとなる。
【００２５】
ここで、各ラインメモリのワード数を減らすことにより容量を減らし、チップ面積を小さくすることを検討する。例えば、４画素加算の場合、ラインメモリ１０１及び１０２のワード数を半分にし、それぞれ１０２４word×１２bitのラインメモリに変更する。このような変更を行った場合、ラインメモリ１０１及び１０２をそれぞれ２ポートメモリにする必要がある。そして、図１３（ｃ）に示すタイミングチャートのように、画像データの読み出し、書き込みを行うとよい。期間Ｔ１では、ラインメモリ１０１に１行目の画素データを２画素ごとに書き込み（Ｗ１）、ラインメモリ１０２に２行目の画素データを２画素ごとに書き込む（Ｗ２）。続く期間Ｔ２では、書き込みの方は、ラインメモリ１０１に３行目の画素データを２画素ごとに書き込み（Ｗ３）、ラインメモリ１０２に４行目の画素データを２画素ごとに書き込むが（Ｗ４）、読み出しの方は、１０２４画素連続でラインメモリ１０１から１行目の画素データを読み出し（Ｒ１）、続いて、ラインメモリ１０２から２行目の画素データを読み出す（Ｒ２）。このように、同一メモリにおいて同時に書き込みと読み出しとを行う期間があるため、上述したようにラインメモリ１０１及び１０２をそれぞれ２ポートメモリにする必要がある。
【００２６】
しかしながら、図１３（ａ）に示すデータ処理装置のラインメモリ１０１及び１０２のワード数を減らしてもラインメモリが複数ある構成であることに変わりはないため、メモリのデコーダをラインメモリ毎に設ける必要があること及び図１３（ａ）に示すデータ処理装置のラインメモリ１０１及び１０２のワード数を減らす場合ラインメモリ１０１及び１０２をそれぞれ２ポートメモリにする必要があることから、メモリ面積の削減の徹底を図ることができない。そこで、本発明者は、メモリ面積の削減の徹底を図るため、鋭意検討を重ね、本発明を完成させるに至った。
【００２７】
本発明に係るデータ処理回路の一構成例を図１（ａ）に示す。図１（ａ）に示す本発明に係るデータ処理回路は、２０４８×２０４８画素のベイヤー配列のカラーフィルターを有する固体撮像素子内で４画素加算が行われた場合に、当該固体撮像素子から出力される画素データ列をＡ／Ｄ変換部によりＡ／Ｄ変換したもの（各画素データは１２bitとする）を処理するデータ処理回路であって、１０２４word×２４bitの１ポートのラインメモリ１と、１２bitのラッチ回路２〜５と、セレクタ６及び７とを備えている。ラインメモリ１及びラッチ回路２〜５はクロック周波数が同一であり、同期している。
【００２８】
ラインメモリ１のワード数は固体撮像素子の水平画素数の半分であり、ラインメモリ１のデータ幅は固体撮像素子から出力される各画素データのデータ幅の２倍である。図１（ａ）に示す本発明に係るデータ処理回路では、ラインメモリ１への書き込みデータ(入力データ)は、ラッチ回路２及び３により２つの画素データを合わせて、２倍のデータ幅すなわち２４bitのデータ幅になるようにしている。また、選択信号Ｒ／Ｗは、クロック信号の立ち下りタイミングに同期して反転し、セレクタ６は選択信号Ｒ／Ｗがローレベルのときに読み出しアドレスＲＡＤＲを選択してラインメモリ１に出力し選択信号Ｒ／Ｗがハイレベルのときに書き込みアドレスＷＡＤＲを選択してラインメモリ１に出力する。読み出しアドレスＲＡＤＲは選択信号Ｒ／Ｗの立ち上がりタイミングに同期して更新され、書き込みアドレスＷＡＤＲは選択信号Ｒ／Ｗの立ち下がりタイミングに同期して更新される。
【００２９】
こうすることにより、書き込む側は、１回の書き込みで２４bitのデータ（２画素分のデータ）が得られるため、２クロックに１回書き込むだけでよく、選択信号Ｒ／Ｗがハイレベルのときに書き込みデータＷＤＡＴＡの書き込みが行われる（図１（ｂ）を参照）。また、読み出す側も同じように、１回の読み出しで２４bitのデータ（２画素分のデータ）が得られるため、２クロックに１回読み出すだけでよく、選択信号Ｒ／Ｗがローレベルのときに読み出しデータＲＤＡＴＡの読み出しが行われる（図１（ｂ）を参照）。これにより、図１３（ａ）に示すデータ処理装置や図１３（ａ）に示すデータ処理装置の各ラインメモリのワード数を半分に変更したものにおいて用いられていたクロック周波数を変更することなく図１（ａ）に示す本発明に係るデータ処理回路でも用いることができる。また、図１（ａ）に示す本発明に係るデータ処理回路では、１本のラインメモリ１で読み出しと書き込みとを時間的にシェアすることができるため、ラインメモリ１は１ポートメモリで済むことになる。
【００３０】
また、図１（ａ）に示す本発明に係るデータ処理回路は、ラインメモリを１本しか備えていないため、メモリのデコーダ回路などをラインメモリ毎に設ける必要がなくなる。ラインメモリ１が１ポートメモリで済むこと及びラインメモリを１本しか備えていないため、メモリのデコーダ回路などをラインメモリ毎に設ける必要がないことにより、図１（ａ）に示す本発明に係るデータ処理回路は、同じ容量（２４５７６bit）でラインメモリを２本有する構成（図１３（ａ）に示すデータ処理装置の各ラインメモリのワード数を半分に変更し、各ラインメモリを２ポートメモリにしたもの）に比べて、チップ面積を２０％程度削減することができる。
【００３１】
また、図１（ａ）に示す本発明に係るデータ処理回路において、以下に示すようなデータの読み出しと書き込みを行うことで、図１（ａ）に示す本発明に係るデータ処理回路は、図１３（ａ）に示すデータ処理装置に比べて半分のメモリ容量で済んでいる。
【００３２】
ラインメモリ１のアドレス空間は２分割されている。ラインメモリ１への書き込みは、読み出し時に単純な読み出しになるように、奇数行目の画像データをラインメモリ１の前半のアドレス空間（アドレス空間(1)）に書き込み、偶数行目の画像データをラインメモリ１の後半のアドレス空間（アドレス空間(2)）に書き込む。例えば、１，２，５，６，… ，２０４５，２０４６番目の画像データが１行目の画像データであり、３，４，７，８，… ，２０４７，２０４８番目の画像データが２行目の画像データであるので、ラインメモリ１のアドレスを適切に選択し図２に示すように格納していく。
【００３３】
ラインメモリ１へのデータ書き込み状況及びラインメモリ１からのデータ読み出し状況は図３に示すようになる。
【００３４】
時間ｔ１では、１行目の画像データの半分がラインメモリ１のアドレス空間(1)に書き込まれ、２行目の画像データの半分がラインメモリ１のアドレス空間(2)に書き込まれている。
【００３５】
時間ｔ２は、１，２行目の画像データの書き込みが終了した時点である。１行目の画像データの読み出しが時間ｔ１より後すなわち書き込みの半分より後で開始しているので、１行目の画像データの読み出しが１行目の画像データの書き込みを追い越すことはなく、時間ｔ２では、まだ読み出されていない１行目の画像データがラインメモリ１のアドレス空間(1)に少しだけ残っている。１行目の画像データの読み出しは、次の３，４行目の画像データの書き込みが開始されるまでに完了する。
【００３６】
時間ｔ３では、既に１行目の画像データの読み出しを完了しており、２行目の画像データの読み出しを開始しているので、ラインメモリ１のアドレス空間(1)の全部と、アドレス空間(2)の最初の方とはデータを更新できる状態になっている。時間ｔ３から、次の３，４行目の画像データの書き込みが開始するが、ラインメモリ１のアドレス空間(1)に書き込まれている１行目の画像データは全て読み出しているので、３行目の画像データに更新されても問題はなく、ラインメモリ１のアドレス空間(2)に書き込まれている２行目の画像データはすでにいくつか読み出しているので、２行目の画像データ読み出しが４行目の画像データ書き込みに追いつかれることはない。
【００３７】
時間ｔ４では、３行目の画像データの半分がラインメモリ１のアドレス空間(1)に書き込まれ、４行目の画像データの半分がラインメモリ１のアドレス空間(2)に書き込まれている。以降、入力画像データの行数が更新されながら上記と同様の動作の繰り返しとなる。
【００３８】
このように、書き込みと読み出しの時間を少しずらすことで、お互い追い越しが発生しないので、図１（ａ）に示す本発明に係るデータ処理回路は、図１３（ａ）に示すデータ処理装置に比べて半分のメモリ容量で済んでいる。
【００３９】
本発明に係るデータ処理回路の他の構成例を図４（ａ）に示す。図４（ａ）に示す本発明に係るデータ処理回路は、２０４８×２０４８画素のベイヤー配列のカラーフィルターを有する固体撮像素子内で９画素加算が行われた場合に、当該固体撮像素子から出力される画素データ列をＡ／Ｄ変換部によりＡ／Ｄ変換したもの（各画素データは１２bitとする）を処理するデータ処理回路であって、１３６８word×２４bitの１ポートのラインメモリ１１と、１２bitのラッチ回路１２〜１５と、２４bitのラッチ回路１６と、１２bitのラッチ回路１７及び１８と、セレクタ１９及び２０とを備えている。ラインメモリ１１及びラッチ回路１２〜１８はクロック周波数が同一であり、同期している。
【００４０】
ラインメモリ１１のワード数は固体撮像素子の水平画素数の約２／３であり、ラインメモリ１１のデータ幅は固体撮像素子から出力される各画素データのデータ幅の２倍である。図４（ａ）に示す本発明に係るデータ処理回路では、ラインメモリ１１への書き込みデータ(入力データ)は、ラッチ回路１２〜１５により入力画素データを４つ分ラッチすることで、ラッチ回路１２から出力される画素データＤ１とラッチ回路１５から出力される画素データＤ４とを合わせて、２倍のデータ幅すなわち２４bitのデータ幅になるようにしている。これにより、１行目１列目の画素データR9(1,1)と１行目２列目の画素データGr9(1,2)とを合わせて１回の書き込みでラインメモリ１１に格納することができる。同様に、２行目１列目の画素データGb9(2,1)と２行目２列目の画素データB9(2,2)とを合わせて１回の書き込みでラインメモリ１１に格納することができ、３行目１列目の画素データR9(3,1)と３行目２列目の画素データGr9(3,2)とを合わせて１回の書き込みでラインメモリ１１に格納することができる。勿論、固体撮像素子から図４（ａ）に示す本発明に係るデータ処理回路に出力される画素データ列は、図１２（ａ）と同様の並びだけではないので、当該画像データ列の並びが図１２（ａ）と同様では無い場合は、ラッチ回路の数を増やしたり、ラッチ回路群から２つの画素データを取る位置を変えたりすることにより、適宜対応することができる。
【００４１】
こうすることにより、書き込む側は、１回の書き込みで２４bitのデータ（２画素分のデータ）が得られるため、２クロックに１回書き込むだけでよく（図４（ｂ）を参照）、セレクタ１９から書き込みアドレスＷＡＤＲが出力されているときに書き込みデータＷＤＡＴＡの書き込みが行われる。また、読み出す側も同じように、１回の読み出しで２４bitのデータ（２画素分のデータ）が得られるため、２クロックに１回読み出すだけでよく、セレクタ１９から読み出しアドレスＲＡＤＲが出力されているときに読み出しデータＲＤＡＴＡの読み出しが行われる。これにより、図４（ａ）に示す本発明に係るデータ処理回路では、１本のラインメモリ１で読み出しと書き込みとを時間的にシェアすることができるため、ラインメモリ１は１ポートメモリで済むことになる。
【００４２】
図４（ａ）に示す本発明に係るデータ処理回路は、ラインメモリを１本しか備えていないため、メモリのデコーダ回路などをラインメモリ毎に設ける必要がなくなり、ラインメモリを複数有する構成に比べて、チップ面積を削減することができる。
【００４３】
ラインメモリ１１のアドレス空間は４分割されており、各アドレス空間に３４２wordが割り当てられている。ラインメモリ１への書き込みは、読み出し時に単純な読み出しになるように、最初の３行分の画像データについて、１行目の画像データをラインメモリ１１の第１のアドレス空間（アドレス空間(1)）に書き込み、２行目の画像データをラインメモリ１１の第２のアドレス空間（アドレス空間(2)）に書き込み、３行目の画像データをラインメモリ１１の第３のアドレス空間（アドレス空間(3)）に書き込み、次の３行分の画像データについて、４行目の画像データをラインメモリ１１の第４のアドレス空間（アドレス空間(4)）に書き込み、５行目の画像データをラインメモリ１１の第１のアドレス空間（アドレス空間(1)）に書き込み、６行目の画像データをラインメモリ１１の第２のアドレス空間（アドレス空間(2)）に書き込む。このように、３行分の画像データを書き込む毎に画像データを書き込むラインメモリ１１のアドレス空間がずれていく。例えば、１，４，７，１０，…番目の画像データが１行目の画像データであり、３，６，７，９，１２ ，…番目の画像データが２行目の画像データであり、５，８，７，１１，１４，…番目の画像データが３行目の画像データであるので、ラインメモリ１１のアドレスを適切に選択し格納していく。
【００４４】
ラインメモリ１へのデータ書き込み状況及びラインメモリ１からのデータ読み出し状況は図５に示すようになる。
【００４５】
時間ｔ１では、１行目の画像データの２／３がラインメモリ１１のアドレス空間(1)に書き込まれ、２行目の画像データの２／３がラインメモリ１１のアドレス空間(2)に書き込まれ、３行目の画像データの２／３がラインメモリ１１のアドレス空間(3)に書き込まれている。
【００４６】
時間ｔ２は、１，２，３行目の画像データの書き込みが終了した時点である。１行目の画像データの読み出しが時間ｔ１より後すなわち書き込みの２／３より後で開始しているので、１行目の画像データの読み出しが１行目の画像データの書き込みを追い越すことはなく、時間ｔ２では、まだ読み出されていない１行目の画像データがラインメモリ１１のアドレス空間(1)に少しだけ残っている。１行目の画像データの読み出しは、次の４，５，６行目の画像データの書き込みが開始されるまでに完了する。
【００４７】
時間ｔ３では、既に１行目の画像データの読み出しを完了しており、２行目の画像データの読み出しを開始しているので、ラインメモリ１１のアドレス空間(1)の全部と、アドレス空間(2)の最初の方とはデータを更新できる状態になっている。時間ｔ３から、次の４，５，６行目の画像データの書き込みが開始するが、ラインメモリ１１のアドレス空間(1)に書き込まれている１行目の画像データは全て読み出しているので、ラインメモリ１１のアドレス空間(1)に格納されている画像データを更新しても問題はなく、ラインメモリ１１のアドレス空間(2)に書き込まれている２行目の画像データはすでにいくつか読み出しているので、ラインメモリ１１のアドレス空間(2)において画像データ読み出しが画像データ書き込みに追いつかれることはない。ただし、３行分の画像データを格納する必要があるため、ラインメモリ１１のアドレス空間(4)も用い、ラインメモリ１１のアドレス空間(4)に４行目の画像データの書き込み、ラインメモリ１１のアドレス空間(1)に５行目の画像データの書き込み、ラインメモリ１１のアドレス空間(2)に６行目の画像データの書き込むようにする。
【００４８】
時間ｔ４では、既に２行目の画像データの読み出しを完了しており、ラインメモリ１１のアドレス空間(4)に４行目の画像データの１／３が書き込まれ、ラインメモリ１１のアドレス空間(1)に５行目の画像データの１／３が書き込まれ、ラインメモリ１１のアドレス空間(2)に６行目の画像データの１／３が書き込まれている。
【００４９】
時間ｔ５では、既に３行目の画像データの読み出しを完了しており、ラインメモリ１１のアドレス空間(4)に４行目の画像データの２／３が書き込まれ、ラインメモリ１１のアドレス空間(1)に５行目の画像データの２／３が書き込まれ、ラインメモリ１１のアドレス空間(2)に６行目の画像データの２／３が書き込まれている。
【００５０】
時間ｔ６は、４，５，６行目の画像データの書き込みが終了した時点である。また、４行目の画像データの読み出しが時間ｔ５より後すなわち書き込みの２／３より後で開始しており、時間ｔ６では、まだ読み出されていない４行目の画像データがラインメモリ１１のアドレス空間(4)に少しだけ残っている。以降、入力画像データの行数が更新されながら、インメモリ１１のアドレス空間を１つずつずらして使用していき、上記と同様の動作の繰り返しとなる。
【００５１】
このように、メモリ容量を１行分だけ余分にもって、書き込みと読み出しの時間を少しずらすことで、お互い追い越しが発生しないので、図４（ａ）に示す本発明に係るデータ処理回路のラインメモリ１１のメモリ容量（＝１３６８×２４）は、固体撮像素子から全画素データを読み出すときの１行分のメモリ容量（＝２０４８×１２）の約４／３倍で済んでいる。
【００５２】
また、固体撮像素子内で４画素加算が行われた場合でも９画素加算が行われた場合でも、当該固体撮像素子から出力される画素データ列をＡ／Ｄ変換部によりＡ／Ｄ変換したものをベイヤー配列に沿った順序に並び替えることができるデータ処理装置の一例を挙げると、図６に示すように１２bitのラッチ回路を６個設け、１２bitのラッチ回路２１〜２６の各出力データをセレクタ２７によって任意に選択できるようにし、また、ラインメモリ２８は９画素加算分のメモリ容量をもっておく構成となる。
【産業上の利用可能性】
【００５３】
本発明に係るデータ処理装置は、例えばベイヤー配列のカラーフィルターを有する固体撮像素子内で画素加算が行われた場合に、当該固体撮像素子から出力される画素データ列をＡ／Ｄ変換部によりＡ／Ｄ変換したものをベイヤー配列に沿った順序に並べ替える一般的なデータ処理装置として利用される。また、本発明に係るデータ処理装置が組み込まれた固体撮像装置は、カメラ付携帯電話、デジタルカメラ、監視カメラ等の各種電子機器に組み込んで利用することができる。
【図面の簡単な説明】
【００５４】
【図１】は、本発明に係るデータ処理装置の一構成例及びその動作タイミングを示す図である。
【図２】は、図１（ａ）に示すデータ処理装置のラインメモリへのデータの格納状況を示す図である。
【図３】は、図１（ａ）に示すデータ処理装置のラインメモリの書き込み及び読み出し状況を示す図である。
【図４】は、本発明に係るデータ処理装置の他の構成例及びその動作タイミングを示す図である。
【図５】は、図４（ａ）に示すデータ処理装置のラインメモリの書き込み及び読み出し状況を示す図である。
【図６】は、本発明に係るデータ処理装置の更に他の構成例を示す図である。
【図７】は、１０×１０画素のベイヤー配列の一例を示す図である。
【図８】は、図７に示すベイヤー配列のカラーフィルターを有する固体撮像素子から読み出された画像データ列を示す図である。
【図９】は、１２×１２画素のベイヤー配列の一例を示す図である。
【図１０】は、４画素加算を行った場合の画像データ列を示す図である。
【図１１】は、１８×１８画素のベイヤー配列の一例を示す図である。
【図１２】は、９画素加算を行った場合の画像データ列を示す図である。
【図１３】は、データ列の並べ替えを行うデータ処理装置の一構成例及びその動作タイミングを示す図である。
【図１４】は、従来の固体撮像素子が有するカラーフィルターの配列を示す図である。
【符号の説明】
【００５５】
１    ラインメモリ
２〜５    ラッチ回路
６、７    セレクタ
１１    ラインメモリ
１２〜１８    ラッチ回路
１９、２０    セレクタ
２１〜２６    ラッチ回路
２７    セレクタ
２８    ラインメモリ
【図１】
0004640831.tif 000002
【図２】
0004640831.tif 000003
【図３】
0004640831.tif 000004
【図４】
0004640831.tif 000005
【図５】
0004640831.tif 000006
【図６】
0004640831.tif 000007
【図７】
0004640831.tif 000008
【図８】
0004640831.tif 000009
【図９】
0004640831.tif 000010
【図１０】
0004640831.tif 000011
【図１１】
0004640831.tif 000012
【図１２】
0004640831.tif 000013
【図１３】
0004640831.tif 000014
【図１４】
0004640831.tif 000015