(57)【要約】【課題】撮像素子の画素信号を間引かずに読み出すと、高速連写や動画撮影においては読み出し速度が不足するために十分なフレームレートが得られない、また、画素信号を間引いて読み出す画素数を削減することによりフレームレートを確保すると、出力画像の解像度が低下するという課題があった。【解決手段】複数ライン毎に信号を間引いて読み出すステップＳ１００１と、読み出しをスキップしたラインの画素値を復元して出力画像を生成するステップＳ１００５とを備えた。【選択図】図１
2008147904.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から読み出した画素信号に対して画像処理を行った後に出力する信号処理方法であって、
前記撮像素子において、撮像対象フレームにおける信号の読み出し画素を間引いて読み出すことを指示する、読み出し画素決定ステップと、
前記読み出し画素決定ステップにより指示された画素の信号を読み出す信号読み出しステップと、
前記撮像対象フレーム、あるいは時間的に前後に読み出されたフレームの読み出し画素の画素値を利用して、前記撮像対象フレームにおいて信号が読み出されなかった画素の画素値を推定する推定ステップと、
撮像対象フレームにおいて、前記信号が読み出されなかった画素の画素値を復元した画像データを出力画像として出力する出力ステップと、
を備えたことを特徴とする信号処理方法。
【請求項２】
前記読み出し画素決定ステップは、フレーム毎に読み出し位置を変えると決定すること
を特徴とする請求項１記載の信号処理方法。
【請求項３】
前記読み出し画素決定ステップは、周期的にフレーム毎に読み出し位置を変えると決定すること
を特徴とする請求項１記載の信号処理方法。
【請求項４】
前記読み出し画素決定ステップは、水平方向と垂直方向のいずれの方向の画素を間引くかを決定する際に、所定の画素数の信号読み出しにかかる時間が短くなる方向の画素を間引くと決定すること
を特徴とする請求項１記載の信号処理方法。
【請求項５】
前記読み出し画素決定ステップは、前記出力画像の解像度あるいはフレームレートの少なくとも一方に基づいて信号の読み出し画素を決定すること
を特徴とする請求項１記載の信号処理方法。
【請求項６】
前記読み出し画素決定ステップは、撮像素子の水平方向の読み出しラインの数が、全ライン数の３分の１以下となるように読み出しラインを決定すること
を特徴とする請求項５記載の信号処理方法。
【請求項７】
前記読み出し画素決定ステップは、さらに、前記間引かれた複数の画素の信号を混合し、混合した結果を読み出すと決定すること
を特徴とする請求項１記載の信号処理方法。
【請求項８】
前記読み出し画素決定ステップは、フレーム毎に読み出し位置を変えると決定すること
を特徴とする請求項７記載の信号処理方法。
【請求項９】
前記読み出し画素決定ステップは、周期的にフレーム毎に読み出し位置を変えると決定すること
を特徴とする請求項７記載の信号処理方法。
【請求項１０】
前記画素を混合する際の周波数成分の透過特性と逆の周波数透過特性をもつフィルタを、前記画素値が復元された画像に対して適用する逆フィルタ処理ステップ
をさらに備えたことを特徴とする請求項７記載の信号処理方法。
【請求項１１】
前記読み出し画素決定ステップは、読み出し画素を間引くかどうかを指示する間引き指示信号に基づいて、間引くと指示された場合には読み出し画素を間引くと決定し、間引かないと指示された場合には全画素の信号を読み出すと決定すること
を特徴とする請求項１記載の信号処理方法。
【請求項１２】
前記読み出し画素決定ステップは、画素を混合するかどうかを指示する混合指示信号に基づいて、混合すると指示された場合には画素を混合して読み出すと決定し、混合しないと指示された場合には画素を混合せずに読み出すと決定すること
を特徴とする請求項７記載の信号処理方法。
【請求項１３】
前記出力ステップは、さらに、各画素において赤、緑、青の全ての色成分を含むフルＲＧＢ画像データの出力と、各画素において赤、緑、青のいずれか１つの色成分のみを含むＲＡＷ画像データの出力とを、出力画像データの形式を指示する信号に従って切替えること
を特徴とする請求項１記載の信号処理方法。
【請求項１４】
撮像素子から読み出した画素信号に対して画像処理を行った後に出力する信号処理装置であって、
前記撮像素子において、撮像対象フレームにおける信号の読み出し画素を間引いて読み出すことを指示する、読み出し画素決定手段と、
前記読み出し画素決定手段により指示された画素の信号を読み出す信号読み出し手段と、
前記撮像対象フレーム、あるいは時間的に前後に読み出されたフレームの読み出し画素の画素値を利用して、前記撮像対象フレームにおいて信号が読み出されなかった画素の画素値を推定する推定手段と、
撮像対象フレームにおいて、前記信号が読み出されなかった画素の画素値を復元した画像データを出力画像として出力する出力手段と、
を備えたことを特徴とする信号処理装置。
【請求項１５】
撮像素子から読み出した画素信号に対して画像処理を行った後に出力する信号処理を実行する集積回路であって、
前記撮像素子において、撮像対象フレームにおける信号の読み出し画素を間引いて読み出すことを指示する、読み出し画素決定手段と、
前記読み出し画素決定手段により指示された画素の信号を読み出す信号読み出し手段と、
前記撮像対象フレーム、あるいは時間的に前後に読み出されたフレームの読み出し画素の画素値を利用して、前記撮像対象フレームにおいて信号が読み出されなかった画素の画素値を推定する推定手段と、
撮像対象フレームにおいて、前記信号が読み出されなかった画素の画素値を復元した画像データを出力画像として出力する出力手段と、
を備えたことを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子からの画素の読み出し速度を向上させるために画素信号値を間引いて読み出し、読み出し後に間引いた画素を復元する方法および装置に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ、カムコーダ、あるいは携帯電話などに搭載される撮像素子における画素数が急速に増加している。画素数の増加に伴い、画素信号値の読み出しに掛かる処理量も増加するため、撮像素子の読み出し速度の向上が必要となるが、現状では撮像素子の読み出し速度が不足している。特に、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）は読み出し速度の向上が困難であり、静止画の高速連写や動画読み出しを実現する上で、読み出し速度の不足がボトルネックとなりつつある。この解決策として、撮像素子において上下に隣接するラインの画素を混合して読み出すなど、読み出し画素数を削減することにより読み出し速度の不足を補う方法が検討されている。しかしながら、今後予想される撮像素子の画素数の一層の増大に対応できる有効な方法は確立されていない。そこで、本発明は、読み出し画素数の削減と、読み出した画素信号値を処理して得られる出力画像の画質向上とを両立できる信号処理装置について述べる。
【０００３】
信号処理装置は、撮像素子から読み出した信号に対してノイズ除去やホワイトバランス調整などの画像処理を施した後に、画素信号を符号化して記録する。ここで、符号化方式としては、静止画であればＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、動画であればＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などで規格化された方式が一般的に用いられる。
【０００４】
以下では、まず、従来の信号処理装置ＳＩＧ＿ＰＲＯＣ０における、静止画の高速連写や動画撮影時の動作について説明する。図１５は、従来の信号処理装置の動作を示すフローチャートである。まず、ステップＳ０１０１において、撮像素子の全画素の信号値を読み出す。続いて、ステップＳ０１０２では、ノイズ除去やゲイン調整などを行い、撮像素子から読出したアナログ信号をデジタル信号に変換（ＡＤ変換）する。ステップＳ０１０３では、ステップＳ０１０２においてデジタル化した画素信号に対して画像処理を実施し、最後にステップＳ０１０４において、画像処理後のデジタル信号を符号化して出力する。ここで説明した従来の信号処理装置は撮像素子の全画素の信号を読み出すものとしたが、必ずしも全画素の信号値を読み出す必要はなく、信号を間引いて読み出すことも可能である。
【０００５】
図１６は、信号処理装置ＳＩＧ＿ＰＲＯＣ０の構成を示すブロック図である。信号処理装置ＳＩＧ＿ＰＲＯＣ０は、撮像手段ＩＭＧ＿ＳＳＲ０、画像調整手段ＩＭＧ＿ＡＤＪ、画像処理手段ＩＭＧ＿ＰＲＯＣ、画像符号化手段ＥＮＣ、およびメモリＭＥＭとから構成され、各手段の制御は図示しない中央演算処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）により行われる。まず、撮像手段ＩＭＧ＿ＳＳＲ０は、光学系から取得した信号を蓄積し、全画素の信号値をアナログ信号ＲＯ＿ＳＩＧとして読み出す。画像調整手段ＩＭＧ＿ＡＤＪは、アナログ信号ＲＯ＿ＳＩＧに対して、ノイズ除去やゲイン調整などを行った後に、アナログ信号ＲＯ＿ＳＩＧをデジタル化して、デジタル信号ＡＤＪ＿ＳＩＧとして出力する。画像処理手段ＩＭＧ＿ＰＲＯＣは、デジタル信号ＡＤＪ＿ＳＩＧに対して、画像処理を実施して、画処理信号ＰＲＯＣ＿ＳＩＧとして出力し、画像符号化手段ＥＮＣは、画処理信号ＰＲＯＣ＿ＳＩＧを符号化して最終の出力信号ＩＭＧ＿ＯＵＴを生成する。
【０００６】
次に、撮像手段ＩＭＧ＿ＳＳＲ０における撮像素子について説明し、その後、画像処理手段ＩＭＧ＿ＰＲＯＣの動作について詳しく述べる。撮像手段ＩＭＧ＿ＳＳＲ０における撮像素子としては、ＣＣＤやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化物半導体）などが用いられるが、これらの撮像素子を１つ用いて撮像する単版式の場合には、撮像素子の１画素に対して１つの色成分のみを透過させる色フィルタを被せ、各画素が色フィルタの透過色に対応する色成分を出力する。色フィルタの配置として代表的なものに、図１７に示すベイヤ配列（特許文献１）がある。本配列では、色フィルタの種類はＲ（赤）、Ｇ（緑）、Ｂ（青）の３種類であり、輝度信号に対する寄与度が高いＧを市松状に配置し、残りの画素にはＲとＢの密度が均等になるように配置する。図１７（ａ）は、先頭ラインがＧＲＧＲ、２番目のラインがＢＧＢＧとなるように配置した例であり、図１７（ｂ）は、先頭ラインがＲＧＲＧ、２番目のラインがＧＢＧＢとなるように配置した例である。このとき、各画素から得られる信号はＲ、Ｇ、Ｂのいずれか１つの色成分であるため、例えば、Ｇの画素においてはＲとＢの信号は得られない。従って、Ｇの画素位置におけるＲとＢの信号値は、周辺のＲあるいはＢの信号値を用いて補間生成する必要がある。これは、Ｒの画素位置におけるＢとＧの生成、Ｂの画素位置におけるＲとＧの生成についても同様であり、このように、信号値を取得できない色成分を補間生成することをデモザイク処理と呼ぶ。デモザイク処理が適切でないと、画像のボケや色ズレの発生など画質劣化に繋がることから、デモザイク処理は画像処理において重要な要素である。
【０００７】
図１８は、画像処理手段ＩＭＧ＿ＰＲＯＣの動作を示すフローチャートである。まず、ステップＳ０２０１では、デモザイク処理よりも前に行う画像処理を実施する。続いて、ステップＳ０２０２において、デモザイク処理により、各画素において取得できない色成分を補間生成し、ステップＳ０２０３では、デモザイク処理後に行う画像処理を実施する。ここで、ステップＳ０２０１の処理としては、撮像素子の欠陥に起因するエラーの補正、あるいはホワイトバランスの調整など、ステップＳ０２０３の処理としては、色補正や輪郭強調処理などがあるが、ステップＳ０２０１とステップＳ０２０３の処理の詳細な説明については省略する。図１９は、画像処理手段ＩＭＧ＿ＰＲＯＣの構成を示すブロック図である。画像処理手段ＩＭＧ＿ＰＲＯＣは、前画像処理手段ＰＲＥ＿ＰＲＯＣ、デモザイク手段ＤＥＭＯＣ、および後画像処理手段ＰＯＳＴ＿ＰＲＯＣとから構成される。前画像処理手段ＰＲＥ＿ＰＲＯＣは、デモザイク処理よりも前に行う画像処理を実施し、前処理信号ＰＲＥ＿ＩＭをデモザイク手段ＤＥＭＯＣに入力する。デモザイク手段ＤＥＭＯＣは、前処理信号ＰＲＥ＿ＩＭに対してデモザイク処理を実施し、デモザイク画像ＤＥＭ＿ＩＭを後画像処理手段ＰＯＳＴ＿ＰＲＯＣに入力する。後画像処理手段ＰＯＳＴ＿ＰＲＯＣは、デモザイク処理よりも後に行う画像処理を実施する。
【特許文献１】米国特許第５５０６６１９号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来の信号処理装置ＳＩＧ＿ＰＲＯＣ０では、撮像素子の画素信号を間引かずに読み出すと、高速連写や動画撮影においては読み出し速度が不足するため、出力画像において十分なフレームレートが得られないという第１の課題があった。また、画素間引きにより読み出す画素数を削減してフレームレートを確保すると、出力画像の解像度が低下するという第２の課題があった。以下、図２０を参照して前記第２の課題を説明する。図２０（ａ）は、通常の静止画撮影時の動作例を示す。このときは、全画素を読み出すことができるが、各フレームの撮像間隔の最小値は１秒である。図２０（ｂ）は、毎秒３フレームを撮影する高速連写時の動作例を示す。全画素を読み出す場合には、毎秒１フレームが限界であるため、毎秒３フレームを読み出すためには、例えば、読み出し画素数を３分の１にする必要がある。従来の信号処理装置ＳＩＧ＿ＰＲＯＣ０では、読み出し画素数が全画素数の３分の１になると、出力画像の画素数も全画素数の３分の１になってしまい、高速連写時には出力画像の解像度が著しく低下していた。
【課題を解決するための手段】
【０００９】
本発明は、以上の課題を解決するためになされたものである。
【００１０】
本発明の請求項１の信号処理方法は、撮像素子から読み出した画素信号に対して画像処理を行った後に出力する信号処理方法であって、前記撮像素子において、撮像対象フレームにおける信号の読み出し画素を間引いて読み出すことを指示する、読み出し画素決定ステップと、前記読み出し画素決定ステップにより指示された画素の信号を読み出す信号読み出しステップと、前記撮像対象フレーム、あるいは時間的に前後に読み出されたフレームの読み出し画素の画素値を利用して、前記撮像対象フレームにおいて信号が読み出されなかった画素の画素値を推定する推定ステップと、撮像対象フレームにおいて、前記信号が読み出されなかった画素の画素値を復元した画像データを出力画像として出力する出力ステップと、を備えたことを特徴とする。
【００１１】
本発明の請求項２の信号処理方法は、前記読み出し画素決定ステップは、フレーム毎に読み出し位置を変えると決定することを特徴とする請求項１記載の信号処理方法である。
【００１２】
本発明の請求項３の信号処理方法は、前記読み出し画素決定ステップは、周期的にフレーム毎に読み出し位置を変えると決定することを特徴とする請求項１記載の信号処理方法である。
【００１３】
本発明の請求項４の信号処理方法は、前記読み出し画素決定ステップは、水平方向と垂直方向のいずれの方向の画素を間引くかを決定する際に、所定の画素数の信号読み出しにかかる時間が短くなる方向の画素を間引くと決定することを特徴とする請求項１記載の信号処理方法である。
【００１４】
本発明の請求項５の信号処理方法は、前記読み出し画素決定ステップは、前記出力画像の解像度あるいはフレームレートの少なくとも一方に基づいて信号の読み出し画素を決定することを特徴とする請求項１記載の信号処理方法である。
【００１５】
本発明の請求項６の信号処理方法は、前記読み出し画素決定ステップは、撮像素子の水平方向の読み出しラインの数が、全ライン数の３分の１以下となるように読み出しラインを決定することを特徴とする請求項５記載の信号処理方法である。
【００１６】
本発明の請求項７の信号処理方法は、前記読み出し画素決定ステップは、さらに、前記間引かれた複数の画素の信号を混合し、混合した結果を読み出すと決定することを特徴とする請求項１記載の信号処理方法である。
【００１７】
本発明の請求項８の信号処理方法は、前記読み出し画素決定ステップは、フレーム毎に読み出し位置を変えると決定することを特徴とする請求項７記載の信号処理方法である。
【００１８】
本発明の請求項９の信号処理方法は、前記読み出し画素決定ステップは、周期的にフレーム毎に読み出し位置を変えると決定することを特徴とする請求項７記載の信号処理方法である。
【００１９】
本発明の請求項１０の信号処理方法は、前記画素を混合する際の周波数成分の透過特性と逆の周波数透過特性をもつフィルタを、前記画素値が復元された画像に対して適用する逆フィルタ処理ステップをさらに備えたことを特徴とする請求項７記載の信号処理方法である。
【００２０】
本発明の請求項１１の信号処理方法は、前記読み出し画素決定ステップは、読み出し画素を間引くかどうかを指示する間引き指示信号に基づいて、間引くと指示された場合には読み出し画素を間引くと決定し、間引かないと指示された場合には全画素の信号を読み出すと決定することを特徴とする請求項１記載の信号処理方法である。
【００２１】
本発明の請求項１２の信号処理方法は、前記読み出し画素決定ステップは、画素を混合するかどうかを指示する混合指示信号に基づいて、混合すると指示された場合には画素を混合して読み出すと決定し、混合しないと指示された場合には画素を混合せずに読み出すと決定することを特徴とする請求項７記載の信号処理方法である。
【００２２】
本発明の請求項１３の信号処理方法は、前記出力ステップは、さらに、各画素において赤、緑、青の全ての色成分を含むフルＲＧＢ画像データの出力と、各画素において赤、緑、青のいずれか１つの色成分のみを含むＲＡＷ画像データの出力とを、出力画像データの形式を指示する信号に従って切替えることを特徴とする請求項１記載の信号処理方法である。
【００２３】
本発明の請求項１４の信号処理装置は、撮像素子から読み出した画素信号に対して画像処理を行った後に出力する信号処理装置であって、前記撮像素子において、撮像対象フレームにおける信号の読み出し画素を間引いて読み出すことを指示する、読み出し画素決定手段と、前記読み出し画素決定手段により指示された画素の信号を読み出す信号読み出し手段と、前記撮像対象フレーム、あるいは時間的に前後に読み出されたフレームの読み出し画素の画素値を利用して、前記撮像対象フレームにおいて信号が読み出されなかった画素の画素値を推定する推定手段と、撮像対象フレームにおいて、前記信号が読み出されなかった画素の画素値を復元した画像データを出力画像として出力する出力手段と、を備えたことを特徴とする。
【００２４】
本発明の請求項１５の集積回路は、撮像素子から読み出した画素信号に対して画像処理を行った後に出力する信号処理を実行する集積回路であって、撮像素子から読み出した画素信号に対して画像処理を行った後に出力する信号処理を実行する集積回路であって、前記撮像素子において、撮像対象フレームにおける信号の読み出し画素を間引いて読み出すことを指示する、読み出し画素決定手段と、前記読み出し画素決定手段により指示された画素の信号を読み出す信号読み出し手段と、前記撮像対象フレーム、あるいは時間的に前後に読み出されたフレームの読み出し画素の画素値を利用して、前記撮像対象フレームにおいて信号が読み出されなかった画素の画素値を推定する推定手段と、撮像対象フレームにおいて、前記信号が読み出されなかった画素の画素値を復元した画像データを出力画像として出力する出力手段と、を備えたことを特徴とする。
【発明の効果】
【００２５】
以上のように、本発明によれば、連続する複数ラインの画素を間引いて読み出すために読み出し画素数の削減効果が高いとともに、フレーム単位で間引き位置を可変としたことにより高画質な画像拡大を実現でき、デジタルスチルカメラなどにおいて高品位な高速連写や動画撮影が可能になることから、その実用的価値が高い。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２７】
（実施の形態１）
本発明の第１の実施の形態に係る信号処理装置ＳＩＧ＿ＰＲＯＣ１の動作について説明する。信号処理装置ＳＩＧ＿ＰＲＯＣ１は、静止画の高速連写や動画撮影など、撮像素子からの読み出し速度の制約により、各フレームにおいて撮像素子の全画素の信号を読み出すことのできない場合の動作に特徴があるため、以下では高速読み出し（以降、高速連写や動画撮影における読み出しを、高速読み出しと呼ぶ。）時の動作について説明する。信号処理装置ＳＩＧ＿ＰＲＯＣ１は、読み出しラインの間隔が少なくとも１ライン以上となるように画素信号を間引いて読み出し、前記間引いて読み出した信号の解像度を拡大してから出力する点において、従来の信号処理装置ＳＩＧ＿ＰＲＯＣ０と異なる。ここで、読み出しラインの間隔とは、２つの隣接する読み出しラインの間に含まれるライン数、つまり、２つの隣接する読み出しラインの間で読み出しがスキップされるラインの数を示す。
【００２８】
図１は、信号処理装置ＳＩＧ＿ＰＲＯＣ１の動作を示すフローチャートである。まず、ステップＳ１００１において、撮像素子からの画素信号の読み出しラインの間隔が少なくとも１ライン以上となるように、画素信号を読み出すラインを決定する。続いて、ステップＳ１００２では、ステップＳ１００１で決定したラインの画素信号を読み出す。ステップＳ１００３では、読み出した画素信号に対して、ノイズ除去やゲイン調整を行った後に、ＡＤ変換を行い、画素信号をデジタル信号に変換する。ステップＳ１００４では、信号値を読み出した画素のデジタル信号に対して画像処理を実施する。さらに、ステップＳ１００５において、信号値を読み出したラインの画素値を利用して、読み出しをスキップしたラインの画素値を生成し、出力画像における全画素の画素値を決定する（以降、画像拡大処理と呼ぶ）。最後に、ステップＳ１００６では、出力画像の画素値のデジタル信号を符号化して出力する。
【００２９】
次に、ステップＳ１００１における読み出しラインの決定処理について詳しく説明する。以下では、撮像素子の画素配列としてＲＧＢのベイヤ配列を例に説明するが、色フィルタは補色系のフィルタであってもよいし、画素配列についてもベイヤ配列に限定するものではない。また、単板式でなく、ＲＧＢ独立の撮像素子を持つ３板式のシステムに対して適用してもよい。図２は、３ラインに１ラインずつ画素信号を読み出す例について示す。
【００３０】
図示されるように、Ｇ画素とＲ画素とで構成される第１ライン、続いてＢ画素とＧ画素とで構成される第４ライン、再びＧ画素とＲ画素とで構成される第７ラインと、２ラインずつスキップしながら画素値が読み出される。撮像素子がＣＣＤである場合には、同一ライン上の画素を間引くよりも、水平ライン単位で画素を間引くことにより読み出し速度が大きく向上するため、水平ライン単位の間引きが重要となる。ＣＣＤ以外の撮像素子についても、撮像素子の読み出し速度への寄与度が大きくなる方向にライン間引き、あるいは後述する画素混合を行えばよい。さらに、スキップされたラインの画素値は、ステップＳ１００５において復元される。ここで、前後のフレームにおいて読み出されたラインの画素値を利用して、読み出しをスキップしたラインの画素値を復元することを考えると、隣接フレーム間では読み出しラインの位置が異なることが望ましい。
【００３１】
図２の例では、第２ラインと第３ラインは読み出しがスキップされるが、例えば、画像が静止しているケースでは、隣接フレームにおいて第２ラインあるいは第３ラインを読み出していれば、それらラインの画素値を、現フレームの第２ラインあるいは第３ラインの画素値とすることで、読み出しをスキップしたラインの画素値を復元できる。また、画像に動きがある場合にも、動き量を検出することにより、隣接フレームで読み出した画素値を同様に利用できる。
【００３２】
図３は、図２のように３ラインに１ラインずつ読み出す場合に、フレーム毎に読み出しラインを変更する例について示す。第１フレーム、第２フレーム、第３フレームの順に、読み出しラインを１ラインずつずらしながら読み出す。第１フレーム、第２フレーム、第３フレームにおける読み出しライン位置をＴＯＰ、ＭＩＤＤＬＥ、ＢＯＴＴＯＭと表現すると、各フレームの読み出し位置は、ＴＯＰ、ＭＩＤＤＬＥ、ＢＯＴＴＯＭを順に繰り返す。
【００３３】
図４（ａ）は、現フレームにおいて読み出したラインを示し、図４（ｂ）は、画像拡大後のフレームを示す。図４（ｂ）に示すように、読み出しがスキップされたラインは、前後のフレーム、あるいは現フレームにおいて読み出したラインの画素を利用して復元する。
【００３４】
このように、ステップＳ１００１では、フレーム内では読み出しラインがＮ（Ｎは１以上の整数）ラインに１本ずつとなるように、かつ、連続するフレーム間で周期がＮとなるように読み出しラインをずらすように動作する。
【００３５】
次に、ステップＳ１００５における画像拡大処理の詳細について、図５を参照して説明する。ステップＳ１００５では、前後のフレーム、あるいは現フレームにおいて読み出したラインの画素を用いて、画像拡大処理を実施する。まず、ステップＳ１１０１において、前後１枚以上のフレームと現フレームとの間で、ＮｘＭ（Ｎ、Ｍは１以上の整数）の画素を含む位置合わせ単位ごとに、所定の評価パラメータを用いて位置合わせを行い（以降、画面間推定と呼ぶ。）、参照フレーム内で探索した位置合わせ単位における評価パラメータの最小値を評価値とする。ここで、評価パラメータとしては、参照フレーム内の位置合わせ単位と現フレーム内の位置合わせ単位内の画素値の差分値の総和などを使用してもよいし、他の指標を用いてもよい。さらに、位置合わせ単位のサイズは可変であってもよい。
【００３６】
続いて、ステップＳ１１０２において、評価値が所定の閾値以下であるかどうか判定する。ここで、閾値は、評価パラメータの種類、あるいは、位置合わせ単位のサイズに応じて決定する。評価値が閾値以下である場合には、ステップＳ１１０３に進み、閾値を越える場合には、ステップＳ１１０４に進む。ステップＳ１１０３では、画面間推定により得られた参照フレームの位置合わせ単位における画素値を用いて、現フレームにおいて読み出しがスキップされた画素の画素値を決定し、ステップＳ１１０４に進む。ステップＳ１１０４では、画面間推定により画素値を決定できなかった画素について、現フレームにおける近傍画素の画素値を利用して、画素値を決定する（以降、画面内推定と呼ぶ）。画面内推定においては、近傍画素の画素値を補間、あるいはコピーして画素値推定する。
【００３７】
なお、画面間推定により画素値推定位置の画素値を決定する際には、参照フレームにおける画素値と同一の値を使用しなくてもよい。例えば、位置合わせ単位の位置ずれ量が、画像拡大後の画素空間において小数画素分となる場合には、整数画素位置の画素値を補間して生成してもよい。また、画面内推定と画面間推定により得られた拡大後の画像において、近傍画素同士の色成分、あるいは輝度成分の変化が滑らかになるように画素値を補正してもよい。なお、カメラを動かしながら撮影する、あるいは、被写体が動物体を含む場合には、フレーム間で読み出しラインの位置を固定しても、参照フレームとの位置合わせにより、読み出しをスキップしたラインの画素値の一部を埋めることができる。従って、読み出しラインの位置はフレーム間で固定としてもよい。
【００３８】
以上では、ラインを間引いて読み出してから画像拡大する方法について述べたが、間引き読み出しされた画像はエイリアス成分（空間サンプリングに伴い生じる周波数折り返し成分）を多く含むため、画像拡大時に実施する位置合わせの精度が低下しがちである。そこで、間引き読み出しされたラインの画素値を混合して読み出せば、低域透過特性が得られるため、エイリアス成分を削減でき、位置合わせの精度が向上する。さらに、画素値の混合により、読み出し画素数が削減できるため、読み出し速度が向上するという効果も得られる。
【００３９】
図６は、ラインを間引き、さらに、間引いたライン上の画素を混合して読み出す方法の例を示す。図６（ａ）は、間引き読み出しされるラインを示す。図６（ｂ）と（ｃ）は、画素の混合処理について示す。図６（ｂ）では、Ｇ１とＧ５、Ｇ２とＧ６を混合して、図６（ｃ）では、Ｒ１とＲ５、Ｒ２とＲ６を混合して、それぞれ中間位置の画素値を生成する。なお、Ｂ画素についても同様に混合する。混合後の画素値は、図６（ｄ）に示すように、それぞれ混合後の画素位置の画素値として読み出される。
【００４０】
図７は、画素混合の別の例について示す。図７（ｂ）と（ｃ）では、垂直方向にのみ画素を混合したが、図７の例では、水平、垂直方向共に画素を混合する。図７（ａ）は、水平、垂直方向の計４画素を混合して出力する例について示す。Ｇ画素の混合についてのみ図示するが、Ｒ画素とＢ画素についても同様に４画素を混合する。図７（ｂ）は、Ｇ１、Ｇ２、Ｇ９、Ｇ１０の４画素を混合して、図７（ｃ）は、Ｒ１、Ｒ２、Ｒ５、Ｒ６の４画素を混合して、それぞれＧｂとＲｂの位置の画素値とする例を示す。ここで、図６と図７の例において、ライン間引き時の読み出しラインを不等間隔としたように、読み出しラインの間隔は等間隔でなくともよい。
【００４１】
なお、画素の混合方法は図６と図７の例の方法に限定されるものではなく、エッジ適応型、あるいは色成分の連続性を考慮した方法を用いてもよいし、補間に用いる画素の画素位置および画素数についても補間後の画質と演算量を考慮して設定できる。動画の読み出しを行う際には、フレーム１枚当たりの読み出し画素数の制約が厳しいことから、読み出しラインを間引いた後に画素混合する手法が特に有効である。また、出力画像の解像度あるいはフレームレート、または出力画像を記録する記録領域のサイズに応じて読み出しラインを決定してもよい。高画質な出力画像を得るためには、読み出し速度の上限を満たす範囲内で、より多くのラインを読み出すことが望ましい。従って、フレームレートから決定される１フレームの読み出し時間内で、できるだけ多くのラインが読み出せるように読み出しラインを決定する。あるいは、記録領域のサイズ内に所定の枚数の出力画像を記録する際には、記録サイズと記録枚数とから１フレームあたりの画素数の上限値を計算し、前記上限値を満たすように、できるだけ多くのラインを読み出す。
【００４２】
なお、全ラインに占める間引き読み出しされるラインの割合などに応じて、予め複数の読み出しパターンを設定しておき、１フレームから読み出し可能な画素の画素数を満たすパターンを選択してもよい。例えば、画素数が２００００００である画像を１秒当たり１０フレーム読み出すとする。このとき、撮像素子の画素数が４００００００であり、０．１秒当たりに読み出し可能な画素数の上限は８０００００であるとする。読み出しラインのパターンは、（ａ）全ライン読み出し、（ｂ）３ラインに１ラインずつ読み出し、（ｃ）５ラインに１ラインずつ読み出し、（ｄ）６ラインに１ラインずつ読み出し、の４パターンであったとすると、（ｃ）と（ｄ）であれば読み出し可能が画素数の上限を満たす。従って、より多くのラインを読み出すことのできる（ｃ）を選択する。
【００４３】
さらに、画素を混合して読み出した際の画像拡大処理の変形例について説明する。画素混合は、低域透過特性をもつことから、混合後の画像は高周波成分が減少し先鋭度が低下する。ここで、画素混合における低域透過のフィルタ特性は既知であることから、画面間推定および画面間推定により拡大画像を復元した後に、低域透過のフィルタと逆の周波数特性をもつフィルタをかけてやることで、失われた高周波成分を復元できる。図８は、本変形例における画像拡大処理の動作を示すフローチャートである。図５のフローチャートにおけるステップＳ１１０４の後に、ステップＳ１２０１を備えた構成となっており、ステップＳ１２０１において、ステップＳ１１０４で決定した拡大画像の画素値に対して、画素混合の方式に依存して決定される低域透過フィルタＬＰＦ１と逆の周波数特性を持つ復元フィルタを適用する。なお、復元フィルタとしては、高周波領域の復元効果のある所定のフィルタを用いてもよい。
【００４４】
なお、画像拡大処理においては、反復処理により拡大画像の画素値を逐次更新する再構成型の超解像処理を用いてもよい。一例として、複数の読み出し画像を条件としたときの事後確率を最大にする拡大画像を求める方法である、ＭＡＰ（Ｍａｘｉｍｕｍ  Ａ  Ｐｏｓｔｅｒｉｏｒｉ）法を適用できる。
【００４５】
図９は、本発明の信号処理装置ＳＩＧ＿ＰＲＯＣ１の構成を示すブロック図である。信号処理装置ＳＩＧ＿ＰＲＯＣ１は、読み出し画素制御手段ＲＥＡＤ＿ＣＴＬ、撮像手段ＩＭＧ＿ＳＳＲ１、画像調整手段ＩＭＧ＿ＡＤＪ、画像処理手段ＩＭＧ＿ＰＲＯＣ、画像再構成手段ＲＥＣＯＮ１、画像符号化手段ＥＮＣ１、およびメモリＭＥＭとから構成され、各手段の制御は図示しない中央演算処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）により行われる。読み出し画素制御手段ＲＥＡＤ＿ＣＴＬは、信号の読み出し画素を示す位置情報ＲＯ＿ＬＩＮＥを撮像手段ＩＭＧ＿ＳＳＲ１に入力する。撮像手段ＩＭＧ＿ＳＳＲ１は、位置情報ＲＯ＿ＬＩＮＥにより信号の読み出しが指定された画素の信号を、アナログ信号ＲＯ＿ＳＩＧとして読み出す。画像調整手段ＩＭＧ＿ＡＤＪは、アナログ信号ＲＯ＿ＳＩＧに対して、ノイズ除去やゲイン調整などを行った後に、アナログ信号ＲＯ＿ＳＩＧをデジタル化して、デジタル信号ＡＤＪ＿ＳＩＧとして出力する。画像処理手段ＩＭＧ＿ＰＲＯＣは、デジタル信号ＡＤＪ＿ＳＩＧに対して、画像処理を実施し、画処理信号ＰＲＯＣ＿ＳＩＧを画像再構成手段ＲＥＣＯＮ１に入力する。画像再構成手段ＲＥＣＯＮ１は、画処理信号ＰＲＯＣ＿ＳＩＧに対して画像拡大処理を行い、拡大画像ＲＥＣＯＮ＿ＳＩＧを出力する。最後に、画像符号化手段ＥＮＣ１は、拡大画像ＲＥＣＯＮ＿ＳＩＧを符号化して最終の出力信号ＩＭＧ＿ＯＵＴを生成する。
【００４６】
なお、撮像素子から全画素の信号を読み出すことが可能な通常読み出し時には全画素の信号を読み出し、画像再構成手段における解像度の拡大処理は行わない。通常読み出しと高速読み出しとの動作の切り替えは、通常撮影、高速連写、あるいは動画撮影など撮影モードに応じて行うものとし、各手段は図示しない中央演算装置などにより制御される。また、高速読み出しにおいても、静止画の連写時は読み出しライン間引きのみ、動画撮影時は間引きに加えて画素混合を併用するというふうに動作を切替えてもよい。静止画の連写時はライン間引きのみとすることで、画像の高周波成分を保持したまま読み出すことができる。
【００４７】
以上のように、本発明の信号処理装置ＳＩＧ＿ＰＲＯＣ１によれば、撮像素子の画素信号を間引いて、あるいは混合して読み出すことにより読み出し速度の向上を実現するとともに、読み出し後の画像に対して画像拡大処理を実施することにより、高品質の出力画像を生成できるという効果がある。
【００４８】
（実施の形態２）
次に、本発明の第２の実施の形態に係る信号処理装置ＳＩＧ＿ＰＲＯＣ２の動作について説明する。信号処理装置ＳＩＧ＿ＰＲＯＣ２は、デモザイク処理と画像拡大処理を同時に実施する点において、信号処理装置ＳＩＧ＿ＰＲＯＣ１と異なるため、ここでは相違点についてのみ説明し、他の部分の説明は省略する。
【００４９】
図１０は、信号処理装置ＳＩＧ＿ＰＲＯＣ２の動作を示すフローチャートである。ステップＳ１００１からステップＳ１００３までの処理、および、ステップＳ１００６の処理は、本発明の信号処理装置ＳＩＧ＿ＰＲＯＣ１と同一であるため、以下ではステップＳ２００１からステップＳ２００３の処理について説明する。まず、ステップＳ２００１では、信号値を読み出した画素において、デモザイク処理よりも前に行う処理を実施する。続いて、ステップＳ２００２では、信号値を読み出したラインの画素におけるデモザイク処理と、読み出しをスキップしたラインにおけるＲ、Ｇ、Ｂの各色成分の推定を、同時に実施する。つまり、画面間推定時の位置合わせ結果、および画面内推定の結果に基づいて、近傍画素間で輝度、色差、あるいは各色成分の値が連続的に変化するように、信号値を読み出したラインの画素におけるＲ、Ｇ、Ｂの各色成分の値を決定する。ここで、エッジ検出を併用して、エッジ付近ではエッジと平行な方向の画素についての連続性を保証するように動作してもよい。さらに、ステップＳ２００３では、デモザイク処理よりも後に行う画像処理を実施する。
【００５０】
図１１は、信号処理装置ＳＩＧ＿ＰＲＯＣ２の構成を示すブロック図である。信号処理装置ＳＩＧ＿ＰＲＯＣ２は、読み出し画素制御手段ＲＥＡＤ＿ＣＴＬ、撮像手段ＩＭＧ＿ＳＳＲ１、画像調整手段ＩＭＧ＿ＡＤＪ、前画像処理手段ＰＲＥ＿ＰＲＯ、画像再構成手段ＲＥＣＯＮ２、後画像処理手段ＰＯＳＴ＿ＰＲＯ２、画像符号化手段ＥＮＣ２、およびメモリＭＥＭとから構成される。信号処理装置ＳＩＧ＿ＰＲＯＣ１の画像処理手段ＩＭＧ＿ＰＲＯＣにおけるデモザイク処理が、画像再構成手段ＲＥＣＯＮ２に統合される点において信号処理装置ＳＩＧ＿ＰＲＯＣ１と異なる。画像再構成手段ＲＥＣＯＮ２は、前画像処理手段ＰＲＥ＿ＰＲＯから前処理画像ＰＲＥ＿ＩＭが入力されると、デモザイク処理および画像拡大処理を実施して、拡大画像ＲＥＣＯＮ＿ＳＩＧを出力する。後画像処理手段ＰＯＳＴ＿ＰＲＯ２は、拡大画像ＲＥＣＯＮ＿ＳＩＧを取得すると、デモザイク処理よりも後に行う画像処理を実施し、その結果を後処理画像ＰＯＳＴ＿ＩＭとして画像符号化手段ＥＮＣ２に入力する。画像符号化手段ＥＮＣ２は、後処理画像ＰＯＳＴ＿ＩＭを符号化して最終の出力画像ＩＭＧ＿ＯＵＴを生成する。
【００５１】
以上のように、本実施の形態の信号処理装置ＳＩＧ＿ＰＲＯＣ２によれば、デモザイク処理と画像拡大処理を同時に行うことにより、より正確なデモザイクが実現でき、出力画像の色再現性が向上するという効果が得られる。
【００５２】
以下に、上記各実施の形態の変形例について述べる。
【００５３】
まず、各手段におけるハードウェア資源の共用化について述べる。本発明の信号処理装置は画像符号化手段を備えるが、特に動画符号化に対応した画像符号化手段では、位置合わせ処理を行う回路を持つことが一般的である。ここで、画像拡大処理においても位置合わせ処理を実施するため、位置合わせ処理を実施する回路を両手段において共用することで、回路規模を削減できる。特に位置合わせ処理は処理量が多いため、その効果が大きい。図１２は、実施の形態１の信号処理装置ＳＩＧ＿ＰＲＯＣ１において、回路を共用した場合の構成例を示すブロック図である。ここでは、画像符号化手段ＥＮＣ３に含まれる位置合わせ処理用の回路を画像再構成手段ＲＥＣＯＮ３が使用し、画像再構成手段ＲＥＣＯＮ３からの位置合わせ処理開始命令ＯＤＲに従って、画像符号化手段ＥＮＣ３は位置合わせを行い、位置合わせ結果ＲＬＴを画像再構成手段ＲＥＣＯＮ３に入力する。
【００５４】
また、本発明の信号処理装置は、符号化画像に加えて、非圧縮データを出力してもよい。出力する非圧縮データは、撮像手段から読み出されたＲＡＷの画像データであってもよいし、あるいは、画像拡大処理後の拡大画像のＲＧＢフルカラーのデータであってもよい。ここで、ＲＡＷの画像データとは、撮像手段から読み出された信号のみを含む画像データであり、ＲＧＢのベイヤ配列をもつ撮像手段から読み出された場合には、各画素は赤、緑、青のいずれか１つの色成分のみを含む。また、ＲＧＢフルカラーのデータとは、各画素が赤、緑、青の全ての色成分を含む画像データを指す。図１３は、実施の形態１の信号処理装置ＳＩＧ＿ＰＲＯＣ１において、拡大画像におけるＲＧＢフルカラーの非圧縮データを出力する構成例を示すブロック図である。画像再構成手段ＲＥＣＯＮ４は、出力画像の種類として非圧縮画像が指定されると、拡大画像の非圧縮データＲＧＢ＿ＯＵＴを出力する。なお、画像符号化手段ＥＮＣ１への入力信号である拡大画像ＲＥＣＯＮ＿ＳＩＧと、非圧縮データＲＧＢ＿ＯＵＴが同一の形式である際には、非圧縮データ出力時にはＲＥＣＯＮ＿ＳＩＧを直接出力してもよい。また、非圧縮データはＲＧＢ形式であってもよいし、ＹＵＶなどの輝度・色差形式であってもよい。
【００５５】
（実施の形態３）
さらに、上記各実施の形態で示した信号処理方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００５６】
図１４は、上記各実施の形態の信号処理方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【００５７】
図１４（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１４（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
【００５８】
また、図１４（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。信号処理方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより信号処理を実現する上記信号処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００５９】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００６０】
以上、本発明に係る信号処理装置および信号処理方法について、上記各実施の形態に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲内で、当業者が思いつく変形を本実施の形態に施したものも、本発明に含まれる。
【００６１】
例えば、本実施の形態における信号処理装置を備える光ディスク記録装置、動画像記録装置、静止画記録装置、携帯電話、携帯情報端末等も、本発明に含まれるのは言うまでもない。ここで、動画像記録装置とはカムコーダやＷｅｂカメラなどを含み、静止画記録装置とはデジタルスチルカメラなどを含む。
【００６２】
なお、ブロック図（図９、図１１、図１２及び図１３など）の各機能ブロックは典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）。
【００６３】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００６４】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【００６５】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【００６６】
また、各機能ブロックのうち、信号処理の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。
【産業上の利用可能性】
【００６７】
本発明によれば、デジタルスチルカメラなどにおいて、出力画像の画質を劣化させることなく撮像素子からの画素信号の読み出し速度を低減できるため、高品位な高速連写や動画撮影を実現でき、その有効性は高い。
【図面の簡単な説明】
【００６８】
【図１】実施の形態１の信号処理装置の動作を示すフローチャート
【図２】ライン間引きについての説明図
【図３】フレーム毎に読み出しラインの位置を変える動作の説明図
【図４】読み出しをスキップしたラインの画素の復元について示す図
【図５】読み出しをスキップしたラインの画素を復元する動作を示すフローチャート
【図６】ライン間引きと画素混合との第１の組合せ例を示す図
【図７】ライン間引きと画素混合との第２の組合せ例を示す図
【図８】画素信号の読み出し時の低域透過フィルタと逆の周波数特性を持つフィルタをかけて高周波成分を復元する動作を示すフローチャート
【図９】実施の形態１の信号処理装置の構成を示すブロック図
【図１０】実施の形態２の信号処理装置の動作を示すフローチャート
【図１１】実施の形態２の信号処理装置の構成を示すブロック図
【図１２】実施の形態１の信号処理装置における第１の変形例の構成を示すブロック図
【図１３】実施の形態１の信号処理装置における第２の変形例の構成を示すブロック図
【図１４】上記各実施の形態の画像処理方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図
【図１５】従来の信号処理装置の動作を示すフローチャート
【図１６】従来の信号処理装置の構成を示すブロック図
【図１７】ベイヤ配列の説明図
【図１８】従来の信号処理装置における画像処理手段の動作を示すフローチャート
【図１９】従来の信号処理装置における画像処理手段の構成を示すブロック図
【図２０】従来の信号処理装置における課題の説明図
【符号の説明】
【００６９】
ＲＥＡＤ＿ＣＴＬ    読み出し画素制御手段
ＩＭＧ＿ＳＳＲ１    撮像手段
ＩＭＧ＿ＡＤＪ    画像調整手段
ＩＭＧ＿ＰＲＯＣ    画像処理手段
ＲＥＣＯＮ１    画像再構成手段
ＥＮＣ１    画像符号化手段
ＭＥＭ    メモリ
【図１】
2008147904.tif 000003
【図２】
2008147904.tif 000004
【図３】
2008147904.tif 000005
【図４】
2008147904.tif 000006
【図５】
2008147904.tif 000007
【図６】
2008147904.tif 000008
【図７】
2008147904.tif 000009
【図８】
2008147904.tif 000010
【図９】
2008147904.tif 000011
【図１０】
2008147904.tif 000012
【図１１】
2008147904.tif 000013
【図１２】
2008147904.tif 000014
【図１３】
2008147904.tif 000015
【図１４】
2008147904.tif 000016
【図１５】
2008147904.tif 000017
【図１６】
2008147904.tif 000018
【図１７】
2008147904.tif 000019
【図１８】
2008147904.tif 000020
【図１９】
2008147904.tif 000021
【図２０】
2008147904.tif 000022