(57)【特許請求の範囲】
【請求項１】
画像の互いに異なる第１〜第３の色にそれぞれ対応する第１〜第３の画像信号を入力する入力部と、
前記第１及び第２の画像信号を加算して第４の画像信号を生成する第１の生成部と、
前記第３及び第４の画像信号を輪郭強調処理する強調部と、
前記輪郭強調処理された第３及び第４の画像信号を前記画像の異なる複数の領域にそれぞれ対応させて出力する出力部と、
前記出力された第３及び第４の画像信号を複数の第５及び第６の画像信号にそれぞれ分割する分割部と、
前記複数の第５及び第６の画像信号に基づいて、輝度信号を生成する第２の生成部と
を具備することを特徴とする画像処理装置。
【請求項２】
前記画像が、前記第１の色の複数の第１の画素と、前記第１の画素と空間座標がそれぞれ一致する位置に配置される、前記第２の色の複数の第２の画素と、前記第１及び第２の画素に対して空間座標がずれた位置にそれぞれ配置される、前記第３の色の複数の第３の画素を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１〜第３の画像信号に基づいて色差信号を生成する色差信号生成部と、
前記生成された色差信号を前記画像の異なる複数の領域にそれぞれ対応させて出力する第２の出力部と、
前記出力された色差信号を前記第５及び第６の画像信号に対応させて、複数の第２の色差信号に分割する第２の分割部と、
をさらに具備することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の生成部が、
互いに異なる第１及び第２の重み付け係数ｋ１及びｋ２を前記第１、第２の画像信号にそれぞれかけて加算し、前記第４の画像信号を生成し、
前記第２の生成部は、
互いに異なる第３及び第４の重み付け係数ｋ３及びｋ４を前記第５及び第６の画像信号にそれぞれかけて加算し、第１の輝度信号を生成する第１の輝度信号生成部と、
互いに異なる第５及び第６の重み付け係数ｋ５及びｋ６を前記第５及び第６の画像信号にそれぞれかけて加算し、前記第１の輝度信号よりも折り返しノイズの低減された第２の輝度信号を生成する第２の輝度信号生成部と
前記第１及び第２の輝度信号を加算して、前記輝度信号を生成する加算部と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第１〜第６の重み付け係数ｋ１〜ｋ６が、それぞれｋ１＝０．７５、ｋ２＝０．２５、ｋ３＝０．７２、ｋ４＝０．２８、ｋ５＝０．５、ｋ６＝０．５であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第１〜第３の画像信号に対してγ処理、Ｋｎｅｅ処理の少なくとも一方を施す信号補正処理部をさらに具備すること
を特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記輝度信号及び前記複数の第２の色差信号に対応する画像を表示する表示部をさらに具備することを特徴とする請求項３に記載の画像処理装置。
【請求項８】
画像の互いに異なる第１〜第３の色にそれぞれ対応する第１〜第３の画像信号を出力する撮像部と、当該撮像部から出力された第１〜第３の画像信号を受信する画像処理装置を具備する画像処理システムにおいて、
前記画像処理装置は、
前記第１〜第３の画像信号を入力する入力部と、
前記第１及び第２の画像信号を加算して第４の画像信号を生成する第１の生成部と、
前記第３及び第４の画像信号を輪郭強調処理する強調部と、
前記輪郭強調処理された第３及び第４の画像信号を前記画像の異なる複数の領域にそれぞれ対応させて出力する出力部と、
前記出力された第３及び第４の画像信号を複数の第５及び第６の画像信号にそれぞれ分割する分割部と、
前記複数の第５及び第６の画像信号に基づいて、輝度信号を生成する第２の生成部と
を具備することを特徴とする画像処理システム。
【請求項９】
前記画像が、前記第１の色の複数の第１の画素と、前記第１の画素と空間座標がそれぞれ一致する位置に配置される、前記第２の色の複数の第２の画素と、前記第１及び第２の画素に対して空間座標がずれた位置にそれぞれ配置される、前記第３の色の複数の第３の画素を備えることを特徴とする請求項８に記載の画像処理システム。
【請求項１０】
前記第１〜第３の画像信号に基づいて色差信号を生成する色差信号生成部と、
前記生成された色差信号を前記画像の異なる複数の領域にそれぞれ対応させて出力する第２の出力部と、
前記出力された色差信号を前記第５及び第６の画像信号に対応させて、複数の第２の色差信号に分割する第２の分割部と、
をさらに具備することを特徴とする請求項８に記載の画像処理システム。
【請求項１１】
前記第１の生成部が、
互いに異なる第１及び第２の重み付け係数ｋ１及びｋ２を前記第１、第２の画像信号にそれぞれかけて加算し、前記第４の画像信号を生成し、
前記第２の生成部は、
互いに異なる第３及び第４の重み付け係数ｋ３及びｋ４を前記第５及び第６の画像信号にそれぞれかけて加算し、第１の輝度信号を生成する第１の輝度信号生成部と、
互いに異なる第５及び第６の重み付け係数ｋ５及びｋ６を前記第５及び第６の画像信号にそれぞれかけて加算し、前記第１の輝度信号よりも折り返しノイズの低減された第２の輝度信号を生成する第２の輝度信号生成部と
前記第１及び第２の輝度信号を加算して、前記輝度信号を生成する加算部と
を備えることを特徴とする請求項８に記載の画像処理システム。
【請求項１２】
前記第１〜第６の重み付け係数ｋ１〜ｋ６が、それぞれｋ１＝０．７５、ｋ２＝０．２５、ｋ３＝０．７２、ｋ４＝０．２８、ｋ５＝０．５、ｋ６＝０．５であることを特徴とする請求項１１に記載の画像処理システム。
【請求項１３】
前記第１〜第３の画像信号に対してγ処理、Ｋｎｅｅ処理の少なくとも一方を施す信号補正処理部をさらに具備すること
を特徴とする請求項８に記載の画像処理システム。
【請求項１４】
入力部が、画像の互いに異なる第１〜第３の色にそれぞれ対応する第１〜第３の画像信号を入力するステップと、
第１の生成部が、前記第１及び第２の画像信号を加算して第４の画像信号を生成するステップと、
強調部が、前記第３及び第４の画像信号を輪郭強調処理するステップと、
出力部が、前記輪郭強調処理された第３及び第４の画像信号を前記画像の異なる複数の領域にそれぞれ対応させて出力するステップと、
分割部が、前記出力された第３及び第４の画像信号を複数の第５及び第６の画像信号にそれぞれ分割するステップと、
第２の生成部が、前記複数の第５及び第６の画像信号に基づいて、輝度信号を生成するステップと
を具備することを特徴とする画像処理方法。
【請求項１５】
前記画像が、前記第１の色の複数の第１の画素と、前記第１の画素と空間座標がそれぞれ一致する位置に配置される、前記第２の色の複数の第２の画素と、前記第１及び第２の画素に対して空間座標がずれた位置にそれぞれ配置される、前記第３の色の複数の第３の画素を備えることを特徴とする請求項１４に記載の画像処理方法。
【請求項１６】
色差信号生成部が、前記第１〜第３の画像信号に基づいて色差信号を生成するステップと、
第２の出力部が、前記生成された色差信号を前記画像の異なる複数の領域にそれぞれ対応させて出力するステップと、
第２の分割部が、前記出力された色差信号を前記第５及び第６の画像信号に対応させて、複数の第２の色差信号に分割するステップと、
をさらに具備することを特徴とする請求項１４に記載の画像処理方法。
【請求項１７】
前記第１の生成部が、互いに異なる第１及び第２の重み付け係数ｋ１及びｋ２を前記第１、第２の画像信号にそれぞれかけて加算し、前記第４の画像信号を生成するステップと、
第１の輝度信号生成部が、互いに異なる第３及び第４の重み付け係数ｋ３及びｋ４を前記第５及び第６の画像信号にそれぞれかけて加算し、第１の輝度信号を生成するステップと、
第２の輝度信号生成部が、互いに異なる第５及び第６の重み付け係数ｋ５及びｋ６を前記第５及び第６の画像信号にそれぞれかけて加算し、前記第１の輝度信号よりも折り返しノイズの低減された第２の輝度信号を生成するステップと
加算部が、前記第１及び第２の輝度信号を加算して、前記輝度信号を生成するステップと
をさらに具備することを特徴とする請求項１４に記載の画像処理方法。
【請求項１８】
前記第１〜第６の重み付け係数ｋ１〜ｋ６が、それぞれｋ１＝０．７５、ｋ２＝０．２５、ｋ３＝０．７２、ｋ４＝０．２８、ｋ５＝０．５、ｋ６＝０．５であることを特徴とする請求項１７に記載の画像処理方法。
【請求項１９】
信号補正処理部が、前記第１〜第３の画像信号に対してγ処理、Ｋｎｅｅ処理の少なくとも一方を施すステップをさらに具備すること
を特徴とする請求項１４に記載の画像処理方法。
【請求項２０】
表示部が、前記輝度信号及び前記複数の第２の色差信号に対応する画像を表示するステップをさらに具備することを特徴とする請求項１６に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理システム及び画像処理方法に関する。
【背景技術】
【０００２】
近年、撮像装置（例えば、ビデオカメラ、電子顕微鏡、内視鏡装置など）や表示装置で処理される画像の高精細化が進んでいる。
高精細な画像として、例えば、１９２０×１０８０個の画素で構成される所謂Ｆｕｌｌ  ＨＤ（Ｆｕｌｌ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）画像や、このＦｕｌｌ  ＨＤ画像の４倍または８倍の画素数で構成される所謂４Ｋ画像または８Ｋ画像が知られている。そして、このような高精細な画像を処理可能な撮像装置や表示装置が提案されている。
画像の処理内容には、例えば、γ補正やｋｎｅｅ補正やノイズリダクション処理または輪郭強調処理などがある。
また、上記のような撮像装置において、画素ずらしと呼ばれる手法が知られている。画素ずらしによって、撮像素子が撮像可能な解像度以上の解像度の画像を得ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−０１５４７８号公報
【特許文献２】特開２０１３−０２５６１８号公報
【特許文献３】特開２００２−１９１０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
高精細な画像を処理する撮像装置や表示装置では、画像の処理回路の規模が増大しやすくなり、これに伴って消費電力の増大、発熱温度の上昇及び小型化が困難になるなどの問題がでてくる。
本発明は、係る従来の課題を解決するためになされたものであり、消費電力の増大や発熱温度の上昇、小型化を図りつつ高精細な画像を処理することが可能な画像処理装置、画像処理システム及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本実施形態の画像処理装置は、第１〜第３の画像信号を入力する入力部と、第４の画像信号を生成する第１の生成部と、前記第３及び第４の画像信号を輪郭強調処理する強調部と、前記輪郭強調処理された第３及び第４の画像信号を前記画像の異なる複数の領域にそれぞれ対応させて出力する出力部と、前記出力された第３及び第４の画像信号を複数の第５及び第６の画像信号にそれぞれ分割する分割部と、前記複数の第５及び第６の画像信号に基づいて、輝度信号を生成する第２の生成部とを具備する。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態の撮像装置１の構成図。
【図２】空間画素ずらしを説明する図。
【図３】画像処理部１０６の構成図。
【図４】色差信号生成部１１６の構成図。
【図５】第１画素ずらし処理部１１６ａによる画素ずらし処理を説明する図。
【図６】第１画素補間部１１８の構成図
【図７】第２画素ずらし処理部１１８ａによる画素ずらし処理を説明する図。
【図８】第３画素ずらし処理部１１８ｇによる画素ずらし処理を説明する図。
【図９】比較例に係る画像処理部２０６の構成図。
【図１０】比較例に係る画素補間処理部２１８ａの構成図。
【発明を実施するための形態】
【０００７】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
（第１の実施形態）
図１は、第１の実施形態に係る撮像装置１の構成図である。図２は、空間画素ずらしを説明する図である。図３は、画像処理部１０６の構成図である。
撮像装置１は、撮像部１０、接続部２０、ＣＣＵ（Ｃａｍｅｒａ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）１００を備える。撮像装置には、画像表示部３０が接続される。
【０００８】
撮像装置１は、赤（Ｒ），緑（Ｇ），青（Ｂ）の各色（第１〜第３の色）にそれぞれ対応するイメージセンサ１３ｒ，１３ｇ及び１３ｂを備える３板式のカメラである。撮像装置１は、動画や静止画を撮像できる。撮像装置１は、同様の構成を有する顕微鏡装置、内視鏡装置、デジタルテレビまたはｗｅｂカメラシステムでもよい。ｗｅｂカメラシステムでは、撮像部１０及びＣＣＵ１００は、ネットワークを介して互いに接続される。
【０００９】
（撮像部１０について）
撮像部１０は、レンズユニット１１、プリズム１２及びイメージセンサ１３ｒ，１３ｇ及び１３ｂを有する。撮像部１０は、イメージセンサ１３ｒ〜１３ｂがそれぞれ出力したＲ，Ｇ，Ｂの画像信号をＣＣＵ１００に出力する。
プリズム１２は、レンズユニット１１から入射した光を分光して、イメージセンサ１３ｒ〜１３ｂにそれぞれ供給する。
【００１０】
イメージセンサ１３ｒ〜１３ｂは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、Ａ／Ｄコンバータ、サンプルホールド回路などをオンチップ化して構成したものである。
なお、イメージセンサ１３ｒ〜１３ｂとしてＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサを用いてもよい。
【００１１】
図２に示すように、この実施形態では、イメージセンサ１３ｒ，１３ｇ及び１３ｂは、ｍ×ｎ個の受光部（画素）を有する。
イメージセンサ１３ｒ，１３ｇ及び１３ｂの画素は、縦横に配列され、例えば横方向に走査されることで、Ｒ，Ｇ，Ｂそれぞれに対応する画像信号（第１〜第３の画像信号）が生成される。なお、走査方向は横に限定されず縦方向またはランダムに走査するようにしてもよい。
ここで、イメージセンサ１３ｒ及び１３ｂが撮像する空間中の位置（空間座標）は互いに一致するが、イメージセンサ１３ｇが撮像する空間中の位置は、イメージセンサ１３ｒ及び１３ｂと異なる。
【００１２】
このような位置関係を有するようにイメージセンサ１３ｒ，１３ｇ及び１３ｂを設けることを空間画素ずらしと呼ぶ。
詳細には、イメージセンサ１３ｇは、イメージセンサ１３ｒ及び１３ｂに対して、水平方向ｄｘ及び垂直方向ｄｙにそれぞれ１／２ピッチずつ空間的にずれた位置の画像信号を出力する。この空間的なずれは、出力された画像信号の位相のずれとなって現れる。
【００１３】
すなわち、イメージセンサ１３ｒ及び１３ｂから得られるＲ及びＢの画像信号は互いに位相が一致しているが、イメージセンサ１３ｇから得られるＧの画像信号は位相が異なっている。特に、イメージセンサ１３ｇをイメージセンサ１３ｒ及び１３ｂに対して１／２ピッチずらすことによって、Ｒ，Ｂの画像信号とＧの画像信号とでモアレの原因となる折り返しノイズの位相が１８０°反転する。したがって、Ｒ，Ｂの画像信号とＧの画像信号とを、ほぼ１：１の比率で合成することによって、Ｒ，Ｇ，Ｂの画像信号にそれぞれ含まれる折り返しノイズを低減することができる。特に、Ｒ，Ｇ，Ｂの画像信号のゲインが揃っている場合（例えば、白黒画像）には、折り返しノイズをほぼ削除することができる。
【００１４】
空間画素ずらし及びＣＣＵ１００による空間画素ずらしに対応した信号処理によって、理論上は、イメージセンサ１３ｒ〜１３ｂが有する受光部数（画素数）の４倍まで画像の画素数を増やすことができる。以下「空間画素ずらしに対応した信号処理」を画素ずらし処理と称す。
【００１５】
（接続部２０について）
図１に示すように接続部２０は、撮像部１０とＣＣＵ１００を接続する。接続部２０は、撮像部１０を制御するための制御信号やＲ，Ｇ，Ｂの画像信号を送受信するための信号伝達手段である。接続部２０は、有線または無線により撮像部１０とＣＣＵ１００を接続できる。接続部２０は、例えば、基板上に回路パターンとして配設された導線であったり、ＣＣＵ１００と撮像部１０を接続するケーブルであったりする。ｗｅｂカメラシステムの場合は、接続部２０は、ＬＡＮケーブル、ＵＳＢケーブル及びインターネット回線などで構成される。
【００１６】
（画像表示部３０について）
画像表示部３０は、例えば、ＣＲＴ：Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅや液晶モニタである。画像表示部３０は、撮像装置１に外付けするタイプのものでもよいし、撮像装置１が内蔵するタイプのものでもよい。
【００１７】
（ＣＣＵ１００について）
ＣＣＵ１００は、ＩＦ回路部１０１、メモリ部１０２、ドライバ部１０３、コントローラ部１０４、電源制御部１０５及び画像処理部１０６を備える。これらの各部は、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）やＡＣＩＣ（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）などにより実現できる。
【００１８】
ＩＦ回路部１０１は、接続部２０を接続するためのインターフェースである。ＩＦ回路部１０１は、イメージセンサ１３ｒ，１３ｇ及び１３ｂが出力したＲ，Ｇ，Ｂの画像信号を画像処理部１０６に入力する入力部である。
メモリ部１０２は、メモリを有している。メモリ部１０２は、撮像部１０の設定データ（動作モード）や補正データを保持する。メモリ部１０２は、コントローラ部１０４が演算を行う際のキャッシュとして利用される。
【００１９】
ドライバ部１０３は、イメージセンサ１３ｒ〜１３ｂの駆動回路である。ドライバ部１０３は、コントローラ部１０４に制御されてイメージセンサ１３ｒ〜１３ｂの駆動方式やフレームレートを変更できる。ドライバ部１０３は、イメージセンサ１３ｒ〜１３ｂへ垂直同期や水平同期のためのパルス信号を送信する。
【００２０】
コントローラ部１０４は、ＩＦ回路部１０１、メモリ部１０２、ドライバ部１０３、電源制御部１０５及び画像処理部１０６を制御する。
コントローラ部１０４は、演算回路やタイミング信号生成回路を有する。タイミング信号生成回路は、例えば、撮像装置１を動作させる基本的なクロック信号であるシステムクロック信号や、各部の動作のタイミングを調整するタイミングクロック信号を生成する。コントローラ部１０４は、生成したクロック信号を各部に供給する。
【００２１】
電源制御部１０５は、外部電源に接続される。電源制御部１０５は、外部電源からの電力を所定の電圧に変換して、ＩＦ回路部１０１〜画像処理部１０６及び撮像部１０にそれぞれ供給する。
【００２２】
（画像処理部１０６について）
次に図３を参照して画像処理部１０６について説明する。図３に示すように、画像処理部１０６は、信号補正処理部１１０、中間演算部１１１、輪郭強調処理部１１２，１１３、加算部１１４，１１５、色差信号生成部１１６、画像分割部１１７及び第１〜第４画素補間部１１８〜１２１を有する。
【００２３】
信号補正処理部１１０は、Ｐｒｅｋｎｅｅ処理部１１０ａ、γ補正処理部１１０ｂ及びＫｎｅｅ処理部１１０ｃを有する。
信号補正処理部１１０には、撮像部１０が出力したＲ，Ｇ，Ｂの画像信号がそれぞれ入力される。信号補正処理部１１０は、Ｒ，Ｇ，Ｂの画像信号に対して、ｋｎｅｅ補正、γ補正、輪郭強調処理などの画像処理を行う。信号補正処理部１１０は、ホワイトバランスの調整機能や暗部の明暗調整機能なども備えることができる。
【００２４】
Ｐｒｅｋｎｅｅ処理部１１０ａは、Ｒ，Ｇ，Ｂの画像信号に対して、ｋｎｅｅ処理を施す。この結果、Ｒ，Ｇ，Ｂの画像信号の一定レベルを超える成分についてゲインが圧縮されて、画像表示部３０に表示される画像の白飛びを抑制することができる。一般的にこのゲインの圧縮が始まるポイントをｋｎｅｅポイントと呼ぶ。また圧縮の程度をｋｎｅｅスロープと呼ぶ。
【００２５】
γ補正処理部１１０ｂは、ｋｎｅｅ処理後のＲ，Ｇ，Ｂの画像信号に対してγ補正を施す。この結果、ｋｎｅｅポイントでの急峻な輝度の変化を抑制することができる。また、表示部３０の特性に合わせた画像信号に調整することができる。
【００２６】
Ｋｎｅｅ処理部１１０ｃは、Ｐｒｅｋｎｅｅ処理部１１０ａと同様の構成・機能を備える。Ｋｎｅｅ処理部１１０ｃは、ｋｎｅｅ処理について使用者が手動で設定を行うための処理部である。Ｋｎｅｅ処理部１１０ｃは、γ補正処理部１１０ｂによってγ補正を施されたＲ，Ｇ，Ｂの画像信号に対して、使用者が設定したｋｎｅｅポイント及びｋｎｅｅスロープとなるように信号処理を施す。
【００２７】
以下、信号補正処理部１１０が信号処理を施したＲ，Ｇ，Ｂの画像信号をそれぞれ「赤色画像信号Ｒｃ」「緑色画像信号Ｇｃ」及び「青色画像信号Ｂｃ」と称す。
信号補正処理部１１０は、赤色画像信号Ｒｃ及び青色画像信号Ｂｃを、中間演算部１１１及び色差信号生成部１１６にそれぞれ出力する。
そして、信号補正処理部１１０は、緑色画像信号Ｇｃを輪郭強調処理部１１２、加算部１１４及び色差信号生成部１１６にそれぞれ出力する。
【００２８】
中間演算部１１１は、第１の生成部として機能する。中間演算部１１１は、赤色画像信号Ｒｃの画素値と青色画像信号Ｂｃの画素値をそれぞれ足し合わせて新しい画素値を算出することで、画像信号Ｓｒｂを生成する。
このとき、位相のズレのある画像信号の画素値を加算すると画像にボケや不自然な色味が発生する可能性がある。ここでは、空間座標が一致するイメージセンサ１３ｒ及び１３ｂから得られる位相の一致する赤色画像信号Ｒｃの画素値及び青色画像信号Ｂｃの画素値をそれぞれ足し合わせているため、画像に不自然な色味や画像ボケが発生する可能性は小さい。
【００２９】
中間演算部１１１は、数式１によって画像信号Ｓｒｂを算出する。
Ｓｒｂ＝０．７５×Ｒｃ＋０．２５×Ｂｃ…（１）
Ｓｒｂ：画像信号
Ｒｃ：赤色画像信号の画素値
Ｂｃ：青色画像信号の画素値
０．７５：第１の重み付け係数ｋ１
０．２５：第２の重み付け係数ｋ２
【００３０】
中間演算部１１１は、算出した画像信号Ｓｒｂを輪郭強調処理部１１３及び加算部１１５にそれぞれ出力する。
中間演算部１１１が、数式１を用いて画像信号Ｓｒｂを生成することによって、赤色画像信号Ｒ及び青色画像信号Ｂｃをまとめて各部に出力することができる。したがって、赤〜緑色画像信号Ｒｃ〜Ｇｃの出力用の信号線の本数を３本から２本に減らすことができ、回路規模の増大の抑制を図ることができる。
この後、数式４及び５を用いて詳述するように、画像信号Ｓｒｂに第４の重み付け係数である「０．２８」をかけることによって、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ  ｏｆ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  ａｎｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｅｎｇｉｎｅｅｒｓ）規格に準じる輝度信号Ｙを生成することができる。
【００３１】
同様に、この後、数式８及び９に示して詳述するように、画像信号Ｓｒｂに係数「０．５」をかけることによって、折り返しノイズの影響を低減させるための演算を行いつつ、最終的に、数式９で表される高周波輝度信号ＹＨを算出することができる。高周波輝度信号ＹＨは、輝度信号Ｙの高周波域を補うための信号である。
以上を要するに、後の輝度信号Ｙ及び高周波輝度信号ＹＨの算出のための処理の一部を数式１を用いて先に行うことで、信号線の本数を削減できる。
【００３２】
画像信号Ｓｒｂ及び緑色信号Ｇｃは、輪郭強調処理部１１２，１１３及び加算部１１４，１１５によってそれぞれ輪郭強調処理が施される。すなわち、輪郭強調処理部１１２，１１３及び加算部１１４，１１５は、強調部として機能する。
「輪郭強調処理」とは、所定の画像信号から水平及びまたは垂直方向の高域（輪郭）成分を抽出した輪郭信号を、当該所定の画像信号に加算するものである。画像処理の中でも輪郭強調処理は、演算負荷が大きい傾向にある。例えば、輪郭抽出のために全ての画素を対象として、隣接する画素同士の差分を演算したり、テンプレートマッチングさせたりするからである。これに伴って消費電力の増大や発熱温度が上昇する恐れがある。
【００３３】
輪郭信号を当該所定の画像信号に加算する前に、輪郭信号に対して非線形処理やゲイン処理を行うこともある。「非線形処理」は、クリスプニングやコアリングとも呼ばれる。詳細には、ノイズなどの一定のレベル以下の信号には、輪郭信号を加算しないようにする処理である。非線形処理によってノイズを抑圧することができる。ただし、非線形処理によって輪郭信号が減衰したり、逆に予期せずに増幅されたりすることがある。
「ゲイン処理」は、非線形処理によって減衰した輪郭信号を増幅したり、予期せず増幅されてしまった輪郭信号を減衰させたりする処理である。
【００３４】
輪郭強調処理部１１２及び１１３は、緑色画像信号Ｇｃ及び画像信号Ｓｒｂからそれぞれ輪郭成分を抽出して輪郭信号を生成する。輪郭強調処理部１１２及び１１３は、抽出した輪郭信号に対して非線形処理やゲイン処理を行うことができる。
【００３５】
加算部１１４は、信号補正処理部１１０が出力した緑色画像信号Ｇｃと、輪郭強調処理部１１２が出力した輪郭信号としての緑色画像信号Ｇｃを加算する。結果として、輪郭成分が強調されたＧｃの画像信号が得られる（以下「画像信号Ｙｇ」と称す。）。
加算部１１５は、中間演算部１１１が出力した画像信号Ｓｒｂと、輪郭強調処理部１１３が出力した輪郭信号としての画像信号Ｓｒｂを加算する。結果として、輪郭成分が強調されたＲｃ＋Ｂｃの画像信号が得られる（以下「画像信号Ｙｒｂ」と称す。）。
加算部１１４及び１１５は、画像信号Ｙｇ及びＹｒｂを、画像分割部１１７にそれぞれ出力する。
【００３６】
次に図４及び図５を参照して色差信号生成部１１６について説明する。図４は、色差信号生成部１１６の構成図である。図５は、第１画素ずらし処理部１１６ａによる画素ずらし処理を説明する図である。
図４に示すように、色差信号生成部１１６は、第１画素ずらし処理部１１６ａ、ＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）部１１６ｂ、色差信号生成部１１６ｃ及び画像補正処理部１１６ｄを有する。
【００３７】
色差信号生成部１１６は、信号補正処理部１１０が出力した赤色画像信号Ｒｃ〜青色画像信号Ｂｃを色差信号に変換して、画像分割部１１７に出力する。
第１画素ずらし処理部１１６ａは、信号補正処理部１１０から出力された赤〜緑色画像信号Ｒｃ〜Ｇｃに対して画素ずらし処理を施すための画素補間回路（フィルタ回路）を有する。
【００３８】
図５に示すように第１画素ずらし処理部１１６ａは、補間処理によって、赤色画像信号Ｒｃ（及び青色画像信号Ｂｃ）と、緑色画像信号Ｇｃとの水平方向及び垂直方向の空間的なずれ（信号の位相のずれ）を補正した赤色画像信号Ｒｃ１，青色画像信号Ｂｃ１及び緑色画像信号Ｇｃ１を生成する。この補間処理には、バイキュービック補間法、バイリニア補間法など様々な補間手法を用いることができる。
【００３９】
赤〜緑色画像信号Ｒｃ１〜Ｇｃ１を用いることによって、図３に示した第１〜第４画素補間部１１８〜１２１がそれぞれ出力する輝度信号Ｙｇ及びＹｒｂと対応する最適な色差信号Ｐｂ及びＰｒを得ることができる。「最適な色差信号」とは、表示部３０に表示される画像の色にじみが発生しない色差信号を指す。
ＬＰＦ部１１６ｂは、赤〜緑色画像信号Ｒｃ１〜Ｇｃ１それぞれの高周波域をカットする。この結果、赤〜緑色画像信号Ｒｃ１〜Ｇｃ１の折り返しノイズを含む周波数帯域の信号が除去される。
【００４０】
色差信号生成部１１６ｃは、色差マトリクス回路を有する。色差信号生成部１１６ｃは、赤〜緑色画像信号Ｒｃ１〜Ｇｃ１に基づいて、色差信号Ｐｂ０及びＰｒ０を生成する。
画像補正処理部１１６ｄは、Ｋｎｅｅ処理部１１０ｃと対応する機能を有する。画像補正処理部１１６ｄによって、色差信号Ｐｂ０及びＰｒ０に対して使用者が手動でｋｎｅｅ処理を施すことができる。色差信号Ｐｂ０及びＰｒ０に対してｋｎｅｅ処理を施すことで、表示部３０に表示される画像の彩度や色相を任意に変化させることができる。
画像補正処理部１１６ｄは、ｋｎｅｅ処理が施された色差信号Ｐｂ０及びＰｒ０を画像分割部１１７に出力する（図３、４の色差信号Ｐｂ及びＰｒ参照）。
【００４１】
画像分割部１１７は、出力部及び第２の出力部として機能する。画像分割部１１７は、フレームメモリやカウンタ回路を有する。図３に示すように、画像分割部１１７は、加算部１１４，１１５及び色差信号生成部１１６がそれぞれ出力した画像信号Ｙｇ，Ｙｒｂ及び色差信号Ｐｂ，Ｐｒを１画面（１フレーム）分保持する。
画像分割部１１７は、保持した画像信号Ｙｇ，Ｙｒｂ及び色差信号Ｐｂ，Ｐｒを表示部３０に表示される１フレーム分の画像の所定の領域毎に第１〜第４画素補間部１１８〜１２１にそれぞれ出力する。
【００４２】
「所定の領域」として、例えば、１フレーム分の画像を縦及び横に２分割して、全部で４つの領域に分割したものが考えられる。領域の数と、第１〜第４画素補間部１１８〜１２１の数は対応する。
【００４３】
分割された４つの領域は、例えば、図２に示したイメージセンサ１３ｇの画素（１，１），（１，ｇ−１），（ｈ−１，１），（ｈ−１，ｇ−１）を頂点とする仮想的な４角形で囲まれる第１の領域Ａ１、同様に画素（１，ｇ），（１，ｎ），（ｈ−１，ｇ），（ｈ−１，ｎ）を頂点とする第２の領域Ａ２、画素（ｈ，１），（ｈ，ｇ−１），（ｍ，１），（ｍ，ｇ−１）を頂点とする第３の領域Ａ３、画素（ｈ，ｇ），（ｈ，ｎ），（ｍ，ｇ），（ｍ，ｎ）を頂点とする第４の領域Ａ４とそれぞれ対応する。イメージセンサ１３ｒ及び１３ｂも同様である。
【００４４】
例えば、画像分割部１１７は、第１の領域Ａ１に対応する画像信号Ｙｇ，Ｙｒｂ及び色差信号Ｐｂ，Ｐｒを第１画素補間部１１８に出力する（図３の画像信号Ｙｇ１，Ｙｒｂ１及び色差信号Ｐｂ１，Ｐｒ１参照）。
同様に画像分割部１１７は、第２〜第４の領域Ａ２〜Ａ４に対応する画像信号Ｙｇ，Ｙｒｂ及び色差信号Ｐｂ，Ｐｒを第２〜第４画素補間部１１９〜１２１にそれぞれ出力する（図３の画像信号Ｙｇ２〜Ｙｇ４，Ｙｒｂ２〜Ｙｒｂ４及び色差信号Ｐｂ２〜Ｐｂ４，Ｐｒ２〜Ｐｒ４参照）。
【００４５】
画像分割部１１７は、カウンタ回路によって、第１〜第４画素補間部１１８〜１２１にそれぞれに出力した画像信号Ｙｇ，Ｙｒｂ及び色差信号Ｐｂ及びＰｒの数を計数できる。画像分割部１１７は、カウンタ回路が計数した値に応じて、第１〜第４画素補間部１１８〜１２１に対してそれぞれ同じ画像信号Ｙｇ，Ｙｒｂ及び色差信号Ｐｂ及びＰｒを出力する。このことにより、分割した領域の境界域における不自然な画像表示を抑制することができる。
【００４６】
（第１画素補間部１１８について）
次に図６〜図８を参照して第１画素補間部１１８について説明する。図６は、第１画素補間部１１８の構成図である。図７は、第２画素ずらし処理部１１８ａによる画素ずらし処理を説明する図である。図８は、第３画素ずらし処理部１１８ｇによる画素ずらし処理を説明する図である。第２〜第４画素補間部１１９〜１２１については、第１画素補間部１１８と同様の構成及び機能を有するので、詳細な説明は省略する。
【００４７】
図６に示すように、第１画素補間部１１８は、第２画素ずらし処理部１１８ａ、第１輝度信号生成部１１８ｂ、ＬＰＦ部１１８ｃ、第２輝度信号生成部１１８ｄ、ＨＰＦ（Ｈｉｇｈ  ｐａｓｓ  ｆｉｌｔｅｒ）部１１８ｅ、加算器１１８ｆ、第３画素ずらし処理部１１８ｇ、ＤＬＹ（ＤＥＬＡＹ）部１１８ｈ及び１１８ｉを有する。
第２画素ずらし処理部１１８ａは、分割部として機能する。第１輝度信号生成部１１８ｂ、第２輝度信号生成部１１８ｄ及び加算器１１８ｆは、第２の生成部として機能する。
【００４８】
第２画素ずらし処理部１１８ａは、画像分割部１１７から出力された画像信号Ｙｒｂ１及びＹｇ１に対して画素ずらし処理を施すための画素補間回路（例えば、インタポレータ）を有する。
図７に示すように、第２画素ずらし処理部１１８ａは、画素補間回路によって画像信号Ｙｇ１及びＹｒｂ１を構成する画像信号Ｙｇ（１，１）、・・・、（１，ｇ−１）及びＹｒｂ（１，１）、・・・、（１，ｇ−１）を撮像部１０などの動作クロックの２倍のクロックで読み取ることができる。図７に示した座標（１，１）、…、（１、ｇ−１）は、図２に示したイメージセンサ１３ｒ〜１３ｂの各画素の座標と対応する。
【００４９】
このとき、第２画素ずらし処理部１１８ａは、図７に示すように各画像の信号数を２倍にして読み取る。例えば、第２画素ずらし処理部１１８ａは、画像信号Ｙｒｂ（１，１）を画像信号Ｙｒｂ（１，１）−１及びＹｒｂ（１，１）−２として読み取る。この処理をダブルサンプリングと呼ぶこともある。このことにより、水平方向ｄｘの画素数が２倍とになる。
【００５０】
さらに第２画素ずらし処理部１１８ａは、ここでは図示は省略したが、他の画素の列（画像信号Ｙｇ（２，１）〜Ｙｇ（２，ｇ−１）、・・・、画像信号Ｙｒｂ（ｈ−１，１）〜Ｙｒｂ（ｈ−１，ｇ−１））についても同様の処理を行う。
また、このように読み取られた画素の列毎の対応する画像信号を用いることによって、垂直方向ｄｙの画素数も２倍にできる。
【００５１】
したがって、第２画素ずらし処理部１１８ａは、画像分割部１１７から出力された画像信号Ｙｒｂ１及びＹｇ１を用いて領域Ａ１に対応する画素数を水平方向及び水力方向を合わせて４倍にアップスケーリングできる。
第２画素ずらし処理部１１８ａは、第１輝度信号生成部１１８ｂ及び第１輝度信号生成部１１８ｄに対して、読み込んだ画像信号Ｙｇ（１，１）−１，（１，１）−２，〜（１，ｇ）−１，（１，ｇ）−２，及びＹｒｂ（１，１）−１，（１，１）−２，〜（１，ｇ）−１，（１，ｇ）−２をそれぞれ出力する（図６の「Ｙｇ０」及び「Ｙｒｂ０」参照）。
【００５２】
第１輝度信号生成部１１８ｂは、第２画素ずらし処理部１１８ａが出力した画素ずらし処理後の画像信号Ｙｇ０及びＹｒｂ０に基づいてＳＭＰＴＥ規格に準じた輝度信号Ｙを算出する。
【００５３】
例えば、ＳＭＰＴＥ規格の輝度信号は、数式２によって表される。
Ｙ＝０．２１２６×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ…（２）
Ｙ：輝度信号の輝度値
Ｒ：赤色画像信号の画素値
Ｇ：緑色画像信号の画素値
Ｂ：青色画像信号の画素値
【００５４】
第１輝度信号生成部１１８ｂは、数式３によって数式２で表される輝度信号Ｙと対応する輝度信号Ｙを算出する。
Ｙ（ｘ，ｙ）−ｎ＝０．２１×Ｒｃ０（ｘ，ｙ）−ｎ＋０．７２×Ｇｃ０（ｘ，ｙ）−ｎ＋０．０７×Ｂｃ０（ｘ，ｙ）−ｎ…（３）
Ｙ（ｘ，ｙ）−ｎ：各画素に対応する輝度信号の輝度値
Ｒｃ０（ｘ，ｙ）−ｎ：加算部１１５から出力された赤色画像信号の画素値
Ｇｃ０（ｘ，ｙ）−ｎ：加算部１１４から出力された緑色画像信号の画素値
Ｂｃ０（ｘ，ｙ）−ｎ：加算部１１５から出力された青色画像信号の画素値
ｘ：画素の水平方向の座標
ｙ：画素の垂直方向の座標
ｎ：１または２の整数
０．２１：第１及び第４の重み付け係数ｋ１及びｋ４を掛け合わせた数値
０．７２：第３の重み付け係数ｋ３
０．０７：第２及び第４の重み付け係数ｋ２及びｋ４を掛け合わせた数値
【００５５】
ここで、「（ｘ，ｙ）−ｎ」は、例えば図７に示したダブルサンプリングされた各画素に対応する（例えば、図７の「Ｙｇ（１，１）−１」や「Ｙｒｂ（１，１）−２」参照）。以下の数式４〜９も同様である。
【００５６】
数式３の導出方法を説明する。
第１輝度信号生成部１１８ｂは、第２画素ずらし処理部１１８ａが読み込んだ図６及び図７に示す画像信号Ｙｇ０及びＹｒｂ０に基づいて、数式４による演算を行う。
Ｙ＝０．７２×Ｙｇ（ｘ，ｙ）−ｎ＋０．２８×Ｙｒｂ（ｘ，ｙ）−ｎ…（４）
Ｙ：輝度信号の輝度値
Ｙｇ（ｘ，ｙ）−ｎ：緑色画像信号の画素値
Ｙｒｂ（ｘ，ｙ）−ｎ：赤及び青色画像信号の画素値
ｘ：画素の水平方向の座標
ｙ：画素の垂直方向の座標
ｎ：１または２の整数
０．２８：第４の重み付け係数ｋ４
【００５７】
数式４に示す第４の重み付け係数である「０．２８」は、赤及び青色画像信号の画素値Ｙｒｂ（ｘ，ｙ）−ｎを用いて、ＳＭＰＴＥ規格の輝度信号に必要な赤及び青色画像信号の画素値を得るために設定されたものである。
ここで、赤及び青色画像信号の画素値Ｙｒｂ（ｘ，ｙ）−ｎは、中間演算部１１１が演算した画像信号Ｓｒｂと、この画像信号Ｓｒｂを輪郭強調処理部１１３が輪郭強調処理した画像信号Ｓｒｂとを加算したものである。
すなわち、赤及び青色画像信号の画素値Ｙｒｂ（ｘ，ｙ）−ｎは、既述した数式１に基づいて、下記数５及び６のように表現できる。
【００５８】
Ｙｒｂ（ｘ，ｙ）−ｎ＝０．２８×（０．７５×Ｒｃ０（ｘ，ｙ）−ｎ＋０．２５×Ｂｃ０（ｘ，ｙ）−ｎ）…（５）
すなわち、
Ｙｒｂ（ｘ，ｙ）−ｎ＝０．２１×Ｒｃ０（ｘ，ｙ）−ｎ＋０．０７×Ｂｃ０（ｘ，ｙ）−ｎ…（６）
Ｙｒｂ（ｘ，ｙ）−ｎ：赤及び青色画像信号の画素値
Ｒｃ０（ｘ，ｙ）−ｎ：加算部１１５から出力された赤色画像信号の画素値
Ｂｃ０（ｘ，ｙ）−ｎ：加算部１１５から出力された青色画像信号の画素値
ｘ：画素の水平方向の座標
ｙ：画素の垂直方向の座標
ｎ：１または２の整数
【００５９】
このように、数式５及び６に示すように赤及び青色画像信号のＹｒｂ（ｘ，ｙ）−ｎに第４の重み付け係数である「０．２８」をかけることで、最終的に、数式３で表される輝度信号Ｙを算出するのに必要な赤及び青色画像信号の画素値を算出できる。
【００６０】
緑色画像信号の画素値Ｙｇ（ｘ，ｙ）−ｎは、既述したように信号補正処理部１１０から出力された緑色画像信号Ｇｃと、この緑色画像信号Ｇｃを輪郭強調処理部１１２が輪郭強調処理を施した色画像信号Ｇｃとを加算したものである。したがって、下記数式７のように表現できる。
Ｙｇ（ｘ，ｙ）−ｎ＝０．７２×Ｇｃ０（ｘ，ｙ）−ｎ…（７）
Ｙｇ（ｘ，ｙ）−ｎ：緑色画像信号の画素値
Ｇｃ０（ｘ，ｙ）−ｎ：加算部１１４から出力された緑色画像信号の画素値
ｘ：画素の水平方向の座標
ｙ：画素の垂直方向の座標
ｎ：１または２の整数
【００６１】
上記数式４〜７により、輝度信号Ｙ（ｘ，ｙ）−ｎは、数式３で表現できる。
以上の処理によって、アップスケーリングされた画像の各画素の輝度値を得ることができる。
【００６２】
ＬＰＦ部１１８ｃは、輝度信号Ｙの高周波域をカットする。この結果、輝度信号Ｙに含まれる折り返しノイズを含む周波数帯の信号が除去される。
第２輝度信号生成部１１８ｄは、第１輝度信号生成部１１８ｂが算出した輝度信号Ｙとミックスされる高周波輝度信号ＹＨを算出する。輝度信号Ｙ及び高周波輝度信号ＹＨをミックスする処理をミックスドハイズ処理と呼ぶこともある。ミックスドハイズ処理は、ＬＰＦ部１１８ｃによってカットされた輝度信号Ｙの高周波域を補うための処理である。
第２輝度信号生成部１１８ｄは、第２画素ずらし処理部１１８ａが出力した画素ずらし処理後の画像信号Ｙｇ０及びＹｒｂ０に基づいて高周波輝度信号ＹＨを算出する。
【００６３】
空間画素ずらしの配置を有するイメージセンサ１３ｒ，１３ｇ及び１３ｂから得られるＲ，Ｂの画像信号とＧの画像信号を加算平均することによって、それぞれの画像信号に含まれたモアレの原因となる折り返しノイズを低減できる。空間画素ずらしによって、Ｒ，Ｂの画像信号とＧの画像信号とでモアレの原因となる折り返しノイズの位相が１８０°反転しているからである。
【００６４】
第２輝度信号生成部１１８ｄは、数式８によって折り返しノイズが低減された高周波輝度信号ＹＨを算出する。また、数式８は、数式３と同様に、数式９のように表現できる。
ＹＨ＝０．５×Ｙｇ（ｘ，ｙ）−ｎ＋０．５×Ｙｒｂ（ｘ，ｙ）−ｎ…（８）
ＹＨ＝０．３７５×Ｒｃ０（ｘ，ｙ）−ｎ＋０．５×Ｇｃ０（ｘ，ｙ）−ｎ＋０．１２５×Ｂｃ０（ｘ，ｙ）−ｎ…（９）
ＹＨ：高周波輝度信号
Ｙｇ（ｘ，ｙ）−ｎ：緑色画像信号の画素値
Ｙｒｂ（ｘ，ｙ）−ｎ：赤及び青色画像信号の画素値
Ｒｃ０（ｘ，ｙ）−ｎ：加算部１１５から出力された赤色画像信号の画素値
Ｇｃ０（ｘ，ｙ）−ｎ：加算部１１４から出力された緑色画像信号の画素値
Ｂｃ０（ｘ，ｙ）−ｎ：加算部１１５から出力された青色画像信号の画素値
ｘ：画素の水平方向の座標
ｙ：画素の垂直方向の座標
ｎ：１または２の整数
０．５：第５の重み付け係数ｋ５
０．５：第６の重み付け係数ｋ６
０．３７５：第１及び第６の重み付け係数ｋ１及びｋ６を掛け合わせた数値
０．１２５：第２及び第６の重み付け係数ｋ２及びｋ６を掛け合わせた数値
【００６５】
ここで、数式９で表される高周波輝度信号ＹＨは、数式３で表される輝度信号Ｙの近似式である。したがって、高周波輝度信号ＹＨと輝度信号Ｙを加算してもなんら問題はない。
【００６６】
以上のようにして演算によって折り返しノイズの影響を低減させた高周波輝度信号ＹＨが得られる。画像信号Ｙｒｂに着目すると、既述したように、中間演算部１１１が、数式１を用いて画像信号Ｓｒｂを算出する際に赤色画像信号Ｒｃ及び青色画像信号Ｂｃにそれぞれ第１の重み付け係数ｋ１である「０．７５」及び第２の重み付け係数ｋ２である「０．２５」をかけている。
この結果、数式８及び９に示すように画像信号Ｙｒｂに第６の重み付け係数ｋ６である「０．５」をそれぞれかけることで折り返しノイズの影響を低減させるための演算を行いつつ、最終的に、数式９で表される高周波輝度信号ＹＨを算出することができる。
【００６７】
ＨＰＦ部１１８ｅは、高周波輝度信号ＹＨの低〜中域の周波数帯をフィルタリングする。この結果、周波輝度信号ＹＨにおけるＬＰＦ部１１８ｃが出力した輝度信号Ｙと対応する成分が除去される。
加算器１１８ｆは、高周波輝度信号ＹＨ及び輝度信号Ｙを加算して一つの輝度信号Ｙｉ１として出力する。
【００６８】
以上説明したように、第１画素補間部１１８では、輝度信号Ｙｉ１を生成するために、輝度信号Ｙ及び高周波輝度信号ＹＨを用いる。数式３に示した輝度信号Ｙは、数式９に示した高周波輝度信号ＹＨよりも数式２に示したＳＭＰＴＥ規格の輝度信号に近い重み付けが行われる。しかしながら、この輝度信号Ｙには、高周波域に折り返し雑音が含まれている。
【００６９】
これに対し、高周波輝度信号ＹＨは、数式３に示した輝度信号Ｙに比べると数式２に示したＳＭＰＴＥ規格の輝度信号との差が大きい。しかしながら、高周波輝度信号ＹＨでは、演算によって高周波域の折り返し雑音が低減されている。
すなわち、数式３に示した輝度信号Ｙは、数式９に示した高周波輝度信号ＹＨに比べて低周波域が高品位であり、数式９に示した高周波輝度信号ＹＨは、数式３に示した輝度信号Ｙに比べて高周波域が高品位といえる。
このような輝度信号Ｙ及び高周波輝度信号ＹＨを加算器１１８ｆで互いに加算することによって、最終的に低〜高周波域が高品位の輝度信号Ｙｉ１を生成できる。
【００７０】
第３画素ずらし処理部１１８ｇは、第２の分割として機能する。画像分割部１１７から出力された色差信号Ｐｂ１及びＰｒ１に対して画素ずらし処理を施すための画素補間回路（例えば、インタポレータ）を有する。
【００７１】
図８に示すように、第３画素ずらし処理部１１８ｇは、画素補間回路によって色差信号Ｐｂ１及びＰｒ１を構成する色差信号Ｐｂ（１，１）、・・・、Ｐｂ（１，ｇ−１）及び色差信号Ｐｒ（１，１）、・・・、Ｐｒ（１，ｇ−１）を撮像部１０などの動作クロックの２倍のクロックで読み取ることができる。図８に示した座標（１，１）、・・・、（１，ｇ−１）は、図５に示したように、第１画素ずらし処理部１１６ａが画素ずらしを行った赤〜緑色画像信号Ｒｃ１〜Ｇｃ１の座標と対応する。
【００７２】
このとき、第３画素ずらし処理部１１８ｇは、各画像信号数を２倍にして読み取る。例えば、第２画素ずらし処理部１１８ａは、色差信号Ｐｂ（１，１）を色差信号Ｐｂ（１，１）−１及びＰｂ（１，１）−２として読み取る。
さらに第３画素ずらし処理部１１８ｇは、ここでは図示は省略したが、他の画素の列（色差信号Ｐｂ（２，１）〜Ｐｂ（２，ｇ−１）、・・・、色差信号Ｐｒ（ｈ−１，１）〜Ｐｒ（ｈ−１，ｇ−１））についても同様の処理を行う。
【００７３】
この結果、第２画素ずらし処理部１１８ａが出力したＹ及びＹＨと対応する色差信号Ｐｂｉ１及びＰｒｉ１が得られる。
【００７４】
ＤＬＹ部１１８ｈ及び１１８ｉはＤＥＬＡＹ回路を有する。ＤＬＹ部１１８ｈ及び１１８ｉは、色差信号Ｐｂｉ１及びＰｒｉ１の出力タイミングを所定時間遅らせる。第２画素ずらし処理部１１８ａ〜加算部１１８ｆが輝度信号Ｙｉ１を生成して出力するためにかかる時間が、第３画素ずらし処理部１１８ｇが色差信号Ｐｂｉ１及びＰｒｉ１を生成して出力するために係る時間よりも長いためである。
この結果、輝度信号Ｙｉ１、色差信号Ｐｂｉ１及びＰｒｉ１は、同じタイミングでそれぞれ後段に出力される。
【００７５】
以上、第１画素補間部１１８による画素ずらし処理によって図２に示す領域Ａ１に対応する画像の画素数を４倍に増やすことができる。同様に第２〜第４画素補間部１１９〜１２１は、画素ずらし処理によって図２に示す領域Ａ２〜Ａ４に対応する画像の画素数を水平方向及び直方向にそれぞれ２倍して、それぞれ合計４倍に増やすことができる。
【００７６】
したがって、例えば、イメージセンサ１３ｒ〜１３ｇによってＦｕｌｌ  ＨＤの画像信号が出力される場合、第１〜第４画素補間部１１８〜１２１による画素ずらし処理によって４Ｋ画像にアップスケールすることができる。また、例えば、イメージセンサ１３ｒ〜１３ｇによって４ｋ画像の信号が出力される場合、第１〜第４画素補間部１１８〜１２１による画素ずらし処理によって８Ｋ画像にアップスケールすることができる。
【００７７】
（従来例）
例えば、４Ｋ画像を処理する場合、画素数がＦｕｌｌ  ＨＤ画像の４倍になるため、画像処理に伴う演算量が増大する。例えば、従来から動作クロックが１５０［ＭＨｚ］前後の演算回路によってＦＵＬＬ  ＨＤ画像を５９．９４ｆｐｓで処理可能なシステムがある。４Ｋ画像を５９．９４ｆｐｓで処理するためには、６００［ＭＨｚ］前後の演算回路が必要であり、８Ｋ画像以上の画像を処理するためには、さらに高クロックで動作する演算回路が必要になる。
【００７８】
高クロックで動作する演算回路は、開発が困難であったり、コストの面から搭載が難しい場合がある。演算回路を複数搭載して、並列的に画像処理を行うことで、高クロックで動作する演算回路を搭載しなくとも高精細な画像を処理することが可能となる。
しかしながら、複数の演算回路を搭載することにより、当然撮像装置全体の回路規模が増大することになる。この結果として、消費電力の増大、発熱温度の上昇及び小型化が困難になるなどの問題がでてくる。
【００７９】
図９及び図１０に示すように、複数の演算回路として第１〜第４画素補間処理部２１８ａ〜２１８ｄを搭載した比較例に係る画像処理部２０６が提案されている。以下、図９及び図１０を参照して画像処理部２０６について詳細に説明する。
図９は、比較例に係る画像処理部２０６の構成図である。図１０は、画素補間処理部２１８ａの構成図である。
【００８０】
図９に示すように画像処理部２０６は、画像領域分割部２１７及び第１〜第４画素補間処理部２１８ａ〜２１８ｂを有する。画像処理部２０６は、画素ずらし処理によって、画像の画素数を増やすことができる。
【００８１】
図１０に示すように第１画素補間処理部２１８ａは、画素ずらし処理部２２０、信号補正処理部２２１、ＬＰＦ２２２、第１及び第２輝度信号生成部２２３及び２２４、減算部２２５、加算部２２６〜２３１及び輪郭強調処理部２３２を有する。
第１及び第２輝度信号生成部２２３及び２２４は、Ｒ，Ｇ，Ｂの画像信号から輝度信号を生成するためのマトリックス回路を有する。第１画素補間処理部２１８ａは、さらに、加算部２２９〜２３１の後段にＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）用の信号、カラーバー用の信号及びブランキング用の信号を付加するための情報付加部を有することもある。
【００８２】
第２〜４画素補間処理部２１８ｂ〜２１８ｄは、第１画素補間処理部２１８ａと同様の構成を有する。
以上のように構成を有する画像処理部２０６は、イメージセンサ１３ｒ〜１３ｇが出力した１フレーム分のＲ，Ｇ，Ｂの画像信号を、まず画像領域分割部２１７が保持する。
画像領域分割部２１７は、Ｒ，Ｇ，Ｂの画像信号を所定の領域毎に第１〜第４画素補間処理部２１８ａ〜２１８ｂにそれぞれ出力する。
【００８３】
第１画素補間処理部２１８ａでは、画素ずらし処理部２２０が、画像領域分割部２１７から出力されたＲ，Ｇ，Ｂの画像信号に対して画素ずらし処理を施す。そして信号補正処理部２２１が、ｋｎｅｅ補正処理やγ補正処理を施す。ｋｎｅｅ補正処理やγ補正処理が施されたＲ，Ｇ，Ｂの画像信号は、ＬＰＦ２２２及び第１及び第２輝度信号生成部２２３及び２２４によって輝度信号Ｙ１や低域の輝度信号Ｙ２に変換される。
【００８４】
減算部２２５は、輝度信号Ｙ１から低周波輝度信号Ｙ２を減算して、高周波輝度信号ＹＨを生成する。輪郭強調処理部２３２は、輝度信号Ｙ１に対して輪郭強調処理を施す。加算部２２６〜２３１は、ＬＰＦ２２２を通過した後のＲ，Ｇ，Ｂの画像信号に対して、それぞれ高周波輝度信号ＹＨ及び輪郭強調処理後のＹ１を加算する。加算部２２６〜２２７による加算処理は、この実施形態の撮像装置１のミックスハイズド処理に対応する。
【００８５】
この結果、画像信号Ｒｉ１〜Ｂｉ１が生成される。同様に、第２〜４画素補間処理部２１８ｂ〜２１８ｄによって、図９に示した画像信号Ｒｉ２〜Ｒｉ４、Ｇｉ２〜Ｇｉ４及びＢｉ２〜Ｂｉ４がそれぞれ生成される。
このように、比較例に係る画像処理部２０６では、第１〜第４画素補間処理部２１８ａ〜２１８ｄを搭載したことにより、高精細な画像の処理を可能としている。
【００８６】
しかしながら、画像処理部２０６では、第１〜第４画素補間処理部２１８ａ〜２１８ｄが、画素ずらし処理部２２０、信号補正処理部２２１、ＬＰＦ２２２、第１及び第２輝度信号生成部２２３及び２２４、減算部２２５、加算部２２６〜２３１及び輪郭強調処理部２３２をそれぞれ有するため、回路規模が増大しやすい。
【００８７】
（撮像装置１の効果について）
この実施形態の撮像装置１によれば、以下の要素（１）〜（６）によって、回路規模の増大を抑制して、消費電力の増大や発熱温度の上昇、小型化を図りつつ高精細な画像を処理することが可能となる。
【００８８】
（要素１）
図３に示すように、撮像装置１では、信号補正処理部１１０、輪郭強調処理部１１２，１１３、加算部１１４，１１５及び色差信号生成部１１６（画像補正処理部１１６ｄ）が画像分割部１１７の前段に配置されている。
したがって、これらの回路を第１〜第４画素補間部１１８〜１２１にそれぞれ搭載する必要はない。
【００８９】
（要素２）
中間演算部１１１が、画像信号Ｓｒｂを生成することによって、輪郭強調処理部１１３及び加算部１１５によって赤色画像信号Ｒｃ及び青色画像信号Ｂｃに対して一括して輪郭強調処理を施すことができる。すなわち、赤色画像信号Ｒｃ専用の輪郭強調処理部１１３及び加算部１１５や、青色画像信号Ｂｃ専用の輪郭強調処理部１１３及び加算部１１５を搭載する必要がない。
【００９０】
（要素３）
中間演算部１１１が算出した画像信号Ｓｒｂを用いることによって、信号線の本数を削減しつつ、高周波輝度信号ＹＨに比べて低周波域が高品位の輝度信号Ｙと、輝度信号Ｙに比べて折り返しノイズが低減されたことによって高周波域が高品位となった高周波輝度信号ＹＨを生成することができる。
結果的に、配線パターンを単純化しつつ、低〜高周波域が高品位の輝度信号Ｙｉ１〜Ｙｉ４を生成することができる。
【００９１】
（要素４）
画像信号Ｙｇ，Ｙｒｂ及び色差信号Ｐｂ，Ｐｒを用いることにより、図６に示す第１画素補間部１１８における配線パターンを図１０に示す第１画素補間処理部２１８ａよりも単純化できる。ここで「単純化」とは、例えば、配線の分岐数を少なくしたり、配線数を削減したり、図１０に示す加算部２２６〜２３１の数を削減したりすることである。
【００９２】
（要素５）
図４に示した第１画素ずらし処理部１１６ａが、図６に示した第３画素ずらし処理部１１８ｇによる画素ずらし処理の一部を先に行うことによって、処理部１１８ｇによる画素ずらし処理にかかる負荷が軽減される。
【００９３】
（要素６）
空間画素ずらし及び画素ずらし処理によって、イメージセンサ１３ｒ，１３ｇ及び１３ｂが備える実解像度以上の解像度の画像を処理することができる。
【００９４】
以上、第１の実施形態を具体的に説明したが、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００９５】
例えば、第１画素ずらし処理部１１６ａは、赤色画像信号Ｒｃ１及び青色画像信号Ｂｃ１を生成せずに、緑色画像信号Ｇｃ１のみを生成してもよい。また、第１画素ずらし処理部１１６ａは、緑色画像信号Ｇｃ１を生成せずに赤色画像信号Ｒｃ１及び青色画像信号Ｂｃ１のみを生成してもよい。
【００９６】
例えば、画像処理部１０６が、輝度信号Ｙｉ１〜Ｙｉ４，色差信号Ｐｂｉ１〜Ｐｂｉ４及び色差信号Ｐｒｉ１〜Ｐｒｉ４をそれぞれＲＧＢ信号に変換する変換部を有してもよい。また、画像処理部１０６が、ＯＳＤ用の信号、カラーバー用の信号及びブランキング用の信号を付加するための情報付加部を有してもよい。
【００９７】
例えば、第１画素ずらし処理部１１６ａを色差信号生成部１１６ｃの後段に配置してもよい。第１画素ずらし処理部１１６ａが、第３画素ずらし処理部１１８ｇと同様の機能を有してもよい。逆に第３画素ずらし処理部１１８ｇが第１画素ずらし処理部１１６ａと同様の機能を有してもよい。この場合一方の回路を削減することができる。
【００９８】
例えば、画像分割部１１７は画像の領域を、縦方向にのみ４分割したり、横方向にのみ４分割したりしてもよい。また、領域を全部で２〜３つの領域に分割したり、５以上の領域に分割したりしてもよい。
【００９９】
例えば、中間演算部１１１は、赤色画像信号Ｒｃ及び青色画像信号Ｂｃにそれぞれ係数をかけて画像信号Ｓｒｂを算出したが（数式１参照）、係数を用いずに単にＲｃとＢｃを加算してもよい。この場合、第１〜第４画素補間部１１８〜１２１において、赤色画像信号Ｒｃ及び青色画像信号Ｂｃにそれぞれ所定の係数をかける。また、中間演算部１１１は、赤〜緑色画像信号Ｒｃ〜Ｇｃを全て加算してもよい。
【符号の説明】
【０１００】
１…撮像装置、１０…撮像部、１１…レンズユニット、１２…プリズム、１３ｒ〜１３ｇ…イメージセンサ、２０…接続部、３０…画像表示部、ＣＣＵ…１００、１０１…ＩＦ回路部、１０２…メモリ部、１０３…ドライバ部、１０４…コントローラ部、１０５…電源制御部、１０６…画像処理部、１１０…信号補正処理、１１０ａ…Ｐｒｅｋｎｅｅ処理部、１１０ｂ…γ補正処理部、１１０ｃ…Ｋｎｅｅ処理部、１１１…中間演算部、１１２，１１３…輪郭強調処理部、１１４，１１５…加算部、１１６…色差信号生成部、１１６ａ…第１画素ずらし処理部、１１６ｂ…ＬＰＦ部、１１６ｃ…色差信号生成部、１１６ｄ…画像補正処理部、１１７…画像分割部、１１８〜１２１…第１〜第４画素補間部、１１８ａ…第２画素ずらし処理部、１１８ｂ…第１輝度信号生成部、１１８ｃ…ＬＰＦ部、１１８ｄ…第２輝度信号生成部、１１８ｅ…ＨＰＦ部、１１８ｆ…加算器、１１８ｇ…第３画素ずらし処理部、１１８ｈ，１１８ｉ…ＤＬＹ部。
【図１】
0006407643.tif 000002
【図２】
0006407643.tif 000003
【図３】
0006407643.tif 000004
【図４】
0006407643.tif 000005
【図５】
0006407643.tif 000006
【図６】
0006407643.tif 000007
【図７】
0006407643.tif 000008
【図８】
0006407643.tif 000009
【図９】
0006407643.tif 000010
【図１０】
0006407643.tif 000011