(57)【特許請求の範囲】
【請求項１】
撮像素子から出力される色信号を補間する信号処理装置において、
補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間手段と、
補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間手段と、
補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間手段と、
補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別する判別手段と、
前記判別手段の判別結果に基づいて、前記第２，第３の補間手段のうちいずれかの出力に基づく補間データを選択する選択手段と、
前記第１の補間手段の出力に基づく補間データと前記選択手段によって出力される補間データとに基づいて、補間信号を出力する出力手段とを有し、
前記出力手段は、前記判別手段の判別結果に基づいて、前記第１の補間手段の出力に基づく補間データと前記選択手段によって出力される補間データとの重みつけを行うことによって補間信号を出力することを特徴とする信号処理装置。
【請求項２】
請求項１において、前記選択手段は、前記第２の補間手段より出力される補間データと前記第１の補間手段より出力される補間データとの差分、あるいは前記第３の補間手段より出力される信号と前記第１の補間手段より出力される補間データ信号との差分のいずれかを選択することを特徴とする信号処理装置。
【請求項３】
請求項１において、前記出力手段は、前記判別手段によって前記第１，第２の方向の相関が等しくなると判別されるにしたがって、前記選択手段によって出力される補間データより前記第１の補間手段の出力に基づく補間データに重みがおかれるように重みつけを行うことによって補間信号を生成することを特徴とする信号処理装置。
【請求項４】
請求項１において、前記第２の補間手段は、前記第１の補間手段において補間処理されるときより広い範囲の前記第１の方向の画素データに基づいて補間処理を行うことを特徴とする信号処理装置。
【請求項５】
請求項１において、前記第３の補間手段は、前記第１の補間手段において補間処理されるときより広い範囲の前記第２の方向の画素データに基づいて補間処理を行うことを特徴とする信号処理装置。
【請求項６】
撮像素子から出力される色信号を補間する信号処理装置において、
補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間手段と、
補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間手段と、
補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間手段と、
補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別する判別手段と、
前記判別手段の判別結果に基づいて、前記第２，第３の補間手段のうちいずれかの出力に基づく補間データを選択する選択手段と、
前記第１の補間手段の出力に基づく補間データと前記選択手段によって出力される補間データとに基づいて、補間信号を出力する出力手段とを有し、
前記選択手段は、前記第２の補間手段より出力される補間データと前記第１の補間手段より出力される補間データとの差分、あるいは前記第３の補間手段より出力される信号と前記第１の補間手段より出力される補間データ信号との差分のいずれかを選択することを特徴とする信号処理装置。
【請求項７】
撮像素子から出力される色信号を補間する信号処理装置において、
補間対象の画素位置に対して、水平方向及び垂直方向の画素データに基づいて補間処理する２次元ＬＰＦと、
補間対象の画素位置に対して、前記水平方向の画素データに基づいて補間処理する水平ＬＰＦと、
補間対象の画素位置に対して、前記垂直方向の画素データに基づいて補間処理する垂直ＬＰＦと、
補間対象の画素位置の信号に対する前記水平方向及び垂直方向の相関を判別する判別手段と、
前記判別手段の判別結果に基づいて、前記水平ＬＰＦ及び前記垂直ＬＰＦのうちいずれかの出力に基づく補間データを選択する選択手段と、
前記２次元ＬＰＦの出力に基づく補間データと前記選択手段によって出力される補間データとに基づいて、補間信号を出力する出力手段とを有し、
前記選択手段は、前記判別手段によって補間対象の画素位置が前記水平方向より前記垂直方向に相関が高いと判断された場合、前記水平ＬＰＦより出力される補間データと前記２次元ＬＰＦより出力される補間データとの差分を選択することを特徴とする信号処理装置。
【請求項８】
撮像素子から出力される色信号を補間する信号処理装置において、
補間対象の画素位置に対して、水平方向及び垂直方向の画素データに基づいて補間処理する２次元ＬＰＦと、
補間対象の画素位置に対して、前記水平方向の画素データに基づいて補間処理する水平ＬＰＦと、
補間対象の画素位置に対して、前記垂直方向の画素データに基づいて補間処理する垂直ＬＰＦと、
補間対象の画素位置の信号に対する前記水平方向及び垂直方向の相関を判別する判別手段と、
前記判別手段の判別結果に基づいて、前記水平ＬＰＦ及び前記垂直ＬＰＦのうちいずれかの出力に基づく補間データを選択する選択手段と、
前記２次元ＬＰＦの出力に基づく補間データと前記選択手段によって出力される補間データとに基づいて、補間信号を出力する出力手段とを有し、
前記選択手段は、前記判別手段によって補間対象の画素位置が前記垂直方向より前記水平方向に相関が高いと判断された場合、前記垂直ＬＰＦより出力される補間データと前記２次元ＬＰＦより出力される補間データとの差分を選択することを特徴とする信号処理装置。
【請求項９】
請求項１または６において、さらに、前記判別手段の判別結果に応じて、前記出力手段によって出力された補間信号を強調する強調手段を有することを特徴とする信号処理装置。
【請求項１０】
請求項９において、前記強調手段は、さらに前記第１，第２の方向のうちいずれか一方の方向を強調することを特徴とする信号処理装置。
【請求項１１】
請求項１または６において、前記第２，第３の補間手段は、ＨＰＦ（Ｈｉｇｈ  Ｐａｓｓ  Ｆｉｌｔｅｒ）であることを特徴とする信号処理装置。
【請求項１２】
請求項１または６において、前記撮像素子はベイヤー配列の色フィルタを有することを特徴とする信号処理装置。
【請求項１３】
請求項１または６において、前記撮像素子は、画素配列がオフセットされていることを特徴とする信号処理装置。
【請求項１４】
撮像素子から出力される色信号を補間する信号処理方法であって、
補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、
補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、
補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、
補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、
前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
前記出力ステップは、補間対象の画素位置の信号に対する前記第１，第２の方向の相関の判別結果に基づいて、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとの重みつけを行うことによって補間信号を出力することを特徴とする信号処理方法。
【請求項１５】
撮像素子から出力される色信号を補間する信号処理方法であって、
補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、
補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、
補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、
補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、
前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
前記選択ステップは、前記第２の補間ステップにおいて出力される補間データと前記第１の補間ステップにおいて出力される補間データとの差分、あるいは前記第３の補間ステップにおいて出力される信号と前記第１の補間ステップにおいて出力される補間データ信号との差分のいずれかを選択することを特徴とする信号処理方法。
【請求項１６】
請求項１４において、前記出力ステップは、補間対象の画素位置の信号に対する前記第１，第２の方向の相関が等しくなると判別されるにしたがって、前記選択ステップによって出力される補間データより前記第１の補間ステップの出力に基づく補間データに重みがおかれるように重みつけを行うことによって補間信号を生成することを特徴とする信号処理方法。
【請求項１７】
請求項１４において、前記第２の補間ステップは、前記第１の補間ステップにおいて補間処理されるときより広い範囲の前記第１の方向の画素データに基づいて補間処理を行うことを特徴とする信号処理方法。
【請求項１８】
請求項１４において、前記第３の補間ステップは、前記第１の補間ステップにおいて補間処理されるときより広い範囲の前記第１の方向の画素データに基づいて補間処理を行うことを特徴とする信号処理方法。
【請求項１９】
請求項１４または１５において、さらに、補間対象の画素位置の信号に対する前記第１，第２の方向との相関の判別結果に応じて、前記出力ステップによって出力された補間信号を強調する強調ステップを有することを特徴とする信号処理方法。
【請求項２０】
請求項１９において、前記強調ステップは、前記第１，第２の方向のうちいずれか一方の方向を強調することを特徴とする信号処理方法。
【請求項２１】
請求項１４または１５において、前記第２，第３の補間ステップは、ＨＰＦ（Ｈｉｇｈ  Ｐａｓｓ  Ｆｉｌｔｅｒ）を用いて補間処理することを特徴とする信号処理方法。
【請求項２２】
撮像素子から出力される色信号を補間する動作処理プログラムを記憶した記憶媒体であって、
補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、
補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、
補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、
補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、
前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、前記出力ステップは、補間対象の画素位置の信号に対する前記第１，第２の方向の相関の判別結果に基づいて、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとの重みつけを行うことによって補間信号を出力することを特徴とする動作処理プログラムを記憶した記憶媒体。
【請求項２３】
撮像素子から出力される色信号を補間する動作処理プログラムを記憶した記憶媒体であって、
補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、
補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、
補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、
補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、
前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
前記選択ステップは、前記第２の補間ステップにおいて出力される補間データと前記第１の補間ステップにおいて出力される補間データとの差分、あるいは前記第３の補間ステップにおいて出力される信号と前記第１の補間ステップにおいて出力される補間データ信号との差分のいずれかを選択することを特徴とする動作処理プログラムを記憶した記憶媒体。
【請求項２４】
請求項２２において、前記出力ステップは、補間対象の画素位置の信号に対する前記第１，第２の方向の相関が等しくなると判別されるにしたがって、前記選択ステップによって出力される補間データより前記第１の補間ステップの出力に基づく補間データに重みがおかれるように重みつけを行うことによって補間信号を生成することを特徴とする動作処理プログラムを記憶した記憶媒体。
【請求項２５】
請求項２２において、前記第２の補間ステップは、前記第１の補間ステップにおいて補間処理されるときより広い範囲の前記第１の方向の画素データに基づいて補間処理を行うことを特徴とする動作処理プログラムを記憶した記憶媒体。
【請求項２６】
請求項２２において、前記第３の補間ステップは、前記第１の補間ステップにおいて補間処理されるときより広い範囲の前記第１の方向の画素データに基づいて補間処理を行うことを特徴とする動作処理プログラムを記憶した記憶媒体。
【請求項２７】
請求項２２または２３において、さらに、補間対象の画素位置の信号に対する前記第１，第２の方向との相関の判別結果に応じて、前記出力ステップによって出力された補間信号を強調する強調ステップを有することを特徴とする動作処理プログラムを記憶した記憶媒体。
【請求項２８】
請求項２７において、前記強調ステップは、前記第１，第２の方向のうちいずれか一方の方向を強調することを特徴とする動作処理プログラムを記憶した記憶媒体。
【請求項２９】
請求項２２または２３において、前記第２，第３の補間ステップは、ＨＰＦ（Ｈｉｇｈ  Ｐａｓｓ  Ｆｉｌｔｅｒ）を用いて補間処理することを特徴とする動作処理プログラムを記憶した記憶媒体。
【請求項３０】
撮像素子から出力される色信号を補間する動作処理プログラムであって、
補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、
補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、
補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、
補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、
前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
前記出力ステップは、補間対象の画素位置の信号に対する前記第１，第２の方向の相関の判別結果に基づいて、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとの重みつけを行うことによって補間信号を出力することを特徴とする動作処理プログラム。
【請求項３１】
撮像素子から出力される色信号を補間する動作処理プログラムであって、
補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、
補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、
補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、
補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、
前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
前記選択ステップは、前記第２の補間ステップにおいて出力される補間データと前記第１の補間ステップにおいて出力される補間データとの差分、あるいは前記第３の補間ステップにおいて出力される信号と前記第１の補間ステップにおいて出力される補間データ信号との差分のいずれかを選択することを特徴とする動作処理プログラム。
【請求項３２】
請求項３０において、前記出力ステップは、補間対象の画素位置の信号に対する前記第１，第２の方向の相関が等しくなると判別されるにしたがって、前記選択ステップによって出力される補間データより前記第１の補間ステップの出力に基づく補間データに重みがおかれるように重みつけを行うことによって補間信号を生成することを特徴とする動作処理プログラム。
【請求項３３】
請求項３０において、前記第２の補間ステップは、前記第１の補間ステップにおいて補間処理されるときより広い範囲の前記第１の方向の画素データに基づいて補間処理を行うことを特徴とする動作処理プログラム。
【請求項３４】
請求項３０において、前記第３の補間ステップは、前記第１の補間ステップにおいて補間処理されるときより広い範囲の前記第１の方向の画素データに基づいて補間処理を行うことを特徴とする動作処理プログラム。
【請求項３５】
請求項３０または３１において、さらに、補間対象の画素位置の信号に対する前記第１，第２の方向との相関の判別結果に応じて、前記出力ステップによって出力された補間信号を強調する強調ステップを有することを特徴とする動作処理プログラム。
【請求項３６】
請求項３５において、前記強調ステップは、前記第１，第２の方向のうちいずれか一方の方向を強調することを特徴とする動作処理プログラム。
【請求項３７】
請求項３０または３１において、前記第２，第３の補間ステップは、ＨＰＦ（Ｈｉｇｈ  Ｐａｓｓ  Ｆｉｌｔｅｒ）を用いて補間処理することを特徴とする動作処理プログラム。
【請求項３８】
撮像素子から出力される色信号を補間する信号処理方法であって、
２次元ＬＰＦを使用することにより、補間対象の画素位置に対して、水平方向及び垂直方向の画素データに基づいて補間処理して出力する第１の補間ステップと、
水平ＬＰＦを使用することにより、補間対象の画素位置に対して、前記水平方向の画素データに基づいて補間処理して出力する第２の補間ステップと、
垂直ＬＰＦを使用することにより、補間対象の画素位置に対して、前記垂直方向の画素データに基づいて補間処理して出力する第３の補間ステップと、
補間対象の画素位置の信号に対する前記水平方向及び垂直方向の相関を判別し、その判別結果に基づいて、前記水平ＬＰＦによる第２の補間ステップ及び前記垂直ＬＰＦによる第３の補間ステップのうちいずれかの出力に基づく補間データを選択し出力する選択ステップと、
前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
前記選択ステップは、補間対象の画素位置が前記水平方向より前記垂直方向に相関が高いと判断した場合、前記水平ＬＰＦを用いた前記第２の補間ステップにより出力される補間データと前記２次元ＬＰＦを用いた前記第１の補間ステップにより出力される補間データとの差分を選択することを特徴とする信号処理方法。
【請求項３９】
撮像素子から出力される色信号を補間する信号処理方法であって、
２次元ＬＰＦを使用することにより、補間対象の画素位置に対して、水平方向及び垂直方向の画素データに基づいて補間処理して出力する第１の補間ステップと、
水平ＬＰＦを使用することにより、補間対象の画素位置に対して、前記水平方向の画素データに基づいて補間処理して出力する第２の補間ステップと、
垂直ＬＰＦを使用することにより、補間対象の画素位置に対して、前記垂直方向の画素データに基づいて補間処理して出力する第３の補間ステップと、
補間対象の画素位置の信号に対する前記水平方向及び垂直方向の相関を判別し、その判別結果に基づいて、前記水平ＬＰＦによる第２の補間ステップ及び前記垂直ＬＰＦによる第３の補間ステップのうちいずれかの出力に基づく補間データを選択し出力する選択ステップと、
前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
前記選択ステップは、補間対象の画素位置が前記垂直方向より前記水平方向に相関が高いと判断された場合、前記垂直ＬＰＦを用いた前記第２の補間ステップにより出力される補間データと前記２次元ＬＰＦを用いた前記第１の補間ステップにより出力される補間データとの差分を選択することを特徴とする信号処理方法。
【請求項４０】
撮像素子から出力される色信号を補間する動作処理プログラムを記憶した記憶媒体であって、
２次元ＬＰＦを使用することにより、補間対象の画素位置に対して、水平方向及び垂直方向の画素データに基づいて補間処理して出力する第１の補間ステップと、
水平ＬＰＦを使用することにより、補間対象の画素位置に対して、前記水平方向の画素データに基づいて補間処理して出力する第２の補間ステップと、
垂直ＬＰＦを使用することにより、補間対象の画素位置に対して、前記垂直方向の画素データに基づいて補間処理して出力する第３の補間ステップと、
補間対象の画素位置の信号に対する前記水平方向及び垂直方向の相関を判別し、その判別結果に基づいて、前記水平ＬＰＦによる第２の補間ステップ及び前記垂直ＬＰＦによる第３の補間ステップのうちいずれかの出力に基づく補間データを選択し出力する選択ステップと、
前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
前記選択ステップは、補間対象の画素位置が前記水平方向より前記垂直方向に相関が高いと判断した場合、前記水平ＬＰＦを用いた前記第２の補間ステップにより出力される補間データと前記２次元ＬＰＦを用いた前記第１の補間ステップにより出力される補間データとの差分を選択することを特徴とする動作処理プログラムを記憶した記憶媒体。
【請求項４１】
撮像素子から出力される色信号を補間する動作処理プログラムを記憶した記憶媒体であって、
２次元ＬＰＦを使用することにより、補間対象の画素位置に対して、水平方向及び垂直方向の画素データに基づいて補間処理して出力する第１の補間ステップと、
水平ＬＰＦを使用することにより、補間対象の画素位置に対して、前記水平方向の画素データに基づいて補間処理して出力する第２の補間ステップと、
垂直ＬＰＦを使用することにより、補間対象の画素位置に対して、前記垂直方向の画素データに基づいて補間処理して出力する第３の補間ステップと、
補間対象の画素位置の信号に対する前記水平方向及び垂直方向の相関を判別し、その判別結果に基づいて、前記水平ＬＰＦによる第２の補間ステップ及び前記垂直ＬＰＦによる第３の補間ステップのうちいずれかの出力に基づく補間データを選択し出力する選択ステップと、
前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
前記選択ステップは、補間対象の画素位置が前記垂直方向より前記水平方向に相関が高いと判断された場合、前記垂直ＬＰＦを用いた前記第２の補間ステップにより出力される補間データと前記２次元ＬＰＦを用いた前記第１の補間ステップにより出力される補間データとの差分を選択することを特徴とする動作処理プログラムを記憶した記憶媒体。
【請求項４２】
撮像素子から出力される色信号を補間する動作処理プログラムであって、
２次元ＬＰＦを使用することにより、補間対象の画素位置に対して、水平方向及び垂直方向の画素データに基づいて補間処理して出力する第１の補間ステップと、
水平ＬＰＦを使用することにより、補間対象の画素位置に対して、前記水平方向の画素データに基づいて補間処理して出力する第２の補間ステップと、
垂直ＬＰＦを使用することにより、補間対象の画素位置に対して、前記垂直方向の画素データに基づいて補間処理して出力する第３の補間ステップと、
補間対象の画素位置の信号に対する前記水平方向及び垂直方向の相関を判別し、その判別結果に基づいて、前記水平ＬＰＦによる第２の補間ステップ及び前記垂直ＬＰＦによる第３の補間ステップのうちいずれかの出力に基づく補間データを選択し出力する選択ステップと、
前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
前記選択ステップは、補間対象の画素位置が前記水平方向より前記垂直方向に相関が高いと判断した場合、前記水平ＬＰＦを用いた前記第２の補間ステップにより出力される補間データと前記２次元ＬＰＦを用いた前記第１の補間ステップにより出力される補間データとの差分を選択することを特徴とする動作処理プログラム。
【請求項４３】
撮像素子から出力される色信号を補間する動作処理プログラムであって、
２次元ＬＰＦを使用することにより、補間対象の画素位置に対して、水平方向及び垂直方向の画素データに基づいて補間処理して出力する第１の補間ステップと、
水平ＬＰＦを使用することにより、補間対象の画素位置に対して、前記水平方向の画素データに基づいて補間処理して出力する第２の補間ステップと、
垂直ＬＰＦを使用することにより、補間対象の画素位置に対して、前記垂直方向の画素データに基づいて補間処理して出力する第３の補間ステップと、
補間対象の画素位置の信号に対する前記水平方向及び垂直方向の相関を判別し、その判別結果に基づいて、前記水平ＬＰＦによる第２の補間ステップ及び前記垂直ＬＰＦによる第３の補間ステップのうちいずれかの出力に基づく補間データを選択し出力する選択ステップと、
前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
前記選択ステップは、補間対象の画素位置が前記垂直方向より前記水平方向に相関が高いと判断された場合、前記垂直ＬＰＦを用いた前記第２の補間ステップにより出力される補間データと前記２次元ＬＰＦを用いた前記第１の補間ステップにより出力される補間データとの差分を選択することを特徴とする動作処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、電子スチルカメラなどに用いて好適な、複数種類のフィルタを有する撮像素子の出力から輝度信号あるいは色信号を生成する信号処理装置およびその信号処理方法に関するものである。
【０００２】
【従来の技術】
従来、例えばCCDなどの撮像素子を利用した単板式カメラでは、撮像素子の各画素に対応して複数種類のうち１種類の色フィルタ(例えば、R,G,Bの３色のうちの一つ)が設けられている。例えば、図１に示すベイヤー配列がよく知られている。
【０００３】
このようなベイヤー配列を有する単板式カメラにおいては、各画素においてR、G、Bのうち一つの色情報しか得られないため、各画素においてRGBすべての色情報を求める場合には、後段の回路で補間処理を行う必要がある。最も単純な補間方法としては、補間対象の色信号以外の色信号レベルをすべて０とし、各画素に２次元のローパスフィルタ(LPF)の処理を行うことで補間値を得る方法が考えられる。
【０００４】
しかしながら、上記のように単純に２次元のLPF処理を行うだけでは、補間された後の画像の周波数特性は高周波成分の失われたものとなり、画像がぼやけてしまう。
【０００５】
そこで、この問題を解決するために、画像の特性によってLPFの処理を変化させる方法が提案されている。例えば、画像のある部分が縦縞であると判定された場合には、画像に対して横方向にのみLPFの処理を行う。また、画像のある部分が横縞であると判定された場合には、画像に対して縦方向にのみLPFの処理を行う。また、両者の中間的な波と判定された場合には、その度合いに応じて画像に対する横方向のLPFの処理と縦方向のLPFの処理とを重み付けして色信号を補間する方法が知られている。
【０００６】
【発明が解決しようとする課題】
しかしながら上記従来の方法では、撮像素子のナイキスト周波数付近の周波数を有する画像（例えば縦縞模様あるいは横縞模様）を撮影した場合が考慮されていない。
【０００７】
撮像素子のナイキスト周波数付近の周波数は、折りかえり信号のため画像が縦縞であるか横縞であるか判定が困難である。そのため、縦縞と横縞の判定を間違えてしまう可能性がある。例えば、実際の被写体が横縞である場合、ある補間対象の画素では誤って縦方向のLPFの処理を行ってしまったり、次の補間対象の画素では横方向のLPFの処理を行ってしまったりと連続的に適切な色信号の補間処理を行うことができない可能性がある。
【０００８】
本発明は上記従来例に鑑みてなされたもので、撮像素子のナイキスト周波数付近の画像信号が存在したとしても、適切な色信号の補間処理を行うことのできる信号処理装置あるいは信号処理方法を提供することを目的としている。
【０００９】
【課題を解決するための手段】
上述した目的を達成するために、本願発明によれば、撮像素子から出力される色信号を補間する信号処理装置において、補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間手段と、補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間手段と、補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間手段と、補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別する判別手段と、前記判別手段の判別結果に基づいて、前記第２，第３の補間手段のうちいずれかの出力に基づく補間データを選択する選択手段と、前記第１の補間手段の出力に基づく補間データと前記選択手段によって出力される補間データとに基づいて、補間信号を出力する出力手段とを有し、前記出力手段は、前記判別手段の判別結果に基づいて、前記第１の補間手段の出力に基づく補間データと前記選択手段によって出力される補間データとの重みつけを行うことによって補間信号を出力することを特徴とする構成とした。
【００１０】
また、本願の他の発明によれば、撮像素子から出力される色信号を補間する信号処理方法であって、補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、前記出力ステップは、補間対象の画素位置の信号に対する前記第１，第２の方向の相関の判別結果に基づいて、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとの重みつけを行うことによって補間信号を出力することを特徴とする構成とした。
【００１１】
また、本願の他の発明によれば、撮像素子から出力される色信号を補間する動作処理プログラムを記憶した記憶媒体であって、補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、前記出力ステップは、補間対象の画素位置の信号に対する前記第１，第２の方向の相関の判別結果に基づいて、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとの重みつけを行うことによって補間信号を出力することを特徴とする構成とした。
【００１２】
また、本願の他の発明によれば、撮像素子から出力される色信号を補間する動作処理プログラムであって、補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、前記出力ステップは、補間対象の画素位置の信号に対する前記第１，第２の方向の相関の判別結果に基づいて、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとの重みつけを行うことによって補間信号を出力することを特徴とする構成とした。
また、本願の他の発明によれば、撮像素子から出力される色信号を補間する信号処理装置において、補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間手段と、補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間手段と、補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間手段と、補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別する判別手段と、前記判別手段の判別結果に基づいて、前記第２，第３の補間手段のうちいずれかの出力に基づく補間データを選択する選択手段と、前記第１の補間手段の出力に基づく補間データと前記選択手段によって出力される補間データとに基づいて、補間信号を出力する出力手段とを有し、前記選択手段は、前記第２の補間手段より出力される補間データと前記第１の補間手段より出力される補間データとの差分、あるいは前記第３の補間手段より出力される信号と前記第１の補間手段より出力される補間データ信号との差分のいずれかを選択することを特徴とする構成とした。
また、本願の他の発明によれば、撮像素子から出力される色信号を補間する信号処理方法であって、補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、前記選択ステップは、前記第２の補間ステップにおいて出力される補間データと前記第１の補間ステップにおいて出力される補間データとの差分、あるいは前記第３の補間ステップにおいて出力される信号と前記第１の補間ステップにおいて出力される補間データ信号との差分のいずれかを選択することを特徴とする構成とした。
また、本願の他の発明によれば、撮像素子から出力される色信号を補間する動作処理プログラムを記憶した記憶媒体であって、補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、前記選択ステップは、前記第２の補間ステップにおいて出力される補間データと前記第１の補間ステップにおいて出力される補間データとの差分、あるいは前記第３の補間ステップにおいて出力される信号と前記第１の補間ステップにおいて出力される補間データ信号との差分のいずれかを選択することを特徴とする構成とした。
また、本願の他の発明によれば、撮像素子から出力される色信号を補間する動作処理プログラムであって、補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、前記選択ステップは、前記第２の補間ステップにおいて出力される補間データと前記第１の補間ステップにおいて出力される補間データとの差分、あるいは前記第３の補間ステップにおいて出力される信号と前記第１の補間ステップにおいて出力される補間データ信号との差分のいずれかを選択する構成とした。
【００１３】
【発明の実施の形態】
以下、添付の図面に沿って本発明の実施の形態を説明する。なお、以下に示す各実施の形態では、撮像素子の色フィルタ配列として、図１に示したベイヤー配列を用いて説明するが、他の色フィルタ配列を用いてもよい。
【００１４】
（第１の実施の形態）
図２は、第１の実施形態における信号処理装置の概略構成を示すブロック図である。
【００１５】
図２において、WB回路(ホワイトバランス回路)１は、画像信号のホワイトバランス補正するためのものであり、WB回路1には、撮像素子から出力され、さらにA/D変換された画像信号が入力される。
【００１６】
G補間回路２は、各画素に対してG信号の補間処理を行うための回路である。また、R補間回路１５は、R信号の補間処理を行うための回路である。また、B補間回路１６は、B信号の補間処理を行うための回路である。
【００１７】
また、縦横判別回路１０は、画像が縦縞であるか横縞であるか、あるいは両者の中間的なものであるかを判別する回路である。絶対値化回路１３は、縦横判別回路１０から出力されるパラメータ信号を絶対値化する。なお、縦横判別回路１０および絶対値化回路１３における処理に関しては後述する。
【００１８】
APC回路１４は、G補間回路２より出力されたG信号のアパーチャ補正を行う。なお、アパーチャ補正を行うためのAPC回路は、R補間回路１５およびB補間回路１６の後段においても設置される。
【００１９】
以上の補間処理により、各画素位置に対応してR,G,B全ての信号が得られ、さらに後段の処理によって、
Y＝0.3R + 0.59G + 0.11B
の式に従って、輝度信号Yが得られるように構成される。
【００２０】
なお、説明の簡略化のため、以下には、第１の実施の形態のほか、他の実施の形態においてもG信号を対象とする補間処理についてのみ説明するが、R信号，B信号を対象とする補間処理は線形的に補間処理を行うものとする。
【００２１】
次に、G補間回路２の内部構成について説明する。
【００２２】
０挿入回路３は、補間対象となる色、すなわちGフィルタが配置されている画素以外の画素の出力信号レベルを０にする回路である。
【００２３】
２次元LPF４は、ナイキスト周波数付近の縦縞あるいは横縞の判別か困難な画像信号に対応して補間処理を行うものであり、画像がボケないように補間対象の画素位置に対してごく近傍の２次元範囲の画素を用いて補間処理を行う。
【００２４】
水平LPF(Low Pass Filter)５は、補間対象の画素位置に対して横方向（水平方向）の画像信号を用いて補間処理を行う。なお、本実施の形態において、水平LPF５は、補間対象の画素位置の水平方向に対して２次元LPF４に用いられる画像信号より広い範囲の画像信号を用いて補間処理を行う。
【００２５】
また、垂直LPF６は、補間対象の画素位置に対して縦方向の画像信号を用いて補間処理を行う。なお、本実施の形態において、水平LPF５は、補間対象の画素位置の水平方向に対して２次元LPF４に用いられる画像信号より広い範囲の画像信号を用いて補間処理を行う。
【００２６】
加算器７は、水平LPF５の出力から２次元LPF４の出力の差分をとるためのものである。加算器８は、垂直LPF６の出力から２次元LPF４の出力の差分を取るためのものである。また、切換器９は、縦横判別回路１０の判別結果に基づいて加算器７あるいは加算器８の出力を選択する。また、乗算器１１は、切換器９によって選択された信号出力と絶対値化回路１３の出力を乗算する。また、加算器１２は、２次元LPF４の出力と乗算器１１の出力とを加算する。
【００２７】
図５は、第１の実施の形態における画像信号（G信号）の補間処理に関する動作処理フローチャートである。また、図３は、図１の色フィルタ配列の画素位置を明確に示した図である。図３および図５を用いて本実施の形態の補間処理を説明する。
【００２８】
まず、Ｓ１０１において、０挿入回路３により、G以外、すなわち、RとBの色フィルターに対応する画素に０を挿入する。
【００２９】
Ｓ１０２に進み、０挿入回路３から出力された信号に対して、２次元LPF４により画素補間を行い、２次元G補間信号を得る。２次元LPF４に関しては、例えば、垂直方向の画素データを用いて[ 1 2 1]/2、水平方向の画素データを用いて[1 2 1]/2の補間処理が行われるように構成する。例えば、図３のR33の画素位置における補間値G33'は、
垂直方向に関して(１×G32＋２×R33＋１×G34)/２=(G32＋G34)/２
水平方向に関して(１×G23＋２×R33＋１×G43)/２=(G23＋G43)/２
であるから、これらの平均をとって、
G33' =(G32 + G34 + G23 + G43) / 4
となる。
【００３０】
Ｓ１０３に進み、縦横判別回路１０において、補間対象の画素信号が垂直方向の相関が大きいかあるいは水平方向の相関が大きいかを検出する。具体的には、画像が縦縞模様であるかあるいは横縞模様であるかを判別する。
【００３１】
ここで、縦横判別回路の判別方法を説明する。例えば補間対象の画素位置がR33である場合を説明する。
【００３２】
diffHV33 ＝ diffH33−diffV33
diffH33 ＝ |G32−G34| ＋ |2R33−R31−R35|
diffV33 ＝ |G23−G43| ＋ |2R33−R13−R53|
なお、diffHは、補間対象の画素を中心とした水平方向の画素のレベル差、diffVは補間対象の画素を中心とした垂直方向の画素のレベル差を示す。また、diffHVは水平方向の画素のレベル差から垂直方向の画素のレベル差を引いたものである。つまり、diffHVが正の場合は画像が縦縞模様であり、負の場合は横縞模様であることを表す。diffHVは、算出された値をある閾値でクリップし、さらに正規化することで、diffHVの値の範囲を−１から１の範囲にしている。なお、diffHVを求める式は上記の式に限定されるものではない。
【００３３】
diffHV＞0の場合、すなわち、画像が縦縞模様であると判断された場合には、S１０４に進む。また、diffHV＜0の場合、すなわち、画像が横縞模様であると判断された場合にはＳ１０５に進む。
【００３４】
Ｓ１０４において、切換器９は、加算器８から出力される信号Dvを選択する。なお、垂直LPF６において、垂直方向の画素データを用いて[1 4 6 4 1]/8の補間処理が行われるように構成する。例えば、画素位置R33を補間対象としたときの垂直LPF６の出力値Gv33は、
Gv33=(１×R13＋４×G23＋６×R33＋４×G43＋１×R53)/8=(G23 + G43) /2
となる。
【００３５】
したがって、加算器８から出力される差分信号Dvは、画素位置R33を補間対象としたときを例にとると、
Dv33＝Gv33−G33'＝ （G23 ＋ G43−G32−G34） ／ 4
となる。
【００３６】
一方、Ｓ１０５において、切換器９は、加算器７から出力される信号Dhを選択する。なお、水平LPF５において、水平方向の画素データを用いて［1 4 6 4 1］／8の補間処理が行われるように構成する。例えば、画素位置R33を補間対象としたときの水平LPF５の出力値Gh33は、
Gh33＝（１×R31＋４×G32＋６×R33＋４×G34＋１×R35）／＝（G32 ＋ G34） ／2
したがって、加算器７から出力される差分信号Dｈは、画素位置R33を補間対象としたときを例にとると、
Dh33＝ Gh33−G33'＝ （G32 ＋ G34−G23−G43） ／ 4
となる。
【００３７】
次に、Ｓ１０６において、乗算器１１は、切換器９において選択された信号と絶対値化回路１３の出力とを乗算する。絶対値化回路１３は、diffHVを絶対値化した信号を出力する。そして、Ｓ１０７において、２次元LPF４の出力と乗算器１１とを加算し、最終的な補間信号Ｇが出力される。
【００３８】
以上の説明した処理により、適切な補間処理が行われる。例えば、ナイキスト周波数付近の画像信号の影響によって縦縞横縞の判別がつきにくい場合には、diffHVの値は小さいため、乗算器１１によりGhあるいはGvの値が小さくなる。すなわち、GhあるいはGvの補間データの出力より２次元LPF４の補間データの出力に重みつけがされるので、折り返し信号による影響が抑制され、適切な補間処理を行うことができる。
【００３９】
また、例えば、diffHV=１の場合、すなわち、被写体が縦縞模様であると判定された場合、切換器９においてDvが選択され、Dvに対して|１|が乗算される。その結果、乗算器１１からの補間データの出力に重みがおかれ、加算器１２の出力（すなわち、最終的な補間信号G）は、画素位置R33を補間対象としたときを例にとると、
G33 = G33' ＋Dv 33＝ (G23 + G43) / 2
となり、縦方向に特性がなまることがなくなる。
【００４０】
また、例えば、diffHV=−１の場合、すなわち、被写体が横縞模様であると判定された場合、切換器９においてDhが選択され、Dhに対して|−１|が乗算される。その結果、乗算器１１からの補間データの出力に重みがおかれ、加算器１２の出力（すなわち、最終的な補間信号G）は、画素位置R33を補間対象としたときを例にとると、
G33 = G33' ＋Dh33＝ (G32 + G34) / 2
となり、画面の縦方向（垂直方向）に特性がなまることがなくなる。
【００４１】
（第２の実施の形態）
図６は、第２の実施の形態における信号処理装置のブロック図である。図６の構成は、図２の水平LPF５と加算器７の構成が垂直HPF(High Pass Filter)１５に置き換えられ、また、図２の垂直LPF６と加算器８の構成が水平HPF１６に置き換えられたものと等価である。図２と同じ符号を示すものは同様の処理を行うものとしてその説明を省略する。
【００４２】
垂直HPF１５は、例えば図７（ａ）のフィルタ特性を有するものである。すなわち、垂直HPF１５の出力は、第１の実施の形態における水平LPF５の出力から２次元LPFの出力の差分と同じ信号が出力される。例えば、垂直HPF１５から出力される信号Dhは、図３の画素位置R33を補間対象としたときを例にとると、
Dh33＝ Gh33−G33'＝ （G32 ＋ G34−G23−G43） ／ 4
となる。
【００４３】
水平HPF１６は、例えば図７（ｂ）のフィルタ特性を有するものである。すなわち、水平HPF１６の出力は、第２の実施の形態における水平LPF５の出力から２次元LPFの出力の差分と同じ信号が出力される。例えば、水平HPF１６から出力される信号Dvは、図３の画素位置R33を補間対象としたときを例にとると、
Dv33＝Gv33−G33'＝ （G23 ＋ G43−G32−G34） ／ 4
となる。
【００４４】
このような第２の実施の形態においても第１の実施の形態と同様の効果を得ることができる。
【００４５】
（第３の実施の形態）
図８は、第３の実施の形態における信号処理装置の構成を示すブロック図である。第３の実施の形態における信号処理装置は、図２に示した第１の実施の形態における信号処理装置にゲイン回路１７および加算器１８が追加された構成となっている。図８のブロック図において、図２と同じ符号の構成は図２の構成と同様の処理を行うものとしてその説明を省略する。
【００４６】
ゲイン回路１７は、乗算器１１から出力された出力信号を増幅する。ゲイン回路１７によって出力された信号は、加算器１８により、APC回路１４から出力された画像信号に加算される。すなわち、乗算器１１から出力される差分信号は画像の模様に適応的に選択された高域信号であるため、例えば、画像が縦縞あるいは横縞模様であるときには乗算器からの出力レベルが大きいことにより高域信号の強調がなされ、また、例えば、画像の模様の判別がつかないときには高域信号の強調が抑制されるなど、補間信号の高域部に対して適応的な好ましい強調処理を行うことができる。
【００４７】
また、上述したように、画像の高域部の強調に用いる信号は乗算器１１の出力を用いている。つまり、本実施の形態では、画像の高域信号の強調処理に用いる回路をG補間回路２の構成と兼用しているため、回路構成が簡略化されている。
【００４８】
（第４の実施の形態）
図９は、第４の実施の形態における信号処理装置の構成を示すブロック図である。第４の実施の形態における信号処理装置は、図２に示した第１の実施の形態における信号処理装置にゲイン回路１７、加算器１８、正負判別ゲイン回路１９、絶対値化回路２０、加算器２１が追加された構成となっている。図８のブロック図において、図２と同じ符号の構成は図２の構成と同様の処理を行うものとしてその説明を省略する。
【００４９】
第４の実施形態においては、縦横判別回路１０からの判別信号diffHVを分岐し一方は第１の実施形態と同様に処理し、もう一方の判別信号は正負判別ゲイン回路１９において正または負の信号のみに所望のゲインをかける構成である。
【００５０】
例えば、正の信号のみに２倍のゲインをかけた場合について説明すると、判別信号の値の範囲が−１から１の範囲であったところが、図１０のように−１から２の範囲の信号となる。
【００５１】
そして、絶対値化回路２０において前記判別信号を絶対値化し、ゲイン回路１７において信号を強調して、加算器１８でG補間信号に加算することで、水平方向の高域強調度合いと垂直方向の高域強調度合いを異ならせたG補間信号を得ることができる。
【００５２】
（その他の実施の形態）
本願発明は、例えば図４に示すように水平１ラインごとに半画素ピッチオフセットした構造を有する撮像素子においても適用することができる。この場合、垂直方向の相関処理を斜め方向の相関処理に代用することで上記各実施の形態の処理を実現することができる。
【００５３】
本発明は、一例として、前述した実施形態の機能を実現するソフトウェアのプログラムコードを、インターネットなどのネットワークを介して信号処理装置に供給し、信号処理装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって達成できる。
【００５４】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５５】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００５６】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００５７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【００５８】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、本発明の信号処理装置に不可欠なモジュールを、記憶媒体に格納することになる。
【００５９】
【発明の効果】
以上説明したように、本願発明によれば、補間対象の画素位置に対する方向（例えば、水平方向、垂直方向）の相関に基づいて、２次元方向の画素データに基づいて補間処理されたデータを重視するか、１方向の画素データに基づいて補間処理されたデータを重視するか判断しているので、画像が縦縞模様あるいは横縞模様のいずれかであると判定した場合には、画像の周波数特性がなまることがなく、また、画像が縦縞模様あるいは横縞模様のどちらともつかないような場合には、折り返し信号などによる弊害が発生することもない。
【図面の簡単な説明】
【図１】単板撮像素子の色フィルタ配列で、ベイヤー配列を示す図。
【図２】第１の実施の形態の信号処理装置の概略を示すブロック図。
【図３】本実施の形態における撮像素子の色フィルタ配列を示す図。
【図４】単板撮像素子の色フィルタ配列で、オフセットサンプリング配列を示す図。
【図５】本発明の実施の形態における信号処理装置の動作処理フローチャート。
【図６】第２の実施の形態における信号処理装置の概略を示すブロック図。
【図７】第２の実施の形態におけるHPFの一例を示す図。
【図８】第３の実施の形態における信号処理装置の概略を示すブロック図。
【図９】第４の実施の形態における信号処理装置の概略を示すブロック図。
【図１０】第４の実施の形態における正負判別ゲイン回路１９の説明図。
【符号の説明】
２  G補間回路
４  ２次元LPF
５  水平LPF
６  垂直LPF
７，８，１２  加算器
９  切換器
１０  縦横判別回路
１１  乗算器
１３  絶対値化回路
１４  APC回路
【図１】
0003862506.tif 000002
【図２】
0003862506.tif 000003
【図３】
0003862506.tif 000004
【図４】
0003862506.tif 000005
【図５】
0003862506.tif 000006
【図６】
0003862506.tif 000007
【図７】
0003862506.tif 000008
【図８】
0003862506.tif 000009
【図９】
0003862506.tif 000010
【図１０】
0003862506.tif 000011