(57)【要約】      （修正有）【課題】カメラ機能を具備した携帯用端末機により撮像される映像を最適の映像画質に補間できるようにした映像補間方法を提供する。【解決手段】カラー映像を補間する方法であって、撮影される被写体の光信号からベイヤパターンを抽出する過程と、前記抽出されたベイヤパターンのＧ位置に隣接した上下または左右のＲ、Ｂ成分を算術平均して前記Ｇ位置でＲ、Ｂ成分を補間する過程と、前記Ｇ位置でＲ、Ｂ成分を補間した後、Ｒ及びＢ位置に隣接したＧ位置のＧとＢ及びＲ成分の横差と縦差の演算を実行する過程と、前記Ｇ位置でのＧ、Ｂ、Ｒ成分の横差から縦差を減算した結果値の絶対値と既設定されたしきい値の大小を比較し、該判断の結果により、Ｇ、Ｂ、Ｒ成分を補間する。【選択図】図５
2005295555.tif 000002
【特許請求の範囲】
【請求項１】
カラー映像を補間する方法であって、
撮影される被写体の光信号からベイヤパターンを抽出する過程と、
前記抽出されたベイヤパターンのＧ位置に隣接した上下または左右のＲ、Ｂ成分を算術平均して前記Ｇ位置でＲ、Ｂ成分を補間する過程と、
前記Ｇ位置でＲ、Ｂ成分を補間した後、Ｒ及びＢ位置に隣接したＧ位置のＧとＢ及びＲ成分の横差と縦差の演算を実行する過程と、
前記Ｇ位置でのＧ、Ｂ、Ｒ成分の横差から縦差を減算した結果値の絶対値と既設定されたしきい値の大小を比較し、該比較の結果、前記しきい値より大きい場合は、横差と縦差の中で差値が小さい隣接した横あるいは縦のＧ位置のＧ、Ｂ、Ｒ成分の算術平均を通じてＲ及びＢ位置でＧ、Ｂ、Ｒ成分を補間する過程と、
該比較の結果、前記しきい値より小さい場合は、メジアン技法を通じてＲ及びＢ位置でＧ、Ｂ、Ｒ成分を補間する過程と、
を含むことを特徴とする前記方法。
【請求項２】
前記横差は、補間しようとする位置に横に隣接した画素間の差値の絶対値であることを特徴とする請求項１記載の前記方法。
【請求項３】
前記縦差は、補間しようとする位置に縦に隣接した画素間の差値の絶対値であることを特徴とする請求項１記載の前記方法。
【請求項４】
前記Ｇ成分の横差から縦差を減算した結果値の絶対値と既設定されたしきい値の大小を比較し、該比較の結果、前記しきい値より大きくて前記Ｇ成分の横差が縦差より小さい場合には、横に隣接したＧ位置のＧ成分の算術平均を通じてＲ及びＢ位置でＧ成分を補間し、前記しきい値より大きくて前記横差が縦差より大きい場合には、縦に隣接したＧ位置のＧ成分の算術平均を通じてＲ及びＢ位置でＧ成分を補間することを特徴とする請求項１記載の前記方法。
【請求項５】
前記Ｇ成分の横差から縦差を減算した結果値の絶対値が既設定されたしきい値より小さい場合には、メジアン技法を通じてＲ及びＢ位置でＧ成分を補間することを特徴とする請求項１記載の前記方法。
【請求項６】
前記Ｂ成分とＲ成分の横差から縦差を減算した結果値の絶対値と既設定されたしきい値の大小を比較し、該比較の結果、前記しきい値より大きくて前記Ｂ成分とＲ成分の横差が縦差より小さい場合は、横に隣接したＧ位置のＢ成分及びＲ成分の算術平均を通じてＲ及びＢ位置でＢ成分及びＲ成分を補間し、前記しきい値より大きくて前記Ｂ成分とＲ成分の横差が縦差より大きい場合には、縦に隣接したＧ位置のＢ成分及びＲ成分の算術平均を通じてＲ及びＢ位置でＢ成分及びＲ成分を補間することを特徴とする請求項１記載の前記方法。
【請求項７】
前記Ｂ成分とＲ成分の横差から縦差を減算した結果値の絶対値が既設定されたしきい値より小さい場合には、メジアン技法を通じてＲ及びＢ位置でＢ成分及びＲ成分を補間することを特徴とする請求項１記載の前記方法。
【請求項８】
前記Ｇ成分の横差から縦差を減算した結果値の絶対値が既設定されたしきい値より小さい場合には、メジアン技法の以外に横と縦に隣接したＧ位置のＧ成分の算術平均を通じてＲ及びＢ位置でのＧ成分を補間することを特徴とする請求項１記載の前記方法。
【請求項９】
前記Ｂ成分とＲ成分の横差から縦差を減算した結果値の絶対値が既設定されたしきい値より小さい場合には、メジアン技法の以外に横と縦に隣接したＧ位置のＢ成分及びＲ成分の算術平均を通じてＲ及びＢ位置でのＢ成分及びＲ成分を補間を実行することを特徴とする請求項１記載の前記方法。
【請求項１０】
カラー映像を補間する方法であって、
撮影される被写体の光信号からベイヤパターンを抽出する過程と、
前記抽出されたベイヤパターンのＧ位置に隣接した上下または左右のＲ、Ｂ成分を算術平均して前記Ｇ位置でＲ、Ｂ成分を補間する過程と、
前記Ｇ位置でＲ、Ｂ成分を補間した後、ＲとＢ位置を中心として隣接したＧ位置のＧ成分について離散コサイン変換(ＤＣＴ)して得た離散コサイン変換係数のパターンを分析してＲとＢ位置でのＧ成分を補間する過程と、
前記Ｒ及びＢ位置に隣接したＧ位置のＢ及びＲ成分の横差と縦差演算を実行した結果値の絶対値と既設定されたしきい値の大小を比較し、該比較結果、前記しきい値より大きい場合は、横差と縦差の中で差値が小さい隣接した横あるいは縦Ｇ位置のＢ、Ｒ成分の算術平均を通じてＲ及びＢ位置でＢ、Ｒ成分を補間する過程と、
該比較の結果、前記しきい値より小さい場合は、メジアン技法を通じてＲ及びＢ位置でＢ、Ｒ成分を補間する過程と、
を含むことを特徴とする前記方法。
【請求項１１】
前記離散コサイン変換係数のパターン分析は、離散コサイン変換係数の中で最大の係数を通じてパターンを分析することを特徴とする請求項１０記載の前記方法。
【請求項１２】
前記ＲとＢ位置でのＧ成分を補間する過程は、ＲとＢ位置を中心として上・下・左・右に隣接したＧ成分を抽出する段階と、
前記抽出されたＧ成分を所定の横及び縦の画素形態に変換する段階と、
前記変換された所定の横及び縦の画素形態を離散コサイン変換して離散コサイン変換係数よりなった前記所定の横及び縦の画素形態に変換する段階と、
を含むことを特徴とする請求項１０記載の前記方法。
【請求項１３】
前記所定の横及び縦の画素形態は、２×２画素形態であることを特徴とする請求項１２記載の前記方法。
【請求項１４】
前記Ｇ成分を所定の横及び縦の画素形態に変換する段階は、Ｒ及びＢ位置を中心として左側に位置したＧ位置Ｇ成分を一番目の行の一番目の列に位置させ、上側に位置したＧ位置Ｇ成分を一番目の行の二番目の列に位置させ、右側に位置したＧ位置Ｇ成分を二番目の行の一番目の列に位置させ、下側に位置したＧ位置Ｇ成分を二番目の行の二番目の列に位置させることを特徴とする請求項１２記載の前記方法。
【請求項１５】
前記ＲとＢ位置でのＧ成分を補間する過程は、離散コサイン変換係数の中で低周波数係数が一番大きいか否かを判断して前記低周波数係数が一番大きい場合は、隣接したＧ位置のＧ成分の中で任意の一つを選択して補間する段階と、
前記離散コサイン変換係数の中で水平周波数係数が一番大きいか否かを判断して前記水平周波数係数が一番大きい場合は、前記隣接したＧ位置のＧ成分を所定の横及び縦の画素形態の縦に隣接したＧ位置のＧ成分を算術平均して補間する段階と、
前記離散コサイン変換係数の中で垂直周波数係数が一番大きいか否かを判断して一番大きい場合は、前記所定の横及び縦の画素形態の横に隣接したＧ位置のＧ成分を算術平均して補間する段階と、
前記離散コサイン変換係数の中で高周波数係数が一番大きいか否かを判断して一番大きい場合は、前記所定の横及び縦の画素形態の対角線に隣接したＧ位置のＧ成分を算術平均して補間する段階と、
を含むことを特徴とする請求項１０記載の前記方法。
【請求項１６】
前記離散コサイン変換係数の中で低周波数係数が一番大きい場合には、隣接したＧ位置のＧ成分の中で任意の一つを選択するかまたはその隣接したＧ位置のＧ成分を算術平均することを特徴とする請求項１５記載の前記方法。
【請求項１７】
前記離散コサイン変換係数の中で水平周波数係数が大きいか、垂直周波数係数あるいは高周波数係数が大きい場合には、縦、横または対角線に隣接した複数個のＧ位置のＧ成分の中で任意に一つを選択してＲ及びＢ位置でＧ成分を補間することを特徴とする請求項１５記載の前記方法。
【請求項１８】
前記Ｂ成分とＲ成分の横差から縦差を減算した結果値の絶対値が既設定されたしきい値より小さい場合には、メジアン技法の以外に横と縦に隣接したＧ位置のＢ成分及びＲ成分の算術平均を通じてＲ及びＢ位置でのＢ成分及びＲ成分を補間することを特徴とする請求項１０記載の前記方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像補間方法に関し、より詳しくは、カメラ機能を具備した携帯用端末機により撮像される映像を最適の映像画質に補間できるようにした映像補間方法に関する。
【背景技術】
【０００２】
最近、携帯用端末機の技術発達にしたがって携帯用端末機は音声通話を提供する基本的な機能以外にその携帯用電話機に多数の機能を具備するようになった。このような従来の携帯用端末機に具備された機能の中で一番人気がある機能はカメラ機能である。
【０００３】
使用者は携帯用端末機に具備されたカメラ機能を動作させていつでもどこでも自分が撮影しようとする被写体を映像に保存できるようになる。この時、映像獲得は被写体から反射される光信号を電気的信号に変換させる素子であるＣＣＤ(Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ)及びＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ)により行われる。
このようなＣＣＤ及びＣＭＯＳ素子を利用してカラー映像を得るためには、そのＣＣＤ及びＣＭＯＳの前端にカラーフィルターを必要とする。
【０００４】
大部分の携帯用端末機に具備されるカメラの場合、装備のサイズや価格を考慮してＣＦＡ(Ｃｏｌｏｒ Ｆｉｌｔｅｒ Ａｒｒａｙ)と呼ばれるカラーフィルターを採用している。このＣＦＡは、ＣＣＤ及びＣＭＯＳの前端にマイクロレンズの形態で付着されており、一つの画素ごとに一つのカラーを示す光のみを通過させ、規則的な配列構造を有している。
【０００５】
図１は、従来Ｇについてのベイヤパターンを示す例示図であり、図２は、図１の空間周波数特性を示す例示図であり、図３Ａ〜図３Ｃは、従来の映像補間方法の周波数特性を示す例示図である。
ＣＦＡは、カラー要素の配列構造によって多様な形態を有しているが、一番広く使用されるパターンはベイヤパターンである。このベイヤパターンは、図１のようであり、このようなＧ(ｇｒｅｅｎ)についてのベイヤパターンの空間周波数特性は、図２のようである。図１において、左上端に位置した画素の出力はＧ成分のみを有し、ＲとＢは異なるラインに交互に配列されている。図２のμ及びｖは各々Ｇ成分についての水平及び垂直方向の周波数成分を示したもので、単位空間(ｍｍ)にいくつのサンプルがあるかを示す。このような２次元周波数特性を水平成分、即ち、１次元的に示すと、図３Ａのようである。
【０００６】
以後、図１のベイヤパターンでＲ、Ｇ、Ｂ位置での映像補間のために周り画素のカラー情報を利用して各画素で３種のカラー情報を計算する過程を実行する。このような従来の映像補間方法の中で一番簡単で一般的な方法には、与えられた画素で計算しようとするカラーと同一なカラー情報を有する周りの画素値を使用する最近接画素補間法(Ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｒｅｐｌｉｃａｔｉｏｎ)と、両線形補間法(Ｂｉｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ)及び中間値補間法(Ｍｅｄｉａｎ ｉｎｔｅｒｐｏｌａｔｉｏｎ)などがある。
【０００７】
このような従来の映像補間法の中で両線形補間法について説明すれば、下記のようである。
図４は、従来の両線形補間方法を説明するためのベイヤパターンの一例を示す例示図である。
図４を参照すれば、まず、Ｂ位置やＲ位置でのＧ成分の補間について説明すれば、次のようである。
例えば、Ｂ８位置でのＧ成分を補間しようとする場合は、下記の式(1)を利用する。
【０００８】
【数１】
2005295555.tif 000003
【０００９】
ここで、Ｂ８Ｇは、Ｂ８位置でのＧ成分を意味し、Ｇ３、Ｇ７、Ｇ９、Ｇ１３は、Ｇ３、Ｇ７、Ｇ９、Ｇ１３位置のＧ成分を意味する。
この時、Ｂ位置やＲ位置でのＧ成分補間は、同一な方式により得られる。
【００１０】
以後、Ｇ位置でのＲ成分を補間するためには２個の近接したＲ位置値の算術平均値を求め、Ｇ位置でのＢ成分を補間するためには２個の近接したＢ位置値の算術平均値を求める。即ち、これは下記の式(2)のようである。ここで、下記の式(2)はＧ７位置でのＢ成分及びＲ成分補間に関する数式の一例である。
【００１１】
【数２】
2005295555.tif 000004
【００１２】
ここで、Ｇ７Ｂは、Ｇ７位置でのＢ成分を意味し、Ｂ６、Ｂ８は、Ｂ６とＢ８位置でのＢ成分を意味し、Ｇ７Ｒは、Ｇ７位置でのＲ成分を意味し、Ｒ２、Ｒ１２は、Ｒ２とＲ１２位置でのＲ成分を意味する。
【００１３】
以後、Ｂ位置でのＲ成分を補間するためには４個の近接した対角線画素の算術平均値を求める。即ち、これは下記の式(3)のようである。ここで、下記の数(3)はＢ８位置でのＲ成分の補間と、Ｒ１２位置でのＢ成分の補間を示す一例である。
【００１４】
【数３】
2005295555.tif 000005
【００１５】
ここで、Ｂ８Ｒは、Ｂ８位置でのＲ成分を意味し、Ｒ２、Ｒ４、Ｒ１２、Ｒ１４は、Ｒ２、Ｒ４、Ｒ１２、Ｒ１４位置でのＲ成分を意味し、Ｒ１２ＢはＲ１２位置でのＢ成分を意味し、Ｂ６、Ｂ８、Ｂ１６、Ｂ１８は、Ｂ６、Ｂ８、Ｂ１６、Ｂ１８位置でのＢ成分を意味する。
【００１６】
上述した従来映像補間方法は、ベイヤパターンで各画素の３種のカラー映像を補間するために上下左右及び対角線に隣接した画素のカラー情報を算術平均して補間する。
【００１７】
このような従来の補間方法を通じた算術平均の周波数特性は、図３Ｂに示したように、低域通過フィルターを示す。したがって、上述した過程を通じて各々の画素にＧ成分についての補間を実行した後の周波数特性は、図３Ａと図３Ｂの乗算である図３Ｃのような周波数特性を有するようになる。ここで、図３Ｃは、図３Ａの三角形直線が補間により曲線に変わって、図３Ａの(a)と図３Ｂの乗算により(b)のような部分を有するようになる。
【００１８】
また、従来の映像補間方法は、周辺画素値の分布を考慮しないで単純に隣接した周り４個の画素値を単純算術平均するので解像度の低下が発生する。即ち、これは低域通過フィルター(ｌｏｗ ｐａｓｓ ｆｉｌｔｅｒ)を取ったことと同一な結果を有するので解像度が低下される問題点があった。また、従来の映像補間方法は、一つの入力画素に対応する出力画素の数が大きいほど一層解像度が低下される問題点があった。これはサンプリング(ｓａｍｐｌｉｎｇ)周波数が低くて高周波成分が低周波成分と混同されるエイリアシング(ａｌｉａｓｉｎｇ)現象により解像度の低下を発生させる。
【発明の開示】
【発明が解決しようとする課題】
【００１９】
本発明は、上述したような従来技術の問題点を解決するためになされたもので、その目的は、撮像される映像を最適の映像画質に補間できるようにした映像補間方法を提供することにある。
【課題を解決するための手段】
【００２０】
上記目的を達成するために本発明は、カラー映像を補間する方法であって、撮影される被写体の光信号からベイヤパターンを抽出する過程と、前記抽出されたベイヤパターンのＧ位置に隣接した上下または左右のＲ、Ｂ成分を算術平均して前記Ｇ位置でＲ、Ｂ成分を補間する過程と、前記Ｇ位置でＲ、Ｂ成分を補間した後、Ｒ及びＢ位置に隣接したＧ位置のＧとＢ及びＲ成分の横差と縦差の演算を実行する過程と、前記Ｇ位置でのＧ、Ｂ、Ｒ成分の横差から縦差を減算した結果値の絶対値と既設定されたしきい値の大小を比較し、該判断の結果、前記しきい値より大きい場合は、横差と縦差の中で差値が小さい隣接した横あるいは縦のＧ位置のＧ、Ｂ、Ｒ成分の算術平均を通じてＲ及びＢ位置でＧ、Ｂ、Ｒ成分を補間する過程と、該比較の結果、前記しきい値より小さい場合は、メジアン技法を通じてＲ及びＢ位置でＧ、Ｂ、Ｒ成分を補間する過程と、を含むことを特徴とする。
【００２１】
また、上記目的を達成するための本発明は、カラー映像を補間する方法であって、撮影される被写体の光信号からベイヤパターンを抽出する過程と、前記抽出されたベイヤパターンのＧ位置に隣接した上下または左右のＲ、Ｂ成分を算術平均して前記Ｇ位置でＲ、Ｂ成分を補間する過程と、前記Ｇ位置でＲ、Ｂ成分を補間した後、ＲとＢ位置を中心として隣接したＧ位置のＧ成分について離散コサイン変換(ＤＣＴ)して得た離散コサイン変換係数のパターンを分析してＲとＢ位置でのＧ成分を補間する過程と、前記Ｒ及びＢ位置に隣接したＧ位置のＢ及びＲ成分の横差と縦差演算を実行した結果値の絶対値と既設定されたしきい値の大小を比較し、該比較結果、前記しきい値より大きい場合は、横差と縦差の中で差値が小さい隣接した横あるいは縦Ｇ位置のＢ、Ｒ成分の算術平均を通じてＲ及びＢ位置でＢ、Ｒ成分を補間する過程と、該比較の結果、前記しきい値より小さい場合は、メジアン技法を通じてＲ及びＢ位置でＢ、Ｒ成分を補間する過程と、を含むことを特徴とする。
【発明の効果】
【００２２】
本発明によれば、ベイヤ信号補間方法によりエイリアシングがない解像度が向上された映像を獲得することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の好適な一実施形態について添付図面を参照しつつ詳細に説明する。下記の説明において、本発明の要旨のみを明確にする目的で、関連した公知機能又は構成に関する具体的な説明は省略する。
また、下記の説明において、ベイヤパターンの特定詳細は本発明のより全般的な理解を提供するために示してもので、それに限定されない。
【００２４】
図５は、本発明の実施の形態による携帯用端末機の構成を示した図であり、図６は、本発明の映像補間を説明するためのベイヤパターンを示す例示図である。
図５を参照すれば、ＲＦ部２１は、携帯用端末機の通信を実行する。ＲＦ部２１は、送信される信号の周波数を上昇変換及び増幅するＲＦ送信機(図示せず)と、受信される信号を低雑音増幅して周波数を下降変換するＲＦ受信機(図示せず)等を含む。
【００２５】
モデム２３は、送信される信号を符号化及び変調する送信機(図示せず)及び受信される信号を復調及び復号化する受信機(図示せず)を含む。
【００２６】
オーディオ処理部２５は、モデム２３から出力される受信オーディオ信号を制御部１０から受信して再生するか、またはマイク(ＭＩＣ)から発生される送信オーディオ信号を制御部１０を通じてモデム２３に伝送する機能を実行する。また、オーディオ処理部２５は、モデム２３から受信されるデータの中で音声データをスピーカー(ＳＰＫ)を通じて可聴音に変換して出力し、マイク(ＭＩＣ)から入力される音声信号をデータ化してモデム２３に出力する。ここで、オーディオ処理部２５は、制御部１０に含むこともできる。
【００２７】
キー入力部２７は、数字及び文字情報を入力するためのキー及び各種機能を設定するための機能キーを具備する。
【００２８】
メモリー２９は、プログラムメモリー及びデータメモリーで構成できる。プログラムメモリーには、携帯用端末機の一般的な動作を制御するためのプログラムが保存される。また、プログラムメモリーには、本発明の実施の形態によってカメラモードで撮影された被写体の映像に関する各々の画素について映像補間できるようにする全般的なプログラムが保存される。また、プログラムメモリーには、本発明の実施の形態によってＲ、Ｂ位置でのＲＧＢ成分の補間のために隣接した画素間のＲ、ＧまたはＢ成分間の差値の絶対値と比較されるしきい値が既保存される。この時、しきい値は、しきい値の変化に従って画質を評価して最高画質である際の値になる。また、データメモリーは、プログラムを実行するうちに発生するデータを一時保存する。また、データメモリーには、カメラモードに撮影された映像データが保存される。
【００２９】
制御部１０は、携帯用端末機の全般的な動作を制御する機能を実行し、モデム２３を含むこともできる。また、制御部１０は、本発明による映像補間方法を実行するように全般的な動作を制御する。
【００３０】
カメラ５０は、映像データを撮影し、撮影された光信号を電気的信号に変換するカメラセンサーを具備する。ここで、カメラセンサーは、ＣＣＤセンサーと仮定する。この時、ＣＣＤセンサーは、その前端にＣＦＡを採用してカメラ５０を通じて画素ごとに一つのカラーを示す光信号のみを通過させるために規則的に配列された構造を有するようになる。それによって、画素は多数個のカラーの中でただ一つだけのカラーに関する画素値を抽出するようになる。
【００３１】
信号処理部６０は、カメラ５０から出力される映像信号をイメージ信号に変換する。ここで、信号処理部６０は、ＤＳＰ(Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ)で具現でき、この時、信号処理部６０は、サンプリング周期に合わせて映像信号をイメージ信号に変換する。それによって、各々の画素に関する消失された画素の情報を隣接画素に関する情報を利用して推論するベイヤパターンを通じて電気的信号に変換して映像信号を出力する。
【００３２】
映像処理部７０は、信号処理部６０から出力される映像信号を表示するための画面データを発生する機能を実行する。映像処理部７０は、制御部１０の制御により受信される映像信号またはカメラ５０を通じて撮影した映像データを表示部８０の規格に合わせて伝送し、また、映像データを圧縮及び圧縮解除する。
【００３３】
表示部８０は、制御部１０の制御によりプログラムの実行中に発生するメッセージを表示する。また、表示部８０は、カメラ撮影モード時に映像補間されて映像処理部７０から出力される映像信号を画面に表示し、制御部１０から出力される使用者データを表示する。ここで、表示部８０は、ＬＣＤが使用でき、この場合、表示部８０は、ＬＣＤ制御部(ＬＣＤ ｃｏｎｔｒｏｌｌｅｒ)、映像データを保存することができるメモリー及びＬＣＤ表示素子などを具備することができる。ＬＣＤをタッチスクリーン(ｔｏｕｃｈ ｓｃｒｅｅｎ)方式で具現する場合、キー入力部２７とＬＣＤは入力部に含むことができる。
【００３４】
図５を参照して携帯用端末機の動作について説明すれば、発信する際に、使用者がキー入力部２７を通じてダイアルリング動作を実行した後に発信モードを設定すれば、制御部１０はこれを感知してモデム２３を通じて受信されるダイアル情報を処理した後、ＲＦ部２１を通じてＲＦ信号に変換して出力する。以後、相手の加入者が応答信号を発生すれば、ＲＦ部２１及びモデム２３を通じてこれを感知する。以後、使用者は、オーディオ処理部２５を通じて音声通話路が形成されて通信機能を実行する。また、着信モード時に、制御部１０は、モデム２３を通じて着信モードであるか否かを感知し、オーディオ処理部２５を通じてリング信号を発生する。以後、使用者が応答すれば、制御部１０はこれを感知し、やっぱりオーディオ処理部２５を通じて音声通話路が形成されて通信機能を実行する。前記発信及び着信モードでは音声通信を一例として説明しているが、音声通信以外にパケットデータ及び映像データを通信するデータ通信機能を実行することもできる。また、待機モードまたは文字通信を実行する場合、制御部１０はモデム２３を通じて処理される文字データを表示部８０上に表示する。
【００３５】
また、本発明による携帯用端末機は、人物または周辺環境を撮影して映像画面に表示または伝送する動作を実行することができる。まず、カメラ５０は、携帯用電話機に装着するかまたは外部の所定位置に連結できる。即ち、カメラ５０は、外蔵形または内蔵形カメラで形成できる。カメラ５０はＣＣＤセンサーを使用することができる。カメラ５０により撮影される映像は、内部のＣＣＤセンサーにより電気的信号に変換された後に信号処理部６０に印加される。その後、信号処理部６０は、電気的信号をサンプリングして得たデータを利用して隣接した画素のカラー映像(ＲＧＢ)を補間されたデジタル映像データに変換して映像処理部７０に出力する。
【００３６】
上述した人物または周辺環境を撮影する際に、カメラ５０により獲得される映像信号に関する映像補間を処理する携帯用端末機の動作について説明すれば、まず、制御部１０は、キー入力部２７を通じて入力されるキーにより発生するキーデータがカメラモードである場合には、表示部８０にカメラモードであることを表示する。以後、制御部１０は、カメラ５０を通じて被写体(人物、周辺環境)から反射される光信号を電気的映像信号に変換する。変換された電気的映像信号は、ＣＦＡを通じて各々の画素ごとに一つのカラーを示す光信号のみを通過させて規則的に配列されたベイヤパターンを有する。制御部１０は、そのベイヤパターンのＲ、Ｇ、Ｂ位置でのすべてのカラー情報(ＲＧＢ)を得るために信号処理部６０を制御する。信号処理部６０は、周り画素のカラー情報を利用して各画素で３種のカラー情報を得て映像信号を出力する。
【００３７】
即ち、図６のように一般的なベイヤパターンを有し、ベイヤパターンのＣＦＡは輝度を示すＧが５０％、色成分であるＲとＢが各々２５％の比率で分布されている。この時、Ｒ、Ｂは、異なるラインに交互に配列されており、Ｇは、Ｒ、Ｂの間に位置する。ここで、各ベイヤパターンの各画素は３種のカラー情報を獲得できる。その具体的な説明については後述する。
【００３８】
図７Ａ及び図７Ｂは、本発明の映像補間方法を示す流れ図であり、図８Ａ〜８Ｄは、本発明の映像補間方法を通じて補間されるベイヤパターンを示す例示図である。
図７Ａ及び図７Ｂを参照すれば、制御部１０は、待機状態でカメラモードであるか否かを判断する(ステップ７１１、ステップ７１３)。この時、カメラモードと判断される場合には、制御部１０はカメラモードを実行し、そのカメラモードによる制御信号をカメラモードと関連された各モジュールに印加する(ステップ７１５)。
【００３９】
それによって、制御部１０は、カメラ５０から図６に示したベイヤパターンを得ることができる(ステップ７１７)。以後、カメラ５０は、制御部１０の制御によりベイヤパターンを利用して次のような映像補間過程を実行する。
【００４０】
即ち、図６に示したＧ位置でのＲ、Ｂ成分の補間のために、図８Ａに示したように、Ｇ位置の上下または左右のＲあるいはＢの算術平均を利用してＲ、Ｂ成分を補間する(ステップ７１９)。これについて図５を参照してより詳細に説明すれば、次のようである。
【００４１】
図９Ａ〜図９Ｃは、本発明の実施の形態によるＧ位置でのＲ、Ｂ映像補間を説明するためのベイヤパターンの一例を示す例示図である。
図９Ａを参照すれば、まず、図６のベイヤパターンの中でＧ５位置でのＢ成分の補間は、Ｇ５位置で上下に位置したＢ２とＢ８を加算した後、その結果を２に分けて得られた結果値であるＢ成分を補間する。ここで、Ｇ位置でのＲ、Ｂ成分の補間に関する理解を助けるために各画素の成分に数字を付け加えた。
【００４２】
また、Ｇ５位置でのＲ成分の補間は、Ｇ５位置で左右に位置したＲ４とＲ６を加算した後、その結果を２に分けて得られた結果値であるＲ成分を補間する。即ち、これは、下記の式(4)のように表現可能である。
【数４】
2005295555.tif 000006
【００４３】
ここで、(ａ)は、Ｇ５位置で補間されるＢ成分を意味し、(ｂ)は、Ｇ５位置で補間されるＲ成分を意味し、Ｂ２、Ｂ８は、 Ｂ２、Ｂ８位置でのＢ成分を意味し、Ｒ４、Ｒ６は、Ｒ４、Ｒ６位置でのＲ成分を意味する。
【００４４】
以後、制御部１０は、Ｇ位置でＲ、Ｂ成分の補間が終了されたか否かを判断し、Ｇ位置でのＲ、Ｂ成分の補間が終わるまで前記過程を反復実行する(ステップ７２１)。前記過程を反復実行してベイヤパターンのすべてのＧ位置に対してＲ、Ｂ成分が補間されると、図８Ｂのようになる。
【００４５】
該判断の結果、Ｇ位置でＲ、Ｂ成分の補間が終了された場合には、Ｒ位置でＧ、Ｂ成分の補間を実行し、Ｂ位置でＧ、Ｒ成分の補間を実行する。この時、Ｒ位置での補間とＢ位置での映像補間を実行する順序は同一な時点で行われる。即ち、Ｒ位置での補間とＢ位置での映像補間を実行する手順に関する優先順位は決まっていない。したがって、Ｒ位置とＢ位置での映像補間時にどんなこと(Ｒ、Ｂ位置での映像補間)について映像補間を先に実行しても関係ない。本発明では、映像補間方法についての理解を助けるためにＲ、Ｂ位置に対するＧ成分を先に補間し、Ｒ位置ではＢ成分を補間し、Ｂ位置ではＲ成分を補間する手順に記述する。
【００４６】
まず、Ｒ及びＢ位置に隣接したＧ位置間のＧ成分の横差(△Ｘ)と縦差(△Ｙ)を求める(ステップ７２３)。即ち、制御部１０は、下記の式(5)を利用して横差(△Ｘ)と縦差(△Ｙ)に関する演算を実行する。
【数５】
2005295555.tif 000007
【００４７】
例えば、図９Ｂのように、Ｒ１４位置でＧ成分を補間すると仮定すれば、横差(△Ｘ)はＧ１３−Ｇ１５の絶対値になる。そして、縦差(△Ｙ)はＧ１１−Ｇ１７の絶対値になる。即ち、横差(△Ｘ)＝|Ｇ１３−Ｇ１５|、縦差(△Ｙ)＝|Ｇ１１−Ｇ１７|になる。
【００４８】
また、図９Ｃは、Ｂ２３位置でＧ成分を補間すると仮定すれば、横差(△Ｘ)はＧ２２−Ｇ２４の絶対値になる。そして、縦差(△Ｙ)はＧ２０−Ｇ２６の絶対値になる。即ち、横差(△Ｘ)＝|Ｇ２２−Ｇ２４|、縦差(△Ｙ)＝|Ｇ２０−Ｇ２６|になる。
【００４９】
以後、制御部１０は、前記過程を通じて得た横差(△Ｘ)から縦差(△Ｙ)を減算した結果値の絶対値がしきい値(Ｔ)より大きいか否かを判断する(ステップ７２４)。即ち、|△Ｘ−△Ｙ|＞Ｔであるか否かを判断する。
該判断の結果、しきい値(Ｔ)より大きい場合には、制御部１０は、縦差(△Ｙ)が横差(△Ｘ)としきい値(Ｔ)を加算した結果値より大きいか否かを判断する(ステップ７２６)。即ち、△Ｙ＞△Ｘ＋Ｔであるか否かを判断する。
【００５０】
該判断の結果、縦差(△Ｙ)が横差(△Ｘ)としきい値(Ｔ)を加算した結果値より大きい場合には、制御部１０は、横に隣接したＧ位置のＧ成分をお互いに加算した後にその結果を２に分けた値をＲ位置でのＧ成分に補間する(ステップ７２８)。即ち、下記の式(6)によりＲ位置でのＧ成分を得ることができる。
【数６】
2005295555.tif 000008
【００５１】
ここで、Ｒ１４Ｇは、Ｒ１４位置に補間されるＧ成分を意味し、Ｇ１３、Ｇ１５は、Ｇ１３、Ｇ１５位置のＧ成分を意味する。
【００５２】
しかし、該判断の結果、縦差(△Ｙ)が横差(△Ｘ)としきい値(Ｔ)を加算した結果値より小さい場合には、制御部１０は、縦に隣接したＧ位置のＧ成分をお互いに加算した後その結果を２に分けた値をＲ位置でのＧ成分に補間する(ステップ７３０)。即ち、下記の式(7)によりＲ位置でのＧ成分を得ることができる。
【００５３】
【数７】
2005295555.tif 000009
【００５４】
ここで、Ｒ１４Ｇは、Ｒ１４位置に補間されるＧ成分を意味し、Ｇ１１、Ｇ１７は、Ｇ１１、Ｇ１７位置のＧ成分を意味する.
【００５５】
一方で、該判断の結果、横差(△Ｘ)から縦差(△Ｙ)を減算した結果の絶対値がしきい値(Ｔ)より小さい場合、メジアン(Ｍｅｄｉａｎ)技法を利用して最大値と最小値を除外した中間値であるＧ位置のＧ成分を加算した後その結果を２に分けた値をＲ位置でのＧ成分に補間する(ステップ７３２)。
【００５６】
また、横差(△Ｘ)から縦差(△Ｙ)を減算した結果の絶対値がしきい値(Ｔ)より小さい場合、制御部１０は、横と縦に隣接したＧ位置のＧ成分を加算した後にその結果を４に分けた値をＲ位置でのＧ成分に補間することもできる。即ち、下記の式(8)によりＲ位置でのＧ成分を得ることができる。
【００５７】
【数８】
2005295555.tif 000010
【００５８】
ここで、Ｒ１４Ｇは、Ｒ１４位置に補間されるＧ成分を意味し、Ｇ１１、Ｇ１３、Ｇ１５、Ｇ１７は、Ｇ１１、Ｇ１３、Ｇ１５、Ｇ１７位置のＧ成分を意味する。
【００５９】
一方、Ｂ位置でのＧ成分を補間する方法も上述した過程と同一に行われる。
即ち、制御部１０は、上述したＢ位置でのＧ成分の補間のために行った横差(△Ｘ)から縦差(△Ｙ)を減算した結果の絶対値がしきい値(Ｔ１)より大きいか否かを判断する(ステップ７２４)。即ち、|△Ｘ−△Ｙ|＞Ｔであるか否かを判断する。
【００６０】
該判断の結果、しきい値(Ｔ)より大きい場合には、制御部１０は、縦差(△Ｙ)が横差(△Ｘ)としきい値(Ｔ)を加算した結果値より大きいか否かを判断する(ステップ７２６)。即ち、△Ｙ＞△Ｘ＋Ｔであるか否かを判断する。
該判断の結果、縦差(△Ｙ)が横差(△Ｘ)としきい値(Ｔ)を加算した結果値より大きい場合には、制御部１０は、横に隣接したＧ位置のＧ成分をお互いに加算した後にその結果を２に分けた値をＢ位置でのＧ成分に補間する(ステップ７２８)。即ち、下記の式(9)によりＢ位置でのＧ成分を得ることができる。
【００６１】
【数９】
2005295555.tif 000011
【００６２】
ここで、Ｂ２３Ｇは、Ｂ２３位置に補間されるＧ成分を意味し、Ｇ２２、Ｇ２４は、Ｇ２２、Ｇ２４位置のＧ成分を意味する。
【００６３】
しかし、該判断の結果、縦差(△Ｙ)が横差(△Ｘ)としきい値(Ｔ)を加算した結果値より小さい場合には、制御部１０は、縦に隣接したＧ位置のＧ成分をお互いに加算した後にその結果を２に分けた値をＢ位置でのＧ成分に補間する(ステップ７３０)。即ち、下記の式(10)によりＢ位置でのＧ成分を得ることができる。
【００６４】
【数１０】
2005295555.tif 000012
【００６５】
ここで、Ｂ２３Ｇは、Ｂ２３位置に補間されるＧ成分を意味し、Ｇ２０、Ｇ２６は、Ｇ２０、Ｇ２６位置のＧ成分を意味する。
【００６６】
一方で、該判断の結果、横差(△Ｘ)から縦差(△Ｙ)を減算した結果の絶対値がしきい値(Ｔ)より小さい場合、制御部１０は、メジアン技法を利用して最大値と最小値を除外した中間値であるＧ位置のＧ成分を加算した後にその結果を２に分けた値をＢ位置でのＧ成分に補間する(ステップ７３２)。
【００６７】
また、横差(△Ｘ)から縦差(△Ｙ)を減算した結果の絶対値がしきい値(Ｔ)より小さい場合、制御部１０は、横と縦に隣接したＧ位置のＧ成分を加算した後にその結果を４に分けた値をＲ位置でのＧ成分に補間することもできる。即ち、下記の式(11)によりＲ位置でのＧ成分を得ることができる。
【００６８】
【数１１】
2005295555.tif 000013
【００６９】
ここで、Ｂ２３Ｇは、Ｂ２３位置に補間されるＧ成分を意味し、Ｇ２０、Ｇ２２、Ｇ２４、Ｇ２６は、Ｇ２０、Ｇ２２、Ｇ２４、Ｇ２６位置のＧ成分を意味する。
【００７０】
以後、制御部１０は、ベイヤのすべてのＲ及びＢ位置でのＧ成分の補間が終了したか否かを判断し、すべてのＲ及びＢ位置でのＧ成分の補間が終わるまで上述の過程を反復実行する(ステップ７３４)。前記過程を反復実行してベイヤパターンのすべてのＲ、Ｂ位置に対してＧ成分が補間されると、図８Ｃのようになる。
【００７１】
次に、制御部１０は、Ｒ及びＢ位置でのＧ成分の補間が終了すれば、Ｒ位置にはＢ成分を補間し、Ｂ位置にはＲ成分を補間する。この時、Ｒ位置でのＢ成分の補間過程とＢ位置でのＲ成分の補間過程は同時に行われる。この時も、Ｒ位置での補間とＢ位置での映像補間を実行する順序は同一な時点で行われ、本発明では、映像補間方法に関する理解を助けるためにＲ位置に対するＢ成分を先に補間した後、Ｂ位置でＲ成分を補間する手順に記述する。
【００７２】
Ｒ位置でＢ成分を補間する過程について説明すれば、次のようである。
まず、Ｒ位置に隣接したＧ位置のＢ成分に関する横差(△Ｘ)と縦差(△Ｙ)演算を実行する(ステップ７３６)。即ち、制御部１０は、Ｒ位置のＢ成分を補間するために下記の式(12)を利用して横差(△Ｘ)と縦差(△Ｙ)を演算する。
【００７３】
【数１２】
2005295555.tif 000014
【００７４】
例えば、図９Ｂのように、Ｒ１４位置でＢ成分を補間すると仮定すれば、横差(△Ｘ)は、Ｇ１３に補間されたＢ成分からＧ１５に補間されたＢ成分を減算した結果値の絶対値になる。そして、縦差(△Ｙ)は、Ｇ１１に補間されたＢ成分からＧ１７に補間されたＢ成分を減算した結果値の絶対値になる。即ち、横差(△Ｘ)＝|Ｇ１３Ｂ−Ｇ１５Ｂ|、縦差(△Ｙ)＝|Ｇ１１Ｂ−Ｇ１７Ｂ|になる。ここで、Ｇ１１Ｂ、Ｇ１３ＢとＧ１５Ｂ及びＧ１７Ｂは、各Ｇ１１、Ｇ１３、Ｇ１５、Ｇ１７位置に補間されたＢ成分を意味する。
【００７５】
また、Ｂ２３位置でＲ成分を補間すると仮定すれば、横差(△Ｘ)は、Ｇ２２に補間されたＲ成分からＧ２４に補間されたＲ成分を減算した結果値の絶対値になる。そして、縦差(△Ｙ)は、Ｇ２０に補間されたＲ成分からＧ２６に補間されたＲ成分を減算した結果値の絶対値になる。即ち、横差(△Ｘ)=|Ｇ２２Ｒ−Ｇ２４Ｒ|、縦差(△Ｙ)=|Ｇ２０Ｒ−Ｇ２６Ｒ|になる。ここで、Ｇ２０Ｒ、Ｇ２２ＲとＧ２４Ｒ及びＧ２６Ｒは、各Ｇ２０、Ｇ２２、Ｇ２４、Ｇ２６位置に補間されたＲ成分を意味する。
【００７６】
以後、制御部１０は、前記過程を通じて得た横差(△Ｘ)から縦差(△Ｙ)を減算した結果値の絶対値がしきい値(Ｔ)より大きいか否かを判断する(ステップ７３８)。即ち、|△Ｘ−△Ｙ|＞Ｔであるか否かを判断する。
該判断の結果、しきい値(Ｔ)より大きい場合には、制御部１０は、縦差(△Ｙ)が横差(△Ｘ)としきい値(Ｔ)を加算した結果値より大きいか否かを判断する(ステップ７４０)。即ち、△Ｙ＞△Ｘ＋Ｔであるか否かを判断する。
【００７７】
該判断の結果、縦差(△Ｙ)が横差(△Ｘ)としきい値(Ｔ)を加算した結果値より大きい場合には、制御部１０は、横に隣接したＧ位置のＢ成分をお互いに加算した後にその結果を２に分けた値をＲ位置でのＢ成分に補間する(ステップ７４２)。即ち、下記の式(13)によりＲ位置でのＢ成分を得ることができる。
【００７８】
【数１３】
2005295555.tif 000015
【００７９】
ここで、Ｒ１４Ｂは、Ｒ１４位置に補間されるＢ成分を意味し、Ｇ１３Ｂ、Ｇ１５Ｂは、Ｇ１３、Ｇ１５位置のＢ成分を意味する。
【００８０】
しかし、該判断の結果、縦差(△Ｙ)が横差(△Ｘ)としきい値(Ｔ)を加算した結果値より小さい場合には、制御部１０は、縦に隣接したＧ位置のＢ成分をお互いに加算した後にその結果を２に分けた値をＲ位置でのＢ成分に補間する(ステップ７４４)。即ち、下記の式(14)によりＲ位置でのＢ成分を得ることができる。
【００８１】
【数１４】
2005295555.tif 000016
【００８２】
ここで、Ｒ１４Ｂは、Ｒ１４位置に補間されるＢ成分を意味し、Ｇ１１Ｂ、Ｇ１７Ｂは、Ｇ１１、Ｇ１７位置のＢ成分を意味する。
【００８３】
一方で、該判断の結果、横差(△Ｘ)から縦差(△Ｙ)を減算した結果の絶対値がしきい値(Ｔ)より小さい場合、メジアン技法を利用して最大値と最小値を除外した中間値であるＧ位置のＢ成分を加算した後にその結果を２に分けた値をＲ位置でのＢ成分に補間する(ステップ７４６)。
【００８４】
また、横差(△Ｘ)から縦差(△Ｙ)を減算した結果の絶対値がしきい値(Ｔ)より小さい場合には、制御部１０は、横と縦に隣接したＧ位置のＢ成分を加算した後にその結果を４に分けた値をＲ位置でのＢ成分に補間することもできる。即ち、下記の式(15)によりＲ位置でのＧ成分を得ることができる。
【００８５】
【数１５】
2005295555.tif 000017
【００８６】
ここで、Ｒ１４Ｂは、Ｒ１４位置に補間されるＢ成分を意味し、Ｇ１１Ｂ、Ｇ１３Ｂ、Ｇ１５Ｂ、Ｇ１７Ｂは、Ｇ１１、Ｇ１３、Ｇ１５、Ｇ１７位置のＢ成分を意味する。
【００８７】
一方、Ｂ位置でのＲ成分を補間する方法も上述した過程と同一に行われる。
まず、Ｂ位置に隣接したＧ位置のＲ成分に関する横差(△Ｘ)と縦差(△Ｙ)演算を実行する(ステップ７３６)。即ち、制御部１０は、Ｂ位置のＲ成分を補間するために下記の式(16)を利用して横差(△Ｘ)と縦差(△Ｙ)を演算する。
【００８８】
【数１６】
2005295555.tif 000018
【００８９】
例えば、図９Ｃのように、Ｂ２３位置でＲ成分を補間すると仮定すれば、横差(△Ｘ)は、Ｇ２２に補間されたＲ成分からＧ２４に補間されたＲ成分を減算した結果値の絶対値になる。そして、縦差(△Ｙ)は、Ｇ２０に補間されたＲ成分からＧ２６に保管されたＲ成分を減算した結果値の絶対値になる。即ち、横差(△Ｘ)＝|Ｇ２２Ｒ−Ｇ２４Ｒ|、縦差(△Ｙ)＝|Ｇ２０Ｒ−Ｇ２６Ｒ|になる。ここで、Ｇ２０Ｒ、Ｇ２２ＲとＧ２４Ｒ及びＧ２６Ｒは、各Ｇ２０、Ｇ２２、Ｇ２４、Ｇ２６位置に補間されたＲ成分を意味する。
【００９０】
以後、制御部１０は、前記過程を通じて得た横差(△Ｘ)から縦差(△Ｙ)を減算した結果値の絶対値がしきい値(Ｔ)より大きいか否かを判断する(ステップ７３８)。即ち、|△Ｘ−△Ｙ|＞Ｔであるか否かを判断する。
該判断の結果、しきい値(Ｔ)より大きい場合には、制御部１０は、縦差(△Ｙ)が横差(△Ｘ)としきい値(Ｔ)を加算した結果値より大きいか否かを判断する(ステップ７４０)。即ち、△Ｙ＞△Ｘ＋Ｔであるか否かを判断する。
【００９１】
該判断の結果、縦差(△Ｙ)が横差(△Ｘ)としきい値(Ｔ)を加算した結果値より大きい場合には、制御部１０は、横に隣接したＧ位置のＲ成分をお互いに加算した後にその結果を２に分けた値をＢ位置でのＲ成分に補間する(ステップ７４２)。即ち、下記の式(17)によりＢ位置でのＲ成分を得ることができる。
【００９２】
【数１７】
2005295555.tif 000019
【００９３】
ここで、Ｂ２３Ｒは、Ｂ２３位置に補間されるＲ成分を意味し、Ｇ２２Ｒ、Ｇ２４Ｒは、Ｇ２２、Ｇ２４位置のＲ成分を意味する。
【００９４】
しかし、該判断の結果、縦差(△Ｙ)が横差(△Ｘ)としきい値(Ｔ)を加算した結果値より小さい場合には、制御部１０は、縦に隣接したＧ位置のＲ成分をお互いに加算した後にその結果を２に分けた値をＢ位置でのＲ成分に補間する(ステップ７４４)。即ち、下記の式(18)によりＢ位置でのＲ成分を得ることができる。
【００９５】
【数１８】
2005295555.tif 000020
【００９６】
ここで、Ｂ２３Ｒは、Ｂ２３位置に補間されるＲ成分を意味し、Ｇ２０Ｒ、Ｇ２６Ｒは、Ｇ２０、Ｇ２６位置のＲ成分を意味する。
【００９７】
一方で、該判断の結果、横差(△Ｘ)から縦差(△Ｙ)を減算した結果の絶対値がしきい値(Ｔ)より小さい場合、制御部１０は、メジアン技法を利用して最大値と最小値を除外した中間値であるＧ位置のＲ成分を加算した後にその結果を２に分けた値をＢ位置でのＲ成分に補間する(ステップ７４６)。
【００９８】
また、横差(△Ｘ)から縦差(△Ｙ)を減算した結果の絶対値がしきい値(Ｔ)より小さい場合には、制御部１０は、横と縦に隣接したＧ位置のＲ成分を加算した後にその結果を４に分けた値をＢ位置でのＲ成分に補間することもできる。即ち、下記の式(19)によりＢ位置でのＲ成分を得ることができる。
【００９９】
【数１９】
2005295555.tif 000021
【０１００】
ここで、Ｂ２３Ｒは、Ｂ２３位置に補間されるＲ成分を意味し、Ｇ２０Ｒ、Ｇ２２Ｒ、Ｇ２４Ｒ、Ｇ２６Ｒは、Ｇ２０、Ｇ２２、Ｇ２４、Ｇ２６位置のＲ成分を意味する。
【０１０１】
以後、制御部１０は、Ｒ及びＢ位置でのＢ及びＲ成分の補間が終了されたか否かを判断し、Ｒ及びＢ位置でのＢ及びＲ成分の補間が終わるまで前記過程を反復した後に終了する(ステップ７４８)。前記過程を反復実行してベイヤパターンのすべてのＲ、Ｇ、Ｂ位置に対して遺失されたすべての成分が補間されると、図８Ｄのようになる。
【０１０２】
したがって、本発明の映像補間方法は、上述した過程を通じて各画素ごとに遺失された映像カラー情報を補間する。この時、ベイヤパターンの縁部に位置する画素は比較する周り画素がないので、考慮できる隣接の成分をそのまま使用するようになる。
【０１０３】
図１０Ａ及び図１０Ｂは、本発明の映像補間方法により周り成分の方向性を考慮したＧ成分のベイヤパターンを示す例示図であり、図１１Ａ〜図１１Ｃは、本発明による映像補間方法の周波数特性を示す例示図である。
このような本発明の補間方法により図１０Ａのように周り成分の方向性を考慮してＧ成分を補間する場合、これを垂直的だけに表現すれば、図１０Ｂのように補間されることが分かる。図１０Ａにおいて、奇数水平方向成分に関する周波数特性は、図１１Ａのようであり、偶数水平方向成分に関する周波数特性は、図１１Ｂのように位相が変わって表示される。
【０１０４】
したがって、図１０Ｂのように補間されたパターンの周波数特性は、奇数及び偶数ラインのスペクトラムが奇数倍サンプリング周波数でお互いに逆位相を有するようになって、逆位相部分が相殺される図１１Ｃのようになる。したがって、相互逆位相に関する成分を考慮して提案した補間方法は、図１１Ｃのような空間周波数特性を有するようになる。
【０１０５】
図１２Ａ及び図１２Ｂは、本発明の他の実施の形態による映像補間方法を示す流れ図であり、図１３Ａ〜図１３Ｃは、本発明の他の実施の形態による映像補間方法を説明するための図である。
図１２Ａ及び図１２Ｂと図１３Ａ〜図１３Ｃを参照すれば、ステップ７１１〜ステップ７２１は上述したＧ位置でＲ及びＢ成分を補間する方法であり、ステップ７３４〜ステップ７４８はＲ位置でのＢ成分の補間方法とＢ位置でのＲ成分の補間方法として、図７Ａ、図７Ｂと同一な方法を通じて実行されるので、これについての詳細な説明は省略する。即ち、図１２Ａ及び図１２Ｂは、図７Ａの代わりに実行されるので、図１２Ｂの過程を実行した以後に図７Ｂの過程を実行する。
【０１０６】
制御部１０は、Ｇ位置でＲとＢ成分を補間した後、ＲとＢ位置でのＧ成分を補間するためにＲとＢ位置に隣接したＧ成分を抽出する(ステップ８２３)。
以後、制御部１０は、抽出したＧ成分を２×２画素形態に変換させる(ステップ８２５)。この時、制御部１０は、Ｇ成分を補間しようとするＲ及びＢ位置を中心として左側に位置したＧ位置のＧ成分を一番目の行の一番目の列に位置させ、上側に位置したＧ位置のＧ成分を一番目の行の二番目の列に位置させ、右側に位置したＧ位置のＧ成分を二番目の行の一番目の列に位置させ、下側に位置したＧ位置のＧ成分を二番目の行の二番目の列に位置させる。これが図１３Ａと図１３Ｂに示されている。
【０１０７】
上述の過程以後、制御部１０は、離散コサイン変換(Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ;以下、“ＤＣＴ”と称する)を通じてＤＣＴ係数を利用した２×２画素に変換させる(ステップ８２７)。
即ち、２次元行列に定義された映像データを空間領域から周波数領域に変換することにより、図１３Ｃのように、Ｃ１、Ｃ２、Ｃ３、Ｃ４のＤＣＴ係数のようにそのＣ１からＣ４係数の順に各々低周波数(ＤＣ)、水平周波数、垂直周波数、高周波数に該当する係数が位置するようになる。
【０１０８】
以後、制御部１０は、ＤＣＴ係数の中で低周波数の係数が一番大きいか否かを判断し、一番大きい場合には、Ｒ及びＢ位置に隣接した４個に対するＧ位置のＧ成分を算術平均して出た結果値をＲ及びＢ位置のＧ成分に補間する(ステップ８２９、ステップ８３１)。ここで、ＤＣＴ係数の中で低周波数の係数が一番大きいということは、全体的に均一なパターンを有していることを意味する。したがって、隣接したＧ位置のＧ成分を算術平均してその結果値を補間する。
即ち、下記の式(20)を通じてＲ及びＢ位置のＧ成分を補間することができる。
【０１０９】
【数２０】
2005295555.tif 000022
【０１１０】
ここで、Ｇ１〜Ｇ４は、Ｒ位置とＢ位置に隣接したＧ位置のＧ成分を示す。
【０１１１】
また、式(20)を通じてＲとＢ位置のＧ成分を補間しないで、ＲとＢ位置に隣接した４個のＧ位置のＧ成分の中で一つを選択してＲとＢ位置のＧ成分を補間することもできる(ステップ８３１)。即ち、Ｇ１、Ｇ２、Ｇ３、Ｇ４の中で一つを選択してＲ及びＢ位置のＧ成分を補間することができる。
【０１１２】
一方で、該判断の結果、ＤＣＴ係数の中で低周波数係数が一番大きくなければ、制御部１０は、ＤＣＴ係数の中で水平周波数の係数が一番大きいか否かを判断し(ステップ８３３)、一番大きい場合には、２×２画素形態に変換されたＧ成分の中で縦に隣接したＧ位置のＧ成分を算術平均してＲ及びＢ位置でのＧ成分を補間する(ステップ８３５)。ここで、ＤＣＴ係数の中で水平周波数の係数が一番大きいということは、２×２画素形態で横パターンに差が多いことを意味する。したがって、２×２画素形態で縦パターンを利用しなければならない。
即ち、下記の式(21)を通じてＲ及びＢ位置のＧ成分を補間することができる。
【０１１３】
【数２１】
2005295555.tif 000023
【０１１４】
ここで、Ｒは、Ｒ位置でのＧ成分を示し、Ｂは、Ｂ位置でのＧ成分を示し、Ｇ１とＧ３、Ｇ２とＧ４は、２×２画素に変換されたＧ成分の中で縦に隣接したＧ位置のＧ成分を示す。
【０１１５】
しかし、該判断の結果、ＤＣＴ係数の中で水平周波数の係数が一番大きくなければ、制御部１０は、ＤＣＴ係数の中で垂直周波数の係数が一番大きいか否かを判断し(ステップ８３７)、一番大きい場合には、２×２画素形態に変換されたＧ成分の中で横に隣接したＧ位置のＧ成分を算術平均してＲ及びＢ位置でのＧ成分を補間する(ステップ８３９)。ここで、ＤＣＴ係数の中で垂直周波数の係数が一番大きいということは、２×２画素形態で縦パターンに差が多いことを意味する。したがって、２×２画素形態で横パターンを利用しなければならない。
即ち、下記の式(22)を通じてＲ及びＢ位置のＧ成分を補間することができる。
【０１１６】
【数２２】
2005295555.tif 000024
【０１１７】
ここで、Ｒは、Ｒ位置でのＧ成分を示し、Ｂは、Ｂ位置でのＧ成分を示し、Ｇ１とＧ２、Ｇ３とＧ４は、２×２画素に変換されたＧ成分の中で横に隣接したＧ位置のＧ成分を示す。
【０１１８】
しかし、該判断の結果、ＤＣＴ係数の中で垂直周波数の係数が一番大きくなければ、制御部１０は、ＤＣＴ係数の中で高周波数の係数が一番大きいと判断し、２×２画素形態に変換されたＧ成分の中で対角線に隣接したＧ位置のＧ成分を算術平均してＲ及びＢ位置でのＧ成分を補間する(ステップ８４１)。
【０１１９】
ここで、ＤＣＴ係数の中で高周波数の係数が一番大きいということは、２×２画素形態で横と縦パターンに差が多いことを意味する。したがって、２×２画素形態で対角線パターンを利用しなければならない。
即ち、下記の式(23)を通じてＲ及びＢ位置のＧ成分を補間することができる。
【０１２０】
【数２３】
2005295555.tif 000025
【０１２１】
ここで、Ｒは、Ｒ位置でのＧ成分を示し、Ｂは、Ｂ位置でのＧ成分を示し、Ｇ１とＧ４、Ｇ２とＧ３は、２×２画素に変換されたＧ成分の中で対角線に隣接したＧ位置のＧ成分を示す。
【０１２２】
以後、Ｒ位置でのＢ成分の補間とＢ位置でのＲ成分の補間は、上述した方法と同一な方法を通じて実行されるので、それについての詳細な説明は省略する。
【０１２３】
以上、本発明を具体的な実施形態を参照して詳細に説明したが、本発明の範囲は前述の実施形態によって限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で様々な変形が可能なことは、当該技術分野における通常の知識を持つ者には明らかである。
【図面の簡単な説明】
【０１２４】
【図１】従来Ｇについてのベイヤパターンを示す例示図である。
【図２】図１の空間周波数特性を示す例示図である。
【図３Ａ】従来の映像補間方法の周波数特性を示す例示図である。
【図３Ｂ】従来の映像補間方法の周波数特性を示す例示図である。
【図３Ｃ】従来の映像補間方法の周波数特性を示す例示図である。
【図４】従来の両線形補間方法を説明するためのベイヤパターンの一例を示す例示図である。
【図５】本発明の実施の形態による携帯用端末機の構成を示した図である。
【図６】本発明の映像補間を説明するためのベイヤパターンを示す例示図である。
【図７Ａ】本発明の映像補間方法を示す流れ図である。
【図７Ｂ】本発明の映像補間方法を示す流れ図である。
【図８Ａ】本発明の映像補間方法を通じて補間されるベイヤパターンを示す例示図である。
【図８Ｂ】本発明の映像補間方法を通じて補間されるベイヤパターンを示す例示図である。
【図８Ｃ】本発明の映像補間方法を通じて補間されるベイヤパターンを示す例示図である。
【図８Ｄ】本発明の映像補間方法を通じて補間されるベイヤパターンを示す例示図である。
【図９Ａ】本発明の実施の形態によるＧ位置でのＲ、Ｂ映像補間を説明するためのベイヤパターンの一例を示す例示図である。
【図９Ｂ】本発明の実施の形態によるＧ位置でのＲ、Ｂ映像補間を説明するためのベイヤパターンの一例を示す例示図である。
【図９Ｃ】本発明の実施の形態によるＧ位置でのＲ、Ｂ映像補間を説明するためのベイヤパターンの一例を示す例示図である。
【図１０Ａ】本発明の映像補間方法により周り成分の方向性を考慮したＧ成分のベイヤパターンを示す例示図である。
【図１０Ｂ】本発明の映像補間方法により周り成分の方向性を考慮したＧ成分のベイヤパターンを示す例示図である。
【図１１Ａ】本発明の映像補間方法の周波数特性を示す例示図である。
【図１１Ｂ】本発明の映像補間方法の周波数特性を示す例示図である。
【図１１Ｃ】本発明の映像補間方法の周波数特性を示す例示図である。
【図１２Ａ】本発明の他の実施の形態による映像補間方法を示す流れ図である。
【図１２Ｂ】本発明の他の実施の形態による映像補間方法を示す流れ図である。
【図１３Ａ】本発明の他の実施の形態による映像補間方法を説明するための図である。
【図１３Ｂ】本発明の他の実施の形態による映像補間方法を説明するための図である。
【図１３Ｃ】本発明の他の実施の形態による映像補間方法を説明するための図である。
【符号の説明】
【０１２５】
１０      制御部
２１      ＲＦ部
２３      モデム
２５      オーディオ処理部
２７      キー入力部
２９      メモリー
５０      カメラ
６０      信号処理部
７０      映像処理部
８０      表示部
【図１】
2005295555.tif 000026
【図２】
2005295555.tif 000027
【図３Ａ】
2005295555.tif 000028
【図３Ｂ】
2005295555.tif 000029
【図３Ｃ】
2005295555.tif 000030
【図４】
2005295555.tif 000031
【図５】
2005295555.tif 000032
【図６】
2005295555.tif 000033
【図７Ａ】
2005295555.tif 000034
【図７Ｂ】
2005295555.tif 000035
【図８Ａ】
2005295555.tif 000036
【図８Ｂ】
2005295555.tif 000037
【図８Ｃ】
2005295555.tif 000038
【図８Ｄ】
2005295555.tif 000039
【図９Ａ】
2005295555.tif 000040
【図９Ｂ】
2005295555.tif 000041
【図９Ｃ】
2005295555.tif 000042
【図１０Ａ】
2005295555.tif 000043
【図１０Ｂ】
2005295555.tif 000044
【図１１Ａ】
2005295555.tif 000045
【図１１Ｂ】
2005295555.tif 000046
【図１１Ｃ】
2005295555.tif 000047
【図１２Ａ】
2005295555.tif 000048
【図１２Ｂ】
2005295555.tif 000049
【図１３Ａ】
2005295555.tif 000050
【図１３Ｂ】
2005295555.tif 000051
【図１３Ｃ】
2005295555.tif 000052