(57)【要約】  本発明は、映像処理装置、方法および媒体に関するものであって、デジタル映像に含まれた各ピクセル領域でのピクセル値と所定補間方式によって抽出された補間データの平均値が同一であるように補間を行う映像処理装置、方法および媒体に関するものである。  本発明の実施形態による映像処理装置は、所定の映像に含まれたピクセル値に対する順次的な積分を行う累積加算部と、前記積分されたピクセル値に対する補間を行う補間部、および前記補間されたピクセル値の所定の位置で微分を行う累積減算部とを含む。
2009542153.tif 000002
【特許請求の範囲】
【請求項１】
所定の映像に含まれたピクセル値に対する順次的な積分を行う累積加算部と、
前記積分されたピクセル値に対する補間を行う補間部、および
前記補間されたピクセル値の所定の位置で微分を行う累積減算部と、を含む、映像処理装置。
【請求項２】
前記補間部は、特定のピクセルが存在する領域でのピクセル値と前記補間されたピクセル値による前記領域での累積値が同一であるように前記積分されたピクセル値に対する補間を行う、請求項１に記載の映像処理装置。
【請求項３】
前記累積加算部は、前記積分されたピクセル値を抽出する、請求項２に記載の映像処理装置。
【請求項４】
前記補間部は、１次補間方式（Ｌｉｎｅａｒ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、２次補間方式（Ｑｕａｄｒａｔｉｃ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、３次補間方式（Ｃｕｂｉｃ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、ガウス補間方式（Ｇａｕｓｓｉａｎ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、神経回路網補間方式（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）およびＳＶＭ補間方式（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）のうち一つを用いて前記積分された値に対する補間を行う、請求項１に記載の映像処理装置。
【請求項５】
前記累積減算部は、臨界範囲を超過する前記抽出されたピクセル値を臨界範囲以内に決定する、請求項１に記載の映像処理装置。
【請求項６】
前記補間部は、既設定された補間方式を用いて前記積分されたピクセル値に対する補間を行う、請求項１に記載の映像処理装置。
【請求項７】
前記累積加算部は、各ピクセル値を累積させて加算することによってデジタル映像データを順次に積分する、請求項１に記載の映像処理装置。
【請求項８】
前記累積減算部は、各ピクセル値を累積させて減算することによってデジタル映像データを微分する、請求項１に記載の映像処理装置。
【請求項９】
所定の映像に含まれたピクセル値に対する順次的な積分を行う段階と、
前記積分されたピクセル値に対する補間を行う段階、および
前記補間されたピクセル値の所定の位置で微分を行う段階と、を含む映像処理方法。
【請求項１０】
前記補間を行う段階は、特定ピクセルが存在する領域でのピクセル値と前記補間されたピクセル値による前記領域での累積値が同一であるように前記積分されたピクセルに対する補間を行う段階を含む、請求項９に記載の映像処理方法。
【請求項１１】
前記積分されたピクセル値を抽出する段階をさらに含む、請求項１０に記載の映像処理方法。
【請求項１２】
前記補間を行う段階は、１次補間方式（Ｌｉｎｅａｒ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、２次補間方式（Ｑｕａｄｒａｔｉｃ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、３次補間方式（Ｃｕｂｉｃ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、ガウス補間方式（Ｇａｕｓｓｉａｎ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、神経回路網補間方式（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）およびＳＶＭ補間方式（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）のうち一つを用いて前記積分結果に対する補間を行う段階を含む、請求項９に記載の映像処理方法。
【請求項１３】
前記微分を行う段階は、臨界範囲を超過する前記抽出されたピクセル値を臨界範囲以内に決定する段階を含む、請求項９に記載の映像処理方法。
【請求項１４】
前記補間を行う段階は、既設定された補間方式を用いて前記積分されたピクセル値に対する補間を行う段階である、請求項９に記載の映像処理方法。
【請求項１５】
前記順次的な積分を行う段階は、各ピクセル値を累積させて加算することによってデジタル映像データを順次に積分する段階である、請求項９に記載の映像処理方法。
【請求項１６】
前記微分を行う段階は、各ピクセル値を累積させて減算することによってデジタル映像データを微分する段階である、請求項９に記載の映像処理方法。
【請求項１７】
所定の映像に含まれたピクセル値に対する順次的な積分を行う段階と、
前記積分されたピクセル値に対する補間を行う段階、および
前記補間されたピクセル値の所定の位置で微分を行う段階と、を含む映像処理方法を具現するための少なくとも一つ以上の処理素子を制御するコンピュータ判読可能コードを含む少なくとも一つ以上の媒体。
【請求項１８】
前記補間を行う段階は、特定ピクセルが存在する領域でのピクセル値と前記補間結果によって前記領域での累積値が同一であるように前記積分されたピクセルに対する補間を行う段階を含む、請求項１７に記載の媒体。
【請求項１９】
前記積分されたピクセル値を抽出する段階をさらに含む、請求項１８に記載の媒体。
【請求項２０】
前記補間を行う段階は、１次補間方式（Ｌｉｎｅａｒ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、２次補間方式（Ｑｕａｄｒａｔｉｃ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、３次補間方式（Ｃｕｂｉｃ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、ガウス補間方式（Ｇａｕｓｓｉａｎ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、神経回路網補間方式（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）およびＳＶＭ補間方式（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）のうち一つを用いて前記積分結果に対する補間を行う段階を含む、請求項１７に記載の媒体。
【請求項２１】
前記微分を行う段階は、臨界範囲を超過する前記抽出されたピクセル値を臨界範囲以内に決定する段階を含む、請求項１７に記載の媒体。
【請求項２２】
前記補間を行う段階は、既設定された補間方式を用いて前記積分されたピクセル値に対する補間を行う段階である、請求項１７に記載の媒体。
【請求項２３】
前記順次的な積分を行う段階は、各ピクセル値を累積させて加算することによってデジタル映像データを順次に積分する段階である、請求項１７に記載の媒体。
【請求項２４】
前記微分を行う段階は、各ピクセル値を累積させて減算することによってデジタル映像データを微分する段階である、請求項１７に記載の媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置、方法および媒体に関するものであって、より詳細には、デジタル映像に含まれた各ピクセル領域でのピクセル値と所定補間方式によって抽出された補間データの平均値が同一であるように補間を行う映像処理装置、方法および媒体に関するものである。
【背景技術】
【０００２】
過去には信号または情報を処理するためにアナログ方式を用いたが、これはデジタル方式に転換され、現在には実生活の多くの分野がデジタル化されつつある。
【０００３】
特に、映像分野でこのような現象は著しく現れており、アナログＴＶはデジタルＴＶに代替されて行く傾向であり、アナログカメラもデジタルカメラに代替されつつある。
【０００４】
これに伴い、デジタル映像処理（Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ）に対する多くの研究が進められており、その中映像補間（Ｉｍａｇｅ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）に対する研究も盛んに進められている。
【０００５】
一般的に、映像補間方法としては、線形補間（Ｌｉｎｅａｒ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、最近接画素補間（Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、キュービック補間（Ｃｕｂｉｃ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）およびキュービック−スプライン補間（Ｃｕｂｉｃ−Ｓｐｌｉｎｅ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）などがある。しかし、このような方法は、すべて隣接するピクセルを点と見なして補間を行う方法である。
【０００６】
しかし、デジタル映像の場合、それぞれのピクセルは領域と見なすことができる。デジタルカメラまたはスキャナーなどの映像入力装置で対象体を撮影した場合、映像入力装置はレンズを通じて集められた光の量をＣＣＤのような集光素子によってデジタル化する。したがって、各ピクセルはレンズを通じて入力された一定の領域で特定の明るさの平均値を有するようになる。これはコンピュータによって生成されたグラフィック映像も同様である。
【０００７】
このような理由から映像データを既存の点に基づく補間方法で補間する場合、意図しない誤差とわい曲が生じ得る。このようなわい曲が映像の品質に及ぼす代表的な効果は、補間によって復元された映像が実際映像より滑らかに（ｓｍｏｏｔｈ）なり、ぼやけ（ｂｌｕｒｒｉｎｇ）が生じることである。
【０００８】
デジタル映像処理技術、特に、デジタル映像補間技術ＴＶ、モニターをはじめとする映像出力装置、プリンタなどの印刷装置およびカメラとスキャナーのような映像入力装置に用いることができ、その使用領域としては、軍事、医療、放送、産業および家電など多くの分野が含まれる。また、ユーザの意識水準の向上によって品質の向上が重要な働きをするため、より高速でより高品質の映像の提供がデジタル映像処理分野において重要な要素として作用する。
【０００９】
したがって、与えられた映像情報だけを用いて多くの演算時間が必要とされない高品質の補間された映像を抽出する発明の登場が要求される。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、一連のデジタル映像データを順次に積分し、これによって形成されたグラフを微分して該当デジタル映像に対する補間を行うことにその目的がある。
【００１１】
本発明の目的は、以上で言及した目的に制限されなく、言及されていないまた他の目的は次の記載から当業者に明確に理解できるであろう。
【課題を解決するための手段】
【００１２】
前記目的を達成するために本発明の実施形態による映像処理装置は、所定の映像に含まれたピクセル値に対する順次的な積分を行う累積加算部と、前記積分されたピクセル値に対する補間を行う補間部、および前記補間されたピクセル値の所定の位置で微分を行う累積減算部と、を含む。
【００１３】
本発明の実施形態による映像処理方法は、所定の映像に含まれたピクセル値に対する順次的な積分を行う段階と、前記積分されたピクセル値に対する補間を行う段階、および前記補間されたピクセル値の所定の位置で微分を行う段階と、を含む。
【００１４】
本発明の実施形態による少なくとも一つ以上の媒体に含まれたコンピュータ判読可能コードによって制御される少なくとも一つ以上の処理素子で具現される映像処理方法は、所定の映像に含まれたピクセル値に対する順次的な積分を行う段階と、  前記積分されたピクセル値に対する補間を行う段階、および前記補間されたピクセル値の所定の位置で微分を行う段階と、を含む。
【００１５】
その他実施形態の具体的な内容は詳細な説明および図に含まれている。
【発明の効果】
【００１６】
前記したような本発明の映像処理装置、方法および媒体によればデジタル映像に含まれた各ピクセル領域でのピクセル値と所定補間方式によって抽出された補間データの平均値が同一であるように補間を行うことによって演算量およびぼやける現象が多くない状態で該当デジタル映像を拡大できる長所がある。
【発明を実施するための最良の形態】
【００１７】
本発明の利点、特徴、およびそれらを達成する方法は、添付される図面と共に詳細に後述される実施形態を参照すれば明確になるであろう。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態で具現されることが可能である。本実施形態は、単に本発明の開示が完全になるように、本発明が属する技術分野で通常の知識を有する者に対して発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇によってのみ定義される。なお、明細書全体にかけて、同一の参照符号は同一の構成要素を指すものとする。
【００１８】
以下、添付された図面を参照して本発明の好ましい実施形態を詳細に説明する。
【００１９】
図１は、本発明の実施形態による映像処理装置を表すブロック図であって、映像処理装置１００はピクセル値抽出部１１０、累積加算部１２０、補間部１３０、累積減算部１４０、制御部１５０、映像入力部１６０、保存部１７０および映像出力部１８０を含み構成される。
【００２０】
映像入力部１６０は映像を入力受ける役割を果たす。ここで、入力された映像はアナログ映像またはデジタル映像であり得るが、映像入力部１６０は入力されたアナログ映像をデジタルに変換することもできる。
【００２１】
ピクセル値抽出部１１０は、映像入力部１６０に入力された映像に含まれたピクセルのピクセル値を順次に抽出する役割を果たす。例えば、ピクセル値抽出部１１０は左側上段に位置したピクセルを始まりとして右側に一ピクセルずつ移動しつつ、該当ピクセルのピクセル値を抽出するものである。
【００２２】
ここで、ピクセル値は、映像入力部１６０に入力された映像のカラーモデルによって変わり得、これによって、ピクセル値は、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）モデル、ＣＭＹＫ（Ｃｙａｎ  Ｍａｇｅｎｔａ  Ｙｅｌｌｏｗ  ｂｌａｃＫ）モデル、ＣＩＥ（Ｃｏｍｍｉｓｓｉｏｎ  Ｉｎｔｅｒｎａｔｉｏｎａｌｅ  ｄｅ  ｌ’Ｅｃｌａｉｒａｇｅ）  ＬＡＢモデル、ＣＩＥ  ＸＹＺモデルまたはＣＩＥ  ＬＵＶモデルによる色の輝度を含む。
【００２３】
累積加算部１２０は、ピクセル値抽出部１１０によって抽出されたピクセル値を累積させて合算する役割を果たす。例えば、入力された映像の色分布が白黒で構成されており、抽出されたピクセル値が１００，１２５，２００のような順序で抽出される場合、累積加算部１２０によって累積された値は１００，２２５，４２５のような順序で行われるものである。
【００２４】
累積加算部１２０の役割に対する物理的な意味は、点基盤のピクセルを領域基盤のピクセルに変換することである。すなわち、累積加算部１２０は一つのピクセルが占める領域（以下、ピクセル領域という）を点基盤から領域基盤に変換するところであって、アナログ信号を累積するためには一般的に空間に対して積分を行うが、デジタル映像データは離散データであるため累積加算部１２０は各データ（ピクセル値）を累積合算する方式で積分を行うようになる。
【００２５】
累積加算部１２０によって累積したピクセル値は臨時に保存されていることが好ましいが、これによって、映像処理装置１００には保存部１７０が具備されていることもある。
【００２６】
保存部１７０は、ハードディスク、フラッシュメモリ、ＣＦカード（Ｃｏｍｐａｃｔ  Ｆｌａｓｈ  Ｃａｒｄ）、ＳＤカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ  Ｃａｒｄ）、ＳＭカード（Ｓｍａｒｔ  Ｍｅｄｉａ（登録商標）Ｃａｒｄ）、ＭＭＣ（Ｍｕｌｔｉｍｅｄｉａ  Ｃａｒｄ）またはメモリスティック（Ｍｅｍｏｒｙ  Ｓｔｉｃｋ）など情報の入出力が可能なモジュールであって映像処理装置１００の内部に具備され得、別途の装置に具備されることもある。
【００２７】
補間部１３０は、所定補間方式を用いて累積加算部１２０によって積分された結果に対する補間を行う。これによって、一つのピクセル領域に複数の互いに異なる補間データが存在することができる。この時、補間部１３０は、特定ピクセルが存在する領域でのピクセル値と補間データの平均値が同一であるように補間を行うことができるが、補間方式としては、１次補間方式（Ｌｉｎｅａｒ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、２次補間方式（Ｑｕａｄｒａｔｉｃ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、３次補間方式（Ｃｕｂｉｃ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、ガウス補間方式（Ｇａｕｓｓｉａｎ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、神経回路網補間方式（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）またはＳＶＭ補間方式（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）などが用いられ得る。
【００２８】
ピクセルは、デジタル化された一つの点であって、ピクセルが存在する領域すなわち、ピクセル領域内では一つのピクセル値だけがマッピングされることができる。しかし、補間部１３０による補間結果はピクセル領域内でも可変されうる。すなわち、順次に抽出されたピクセルを１次元的に並べて、各ピクセルの区間に対応する程度の間隔をおいて各ピクセルが配置されているとする時、ピクセル間の間隔とピクセル値の積で算出された広さは該当間隔での補間結果の累積値と同一に形成されるものである。補間結果に対する詳しい説明は図２を参照して後述する。
【００２９】
累積減算部１４０は、補間部１３０による補間結果の所定の位置で微分を行う役割を果たす。すなわち、累積減算部１４０は、累積加算部１２０によって領域基盤に変換されたピクセルを点基盤に変換する役割を果たすものである。
【００３０】
アナログ信号に対するこのような逆変換は空間に対する微分で行われるが、デジタル映像データは離散データであるため累積減算部１４０は、各データを累積差分する方式で微分を行う。
【００３１】
ここで、ピクセルの間でのピクセル値は映像の拡大比率によってその位置が可変されうる。例えば、映像の横および縦比率が各々２倍拡大される場合、ピクセルの間でピクセル値がマッピングされる位置は該当ピクセルの中央に該当し、映像の横および縦比率が各々３倍拡大される場合、ピクセルの間でピクセル値がマッピングされる位置は該当ピクセルの１／３および２／３地点に値するものである。
【００３２】
逆変換によって臨界範囲を超過するピクセル値が算出されうるが、この時、累積減算部１４０は、臨界範囲を超過するピクセル値を臨界範囲以内に決定することができる。補間部１３０による補間結果は、ピクセル値のパターンによってその形態が決定されるが、これによって、ピクセル値が有しうる臨界範囲を超過しうる。例えば、ピクセル値が０〜２５５の値を有しうる場合、逆変換によって算出されたピクセル値が０未満であるか２５５超過でありうる。この時、累積減算部１４０は、０未満であるピクセル値を０と決定したり２５５超過であるピクセル値を２５５と決定したりする。
【００３３】
一つの映像（動画の場合一つのフレーム）に対する微分が完了する時まで各ピクセル領域およびピクセルの間のピクセル値は保存部１７０に臨時に保存されうる。
【００３４】
映像出力部１８０は、累積減算部１４０によって抽出されたピクセル値によって変換された映像を表示する役割を果たす。映像出力部１８０は、入力された映像信号をディスプレーできる陰極線管（ＣＲＴ、Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、液晶画面（ＬＣＤ、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、発光ダイオード（ＬＥＤ、Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、有機発光ダイオード（ＯＬＥＤ、Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）またはプラズマディスプレイ（ＰＤＰ、Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）などの映像表示手段が具備されたモジュールであって伝達された映像情報をディスプレーする役割を果たす。
【００３５】
制御部１５０は、ピクセル値抽出部１１０、累積加算部１２０、補間部１３０、累積減算部１４０、映像入力部１６０、保存部１７０および映像出力部１８０間のデータ伝達と映像処理装置１００の全般的な制御を行う。
【００３６】
図２は、本発明の実施形態による補間結果をグラフで示す図である。
【００３７】
一連のピクセルが１次元的に配置されるとする時、図２に図示するように各ピクセル間の間隔２５０ほどのピクセルの位置２０２に応じて横方向にそのマッピングされたサイズが存在すると仮定することができる。ここで、縦方向を該当ピクセルのピクセル値２０１とする時、該当領域でのピクセル値は一つの値だけを有しうるため、結局、それぞれのピクセルは図２でのように長方形の形態で図示することができる。
【００３８】
図２で点線は３次補間方式による結果２２０を示す。典型的な点基盤の補間方式である３次補間方式によれば、３次補間方式による結果２２０は各ピクセル点２９０を通過するようになっている。ここで、ピクセル点２９０は、２次元ピクセル領域の中央を連結した延長線のうちピクセル値がマッピングされた位置を意味するものであって、すなわち、各ピクセル領域の中央上段２９０にピクセル値がマッピングされていると仮定する時、３次補間方式による結果は各ピクセル領域の中央上段２９０を通過するようにその形態が決定されるものである。これは、映像を拡大することにおいて現在存在するピクセルのピクセル値を保存するには効果的でありうるが、補間されるピクセルのピクセル値を決定するには非効果的でありうる。すなわち、１次、２次または３次補間方式によって拡大された映像はぼやける現象（Ｂｌｕｒｒｉｎｇ）がともなうからである。
【００３９】
このようなぼやける現象は、各ピクセル領域でのピクセル値と補間データの平均値が互いに相異なることに起因するものでありうるが、これをまた説明すれば、ピクセル間の間隔２５０に該当ピクセルのピクセル値２０１を乗じたピクセルの累積値と、ピクセル間の間隔２５０での該当補間結果の累積値が互いに相異なることに起因するものである。これに対する詳しい説明は図３から図４を参照して後述する。
【００４０】
図２で実線は本発明の実施形態による補間結果２１０を示す。従来の補間方式による結果が各ピクセル点を通過することに反して本発明の補間結果２１０はこれに拘らずピクセル領域での累積値の同一化に基礎をおく。すなわち、ピクセル領域でのピクセルの累積値と補間データの累積値が同一であるように補間結果２１０が形成される。前述したように、本発明の補間結果２１０もまた従来の１次補間方式、２次補間方式または３次補間方式などによって形成されうるが、従来の方式による補間結果と本発明の補間結果２１０との差異点はピクセル領域でのピクセルの累積値と補間結果の累積値間の同一性にあるといえる。ここで、ピクセルの累積値または補間結果の累積値は累積加算部１２０によって算出されうる。
【００４１】
図３から図４は、従来の補間方式による結果と本発明の実施形態による補間結果をグラフで示す図である。
【００４２】
前述したように、一連のピクセルが１次元的に配置されるとする時、それぞれのピクセルは各ピクセル間の間隔ほどその区間のサイズが存在すると仮定することができる。図３で各ピクセルに対する区間のサイズはｗ３１９に該当する。
【００４３】
図３において３次補間方式によるグラフ３１０は各ピクセル領域の中央上段にマッピングされているピクセル値３１１，３１２，３１３を通過することを示している。すなわち、映像が拡大される場合、存在しているピクセルのピクセル値はそのまま保存されつつ、ピクセルの間に挿入されるピクセルのピクセル値３１４，３１５のみがグラフ３１０によって算出されるものである。
【００４４】
一方、図４は、本発明の実施形態による補間グラフ３２０を示す図であって、補間グラフ３２０は各ピクセル区間にマッピングされているピクセル値３２１，３２２ａ、３２３に関係がなくピクセルの累積値と補間グラフ３２０による累積値が同一であるように形成される。言い換えると、ピクセル区間内でピクセル値によって示される棒グラフの面積と補間データによって形成された関数の面積が同一であるように形成される。図４においてｉ番目ピクセルの累積値３５１はピクセル間の間隔すなわち、ピクセルに対する区間のサイズがｗ３２９であり、ピクセル値がｆ（ｉ）３２２ａであるからｗ×ｆ（ｉ）となる。この時、図３でのようにグラフ３１０がｆ（ｉ）３１２地点を通過すると、グラフ３１０による累積値がピクセルの累積値より大きくなる。一方、図４においてｉ領域での補間グラフ３２０による累積値３５２はピクセルの累積値３５１と同一になる。
【００４５】
これによって、映像の拡大時、ｉ領域でのピクセル値はｆ（ｉ）３２２ａより低い値であるＰ（ｉ）  ３２２ｂになり、ｉ−１番目ピクセルとｉ番目ピクセル間に補間されるピクセルのピクセル値はＰ（ｉ−１）３２４になり、ｉ番目ピクセルとｉ＋１番目ピクセル間に補間されるピクセルのピクセル値はＰ（ｉ＋１）３２５になる。
【００４６】
言い換えると、従来の補間方式は存在するピクセルのピクセル値を保存する反面、補間後にその区間内に存在する補間データの平均値を保存しないが、本発明の実施形態による補間方式は存在するピクセルのピクセル値を保存しない反面、補間後にその区間内に存在する補間データの平均値を保存するものである。
【００４７】
したがって、従来の方式による場合、隣接するピクセル間に増減されたピクセル値が補間されたピクセルにも影響を及ぼすため、ぼやける現象が著しく生じるが、本発明の実施形態による場合このようなぼやける現象を減少させることができる。
【００４８】
図５から図９は、本発明の実施形態による補間結果が形成される過程を示す概念図であって、図５は、０〜２５５のピクセル値を有する一連のピクセルが１次元的に配置されているものを示す。ここで、ピクセル値は、一つの次元に対応されて形成されたものであって単色で構成されたものを示しているが、これはあくまでも例示的なものに他ならず、その具現の可否によってカラーである映像にも応用して適用され得る。例えば、ＲＧＢ映像の場合Ｒ、Ｇ、Ｂ各々に本発明を適用すればピクセル領域の平均値が保存されるカラー映像を具現することができる。
【００４９】
図６は、図５のピクセルパターンによるピクセルの累積値を示す。そして、図７は、図６の累積値に基づいて形成された補間結果を示すグラフであって、これは各ピクセル領域でのピクセルの累積値と同一である累積値を有するように形成される。
【００５０】
図８は、図７のグラフを微分した補間グラフと図５のピクセルを対応させて図示する図面であって、図９は、図８に基づいて拡大された映像のピクセルを示す図である。ここで、拡大された映像のピクセルのピクセル値は拡大前の映像でピクセル領域の中央を通過する補間グラフのピクセル値４４１と隣接するピクセルの間を通過する補間グラフのピクセル値４４２によって決定される。これについての詳しい説明は図３を参照して前述したため省略する。
【００５１】
一方、特定ピクセル領域でピクセル値による累積値（以下、第１累積値という）と補間グラフによる累積値（以下、第２累積値という）が同一であるようにする補間グラフはその形態によって多様に存在しうる。図１０は、これを示しているが、５１０のように補間グラフの傾きをなだらかにした場合の第２累積値５１５と５２０のように補間グラフの傾きを急激にした場合の第２累積値５２５は同一であり得る。すなわち、補間グラフの傾きによって復元される映像の品質が変わることもあり得、補間グラフの傾きはユーザによって適切に選択されて入力されるのが好ましい。
【００５２】
図１１は、本発明の実施形態による映像処理過程を示すフローチャートである。
【００５３】
映像処理装置１００の映像入力部１６０は映像を入力受ける（Ｓ６１０）。ここで、入力された映像はデジタル映像であることが好ましいが、そのカラーモデルに応じて加法または減法モデルの映像が入力されることもできる。
【００５４】
入力された映像は、ピクセル値抽出部１１０に伝達され、ピクセル値抽出部１１０は、伝達された映像に含まれたピクセルのピクセル値を順次に抽出する（Ｓ６２０）。ここで、ピクセル値は映像入力部１６０に入力された映像のカラーモデルに応じてＲＧＢモデル、ＣＭＹＫモデル、ＣＩＥ  ＬＡＢモデル、ＣＩＥ  ＸＹＺモデルまたはＣＩＥ  ＬＵＶモデルによる色の輝度を含む。
【００５５】
抽出されたピクセル値は累積加算部１２０に伝達され、累積加算部１２０は伝達されたピクセル値を累積させて合算する（Ｓ６３０）。累積加算部１２０によって累積されたピクセル値は保存部１７０に臨時保存されて、補間部１３０は、所定補間方式を用いて保存部１７０に保存されたピクセル値に対する補間を行う（Ｓ６４０）。この時、補間部１３０は一つのフレームに対する映像のピクセル値がすべて保存部１７０に保存された後に補間を行うことができ、ピクセル値が累積する時度に補間を行うこともできる。
【００５６】
補間部１３０によって行われる補間は、１次補間方式、２次補間方式、３次補間方式、ガウス補間方式、神経回路網補間方式またはＳＶＭ補間方式によって行われうる。
【００５７】
補間結果は累積減算部１４０に伝達され、累積減算部１４０は補間結果の所定の位置で微分を行う（Ｓ６５０）。この時、微分を行うことによって抽出されたピクセル値が臨界範囲を超過することもあるが、累積減算部１４０は抽出されたピクセル値が臨界範囲を超過するのかを確認して（Ｓ６６０）臨界範囲を超過するピクセル値を臨界範囲以内に決定することができる（Ｓ６７０）。
【００５８】
累積減算部１４０によって抽出されたピクセル値は保存部１７０に臨時に保存されて、補間結果に対するピクセル値抽出が完了した場合、映像出力部１８０は該当映像をディスプレーする（Ｓ６８０）。
【００５９】
図１２から図１４は、本発明の実施形態によって処理された映像およびその結果を示す図である。
【００６０】
実験は元の映像７００を１次補間方式によって縮小させた実験映像７０５を１次補間方式、３次補間方式、最近接画素補間および本発明の実施形態による補間を行った後に各拡大された映像７１０，７２０，７３０，７４０と元の映像７００と間の差異を算出したものである。
【００６１】
図１２に示すように、１次補間方式および３次補間方式によって拡大された映像７３０，７４０にはぼやける現象が著しく生じ、最近接画素補間方式によって拡大された映像７２０にはブロック化現象が生じていることが分かる。反面、本発明の実施形態による補間方式によって拡大された映像７１０は、１次補間方式、３次補間方式および最近接画素補間方式によって拡大された映像７２０，７３０，７４０に比べて、ぼやける現象およびブロック化現象が少なく生じたことが分かる。
【００６２】
図１３は、実験結果を数値的で算出したテーブル７５０であって、テーブル７５０はピクセル誤差７５１、明るさ７５２および鮮明度７５３を含む。
【００６３】
ピクセル誤差７５１は、元の映像に含まれたピクセルと拡大された映像に含まれたピクセルを１対１で比較した後、その誤差を算出したものであって、その値が小さいほど元の映像と類似であることを意味するが、本発明の実施形態による補間方式による誤差が従来の補間方式による誤差より小さく算出されたことを示す。
【００６４】
明るさ７５２は、元の映像の明るさと拡大された映像の明るさを比較したものであって、元の映像の明るさと類似の明るさを示すほど元の映像と類似することを意味するが、本発明の実施形態による補間方式による誤差が従来の補間方式による誤差より類似に算出されることを示す。
【００６５】
鮮明度７５３は、元の映像の鮮明度と拡大された映像の鮮明度を比較したものであって、元の映像の鮮明度と類似の鮮明度を示すほど元の映像と類似であることを意味するが、本発明の実施形態による補間方式による誤差が従来の補間方式による誤差より類似に算出されたことを示す。
【００６６】
図１４は図１２の実験によって拡大された映像のうち３次補間方式による映像、本発明の実施形態による補間方式による映像および元の映像に含まれたピクセルのうち選択された一連のピクセルのピクセル値をグラフ７９１，７９２，７９３で示す図である。
【００６７】
図１４に示すように、３次補間方式によるグラフ７９３より本発明の実施形態による映像のグラフ７９２が元の映像のグラフ７９１と類似に配置されたことが分かる。
【００６８】
図１５から図２０は、本発明の実施形態によって処理された映像およびその過程を示す図である。
【００６９】
図１５は、補間を行う前の映像であって、この映像は図１６のようなピクセル値を有しており、これを本発明の実施形態によって変換すれば図１７のように示される。そして、図１７に対する補間結果は、図１８と同じであり、これを本発明の実施形態によって逆変換すると、図１９のようになり、これによって、図１５の映像は図２０のように変換されて出力される。
【００７０】
添付されたブロック図の各ブロックとフロ−チャートの組合わせはコンピュータプログラムインストラクションにより実行可能なのが理解できるであろう。これらコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータまたはその他のプログラマブルデータプロセッシング装備のプロセッサーに搭載されうるので、コンピュータまたはその他のプログラマブルデータプロセッシング装備のプロセッサーを通じて実行されるそのインストラクションがフローチャートのブロックで説明された機能を行う手段を生成するように機構を作れる。
【００７１】
これらコンピュータプログラムインストラクションは特定方式で機能を具現するためにコンピュータまたはその他のプログラマブルデータプロセッシング装備を指向できるコンピュータ利用可能またはコンピュータ判読可能メモリに保存されることも可能なので、そのコンピュータ利用可能またはコンピュータ判読可能メモリに保存されたインストラクションはフローチャートのブロックで説明された機能を行うインストラクション手段を内包する製造品目を生産することも可能である。
【００７２】
コンピュータプログラムインストラクションはコンピュータまたはその他のプログラマブルデータプロセッシング装備上に搭載することも可能なので、コンピュータまたはその他のプログラマブルデータプロセッシング装備上で一連の動作段階が実行されてコンピュータで実行されるプロセスを生成し、コンピュータまたはその他のプログラマブルデータプロセッシング装備を行うインストラクションはフローチャートのブロックで説明された機能を実行するための段階を提供することも可能である。
【００７３】
また、各ブロックは特定の論理的機能を行うための一つ以上の実行可能なインストラクションを含むモジュール、セグメントまたはコードの一部を示すことができる。また、いくつの代替実行例では、ブロックで言及された機能が順序を外れて発生することも可能であるということに注目せねばならない。例えば、連続して図示されている２つのブロックは、実質的に同時に行われてもよく、またはそのブロックが時々該当する機能によって逆順に行われてもよい。
【００７４】
また、少なくとも一つ以上の本発明の実施形態は前述した実施形態を具現するための少なくとも一つ以上の処理素子を制御するためのコンピュータ判読媒体のような媒体上のコンピュータ判読コード／インストラクションを通して具現されうる。媒体はコンピュータ判読コードの保存および／または伝送を許容する媒体でありうる。
【００７５】
コンピュータ判読コードは多様な方法で媒体上に保存されたり伝送され得る。媒体の例示的なものとしては、磁気保存媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学保存媒体（例えば、ＣＤ−ＲＯＭまたはＤＶＤ）およびインターネットを通じたものだけではなく搬送波（ｃａｒｒｉｅｒ  ｗａｖｅ）のような保存／伝送媒体を含む。ここで、本発明の実施形態による媒体は合成信号（ｒｅｓｕｌｔａｎｔ  ｓｉｇｎａｌ）またはビットストリーム（ｂｉｔｓｔｒｅａｍ）のような信号を含む。媒体は分散されたネットワークであり得るが、これによってコンピュータ判読コードは保存／伝送されて分散された形態で具現されうる。
【００７６】
以上添付された図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野で通常の知識を有する者は、本発明が、その技術的思想や必須の特徴を変更せずに他の具体的な形態で実施され得ることを理解できるものである。したがって、上記実施形態はすべての面で例示的なものであり、限定的でないものと理解しなければならない。
【図面の簡単な説明】
【００７７】
【図１】本発明の実施形態による映像処理装置を示すブロック図である。
【図２】本発明の実施形態による補間結果をグラフで示す図である。
【図３】従来の補間方式による結果と本発明の実施形態による補間結果をグラフで示す図である。
【図４】従来の補間方式による結果と本発明の実施形態による補間結果をグラフで示す図である。
【図５】本発明の実施形態による補間結果が形成される過程を示す概念図である。
【図６】本発明の実施形態による補間結果が形成される過程を示す概念図である。
【図７】本発明の実施形態による補間結果が形成される過程を示す概念図    である。
【図８】本発明の実施形態による補間結果が形成される過程を示す概念図である。
【図９】本発明の実施形態による補間結果が形成される過程を示す概念図である。
【図１０】本発明の実施形態による互いに異なる傾きの補間結果を示す図である。
【図１１】本発明の実施形態による映像処理過程を示すフローチャートである。
【図１２】本発明の実施形態によって処理された映像およびその結果を示す図である。
【図１３】本発明の実施形態によって処理された映像およびその結果を示す図である。
【図１４】本発明の実施形態によって処理された映像およびその結果を示す図である。
【図１５】本発明の実施形態によって処理された映像およびその過程を示す図である。
【図１６】本発明の実施形態によって処理された映像およびその過程を示す図である。
【図１７】本発明の実施形態によって処理された映像およびその過程を示す図である。
【図１８】本発明の実施形態によって処理された映像およびその過程を示す図である。
【図１９】本発明の実施形態によって処理された映像およびその過程を示す図である。
【図２０】本発明の実施形態によって処理された映像およびその過程を示す図である。
【符号の説明】
【００７８】
１１０    ピクセル値抽出部
１２０    累積加算部
１３０    補間部
１４０    累積減算部
１５０    制御部
１６０    映像入力部
１７０    保存部
１８０    映像出力部
【図１】
2009542153.tif 000003
【図２】
2009542153.tif 000004
【図３】
2009542153.tif 000005
【図４】
2009542153.tif 000006
【図５】
2009542153.tif 000007
【図６】
2009542153.tif 000008
【図７】
2009542153.tif 000009
【図８】
2009542153.tif 000010
【図９】
2009542153.tif 000011
【図１１】
2009542153.tif 000012
【図１３】
2009542153.tif 000013
【図１５】
2009542153.tif 000014
【図１６】
2009542153.tif 000015
【図１７】
2009542153.tif 000016
【図１８】
2009542153.tif 000017
【図１９】
2009542153.tif 000018
【図２０】
2009542153.tif 000019
【図１０】
2009542153.tif 000020
【図１２】
2009542153.tif 000021
【図１４】
2009542153.tif 000022
【国際調査報告】
2009542153.tif 000023
2009542153.tif 000024