(57)【要約】【課題】  デジタル符号化画像の解像度変換処理を高速かつ高画質に行うことが出来る画像処理装置を提供する。【解決手段】  主画像信号及び前記主画像信号に係るサムネイル画像信号とを入力する入力手段と、前記サムネイル画像信号に基づいて前記サムネイル画像信号に対応する主画像信号の特徴を検出する特徴検出手段と、前記特徴検出手段の検出結果に基づいて複数種類の解像度変換方式より前記主画像信号に対して適用すべき解像度変換方式を決定し、この決定した解像度変換方式により前記主画像信号に対して解像度変換処理を施す解像度変換手段とを備えることを特徴とする。【選択図】        図１
2006313415.tif 000002
【特許請求の範囲】
【請求項１】
主画像信号及び前記主画像信号に係るサムネイル画像信号とを入力する入力手段と、
前記サムネイル画像信号に基づいて前記サムネイル画像信号に対応する主画像信号の特徴を検出する特徴検出手段と、
前記特徴検出手段の検出結果に基づいて複数種類の解像度変換方式より前記主画像信号に対して適用すべき解像度変換方式を決定し、この決定した解像度変換方式により前記主画像信号に対して解像度変換処理を施す解像度変換手段とを備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特には画像信号の解像度変換処理に関する。
【背景技術】
【０００２】
近年デジタルカメラが急速に普及し、多くのユーザに利用されている。デジタルカメラは、撮影した画像をＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）と呼ばれる圧縮符号化方式により符号化し、デジタルデータとしてＨＤＤやメモリーカードなどのメディアに保存する。ユーザはこの画像をＰＣなどで閲覧し、またプリンタで印刷するなどして利用している。
【０００３】
デジタルカメラで撮像したＪＰＥＧ画像をテレビ画面で閲覧したいという要求もある。デジタル符号化画像を閲覧するためにはデコーダが必要であるが、テレビ内にこのデコーダを用意しておけば、テレビ内のＨＤＤ等に蓄積しておいたデジタル画像、またはメモリーカードをテレビの差込口に挿入することなどで、デジタル画像をいつでもテレビで閲覧することが可能となる。
【０００４】
デジタルカメラによるデジタル画像は高精細化されてきており、また今後もデジタル画像の高精細化は進むものと考えられる。しかしながらテレビの解像度はこれほど高精細ではないため、例えばデジタル画像を全画面表示する場合には解像度変換処理が必須となっている。
【０００５】
デジタル画像の解像度変換処理には様々な手法が考えられているが、おおきく分けて空間領域における解像度変換と、周波数領域における解像度変換がある。空間領域における解像度変換手法の代表的なものとしては、ニアレストネイバー法、バイリニア法、バイキュービック法があげられる。ニアレストネイバー法は、変換後の画素位置に最も近い元画像の画素を新しい画素値とする方法であり、演算量は少ないため処理速度は高速であるが、画質は非常に悪い。バイリニア法は１次補間の一種であり、求める画素値の近傍４点を利用して線形補間する方法である。二アレストネイバー法と比較し画質は向上しているが、処理速度は低速である。バイキュービック法は３次補間の一種であり、求める画素値の近傍１６画素を利用して補間する。演算量が多いため処理速度は非常に遅いが、画質は前述の２手法より一般的には良いとされている解像度変換手法である。周波数領域における解像度変換手法は、ＤＣＴ変換した係数を削除、または０値を挿入するなどして解像度変換を行う手法である。テレビにデジタル画像を表示する際には、これらの手法のいずれかを利用して解像度変換が行われることになる（例えば、特許文献１参照。）。
【特許文献１】特開平１１−８８３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上述のように解像度変換処理を行う場合、処理の高速化と高画質化の両方を望むことはできない。空間領域における解像度変換手法を例にとると、ニアレストネイバー法を用いれば高速処理が可能であるため、テレビにデジタル画像の表示を瞬時に行うことが可能であるが、画質が悪いため、十分に閲覧に耐えるものであるとは言いがたい。またバイキュービック法などを利用する場合は、高画質に解像度変換を行うため閲覧時に違和感を持つことはないが、処理量の多さのため表示に時間がかかり、瞬時の応答性が損なわれてしまう。
【０００７】
本発明は上記方法の問題点を解決し、解像度変換処理を施した場合にも高精細な画像を得ることが出来る画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を解決するため、本発明においては、主画像信号及び前記主画像信号に係るサムネイル画像信号とを入力する入力手段と、前記サムネイル画像信号に基づいて前記サムネイル画像信号に対応する主画像信号の特徴を検出する特徴検出手段と、前記特徴検出手段の検出結果に基づいて複数種類の解像度変換方式より前記主画像信号に対して適用すべき解像度変換方式を決定し、この決定した解像度変換方式により前記主画像信号に対して解像度変換処理を施す解像度変換手段とを備える。
【発明の効果】
【０００９】
本発明によれば、サムネイル画像を利用してデジタル符号化画像の特徴を効率的に把握することで、このデジタル符号化画像の解像度変換を高速かつ高画質に行うことが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下本発明を実施するための最良の形態を、実施例により詳しく説明する。
【実施例】
【００１１】
図１は本発明に係わるデジタル符号化画像の解像度変換システムの全体構成を示すブロック図である。システム内のモジュール間における矢印はデータの流れを示しており、太い矢印が画像データなどの本システムで扱う主データの流れを示し、細い矢印が制御信号等を示している。以下、各モジュールについての説明を行う。
【００１２】
デジタル符号化画像の解像度変換システム１００は、符号化画像１２０を入力し、復号処理および解像度変換処理を施した後に出力画像１２１として出力する解像度変換システムである。符号化画像１２０の入力方法はデジタルカメラによる撮影画像を蓄積するためのＣＦ（Ｃｏｍｐａｃｔ  Ｆｌａｓｈ（登録商標））カードなどのメモリーカードであり、出力先はテレビなどの表示装置である。
【００１３】
入力された符号化画像１２０はサムネイル情報分離部１０１においてサムネイル画像とデジタル符号化画像に分離される。その後、デジタル符号化画像は画像復号部１０５へ送出され、サムネイル画像は直接特徴抽出部１０３へ、またはサムネイルが符号化されておりかつ復号する必要がある場合はサムネイル復号部１０２へ送出された後に特徴抽出部１０３へ送出される。サムネイル画像とデジタル符号化画像は、図２に示される構成でデータが保持されている。図２はＤＣＦ（Ｄｅｓｉｇｎ  ｒｕｌｅ  ｆｏｒ  Ｃａｍｅｒａ  Ｆｉｌｅ  ｓｙｓｔｅｍ）基本ファイルの構成を示しており、現在のデジタル画像の撮影において、ほとんどのデジタルカメラが採用しているファイルシステム規格の構成図である。デジタル画像はヘッダ部と主データ部に分かれており、ヘッダ部にサムネイル２０１が保存され、主データ部にデジタル符号化画像２０２が保存される構成となっている。またサムネイル２０１は圧縮または非圧縮データのどちらも許されているが、通常はデジタル符号化画像２０２と同様にＪＰＥＧ圧縮されている。したがってサムネイル復号部１０２と画像復号部１０５は基本的に同じ構成となる。サムネイル情報分離部１０１では、図２においてサムネイル２０１とデジタル符号化画像２０２を分離する操作を行うことになる。
【００１４】
特徴抽出部１０３は、サムネイル情報分離部１０３において分離されたサムネイル画像を解析し、デジタル符号化画像の特徴を抽出する操作を行う。抽出方法は、サムネイル画像を複数に分割した小領域ごとにエッジ検出フィルタをかけ、その小領域におけるエッジの有無（高周波成分量）を算出し、値で示す。この値が特徴情報１１０となり、解像度変換方式決定部１０４へ送出される。解像度変換方式決定部１０４では、特徴情報１１０を利用して解像度変換方式を決定する。解像度変換方式の決定方法は、特徴情報１１０の値を利用し、ある一定値以上を示した場合はバイキュービック法を、ある一定値以下であった場合はニアレストネイバー法を、その中間に位置していた場合はバイリニア法を選択し、これをサムネイルの小領域に対応するデジタル符号化画像の解像度変換方式とする。解像度変換方式決定部において決定された方式は、方式指示信号１１１として解像度変換部１０６に送出される。
【００１５】
ここでサムネイルを特徴抽出に利用する利点について図４を用いて説明する。図４はサムネイル画像４０１とデジタル符号化画像４０２のサイズについて模式的に示した図である。サムネイル画像４０１はＤＣＦ規格に従っている場合、サイズは固定であり１６０×１２０ピクセルである。またデジタル符号化画像４０２は６４０×４８０ピクセルで撮影した画像であるとする。上記特徴抽出を、サムネイル画像４０１において８×８ピクセル単位で実行した場合、実際のデジタル符号化画像４０２上においては３２×３２ピクセルの領域を示すことになる。つまりサムネイル画像４０１に８×８ピクセルのエッジ検出フィルタを一回適用することで、デジタル符号化画像４０２上において、１６倍の領域の特徴を一度に判定することが可能となる。図４ではデジタル符号化画像４０２を６４０×４８０ピクセルサイズのものとしているが、現状のデジタル画像の解像度はこれ以上のサイズが主流であるため、サムネイル画像４０１上の小領域に対応するデジタル符号化画像４０２上のサイズはさらに大きなものとなる。したがって、サムネイル画像４０１を特徴抽出に利用することで、デジタル符号化画像４０２の画像全体の特徴を効率的に把握することが可能となる。
【００１６】
デジタル符号化画像は、画像復号部１０５で復号された後に解像度変換部１０６へ送出される。解像度変換部１０６において、復号されたデジタル符号化画像に方式指示信号１１１に従う解像度変換方式が適用され、出力画像１２１となる。
【００１７】
以上が本発明のデジタル符号化画像の解像度変換システムを示す全体構成の説明であるが、このシステムを利用して実際に解像度変換を行う場合の処理フローを、図３を用いて説明する。
【００１８】
図３は本発明の実施の形態に係わるフローチャートである。図３では図２に示すファイルシステム構成で保存されたデジタル画像を復号して解像度変換を行う場合の処理手順を示している。
【００１９】
まず、ステップＳ３０１において、サムネイルが符号化されているかどうかの判定を行う。符号化されている場合はステップＳ３０２においてサムネイルを復号し、実際の画像データ（ｒａｗ  ｄａｔａ）を取得する。符号化されていない（非圧縮な）サムネイル画像である場合はそのままの状態で利用可能であるため、図１におけるサムネイル復号部１０２にサムネイル画像を送出する必要はなく、そのまま次のステップに進む。
【００２０】
次にステップＳ３０３において、サムネイル画像の特徴抽出をする。特徴抽出は図４に示すようにサムネイルを小領域に分割し、それぞれの領域に対してエッジ検出フィルタを適用する。そして得られた小領域毎の特徴値を利用して、ステップＳ３０４において解像度変換方式を決定する。ステップＳ３０４で決定された解像度変換方式を、サムネイル上の小領域に対応するデジタル符号化画像の領域に対して、ステップＳ３０５において適用し解像度変換を実行する。
【００２１】
ステップＳ３０６において、すべての領域について解像度変換を実施したか判定し、未実施である場合はＳ３０３に戻り処理フローを繰り返す。すべての領域が終了した時点で一枚のデジタル符号化画像の解像度変換が終了することになる。
【００２２】
本実施の形態においてはサムネイル画像の特徴抽出を、サムネイルを復号した後にエッジ検出フィルタを適用するとしているが、それ以外の特徴抽出フィルタも利用可能である。その際には解像度変換方式を決定する閾値と、それに対応する解像度変換方式が異なることになる。また、サムネイル画像が符号化されている場合、復号する操作を行わなくても特徴抽出が可能である。サムネイル画像がＪＰＥＧによって符号化されている場合、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）と呼ばれる直交変換が適用されている。これは適用するブロックに対して低周波成分と高周波成分を分離する操作であるため、ＤＣＴによって得られるＤＣＴ係数を判定することにより、そのブロックの高周波成分の有無を判定することが可能となる。
【００２３】
本実施の形態においては、デジタル符号化画像の解像度変換システムについて示したが、デジタル符号化画像の解像度変換方法についても、同様の操作を行うことで同様の効果を得ることが可能である。
【００２４】
本実施の形態によれば、サムネイル画像を利用してデジタル符号化画像の特徴を抽出することで、デジタル符号化画像の特徴を、それ自身を解析するよりも速く把握することが可能であり、解像度変換を高画質にかつ高速に行うことが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施の形態に係わる、デジタル符号化画像の解像度変換システムを表すブロック図である。
【図２】本発明の実施の形態で利用するデジタル符号化画像の構成を示す図である。
【図３】本発明の実施の形態を示すフローチャートである。
【図４】本発明の実施の形態において、サムネイル画像とデジタル符号化画像とのサイズの違いを表す図である。
【符号の説明】
【００２６】
１００  デジタル符号化画像の解像度変換システム
１０１  サムネイル情報分離部
１０２  サムネイル復号部
１０３  特徴抽出部
１０４  解像度変換方式決定部
１０５  画像復号部
１０６  解像度変換部
【図１】
2006313415.tif 000003
【図２】
2006313415.tif 000004
【図３】
2006313415.tif 000005
【図４】
2006313415.tif 000006