(57)【要約】  【課題】  画像の解像度変換に高い精度を得る。適切な画像圧縮を得る。  【解決手段】  原画像を拡大した画素数の画像に拡大し（Ｓ２）、原画像を線形補間で拡大し（Ｓ３）、両拡大画像について、画素毎にその差分を計算した画像を求め（Ｓ４）、差分演算した各画素の値が設定されたしきい値以下なら当該画素の差分を０とした差分テーブルを作成し（Ｓ５〜Ｓ７）、差分テーブルの情報を原画像の参照情報として伝送する（Ｓ８）。  同じ対象物に対する複数枚の画像がもつ情報を一枚の画像に集約するため、拡大された画像と細かい部分まで撮影してある画像とについて、画素に隣接する差分誤差をとり、差分誤差がもっとも小さい部分の画素に置き換える方法も含む。画像に文字が含まれる場合、画像に対して画素数の少ない画像または画素数の多い画像との差分をとることで、当該文字の輪郭情報を得ることも含む。  【選択図】  図１
2005084812.tif 000002
【特許請求の範囲】
【請求項１】
原画像情報の解像度を変更するための画像変換方法であって、
原画像を拡大した画素数の画像に拡大した拡大画像を得る第１の画像変換処理と、
前記原画像を線形補間して前記拡大画像と同じ解像度の画像を得る第２の画像変換処理と、
前記線形補間した画像と前記拡大画像について、画素毎にその差分を計算した画像を求める差分演算処理と、
前記差分演算した各画素の値が設定されたしきい値を越えたか否かをチェックし、しきい値以下なら当該画素の差分を０とする処理を各画素毎に行った差分テーブルを作成する差分テーブル作成処理とを有し、
前記差分テーブルの情報を前記原画像の参照情報とすることで解像度を高めた画像情報を得ることを特徴とする画像変換方法。
【請求項２】
同じ対象物に対して撮影された複数枚の画像がもつ情報を一枚の画像に集約する画像変換方法であって、
前記複数枚の画像の中から、対象物に対して全体を見回せる１つの画像を決定する画像選択処理と、
前記選択された画像を線形補間等の手法を用いて部分的に拡大した画像を得る画像拡大処理と、
前記拡大された画像と、より細かい部分まで撮影してある画像との各画素について、画素に隣接する差分誤差をとり、差分誤差がもっとも小さい部分の画素に置き換える画像置き換え処理と、
前記置き換え処理を画像全てについて、画像の細かい部分の置き換えのための情報をテーブルとして作成するテーブル作成処理とを有し、
前記テーブルの情報を前記全体を見回せる１つの画像に組み込んだ画像情報を得ることを特徴とする画像変換方法。
【請求項３】
前記画像に文字が含まれる場合、該画像に対して画素数の少ない画像または画素数の多い画像との差分をとることで、当該文字の輪郭情報を得ることを特徴とする請求項１または２に記載の画像変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の解像度変更や原画像に含まれる詳細情報を抽出するための画像変換方法に関する。
【背景技術】
【０００２】
画像の情報量は、撮像素子（ＣＣＤ）の解像度と共に増加して行くが、それ以上に伝送容量の進歩には目を見張るものがある。一般に、ハイビジョン用の動画を伝送するのに必要となるビットレートは、１０Ｍｂｐｓであるが、１００Ｍｂｐｓが誰にでも手にはいるような時代が来ると当然、画像情報圧縮の考え方も大きく変わってくることが予想される。
【０００３】
一つ考えられることは、圧縮を行わないで伝送するか、圧縮率の低い可逆圧縮で伝送を行う。さらに、複数の圧縮率に切換えて適応画像を得て伝送する方式もある（例えば、特許文献１参照）。
【０００４】
確かにこのような事を行えば、情報量は増加して伝送速度に見合う大きさとなる。しかし、画像は、コンピュータが見るものではなく、人が見るものであるため、全く同じ様に見える画像を敢えて意味のない情報を余分に送るのはあまり意味がない。もっと、他に有効に利用できないかを検討する必要がある。
【特許文献１】特開２００１−１７７８３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
現在、圧縮された画像にしても、全く圧縮されていない画像にしてもユーザが不満に思う点をいくつか挙げる。
【０００６】
まず、一つは、解像度の問題だと考える。画像をもっと拡大して見たいといった場合、今の画像だと拡大すると画像はどんどん荒くなっていき、見にくいものになってしまう。それは、当然、細かい部分の情報量がないためである。
【０００７】
第２に、画像は一方的に送られてくるものであるが、自分でこの部分をもっと見てみたい、方向を変えてみて見たいということは、大きな関心事の一つであろう。今や双方向通信の時代であるため、受信側の情報を送信側に伝えることで、このことは可能となる。
【０００８】
次に、画像は視覚的な刺激を人に与えるが、デジタルデータで扱っているため、他の情報（聴覚、触覚等）もデジタル化して一緒に扱うことができる可能性も高い。例えば、音の情報を埋め込むことで聴覚に対する情報も与えることができるようになるのではないか。
【０００９】
本発明の目的は、上記の各課題を解決した画像変換方法を提供することにある。
【課題を解決するための手段】
【００１０】
最近は、デジタルカメラにしても画素数の進歩は著しく、高い解像度の画像を扱うことが容易にできるようになっている（２〜３年で１００万画素増加、現在４００万画素が発表されている）。一方において、個人が使用できる通信容量の増加は、それ以上に著しいものがある。現在、個人でもＡＤＳＬを導入することで、８Ｍｂｐｓの速度を手軽に得ることができ、さらに、光ケーブル等の導入で１００Ｍｂｐｓの実用が見えている。このように、画像の情報量の増加に比べて、通信帯域の増加はずっと大きく、この傾向は今後続くことが予想される。
【００１１】
さらに、個人が使用するデスクトップ型コンピュータシステムの環境は、画素数１０２４×７６８〜１６００×１２００が実用的で、今後、それが、１０倍、２０倍と増加していくことは考えにくい。そのため、ユーザが、コンピュータ上で扱う画像の大きさとしては、６４０×４８０〜１２８０×１０２４あれば、十分と考えられる（２００万画素に相当）。
【００１２】
一方で、外部記憶装置の容量の増加もとどまるところを知らない。さらに、現在モニタに表示してある画像のある部分を拡大していくと、細かい部分の情報がないため、細部を表現することができていないという問題もある。
【００１３】
このような背景から、現在の画像に求められることは、いかに圧縮率を高めるかということではなく、いかに有用な情報をユーザに与える事ができるかに変わりつつあると考えられる。
【００１４】
以上のことから、本発明では、解像度変換（図１０のように、画像は解像度によりピラミッド構造をとる）を柔軟に行う方法を提案するもので、原画像とその拡大・縮小した画像または一部の画像との差分情報を得ることで、原画像の解像度変更や原画像に含まれる詳細情報の抽出を可能とするもので、以下の方法を特徴とする。
【００１５】
（１）原画像情報の解像度を変更するための画像変換方法であって、
原画像を拡大した画素数の画像に拡大した拡大画像を得る第１の画像変換処理と、
前記原画像を線形補間して前記拡大画像と同じ解像度の画像を得る第２の画像変換処理と、
前記線形補間した画像と前記拡大画像について、画素毎にその差分を計算した画像を求める差分演算処理と、
前記差分演算した各画素の値が設定されたしきい値を越えたか否かをチェックし、しきい値以下なら当該画素の差分を０とする処理を各画素毎に行った差分テーブルを作成する差分テーブル作成処理とを有し、
前記差分テーブルの情報を前記原画像の参照情報とすることで解像度を高めた画像情報を得ることを特徴とする。
【００１６】
（２）同じ対象物に対して撮影された複数枚の画像がもつ情報を一枚の画像に集約する画像変換方法であって、
前記複数枚の画像の中から、対象物に対して全体を見回せる１つの画像を決定する画像選択処理と、
前記選択された画像を線形補間等の手法を用いて部分的に拡大した画像を得る画像拡大処理と、
前記拡大された画像と、より細かい部分まで撮影してある画像との各画素について、画素に隣接する差分誤差をとり、差分誤差がもっとも小さい部分の画素に置き換える画像置き換え処理と、
前記置き換え処理を画像全てについて、画像の細かい部分の置き換えのための情報をテーブルとして作成するテーブル作成処理とを有し、
前記テーブルの情報を前記全体を見回せる１つの画像に組み込んだ画像情報を得ることを特徴とする。
【００１７】
（３）前記画像に文字が含まれる場合、該画像に対して画素数の少ない画像または画素数の多い画像との差分をとることで、当該文字の輪郭情報を得ることを特徴とする。
【発明の効果】
【００１８】
以上のとおり、本発明によれば、以下の効果がある。
【００１９】
（１）従来の解像度の変換方法に比べて高精度の画像変換ができる。
【００２０】
（２）画像の枚数が多くなると扱いが面倒になるが、実施形態２の方法を用いることで、画像管理に適正な画像圧縮になる。
【００２１】
（３）隣接間の誤差の計算を導入することで光の量に応じた輝度値の変換が可能となる。
【００２２】
（４）文字等を含む画像に有効な解像度変換となる。
【発明を実施するための最良の形態】
【００２３】
（実施形態１）
解像度を切り替えて画像を見るもっとも基本的な考え方として、様々な解像度の画像を用意する方法が挙げられる。しかしながら、同じ画像で解像度の異なる画像をいくつか用意することは、データを扱う上でも煩雑となるうえ、なによりも扱える解像度が用意した画像に制限されてしまうことが問題となる。
【００２４】
次に、解像度の変換としてもっとも単純な方法は、高い解像度への変換に対して画素を補間する方法、また低い解像度の変換に対して画素の平均を取ることである。しかしながら、このように変換した画像は、補間では細かい部分の情報を表現しきることができない。また、平均を取ることで高周波の情報を失うため、必ずしも最適な方法とは言い難い。
【００２５】
そこで、本実施形態では、与えられた解像度の画像から従来のように単に補間したり平均を取ったりするだけでなく、図１に示す以下の方法により高精度の変換ができるようにする。なお、以下の各実施形態における処理は、ソフトウェア構成で実現される。
【００２６】
まず、６４０×４８０の画素値の原画像Ａに対し、この４倍の大きさの１２８０×９６０の画素数に拡大した画像Ｃに変換処理する（Ｓ１，Ｓ２）。
【００２７】
次に、６４０×４８０の原画像Ａを線形補間し、１２８０×９６０の画像Ｂに変更・拡大する（Ｓ３）。
【００２８】
この画像Ｂと先に得た１２８０×９６０の画像Ｃとについて、画素毎にその差分計算した画像Ｄを求める（Ｓ４）。
【００２９】
以上までの変換処理において、例えば、原画像Ａが図２に示すものであるとすると、線形変換した画像Ｂが図３に示すものになり、拡大画像Ｃが図４に示すものであれば、差分値の画素Ｄijの画像Ｄは図５に示すようになる。この差分の情報は、低い解像度では表現できない細かい部分の情報を有している。
【００３０】
次に、各差分Ｄijがあるしきい値Ｔｈを越えたか否かをチェックし（Ｓ５）、しきい値Ｔｈ以下ならその差分を０とする（Ｓ６）。すなわち、しきい値Ｔｈよりも小さい差分Ｄijは人の目では認識できない誤差であると判断してその差分の情報は捨ててしまう。これら処理を各画素毎に行い、差分情報を差分テーブルとして作成する（Ｓ７）。この差分テーブルで０にならなかった画素部分は、かなり細かい情報が多く含まれていることが分かる。
【００３１】
最後に、差分テーブルの情報と原画像情報（６４０×４８０）を伝送する（Ｓ８）。このときの伝送量は、原画像Ａの４倍の解像度の画像を伝送する場合に比べて、差分Ｄijが０になる分が伝送されないため、確実に減ることになる。
【００３２】
画像情報の復号では、差分テーブルの情報で原画像情報を補正するなど、原画像の参照情報とすることで、４倍の解像度の画像を容易に得ることができる。また、差分誤差のテーブルを見るだけで、どの部分に細かい情報が有るのか簡単に分かるのもこの差分テーブルを持つことの利点の一つである。
【００３３】
なお、差分情報は、４倍以外の他の解像度に変換する時は、さらに、この差分テーブルに対して別のしきい値を設定して（小さい解像度への変換には、差分情報のテーブルに対してより大きなしきい値を用いる）差分情報を計算する。そのようにすることで、小さい解像度への変換の場合は、細かい情報を捨てることができる。
【００３４】
また、整数倍の変換ではない場合は、線形補間の方法を変えて行う。例えば、図６に３画素を４画素に変換する例を示す。また、４倍より大きな解像度が必要となる場合は、より大きな解像度を持つ原画像を使用する。
【００３５】
（実施形態２）
本実施形態は、同じ対象物に対して数多く撮影された画像（対象物に対して全体を見回せるような画像、ズーム等を利用して有る部分を集中的に撮影したような画像等々）を、複数枚の原画像を適正に圧縮することによって一枚の画像情報に集約することでその取り扱いを容易にする方法を提案するものである。
【００３６】
図７に示すように、同じ対象物を撮影した複数枚の画像Ａ，Ｂ，Ｃの中から、まず元になる画像を決定する（画像Ａとする）。この画像Ａは、上記の対象物に対して全体を見回せる画像にする（対象物に対しては、情報量が少ない）。
【００３７】
次に、画像Ａを線形補間等の手法を用いて部分的に拡大した画像Ｂ’を得る。
【００３８】
この拡大した画像Ｂ’とズーム等でより細かい部分まで撮影してある画像Ｃとの差分をとり、差分がもっとも小さい部分の画素を置き換えることができるように検索を行う。
【００３９】
これを手元にある画像全てについて繰り返し行い、画像の細かい部分の置き換えのための情報を得る。この時、画像Ａには、最初の画素値の情報以外に、画素値の置き換えを行った部分の座標、大きさ、誤差情報を含むテーブルを新たに作成する。
【００４０】
この場合、ただ単に差分をとっただけでは、光の具合等で誤差が大きくなる可能性が高い。そこで、ここでの誤差の考え方として誤差画像の隣接の差分という概念を導入する。この隣接差分誤差があるしきい値より小さい値になっていたら、画素の置き換えを行う。この手法では、図８に示すように、画像全体としての輝度値の変化は同じで、光の明るい、暗いによって輝度値全体が高い方にシフトしたり低い方にシフトしたりするという考えに基づいている（直流成分に相当すると考えれば分かりやすい）。その時、誤差画像の中で計算された光の調整を行う定数（先の直流成分に相当）を画像に足してやることで画像全体の光の調整を行う。
【００４１】
本実施形態によれば、画像圧縮伝送において、画像中のある部分は高い解像度でかかれていて、より細かい情報を得ることができる。これを繰り返すことで、１つの画像にその他の画像情報を多く組み込むことが可能となり画像の有効的な利用につながる。
【００４２】
本実施形態と実施形態１との違いは、実施形態１が同じ画像で解像度の違うものを扱うのに対して、本実施形態は同じ対象物に対する様々な詳細さをもつ画像（必ずしも解像度は高くなくても良い、ズーム等の機能でより対象物が細かい点まで表現できている画像）を扱うということである。
【００４３】
（実施形態３）
一般に文字を含んでいるような画像は、文字の輪郭のところで、大きな輝度値の変化が認められる。極端な例が、図９に示すように、白い紙にかかれた黒い文字である。この場合、白と黒で見ると輝度値の差が２５５となる。大きな画像から小さな画像に解像度の変換を行うとき、一般に、輝度値の平均をとることが行われる。しかしながら、上記の場合、輝度値の差が２５５あったものが、１２８になってしまう。つまり輪郭の情報を失う（高周波成分）。
【００４４】
このように、輝度値の変化の激しい部分では、平均を取ることによる解像度変換は、有効な手段ではない。この場合は、逆に画素数の少ない画像が用意されていれば、それとの差分をとることで、新たに輪郭情報を得る手段が与えられる。
【００４５】
そこで、本実施形態では、前記実施形態において、解像度を増加した場合の差分情報から、低い解像度では実現できなかったより細かい部分の情報を得、また、解像度を減少した場合は、解像度を落とすことにより失われた高周波成分の情報を得る方法とする。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態１を示す処理手順図。
【図２】実施形態１における原画像Ａの例。
【図３】実施形態１における原画像Ａをもとにして線形補間された画像の例。
【図４】実施形態１における原画像Ａの解像度の高い原画像の例。
【図５】実施形態１における差分値の画素情報の例。
【図６】実施形態１における３画素を４画素に補間する例。
【図７】本発明の実施形態２を示す画素の補間及び差分の関係図。
【図８】実施形態２における輝度値の光の量による変化の説明図。
【図９】本発明の実施形態３を示す文字を含む画像の解像度変換の説明図。
【図１０】本発明の基本的画像変換方法を説明するための画像のピラミッド構造。
【図１】
2005084812.tif 000003
【図２】
2005084812.tif 000004
【図３】
2005084812.tif 000005
【図４】
2005084812.tif 000006
【図５】
2005084812.tif 000007
【図６】
2005084812.tif 000008
【図７】
2005084812.tif 000009
【図８】
2005084812.tif 000010
【図９】
2005084812.tif 000011
【図１０】
2005084812.tif 000012