(57)【要約】【課題】  良質の画像表示を可能とする画像処理方法を提供する。【解決手段】  行方向及び列方向に互いに隣接するように配列された複数の画素データからなる原画像データの画素データを取り込む。取り込んだ原画像データの画素データを市松模様状に間引き、間引き画像データを送信するとともに、送信された間引き画像データのうち原画像データにおいて連続する２行２列分に属する画素データを平均化して、表示画像データを作成することを促す。【選択図】          図１
2005136469.tif 000002
【特許請求の範囲】
【請求項１】
行方向及び列方向に互いに隣接するように配列された複数の画素データからなる原画像データの画素データを取り込む工程と、
取り込んだ前記原画像データの画素データを市松模様状に間引き、間引き画像データを送信するとともに、送信された前記間引き画像データのうち前記原画像データにおいて連続する２行２列分に属する画素データを平均化して、表示画像データを作成することを促す工程と
を有する画像処理方法。
【請求項２】
行方向及び列方向に互いに隣接するように配列された複数の画素データからなる原画像データを書き込み、前記画素データを間引いて読み出すことのできる記憶装置と、
前記記憶装置が前記原画像データの画素データを市松模様状に間引き、間引き画像データを送信するとともに、送信された前記間引き画像データのうち前記原画像データにおいて連続する２行２列分に属する画素データを平均化して、表示画像データを作成することを促すように制御する制御装置と
を有する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法及び画像処理装置に関し、特に画像信号をデジタル画像データとして取り込み、間引き処理を行う画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
カメラ付き携帯電話機、テレビ電話機等の普及により、画像データ送信の需要が増大している。送信回線は所定の通信容量を有し、送信データレートが制限される。動画転送においては、リアルタイム表示も要求される。
【０００３】
デジタルデータとして取り込まれた画像信号の水平方向への縮小処理を行う場合、その縮小率に応じて、水平区間内の画素データに対して間引き処理が行われている。（たとえば、特許文献１参照。）間引き処理を行うことでデータ量を落として通信することが可能となる。
【０００４】
画像信号の転送帯域が出力画像サイズで決まるデータレートに対して十分でない場合、画像信号を水平方向にたとえば半分に間引く（縮小率を５０％にする）。転送後、補間を行って出力画像サイズに戻して表示する。
【０００５】
図４（Ａ）及び（Ｂ）は、現行の画像データの間引き及び補間を説明するための画像データの概略図である。
【０００６】
図４（Ａ）は、間引き前の画像データの一例を示す。図において、たとえば、Ｄ（０，０）、Ｄ（０，１）、Ｄ（０，２）、・・・、Ｄ（０，Ｎ）が、水平方向（行方向）の１行の画像データである。図４（Ａ）には、水平方向のＭ＋１行からなる画像データを示してある。水平方向と直交する垂直方向を列方向と呼ぶ。図４（Ａ）に示してあるのは、垂直方向のＮ＋１列からなる画像データである。
【０００７】
図４（Ｂ）は、図４（Ａ）に示した画像データを間引いた後の画像データの一例を示す。同じ列に存在するデータが間引かれている。間引かれているデータは奇数（２ｎ＋１，ｎは０≦ｎ≦（Ｎ−２）／２を満たす整数）列のデータである。画像データを間引いて転送し、画像の表示に際しては、間引かれて空所となった画素に対してデータの補間が行われる。
【０００８】
間引かれずに転送された画素データをサンプルデータということとする。間引かれた画素データの補間は、サンプルデータを用いて行われる。
【０００９】
たとえばＤ（ｍ，２ｎ＋１）（ｍは０≦ｍ≦Ｍを満たす整数。ｎは０≦ｎ≦（Ｎ−２）／２を満たす整数。）の補間データは、水平方向に隣接する２つのサンプルデータの平均、{Ｄ（ｍ，２ｎ）＋Ｄ（ｍ，２ｎ＋２）}／２で求められる。
【００１０】
このように間引き処理及び補間を行った場合、サンプルデータの存在する列は、水平方向に１列置きに現れ、１列置きの２つのデータを用いて補間データを作成するため、良好な解像度で水平方向に画像を表示することは難しい。
【００１１】
なお、画像データの２列を１単位として把握した場合、水平方向に隣り合う個々の画像データ（たとえばＤ（０，０）とＤ（０，１））は、水平方向の位相が１８０°異なったデータである。垂直方向に隣り合う個々のデータ（たとえばＤ（０，０）とＤ（１，０））は、水平方向の位相が同一のデータである。    
【００１２】
【特許文献１】特開２０００−１４９００３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明の目的は、画像データの間引き処理を行い、良質の画像表示を可能とする画像作成を促す画像処理方法及び画像処理装置を提供することである。
【課題を解決するための手段】
【００１４】
本発明の一観点によれば、行方向及び列方向に互いに隣接するように配列された複数の画素データからなる原画像データの画素データを取り込む工程と、取り込んだ前記原画像データの画素データを市松模様状に間引き、間引き画像データを送信するとともに、送信された前記間引き画像データのうち前記原画像データにおいて連続する２行２列分に属する画素データを平均化して、表示画像データを作成することを促す工程とを有する画像処理方法が提供される。
【００１５】
この画像処理方法によれば、原画像データの画素のデータを市松模様状に間引き、原画像データにおいて連続する２行２列分に属する画素のデータを平均化して表示画像データを作成するように促すので、通信量を少なくするとともに、良好な画像表示を可能とする。
【００１６】
また、本発明の他の観点によれば、行方向及び列方向に互いに隣接するように配列された複数の画素データからなる原画像データを書き込み、前記画素データを間引いて読み出すことのできる記憶装置と、前記記憶装置が前記原画像データの画素データを市松模様状に間引き、間引き画像データを送信するとともに、送信された前記間引き画像データのうち前記原画像データにおいて連続する２行２列分に属する画素データを平均化して、表示画像データを作成することを促すように制御する制御装置とを有する画像処理装置が提供される。
【００１７】
この画像処理装置を用いると、原画像データの画素のデータを市松模様状に間引き、原画像データにおいて連続する２行２列分に属する画素のデータを平均化して表示画像データを作成するように促す制御が行われるので、通信量を少なくするとともに、良好な画像表示が可能となる。
【発明の効果】
【００１８】
本発明によれば、画像データの間引き処理を行い、良質の画像表示を可能とする画像作成を促す画像処理方法及び画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１９】
図１は、実施例による画像処理装置及びその周辺部を示すブロック図である。
【００２０】
画像処理装置１７は、第１のメモリ１２、及び第１のメモリ１２を制御する第１のメモリコントローラ１２ａを含んで構成される。バス１１によって、第１のメモリ１２と第２のメモリ１４とが接続されている。画像処理装置１７は、画像信号を間引いて第２のメモリ１４に送信し、表示画像の作成を促す。
【００２１】
第１のメモリ１２は、受信した画像データを格納することのできるメモリであり、第１のメモリコントローラ１２ａの制御により、バス１１に接続する装置から入力される画像データの書き込み動作を行う。取り込まれるデータは、行方向及び列方向に互いに隣接するように配列された複数の画素データからなる画像データである。
【００２２】
また、第１のメモリ１２は、水平方向（行方向）に沿って１つ置きに画素データを間引いて送信することができる。第１のメモリ１２は、画像データを間引きながら、第２のメモリ１４への読み出し動作を行う。第２のメモリコントローラ１４ａは、第２のメモリ１４を制御する。
【００２３】
なお、後に詳述するが、第２のメモリ１４に読み出された画像データは、復元演算器１５で補間されて表示画像データが作成される。画像処理装置１７からは、画像データとともに、上記処理を促す信号が発信される。または、第２のメモリコントローラ１４ａ、もしくは復元演算器１５にあらかじめ所定の処理（補間及び表示画像データの作成）が設定されていてもよい。「促す」とは、信号の発信を意味するだけでなく、あらかじめ設定されている補間及び表示画像データの作成機能の発現を前提に画像データを送信することを意味するものと定める。
【００２４】
第２のメモリ１４は、第２のメモリコントローラ１４ａの制御により、第１のメモリ１２（画像処理装置１７）から送られてきた画像データを復元演算器１５を介して、表示部１６に送信する。
【００２５】
表示部１６は、たとえばフレームメモリを備えない表示装置である。このため、画像データの転送が滞ると、表示部１６における表示画像に乱れが生じることがある。たとえばバス１１の使用率が高く、転送が滞る可能性がある場合においては、画像データを間引いて転送することで表示画像を改善することができる。
【００２６】
なお、画像データの送信は、たとえば表示画面（表示部１６）の走査ラインを一単位として行われる。
【００２７】
図２（Ａ）〜（Ｅ）は、図１に示した画像処理装置を用いて行う画像処理方法の一例を説明するための画像データの模式図である。
【００２８】
図２（Ａ）は、第１のメモリ１２が受信する原画面の画像データを示す。画像データはＲＧＢ配列のデータであり、行方向及び列方向に互いに隣接するように配列された複数の画素データより構成されている。図には、Ｍ＋１行、Ｎ＋１列の画素データより構成される原画像データを示した。原画像データは、第１のメモリ１２に格納された後、第１のメモリコントローラ１２ａの制御により、間引き処理を施されて、第２のメモリ１４に送られる。図には、間引かれる画素データに斜線を付して示した。原画面の画像データにおいて、市松模様状に配置する画素データが間引かれる。
【００２９】
図２（Ｂ）は、画素データを市松模様状に間引いて第１のメモリ１２から読み出される画像データ（サンプルデータ）を示す。図２（Ａ）に示した画像データのうち、斜線で示した画素データを間引いて、０行目からＭ行目まで読み出される。水平方向に沿って、１つ置きに存在する画素データが送信される。
【００３０】
第２のメモリ１４に一旦格納された間引き処理後の画像データ（サンプルデータ）は、第２のメモリコントローラ１４ａの制御により、復元演算器１５に送られる。復元演算器１５は、第２のメモリ１４からの画像データ（サンプルデータ）を用いて、表示画像を復元作成するための演算処理を行い、作成された復元画像データを表示部１６に送信する。演算処理は、第２のメモリ１４から送られる２走査ライン分の間引きされた画像データ（サンプルデータ）を用いて行われる。
【００３１】
図２（Ｃ）は、復元演算器１５に入力される画像データ（サンプルデータ）を、図２（Ａ）に示した原画像データの表現に対応するように表した模式図である。図２（Ｃ）を用いて、復元演算器１５で行われる画像処理方法を説明する。復元演算器１５においては、サンプルデータから復元画像データが作成される。
【００３２】
復元画像データの１画素データＲＧＢ´（ｍ，ｎ）は、たとえば次の式で求められる。
【００３３】
ＲＧＢ´（ｍ，ｎ）＝{ＲＧＢ（ｍ，ｎ）＋ＲＧＢ（ｍ，ｎ＋１）＋ＲＧＢ（ｍ＋１，ｎ）＋ＲＧＢ（ｍ＋１，ｎ＋１）}／２  ・・・（１）
ただし、ここでｍ及びｎは、０≦ｍ≦Ｍ−１、０≦ｎ≦Ｎ−１を満たす整数である。また、式（１）の右辺に現れる画素データが間引かれているときは、その部分に０を代入して式（１）の計算を行う。
【００３４】
たとえばｍ＝ｎ＝０の場合、式（１）は、
ＲＧＢ´（０，０）＝{ＲＧＢ（０，０）＋ＲＧＢ（０，１）＋ＲＧＢ（１，０）＋ＲＧＢ（１，１）}／２
となるが、ＲＢＧ（０，１）及びＲＢＧ（１，０）が間引かれているので、その２箇所に０を代入し、式（１）は、
ＲＧＢ´（０，０）＝{ＲＧＢ（０，０）＋ＲＧＢ（１，１）}／２
を表すこととなる。
【００３５】
式（１）により、原画像データにおいて連続する２行２列分に属する４つの画素データ（そのうち２つは間引かれている。）が平均化されて、１つの復元画素データが作成されることがわかる。このため復元された画素データＲＧＢ´（ｍ，ｎ）は、４つの原画素データの中心位置（中央点）における画素データという意味をもつ。図２（Ｃ）には理解を容易にするため、中心位置（中央点）に黒丸を付した。
【００３６】
図２（Ｄ）には、復元演算器１５から出力される表示画像データを２行分示した。前述の通り、各画素データＲＧＢ´（ｍ，ｎ）は、図２（Ｃ）における中心位置（中央点、黒丸）の画素データに対応する。復元演算器１５により復元された画素データは、水平ラインを一単位として走査され表示部１６に表示される。
【００３７】
図２（Ｅ）は、表示部１６の表示画面に表示される復元画像データを示す。復元画像データは、（１）式を用いて求められた復元画素データから構成されている。
【００３８】
図２（Ｃ）に示すように、原画面の画像データの画素データを市松模様状に間引いて転送し補間を行うと、背景技術（図４参照。）で説明したような間引き及び補間を行って復元した画像に比べ、水平方向に沿う原画像の画素データのピッチが狭くなるため、水平方向の解像度が高い。
【００３９】
また、復元演算器１５で、式（１）によらない復元作業を行うこともできる。たとえば原画面の画像データにおいて、間引かれた画素データの左右に位置していた画素のデータの平均を用いて間引かれた画素のデータの復元を行う。たとえば図２（Ａ）で斜線を付したＲＧＢ（３，２）の画素データの復元に当たっては、
以下の式、
ＲＧＢ（３，２）＝{ＲＧＢ（３，１）＋ＲＧＢ（３，３）}／２  ・・・（２）
により、ＲＧＢ（３，２）のデータを復元する。原画像が水平方向に高い相関性を有する画像である場合、良好な復元画像を得るのに好適な方法である。
【００４０】
また、たとえば原画面の画像データにおいて、間引かれた画素データの上下に位置していた画素のデータの平均を用いて間引かれた画素のデータの復元を行ってもよい。ＲＧＢ（３，２）の画素データの復元に当たっては、以下の式、
ＲＧＢ（３，２）＝{ＲＧＢ（２，２）＋ＲＧＢ（４，２）}／２  ・・・（３）
により、ＲＧＢ（３，２）のデータを復元する。原画像が垂直（上下）方向に高い相関性を有する画像である場合、良好な復元画像を得るのに好適な方法である。
【００４１】
更に、原画像における相関性の高い方向に選択的にデータを復元する方法もある。水平方向に解像度の高い画像は上下に位置する画素のデータ、垂直方向に解像度の高い画像は左右に位置する画素のデータを主たる入力として、間引かれた画素データを復元することにより、水平、垂直の２方向に高解像の画像を得ることができる。
【００４２】
たとえば間引かれた画素データの左右に位置していた画素のデータの差の絶対値と、上下に位置していた画素のデータの差の絶対値を比較し、値が大きくない方向の画素データの平均を用いて間引かれた画素のデータの復元を行う。
【００４３】
たとえば、
｜ＲＧＢ（３，１）−ＲＧＢ（３，３）｜＜｜ＲＧＢ（２，２）−ＲＧＢ（４，２）｜
の関係が成り立っているときには、式（２）を用いてＲＧＢ（３，２）のデータを復元する。
【００４４】
｜ＲＧＢ（３，１）−ＲＧＢ（３，３）｜＞｜ＲＧＢ（２，２）−ＲＧＢ（４，２）｜
の関係が成り立っているときには、式（３）を用いてＲＧＢ（３，２）のデータを復元する。
【００４５】
図３（Ａ）〜（Ｅ）は、図１に示した画像処理装置１７を用いて行う画像処理方法の他の一例を説明するための画像データの模式図である。図３（Ａ）〜（Ｅ）は、それぞれ図２（Ａ）〜（Ｅ）に対応する。図２（Ａ）〜（Ｅ）を用いて説明したのが、ＲＧＢ配列の画像データであったのに対し、図３（Ａ）〜（Ｅ）を用いて説明するのは、Ｙ，Ｃｂ，Ｃｒが４：２：２で現れるＩＴＵ−Ｒ６５６配列の画像データである。
【００４６】
図３（Ａ）は、第１のメモリ１２が受信する原画面の画像データを示す。Ｍ＋１行及びＮ＋１列からなる画素データより構成されている。
【００４７】
Ｙについての情報は、すべての画素データに収められているが、Ｃｂについての情報は、偶数番号列の画素データにのみ収められ、Ｃｒについての情報は、奇数番号列の画素データにのみ収められている。また、Ｙ（ｍ，ｎ）とＣｂ（ｍ，ｎ）の行列番号は、画素データの行列番号に即応しているが、Ｃｒ（ｍ，ｎ）については、その左側の画素データのＹ及びＣｂの行列番号に一致している。
【００４８】
上記の点を除いては、間引かれる画素データに斜線を付して示し、原画面の画像データにおいて、市松模様状に配置する画素データが間引かれることも含めて、図２（Ａ）を参照して行った説明と同様である。
【００４９】
なお、図３（Ａ）に示した原画像データにおいては、偶数番号行においてはＣｒの入った画素データが間引かれ、奇数番号行においては、Ｃｂの入った画素データが間引かれている。
【００５０】
図３（Ｂ）は、画素データを市松模様状に間引いて、第１のメモリ１２から読み出される画像データ（サンプルデータ）を示す。０行目からＭ行目まで読み出される。その他は、図２（Ｂ）を参照して行った説明と同様である。
【００５１】
図３（Ｃ）は、復元演算器１５に入力される画像データ（サンプルデータ）を、図３（Ａ）に示した原画像データの表現に対応するように表した模式図である。図３（Ｃ）を用いて、復元演算器１５で行われる画像処理方法を説明する。復元演算器１５において、サンプルデータから復元画像データが作成される。
【００５２】
復元されるデータであるＹ´（ｍ，ｎ）、Ｃｂ´（ｍ，ｎ）及びＣｒ´（ｍ，ｎ）は、たとえば次の式で求められる。
【００５３】
Ｙ´（ｍ，ｎ）＝{Ｙ（ｍ，ｎ）＋Ｙ（ｍ，ｎ＋１）＋Ｙ（ｍ＋１，ｎ）＋Ｙ（ｍ＋１，ｎ＋１）}／２  ・・・（４）
Ｃｂ´（ｍ，ｎ）＝{Ｃｂ（ｍ，ｎ）＋Ｃｂ（ｍ，ｎ＋１）＋Ｃｂ（ｍ＋１，ｎ）＋Ｃｂ（ｍ＋１，ｎ＋１）}  ・・・（５）
Ｃｒ´（ｍ，ｎ）＝{Ｃｒ（ｍ，ｎ）＋Ｃｒ（ｍ，ｎ＋１）＋Ｃｒ（ｍ＋１，ｎ）＋Ｃｒ（ｍ＋１，ｎ＋１）}  ・・・（６）
ただし、ここでｍ及びｎは、０≦ｍ≦Ｍ−１、０≦ｎ≦Ｎ−１を満たす整数である。また、各式の右辺に現れる画素データが間引かれているときは、その部分に０を代入して各式の計算を行う。
【００５４】
たとえばｍ＝ｎ＝０の場合、式（４）〜（６）は、それぞれ
Ｙ´（０，０）＝{Ｙ（０，０）＋Ｙ（１，１）}／２
Ｃｂ´（０，０）＝Ｃｂ（０，０）
Ｃｒ´（０，０）＝Ｃｒ（１，０）
を表し、ｍ＝３、ｎ＝２の場合、式（４）〜（６）は、それぞれ
Ｙ´（３，２）＝{Ｙ（３，３）＋Ｙ（４，２）}／２
Ｃｂ´（３，２）＝Ｃｂ（４，２）
Ｃｒ´（３，２）＝Ｃｒ（３，２）
を表す。
【００５５】
（４）〜（６）式により、原画像データにおいて連続する２行２列分に属する４つの画素データ（そのうち２つは間引かれている。）が平均化されて、Ｙ´（ｍ，ｎ）、Ｃｂ´（ｍ，ｎ）、Ｃｒ´（ｍ，ｎ）をもとに、１つの復元画素データＹＣｂＣｒ´（ｍ，ｎ）が作成される。このため復元された画素データＹＣｂＣｒ´（ｍ，ｎ）は、４つの原画素データの中心位置（中央点）における画素データという意味をもつ。図３（Ｃ）には理解を容易にするため、中心位置（中央点）に黒丸を付した。
【００５６】
図３（Ｄ）には、復元画像データを２行分示した。前述の通り、各画素データＹＣｂＣｒ´（ｍ，ｎ）は、図３（Ｃ）における中心位置（中央点）の黒丸に対応する。復元演算器１５により復元された画素データＹＣｂＣｒ´（ｍ，ｎ）には、更に、ＲＧＢ変換処理が施され、水平ラインを一単位として走査されて表示部１６に表示される。
【００５７】
図３（Ｅ）は、表示部１６の表示画面に表示される復元画像データを示す。復元画像データは、式（４）〜（６）を用いて求められた復元画素データＹＣｂＣｒ´（ｍ，ｎ）にＲＧＢ変換処理が施されたデータＲＧＢ´（ｍ，ｎ）から構成されている。表示部１６には、解像度の高い画像を表示することができる。
【００５８】
インタレース読み出しの場合でも、画素のデータを市松模様状に間引いて転送し、連続する２行２列の４つの原画素データの中心位置（中央点）において補間して表示することにより、水平方向に解像度の高い表示を行うことができる。
【００５９】
以上説明したように、画像データを水平方向（スキャン方向）に間引いて転送を行っても、間引く際にライン間で位相が間引き周期の半分だけずれるように市松模様状に間引き、画像出力する際に原画像データにおいて連続する２行２列分に属する４つの原画素データの中心位置（中央点）において補間することで、水平方向に解像度の高い画像を表示することができる。
【００６０】
以上実施例に沿って本発明を説明したが、本発明はこれらに制限されるものではない。例えば種々の変更、改良、組み合わせが可能なことは当業者に自明であろう。
【産業上の利用可能性】
【００６１】
上述した画像処理装置及び画像処理方法は、デジタルカメラ等に利用することができる。
【図面の簡単な説明】
【００６２】
【図１】実施例による画像処理装置及びその周辺部を示すブロック図である。
【図２】（Ａ）〜（Ｅ）は、図１に示した画像処理装置を用いて行う画像処理方法の一例を説明するための画像データの模式図である。
【図３】（Ａ）〜（Ｅ）は、図１に示した画像処理装置を用いて行う画像処理方法の他の一例を説明するための画像データの模式図である。
【図４】（Ａ）及び（Ｂ）は、現行の画像データの間引き及び補間を説明するための画像データの概略図である。
【符号の説明】
【００６３】
１１  バス
１２  第１のメモリ
１２ａ  第１のメモリコントローラ
１４  第２のメモリ
１４ａ  第２のメモリコントローラ
１５  復元演算器
１６  表示部
１７  画像処理装置
【図１】
2005136469.tif 000003
【図２】
2005136469.tif 000004
【図３】
2005136469.tif 000005
【図４】
2005136469.tif 000006