(57)【要約】【課題】好適な解像度の画像表示および画像符号化を行うとともに、電子装置に好適な電子ズームを実現し、かつ回路規模を削減することができる画像処理装置を提供する。【解決手段】撮像素子１２が出力した画像信号Ｓ１から画像信号処理部１３がディジタル画像データＤ１を生成し画像処理装置１０へ出力する。画像処理装置１０はディジタル画像データＤ１から矩形領域を抽出し、矩形領域の解像度を表示部２６で表示する画像の解像度か、符号化部２７で符号化する画像の解像度のいずれかに適応的に変換し出力する。画像圧縮表示装置２は、解像度検出部２１で入力されたディジタル画像データＤ３の解像度を検出し、検出した解像度に応じて適応的に解像度変換を行うことで、表示部２６で表示する解像度の画像と符号化部２７で符号化する解像度の解像度を得る。【選択図】      図１
2004320365.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データから任意の矩形領域を抽出して第１の画像データを生成する矩形領域抽出手段と、前記矩形領域抽出手段で生成された第１の画像データの解像度を変換して第２の画像データを生成する解像度変換手段と、前記解像度変換手段で生成された第２の画像データを所定の出力フォーマットに従って出力する出力手段と、を具備する画像処理装置であって、前記出力手段は、複数の解像度の画像データに対応した複数の出力フォーマットを有し、前記解像度変換手段は、前記出力手段の有する複数の出力フォーマットの中から前記矩形領域抽出手段で抽出された第１の画像データの解像度を超えない範囲で最大の解像度に対応した出力フォーマットを選択して前記第１の画像データの解像度を選択した出力フォーマットに対応した解像度へ変換することによって前記第２の画像データを生成し、前記出力手段は、前記解像度変換手段で選択された出力フォーマットで前記第２の画像データを出力することを特徴とする画像処理装置。
【請求項２】
前記矩形領域抽出手段は、入力画像データから抽出する第１の画像データの解像度を連続的に増加又は減少することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
撮像した被写体像を画像信号として出力する撮像素子と、被写体像を前記撮像素子へ結像するレンズと、前記撮像素子が出力した画像信号をディジタル画像データに変換する画像信号処理手段と、請求項１又は請求項２のいずれかに記載の画像処理装置と、を具備することを特徴とする撮像装置。
【請求項４】
入力画像データの解像度を検出する解像度検出手段と、入力画像データの解像度を変換して第３の画像データを生成する解像度変換手段と、予め定められた第１の解像度の画像データを符号化して画像符号化データを出力する符号化手段と、予め定められた第２の解像度の画像データを表示する表示手段とを具備する画像圧縮表示装置であって、前記入力データの解像度が前記第１の解像度又は前記第２の解像度のいずれかであり、前記解像度変換手段は、前記解像度検出手段で検出された解像度が前記第１の解像度であった場合、前記入力画像データを前記第２の解像度へ変換して第３の画像データを生成し、前記解像度検出手段で検出された解像度が前記第２の解像度であった場合、前記入力画像データを前記第１の解像度へ変換して第３の画像データを生成し、前記符号化手段は、前記入力画像データと前記第３の画像データの中から前記第１の解像度の画像データを選択して符号化を行い、前記表示手段は、前記入力画像データと前記第３の画像データの中から前記第２の解像度の画像データを選択して表示を行うことを特徴とする画像圧縮表示装置。
【請求項５】
請求項３に記載の撮像装置と、請求項４に記載の画像圧縮表示装置と、を具備することを特徴とする電子装置。
【請求項６】
前記撮像装置が有する複数の画像フォーマットは、少なくとも画像圧縮表示装置が具備する符号化手段が符号化する画像データにおいて予め定められた第１の解像度と、前記画像圧縮表示装置が具備する表示手段が表示する画像データにおいて予め定められた第２の解像度とに対応した画像フォーマットを含み、前記撮像装置は、前記第１の解像度に対応した画像フォーマットと前記第２の解像度に対応した画像フォーマットとのいずれかを選択して画像データを出力する、ことを特徴とする請求項５に記載の電子装置。
【請求項７】
請求項５又は請求項６のいずれかに記載の電子装置を具備することを特徴とする電話装置。
【請求項８】
請求項５又は請求項６のいずれかに記載の電子装置を具備することを特徴とする情報端末装置。
【請求項９】
請求項５又は請求項６のいずれかに記載の電子装置を具備することを特徴とする移動局装置。
【請求項１０】
請求項９に記載の移動局装置を具備することを特徴とする移動体通信システム。
【請求項１１】
入力画像データから任意の矩形領域を抽出して第１の画像データを生成し、前記第１の画像データの解像度を変換して第２の画像データを生成し、前記第２の画像データを所定の出力フォーマットに従って出力する画像処理方法であって、複数の解像度の画像データに対応した複数の出力フォーマットの中から、前記第１の画像データの解像度を超えない範囲で最大の解像度に対応した出力フォーマットを選択し、前記第１の画像データの解像度を前記選択した出力フォーマットに対応した解像度へ変換することによって前記第２の画像データを生成し、選択した出力フォーマットで前記第２の画像データを出力することを特徴とする画像処理方法。
【請求項１２】
入力画像データの解像度を検出し、入力画像データの解像度を変換して第３の画像データを生成し、予め定められた第１の解像度の画像データを符号化して画像符号化データを出力し、予め定められた第２の解像度の画像データを表示する画像圧縮表示方法であって、前記入力画像データの解像度は前記第１の解像度または前記第２の解像度のいずれかであり、前記入力画像データの解像度検出結果が前記第１の解像度であった場合、前記入力画像データを前記第２の解像度へ変換して第３の画像データを生成し、前記入力画像データの解像度検出結果が前記第２の解像度であった場合、前記入力画像データを前記第１の解像度へ変換して第３の画像データを生成し、前記入力画像データと前記第３の画像データの中から前記第１の解像度の画像データを選択して符号化を行い、前記入力画像データと前記第３の画像データの中から前記第２の解像度の画像データを選択して表示を行うことを特徴とする画像圧縮表示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像撮影機能や画像通信機能を備えた電子装置に用いて好適な画像処理装置、撮像装置及び画像圧縮表示装置に関する。
【０００２】
【従来の技術】
近年、携帯電話に代表される通信端末装置においても、カメラを内蔵させて静止画像撮影やテレビ電話などの動画像通信を実現させている。
【０００３】
一般に、テレビ電話など双方向の動画像通信に使われる動画像圧縮方式は、国際標準方式であるＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ）−４のシンプル・プロファイル、レベル１である。このＭＰＥＧ−４に準拠した画像データの一般的な解像度はＱＣＩＦ（１７６画素×１４４ライン）又はｓｕｂＱＣＩＦ（１２８画素×９６ライン）である。これに対して、静止画撮影機能において、より高解像度な画像データを得るため、例えばＶＧＡ（６４０画素×４８０ライン）など、ＱＣＩＦよりも高い解像度を有する撮像素子を有するカメラが用いられることがある。
【０００４】
ここで、例えばＶＧＡの解像度を有するカメラにおいて、ＱＣＩＦ解像度の画像データを得る場合、ＶＧＡ解像度の画像データの中から任意の矩形領域を切り出し、その矩形領域の画像データに対し解像度変換を施してＱＣＩＦ解像度の画像データを得ることにより、電子ズームを実現することができる。この電子ズームにおいて、ＶＧＡ解像度の画像データの中から切り出す矩形領域の解像度がＱＣＩＦの解像度を上回る範囲であれば、一般に電子ズームによって得られた画像の解像度が劣化することは無い。
【０００５】
したがって、携帯電話に代表される通信端末装置において、ＶＧＡなどの解像度のカメラを搭載することは、静止画撮影機能においてより高解像度な画像データを得ることを可能にするだけでなく、ＱＣＩＦなどのより小さい解像度の画像データを得る場合に電子ズーム機能の実現を可能にする。なお、この場合、電子ズームによって得られる画像の解像度が劣化しない範囲で実現可能なズーム倍率は、カメラが具備する撮像素子の解像度をそのカメラが出力する画像データの解像度で除した数値となる。
【０００６】
一方、携帯電話に代表される通信端末装置に用いられる表示デバイスとして、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）がある。近年、この表示デバイスの解像度は増加の一途にある。
【０００７】
携帯電話に代表される通信端末装置において、例えばテレビ電話など双方向の動画像通信を実施する場合、国際標準方式に準拠した画像データの解像度であるＱＣＩＦ又はｓｕｂＱＣＩＦに対して表示デバイスの解像度の方が高くなることがある。この場合、カメラから得る画像の解像度を、動画像圧縮を行うための解像度に合わせてＱＣＩＦ又はｓｕｂＱＣＩＦとすると、表示デバイスの全画面にカメラからの画像を表示するためには、ＱＣＩＦ又はｓｕｂＱＣＩＦの画像データに対し画素間の補間演算を施して拡大することで表示デバイスの解像度の画像データを得ることになるので、解像感の劣化した画像となる。
【０００８】
また、カメラから得る画像の解像度を表示デバイスの解像度に合わせると、上述したように電子ズームによって得られる画像のズーム倍率は、カメラの撮像素子の解像度をカメラが出力する画像データの解像度で除した数値であるから、カメラから得る画像の解像度を実際の動画像圧縮に必要なＱＣＩＦ又はｓｕｂＱＣＩＦとする場合と比べてズーム倍率が小さくなってしまう。
【０００９】
従来、電子ズームの倍率を上げても表示画像の解像度を劣化させない方法が案出されている（例えば、特許文献１及び特許文献２参照）
【００１０】
【特許文献１】
特開２００１−１１１８８０号公報
【特許文献２】
特開平９−３２６９５７号公報
【００１１】
特許文献１では、低画素数の撮像素子と高画素数の撮像素子とを具備し、ユーザによる電子ズームの制御によって２つの撮像素子を切り替えて表示パネルへの画像表示を行うようにしている。これによって、電子ズーム処理時は高画素数の撮像素子から切り出された画像を表示するので、表示パネルに表示される画像の解像度が劣化することはない。
【００１２】
特許文献２では、撮像素子から出力されるアナログ画像信号をサンプリングクロックに同期したタイミングで画像メモリに書き込む構成を採り、出力画像データの表示倍率の設定に応じてメモリに書き込む入力画像データのサンプリング間隔を変化させるようにしている。これによって、解像度の高い画像データを画像メモリに記憶させ、モニターに表示した場合の画質劣化を防止する。
【００１３】
【発明が解決しようとする課題】
しかしながら、従来の通信端末装置においては、次のような問題がある。
特許文献１で開示された装置においては、２個の撮像素子を搭載する必要があることから回路規模が大きくなり、その分、小型化が困難でコスト高になる。
【００１４】
特許文献２で開示された装置においては、サンプリングクロックの周波数をズーム倍率に応じて適応的に制御する必要があり、また画像メモリといった大規模なメモリ部を必要とする。これは処理が煩雑化するとともに回路規模の増大を招き、その分上記同様に小型化が困難であり、またコスト高にもなる。
【００１５】
本発明は係る点に鑑みてなされたものであり、携帯電話に代表される画像撮影機能や画像通信機能を備えた電子装置において好適な解像度の画像表示および画像符号化を行うとともに、電子装置に好適な電子ズームを実現し、かつ回路規模を削減することができる画像処理装置、撮像装置及び画像圧縮表示装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
請求項１に係る発明の画像処理装置は、入力画像データから任意の矩形領域を抽出して第１の画像データを生成する矩形領域抽出手段と、前記矩形領域抽出手段で生成された第１の画像データの解像度を変換して第２の画像データを生成する解像度変換手段と、前記解像度変換手段で生成された第２の画像データを所定の出力フォーマットに従って出力する出力手段と、を具備する画像処理装置であって、前記出力手段は、複数の解像度の画像データに対応した複数の出力フォーマットを有し、前記解像度変換手段は、前記出力手段の有する複数の出力フォーマットの中から前記矩形領域抽出手段で抽出された第１の画像データの解像度を超えない範囲で最大の解像度に対応した出力フォーマットを選択して前記第１の画像データの解像度を選択した出力フォーマットに対応した解像度へ変換することによって前記第２の画像データを生成し、前記出力手段は、前記解像度変換手段で選択された出力フォーマットで前記第２の画像データを出力する構成を採る。
【００１７】
この構成によれば、入力画像データから抽出した任意の矩形領域の画像データを、矩形領域の解像度に応じて最適な解像度の出力画像データに変換することができるので、本画像処理装置を用いた電子装置の高画質化、高機能化と回路規模の削減を図ることができる。
【００１８】
請求項２に係る発明の画像処理装置は、請求項１に係る発明の画像処理装置において、前記矩形領域抽出手段は、入力画像データから抽出する第１の画像データの解像度を連続的に増加又は減少する構成を採る。
【００１９】
この構成によれば、画像処理装置において連続的なズームアウトまたはズームインを実現することができる。
【００２０】
請求項３に係る発明の撮像装置は、撮像した被写体像を画像信号として出力する撮像素子と、被写体像を前記撮像素子へ結像するレンズと、前記撮像素子が出力した画像信号をディジタル画像データに変換する画像信号処理手段と、請求項１又は請求項２のいずれかに記載の画像処理装置と、を具備する構成を採る。
【００２１】
この構成によれば、レンズ、撮像素子、画像信号処理手段から得られたディジタル画像データから抽出した任意の矩形領域の画像データを、矩形領域の解像度に応じて最適な解像度の出力画像データに変換することができるので、本撮像装置を用いた電子装置の高画質化、高機能化と回路規模の削減を図ることができる。
【００２２】
請求項４に係る発明の画像圧縮表示装置は、入力画像データの解像度を検出する解像度検出手段と、入力画像データの解像度を変換して第３の画像データを生成する解像度変換手段と、予め定められた第１の解像度の画像データを符号化して画像符号化データを出力する符号化手段と、予め定められた第２の解像度の画像データを表示する表示手段とを具備する画像圧縮表示装置であって、前記入力データの解像度が前記第１の解像度又は前記第２の解像度のいずれかであり、前記解像度変換手段は、前記解像度検出手段で検出された解像度が前記第１の解像度であった場合、前記入力画像データを前記第２の解像度へ変換して第３の画像データを生成し、前記解像度検出手段で検出された解像度が前記第２の解像度であった場合、前記入力画像データを前記第１の解像度へ変換して第３の画像データを生成し、前記符号化手段は、前記入力画像データと前記第３の画像データの中から前記第１の解像度の画像データを選択して符号化を行い、前記表示手段は、前記入力画像データと前記第３の画像データの中から前記第２の解像度の画像データを選択して表示を行う構成を採る。
【００２３】
この構成によれば、入力されたディジタル画像データの解像度から符号化および表示に適した解像度のディジタル画像データをそれぞれ生成して、画像符号化データを出力し且つ画像表示を行うことができるので、本画像圧縮表示装置を用いた電子装置の高画質化、高機能化と回路規模の削減を図ることができる。
【００２４】
請求項５に係る発明の電子装置は、請求項３に係る発明の撮像装置と、請求項４に係る発明の画像圧縮表示装置と、を具備する構成を採る。
【００２５】
この構成によれば、電子装置において、上記構成の撮像装置及び上記構成の画像圧縮表示装置と同様な作用効果を得ることができる。
【００２６】
請求項６に係る発明の電子装置は、請求項５に係る発明の電子装置において、前記撮像装置が有する複数の画像フォーマットは、少なくとも画像圧縮表示装置が具備する符号化手段が符号化する画像データにおいて予め定められた第１の解像度と、画像圧縮表示装置が具備する表示手段が表示する画像データにおいて予め定められた第２の解像度とに対応した画像フォーマットを含み、前記撮像装置は、前記第１の解像度に対応した画像フォーマットと前記第２の解像度に対応した画像フォーマットとのいずれかを選択して画像データを出力する構成を採る。
【００２７】
この構成によれば、撮像装置で得られたディジタル画像データから任意の矩形領域を抽出し、矩形領域の解像度が表示部の解像度以上であった場合は、矩形領域のディジタル画像データを表示部の解像度へ変換することで、ズーム倍率が小さい範囲においては表示用ディジタル画像データの解像度を高く保つことができるので、本画像処理装置、撮像装置及び画像圧縮表示装置を用いた電子装置の高画質化を図ることができる。
【００２８】
また、矩形領域の解像度が表示手段の解像度未満となった場合は、矩形領域のディジタル画像データを符号化手段の解像度へ変換することで、表示用ディジタル画像データおよび符号化用ディジタル画像データにおいて、最大限のズーム倍率を得ることができるので、本画像処理装置、撮像装置及び画像圧縮表示装置を用いた電子装置の高機能化を図ることができる。
【００２９】
さらに、以上の処理をフレームメモリ等の大容量メモリを使用せずに実現できるので、本画像処理装置、撮像装置及び画像圧縮表示装置を用いた電子装置において回路規模の削減を図ることができる。
【００３０】
請求項７に係る発明の電話装置は、請求項５又は請求項６のいずれかに係る発明の電子装置を具備する構成を採る。
【００３１】
この構成によれば、電話装置において、上記いずれかの構成の電子装置と同様な作用効果を得ることができる。
【００３２】
請求項８に係る発明の情報端末装置は、請求項５又は請求項６のいずれかに記載の電子装置を具備する構成を採る。
【００３３】
この構成によれば、情報端末装置において、上記いずれかの構成の電子装置と同様な作用効果を得ることができる。
【００３４】
請求項９に係る発明の移動局装置は、請求項５又は請求項６のいずれかに係る発明の電子装置を具備する構成を採る。
【００３５】
この構成によれば、移動局装置において、上記いずれかの構成の電子装置と同様な作用効果を得ることができる。
【００３６】
請求項１０に係る発明の移動体通信システムは、請求項９に係る発明の移動局装置を具備する構成を採る。
【００３７】
この構成によれば、移動体通信システムにおいて、上記構成の移動局装置と同様な作用効果を得ることができる。
【００３８】
請求項１１に係る発明の画像処理方法は、入力画像データから任意の矩形領域を抽出して第１の画像データを生成し、前記第１の画像データの解像度を変換して第２の画像データを生成し、前記第２の画像データを所定の出力フォーマットに従って出力する画像処理方法であって、複数の解像度の画像データに対応した複数の出力フォーマットの中から、前記第１の画像データの解像度を超えない範囲で最大の解像度に対応した出力フォーマットを選択し、前記第１の画像データの解像度を前記選択した出力フォーマットに対応した解像度へ変換することによって前記第２の画像データを生成し、選択した出力フォーマットで前記第２の画像データを出力する。
【００３９】
この方法によれば、入力画像データから抽出した任意の矩形領域の画像データを、矩形領域の解像度に応じて最適な解像度の出力画像データに変換することができるので、本画像処理方法を用いた電子装置の高画質化、高機能化と回路規模の削減を図ることができる。
【００４０】
請求項１２に係る発明の画像圧縮表示方法は、入力画像データの解像度を検出し、入力画像データの解像度を変換して第３の画像データを生成し、予め定められた第１の解像度の画像データを符号化して画像符号化データを出力し、予め定められた第２の解像度の画像データを表示する画像圧縮表示方法であって、前記入力画像データの解像度は前記第１の解像度または前記第２の解像度のいずれかであり、前記入力画像データの解像度検出結果が前記第１の解像度であった場合、前記入力画像データを前記第２の解像度へ変換して第３の画像データを生成し、前記入力画像データの解像度検出結果が前記第２の解像度であった場合、前記入力画像データを前記第１の解像度へ変換して第３の画像データを生成し、前記入力画像データと前記第３の画像データの中から前記第１の解像度の画像データを選択して符号化を行い、前記入力画像データと前記第３の画像データの中から前記第２の解像度の画像データを選択して表示を行う。
【００４１】
この方法によれば、入力されたディジタル画像データの解像度から符号化および表示に適した解像度のディジタル画像データをそれぞれ生成して、画像符号化データを出力し、且つ画像表示を行うことができるので、本画像圧縮表示方法を用いた電子装置の高画質化、高機能化と回路規模の削減を図ることができる。
【００４２】
【発明の実施の形態】
本発明の骨子は、画像処理装置では、撮像素子から出力された画像信号からディジタル画像データを生成し、生成したディジタル画像データから矩形領域を抽出し、その領域の解像度を、表示手段で表示する解像度または符号化手段で符号化する解像度のいずれかに適応的に変換して出力し、画像圧縮表示装置では、入力されたディジタル画像データの解像度を検出し、検出した解像度に応じて適応的に解像度変換を行うことで、表示手段で表示する画像の解像度と符号化手段で符号化する解像度を得るようにし、これによって表示用のディジタル画像データ及び符号化用のディジタル画像データにおいて最大限のズーム倍率を得るとともに、ズーム倍率の小さな範囲でも解像度を高く保つことにある。
【００４３】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００４４】
（実施の形態１）
本発明の実施の形態１に係る電子装置は、撮像装置と、この撮像装置に用いられる画像処理装置と、画像圧縮表示装置とを備えて構成される。
【００４５】
図１は本発明の実施の形態１に係る電子装置の撮像装置の構成を示すブロック図である。この図において、本実施の形態に係る電子装置の撮像装置１は、レンズ１１と、撮像素子１２と、画像信号処理部１３と、画像処理装置１０とを備えて構成される。撮像素子１２には、図示していない被写体からの光がレンズ１１を通して入射する。撮像素子１２は、入射した被写体からの光に対して光電変換を行い、画像信号Ｓ１を生成する。生成した画像信号Ｓ１を画像信号処理部１３に入力する。画像信号処理部１３は、撮像素子１２から入力された画像信号Ｓ１に対してＡ／Ｄ変換や色変換などを行って例えば輝度データと色差データからなる第１のディジタル画像データＤ１を生成し、それを画像処理装置１０に入力する。
【００４６】
画像処理装置１０は、矩形領域抽出部１０１と、解像度変換部１０２と、インタフェース部１０３と、制御部１０４とを備えて構成される。矩形領域抽出部１０１は、制御部１０４から与えられる抽出領域指示Ｃ１に基づいて第１のディジタル画像データＤ１の中から矩形領域のディジタル画像データを抽出し、それを第２のディジタル画像データＤ２として解像度変換部１０２に入力する。解像度変換部１０２は、制御部１０４から与えられる出力解像度選択指示Ｃ２に基づいて第２のディジタル画像データＤ２の解像度を変換することでディジタル画像データＤ３を生成し、それをインタフェース部１０３に入力する。
【００４７】
図２は解像度変換部１０２の詳細な構成を示すブロック図である。この図において、解像度変換部１０２は、画素遅延部１０２１と、画素補間部１０２２と、ライン遅延部１０２３と、ライン補間部１０２４と、解像度変換制御部１０２５とを備えて構成される。画素遅延部１０２１は、画素遅延素子１０２１ａ、１０２１ｂ及び１０２１ｃを備えており、ライン遅延部１０２３は、ライン遅延素子１０２３ａ、１０２３ｂ、１０２３ｃを備えて構成される。
【００４８】
図３は、解像度変換部１０２における解像度変換処理の一例を説明するための図である。この図に示す例では第２のディジタル画像データＤ２の８画素（Ｘ１、…、Ｘ８）から、解像度変換後のディジタル画像データＤ３の５画素（Ｙ１、…、Ｙ５）を生成し、解像度を５／８に変換する例を示している。画素Ｙ１の画素値は、画素Ｘ１および画素Ｘ２の各画素値を重み付け平均することで得られる。また、画素Ｙ２の画素値は、画素Ｘ２および画素Ｘ３の各画素値を重み付け平均することで得られる。以下、同様に、解像度変換後のディジタル画像データＤ３の画素値は、第２のディジタル画像データＤ２から空間座標的に最も近い２画素の画素値を、空間的な距離に応じた重み付け平均することで得られる。
【００４９】
なお、図３は解像度を５／８の倍率で変換する例であるが、他の倍率についても同様の処理で変換を行うことができる。また、図３は第２のディジタル画像データＤ２に対して水平方向の解像度を変換する場合の説明図であるが、水平方向に隣接する画素を垂直方向に隣接する画素に置き換えることで垂直方向の解像度変換も同様に行うことができる。
【００５０】
図２に戻り、画素遅延部１０２１は、画素遅延素子１０２１ａ、１０２１ｂ、１０２１ｃによって水平方向に隣接する３画素の画素値を同時に画素補間部１０２２に入力する。画素補間部１０２２は、解像度変換制御部１０２５の指示に従い、画素遅延部１０２１から入力された水平方向に隣接する３画素の画素値から２画素を選択し、重み付け平均演算を行ってライン遅延部１０２３に入力する。ライン遅延部１０２３は、ライン遅延素子１０２３ａ、１０２３ｂ、１０２３ｃによって垂直方向に隣接する３画素を同時にライン補間部１０２４に入力する。ライン補間部１０２４は、解像度変換制御部１０２５の指示に従い、ライン遅延部１０２３から入力された垂直方向に隣接する３画素から２画素を選択し、重み付け平均演算を行って、解像度変換後のディジタル画像データＤ３として出力する。
【００５１】
解像度変換制御部１０２５は、出力解像度選択指示Ｃ２に基づいて解像度変換後のディジタル画像データＤ３の各画素に対し第２のディジタル画像データＤ２の中で水平方向に最も近い２画素を算出し、画素補間部１０２２に指示する。また、解像度変換制御部１０２５は、出力解像度選択指示Ｃ２に基づいて解像度変換後のディジタル画像データＤ３の各画素に対し第２のディジタル画像データＤ２の中で垂直方向に最も近い２画素を算出し、それをライン補間部１０２４に指示する。
【００５２】
図１に戻り、インタフェース部１０３は、複数の出力解像度に対応した出力フォーマットを有しており、制御部１０４から与えられる出力解像度選択指示Ｃ２に基づいて、解像度変換後のディジタル画像データＤ３に適した出力フォーマットを選択する。そして、選択した出力フォーマットに従って解像度変換後のディジタル画像データＤ３をインタフェース信号として出力する。このインタフェース信号は、例えばディジタル画像データ信号、垂直同期信号、水平同期信号、データクロックなどからなる。
【００５３】
制御部１０４は、矩形領域抽出部１０１が第１のディジタル画像データＤ１の中から抽出する矩形領域を指示する抽出領域指示Ｃ１を生成するとともに、インタフェース部１０３が有する複数の出力フォーマットの中から第２のディジタル画像データＤ２の解像度を超えない範囲で最大の解像度に対応した出力フォーマットを選択し、これを解像度選択指示Ｃ２として解像度変換部１０２とインタフェース部１０３に与える処理を行う。
【００５４】
ここで、インタフェース部１０３が有する出力フォーマットとして少なくとも画像圧縮表示装置２（図４参照）の符号化部２７で圧縮するディジタル画像データの解像度と、画像圧縮表示装置２の表示部２６で表示するディジタル画像データの解像度とを有しても良い。また、制御部１０４は、画像圧縮表示装置２の符号化部２７で圧縮するディジタル画像データの解像度と、画像圧縮表示装置２の表示部２６で表示するディジタル画像データの解像度とのいずれかを選択して出力解像度選択指示を生成し、解像度変換部１０２とインタフェース部１０３に入力するように構成しても良い。
【００５５】
このような構成において、矩形領域抽出部１０１にて第１のディジタル画像データＤ１の中から抽出された第２のディジタル画像データＤ２が、画像圧縮表示装置２の符号化部２７で圧縮するディジタル画像データの解像度または画像圧縮表示装置２（図４参照）の表示部２６で表示するディジタル画像データの解像度のいずれかの解像度に変換されてインタフェース信号として出力される。
【００５６】
以後、便宜的に画像圧縮表示装置２に入力されるインタフェース信号が、画像圧縮表示装置２の符号化部２７で圧縮するディジタル画像データの解像度または画像圧縮表示装置２の表示部２６で表示するディジタル画像データの解像度のいずれか一方の解像度のディジタル画像データ信号を含むものと仮定する。なお、この仮定は、画像圧縮表示装置２の説明のために便宜的に行うものであり、画像処理装置１０および撮像装置１の構成を限定するものではない。
【００５７】
このように、本実施の形態の撮像装置１は、レンズ１１、撮像素子１２、画像信号処理部１３から得られたディジタル画像データＤ１から抽出した任意の矩形領域の画像データを矩形領域の解像度に応じて最適な解像度の出力画像データに変換する。さらに、制御部１０４が矩形領域抽出部１０１へ出力する抽出領域指示Ｃ１において、第１のディジタル画像データＤ１の中から抽出する矩形領域の解像度を連続的に増加または減少させることにより、解像度変換後のディジタル画像データＤ３において連続的なズームアウトまたはズームインを実現する。そして、本実施の形態の画像処理装置１０は、撮像装置１で得られたディジタル画像データから任意の矩形領域を抽出し、その矩形領域の解像度に応じて最適な解像度のディジタル画像データを生成して画像圧縮表示装置２へ出力する。
【００５８】
なお、画像処理装置１０の解像度変換部１０２においては、解像度変換後のディジタル画像データＤ３の画素値が、第２のディジタル画像データＤ２から空間的に最も近い２画素の画素値を重み付け平均することで得られるものとしたが、これは本発明の構成を限定するものではなく、例えば最も近い１画素の画素値をそのまま解像度変換後のディジタル画像データＤ３の画素値として用いても良いし、または最も近い３画素以上の画素値に対して特定の演算処理を施すことで解像度変換後のディジタル画像データＤ３の画素値を算出しても良い。
【００５９】
次に、図４は、本発明の実施の形態１に係る電子装置の画像圧縮表示装置の構成を示すブロック図である。この図において、本実施の形態の画像圧縮表示装置２は、インタフェース部２０と、解像度検出部２１と、解像度変換部２２と、第１の選択部２３と、第２の選択部２４と、駆動信号生成部２５と、表示部２６と、符号化部２７とを備えて構成される。
【００６０】
インタフェース部２０は、画像圧縮表示装置２と上述した撮像装置１の画像処理装置１０とを接続し、画像処理装置１０から出力されたインタフェース信号即ちディジタル画像データＤ３を解像度検出部２１と解像度変換部２２と第１の選択部２３と第２の選択部２４それぞれに入力する。解像度検出部２１は、ディジタル画像データＤ３の解像度を検出し、解像度情報Ｓ２を解像度変換部２２と第１の選択部２３と第２の選択部２４それぞれに入力する。ここで、解像度情報Ｓ２は、符号化部２７で圧縮するディジタル画像データの解像度または表示部２６で表示するディジタル画像データの解像度のいずれかの解像度となる。
【００６１】
解像度情報Ｓ２が符号化部２７で圧縮するディジタル画像データの解像度であった場合、解像度変換部２２は、ディジタル画像データＤ３の解像度を表示部２６で表示するディジタル画像データの解像度に変換し、ディジタル画像データＤ４として第１の選択部２３と第２の選択部２４それぞれに入力する。他方、解像度情報Ｓ２が表示部２６で表示するディジタル画像データの解像度であった場合、解像度変換部２２は、ディジタル画像データＤ３の解像度を符号化部２７で圧縮するディジタル画像データの解像度に変換し、ディジタル画像データＤ４として第１の選択部２３と第２の選択部２４それぞれに入力する。
【００６２】
図５は解像度変換部２２の詳細な構成を示すブロック図である。この図において、解像度変換部２２は、画素遅延部２２１と、画素補間部２２２と、ライン遅延部２２３と、ライン補間部２２４と、解像度変換制御部２２５とを備えて構成される。画素遅延部２２１は、画素遅延素子２２１ａ、２２１ｂ、２２１ｃを備え、ライン遅延部２２３は、ライン遅延素子２２３ａ、２２３ｂ、２２３ｃを備えている。なお、画素遅延部２２１、画素補間部２２２、ライン遅延部２２３、ライン補間部２２４の動作は、図２で説明した画素遅延部１０２１、画素補間部１０２２、ライン遅延部１０２３、ライン補間部１０２４の動作とそれぞれ同様であるため、詳しい説明を省略する。
【００６３】
解像度変換制御部２２５は、解像度情報Ｓ２に基づいて解像度変換後のディジタル画像データＤ４の各画素に対し、ディジタル画像データＤ３の中で水平方向に最も近い２画素を算出し、それを画素補間部２２２に指示する。また、解像度変換制御部２２５は、解像度情報Ｓ２に基づいて解像度変換後のディジタル画像データＤ４の各画素に対し、ディジタル画像データＤ３の中で垂直方向に最も近い２画素を算出し、それをライン補間部２２４に指示する。
【００６４】
なお、本実施の形態の解像度変換部２２においては、解像度変換後のディジタル画像データＤ４の画素値は、ディジタル画像データＤ３から空間的に最も近い２画素の画素値を重み付け平均することで得られるものとしたが、これは本発明の構成を限定するものではなく、例えば最も近い１画素の画素値をそのまま解像度変換後のディジタル画像データＤ４の画素値として用いても良いし、または最も近い３画素以上の画素値に対して特定の演算処理を施すことで解像度変換後のディジタル画像データＤ４の画素値を算出しても良い。
【００６５】
図４に戻り、第１の選択部２３は、解像度情報Ｓ２が符号化部２７で圧縮するディジタル画像データの解像度であった場合、解像度変換後のディジタル画像データＤ４を選択し、表示用ディジタル画像データＤ５として駆動信号生成部２５に入力する。また、第１の選択部２３は、解像度情報Ｓ２が表示部２６で表示するディジタル画像データの解像度であった場合、ディジタル画像データＤ３を選択し、表示用ディジタル画像データＤ５として駆動信号生成部２５に入力する。
【００６６】
一方、解像度情報Ｓ２が符号化部２７で圧縮するディジタル画像データの解像度であった場合、第２の選択部２４は、ディジタル画像データＤ３を選択し、符号化用ディジタル画像データＤ６として符号化部２７に入力する。また、解像度情報Ｓ２が表示部２６で表示するディジタル画像データの解像度であった場合、第２の選択部２４は、解像度変換後のディジタル画像データＤ４を選択し、符号化用ディジタル画像データＤ６として符号化部２７に入力する。
【００６７】
駆動信号生成部２５は、入力された表示用ディジタル画像データＤ５から駆動信号Ｓ３を生成し表示部２６に入力する。この駆動信号Ｓ３は例えばディジタル画像データ信号、垂直同期信号、水平同期信号、データクロックなどからなる。また、駆動信号生成部２５は、例えば輝度および色差成分で構成されるディジタル画像データからＲＧＢ成分で構成されるディジタル画像データへの変換やディジタル画像データのγ調整、色調整などの信号処理を行う。表示部２６は、入力された駆動信号Ｓ３に従って画像を表示する。符号化部２７は、入力された符号化用ディジタル画像データＤ６を符号化し、画像符号化データＤ７を出力する。
【００６８】
このように、本実施の形態の画像圧縮表示装置２は、符号化および表示に適した解像度のディジタル画像データをそれぞれ生成して、画像符号化データ出力および画像表示を行うことにより、本画像処理装置、撮像装置、および画像圧縮表示装置を用いた電子装置の高画質化、高機能化と回路規模の削減を図ることができる。
【００６９】
図６及び図７は、本実施の形態に係る電子装置の画像処理装置１０、撮像装置１及び画像圧縮表示装置２の各入出力におけるディジタル画像データの具体的な解像度の一例を示す図である。なお、これらの図において図１及び図４と同一の信号については同一の符号を付すこととする。
【００７０】
ここで説明の便宜上、撮像素子１２の解像度をＶＧＡ（横６４０画素×縦４８０画素）、符号化部２７で符号化する符号化用ディジタル画像データＤ６の解像度をｓｕｂＱＣＩＦ（横１２８画素×縦９６画素）、表示部２６で表示する表示用ディジタル画像データＤ５の解像度をＱＶＧＡ（横３２０画素×縦２４０画素）と仮定する。なお、この仮定は、本実施の形態の画像処理装置１０、撮像装置１及び画像圧縮表示装置２の動作を説明するために便宜的に行うものであり、本発明の構成を限定するものではない。
【００７１】
撮像装置１では、解像度がＶＧＡである第１のディジタル画像データＤ１の中から矩形領域のディジタル画像データを抽出することで横ＡＨ画素×縦ＡＶ画素の第２のディジタル画像データＤ２を生成する。次に、第２のディジタル画像データＤ２の解像度がＱＶＧＡ以上であった場合、第２のディジタル画像データＤ２の解像度をＱＶＧＡへ変換し、解像度変換後のディジタル画像データＤ３を生成する。
【００７２】
また、第２のディジタル画像データＤ２の解像度がＱＶＧＡ未満であった場合、第２のディジタル画像データＤ２の解像度をｓｕｂＱＣＩＦに変換し、解像度変換後のディジタル画像データＤ３を生成する。解像度変換後のディジタル画像データＤ３は、所定の出力フォーマットに従ってインタフェース信号として画像圧縮表示装置２へ出力される。
【００７３】
画像圧縮表示装置２では、インタフェース信号からディジタル画像データＤ３を生成し、ディジタル画像データＤ３の解像度がＱＶＧＡであった場合、ディジタル画像データＤ３の解像度をｓｕｂＱＣＩＦに変換し、解像度変換後のディジタル画像データＤ４を生成する。また、ディジタル画像データＤ３の解像度がｓｕｂＱＣＩＦであった場合、ディジタル画像データＤ３の解像度をＱＶＧＡに変換し、解像度変換後のディジタル画像データＤ４を生成する。
【００７４】
ディジタル画像データＤ３の解像度がＱＶＧＡであった場合、ディジタル画像データＤ３を表示用ディジタル画像データＤ５として表示し、解像度変換後のディジタル画像データＤ４を符号化用ディジタル画像データＤ６として画像符号化データを生成する。
【００７５】
また、ディジタル画像データＤ３の解像度がｓｕｂＱＣＩＦであった場合、解像度変換後のディジタル画像データＤ４を表示用ディジタル画像データＤ５として表示し、ディジタル画像データＤ３を符号化用ディジタル画像データＤ６として画像符号化データを生成する。
【００７６】
以上のように、本実施の形態に係る電子装置によれば、撮像装置１で得られたディジタル画像データから任意の矩形領域を抽出し、矩形領域の解像度が表示部２６の解像度以上であった場合は、矩形領域のディジタル画像データを表示部２６の解像度へ変換することで、ズーム倍率が小さい範囲においては表示用ディジタル画像データの解像度を高く保つことができ、高画質化を図ることができる。
【００７７】
また、矩形領域の解像度が表示部２６の解像度未満となった場合は、矩形領域のディジタル画像データを符号化部２７の解像度へ変換することで、表示用ディジタル画像データおよび符号化用ディジタル画像データにおいて、最大限のズーム倍率を得ることができ、高機能化を図ることができる。
【００７８】
さらに、以上の処理をフレームメモリ等の大容量メモリを使用せずに実現でき、回路規模の削減を図ることができる。
【００７９】
（実施の形態２）
図８は、本発明の実施の形態２に係る電子装置の構成の例を示すブロック図である。なお、この図において、図１及び図４と同一のブロックおよび信号については同一の符号を付し、詳しい説明を省略する。
【００８０】
図８において、本実施の形態に係る電子装置は、アンテナ６０と、ＲＦ部６１と、ベースバンド信号処理部６２と、音声コーデック部６３と、レシーバ６４と、マイク６５と、ＣＰＵ６６と、画像伸張部６７と、セレクタ６８と、撮像装置１と、画像圧縮表示装置２とを備えて構成される。ベースバンド信号処理部６２と、音声コーデック部６３と、ＣＰＵ６６と、画像伸張部６７と、セレクタ６８と、画像圧縮表示装置２とがＣＰＵバス６００に接続される。
【００８１】
このような構成において、アンテナ６０にて受信された無線信号が受信信号としてＲＦ部６１に入力され、またＲＦ部６１から出力された送信信号がアンテナ６０から送信される。ＲＦ部６１は、アンテナ６０からの受信信号をベースバンド周波数にダウンコンバートしてベースバンド信号処理部６２へ出力し、またベースバンド信号処理部６２から入力された送信信号を無線周波数にアップコンバートしてアンテナ６０へ出力する。
【００８２】
ベースバンド信号処理部６２は、ＲＦ部６１から入力された受信信号を復調してＣＰＵ６６へ出力し、またＣＰＵ６６より入力された送信信号を変調してＲＦ部６１へ出力する。ＣＰＵ６６は、ベースバンド信号処理部６２から入力された受信信号が音声符号化データである場合、音声符号化データを音声コーデック部６３へ出力する。また、受信信号が画像符号化データである場合、画像符号化データを画像伸張部６７へ出力する。また、ＣＰＵ６６は音声コーデック部６３から入力された音声符号化信号を送信信号としてベースバンド信号処理部６２へ出力し、画像圧縮表示装置２から入力された画像符号化データを送信信号としてベースバンド信号処理部６２へ出力する。
【００８３】
音声コーデック部６３は、ＣＰＵ６６から入力された音声符号化データを復号化し、得られた音声信号をレシーバ６４へ出力し、またマイク６５から入力された音声信号を符号化し、得られた音声符号化信号をＣＰＵ６６へ出力する。レシーバ６４は、音声コーデック部６３から入力された音声信号を音声として出力する。マイク６５は、入力された音声を音声信号として音声コーデック部６３へ出力する。画像伸張部６７は、ＣＰＵ６６より入力された画像符号化データを復号し、得られた画像データを画像圧縮表示装置２における表示解像度に変換してインタフェース信号Ｓ５としてセレクタ６８へ出力する。撮像装置１は、撮像した画像データからインタフェース信号Ｓ６を生成しセレクタ６８へ出力する。
【００８４】
セレクタ６８は、ＣＰＵ６６からの制御に基づいてインタフェース信号Ｓ５、Ｓ６のいずれか一方を選択し、インタフェース信号Ｓ７として画像圧縮装置２へ出力する。画像圧縮表示装置２は、セレクタ６８からのインタフェース信号Ｓ７によって入力された画像データを表示するとともに、符号化処理を行って画像符号化データをＣＰＵ６６へ出力する。
【００８５】
次に、本実施の形態に係る電子装置の動作について説明する。
受信信号が、アンテナ６０、ＲＦ部６１、及びベースバンド信号処理部６２を介してＣＰＵ６６に入力される。受信した信号が画像符号化データである場合、ＣＰＵ６６は、画像符号化データを画像伸張部６７へ出力し、画像伸張部６７は画像符号化データを復号して得られた画像データを画像圧縮表示装置２における表示解像度に変換して画像圧縮表示装置２へ出力し、画像圧縮表示装置２において動画像が表示される。
【００８６】
撮像装置１は、撮像したディジタル画像データから任意の矩形領域を抽出し、矩形領域の解像度が画像圧縮表示装置の表示解像度以上であった場合は、矩形領域のディジタル画像データを画像圧縮表示装置の表示解像度へ変換し、また矩形領域の解像度が画像圧縮表示装置の表示解像度未満となった場合は、矩形領域のディジタル画像データを画像圧縮表示装置の符号化解像度へ変換して、解像度変換後のディジタル画像データをインタフェース信号Ｓ６として出力する。
【００８７】
動画像圧縮表示装置２は、インタフェース信号Ｓ７から符号化に適した解像度のディジタル画像データと、表示に適した解像度のディジタル画像データとを生成する。また、動画像圧縮表示装置２は、符号化に適した解像度のディジタル画像データを符号化して画像符号化データをＣＰＵ６６へ出力し、画像符号化データはベースバンド信号処理部６２、ＲＦ部６１、アンテナ６０を通して送信される。さらに、動画像圧縮表示装置２は、表示に適した解像度のディジタル画像データの表示を行う。
【００８８】
受信した信号が音声符号化データである場合、ＣＰＵ６６は、音声符号化データを音声コーデック部６３へ出力し、音声コーデック部６３において音声符号化データから音声信号が生成され、レシーバ６４へ出力される。また、マイク６５から入力された音声信号が音声コーデック部６３において符号化されて、ベースバンド信号処理部６２、ＲＦ部６１、アンテナ６０を通して送信される。
【００８９】
このように、本実施の形態に係る電子装置によれば、撮像装置１で得られたディジタル画像データから任意の矩形領域を抽出し、矩形領域の解像度が画像圧縮表示装置２の表示解像度以上であった場合は、矩形領域のディジタル画像データを画像圧縮表示装置２の表示解像度へ変換することで、ズーム倍率が小さい範囲においては表示用ディジタル画像データの解像度を高く保つことができ、電子装置の高画質化を図ることができる。
【００９０】
また、矩形領域の解像度が画像圧縮表示装置２の表示解像度未満となった場合は、矩形領域のディジタル画像データを画像圧縮表示装置２の符号化解像度へ変換することで、表示用ディジタル画像データおよび符号化用ディジタル画像データにおいて最大限のズーム倍率を得ることができ、電子装置の高機能化を図ることができる。さらに以上の処理をフレームメモリ等の大容量メモリを使用せずに実現でき、電子装置において回路規模の削減を図ることができる。
【００９１】
なお、本実施の形態の画像処理装置１０、撮像装置１、および画像圧縮表示装置２は、移動通信システムにおける携帯電話機、携帯テレビ電話機、コンピュータ機能を備える通信端末機等の移動局装置または有線回線で接続される据え置き型の電話機やテレビ電話機、さらにはテレビ受像機、コンピュータおよびコンピュータ機能を有する情報端末装置等に用いることができる。この場合、電子装置において、フレームメモリ等の大容量メモリを使用せずに、ズーム倍率が小さい範囲において表示画像の解像度を高く保つことができ、また表示画像および符号化画像において最大限のズーム倍率を得ることができ、電子装置の高画質化、高機能化、回路規模の削減を図ることができる。
【００９２】
【発明の効果】
以上説明したように本発明によれば、携帯電話に代表される画像撮影機能や画像通信機能を備えた電子装置において、好適な解像度の画像表示および画像符号化を行うとともに、電子装置に好適な電子ズームを実現し、かつ回路規模を削減することができる画像処理装置、撮像装置および画像圧縮表示装置を提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る電子装置の撮像装置の構成を示すブロック図
【図２】図１に示す撮像装置の構成の一部である画像処理装置の解像度変換部の詳細な構成を示すブロック図
【図３】図２に示す解像度変換部の処理例を示す説明図
【図４】本発明の実施の形態１に係る電子装置の画像圧縮表示装置の構成を示すブロック図
【図５】図４に示す画像圧縮表示装置の解像度変換部の詳細な構成を示すブロック図
【図６】本発明の実施の形態１に係る電子装置の処理過程を説明するための図
【図７】本発明の実施の形態１に係る電子装置の処理過程を説明するための図
【図８】本発明の実施の形態２に係る電子装置の構成を示すブロック図
【符号の説明】
１  撮像装置
２  画像圧縮表示装置
１０  画像処理装置
１１  レンズ
１２  撮像素子
１３  画像信号処理部
２０  インタフェース部
２１  解像度検出部
２２  解像度変換部
２３  第１の選択部
２４  第２の選択部
２５  駆動信号生成部
２６  表示部
２７  符号化部
１０１  矩形領域抽出部
１０２  解像度変換部
１０３  インタフェース部
１０４  制御部
１０２１、２２１  画素遅延部
１０２１ａ、１０２１ｂ、１０２１ｃ、２２１ａ、２２１ｂ、２２１ｃ  画素遅延素子
１０２２、２２２  画素補間部
１０２３、２２３  ライン遅延部
１０２３ａ、１０２３ｂ、１０２３ｃ、２２３ａ、２２３ｂ、２２３ｃ  ライン遅延素子
１０２４、２２４  ライン補間部
１０２５、２２５  解像度変換制御部
６０  アンテナ
６１  ＲＦ部
６２  ベースバンド信号処理部
６３  音声コーデック部
６４  レシーバ
６５  マイク
６６  ＣＰＵ
６７  画像伸張部
６８  セレクタ
６００  ＣＰＵバス
【図１】
2004320365.tif 000003
【図２】
2004320365.tif 000004
【図３】
2004320365.tif 000005
【図４】
2004320365.tif 000006
【図５】
2004320365.tif 000007
【図６】
2004320365.tif 000008
【図７】
2004320365.tif 000009
【図８】
2004320365.tif 000010