(57)【要約】【課題】本発明は、演算装置における負荷の増大やパフォーマンスの低下を招くことなく撮像データのエンコード処理とデコード処理を共に実施することが可能な画像処理装置、及び、これを用いた電子機器を提供することを目的とする。【解決手段】本発明に係る画像処理装置１００は、カメラ２００と演算装置３００との間に接続される画像処理装置であって、カメラ２００から入力される撮像データＤＡＴ１を演算装置３００に直接出力する第１の信号経路（１０１→１０４）と、カメラ２００から入力される撮像データＤＡＴ１に所定のエンコード処理を施して演算装置３００に出力する第２の信号経路（１０１→１０２→１０３→１０４）と、演算装置３００から入力されるエンコード処理済みの撮像データＤＡＴ２に所定のデコード処理を施して演算装置３００に出力する第３の信号経路（１０５→１０６→１０７→１０４）と、を有して成る。【選択図】図１
2008236573.tif 000002
【特許請求の範囲】
【請求項１】
カメラセンサと演算装置との間に接続される画像処理装置であって、前記カメラセンサから入力される撮像データを前記演算装置に直接出力する第１の信号経路と、前記カメラセンサから入力される撮像データに所定のエンコード処理を施して前記演算装置に出力する第２の信号経路と、前記演算装置から入力されるエンコード処理済みの撮像データに所定のデコード処理を施して前記演算装置に出力する第３の信号経路と、を有して成ることを特徴とする画像処理装置。
【請求項２】
前記演算装置から入力されるカメラクロックを前記カメラセンサに出力する第４の信号経路と、第４の信号経路を導通／遮断するスイッチと、を有して成ることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記カメラクロックを所望の周波数に調整するカメラクロック調整回路を有して成ることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
第１、第３の信号経路を介して各々入力される撮像データのスケールを調整するイメージスケーラを有して成ることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
カメラセンサと、演算装置と、前記カメラセンサと前記演算装置との間に接続される請求項１〜請求項４のいずれかに記載の画像処理装置と、を有して成ることを特徴とする電子機器。
【請求項６】
前記演算装置は、前記カメラセンサから入力される撮像データを表示部でプレビューするときには、第１の信号経路を選択するように、前記カメラセンサから入力される撮像データを記憶部に保存するときには、第２の信号経路を選択するように、前記記憶部に保存された撮像データを前記表示部で再生表示するときには、第３の信号経路を選択するように、前記画像処理装置に対して指示を送ることを特徴とする請求項５に記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像データに所定のエンコード処理及びデコード処理を施す画像処理装置、及び、これを用いた電子機器に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラやカメラ付きの携帯電話機など、撮像機能を備えた電子機器が広く普及している。このような電子機器において、撮像データを保存する場合には、そのデータ容量を削減するために、ＪＰＥＧ［Joint Photographic Coding Experts Group］圧縮などのエンコード処理を施すことが多い。また、このようなエンコード処理を実現する方式としては、ＣＰＵ［Central Processing Unit］によるソフトウェアエンコード方式（図３（ａ）を参照）のほか、専用の画像処理装置（ＪＰＥＧエンジンなどのペリフェラルエンジン）を用いる方式（図３（ｂ）、（ｃ）を参照）がある。
【０００３】
なお、上記に関連する従来技術の一例としては、特許文献１に開示・提案された撮像装置を挙げることができる。
【特許文献１】特開２００４−１２８５８３号公報（特に図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
確かに、図３（ａ）〜（ｃ）の従来方式であれば、撮像データの保存時にそのデータ容量を削減することができるので、撮像データの保存先となるメモリ（半導体メモリなど）の容量を有効に利用することが可能である。
【０００５】
しかしながら、図３（ａ）の従来方式では、ＣＰＵによるエンコード処理に必要なプログラムが必要となる上、撮像データの圧縮保存時には、ＣＰＵに大きな負荷が掛かることになるので、処理速度の低下を招くおそれがあった。
【０００６】
一方、図３（ｂ）の従来方式であれば、カメラセンサとＣＰＵとの間にペリフェラルエンジンが搭載されているので、撮像データの転送用に最適化された既存のカメラインターフェイスを有効に利用して、圧縮処理済みの撮像データ（ＪＰＥＧコード）をスムーズに受け渡し、これをメモリに保存することができる。従って、図３（ｂ）の従来方式であれば、図３（ａ）の従来方式に比べて、プログラムの削減やＣＰＵの負荷低減を実現することが可能である。しかしながら、上記従来のペリフェラルエンジンは、あくまで、撮像データの圧縮保存時にしか用いることができず、メモリに圧縮保存された撮像データを伸長してディスプレイ（ＬＣＤ［Liquid Crystal Display］など）に再生表示する際には、別途デコード処理用のペリフェラルエンジンを搭載するか、ＣＰＵによるソフトウェアデコードを行う必要があった。
【０００７】
なお、図３（ｃ）の従来方式であれば、単一のペリフェラルエンジンを用いて、圧縮保存時のエンコード処理と再生表示時のデコード処理を共に実施することが可能となるが、反面、ＣＰＵとペリフェラルエンジンとの間でデータの入出力頻度が高くなるため、パフォーマンス的に不利であった。
【０００８】
本発明は、上記の問題点に鑑み、演算装置における負荷の増大やパフォーマンスの低下を招くことなく、撮像データのエンコード処理とデコード処理を共に実施することが可能な画像処理装置、及び、これを用いた電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成すべく、本発明に係る画像処理装置は、カメラセンサと演算装置との間に接続される画像処理装置であって、前記カメラセンサから入力される撮像データを前記演算装置に直接出力する第１の信号経路と、前記カメラセンサから入力される撮像データに所定のエンコード処理を施して前記演算装置に出力する第２の信号経路と、前記演算装置から入力されるエンコード処理済みの撮像データに所定のデコード処理を施して前記演算装置に出力する第３の信号経路と、を有して成る構成（第１の構成）とされている。
【００１０】
なお、上記第１の構成から成る画像処理装置は、前記演算装置から入力されるカメラクロックを前記カメラセンサに出力する第４の信号経路と、第４の信号経路を導通／遮断するスイッチと、を有して成る構成（第２の構成）にするとよい。
【００１１】
また、上記第２の構成から成る画像処理装置は、前記カメラクロックを所望の周波数に調整するカメラクロック調整回路を有して成る構成（第３の構成）にするとよい。
【００１２】
また、上記第３の構成から成る画像処理装置は、第１、第３の信号経路を介して各々入力される撮像データのスケールを調整するイメージスケーラを有して成る構成（第４の構成）にするとよい。
【００１３】
また、本発明に係る電子機器は、カメラセンサと、演算装置と、前記カメラセンサと前記演算装置との間に接続される上記第１〜第４いずれかの構成から成る画像処理装置と、を有して成る構成（第５の構成）とされている。
【００１４】
なお、上記第５の構成から成る電子機器において、前記演算装置は、前記カメラセンサから入力される撮像データを表示部でプレビューするときには、第１の信号経路を選択するように、前記カメラセンサから入力される撮像データを記憶部に保存するときには、第２の信号経路を選択するように、前記記憶部に保存された撮像データを前記表示部で再生表示するときには、第３の信号経路を選択するように、前記画像処理装置に対して指示を送る構成（第６の構成）にするとよい。
【発明の効果】
【００１５】
本発明に係る画像処理装置であれば、演算装置における負荷の増大やパフォーマンスの低下を招くことなく、撮像データのエンコード処理とデコード処理を共に実施することが可能となる。
【発明を実施するための最良の形態】
【００１６】
まず、本発明に係る電子機器（デジタルカメラやカメラ付き携帯電話機など、撮像機能を備えた電子機器全般）の第１実施形態について、図１を参照しながら詳細に説明する。
【００１７】
図１は、本発明に係る電子機器の第１実施形態を示すブロック図である。
【００１８】
本図に示すように、本実施形態の電子機器は、画像処理装置１００と、カメラセンサ２００と、演算装置３００と、表示部４００と、記憶部５００と、を有して成る。
【００１９】
画像処理装置１００は、カメラセンサ２００と演算装置３００との間に接続され、撮像データに所定のエンコード処理及びデコード処理を施すペリフェラルエンジン（本実施形態では、ＪＰＥＧ方式の圧縮処理／伸長処理を施すＪＰＥＧエンジン）である。なお、画像処理装置１００の内部構成及び動作については、後ほど詳細な説明を行う。
【００２０】
カメラセンサ２００は、レンズ群や撮像素子（ＣＭＯＳ［Complementary Metal Oxide Semiconductor］センサやＣＣＤ［Charge Coupled Devices］センサ）を備えて成り、撮像素子の撮像面に結像された光学像を電気信号に変換して、各種の信号処理（自動ゲイン調整処理、相関二重サンプリング処理、アナログ／デジタル変換処理など）を施し、所望の撮像データＤＡＴ１を生成して、これを画像処理装置１００に出力する手段である。
【００２１】
なお、カメラセンサ２００の撮像動作は、演算装置３００から直接入力される制御信号ＣＴＲＬ１に基づいてオン／オフ制御されるものであり、被写体の撮像動作中には、演算装置３００から画像処理装置１００を介して入力されるカメラクロックＣＬＫ１に同期して、例えば３０［ｆｐｓ］のフレームレートで、ＳＸＧＡ［Super eXtended Graphics Array］サイズ（１２８０ピクセル×１０２４ピクセル）の撮像データＤＡＴ１が出力される。その際、カメラセンサ２００は、撮像データＤＡＴ１とともに、フレームの構築に必要な水平同期信号Ｈｓ、垂直同期信号Ｖｓ、及び、カメラピクセルクロックＣＰＣＬＫを画像処理装置１００に出力する。
【００２２】
演算装置３００は、カメラインターフェイスや汎用の入出力ポート（ＧＩＯ［General Purpose Input/Output］）を備えたＣＰＵ（デジタルベースバンドプロセッサ：ＤＢＢ）であり、画像処理装置１００、カメラセンサ２００、表示部４００、及び、記憶部５００など、電子機器各部の動作を統括的に制御する手段である。
【００２３】
表示部４００は、演算装置３００の指示に基づいて、被写体のプレビュー表示（リアルタイム表示）や撮影済み画像の再生表示を行う手段（本実施形態ではＬＣＤ）である。
【００２４】
記憶部５００は、演算装置３００の指示に基づいて、撮影済み画像を保存する手段（本実施形態では半導体メモリ）である。
【００２５】
次に、画像処理装置１００の内部構成について、詳細な説明を行う。
【００２６】
図２に示すように、本実施形態の画像処理装置１００は、カメラインターフェイス１０１（以下、カメラＩ／Ｆ１０１と呼ぶ）と、クリップラインバッファ１０２と、ＪＰＥＧエンコーダ１０３と、シリアルインターフェイス１０４（以下、シリアルＩ／Ｆ１０５と呼ぶ）と、コードバッファ１０５と、ＪＰＥＧデコーダ１０６と、フレーム制御部１０７と、出力スイッチ１０８と、スイッチ１０９と、を有して成る。
【００２７】
カメラＩ／Ｆ１０１は、被写体の撮像動作中にカメラセンサ２００から入力される撮像データＤＡＴ１、水平同期信号Ｈｓ、垂直同期信号Ｖｓ、及び、カメラピクセルクロックＣＰＣＬＫを受け取り、これをクリップラインバッファ１０２や出力スイッチ１０８に出力する手段である。
【００２８】
クリップラインバッファ１０２は、カメラセンサ２００から入力される撮像データＤＡＴ１をライン毎に一時格納し、これをＪＰＥＧエンコーダ１０３に出力する手段である。
【００２９】
ＪＰＥＧエンコーダ１０３は、クリップラインバッファ１０２から入力される撮像データＤＡＴ１に所定のエンコード処理（ＪＰＥＧ圧縮処理）を施して、圧縮撮像データＤＡＴ２（ＪＰＥＧコード）を生成し、これを出力スイッチ１０８に出力する手段である。
【００３０】
シリアルＩ／Ｆ１０４は、演算装置３００から入力される制御信号ＣＴＲＬ２（動作モード切替信号）と、デコード処理の対象となる圧縮撮像データＤＡＴ２を順次シリアルに受け取る手段である。なお、基板配線の本数削減やＩＣのピン数削減を鑑みると、圧縮撮像データＤＡＴ２の伝送経路としては、シリアルＩ／Ｆや高速のＩ２Ｃバスを用いるとよい。ただし、圧縮撮像データＤＡＴ２は、制御信号ＣＴＲＬ１、ＣＴＲＬ２に比べて、データ量が大きいので、できるだけ高速のインターフェイスを用いることが望ましい。
【００３１】
コードバッファ１０５は、ＪＰＥＧデコーダ１０６でのデコード処理（ＪＰＥＧ伸長処理）に最低限必要なデータ量の圧縮撮像データＤＡＴ２（ＪＰＥＧコード）をバッファする手段である。
【００３２】
ＪＰＥＧデコーダ１０６は、コードバッファ１０５から入力される圧縮撮像データＤＡＴ２に所定のデコード処理（ＪＰＥＧ伸長処理）を施して、伸長撮像データＤＡＴ３を生成し、これを出力スイッチ１０８に出力する手段である。
【００３３】
フレーム制御部１０７は、カメラセンサ２００からの入力信号に依ることなく、伸長撮像データＤＡＴ３のフレーム構築に必要な水平同期信号Ｈｓ、垂直同期信号Ｖｓ、及び、ピクセルクロックＰＣＬＫをＩＣ内部で独自に生成し、これを出力スイッチ１０８に出力する手段である。このようなフレーム制御部１０７を有する構成であれば、演算装置３００から入力される圧縮撮像データＤＡＴ２のデコード処理に際して、カメラセンサ２００の動作を停止させても、何ら支障を生じることなく伸長撮像データＤＡＴ３のフレーム構築を行うことが可能となる。
【００３４】
出力スイッチ１０８は、カメラＩ／Ｆ１０１から撮像データＤＡＴ１が直接入力される第１の信号経路、ＪＰＥＧエンコーダ１０３から圧縮撮像データＤＡＴ２が入力される第２の信号経路、並びに、ＪＰＥＧデコーダ１０６から伸長撮像データＤＡＴ３が入力される第３の信号経路のうち、いずれか一を介して得られる撮像データ（ここでは撮像データＤＡＴと表記する）とともに、そのフレーム構築に必要な水平同期信号Ｈｓ、垂直同期信号Ｖｓ、及び、ピクセルクロックＰＣＬＫを演算装置３００に出力する手段である。
【００３５】
スイッチ１０９は、演算装置３００から入力されるカメラクロックＣＬＫ１をカメラセンサ２００に出力する第４の信号経路を導通／遮断する手段である。このように、カメラクロックＣＬＫ１を演算装置３００からカメラセンサ２００に直接入力するのではなく、画像処理装置１００に一旦入力し、これを画像処理装置１００の駆動クロックとして用いる一方、カメラセンサ２００に対するカメラクロックＣＬＫ１の供給可否を任意に切り替える構成であれば、演算装置３００から入力される圧縮撮像データＤＡＴ２のデコード処理に際して、カメラセンサ２００を駆動させることなく、画像処理装置１００だけ駆動させることが可能となる。すなわち、圧縮撮像データＤＡＴ２のデコード処理時には、画像処理装置１００がカメラセンサ２００の代わりをするように動作するので、カメラセンサ２００で不必要に電力を消費せずに済む。
【００３６】
次に、上記構成から成る画像処理装置１００の動作について、詳細な説明を行う。
【００３７】
まず、画像処理装置１００のプレビューモードについて説明する。
【００３８】
この場合、画像処理装置１００は、演算装置３００からの指示（制御信号ＣＴＲＬ２）に基づき、カメラセンサ２００から入力される撮像データＤＡＴ１に対して、何ら画像処理を施すことなく、第１の信号経路（カメラＩ／Ｆ１０１→出力スイッチ１０８）を介して、これを演算回路３００にスルーする。従って、表示部３００では、被写体をリアルタイムにモニタすることが可能となる。
【００３９】
次に、画像処理装置１００のエンコードモードについて説明する。
【００４０】
この場合、画像処理装置１００は、演算装置３００からの指示（制御信号ＣＴＲＬ２）に基づき、第２の信号経路（カメラＩ／Ｆ１０１→クリップラインバッファ１０２→ＪＰＥＧエンコーダ１０３→出力スイッチ１０８）を介して、カメラセンサ２００から入力される撮像データＤＡＴ１に所定のエンコード処理（ＪＰＥＧ圧縮処理）を施して、圧縮撮像データＤＡＴ２（ＪＰＥＧコード）を生成し、これを演算回路３００に出力する。従って、撮像データの保存時にそのデータ容量を削減することができるので、記憶部５００の容量を有効に利用することが可能である。
【００４１】
次に、画像処理装置１００のデコードモードについて説明する。
【００４２】
この場合、画像処理装置１００は、演算装置３００からの指示（制御信号ＣＴＲＬ２）に基づき、第３の信号経路（シリアルＩ／Ｆ１０４→コードバッファ１０５→ＪＰＥＧデコーダ１０６→出力スイッチ１０８）を介して、演算装置３００から入力される圧縮撮像データＤＡＴ２（ＪＰＥＧコード）に所定のデコード処理（ＪＰＥＧ伸長処理）を施して伸長撮像データＤＡＴ３を生成し、これを演算回路３００に出力する。従って、表示部３００では、記憶部５００に保存された撮像済み画像を再生表示することが可能となる。
【００４３】
上記のように、本実施形態の画像処理装置１００は、カメラセンサ２００と演算装置３００との間に接続される画像処理装置であって、カメラセンサ２００から入力される撮像データＤＡＴ１を演算装置３００に直接出力する第１の信号経路（１０１→１０４）と、カメラセンサ２００から入力される撮像データＤＡＴ１に所定のエンコード処理を施して演算装置３００に出力する第２の信号経路（１０１→１０２→１０３→１０４）と、演算装置３００から入力される圧縮撮像データＤＡＴ２に所定のデコード処理を施して演算装置３００に出力する第３の信号経路（１０５→１０６→１０７→１０４）と、を有して成る構成とされている。
【００４４】
このような構成とすることにより、演算装置３００における負荷の増大やパフォーマンスの低下を招くことなく、カメラセンサ２００から入力される撮像データＤＡＴ１のエンコード処理と、演算装置３００から入力される圧縮撮像データＤＡＴ２のデコード処理を共に実施することが可能となる。
【００４５】
特に、本実施形態の画像処理装置１００は、カメラセンサ２００と演算装置３００との間に接続され、撮像データＤＡＴの転送用に最適化された既存のカメラインターフェイスを有効に利用することができるので、カメラセンサ２００から入力される撮像データＤＡＴ１や、ＪＰＥＧエンコーダ１０３で得られる圧縮撮像データＤＡＴ２だけでなく、ＪＰＥＧデコーダ１０６で得られる伸長撮像データＤＡＴ３についても、演算装置３００との間でスムーズに受け渡すことが可能となる。
【００４６】
続いて、本発明に係る電子機器の第２実施形態について、図２を参照しながら詳細に説明する。
【００４７】
図２は、本発明に係る電子機器の第２実施形態を示すブロック図である。
【００４８】
本図に示すように、本実施形態の電子機器は、先述の第１実施形態とほぼ同様の構成から成り、画像処理装置１００にカメラクロック調整回路１１０とイメージスケーラ１１１を設けたことを特徴としている。そこで、第１実施形態と同様の部分については、図１と同一の符号を付すことで詳細な説明を省略し、以下では、本実施形態の特徴部分についてのみ、重点的な説明を行うことにする。
【００４９】
カメラクロック調整回路１１０は、演算装置３００から入力されるカメラクロックＣＬＫ１を所望の周波数に調整（逓倍・分周）してカメラクロックＣＬＫ２を生成し、これをカメラセンサ２００に出力する手段である。なお、カメラクロック調整回路１１０としては、ＰＬＬ回路などを用いればよい。
【００５０】
このように、画像処理装置１００にカメラクロック調整回路１１０を設けた構成であれば、例えばＶＧＡ［Video Graphics Array］サイズ（６４０ピクセル×４８０ピクセル）のカメラインターフェイスしか持たず、１２［ＭＨｚ］程度のカメラクロックＣＬＫ１しか出力することができない演算装置３００を用いた場合であっても、カメラクロック調整回路１１０を用いて、より高い周波数（例えば、４逓倍の４８［ＭＨｚ］）のカメラクロックＣＬＫ２を生成し、これをカメラセンサ２００に供給することができるので、よりピクセル数の大きいカメラセンサ２００（例えばＳＸＧＡサイズのカメラセンサ）を接続することが可能となる。
【００５１】
イメージスケーラ１１１は、第１の信号経路を介して入力される撮像データＤＡＴ１、及び、第３の信号経路を介して入力される伸長撮像データＤＡＴ３のスケールを演算装置３００のカメラインターフェイスに入力可能なサイズ（上記の例では、ＶＧＡサイズ）に調整する手段である。
【００５２】
このように、画像処理装置１００にイメージスケーラ１１１を設けた構成であれば、演算装置３００の処理能力を超えるピクセル数のカメラセンサ２００を用いた場合であっても、画像処理装置１００のプレビューモードやデコードモードにおいて、撮像データＤＡＴを支障なく演算装置３００に渡すことが可能となる。一方、画像処理装置１００のエンコードモードにおいては、カメラセンサ２００から入力される撮像データＤＡＴ１に対して、何らスケール調整を施すことなく、圧縮撮像データＤＡＴ２を生成し、これを演算装置３００に渡すことができるので、カメラセンサ２００の能力を最大限に活用することが可能となる。
【００５３】
なお、イメージスケーラ１１１のスケール調整に関しては、演算装置３００のカメラインターフェイスに入力可能なサイズではなく、表示部４００での出力に適したより小さいサイズ（上記の例では、ＶＧＡ以下のサイズ）に調整する構成としても構わない。このような構成とすることにより、演算装置３００でのリサイズ処理を省くことが可能となる。
【００５４】
また、本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。
【産業上の利用可能性】
【００５５】
本発明は、デジタルカメラやカメラ付き携帯電話機など、撮像機能を備えた電子機器全般に広く利用可能な技術である。
【図面の簡単な説明】
【００５６】
【図１】は、本発明に係る電子機器の第１実施形態を示すブロック図である。
【図２】は、本発明に係る電子機器の第２実施形態を示すブロック図である。
【図３】は、撮像機能を備えた電子機器の一従来例を示すブロック図である。
【符号の説明】
【００５７】
１００    画像処理装置（ＪＰＥＧエンジン）
１０１    カメラインターフェイス
１０２    クリップラインバッファ
１０３    ＪＰＥＧエンコーダ
１０４    シリアルインターフェイス
１０５    コードバッファ
１０６    ＪＰＥＧデコーダ
１０７    フレーム制御部
１０８    出力スイッチ
１０９    スイッチ
１１０    カメラクロック調整回路（ＰＬＬ回路）
１１１    イメージスケーラ
２００    カメラセンサ
３００    演算装置（ＤＢＢ）
４００    表示部（液晶ディスプレイ）
５００    記憶部（半導体メモリ）
ＤＡＴ１    撮像データ
ＤＡＴ２    圧縮撮像データ（ＪＰＥＧコード）
ＤＡＴ３    伸長撮像データ
Ｈｓ    水平同期信号
Ｖｓ    垂直同期信号
ＣＬＫ１    カメラクロック
ＣＬＫ２    カメラクロック
ＣＰＣＬＫ    カメラピクセルクロック
ＰＣＬＫ    ピクセルクロック
ＣＴＲＬ１    制御信号
ＣＴＲＬ２    制御信号
【図１】
2008236573.tif 000003
【図２】
2008236573.tif 000004
【図３】
2008236573.tif 000005