(57)【要約】【課題】本発明は、画像処理装置及び画像処理方法に関し、例えばビデオカメラに適用して、演算処理手段におけるソフトウエアの処理により画像データを高速度で処理するようにして、動作周波数、消費電力、回路規模の増大を防止する。【解決手段】本発明は、画像データＤＶをメモリ１２の連続したアドレス空間に割り当てるように、画像データＤＶの水平方向及び垂直方向のサンプリング位置に対応するＸＹアドレスデータを、アドレス変換回路１３でメモリ１２のアドレスデータに変換してメモリ１２をアクセスする。【選択図】        図１
2007200163.tif 000002
【特許請求の範囲】
【請求項１】
画像データを格納するメモリと、
前記画像データの水平方向及び垂直方向のサンプリング位置に対応するＸＹアドレスデータを発行して、前記メモリに前記画像データを書き込み、前記メモリから前記画像データを読み出す演算処理回路と、
前記画像データを前記メモリの連続したアドレス空間に割り当てるように、前記演算処理回路から出力される前記ＸＹアドレスデータを、前記メモリのアドレスデータに変換して前記メモリに出力するアドレス変換回路と
を備えることを特徴とする画像処理装置。
【請求項２】
前記アドレス変換回路は、
前記演算処理回路の設定に従って、前記ＸＹアドレスデータを前記メモリのアドレスデータに変換する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記アドレス変換回路は、
前記演算処理回路の設定に従って前記ＸＹアドレスデータを前記メモリのアドレスデータに変換するアドレス変換部を複数個有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
画像データをメモリに格納して処理する画像処理方法において、
演算処理回路から、前記画像データの水平方向及び垂直方向のサンプリング位置に対応するＸＹアドレスデータを発行して、前記メモリに前記画像データを書き込み、前記メモリから前記画像データを読み出しするメモリアクセスのステップと、
前記画像データを前記メモリの連続したアドレス空間に割り当てるように、アドレス変換回路で、前記演算処理回路から出力される前記ＸＹアドレスデータを、前記メモリのアドレスデータに変換して前記メモリに出力するアドレス変換のステップとを有する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、例えばビデオカメラに適用することができる。本発明は、画像データをメモリの連続したアドレス空間に割り当てるように、画像データの水平方向及び垂直方向のサンプリング位置に対応するＸＹアドレスデータを、アドレス変換回路でメモリのアドレスデータに変換してメモリをアクセスすることにより、演算処理手段におけるソフトウエアの処理により画像データを高速度で処理するようにして、動作周波数、消費電力、回路規模の増大を防止する。
【背景技術】
【０００２】
従来、リアルタイムの処理が求められるビデオカメラ等の画像処理装置では、ハードウエア構成による画像処理回路により画像データを高速度で処理している。
【０００３】
これに対して近年、このようなリアルタイムの処理を中央処理ユニット、ディジタルシグナルプロセッサ等の演算処理手段におけるソフトウエアの処理により実行する方法が種々に提案されており、特開２００３−１３２３４６号公報には、画像データを複数ブロックに分割してパイプライン処理し、これにより高速度で画像データを処理する方法が提案されている。
【０００４】
しかしながら従来のハードウエアによる処理を、単に、汎用のメモリを用いた演算処理手段におけるソフトウエアの処理に置き換えただけでは、画像処理回路の動作周波数、消費電力、回路規模が増大する問題がある。
【０００５】
すなわち図７は、輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂによるビデオデータの１フレーム分のデータ構成を示す図表である。このビデオデータは、いわゆる４：２：２フォーマットによるＳＤ方式によるヒデオデータである。この方式によるビデオデータにおいて、輝度信号Ｙは、１つのサンプリング値が８ビットで表現され、水平方向及び垂直方向にそれぞれ７２０×４８０サンプルにより１フレームが形成される。また色差信号Ｃｒ、Ｃｂは、それぞれ、同様に、１つのサンプリング値が８ビットで表現され、水平方向及び垂直方向にそれぞれ３６０×２４０サンプルにより１フレームが形成される。
【０００６】
これに対して汎用のメモリは、１ワード分のメモリセルを行方向（横方向）及び列方向（縦方向）にそれぞれ２のべき乗個、行列状に配置して形成される。これにより１ワードが３２ビット、列方向及び行方向のメモリセル数が１０２４（２10）個及び１６３８４（２14）個による汎用のメモリに、上述のＳＤ方式による輝度信号Ｙの１フレーム分のデータを格納すると、図８に示すように行方向に１８０ワード、列方向に４８０ワードのメモリ容量を使用することになる。なおここでこの図８の例は、ビデオデータの水平方向及び垂直方向を行方向及び列方向に対応付けて、メモリの１ワードにビデオデータの４サンプルを割り当てるようにした場合の、行方向のメモリの使用状況を示す例である。
【０００７】
この場合、この汎用メモリは、行方向では（１０２４−１８０）の領域が無駄になり、この無駄な領域をビデオデータの１フレーム分で計算すると、（１０２４−１８０）×４８０＝４０５１２０ワードの領域が無駄になる。なお図８では、この無駄な領域をダミーアドレス領域により示す。これによりビデオデータの水平方向及び垂直方向を行方向及び列方向に対応付けて汎用のメモリにビデオデータを格納して画像処理する場合には、このようにメモリを無駄に消費する分、回路規模が増大する問題がある。
【０００８】
この問題を解決する１つの方法として、無駄な領域が発生しないように、画像データの連続するサンプルを、メモリの連続したアドレス空間に割り当てることが考えられる。すなわちこの場合、１フレームのビデオデータにおける水平方向及び垂直方向のアドレスを（ｉ、ｊ）で表すと、アドレス（ｉ、ｊ）が最大値の場合でもｉ×ｊ＜＜２10であることにより、ビデオデータの水平方向及び垂直方向を行方向及び列方向に対応付けてメモリに格納する場合に比して、メモリの空き容量を少なくすることができる。
【０００９】
しかしながらこのように連続したアドレス空間にビデオデータを順次格納する場合、ビデオデータにおける水平方向及び垂直方向のアドレス（ｉ、ｊ）をメモリのアドレスに計算し直す必要が生じ、この計算に乗算器が必要となる。これによりこの場合、この乗算器の分、演算処理回路の回路規模が増大する問題がある。因みに、シフト演算器と乗算器とを比較した場合、乗算器の方が回路規模が大きくなることにより、乗算器に代えて、加算器とシフト演算器を組み合わせてこの種のアドレスを計算することが考えられるが、この場合、演算処理回路における処理量が増大し、これにより画像処理回路の動作周波数が増大し、さらには消費電力が増大することになる。
【特許文献１】特開２００３−１３２３４６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は以上の点を考慮してなされたもので、演算処理手段におけるソフトウエアの処理により画像データを高速度で処理するようにして、動作周波数、消費電力、回路規模の増大を防止することができる画像処理装置及び画像処理方法を提案しようとするものである。
【課題を解決するための手段】
【００１１】
かかる課題を解決するため請求項１の発明は、画像処理装置に適用して、画像データを格納するメモリと、前記画像データの水平方向及び垂直方向のサンプリング位置に対応するＸＹアドレスデータを発行して、前記メモリに前記画像データを書き込み、前記メモリから前記画像データを読み出す演算処理回路と、前記画像データを前記メモリの連続したアドレス空間に割り当てるように、前記演算処理回路から出力される前記ＸＹアドレスデータを、前記メモリのアドレスデータに変換して前記メモリに出力するアドレス変換回路とを備えるようにする。
【００１２】
また請求項４の発明は、画像データをメモリに格納して処理する画像処理方法に適用して、演算処理回路から、前記画像データの水平方向及び垂直方向のサンプリング位置に対応するＸＹアドレスデータを発行して、前記メモリに前記画像データを書き込み、前記メモリから前記画像データを読み出しするメモリアクセスのステップと、前記画像データを前記メモリの連続したアドレス空間に割り当てるように、アドレス変換回路で、前記演算処理回路から出力される前記ＸＹアドレスデータを、前記メモリのアドレスデータに変換して前記メモリに出力するアドレス変換のステップとを有するようにする。
【００１３】
請求項１の構成により、画像処理装置に適用して、画像データを格納するメモリと、前記画像データの水平方向及び垂直方向のサンプリング位置に対応するＸＹアドレスデータを発行して、前記メモリに前記画像データを書き込み、前記メモリから前記画像データを読み出す演算処理回路と、前記画像データを前記メモリの連続したアドレス空間に割り当てるように、前記演算処理回路から出力される前記ＸＹアドレスデータを、前記メモリのアドレスデータに変換して前記メモリに出力するアドレス変換回路とを備えるようにすれば、演算処理回路は、画像データの水平方向及び垂直方向のサンプリング位置に対応するＸＹアドレスデータを発行するだけでメモリをアクセスすることができ、またメモリは、画像データを連続したアドレス空間に割り当てるように、このＸＹアドレスデータがメモリのアドレスデータに変換されてアクセスされることにより、無駄なメモリ空間の発生を防止することができる。またこのようなアドレスデータの変換をアドレス変換回路で実行することにより、演算処理回路における動作周波数、消費電力、回路規模の増大を防止することができる。これらにより演算処理手段におけるソフトウエアの処理により画像データを高速度で処理するようにして、動作周波数、消費電力、回路規模の増大を防止することができる。
【００１４】
またこれにより請求項４の構成によれば、演算処理手段におけるソフトウエアの処理により画像データを高速度で処理するようにして、動作周波数、消費電力、回路規模の増大を防止することができる画像処理方法を提供することができる。
【発明の効果】
【００１５】
本発明によれば、演算処理手段におけるソフトウエアの処理により画像データを高速度で処理するようにして、動作周波数、消費電力、回路規模の増大を防止することができる。
【発明を実施するための最良の形態】
【００１６】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１７】
（１）実施例の構成
図１は、本発明の実施例に係る画像処理装置であるビデオカメラを示すブロック図である。このビデオカメラ１は、撮像部２で所望の被写体の撮像結果を取得し、この撮像結果をモニタ部３で表示し、さらにこの撮像結果を記録媒体４に記録する。またこの記録媒体４に記録した撮像結果をモニタ部３で表示する。
【００１８】
すなわちこのビデオカメラ１において、撮像部２は、例えばＣＣＤ（Charge Coupled Device ）固体撮像素子と、このＣＣＤ固体撮像素子の撮像面に光学像を形成する光学系、このＣＣＤ固体撮像素子の駆動回路、ＣＣＤ固体撮像素子の出力信号を処理するカメラ信号処理回路等により構成される。撮像部２は、ＣＣＤ固体撮像素子の出力信号をカメラ信号処理回路でアナログディジタル変換処理、マトリックス演算処理、ガンマ調整、ホワイトバランス調整等して輝度信号Ｙ及び色差信号Ｃｒ、ＣｂによるビデオデータＤＶを出力する。
【００１９】
ビデオ入力回路５は、内部バスＢＵＳと撮像部２とのインターフェースであり、カメラ信号処理回路から出力されるビデオデータＤＶを入力して内部バスＢＵＳに出力する。
【００２０】
画像処理回路６は、このビデオ入力回路５から内部バスＢＵＳに入力されるビデオデータＤＶを解像度変換処理し、モニタ用のビデオデータを生成して内部バスＢＵＳに出力する。また図示しないコントローラの制御により、記録時、このビデオ入力回路５から内部バスＢＵＳに入力されるビデオデータＤＶをデータ圧縮処理し、記録用のストリーミングデータを生成して内部バスＢＵＳに出力する。また再生時、後述するドライブインターフェース（ドライブＩＦ）７から内部バスＢＵＳに入力されるストリーミングデータデータをデータ伸長処理してビデオデータを生成すると共に、この生成したビデオデータを解像度変換処理してモニタ用のビデオデータを生成し、このモニタ用のビデオデータを内部バスＢＵＳに出力する。
【００２１】
ビデオ出力回路８は、内部バスＢＵＳとモニタ部３とのインターフェースであり、画像処理回路６で生成されるモニタ用のビデオデータをモニタ部３に出力する。モニタ部３は、例えば液晶表示パネル、この液晶表示パネルを駆動する駆動回路等により形成され、ビデオ出力回路８から出力されるモニタ用のビデオ信号のモニタ画像を表示する。
【００２２】
ドライブインターフェース７は、記録媒体４と内部バスＢＵＳとのインターフェースであり、図示しないコントローラの制御により、画像処理回路６で生成されるストリーミングデータを順次記録媒体４に記録する。これによりビデオカメラ１は、撮像結果を記録媒体４に記録する。またこのコントローラの制御により動作を切り換え、この記録媒体４に記録されたストリーミングデータを内部バスＢＵＳに出力する。なおこの記録媒体４は、例えば光ディスク、磁気ディスク、メモリカード等、種々の記録媒体が適用される。
【００２３】
これらによりこのビデオカメラ１では、撮像部２から出力される撮像結果によるビデオデータＤＶがビデオ入力回路５を介して画像処理回路６に入力される。また画像処理回路６でこのビデオデータＤＶからモニタ用のビデオデータが生成され、このモニタ用のビデオデータがビデオ出力回路８を介してモニタ部３で表示される。またこの状態でユーザーが撮像結果の記録を指示すると、画像処理回路６でビデオデータＤＶがデータ圧縮処理されてストリーミングデータが生成され、このストリーミングデータがドライブインターフェース７を介して記録媒体４に記録される。
【００２４】
これに対してユーザーが記録媒体４に記録されたストリーミングデータの再生を指示すると、記録媒体４から再生されたストリーミングデータがドライブインターフェース７を介して画像処理回路６に入力され、ここでデータ伸長処理、解像度変換処理されてモニタ用のビデオデータが生成される。またこのモニタ用のビデオデータがビデオ出力回路８を介してモニタ部３で表示される。
【００２５】
画像処理回路６は、これら解像度変換処理、データ圧縮処理、データ伸長処理を、中央処理ユニット（ＣＰＵ：Central Processing Unit ）１１におけるソフトウエア処理により実行する。これにより画像処理回路６は、この中央処理ユニット１１の処理に係るプログラムの変更により種々の機器に適用可能な汎用性の高い画像処理回路を構成する。画像処理回路６は、ビデオ入力回路５を介して内部バスＢＵＳに入力されるビデオデータＤＶ、ドライブインターフェース７を介して内部バスＢＵＳに入力されるストリーミングデータを汎用メモリ１２に一時格納して解像度変換処理、データ圧縮処理、データ伸長処理を実行する。なおこれによりこの実施例において、このソフトウエア処理の実行に必要な中央処理ユニット１１のプログラムは、このビデオカメラ１に事前にインストールされて提供されるものの、このような事前のインストールによる提供に代えて、光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供するようにしてもよく、またインターネット等の各種ネットワークを介したダウンロードにより提供するようにしてもよい。
【００２６】
ここで汎用メモリ１２は、例えばＤＲＡＭ（Dynamic Random Access Memory）により構成され、１ワード分のメモリセルを行方向及び列方向にそれぞれ２のべき乗個、行列状に配置して形成される。
【００２７】
アドレス変換回路１３は、内部バスＢＵＳに出力されるビデオデータ、ストリーミングデータのアドレスデータを、汎用メモリ１２のアドレスデータに変換して汎用メモリ１２をアクセスし、これにより内部バスＢＵＳに出力されるビデオデータ、ストリーミングデータを汎用メモリ１２に格納し、また汎用メモリ１２に格納したこれらのデータを内部バスＢＵＳに出力する。
【００２８】
画像フィルタ１４は、中央処理ユニット１１におけるソフトウエア処理により構成される機能ブロックであり、汎用メモリ１２に一時保持されたビデオデータの解像度を低減してモニタ用のビデオデータを生成する。すなわち画像フィルタ１４は、汎用メモリ１２に一時保持されたビデオデータを順次ロードして水平方向の解像度を低減して汎用メモリ１２に格納する。また続いて同様にこの水平方向に解像度を低減したビデオデータを汎用メモリ１２から順次ロードして垂直方向の解像度を低減して汎用メモリ１２に格納し、これによりモニタ用のビデオデータを生成する。
【００２９】
エンコーダ／デコーダ１５は、同様に、中央処理ユニット１１におけるソフトウエア処理により構成される機能ブロックであり、記録時、汎用メモリ１２に一時保持されたビデオデータを順次ロードして例えばＭＰＥＧ（Moving Picture Experts Group）２の手法によりデータ圧縮処理し、その処理結果によるストリーミングデータを汎用メモリ１２に格納する。また再生時、同様に、汎用メモリ１２に一時保持されたストリーミングデータを順次ロードしてデータ伸長処理し、その処理結果によるビデオデータを汎用メモリ１２に格納する。
【００３０】
ローカルメモリ１６は、内部バスＢＵＳに出力される各種データのバッファメモリであり、例えば中央処理ユニット１１の処理における各種パラメータ等を一時格納する。
【００３１】
これらにより画像処理回路６は、中央処理ユニット１１のアドレス制御により、ビデオ入力回路５から順次入力されるビデオデータを汎用メモリ１２に順次格納する。また画像フィルタ１４のアドレス制御により、この汎用メモリ１２に格納したビデオデータを画像フィルタ１４に出力してモニタ用のビデオデータを生成し、このモニタ用のビデオデータを汎用メモリ１２に格納する。またこのようにして汎用メモリ１２に格納したモニタ用のビデオデータを中央処理ユニット１１のアドレス制御により、ビデオ出力回路８からモニタ部３に出力する。
【００３２】
またユーザーが撮像結果の記録を指示すると、画像処理回路６は、エンコーダ／デコーダ１５のアドレス制御により、ビデオ入力回路５から入力されて汎用メモリ１２に格納したビデオデータをエンコーダ／デコーダ１５に出力し、ここでデータ圧縮する。またその処理結果によるストリーミングデータを汎用メモリ１２に格納する。またこの汎用メモリ１２に格納したストリーミングデータを中央処理ユニット１１のアドレス制御によりドライブインターフェース７を介して記録媒体４に記録する。
【００３３】
これに対して再生時、画像処理回路６は、中央処理ユニット１１のアドレス制御により、ドライブインターフェース７を介して記録媒体４から再生したストリーミングデータを汎用メモリ１２に格納する。またこの汎用メモリ１２に格納したストリーミングデータをエンコーダ／デコーダ１５のアドレス制御により順次エンコーダ／デコーダ１５に出力してデータ伸長し、その処理結果によるビデオデータを汎用メモリ１２に格納する。またこのデータ伸長して汎用メモリ１２に格納したビデオデータを画像フィルタ１４のアドレス制御により画像フィルタ１４に出力してモニタ用のビデオデータを生成し、このモニタ用のビデオデータを汎用メモリ１２に格納する。またこの汎用メモリ１２に格納したモニタ用のビデオデータを中央処理ユニット１１のアドレス制御によりビデオ出力回路８からモニタ部３に出力する。
【００３４】
このようにして中央処理ユニット１１、画像フィルタ１４、エンコーダ／デコーダ１５のアドレス制御により汎用メモリ１２をアクセスしてビデオデータを処理するにつき、この画像処理回路６では、ラスタ走査開始位置を基準にして水平方向及び垂直方向にビデオデータのサンプリング位置を示すアドレスデータ（以下、ＸＹアドレスデータと呼ぶ）を生成し、中央処理ユニット１１、画像フィルタ１４、エンコーダ／デコーダ１５は、このＸＹアドレスデータを用いて汎用メモリ１２にビデオデータを格納し、また汎用メモリ１２に格納したビデオデータを読み出す。
【００３５】
すなわち図２に示すように、画像処理回路６は、垂直同期信号ＶＳｙｎｃ（図２（Ａ１）及び（Ａ２））、フィールド周期で信号レベルが切り換わるフィールドパルスＦｉｅｌｄ（図２（Ｃ１）及び（Ｃ２））で図示しないカウンタをリセットすると共に、このカウンタで水平同期信号ＨＳｙｎｃ（図２（Ａ１）及び（Ａ２））を順次カウントする。画像処理回路６は、ビデオデータＤＶ（図２（Ｄ１）及び（Ｄ２））によるＨＶアドレスデータのうちの垂直方向のアドレスデータに、このカウンタのカウント値を適用する。なおこの図２において、（Ａ１）〜（Ｄ１）、（Ａ２）〜（Ｄ２）は、それぞれ奇数フィールド及び偶数フィールドを示す。
【００３６】
また図３に示すように、水平同期信号ＨＳｙｎｃ（図３（Ｂ））で図示しないカウンタをリセットすると共に、ビデオデータＤＶのクロックＳＣＫ（図３（Ａ））をカウントする。画像処理回路６は、ビデオデータＤＶ（図３（Ｃ））によるＨＶアドレスデータのうちの水平方向のアドレスデータに、このカウンタのカウント値を適用する。
【００３７】
これにより画像処理回路６は、撮像部２で取得される撮像結果のモニタ時、この撮像結果の記録時、ビデオデータＤＶを汎用メモリ１２に格納する中央処理ユニット１１のアドレス制御、この汎用メモリ１２に格納したビデオデータＤＶを読み出す画像フィルタ１４、エンコーダ／デコーダ１５のアドレス制御を、図４（Ａ）により示すように、ビデオ入力回路５から入力されるビデオデータＤＶのＨＶアドレスデータを用いて実行する。また画像処理回路６は、画像フィルタ１４で水平方向に解像度を低減したビデオデータを汎用メモリ１２に格納する画像フィルタ１４のアドレス制御、この水平方向に解像度を低減したビデオデータを読み出す画像フィルタ１４のアドレス制御を、この水平方向に解像度を低減したビデオデータのＸＹアドレスデータを用いて実行する。また画像フィルタ１４で垂直方向に解像度を低減したモニタ用のビデオデータを汎用メモリ１２に格納する画像フィルタ１４のアドレス制御、このモニタ用のビデオデータを読み出してビデオ出力回路８から出力する中央処理ユニット１１のアドレス制御を、このモニタ用のビデオデータのＸＹアドレスデータを用いて実行する。これに対して画像処理回路６は、エンコーダ／デコーダ１５で生成したストリーミングデータを汎用メモリ１２に格納するエンコーダ／デコーダ１５のアドレス制御については、汎用メモリ１２のアドレスデータを用いて実行する。なおここでこの汎用メモリ１２のアドレスデータは、１ワードのメモリ領域を汎用メモリ１２の行方向及び列方向で特定するアドレスデータである。
【００３８】
これに対して記録媒体４に記録された撮像結果の再生時、画像処理回路６は、ドライブインターフェース７から入力されるストリーミングデータを汎用メモリ１２に格納する中央処理ユニット１１のアドレス制御、この汎用メモリ１２に格納したストリーミングデータを読み出すエンコーダ／デコーダ１５のアドレス制御を、汎用メモリ１２のアドレスデータを用いて実行する。またこのストリーミングデータをデータ伸長して生成されるビデオデータを汎用メモリ１２に格納するエンコーダ／デコーダ１５のアドレス制御、この汎用メモリ１２に格納したビデオデータを読み出す画像フィルタ１４のアドレス制御を、このデータ伸長して生成されるビデオデータのＨＶアドレスデータを用いて実行する。またこのビデオデータを画像フィルタ１４で処理して生成される水平方向に解像度を低減したビデオデータを汎用メモリ１２に格納する画像フィルタ１４のアドレス制御、この水平方向に解像度を低減したビデオデータを読み出す画像フィルタ１４のアドレス制御を、この水平方向に解像度を低減したビデオデータのＸＹアドレスデータを用いて実行する。また画像フィルタ１４で垂直方向に解像度を低減したモニタ用のビデオデータを汎用メモリ１２に格納する画像フィルタ１４のアドレス制御、このモニタ用のビデオデータを読み出してビデオ出力回路８から出力する中央処理ユニット１１のアドレス制御を、このモニタ用のビデオデータのＸＹアドレスデータを用いて実行する。
【００３９】
画像処理回路６は、これら中央処理ユニット１１、画像フィルタ１４、エンコーダ／デコーダ１５から出力されるＨＶアドレスデータについては、アドレス変換回路１３で汎用メモリ１２のアドレスデータに変換し、この汎用メモリ１２のアドレスデータを用いて汎用メモリ１２をアクセスする。これに対して中央処理ユニット１１、エンコーダ／デコーダ１５から出力される汎用メモリ１２のアドレスデータについては、このアドレスデータを用いて汎用メモリ１２をアクセスする。
【００４０】
ここでアドレス変換回路１３は、中央処理ユニット１１の設定に従ってアドレス変換処理を実行し、ＸＹアドレスデータを汎用メモリ１２のアドレスデータに変換する。アドレス変換回路１３は、このアドレス変換処理において、図４（Ｂ）に示すように、ラスタ走査の順序による連続するビデオデータの各サンプリング値を、汎用メモリ１２の連続したアドレス空間に割り当てるように、ＨＶアドレスデータを汎用メモリ１２のアドレスデータに変換する。具体的に、この実施例では、ラスタ走査の順序によるビデオデータを行方向（ＲＯＷ方向）に順次格納しながら、行方向に空き領域が無くなると行を切り換え、これにより汎用メモリ１２の連続したアドレス空間にビデオデータを割り当てる。なおここでこの図４における矢印内の式は、ＸＹアドレスデータを汎用メモリ１２のアドレスデータにアドレス変換処理する演算式を示す表示である。
【００４１】
ここで汎用メモリ１２は、図５に示すように、ビデオ入力回路５から入力されるビデオデータＤＶ及びストリーミングデータをデータ伸長したビデオデータを格納する第１の領域１２Ａ、この第１の領域に保持したビデオデータの水平方向の解像度を低減したビデオデータを格納する第２の領域１２Ｂ、この第２の領域のビデオデータから作成されるモニタ用のビデオデータを格納する第３の領域１２Ｃ、ストリーミングデータを格納する第４の領域１２Ｄに、メモリ空間が区切られ、またビデオデータを格納する第１〜第３の領域１２Ａ〜１２Ｃは、それぞれ輝度信号Ｙ、色差信号Ｃｒ、Ｃｂを格納する領域にさらに区切られる。
【００４２】
アドレス変換回路１３は、これら第１〜第３の領域の輝度信号及び色差信号の領域毎に、ラスタ走査の順序による連続するビデオデータの各サンプルを連続したアドレス空間に割り当てるように、アドレス変換処理を実行する。
【００４３】
このためアドレス変換回路１３は、それぞれ対応する領域のアドレス変換処理を実行するアドレス変換部２１Ａ〜２１Ｄが複数個設けられ、これにより同時並列的に４種類のアドレス変換処理を実行可能に構成される。ここでアドレス変換部２１Ａ〜２１Ｄは、中央処理ユニット１１により図示しないレジスタに制御データが設定され、この制御データにより特定される演算式によりアドレス変換処理を実行する。
【００４４】
すなわちアドレス変換部２１Ａ〜２１Ｄは、有効の制御データが制御レジスタに設定されると動作を開始するのに対し、無効の制御データが制御レジスタに設定されると、動作を停止する。
【００４５】
またアドレス変換部２１Ａ〜２１Ｄは、アドレス変換機能を有効に設定する制御データがチャンネル制御レジスタに設定されると、他の制御コードの設定に従ってアドレス変換処理を実行する。またこれとは逆に、アドレス変換機能を無効に設定する制御データがチャンネル制御レジスタに設定されると、入力されたアドレスデータをそのまま出力して汎用メモリ１２をアクセスする。これによりアドレス変換回路１３は、ストリーミングデータを汎用メモリ１２に格納し、また読み出す場合には、この制御データの設定により対応するアドレス変換部のアドレス変換機能が無効に設定される。
【００４６】
またアドレス変換部２１Ａ〜２１Ｄは、内部バスＢＵＳから入力するＸＹアドレスデータを定義する制御データが入力制御レジスタに設定される。ここでこのＸＹアドレスデータを定義する制御データは、ＸＹアドレスデータのＸ方向及びＹ方向のサイズを定義する。またアドレス変換部２１Ａ〜２１Ｄは、汎用メモリ１２のアドレスを定義する制御データが出力制御レジスタに設定される。ここでこの汎用メモリ１２のアドレスを定義する制御データは、汎用メモリ１２のアドレスデータの行方向及び列方向のサイズを定義する。またアドレス変換部２１Ａ〜２１Ｄは、オフセットレジスタに、汎用メモリ１２への書き込み開始位置（図５において、符号ＰＡＹ〜ＰＣＣｂにより示す、第１〜第３の領域１２Ａ〜１２Ｃの輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂの記録開始位置である）を示す制御データが設定される。
【００４７】
アドレス変換部２１Ａ〜２１Ｄは、これらの制御データに基づいて、オフセットレジスタに設定された開始位置から連続するビデオデータを汎用メモリ１２の連続する領域に格納するように、インターフェース２２から入力されるＸＹアドレスデータを汎用メモリ１２のアドレスデータに変換し、インターフェース２３を介してこの汎用メモリ１２のアドレスデータを用いて汎用メモリ１２をアクセスする。なおアドレス変換部２１Ａ〜２１Ｄのうちアドレス変換部２１Ａ〜２１Ｃは、制御データの設定により、ＤＭＡ（Direct Memory Access）部２４を介して汎用メモリ１２をアクセスすることができるように構成されている。ここでＤＭＡ部２４を介した汎用メモリ１２のアクセスは、図６に示すように、ローカルメモリ１６等のアドレス送信機能がない回路ブロックと汎用メモリ１２との間でデータを入出力する場合に適用され、ＤＭＡ部２４がＸＹアドレスを発行してローカルメモリ１６をアクセスし、ＤＭＡ部２４に設けられたローカルメモリ２５を介して汎用メモリ１２をアクセスする処理である。
【００４８】
これらによりアドレス変換部２１Ａ〜２１Ｄは、これらの制御データの変更により汎用メモリ１２をアクセスするメモリ空間を切り換えることができるように構成される。これに対応して中央処理ユニット１１は、アドレス変換部２１Ａ〜２１Ｄへの制御データの設定により、時分割でアドレス変換部２１Ａ〜２１Ｄの処理を切り換える。
【００４９】
（２）実施例の動作
以上の構成において、このビデオカメラ１では（図１）、撮像部２から得られるビデオデータがビデオ入力回路５から画像処理回路６に入力され、ここでモニタ用のビデオデータが生成される。このモニタ用のビデオデータは、ビデオ出力回路８からモニタ部３に出力され、これにより撮像結果のモニタ画像がモニタ部３で表示される。またユーザーによる記録の指示により、画像処理回路６でビデオデータがデータ圧縮処理されてストリーミングデータが生成され、このストリーミングデータがドライブインターフェース７を介して記録媒体４に出力され、これにより撮像結果が記録媒体４に記録される。
【００５０】
また記録媒体４に記録された撮像結果の再生をユーザーが指示すると、記録媒体４からストリーミングデータが再生されて画像処理回路６に入力され、ここでデータ伸長されてビデオデータが生成される。またこのビデオデータからモニタ用のビデオデータが生成され、このモニタ用のビデオデータがビデオ出力回路８を介してモニタ部３に出力される。これにより記録媒体４に記録された撮像結果のモニタ画像がモニタ部３で表示される。
【００５１】
これらによりこのビデオカメラ１では、撮像結果であるビデオデータからモニタ用のビデオデータを生成する処理、このビデオデータをデータ圧縮してストリーミングデータを生成する処理、ストリーミングデータをデータ伸長してビデオデータを生成する処理、このデータ伸長したビデオデータからモニタ用のビデオデータを生成する処理が、画像処理回路６で実行され、この実施例では、これらの処理が演算処理手段である中央処理ユニット１１におけるソフトウエアの処理により実行される。
【００５２】
すなわち画像処理回路６において、撮像結果であるビデオデータは、中央処理ユニット１１の機能ブロックである画像フィルタ１４で処理されてモニタ用のビデオデータが生成される。またこのビデオデータが、中央処理ユニット１１の機能ブロックであるエンコーダ／デコーダ１５でデータ圧縮処理されてストリーミングデータが生成される。また再生時、記録媒体４から再生されたストリーミングデータがエンコーダ／デコーダ１５でデータ伸長処理されてビデオデータが生成される。またこのビデオデータが画像フィルタ１４で処理されてモニタ用のビデオデータが生成される。
【００５３】
これら一連の画像処理回路６における処理において、撮像結果であるビデオデータ、記録媒体４から再生されたストリーミングデータは、汎用メモリ１２に一時格納されて処理され、またこの処理途中のビデオデータは汎用メモリ１２に一時格納されて処理され、またさらに処理結果であるモニタ用のビデオデータ、ストリーミングデータは、汎用メモリ１２に一時格納されて出力される。
【００５４】
これらのビデオデータの汎用メモリ１２への書き込み、読み出しの際に、ビデオデータにおる水平方向及び垂直方向のサンプリング位置を示すＸＹアドレスデータを用いて汎用メモリ１２をアクセスすると、汎用メモリ１２に無駄な領域が発生することから（図７及び図８）、汎用メモリ１２の容量が大型化することになる。またこれに代えて、汎用メモリ１２の連続した領域にビデオデータを格納するように、ＸＹアドレスデータを汎用メモリ１２のアドレスデータに変換して汎用メモリ１２をアクセスすると、中央処理ユニット１１の構成が複雑になって回路規模が増大する。またこのアドレスデータの変換処理を演算処理で実行する場合には、中央処理ユニット１１の動作周波数、消費電力が増大することになる。
【００５５】
このためこのビデオカメラ１では、中央処理ユニット１１、画像フィルタ１４、エンコーダ／デコーダ１５からＸＹアドレスデータを発行し、このＸＹアドレスデータが汎用メモリ１２のアドレスデータに変換されて汎用メモリ１２に出力され、これによりそれぞれ中央処理ユニット１１、画像フィルタ１４、エンコーダ／デコーダ１５で汎用メモリ１２をアクセスする。これによりビデオカメラ１では、汎用メモリ１２における無駄な領域の発生を有効に回避して汎用メモリ１２の容量を小型化することができる。また中央処理ユニット１１、画像フィルタ１４、エンコーダ／デコーダ１５は、単にＸＹアドレスデータを発行して汎用メモリ１２をアクセスできることにより、動作周波数、消費電力、回路規模の増大を防止することができる。
【００５６】
具体的に、このビデオカメラ１では、アドレス変換回路１３に４個のアドレス変換部２１Ａ〜２１Ｄが設けられ、この４個のアドレス変換部２１Ａ〜２１Ｄがそれぞれ中央処理ユニット１１が設定した制御データに従って、ＸＹアドレスデータを汎用メモリ１２のアドレスデータにアドレス変換する。またこの中央処理ユニット１１の設定が時分割により切り換えられて、汎用メモリ１２に設けられた第１〜第３の領域の輝度信号、色差信号の領域に、対応するデータが格納され、またこの対応する領域からビデオデータが読み出される（図５）。これに対してデータ圧縮されて生成されたストリーミングデータ、記録媒体４から再生されたストリーミングデータは、中央処理ユニット１１の制御によりアドレス変換部２１Ａ〜２１Ｄの１つがアドレス変換処理の動作を停止し、中央処理ユニット１１、エンコーダ／デコーダ１５から直接汎用メモリ１２のアドレスデータを発行して、汎用メモリ１２の第４の領域に格納され、またこの第４の領域から出力される。
【００５７】
これによりアドレス変換回路１３は、サイズが種々に異なるＸＹアドレスデータ、汎用メモリのアドレスデータに柔軟に対応することができ、高い汎用性を確保することができる。
【００５８】
また４つのアドレス変換部２１Ａ〜２１Ｄで、汎用メモリ１２のアクセスに要する４種類のアドレス変換処理を同時並列的に実行できることにより、解像度変換処理、ビデオデータの入出力処理、データ圧縮処理等を同時並列的に実行し、効率良く汎用メモリ１２を使用すると共に、これらの処理を高速度で実行することができる。
【００５９】
またこれら４つのアドレス変換部２１Ａ〜２１Ｄのアドレス変換処理が時分割で切り換えられ、これにより無駄な空き時間の発生を有効に回避して効率良く各種の処理を実行することができる。
【００６０】
（３）実施例の効果
以上の構成によれば、画像データの水平方向及び垂直方向のサンプリング位置に対応するＸＹアドレスデータを、アドレス変換回路でメモリのアドレスデータに変換してメモリをアクセスすることにより、メモリの無駄な領域を防止してアドレス変換処理を簡略化することができ、これにより演算処理手段におけるソフトウエアの処理により画像データを高速度で処理するようにして、動作周波数、消費電力、回路規模の増大を防止することができる。
【００６１】
またこのアドレス変換回路における処理を演算処理回路の設定に従って実行することにより、この設定の変更により種々の処理、構成に対応することができ、汎用性を向上することができる。またさらにこの設定の切り換えにより、無駄な空き時間の発生を有効に回避して効率良く各種の処理を実行することができる。
【００６２】
また演算処理回路の設定に従ってアドレス変換するアドレス変換部を複数個設けることにより、これら複数個のアドレス変換部を用いて同時並列的にメモリをアクセスして複数の処理を同時並列的に実行することができ、効率良く高速度で画像データを処理することができる。
【実施例２】
【００６３】
なお上述の実施例においては、動画の画像データであるビデオデータを処理する場合について述べたが、本発明はこれに限らず、静止画の画像データを処理する場合等にも広く適用することができる。
【００６４】
また上述の実施例においては、ビデオカメラに本発明を適用する場合について述べたが、本発明はこれに限らず、ディジタルスチルカメラ、各種記録再生装置等、種々の画像処理装置に広く適用することができる。
【産業上の利用可能性】
【００６５】
本発明は、画像処理装置及び画像処理方法に関し、例えばビデオカメラに適用することができる。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施例１に係るビデオカメラを示すブロック図である。
【図２】図１のビデオカメラにおけるＸＹアドレスデータの説明に供するタイムチャートである。
【図３】図２のＸＹアドレスデータの水平方向のアドレスデータの説明に供するタイムチャートである。
【図４】ＸＹアドレスデータのアドレス変換処理の説明に供する略線図である。
【図５】汎用メモリのアドレス空間の説明に供する略線図である。
【図６】ＤＭＡ部を介した汎用メモリのアクセスの説明に供するブロック図である。
【図７】ビデオデータの構成を示す略線図である。
【図８】ＸＹアドレスデータを用いたメモリのアクセスの説明に供する略線図である。
【符号の説明】
【００６７】
１……ビデオカメラ、２……撮像部、３……モニタ部、４……記録媒体、６……画像処置回路、１１……中央処理ユニット、１２……メモリ、１３……アドレス変換回路、１４……画像フィルタ、１５……エンコーダ／デコーダ、２１Ａ〜２１Ｄ……アドレス変換部
【図１】
2007200163.tif 000003
【図２】
2007200163.tif 000004
【図３】
2007200163.tif 000005
【図４】
2007200163.tif 000006
【図５】
2007200163.tif 000007
【図６】
2007200163.tif 000008
【図７】
2007200163.tif 000009
【図８】
2007200163.tif 000010