(57)【要約】【課題】画像および音声のデータを処理する装置において、装置のコンパクト化と省電力化を図ることを課題とする。【解決手段】画像データ２が入力されると、選択指示部６０は信号０を出力する。画像データ２は、１段目のレジスタ４１，４１，・・・４１を順次シフトされた後、ラインメモリ５１にバッファされ、次に、２段目のレジスタ４１，４１，・・・４１を順次シフトされ、以下同様に、５段目のレジスタ４１，４１，・・・４１まで画像データ２が格納され、２次元空間フィルタ処理が行われる。音声データ３が入力されると、選択指示部６０は信号１を出力する。音声データ３は、１段目のレジスタ４１，４１，・・・４１を順次シフトされた後、直接２段目のレジスタ４１，４１，・・・４１に転送され、同様に、３〜５段目のレジスタ４１，４１，・・・４１に音声データ３が格納され、１次元フィルタ処理が行われる。【選択図】        図２
2004247925.tif 000002
【特許請求の範囲】
【請求項１】
画像データと音声データとを処理する装置であって、
所定数（画像データについては画素数であり、音声データについては時間サンプリングされた音声データの数、以下同様）のデータを蓄積する第１のフィルタ用データ格納手段と、
前記第１のフィルタ用データ格納手段から出力された前記データを所定数蓄積する記憶手段と、
前記記憶手段から出力された前記データを所定数蓄積する第２のフィルタ用データ格納手段と、
前記第１のフィルタ用データ格納手段から出力された前記データを、前記記憶手段においてバッファリングさせることなく、直接前記第２のフィルタ用データ格納手段に転送させる切替手段と、
前記データが画像データである場合には、前記切替手段を動作させることなく、前記第１および第２のフィルタ用データ格納手段に格納された画像データに対して２次元空間のフィルタリング処理を行い、前記データが音声データである場合には、前記切替手段を動作させることにより、前記第１および第２のフィルタ用データ格納手段に格納された音声データに対して１次元のフィルタリング処理を行うフィルタ手段と、
を備えることを特徴とする画像音声処理装置。
【請求項２】
請求項１に記載の画像音声処理装置において、
前記切替手段は、
前記第１のフィルタ用データ格納手段が出力した前記データと、前記記憶手段の出力した前記データとを、選択的に、前記第２のフィルタ用データ格納手段に転送するセレクタ、
を含むことを特徴とする画像音声処理装置。
【請求項３】
請求項１に記載の画像音声処理装置において、
前記切替手段は、
前記記憶手段の書き込みアドレスと読み出しアドレスを同一アドレスとすることにより、前記記憶手段におけるバッファリングを無効化させる手段、
を含むことを特徴とする画像音声処理装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の画像音声処理装置において、
前記第１および第２のフィルタ用データ格納手段は、
シフトレジスタ、
を含むことを特徴とする画像音声処理装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画像音声処理装置において、
前記記憶手段は、
ラインメモリ、
を含むことを特徴とする画像音声処理装置。
【請求項６】
画像データと音声データとを処理する装置であって、
所定数（画像データについては画素数であり、音声データについては時間サンプリングされた音声データの数、以下同様）のデータを蓄積するｋ段目（ｋは１〜Ｎ−１までの整数）フィルタ用データ格納手段と、
前記ｋ段目フィルタ用データ格納手段から出力された前記データを所定数蓄積するｋ段目記憶手段と、
前記ｋ段目記憶手段から出力された前記データを所定数蓄積するｋ＋１段目フィルタ用データ格納手段と、
前記ｋ段目フィルタ用データ格納手段から出力された前記データを、前記ｋ段目記憶手段においてバッファリングさせることなく、直接前記ｋ＋１段目フィルタ用データ格納手段に転送させる切替手段と、
前記データが画像データである場合には、前記切替手段を動作させることなく、１段目〜Ｎ段目までのＮ個のフィルタ用データ格納手段に格納された画像データに対して２次元空間のフィルタリング処理を行い、前記データが音声データである場合には、前記切替手段を動作させることにより、１段目〜Ｎ段目までのＮ個のフィルタ用データ格納手段に格納された音声データに対して１次元のフィルタリング処理を行うフィルタ手段と、
を備えることを特徴とする画像音声処理装置。
【請求項７】
画像データと音声データとを処理する装置であって、
制御手段と、
複数の処理手段と、
音声用処理手段と、
を備え、
前記制御手段は、
入力したデータが画像データである場合には、所定の色空間上の色成分データごとに別々に前記処理手段に出力する手段と、
入力したデータが音声データである場合には、当該音声データのビット長を分割して、各分割音声データを前記処理手段に別々に出力する手段と、
を備え、
前記処理手段は、
所定数（画像データについては画素数であり、音声データについては時間サンプリングされた音声データの数、以下同様）のデータを蓄積する第１のフィルタ用データ格納手段と、
前記第１のフィルタ用データ格納手段から出力された前記データを所定数蓄積する記憶手段と、
前記記憶手段から出力された前記データを所定数蓄積する第２のフィルタ用データ格納手段と、
前記第１のフィルタ用データ格納手段から出力された前記データを、前記記憶手段においてバッファリングさせることなく、直接前記第２のフィルタ用データ格納手段に転送させる切替手段と、
前記データが前記色成分データである場合には、前記切替手段を動作させることなく、前記第１および第２のフィルタ用データ格納手段に格納された前記色成分データに対して２次元空間のフィルタリング処理を行う画像用フィルタ手段と、
前記データが分割音声データである場合には、前記切替手段を動作させた上で、前記第１および第２のフィルタ用データ格納手段に格納された分割音声データを前記音声用処理手段に出力する手段と、
を備え、
前記音声用処理手段は、
前記処理手段から出力された分割音声データをビット結合し、ビット結合されることによって復元された音声データに対して１次元のフィルタリング処理を行う手段、
を備えることを特徴とする画像音声処理装置。
【請求項８】
画像データと音声データとを処理する装置であって、
制御手段と、
複数の処理手段と、
音声用処理手段と、
を備え、
前記制御手段は、
入力したデータが画像データである場合には、所定の色空間上の色成分データごとに別々に前記処理手段に出力する手段と、
入力したデータが音声データである場合には、当該音声データのビット長を分割して、各分割音声データを前記処理手段に別々に出力する手段と、
を備え、
前記処理手段は、
所定数（画像データについては画素数であり、音声データについては時間サンプリングされた音声データの数、以下同様）のデータを蓄積するｋ段目（ｋは１〜Ｎ−１までの整数）フィルタ用データ格納手段と、
前記ｋ段目フィルタ用データ格納手段から出力された前記データを所定数蓄積するｋ段目記憶手段と、
前記ｋ段目記憶手段から出力された前記データを所定数蓄積するｋ＋１段目フィルタ用データ格納手段と、
前記ｋ段目フィルタ用データ格納手段から出力された前記データを、前記ｋ段目記憶手段においてバッファリングさせることなく、直接前記ｋ＋１段目フィルタ用データ格納手段に転送させる切替手段と、
前記データが前記色成分データである場合には、前記切替手段を動作させることなく、１段目〜Ｎ段目までのＮ個のフィルタ用データ格納手段に格納された前記色成分データに対して２次元空間のフィルタリング処理を行う画像用フィルタ手段と、
前記データが分割音声データである場合には、前記切替手段を動作させた上で、１段目〜Ｎ段目までのＮ個のフィルタ用データ格納手段に格納された前記音声データを前記音声用処理手段に出力する手段と、
を備え、
前記音声用処理手段は、
前記処理手段から出力された分割音声データをビット結合し、ビット結合されることによって復元された音声データに対して１次元のフィルタリング処理を行う手段、
を備えることを特徴とする画像音声処理装置。
【請求項９】
画像データと音声データとを処理する装置であって、
制御手段と、
複数の処理手段と、
音声用処理手段と、
を備え、
前記制御手段は、
入力したデータが画像データである場合には、所定の色空間上の色成分データごとに別々に前記処理手段に出力する手段と、
入力したデータがステレオ音声データである場合には、Ｌ側およびＲ側の各ステレオ音声データのビット長を分割して、Ｌ側およびＲ側の分割音声データを前記処理手段に別々に出力する手段と、
を備え、
前記処理手段は、
所定数（画像データについては画素数であり、音声データについては時間サンプリングされた音声データの数、以下同様）のデータを蓄積する第１のフィルタ用データ格納手段と、
前記第１のフィルタ用データ格納手段から出力された前記データを所定数蓄積する記憶手段と、
前記記憶手段から出力された前記データを所定数蓄積する第２のフィルタ用データ格納手段と、
前記第１のフィルタ用データ格納手段から出力された前記データを、前記記憶手段においてバッファリングさせることなく、直接前記第２のフィルタ用データ格納手段に転送させる切替手段と、
前記データが前記色成分データである場合には、前記切替手段を動作させることなく、前記第１および第２のフィルタ用データ格納手段に格納された前記色成分データに対して２次元空間のフィルタリング処理を行う画像用フィルタ手段と、
前記データがＬ側あるいはＲ側の分割音声データである場合には、前記切替手段を動作させた上で、前記第１および第２のフィルタ用データ格納手段に格納されたＬ側あるいはＲ側の分割音声データを前記音声用処理手段に出力する手段と、
を備え、
前記音声用処理手段は、
前記処理手段から出力されたＬ側およびＲ側分割音声データをビット結合し、ビット結合されることによって復元されたＬ側ステレオ音声データおよびＲ側ステレオ音声データに対してそれぞれ１次元のフィルタリング処理を行う手段、
を備えることを特徴とする画像音声処理装置。
【請求項１０】
画像データと音声データとを処理する装置であって、
制御手段と、
複数の処理手段と、
音声用処理手段と、
を備え、
前記制御手段は、
入力したデータが画像データである場合には、所定の色空間上の色成分データごとに別々に前記処理手段に出力する手段と、
入力したデータがステレオ音声データである場合には、Ｌ側およびＲ側の各ステレオ音声データのビット長を分割して、Ｌ側およびＲ側の分割音声データを前記処理手段に別々に出力する手段と、
を備え、
前記処理手段は、
所定数（画像データについては画素数であり、音声データについては時間サンプリングされた音声データの数、以下同様）のデータを蓄積するｋ段目（ｋは１〜Ｎ−１までの整数）フィルタ用データ格納手段と、
前記ｋ段目フィルタ用データ格納手段から出力された前記データを所定数蓄積するｋ段目記憶手段と、
前記ｋ段目記憶手段から出力された前記データを所定数蓄積するｋ＋１段目フィルタ用データ格納手段と、
前記ｋ段目フィルタ用データ格納手段から出力された前記データを、前記ｋ段目記憶手段においてバッファリングさせることなく、直接前記ｋ＋１段目フィルタ用データ格納手段に転送させる切替手段と、
前記データが前記色成分データである場合には、前記切替手段を動作させることなく、１段目〜Ｎ段目までのＮ個のフィルタ用データ格納手段に格納された前記色成分データに対して２次元空間のフィルタリング処理を行う画像用フィルタ手段と、
前記データがＬ側あるいはＲ側の分割音声データである場合には、前記切替手段を動作させた上で、１段目〜Ｎ段目までのＮ個のフィルタ用データ格納手段に格納されたＬ側あるいはＲ側の前記音声データを前記音声用処理手段に出力する手段と、
を備え、
前記音声用処理手段は、
前記処理手段から出力されたＬ側およびＲ側分割音声データをビット結合し、ビット結合されることによって復元されたＬ側ステレオ音声データおよびＲ側ステレオ音声データに対して１次元のフィルタリング処理を行う手段、
を備えることを特徴とする画像音声処理装置。
【請求項１１】
請求項７ないし請求項１０のいずれかに記載の画像音声処理装置において、
前記色空間は、
ＲＧＢ色空間、
を含むことを特徴とする画像音声処理装置。
【請求項１２】
請求項７ないし請求項１０のいずれかに記載の画像音声処理装置において、
前記色空間は、
ＣＭＹ色空間、
を含むことを特徴とする画像音声処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像および音声デジタル処理を行う機器において利用可能なフィルタ装置の構成に関する。
【０００２】
【従来の技術】
デジタルカメラを含め、画像を扱う様々な機器において、画像デジタル処理が行われる。この画像デジタル処理の１つに、画像データに対してエッジ強調処理や平滑化処理を施すフィルタリング処理がある。
【０００３】
図６は、画像フィルタリング処理を行う一般的な画像フィルタ装置１００を示す図である。画像フィルタ装置１００は、レジスタ回路群１１０とラインメモリ１２１〜１２４、積和演算部１１３などから構成される。
【０００４】
レジスタ回路群１１０は、２５個のレジスタ１１１，１１１，・・・１１１を含んでいる。そして、これらレジスタ１１１，１１１，・・・１１１が、５個で１組のシフトレジスタを構成し、このシフトレジスタが５段配列されるようになっている。
【０００５】
そして、１段目のシフトレジスタと、２段目のシフトレジスタとが、ラインメモリ１２１で接続され、２段目のシフトレジスタと３段目のシフトレジスタとが、ラインメモリ１２２で接続され、３段目のシフトレジスタと４段目のシフトレジスタとが、ラインメモリ１２３で接続され、４段目のシフトレジスタと５段目のシフトレジスタがラインメモリ１２４で接続されている。
【０００６】
ここで、入力する画像データの幅サイズをＮ画素とすると、各ラインメモリ１２１〜１２４には、Ｎ−５画素の画像データが格納される。そして前段のシフトレジスタから出力された１画素分の画像データを入力すると、各ラインメモリ１２１〜１２４は、最も先に入力されていた１画素分の画像データを出力するのである。この出力された画像データは、次段のシフトレジスタに入力される。
【０００７】
このような構成において、１段目のシフトレジスタの先頭レジスタ１１１から１クロックごとに１画素分の画像データが入力されると、各レジスタ１１１に格納されている１画素分の画像データは、順次シフトされ、１段目のシフトレジスタ→ラインメモリ１２１→２段目のシフトレジスタ→ラインメモリ１２２→３段目のシフトレジスタ→ラインメモリ１２３→４段目のシフトレジスタ→ラインメモリ１２４→５段目のシフトレジスタと転送される。
【０００８】
このようにして、レジスタ回路群１１０の全てのレジスタ１１１に画像データが格納されると、次のクロック周期において、各レジスタ１１１から出力された画像データが、積和演算部１１３に出力される。そして、積和演算部１１３において、各画像データに対してフィルタ係数が与えられ、各画像データにフィルタ係数が乗算された後、各乗算結果が加算されることにより、フィルタリング結果が出力されるのである。
【０００９】
一方、図７は、音声フィルタリング処理を行う一般的な音声フィルタ装置１５０を示す図である。音声フィルタ装置１５０は、複数のレジスタ１６１，１６１，・・・１６１からなるシフトレジスタ１６０と、積和演算部１６３を備えている。
【００１０】
そして、シフトレジスタ１６０の先頭のレジスタ１６１に対して、１クロックごとに、音声データが入力される。この音声データは、所定周波数でサンプリングされることによって得られるデータである。この音声データが入力されると、各レジスタ１６１に格納されていた音声データが順次シフトされる。そして、シフトレジスタ１６０の全てのレジスタ１６１に音声データが格納されると、次のクロック周期において、各レジスタ１６１から出力された音声データが、積和演算部１６３に出力される。そして、積和演算部１６３において、各音声データに対してフィルタ係数が与えら、各音声データにフィルタ係数が乗算された後、各乗算結果が加算されることにより、フィルタリング結果が出力されるのである。
【００１１】
このように、画像データに対してフィルタリング処理を行う画像フィルタ装置１００と音声データに対してフィルタリング処理を行う音声フィルタ装置１５０とでは、回路構成が異なる。これは、１次元の時系列データである音声データに対してフィルタリング処理を行うためには、連続して入力する音声データを扱えばよいが、画像フィルタリングは２次元空間のデータであるため、フィルタ範囲内の画素を得るために、ラインメモリを利用しているからである。
【００１２】
したがって、従来、画像データと音声データと両方のデータを扱う機器において、画像データと音声データにフィルタリング処理を実行させる機能を持たせるためには、上述したようなフィルタ装置１００，１５０をそれぞれ備えるようにしていた。
【００１３】
【発明が解決しようとする課題】
上述したように、画像データ用のフィルタ装置と音声データ用のフィルタ装置を両方備えることにより、画像データおよび音声データに対してフィルタリング処理を施すことは可能となる。
【００１４】
しかし、デジタルカメラを始め、装置の小型化と省電力化が要求される機器においては、なるべく回路構成を縮小することが望ましい。
【００１５】
そこで、本発明は前記問題点に鑑み、画像データおよび音声データ用の両方に対してフィルタ処理を行う装置の回路規模を縮小させることを目的とする。
【００１６】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明は、画像データと音声データとを処理する装置であって、所定数（画像データについては画素数であり、音声データについては時間サンプリングされた音声データの数、以下同様）のデータを蓄積する第１のフィルタ用データ格納手段と、前記第１のフィルタ用データ格納手段から出力された前記データを所定数蓄積する記憶手段と、前記記憶手段から出力された前記データを所定数蓄積する第２のフィルタ用データ格納手段と、前記第１のフィルタ用データ格納手段から出力された前記データを、前記記憶手段においてバッファリングさせることなく、直接前記第２のフィルタ用データ格納手段に転送させる切替手段と、前記データが画像データである場合には、前記切替手段を動作させることなく、前記第１および第２のフィルタ用データ格納手段に格納された画像データに対して２次元空間のフィルタリング処理を行い、前記データが音声データである場合には、前記切替手段を動作させることにより、前記第１および第２のフィルタ用データ格納手段に格納された音声データに対して１次元のフィルタリング処理を行うフィルタ手段と、を備えることを特徴とする。
【００１７】
請求項２記載の発明は、請求項１に記載の画像音声処理装置において、前記切替手段は、前記第１のフィルタ用データ格納手段が出力した前記データと、前記記憶手段の出力した前記データとを、選択的に、前記第２のフィルタ用データ格納手段に転送するセレクタ、を含むことを特徴とする。
【００１８】
請求項３記載の発明は、請求項１に記載の画像音声処理装置において、前記切替手段は、前記記憶手段の書き込みアドレスと読み出しアドレスを同一アドレスとすることにより、前記記憶手段におけるバッファリングを無効化させる手段、を含むことを特徴とする。
【００１９】
請求項４記載の発明は、請求項１ないし請求項３のいずれかに記載の画像音声処理装置において、前記第１および第２のフィルタ用データ格納手段は、シフトレジスタ、を含むことを特徴とする。
【００２０】
請求項５記載の発明は、請求項１ないし請求項４のいずれかに記載の画像音声処理装置において、前記記憶手段は、ラインメモリ、を含むことを特徴とする。
【００２１】
請求項６記載の発明は、画像データと音声データとを処理する装置であって、所定数（画像データについては画素数であり、音声データについては時間サンプリングされた音声データの数、以下同様）のデータを蓄積するｋ段目（ｋは１〜Ｎ−１までの整数）フィルタ用データ格納手段と、前記ｋ段目フィルタ用データ格納手段から出力された前記データを所定数蓄積するｋ段目記憶手段と、前記ｋ段目記憶手段から出力された前記データを所定数蓄積するｋ＋１段目フィルタ用データ格納手段と、前記ｋ段目フィルタ用データ格納手段から出力された前記データを、前記ｋ段目記憶手段においてバッファリングさせることなく、直接前記ｋ＋１段目フィルタ用データ格納手段に転送させる切替手段と、前記データが画像データである場合には、前記切替手段を動作させることなく、１段目〜Ｎ段目までのＮ個のフィルタ用データ格納手段に格納された画像データに対して２次元空間のフィルタリング処理を行い、前記データが音声データである場合には、前記切替手段を動作させることにより、１段目〜Ｎ段目までのＮ個のフィルタ用データ格納手段に格納された音声データに対して１次元のフィルタリング処理を行うフィルタ手段と、を備えることを特徴とする。
【００２２】
請求項７記載の発明は、画像データと音声データとを処理する装置であって、制御手段と、複数の処理手段と、音声用処理手段と、を備え、前記制御手段は、入力したデータが画像データである場合には、所定の色空間上の色成分データごとに別々に前記処理手段に出力する手段と、入力したデータが音声データである場合には、当該音声データのビット長を分割して、各分割音声データを前記処理手段に別々に出力する手段と、を備え、前記処理手段は、所定数（画像データについては画素数であり、音声データについては時間サンプリングされた音声データの数、以下同様）のデータを蓄積する第１のフィルタ用データ格納手段と、前記第１のフィルタ用データ格納手段から出力された前記データを所定数蓄積する記憶手段と、前記記憶手段から出力された前記データを所定数蓄積する第２のフィルタ用データ格納手段と、前記第１のフィルタ用データ格納手段から出力された前記データを、前記記憶手段においてバッファリングさせることなく、直接前記第２のフィルタ用データ格納手段に転送させる切替手段と、前記データが前記色成分データである場合には、前記切替手段を動作させることなく、前記第１および第２のフィルタ用データ格納手段に格納された前記色成分データに対して２次元空間のフィルタリング処理を行う画像用フィルタ手段と、前記データが分割音声データである場合には、前記切替手段を動作させた上で、前記第１および第２のフィルタ用データ格納手段に格納された分割音声データを前記音声用処理手段に出力する手段と、を備え、前記音声用処理手段は、前記処理手段から出力された分割音声データをビット結合し、ビット結合されることによって復元された音声データに対して１次元のフィルタリング処理を行う手段、を備えることを特徴とする。
【００２３】
請求項８記載の発明は、画像データと音声データとを処理する装置であって、制御手段と、複数の処理手段と、音声用処理手段と、を備え、前記制御手段は、入力したデータが画像データである場合には、所定の色空間上の色成分データごとに別々に前記処理手段に出力する手段と、入力したデータが音声データである場合には、当該音声データのビット長を分割して、各分割音声データを前記処理手段に別々に出力する手段と、を備え、前記処理手段は、所定数（画像データについては画素数であり、音声データについては時間サンプリングされた音声データの数、以下同様）のデータを蓄積するｋ段目（ｋは１〜Ｎ−１までの整数）フィルタ用データ格納手段と、前記ｋ段目フィルタ用データ格納手段から出力された前記データを所定数蓄積するｋ段目記憶手段と、前記ｋ段目記憶手段から出力された前記データを所定数蓄積するｋ＋１段目フィルタ用データ格納手段と、前記ｋ段目フィルタ用データ格納手段から出力された前記データを、前記ｋ段目記憶手段においてバッファリングさせることなく、直接前記ｋ＋１段目フィルタ用データ格納手段に転送させる切替手段と、前記データが前記色成分データである場合には、前記切替手段を動作させることなく、１段目〜Ｎ段目までのＮ個のフィルタ用データ格納手段に格納された前記色成分データに対して２次元空間のフィルタリング処理を行う画像用フィルタ手段と、前記データが分割音声データである場合には、前記切替手段を動作させた上で、１段目〜Ｎ段目までのＮ個のフィルタ用データ格納手段に格納された前記音声データを前記音声用処理手段に出力する手段と、を備え、前記音声用処理手段は、前記処理手段から出力された分割音声データをビット結合し、ビット結合されることによって復元された音声データに対して１次元のフィルタリング処理を行う手段、を備えることを特徴とする。
【００２４】
請求項９記載の発明は、画像データと音声データとを処理する装置であって、制御手段と、複数の処理手段と、音声用処理手段と、を備え、前記制御手段は、入力したデータが画像データである場合には、所定の色空間上の色成分データごとに別々に前記処理手段に出力する手段と、入力したデータがステレオ音声データである場合には、Ｌ側およびＲ側の各ステレオ音声データのビット長を分割して、Ｌ側およびＲ側の分割音声データを前記処理手段に別々に出力する手段と、を備え、前記処理手段は、所定数（画像データについては画素数であり、音声データについては時間サンプリングされた音声データの数、以下同様）のデータを蓄積する第１のフィルタ用データ格納手段と、前記第１のフィルタ用データ格納手段から出力された前記データを所定数蓄積する記憶手段と、前記記憶手段から出力された前記データを所定数蓄積する第２のフィルタ用データ格納手段と、前記第１のフィルタ用データ格納手段から出力された前記データを、前記記憶手段においてバッファリングさせることなく、直接前記第２のフィルタ用データ格納手段に転送させる切替手段と、前記データが前記色成分データである場合には、前記切替手段を動作させることなく、前記第１および第２のフィルタ用データ格納手段に格納された前記色成分データに対して２次元空間のフィルタリング処理を行う画像用フィルタ手段と、前記データがＬ側あるいはＲ側の分割音声データである場合には、前記切替手段を動作させた上で、前記第１および第２のフィルタ用データ格納手段に格納されたＬ側あるいはＲ側の分割音声データを前記音声用処理手段に出力する手段と、を備え、前記音声用処理手段は、前記処理手段から出力されたＬ側およびＲ側分割音声データをビット結合し、ビット結合されることによって復元されたＬ側ステレオ音声データおよびＲ側ステレオ音声データに対してそれぞれ１次元のフィルタリング処理を行う手段、を備えることを特徴とする。
【００２５】
請求項１０記載の発明は、画像データと音声データとを処理する装置であって、制御手段と、複数の処理手段と、音声用処理手段と、を備え、前記制御手段は、入力したデータが画像データである場合には、所定の色空間上の色成分データごとに別々に前記処理手段に出力する手段と、入力したデータがステレオ音声データである場合には、Ｌ側およびＲ側の各ステレオ音声データのビット長を分割して、Ｌ側およびＲ側の分割音声データを前記処理手段に別々に出力する手段と、を備え、前記処理手段は、所定数（画像データについては画素数であり、音声データについては時間サンプリングされた音声データの数、以下同様）のデータを蓄積するｋ段目（ｋは１〜Ｎ−１までの整数）フィルタ用データ格納手段と、前記ｋ段目フィルタ用データ格納手段から出力された前記データを所定数蓄積するｋ段目記憶手段と、前記ｋ段目記憶手段から出力された前記データを所定数蓄積するｋ＋１段目フィルタ用データ格納手段と、前記ｋ段目フィルタ用データ格納手段から出力された前記データを、前記ｋ段目記憶手段においてバッファリングさせることなく、直接前記ｋ＋１段目フィルタ用データ格納手段に転送させる切替手段と、前記データが前記色成分データである場合には、前記切替手段を動作させることなく、１段目〜Ｎ段目までのＮ個のフィルタ用データ格納手段に格納された前記色成分データに対して２次元空間のフィルタリング処理を行う画像用フィルタ手段と、前記データがＬ側あるいはＲ側の分割音声データである場合には、前記切替手段を動作させた上で、１段目〜Ｎ段目までのＮ個のフィルタ用データ格納手段に格納されたＬ側あるいはＲ側の前記音声データを前記音声用処理手段に出力する手段と、を備え、前記音声用処理手段は、前記処理手段から出力されたＬ側およびＲ側分割音声データをビット結合し、ビット結合されることによって復元されたＬ側ステレオ音声データおよびＲ側ステレオ音声データに対して１次元のフィルタリング処理を行う手段、を備えることを特徴とする。
【００２６】
請求項１１記載の発明は、請求項７ないし請求項１０のいずれかに記載の画像音声処理装置において、前記色空間は、ＲＧＢ色空間、を含むことを特徴とする。
【００２７】
請求項１２記載の発明は、請求項７ないし請求項１０のいずれかに記載の画像音声処理装置において、前記色空間は、ＣＭＹ色空間、を含むことを特徴とする。
【００２８】
【発明の実施の形態】
｛実施の形態１｝
＜１．全体構成＞
以下、図面を参照しつつ本発明の実施の形態１について説明する。図１は、本発明の実施の形態１に係る画像音声処理装置１の一部構成を示す概略図である。この画像音声処理装置１は、入力データをリアルタイムに画像処理および音声処理するＲＰＵ（リアルタイム・プロセッシング・ユニット）１０と、ＣＰＵ（中央演算装置）２１と、このＣＰＵ２１で実行されるプログラムや初期データなどを格納したＲＯＭ２２と、主メモリ２３とを備えている。また、これら構成要素１０，２１，２２および２３は、制御信号とデータ信号とを伝達するバス５を介して相互に接続されている。
【００２９】
本実施の形態の画像音声処理装置１は、たとえば、デジタルカメラに組み込まれて利用される。この場合には、画像音声処理装置１は、図示しないが、被写体からの光が入射する光学系や、ＣＣＤやＣＭＯＳなどの撮像素子、この撮像素子から出力されたアナログ信号にノイズ除去、信号増幅およびＡ／Ｄ変換を施す信号処理回路、および音声を入力するマイク、マイクから入力した音声信号にＡ／Ｄ変換処理や圧縮処理を施す信号処理回路などを備えている。
【００３０】
なお、本実施の形態の画像音声処理装置１はデジタルカメラに組み込まれて利用される他、映像および音声に対してデジタル処理を行う機能を備えた様々な機器で利用可能である。
【００３１】
バス５を介したデータ転送は、ＣＰＵ（制御部）２１によって制御される。なお、ＤＭＡＣ（ダイレクト・メモリ・アクセス・コントローラ）によってデータ転送を制御するようにしてもよい。
【００３２】
また前記ＲＰＵ１０は、入力する画像データ（デジタル信号）あるいは音声データ（デジタル信号）にデジタル処理を施してその結果をバス５に出力する機能を有する。
【００３３】
ここで、ＲＰＵ１０は、カメラ（ＣＣＤ）から入力した画像データＩｍＡに対してリアルタイムに画像処理を行い、その結果として画像データＩｍＢを出力する機能と、主メモリ２３に格納されている画像データＩｍＢを任意のタイミングで読み込んで画像処理を行い、その結果として画像データＩｍＣを出力する機能とを備えている。あるいは、通信によって取得した画像データや、各種媒体を介して取得した画像データを主メモリ２３に格納し、この画像データに対して画像処理を実行することも可能である。
【００３４】
また、ＲＰＵ１０は、マイクから入力した音声データＳｏＡに対してリアルタイムに音声処理を行い、その結果として音声データＳｏＢを出力する機能と、主メモリ２３に格納されている音声データＳｏＢを任意のタイミングで読み込んで音声処理を行い、その結果として音声データＳｏＣを出力する機能とを備えている。あるいは、通信によって取得した音声データや、各種媒体を介して取得した音声データを主メモリに格納し、この音声データに対して音声処理を実行することも可能である。
【００３５】
ＲＰＵ１０は、集積回路であって、単一画素処理部１１、補間・ガンマ補正処理部１２、色空間変換・偽色抑制処理部１３、空間フィルタリング・コアリング処理部１４、解像度変換処理部１５および入出力制御部１６を備えて構成されている。また、これら各処理部１１〜１５は、パイプライン制御によって並列に処理を実行することが可能である。
【００３６】
これら各処理部のうち、単一画素処理部１１、補間・ガンマ補正処理部１２、色空間変換・偽色抑制処理部１３、解像度変換処理部１５は、画像データに対して処理を行う機能部である。これに対して、本発明の特徴部である空間フィルタリング・コアリング処理部１４は、画像データおよび音声データに対する処理に共通に使用される機能部である。
【００３７】
このＲＰＵ１０では、例えば、デジタルカメラの撮像部から入力した画像データＩｍＡが、各処理部１１，１２，１３，１４，１５において順次にパイプライン処理を施された後に、最終段の解像度変換処理部１５から入出力制御部１６に出力される。解像度変換処理部１５から出力された処理データは、ＣＰＵ２１によって主メモリ２３に転送され、画像データＩｍＢとして格納される。
【００３８】
また、ＲＰＵ１０では、主メモリ２３に格納された画像データＩｍＢが、任意のタイミングで読み出され、処理部１４で処理を施された後、出力される。出力された処理データは、ＣＰＵ２１によって主メモリ２３に転送され、画像データＩｍＣとして格納される。また、ＲＰＵ１０は、主メモリ２３に格納された画像データＩｍＢに対して、処理部１１，１２，１３，１５における処理を個別に実行することも可能である。
【００３９】
一方、たとえば、マイク等から入力され、デジタル変換された音声データＳｏＡが、ＲＰＵ１０に入力される。ＲＰＵ１０に入力された音声データＳｏＡは、処理部１４においてフィルタリング処理が施され、出力される。出力された処理データは、ＣＰＵ２１によって主メモリ２３に転送され、音声データＳｏＢとして格納される。
【００４０】
また、ＲＰＵ１０では、主メモリ２３に格納された音声データＳｏＢが任意のタイミングで読み込まれ、処理部１４における処理が施された後、出力される。出力された処理データは、ＣＰＵ２１によって主メモリ２３に転送され、音声データＳｏＣとして格納される。
【００４１】
このＲＰＵ１０の各処理部１１〜１５の概要は以下の通りである。単一画素処理部１１は、入力する画像データを画素単位で処理する機能を有しており、具体的には、複数のフレーム或いはサブフレームに亘って入力する画像データを時間的に平均化する処理や、画像中の明暗の輝度ムラを補正するシェーディング補正処理を行うことができる。
【００４２】
また補間・ガンマ補正処理部１２は、画素補間処理とガンマ補正処理とを実行する機能を有する。画素補間処理は、各画素に欠けている色成分を周辺画素を用いて補間するものである。単板式の撮像素子（１枚の色フィルタのみを備えた撮像素子）は、各画素毎に単色成分の信号のみを出力するため、カラー画像を得るには、各画素に欠けている他の色成分を補間しなければならない。この画素補間処理によって各画素は複数の色成分を持つことになる。
【００４３】
また色空間変換・偽色抑制処理部１３は、色空間変換処理と偽色抑制処理とを行う機能を有する。色空間変換処理は、入力データの色空間を他の色空間に変換する処理であり、例えば、入力データのＲＧＢ空間をＹＣｂＣｒ空間またはＹＵＶ空間に変換することができる。また偽色抑圧処理は、前述の画素補間処理などに起因する、画像の色の境界付近や格子模様の部分などで発生する本来存在しない色（偽色）を抑制する処理である。
【００４４】
また空間フィルタリング・コアリング処理部１４は、空間フィルタ（重みマスク）を用いた空間フィルタリング処理と、主に画像の高域成分を抑える非線形処理（コアリング処理）とを実行する機能を有する。図２に示すように、本実施の形態の空間フィルタリング・コアリング処理部１４は、５×５画素をフィルタ範囲とする空間フィルタ部５０とコアリング処理部７０とを備えている。なお、後述するが、この空間フィルタ部５０は、音声データに対するフィルタリング処理も行う。
【００４５】
そして、解像度変換処理部１５は、入力データの画像サイズ（解像度）を縮小または拡大する解像度変換機能を有するものである。
【００４６】
＜２．空間フィルタリング部の構成＞
次に、空間フィルタ部５０について図２を参照しながら説明する。ここで、空間フィルタ部５０には、画像データＩｍＡあるいは画像データＩｍＢが入力されるが、これらに対する処理は共通であるので、以下の説明では、画像データ２として説明する。また、空間フィルタ部５０には、音声データＳｏＡあるいは音声データＳｏＢが入力されるが、これらに対する処理は共通であるので、以下の説明では、音声データ３として説明する。
【００４７】
この空間フィルタ部５０は、入力画像データ２あるいは入力音声データ３をフィルタリングして処理データを算出する。具体的には、空間フィルタ部５０は、フィルタ範囲における着目画素のデータとその周辺画素のデータとにフィルタ係数（畳み込み核）を重み付けし（乗算し）、重み付けされた全データを加算するという畳み込み演算（積和演算）を実行する。同様に、空間フィルタ部５０は、フィルタ範囲における注目音声データとその周辺音声データ（つまりは、注目音声データがサンプリングされた時間の前後における音声データ）とにフィルタ係数を重み付けし、重み付けされた全データを加算するという畳み込み演算を実行する。
【００４８】
この空間フィルタ部５０に設定するフィルタ係数群は、プログラマブルに設定することが可能である。フィルタ係数を適宜設定することで、画像中の線やエッジ部分を強調したり、平滑化したりすることができる。
【００４９】
一方、音声データ３に対しては、フィルタ係数を適宜設定することで、音声中における雑音を消去したり、高域成分や低域成分を制御するイコライザー処理を実行することが可能である。
【００５０】
空間フィルタ部５０は、図に示すように、レジスタ回路群４０、積和演算部４３、ラインメモリ５１〜５４、セレクタ６１〜６５、各セレクタに選択信号を与える選択指示部６０等を備えている。
【００５１】
レジスタ回路群４０は、２５個のレジスタ４１，４１，・・・４１を備えている。そして、これら２５個のレジスタ４１，４１，・・・４１は、５組のシフトレジスタが多段に配列された構造となっており、各シフトレジスタは、５つのレジスタ４１，４１・・・４１から構成されている。
【００５２】
そして、１段目のシフトレジスタと２段目のシフトレジスタは、ラインメモリ５１によって接続され、２段目のシフトレジスタと３段目のシフトレジスタは、ラインメモリ５２によって接続され、３段目のシフトレジスタと４段目のシフトレジスタは、ラインメモリ５３によって接続され、４段目のシフトレジスタと５段目のシフトレジスタは、ラインメモリ５４によって接続されている。
【００５３】
また、各ラインメモリ５１〜５４と、次段のシフトレジスタとの間には、それぞれ、セレクタ６１〜６４が設けられており、各セレクタ６１〜６４は、選択指示部６０から与えられたセレクト信号に従って、前段のシフトレジスタから出力された信号を出力するか、あるいは、上流のラインメモリ５１〜５４から出力された信号を出力するかを切り替え可能としている。
【００５４】
また、１段目のシフトレジスタの上流側にもセレクタ６５が設けられており、選択指示部６０から与えられた選択信号に基づいて、画像データ２を出力するか、あるいは音声データ３を出力するかを切り替え可能としている。
【００５５】
積和演算部４３は、これら２５個のレジスタ４１，４１・・・４１の出力信号を入力する。図示省略しているが、実際には、各レジスタ４１，４１・・・４１からの出力ラインは２方向に分岐され、その一方が、次のレジスタ４１あるいはラインメモリ５１〜５４に接続され、その他方が、積和演算部４３に接続されている。
【００５６】
また、積和演算部４３は、ＣＰＵ２１から係数を与えられる係数レジスタ（図示省略）を備えており、各レジスタ４１，４１・・・４１から取得した画像データに、係数レジスタから取得した係数を乗算する処理を行うとともに、これら乗算結果の加算処理を行うことによりフィルタリング処理を実行するようにしている。
【００５７】
＜３．画像データに対する処理＞
以上の構成において、画像データ２が入力された場合の処理について説明する。空間フィルタ部５０に画像データ２が入力されると、選択指示部６０は、選択信号”０”を送信する。セレクタ６５は、この選択信号を受けると、入力したデータのうち、画像データ２を出力する。これにより、レジスタ回路群４０には、画像データ２が入力される。
【００５８】
レジスタ回路群４０には、１画素単位のデータが画像データ２として入力される。入力された画像データ２は、１クロック周期ごとに、１段目のシフトレジスタ内のレジスタ４１，４１，・・・４１を順次転送される。
【００５９】
そして、１段目のシフトレジスタの後端より出力された画像データ２は、ラインメモリ５１に入力される。ここで、入力される画像データ２のデータ幅がＮ画素である場合には、ラインメモリ５１〜５４は、いずれもＮ−５画素分の画像データ２を格納することを可能としている。
【００６０】
なお、ラインメモリ５１〜５４は、その書き込みアドレスと読み出しアドレスを制御することにより、その記憶容量を可変とすることができる。したがって、入力された画像データ２のデータ幅に合わせてラインメモリの記憶容量を制御するようにしている。
【００６１】
ラインメモリ５１に新たな画像データ２が入力されると、ラインメモリ５１に格納されている最も古い画像データ２が出力される。本実施の形態であれば、Ｎ−５クロック周期前にラインメモリ５１に入力された画像データ２である。ここで、セレクタ６１にも選択信号”０”が通知されているため、ラインメモリ５１から出力された画像データ２は、セレクタ６１を介して２段目のシフトレジスタの先頭レジスタ４１に入力される。
【００６２】
そして、同様に、２段目のシフトレジスタの後端レジスタ４１から出力された画像データ２がラインメモリ５２に入力され、ラインメモリ５２に格納されている最も古い画像データ２が出力される。ここで、セレクタ６２にも選択信号”０”が通知されているため、ラインメモリ５２から出力された画像データ２は、セレクタ６２を介して、３段目のシフトレジスタの先頭レジスタ４１に入力される。
【００６３】
同様に、３段目のシフトレジスタの後端レジスタ４１から出力された画像データ２がラインメモリ５３に入力される。そして、ラインメモリ５３から出力された画像データ２は、選択信号”０”が与えられたセレクタ６３を介して、４段目のシフトレジスタの先頭レジスタ４１に入力される。
【００６４】
さらに、４段目のシフトレジスタの後端レジスタ４１から出力された画像データ２がラインメモリ５４に入力される。そして、ラインメモリ５４から出力された画像データ２は、選択信号”０”が与えられたセレクタ６４を介して、５段目のシフトレジスタの先頭レジスタ４１に入力される。
【００６５】
このような処理の流れにより、レジスタ回路群４０内の２５個の全てのレジスタ４１，４１，・・・４１に画像データ２が格納されると、フィルタリング処理が実行可能となる。
【００６６】
図３に、空間フィルタ部５０において画像データ２に対して適用されるフィルタ範囲を模式的に示す。５×５画素のフィルタ範囲内の各画素にフィルタ係数Ｃ［ｉ，ｊ］（ｉ，ｊは０〜４の整数）が設定されている。またフィルタ範囲の中心画素すなわち着目画素（ｃｕｒｒｅｎｔ  ｐｉｘｅｌ）にはＣ［２，２］が設定される。画像データ２をフィルタリングする場合、空間フィルタ部５０は、フィルタ範囲内の中心画素に対応するｍ行ｎ列目のデータＤ［ｍ，ｎ］（ｍは水平画素番号；ｎは垂直画素番号）およびその周辺の５×５画素のデータをサンプリングし、以下の式（１）に従って、サンプリングしたデータとフィルタ係数とを用いて畳み込み演算を実行する。この結果、当該着目画素に関するデータＯ［ｍ，ｎ］が算出される。
【００６７】
【数１】
2004247925.tif 000003
【００６８】
このように、上記フィルタ係数Ｃ［ｉ，ｊ］がＣＰＵより積和演算部４３内の係数レジスタに与えられ、各レジスタ４１，４１，・・・４１からの出力データであるＤ［ｍ，ｎ］とが畳み込み演算されることによって、注目画素に関するデータＯ［ｍ，ｎ］が出力されるのである。
【００６９】
そして、ある注目画素に対してフィルタリング処理が行われると、次のクロック周期において、セレクタ６５を介して新たな画像データ２が入力され、各シフトレジスタおよびラインメモリ５１〜５４に格納されている画像データ２が順次シフトされて、次の注目画素に対するフィルタリグ処理が実行されるのである。このような処理を繰り返して、２次元画像に対する空間フィルタリング処理が行われるのである。
【００７０】
＜４．音声データに対する処理＞
次に、音声データ３が入力された場合の処理について説明する。空間フィルタ部５０に音声データ３が入力されると、選択指示部６０は、各セレクタ６１〜６５に対して選択信号”１”を送信する。セレクタ６５は、この選択信号を受けると、入力しているデータのうち、音声データ３を出力する。これにより、レジスタ回路群４０には、セレクタ６５から出力された音声データ３が入力される。
【００７１】
レジスタ回路群４０に入力された音声データ３は、所定周波数で時間サンプリングされたデータである。この音声データ３が、１段目のシフトレジスタを順次転送され、１段目のシフトレジスタの後端より出力される。
【００７２】
ここで、セレクタ６１にも選択信号”１”が通知されているため、１段目のシフトレジスタから出力された音声データ３は、セレクタ６１を介して、２段目のシフトレジスタの先頭レジスタ４１に入力される。
【００７３】
２段目のシフトレジスタの先頭に新たな音声データ３が入力されると、そのクロック周期において、２段目のシフトレジスタの後端レジスタ４１から音声データ３が出力される。ここで、セレクタ６２にも選択信号”１”が通知されているため、２段目のシフトレジスタから出力された音声データ３は、セレクタ６２を介して、３段目のシフトレジスタの先頭レジスタ４１に入力される。
【００７４】
同様に、３段目のシフトレジスタの先頭に新たな音声データ３が入力されると、そのクロック周期において、３段目のシフトレジスタの後端レジスタ４１から音声データ３が出力され、セレクタ６３にも選択信号”１”が通知されているため、３段目のシフトレジスタから出力された音声データ３は、セレクタ６３を介して４段目のシフトレジスタの先頭レジスタ４１に入力される。
【００７５】
さらに、４段目のシフトレジスタの先頭に新たな音声データ３が入力されると、そのクロック周期において、４段目のシフトレジスタの後端レジスタ４１から音声データ３が出力され、セレクタ６４にも選択信号”１”が通知されているため、４段目のシフトレジスタから出力された音声データ３は、セレクタ６４を介して、５段目のシフトレジスタの先頭レジスタ４１に入力される。
【００７６】
このようにして音声データ３が１クロックごとに転送され、最後に、５段目のシフトレジスタに音声データ３が供給されるのである。
【００７７】
このような処理の流れにより、レジスタ回路群４０内の２５個の全てのレジスタに音声データ３が格納されると、フィルタリング処理が実行される。つまり、選択指示部６０より選択信号”１”が供給されている場合には、各段のシフトレジスタの後端レジスタ４１から出力された音声データ３は、ラインメモリでバッファされることなく、直接、次段のシフトレジスタに入力されるのである。これにより、空間フィルタ部５０は、音声データ３に対しては、時系列で連続して入力する画像データ３を、連続して２５個のレジスタ４１，４１，・・・４１に格納することができるのである。
【００７８】
そして、音声データ３に対して適用されるフィルタ範囲も、形式的には、図３で示したものと同様である。ただし、画像データ２に対しては、５×５画素の２次元のフィルタ範囲として使用してが、音声データ３に対しては、２５個の１次元のフィルタ範囲として使用されることになる。
【００７９】
したがって、各音声データ３に対するフィルタ係数をＣ［ｉ，ｊ］（ｉ，ｊは０〜４の整数）とし、フィルタ範囲の中心音声データすなわち着目音声データにはＣ［２，２］が設定されるとし、フィルタ範囲内の中心音声データに対して前後の時間にサンプリングされた音声データ３をｍ行ｎ列目のデータＤ［ｍ，ｎ］として考えれば、空間フィルタ部５０における畳み込み演算は、数１式で示した式（１）と同様になる。
【００８０】
このように、上記フィルタ係数Ｃ［ｉ，ｊ］がＣＰＵより積和演算部４３内の係数レジスタに与えられ、各レジスタ４１，４１，・・・４１からの出力データであるＤ［ｍ，ｎ］とが畳み込み演算されることによって、注目音声データに関するデータＯ［ｍ，ｎ］が出力されるのである。
【００８１】
そして、ある注目音声に対してフィルタリング処理が行われると、次のクロック周期において、セレクタ６５を介して新たな音声データ３が入力され、各シフトレジスタに格納されている音声データ３が順次シフトされて、次の注目音声に対するフィルタリグ処理が実行されるのである。このような処理を繰り返して、音声に対するフィルタリング処理が行われるのである。
【００８２】
以上説明したように、本実施の形態の画像音声処理装置１は、画像データに対するフィルタリング処理を行う回路と、音声データに対するフィルタリング処理を行う回路を共通化することが可能である。
【００８３】
具体的には、従来型の画像用フィルタリング回路にセレクタおよびその周辺ラインを追加することで、音声処理用の多タップのフィルタ回路を別に設ける必要がない。
【００８４】
これにより、回路規模の縮小が図られ、装置のコンパクト化および省電力化を図ることが可能である。
【００８５】
｛実施の形態２｝
次に、本発明の実施の形態２について説明する。図４は、実施の形態２にかかる画像音声処理装置１が備える空間フィルタ部９０の機能ブロック図である。実施の形態２において、空間フィルタ部９０以外の構成は、実施の形態１で示した画像音声処理装置１の構成と同様である。
【００８６】
この空間フィルタ部９０は、実施の形態１で示した空間フィルタ部５０が３段組み合わされた構成となっている。つまり、空間フィルタ部９０は、３組の空間フィルタ部５０Ａ，５０Ｂ，５０Ｃを備えており、各空間フィルタ部５０Ａ，５０Ｂ，５０Ｃは、レジスタ回路群４０と積和演算部４３とラインメモリ５１〜５４とセレクタ６１〜６４等を備えている。なお、図中、各セレクタ６１〜６４における”０”および”１”の表記を一部省略しているが、これらについては図２と同様である。
【００８７】
さらに、空間フィルタ部９０は、音声フィルタリング用の積和演算部４５を備えている。
【００８８】
この空間フィルタ部９０に、ＲＧＢ各８ビットの画像データ２Ｒ，２Ｇ，２Ｂと、２４ビットの音声データ３Ａが入力される場合を例に説明する。
【００８９】
空間フィルタ部９０に画像データ２Ｒ，２Ｇ，２Ｂが入力されると、選択指示部６６からは選択信号”０”が送信される。これにより、セレクタ６７は画像データ２Ｒを、セレクタ６８は画像データ２Ｇを、セレクタ６９は画像データ２Ｂを出力する。
【００９０】
そして、画像データ２Ｒは、セレクタ６７を介して、図の上段に示した空間フィルタ部５０Ａのレジスタ回路群４０に入力され、実施の形態１で示した場合と同様の処理を行うことにより、画像データ２Ｒに対する２次元空間のフィルタリング処理が施され、結果が出力される。
【００９１】
また、画像データ２Ｇは、セレクタ６８を介して、図の中段に示した空間フィルタ部５０Ｂのレジスタ回路群４０に入力され、実施の形態１で示した場合と同様の処理を行うことにより、画像データ２Ｇに対する２次元空間のフィルタリング処理が施され、結果が出力される。
【００９２】
また、画像データ２Ｂは、セレクタ６９を介して、図の下段に示した空間フィルタ部５０Ｃのレジスタ回路群４０に入力され、実施の形態１で示した場合と同様の処理を行うことにより、画像データ２Ｂに対する２次元空間のフィルタリング処理が施され、結果が出力される。
【００９３】
このようにして、ＲＧＢ各色の画像データ２Ｒ，２Ｇ，２Ｂに対して独立したフィルタリング処理を並行処理することが可能である。
【００９４】
次に、２４ビットの音声データ３Ａが入力される場合を説明する。空間フィルタ部９０に音声データ３Ａが入力されると、選択指示部６６からは選択信号”１”が送信される。また、入力された音声データ３Ａは、上位８ビットのデータ３Ａｕと、中位８ビットのデータ３Ａｍ、下位８ビットのデータ３Ａｄに分岐される。
【００９５】
これにより、セレクタ６７はデータ３Ａｕを、セレクタ６８はデータ３Ａｍを、セレクタ６９はデータ３Ａｄを出力する。
【００９６】
そして、データ３Ａｕは、セレクタ６７を介して、図の上段に示した空間フィルタ部５０Ａのレジスタ回路群４０に入力され、実施の形態１で示した場合と同様に、ラインメモリ５１〜５４にバッファされることなく、各段のシフトレジスタに順次転送される。
【００９７】
また、データ３Ａｍは、セレクタ６８を介して、図の中段で示した空間フィルタ部５０Ｂのレジスタ回路群４０に入力され、実施の形態１で示した場合と同様に、ラインメモリ５１〜５４にバッファされることなく、各段のシフトレジスタに順次転送される。
【００９８】
また、データ３Ａｄは、セレクタ６９を介して、図の下段で示した空間フィルタ部５０Ｃのレジスタ回路群４０に入力され、実施の形態１で示した場合と同様に、ラインメモリ５１〜５４にバッファされることなく、各段のシフトレジスタに順次転送される。
【００９９】
このようにして、空間フィルタ部５０Ａの２５個のレジスタ４１，４１，・・・４１にデータ３Ａｕが、空間フィルタ部５０Ｂの２５個のレジスタ４１，４１，・・・４１にデータ３Ａｍが、空間フィルタ部５０Ｃの２５個のレジスタ４１，４１，・・・４１にデータ３Ａｄが、それぞれ格納される。
【０１００】
そして、次のクロック周期において、各空間フィルタ部５０Ａ，５０Ｂ，５０Ｃにおける各レジスタ回路群４０，４０，４０に格納されていたデータ３Ａｕ，３Ａｍ，３Ａｄが、積和演算部４５に出力される。
【０１０１】
積和演算部４５では、畳み込み演算の前処理として、各空間フィルタ部５０Ａ，５０Ｂ，５０Ｃから出力された各データ３Ａｕ，３Ａｍ，３Ａｄをビット結合させる。具体的には、同一座標位置のレジスタ４１から出力された３つのデータ３Ａｕ，３Ａｍ，３Ａｄデータをビット結合させる。ここで、同一座標位置のレジスタ４１とは、レジスタ回路群４０を５×５のマトリクスと考えた場合に、同一行、同一列に位置するレジスタ４１のことを示している。
【０１０２】
ビット結合処理は、具体的には、空間フィルタ部５０Ａのある座標位置のレジスタ４１から出力されたデータ３Ａｕを上位８ビットとした場合、空間フィルタ部５０Ｂにおいて、データ３Ａｕが出力された座標位置と同一の座標位置のレジスタ４１から出力されたデータ３Ａｍが中位８ビットとされ、空間フィルタ部５０Ｃにおいて、データ３Ａｕ，３Ａｍが出力された座標位置と同一の座標位置のレジスタ４１から出力されたデータ３Ａｄが下位８ビットとされるような２４ビットのデータを生成するのである。このようにして、２４ビットの音声データ３Ａを再現する。
【０１０３】
このような処理を、２５個の全ての座標位置におけるデータ３Ａｕ，３Ａｍ，３Ａｄに対して行うことにより、積和演算部４５では、２５個の音声データ３Ａが生成されることになる。
【０１０４】
そして、積和演算部４５は、図示せぬ係数レジスタを備えており、この係数レジスタから与えられた係数が、２４ビットの各音声データ３Ａに乗算される。そして、この乗算結果が加算されることによって、フィルタリング結果が出力されるのである。
【０１０５】
このように、実施の形態２においては、画像用のフィルタ回路と音声用のフィルタ回路を共通化させることにより、回路規模を縮小させることが可能である。つまり、８ビットのデータ処理が可能な空間フィルタ部５０Ａ，５０Ｂ，５０Ｃを利用して、各８ビットのＲＧＢ画像データと、２４ビットの音声データとを処理可能としているのである。これにより、本実施の形態の画像音声処理装置１を備える機器のコンパクト化を実現することが可能となるとともに、省電力化を図ることが可能である。
【０１０６】
｛実施の形態３｝
次に、本発明の実施の形態３について説明する。図５は、実施の形態３にかかる画像音声処理装置１が備える空間フィルタ部９１の機能ブロック図である。実施の形態３において、空間フィルタ部９１以外の構成は、実施の形態１で示した画像音声処理装置１の構成と同様である。
【０１０７】
この空間フィルタ部９１は、実施の形態１で示した空間フィルタ部５０が４段組み合わされた構成となっている。つまり、空間フィルタ部９１は、４組の空間フィルタ部５０Ｄ，５０Ｅ，５０Ｆ，５０Ｇを備えており、各空間フィルタ部５０Ｄ，５０Ｅ，５０Ｆ，５０Ｇは、レジスタ回路群４０と積和演算部４３とラインメモリ５１〜５４とセレクタ６１〜６４等を備えている。なお、図中、各セレクタ６１〜６４における”０”および”１”の表記を一部省略しているが、これらについては図２と同様である。
【０１０８】
さらに、空間フィルタ部９１は、音声フィルタリング用の積和演算部４７，４８を備えている。
【０１０９】
この空間フィルタ部９１に、ＣＭＹ色空間の各８ビットの画像データ２Ｃ，２Ｍ，２Ｙ，２Ｋと、各１６ビットのステレオ音声データ３Ｌ，３Ｒが入力される場合を例に説明する。
【０１１０】
空間フィルタ部９１に画像データ２Ｃ，２Ｍ，２Ｙ，２Ｋが入力されると、選択指示部８０からは選択信号”０”が送信される。これにより、セレクタ８１は画像データ２Ｃを、セレクタ８２は画像データ２Ｍを、セレクタ８３は画像データ２Ｙを、セレクタ８４は画像データ２Ｋを出力する。
【０１１１】
そして、画像データ２Ｃは、セレクタ８１を介して、図の最上段に示した空間フィルタ部５０Ｄのレジスタ回路群４０に入力され、実施の形態１で示した場合と同様の処理を行うことにより、画像データ２Ｃに対する２次元空間のフィルタリング処理が施され、結果が出力される。
【０１１２】
また、画像データ２Ｍは、セレクタ８２を介して、図の上から２段目に示した空間フィルタ部５０Ｅのレジスタ回路群４０に入力され、実施の形態１で示した場合と同様の処理を行うことにより、画像データ２Ｍに対する２次元空間のフィルタリング処理が施され、結果が出力される。
【０１１３】
また、画像データ２Ｙは、セレクタ８３を介して、図の上から３段目に示した空間フィルタ部５０Ｆのレジスタ回路群４０に入力され、実施の形態１で示した場合と同様の処理を行うことにより、画像データ２Ｙに対する２次元空間のフィルタリング処理が施され、結果が出力される。
【０１１４】
また、画像データ２Ｋは、セレクタ８４を介して、図の最下段に示した空間フィルタ部５０Ｇのレジスタ回路群４０に入力され、実施の形態１で示した場合と同様の処理を行うことにより、画像データ２Ｋに対する２次元空間のフィルタリング処理が施され、結果が出力される。
【０１１５】
このようにして、ＣＭＹＫ各色の画像データ２Ｃ，２Ｍ，２Ｙ，２Ｋに対して独立したフィルタリング処理を並行処理することが可能である。
【０１１６】
次に、ステレオ音声データ３Ｌ，３Ｒに対するフィルタリング処理について説明する。空間フィルタ部９１に音声データ３Ｌ，３Ｒが入力されると、選択指示部８０からは選択信号”１”が送信される。また、入力された音声データ３Ｌは、上位８ビットのデータ３Ｌｕと、下位８ビットのデータ３Ｌｄに分岐され、入力された音声データ３Ｒは、上位８ビットのデータ３Ｒｕと、下位８ビットのデータ３Ｒｄに分岐される。
【０１１７】
これにより、セレクタ８１はデータ３Ｌｕを、セレクタ８２はデータ３Ｌｄを、セレクタ８３はデータ３Ｒｕを、セレクタ８４はデータ３Ｒｄを出力する。
【０１１８】
そして、データ３Ｌｕは、セレクタ８１を介して、空間フィルタ部５０Ｄのレジスタ回路群４０に入力され、実施の形態１で示した場合と同様に、ラインメモリ５１〜５４にバッファされることなく、各段のシフトレジスタに順次転送される。
【０１１９】
また、データ３Ｌｄは、セレクタ８２を介して、空間フィルタ部５０Ｅのレジスタ回路群４０に入力され、実施の形態１で示した場合と同様に、ラインメモリ５１〜５４にバッファされることなく、各段のシフトレジスタに順次転送される。
【０１２０】
また、データ３Ｒｕは、セレクタ８３を介して、空間フィルタ部５０Ｆのレジスタ回路群４０に入力され、実施の形態１で示した場合と同様に、ラインメモリ５１〜５４にバッファされることなく、各段のシフトレジスタに順次転送される。
【０１２１】
また、データ３Ｒｄは、セレクタ８４を介して、空間フィルタ部５０Ｇのレジスタ回路群４０に入力され、実施の形態１で示した場合と同様に、ラインメモリ５１〜５４にバッファされることなく、各段のシフトレジスタに順次転送される。
【０１２２】
このようにして、空間フィルタ部５０Ｄの２５個のレジスタ４１，４１，・・・４１にデータ３Ｌｕが、空間フィルタ部５０Ｅの２５個のレジスタ４１，４１，・・・４１にデータ３Ｌｄが、空間フィルタ部５０Ｆの２５個のレジスタ４１，４１，・・・４１にデータ３Ｒｕが、空間フィルタ部５０Ｇの２５個のレジスタ４１，４１，・・・４１にデータ３Ｒｄが、それぞれ格納される。
【０１２３】
そして、次のクロック周期において、空間フィルタ部５０Ｄと空間フィルタ部５０Ｅの各レジスタ回路群４０，４０に格納されていたデータ３Ｌｕ，３Ｌｄが、積和演算部４７に出力される。また、それとは同じクロック周期において、空間フィルタ部５０Ｆと空間フィルタ部５０Ｇの各レジスタ回路群４０，４０に格納されていたデータ３Ｒｕ，３Ｒｄが、積和演算部４８に出力される。
【０１２４】
積和演算部４７では、空間フィルタ部５０Ｄと空間フィルタ部５０Ｅのレジスタ回路群４０，４０から出力された各データ３Ｌｕ，３Ｌｄについて、同一座標位置（ここで、同一座標位置とは、実施の形態２で説明した通りである。）のレジスタ４１から出力された２つのデータをビット結合させる。
【０１２５】
具体的には、空間フィルタ部５０Ｄのある座標位置のレジスタ４１から出力されたデータ３Ｌｕを上位８ビットとし、空間フィルタ部５０Ｅにおいて、データ３Ｌｕが出力されたレジスタ４１の座標位置と同一座標位置のデータ３Ｌｄを下位８ビットとするような１６ビットのデータを生成するのである。このようにして、１６ビットのステレオ音声データ３Ｌを再現する。
【０１２６】
同様に、積和演算部４８では、データ３Ｒｕとデータ３Ｒｄとから１６ビットのステレオ音声データ３Ｒが再現される。
【０１２７】
このような処理を、２５個の座標位置のレジスタ４１に格納された全てのデータ３Ａｕ，３Ａｍ，３Ａｄに対して行うことにより、積和演算部４７，４８では、２５個のステレオ音声データ３Ｌ，３Ｒが生成されることになる。
【０１２８】
そして、積和演算部４７，４８は、図示せぬ係数レジスタを備えており、この係数レジスタから与えられた係数が、１６ビットの各音声データ３Ｌ，３Ｒに乗算される。そして、この乗算結果が加算されることによって、フィルタリング結果が出力されるのである。
【０１２９】
このように、実施の形態２においても、画像用のフィルタ回路と音声用のフィルタ回路を共通化させることにより、回路規模を縮小させることが可能である。つまり、８ビットのデータ処理が可能な空間フィルタ部５０Ｄ，５０Ｅ，５０Ｆ，５０Ｇを利用して、各８ビットのＣＭＹＫ画像データと、各１６ビットのステレオ音声データとを処理可能としているのである。これにより、本実施の形態の画像音声処理装置１を備える機器のコンパクト化を実現することが可能となるとともに、省電力化を図ることが可能である。
【０１３０】
｛変形例｝
上述した各実施の形態においては、各空間フィルタ部５０，９０，９１は、それぞれ、セレクタを利用することにより、画像に対するフィルタリング処理と音声に対するフィルタリング処理を切り替えるようにしている。
【０１３１】
この他の方法として、ラインメモリ５１〜５４の書き込みアドレスと読み出しアドレスとを同一アドレスとすることにより、ラインメモリ５１〜５４に音声データがバッファリングされないようにすることで、切り替えを実現することも可能である。
【０１３２】
また、上記実施の形態においては、空間フィルタとして５×５タップのフィルタを実施例としたが、空間フィルタは、３×３タップや７×７タップなどいずれであってもよく、本発明を適用可能である。
【０１３３】
さらに、画像フィルタのタップ数と音声フィルタのタップ数は異なる数であってもよい。
【０１３４】
たとえば、画像フィルタのタップ数よりも音声フィルタのタップ数を多くするには、上記実施の形態であれば、５段構成されたシフトレジスタの中で、最終段である５段目のシフトレジスタのレジスタ数を増加させればよい。
【０１３５】
また、音声フィルタのタップ数よりも画像フィルタのタップ数を多くするには、音声フィルタリングの際に、積和演算部に与える係数を調整すればよい。
【０１３６】
また、上記実施の形態２と実施の形態３においては、それぞれ、ＲＧＢ色空間とＣＭＹ色空間の画像データを入力する場合を例に説明したが、本実施の形態の画像音声処理装置１は、他の色空間の画像データについても同様に適用可能である。
【０１３７】
【発明の効果】
以上説明したように、請求項１または請求項６に記載の発明では、画像データに対するフィルタリング処理を行う処理部と音声データに対するフィルタリング処理を行う処理部を共通化することができるので、処理部の縮小化を図ることができる。これにより、装置のコンパクト化、省電力化が可能となる。
【０１３８】
請求項２記載の発明では、セレクタの切り替えにより、第１のフィルタ用データ格納手段と第２のフィルタ用データ格納手段とを直結させるので、音声データおよび画像データに対する処理部の共通化を図ることが可能である。
【０１３９】
請求項３記載の発明では、記憶手段の書き込みアドレスと読み出しアドレスを制御することにより、第１のフィルタ用データ格納手段と第２のフィルタ用データ格納手段とを直結させるので、音声データおよび画像データに対する処理部の共通化を図ることが可能である。
【０１４０】
請求項４記載の発明では、第１および第２のフィルタ用データ格納手段は、シフトレジスタであり、入力されるデータを順次シフトしながらフィルタ範囲のデータを格納することが可能である。
【０１４１】
請求項５記載の発明では、記憶手段は、ラインメモリであり、第１のフィルタ用データ格納手段から出力されたデータをバッファリングした後、第２のフィルタ用データ格納手段に転送することが可能である。
【０１４２】
請求項７または請求項８に記載の発明は、複数の処理部を備え、各処理部においては、画像データの色成分に対するフィルタリング処理を行い、全体の処理部を利用して音声データのフィルタリング処理を行うので、処理部が共通化され、処理部の縮小化を図ることができる。これにより、装置のコンパクト化、省電力化が可能となる。
【０１４３】
請求項９または請求項１０に記載の発明は、複数の処理部を備え、各処理部においては、画像データの色成分に対するフィルタリング処理を行い、全体の処理部を利用してステレオ音声データのフィルタリング処理を行うので、処理部が共通化され、処理部の縮小化を図ることができる。これにより、装置のコンパクト化、省電力化が可能となる。
【０１４４】
請求項１１記載の発明は、ＲＧＢ色空間の画像データ対するフィルタ処理と音声データに対するフィルタ処理を共通化させることが可能である。
【０１４５】
請求項１２記載の発明は、ＣＭＹ色空間の画像データ対するフィルタ処理と音声データに対するフィルタ処理を共通化させることが可能である。
【図面の簡単な説明】
【図１】本実施の形態にかかる画像音声処理装置の機能ブロック図である。
【図２】本実施の形態にかかる空間フィルタリング・コアリング部の機能ブロック図である。
【図３】フィルタ範囲に設定されるフィルタ係数を示す図である。
【図４】実施の形態２にかかる空間フィルタ部の機能ブロック図である。
【図５】実施の形態３にかかる空間フィルタ部の機能ブロック図である。
【図６】従来の画像用フィルタ装置の図である。
【図７】従来の音声用フィルタ装置の図である。
【符号の説明】
１      画像音声処理装置
１４    空間フィルタリング・コアリング処理部
４０    レジスタ回路群
４１    レジスタ
４３    積和演算部
５０    空間フィルタ部
５１〜５４    ラインメモリ
【図１】
2004247925.tif 000004
【図２】
2004247925.tif 000005
【図３】
2004247925.tif 000006
【図４】
2004247925.tif 000007
【図５】
2004247925.tif 000008
【図６】
2004247925.tif 000009
【図７】
2004247925.tif 000010