(57)【要約】【課題】ＤＭＡコントローラの改造を必要とすることなく、サンプリング率変換を可能とする。【解決手段】メモリ１０１とプロセッサバス１０３との間にサンプリング率変換器１０２を設けたので、サンプリング率変換についてパイプライン処理が可能であり、ＤＭＡコントローラ１２３の改造を必要としない。サンプリング率変換器１０２の入力元や出力先として、バッファメモリ１０１とプロセッサバス１０３とを切り替える、入力切替手段１０４及び出力切替手段１０５を設けたので、バッファメモリに書き込む際でも、バッファメモリから読み出す際でもどちらの方向でも任意の方向でサンプリング率変換が可能になる。【選択図】        図１
2004363637.tif 000002
【特許請求の範囲】
【請求項１】
メモリ、バス、及び前記メモリと前記バスとの間に設けられたサンプリング率変換器を備える画像処理装置。
【請求項２】
前記メモリに書き込まれた画像データと、前記バスに与えられた画像データとのいずれかを選択して前記サンプリング率変換器に与える第１入力切替手段と、
前記サンプリング率変換器の出力を前記メモリと前記バスとのいずれかを選択して与える第１出力切替手段とを備え、
前記第１入力切替手段が前記メモリに書き込まれた前記画像データを選択した場合には、前記第１出力切替手段は前記バスを選択し、
前記第１入力切替手段が前記バスに与えられた前記画像データを選択した場合には、前記第１出力切替手段は前記メモリを選択する、請求項１記載の画像処理装置。
【請求項３】
前記サンプリング率変換器は、
サブサンプラーと、
アップサンプラーと、
前記サブサンプラーと前記アップサンプラーとのいずれかを選択して、前記第１入力切替手段の出力を与える第２出力切替手段と、
前記サブサンプラーの出力と前記アップサンプラーの出力とのいずれかを選択して、前記第１出力切替手段に与える第２入力切替手段と
を有し、
前記第２出力切替手段が前記サブサンプラーを選択した場合には、前記第２入力切替手段は前記サブサンプラーを選択し、
前記第２出力切替手段が前記アップサンプラーを選択した場合には、前記第２入力切替手段は前記アップサブサンプラーを選択する、請求項２記載の画像処理装置。
【請求項４】
前記サンプリング率変換器は、前記第２出力切替手段と前記第２入力切替手段の間に設けられ、前記第２出力切替手段と前記第２入力切替手段によって選択可能な直接パスを更に有する、請求項３記載の画像処理装置。
【請求項５】
前記第２出力切替手段と前記第２入力手段の間で、前記サブサンプラーと直列に接続される色空間変換器を更に有する、請求項３及び請求項４のいずれか一つに記載の画像処理装置。
【請求項６】
前記第２出力切替手段と前記第２入力手段の間で、前記アップサンプラーと直列に接続される色空間変換器を更に有する、請求項３及び請求項４のいずれか一つに記載の画像処理装置。
【請求項７】
前記第２出力切替手段と前記第２入力手段の間で、前記サブサンプラーと直列に接続される余白付加手段を更に有する、請求項３乃至請求項６のいずれか一つに記載の画像処理装置。
【請求項８】
前記第２出力切替手段と前記第２入力手段の間で、前記アップサンプラーと直列に接続される余白削除手段を更に有する、請求項３乃至請求項６のいずれか一つに記載の画像処理装置。
【請求項９】
前記サンプリング率変換器は、前記第１出力切替手段と前記第１入力切替手段との間で直列に接続される第１ブロック及び第２ブロックを有し、
前記第１ブロックは、前記第１入力切替手段の出力に対してアップサンプリングを行うか通過させるかを切り替えて出力し、
前記第２ブロックは、その入力に対してサブサンプリングを行うか通過させるかを切り替えて前記第１出力切替手段に出力する、請求項２記載の画像処理装置。
【請求項１０】
前記サンプリング率変換器は、前記第１ブロックと前記第２ブロックとの間で直列に接続される第３ブロックを更に有し、
前記第３ブロックはその入力に対し色空間変換を行うか通過させるかを切り替えて出力する、請求項９記載の画像処理装置。
【請求項１１】
前記サンプリング率変換器は、前記第１ブロックと前記第２ブロックとの間で直列に接続される第４ブロックを更に有し、
前記第４ブロックはその入力に対し余白削除及び余白付加のいずれかを行うか、通過させるかを切り替えて出力する、請求項９または請求項１０記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、色差信号のサンプリング率を変換する画像処理技術に関する。
【０００２】
【従来の技術】
例えば後掲の特許文献１において、サンプリング率を変換する画像処理技術が開示されている。当該文献においてサンプリング率変換手段は、複数画素データを一度にアクセス可能な転送元メモリと、複数画素データを一度にアクセス可能な転送先メモリ間で画素データを転送するＤＭＡ（ダイレクト・メモリ・アクセス）転送装置に、水平方向にサブサンプリングするデータ変換部を備えている。
【０００３】
【特許文献１】
特開２００１−１９５３４７号公報
【０００４】
【発明が解決しようとする課題】
上記のような従来の装置では、サブサンプリング回路をＤＭＡコントローラに備えなければならないため、ＤＭＡコントローラの提供をＩＰ（Ｉｎｔｅｌｌｅｃｔｕａｌ  Ｐｒｏｐｅｒｔｙ）コアとして受けている場合には、ＤＭＡコントローラに追加することが困難であるという問題点があった。
【０００５】
この発明は、上述のような課題を解消するためになされたもので、ＤＭＡコントローラの改造を必要とすることなく、サンプリング率変換を可能とすることを目的とする。
【０００６】
【課題を解決するための手段】
この発明にかかる画像処理装置は、メモリ、バス、及び前記メモリと前記バスとの間に設けられたサンプリング率変換器を備える。
【０００７】
【発明の実施の形態】
実施の形態１．
図１はこの発明の実施の形態１にかかる画像処理装置１の構成を示すブロック図である。バッファメモリ１０１はサンプリング率変換手段１００を介してプロセッサバス１０３に接続されている。プロセッサバス１０３にはまたプロセッサ１２１、メモリ１２２、ＤＭＡ転送手段１２３、レジスタ１２４も接続されている。
【０００８】
プロセッサ１２１はＣＰＵまたはＤＳＰ等のプロセッサであり、ＤＭＡ転送手段１２３と共に、プロセッサバス１０３のバスマスタとなることができる。メモリ１２２はプロセッサバス１０３上で画像データを保存するためのメモリである。
【０００９】
メモリ１２２からメモリ１０１に画像データを書き込む場合には、サンプリング率変換手段１００が経由される。この場合、プロセッサ１２１またはＤＭＡ転送手段１２３がバスマスタとなって、メモリ１２２からプロセッサバス１０３へと画像データを読み出して、更にサンプリング率変換手段１００へと書き込む。
【００１０】
逆に、メモリ１０１から画像データを読み出す場合にも、サンプリング率変換手段１００が経由される。この場合も、プロセッサ１２１またはＤＭＡ転送手段１２３がバスマスタとなって、サンプリング率変換手段１００から画像データを読み出して、メモリ１２２に画像データを書き込む。
【００１１】
上記ではプロセッサバス１０３のバスマスタとして、ＤＭＡ転送手段１２３が存在している場合を示したが、より回路規模を削減した安価なシステムにおいては、ＤＭＡ転送手段１２３は用いずに、プロセッサバス１０３のバスマスタとして、プロセッサ１２１のみを用いてもよい。プロセッサ１２１をバスマスタとして用いる場合には、上記のデータ転送の際にサンプリング率変換手段１００を動作させて、色差信号のサンプリング率変換等、所定の画像データ処理を行うことが可能である。
【００１２】
サンプリング率変換手段１００は、サンプリング率変換手段１０２、入力切替手段１０４及び出力切替手段１０５を備える。入力切替手段１０４及び出力切替手段１０５はいずれも、プロセッサ１２１によってレジスタ１２４に書き込まれたデータに基づいて、それぞれ切替動作を行う。
【００１３】
メモリ１０１には、画像処理装置１の外部からカメラ等の画像入力手段１２６から画像データを書き込むことができる。そしてメモリ１０１を、画像入力手段１２６から書き込まれる画像データの入力レートと、プロセッサバス１０３との転送速度の相違を吸収するための一時的なバッファメモリとして使うことができる。
【００１４】
メモリ１０１に書き込まれた画像データをプロセッサバス１０３に伝搬させるために、入力切替手段１０４においてメモリ１０１側の入力が選択され、出力切替手段１０５においてプロセッサバス１０３側の出力が選択される。これによりメモリ１０１からの出力たる画像データを、サンプリング率変換器１０２によってサンプリング率を変換して、プロセッサバス１０３に与えることができる。
【００１５】
また、メモリ１０１には、画像処理装置１の外部の画像出力手段１２５に与えるための画像データを書き込むことができる。そしてメモリ１０１を、画像出力手段１２４へ与えるための画像データの出力レートと、プロセッサバス１０３の転送速度の相違を吸収するための一時的なバッファメモリとして使うことができる。
【００１６】
プロセッサバス１０３に与えられた画像データをメモリ１０１に書き込むために、入力切替手段１０４においてプロセッサバス１０３側の入力が選択され、出力切替手段１０５においてメモリ１０１側の出力が選択される。これによりプロセッサバス１０３に与えられた画像データを、サンプリング率変換器１０２によってサンプリング率を変換しつつ、メモリ１０１に与えることができる。
【００１７】
本実施の形態ではメモリ１０１とプロセッサバス１０３との間にサンプリング率変換器１０２を設けたので、サンプリング率変換についてパイプライン処理が可能であり、ＤＭＡコントローラ１２３の改造を必要としない。
【００１８】
またサンプリング率変換器１０２の入力元や出力先として、バッファメモリ１０１とプロセッサバス１０３とを切り替える、入力切替手段１０４及び出力切替手段１０５を設けたので、バッファメモリに書き込む際でも、バッファメモリから読み出す際でもどちらの方向でも任意の方向でサンプリング率変換が可能になる。
【００１９】
図２はサンプリング率変換器１０２として採用可能な、サンプリング率変換器１０２ａの構成を例示するブロック図である。サンプリング率変換器１０２ａはサブサンプラー１３１、アップサンプラー１３２、出力切替手段１３４及び入力切替手段１３５を備える。出力切替手段１３４及び入力切替手段１３５はいずれも、プロセッサ１２１によってレジスタ１２４に書き込まれたデータに基づいて、それぞれ切替動作を行う。
【００２０】
サンプリング率変換器１０２ａがサブサンプリングを行う場合には、出力切替手段１３４はサブサンプラー１３１側の出力を、入力切替手段１３５はサブサンプラー１３１側の入力を、それぞれ選択する。この場合、入力切替手段１０４から出力された画像データはサブサンプラー１３１に与えられ、サブサンプラー１３１の出力は出力切替手段１０５に与えられる。
【００２１】
サンプリング率変換器１０２ａがアップサンプリングを行う場合には、出力切替手段１３４はアップサンプラー１３２側の出力を、入力切替手段１３５はアップサンプラー１３２側の入力を、それぞれ選択する。この場合、入力切替手段１０４から出力された画像データはアップサンプラー１３２に与えられ、アップサンプラー１３１の出力は出力切替手段１０５に与えられる。
【００２２】
サンプリング率変換器１０２ａはサブサンプリングもアップサンプリングも行わないで画像データを通過させることもできる。この場合には、出力切替手段１３４は直接パス１３６側の出力を、入力切替手段１３５は直接パス１３６側の入力を、それぞれ選択する。
【００２３】
メモリ１０１にサブサンプリングなしで画像データが書き込まれて、プロセッサバス１０３側にサブサンプリング済みの画像データを出力する場合には、サンプリング率変換器１０２ａではサブサンプリングを行う。一方、メモリ１０１にサブサンプリング済みの画像が書き込まれていて、プロセッサバス１０３側にサブサンプリングをしていない画像データを出力する場合には、サブサンプリング率変換器１０２ａではアップサンプリングを行う。
【００２４】
例えばＪＰＥＧ、ＭＰＥＧ等の画像圧縮の符号化の際に、色差信号がサブサンプリングされていない映像データをプロセッサバス１０３に伝達させ、メモリ１０１には色差信号がサブサンプリングされた映像データを書き込む場合にサブサンプリングを行うことができる。また例えばＪＰＥＧ、ＭＰＥＧ等の画像圧縮の復号化の際に、メモリ１０１に一旦は画像データを記憶させておき、アップサンプリングしつつプロセッサバス１０３に伝達さることができる。
【００２５】
図３はサブサンプリングとアップサンプリングの概念を示す模式図である。サブサンプリング前の色差信号の画素位置２０１は丸印で示されており、サブサンプリング後の色差信号の画素位置２０２は×印で示されている。
【００２６】
ここではＹ：Ｃｂ：Ｃｒ＝４：２：２でサブサンプリングが実行される場合が例示されており、ライン方向Ｌに関して隣接する一対の画素位置２０１の色差信号の平均が、画素位置２０２におけるサブサンプリング後の色差信号として得られる。このようなサブサンプリング後の色差信号はサブサンプラー１３１において求められる。
【００２７】
逆にアップサンプリングにおいては、画素位置２０２におけるサブサンプリング後の色差信号を、それを挟む一対の画素位置２０１における色差データとして採用する。このようなアップサンプリング後の色差信号はアップサンプラー１３２において求められる。
【００２８】
本実施の形態ではサンプリング率変換器１０２ａにおいてサブサンプラー１３１とアップサンプラー１３２とを設け、出力切替手段１３４及び入力切替手段１３５によってこれらとの接続を切り替えるので、サブサンプリング／アップサンプリングのいずれにも対応できる。よって例えば色差信号のサブサンプリング／アップサンプリングが可能となり、ＪＰＥＧ、ＭＰＥＧ等で圧縮された画像の符号化の際だけでなく復号化の際にも利用することができる。
【００２９】
またサンプリング率変換器１０２ａは、出力切替手段１３４及び入力切替手段１３５の間に直接パス１３６をも備える。出力切替手段１３４及び入力切替手段１３５が直接パス１３６を選択することが可能であり、よって画像データに直接パス１３６を伝搬させることができる。よってサンプリング率変換を行わない動作も可能となる。
【００３０】
実施の形態２．
図４はこの発明の実施の形態２にかかるサンプリング率変換器１０２ｂの構成を示すブロック図である。サンプリング率変換器１０２ｂは実施の形態１に示されたサンプリング率変換器１０２として採用することができる。
【００３１】
本実施の形態におけるサンプリング率変換器１０２ｂは、実施の形態１で示されたサンプリング率変換器１０２ａの構成に対して、色空間変換器１４１，１４２を追加した構成を有している。具体的には、出力切替手段１３４と入力切替手段１３５との間で、色空間変換器１４１は、サブサンプラー１３１よりも出力切替手段１３４側で、サブサンプラー１３１と直列に接続されている。出力切替手段１３４と入力切替手段１３５との間で、色空間変換器１４２は、アップサンプラー１３２よりも入力切替手段１３５側で、アップサンプラー１３２と直列に接続されている。
【００３２】
よってサンプリング率変換器１０２ｂがサブサンプリングを行う場合には、出力切替手段１３４は色空間変換器１４１側の出力を、入力切替手段１３５はサブサンプラー１３１側の入力を、それぞれ選択する。これにより、出力切替手段１３４から伝搬した画像データは、まず色空間変換器１４１によって例えばＲＧＢ座標系の色空間からＹ：Ｃｂ：Ｃｒ座標系の色空間へと色空間変換を受け、その後にサブサンプラー１３１によってサブサンプリングが施され、入力切替手段１３５に与えられる。
【００３３】
またサンプリング率変換器１０２ｂがアップサンプリングを行う場合には、出力切替手段１３４はアップサンプラー１３２側の出力を、入力切替手段１３５は色空間変換器１４２側の入力を、それぞれ選択する。これにより、出力切替手段１３４から伝搬した画像データは、まずアップサンプラー１３２によってアップサンプリングされた後、色空間変換器１４２によって例えばＹ：Ｃｂ：Ｃｒ座標系の色空間からＲＧＢ座標系の色空間へと色空間変換を受け、入力切替手段１３５に与えられる。
【００３４】
アップサンプリングもサブサンプリングも施さない場合には色空間変換処理は施されず、直接パス１３６を経由して出力切替手段１３４から入力切替手段１３５へと画像データが伝搬する。
【００３５】
本実施の形態にかかるサンプリング率変換器１０２ｂは色空間変換器１４１，１４２を備えたので、サンプリング率変換と付随して色空間変換も行うことができる。もちろん、色空間変換器１４１，１４２の一方のみを用いてもよい。
【００３６】
実施の形態３．
図５はこの発明の実施の形態３にかかるサンプリング率変換器１０２ｃの構成を示すブロック図である。サンプリング率変換器１０２ｃは実施の形態１に示されたサンプリング率変換器１０２として採用することができる。
【００３７】
本実施の形態におけるサンプリング率変換器１０２ｃは、実施の形態２で示されたサンプリング率変換器１０２ｂの構成に対して、余白付加手段１５１及び余白削除手段１５２を追加した構成を有している。具体的には、余白付加手段１５１は色空間変換器１４１とサブサンプラー１３１との間でこれらと直列に接続され、余白削除手段１５２はアップサンプラー１３２と色空間変換器１４２との間でこれらと直列に接続されている。
【００３８】
よってサンプリング率変換器１０２ｂがサブサンプリングを行う場合には、出力切替手段１３４から伝搬した画像データは、まず色空間変換器１４１によって既述の色空間変換を受け、その後に余白付加手段１５１によって余白付加処理を受け、その後にサブサンプラー１３１によってサブサンプリングが施され、入力切替手段１３５に与えられる。
【００３９】
またサンプリング率変換器１０２ｂがアップサンプリングを行う場合には、出力切替手段１３４から伝搬した画像データは、まずアップサンプラー１３２によってアップサンプリングされた後、余白削除手段１５２によって余白削除処理を受け、その後に色空間変換器１４２によって既述の色空間変換を受け、入力切替手段１３５に与えられる。
【００４０】
アップサンプリングもサブサンプリングも施さない場合には色空間変換処理も余白付加処理も余白削除処理も施されず、直接パス１３６を経由して出力切替手段１３４から入力切替手段１３５へと画像データが伝搬する。
【００４１】
余白付加処理は、ＪＰＥＧ、ＭＰＥＧ等の画像圧縮の基本単位となるように余白を付加する。
【００４２】
図６は余白付加処理を説明する概念図である。画像領域３０１ａは、色空間変換器１４１から得られた画像データの寸法を示し、ライン方向Ｌ（図６では左右方向）に平行な辺と、これに直交する辺とを有している。
【００４３】
余白付加処理ではライン方向Ｌに沿って延びる追加領域３０２ｂと、ライン方向Ｌと直交する方向に沿って延びる追加領域３０２ａとを、画像領域３０１ａに追加する。追加領域３０２ｂは画像領域３０１ａの内、ライン方向Ｌに平行な辺の一方に隣接して（図６では下側に）追加される。これにより、画像領域３０１ａと追加領域３０２ａから構成される領域も、ライン方向Ｌに平行な辺と、これに直交する辺とを有する。追加領域３０２ａは画像領域３０１ａ及び追加領域３０２ｂの内、ライン方向Ｌに直交する辺の一方に隣接して（図６では右側に）追加される。
【００４４】
追加領域３０２ｂは画像領域３０１ａの内、追加領域３０２ｂが隣接する端（図６では下端）の画像データをコピーして作成される。追加領域３０２ａは画像領域３０１ａ及び追加領域３０２ｂの内、追加領域３０２ａが隣接する端（図６では右端）の画像データをコピーして作成される。
【００４５】
図７は余白削除処理を説明する概念図である。画像領域３０１ｂは色空間変換器１４２に与えられる画像データの寸法を示し、ライン方向Ｌ（図７では左右方向）に平行な辺と、これに直交する辺とを有している。
【００４６】
余白削除処理ではライン方向Ｌ（図７では左右方向）及びこれに直交する方向の２方向に延びる削除領域３０４を、画像領域３０１ｂから削除して残置領域３０３を残す。削除領域３０４は画像領域３０１の内、ライン方向Ｌに平行な辺の一方（図７では下側）及びこれと直交する辺の一方（図７では右側）に、それぞれ設定される。
【００４７】
本実施の形態にかかるサンプリング率変換器１０２ｃは余白付加手段１５１及び余白削除手段１５２を備えたので、画像圧縮の符号化または復号化の際に、サンプリング率変換と同時に、余白付加処理及び余白削除処理を行うことができる。もちろん、色空間変換器１４１，１４２を採用しなくてもよいし、余白付加手段１５１及び余白削除手段１５２の一方のみを用いてもよい。また余白付加手段１５１及び余白削除手段１５２は出力切替手段１３４と入力切替手段１３５の間で、アップサンプラー１３２、サブサンプラー１３１と直列に接続されるのであればどこに配置してもよい。
【００４８】
図８は余白付加手段１５１の構成を例示するブロック図である。色空間変換器１４１から与えられた画像データは、ラインメモリ４０１に順次記憶され、ライン方向Ｌに沿ったライン一つ分のデータが記憶される。そして色空間変換器１４１から与えられた画像データと、ラインメモリ４０１に記憶されたデータとが、セレクタ４０２の一対の入力として採用される。
【００４９】
セレクタ４０２はこれらの一対の入力の内のいずれか一方を出力する。ラッチ回路４０３は、データ出力許可端ｎｅｘｔに与えられる信号が活性化していることを条件として、クロック端ＣＬに与えられるクロック信号（図示せず）に基づいて、セレクタ４０２の出力を順次出力する。
【００５０】
余白付加手段１５１は第１判定手段４０４及び第２判定手段４０５を備えており、これらはいずれも画像領域の位置について判定する。図６を参照して、ラインの走査方向を同一ライン内では左から右へ、ライン自体の移動が上から下へと向かう方向に採ると、第１判定手段は追加領域３０２ｂに相当した動作を行うか否かを、第２判定手段４０５は追加領域３０２ａに相当した動作を行うか否かを、それぞれ判定する。
【００５１】
画像領域の位置が追加領域３０２ａに相当しない場合、第１判定手段４０４の出力が活性化し、ラッチ回路４０３はセレクタ４０２の出力を順次出力する。画像領域の位置が追加領域３０２ｂに相当する場合／相当しない場合とのそれぞれに対応して、セレクタ４０２はラインメモリ４０１の出力／色空間変換器１４１から与えられた画像データを出力する。
【００５２】
画像領域の位置が、色空間変換器１４１から得られた画像データに対応する画像領域３０１ａ内にある場合には、セレクタ４０２は色空間変換器１４１から与えられた画像データを順次出力する。
【００５３】
しかしラインの走査が更に右に移り、追加領域３０２ａに対応する位置に対応して、第１判定手段４０４はラッチ回路４０３のデータ出力許可端ｎｅｘｔに与える信号を非活性化する。よって、ラッチ回路４０３は直前に受けたデータを、図示されないクロック信号に基づいて出力し続ける。かかる動作により、追加領域３０２ａにおいては、同じライン内での画像領域３０１ａの右端の画像データがコピーされる。
【００５４】
ラインの走査が追加領域３０２ｂを含むラインに移ると、第２判定手段４０５はセレクタ４０２の選択を切り替えさせ、セレクタ４０２はラインメモリ４０１の出力を選択してセレクタ４０３に与える。追加領域３０２ａに対応しない位置では、ラッチ回路４０３はラインメモリ４０１が記憶するデータを、図示されないクロック信号に基づいて出力し続ける。ラインの走査が画像領域３０１ａ内で行われている限り、ラインメモリ４０１が記憶するデータはライン毎に更新される。よってラインの走査が追加領域３０２ｂへと移った直後には、画像領域３０１ａの下端のラインにおける画像データが、ラインメモリ４０１に記憶されている。従って追加領域３０２ｂにおいては、画像領域３０１ａの下端のラインにおける画像データがコピーされる。
【００５５】
追加領域３０２ａの内、追加領域３０２ｂの右横における部分も、追加領域３０２ｂの右端の画像データがコピーされる。
【００５６】
図９は余白削除手段１５２の構成を例示するブロック図である。アップサンプラー１３２から与えられた画像データは、セレクタ５０２の入力として採用される。余白削除手段１５２は余白判定手段５０１を備えており、図７に即して言えば、画像領域３０１ｂの内、残置領域３０３及び削除領域３０４のいずれについての動作を行うかについて判定する。
【００５７】
余白削除手段１５２は、画像領域の位置が残置領域３０３に相当すると判定した場合には、セレクタ５０２の選択を切り替えさせ、セレクタ５０２はアップサンプラー１３２から与えられた画像データをラッチ回路５０３に与える。ラッチ回路４０３は直前に受けたデータを、クロック端ＣＬに与えられるクロック信号（図示せず）に基づいて出力する。
【００５８】
余白削除手段１５２は、画像領域の位置が削除領域３０４に相当すると判定した場合には、セレクタ５０２の選択を切り替えさせ、セレクタ５０２はアップサンプラー１３２から与えられた画像データを破棄する（図中×印で破棄を示す）。
【００５９】
かかる動作により、余白削除手段１５２は削除領域３０４を画像領域３０１ｂから削除し、残置領域３０３を出力する。
【００６０】
実施の形態４．
図１０はサンプリング率変換器１０２として採用可能な、サンプリング率変換器１０２ｄの構成を例示するブロック図である。サンプリング率変換器１０２ｄはサブサンプラー１３１、アップサンプラー１３２、出力切替手段１３４，１６７及び入力切替手段１３５，１６０を備える。出力切替手段１３４，１６７及び入力切替手段１３５，１６０はいずれも、プロセッサ１２１によってレジスタ１２４に書き込まれたデータに基づいて、それぞれ切替動作を行う。
【００６１】
出力切替手段１３４は自身へ入力した画像データを直接パス１３６ａ及びアップサンプラー１３２のいずれかへと出力する。入力切替手段１６０は直接パス１３６ａ及びアップサンプラー１３２のいずれか一方から与えられる画像データを出力切替手段１６７へと出力する。出力切替手段１６７は自身へ入力した画像データを直接パス１３６ｅ及びサブサンプラー１３１のいずれかへと出力する。入力切替手段１３５は直接パス１３６ｅ及びサブサンプラー１３１のいずれか一方から与えられる画像データを出力切替手段１０５（図１参照）へと出力する。
【００６２】
サンプリング率変換器１０２ｄにおいて、出力切替手段１３４が自身へ入力した画像データを直接パス１３６ａへと出力し、入力切替手段１６０が直接パス１３６ａに与えられた画像データを出力切替手段１６７へと出力し、出力切替手段１６７が自身へ入力した画像データを直接パス１３６ｅへと出力し、入力切替手段１３５が直接パス１３６ｅに与えられた画像データを出力切替手段１０５へと出力する場合は、サンプリング率変換器１０２ａにおいて出力切替手段１３４及び入力切替手段１３５のいずれもが直接パス１３６を選択した場合と、同じ機能を果たすことになる。即ち、サブサンプリングもアップサンプリングも行わないで画像データを通過させる機能である。
【００６３】
また、サンプリング率変換器１０２ｄにおいて、出力切替手段１３４が自身へ入力した画像データを直接パス１３６ａへと出力し、入力切替手段１６０が直接パス１３６ａに与えられた画像データを出力切替手段１６７へと出力し、出力切替手段１６７が自身へ入力した画像データをサブサンプラー１３１に入力し、入力切替手段１３５がサブサンプラー１３１から出力された画像データを出力切替手段１０５へと出力する場合は、サンプリング率変換器１０２ａにおいて出力切替手段１３４及び入力切替手段１３５のいずれもがサブサンプラー１３１を選択した場合と、同じ機能を果たすことになる。即ち、画像データにサブサンプリングを行う機能である。
【００６４】
また、サンプリング率変換器１０２ｄにおいて、出力切替手段１３４が自身へ入力した画像データをアップサンプラー１３２へと入力し、入力切替手段１６０がアップサンプラー１３２から出力された画像データを出力切替手段１６７へと出力し、出力切替手段１６７が自身へ入力した画像データを直接パス１３６ｅへと出力し、入力切替手段１３５が直接パス１３６ｅに与えられた画像データを出力切替手段１０５へと出力する場合は、サンプリング率変換器１０２ａにおいて出力切替手段１３４及び入力切替手段１３５のいずれもがアップサンプラー１３２を選択した場合と、同じ機能を果たすことになる。即ち、画像データにアップサンプリングを行う機能である。
【００６５】
次にサンプリング率変換器１０２ｄにおいて、出力切替手段１３４が自身へ入力した画像データをアップサンプラー１３２へと入力し、入力切替手段１６０がアップサンプラー１３２から出力された画像データを出力切替手段１６７へと出力し、出力切替手段１６７が自身へ入力した画像データをサブサンプラー１３１に入力し、入力切替手段１３５がサブサンプラー１３１から出力された画像データを出力切替手段１０５へと出力する場合を考える。
【００６６】
例えば、サンプリング率変換器１０２へとＹ：Ｃｂ：Ｃｒ＝４：２：２（あるいは４：２：０、４：１：１、４：０：０等）でサブサンプリングされた画像データが入ってきた場合、これをアップサンプラー１３２で一旦Ｙ：Ｃｂ：Ｃｒ＝４：４：４へとアップサンプリングする。よって入力切替手段１６０の出力から出力切替手段１６７の入力へは、サブサンプリングされていない画像データが伝達される。
【００６７】
そしてサブサンプラー１３１で別途にサブサンプリングを行って入力切替手段１３５からサブサンプリングされた画像が出力される。
【００６８】
出力切替手段１３４、アップサンプラー１３２、直接パス１３６ａ、入力切替手段１６０を一つのブロックＺ１として把握し、出力切替手段１６７、サブサンプラー１３１、直接パス１３６ｅ、入力切替手段１３５を一つのブロックＺ４として把握することもできる。
【００６９】
このような把握の仕方によると、サンプリング率変換器１０２ｄは、入力切替手段１０４と出力切替手段１０５との間で直列に接続されるブロックＺ１，Ｚ４を有していることになる。そしてブロックＺ１は、入力切替手段１０４が出力する画像データに対してアップサンプリングを行うか通過させるかを切り替えて出力する。またブロックＺ４は、その入力に対してサブサンプリングを行うか通過させるかを切り替えて出力切替手段１０５に出力する。本実施の形態においては、ブロックＺ４の入力はブロックＺ１の出力そのものである。
【００７０】
以上のようにサンプリング率変換器１０２ｄでは、一旦アップサンプリングしてからサブサンプリングを行うので、サブサンプリングされた画像データのサブサンプリング率を変換することができる。
【００７１】
実施の形態５．
図１１はサンプリング率変換器１０２として採用可能な、サンプリング率変換器１０２ｅの構成を例示するブロック図である。
【００７２】
本実施の形態におけるサンプリング率変換器１０２ｅは、実施の形態４で示されたサンプリング率変換器１０２ｄの構成に対して、ブロックＺ２，Ｚ３をブロックＺ１，Ｚ４の間に直接に接続した構成を有している。
【００７３】
ブロックＺ２は出力切替手段１６３と、直接パス１３６ｃと、色空間変換器１４２と、入力切替手段１６４とを備えている。ブロックＺ３は出力切替手段１６５と、直接パス１３６ｄと、色空間変換器１４１と、入力切替手段１６６とを備えている。
【００７４】
具体的には、出力切替手段１６３は自身へ入力した画像データを直接パス１３６ｃ及び色空間変換器１４２のいずれかへと出力する。入力切替手段１６４は、直接パス１３６ｃ及び色空間変換器１４２のいずれか一方から与えられる画像データを出力切替手段１６５へと出力する。これにより、ブロックＺ２は、その入力に対し色空間変換を行うか通過させるかを切り替えて出力する。
【００７５】
出力切替手段１６５は自身へ入力した画像データを直接パス１３６ｄ及び色空間変換器１４１のいずれかへと出力する。入力切替手段１６６は、直接パス１３６ｄ及び色空間変換器１４１のいずれか一方から与えられる画像データを出力切替手段１６７へと出力する。これにより、ブロックＺ３は、その入力に対し色空間変換を行うか通過させるかを切り替えて出力する。
【００７６】
よって出力切替手段１６３及び入力切替手段１６４がいずれも直接パス１３６ｃを選択し、出力切替手段１６７及び入力切替手段１６６がいずれも直接パス１３６ｄを選択する場合には、実施の形態５に示されたサンプリング率変換器１０２ｄと同じ機能が得られる。
【００７７】
また出力切替手段１６３及び入力切替手段１６４がいずれも色空間変換器１４２を選択する場合には、実施の形態２に示されたサンプリング率変換器１０２ｂが有する色空間変換の処理を得ることができる。同様にして、出力切替手段１６５及び入力切替手段１６６がいずれも色空間変換器１４１を選択する場合には、実施の形態２に示されたサンプリング率変換器１０２ｂが有する色空間変換の処理を得ることができる。
【００７８】
本実施の形態においても、入力切替手段１６０の出力から出力切替手段１６７の入力迄は、サブサンプリングされていない画像データが伝達される。
【００７９】
以上のようにサンプリング率変換器１０２ｅでは、サブサンプリングされた画像データのサブサンプリング比を変換する際に、色空間変換をも行うことができる。
【００８０】
実施の形態６．
図１２はサンプリング率変換器１０２として採用可能な、サンプリング率変換器１０２ｆの構成を例示するブロック図である。
【００８１】
本実施の形態におけるサンプリング率変換器１０２ｆは、実施の形態５で示されたサンプリング率変換器１０２ｅの構成に対して、ブロックＺ５をブロックＺ１，Ｚ４の間に直接に接続した構成を有している。ブロックＺ５は余白調節手段１５３、直接パス１３６ｂ、出力切替手段１６１及び入力切替手段１６２を追加した構成を有している。
【００８２】
具体的には、出力切替手段１６１は、入力切替手段１６０から出力される画像データを受け、これを直接パス１３６ｂ及び余白調節手段１５３のいずれか一方へと出力する。入力切替手段１６２は直接パス１３６ｂ及び余白調節手段１５３のいずれか一方から与えられる画像データを出力切替手段１６３へと出力する。
【００８３】
余白調節手段１５３は外部からの制御によって、実施の形態３に示された余白付加手段１５１の機能と余白削除手段１５２の機能を切り替えて実現する。これらの機能は、例えばバスマスタたるプロセッサ１２１の指令によって切り替えられる。よってブロックＺ５は、その入力に対し余白削除及び余白付加のいずれかを行うか、通過させるかを切り替えて出力することになる。
【００８４】
サンプリング率変換器１０２ｆにおいて出力切替手段１６１及び入力切替手段１６２がいずれも直接パス１３６ｂを選択する場合には、実施の形態５に示されたサンプリング率変換器１０２ｅと同じ機能を得ることができる。
【００８５】
サンプリング率変換器１０２ｆにおいて、出力切替手段１３４，１６１及び入力切替手段１６０，１６２によって、アップサンプラー１３２、余白調節手段１５３が選択された場合には、余白調節手段１５３を余白削除手段１５２として機能させて、実施の形態３に示されたサンプリング率変換器１０２ｃと同様、余白を削除する処理ができる。
【００８６】
サンプリング率変換器１０２ｆにおいて、出力切替手段１６１，１６７及び入力切替手段１３５，１６２によって、サブサンプラー１３１、余白調節手段１５３が選択された場合には、余白調節手段１５３を余白付加手段１５１として機能させて、実施の形態３に示されたサンプリング率変換器１０２ｃと同様、余白を付加する処理ができる。
【００８７】
本実施の形態においても、入力切替手段１６０の出力から出力切替手段１６７の入力迄は、サブサンプリングされていない画像データが伝達される。
【００８８】
図１２ではブロックＺ５はブロックＺ１，Ｚ２の間に設けられているが、ブロックＺ２，Ｚ３の間や、ブロックＺ３，Ｚ４の間や、ブロックＺ１の前段や、ブロックＺ４の後段に設けてもよい。
【００８９】
余白調節手段１５３はサンプリング率変換器１０２ｅにおいて他の構成要素と組み合わせることができる。図１３乃至図１６は、余白調節手段１５３を、それぞれアップサンプラー１３２、色空間変換器１４２、色空間変換器１４１、サブサンプラー１３１と組み合わせた場合を例示するブロック図である。
【００９０】
図１３に則して言えば、アップサンプラー１３２の出力は余白調節手段１５３に入力し、余白調節手段１５３の出力が入力切替手段１６０の一方の入力に与えられる。よって両者を纏めてアップサンプラー１３２Ａとして把握することができる。あるいは余白調節手段１５３とアップサンプラー１３２との間で前後関係を入れ替えてもよい。
【００９１】
図１４に則して言えば、出力切替手段１６３の出力の内、直接パス１３６ｃに接続される方と反対側が余白調節手段１５３に入力し、余白調節手段１５３の出力が色空間変換器１４２に入力する。そして色空間変換器１４２の出力が入力切替手段１６４の一方の入力に与えられる。よって両者を纏めて色空間変換器１４２Ａとして把握することができる。あるいは余白調節手段１５３と色空間変換器１４２との間で前後関係を入れ替えてもよい。
【００９２】
図１５に則して言えば、色空間変換器１４１の出力が余白調節手段１５３に入力し、余白調節手段１５３の出力が入力切替手段１６６の一方の入力に与えられる。よって両者を纏めて色空間変換器１４１Ａとして把握することができる。あるいは色空間変換器１４１と余白調節手段１５３との間で前後関係を入れ替えてもよい。
【００９３】
図１６に則して言えば、出力切替手段１６７の出力の内、直接パス１３６ｅに接続される方と反対側が余白調節手段１５３に入力し、余白調節手段１５３の出力がサブサンプラー１３１に入力する。そしてサブサンプラー１３１の出力が入力切替手段１３５の一方の入力に与えられる。よって両者を纏めてサブサンプラー１３１Ａとして把握することができる。あるいはサブサンプラー１３１と余白調節手段１５３との間で前後関係を入れ替えてもよい。
【００９４】
【発明の効果】
サンプリング率変換器がメモリとバスとの間に設けられたので、サンプリング率変換についてパイプライン処理が可能であり、ＤＭＡコントローラの改造を必要としない。
【図面の簡単な説明】
【図１】この発明の実施の形態１にかかる画像処理装置の構成を示すブロック図である。
【図２】この発明の実施の形態１におけるサンプリング率変換器の構成を例示するブロック図である。
【図３】サブサンプリングとアップサンプリングの概念を示す模式図である。
【図４】この発明の実施の形態２におけるサンプリング率変換器の構成を示すブロック図である。
【図５】この発明の実施の形態３におけるサンプリング率変換器の構成を示すブロック図である。
【図６】余白付加処理を説明する概念図である。
【図７】余白削除処理を説明する概念図である。
【図８】余白付加手段の構成を例示するブロック図である。
【図９】余白削除手段の構成を例示するブロック図である。
【図１０】この発明の実施の形態４におけるサンプリング率変換器の構成を示すブロック図である。
【図１１】この発明の実施の形態５におけるサンプリング率変換器の構成を示すブロック図である。
【図１２】この発明の実施の形態６におけるサンプリング率変換器の構成を示すブロック図である。
【図１３】この発明の実施の形態６におけるサンプリング率変換器の変形の構成を示すブロック図である。
【図１４】この発明の実施の形態６におけるサンプリング率変換器の変形の構成を示すブロック図である。
【図１５】この発明の実施の形態６におけるサンプリング率変換器の変形の構成を示すブロック図である。
【図１６】この発明の実施の形態６におけるサンプリング率変換器の変形の構成を示すブロック図である。
【符号の説明】
１  画像処理装置、１００  サンプリング率変換手段、１０１  バッファメモリ、１０２  サンプリング率変換器、１０３  プロセッサバス、１０４，１３５，１６０，１６６  入力切替手段、１０５，１３４，１６３，１６７  出力切替手段、１３１  サブサンプラー、１３２  アップサンプラー、１４１，１４２  色空間変換手段、１５１  余白付加手段、１５２  余白削除手段、１５３  余白調節手段、Ｚ１〜Ｚ５  ブロック。
【図１】
2004363637.tif 000003
【図２】
2004363637.tif 000004
【図３】
2004363637.tif 000005
【図４】
2004363637.tif 000006
【図５】
2004363637.tif 000007
【図６】
2004363637.tif 000008
【図７】
2004363637.tif 000009
【図８】
2004363637.tif 000010
【図９】
2004363637.tif 000011
【図１０】
2004363637.tif 000012
【図１１】
2004363637.tif 000013
【図１２】
2004363637.tif 000014
【図１３】
2004363637.tif 000015
【図１４】
2004363637.tif 000016
【図１５】
2004363637.tif 000017
【図１６】
2004363637.tif 000018