(57)【要約】【課題】２次元ＤＣＴを高速化するに、動作速度を上げると消費電力が高くなり、複数個並列化すれば記憶手段（転置データバッファ）も複数個必要になり、回路規模が増加する。【解決手段】２次元直交変換を行列方向の１次元直交変換で実行する２次元直交変換装置において、複数の１次元直交変換手段３は、入力手段１からの画素データに対してｍ画素複数行分同時の１回目の１次元直交変換を行い得られた１次元直交変換データを記憶手段Ｍへ格納し、記憶手段Ｍからのｎ画素複数列分の１次元直交変換データに対して２回目の１次元直交変換を行い得られた２次元直交変換データを出力手段４へ送出する。入力手段１からの画素データと記憶手段Ｍからの１次元直交変換データは、選択手段２を介して１次元直交変換手段３に送る。【選択図】図１
2008017405.tif 000002
【特許請求の範囲】
【請求項１】
ｍ×ｎ画素（ｍ，ｎは自然数、ｍ＝ｎまたはｍ≠ｎ）のブロック単位で行われる２次元直交変換を、行方向および列方向の１次元直交変換に分解して実行する２次元直交変換装置であって、
１ブロックｍ×ｎ個の画素データを順次入力する入力手段と、
ｍ×ｎ個の１次元直交変換データを格納するための記憶手段と、
前記入力手段からの画素データと前記記憶手段からの１次元直交変換データを選択する選択手段と、
前記選択手段を介して前記入力手段からの画素データが入力されたときにはｍ画素複数行分同時の１回目の１次元直交変換を順次に行って得られた１次元直交変換データを前記記憶手段へ格納し、前記記憶手段からのｎ画素複数列分の１次元直交変換データが前記選択手段を介して順次に入力されたときには２回目の１次元直交変換を行って得られた２次元直交変換データを送出する複数の１次元直交変換手段と、
前記複数の１次元直交変換手段から送出されてくる前記２次元直交変換データを外部へ出力する出力手段とを備えた２次元直交変換装置。
【請求項２】
さらに、前記入力手段から入力される画素データの特徴を示す情報を入力する情報入力手段と、
前記複数の１次元直交変換手段への供給クロックを制御するクロック制御手段とを備え、
前記選択手段は、前記情報入力手段の情報に基づいて出力先の１次元直交変換手段を切り替え、前記クロック制御手段は前記選択手段で選択された前記１次元直交変換手段にのみクロックを供給する請求項１に記載の２次元直交変換装置。
【請求項３】
さらに、前記入力手段からの画素データと前記記憶手段からの１次元直交変換データを選択する第２の選択手段と、
前記第２の選択手段からのデータの１次元直交変換を行う複数の第２の１次元直交変換手段とを備え、
前記第１および第２の１次元直交変換手段において、前記入力手段からの画素データと前記記憶手段からの１次元直交変換データを、交互に並行して処理する請求項１に記載の２次元直交変換装置。
【請求項４】
ｍ×ｎ画素（ｍ，ｎは自然数、ｍ＝ｎまたはｍ≠ｎ）のブロック単位で行われる２次元直交変換を、行方向および列方向の１次元直交変換に分解して実行する２次元直交変換装置であって、
１ブロックｍ×ｎ個の画素データを順次入力する入力手段と、
ｍ×ｎ個の１次元直交変換データを格納するための記憶手段と、
前記入力手段からの画素データにおいてｍ画素複数行分同時の１回目の１次元直交変換を順次に行って得られた１次元直交変換データを前記記憶手段へ格納する複数の第１の１次元直交変換手段と、
前記記憶手段からのｎ画素複数列分の１次元直交変換データが順次に入力されたときに２回目の１次元直交変換を行って得られた２次元直交変換データを送出する複数の第２の１次元直交変換手段と、
前記複数の第２の１次元直交変換手段から送出されてくる前記２次元直交変換データを外部へ出力する出力手段とを備えた２次元直交変換装置。
【請求項５】
ｍ×ｎ画素（ｍ，ｎは自然数、ｍ＝ｎまたはｍ≠ｎ）のブロック単位で行われる２次元直交変換を、行方向および列方向の１次元直交変換に分解して実行する２次元直交変換装置であって、
互いに異なる１ブロックｍ×ｎ個の画素データを個別に順次入力する第１および第２の入力手段と、
ｍ×ｎ個の１次元直交変換データを格納するための記憶手段と、
前記第１の入力手段からの画素データと前記記憶手段からの１次元直交変換データを選択する第１の選択手段と、
前記第２の入力手段からの画素データと前記記憶手段からの１次元直交変換データを選択する第２の選択手段と、
前記第１の入力手段からの画素データが前記第１の選択手段を介して入力されたときにはｍ画素複数行分同時の１回目の１次元直交変換を順次に行って得られた１次元直交変換データを前記記憶手段へ格納し、前記記憶手段からのｎ画素複数列分の１次元直交変換データが前記第１の選択手段を介して順次に入力されたときには２回目の１次元直交変換を行って得られた２次元直交変換データを送出する複数の第１の１次元直交変換手段と、
前記第２の入力手段からの画素データが前記第２の選択手段を介して入力されたときにはｍ画素複数行分同時の１回目の１次元直交変換を順次に行って得られた１次元直交変換データを前記記憶手段へ格納し、前記記憶手段からのｎ画素複数列分の１次元直交変換データが前記第２の選択手段を介して順次に入力されたときには２回目の１次元直交変換を行って得られた２次元直交変換データを送出する複数の第２の１次元直交変換手段と、
前記複数の第１の１次元直交変換手段から送出されてくる前記２次元直交変換データを外部へ出力する第１の出力手段と、
前記複数の第２の１次元直交変換手段から送出されてくる前記２次元直交変換データを外部へ出力する第２の出力手段とを備えた２次元直交変換装置。
【請求項６】
さらに、装置の動作モードを入力する動作モード入力手段と、
前記動作モード入力手段からの動作モードに基づいて前記第１および第２の選択手段と前記第１および第２の１次元直交変換手段の動作を制御する制御手段とを備え、
前記制御手段は、前記動作モードに基づいて、前記第１または第２の選択手段のいずれか一方または両方からのデータを前記第１および第２の１次元直交変換手段に入力制御する請求項５に記載の２次元直交変換装置。
【請求項７】
さらに、ｍ×ｎ個の１次元直交変換データを格納するための第２の記憶手段を備え、
前記第１の入力手段からの画素データは前記第１の記憶手段に格納され、前記第２の入力手段からの画素データは前記第２の記憶手段に格納される請求項６に記載の２次元直交変換装置。
【請求項８】
前記１次元直交変換手段は、離散コサイン変換手段またはアダマール変換手段である請求項１から請求項７までのいずれかに記載の２次元直交変換装置。
【請求項９】
前記１次元直交変換手段は、逆離散コサイン変換または逆アダマール変換にも対応している請求項１から請求項８までのいずれかに記載の２次元直交変換装置。
【請求項１０】
ｍ×ｎ画素（ｍ，ｎは自然数、ｍ＝ｎまたはｍ≠ｎ）のブロック単位で行われる２次元直交変換を、行方向および列方向の１次元直交変換に分解して実行する２次元直交変換方法であって、
１ブロックｍ×ｎ個の画素データを順次入力する工程と、
複数の１次元直交変換手段を用いてｍ画素複数行分の１回目の１次元直交変換を同時に行って１次元直交変換データを生成する工程と、
ｍ×ｎ個の１次元直交変換データを格納させるための記憶手段を用いて前記複数行分の１次元直交変換データを格納する工程と、
前記記憶手段からｎ画素複数列分の１次元直交変換データを読み出して前記複数の１次元直交変換手段を用いてそれぞれ２回目の１次元直交変換を同時に行って２次元直交変換データを生成する工程と、
前記２次元直交変換データを外部へ出力する工程とを含む２次元直交変換方法。
【請求項１１】
さらに、入力する前記画素データの特徴を示す情報を入力する工程と、入力した前記情報に基づいて前記１次元直交変換手段の動作を制限する工程とを含む請求項１０に記載の２次元直交変換方法。
【請求項１２】
前記１次元直交変換手段の動作を制限する工程では、非動作に制御された前記１次元直交変換手段に対するクロック供給を停止する請求項１１に記載の２次元直交変換方法。
【請求項１３】
入力する前記画素データの特徴を示す前記情報は、入力する画像の解像度である請求項１１または請求項１２に記載の２次元直交変換方法。
【請求項１４】
入力する前記画素データの特徴を示す前記情報は、入力する動画像のフレームレートである請求項１１または請求項１２に記載の２次元直交変換方法。
【請求項１５】
さらに、前記ｍ画素複数行分の１回目の１次元直交変換の工程および前記ｎ画素複数列分の２回目の１次元直交変換の工程からなる２次元直交変換の処理工程をもう１つ含み、その２つの２次元直交変換の処理工程は、連続して入力されてくる２つのブロックの画素データに対する１次元直交変換を時間差をおいて交互に並行して実行する請求項１０に記載の２次元直交変換方法。
【請求項１６】
一方の前記２次元直交変換の処理工程では、その１回目の１次元直交変換で入力されてくる画素データを処理し、他方の２次元直交変換の処理工程では、前記記憶手段からの１次元直交変換データを処理する請求項１５に記載の２次元直交変換方法。
【請求項１７】
請求項１０に記載の２次元直交変換方法における各工程を２工程分並行して実行するもので、
奇数番目のブロックについての記憶手段から読み出した１次元直交変換データに対する２回目の１次元直交変換と偶数番目のブロックについて入力した画素データに対する１回目の１次元直交変換とを同時に並行処理し、かつ、偶数番目のブロックについての記憶手段から読み出した１次元直交変換データに対する２回目の１次元直交変換と次の奇数番目のブロックについて入力した画素データに対する１回目の１次元直交変換とを同時に並行処理することを特徴とする２次元直交変換方法。
【請求項１８】
前記複数の１次元直交変換を行う工程は、装置の動作モードに応じて、前記奇数番目のブロックについての画素データと偶数番目のブロックについての画素データのどちらか片方のみまたは両方のデータを処理する請求項１７に記載の２次元直交変換方法。
【請求項１９】
さらに、ｍ×ｎ個の１次元直交変換データを格納する第２の記憶手段を用いて、前記奇数番目のブロックについての１次元直交変換データを前記第１の記憶手段に格納し、前記奇数番目のブロックについての１次元直交変換データを前記第２の記憶手段に格納する請求項１７に記載の２次元直交変換方法。
【請求項２０】
前記複数の１次元直交変換を行う工程は、装置の動作モードに応じて、前記奇数番目のブロックについての画素データと偶数番目のブロックについての画素データのどちらか片方のみを処理する場合には、前記第２の記憶手段を停止する請求項１９に記載の２次元直交変換方法。
【請求項２１】
前記１次元直交変換の工程は、離散コサイン変換またはアダマール変換を行う請求項１０から請求項２０までのいずれかに記載の２次元直交変換方法。
【請求項２２】
前記１次元直交変換の工程は、逆離散コサイン変換または逆アダマール変換にも対応する請求項１０から請求項２１までのいずれかに記載の２次元直交変換方法。
【請求項２３】
請求項１から請求項９までのいずれかに記載の２次元直交変換装置を含んで画像処理を行う画像処理回路と、前記画像処理回路へ画像信号を出力するイメージセンサと、前記イメージセンサへ光を結像する光学系とを備えた撮像システム。
【請求項２４】
さらに、前記イメージセンサから得た画像信号をデジタル信号に変換して前記画像処理回路へ供給する変換器を備えた請求項２３に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば８×８画素などｍ×ｎ画素（ｍ，ｎは自然数、ｍ＝ｎまたはｍ≠ｎ）のブロック単位で行われる２次元直交変換を、行方向および列方向の１次元直交変換に分解して実行することにより実現する２次元直交変換装置および２次元直交変換方法に関する。また、撮像システムに関する。
【背景技術】
【０００２】
直交変換は、空間軸上の信号を周波数軸上の信号に変換する方法である。特に直交変換の１手法である離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）は、画素データの一般的な圧縮技術であるＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）で採用され、デジタルカメラやデジタルビデオカメラの普及、デジタル通信技術の発達に伴い、少ない情報量でデータ転送が行える技術として広く普及している。
【０００３】
代表的な画像圧縮装置の構成を図１４に示し、以下、この図を用いて説明する。
【０００４】
あらかじめ１ブロック８×８個に分割され、順次入力されてくる画素データに対して、離散コサイン変換のＤＣＴ部３１で周波数変換を行い、ＤＣＴ係数を生成する。自然画像ではたいてい色の変化が滑らかであり、周波数変換を行うと、図１５に示す低周波領域ｍに大きな値のＤＣＴ係数が集中し、高周波領域ｎには小さな値を持つＤＣＴ係数が分布される。
【０００５】
次いで量子化部３２においてあらかじめ設定された量子化値でＤＣＴ係数を除算し、量子化係数を生成する。この処理により画質的に影響を与えない高周波領域に“０”の係数を集中させることが可能となる。
【０００６】
さらに、可変長符号化部３３においてジグザグスキャンの順で順次“０”の個数を表すＲＵＮと係数値の大きさを表すＬＥＶＥＬとを組み合わせ、ランレングスデータを生成し、その組み合わせの出現率に合わせて長さの異なる符号語を割り当て、データの容量を小さくする。
【０００７】
一方、上記構成によって符号化された可変長符号データを復号する画像伸張装置は図１６に示すように、上記画像圧縮装置に対応する可変長復号化部３４、逆量子化部３５、逆ＤＣＴ部３６から構成される。
【０００８】
可変長復号化部３４では“０”の個数を表すＲＵＮと係数値の大きさを表すＬＥＶＥＬの組み合わせとして復号し、ＲＵＮの大きさ分だけ“０”係数を生成し、ＬＥＶＥＬで表される係数と組み合わされる。この動作が８×８画素分生成されるまで繰り返される。生成された８×８個分の係数は逆量子化部３５において、あらかじめ設定された量子化値で乗算されて逆量子化ＤＣＴ係数が得られ、さらに、逆ＤＣＴ部３６において周波数領域から空間領域へ変換されることで画素データが復号される。
【０００９】
次に、代表的な動画像符号化装置の構成を図１７に示し、以下、この図を用いて説明する。
【００１０】
動画像の圧縮方法として、ＩＳＯ（国際標準化機構）で規格化されたＭＰＥＧが一般的に知られている。そのＭＰＥＧは、画面（フレーム）をブロック毎にフレーム内相関を利用した符号化、またはフレーム間相関を利用した符号化を実施するようになっている。このフレーム内相関のみを使用して構成されるフレームをＩ（Intra）ピクチャと呼び、フレーム内相関およびフレーム間相関が混在するフレームをＰ（Predictive）ピクチャ、Ｂ（Bidirectionally predictive）ピクチャと呼ぶ。Ｉピクチャの場合は代表的な画像圧縮と同様のため、一部説明を省略する。
【００１１】
量子化部３２からの出力は逆量子化部３５にも入力され、その後、逆ＤＣＴ部３６を通り再構成画像生成部４０に送られる。この再構成画像生成部４０には、同時に動き補償部４２の結果も入力される。もし、フレーム間相関のブロックであれば、両入力データが足し合わされ、その結果が、フレームメモリ４１に書き込まれるのであるが、Ｉピクチャではフレーム内相関のみであるため、動き補償部４２の結果は入力されない。このため、逆ＤＣＴ部３６から送られてくるデータがそのままフレームメモリ４１に書き込まれる。このフレームメモリ４１へと送られる画素データを再構成画像と呼び、ＰピクチャまたはＢピクチャ時の参照画像として使用される。
【００１２】
次にＰピクチャの符号化手順について説明する。入力手段３７からブロック単位で入力され、差分器３８および動き検出部４３に送られる。動き検出部４３は入力画像を受け、入力画像と同一空間位置の近傍画素をフレームメモリ４１から読み出し、入力画像と最も相関の高い位置を求める動き探索を行う。動き検出部４３において最も相関の高い画像を探索された参照画像として動き補償部４２に送るのと同時に、その位置を示す動きベクトルを動きベクトル符号化部４４に送る。フレーム内相関符号化が選択された場合、以後の符号化処理はＩピクチャ時と同様となる。フレーム間相関符号化が選択された場合、動き補償部４２を経由して参照画像が差分器３８に送られ、入力画像と差分を取り、ＤＣＴ部３１に出力する。可変長符号化部３３においては、量子化された画素データを符号化するのと同時に、動きベクトル符号化部４４において符号化されたデータとともに出力する。なお、図１８は図１７の動画像符号化装置に対応した代表的な動画像復号化装置の構成を示すブロック図である。
【００１３】
従来、２次元離散コサイン変換装置については、Ｋ．Ｒ．Ｒａｏ／Ｐ．Ｙｉｐ共著による文献『画像符号化技術−ＤＣＴとその国際標準−』（オーム社出版局）に記載されたものが知られている。
【００１４】
画像処理で使用される２次元ＤＣＴは一般的に８×８画素単位で処理され、式（１）で表される。この式は、式（２）に示す１次元ＤＣＴを行、列方向に繰り返し行っていることがわかる。したがって、ＤＣＴを行うには、行方向に１次元ＤＣＴを行い、得られた結果を転置して行と列を交換し、列方向に同様の１次元ＤＣＴを行い、得られた結果の行と列を元に戻せばよい。さらに、逆ＤＣＴも式（３）で表され、式（４）に示すように１次元逆ＤＣＴを行、列方向に繰り返し行っていることがわかり、ＤＣＴ同様の方法で実現できる。
【００１５】
この従来の１ブロック８×８画素単位に処理されるＤＣＴについて、富士フイルムマイクロデバイス株式会社が平成５年に特許文献１において公開している離散コサイン変換器がある。その１つの例について、図１９を用いて説明する。
【００１６】
入力手段５１から順次行方向に入力される画素データに対して、１次元ＤＣＴ手段５２において１行８画素単位で１次元ＤＣＴを行い、転置データバッファ５３へ出力し格納する。以上の動作を８行分繰り返した後、転置データバッファ５３から列方向に読み出し、１次元ＤＣＴ手段５４へ出力する。１次元ＤＣＴ手段５４では１列８画素単位で１次元ＤＣＴを行い、出力手段４５へ出力する。
【００１７】
【数１】
2008017405.tif 000003
【００１８】
【数２】
2008017405.tif 000004
【００１９】
【数３】
2008017405.tif 000005
【００２０】
【数４】
2008017405.tif 000006
【特許文献１】特開平５−１５３４０３号公報（第１４−１５頁、第１−４図）
【発明の開示】
【発明が解決しようとする課題】
【００２１】
しかし、上記従来の技術の構成では、さらなる高速化がむずかしいという課題を伴っている。すなわち、動作速度を上げると消費電力が高くなり、複数個並列化すれば記憶手段（転置データバッファ）も複数個必要になり、回路規模が増加するという課題を有している。
【００２２】
本発明は、このような事情に鑑みて創作したものであり、記憶手段を削減するとともに、より高速に動作可能な２次元直交変換装置および２次元直交変換方法を提供することを目的としている。
【課題を解決するための手段】
【００２３】
（１）本発明による２次元直交変換装置は、
ｍ×ｎ画素（ｍ，ｎは自然数、ｍ＝ｎまたはｍ≠ｎ）のブロック単位で行われる２次元直交変換を、行方向および列方向の１次元直交変換に分解して実行する２次元直交変換装置であって、
１ブロックｍ×ｎ個の画素データを順次入力する入力手段と、
ｍ×ｎ個の１次元直交変換データを格納するための記憶手段と、
前記入力手段からの画素データと前記記憶手段からの１次元直交変換データを選択する選択手段と、
前記選択手段を介して前記入力手段からの画素データが入力されたときにはｍ画素複数行分同時の１回目の１次元直交変換を順次に行って得られた１次元直交変換データを前記記憶手段へ格納し、前記記憶手段からのｎ画素複数列分の１次元直交変換データが前記選択手段を介して順次に入力されたときには２回目の１次元直交変換を行って得られた２次元直交変換データを送出する複数の１次元直交変換手段と、
前記複数の１次元直交変換手段から送出されてくる前記２次元直交変換データを外部へ出力する出力手段とを備えたものである。なお、この構成については、後述する実施の形態における図１を参照することができる。
【００２４】
この構成において、入力手段からの画素データは選択手段を介して複数の１次元直交変換手段に入力され、この複数の１次元直交変換手段において１回目の１次元直交変換が複数行分同時に行われ、得られた１次元直交変換データは記憶手段に書き込まれる。さらに、書き込み方向とは直交する方向で記憶手段から複数列分の１次元直交変換データが読み出され、選択手段を介して再度複数の１次元直交変換手段に入力され、１次元直交変換データにおいて２回目の１次元直交変換つまりは２次元直交変換を完了させ、出力手段から２次元直交変換データが出力される。
【００２５】
ここでの技術的特徴は、複数の１次元直交変換手段が１回目の１次元直交変換にも２回目の１次元直交変換にも用いられていることである。１回目の１次元直交変換において、複数行分の画素データを同時に１次元直交変換した上で、同一の記憶手段のそれぞれ相当する行に格納し、２回目の１次元直交変換において、記憶手段から方向を替えて読み出した複数列分の１次元直交変換データを同時に１次元直交変換（結果としての２次元直交変換）する。したがって、必要最低限の記憶手段で、高速な２次元直交変換を実現することができる。
【００２６】
（２）上記（１）の構成を前提としてクロック制限方式の２次元直交変換装置は、さらに、前記入力手段から入力される画素データの特徴を示す情報を入力する情報入力手段と、前記複数の１次元直交変換手段への供給クロックを制御するクロック制御手段とを備え、前記選択手段は、前記情報入力手段の情報に基づいて出力先の１次元直交変換手段を切り替え、前記クロック制御手段は前記選択手段で選択された前記１次元直交変換手段にのみクロックを供給するという態様がある。なお、この構成については、後述する実施の形態における図２を参照することができる。
【００２７】
この構成によれば、１次元直交変換手段へのクロック供給を制限するので、低消費電力の２次元直交変換を実現することが可能となる。例えば画像の解像度や動画像のフレームレートなどの情報に基づいて、１次元直交変換手段の使用を制限すれば、消費電力の抑制が可能となる。
【００２８】
（３）また、上記（１）の構成を前提として複数ブロック並行処理方式の２次元直交変換装置は、さらに、前記入力手段からの画素データと前記記憶手段からの１次元直交変換データを選択する第２の選択手段と、前記第２の選択手段からのデータの１次元直交変換を行う複数の第２の１次元直交変換手段とを備え、前記第１および第２の１次元直交変換手段において、前記入力手段からの画素データと前記記憶手段からの１次元直交変換データを、交互に並行して処理するという態様がある。この構成においては、入力手段が第１の選択手段と第２の選択手段とに共通となっている。入力手段から入力されてくるブロック群のうち、奇数番目のブロックについては第１の選択手段および第１の１次元直交変換手段を用い、偶数番目のブロックについては第２の選択手段および第２の１次元直交変換手段を用いる。なお、この構成については、後述する実施の形態における図５を参照することができる。
【００２９】
このように構成すれば、偶数番目のブロックに対する第２の１次元直交変換手段による複数行分同時の１次元直交変換と、直前奇数番目のブロックに対する第１の１次元直交変換手段による複数列分同時の１次元直交変換とが同時並行的に行われ、偶数番目のブロックに対する第２の１次元直交変換手段による複数列分同時の１次元直交変換（２次元直交変換データ生成）と、直後奇数番目のブロックに対する第１の１次元直交変換手段による複数行分同時の１次元直交変換（２次元直交変換データ生成）とが同時並行的に行われ、この並行処理ゆえにさらに高速化が可能となる。なお、記憶手段を第１の１次元直交変換手段と第２の１次元直交変換手段とで共用することから、同時並行処理のためには、偶数番目のブロックでの複数行分同時の１次元直交変換による１次元直交変換データの記憶手段への書き込み方向は、９０度変換した列方向となる。そして、記憶手段からの偶数番目のブロックの１次元直交変換データの読み出し方向は行方向となる。
【００３０】
（４）また、本発明による２次元直交変換装置は、
ｍ×ｎ画素（ｍ，ｎは自然数、ｍ＝ｎまたはｍ≠ｎ）のブロック単位で行われる２次元直交変換を、行方向および列方向の１次元直交変換に分解して実行する２次元直交変換装置であって、
１ブロックｍ×ｎ個の画素データを順次入力する入力手段と、
ｍ×ｎ個の１次元直交変換データを格納するための記憶手段と、
前記入力手段からの画素データにおいてｍ画素複数行分同時の１回目の１次元直交変換を順次に行って得られた１次元直交変換データを前記記憶手段へ格納する複数の第１の１次元直交変換手段と、
前記記憶手段からのｎ画素複数列分の１次元直交変換データが順次に入力されたときに２回目の１次元直交変換を行って得られた２次元直交変換データを送出する複数の第２の１次元直交変換手段と、
前記複数の第２の１次元直交変換手段から送出されてくる前記２次元直交変換データを外部へ出力する出力手段とを備えたものである。なお、この構成については、後述する実施の形態における図６を参照することができる。
【００３１】
この構成によれば、第１の１次元直交変換手段が複数行分同時の１次元直交変換を行い、第２の１次元直交変換手段が複数列分同時の１次元直交変換を行うので、第１および第２の選択手段を削減できる。
【００３２】
（５）また、本発明による複数ブロック同時処理方式の２次元直交変換装置は、
ｍ×ｎ画素（ｍ，ｎは自然数、ｍ＝ｎまたはｍ≠ｎ）のブロック単位で行われる２次元直交変換を、行方向および列方向の１次元直交変換に分解して実行する２次元直交変換装置であって、
互いに異なる１ブロックｍ×ｎ個の画素データを個別に順次入力する第１および第２の入力手段と、
ｍ×ｎ個の１次元直交変換データを格納するための記憶手段と、
前記第１の入力手段からの画素データと前記記憶手段からの１次元直交変換データを選択する第１の選択手段と、
前記第２の入力手段からの画素データと前記記憶手段からの１次元直交変換データを選択する第２の選択手段と、
前記第１の入力手段からの画素データが前記第１の選択手段を介して入力されたときにはｍ画素複数行分同時の１回目の１次元直交変換を順次に行って得られた１次元直交変換データを前記記憶手段へ格納し、前記記憶手段からのｎ画素複数列分の１次元直交変換データが前記第１の選択手段を介して順次に入力されたときには２回目の１次元直交変換を行って得られた２次元直交変換データを送出する複数の第１の１次元直交変換手段と、
前記第２の入力手段からの画素データが前記第２の選択手段を介して入力されたときにはｍ画素複数行分同時の１回目の１次元直交変換を順次に行って得られた１次元直交変換データを前記記憶手段へ格納し、前記記憶手段からのｎ画素複数列分の１次元直交変換データが前記第２の選択手段を介して順次に入力されたときには２回目の１次元直交変換を行って得られた２次元直交変換データを送出する複数の第２の１次元直交変換手段と、
前記複数の第１の１次元直交変換手段から送出されてくる前記２次元直交変換データを外部へ出力する第１の出力手段と、
前記複数の第２の１次元直交変換手段から送出されてくる前記２次元直交変換データを外部へ出力する第２の出力手段とを備えたものである。ここでの技術的特徴は、第１の入力手段と第２の入力手段との２つの入力手段を有していることである。記憶手段は第１の１次元直交変換手段と第２の１次元直交変換手段とに共有されている。これは、上記（１）の２次元直交変換装置を２つ並設した上で、記憶手段を共有化したものに相当する。なお、この構成については、後述する実施の形態における図７を参照することができる。
【００３３】
ここでも、記憶手段を第１の１次元直交変換手段と第２の１次元直交変換手段とで共用することから、同時並行処理のためには、偶数番目のブロックでの複数行分同時の１次元直交変換による１次元直交変換データの記憶手段への書き込み方向は、９０度変換した列方向となる。そして、記憶手段からの偶数番目のブロックの１次元直交変換データの読み出し方向は行方向となる。このような構成により、必要最低限の記憶手段で、２つの異なるブロックの画素データについて同時に２次元直交変換処理を実現することができる。
【００３４】
（６）また、上記（５）の構成の２次元直交変換装置において、さらに、装置の動作モードを入力する動作モード入力手段と、前記動作モード入力手段からの動作モードに基づいて前記第１および第２の選択手段と前記第１および第２の１次元直交変換手段の動作を制御する制御手段とを備え、前記制御手段は、前記動作モードに基づいて、前記第１または第２の選択手段のいずれか一方または両方からのデータを前記第１および第２の１次元直交変換手段に入力制御するという態様がある。
なお、この構成については、後述する実施の形態における図１０を参照することができる。
【００３５】
このように構成することにより、複数の１次元直交変換手段を片方のデータのみに使用することが可能となり、さらに高速化の実現が可能となる。
【００３６】
（７）また、上記（６）の構成の２次元直交変換装置において、さらに、ｍ×ｎ個の１次元直交変換データを格納するための第２の記憶手段を備え、
前記第１の入力手段からの画素データは前記第１の記憶手段に格納され、前記第２の入力手段からの画素データは前記第２の記憶手段に格納されるという態様がある。なお、この構成については、後述する実施の形態における図１１を参照することができる。
【００３７】
この構成によれば、２つの記憶手段を備えているので、２つの異なるブロックの画素データを非同期で個別に処理することができ、高速な２次元直交変換を実現できる。
【００３８】
（８）上記の構成の２次元直交変換装置において、前記１次元直交変換手段は、離散コサイン変換手段またはアダマール変換手段であることが好ましい。
【００３９】
（９）また、上記の構成の２次元直交変換装置において、前記１次元直交変換手段は、逆離散コサイン変換または逆アダマール変換にも対応していることが好ましい。こうすれば、動画像処理が可能となる。
【００４０】
（１０）本発明による２次元直交変換方法は、
ｍ×ｎ画素（ｍ，ｎは自然数、ｍ＝ｎまたはｍ≠ｎ）のブロック単位で行われる２次元直交変換を、行方向および列方向の１次元直交変換に分解して実行する２次元直交変換方法であって、
１ブロックｍ×ｎ個の画素データを順次入力する工程と、
複数の１次元直交変換手段を用いてｍ画素複数行分の１回目の１次元直交変換を同時に行って１次元直交変換データを生成する工程と、
ｍ×ｎ個の１次元直交変換データを格納させるための記憶手段を用いて前記複数行分の１次元直交変換データを格納する工程と、
前記記憶手段からｎ画素複数列分の１次元直交変換データを読み出して前記複数の１次元直交変換手段を用いてそれぞれ２回目の１次元直交変換を同時に行って２次元直交変換データを生成する工程と、
前記２次元直交変換データを外部へ出力する工程とを含むものである。
【００４１】
この２次元直交変換方法において、複数行分の１次元直交変換と一時記憶とを繰り返して１ブロック分画素データの１回目の１次元直交変換が完了すると、今度は記憶手段から複数列分の１次元直交変換データを順次に読み出して２回目の１次元直交変換である２次元直交変換を行い、得られた２次元直交変換データを出力する。１つの記憶手段を１回目の行方向の１次元直交変換と２回目の列方向の１次元直交変換とに共用し、１回目の行方向の１次元直交変換を複数行分同時に実行し、２回目の列方向の１次元直交変換を複数列分同時に実行するので、必要最低限の記憶手段で、高速な２次元直交変換を実現することができる。
【００４２】
（１１）上記（１０）の２次元直交変換方法において、さらに、入力する前記画素データの特徴を示す情報を入力する工程と、入力した前記情報に基づいて前記１次元直交変換手段の動作を制限する工程とを含むという態様がある。
【００４３】
（１２）そして、前記１次元直交変換手段の動作を制限する工程では、非動作に制御された前記１次元直交変換手段に対するクロック供給を停止することが好ましい。
【００４４】
（１３）入力する前記画素データの特徴を示す前記情報については、入力する画像の解像度とすることが好ましい。
【００４５】
（１４）また、入力する前記画素データの特徴を示す前記情報については、入力する動画像のフレームレートとすることが好ましい。処理する画像サイズに応じて、あるいは、処理する動画像のフレームレートに応じて、選択手段の出力先を切り替え、使用する１次元直交変換手段の個数を制限し、使用しない１次元直交変換クロックを停止することにより、消費電力を削減することが可能となる。
【００４６】
（１５）また、複数ブロック並行処理方式の２次元直交変換方法は、上記の２次元直交変換方法において、さらに、前記ｍ画素複数行分の１回目の１次元直交変換の工程および前記ｎ画素複数列分の２回目の１次元直交変換の工程からなる２次元直交変換の処理工程をもう１つ含み、その２つの２次元直交変換の処理工程は、連続して入力されてくる２つのブロックの画素データに対する１次元直交変換を時間差をおいて交互に並行して実行するようにしてもよい。
【００４７】
（１６）そして、一方の前記２次元直交変換の処理工程では、その１回目の１次元直交変換で入力されてくる画素データを処理し、他方の２次元直交変換の処理工程では、前記記憶手段からの１次元直交変換データを処理するものとする。
【００４８】
この方法により、２つの異なるブロックの画素データについて、複数行分の１回目の１次元直交変換を時間差をおいて並行処理するとともに、複数列分の２回目の１次元直交変換も時間差をおいて並行処理する。奇数番目のブロックについて記憶手段から列方向の１次元直交変換データを読み出すのと同時に、偶数番目のブロックについて行方向での１次元直交変換データを記憶手段に対して列方向に格納する。また、偶数番目のブロックについて記憶手段から行方向の１次元直交変換データを読み出すのと同時に、次の奇数番目のブロックについて行方向での１次元直交変換データを記憶手段に対して行方向に格納する。このようにすることで、必要最低限の記憶手段で、異なる２つのブロックの直交変換が並行的に処理可能となる。
【００４９】
（１７）上記（１０）の２次元直交変換方法における各工程を２工程分並行して実行するもので、奇数番目のブロックについての記憶手段から読み出した１次元直交変換データに対する２回目の１次元直交変換と偶数番目のブロックについて入力した画素データに対する１回目の１次元直交変換とを同時に並行処理し、かつ、偶数番目のブロックについての記憶手段から読み出した１次元直交変換データに対する２回目の１次元直交変換と次の奇数番目のブロックについて入力した画素データに対する１回目の１次元直交変換とを同時に並行処理する２次元直交変換方法も有効である。
【００５０】
この２次元直交変換方法によれば、必要最低限の記憶手段で、２つの異なるブロックの画素データについて同時に２次元直交変換処理を実現することができる。
【００５１】
（１８）上記（１７）の２次元直交変換方法において、前記複数の１次元直交変換を行う工程は、装置の動作モードに応じて、前記奇数番目のブロックについての画素データと偶数番目のブロックについての画素データのどちらか片方のみまたは両方のデータを処理するという態様がある。このようにすることにより、複数の１次元直交変換手段を片方のデータのみに使用することが可能となり、さらに高速化の実現が可能となる。
【００５２】
（１９）上記（１７）の２次元直交変換方法において、さらに、ｍ×ｎ個の１次元直交変換データを格納する第２の記憶手段を用いて、前記奇数番目のブロックについての１次元直交変換データを前記第１の記憶手段に格納し、前記奇数番目のブロックについての１次元直交変換データを前記第２の記憶手段に格納するという態様がある。
【００５３】
（２０）上記（１９）の２次元直交変換方法において、前記複数の１次元直交変換を行う工程は、装置の動作モードに応じて、前記奇数番目のブロックについての画素データと偶数番目のブロックについての画素データのどちらか片方のみを処理する場合には、前記第２の記憶手段を停止するという態様がある。
【００５４】
（２１）上記（１０）〜（２０）の２次元直交変換方法において、前記１次元直交変換の工程は、離散コサイン変換またはアダマール変換を行うという態様がある。
【００５５】
（２２）上記（１０）〜（２１）の２次元直交変換方法において、前記１次元直交変換の工程は、逆離散コサイン変換または逆アダマール変換にも対応するという態様がある。
【００５６】
（２３）また、本発明による撮像システムは、上記（１）〜（９）のいずれかの２次元直交変換装置を含んで画像処理を行う画像処理回路と、前記画像処理回路へ画像信号を出力するイメージセンサと、前記イメージセンサへ光を結像する光学系とを備えたものである。
【００５７】
（２４）上記（２３）の撮像システムにおいて、さらに、前記イメージセンサから得た画像信号をデジタル信号に変換して前記画像処理回路へ供給する変換器を備えるという態様がある。
【発明の効果】
【００５８】
本発明によれば、記憶手段に格納された１次元直交変換データを読み出すのと並行して書き込み処理を行うので、必要最低限の容量で高速な２次元直交変換を実現することができる。
【発明を実施するための最良の形態】
【００５９】
以下、本発明にかかわる２次元直交変換装置の実施の形態を図面に基づいて詳細に説明する。以降、ＤＣＴ（離散コサイン変換）で説明するが、その他の直交変換も可能であることはいうまでもない。
【００６０】
（実施の形態１）
図１に本発明の実施の形態１における２次元ＤＣＴ装置の概略構成を示し、以下に説明する。なお、本実施の形態においては、１ブロックの画素データが８×８個の場合で、１次元ＤＣＴ手段が２つの場合について説明する。
【００６１】
図１において、１は８×８個のデータを入力する入力手段、Ｍは８×８個の１次元ＤＣＴデータを格納する記憶手段、２は入力手段１からの入力データと記憶手段Ｍからの１次元ＤＣＴデータを選択する選択手段、３は選択手段２からのデータの１次元ＤＣＴを行う１次元ＤＣＴ手段、４は１次元ＤＣＴ手段３からの２次元ＤＣＴデータを出力する出力手段である。選択手段２と出力手段４との間に１次元ＤＣＴ手段３が２つ並列に挿入されており、これら２つの１次元ＤＣＴ手段３によって、選択手段２からの２行分の１次元ＤＣＴデータを同時に１次元ＤＣＴを行うようになっている。選択手段２が入力手段１を選択するときは、１ブロック８×８個のデータのうち行方向２行分の１次元ＤＣＴデータに対して同時に１次元ＤＣＴを行い、選択手段２が記憶手段Ｍを選択するときは、１ブロック８×８個のデータのうち列方向２列分の１次元ＤＣＴデータに対して同時に１次元ＤＣＴを行うものとなっている。１次元ＤＣＴデータの流れは、入力手段１→選択手段２→１次元ＤＣＴ手段３→記憶手段Ｍ→選択手段２→１次元ＤＣＴ手段３（結果的に２次元ＤＣＴ）→出力手段４となる。
【００６２】
図２は、実施の形態１の２次元ＤＣＴ装置における処理の流れ図である。図３は実施の形態１の２次元ＤＣＴ装置における記憶手段Ｍの書き込み、読み出し動作の説明図である。図３を用いて、図２に従って処理の流れについて説明する。
【００６３】
まず、入力手段１から図１５に示す１ブロック８×８個のデータが行方向に２行入力され（ステップＳ１）、選択手段２はこのデータを１次元ＤＣＴ手段３へ出力する。１次元ＤＣＴ手段３で２行同時に１次元ＤＣＴが行われ（ステップＳ２）、記憶手段Ｍに格納される（図３（ａ））。同様の動作を１ブロック分繰り返し、１ブロック分の書き込みが終了したか（図３（ｂ））を判断し、まだのときはステップＳ１に戻り、終了したときは読み出しの処理に進む（ステップＳ３）。
【００６４】
１ブロック分１次元ＤＣＴが終了した後（ステップＳ３でｙｅｓ）、記憶手段Ｍから２列（図３（ｃ））読み出し（ステップＳ４）、１次元ＤＣＴ手段３で２列同時に１次元ＤＣＴを行い、出力手段４から出力する（ステップＳ５）。同様の動作を１ブロック分繰り返し、１ブロック分のデータ出力が終了したか（図３（ｄ））を判断し（ステップＳ６）、まだのときはステップＳ４に戻り、１ブロック分終了すれば（ステップＳ６でｙｅｓ）、１ブロック処理終了となる。この動作が全データに対して終了すれば（ステップＳ７でｙｅｓ）、ＤＣＴ処理は終了となり、まだであれば、ステップＳ１に戻る。ＳＡは行方向２行同時の１次元ＤＣＴ処理、ＳＢは列方向２列同時の１次元ＤＣＴ処理である。
【００６５】
上記のように構成された本実施の形態によれば、２つの１次元ＤＣＴ手段３において２行または２列同時に１次元ＤＣＴが可能であり、高速処理を実現できるとともに、必要最低限の記憶手段のみで実現でき、回路規模を削減できる。
【００６６】
〔クロック制御〕
また、図４に示すように、入力手段１から入力されたデータの特徴を示す情報（画像の解像度や動画像のフレームレート）を入力する情報入力手段５と、１次元ＤＣＴ手段３への供給クロックを制御するクロック制御手段６をさらに備えていてもよい。
【００６７】
選択手段２は、情報入力手段５からの情報に基づいて出力先を切り替える。クロック制御手段６は、情報入力手段５からの情報に基づいて、１対の１次元ＤＣＴ手段３のうち選択手段２で選択された方の１次元ＤＣＴ手段３にのみクロックを供給する。これにより、１次元ＤＣＴ手段３へのクロック供給を制限するので、低消費電力の２次元直交変換を実現することができる。
【００６８】
例えば画像の解像度や動画像のフレームレートなどの情報に基づいて、１次元ＤＣＴ手段３の使用を制限する場合には、消費電力の抑制が可能となり、低電力化を実現できる。
【００６９】
〔ＤＣＴ手段２倍〕
また、図５に示すように、入力手段１からの入力データと記憶手段Ｍからの１次元ＤＣＴデータを選択する第２の選択手段１２と、第２の選択手段１２からのデータの１次元ＤＣＴを行う第２の１次元ＤＣＴ手段１３をさらに備えていてもよい。第１の選択手段２および第１の１次元ＤＣＴ手段３は奇数番目のブロックの１次元ＤＣＴデータを処理対象とし、第２の選択手段１２および第２の１次元ＤＣＴ手段１３は偶数番目のブロックの１次元ＤＣＴデータを処理対象とする。奇数番目のブロックの場合、１次元ＤＣＴデータの流れは、入力手段１→第１の選択手段２→第１の１次元ＤＣＴ手段３→記憶手段Ｍ→第１の選択手段２→第１の１次元ＤＣＴ手段３（結果的に２次元ＤＣＴ）→出力手段４となる。偶数番目のブロックの場合、１次元ＤＣＴデータの流れは、入力手段１→第２の選択手段１２→第２の１次元ＤＣＴ手段１３→記憶手段Ｍ→第２の選択手段１２→第２の１次元ＤＣＴ手段１３（結果的に２次元ＤＣＴ）→出力手段４となる。
【００７０】
この場合、第１の１次元ＤＣＴ手段３において、図２に示す、行方向２行同時の１次元ＤＣＴ処理ＳＡが終了した後に、列方向２列同時の１次元ＤＣＴ処理ＳＢを行うのと同時に、第２の１次元ＤＣＴ手段１３において次ブロックの行方向２行同時の１次元ＤＣＴ処理ＳＡを行う。この場合、記憶手段Ｍにおいては、列方向２列同時の１次元ＤＣＴ処理ＳＢを行うため２列（図３（ｃ））読み出すのと同時に、第２の１次元ＤＣＴ手段１３からの次ブロックの出力２行を列方向に格納する。すなわち、記憶手段Ｍにおいて、方向を９０度変換する。これらを１ブロック終了することで、次ブロックの１次元ＤＣＴデータを行、列入れ替えて保持していることとなる。
【００７１】
以上の動作をブロック単位で行、列を入れ替えて行うことで、次ブロックの処理を並行して可能となる。第２の１次元ＤＣＴ手段１３により次ブロックの処理を並行して行うことで高速な２次元ＤＣＴを実現できるとともに、必要最低限の記憶手段のみで実現でき、回路規模の削減ができる。
【００７２】
なお、上記実施の形態では、１次元ＤＣＴ手段が２つとしたが、本発明はそれに限定するものではない。
【００７３】
なお、上記実施の形態では、第１の１次元ＤＣＴ手段３と第２の１次元ＤＣＴ手段１３において、ブロック行方向２行同時の１次元ＤＣＴ処理ＳＡとブロック列方向２列同時の１次元ＤＣＴ処理ＳＢを交互に行うようにしたが、図６に示す構成も有用である。
【００７４】
図６においては、図５との対比において、第１の選択手段２および第２の選択手段１２が省略されている。１次元ＤＣＴデータの流れは、入力手段１→第１の１次元ＤＣＴ手段３→記憶手段Ｍ→第２の１次元ＤＣＴ手段１３（結果的に２次元ＤＣＴ）→出力手段４となる。第１の１次元ＤＣＴ手段３は行方向２行同時の１次元ＤＣＴ処理の専用であり、第２の１次元ＤＣＴ手段１３は列方向２列同時の１次元ＤＣＴ処理の専用である。第１の１次元ＤＣＴ手段３においてブロック行方向２行同時の１次元ＤＣＴ処理ＳＡを行い、第２の１次元ＤＣＴ手段１３においてブロック列方向２列同時の１次元ＤＣＴ処理ＳＢを行う。第２の１次元ＤＣＴ手段１３において現在のブロックに対する列方向の処理中に、第１の１次元ＤＣＴ手段３において次のブロックに対する行方向の処理を実行可能であり、複数ブロックの同時処理が可能となっている。
【００７５】
行方向２行同時の１次元ＤＣＴ処理ＳＡを第１の１次元ＤＣＴ手段３に専属させ、列方向２列同時の１次元ＤＣＴ処理ＳＢを第２の１次元ＤＣＴ手段１３に専属させることにより、選択手段２および選択手段１２を削減でき、図５の構成に比べて回路規模の削減ができる。
【００７６】
（実施の形態２）
以下、本発明の実施の形態２の２次元ＤＣＴ装置について図面を参照しながら説明する。図７に本発明の実施の形態２における２次元ＤＣＴ装置の概略構成を示し、以下に説明する。なお、説明の便宜上、実施の形態１と同様の構成については、同一の符号を付してその説明を一部省略する。
【００７７】
この２次元ＤＣＴ装置は、図１に示す実施の形態１の２次元ＤＣＴ装置に対して、異なる１ブロック８×８個のデータを入力する第２の入力手段１１と、第２の入力手段１１からの入力データと記憶手段Ｍからのデータを選択する第２の選択手段１２と、第２の選択手段１２からのデータの１次元ＤＣＴを行う第２の１次元ＤＣＴ手段１３と、第２の１次元ＤＣＴ手段１３からの２次元ＤＣＴデータを出力する第２の出力手段１４とをさらに備えた構成とされている。２つのブロックのうち、１番目のブロックの場合、１次元ＤＣＴデータの流れは、第１の入力手段１→第１の選択手段２→第１の１次元ＤＣＴ手段３→記憶手段Ｍ→第１の選択手段２→第１の１次元ＤＣＴ手段３（結果的に２次元ＤＣＴ）→第１の出力手段４となる。２番目のブロックの場合、１次元ＤＣＴデータの流れは、第２の入力手段１１→第２の選択手段１２→第２の１次元ＤＣＴ手段１３→記憶手段Ｍ→第２の選択手段１２→第２の１次元ＤＣＴ手段１３（結果的に２次元ＤＣＴ）→第２の出力手段１４となる。つまり、２つのブロックを同時並行的に処理するようになっている。
【００７８】
以上のように構成された実施の形態２の２次元ＤＣＴ装置について、以下、図面を参照しながら動作を説明する。図８は、本発明の実施の形態２の２次元ＤＣＴ装置における処理の流れ図である。ステップＳ１からＳ７までは実施の形態１と同様の動作となる。図８に示す、行方向２行同時の１次元ＤＣＴ処理ＳＡが終了した時点で、第２の入力手段１１から、異なるブロックの画素データが入力され（ステップＳ８）、第２の選択手段１２はこのデータを第２の１次元ＤＣＴ手段１３へ出力する。第１の１次元ＤＣＴ手段３で第１の選択手段２からのデータを２次元ＤＣＴ処理する（ステップＳ５）のと同時に、第２の１次元ＤＣＴ手段１３で第２の選択手段１２からのデータに対して１次元ＤＣＴを行い、記憶手段Ｍに読み出した列に格納する（ステップＳ９および図９（ｃ））。
【００７９】
以上の動作を並行して１ブロック分繰り返し、１ブロック分の読み出しおよび書き込みが終了したかを判断する（ステップＳ６およびステップＳ１０および図９（ｄ））。１ブロック分の処理が終了する（ステップＳ６、Ｓ１０でｙｅｓ）と、第１の入力手段１からの入力（ステップＳ１）と、異なるブロックの画素データの読み出し（ステップＳ１１）が並行して行われる。
【００８０】
以降、列方向２列同時の１次元ＤＣＴ処理ＳＢと行方向２行同時の１次元ＤＣＴ処理ＳＣとが同時並行的に行われ、さらに行方向２行同時の１次元ＤＣＴ処理ＳＡと列方向２列同時の１次元ＤＣＴ処理ＳＤとが同時並行的に行われる。
【００８１】
上記のように構成された本実施の形態によれば、２つの入力手段１，１１から異なるブロックの画素データを記憶手段Ｍにおいて、読み出した行または列に異なるブロックの画素データを書き込むことで、２つの画素データを同時に処理することが可能となる構成とした。その結果、複数の画像を同時に扱うことが可能となる（マルチコーデック対応）。
【００８２】
〔制御手段〕
また、図１０に示すように、動作モードを入力する動作モード入力手段７と、動作モード入力手段７からの動作モードに基づいて選択手段２，１２と１次元ＤＣＴ手段３，１３の動作を制御する制御手段８をさらに備えていてもよい。この場合、データの入力が第１の入力手段１からのみの場合は、制御手段８は、動作モード入力手段７からの動作モードにより、第１の１次元ＤＣＴ手段３と、第２の１次元ＤＣＴ手段１３にて第１の選択手段２からのデータを４行同時に処理し、第１の出力手段４から出力する。また、データ入力が第２の入力手段１１からのみの場合は、制御手段８は、動作モード入力手段７からの動作モードにより、第１の１次元ＤＣＴ手段３と、第２の１次元ＤＣＴ手段１３にて第２の選択手段１２からのデータを４行同時に処理し、第２の出力手段１４から出力する。
【００８３】
このように動作モード入力手段７と制御手段８を備えた構成にすることにより、さらに高速な２次元直交変換を実現することが可能となる。
【００８４】
〔記憶手段追加〕
また、図１１に示すように、第１の記憶手段Ｍ１と第２の記憶手段Ｍ２の２つを備えていてもよい。この場合、動作モード入力手段７からの動作モードに基づいて制御手段８は、第１の１次元ＤＣＴ手段３と第２の１次元ＤＣＴ手段１３とを切り替える。その結果、第１の１次元ＤＣＴ手段３は第１の記憶手段Ｍ１を用いて２次元ＤＣＴ処理を行い、第２の１次元ＤＣＴ手段１３は第２の記憶手段Ｍ２を用いて２次元ＤＣＴ処理を行う。このように２つの記憶手段Ｍ１，Ｍ２を備えた構成にすることにより、２つの異なるブロックの画素データを個別に処理可能で、高速な２次元直交変換を実現することができる。
【００８５】
〔逆ＤＣＴ対応〕
また、図１２に示すように、１次元ＤＣＴ手段３ａ，１３ａにおいて、逆ＤＣＴにも対応する構成にしてもよい。この場合、第１の入力手段１からのデータは２次元ＤＣＴを行い、第２の入力手段１１からのデータは２次元逆ＤＣＴを行う。このように構成すれば、動画像処理が可能となる。
【００８６】
（実施の形態３）
図１３は、本発明の実施の形態３における撮像システム２０（例えばデジタルスチルカメラ（ＤＳＣ））の構成を示す図である。図１３において、２１は光学系、２２はイメージセンサ、２３はアナログ・デジタル変換器（ＡＤＣ）、２４は画像処理装置、２５は信号処理装置（２次元ＤＣＴ装置）、２６は記録転送回路、２７はシステム制御回路、２８はタイミング制御回路、２９は再生回路である。信号処理装置２５は、上記実施の形態１，２の２次元ＤＣＴ装置のうちいずれかである。この撮像システム２０の全体は、システム制御回路２７によって制御されている。
【００８７】
この撮像システム２０においては、光学系２１を通って入射した被写体像はイメージセンサ２２上に結像される。イメージセンサ２２はタイミング制御回路２８によって駆動されることにより、結像された被写体像の光学データを蓄積し、電気信号へと光電変換する。イメージセンサ２２から読み出された電気信号は、アナログ・デジタル変換器２３によってデジタル信号へと変換された後、信号処理装置２５を含む画像処理回路２４に入力される。この画像処理回路２４においては、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、および本発明を用いた画像圧縮伸張処理などの画像処理が行われる。画像処理された信号は、記録転送回路２６においてメディアへの記録あるいは転送が行われる。記録あるいは転送された信号は、再生回路２９により再生される。
【００８８】
なお、本発明の実施の形態の信号処理装置２５における画像処理は、必ずしも光学系２１を介してイメージセンサ２２に結像された被写体像に基づく信号のみに適用されるものではなく、例えば外部装置から電気信号として入力される画像信号を処理する際にも適用可能であることはいうまでもない。
【産業上の利用可能性】
【００８９】
以上説明してきたように、本発明の２次元直交変換装置および２次元直交変換方法は、複数の１次元直交変換データを同時に同一の記憶手段に格納することにより、必要最小限の記憶容量での実現が可能である。
【００９０】
また、直交変換／逆直交変換が同時に実現できるため、高速な動画像処理の圧縮、伸張システム等への応用が可能であり、動画像符号化復号化技術を搭載したカメラ付き携帯電話やＤＳＣなどにも有用である。
【図面の簡単な説明】
【００９１】
【図１】本発明の実施の形態１における２次元ＤＣＴ装置の構成を示すブロック図
【図２】本発明の実施の形態１における２次元ＤＣＴ装置の動作を示すフローチャート
【図３】本発明の実施の形態１における２次元ＤＣＴ装置の記憶手段の動作遷移を示す説明図
【図４】本発明の実施の形態１における２次元ＤＣＴ装置の構成を示すブロック図（クロック制御手段付き）
【図５】本発明の実施の形態１における２次元ＤＣＴ装置の構成を示すブロック図（第２の１次元ＤＣＴ手段付き）
【図６】本発明の実施の形態１における２次元ＤＣＴ装置の構成を示すブロック図（選択手段なし）
【図７】本発明の実施の形態２における２次元ＤＣＴ装置の構成を示すブロック図
【図８】本発明の実施の形態２における２次元ＤＣＴ装置の動作を示すフローチャート
【図９】本発明の実施の形態２における２次元ＤＣＴ装置の記憶手段の動作遷移を示す説明図
【図１０】本発明の実施の形態２における２次元ＤＣＴ装置の構成を示すブロック図（制御手段付き）
【図１１】本発明の実施の形態２における２次元ＤＣＴ装置の構成を示すブロック図（第２の記憶手段付き）
【図１２】本発明の実施の形態２における２次元ＤＣＴ装置の構成を示すブロック図（逆ＤＣＴ対応）
【図１３】本発明の実施の形態３における撮像システムの構成を示すブロック図
【図１４】代表的な画像符号化装置の構成を示すブロック図
【図１５】ＤＣＴ係数の一例の説明図
【図１６】代表的な画像復号化装置の構成を示すブロック図
【図１７】代表的な動画像符号化装置の構成を示すブロック図
【図１８】代表的な動画像復号化装置の構成を示すブロック図
【図１９】従来の技術における２次元ＤＣＴ装置の構成を示すブロック図
【符号の説明】
【００９２】
１  入力手段（第１の入力手段）
２  選択手段（第１の選択手段）
３  １次元ＤＣＴ手段（第１の１次元ＤＣＴ手段）
３ａ  第１の１次元ＤＣＴ手段（逆ＤＣＴ対応）
４  出力手段（第１の出力手段）
５  情報入力手段
６  クロック制御手段
７  動作モード入力手段
８  制御手段
１１  第２の入力手段
１２  第２の選択手段
１３  第２の１次元ＤＣＴ手段
１３ａ  第２の１次元ＤＣＴ手段（逆ＤＣＴ対応）
１４  第２の出力手段
２０  撮像システム
２１  光学系
２２  イメージセンサ
２３  アナログ・デジタル変換器（ＡＤＣ）
２４  画像処理装置
２５  信号処理装置（２次元ＤＣＴ装置）
２６  記録転送回路
２７  システム制御回路
２８  タイミング制御回路
２９  再生回路
Ｍ  記憶手段
Ｍ１  第１の記憶手段
Ｍ２  第２の記憶手段
【図１】
2008017405.tif 000007
【図２】
2008017405.tif 000008
【図３】
2008017405.tif 000009
【図４】
2008017405.tif 000010
【図５】
2008017405.tif 000011
【図６】
2008017405.tif 000012
【図７】
2008017405.tif 000013
【図８】
2008017405.tif 000014
【図９】
2008017405.tif 000015
【図１０】
2008017405.tif 000016
【図１１】
2008017405.tif 000017
【図１２】
2008017405.tif 000018
【図１３】
2008017405.tif 000019
【図１４】
2008017405.tif 000020
【図１５】
2008017405.tif 000021
【図１６】
2008017405.tif 000022
【図１７】
2008017405.tif 000023
【図１８】
2008017405.tif 000024
【図１９】
2008017405.tif 000025