(57)【要約】【課題】複数の異なる変換比をもって画像データ数の変換を行うことができる画像データ処理装置とその方法ならびにカメラ・システムを提供する。【解決手段】ＪＰＥＧ復号化処理を行う画像データ復号化部１０から８×８画素ごとにクロマ信号の画像データＳ１が出力される。第１の画像データ生成部２１では、８×８画素中の１×２画素ごとに画像データの合成が行われ、８×８画素が８×４画素に変換される。第２の画像データ生成部２２では、８×４画素中の１×３画素ごとに、隣接する８×４画素の境界領域の画像データＳ７を用いながら画像データの合成が行われ、８×４画素が８×２画素に変換される。これにより、ＹＣｒＣｂ比（４：４：４）から（４：１：１）への変換が実行される。ＹＣｒＣｂ比（４：４：４）から（４：２：２）への変換は、第１の画像データ生成部２１におけるデータ数変換処理を無効化することにより実行される。【選択図】　　　図１
2004135007.tif 000002
【特許請求の範囲】
【請求項１】
画像データ数の変換を行う画像データ処理装置であって、
元画像の各画素に対応する画像データを第１の画素ブロックごとに入力し、当該入力した画像データを、上記第１の画素ブロックより小さい第１の小画素ブロックごとに合成して、それぞれの上記第１の小画素ブロックに対応した１つまたは複数の画像データを生成する第１の画像データ生成手段と、
上記第１の画像データ生成手段において生成される画像データのうち、当該画像データで構成される画像上において上記第１の画素ブロックに対応する第２の画素ブロックの所定の境界領域に含まれた画素の画像データを記憶する境界データ記憶手段と、
上記第１の画像データ生成手段において生成される画像データを、上記第２の画素ブロックより小さい第２の小画素ブロックごとに合成して、それぞれの上記第２の小画素ブロックに対応した１つまたは複数の画像データを生成し、上記第２の小画素ブロックの一部の画素が、上記第１の画像データ生成手段において生成中の第２の画素ブロックに隣接する別の第２の画素ブロックの上記境界領域に含まれる場合は、上記境界データ記憶手段に記憶された当該一部の画素の画像データと、上記第１の画像データ生成手段において生成された当該第２の小画素ブロックの残りの画素の画像データとを合成して、当該第２の小画素ブロックに対応した１つまたは複数の画像データを生成する第２の画像データ生成手段と
を有する画像データ処理装置。
【請求項２】
上記第１の画像データ生成手段は、画像データ数の変換比が第１の変換比に設定された場合、上記第１の小画素ブロックに対応する画像データの生成を実行し、当該変換比が第２の変換比に設定された場合は、第３の画素ブロックごとに入力した画像データを上記第２の画素ブロックの画像データとして出力する、
請求項１に記載の画像データ処理装置。
【請求項３】
上記第１の画像データ生成手段は、
上記第１の画素ブロックに含まれる画像データを順次入力し、入力した一連の画像データを、上記第１の小画素ブロックの画素数に応じた所定の数まで保持する第１のデータ保持手段と、
上記第１のデータ保持手段に保持された画像データとこれに続いて入力された画像データとに、入力順序に応じた所定の重み付けを与えて合成する第１のデータ合成手段とを含み、
上記第１のデータ合成手段において合成された画像データが、上記第１の小画素ブロックに対応して合成された画像データであるか否かを示す第１のイネーブル信号を生成する制御回路を含む、
請求項２に記載の画像データ処理装置。
【請求項４】
上記第２の画像データ生成手段は、
上記第１のイネーブル信号に基づいて、上記第１の小画素ブロックに対応して合成された画像データを上記第１のデータ合成手段から順次入力し、入力した一連の画像データを、上記第２の小画像ブロックの画素数に応じた所定の数まで保持する第２のデータ保持手段と、
上記第２のデータ保持手段に保持された画像データとこれに続いて入力された画像データとに、入力順序に応じた所定の重み付けを与えて合成し、当該合成元の一連の画像データにおける一部の画像データの画素と上記境界データ記憶手段に記憶された画像データの画素とが上記第２の小画素ブロックを構成する場合には、当該一部の画像データと当該記憶された画像データとに所定の重み付けを与えて合成する第２のデータ合成手段とを含み、
上記制御回路は、上記第１のデータ合成手段において合成された画像データが、上記第２の小画素ブロックに対応して合成された画像データであるか否かを示す第２のイネーブル信号を生成する、
請求項３に記載の画像データ処理装置。
【請求項５】
所定の方式で符号化された上記元画像の画像データに対する所定の復号化処理を行い、復号化された画像データを所定の画素ブロックごとに出力する画像データ復号化手段を含み、
上記第１の画像データ生成手段は、上記画像データ復号化手段から出力される当該所定の画素ブロックの画像データから、上記第１の画素ブロックの画像データを入力する、
請求項２に記載の画像データ処理装置。
【請求項６】
画像データ数の変換を行う画像データ処理装置であって、
初段においては元画像の各画素に対応する画像データを第１の画素ブロックごとに入力し、初段に続く各段においては前段で生成された画像データを上記第１の画素ブロックに対応した画素ブロックごとに入力し、当該入力した画像データを、各段において定められた小画素ブロックごとに合成して、それぞれの当該小画素ブロックに対応した１つまたは複数の画像データを生成する、縦続接続された複数の画像データ生成手段と、
上記複数の画像データ生成手段のうちの一部または全部に対応した境界データ記憶手段であって、対応する画像データ生成手段に入力される画像データのうち、当該画像データで構成される画像上において上記第１の画素ブロックに対応する画素ブロックの所定の境界領域に含まれた画素の画像データを記憶する、１つまたは複数の境界データ記憶手段とを有し、
上記境界データ記憶手段と対応づけられた画像データ生成手段は、上記小画素ブロックの一部の画素が、入力中の画素ブロックに隣接する別の画素ブロックの上記境界領域に含まれる場合に、対応する境界データ記憶手段に記憶された当該一部の画素の画像データと、入力された当該小画素ブロックの残りの画素の画像データとを合成して、当該小画素ブロックに対応した１つまたは複数の画像データを生成する、
画像データ処理装置。
【請求項７】
上記複数の画像データ生成手段は、設定された画像データ数の変換比に応じて、上記小画素ブロックに対応する画像データの生成処理を実行する否かそれぞれ決定する、
請求項６に記載の画像データ処理装置。
【請求項８】
画像データ数の変換を行う画像データ処理装置であって、
元画像の各画素に対応する画像データを、設定された画像データ数の変換比に応じた所定の画素ブロックごとに入力して記憶する画素ブロック記憶手段と、
上記画素ブロック記憶手段に記憶された画像データを読み出し、当該読み出した画像データをそれぞれ所定の小画素ブロックごとに合成して、当該小画素ブロックごとに１つまたは複数の画像データを生成する複数の画像データ生成手段と、
上記画像データ生成手段によって上記画素ブロック記憶手段から次に読み出される画素ブロックに隣接する別の画素ブロックか、または上記画素ブロック記憶手段から読み出し中の画素ブロックに隣接する別の画素ブロックの、上記変換比に応じた所定の境界領域に含まれる画像データを入力して記憶する境界データ記憶手段と、
上記複数の画像データ生成手段のうち、上記変換比に応じて選択した画像データ生成手段の画像データを出力する選択手段とを有し、
上記画像データ生成手段は、上記小画素ブロックの一部の画素が、上記画素ブロック記憶手段から読み出し中の画素ブロックに隣接する別の画素ブロックの上記境界領域に含まれる場合は、上記境界データ記憶手段に記憶された当該一部の画素の画像データと、上記画素ブロック記憶手段から読み出した当該小画素ブロックの残りの画素の画像データとを合成して、当該小画素ブロックに対応した１つまたは複数の画像データを生成する、
画像データ処理装置。
【請求項９】
上記複数の画像データ生成手段は、
上記画素ブロック記憶手段に記憶された画像データを順次読み出し、１画素の画像データを読み出す度に、当該読み出した画像データのサンプリングを１回または複数回行い、サンプリングした一連の画像データを所定数まで保持するデータ保持手段と、
上記データ保持手段に保持された一連の画像データを合成し、当該合成元の一連の画像データにおける一部の画像データの画素と上記境界データ記憶手段に記憶された画像データの画素とが上記小画素ブロックを構成する場合には、当該一部の画像データと当該記憶された画像データとを合成するデータ合成手段とをそれぞれ含む、
請求項８に記載の画像データ処理装置。
【請求項１０】
上記データ合成手段は、
上記データ保持手段に保持された一連の画像データを出力し、当該出力する複数の画像データのうちの一部の画像データの画素と上記境界データ記憶手段に記憶された画像データの画素とが上記小画素ブロックを構成する場合には、当該出力する複数の画像データのうち当該一部の画像データを除く残りの画像データを上記境界データ記憶手段に記憶された当該画像データに置き換えて出力するデータ出力手段と、
上記データ出力手段から出力される複数の画像データの値を加算する加算手段とを含む、
請求項９に記載の画像データ処理装置。
【請求項１１】
上記元画像の画像データを記憶するフレーム画像記憶手段を含み、
上記画素ブロック記憶手段は、上記画素ブロックごとに上記フレーム画像記憶手段から画像データを読み出して記憶し、
上記境界データ記憶手段は、上記画素ブロック記憶手段において上記フレーム画像記憶手段からの画像データの読み出しが行われる場合に、上記画像データ生成手段によって上記画素ブロック記憶手段から次に読み出される画素ブロックに隣接する別の画素ブロックか、または上記画素ブロック記憶手段から読み出し中の画素ブロックに隣接する別の画素ブロックの、上記所定の境界領域に含まれる画像データを、上記フレーム画像記憶手段から読み出して記憶する、
請求項８に記載の画像データ処理装置。
【請求項１２】
上記選択手段から上記画素ブロックに対応して出力される画像データのブロックを含んだ所定数の画像データのブロックを単位として、画像データの符号化処理を行う画像データ符号化手段を含む
請求項８に記載の画像データ処理装置。
【請求項１３】
画像データ数の変換を行う画像データ処理装置であって、
元画像の各画素に対応する画像データを、第１の画素ブロックごとに入力して記憶する画素ブロック記憶手段と、
上記画素ブロック記憶手段に記憶された画像データを第１の画素ブロックごとに読み出し、当該読み出した画像データを、上記第１の画素ブロックより小さい第１の小画素ブロックごとに合成して、それぞれの上記第１の小画素ブロックに対応した１つまたは複数の画像データを生成する第１の画像データ生成手段と、上記第１の画像データ生成手段によって上記画素ブロック記憶手段から次に読み出される画素ブロックに隣接する別の画素ブロックか、または上記画素ブロック記憶手段から読み出し中の画素ブロックに隣接する別の画素ブロックの、所定の境界領域に含まれる画像データを入力して記憶する境界データ記憶手段と、
上記第１の画像データ生成手段において生成される画像データを、当該画像データで構成される画像上において上記第１の画素ブロックに対応する第２の画素ブロックより小さい第２の小画素ブロックごとに合成して、それぞれの上記第２の小画素ブロックに対応した１つまたは複数の画像データを生成する第２の画像データ生成手段とを有し、
上記第１の画像データ生成手段は、上記第１の小画素ブロックの一部の画素が、上記画素ブロック記憶手段から読み出し中の第１の画素ブロックに隣接する別の第１の画素ブロックの上記境界領域に含まれる場合は、上記境界データ記憶手段に記憶された当該一部の画素の画像データと、上記画素ブロック記憶手段から読み出した当該第１の小画素ブロックの残りの画素の画像データとを合成して、当該第１の小画素ブロックに対応した１つまたは複数の画像データを生成し、
上記第２の画像データ生成手段は、上記第２の小画素ブロックの一部の画素が、上記第１の画像データ生成手段において生成中の第２の画素ブロックに隣接する別の第２の画素ブロックに含まれる場合は、上記境界領域において当該一部の画素と等価な画素の画像データを上記境界データ記憶手段から読み出し、当該読み出した画像データと、上記第１の画像データ生成手段において生成された当該第２の小画素ブロックの残りの画素の画像データとを合成して、当該第２の小画素ブロックに対応した１つまたは複数の画像データを生成する、
画像データ処理装置。
【請求項１４】
上記画素ブロック記憶手段は、画像データ数の変換比が第１の変換比に設定された場合、上記第１の画素ブロックごとに画像データを入力して記憶し、当該変換比が第２の変換比に設定された場合は、第３の画素ブロックごとに画像データを入力して記憶し、
上記第１の画像データ生成手段は、当該変換比が上記第１の変換比に設定された場合、上記第１の小画素ブロックに対応する画像データの生成を実行し、当該変換比が第２の変換比に設定された場合は、上記第３の画素ブロックの画像データを上記画素ブロック記憶手段から読み出して上記第２の画素ブロックの画像データとして出力し、
上記境界データ記憶手段は、設定される画像データ数の変換比に応じた所定の境界領域に含まれる画像データを入力して記憶する、
請求項１３に記載の画像データ処理装置。
【請求項１５】
上記第１の画像データ生成手段は、
上記画素ブロック記憶手段に記憶された画像データを順次読み出し、１画素の画像データを読み出す度に、当該読み出した画像データのサンプリングを１回または複数回行い、サンプリングした一連の画像データを所定数まで保持する第１のデータ保持手段と、
上記第１のデータ保持手段に保持された一連の画像データを合成し、当該合成元の一連の画像データにおける一部の画像データの画素と上記境界データ記憶手段に記憶された画像データの画素とが上記第１の小画素ブロックを構成する場合には、当該一部の画像データと当該記憶された画像データとを合成する第１のデータ合成手段と、
画像データ数の変換比が上記第１の変換比に設定された場合、上記第１のデータ合成手段において合成された画像データを選択して出力し、上記変換比が上記第２の変換比に設定された場合は、上記第１のデータ保持手段においてサンプリングされた画像データを選択して出力する第１の選択手段とを含み、
上記第２の画像データ生成手段は、
上記第１のデータ保持手段による画像データの読み出しおよびサンプリングが行われる度に、上記第１の選択手段から出力される画像データのサンプリングを１回または複数回行い、サンプリングした一連の画像データを所定数まで保持する第２のデータ保持手段と、
上記第２のデータ保持手段に保持された一連の画像データとこれに続いてサンプリングされる上記第１の選択手段の出力画像データとを合成し、当該合成元の一連の画像データにおける一部の画像データの画素と、上記境界領域に含まれる画素に対して等価な上記第２の画素ブロック上の画素とが上記第２の小画素ブロックを構成する場合には、当該等価な画素に対応する画像データを上記境界データ記憶手段から読み出し、当該読み出した画像データと当該一部の画像データとを合成する第２のデータ合成手段とを含む、
請求項１４に記載の画像データ処理装置。
【請求項１６】
上記元画像の画像データを記憶するフレーム画像記憶手段を含み、
上記画素ブロック記憶手段は、設定された画像データ数の変換比に応じた画素ブロックごとに上記フレーム画像記憶手段から画像データを読み出して記憶し、
上記境界データ記憶手段は、上記画素ブロック記憶手段において上記フレーム画像記憶手段からの画像データの読み出しが行われる場合に、上記第１の画像データ生成手段によって上記画素ブロック記憶手段から次に読み出される画素ブロックか、または上記画素ブロック記憶手段から読み出し中の画素ブロックに隣接する別の画素ブロックの、上記変換比に応じた所定の境界領域に含まれる画像データを、上記フレーム画像記憶手段から読み出して記憶する、
請求項１４に記載の画像データ処理装置。
【請求項１７】
第２の画像データ生成手段において上記第２の画素ブロックに対応して生成された複数の画像データのブロックを含む所定数の画像データのブロックを単位として、画像データの符号化処理を行う画像データ符号化手段を含む
請求項１４に記載の画像データ処理装置。
【請求項１８】
画像データ数の変換を行う画像データ処理方法であって、
第１の画素ブロックに含まれる各画素の画像データを上記第１の画素ブロックより小さい第１の小画素ブロックごとに合成し、それぞれの上記第１の小画素ブロックに対応した１つまたは複数の画像データを生成する処理を、元画像に含まれる複数の上記第１の画素ブロックに対して順次実行する第１の画像データ生成ステップと、
上記第１の画像データ生成ステップにおいて生成される画像データのうち、当該画像データで構成される画像上において上記第１の画素ブロックに対応する第２の画素ブロックの所定の境界領域に含まれた画素の画像データを、境界データ記憶装置に記憶させる境界データ記憶ステップと、
上記第１の画像データ生成ステップにおいて生成される画像データを、上記第２の画素ブロックより小さい第２の小画素ブロックごとに合成して、それぞれの上記第２の小画素ブロックに対応した１つまたは複数の画像データを生成し、上記第２の小画素ブロックの一部の画素が、上記第１の画像データ生成ステップにおいて生成中の第２の画素ブロックに隣接する別の第２の画素ブロックの上記境界領域に含まれる場合は、上記境界データ記憶装置に記憶された当該一部の画素の画像データと、上記第１の画像データ生成ステップにおいて生成された当該第２の小画素ブロックの残りの画素の画像データとを合成して、当該第２の小画素ブロックに対応した１つまたは複数の画像データを生成する第２の画像データ生成ステップと
を有する画像データ処理方法。
【請求項１９】
画像データ数の変換比が第１の変換比に設定された場合、上記第１の画像データ生成ステップにおいて、上記第１の小画素ブロックに対応する画像データの生成を実行し、当該変換比が第２の変換比に設定された場合は、上記第１の画像データ生成ステップにおいて、上記元画像に含まれる第３の画素ブロックの画像データと同一のデータを、上記第２の画素ブロックの画像データとして順次生成する、
請求項１８に記載の画像データ処理方法。
【請求項２０】
画像データ数の変換を行う画像データ処理方法であって、
元画像の画像データを記憶するフレーム画像記憶装置から、設定された画像データ数の変換比に応じた所定の画素ブロックごとに各画素の画像データを読み出して、画素ブロック記憶装置に記憶させる画素ブロック記憶ステップと、
上記画素ブロック記憶装置に記憶された画像データを読み出し、当該読み出した画像データを、上記変換比に応じた所定の小画素ブロックごとに合成して、当該小画素ブロックごとに１つまたは複数の画像データを生成する画像データ生成ステップと、
上記画素ブロック記憶ステップにおいて上記フレーム画像記憶装置からの画像データの読み出しが行われる場合に、上記画像データ生成ステップにおいて上記画素ブロック記憶装置から次に読み出される画素ブロックに隣接する別の画素ブロックか、または上記画素ブロック記憶装置から読み出し中の画素ブロックに隣接する別の画素ブロックの、上記所定の境界領域に含まれる画像データを、上記フレーム画像記憶装置から読み出して境界データ記憶装置に記憶させる境界データ記憶ステップとを有し、
上記画像データ生成ステップにおいて、上記小画素ブロックの一部の画素が、上記画素ブロック記憶装置から読み出し中の画素ブロックに隣接する別の画素ブロックの上記境界領域に含まれる場合は、上記境界データ記憶装置に記憶された当該一部の画素の画像データと、上記画素ブロック記憶装置から読み出した当該小画素ブロックの残りの画素の画像データとを合成して、当該小画素ブロックに対応した１つまたは複数の画像データを生成する、
画像データ処理方法。
【請求項２１】
画像データ数の変換を行う画像データ処理方法であって、
元画像の画像データを記憶するフレーム画像記憶装置から、第１の画素ブロックごとに各画素の画像データを読み出して、画素ブロック記憶装置に記憶させる画素ブロック記憶ステップと、
上記画素ブロック記憶装置に記憶された画像データを第１の画素ブロックごとに読み出し、当該読み出した画像データを、上記第１の画素ブロックより小さい第１の小画素ブロックごとに合成して、それぞれの上記第１の小画素ブロックに対応した１つまたは複数の画像データを生成する第１の画像データ生成ステップと、
上記画素ブロック記憶ステップにおいて上記フレーム画像記憶装置からの画像データの読み出しが行われる場合に、上記第１の画像データ生成ステップにおいて上記画素ブロック記憶装置から次に読み出される画素ブロックに隣接する別の画素ブロックか、または上記画素ブロック記憶装置から読み出し中の画素ブロックに隣接する別の画素ブロックの、所定の境界領域に含まれる画像データを、上記フレーム画像記憶装置から読み出して境界データ記憶装置に記憶させる境界データ記憶ステップと、
上記第１の画像データ生成ステップにおいて生成される画像データを、当該画像データで構成される画像上において上記第１の画素ブロックに対応する第２の画素ブロックより小さい第２の小画素ブロックごとに合成して、それぞれの上記第２の小画素ブロックに対応した１つまたは複数の画像データを生成する第２の画像データ生成ステップとを有し、
上記第１の画像データ生成ステップにおいて、上記第１の小画素ブロックの一部の画素が、上記画素ブロック記憶装置から読み出し中の第１の画素ブロックに隣接する別の第１の画素ブロックの上記境界領域に含まれる場合は、上記境界データ記憶装置に記憶された当該一部の画素の画像データと、上記画素ブロック記憶装置から読み出された当該第１の小画素ブロックの残りの画素の画像データとを合成して、当該第１の小画素ブロックに対応した１つまたは複数の画像データを生成し、
上記第２の画像データ生成ステップにおいて、上記第２の小画素ブロックの一部の画素が、上記第１の画像データ生成ステップにおいて生成中の第２の画素ブロックに隣接する別の第２の画素ブロックに含まれる場合は、上記境界領域において当該一部の画素と等価な画素の画像データを上記境界データ記憶装置から読み出し、当該読み出した画像データと、上記第１の画像データ生成ステップにおいて生成された当該第２の小画素ブロックの残りの画素の画像データとを合成して、当該第２の小画素ブロックに対応した１つまたは複数の画像データを生成する、
画像データ処理方法。
【請求項２２】
画像データ数の変換比が第１の変換比に設定された場合、
上記画素ブロック記憶ステップにおいて、上記フレーム画像記憶装置から上記第１の画素ブロックごとに画像データを読み出して上記画素ブロック記憶装置に記憶させ、
上記第１の画像データ生成ステップにおいて、上記第１の小画素ブロックに対応する画像データの生成を実行し、
当該変換比が第２の変換比に設定された場合は、
上記画素ブロック記憶ステップにおいて、上記フレーム画像記憶装置から第３の画素ブロックごとに画像データを読み出して上記画素ブロック記憶装置に記憶させ、
上記第１の画像データ生成ステップにおいて、上記画素ブロック記憶装置から読み出した上記第３の画素ブロックの画像データと同一のデータを、上記第２の画素ブロックの画像データとして生成し、
上記境界データ記憶ステップでは、設定される画像データ数の変換比に応じた所定の境界領域に含まれる画像データを上記境界データ記憶装置に記憶させる、
請求項２１に記載の画像データ処理方法。
【請求項２３】
画像を撮影し、当該撮影画像の各画素に対応する画像データを生成する撮影手段と、
上記撮影手段において生成された上記撮影画像の画像データを記憶するフレーム画像記憶手段と、
上記フレーム画像記憶手段に記憶された上記撮影画像の画像データを、設定された画像データ数の変換比に応じた所定の画素ブロックごとに読み出して画像データ数の変換を行い、上記画素ブロックに対応する画像データのブロックを順次出力する画像データ処理手段と、
上記画像データ処理装置から出力される画像データのブロックを含んだ所定数の画像データのブロックを単位として、画像データの符号化処理を行う画像データ符号化手段とを有し、
上記画像データ処理手段は、
上記フレーム画像記憶手段に記憶された上記撮影画像の画像データを、上記変換比に応じた所定の画素ブロックごとに読み出して記憶する画素ブロック記憶手段と、
上記画素ブロック記憶手段に記憶された画像データを読み出し、当該読み出した画像データをそれぞれ所定の小画素ブロックごとに合成して、当該小画素ブロックごとに１つまたは複数の画像データを生成する複数の画像データ生成手段と、
上記画素ブロック記憶手段において上記フレーム画像記憶手段からの画像データの読み出しが行われる場合に、上記画像データ生成手段によって上記画素ブロック記憶手段から次に読み出される画素ブロックに隣接する別の画素ブロックか、または上記画素ブロック記憶手段から読み出し中の画素ブロックに隣接する別の画素ブロックの、上記所定の境界領域に含まれる画像データを、上記フレーム画像記憶手段から読み出して記憶する境界データ記憶手段と、
上記複数の画像データ生成手段のうち、上記変換比に応じて選択した画像データ生成手段の画像データを出力する選択手段とを有し、
上記画像データ生成手段は、上記小画素ブロックの一部の画素が、上記画素ブロック記憶手段から読み出し中の画素ブロックに隣接する別の画素ブロックの上記境界領域に含まれる場合は、上記境界データ記憶手段に記憶された当該一部の画素の画像データと、上記画素ブロック記憶手段から読み出した当該小画素ブロックの残りの画素の画像データとを合成して、当該小画素ブロックに対応した１つまたは複数の画像データを生成する、
カメラ・システム。
【請求項２４】
画像を撮影し、当該撮影画像の各画素に対応する画像データを生成する撮影手段と、
上記撮影手段において生成された上記撮影画像の画像データを記憶するフレーム画像記憶手段と、
上記フレーム画像記憶手段に記憶された上記撮影画像の画像データを、設定された画像データ数の変換比に応じた所定の画素ブロックごとに読み出して画像データ数の変換を行い、上記画素ブロックに対応する画像データのブロックを順次出力する画像データ処理手段と、
上記画像データ処理装置から出力される画像データのブロックを含んだ所定数の画像データのブロックを単位として、画像データの符号化処理を行う画像データ符号化手段とを有し、
上記画像データ処理手段は、
上記フレーム画像記憶手段に記憶された上記撮影画像の画像データを、第１の画素ブロックごとに読み出して記憶する画素ブロック記憶手段と、
上記画素ブロック記憶手段に記憶された画像データを第１の画素ブロックごとに読み出し、当該読み出した画像データを、上記第１の画素ブロックより小さい第１の小画素ブロックごとに合成して、それぞれの上記第１の小画素ブロックに対応した１つまたは複数の画像データを生成する第１の画像データ生成手段と、上記画素ブロック記憶手段において上記フレーム画像記憶手段からの画像データの読み出しが行われる場合に、上記第１の画像データ生成手段によって上記画素ブロック記憶手段から次に読み出される画素ブロックか、または上記画素ブロック記憶手段から読み出し中の画素ブロックに隣接する別の画素ブロックの、上記所定の境界領域に含まれる画像データを、上記フレーム画像記憶手段から読み出して記憶する境界データ記憶手段と、
上記第１の画像データ生成手段において生成される画像データを、当該画像データで構成される画像上において上記第１の画素ブロックに対応する第２の画素ブロックより小さい第２の小画素ブロックごとに合成して、それぞれの上記第２の小画素ブロックに対応した１つまたは複数の画像データを生成する第２の画像データ生成手段とを有し、
上記第１の画像データ生成手段は、上記第１の小画素ブロックの一部の画素が、上記画素ブロック記憶手段から読み出し中の第１の画素ブロックに隣接する別の第１の画素ブロックの上記境界領域に含まれる場合は、上記境界データ記憶手段に記憶された当該一部の画素の画像データと、上記画素ブロック記憶手段から読み出した当該第１の小画素ブロックの残りの画素の画像データとを合成して、当該第１の小画素ブロックに対応した１つまたは複数の画像データを生成し、
上記第２の画像データ生成手段は、上記第２の小画素ブロックの一部の画素が、上記第１の画像データ生成手段において生成中の第２の画素ブロックに隣接する別の第２の画素ブロックに含まれる場合は、上記境界領域において当該一部の画素と等価な画素の画像データを上記境界データ記憶手段から読み出し、当該読み出した画像データと、上記第１の画像データ生成手段において生成された当該第２の小画素ブロックの残りの画素の画像データとを合成して、当該第２の小画素ブロックに対応した１つまたは複数の画像データを生成する、
カメラ・システム。
【請求項２５】
上記画素ブロック記憶手段は、画像データ数の変換比が第１の変換比に設定された場合は上記第１の画素ブロックごとに、当該変換比が第２の変換比に設定された場合は第３の画素ブロックごとに、上記フレーム画像記憶手段から画像データを読み出して記憶し、
上記第１の画像データ生成手段は、当該変換比が上記第１の変換比に設定された場合、上記第１の小画素ブロックに対応する画像データの生成を実行し、当該変換比が第２の変換比に設定された場合は、上記第３の画素ブロックの画像データを上記画素ブロック記憶手段から読み出して上記第２の画素ブロックの画像データとして出力する、
請求項２４に記載のカメラ・システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データ数の変換を行う画像データ処理装置およびその方法、ならびに当該画像データ処理装置を有するカメラ・システムに係り、例えば、８×８画素の画素ブロックの集合が処理単位として入出力されるＪＰＥＧ符号器・復号器のインターフェイス部において、輝度信号と色差信号との画像データ数の比を変換する処理を行う画像データ処理装置およびその方法、ならびに当該画像データ処理装置を有するカメラ・システムに関するものである。
【０００２】
【従来の技術】
デジタルビデオ等で扱われる画像データのフォーマットは、輝度信号Ｙと色差信号（クロマ信号）Ｃｒ，Ｃｂとを用いた形式（ＹＣｒＣｂ形式）が一般的である。ＹＣｒＣｂ形式では、輝度信号成分に対するクロマ信号成分の数を減らして、画像データ量の削減を図ることができる。自然画には、クロマ信号の帯域が輝度信号より狭くなる性質があるので、ＹＣｒＣｂ形式においてクロマ信号成分が多少間引かれても、元画像の解像度はある程度保たれる。
【０００３】
輝度信号Ｙとクロマ信号Ｃｒおよびクロマ信号Ｃｂのサンプリング周波数の比率（以降、ＹＣｒＣｂ比と呼ぶ）は、Ｙ：Ｃｒ：Ｃｂ＝（４：４：４）、（４：２：２）、（４：１：１）の３種類が多く使用される。間引きが行われない場合は、Ｙ：Ｃｒ：Ｃｂ＝（４：４：４）となり、その情報量はＲＧＢ形式と等しくなる。
【０００４】
静止画と動画を両方扱うデジタルビデオ等のデジタル画像処理装置では、静止画を扱う部分においてＹＣｒＣｂ比（４：２：２）、動画を扱う部分においてＹＣｒＣｂ比（４：１：１）が一般に用いられる。一方、デジタル画像処理装置内部のフレームメモリには、記憶容量を削減させるためにＹＣｒＣｂ比（４：１：１）で画像データを書き込むことが望ましい。このように、フレームメモリとこれにアクセスする他のユニットとにおいて、処理される画像データのＹＣｒＣｂ比が異なる場合があるので、そのインターフェイス部にはＹＣｒＣｂ比の変換処理を行う機能を設けることが多い。
【０００５】
図１９は、一般的なデジタルビデオ用画像処理装置のインターフェイス部の構成の一例を示すブロック図である。
図１９に示す画像処理装置は、ＹＣｒＣｂ比変換部１および２と、フレームメモリ３と、フレームメモリ・コントローラ４と、画像処理部５とを有する。
【０００６】
ＹＣｒＣｂ比変換部１は、所定のＹＣｒＣｂ比を有するＹＣｒＣｂ形式の画像データＳｉｎを入力し、入力した画像データＳｉｎのＹＣｒＣｂ比を（４：１：１）に変換する。たとえば、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）方式で復号化された静止画像データのＹＣｒＣｂ比を、（４：２：２）から（４：１：１）に変換する。
【０００７】
ＹＣｒＣｂ比変換部２は、フレームメモリ・コントローラ４から入力したＹＣｒＣｂ比（４：１：１）の画像データを、出力先の仕様に応じた所定の比率に変換して出力する。たとえば、ＹＣｒＣｂ比（４：１：１）の静止画像データをＹＣｒＣｂ比（４：２：２）の静止画像データに変換して、ＪＰＥＧ方式の符号化器に出力する。
【０００８】
フレームメモリ３は、画像処理部５において処理されるＹＣｒＣｂ比（４：１：１）の画像データを、フレーム単位で記憶する。画像データの書き込みおよび読み出しは、フレームメモリ・コントローラ４からの制御に応じて行われる。
フレームメモリ・コントローラ４は、ＹＣｒＣｂ比変換部１やＹＣｒＣｂ比変換部２、画像処理部３からの要求に応じて、フレームメモリ３に対する画像データの書き込み処理または読み出し処理を制御する。
画像処理部５は、ＹＣｒＣｂ比（４：１：１）の画像データに対して、例えば画像データのフィルタ処理や、アスペクト比の変換処理など、所定の画像処理を行う。
【０００９】
図１９に示す画像処理装置によれば、所定のＹＣｒＣｂ比を有する画像データがＹＣｒＣｂ比変換部１においてＹＣｒＣｂ比（４：１：１）の画像データに変換され、変換された画像データに対し画像処理部５において所定の画像処理が行われる。この処理過程において、ＹＣｒＣｂ比変換された画像データはフレームメモリ３へ一旦書き込まれ、画像処理部５の処理に応じてフレームメモリ３から随時読み出される。画像処理部５による処理が終了した後、ＹＣｒＣｂ比（４：１：１）の画像データはＹＣｒＣｂ比変換部２において出力先の仕様に応じたＹＣｒＣｂ比に変換される。
【００１０】
ところで、ＪＰＥＧ方式の画像データ符号化・復号化方式では、縦８画素×横８画素の６４画素の画素ブロックの集合体であるＭＣＵ（Ｍｉｎｉｍｕｍ　Ｃｏｄｅｄ　Ｕｎｉｔ）を単位として、画像データの処理が行われる。
【００１１】
図２０、図２１および図２２は、それぞれＹＣｒＣｂ比（４：４：４）形式、ＹＣｒＣｂ比（４：２：２）形式およびＹＣｒＣｂ比（４：１：１）形式における１つのＭＣＵを示している。
ＹＣｒＣｂ比（４：４：４）形式のＭＣＵでは、図２０に示すように、１つの輝度信号Ｙに対して１つのクロマ信号（Ｃｒ、Ｃｂ）が対応している。
ＹＣｒＣｂ比（４：２：２）形式のＭＣＵでは、図２１に示すように、水平ライン上に並ぶ２つの輝度信号Ｙに対して１つのクロマ信号（Ｃｒ、Ｃｂ）が対応している。
ＹＣｒＣｂ比（４：１：１）形式のＭＣＵでは、図２２に示すように、水平ライン上に並ぶ４つの輝度信号Ｙに対して１つのクロマ信号（Ｃｒ、Ｃｂ）が対応している。
【００１２】
ＪＰＥＧ方式の符号化部や復号化部では、図２０〜図２２に示すような画素ブロック単位でデータが入出力される。したがって、図１９に示す画像処理装置においてＪＰＥＧ方式の符号化部や復号化部との間で画像データをやり取りするためには、こうした画素ブロック単位で入出力されるクロマ信号に対する補間処理を適切に行う必要がある。
【００１３】
図２３は、ＪＰＥＧ復号化部から出力されるＹＣｒＣｂ比（４：２：２）の画像データをＹＣｒＣｂ比（４：１：１）の画像データへ変換するクロマ信号補間処理の概要を図解した図である。
ＪＰＥＧ復号化部で復号化されたＹＣｒＣｂ比（４：２：２）のクロマ信号の画像データは、図２３（Ａ）に示すように、画素ブロックＢ１，Ｂ２，…の順にＪＰＥＧ復号化部から出力される。各画素ブロックの画像データは、画像データｃ０００，ｃ００１，…，ｃ００７，ｃ００８，…ｃ０６３，ｃ０６４，…の順にＪＰＥＧ復号化部から出力される。
【００１４】
ＹＣｒＣｂ比（４：１：１）形式の１画素分の画像データは、ＪＰＥＧ復号化部から出力されるこのような画像データ・ストリーム中の偶数番号の画像データ（ｃ０００，ｃ００２，ｃ００４，…）と、その前後の画像データとからなる３画素分の画像データを合成することにより生成される。すなわち、偶数番号の画像データに重み係数１／２を乗じたデータと、この前後の画像データにそれぞれ重み係数１／４を乗じたデータとを加算することによって、ＹＣｒＣｂ比（４：１：１）形式の１画素分の画像データが生成される。偶数番号の画像データに対応して１つの画像データが生成されるので、クロマ信号の画像データ数は半分に減縮される。
【００１５】
図２３（Ｂ）に示す画素ブロックＢ３およびＢ４は、図２３（Ａ）に示す画素ブロックＢ１およびＢ２に対応してＹＣｒＣｂ比変換された画素ブロックである。図２３に示すように、８×８画素の画素ブロックＢ１およびＢ２は、８×４画素の画素ブロックＢ３およびＢ４に変換される。また、画素ブロックＢ３およびＢ４の画像データｃ’０，ｃ’１，…，ｃ’３１，ｃ’３２，…は、画素ブロックＢ１およびＢ２の偶数番号の画像データｃ０００，ｃ００２，…，ｃ０６２，ｃ０６４，…にそれぞれ対応して生成される。
【００１６】
画素ブロックＢ１およびＢ２の最上段に位置する水平ラインの画素に着目すると、元画像において画像データｃ００７の画素の右隣には画像データｃ０６４，ｃ０６５，…の画素が続いており、画像データｃ’３２は隣接した３画素の画像データｃ００７，ｃ０６４およびｃ０６５を合成することにより生成される。ところが、この３画素の画素ブロック（小画素ブロック）は異なるＭＣＵにまたがっているので、ＪＰＥＧ復号化部から出力される画像データ・ストリーム上においてこの小画素ブロックの画像データは連続していない。すなわち、ＪＰＥＧ復号化器からは画像データｃ００７，ｃ００８，ｃ００９，…の順に画像データが出力されるので、画像データｃ００７と画像データｃ０６４およびｃ０６５とは画像データ・ストリーム上において連続していない。したがって、ＪＰＥＧ復号化器から出力される画像データ・ストリーム上の連続する画像データを単に合成する方法では、ＹＣｒＣｂ比（４：２：２）からＹＣｒＣｂ比（４：１：１）への変換を行うことはできない。
【００１７】
このため、ＹＣｒＣｂ比（４：２：２）からＹＣｒＣｂ比（４：１：１）への変換を行う方法として、ＪＰＥＧ復号化器から出力される１フレーム分の画像データをフレームメモリに一旦記憶させ、これをラインメモリに読み出して処理する方法が一般に用いられる。
【００１８】
図２４は、ＹＣｒＣｂ比（４：２：２）からＹＣｒＣｂ比（４：１：１）への変換を行う、一般的なＪＰＥＧインターフェイス回路の構成の一例を示すブロック図である。
図２４に示すＪＰＥＧインターフェイス回路は、ＹＣｒＣｂ比変換回路１、フレームメモリ３、ＭＣＵメモリ６およびラインメモリ７を有しており、図１９と図２４の同一符号は同一の構成要素を示している。
【００１９】
ＭＣＵメモリ６は、ＪＰＥＧ方式の符号化処理または復号化処理を行う回路ブロック（以降、ＪＰＥＧ回路と呼ぶ）からＭＣＵごとに分割されて順次入力されるＹＣｒＣｂ比（４：２：２）の画像データを、ＭＣＵごとに記憶する記憶装置である。通常、書き込み用と読み出し用のメモリを別に設けた２バンクの構成を有しており、書き込み用のメモリと読み出し用のメモリを交互に切り換えることによって、ＪＰＥＧ回路からの画像データの書き込みと、フレームメモリ３に対する画像データの読み出しを同時に行っている。
ラインメモリ７は、フレームメモリ３に記憶された１フレーム分の画像データから、水平ラインの１ライン分の画像データを読み出して記憶する。
【００２０】
ＪＰＥＧ回路において復号化されて、ＭＣＵごとに入力されるＹＣｒＣｂ比（４：２：２）の画像データは、１ＭＣＵずつＭＣＵメモリ６に格納される。そして、８×８画素ブロックにブロック化された画像データがラインデータに並び替えられて、フレームメモリ３に書き込まれる。この処理が１フレームの画像データの全ＭＣＵに対して反復されることにより、フレームメモリ３上に１フレームの画像データが記憶される。
【００２１】
次いで、フレームメモリ３から１ライン分の画像データが順次読み出されて、ラインメモリ７に格納される。ラインメモリ７に格納された画像データは、ＹＣｒＣｂ比変換部１におけるクロマ補間によってＹＣｒＣｂ比（４：２：２）からＹＣｒＣｂ比（４：１：１）に変換され、再びラインメモリ７に格納される。１ライン分の変換が終了した後、変換された画像データは再度フレームメモリに書き戻される。この処理が全ラインについて反復されることによりＹＣｒＣｂ比（４：１：１）に変換された１フレーム分の画像データがフレームメモリ３に記憶される。
【００２２】
このような処理形態では、１ラインに並んだデータに対しクロマ補間が実行されることから、より広範囲のデータを合成させる補間処理が可能になり、画質の向上が期待できる。しかし、一度フレームメモリ３に格納された画像データを一旦ラインメモリ７に読み込ませ、再度フレームメモリに書き戻す処理が行われることから、メモリに対する書き込み処理が多くなり、処理速度が低下してしまう不利益がある。またクロマ補間のためのラインメモリ７をわざわざ設けなくてはならず、回路規模を増大させてしまう不利益もある。
【００２３】
次に、フレームメモリからＹＣｒＣｂ比（４：１：１）の画像データを読み出してＹＣｒＣｂ比（４：２：２）の画像データに変換しＪＰＥＧ符号化部へ出力する際のクロマ信号補間処理について、図２５を参照して説明する。
フレームメモリにはＹＣｒＣｂ比（４：１：１）形式の１フレーム分の画像データが保持されており、図２５（Ａ）に示すように、８×４画素の画素ブロックＢ５，Ｂ６，…の順にフレームメモリから画像データが読み出される。各画素ブロックの画像データは、画像データｃ０，ｃ１，…，ｃ３１，ｃ３２，…の順にフレームメモリから読み出される。
【００２４】
ＹＣｒＣｂ比（４：２：２）形式の２画素分の画像データは、ＹＣｒＣｂ比（４：１：１）の各画像データ（ｃ０，ｃ１，ｃ２，…）と、各画像データの画素を中心とした場合の右側に隣接する画素の画像データとからなる２画素分の画像データを、２種類の重み係数を用いて合成することにより生成される。すなわち、中心とする画素の画像データに重み係数１を乗じたデータと、この右隣の画素の画像データに重み係数０を乗じたデータとを加算することによって、ＹＣｒＣｂ比（４：２：２）形式の１画素分の画像データが生成される。また、中心とする画素の画像データに重み係数１／２を乗じたデータと、この右隣の画素の画像データに同じ重み係数１／２を乗じたデータとを加算することによって、ＹＣｒＣｂ比（４：２：２）形式のさらに１画素分の画像データが生成される。各画像データに対応して２つの画像データが生成されるので、クロマ信号の画像データ数は２倍に拡張される。
【００２５】
図２５（Ｂ）に示す画素ブロックＢ７およびＢ８は、図２５（Ａ）に示す画素ブロックＢ５およびＢ６に対応してＹＣｒＣｂ比変換された画素ブロックである。図２５に示すように、８×４画素の画素ブロックＢ５およびＢ６は、８×８画素の画素ブロックＢ７およびＢ８に変換される。
【００２６】
画素ブロックＢ５およびＢ６の最上段に位置する水平ラインの画素に着目すると、元画像において画像データｃ３の画素の右隣には画像データｃ３２，ｃ３３，…の画素が続いており、画像データｃ’００７は隣接した２画素の画像データｃ３およびｃ３２を合成することにより生成される。ところが、この２つの画素は、フレームメモリから読み出される際の８×４画素ブロックが異なっているので、フレームメモリから読み出される画像データ・ストリーム上においてこの２つの画素の画像データは連続していない。すなわち、フレームメモリからは画像データｃ３，ｃ４，ｃ５，…の順に画像データが読み出されるので、画像データｃ３と画像データｃ３２とは画像データ・ストリーム上において連続していない。したがって、フレームメモリから読み出した画像データ・ストリーム上の連続する画像データを単に合成する方法では、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換を行うことはできない。
【００２７】
このため、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換を行う方法として、補間に必要となる画像データを随時フレームメモリから読み出す方法が一般に用いられる。
【００２８】
図２６は、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換を行う、一般的なＪＰＥＧインターフェイス回路の構成の一例を示している。
図２６に示すＪＰＥＧインターフェイス回路は、ＹＣｒＣｂ比変換回路２、フレームメモリ３およびＭＣＵメモリ６を有しており、図１９および図２４と図２６の同一符号は同一の構成要素を示している。
【００２９】
図２６の例においては、既にフレームメモリ３に１フレーム分の画像データが記憶されている。このフレームメモリ３に記憶された画像データから１ＭＣＵ分の画像データが順次読み出されて一旦ＭＣＵメモリ６に格納される。ＭＣＵメモリ６に格納された１ＭＣＵの画像データから、さらに８×４画素ブロックごとの画像データがＹＣｒＣｂ比変換部２に読み出されて、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換が実行される。これによりＹＣｒＣｂ比変換部２からは８×８画素ブロックごとの画像データが順次出力される。この変換の際に、ＭＣＵメモリ６から読み出す８×４画素ブロックの画像データに含まれていない画像データが合成に使用される場合には、フレームメモリ３からこの画像データが直接読み出されて合成に使用される。
【００３０】
大量のデータを格納する必要があるフレームメモリ３には、一般的にＤＲＡＭやＳＲＡＭといった記憶デバイスが大量に使用されることが多いが、このようなメモリ装置から必要なデータを読み出すための回路は複雑であり、処理速度を低下させてしまう不利益がある。またフレームメモリ３にアクセスするための回路がＹＣｒＣｂ比変換部２のために追加されることから、回路規模を増大させてしまう不利益もある。
【００３１】
図２４や図２６に示したＪＰＥＧインターフェイス回路における上述した不利益の改善を図った発明として、たとえば特許文献１に記載された発明が存在する。
この発明によれば、クロマ信号の補間に用いる画像データを予め記憶させる手段を設けることにより、画像データ・ストリームに対して直接ＹＣｒＣｂ比変換を行うことが可能になる。
【００３２】
【特許文献１】
特開２００２−２３７９５３号公報
【００３３】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載された発明には、複数の異なる変換比においてＹＣｒＣｂ比変換を実現する手法については記載されていない。たとえば、ＹＣｒＣｂ比（４：２：２）形式からＹＣｒＣｂ比（４：１：１）形式への変換に加えて、ＹＣｒＣｂ比（４：４：４）形式からＹＣｒＣｂ比（４：１：１）形式への変換をも可能にする手法については記載されていない。また、たとえばＹＣｒＣｂ比（４：１：１）形式からＹＣｒＣｂ比（４：２：２）形式への変換に加えて、ＹＣｒＣｂ比（４：１：１）形式からＹＣｒＣｂ比（４：４：４）形式への変換をも可能にする手法についても記載されていない。
【００３４】
本発明はかかる事情に鑑みてなされたものであり、その第１の目的は、複数の異なる変換比をもって画像データ数の変換を行うことができる画像データ処理装置を提供することにある。
第２の目的は、複数の異なる変換比をもって画像データ数の変換を行うことができる画像データ処理方法を提供することにある。
第３の目的は、撮影画像の画像データに対して、複数の異なる変換比をもって画像データ数の変換を行うことができるカメラ・システムを提供することにある。
【００３５】
【課題を解決するための手段】
上記の目的を達成するため、本発明の第１の観点の画像データ処理装置は、画像データ数の変換を行う画像データ処理装置であって、元画像の各画素に対応する画像データを第１の画素ブロックごとに入力し、当該入力した画像データを、上記第１の画素ブロックより小さい第１の小画素ブロックごとに合成して、それぞれの上記第１の小画素ブロックに対応した１つまたは複数の画像データを生成する第１の画像データ生成手段と、上記第１の画像データ生成手段において生成される画像データのうち、当該画像データで構成される画像上において上記第１の画素ブロックに対応する第２の画素ブロックの所定の境界領域に含まれた画素の画像データを記憶する境界データ記憶手段と、上記第１の画像データ生成手段において生成される画像データを、上記第２の画素ブロックより小さい第２の小画素ブロックごとに合成して、それぞれの上記第２の小画素ブロックに対応した１つまたは複数の画像データを生成し、上記第２の小画素ブロックの一部の画素が、上記第１の画像データ生成手段において生成中の第２の画素ブロックに隣接する別の第２の画素ブロックの上記境界領域に含まれる場合は、上記境界データ記憶手段に記憶された当該一部の画素の画像データと、上記第１の画像データ生成手段において生成された当該第２の小画素ブロックの残りの画素の画像データとを合成して、当該第２の小画素ブロックに対応した１つまたは複数の画像データを生成する第２の画像データ生成手段とを有する。
好適には、上記第１の画像データ生成手段は、画像データ数の変換比が第１の変換比に設定された場合、上記第１の小画素ブロックに対応する画像データの生成を実行し、当該変換比が第２の変換比に設定された場合は、第３の画素ブロックごとに入力した画像データを上記第２の画素ブロックの画像データとして出力する。
【００３６】
本発明の第１の観点の画像データ処理装置によれば、第１の画像データ生成手段において、元画像の各画素に対応する画像データが第１の画素ブロックごとに入力され、当該入力された画像データが第１の小画素ブロックごとに合成される。これにより、それぞれの第１の小画素ブロックに対応した１つまたは複数の画像データが生成される。境界データ記憶手段には、第１の画像データ生成手段において生成される画像データのうち、当該画像データで構成される画像上において第１の画素ブロックに対応する第２の画素ブロックの所定の境界領域に含まれた画素の画像データが記憶される。第１の画像データ生成手段において生成される画像データは、第２の画像データ生成手段において第２の小画素ブロックごとに合成され、それぞれの第２の小画素ブロックに対応した１つまたは複数の画像データが生成される。第２の小画素ブロックの一部の画素が、第１の画像データ生成手段において生成中の第２の画素ブロックに隣接する別の第２の画素ブロックの境界領域に含まれる場合は、第２の画像データ生成手段において、境界データ記憶手段に記憶された当該一部の画素の画像データと、第１の画像データ生成手段において生成された当該第２の小画素ブロックの残りの画素の画像データとが合成され、当該第２の小画素ブロックに対応した１つまたは複数の画像データが生成される。
画像データ数の変換比が第１の変換比に設定されることに応じて、第１の小画素ブロックに対応する画像データの生成が第１の画像データ生成手段において実行されると、第１の画像データ生成手段では、画像データ数の変換処理が実行される。これに対し、画像データ数の変換比が第２の変換比に設定されることに応じて、第３の画素ブロックごとに入力した画像データが上記第２の画素ブロックの画像データとして第１の画像データ生成手段から出力されると、第１の画像データ生成手段では、画像データ数の変換処理が実行されない。すなわち、設定される画像データ数の変換比に応じて、第１の画像データ生成手段における画像データ数の変換処理が有効化または無効化されることにより、画像データ数の変換比が変更される。
【００３７】
上記第１の画像データ生成手段は、上記第１の画素ブロックに含まれる画像データを順次入力し、入力した一連の画像データを、上記第１の小画素ブロックの画素数に応じた所定の数まで保持する第１のデータ保持手段と、上記第１のデータ保持手段に保持された画像データとこれに続いて入力された画像データとに、入力順序に応じた所定の重み付けを与えて合成する第１のデータ合成手段とを含んでも良い。上記第１のデータ合成手段において合成された画像データが、上記第１の小画素ブロックに対応して合成された画像データであるか否かを示す第１のイネーブル信号を生成する制御回路を含んでも良い。
【００３８】
上記第２の画像データ生成手段は、上記第１のイネーブル信号に基づいて、上記第１の小画素ブロックに対応して合成された画像データを上記第１のデータ合成手段から順次入力し、入力した一連の画像データを、上記第２の小画像ブロックの画素数に応じた所定の数まで保持する第２のデータ保持手段と、上記第２のデータ保持手段に保持された画像データとこれに続いて入力された画像データとに、入力順序に応じた所定の重み付けを与えて合成し、当該合成元の一連の画像データにおける一部の画像データの画素と上記境界データ記憶手段に記憶された画像データの画素とが上記第２の小画素ブロックを構成する場合には、当該一部の画像データと当該記憶された画像データとに所定の重み付けを与えて合成する第２のデータ合成手段とを含んでも良い。上記制御回路は、上記第１のデータ合成手段において合成された画像データが、上記第２の小画素ブロックに対応して合成された画像データであるか否かを示す第２のイネーブル信号を生成しても良い。
【００３９】
本発明の第２の観点の画像データ処理装置は、画像データ数の変換を行う画像データ処理装置であって、初段においては元画像の各画素に対応する画像データを第１の画素ブロックごとに入力し、初段に続く各段においては前段で生成された画像データを上記第１の画素ブロックに対応した画素ブロックごとに入力し、当該入力した画像データを、各段において定められた小画素ブロックごとに合成して、それぞれの当該小画素ブロックに対応した１つまたは複数の画像データを生成する、縦続接続された複数の画像データ生成手段と、上記複数の画像データ生成手段のうちの一部または全部に対応した境界データ記憶手段であって、対応する画像データ生成手段に入力される画像データのうち、当該画像データで構成される画像上において上記第１の画素ブロックに対応する画素ブロックの所定の境界領域に含まれた画素の画像データを記憶する、１つまたは複数の境界データ記憶手段とを有する。上記境界データ記憶手段と対応づけられた画像データ生成手段は、上記小画素ブロックの一部の画素が、入力中の画素ブロックに隣接する別の画素ブロックの上記境界領域に含まれる場合に、対応する境界データ記憶手段に記憶された当該一部の画素の画像データと、入力された当該小画素ブロックの残りの画素の画像データとを合成して、当該小画素ブロックに対応した１つまたは複数の画像データを生成する。
好適には、上記複数の画像データ生成手段は、設定された画像データ数の変換比に応じて、上記小画素ブロックに対応する画像データの生成処理を実行する否かそれぞれ決定する。
【００４０】
本発明の第２の観点の画像データ処理装置によれば、縦続接続された複数の画像データ生成手段の初段には、元画像の各画素に対応する画像データが第１の画素ブロックごとに入力される。初段に続く各段の画像データ生成手段においては、前段で生成された画像データが上記第１の画素ブロックに対応した画素ブロックごとに入力され、当該入力された画像データが、各段において定められた小画素ブロックごとに合成され、それぞれの当該小画素ブロックに対応した１つまたは複数の画像データが生成される。また、境界データ記憶手段は、複数の画像データ生成手段のうちの一部または全部にそれぞれ対応して設けられており、この境界データ記憶手段では、対応する画像データ生成手段に入力される画像データのうち、当該画像データで構成される画像上において第１の画素ブロックに対応する画素ブロックの所定の境界領域に含まれた画素の画像データが記憶される。境界データ記憶手段と対応づけられた画像データ生成手段において、小画素ブロックの一部の画素が、入力中の画素ブロックに隣接する別の画素ブロックの境界領域に含まれる場合は、対応する境界データ記憶手段に記憶された当該一部の画素の画像データと、入力された当該小画素ブロックの残りの画素の画像データとが合成され、当該小画素ブロックに対応した１つまたは複数の画像データが生成される。
また、設定された画像データ数の変換比に応じて、小画素ブロックに対応する画像データの生成処理を実行する否かが複数の画像データ生成手段においてそれぞれ決定されることにより、縦続接続された複数の画像データ生成手段の初段から終段までにおける画像データ数の変換比が変更される。
【００４１】
本発明の第３の観点の画像データ処理装置は、画像データ数の変換を行う画像データ処理装置であって、元画像の各画素に対応する画像データを、設定された画像データ数の変換比に応じた所定の画素ブロックごとに入力して記憶する画素ブロック記憶手段と、上記画素ブロック記憶手段に記憶された画像データを読み出し、当該読み出した画像データをそれぞれ所定の小画素ブロックごとに合成して、当該小画素ブロックごとに１つまたは複数の画像データを生成する複数の画像データ生成手段と、上記画像データ生成手段によって上記画素ブロック記憶手段から次に読み出される画素ブロックに隣接する別の画素ブロックか、または上記画素ブロック記憶手段から読み出し中の画素ブロックに隣接する別の画素ブロックの、上記変換比に応じた所定の境界領域に含まれる画像データを入力して記憶する境界データ記憶手段と、上記複数の画像データ生成手段のうち、上記変換比に応じて選択した画像データ生成手段の画像データを出力する選択手段とを有する。上記画像データ生成手段は、上記小画素ブロックの一部の画素が、上記画素ブロック記憶手段から読み出し中の画素ブロックに隣接する別の画素ブロックの上記境界領域に含まれる場合は、上記境界データ記憶手段に記憶された当該一部の画素の画像データと、上記画素ブロック記憶手段から読み出した当該小画素ブロックの残りの画素の画像データとを合成して、当該小画素ブロックに対応した１つまたは複数の画像データを生成する。
【００４２】
本発明の第３の観点の画像データ処理装置によれば、元画像の各画素に対応する画像データが、設定された画像データ数の変換比に応じた所定の画素ブロックごとに画素ブロック記憶手段に入力され、これに記憶される。画素ブロック記憶手段に記憶された画像データは、画像データ生成手段によって読み出され、当該読み出された画像データがそれぞれ所定の小画素ブロックごとに合成される。これにより、当該小画素ブロックごとに１つまたは複数の画像データが生成される。こうした画像データ生成手段が、画素ブロック記憶手段に対して複数設けられる。境界データ記憶手段では、画像データ生成手段によって画素ブロック記憶手段から次に読み出される画素ブロックに隣接する別の画素ブロックか、または画素ブロック記憶手段から読み出し中の画素ブロックに隣接する別の画素ブロックの、上記変換比に応じた所定の境界領域に含まれる画像データが入力されて記憶される。選択手段からは、複数の画像データ生成手段のうち、上記変換比に応じて選択された画像データ生成手段の画像データが出力される。小画素ブロックの一部の画素が、画素ブロック記憶手段から読み出し中の画素ブロックに隣接する別の画素ブロックの境界領域に含まれる場合は、画像データ生成手段において、境界データ記憶手段に記憶された当該一部の画素の画像データと、画素ブロック記憶手段から読み出した当該小画素ブロックの残りの画素の画像データとが合成される。これにより、当該小画素ブロックに対応した１つまたは複数の画像データが生成される。
【００４３】
上記複数の画像データ生成手段は、上記画素ブロック記憶手段に記憶された画像データを順次読み出し、１画素の画像データを読み出す度に、当該読み出した画像データのサンプリングを１回または複数回行い、サンプリングした一連の画像データを所定数まで保持するデータ保持手段と、上記データ保持手段に保持された一連の画像データを合成し、当該合成元の一連の画像データにおける一部の画像データの画素と上記境界データ記憶手段に記憶された画像データの画素とが上記小画素ブロックを構成する場合には、当該一部の画像データと当該記憶された画像データとを合成するデータ合成手段とをそれぞれ含んでも良い。
【００４４】
上記データ合成手段は、上記データ保持手段に保持された一連の画像データを出力し、当該出力する複数の画像データのうちの一部の画像データの画素と上記境界データ記憶手段に記憶された画像データの画素とが上記小画素ブロックを構成する場合には、当該出力する複数の画像データのうち当該一部の画像データを除く残りの画像データを上記境界データ記憶手段に記憶された当該画像データに置き換えて出力するデータ出力手段と、上記データ出力手段から出力される複数の画像データの値を加算する加算手段とを含んでも良い。
【００４５】
本発明の第４の観点の画像データ処理装置は、画像データ数の変換を行う画像データ処理装置であって、元画像の各画素に対応する画像データを、第１の画素ブロックごとに入力して記憶する画素ブロック記憶手段と、上記画素ブロック記憶手段に記憶された画像データを第１の画素ブロックごとに読み出し、当該読み出した画像データを、上記第１の画素ブロックより小さい第１の小画素ブロックごとに合成して、それぞれの上記第１の小画素ブロックに対応した１つまたは複数の画像データを生成する第１の画像データ生成手段と、上記第１の画像データ生成手段によって上記画素ブロック記憶手段から次に読み出される画素ブロックに隣接する別の画素ブロックか、または上記画素ブロック記憶手段から読み出し中の画素ブロックに隣接する別の画素ブロックの、所定の境界領域に含まれる画像データを入力して記憶する境界データ記憶手段と、上記第１の画像データ生成手段において生成される画像データを、当該画像データで構成される画像上において上記第１の画素ブロックに対応する第２の画素ブロックより小さい第２の小画素ブロックごとに合成して、それぞれの上記第２の小画素ブロックに対応した１つまたは複数の画像データを生成する第２の画像データ生成手段とを有する。上記第１の画像データ生成手段は、上記第１の小画素ブロックの一部の画素が、上記画素ブロック記憶手段から読み出し中の第１の画素ブロックに隣接する別の第１の画素ブロックの上記境界領域に含まれる場合は、上記境界データ記憶手段に記憶された当該一部の画素の画像データと、上記画素ブロック記憶手段から読み出した当該第１の小画素ブロックの残りの画素の画像データとを合成して、当該第１の小画素ブロックに対応した１つまたは複数の画像データを生成する。上記第２の画像データ生成手段は、上記第２の小画素ブロックの一部の画素が、上記第１の画像データ生成手段において生成中の第２の画素ブロックに隣接する別の第２の画素ブロックに含まれる場合は、上記境界領域において当該一部の画素と等価な画素の画像データを上記境界データ記憶手段から読み出し、当該読み出した画像データと、上記第１の画像データ生成手段において生成された当該第２の小画素ブロックの残りの画素の画像データとを合成して、当該第２の小画素ブロックに対応した１つまたは複数の画像データを生成する。
好適には、上記画素ブロック記憶手段は、画像データ数の変換比が第１の変換比に設定された場合、上記第１の画素ブロックごとに画像データを入力して記憶し、当該変換比が第２の変換比に設定された場合は、第３の画素ブロックごとに画像データを入力して記憶する。また、上記第１の画像データ生成手段は、当該変換比が上記第１の変換比に設定された場合、上記第１の小画素ブロックに対応する画像データの生成を実行し、当該変換比が第２の変換比に設定された場合は、上記第３の画素ブロックの画像データを上記画素ブロック記憶手段から読み出して上記第２の画素ブロックの画像データとして出力する。上記境界データ記憶手段は、設定される画像データ数の変換比に応じた所定の境界領域に含まれる画像データを入力して記憶する。
【００４６】
本発明の第４の観点の画像データ処理装置によれば、第１の画素ブロック記憶手段において、元画像の各画素に対応する画像データが第１の画素ブロックごとに入力されて記憶される。上記画素ブロック記憶手段に記憶された画像データは、第１の画像データ生成手段によって第１の画素ブロックごとに読み出され、当該読み出された画像データが第１の小画素ブロックごとに合成される。これにより、それぞれの第１の小画素ブロックに対応した１つまたは複数の画像データが生成される。境界データ記憶手段では、第１の画像データ生成手段によって画素ブロック記憶手段から次に読み出される画素ブロックに隣接する別の画素ブロックか、または画素ブロック記憶手段から読み出し中の画素ブロックに隣接する別の画素ブロックの、所定の境界領域に含まれる画像データが入力されて記憶される。第１の画像データ生成手段において生成される画像データは、当該画像データで構成される画像上において第１の画素ブロックに対応する第２の画素ブロックより小さい第２の小画素ブロックごとに、第２の画像データ生成手段において合成される。これにより、それぞれの第２の小画素ブロックに対応した１つまたは複数の画像データが生成される。第１の小画素ブロックの一部の画素が、上記画素ブロック記憶手段から読み出し中の第１の画素ブロックに隣接する別の第１の画素ブロックの上記境界領域に含まれる場合は、第１の画像データ生成手段において、境界データ記憶手段に記憶された当該一部の画素の画像データと、上記画素ブロック記憶手段から読み出した当該第１の小画素ブロックの残りの画素の画像データとが合成され、当該第１の小画素ブロックに対応した１つまたは複数の画像データが生成される。第２の小画素ブロックの一部の画素が、第１の画像データ生成手段において生成中の第２の画素ブロックに隣接する別の第２の画素ブロックに含まれる場合は、第２の画像データ生成手段において、上記境界領域において当該一部の画素と等価な画素の画像データが境界データ記憶手段から読み出され、当該読み出された画像データと、第１の画像データ生成手段において生成された当該第２の小画素ブロックの残りの画素の画像データとが合成され、当該第２の小画素ブロックに対応した１つまたは複数の画像データが生成される。
画像データ数の変換比が第１の変換比に設定されることによって、第１の画素ブロックごとに画像データが入力されて画素ブロック記憶手段に記憶され、この記憶された画像データに対して上記第１の小画素ブロックに対応する画像データの生成処理が第１の画像データ生成手段で実行されると、第１の画像データ生成手段では、画像データ数の変換処理が実行される。これに対し、画像データ数の変換比が第２の変換比に設定されることに応じて、第３の画素ブロックごとに画像データが入力されて画素ブロック記憶手段に記憶され、この第３の画素ブロックの画像データが画素ブロック記憶手段から読み出されて第２の画素ブロックの画像データとして第１の画像データ生成手段から出力されると、第１の画像データ生成手段では、画像データ数の変換処理が実行されない。すなわち、設定される画像データ数の変換比に応じて、第１の画像データ生成手段における画像データ数の変換処理が有効化または無効化されることにより、画像データ数の変換比が変更される。
【００４７】
上記第１の画像データ生成手段は、上記画素ブロック記憶手段に記憶された画像データを順次読み出し、１画素の画像データを読み出す度に、当該読み出した画像データのサンプリングを１回または複数回行い、サンプリングした一連の画像データを所定数まで保持する第１のデータ保持手段と、上記第１のデータ保持手段に保持された一連の画像データを合成し、当該合成元の一連の画像データにおける一部の画像データの画素と上記境界データ記憶手段に記憶された画像データの画素とが上記第１の小画素ブロックを構成する場合には、当該一部の画像データと当該記憶された画像データとを合成する第１のデータ合成手段と、画像データ数の変換比が上記第１の変換比に設定された場合、上記第１のデータ合成手段において合成された画像データを選択して出力し、上記変換比が上記第２の変換比に設定された場合は、上記第１のデータ保持手段においてサンプリングされた画像データを選択して出力する第１の選択手段とを含んでも良い。
上記第２の画像データ生成手段は、上記第１のデータ保持手段による画像データの読み出しおよびサンプリングが行われる度に、上記第１の選択手段から出力される画像データのサンプリングを１回または複数回行い、サンプリングした一連の画像データを所定数まで保持する第２のデータ保持手段と、上記第２のデータ保持手段に保持された一連の画像データとこれに続いてサンプリングされる上記第１の選択手段の出力画像データとを合成し、当該合成元の一連の画像データにおける一部の画像データの画素と、上記境界領域に含まれる画素に対して等価な上記第２の画素ブロック上の画素とが上記第２の小画素ブロックを構成する場合には、当該等価な画素に対応する画像データを上記境界データ記憶手段から読み出し、当該読み出した画像データと当該一部の画像データとを合成する第２のデータ合成手段とを含んでも良い。
【００４８】
本発明の第５の観点の画像データ処理方法は、画像データ数の変換を行う画像データ処理方法であって、第１の画素ブロックに含まれる各画素の画像データを上記第１の画素ブロックより小さい第１の小画素ブロックごとに合成し、それぞれの上記第１の小画素ブロックに対応した１つまたは複数の画像データを生成する処理を、元画像に含まれる複数の上記第１の画素ブロックに対して順次実行する第１の画像データ生成ステップと、上記第１の画像データ生成ステップにおいて生成される画像データのうち、当該画像データで構成される画像上において上記第１の画素ブロックに対応する第２の画素ブロックの所定の境界領域に含まれた画素の画像データを、境界データ記憶装置に記憶させる境界データ記憶ステップと、上記第１の画像データ生成ステップにおいて生成される画像データを、上記第２の画素ブロックより小さい第２の小画素ブロックごとに合成して、それぞれの上記第２の小画素ブロックに対応した１つまたは複数の画像データを生成し、上記第２の小画素ブロックの一部の画素が、上記第１の画像データ生成ステップにおいて生成中の第２の画素ブロックに隣接する別の第２の画素ブロックの上記境界領域に含まれる場合は、上記境界データ記憶装置に記憶された当該一部の画素の画像データと、上記第１の画像データ生成ステップにおいて生成された当該第２の小画素ブロックの残りの画素の画像データとを合成して、当該第２の小画素ブロックに対応した１つまたは複数の画像データを生成する第２の画像データ生成ステップとを有する。
好適には、画像データ数の変換比が第１の変換比に設定された場合、上記第１の画像データ生成ステップにおいて、上記第１の小画素ブロックに対応する画像データの生成を実行する。当該変換比が第２の変換比に設定された場合は、上記第１の画像データ生成ステップにおいて、上記元画像に含まれる第３の画素ブロックの画像データと同一のデータを、上記第２の画素ブロックの画像データとして順次生成する。
【００４９】
本発明の第６の観点の画像データ処理方法は、画像データ数の変換を行う画像データ処理方法であって、元画像の画像データを記憶するフレーム画像記憶装置から、設定された画像データ数の変換比に応じた所定の画素ブロックごとに各画素の画像データを読み出して、画素ブロック記憶装置に記憶させる画素ブロック記憶ステップと、上記画素ブロック記憶装置に記憶された画像データを読み出し、当該読み出した画像データを、上記変換比に応じた所定の小画素ブロックごとに合成して、当該小画素ブロックごとに１つまたは複数の画像データを生成する画像データ生成ステップと、上記画素ブロック記憶ステップにおいて上記フレーム画像記憶装置からの画像データの読み出しが行われる場合に、上記画像データ生成ステップにおいて上記画素ブロック記憶装置から次に読み出される画素ブロックに隣接する別の画素ブロックか、または上記画素ブロック記憶装置から読み出し中の画素ブロックに隣接する別の画素ブロックの、上記所定の境界領域に含まれる画像データを、上記フレーム画像記憶装置から読み出して境界データ記憶装置に記憶させる境界データ記憶ステップとを有する。上記画像データ生成ステップにおいて、上記小画素ブロックの一部の画素が、上記画素ブロック記憶装置から読み出し中の画素ブロックに隣接する別の画素ブロックの上記境界領域に含まれる場合は、上記境界データ記憶装置に記憶された当該一部の画素の画像データと、上記画素ブロック記憶装置から読み出した当該小画素ブロックの残りの画素の画像データとを合成して、当該小画素ブロックに対応した１つまたは複数の画像データを生成する。
【００５０】
本発明の第７の観点の画像データ処理方法は、画像データ数の変換を行う画像データ処理方法であって、元画像の画像データを記憶するフレーム画像記憶装置から、第１の画素ブロックごとに各画素の画像データを読み出して、画素ブロック記憶装置に記憶させる画素ブロック記憶ステップと、上記画素ブロック記憶装置に記憶された画像データを第１の画素ブロックごとに読み出し、当該読み出した画像データを、上記第１の画素ブロックより小さい第１の小画素ブロックごとに合成して、それぞれの上記第１の小画素ブロックに対応した１つまたは複数の画像データを生成する第１の画像データ生成ステップと、上記画素ブロック記憶ステップにおいて上記フレーム画像記憶装置からの画像データの読み出しが行われる場合に、上記第１の画像データ生成ステップにおいて上記画素ブロック記憶装置から次に読み出される画素ブロックに隣接する別の画素ブロックか、または上記画素ブロック記憶装置から読み出し中の画素ブロックに隣接する別の画素ブロックの、所定の境界領域に含まれる画像データを、上記フレーム画像記憶装置から読み出して境界データ記憶装置に記憶させる境界データ記憶ステップと、上記第１の画像データ生成ステップにおいて生成される画像データを、当該画像データで構成される画像上において上記第１の画素ブロックに対応する第２の画素ブロックより小さい第２の小画素ブロックごとに合成して、それぞれの上記第２の小画素ブロックに対応した１つまたは複数の画像データを生成する第２の画像データ生成ステップとを有する。上記第１の画像データ生成ステップにおいて、上記第１の小画素ブロックの一部の画素が、上記画素ブロック記憶装置から読み出し中の第１の画素ブロックに隣接する別の第１の画素ブロックの上記境界領域に含まれる場合は、上記境界データ記憶装置に記憶された当該一部の画素の画像データと、上記画素ブロック記憶装置から読み出された当該第１の小画素ブロックの残りの画素の画像データとを合成して、当該第１の小画素ブロックに対応した１つまたは複数の画像データを生成する。上記第２の画像データ生成ステップにおいて、上記第２の小画素ブロックの一部の画素が、上記第１の画像データ生成ステップにおいて生成中の第２の画素ブロックに隣接する別の第２の画素ブロックに含まれる場合は、上記境界領域において当該一部の画素と等価な画素の画像データを上記境界データ記憶装置から読み出し、当該読み出した画像データと、上記第１の画像データ生成ステップにおいて生成された当該第２の小画素ブロックの残りの画素の画像データとを合成して、当該第２の小画素ブロックに対応した１つまたは複数の画像データを生成する。
好適には、画像データ数の変換比が第１の変換比に設定された場合、上記画素ブロック記憶ステップにおいて、上記フレーム画像記憶装置から上記第１の画素ブロックごとに画像データを読み出して上記画素ブロック記憶装置に記憶させ、上記第１の画像データ生成ステップにおいて、上記第１の小画素ブロックに対応する画像データの生成を実行する。当該変換比が第２の変換比に設定された場合は、上記画素ブロック記憶ステップにおいて、上記フレーム画像記憶装置から第３の画素ブロックごとに画像データを読み出して上記画素ブロック記憶装置に記憶させ、上記第１の画像データ生成ステップにおいて、上記画素ブロック記憶装置から読み出した上記第３の画素ブロックの画像データと同一のデータを、上記第２の画素ブロックの画像データとして生成する。上記境界データ記憶ステップでは、設定される画像データ数の変換比に応じた所定の境界領域に含まれる画像データを上記境界データ記憶装置に記憶させる。
【００５１】
本発明の第８の観点のカメラ・システムは、画像を撮影し、当該撮影画像の各画素に対応する画像データを生成する撮影手段と、上記撮影手段において生成された上記撮影画像の画像データを記憶するフレーム画像記憶手段と、上記フレーム画像記憶手段に記憶された上記撮影画像の画像データを、設定された画像データ数の変換比に応じた所定の画素ブロックごとに読み出して画像データ数の変換を行い、上記画素ブロックに対応する画像データのブロックを順次出力する画像データ処理手段と、上記画像データ処理装置から出力される画像データのブロックを含んだ所定数の画像データのブロックを単位として、画像データの符号化処理を行う画像データ符号化手段とを有する。上記画像データ処理手段は、上記フレーム画像記憶手段に記憶された上記撮影画像の画像データを、上記変換比に応じた所定の画素ブロックごとに読み出して記憶する画素ブロック記憶手段と、上記画素ブロック記憶手段に記憶された画像データを読み出し、当該読み出した画像データをそれぞれ所定の小画素ブロックごとに合成して、当該小画素ブロックごとに１つまたは複数の画像データを生成する複数の画像データ生成手段と、上記画素ブロック記憶手段において上記フレーム画像記憶手段からの画像データの読み出しが行われる場合に、上記画像データ生成手段によって上記画素ブロック記憶手段から次に読み出される画素ブロックに隣接する別の画素ブロックか、または上記画素ブロック記憶手段から読み出し中の画素ブロックに隣接する別の画素ブロックの、上記所定の境界領域に含まれる画像データを、上記フレーム画像記憶手段から読み出して記憶する境界データ記憶手段と、上記複数の画像データ生成手段のうち、上記変換比に応じて選択した画像データ生成手段の画像データを出力する選択手段とを有する。上記画像データ生成手段は、上記小画素ブロックの一部の画素が、上記画素ブロック記憶手段から読み出し中の画素ブロックに隣接する別の画素ブロックの上記境界領域に含まれる場合は、上記境界データ記憶手段に記憶された当該一部の画素の画像データと、上記画素ブロック記憶手段から読み出した当該小画素ブロックの残りの画素の画像データとを合成して、当該小画素ブロックに対応した１つまたは複数の画像データを生成する。
【００５２】
本発明の第９の観点のカメラ・システムは、画像を撮影し、当該撮影画像の各画素に対応する画像データを生成する撮影手段と、上記撮影手段において生成された上記撮影画像の画像データを記憶するフレーム画像記憶手段と、上記フレーム画像記憶手段に記憶された上記撮影画像の画像データを、設定された画像データ数の変換比に応じた所定の画素ブロックごとに読み出して画像データ数の変換を行い、上記画素ブロックに対応する画像データのブロックを順次出力する画像データ処理手段と、上記画像データ処理装置から出力される画像データのブロックを含んだ所定数の画像データのブロックを単位として、画像データの符号化処理を行う画像データ符号化手段とを有する。上記画像データ処理手段は、上記フレーム画像記憶手段に記憶された上記撮影画像の画像データを、第１の画素ブロックごとに読み出して記憶する画素ブロック記憶手段と、上記画素ブロック記憶手段に記憶された画像データを第１の画素ブロックごとに読み出し、当該読み出した画像データを、上記第１の画素ブロックより小さい第１の小画素ブロックごとに合成して、それぞれの上記第１の小画素ブロックに対応した１つまたは複数の画像データを生成する第１の画像データ生成手段と、記画素ブロック記憶手段において上記フレーム画像記憶手段からの画像データの読み出しが行われる場合に、上記第１の画像データ生成手段によって上記画素ブロック記憶手段から次に読み出される画素ブロックか、または上記画素ブロック記憶手段から読み出し中の画素ブロックに隣接する別の画素ブロックの、上記所定の境界領域に含まれる画像データを、上記フレーム画像記憶手段から読み出して記憶する境界データ記憶手段と、上記第１の画像データ生成手段において生成される画像データを、当該画像データで構成される画像上において上記第１の画素ブロックに対応する第２の画素ブロックより小さい第２の小画素ブロックごとに合成して、それぞれの上記第２の小画素ブロックに対応した１つまたは複数の画像データを生成する第２の画像データ生成手段とを有する。上記第１の画像データ生成手段は、上記第１の小画素ブロックの一部の画素が、上記画素ブロック記憶手段から読み出し中の第１の画素ブロックに隣接する別の第１の画素ブロックの上記境界領域に含まれる場合は、上記境界データ記憶手段に記憶された当該一部の画素の画像データと、上記画素ブロック記憶手段から読み出した当該第１の小画素ブロックの残りの画素の画像データとを合成して、当該第１の小画素ブロックに対応した１つまたは複数の画像データを生成する。上記第２の画像データ生成手段は、上記第２の小画素ブロックの一部の画素が、上記第１の画像データ生成手段において生成中の第２の画素ブロックに隣接する別の第２の画素ブロックに含まれる場合は、上記境界領域において当該一部の画素と等価な画素の画像データを上記境界データ記憶手段から読み出し、当該読み出した画像データと、上記第１の画像データ生成手段において生成された当該第２の小画素ブロックの残りの画素の画像データとを合成して、当該第２の小画素ブロックに対応した１つまたは複数の画像データを生成する。
好適には、上記画素ブロック記憶手段は、画像データ数の変換比が第１の変換比に設定された場合は上記第１の画素ブロックごとに、当該変換比が第２の変換比に設定された場合は第３の画素ブロックごとに、上記フレーム画像記憶手段から画像データを読み出して記憶する。また、上記第１の画像データ生成手段は、当該変換比が上記第１の変換比に設定された場合、上記第１の小画素ブロックに対応する画像データの生成を実行し、当該変換比が第２の変換比に設定された場合は、上記第３の画素ブロックの画像データを上記画素ブロック記憶手段から読み出して上記第２の画素ブロックの画像データとして出力する。
【００５３】
【発明の実施の形態】
本発明の７つの実施形態について、図面を参照しながら説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像データ処理装置の構成の一例を示すブロック図である。
図１に示す画像データ処理装置は、画像データ復号化部１０と、第１の画像データ生成部２１と、第２の画像データ生成部２２と、境界データ記憶部３０と、画素ブロック記憶部４０と、フレームメモリ５０とを有する。
画像データ復号化部１０は、本発明の第１の観点における画像データ復号化手段の一実施形態である。
第１の画像データ生成部２１は、本発明の第１の観点における第１の画像データ生成手段の一実施形態である。
第２の画像データ生成部２２は、本発明の第１の観点における第２の画像データ生成手段の一実施形態である。
境界データ記憶部３０は、本発明の第１の観点における境界データ記憶手段の一実施形態である。
【００５４】
（画像データ復号化部１０）
画像データ復号化部１０は、所定の方式で符号化された元画像の画像データに対する所定の復号化処理を行い、この復号化処理により復号化された画像データを所定の画素ブロックごとに出力する。
たとえば、ＪＰＥＧ方式で符号化された元画像の画像データに対する復号化処理を行い、復号化された画像データを、図２０〜図２２において示すようなＭＣＵごとに出力する。
【００５５】
（第１の画像データ生成部２１）
第１の画像データ生成部２１は、元画像の各画素に対応する画像データＳ１を所定の画素ブロック（本実施形態の説明では、この画素ブロックを第１の画素ブロックと呼ぶ）ごとに入力し、この入力した画像データＳ１を、第１の画素ブロックより小さい所定の小画素ブロック（本実施形態の説明では、この小画素ブロックを第１の小画素ブロックと呼ぶ）ごとに合成して、それぞれの小画素ブロックに対応した１つまたは複数の画像データを生成する。
【００５６】
たとえば、画像データ復号化部１０において出力される１ＭＣＵの画像データのうち、クロマ信号ＣｒおよびＣｂの８×８画素の画素ブロックを第１の画素ブロックとして入力する。そして、水平ライン上に隣接する１×２画素の画素ブロックを第１の小画素ブロックとして、この第１の小画素ブロックごとに８×８画素ブロックの画像データを合成し、それぞれの第１の小画素ブロックに対応した１画素の画像データを生成する。これにより、８×８画素ブロックは８×４画素ブロックに変換され、画像データ数が半分に減縮される。
【００５７】
また、第１の画像データ生成部２１は、設定される画像データ数の変換比に応じて、画像データ数の変換処理を有効化または無効化しても良い。すなわち、画像データ数の変換比が第１の変換比に設定された場合、それぞれの第１の小画素ブロックに対応する上述した画像データの生成を実行する。これにより、画像データ数の変換が実行される。画像データ数の変換比が第２の変換比に設定された場合は、第１の画素ブロックと等しいかまたは異なる所定の第３の画素ブロックごとに入力した画像データをそのまま出力する。これにより、第１の画像データ生成部２１における画像データ数の変換処理が無効化される。
【００５８】
たとえば、画像データ処理装置に対してＹＣｒＣｂ比（４：４：４）からＹＣｒＣｂ比（４：１：１）への変換が第１の変換比として設定された場合、第１の画像データ生成部２１は、画像データを１×２画素の小画素ブロックごとに合成して各小画素ブロックに対応した１画素の画像データを生成する上述の処理を実行する。これにより、クロマ信号の８×８画素ブロックが８×４画素ブロックに変換され、画像データ数が１／２に減縮される。画像データ処理装置に対してＹＣｒＣｂ比（４：２：２）からＹＣｒＣｂ比（４：１：１）への変換が第２の変換比として設定された場合には、８×８画素ブロックごとに入力した画像データをそのまま出力する。これにより、第１の画像データ生成部２１における画像データ数の変換処理が無効化される。
なおこの例では、何れの変換比に設定された場合にも、後述する第２の画像データ生成部２２においては、クロマ信号の８×８画素ブロックを８×４画素ブロックに変換する処理が実行される。したがって、画像データ処理装置全体としては、ＹＣｒＣｂ比（４：４：４）からＹＣｒＣｂ比（４：１：１）への変換、またはＹＣｒＣｂ比（４：２：２）からＹＣｒＣｂ比（４：１：１）への変換が実行される。
【００５９】
（第２の画像データ生成部２２）
第２の画像データ生成部２２は、第１の画像データ生成部２１において生成される画像データを、第２の画素ブロックより小さい第２の小画素ブロックごとに合成して、それぞれの第２の小画素ブロックに対応した１つまたは複数の画像データを生成する。なお、第２の画素ブロックは、第１の画像データ生成部２１において生成される画像データで構成された画像上において、元画像の第１の画素ブロックまたは第３の画素ブロックに対応する画素ブロックを示す。
【００６０】
たとえば、８×８画素のサイズを有するクロマ信号の第１の画素ブロックが、第１の画像データ生成部２１において８×４画素ブロックに変換された場合、変換されたの８×４画素ブロックが第２の画素ブロックに相当する。この８×４画素ブロックに対し、第２の小画素ブロックは、たとえば、中心画素を除く両端の画素が互いに重なるように水平ライン上で隣接して配列された、１×３画素の画素のブロックとして設定される。したがって、第２の画像データ生成部２２により、この１×３画素の小画素ブロックの画像データがそれぞれ合成されて、それぞれの小画素ブロックに対応した１画素分の画像データが生成されると、８×４画素ブロックは８×２画素ブロックに変換される。これにより、画像データの数はさらに半分に減縮される。
【００６１】
ただし、第２の小画素ブロックの画素は、第１の画像データ生成部２１において生成中の第２の画素ブロックに全て含まれているとは限らない。すなわち、第２の小画素ブロックの一部の画素が、第１の画像データ生成部２１において生成中の第２の画素ブロックに隣接する別の第２の画素ブロックの所定の境界領域に含まれることがある。
この場合、第２の画像データ生成部２２は、境界データ記憶部３０に記憶された当該一部の画素の画像データを読み出し、この読み出した画像データと、第１の画像データ生成部２１において生成された当該第２の小画素ブロックの残りの画素の画像データとを合成して、当該第２の小画素ブロックに対応した１つまたは複数の画像データを生成する。
【００６２】
たとえば、上述した１×３画素の小画素のブロックを、８×４画素ブロックの右側に詰めて配列させた場合、８×４画素ブロックの水平ライン上に配列される２つの小画素ブロックのうち、左側に位置する小画素ブロックは、その左端の画素が第１の画像データ生成部２１において生成中の画素ブロックに含まれておらず、左隣の８×４画素ブロックにおける右端の８×１画素の領域に含まれる。この場合、上述した境界領域は、この右端の８×１画素の領域に相当する。
第２の画像データ生成部２２は、８×４画素ブロックの左側に位置する１×３画素の小画素ブロックを合成する際に、当該小画素ブロックの左端の画素の画像データを境界データ記憶部３０から読み出す。そして、この読み出した画像データと、第１の画像データ生成部２１において生成された当該小画素ブロックの残りの２画素の画像データとを合成して、１画素分の画像データを生成する。
【００６３】
（境界データ記憶部３０）
境界データ記憶部３０は、第１の画像データ生成部２１において生成される画像データのうち、第２の画素ブロックの所定の境界領域に含まれた画素の画像データを記憶する。
この境界領域は、１つの第２の画素ブロックの補間処理を行うときに必要となる画像データを含んだ、これに隣接する別の第２の画素ブロックの領域である。この境界領域は、第２の小画素ブロックが、隣接した第２の画素ブロック間にまたがって設定されることにより生じる。たとえば、図２３における領域Ｌ１およびＬ２や、図２５における領域Ｌ５およびＬ６がこの境界領域に相当する。
【００６４】
（画素ブロック記憶部４０）
画素ブロック記憶部４０は、画像データ生成部２２において生成される画像データを、第２の画素ブロックに対応した所定の画素ブロックごとに記憶する。
たとえば、第２の画像データ生成部２２から出力される８×２画素ブロックのクロマ信号の画像データと、画像データ復号化部１０から出力される８×８画素ブロックの輝度信号の画像データとを記憶する。
この画素ブロック記憶部４０は、たとえば、書き込み用と読み出し用のメモリを別に設けた２バンクの構成にすることができる。２バンク構成にすることで、書き込み用のメモリと読み出し用のメモリを交互に切り換えて、画像データ生成部２２において生成された画像データの書き込みと、フレームメモリ５０への画像データの読み出しとを同時に行うことができる。
【００６５】
（フレームメモリ５０）
フレームメモリ５０は、画素ブロック記憶部４０に画素ブロック単位で記憶された画像データを順次読み出し、読み出した画像データを順次記憶することにより、元画像に対応する画像データをフレーム単位で記憶する。記憶した画像データは、種々の画像処理を行う他のブロックによって利用される。
フレームメモリ５０には、たとえばＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ　ＤＲＡＭ）などの高速、大容量の記憶デバイスが使用される。
【００６６】
ここで、上述した構成を有する図１に示した画像データ処理装置の動作を説明する。
所定の方式で符号化された元画像の画像データが画像データ復号化部１０において復号化され、復号化された画像データが所定の画素ブロックごとに出力される。
たとえば、ＪＰＥＧ方式で符号化された元画像の画像データが画像データ復号化部１０において復号化され、復号化された画像データが１ＭＣＵごとに出力される。
【００６７】
第１の画像データ生成部２１では、元画像の各画素に対応する画像データＳ１が第１の画素ブロックごとに入力され、この入力された画像データＳ１が第１の小画素ブロックごとに合成される。これにより、それぞれの小画素ブロックに対応した１つまたは複数の画像データが生成される。
たとえば、画像データ復号化部１０において出力される１ＭＣＵの画像データのうち、クロマ信号ＣｒおよびＣｂの８×８画素の画素ブロックが第１の画像データ生成部２１に入力される。そして、入力された画像データが、水平ライン上に隣接する１×２画素の画素ブロックごとに合成される。これにより、それぞれの第１の小画素ブロックに対応した１画素の画像データが生成される。クロマ信号ＣｒおよびＣｂの８×８画素ブロックは８×４画素ブロックに変換され、クロマ信号の画像データ数は半分に減縮される。
【００６８】
第２の画像データ生成部２２では、第１の画像データ生成部２１において生成される画像データが第２の小画素ブロックごとに合成され、それぞれの第２の小画素ブロックに対応した１つまたは複数の画像データが生成される。
たとえば、第１の画像データ生成部２１において８×８画素ブロックから８×４画素ブロックに変換された画像データが、両端の１画素が互いに重なるように水平ライン上で隣接して配列された１×３画素の小画素ブロックごとに合成される。これにより、それぞれの小画素ブロックに対応した１画素分の画像データが生成される。クロマ信号ＣｒおよびＣｂの８×４画素ブロックは８×２画素ブロックに変換され、画像データ数はさらに半分に減縮される。
【００６９】
また、第２の小画素ブロックの一部の画素が、第１の画像データ生成部２１において生成中の第２の画素ブロックに隣接する別の第２の画素ブロックの所定の境界領域に含まれる場合、第２の画像データ生成部２２では、境界データ記憶部３０に記憶された当該一部の画素の画像データが読み出される。そして、この読み出された画像データと、第１の画像データ生成部２１において生成された当該第２の小画素ブロックの残りの画素の画像データとが合成される。これにより、当該第２の小画素ブロックに対応した１つまたは複数の画像データが生成される。
たとえば、１×３画素の小画素のブロックが８×４画素ブロックの右側に詰めて配列された場合において、第２の画像データ生成部２２では、８×４画素ブロックの左側に位置する１×３画素の小画素ブロックが合成される際に、当該小画素ブロックの左端の画素の画像データが境界データ記憶部３０から読み出される。そして、この読み出された１画素の画像データと、第１の画像データ生成部２１において生成された当該小画素ブロックの残りの２画素の画像データとが合成されて、１画素分の画像データが生成される。
【００７０】
境界データ記憶部３０では、第１の画像データ生成部２１において生成される画像データのうち、第２の画素ブロックの所定の境界領域に含まれた画素の画像データが記憶される。
たとえば、１×３画素の小画素のブロックが８×４画素ブロックの右側に詰めて配列された場合において、８×４画素ブロックにおける右端の８×１画素領域が境界領域に相当し、この境界領域の画像データが境界データ記憶部３０に記憶される。記憶された画像データは、当該境界領域の右隣の８×４画素ブロックにおいて、この８×４画素ブロックの左側に位置する１×３画素の小画素ブロックが合成される際に、第２の画像データ生成部２２において読み出されて、当該小画素ブロックの合成に用いられる。
【００７１】
画像データ生成部２２において生成される画像データは、第２の画素ブロックに対応した所定の画素ブロックごとに画素ブロック記憶部４０に記憶される。
たとえば、第２の画像データ生成部２２から出力される８×２画素ブロックのクロマ信号の画像データと、画像データ復号化部１０から出力される８×８画素ブロックの輝度信号の画像データとが画素ブロック記憶部４０において一時的に記憶される。
【００７２】
画素ブロック記憶部４０に画素ブロック単位で記憶された画像データは、フレームメモリ５０に順次読み出されて記憶される。これにより、元画像に対応する画像データがフレーム単位で記憶される。
【００７３】
以上説明したように、図１に示す画像データ処理装置によれば、画像データ復号化部１０から画素ブロック単位で出力される画像データの数が、第１の画像データ生成部２１および第２の画像データ生成部２２において２段階に分けて変換される。したがって、各段階における画像データ数の変換比が小さくなり、回路構成を簡略化することができる。また、画像データの合成単位としての小画素ブロックを小さくすることができるので、小画素ブロックを隣接した画素ブロック間にまたがらないように設定することが容易になる。これにより、境界領域の画像データを記憶するための記憶装置を簡略化することが可能になる。
【００７４】
さらに、図１に示す画像データ処理装置によれば、画像データ数の変換が２段階に分けて行われるので、その一方の段階、たとえば第１の画像データ生成部２１における画像データ数の変換処理を有効化または無効化することにより、２種類の変換比による画像データ数の変換処理をおこなうことができる。この場合、第２の画像データ生成部２２における画像データ数の変換処理が２つの変換比を実現するために共用されるので、異なる変換比で画像データ数変換をおこなう２つの画像データ処理装置を個別に設ける方法に比べて、回路規模を削減することができる。
【００７５】
なお、図１に示した画像データ処理装置では、２つの画像データ生成部において画像データ数の変換処理が２段階に分けておこなわれているが、画像データ生成部をさらに多段することにより、画像データ数の変換処理を任意数の段階に分けて行うことも可能である。
すなわち、縦続接続された複数の画像データ生成部を設け、その初段においては元画像の各画素に対応する画像データを第１の画素ブロックごとに入力し、初段に続く各段においては前段で生成された画像データを第１の画素ブロックに対応した画素ブロックごとに入力する。各段の画像データ生成部は、入力した画像データを、各段において定められた小画素ブロックごとに合成し、それぞれの当該小画素ブロックに対応した１つまたは複数の画像データを生成する。
また、境界データ記憶部を、縦続接続された複数の画像データ生成手段のうちの一部または全部に対応して設ける。この境界データ記憶部は、対応する画像データ生成部に入力される画像データのうち、この入力画像データで構成される画像上において第１の画素ブロックに対応する画素ブロックの所定の境界領域に含まれた画素の画像データを記憶する。
境界データ記憶部と対応づけられた画像データ生成部では、合成を行う小画素ブロックの一部の画素が、入力中の画素ブロックに隣接する別の画素ブロックの上記境界領域に含まれる場合に、対応する境界データ記憶部に記憶される当該一部の画素の画像データと、入力された当該小画素ブロックの残りの画素の画像データとを合成して、当該小画素ブロックに対応した１つまたは複数の画像データを生成する。
このような構成により、さらに大きな変換比の画像データ数変換処理を行うことが可能になる。
また、縦続接続された複数の画像データ生成部のそれぞれにおいて、設定された画像データ数の変換比に応じて、小画素ブロックに対応する画像データの上述した生成処理を実行する否かを決定させても良い。これにより、各段の画像データ生成部における画像データ数の変換処理がそれぞれ任意に有効化または無効化されるので、複数の変換比による画像データ数の変換処理を容易に実現することができる。
【００７６】
＜第２の実施形態＞
次に、本発明の第２の実施形態について述べる。
第２の実施形態に係る画像データ処理装置は、たとえば、図１に示す画像データ処理装置と同等の構成を有する。ただし、図１に示す第１の画像データ生成部２１、第２の画像データ生成部２２および境界データ記憶部３０が、次に述べる第１の画像データ生成部２１Ａ、第２の画像データ生成部２２Ａおよび境界データ記憶部３０Ａに置き換えられる。
【００７７】
図２は、本発明の第２の実施形態に係る画像データ処理装置に含まれる第１の画像データ生成部２１Ａ、第２の画像データ生成部２２Ａ、境界データ記憶部３０Ａ、および制御部ＣＯＮＴ１の構成の一例を示すブロック図である。
図２に示す第１の画像データ生成部２１Ａは、フリップフロップＦＦ１およびＦＦ２と、加算部ＡＤ１と、乗算部ＭＬ１と、セレクタＳＬ１とを含む。図２に示す第２の画像データ生成部２２Ａは、フリップフロップＦＦ３〜ＦＦ５と、乗算部ＭＬ２〜ＭＬ４と、セレクタＳＬ３と、加算部ＡＤ２とを含む。図２に示す境界データ記憶部３０Ａは、レジスタＲＧ１およびＲＧ２と、セレクタＳＬ２とを含む。
フリップフロップＦＦ２は、本発明の第１の観点における第１のデータ保持手段の一実施形態である。
加算部ＡＤ１および乗算部ＭＬ１を含むユニットは、本発明の第１の観点における第１のデータ合成手段の一実施形態である。
フリップフロップＦＦ３〜ＦＦ５を含むユニットは、本発明の第１の観点における第２のデータ保持手段の一実施形態である。
乗算部ＭＬ２〜ＭＬ４、加算部ＡＤ２およびセレクタＳＬ３を含むユニットは、本発明の第１の観点における第２のデータ合成手段の一実施形態である。
【００７８】
（第１の画像データ生成部２１Ａ）
フリップフロップＦＦ１は、画像データ復号化部１０から出力される８×８画素のクロマ信号の画像データＳ１を、クロック信号ＣＬＫに同期して保持する。
フリップフロップＦＦ２は、フリップフロップＦＦ１に保持されたクロマ信号の画像データＳ２をクロック信号ＣＬＫに同期して保持する。
加算部ＡＤ１は、フリップフロップＦＦ１およびＦ２に保持されたクロマ信号の画像データを加算する。
乗算部ＭＬ１は、加算部ＡＤ１において加算された画像データに、重み係数１／２を乗算する。
【００７９】
セレクタＳＬ１は、設定される画像データ数の変換比に応じて、フリップフロップＦＦ２に保持された画像データＳ３か、または乗算部ＭＬ１において重み係数を乗ぜられた画像データを選択して出力する。
すなわち、ＹＣｒＣｂ比（４：４：４）からＹＣｒＣｂ比（４：１：１）への変換処理が行われる場合において、乗算部ＭＬ１の画像データを選択し、ＹＣｒＣｂ比（４：４：４）からＹＣｒＣｂ比（４：１：１）への変換処理が行われる場合において、フリップフロップＦＦ２の画像データＳ３を選択する。
【００８０】
（第２の画像データ生成部２２Ａ）
フリップフロップＦＦ３は、制御部ＣＯＮＴ１から出力されるイネーブル信号ｉｎ−ｅｎ１がローレベルの場合において、第１の画像データ生成部２１から出力される画像データＳ３０をクロック信号ＣＬＫに同期して保持する。
ＹＣｒＣｂ比（４：４：４）からＹＣｒＣｂ比（４：１：１）への変換処理が行われる場合において、イネーブル信号ｉｎ−ｅｎ１は、クロック信号ＣＬＫの１サイクルごとに交互にハイレベルとローレベルとを繰り返すように制御部ＣＯＮＴ１において設定される。これにより、フリップフロップＦＦ３においては、クロック信号ＣＬＫの２サイクルごとに画像データＳ３０が保持される。
ＹＣｒＣｂ比（４：２：２）からＹＣｒＣｂ比（４：１：１）への変換処理が行われる場合、イネーブル信号ｉｎ−ｅｎ１はローレベル一定に設定される。
【００８１】
フリップフロップＦＦ４は、イネーブル信号ｉｎ−ｅｎ１がローレベルの場合において、フリップフロップＦＦ３に保持された画像データＳ４をクロック信号ＣＬＫに同期して保持する。
フリップフロップＦＦ５は、イネーブル信号ｉｎ−ｅｎ１がローレベルの場合において、フリップフロップＦＦ４に保持された画像データＳ５をクロック信号ＣＬＫに同期して保持する。
【００８２】
セレクタＳＬ３は、制御部ＣＯＮＴ１から出力される選択信号ｂｌｋ−ｌｅｆｔがローレベルの場合、フリップフロップＦＦ５に保持された画像データＳ６を選択して出力し、選択信号ｂｌｋ−ｌｅｆｔがハイレベルの場合は、境界データ記憶部３０から出力される画像データＳ７を選択して出力する。
この選択信号ｂｌｋ−ｌｅｆｔは、画像データＳ４およびＳ５に対応する２画素と、境界データ記憶部３０Ａから出力される所定の境界領域の画像データＳ７に対応する１画素とが、同一の水平ライン上で１×３画素の小画素ブロック（第１の実施形態において述べた第２の小画素ブロックに相当する）を構成する場合において、制御部ＣＯＮＴ１によりハイレベルに設定される。
【００８３】
乗算部ＭＬ２は、フリップフロップＦＦ３に保持された画像データＳ４に重み係数１／４を乗算する。
乗算部ＭＬ３は、フリップフロップＦＦ４に保持された画像データＳ５に重み係数１／２を乗算する。
乗算部ＭＬ４は、セレクタＳＬ３から出力される画像データに重み係数１／４を乗算する。
なお、図２の例において、乗算部ＭＬ１〜ＭＬ４の重み係数は何れも２のべき乗の値を有するので、これらの乗算部は単純なビットシフトを行う回路で実現可能であり、複雑な乗算回路を用いる必要は無い。
【００８４】
加算部ＡＤ２は、乗算部ＭＬ２〜ＭＬ４の乗算結果を加算し、この加算結果を画像データＳ８として画素ブロック記憶部４０に出力する。
なお、加算部ＡＤ２から出力される画像データＳ８は、制御部ＣＯＮＴ１から出力されるイネーブル信号ｏｕｔ−ｅｎがハイレベルの場合に、有効な画像データとして画素ブロック記憶部４０に記憶される。
ＹＣｒＣｂ比（４：４：４）からＹＣｒＣｂ比（４：１：１）への変換処理が行われる場合において、イネーブル信号ｏｕｔ−ｅｎは、クロック信号ＣＬＫの２サイクルごとに交互にハイレベルとローレベルとを繰り返すように制御部ＣＯＮＴ１において設定される。
ＹＣｒＣｂ比（４：２：２）からＹＣｒＣｂ比（４：１：１）への変換処理が行われる場合、イネーブル信号ｏｕｔ−ｅｎは、クロック信号ＣＬＫの１サイクルごとに交互にハイレベルとローレベルとを繰り返すように制御部ＣＯＮＴ１において設定される。
【００８５】
（境界データ記憶部３０Ａ）
レジスタＲＧ１は、制御部ＣＯＮＴ１から出力されるイネーブル信号ｘｃｂ−ｅｎがローレベルの場合において、第１の画像データ生成部２１Ａから出力される画像データＳ３０をクロック信号ＣＬＫに同期して保持する。またこの場合、既に保持している画像データをクロック信号ＣＬＫに同期してシフトさせ、保持された順にセレクタＳＬ２へ出力する。レジスタＲＧ１は、８個までの画像データを保持する。
イネーブル信号ｘｃｂ−ｅｎは、８×８画素ブロックのクロマ信号Ｃｂの画像データＳ１に応じて第１の画像データ生成部２１Ａから出力される８×４画素ブロックの画像データＳ３０のうち、所定の境界領域に含まれる画像データが第１の画像データ生成２１Ａから出力されるタイミングにおいてローレベルに設定される。
【００８６】
レジスタＲＧ２は、制御部ＣＯＮＴ１から出力されるイネーブル信号ｘｃｒ−ｅｎがローレベルの場合において、第１の画像データ生成部２１Ａから出力される画像データＳ３０をクロック信号ＣＬＫに同期して保持する。またこの場合、既に保持している画像データをクロック信号ＣＬＫに同期してシフトさせ、保持された順にセレクタＳＬ２へ出力する。レジスタＲＧ２も、８個までの画像データを保持する。
イネーブル信号ｘｃｒ−ｅｎは、８×８画素ブロックのクロマ信号Ｃｒの画像データＳ１に応じて第１の画像データ生成部２１Ａから出力される８×４画素ブロックの画像データＳ３０のうち、所定の境界領域に含まれる画像データが第１の画像データ生成２１Ａから出力されるタイミングにおいてローレベルに設定される。
【００８７】
セレクタＳＬ２は、制御部ＣＯＮＴ１から出力される選択信号ａｒｅａ−ｃｒに応じて、レジスタＲＧ１またはレジスタＲＧ２の何れかから出力される画像データを選択し、画像データＳ７として出力する。画像データＳ１がクロマ信号Ｃｂの場合にはレジスタＲＧ３が、クロマ信号Ｃｒの場合にはレジスタＲＧ４が選択される。
【００８８】
ここで、上述した構成を有する画像データ処理装置の動作について、ＹＣｒＣｂ比（４：４：４）からＹＣｒＣｂ比（４：１：１）への変換処理が行われる場合と、ＹＣｒＣｂ比（４：２：２）からＹＣｒＣｂ比（４：１：１）への変換処理が行われる場合とに分けて説明する。
【００８９】
／／ＹＣｒＣｂ比（４：４：４）から（４：１：１）への変換処理／／
図３は、画像データ復号化部１０から出力されるＹＣｒＣｂ比（４：４：４）の画像データＳ１をＹＣｒＣｂ比（４：１：１）の画像データＳ８へ変換するクロマ信号補間処理の概要を図解した図である。
図４は、ＹＣｒＣｂ比（４：４：４）からＹＣｒＣｂ比（４：１：１）への変換処理が行われる場合における、図２のブロック図に示した各信号の値とタイミング関係の一例を示すタイミングチャートである。
【００９０】
図３（Ａ）に示す画素ブロックＢ０〜Ｂ２は、画像データ復号化部１０から出力される８×８画素ブロックのクロマ信号の画像データを示している。クロマ信号の画素ブロックは、画素ブロックＢ０，Ｂ１，Ｂ２，…の順番で画像データ復号化部１０から出力される。この画素ブロックのそれぞれの画像データＳ１（図４（Ｂ））は、画像データＣ１０，Ｃ１１，…，Ｃ１６３，Ｃ２０，Ｃ２１，…の順に、クロック信号ＣＬＫ（図４（Ａ））に同期して出力される。
【００９１】
画像データ復号化部１０から出力される画像データＳ１は、フリップフロップＦＦ１を介して、第１の画像データ生成部２１Ａに順次入力される。入力された画像データＳ２（図４（Ｃ））は、クロック信号ＣＬＫに同期して、フリップフロップＦＦ２に保持される。フリップフロップＦＦ２に保持された画像データＳ３（図４（Ｄ））と、これに続いて第１の画像データ生成部２１Ａに入力された画像データＳ２（図４（Ｃ））とが、加算部ＡＤ１において加算され、この加算結果に乗算部ＭＬにおいて係数１／２が乗ぜられる。結果として、画像データ復号化部１０から出力される連続した２つの画像データ（Ｓ３，Ｓ２）にそれぞれ係数１／２の重み付けを与えて合成された画像データが、乗算部ＭＬ１から出力される。乗算部ＭＬ１から出力されるこの合成された画像データはセレクタＳＬ１において選択され、画像データＳ３０として第１の画像データ生成部２１Ａから出力される。
【００９２】
第１の画像データ生成部２１Ａから出力される画像データＳ３０は、制御部ＣＯＮＴ１から出力されるイネーブル信号ｉｎ−ｅｎ１がローレベルになる場合、すなわちクロック信号ＣＬＫ（図４Ａ）の２サイクルごとに、フリップフロップＦＦ３を介して第２の画像データ生成部２２Ａに入力される。したがって、第２の画像データ生成部２２Ａに入力されるこの画像データＳ４（図４（Ｅ））は、画像データ復号化部１０から出力される８×８画素ブロックの同一水平ライン上に隣接して並ぶ１×２画素の小画素ブロック（第１の実施形態において述べた第１の小画素ブロックに相当する）に対応して生成された画像データとなる。
【００９３】
図３（Ｂ）に示す画素ブロックＢ３〜Ｂ５は、図３（Ａ）における８×８画素の画素ブロックＢ０〜Ｂ２が第１の画像データ生成部２１Ａにおいて８×４画素に変換された画素ブロックである。この画素ブロックＢ３〜Ｂ５の各画像データが、第２の画像データ生成部２２Ａに入力される画像データＳ４に相当する。
たとえば図３（Ａ）に示すように、画素ブロックＢ１の画像データＣ１０およびＣ１１は、１×２画素の小画素ブロックＭＢ１０を構成する。小画素ブロックＭＢ１０が第１の画像データ生成部２１Ａにおいて合成されることにより、画素ブロックＢ４の画像データＣ４０（図３（Ｂ））が生成される。この画像データＣ４０は、図４のタイミングチャートに示す時刻ｔ１１においてフリップフロップＦＦ３に保持される（図４（Ｅ））。
また図３（Ａ）に示すように、画素ブロックＢ１の画像データＣ１２およびＣ１３は、小画素ブロックＭＢ１１を構成している。小画素ブロックＭＢ１１が第１の画像データ生成部２１Ａにおいて合成されることにより、画素ブロックＢ４の画像データＣ４１（図３（Ｂ））が生成される。この画像データＣ４１は、図４のタイミングチャートに示す時刻ｔ１２においてフリップフロップＦＦ３に保持される（図４（Ｅ））。
【００９４】
第２の画像データ生成部２２Ａに入力された画像データＳ４（図４（Ｅ））は、クロック信号ＣＬＫの２サイクルごとに画像データＳ５（図４（Ｆ））としてフリップフロップＦＦ４に保持される。画像データＳ５は、さらにクロック信号ＣＬＫの２サイクルごとに画像データＳ６（図４（Ｇ））としてフリップフロップＦＦ５に保持される。フリップフロップＦＦ５およびＦＦ４に保持された画像データＳ６およびＳ５と、これに続いて第２の画像データ生成部２２Ａに入力される画像データＳ４には、それぞれ入力順序に応じた所定の重み付けが与えられる。すなわち、画像データＳ６には乗算部ＭＬ４において重み係数１／４が乗ぜられ、画像データＳ５には乗算部ＭＬ３において重み係数１／２が乗ぜられ、画像データＳ４には乗算部ＭＬ２において重み係数１／４が乗ぜられる。こうして重み付けが与えられた画像データは、加算部ＡＤ２において加算されて、画像データＳ８（図４（Ｋ））として第２の画像データ生成部２２Ａから出力される。結果として、第２の画像データ生成部２２Ａに入力される連続した３つの画像データに、それぞれ入力順序に応じた所定の重み付けが与えられて合成される。この合成された画像データが、画像データＳ８として、クロック信号ＣＬＫの２サイクルごとに第２の画像データ生成部２２Ａから出力される。
【００９５】
画像データＳ８は、制御部ＣＯＮＴ１から出力されるイネーブル信号ｏｕｔ−ｅｎ（図４（Ｌ））がハイレベルの場合、すなわち、クロック信号ＣＬＫの４サイクルごとに、有効な画像データとして画素ブロック記憶部４０に記憶される。したがって、画素ブロック記憶部４０に記憶される画像データＳ８（図４（Ｋ））は、第１の画像データ生成部２１Ａから入力した８×４画素ブロックにおいて、両端の１画素が互いに重なるように水平ライン上で隣接して配列された１×３画素の小画素ブロック（第２の小画素ブロック）ごとに合成された画像データとなる。
【００９６】
図３（Ｃ）に示す画素ブロックＢ６およびＢ７は、図３（Ｂ）における８×４画素の画素ブロックＢ４およびＢ５が第２の画像データ生成部２２Ａにおいて８×２画素に変換された画素ブロックである。この画素ブロックＢ６およびＢ７の各画像データが、画素ブロック記憶部４０に記憶される画像データＳ８に相当する。
たとえば図３（Ｂ）に示すように、画素ブロックＢ４における画像データＣ４１〜Ｃ４３は、１×３画素の小画素ブロックＭＢ４１を構成する。この小画素ブロックＭＢ４１が第２の画像データ生成部２２Ａにおいて合成されることにより、画素ブロックＢ６の画像データＣ６１（図３（Ｃ））が生成される。この画像データＣ６１は、図４のタイミングチャートに示す時刻ｔ１４において第２の画像データ生成部２２Ａから出力される（図４（Ｋ））。
【００９７】
一方、境界データ記憶部３０ＡのレジスタＲＥＧ１およびＲＥＧ２には、第１の画像データ生成部２１Ａから出力される画像データＳ３０のうち、第２の画像データ生成部２２Ａに入力される８×４画素ブロックの所定の境界領域に含まれる画像データが、順次シフトされながら８画素分保持される。
【００９８】
図３（Ｂ）において、８×４画素ブロックの右端における８×１画素ブロックの領域Ｌ０〜Ｌ２が、上述した境界領域に相当する。第１の画像データ生成部２１Ａから出力される画像データＳ３０がこの境界領域に含まれる場合、クロマ信号の種類（Ｃｒ，Ｃｂ）に対応したイネーブル信号ｘｃｂ−ｅｎまたはｘｃｒ−ｅｎが制御部ＣＯＮＴ１によってローレベルに設定され、第１の画像データ生成部２１Ａから出力される画像データＳ３０がレジスタＲＥＧ１またはＲＥＧ２に保持される。
【００９９】
たとえば図４に示すタイミングチャートの時刻ｔ１２において、境界データ記憶部３０ＡのレジスタＲＥＧ２には、画素ブロックＢ３の画像データＣ３３，Ｃ３７，Ｃ３１１，Ｃ３１５，Ｃ３１９，Ｃ３２３，Ｃ３２７およびＣ３３１が保持されている。この８個の画像データのうち、最初に保持された画像データＣ３３が画像データＳ７（図４（Ｈ））として第２の画像データ生成部２２Ａに出力されている。
時刻ｔ１３において、画素ブロックＢ１の画像データＣ１６およびＣ１７が合成され、この合成によって境界領域Ｌ１に含まれる画像データＣ４３が生成されると、生成された画像データＣ４３は、画像データＳ３０として第１の画像データ生成部２１Ａから出力される。このクロック・サイクルにおいて、制御部ＣＯＮＴ１によりイネーブル信号ｘｃｒ−ｅｎがローレベルに設定される。
【０１００】
イネーブル信号ｘｃｒ−ｅｎがローレベルに設定されると、次のクロック・サイクルの時刻ｔ１４において、画像データＳ３０として出力された画像データＣ４３が画像データＣ３３に代わって新たにレジスタＲＥＧ２に保持される（図４（Ｅ））。また、これとともに、レジスタＲＥＧ２おいてデータのシフトが行われ、画像データＣ３３の次に保持されていた画像データＣ３７が新たにレジスタＲＥＧ２から出力される。結果として、レジスタＲＥＧ２には、画素ブロックＢ３の画像データＣ３７，Ｃ３１１，Ｃ３１５，Ｃ３１９，Ｃ３２３，Ｃ３２７およびＣ３３１と、画素ブロックＢ４の画像データＣ４３とが保持される。
このようにして、レジスタＲＧ１およびＲＥＧ２には、境界領域の画像データが順次シフトされながら保持される。
【０１０１】
第２の画像データ生成部２２Ａに入力中の８×４画素ブロックに対して左隣の８×４画素ブロック、すなわち、入力中の８×４画素ブロックの直前に入力された８×４画素ブロックの上述した境界領域に、合成対象となっている１×３画素の小画素ブロックにおける左端の画素が含まれる場合、当該左端の画素に対応する画像データとして、レジスタＲＥＧ１またはＲＥＧ２から出力される画像データＳ７が、画像データＳ６の代わりに、画像データＳ４およびＳ５との合成に用いられる。
すなわちこの場合、画像データＳ４およびＳ５に対応する２つの画素と、画像データＳ６に対応する１つの画素とは異なる水平ライン上に離れて位置するため、これらの画像データが合成された場合は不適切な画像データＳ８が生成される。これに対し、画像データＳ４およびＳ５に対応する２つの画素と、画像データＳ７に対応する境界領域の画素とは同一の水平ライン上に位置しており、１×３画素の小画素ブロックを構成する。イネーブル信号ｂｌｋ−ｌｅｆｔは、このタイミングにおいて制御部ＣＯＮＴ１によりハイレベルに設定され、セレクタＳＬ３により画像データＳ７が選択されて、選択された画像データＳ７が画像データＳ８の生成に用いられる。
【０１０２】
たとえば、図４の時刻ｔ１２において、画像データＳ４およびＳ５として画像データＣ４１およびＣ４０がフリップフロップＦＦ３およびＦＦ４に保持され、画像データＳ６として画像データＣ３３１が、フリップフロップＦＦ５に保持されている。図３（Ｂ）に示すように、画像データＣ４１およびＣ４０に対応する２つの画素と、画像データＣ３３１に対応する１つの画素とは異なる水平ライン上に離れて位置している。これに対し、画像データＳ７として境界データ記憶部３０Ａから出力される画像データＣ３３の画素は、画像データＣ４０およびＣ４１に対応する画素と同一の水平ライン上に位置しており、１×３画素の小画素ブロックＭＢ４０を構成する。このタイミングにおいて、イネーブル信号ｂｌｋ−ｌｅｆｔはハイレベルに設定される。これにより、フリップフロップＦＦ５に保持された画像データＣ３３１の代わりに境界データ記憶部３０Ａから出力される画像データＣ３３がセレクタＳＬ３において選択され、乗算部ＭＬ４において重み係数１／４を乗ぜられて、加算部ＡＤ２に入力される。結果として、小画素ブロックＭＢ４０を構成する画像データＣ４１、Ｃ４０、およびＣ３３が合成され、画像データＣ６０として第２の画像データ生成部２２Ａから出力される。
【０１０３】
／／ＹＣｒＣｂ比（４：２：２）から（４：１：１）への変換処理／／
図５は、画像データ復号化部１０から出力されるＹＣｒＣｂ比（４：２：２）の画像データＳ１をＹＣｒＣｂ比（４：１：１）の画像データＳ８へ変換するクロマ信号補間処理の概要を図解した図である。
図６は、ＹＣｒＣｂ比（４：２：２）からＹＣｒＣｂ比（４：１：１）への変換処理が行われる場合における、図２のブロック図に示した各信号の値とタイミング関係の一例を示すタイミングチャートである。
【０１０４】
図５（Ａ）に示す画素ブロックＢ８およびＢ９は、画像データ復号化部１０から出力される８×８画素ブロックのクロマ信号の画像データを示している。クロマ信号の画素ブロックは、画素ブロックＢ８，Ｂ９，…の順番で画像データ復号化部１０から出力される。この画素ブロックのそれぞれの画像データＳ１は、画像データＣ８０，Ｃ８１，…，Ｃ８６３，Ｃ９０，Ｃ９１，…の順に、クロック信号ＣＬＫ（図６（Ａ））に同期して出力される。
【０１０５】
画像データ復号化部１０から出力される画像データＳ１は、クロック信号ＣＬＫに同期して、フリップフロップＦＦ１、フリップフロップＦＦ２の順に保持された後、セレクタＳＬ１を介し、そのまま画像データＳ３０（図６（Ｂ））として出力される。すなわち、第１の画像データ生成部２１Ａにおいて画像データの合成処理は行われず、入力された画像データＳ１がそのまま画像データＳ３０として出力される。
【０１０６】
ＹＣｒＣｂ比（４：２：２）からＹＣｒＣｂ比（４：１：１）への変換処理が行われる場合においてイネーブル信号ｉｎ−ｅｎ１はローレベルに設定されるため、フリップフロップＦＦ３〜ＦＦ５においては、クロック信号ＣＬＫの各サイクルで入力データの保持動作が行われる。すなわち、第１の画像データ生成部２１Ａから出力される画像データＳ３０は、クロック信号ＣＬＫに同期して、第２の画像データ生成部２２ＡのフリップフロップＦＦ３〜ＦＦ５に順次保持される。
【０１０７】
フリップフロップＦＦ５およびＦＦ４に保持された画像データＳ６（図６（Ｅ））および画像データＳ５（図６（Ｄ））と、これに続いて第２の画像データ生成部２２Ａに入力される画像データＳ４（図６（Ｃ））には、それぞれ入力順序に応じた所定の重み付けが与えられる。すなわち、画像データＳ６、Ｓ５、Ｓ４には、乗算部ＭＬ４、ＭＬ３、ＭＬ２において重み係数１／４、１／２、１／４が乗ぜられる。こうして重み付けが与えられた画像データは、加算部ＡＤ２において加算されて、画像データＳ８（図６（Ｉ））として第２の画像データ生成部２２Ａから出力される。結果として、画像データ復号化部１０から出力される連続した３つの画像データに、それぞれ入力順序に応じた所定の重み付けが与えられて合成される。この合成された画像データが、画像データＳ８として、第２の画像データ生成部２２Ａから出力される。
【０１０８】
画像データＳ８は、制御部ＣＯＮＴ１から出力されるイネーブル信号ｏｕｔ−ｅｎ（図６（Ｊ））がハイレベルの場合、すなわち、クロック信号ＣＬＫの２サイクルごとに、有効な画像データとして画素ブロック記憶部４０に記憶される。したがって、画素ブロック記憶部４０に記憶される画像データＳ８（図６（Ｉ））は、画像データ復号化部１０から出力される８×８画素ブロックにおいて、両端の１画素が互いに重なるように水平ライン上で隣接して配列された１×３画素の小画素ブロックごとに合成された画像データとなる。
【０１０９】
図５（Ｂ）に示す画素ブロックＢ１０は、図５（Ａ）における８×８画素の画素ブロックＢ９が第２の画像データ生成部２２Ａにおいて８×４画素に変換された画素ブロックである。この画素ブロックＢ１０の各画像データが、画素ブロック記憶部４０に記憶される画像データＳ８に相当する。
たとえば図５（Ａ）に示すように、画素ブロックＢ９における画像データＣ９１〜Ｃ９３は、１×３画素の小画素ブロックＭＢ９１を構成する。この小画素ブロックＭＢ９１が第２の画像データ生成部２２Ａにおいて合成されることにより、画素ブロックＢ１０の画像データＣ１０１（図５（Ｂ））が生成される。この画像データＣ１０１は、図６のタイミングチャートに示す時刻ｔ２２において第２の画像データ生成部２２Ａから出力される（図６（Ｉ））。
【０１１０】
一方、境界データ記憶部３０ＡのレジスタＲＥＧ１およびＲＥＧ２には、第１の画像データ生成部２１Ａから出力される８×８画素ブロックの画像データＳ３０のうち、この８×８画素ブロック中における所定の境界領域に含まれる画像データが、順次シフトされながら８画素分保持される。
【０１１１】
図５（Ａ）において、８×８画素ブロックの右端における８×１画素ブロックの領域Ｌ８およびＬ９が、上述した境界領域に相当する。第１の画像データ生成部２１Ａから出力される画像データＳ３０がこの境界領域に含まれる場合、クロマ信号の種類（Ｃｒ，Ｃｂ）に対応したイネーブル信号ｘｃｂ−ｅｎまたはｘｃｒ−ｅｎが制御部ＣＯＮＴ１によってローレベルに設定され、第１の画像データ生成部２１Ａから出力される画像データＳ３０がレジスタＲＥＧ１またはＲＥＧ２に保持される。
【０１１２】
たとえば図４に示すタイミングチャートの時刻ｔ２３において、境界データ記憶部３０ＡのレジスタＲＥＧ２には、画素ブロックＢ８の画像データＣ８７，Ｃ８１５，Ｃ８２３，Ｃ８３１，Ｃ８３９，Ｃ８４７，Ｃ８５５およびＣ８６３が保持されている。この８個の画像データのうち、最初に保持された画像データＣ８７が画像データＳ７として第２の画像データ生成部２２Ａに出力されている。
この時刻ｔ２３において、境界領域Ｌ９に含まれる画像データＣ９７が画像データＳ３０（図６（Ｂ））として第１の画像データ生成部２１Ａから出力されると、イネーブル信号ｘｃｒ−ｅｎが制御部ＣＯＮＴ１によってローレベルに設定される（図６（Ｈ））。
【０１１３】
イネーブル信号ｘｃｒ−ｅｎがローレベルに設定されると、次のクロック・サイクルの時刻ｔ２４において、画像データＳ３０として出力された画像データＣ９７が画像データＣ８７に代わって新たにレジスタＲＥＧ２に保持される。また、これとともに、レジスタＲＥＧ２おいてデータのシフトが行われ、画像データＣ８７の次に保持されていた画像データＣ８１５が新たにレジスタＲＥＧ２から出力される。結果として、レジスタＲＥＧ２には、画素ブロックＢ８の画像データＣ８１５，Ｃ８２３，Ｃ８３１，Ｃ８３９，Ｃ８４７，Ｃ８５５およびＣ８６３と、画素ブロックＢ９の画像データＣ９７とが保持される。
このようにして、レジスタＲＧ１およびＲＥＧ２には、境界領域の画像データが順次シフトされながら保持される。
【０１１４】
レジスタＲＥＧ１，ＲＥＧ２からシフト動作によって出力される画像データＳ７は、第２の画像データ生成部２２Ａに入力中の８×８画素ブロックに対して左隣の８×８画素ブロック、すなわち、入力中の８×８画素ブロックの直前に入力された８×８画素ブロックの上述した境界領域に、合成対象となっている１×３画素の小画素ブロックにおける左端の画素が含まれる場合において、当該左端の画素に対応する画像データとして、画像データＳ６の代わりに画像データＳ４およびＳ５との合成に用いられる。
【０１１５】
たとえば、図６の時刻ｔ２１において、画像データＳ４およびＳ５として画像データＣ９１およびＣ９０がフリップフロップＦＦ３およびＦＦ４に保持され、画像データＳ６として画像データＣ８６３が、フリップフロップＦＦ５に保持されている。図５（Ａ）に示すように、画像データＣ９１およびＣ９０に対応する２つの画素と、画像データＣ８６３に対応する１つの画素とは異なる水平ライン上に離れて位置している。これに対し、画像データＳ７として境界データ記憶部３０Ａから出力される画像データＣ８７は、画像データＣ９０およびＣ９１と同一の水平ライン上に位置しており、１×３画素の小画素ブロックＭＢ９０を構成する。このタイミングにおいて、イネーブル信号ｂｌｋ−ｌｅｆｔはハイレベルに設定される。これにより、フリップフロップＦＦ５に保持された画像データＣ８６３の代わりに境界データ記憶部３０から出力される画像データＣ８７がセレクタＳＬ３において選択され、乗算部ＭＬ４において重み係数１／４を乗ぜられて、加算部ＡＤ２に入力される。結果として、小画素ブロックＭＢ９０を構成する画像データＣ８７、Ｃ９０、およびＣ９１が合成され、画像データＣ１００として第２の画像データ生成部２２Ａから出力される。
【０１１６】
以上説明したように、図２に示す第１の画像データ生成部２１Ａ、第２の画像データ生成部２２Ａおよび境界データ記憶部３０Ａを含んだ画像データ処理装置によれば、図１に示す画像データ処理装置と同様に、画像データ復号化部１０から画素ブロック単位で出力される画像データの数が、第１の画像データ生成部２１Ａおよび第２の画像データ生成部２２Ａにおいて２段階に分けて変換される。したがって、各段階における画像データ数の変換比が小さくなり、回路構成を簡略化することができる。また、画像データの合成単位としての小画素ブロックを小さくすることができるので、小画素ブロックを隣接した画素ブロック間にまたがらないように設定することが容易になる。これにより、境界領域の画像データを記憶するための記憶装置を簡略化することが可能になる。
【０１１７】
第１の画像データ生成部２１Ａにおける画像データ数の変換処理を有効化または無効化することによって、２種類の変換比による画像データ数の変換をおこなうことができる。この場合、第２の画像データ生成部２２Ａにおける画像データ数の変換処理が２つの変換比を実現するために共用されるので、異なる変換比で画像データ数の変換をおこなう２つの画像データ処理装置を個別に設ける方法に比べて回路構成を簡略化することができる。
【０１１８】
境界データ記憶部３０Ａにシフト動作を行うレジスタが用いられており、境界領域に含まれる画像データがこのレジスタに順次保持され、保持された画像データがレジスタ中を順次シフトされ、適切なタイミングで第２の画像データ生成部２２Ａに供給されて、画像データの合成に用いられるので、境界データ記憶部３０Ａから画像データを読み出すための特別な処理が必要なく、回路を簡略化できる。
【０１１９】
制御部ＣＯＮＴ１において生成される選択信号（ｂｌｋ−ｌｅｆｔ、ａｒｅａ−ｃｒ）やイネーブル信号（ｘｃｂ−ｅｎ、ｘｃｒ−ｅｎ、ｉｎ−ｅｎ１、ｏｕｔ−ｅｎ）は、画像データ復号化部１０から出力される画像データの１ＭＣＵのブロック内において一定のタイミングを有しており、１ＭＣＵの画像データが繰り返し出力されるたびに、同一タイミングの選択信号やイネーブル信号が制御部ＣＯＮＴ１において生成される。
したがって、たとえば、画像データ復号化部１０から出力されるＭＣＵの画像データの先頭において初期化され、画像データが出力されるたびに計数を行うカウンタと、このカウンタの計数値に応じた選択信号（ｂｌｋ−ｌｅｆｔ、ａｒｅａ−ｃｒ）、イネーブル信号（ｘｃｂ−ｅｎ、ｘｃｒ−ｅｎ、ｉｎ−ｅｎ１、ｏｕｔ−ｅｎ）を生成するデコード回路とを制御部ＣＯＮＴ１に設けることにより、これらの信号を簡単に生成することができる。
【０１２０】
＜第３の実施形態＞
次に、本発明の第３の実施形態について述べる。
上述した第１および第２の実施形態に係る画像データ処理装置では、所定の画素ブロック単位で入力される画像データに対して画像データ数の変換処理が行われる。これに対し、第３の実施形態に係る画像データ処理装置では、フレームメモリ等から入力した画像データに対して画像データ数の変換処理が行われ、変換された画像データが所定の画素ブロック単位で出力される。
【０１２１】
図７は、本発明の第３の実施形態に係る画像データ処理装置の構成の一例を示すブロック図である。
図７に示す画像データ処理装置は、フレームメモリ５０と、画素ブロック記憶部６０と、境界データ記憶部７０と、画像データ生成部８１と、画像データ生成部８２と、セレクタＳＬ４と、画像データ符号化部９０とを有する。ただし、図７と図１の同一符号は同一の構成要素を示す。
フレームメモリ５０は、本発明の第３の観点におけるフレーム画像記憶手段の一実施形態である。
画素ブロック記憶部６０は、本発明の第３の観点における画素ブロック記憶手段の一実施形態である。
境界データ記憶部７０は、本発明の第３の観点における境界データ記憶手段の一実施形態である。
画像データ生成部８１および画像データ生成部８２は、本発明の第３の観点における複数の画像データ生成手段の一実施形態である。
セレクタＳＬ４は、本発明の第３の観点における選択手段の一実施形態である。
画像データ符号化部９０は、本発明の第３の観点における画像データ符号化手段の一実施形態である。
【０１２２】
（画素ブロック記憶部６０）
画素ブロック記憶部６０は、フレームメモリ５０に記憶された元画像の各画素に対応する画像データを、設定された画像データ数の変換比に応じた所定の画素ブロックごとに読み出して記憶する。
【０１２３】
たとえば、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換を行うように変換比が設定された場合、クロマ信号ＣｒおよびＣｂの画像データを８×２画素ブロックごとにフレームメモリ５０から読み出して記憶する。
また、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換を行うように変換比が設定された場合、クロマ信号ＣｒおよびＣｂの画像データを８×４画素ブロックごとにフレームメモリ５０から読み出して記憶する。
【０１２４】
この画素ブロック記憶部６０は、たとえば、書き込み用と読み出し用のメモリを別に設けた２バンクの構成にすることができる。２バンク構成にすることで、書き込み用のメモリと読み出し用のメモリを交互に切り換えて、フレームメモリ５０から読み出した画像データの書き込みと、画像データ生成部８１または画像データ生成部８２への画像データの読み出しとを同時に行うことができる。
【０１２５】
（画像データ生成部８１および８２）
画像データ生成部８１および８２は、画素ブロック記憶部６０に記憶された画像データを読み出し、読み出した画像データをそれぞれ所定の小画素ブロックごとに合成して、小画素ブロックごとに１つまたは複数の画像データを生成する。
【０１２６】
たとえば、画像データ生成部８１は、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換を行うように変換比が設定された場合において、画素ブロック記憶部６０に記憶された８×２画素ブロックの画像データを順次読み出す。この場合、小画素ブロックは、たとえば、両端の１画素が互いに重なるようにして元画像の水平ライン上に配列された１×２画素の画素ブロックとして設定される。画像データ生成部８１は、順次読み出した画像データを、この小画素ブロックごとに４種類の所定の重み付け方法によって合成し、各小画素ブロックに対応した４画素分の画像データを生成する。これにより、画素ブロック記憶部６０に記憶された８×２画素ブロックの画像データは、８×８画素ブロックの画像データに変換され、画像データ数が４倍に拡張される。
【０１２７】
また、たとえば、画像データ生成部８２は、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換を行うように変換比が設定された場合において、画素ブロック記憶部６０に記憶された８×４画素ブロックの画像データを順次読み出す。この場合、小画素ブロックは、たとえば、両端の１画素が互いに重なるようにして元画像の水平ライン上に配列された１×２画素の画素ブロックとして設定される。画像データ生成部８２は、順次読み出した画像データを、この小画素ブロックごとに２種類の所定の重み付け方法によって合成し、各小画素ブロックに対応した２画素分の画像データを生成する。これにより、画素ブロック記憶部６０に記憶された８×４画素ブロックの画像データは、８×８画素ブロックの画像データに変換され、画像データ数が２倍に拡張される。
【０１２８】
ただし、画像データ生成部８１および８２は、小画素ブロックの一部の画素が、画素ブロック記憶部６０から読み出し中の画素ブロックに隣接する別の画素ブロックの所定の境界領域に含まれる場合は、後述する境界データ記憶部７０に記憶された当該一部の画素の画像データと、画素ブロック記憶部６０から読み出した当該小画素ブロックの残りの画素の画像データとを合成して、当該小画素ブロックに対応した１つまたは複数の画像データを生成する。
【０１２９】
たとえば、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換を行うように変換比が設定された場合において、画素ブロック記憶部６０に記憶された８×２画素ブロックの左側に詰めて１×２画素の小画素ブロックが配列されるものとすると、８×２画素ブロックの水平ライン上に配列される２つの小画素ブロックのうち、右側に位置する小画素ブロックは、その右端の１画素が画素ブロック記憶部６０から読み出し中の８×２画素ブロックには含まれておらず、右隣の８×２画素ブロックにおける左端の８×１画素の領域に含まれる。この場合、上述した境界領域は、この左端の８×１画素の領域に相当する。
画像データ生成部８１は、８×２画素ブロックの右側に位置する１×２画素の小画素ブロックを合成する際に、当該小画素ブロックの右端の１画素の画像データを境界データ記憶部７０から読み出す。そして、この境界データ記憶部７０から読み出した画像データと、画素ブロック記憶部６０から読み出した当該小画素ブロックの残りの１画素の画像データとを合成して、当該小画素ブロックに対応した４画素分の画像データを生成する。
【０１３０】
また、たとえば、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換を行うように変換比が設定された場合において、画素ブロック記憶部６０に記憶された８×４画素ブロックの左側に詰めて１×２画素の小画素ブロックが配列されるものとすると、８×４画素ブロックの水平ライン上に配列される４つの小画素ブロックのうち、右端に位置する小画素ブロックは、その右端の１画素が画素ブロック記憶部６０から読み出し中の８×４画素ブロックに含まれておらず、右隣の８×４画素ブロックにおける左端の８×１画素の領域に含まれる。この例において、上述した境界領域は、８×４画素ブロックにおける左端の８×１画素の領域に相当する。
画像データ生成部８２は、８×４画素ブロックの最も右側に位置する１×２画素の小画素ブロックを合成する際に、当該小画素ブロックの右端の１画素の画像データを境界データ記憶部７０から読み出す。そして、この境界データ記憶部７０から読み出した画像データと、画素ブロック記憶部６０から読み出した当該小画素ブロックの残りの１画素の画像データとを合成して、当該小画素ブロックに対応した４画素分の画像データを生成する。
【０１３１】
（境界データ記憶部７０）
境界データ記憶部７０は、画像データ生成部８１または画像データ生成部８２によって画素ブロック記憶部６０から次に読み出される画素ブロックに隣接する別の画素ブロックか、または、これらの画像データ生成部によって画素ブロック記憶部６０から読み出し中の画素ブロックに隣接する別の画素ブロックであって、設定された画像データ数の変換比に応じた所定の境界領域に含まれる画像データを、フレームメモリ５０から読み出して記憶する。
境界データ記憶部７０によるフレームメモリ５０からの画像データの読み出しは、画素ブロック記憶部６０においてフレームメモリ５０からの画像データの読み出しが行われる場合に行われる。
【０１３２】
たとえば、画素ブロック記憶部６０が上述した２バンク構成を有している場合、画素ブロック記憶部６０は、画像データ生成部８１または８２へ画像データを読み出しながら、フレームメモリ５０から画像データを読み込んで記憶することが可能である。この場合、画素ブロック記憶部６０によってフレームメモリ５０から読み出される画像データは、次に画素ブロック記憶部６０から画像データ生成部８１または８２へ供給される画像データである。境界データ記憶部７０は、このフレームメモリ５０から読み出される画像データのうち、所定の境界領域に含まれる画像データを随時取り込んで記憶することができる。
ただしこの場合、画像データ生成部８１または８２によって境界データ記憶部７０の画像データが読み出される前に、この読み出される画像データが境界データ記憶部７０に予め記憶されるように、画素ブロック記憶部６０における書き込みと読み出しのタイミングを適切に設定する必要がある。
【０１３３】
一方、画素ブロック記憶部６０が上述した２バンク構成を有していない場合、境界データ記憶部７０は、画素ブロック記憶部６０によってフレームメモリ５０からの画像データの読み出しが行われる際に、この読み出される画像データの画素ブロックに隣接する境界領域の画像データも共に読み出す。
【０１３４】
（セレクタＳＬ４）
セレクタＳＬ４は、画像データ生成部８１または画像データ生成部８２のうち、設定された画像データ数の変換比に応じて選択した画像データ生成部の画像データを出力する。
たとえば、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換が行われる場合、画像データ生成部８１において生成された画像データを選択して出力し、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換が行われる場合、画像データ生成部８２において生成された画像データを選択して出力する。
【０１３５】
（画像データ復号化部９０）
画像データ復号化部９０は、画素ブロック記憶部６０に記憶される画素ブロックの画像データに対応してセレクタＳＬ４から出力される画像データのブロックを含んだ所定数の画像データのブロックを単位として、ＪＰＥＧ方式等の画像データの符号化処理を行う。
【０１３６】
たとえば、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換が行われる場合、画素ブロック記憶部６０に記憶される８×２画素ブロックのクロマ信号に対応してセレクタＳＬ４から出力される８×８画素ブロックのクロマ信号と、フレームメモリ５０から別に読み出した１つの８×８画素ブロックの輝度信号とを合わせた、ＹＣｒＣｂ比（４：４：４）形式の１ＭＣＵ分の画像データ（図２０参照）を単位として、ＪＰＥＧ方式の符号化処理を行う。
また、たとえば、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換が行われる場合、画素ブロック記憶部６０に記憶される８×４画素ブロックのクロマ信号に対応してセレクタＳＬ４から出力される８×８画素ブロックのクロマ信号と、フレームメモリ５０から別に読み出した２つの８×８画素ブロックの輝度信号とを合わせた、ＹＣｒＣｂ比（４：２：２）形式の１ＭＣＵ分の画像データ（図２１参照）を単位として、ＪＰＥＧ方式の符号化処理を行う。
【０１３７】
ここで、上述した構成を有する、図７に示した画像データ処理装置の動作を説明する。
【０１３８】
フレームメモリ５０に記憶された元画像の各画素に対応する画像データが、設定された画像データ数の変換比に応じた所定の画素ブロックごとに画素ブロック記憶部６０へ読み出されて記憶される。
たとえば、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換が行われる場合は８×２画素ブロックごとに、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換が行われる場合は８×４画素ブロックごとに、クロマ信号ＣｒおよびＣｂの画像データがフレームメモリ５０から読み出されて画素ブロック記憶部６０に記憶される。
【０１３９】
画素ブロック記憶部６０に記憶された画像データは、画像データ生成部８１または画像データ生成部８２によって順次読み出され、読み出された画像データがそれぞれ所定の小画素ブロックごとに合成されて、小画素ブロックごとに１つまたは複数の画像データが生成される。
【０１４０】
たとえば、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換が行われる場合、画素ブロック記憶部６０に記憶された８×２画素ブロックの画像データが画像データ生成部８１において順次読み出される。読み出された画像データは、両端の１画素が互いに重なるようにして元画像の水平ライン上に配列された１×２画素の小画素ブロックごとに、４種類の所定の重み付け方法によって合成される。これにより、各小画素ブロックに対応した４画素分の画像データが生成される。結果として、画素ブロック記憶部６０に記憶された８×２画素ブロックの画像データは８×８画素ブロックの画像データに変換され、画像データ数が４倍に拡張される。
【０１４１】
たとえば、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換が行われる場合、画素ブロック記憶部６０に記憶された８×４画素ブロックの画像データが画像データ生成部８２において順次読み出される。読み出された画像データは、両端の１画素が互いに重なるようにして元画像の水平ライン上に配列された１×２画素の小画素ブロックごとに、２種類の所定の重み付け方法によって合成される。これにより、各小画素ブロックに対応した２画素分の画像データが生成される。結果として、画素ブロック記憶部６０に記憶された８×４画素ブロックの画像データは８×８画素ブロックの画像データに変換され、画像データ数が２倍に拡張される。
【０１４２】
ただし、小画素ブロックの一部の画素が、画素ブロック記憶部６０から読み出し中の画素ブロックに隣接する別の画素ブロックの所定の境界領域に含まれる場合、画像データ生成部８１および画像データ生成部８２では、境界データ記憶部７０に記憶された当該一部の画素の画像データが読み出される。そして、この境界データ記憶部７０から読み出された画像データと、画素ブロック記憶部６０から読み出された当該小画素ブロックの残りの画素の画像データとが合成される。これにより、当該小画素ブロックに対応した１つまたは複数の画像データを生成する。
【０１４３】
たとえば、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換が行われる場合、画素ブロック記憶部６０に記憶された８×２画素ブロックの左側に詰めて１×２画素の小画素ブロックが配列されるものとすると、画像データ生成部８１では、８×２画素ブロックの右側に位置する小画素ブロックが合成される際に、当該小画素ブロックの右端の１画素の画像データが境界データ記憶部７０から読み出される。そして、境界データ記憶部７０から読み出されたこの１画素の画像データと、画素ブロック記憶部６０から読み出された当該小画素ブロックの残りの１画素の画像データとが４種類の重み付け方法で合成されて、当該小画素ブロックに対応した４画素分の画像データが生成される。
【０１４４】
たとえば、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換が行われる場合、画素ブロック記憶部６０に記憶された８×４画素ブロックの左側に詰めて１×２画素の小画素ブロックが配列されるものとすると、画像データ生成部８２では、８×４画素ブロックの最も右側に位置する小画素ブロックが合成される際に、当該小画素ブロックの右端の１画素の画像データが境界データ記憶部７０から読み出される。そして、境界データ記憶部７０から読み出されたこの１画素の画像データと、画素ブロック記憶部６０から読み出された当該小画素ブロックの残りの１画素の画像データとが２種類の重み付け方法で合成されて、当該小画素ブロックに対応した２画素分の画像データが生成される。
【０１４５】
境界データ記憶部７０では、画像データ生成部８１または画像データ生成部８２によって画素ブロック記憶部６０から次に読み出される画素ブロックに隣接する別の画素ブロックか、または、これらの画像データ生成部によって画素ブロック記憶部６０から読み出し中の画素ブロックに隣接する別の画素ブロックであって、設定された画像データ数の変換比に応じた所定の境界領域に含まれる画像データが、フレームメモリ５０から読み出されて記憶される。このフレームメモリ５０からの読み出し処理は、画素ブロック記憶部６０におけるフレームメモリ５０からの読み出し処理とともに行われる。
【０１４６】
たとえば、画素ブロック記憶部６０が上述した２バンク構成を有している場合において、画素ブロック記憶部６０から画像データ生成部８１または８２へ画像データが読み出されるとともに、フレームメモリ５０から画像データが読み出されて画素ブロック記憶部６０に書き込まれる。このフレームメモリ５０から読み出される画像データのうち、所定の境界領域に含まれる画像データが、境界データ記憶部７０に随時取り込まれて記憶される。
これにより、境界データ記憶部７０において、フレームメモリ５０から画像データを読み出すための回路を特別に設ける必要がなくなる。また、フレームメモリ５０からの画像データの読み出し処理が画素ブロック記憶部６０と共通化されるので、フレームメモリ５０に対するアクセス回数が削減される。
【０１４７】
たとえば、画素ブロック記憶部６０が上述した２バンク構成を有していない場合において、フレームメモリ５０から画素ブロック記憶部６０へ画像データが読み出される際に、読み出される画像データの画素ブロックに隣接する境界領域の画像データもこれとともに読み出され、境界データ記憶部７０に記憶される。
この場合、フレームメモリ５０から読み出される画像データのアドレスは、画素ブロック記憶部６０に書き込まれるデータと境界データ記憶部７０に書き込まれるデータとで互いに隣接している。また、フレームメモリ５０に対する読み出しアクセスは、画素ブロック記憶部６０と境界データ記憶部７０とで共通化される。したがって、画素ブロック記憶部６０と境界データ記憶部７０とにおいて、フレームメモリ５０から画像データを読み出すための回路を容易に共通化することが可能になる。
【０１４８】
セレクタＳＬ４では、画像データ生成部８１または画像データ生成部８２のうち、設定された画像データ数の変換比に応じて選択した画像データ生成部の画像データが出力される。
【０１４９】
画像データ復号化部９０では、画素ブロック記憶部６０に記憶される画素ブロックの画像データに対応してセレクタＳＬ４から出力される画像データのブロックを含んだ所定数の画像データのブロックを単位として、画像データの符号化処理が行われる。
たとえば、セレクタＳＬ４から出力される８×８画素ブロックのクロマ信号と、フレームメモリ５０から別に読み出された所定数の８×８画素ブロックの輝度信号とを合わせた１ＭＣＵ分の画像データを単位として、ＪＰＥＧ方式の符号化処理が行われる。
【０１５０】
以上説明したように、図７に示す画像データ処理装置によれば、それぞれ所定の変換比で画像データ数変換された画像データを生成する２つの画像データ生成部を用いて、２種類の変換比による画像データ数変換を行うことができる。
異なる変換比で画像データ数変換された画像データを生成する画像データ生成部さらに並列して設けることにより、２種類以上の変換比による画像データ数変換を行うことも可能である。
【０１５１】
また、複数の画像データ生成部において、画素ブロック記憶部６０および境界データ記憶部７０を共用することができるので、これらの構成を各画像データ生成部に対して個別に設ける方法に比べて、回路規模を削減することができる。
【０１５２】
＜第４の実施形態＞
次に、本発明の第４の実施形態について述べる。
第４の実施形態に係る画像データ処理装置は、たとえば、図７に示す画像データ処理装置と同等の構成を有する。ただし、図７に示す境界データ記憶部７０、画像データ生成部８１、および画像データ生成部８２は、次に述べる境界データ記憶部７０Ａ、画像データ生成部８１Ａ、および画像データ生成部８２Ａに置き換えられる。
【０１５３】
図８は、本発明の第４の実施形態に係る画像データ処理装置に含まれる画像データ生成部８１Ａおよび境界データ記憶部７０Ａの構成の一例を示すブロック図である。
【０１５４】
図８に示すように、画像データ生成部８１Ａは、フリップフロップＦＦ６〜ＦＦ９と、セレクタＳＬ６〜ＳＬ８と、加算部ＡＤ３〜ＡＤ５と、乗算部ＭＬ５とを有する。境界データ記憶部７０Ａは、レジスタＲＧ３およびＲＧ４と、セレクタＳＬ５とを有する。
フリップフロップＦＦ６〜ＦＦ９は、本発明の第３の観点におけるデータ保持手段の一実施形態である。
セレクタＳＬ６〜ＳＬ８と、加算部ＡＤ３〜ＡＤ５と、乗算部ＭＬ５とを含むユニットは、本発明の第３の観点におけるデータ合成手段の一実施形態である。
セレクタＳＬ６〜ＳＬ８を含むユニットは、本発明の第３の観点におけるデータ出力手段の一実施形態である。
加算部ＡＤ３〜ＡＤ５を含むユニットは、本発明の第３の観点における加算手段の一実施形態である。
【０１５５】
（画像データ生成部８１Ａ）
フリップフロップＦＦ６は、図示しない制御部によって画素ブロック記憶部６０から読み出された画像データＳ９を、クロック信号ＣＬＫに同期して保持する。
この制御部による画像データの読み出し周期は、画像データ生成部８１Ａに対して、クロック信号ＣＬＫの４倍の周期に設定される。すなわち、フリップフロップＦＦ６では、１の画像データＳ９が画素ブロック記憶部６０から読み出される度に、この読み出された画像データに対して４回のサンプリングが行われる。
【０１５６】
フリップフロップＦＦ７は、フリップフロップＦＦ６に保持された画像データを、クロック信号ＣＬＫに同期して保持する。
フリップフロップＦＦ８は、フリップフロップＦＦ７に保持された画像データを、クロック信号ＣＬＫに同期して保持する。
フリップフロップＦＦ９は、フリップフロップＦＦ８に保持された画像データを、クロック信号ＣＬＫに同期して保持する。
【０１５７】
セレクタＳＬ６は、図示しない制御部から出力される選択信号ｃｓｅｌ３がハイレベルの場合において、境界データ記憶部７０Ａから出力される画像データＳ１１を選択し、選択信号ｃｓｅｌ３がローレベルの場合には、フリップフロップＦＦ６に保持された画像データを選択し、選択した画像データを画像データＳ１２として出力する。
元画像の水平ライン上において、フリップフロップＦＦ７〜ＦＦ９に保持された画像データの画素と、フリップフロップＦＦ６に保持された画像データの画素とが隣接しない場合がある。この場合、境界データ記憶部７０Ａからは、フリップフロップＦＦ７〜ＦＦ９に保持された画像データの画素と隣接する所定の境界領域に含まれた画素の画像データＳ１１が出力されており、この隣接した２画素によって所定の１×２画素の小画素ブロックが構成される。この場合において、選択信号ｃｓｅｌ３はハイレベルに設定される。その他の場合、選択信号ｃｓｅｌ３はローレベルに設定される。
【０１５８】
セレクタＳＬ７は、図示しない制御部から出力される選択信号ｃｓｅｌ２がハイレベルの場合において、境界データ記憶部７０Ａから出力される画像データＳ１１を選択し、選択信号ｃｓｅｌ２がローレベルの場合には、フリップフロップＦＦ７に保持された画像データを選択し、選択した画像データを画像データＳ１３として出力する。
元画像の水平ライン上において、フリップフロップＦＦ８およびＦＦ９に保持された画像データの画素と、フリップフロップＦＦ６およびＦＦ７に保持された画像データの画素とが隣接しない場合がある。この場合、境界データ記憶部７０Ａからは、フリップフロップＦＦ８およびＦＦ９に保持された画像データの画素と隣接する所定の境界領域に含まれた画素の画像データＳ１１が出力されており、この隣接した２画素によって所定の１×２画素の小画素ブロックが構成される。この場合において、選択信号ｃｓｅｌ２はハイレベルに設定される。その他の場合、選択信号ｃｓｅｌ２はローレベルに設定される。
【０１５９】
セレクタＳＬ８は、図示しない制御部から出力される選択信号ｃｓｅｌ１がハイレベルの場合において、境界データ記憶部７０Ａから出力される画像データＳ１１を選択し、選択信号ｃｓｅｌ１がローレベルの場合には、フリップフロップＦＦ８に保持された画像データを選択し、選択した画像データを画像データＳ１４として出力する。
元画像の水平ライン上において、フリップフロップＦＦ９に保持された画像データの画素と、フリップフロップＦＦ６〜ＦＦ８に保持された画像データの画素とが隣接しない場合がある。この場合、境界データ記憶部７０Ａからは、フリップフロップＦＦ９に保持された画像データの画素と隣接する所定の境界領域に含まれた画素の画像データＳ１１が出力されており、この隣接した２画素によって所定の１×２画素の小画素ブロックが構成される。この場合において、選択信号ｃｓｅｌ１はハイレベルに設定される。その他の場合、選択信号ｃｓｅｌ１はローレベルに設定される。
【０１６０】
加算部ＡＤ３は、フリップフロップＦＦ９に保持された画像データＳ１５と、セレクタＳＬ８から出力される画像データＳ１４とを加算する。
加算部ＡＤ４は、加算部ＡＤ３の加算結果と、セレクタＳＬ７から出力される画像データＳ１３とを加算する。
加算部ＡＤ５は、加算部ＡＤ４の加算結果と、セレクタＳＬ６から出力される画像データＳ１２とを加算する。
【０１６１】
乗算部ＭＬ５は、加算部ＡＤ５の加算結果に重み係数１／４を乗算し、この乗算結果を画像データＳ１７として出力する。
【０１６２】
（境界データ記憶部７０Ａ）
レジスタＲＧ３は、図示しない制御部から出力されるイネーブル信号ｘｃｂ−ｅｎがローレベルの場合において、フレームメモリ５０から読み出されたクロマ信号Ｃｂの画像データＳ１０を保持する。また、保持した画像データを所定のタイミングで順にシフトさせてセレクタＳＬ５に出力する。
レジスタＲＧ４は、図示しない制御部から出力されるイネーブル信号ｘｃｒ−ｅｎがローレベルの場合において、フレームメモリ５０から読み出されたクロマ信号Ｃｒの画像データＳ１０を保持する。また、保持した画像データを所定のタイミングで順にシフトさせてセレクタＳＬ５に出力する。
【０１６３】
フレームメモリ５０から画素ブロック記憶部６０へクロマ信号（Ｃｂ、Ｃｒ）の画像データの読み出しが行われる場合、これとともに、画素ブロック記憶部６０から画像データ生成部（８１Ａ、８２Ａ）へ次に読み出される画素ブロックに隣接する別の画素ブロック、または、画素ブロック記憶部６０から画像データ生成部（８１Ａ、８２Ａ）へ読み出し中の画素ブロックに隣接する別の画素ブロックの、所定の境界領域に含まれる画像データが、図示しない制御部によってフレームメモリ５０から読み出される。イネーブル信号（ｘｃｂ−ｅｎ、ｘｃｒ−ｅｎ）は、この境界領域の画像データがフレームメモリ５０から読み出されるタイミングにおいてローレベルに設定される。これにより、境界データ記憶部７０Ａのレジスタ（ＲＥＧ３、ＲＥＧ４）には、フレームメモリ５０から読み出される画像データのうち、この境界領域の画像データが保持される。
【０１６４】
セレクタＳＬ５は、入力される選択信号ａｒｅａ−ｃｒに応じて、レジスタＲＧ３またはレジスタＲＧ４の何れかから出力される画像データを選択し、画像データＳ１１として出力する。画像データＳ９がクロマ信号Ｃｂの場合にはレジスタＲＧ３が、クロマ信号Ｃｒの場合にはレジスタＲＧ４が選択される。
【０１６５】
図９は、本発明の第４の実施形態に係る画像データ処理装置に含まれる画像データ生成部８２Ａおよび境界データ記憶部７０Ａの構成の一例を示すブロック図である。
図９に示すように、画像データ生成部８２Ａは、フリップフロップＦＦ１０およびＦＦ１１と、セレクタＳＬ９と、加算部ＡＤ６と、乗算部ＭＬ６とを有する。
フリップフロップＦＦ１０およびＦ１１は、本発明の第３の観点におけるデータ保持手段の一実施形態である。
セレクタＳＬ９、加算部ＡＤ６および乗算部ＭＬ６を含むユニットは、本発明の第３の観点におけるデータ合成手段の一実施形態である。
【０１６６】
（画像データ生成部８２Ａ）
フリップフロップＦＦ１０は、図示しない制御部によって画素ブロック記憶部６０から読み出された画像データＳ９を、クロック信号ＣＬＫに同期して保持する。
なお、この制御部による画像データの読み出し周期は、画像データ生成部８２Ａに対して、クロック信号ＣＬＫの２倍の周期に設定される。このため、フリップフロップＦＦ１０では、１の画像データＳ９が画素ブロック記憶部６０から読み出される度に、この読み出された画像データに対して２回のサンプリングが行われる。
【０１６７】
フリップフロップＦＦ１１は、フリップフロップＦＦ１０に保持された画像データＳ１８を、クロック信号ＣＬＫに同期して保持する。
【０１６８】
セレクタＳＬ９は、図示しない制御部から出力される選択信号ｂｌｋ−ｒｉｇｈｔに応じて、境界データ記憶部７０Ａから出力される画像データＳ１１、またはフリップフロップＦＦ１０に保持された画像データＳ１８を選択し、選択したデータを画像データＳ２０として出力する。
【０１６９】
加算部ＡＤ６は、フリップフロップＦＦ１１に保持された画像データＳ１９と、セレクタＳＬ９から出力される画像データＳ２０とを加算する。
【０１７０】
乗算部ＭＬ６は、加算部ＡＤ６の加算結果に重み係数１／２を乗算し、この乗算結果を画像データＳ２１として出力する。
【０１７１】
ここで、上述した構成を有する画像データ処理装置の動作について、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換処理が行われる場合と、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換処理が行われる場合とに分けて説明する。
【０１７２】
／／ＹＣｒＣｂ比（４：１：１）から（４：４：４）への変換処理／／
図１０は、フレームメモリ５０から読み出されたＹＣｒＣｂ比（４：１：１）の画像データをＹＣｒＣｂ比（４：４：４）の画像データＳ１７へ変換するクロマ信号補間処理の概要を図解した図である。
図１１は、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換処理が行われる場合における、図８のブロック図に示した各信号の値とタイミング関係の一例を示すタイミングチャートである。
【０１７３】
図１０（Ａ）に示す画素ブロックＢ１１およびＢ１２は、フレームメモリ５０から画素ブロック記憶部６０へ読み出される８×２画素ブロックのクロマ信号の画像データを示している。クロマ信号の画素ブロックは、画素ブロックＢ１１，Ｂ１２，…の順番でフレームメモリ５０から読み出され、画素ブロック記憶部６０に記憶される。この画素ブロック記憶部６０から、クロック信号ＣＬＫ（図１１（Ａ））の４サイクルごとに画像データＣ１１０，Ｃ１１１，…，Ｃ１１１５，Ｃ１２０，Ｃ１２１，…の順番でクロマ信号の画像データＳ９（図１１（Ｂ））が読み出され、フリップフロップＦＦ６に入力される。
【０１７４】
図１１（Ｂ）に示すように、画素ブロック記憶部６０からの画像データの読み出し周期は、クロック信号ＣＬＫ（図１１（Ａ））の周期に対して４倍に設定されている。フリップフロップＦＦ６では、１画素の画像データＳ９が画素ブロック記憶部６０から読み出される度に、この読み出された画像データに対し４回のサンプリングが行われる。フリップフロップＦＦ６においてサンプリングされた画像データは、クロック信号ＣＬＫに同期して、フリップフロップＦＦ７、ＦＦ８、ＦＦ９の順にシフトされる。これにより、フリップフロップＦＦ６〜ＦＦ９には、サンプリングされた一連の画像データが４つ保持される。
【０１７５】
１画素の画像データＳ９に対して４回のサンプリングが行われ、サンプリングされた一連の画像データのうち４つまでがフリップフロップＦＦ６〜ＦＦ９に保持されることから、フリップフロップＦＦ６〜ＦＦ９に保持される画像データは、元画像の１画素分または２画素分の画像データとなる。
【０１７６】
まず、元画像の水平ライン上で隣接する２画素の画像データが、画像データ生成部８１Ａに順次入力される場合について説明する。
フリップフロップＦＦ６〜ＦＦ９に保持される画像データが１画素の画像データであるとき、および、元画像の水平ライン上で隣接する２画素の画像データであるとき、セレクタＳＬ６〜ＳＬ８では、フリップフロップＦＦ６〜ＦＦ８に保持された画像データが選択されて出力される。
加算部ＡＤ３〜ＡＤ５では、フリップフロップＦＦ６〜ＦＦ９に保持された４つの画像データが合計され、その合計値Ｓ１６に乗算部ＭＬ５において係数１／４が乗算されて、画像データＳ１７が生成される。画像データＳ１７は、フリップフロップＦＦ６〜ＦＦ９に保持された４つの画像データを合計し、これを値４で除した結果として得られる。
【０１７７】
隣接する２画素の一方の画素の画像データが画像データ生成部８１Ａに入力され、当該一方の画素の画像データがフリップフロップＦＦ６〜ＦＦ９の全てに保持されると、画像データＳ１７としては、当該一方の画素の画像データと等しい画像データが得られる。
次いで、クロック信号ＣＬＫに同期してフリップフロップＦＦ６〜ＦＦ９の保持データがシフトされ、隣接する２画素の他方の画素の画像データが当該一方の画素の画像データに続いてフリップフロップＦＦ６〜ＦＦ８に順次保持されると、フリップフロップＦＦ６〜ＦＦ８には、１対３、２対２、および３対１の割合で２画素の画像データが保持される。このため、画像データＳ１７としては、これらの割合に対応した３種類の重み付け方法で合成された３画素の画像データが得られる。
したがって、隣接した２画素の画像データが画像データ生成部８１Ａに順次入力された場合、加算部ＡＤ３〜ＡＤ５では、１対０、１対３、２対２、および３対１の割合で２画素の画像データが加算される。画像データＳ１７としては、これらの割合に対応した４種類の重み付け方法で合成された４画素の画像データが得られる。隣接した２画素の画像データに対して４画素の画像データが得られるので、画像データ数は４倍に拡張され、画素ブロック記憶部６０に保持された８×２画素ブロックの画像データは、８×８画素の画像データに変換される。
【０１７８】
図１０（Ｂ）に示す画素ブロックＢ１３およびＢ１４は、図１０（Ａ）における８×２画素の画素ブロックＢ１１およびＢ１２が画像データ生成部８１Ａにおいて８×８画素に変換された画素ブロックである。この画素ブロックＢ１３およびＢ１４の各画像データが、画像データ生成部８１Ａにおいて生成される画像データＳ１７に相当する。
たとえば図１０（Ａ）に示すように、画像データＣ１１２およびＣ１１３の２画素は、元画像上において隣接しており、１×２画素の小画素ブロックＭＢ１１２を構成する。この小画素ブロックＭＢ１１２の２つの画像データ（Ｃ１１２、Ｃ１１３）が画像データ生成部８１Ａに順次入力され、フリップフロップＦＦ６〜ＦＦ９に保持される期間（図１１に示すタイミングチャートの時刻ｔ３１〜ｔ３４）において、選択信号ｃｓｅｌ３（図１１（Ｄ））、選択信号ｃｓｅｌ２（図１１（Ｆ））、および選択信号ｃｓｅｌ１（図１１（Ｈ））はローレベルになり、セレクタＳＬ６〜ＳＬ８からはフリップフロップＦＦ６〜ＦＦ８の保持データが出力される。この期間において、小画素ブロックＭＢ１１２の２つの画像データ（Ｃ１１２、Ｃ１１３）が４種類の重み付け方法で合成され、これにより、４画素の画像データＣ１３８〜Ｃ１３１１（図１０（Ｂ））が画像データＳ１７として順次生成される。
【０１７９】
一方、フリップフロップＦＦ６〜ＦＦ９に保持される画像データが、元画像の水平ライン上で隣接しない２画素の画像データである場合、当該２画素の一方の画素と、境界データ記憶部７０Ａから出力される画像データＳ１１の画素とが元画像の水平ライン上において隣接しており、この２画素が１×２画素の小画素ブロックを構成する。
この場合、当該２画素の他方の画素の画像データは、セレクタＳＬ６〜ＳＬ８によって境界データ記憶部７０Ａから出力される画像データＳ１１に置き換えられて、加算部ＡＤ３〜ＡＤ５に出力される。画像データＳ１７は、フリップフロップＦＦ６〜ＦＦ９に保持された当該２画素の一方の画素の画像データと、この画素に隣接する所定の境界領域の画像データとの合成結果として得られる。
【０１８０】
水平ライン上で隣接しない２画素の一方の画素の画像データが画像データ生成部８１Ａに入力され、当該一方の画素の画像データがフリップフロップＦＦ６〜ＦＦ９の全てに保持されると、画像データＳ１７としては、当該一方の画素の画像データと等しい画像データが得られる。
次いで、クロック信号ＣＬＫに同期してフリップフロップＦＦ６〜ＦＦ９の保持データがシフトされ、隣接しない２画素の他方の画素の画像データが当該一方の画素の画像データに続いてフリップフロップＦＦ６〜ＦＦ８に順次保持されると、セレクタＳＬ６〜ＳＬ７では、当該他方の画素の画像データの代わりに、境界データ記憶部７０Ａから出力される画像データＳ１１が選択される。フリップフロップＦＦ６〜ＦＦ９のデータ・シフトに応じて、加算部ＡＤ３〜ＡＤ５では、１対３、２対２、および３対１の割合で２画素の画像データが加算されるため、画像データＳ１７としては、これらの割合に対応した３種類の重み付け方法で合成された３画素の画像データが得られる。
したがって、隣接しない２画素の画像データが画像データ生成部８１Ａに順次入力された場合、画像データＳ１７としては、当該２画素の一方の画素の画像データと、この一方の画素に隣接する境界領域の画像データとが、１対０、１対３、２対２、および３対１の割合で重み付けされて合成された４画素の画像データが得られる。
【０１８１】
たとえば図１０（Ａ）に示すように、画像データＣ１１３およびＣ１２２の２画素は、元画像上において隣接しており、１×２画素の小画素ブロックＭＢ１１３を構成する。これに対し、画像データ生成部８１Ａには、画像データＣ１１３に続けて画像データＣ１１４が入力され、両者は元画像の水平ライン上において隣接しない。
この画像データＣ１１３およびＣ１１４が画像データ生成部８１Ａに順次入力される場合において、まず、フリップフロップＦＦ６〜ＦＦ９の全てに画像データＣ１１３が保持されると（図１１に示すタイミングチャートの時刻ｔ３５）、選択信号ｃｓｅｌ１〜ｃｓｅｌ３は全てローレベルになり、セレクタＳＬ６〜ＳＬ８からはフリップフロップＦＦ６〜ＦＦ８の保持データが出力される。画像データＳ１７としては、画像データＣ１１３と等しい画像データが出力される。
次いで、クロック信号ＣＬＫに同期してフリップフロップＦＦ６〜ＦＦ９の保持データがシフトされ、画像データＣ１１４が画像データＣ１１３に続いてフリップフロップＦＦ６〜ＦＦ８に順次保持されると（図１１に示すタイミングチャートの時刻ｔ３６〜ｔ３８）、選択信号ｃｓｅｌ３，ｃｓｅｌ２、ｃｓｅｌ１の順に信号レベルがハイレベルとなる。これにより、セレクタＳＬ６〜ＳＬ７では、画像データＣ１１４の代わりに、境界データ記憶部７０Ａから画像データＳ１１として出力される画像データＣ１２２が選択されて、加算部ＡＤ３〜ＡＤ５に出力される。加算部ＡＤ３〜ＡＤ５では、フリップフロップＦＦ６〜ＦＦ９のデータ・シフトに応じて、１対３、２対２、および３対１の割合で画像データＣ１２２およびＣ１１３２が加算されるため、画像データＳ１７としては、これらの割合に対応した３種類の重み付け方法で合成された３画素の画像データが得られる。
結果として、時刻ｔ３５〜ｔ３８においては、異なる２つの画素ブロックＢ１１およびＢ１２にまたがった小画素ブロックＭＢ１１３に対する画像データの合成が行われ、この小画素ブロックＭＢ１１３に対応した４つの画素の画像データ（Ｃ１３１２〜Ｃ１３１５）が生成される。
【０１８２】
また、フレームメモリ５０から画素ブロック記憶部６０へクロマ信号の画像データの読み出しが行われる場合に、これとともに、画素ブロック記憶部６０から画像データ生成部８１Ａへ次に読み出される８×２画素ブロックに隣接する別の８×２画素ブロック、または、画素ブロック記憶部６０から画像データ生成部８１Ａへ読み出し中の８×２画素ブロックに隣接する別の８×２画素ブロックの、所定の境界領域に含まれる画像データが、図示しない制御部によってフレームメモリ５０から読み出される。
【０１８３】
図１０において、８×２画素ブロックＢ１１およびＢ１２の左端に位置する８×１画素の領域Ｌ１１およびＬ１２が、この境界領域に相当する。
たとえば、画素ブロック記憶部６０が２バンク構成を有する場合、画素ブロックＢ１１の画像データが画像データ生成部８１Ａへ読み出されると同時に、画素ブロックＢ１１の次に処理される画素ブロックＢ１２の画像データが、フレームメモリ５０から画素ブロック記憶部６０へ読み出される。この場合、フレームメモリ５０から画素ブロック記憶部６０へ画素ブロックＢ１２の画像データが読み出される際に、画素ブロック記憶部６０から画像データ生成部８１Ａへ読み出し中の画素ブロックＢ１１に隣接する画素ブロックＢ１２の境界領域Ｌ１２の画像データが、フレームメモリ５０から読み出されることになる。
また、画素ブロック記憶部６０が２バンク構成を有していない場合には、画素ブロックＢ１１の画像データが画像データ生成部８１Ａへ読み出されるときに、画素ブロック記憶部６０から画像データ生成部８１Ａへの読み出し処理は行われない。この場合、フレームメモリ５０から画素ブロック記憶部６０へ画素ブロックＢ１１の画像データが読み出される際に、画素ブロック記憶部６０から画像データ生成部８１Ａへ次に読み出される画素ブロックＢ１１に隣接する画素ブロックＢ１２の境界領域Ｌ１２の画像データが、画素ブロックＢ１１の画像データとともに、フレームメモリ５０から読み出されることになる。
【０１８４】
イネーブル信号（ｘｃｂ−ｅｎ、ｘｃｒ−ｅｎ）は、上述したフレームメモリ５０からの読み出し処理の過程において、境界領域の画像データがフレームメモリ５０から読み出されるタイミングにおいてローレベルに設定される。これにより、境界領域の画像データが境界データ記憶部７０Ａのレジスタ（ＲＥＧ３、ＲＥＧ４）に保持される。保持された境界領域の画像データは、画像データ生成部８１Ａにおいて、８×２画素ブロックの画像データから８×８画素ブロックの画像データを生成する過程で使用される。
【０１８５】
／／ＹＣｒＣｂ比（４：１：１）から（４：２：２）への変換処理／／
図１２は、フレームメモリ５０から読み出されたＹＣｒＣｂ比（４：１：１）の画像データをＹＣｒＣｂ比（４：２：２）の画像データＳ２１へ変換するクロマ信号補間処理の概要を図解した図である。
図１３は、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換処理が行われる場合における、図９のブロック図に示した各信号の値とタイミング関係の一例を示すタイミングチャートである。
【０１８６】
図１２（Ａ）に示す画素ブロックＢ１６およびＢ１７は、フレームメモリ５０から画素ブロック記憶部６０へ読み出される８×４画素ブロックのクロマ信号の画像データを示している。クロマ信号の画素ブロックは、画素ブロックＢ１６，Ｂ１７，…の順番でフレームメモリ５０から読み出され、画素ブロック記憶部６０に記憶される。この画素ブロック記憶部６０から、クロック信号ＣＬＫ（図１３（Ａ））の２サイクルごとに画像データＣ１６０，Ｃ１６１，…，Ｃ１６３１，Ｃ１７０，Ｃ１７１，…の順番でクロマ信号の画像データＳ９が読み出され、フリップフロップＦＦ１０に画像データＳ１８（図１３（Ｂ））として保持される。
【０１８７】
図１３（Ｂ）に示すように、画素ブロック記憶部６０からの画像データの読み出し周期は、クロック信号ＣＬＫ（図１１（Ａ））の周期に対して２倍に設定されている。フリップフロップＦＦ１０では、１画素の画像データＳ９が画素ブロック記憶部６０から読み出される度に、この読み出された画像データに対し２回のサンプリングが行われる。フリップフロップＦＦ１０においてサンプリングされた画像データは、クロック信号ＣＬＫに同期してフリップフロップＦＦ１１にシフトされる。これにより、フリップフロップＦＦ１０およびＦ１１には、サンプリングされた一連の画像データが２つ保持される。
【０１８８】
１画素の画像データＳ９に対して２回のサンプリングが行われ、サンプリングされた一連の画像データのうち２つまでがフリップフロップＦＦ１０およびＦＦ１１に保持されることから、フリップフロップＦＦ１０およびＦＦ１１に保持される画像データは、元画像の１画素分または２画素分の画像データとなる。
【０１８９】
まず、元画像の水平ライン上で隣接する２画素の画像データが、画像データ生成部８２Ａに順次入力される場合について説明する。
フリップフロップＦＦ１０およびＦＦ１１に保持される画像データが１画素の画像データであるとき、および、元画像の水平ライン上で隣接する２画素の画像データであるとき、セレクタＳＬ９では、フリップフロップＦＦ１０に保持された画像データＳ１８が選択されて出力される。
加算部ＡＤ６では、フリップフロップＦＦ１０およびＦ１１に保持された２つの画像データが合計され、その合計値Ｓ１６に乗算部ＭＬ６において係数１／２が乗算され、画像データＳ２１として出力される。この画像データＳ２１は、フリップフロップＦＦ１０およびＦ１１に保持された２つの画像データを合計し、これを値２で除した結果として得られる。
【０１９０】
隣接する２画素の一方の画素の画像データが画像データ生成部８２Ａに入力され、当該一方の画素の画像データがフリップフロップＦＦ１０およびＦＦ１１の両方に保持されると、画像データＳ２１としては、当該一方の画素の画像データと等しい画像データが得られる。
次いで、クロック信号ＣＬＫに同期してフリップフロップＦＦ１０の保持データがフリップフロップＦＦ１１にシフトされ、隣接する２画素の他方の画素の画像データが当該一方の画素の画像データに続いてフリップフロップＦＦ１０に保持されると、フリップフロップＦＦ１０およびＦＦ１１には１対１の割合で２画素の画像データが保持され、画像データＳ２１としては、この割合で重み付けされて合成された１画素の画像データが得られる。
したがって、隣接した２画素の画像データが画像データ生成部８２Ａに順次入力された場合、加算部ＡＤ６では、１対０、１対１の割合で２画素の画像データが加算される。画像データＳ２１としては、これらの割合に対応した２種類の重み付け方法で合成された２画素の画像データが得られる。隣接した２画素の画像データに対して２画素の画像データが得られるので、画像データ数は２倍に拡張され、画素ブロック記憶部６０に保持された８×４画素ブロックの画像データは、８×８画素ブロックの画像データに変換される。
【０１９１】
図１２（Ｂ）に示す画素ブロックＢ１８およびＢ１９は、図１２（Ａ）における８×４画素の画素ブロックＢ１６およびＢ１７が画像データ生成部８２Ａにおいて８×８画素に変換された画素ブロックである。この画素ブロックＢ１８およびＢ１９の各画像データが、画像データ生成部８２Ａにおいて生成される画像データＳ２１に相当する。
たとえば図１２（Ａ）に示すように、画像データＣ１６４およびＣ１６５の２画素は、元画像上において隣接しており、１×２画素の小画素ブロックＭＢ１６４を構成する。この小画素ブロックＭＢ１６４の２つの画像データ（Ｃ１６４、Ｃ１６５）が画像データ生成部８２Ａに順次入力され、フリップフロップＦＦ１０およびＦ１１に保持される期間（図１３に示すタイミングチャートの時刻ｔ４１よびｔ４２）において、選択信号ｂｌｋ−ｒｉｇｈｔ（図１３（Ｅ））はローレベルになる。これにより、セレクタＳＬ９からは、フリップフロップＦＦ１０の保持データが画像データＳ１９（図１３（Ｃ））として出力される。この期間において、小画素ブロックＭＢ１６４の２つの画像データ（Ｃ１６４、Ｃ１６５）が１対０および１対１の重み付けで合成され、これにより、２画素の画像データＣ１８８およびＣ１８９（図１２（Ｂ））が画像データＳ２１として順次生成される。
【０１９２】
一方、フリップフロップＦＦ１０およびＦＦ１１に保持される画像データが、元画像の水平ライン上で隣接しない２画素の画像データである場合、当該２画素の一方の画素と、境界データ記憶部７０Ａから出力される画像データＳ１１の画素とが元画像の水平ライン上において隣接しており、この２画素が１×２画素の小画素ブロックを構成する。
この場合、当該２画素の他方の画素の画像データであるフリップフロップＦＦ１０の保持データＳ１８は、セレクタＳＬ９によって境界データ記憶部７０Ａから出力される画像データＳ１１に置き換えられて、加算部ＡＤ６に出力される。画像データＳ２１は、当該２画素の一方の画素の画像データであるフリップフロップＦＦ１１の保持データＳ１９と、この画素に隣接する所定の境界領域の画像データＳ１１との合成結果として得られる。
【０１９３】
水平ライン上で隣接しない２画素の一方の画素の画像データが画像データ生成部８２Ａに入力され、当該一方の画素の画像データがフリップフロップＦＦ１０およびＦ１１の両方に保持されると、画像データＳ２１としては、当該一方の画素の画像データと等しい画像データが得られる。
次いで、クロック信号ＣＬＫに同期してフリップフロップＦＦ１０の保持データがフリップフロップＦＦ１１にシフトされ、隣接しない２画素の他方の画素の画像データが当該一方の画素の画像データに続いてフリップフロップＦＦ１０に保持されると、セレクタＳＬ９では、当該他方の画素の画像データ（フリップフロップＦＦ１０の保持データＳ１８）の代わりに、境界データ記憶部７０Ａから出力される画像データＳ１１が選択される。加算部ＡＤ６では、１対１の割合で２画素の画像データが加算されるため、画像データＳ２１としては、この割合で重み付けされて合成された１画素の画像データが得られる。
したがって、隣接しない２画素の画像データが画像データ生成部８２Ａに順次入力された場合、画像データＳ２１としては、当該２画素の一方の画素の画像データと、この一方の画素に隣接する境界領域の画像データとが、１対０および１対１の割合で重み付けされて合成された２画素の画像データが得られる。
【０１９４】
たとえば図１２（Ａ）に示すように、画像データＣ１６７およびＣ１７４の２画素は、元画像上において隣接しており、１×２画素の小画素ブロックＭＢ１６７を構成する。これに対し、画像データ生成部８２Ａには、画像データＣ１６７に続けて画像データＣ１６８が入力され、両者は元画像の水平ライン上において隣接しない。
この画像データＣ１６７およびＣ１６８が画像データ生成部８２Ａに順次入力される場合において、まず、フリップフロップＦＦ１０およびＦＦ１１の両方に画像データＣ１６７が保持されると（図１３に示すタイミングチャートの時刻ｔ４７）、選択信号ｂｌｋ−ｒｉｇｈｔはローレベルになり、セレクタＳＬ９からはフリップフロップＦＦ１０の保持データが出力される。画像データＳ２１としては、画像データＣ１６７と等しい画像データが出力される。
次いで、クロック信号ＣＬＫに同期してフリップフロップＦＦ１０の保持データがフリップフロップＦＦ１１シフトされ、画像データＣ１６８が画像データＣ１６７に続いてフリップフロップＦＦ１０に保持されると（図１３に示すタイミングチャートの時刻ｔ４８）、選択信号ｂｌｋ−ｒｉｇｈｔ（図１３（Ｅ））の信号レベルがハイレベルとなる。これにより、セレクタＳＬ９では、画像データＣ１６８の代わりに、境界データ記憶部７０Ａから画像データＳ１１として出力される画像データＣ１７４が選択されて、画像データＳ２０（図１３（Ｄ））として加算部ＡＤ６に出力される。加算部ＡＤ６では、フリップフロップＦ１１に保持された画像データＣ１６７と、境界データ記憶部７０Ａから出力される画像データＣ１７４とが１対１の割合で加算されるため、画像データＳ２１としては、この割合で重み付けされて合成された１画素の画像データが得られる。
結果として、時刻ｔ４７およびｔ４８においては、異なる２つの画素ブロックＢ１６およびＢ１７にまたがった小画素ブロックＭＢ１６７に対して２種類の重み付け方法による画像データの合成が行われ、この小画素ブロックに対応した２つの画素の画像データ（Ｃ１８１４、Ｃ１８１５）が生成される。
【０１９５】
また、フレームメモリ５０から画素ブロック記憶部６０へクロマ信号の画像データの読み出しが行われる場合に、これとともに、画素ブロック記憶部６０から画像データ生成部８２Ａへ次に読み出される８×４画素ブロックに隣接する別の８×４画素ブロック、または、画素ブロック記憶部６０から画像データ生成部８２Ａへ読み出し中の８×４画素ブロックに隣接する別の８×４画素ブロックの、所定の境界領域に含まれる画像データが、図示しない制御部によってフレームメモリ５０から読み出される。
【０１９６】
図１２において、８×４画素ブロックＢ１６およびＢ１７の左端に位置する８×１画素の領域Ｌ１６およびＬ１７が、この境界領域に相当する。
たとえば、画素ブロック記憶部６０が２バンク構成を有する場合、画素ブロックＢ１６の画像データが画像データ生成部８２Ａへ読み出されると同時に、画素ブロックＢ１６の次に処理される画素ブロックＢ１７の画像データが、フレームメモリ５０から画素ブロック記憶部６０へ読み出される。この場合、フレームメモリ５０から画素ブロック記憶部６０へ画素ブロックＢ１７の画像データが読み出される際に、画素ブロック記憶部６０から画像データ生成部８２Ａへ読み出し中の画素ブロックＢ１６に隣接する画素ブロックＢ１７の境界領域Ｌ１７の画像データが、フレームメモリ５０から読み出されることになる。
また、画素ブロック記憶部６０が２バンク構成を有していない場合には、画素ブロックＢ１６の画像データが画像データ生成部８２Ａへ読み出されるときに、画素ブロック記憶部６０から画像データ生成部８２Ａへの読み出し処理は行われない。この場合、フレームメモリ５０から画素ブロック記憶部６０へ画素ブロックＢ１６の画像データが読み出される際に、画素ブロック記憶部６０から画像データ生成部８２Ａへ次に読み出される画素ブロックＢ１６に隣接する画素ブロックＢ１７の境界領域Ｌ１７の画像データが、画素ブロックＢ１６の画像データとともに、フレームメモリ５０から読み出されることになる。
【０１９７】
イネーブル信号（ｘｃｂ−ｅｎ、ｘｃｒ−ｅｎ）は、上述したフレームメモリ５０からの読み出し処理の過程において、境界領域の画像データがフレームメモリ５０から読み出されるタイミングにおいてローレベルに設定される。これにより、境界領域の画像データが境界データ記憶部７０Ａのレジスタ（ＲＥＧ３、ＲＥＧ４）に保持される。保持された境界領域の画像データは、画像データ生成部８２Ａにおいて、８×４画素ブロックの画像データから８×８画素ブロックの画像データを生成する過程で使用される。
【０１９８】
以上説明したように、図８および図９に示す画像データ生成部８１Ａおよび８２Ａを含んだ画像データ処理装置によれば、図７に示す画像データ処理装置と同様に、２種類の変換比による画像データ数変換を行うことができる。
画像データ生成部８１Ａおよび８２Ａと同様な構成を有し、異なる変換比で画像データ数変換された画像データを生成する画像データ生成部さらに並列して設けることにより、２種類以上の変換比による画像データ数変換を行うことも可能である。
また、複数の画像データ生成部において、画素ブロック記憶部６０および境界データ記憶部７０を共用することができるので、これらの構成を各画像データ生成部に対して個別に設ける方法に比べて、回路規模を削減することができる。
【０１９９】
選択信号（ｃｓｅｌ１〜ｃｓｅｌ３、ｂｌｋ−ｒｉｇｈｔ、ａｒｅａ−ｃｒ）やイネーブル信号（ｘｃｂ−ｅｎ、ｘｃｒ−ｅｎ）は、画像データ符号化部９０において処理される１ＭＣＵ分の画像データが画素ブロック記憶部６０から読み出されるたびに、図示しない制御部によって同一のタイミングで生成される。
したがって、たとえば、画像データ符号化部９０において処理される１ＭＣＵ分の画像データが画素ブロック記憶部６０から読み出されるたびに、その先頭の画像データの読み出し時において初期化され、画像データの読み出しが行われるたびに計数を行うカウンタと、このカウンタの計数値に応じた選択信号（ｃｓｅｌ１〜ｃｓｅｌ３、ｂｌｋ−ｒｉｇｈｔ、ａｒｅａ−ｃｒ）、イネーブル信号（ｘｃｂ−ｅｎ、ｘｃｒ−ｅｎ）を生成するデコード回路とをこの制御部に設けることにより、これらの信号を簡単に生成することができる。
【０２００】
＜第５の実施形態＞
次に、本発明の第５の実施形態について述べる。第３および第４の実施形態に係る画像データ処理装置では、複数の画像データ生成部の中から変換比に応じた画像データ生成部が選択されることにより変換比の切り換えが行われるが、第５の実施形態に係る画像データ処理装置では、縦続接続された画像データ生成部の各段における画像データ数変換処理が有効化または無効化されることにより、変換比の切り換えが行われる。
【０２０１】
図１４は、本発明の第５の実施形態に係る画像データ処理装置の構成の一例を示すブロック図である。
図１４に示す画像データ処理装置は、フレームメモリ５０と、画素ブロック記憶部６０Ｂと、境界データ記憶部７０Ｂと、第１の画像データ生成部８１Ｂと、第２の画像データ生成部８２Ｂと、画像データ符号化部９０とを有する。ただし、図１４と図７の同一符号は同一の構成要素を示す。
画素ブロック記憶部６０Ｂは、本発明の第４の観点における画素ブロック記憶手段の一実施形態である。
第１の画像データ生成部８１Ｂは、本発明の第４の観点における第１の画像データ生成手段の一実施形態である。
第２の画像データ生成部８２Ｂは、本発明の第４の観点における第２の画像データ生成手段の一実施形態である。
境界データ記憶部７０Ｂは、本発明の第４の観点における境界データ記憶手段の一実施形態である。
【０２０２】
（画素ブロック記憶部６０Ｂ）
画素ブロック記憶部６０Ｂは、フレームメモリ５０に記憶された元画像の各画素に対応する画像データを所定の画素ブロック（本実施形態の説明では、この所定の画素ブロックを第１の画素ブロックと呼ぶ）、たとえばクロマ信号の８×２画素ブロックごとに入力して記憶する。
【０２０３】
また、画像データ数の変換比が設定される場合、画素ブロック記憶部６０Ｂは、その設定された変換比に応じた所定の画素ブロックごとにフレームメモリ５０から画像データを読み出して記憶しても良い。
たとえば、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換を行うように変換比が設定された場合、この変換比を第１の変換比とすると、画素ブロック記憶部６０Ｂは、クロマ信号の画像データを、第１の画素ブロックとして８×２画素ブロックごとにフレームメモリ５０から読み出して記憶する。
また、たとえば、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換を行うように変換比が設定された場合、この変換比を第２の変換比とすると、画素ブロック記憶部６０Ｂは、クロマ信号の画像データを、第３の画素ブロックとして８×４画素ブロックごとにフレームメモリ５０から読み出して記憶する。
【０２０４】
（第１の画像データ生成部８１Ｂ）
第１の画像データ生成部８１Ｂは、画素ブロック記憶部６０Ｂに記憶された画像データを第１の画素ブロックごとに読み出し、この読み出した画像データを、第１の画素ブロックより小さい所定の小画素ブロック（本実施形態の説明では、この小画素ブロックを第１の小画素ブロックと呼ぶ）ごとに合成して、それぞれの第１の小画素ブロックに対応した１つまたは複数の画像データを生成する。
【０２０５】
たとえば、画素ブロック記憶部６０Ｂから、第１の画素ブロックとして８×２画素ブロックごとに画像データを読み出す。そして、両端の画素が互いに重なるように元画像の水平ライン上に隣接して配列された１×２画素の画素ブロックを第１の小画素ブロックとして、この第１の小画素ブロックごとに８×２画素ブロックの画像データを２種類の重み付け方法で合成し、それぞれの第１の小画素ブロックに対応した２画素の画像データを生成する。これにより、８×２画素ブロックは８×４画素ブロックに変換され、画像データ数が２倍に拡張される。
【０２０６】
ただし、第１の小画素ブロックの画素は、画素ブロック記憶部６０Ｂから読み出し中の第１の画素ブロックに全て含まれているとは限らない。すなわち、第１の小画素ブロックの一部の画素が、画素ブロック記憶部６０Ｂから読み出し中の第１の画素ブロックに隣接する別の第１の画素ブロックの所定の境界領域に含まれる場合がある。
この場合、第１のデータ生成部８１Ｂは、境界データ記憶部７０Ｂに記憶された当該一部の画素の画像データを読み出し、この読み出した画像データと、画素ブロック記憶部６０Ｂから読み出した当該第１の小画素ブロックの残りの画素の画像データとを合成して、当該第１の小画素ブロックに対応した１つまたは複数の画像データを生成する。
【０２０７】
たとえば、上述した１×２画素の小画素のブロックを、８×２画素ブロックの左側に詰めて配列させた場合、８×２画素ブロックの水平ライン上に配列される２つの小画素ブロックのうち、右側に位置する小画素ブロックは、その右端の画素が画素ブロック記憶部６０Ｂから読み出し中の画素ブロックに含まれておらず、右隣の８×２画素ブロックにおける左端の８×１画素の領域に含まれる。この場合、上述した境界領域は、この左端の８×１画素の領域に相当する。
第１の画像データ生成部８１Ｂは、８×２画素ブロックの右側に位置する１×２画素の小画素ブロックを合成する際に、当該小画素ブロックの右端の画素の画像データを境界データ記憶部７０Ｂから読み出す。そして、境界データ記憶部７０Ｂから読み出したこの画像データと、画素ブロック記憶部６０から読み出した当該小画素ブロックの残りの１画素の画像データとを２種類の重み付け方法で合成して、２画素分の画像データを生成する。
【０２０８】
また、第１の画像データ生成部８１Ｂは、設定される画像データ数の変換比に応じて、画像データ数の変換処理を有効化または無効化しても良い。すなわち、画像データ数の変換比が第１の変換比に設定された場合、それぞれの第１の小画素ブロックに対応する上述した画像データの生成を実行する。これにより、第１の画像データ生成部８１Ｂにおいて、画像データ数の変換が実行される。画像データ数の変換比が第２の変換比に設定された場合は、第３の画素ブロックごとに入力した画像データをそのまま出力する。これにより、第１の画像データ生成部８１Ｂにおける画像データ数の変換処理が無効化される。
【０２０９】
たとえば、画像データ処理装置に対してＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換が第１の変換比として設定された場合、第１の画像データ生成部８１Ｂは、画像データを１×２画素の小画素ブロックごとに２種類の重み付け方法で合成して各小画素ブロックに対応した２画素の画像データを生成する上述の処理を実行する。これにより、クロマ信号の８×２画素ブロックが８×４画素ブロックに変換され、画像データ数が２倍に拡張される。画像データ処理装置に対してＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換が第２の変換比として設定された場合には、８×４画素ブロックごとに記憶された画素ブロック記憶部６０Ｂの画像データをそのまま出力する。これにより、第１の画像データ生成部８１Ｂにおける画像データ数の変換処理が無効化される。
なおこの例では、何れの変換比に設定された場合にも、後述する第２の画像データ生成部８２Ｂにおいては、クロマ信号の８×４画素ブロックを８×８画素ブロックに変換する処理が実行される。したがって、画像データ処理装置全体としては、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換、またはＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換が実行される。
【０２１０】
（第２の画像データ生成部８２Ｂ）
第１の画像データ生成部８１Ｂにおいて生成される画像データを、第２の画素ブロックより小さい第２の小画素ブロックごとに合成して、それぞれの第２の小画素ブロックに対応した１つまたは複数の画像データを生成する。第２の画素ブロックは、第１の画像データ生成部８１Ｂにおいて生成される画像データで構成された画像上において、元画像の第１の画素ブロックまたは第３の画素ブロックに対応する画素ブロックを示す。
【０２１１】
たとえば、８×２画素のサイズを有するクロマ信号の第１の画素ブロックが、第１の画像データ生成部８１Ｂにおいて８×４画素ブロックに変換された場合、変換されたの８×４画素ブロックが第２の画素ブロックに相当する。この８×４画素ブロックに対し、第２の小画素ブロックは、たとえば、両端の画素が互いに重なるように水平ライン上で隣接して配列された１×２画素の画素のブロックとして設定される。第２の画像データ生成部８２Ｂは、この１×２画素の小画素ブロックの画像データをそれぞれ２種類の重み付け方法で合成し、それぞれの小画素ブロックに対応した２画素分の画像データを生成する。これにより、８×４画素ブロックは８×８画素ブロックに変換され、画像データの数はさらに２倍に拡張される。
【０２１２】
ただし、第２の小画素ブロックの画素は、第１の画像データ生成部８１Ｂにおいて生成中の第２の画素ブロックに全て含まれているとは限らない。すなわち、第２の小画素ブロックの一部の画素が、第１の画像データ生成部８１Ｂにおいて生成中の第２の画素ブロックに隣接する別の第２の画素ブロックの所定の境界領域に含まれることがある。
この場合、第２の画像データ生成部８２Ｂは、上述した境界領域において当該一部の画素と等価な画素、すなわち、当該一部の画素と等しい画像データを有する画素であって、元画像の所定の境界領域に含まれる画素の画像データを、境界データ記憶部７０Ｂから読み出す。そして、この読み出した画像データと、第１の画像データ生成部８１Ｂにおいて生成された当該第２の小画素ブロックの残りの画素の画像データとを合成して、当該第２の小画素ブロックに対応した１つまたは複数の画像データを生成する。
【０２１３】
たとえば、上述した１×２画素の小画素のブロックを、８×４画素ブロックの左側に詰めて配列させた場合、８×４画素ブロックの水平ライン上に配列される４つの小画素ブロックのうち、最も右側に位置する小画素ブロックは、その右端の画素が第１の画像データ生成部８１Ｂにおいて生成中の画素ブロックに含まれておらず、右隣の８×４画素ブロックにおける左端の８×１画素の領域に含まれる。この場合、上述した境界領域は、この左端の８×１画素の領域に相当する。
第２の画像データ生成部８２Ｂは、８×４画素ブロックの最も右側に位置する１×２画素の小画素ブロックを合成する際に、当該小画素ブロックの右端の画素と等価な画素の画像データを境界データ記憶部７０Ｂから読み出す。そして、この読み出した画像データと、第１の画像データ生成部８１Ｂにおいて生成された当該小画素ブロックの残りの１画素の画像データとを２種類の重み付け方法で合成して、２画素分の画像データを生成する。
【０２１４】
（境界データ記憶部７０Ｂ）
境界データ記憶部７０Ｂは、第１の画像データ生成部８１Ｂによって画素ブロック記憶部６０Ｂから次に読み出される画素ブロックに隣接する別の画素ブロックか、または、第１の画像データ生成部８１Ｂによって画素ブロック記憶部６０Ｂから読み出し中の画素ブロックに隣接する別の画素ブロックであって、設定された画像データ数の変換比に応じた所定の境界領域に含まれる画像データを、フレームメモリ５０から読み出して記憶する。
境界データ記憶部７０Ｂによるフレームメモリ５０からの画像データの読み出しは、画素ブロック記憶部６０Ｂにおいてフレームメモリ５０からの画像データの読み出しが行われる場合に行われる。
【０２１５】
たとえば、画素ブロック記憶部６０Ｂが２バンク構成を有している場合、画素ブロック記憶部６０Ｂは、第１の画像データ生成部８１Ｂへの画像データを読み出しながら、フレームメモリ５０から画像データを読み込んで記憶することが可能である。この場合、画素ブロック記憶部６０Ｂによってフレームメモリ５０から読み出される画像データは、次に画素ブロック記憶部６０Ｂから第１の画像データ生成部８１Ｂへ供給される画像データである。境界データ記憶部７０Ｂは、このフレームメモリ５０から読み出される画像データのうち、所定の境界領域に含まれる画像データを随時取り込んで記憶することができる。
ただしこの場合、第１の画像データ生成部８１Ｂによって境界データ記憶部７０Ｂの画像データが読み出される前に、この読み出される画像データが境界データ記憶部７０Ｂに予め記憶されるように、画素ブロック記憶部６０Ｂにおける書き込みと読み出しのタイミングを適切に設定する必要がある。
【０２１６】
一方、画素ブロック記憶部６０Ｂが２バンク構成を有していない場合、境界データ記憶部７０Ｂは、画素ブロック記憶部６０Ｂによってフレームメモリ５０からの画像データの読み出しが行われる際に、この読み出される画像データの画素ブロックに隣接する境界領域の画像データも共に読み出す。
【０２１７】
（画像データ復号化部９０）
画像データ復号化部９０は、画素ブロック記憶部６０Ｂに記憶される画素ブロックの画像データに対応して第２の画像データ生成部８２Ｂから出力される画像データのブロックを含んだ所定数の画像データのブロックを単位として、ＪＰＥＧ方式等の画像データの符号化処理を行う。
【０２１８】
ここで、上述した構成を有する図１４に示した画像データ処理装置の動作を説明する。
【０２１９】
フレームメモリ５０に記憶された元画像の各画素に対応する画像データが、第１の画素ブロックとして、たとえば８×２画素ブロックごとに読み出されて画素ブロック記憶部６０Ｂに記憶される。
【０２２０】
画素ブロック記憶部６０Ｂに記憶された画像データは、第１の画像データ生成部８１Ｂによって第１の画素ブロックごとに読み出され、読み出された画像データが第１の小画素ブロックごとに合成されて、第１の小画素ブロックごとに１つまたは複数の画像データが生成される。
【０２２１】
たとえば、第１の画素ブロックとして８×２画素ブロックごとに画素ブロック記憶部６０Ｂから画像データが読み出される。読み出された画像データは、両端の画素が互いに重なるように元画像の水平ライン上に隣接して配列された１×２画素の画素ブロックを第１の小画素ブロックとして、この第１の小画素ブロックごとに８×２画素ブロックの画像データが２種類の重み付け方法で合成される。結果として、画素ブロック記憶部６０Ｂに記憶された８×２画素ブロックの画像データは８×４画素ブロックの画像データに変換され、画像データ数が２倍に拡張される。
【０２２２】
また、第１の小画素ブロックの一部の画素が、画素ブロック記憶部６０Ｂから読み出し中の第１の画素ブロックに隣接する別の第１の画素ブロックの所定の境界領域に含まれる場合、第１のデータ生成部８１Ｂでは、境界データ記憶部７０Ｂに記憶された当該一部の画素の画像データが読み出される。そして、この読み出された画像データと、画素ブロック記憶部６０Ｂから読み出された当該第１の小画素ブロックの残りの画素の画像データとが合成される。これにより、当該第１の小画素ブロックに対応した１つまたは複数の画像データが生成される。
【０２２３】
たとえば、１×２画素の小画素のブロックが、８×２画素ブロックの左側に詰めて配列されるものとすると、第１の画像データ生成部８１Ｂにおいて、８×２画素ブロックの右側に位置する１×２画素の小画素ブロックが合成される際に、当該小画素ブロックの右端の画素の画像データが境界データ記憶部７０Ｂから読み出される。そして、この境界データ記憶部７０Ｂから読み出された画像データと、画素ブロック記憶部６０Ｂから読み出された当該小画素ブロックの残りの１画素の画像データとが２種類の重み付け方法で合成される。これにより、当該小画素ブロックに対応した２画素分の画像データが生成される。
【０２２４】
第１の画像データ生成部８１Ｂにおいて生成された画像データは、第２の画像データ生成部８２Ｂにおいて第２の小画素ブロックごとに合成され、それぞれの第２の小画素ブロックに対応した１つまたは複数の画像データが生成される。
たとえば、第１の画像データ生成部８１Ｂにおいて８×２画素ブロックから８×４画素ブロックに変換された画像データが、両端の画素が互いに重なるように水平ライン上で隣接して配列された１×２画素の小画素のブロックごとに２種類の重み付け方法で合成され、それぞれ小画素ブロックに対応した２画素分の画像データが生成される。これにより、８×４画素ブロックは８×８画素ブロックに変換され、画像データの数はさらに２倍に拡張される。
【０２２５】
また、第２の小画素ブロックの一部の画素が、第１の画像データ生成部８１Ｂにおいて生成中の第２の画素ブロックに隣接する別の第２の画素ブロックの所定の境界領域に含まれる場合、第２の画像データ生成部８２Ｂでは、上述した境界領域において当該一部の画素と等価な画素の画像データが境界データ記憶部７０Ｂから読み出される。そして、この読み出された画像データと、第１の画像データ生成部８１Ｂにおいて生成された当該第２の小画素ブロックの残りの画素の画像データとが合成される。これにより、当該第２の小画素ブロックに対応した１つまたは複数の画像データが生成される。
たとえば、１×２画素の小画素のブロックが、８×４画素ブロックの左側に詰めて配列されるものとすると、第２の画像データ生成部８２Ｂにおいて、８×４画素ブロックの最も右側に位置する１×２画素の小画素ブロックが合成される際に、当該小画素ブロックの右端の画素と等価な画素の画像データが境界データ記憶部７０Ｂから読み出される。そして、この読み出された画像データと、第１の画像データ生成部８１Ｂにおいて生成された当該小画素ブロックの残りの１画素の画像データとが２種類の重み付け方法で合成されて、２画素分の画像データが生成される。
【０２２６】
境界データ記憶部７０Ｂでは、画像データ生成部８１Ｂによって画素ブロック記憶部６０Ｂから次に読み出される画素ブロックに隣接する別の画素ブロックか、または、第１の画像データ生成部８１Ｂによって画素ブロック記憶部６０Ｂから読み出し中の画素ブロックに隣接する別の画素ブロックであって、設定された画像データ数の変換比に応じた所定の境界領域に含まれる画像データが、フレームメモリ５０から読み出されて記憶される。このフレームメモリ５０からの読み出し処理は、画素ブロック記憶部６０Ｂにおけるフレームメモリ５０からの読み出し処理とともに行われる。
【０２２７】
たとえば、画素ブロック記憶部６０Ｂが上述した２バンク構成を有している場合において、画素ブロック記憶部６０Ｂから第１の画像データ生成部８１Ｂへ画像データが読み出されるとともに、フレームメモリ５０から画像データが読み出されて画素ブロック記憶部６０Ｂに書き込まれる。このフレームメモリ５０から読み出される画像データのうち、所定の境界領域に含まれる画像データが、境界データ記憶部７０Ｂに随時取り込まれて記憶される。
これにより、境界データ記憶部７０Ｂにおいて、フレームメモリ５０から画像データを読み出すための回路を特別に設ける必要がなくなる。また、フレームメモリ５０からの画像データの読み出し処理が画素ブロック記憶部６０Ｂと共通化されるので、フレームメモリ５０に対するアクセス回数が削減される。
【０２２８】
たとえば、画素ブロック記憶部６０Ｂが上述した２バンク構成を有していない場合において、フレームメモリ５０から画素ブロック記憶部６０Ｂへ画像データが読み出される際に、読み出される画像データの画素ブロックに隣接する境界領域の画像データもこれとともに読み出され、境界データ記憶部７０Ｂに記憶される。
この場合、フレームメモリ５０から読み出される画像データのアドレスは、画素ブロック記憶部６０Ｂに書き込まれるデータと境界データ記憶部７０Ｂに書き込まれるデータとで互いに隣接している。また、フレームメモリ５０に対する読み出しアクセスは、画素ブロック記憶部６０Ｂと境界データ記憶部７０Ｂとで共通化される。したがって、画素ブロック記憶部６０Ｂと境界データ記憶部７０Ｂとにおいて、フレームメモリ５０から画像データを読み出すための回路を容易に共通化することが可能になる。
【０２２９】
画像データ復号化部９０では、画素ブロック記憶部６０Ｂに記憶される画素ブロックの画像データに対応して第２の画像データ生成部８２Ｂから出力される画像データのブロックを含んだ所定数の画像データのブロックを単位として、画像データの符号化処理が行われる。
たとえば、第２の画像データ生成部８２Ｂから８×８画素ブロックのクロマ信号と、フレームメモリ５０から別に読み出された所定数の８×８画素ブロックの輝度信号とを合わせた１ＭＣＵ分の画像データを単位として、ＪＰＥＧ方式の符号化処理が行われる。
【０２３０】
以上説明したように、図１４に示す画像データ処理装置によれば、画素ブロック記憶部６０Ｂから画素ブロック単位で読み出される画像データの数が、第１の画像データ生成部８１Ｂおよび第２の画像データ生成部８２Ｂにおいて２段階に分けて変換される。したがって、各段階における画像データ数の変換比が小さくなり、回路構成を簡略化することができる。また、画像データの合成単位としての小画素ブロックを小さくすることができるので、隣接する画素ブロック間にまたがらないように小画素ブロックを設定することが容易になる。これにより、境界領域の画像データを記憶するための記憶装置を簡略化することが可能になる。
【０２３１】
さらに、図１４に示す画像データ処理装置によれば、画像データ数の変換が２段階に分けて行われるので、その一方の段階、たとえば第１の画像データ生成部８１Ｂにおける画像データ数の変換処理を有効化または無効化することにより、２種類の変換比による画像データ数の変換処理をおこなうことができる。
【０２３２】
すなわち、画像データ数の変換比が第１の変換比または第２の変換比として設定される場合、その設定された変換比に応じた所定の画素ブロックごとにフレームメモリ５０から画像データが読み出されて、画素ブロック記憶部６０Ｂに記憶される。
第１の画像データ生成部８１Ｂでは、設定される画像データ数の変換比に応じて、画像データ数の変換処理が有効化または無効化される。すなわち、画像データ数の変換比が第１の変換比に設定された場合、それぞれの第１の小画素ブロックに対応する上述した画像データの生成が実行され、これにより、画像データ数の変換が実行される。画像データ数の変換比が第２の変換比に設定された場合は、第３の画素ブロックごとに入力された画像データがそのまま出力され、これにより、画像データ数の変換処理が無効化される。
第２の画像データ生成部８２Ｂでは、何れの変換比に設定された場合においても、同一の処理が行われる。
これにより、異なった２種類の変換比による画像データ数変換を行うことができる。
【０２３３】
たとえば、第１の変換比としてＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換が行われる場合は、第１の画素ブロックとして８×２画素ブロックごとに、クロマ信号の画像データがフレームメモリ５０から読み出されて画素ブロック記憶部６０に記憶される。第１の画像データ生成部８１Ｂでは、画像データが１×２画素の小画素ブロックごとに２種類の重み付け方法で合成され、各小画素ブロックに対応した２画素の画像データが生成される。これにより、クロマ信号の８×２画素ブロックが８×４画素ブロックに変換され、画像データ数が２倍に拡張される。第２の画像データ生成部８２Ｂでは、８×４画素ブロックを８×８画素ブロックへ変換する処理が行われる。結果として、クロマ信号に対しＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換が行われる。
一方、第２の変換比としてＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換が行われる場合は、第３の画素ブロックとして８×４画素ブロックごとに、クロマ信号の画像データがフレームメモリ５０から読み出されて画素ブロック記憶部６０に記憶される。第１の画像データ生成部８１Ｂでは、８×４画素ブロックごとに記憶された画素ブロック記憶部６０Ｂの画像データがそのまま出力され、第２の画像データ生成部８２Ｂでは、この８×４画素ブロックを８×８画素ブロックへ変換する処理が行われる。結果として、クロマ信号に対しＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換が行われる。
【０２３４】
この場合、第２の画像データ生成部８２Ｂにおける画像データ数の変換処理が２つの変換比を実現するために共用されるので、例えば図７の画像データ処理装置のように、異なる変換比で画像データ数変換をおこなう２つの画像データ処理装置を個別に設ける方法に比べて、回路規模をさらに削減することができる。
【０２３５】
＜第６の実施形態＞
次に、本発明の第６の実施形態について述べる。
第６の実施形態に係る画像データ処理装置は、たとえば、図１４に示す画像データ処理装置と同等の構成を有する。ただし、図１４に示す境界データ記憶部７０Ｂ、第１の画像データ生成部８１Ｂ、および第２の画像データ生成部８２Ｂは、次に述べる境界データ記憶部７０Ｃ、第１の画像データ生成部８１Ｃ、および第２の画像データ生成部８２Ｃに置き換えられる。
【０２３６】
図１５は、本発明の第６の実施形態に係る画像データ処理装置に含まれる第１の画像データ生成部８１Ｃ、第２の画像データ生成部８２Ｃおよび境界データ記憶部７０Ｃの構成の一例を示すブロック図である。
図１５に示すように、第１の画像データ生成部８１Ｃは、フリップフロップＦＦ１２およびＦＦ１３と、セレクタＳＬ１０およびＳＬ１１と、加算部ＡＤ７と、乗算部ＭＬ７とを有する。
第２の画像データ生成部８２Ｃは、フリップフロップＦＦ１４と、セレクタＳＬ１２と、加算部ＡＤ８と、乗算部ＭＬ８とを有する。
境界データ記憶部７０Ｃは、レジスタＲＧ５と、レジスタＲＧ６と、セレクタＳＬ１３とを有する。
フリップフロップＦＦ１２およびＦＦ１３は、本発明の第４の観点における第１のデータ保持手段の一実施形態である。
セレクタＳＬ１０、加算部ＡＤ７および乗算部ＭＬ７を含むユニットは、本発明の第４の観点における第１のデータ合成手段の一実施形態である。
セレクタＳＬ１１は、本発明の第４の観点における第１の選択手段の一実施形態である。
フリップフロップＦＦ１４は、本発明の第４の観点における第２のデータ保持手段の一実施形態である。
セレクタＳＬ１２、加算部ＡＤ８および乗算部ＭＬ８を含むユニットは、本発明の第４の観点における第２のデータ合成手段の一実施形態である。
【０２３７】
（第１の画像データ生成部８１Ｃ）
フリップフロップＦＦ１２は、図示しない制御部によって設定されるイネーブル信号ｉｎ−ｅｎ２がローレベルの場合において、画素ブロック記憶部６０Ｂから読み出された画像データＳ９をクロック信号ＣＬＫに同期して保持する。
この画像データＳ９の読み出し周期は、設定される画像データ数の変換比に応じて、図示しない制御部によりクロック信号ＣＬＫの４倍または２倍に設定される。変換比として第１の変換比に設定された場合、画像データＳ９の読み出し周期はクロック信号ＣＬＫの４倍に設定され、変換比として第２の変換比に設定された場合、画像データＳ９の読み出し周期はクロック信号ＣＬＫの２倍に設定される。
変換比として第１の変換比に設定され、画像データＳ９の読み出し周期がクロック信号ＣＬＫの４倍に設定される場合、イネーブル信号ｉｎ−ｅｎ２がハイレベルまたはローレベルへ変化するレベル変化の周期は、クロック信号ＣＬＫの２倍に設定される。また、このレベル変化のタイミングは、画像データＳ９の読み出しタイミングと一致するように設定される。したがって、フリップフロップＦＦ１２には、画像データＳ９をクロック信号ＣＬＫの２サイクルだけ遅延させたデータが保持される。またこの場合、１の画像データＳ９が画素ブロック記憶部６０から読み出される度に、この読み出された画像データに対して２回のサンプリングが行われる。
変換比として第２の変換比に設定され、画像データＳ９の読み出し周期がクロック信号ＣＬＫの２倍に設定される場合、イネーブル信号ｉｎ−ｅｎ２は常にローレベルに設定される。したがって、フリップフロップＦＦ１２には、画像データＳ９をクロック信号ＣＬＫの１サイクルだけ遅延させたデータが保持される。またこの場合、１の画像データＳ９が画素ブロック記憶部６０から読み出される度に、この読み出された画像データに対して２回のサンプリングが行われる。
【０２３８】
フリップフロップＦＦ１３は、イネーブル信号ｉｎ−ｅｎ２がローレベルの場合において、フリップフロップＦＦ１２に保持された画像データＳ２２をクロック信号ＣＬＫに同期して保持する。
【０２３９】
セレクタＳＬ１０は、図示しない制御部から出力される選択信号ｂｌｋ−ｒｉｇｈｔ１がハイレベルの場合、境界データ記憶部７０Ｃから出力される画像データＳ１１を選択し、選択信号ｂｌｋ−ｒｉｇｈｔ１がローレベルの場合、フリップフロップＦＦ１２に保持された画像データＳ２２を選択し、選択した画像データを画像データＳ２３として出力する。
元画像の水平ライン上において、フリップフロップＦＦ１２に保持された画像データＳ２２の画素とフリップフロップＦＦ１３に保持された画像データＳ２４の画素とが隣接しない場合がある。この場合、境界データ記憶部７０Ｃからは、フリップフロップＦＦ１３に保持された画像データＳ２４の画素と隣接する所定の境界領域に含まれた画素の画像データＳ１１が出力されており、この隣接した２画素によって所定の１×２画素の小画素ブロック（第５の実施形態における第１の小画素ブロックに相当する）が構成される。この場合において、選択信号ｂｌｋ−ｒｉｇｈｔ１はハイレベルに設定される。その他の場合、選択信号ｂｌｋ−ｒｉｇｈｔ１はローレベルに設定される。
【０２４０】
加算部ＡＤ７は、フリップフロップＦＦ１３に保持された画像データＳ２４と、セレクタＳＬ１０から出力される画像データＳ２３とを加算する。
乗算部ＭＬ７は、加算部ＡＤ６の加算結果に重み係数１／２を乗算する。
【０２４１】
セレクタＳＬ１１は、画像データ数の変換比として第１の変換比が設定された場合、乗算部ＭＬ７における乗算結果の画像データを選択し、第２の変換比が設定された場合、フリップフロップＦＦ１２に保持された画像データＳ２２を選択し、選択した画像データを画像データＳ２５として出力する。
【０２４２】
（第２の画像データ生成部８２Ｃ）
フリップフロップＦＦ１４は、第１の画像データ生成部８１Ｃにおいて生成された画像データＳ２５をクロック信号ＣＬＫに同期して保持する。
【０２４３】
セレクタＳＬ１２は、図示しない制御部から出力される選択信号ｂｌｋ−ｒｉｇｈｔ２がハイレベルの場合、境界データ記憶部７０Ｃから出力される画像データＳ１１を選択し、選択信号ｂｌｋ−ｒｉｇｈｔ２がローレベルの場合、第１の画像データ生成部８１Ｃから出力される画像データＳ２５を選択し、選択した画像データを画像データＳ２６として出力する。
画像データＳ２５によって構成される画像の水平ライン上において、フリップフロップＦＦ１４に保持された画像データＳ２７の画素と、フリップフロップＦＦ１４に次に保持される画像データＳ２５の画素とが隣接しない場合がある。この場合、境界データ記憶部７０Ｃからは、フリップフロップＦＦ１４に保持された画像データＳ２７の画素に隣接する画素と等価な画素、すなわち、画像データＳ２７の画素に隣接する画素と等しい画像データを有する元画像の画素であって、元画像の所定の境界領域に含まれた画素の画像データＳ１１が出力される。画像データＳ２５によって構成される画像において、画像データＳ２７および画像データＳ１１の２画素は、所定の１×２画素の小画素ブロック（第５の実施形態における第２の小画素ブロックに相当する）を構成する。この場合において、選択信号ｂｌｋ−ｒｉｇｈｔ２はハイレベルに設定される。その他の場合、選択信号ｂｌｋ−ｒｉｇｈｔ２はローレベルに設定される。
【０２４４】
加算部ＡＤ８は、フリップフロップＦＦ１４に保持された画像データＳ２７と、セレクタＳＬ１２から出力される画像データＳ２６とを加算する。
乗算部ＭＬ８は、加算部ＡＤ８の加算結果Ｓ２８に重み係数１／２を乗算し、この乗算結果を画像データＳ２９として出力する。
【０２４５】
（境界データ記憶部７０Ｃ）
レジスタＲＧ５は、図示しない制御部から出力されるイネーブル信号ｘｃｂ−ｅｎがローレベルの場合において、フレームメモリ５０から読み出されたクロマ信号Ｃｂの画像データＳ１０を保持する。また、保持した画像データを所定のタイミングで順にシフトさせてセレクタＳＬ１３に出力する。
レジスタＲＧ６は、図示しない制御部から出力されるイネーブル信号ｘｃｒ−ｅｎがローレベルの場合において、フレームメモリ５０から読み出されたクロマ信号Ｃｒの画像データＳ１０を保持する。また、保持した画像データを所定のタイミングで順にシフトさせてセレクタＳＬ１３に出力する。
【０２４６】
フレームメモリ５０から画素ブロック記憶部６０Ｂへクロマ信号（Ｃｂ、Ｃｒ）の画像データの読み出しが行われる場合、これとともに、画素ブロック記憶部６０Ｂから第１の画像データ生成部８１Ｃへ次に読み出される画素ブロックに隣接する別の画素ブロック、または、画素ブロック記憶部６０Ｂから第１の画像データ生成部８１Ｃへ読み出し中の画素ブロックに隣接する別の画素ブロックの、設定される画像データ数変換比に応じた所定の境界領域に含まれる画像データが、図示しない制御部によってフレームメモリ５０から読み出される。イネーブル信号（ｘｃｂ−ｅｎ、ｘｃｒ−ｅｎ）は、この境界領域の画像データがフレームメモリ５０から読み出されるタイミングにおいてローレベルに設定される。これにより、境界データ記憶部７０Ｃのレジスタ（ＲＥＧ５、ＲＥＧ６）には、フレームメモリ５０から読み出される画像データのうち、この境界領域の画像データが保持される。
【０２４７】
セレクタＳＬ１３は、入力される選択信号ａｒｅａ−ｃｒに応じて、レジスタＲＧ５またはレジスタＲＧ６の何れかから出力される画像データを選択し、画像データＳ１１として出力する。画像データＳ９がクロマ信号Ｃｂの場合にはレジスタＲＧ５が、クロマ信号Ｃｒの場合にはレジスタＲＧ６が選択される。
【０２４８】
ここで、上述した構成を有する画像データ処理装置の動作について、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換処理が第１の変換比による変換処理として行われる場合と、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換処理が第２の変換比による変換処理として行われる場合とに分けて説明する。
【０２４９】
／／ＹＣｒＣｂ比（４：１：１）から（４：４：４）への変換処理／／
図１６は、フレームメモリ５０から読み出されたＹＣｒＣｂ比（４：１：１）の画像データをＹＣｒＣｂ比（４：４：４）の画像データＳ２９へ変換するクロマ信号補間処理の概要を図解した図である。
図１７は、ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換処理が行われる場合における、図１５のブロック図に示した各信号の値とタイミング関係の一例を示すタイミングチャートである。
【０２５０】
図１６（Ａ）に示す画素ブロックＢ２０およびＢ２１は、フレームメモリ５０から画素ブロック記憶部６０Ｂへ読み出される８×２画素ブロックのクロマ信号の画像データを示している。クロマ信号の画素ブロックは、画素ブロックＢ２０，Ｂ２１，…の順番でフレームメモリ５０から読み出され、画素ブロック記憶部６０Ｂに記憶される。この画素ブロック記憶部６０Ｂから、クロック信号ＣＬＫ（図１７（Ａ））の４サイクルごとに画像データＣ２００，Ｃ２０１，…，Ｃ２０１５，Ｃ２１０，Ｃ２１１，…の順番でクロマ信号の画像データＳ９（図１７（Ｂ））が読み出され、フリップフロップＦＦ１２に入力される。
【０２５１】
図１７（Ｂ）に示すように、画素ブロック記憶部６０Ｂからの画像データの読み出し周期は、クロック信号ＣＬＫ（図１６（Ａ））の周期に対して４倍に設定されており、クロック信号ＣＬＫの４サイクルごとに１画素の画像データＳ９が読み出される。読み出された画像データＳ９は、クロック信号ＣＬＫの２サイクルごとに、フリップフロップＦＦ１２において保持される。すなわち、１画素の画像データＳ９が画素ブロック記憶部６０から読み出される度に、この読み出された画像データに対し２回のサンプリングが行われる。フリップフロップＦＦ１２においてサンプリングされた画像データは、クロック信号ＣＬＫの２サイクルごとに、フリップフロップＦＦ１３へシフトされる。すなわち、フリップフロップＦＦ１２においてサンプリングが行われる度に、前のサンプリングでフリップフロップＦＦ１２に保持された画像データがフリップフロップＦＦ１３へシフトされる。結果として、フリップフロップＦＦ１２およびＦＦ１３には、サンプリングされた一連の画像データが２つ保持される。
【０２５２】
１画素の画像データＳ９に対して２回のサンプリングが行われ、サンプリングされた一連の画像データのうち２つまでがフリップフロップＦＦ１２およびＦＦ１３に保持されることから、フリップフロップＦＦ１２およびＦＦ１３に保持される画像データは、元画像の１画素分または２画素分の画像データとなる。
【０２５３】
まず、元画像の水平ライン上で隣接する２画素の画像データが、第１の画像データ生成部８１Ｃに順次入力される場合について説明する。
フリップフロップＦＦ１２およびＦＦ１３に保持される画像データが１画素の画像データであるとき、および、元画像の水平ライン上で隣接する２画素の画像データであるとき、セレクタＳＬ１０では、フリップフロップＦＦ１２に保持された画像データＳ２２が選択されて出力される。
加算部ＡＤ７では、フリップフロップＦＦ１２およびＦＦ１３に保持された２つの画像データが合計され、その合計値に乗算部ＭＬ７において係数１／２が乗算される。この乗算結果が、セレクタＳＬ１１を介し、画像データＳ２５として出力される。すなわち、画像データＳ２５は、フリップフロップＦＦ１２およびＦＦ１３に保持された２つの画像データを加算し、これを値２で除した結果として得られる。
【０２５４】
隣接する２画素の一方の画素の画像データが第１の画像データ生成部８１Ｃに入力される場合において、まず、当該一方の画素の画像データがフリップフロップＦＦ１２およびＦＦ１３の両方に保持されると、画像データＳ２５としては、当該一方の画素の画像データと等しい画像データが得られる。
次いで、フリップフロップＦＦ１２の保持データがフリップフロップＦＦ１３へシフトされ、隣接する２画素の他方の画素の画像データが当該一方の画素の画像データに続いてフリップフロップＦＦ１２に保持されると、フリップフロップＦＦ１２およびＦ１３には、１対１の割合で２画素の画像データが保持される。このため、画像データＳ２５としては、この１対１の割合で重み付けされて合成された１画素の画像データが得られる。
したがって、隣接した２画素の画像データが第１の画像データ生成部８１Ｃに順次入力された場合、加算部ＡＤ７では、１対０および１対１の割合で２画素の画像データが加算される。画像データＳ２５としては、これらの割合に対応した２種類の重み付け方法で合成された２画素の画像データが得られる。隣接した２画素の画像データに対して２画素の画像データが得られるので、画像データ数は２倍に拡張され、画素ブロック記憶部６０に保持された８×２画素ブロックの画像データは、８×４画素ブロックの画像データに変換される。
【０２５５】
図１６（Ｂ）に示す画素ブロックＢ２２およびＢ２３は、図１６（Ａ）における８×２画素の画素ブロックＢ２０およびＢ２１が第１の画像データ生成部８１Ｃにおいて８×４画素に変換された画素ブロックである。この画素ブロックＢ２２およびＢ２３の各画像データが、第１の画像データ生成部８１Ｃにおいて生成される画像データＳ２５に相当する。
たとえば図１６（Ａ）に示すように、画像データＣ２０２およびＣ２０３の２画素は、元画像上において隣接しており、１×２画素の小画素ブロックＭＢ２０２を構成する。この小画素ブロックＭＢ２０２の２つの画像データ（Ｃ２０２、Ｃ２０３）が第１の画像データ生成部８１Ｃに順次入力され、フリップフロップＦＦ１２およびＦＦ１３に保持される期間（図１７に示すタイミングチャートの時刻ｔ５１〜ｔ５４）において、選択信号ｂｌｋ−ｒｉｇｈｔ１（図１７（Ｇ））はローレベルになり、セレクタＳＬ１０からはフリップフロップＦＦ１２の保持データが出力される。この期間において、小画素ブロックＭＢ２０２の２つの画像データ（Ｃ２０２、Ｃ２０３）が２種類の重み付け方法で合成され、これにより、２画素の画像データＣ２２４およびＣ２２５（図１６（Ｂ））が画像データＳ２５として順次生成される（図１７（Ｈ））。
【０２５６】
一方、フリップフロップＦＦ１２およびＦＦ１３に保持される画像データが、元画像の水平ライン上で隣接しない２画素の画像データである場合、当該２画素の一方の画素と、境界データ記憶部７０Ｃから出力される画像データＳ１１の画素とが元画像の水平ライン上において隣接しており、この２画素が１×２画素の小画素ブロックを構成する。
この場合、当該２画素の他方の画素の画像データであるフリップフロップＦＦ１２の保持データＳ２２は、セレクタＳＬ１０によって境界データ記憶部７０Ｃから出力される画像データＳ１１に置き換えられて、加算部ＡＤ７に出力される。画像データＳ２５は、当該２画素の一方の画素の画像データであるフリップフロップＦＦ１３の保持データＳ２４と、この画素に隣接する所定の境界領域の画像データＳ１１との合成結果として得られる。
【０２５７】
水平ライン上で隣接しない２画素の一方の画素の画像データが画像データ生成部８１Ｃに入力される場合において、まず、当該一方の画素の画像データがフリップフロップＦＦ１２およびＦ１３の両方に保持されると、画像データＳ２５としては、当該一方の画素の画像データと等しい画像データが得られる。
次いで、フリップフロップＦＦ１２の保持データがフリップフロップＦＦ１３にシフトされ、隣接しない２画素の他方の画素の画像データが当該一方の画素の画像データに続いてフリップフロップＦＦ１２に保持されると、セレクタＳＬ１０では、当該他方の画素の画像データの代わりに、境界データ記憶部７０Ｃから出力される画像データＳ１１が選択される。加算部ＡＤ７では、１対１の割合で２画素の画像データが加算されるため、画像データＳ２５としては、この割合に対応した重み付け方法で合成された１画素の画像データが得られる。
したがって、隣接しない２画素の画像データが画像データ生成部８２Ｃに順次入力された場合、画像データＳ２５としては、当該２画素の一方の画素の画像データと、この一方の画素に隣接する境界領域の画像データとが、１対０および１対１の割合で重み付けされて合成された２画素の画像データが得られる。
【０２５８】
たとえば図１６（Ａ）に示すように、画像データＣ２０３およびＣ２１２の２画素は、元画像上において隣接しており、１×２画素の小画素ブロックＭＢ２０３を構成する。これに対し、画像データ生成部８２Ｃには、画像データＣ２０３に続けて画像データＣ２０４が入力され、両者は元画像の水平ライン上において隣接しない。
この画像データＣ２０３およびＣ２０４が画像データ生成部８２Ｃに順次入力される場合において、まず、フリップフロップＦＦ１２およびＦＦ１３の両方に画像データＣ２０３が保持されると（図１３に示すタイミングチャートの時刻ｔ５５およびｔ５６）、選択信号ｂｌｋ−ｒｉｇｈｔ１はローレベルになり、セレクタＳＬ１０からはフリップフロップＦＦ１２の保持データが出力される。画像データＳ２５としては、画像データＣ２０３と等しい画像データが出力される。
次いで、フリップフロップＦＦ１２の保持データがフリップフロップＦＦ１３シフトされ、画像データＣ２０４が画像データＣ２０３に続いてフリップフロップＦＦ１２に保持されると（図１３に示すタイミングチャートの時刻ｔ５７およびｔ５８）、選択信号ｂｌｋ−ｒｉｇｈｔ１（図１７（Ｇ））の信号レベルがハイレベルとなる。これにより、セレクタＳＬ１０では、画像データＣ２０４の代わりに、境界データ記憶部７０Ａから画像データＳ１１として出力される画像データＣ２１２が選択されて、画像データＳ２３（図１７（Ｅ））として加算部ＡＤ７に出力される。加算部ＡＤ７では、フリップフロップＦ１１に保持された画像データＣ２０３と、境界データ記憶部７０Ｃから出力される画像データＣ２１２とが１対１の割合で加算されるため、画像データＳ２５としては、この割合に対応した重み付け方法で合成された１画素の画像データが得られる。
結果として、時刻ｔ５５〜ｔ５８においては、異なる２つの画素ブロックＢ２０およびＢ２１にまたがった小画素ブロックＭＢ２０３に対する画像データの合成が行われ、この小画素ブロックに対応した２つの画素の画像データ（Ｃ２２６、Ｃ２２７）が生成される。
【０２５９】
このようにして、第１の画像データ生成部８１Ｃにおいて８×２画素から８×４画素に変換された画像データＳ２５は、クロック信号ＣＬＫ２の２サイクルごとに、第２の画像データ生成部８２Ｃへ出力される。
【０２６０】
クロック信号ＣＬＫ２の２サイクルごとに出力される画像データＳ２５は、フリップフロップＦＦ１４において、クロック信号ＣＬＫの１サイクルごとに保持される。すなわち、１画素の画像データＳ２５が第１の画像データ生成部８１Ｃから出力される度に、この出力された画像データに対して２回のサンプリングが行われる。
したがって、フリップフロップＦＦ１４に保持された画像データＳ２７と、この画像データＳ２７に続いてサンプリングされる画像データＳ２５とは、画像データＳ２５によって構成される画像における１画素分または２画素分の画像データとなる。
【０２６１】
まず、画像データＳ２５によって構成される画像の水平ライン上で隣接する２画素の画像データが、第１の画像データ生成部８１Ｃから順次出力される場合について説明する。
フリップフロップＦＦ１４に保持される画像データＳ２７と次にサンプリングされる画像データＳ２５とが１画素の画像データであるとき、および、画像データＳ２５によって構成される画像の水平ライン上で隣接する２画素の画像データであるとき、セレクタＳＬ１２では、次にサンプリングされる画像データＳ２５が選択されて出力される。
加算部ＡＤ８では、画像データＳ２５および画像データＳ２７が加算され、その加算値に乗算部ＭＬ８において係数１／２が乗算される。この乗算結果Ｓ２８が、画像データＳ２９として出力される。すなわち、画像データＳ２９は、画像データＳ２５および画像データＳ２７を加算し、これを値２で除した結果として得られる。
【０２６２】
隣接する２画素の一方の画素の画像データが第１の画像データ生成部８１Ｃから出力される場合において、まず、当該一方の画素の画像データがフリップフロップＦＦ１４において１回だけサンプリングされると、サンプリング後の画像データＳ２７と次にサンプリングされる画像データＳ２５とは、ともに当該一方の画素の画像データとなる。このため、画像データＳ２９としては、当該一方の画素の画像データと等しい画像データが得られる。
次いで、フリップフロップＦＦ１４において画像データＳ２５のサンプリングがさらにもう１回行われ、隣接する２画素の他方の画素の画像データが当該一方の画素の画像データに続いて第１の画像データ生成部８１Ｃから出力されると、サンプリング後の画像データＳ２７は当該一方の画素の画像データとなり、次にサンプリングされる画像データＳ２５は当該他方の画素の画像データとなる。このため、加算部ＡＤ８には、隣接する２画素の画像データが１対１の割合で入力され、画像データＳ２９としては、この２画素の画像データが１対１の割合で重み付けされて合成された１画素の画像データが得られる。
したがって、隣接した２画素の画像データが第１の画像データ生成部８１Ｃから順次出力された場合、画像データＳ２９としては、この２画素の画像データが１対０および１対１の割合で重み付けされて合成された２画素の画像データが得られる。隣接した２画素の画像データに対して２画素の画像データが得られるので、画像データ数は２倍に拡張され、第１の画像データ生成部８１Ｃから出力される８×４画素ブロックの画像データは、８×８画素ブロックの画像データに変換される。
【０２６３】
図１６（Ｃ）に示す画素ブロックＢ２４およびＢ２５は、図１６（Ｂ）における８×４画素の画素ブロックＢ２２およびＢ２３が第２の画像データ生成部８２Ｃにおいて８×８画素に変換された画素ブロックである。この画素ブロックＢ２４およびＢ２５の各画像データが、第２の画像データ生成部８２Ｃにおいて生成される画像データＳ２９に相当する。
たとえば図１６（Ｂ）に示すように、画像データＣ２２４およびＣ２０５の２画素は、画像データＳ２５によって構成される画像上において隣接しており、１×２画素の小画素ブロックＭＢ２２４を構成する。この小画素ブロックＭＢ２２４の２つの画像データ（Ｃ２２４、Ｃ２２５）が第１の画像データ生成部８１Ｃから順次出力され、フリップフロップＦＦ１４に保持される期間（図１７に示すタイミングチャートの時刻ｔ５２およびｔ５３）において、選択信号ｂｌｋ−ｒｉｇｈｔ２（図１７（Ｋ））はローレベルになり、セレクタＳＬ１２からは、フリップフロップＦＦ１４において次にサンプリングされる画像データＳ２５が出力される。この期間において、小画素ブロックＭＢ２２４の２つの画像データ（Ｃ２２４、Ｃ２２５）が２種類の重み付け方法で合成され、これにより、２画素の画像データＣ２４８およびＣ２４９（図１６（Ｃ））が画像データＳ２９（図１７（Ｍ））として順次生成される。
【０２６４】
一方、第１の画像データ生成部８１Ｃから出力される２画素の画像データが、画像データＳ２５によって構成される画像の水平ライン上で隣接していない場合、フリップフロップＦＦ１４に保持された画像データＳ２７の画素と、次にフリップフロップＦＦ１４に保持される画像データＳ２５の画素とが、隣接しない２画素の画像データとなる。
この場合、境界データ記憶部７０Ｃからは、フリップフロップＦＦ１４に保持された画像データＳ２７の画素に隣接する画素と等価な画素、すなわち、画像データＳ２７の画素に隣接する画素と等しい画像データを有する元画像の画素であって、元画像の所定の境界領域に含まれた画素の画像データＳ１１が出力される。この画像データＳ１１と画像データＳ２７の２画素は、画像データＳ２５によって構成される画像の水平ライン上において、所定の１×２画素の小画素ブロックを構成する。
この場合において、画像データＳ２５は、セレクタＳＬ１２によって境界データ記憶部７０Ｃから出力される画像データＳ１１に置き換えられて、加算部ＡＤ８に出力される。画像データＳ２９は、フリップフロップＦＦ１４の保持データＳ２７と、所定の境界領域の画像データＳ１１との合成結果として得られる。
【０２６５】
隣接しない２画素の一方の画素の画像データが第１の画像データ生成部８１Ｃから出力される場合において、まず、当該一方の画素の画像データがフリップフロップＦＦ１４において１回だけサンプリングされると、サンプリング後の画像データＳ２７と次にサンプリングされる画像データＳ２５とは、ともに当該一方の画素の画像データとなる。このため、画像データＳ２９としては、当該一方の画素の画像データと等しい画像データが得られる。
次いで、フリップフロップＦＦ１４において画像データＳ２５のサンプリングがさらにもう１回行われ、隣接しない２画素の他方の画素の画像データが当該一方の画素の画像データに続いて第１の画像データ生成部８１Ｃから出力されると、サンプリング後の画像データＳ２７は当該一方の画素の画像データとなり、次にサンプリングされる画像データＳ２５は当該他方の画素の画像データとなる。このとき、セレクタＳＬ１２において、次にサンプリングされる画像データＳ２５の代わりに、境界データ記憶部７０Ｃから出力される画像データＳ１１が選択されて、加算部ＡＤ８へ出力される。加算部ＡＤ８には、１×２画素の小画素ブロックを構成する画像データＳ１１および画像データＳ２７が１対１の割合で入力される。画像データＳ２９としては、この２画素の画像データが１対１の割合で重み付けされて合成された１画素の画像データが得られる。
したがって、隣接しない２画素の画像データが第１の画像データ生成部８１Ｃから順次出力された場合、画像データＳ２９としては、当該２画素の一方の画素の画像データと、境界データ記憶部７０Ｃから出力される画像データＳ１１とが１対０および１対１の割合で重み付けされて合成された２画素の画像データが得られる。
【０２６６】
たとえば図１６（Ｂ）に示すように、画像データＣ２２７およびＣ２３４の２画素は、画像データＳ２５によって構成される画像上において隣接しており、１×２画素の小画素ブロックＭＢ２２７を構成する。これに対し、第１の画像データ生成部８１Ｃからは、画像データＣ２２７に続けて画像データＣ２２８が入力される。この２つの画像データは、画像データＳ２５によって構成される画像の水平ライン上において隣接しない。
この画像データＣ２２７およびＣ２２８が第１の画像データ生成部８１Ｃから順次出力される場合において、まず、画像データＣ２２７がフリップフロップＦＦ１４において１回だけサンプリングされると、（図１７に示すタイミングチャートの時刻ｔ５８）、選択信号ｂｌｋ−ｒｉｇｈｔ２（図１７（Ｋ））はローレベルになり、セレクタＳＬ１２からは、フリップフロップＦＦ１４において次にサンプリングされる画像データＳ２５が出力される。加算部ＡＤ８には、画像データＳ２６およびＳ２７として、共に画像データＣ２２７が入力される。画像データＳ２９としては、画像データＣ２２７と等しい画像データが出力される。
次いで、フリップフロップＦＦ１４において画像データＳ２５のサンプリングがさらにもう１回行われ、画像データＣ２２８が画像データＣ２２７に続いて第１の画像データ生成部８１Ｃから出力されると、サンプリング後の画像データＳ２７は画像データＣ２２７となり、次にサンプリングされる画像データＳ２５は画像データＣ２２８となる。このとき、セレクタＳＬ１２において、次にサンプリングされる画像データＣ２２８の代わりに、境界データ記憶部７０Ｃから出力される画像データＣ２１２が選択されて、加算部ＡＤ８へ出力される。
元画像の境界領域Ｌ２１に含まれる画素は、この元画像を第１の画像データ生成部８１Ｃにおいて変換した後の画像上における境界領域Ｌ２３に含まれる画素と等価である。すなわち、境界領域Ｌ２３の各画素は、境界領域Ｌ２１の各画素を１００％の重み付けで合成して生成されるため、両者の各画素は互いに等しい画像データを有している。すなわち、境界データ記憶部７０Ｃから出力される画像データＣ２１２は、画像データＣ２３４と等しい値を有している。
したがって、加算部ＡＤ８には、１×２画素の小画素ブロックを構成する画像データＣ２２７およびＣ２３４が１対１の割合で入力されることになる。画像データＳ２９としては、この２画素の画像データが１対１の割合で重み付けされて合成された１画素の画像データが得られる。
結果として、小画素ブロックＭＢ２２７の２つの画像データ（Ｃ２２７、Ｃ２３４）が２種類の重み付け方法で合成され、これにより、２画素の画像データＣ２４１４およびＣ２４１５（図１６（Ｃ））が画像データＳ２９として順次生成される。
【０２６７】
また、フレームメモリ５０から画素ブロック記憶部６０Ｂへクロマ信号の画像データの読み出しが行われる場合に、これとともに、画素ブロック記憶部６０Ｂから第１の画像データ生成部８１Ｃへ次に読み出される８×２画素ブロックに隣接する別の８×２画素ブロック、または、画素ブロック記憶部６０Ｂから第１の画像データ生成部８１Ｃへ読み出し中の８×２画素ブロックに隣接する別の８×２画素ブロックの、所定の境界領域に含まれる画像データが、図示しない制御部によってフレームメモリ５０から読み出される。
【０２６８】
図１６（Ａ）において、８×２画素ブロックＢ２０およびＢ２１の左端に位置する８×１画素の領域Ｌ２０およびＬ２１が、この境界領域に相当する。
たとえば、画素ブロック記憶部６０Ｂが２バンク構成を有する場合、画素ブロックＢ２０の画像データが第１の画像データ生成部８１Ｃへ読み出されると同時に、画素ブロックＢ２０の次に処理される画素ブロックＢ２１の画像データが、フレームメモリ５０から画素ブロック記憶部６０Ｂへ読み出される。この場合、フレームメモリ５０から画素ブロック記憶部６０Ｂへ画素ブロックＢ２１の画像データが読み出される際に、画素ブロック記憶部６０Ｂから第１の画像データ生成部８１Ｃへ読み出し中の画素ブロックＢ２０に隣接する画素ブロックＢ２１の境界領域Ｌ２１の画像データが、フレームメモリ５０から読み出されることになる。
また、画素ブロック記憶部６０Ｂが２バンク構成を有していない場合には、画素ブロックＢ２０の画像データが第１の画像データ生成部８１Ｃへ読み出されるときに、画素ブロック記憶部６０Ｂから第１の画像データ生成部８１Ｃへの読み出し処理は行われない。この場合、フレームメモリ５０から画素ブロック記憶部６０Ｂへ画素ブロックＢ２０の画像データが読み出される際に、画素ブロック記憶部６０Ｂから第１の画像データ生成部８１Ｃへ次に読み出される画素ブロックＢ２０に隣接する画素ブロックＢ２１の境界領域Ｌ２１の画像データが、画素ブロックＢ２０の画像データとともに、フレームメモリ５０から読み出されることになる。
【０２６９】
イネーブル信号（ｘｃｂ−ｅｎ、ｘｃｒ−ｅｎ）は、上述したフレームメモリ５０からの読み出し処理の過程において、境界領域の画像データがフレームメモリ５０から読み出されるタイミングにおいてローレベルに設定される。これにより、境界領域の画像データが境界データ記憶部７０Ｃのレジスタ（ＲＥＧ５、ＲＥＧ６）に保持される。保持された境界領域の画像データは、第１の画像データ生成部８１Ｃおよび第２の画像データ生成部８２Ｃにおいて画像データを生成する際に使用される。
【０２７０】
／／ＹＣｒＣｂ比（４：１：１）から（４：２：２）への変換処理／／
この場合、画素ブロック記憶部６０Ｂでは、８×４画素ブロックごとにフレームメモリ５０のクロマ信号の画像データが読み出されて記憶される。
画素ブロック記憶部６０Ｂから第１の画像データ生成部８１Ｃへの読み出し周期は、クロック信号ＣＬＫの２倍の周期に設定される。
フリップフロップＦＦ１２に入力されるイネーブル信号ｉｎ−ｅｎ２は常にローレベルに設定されるため、フリップフロップＦＦ１２では、クロック信号ＣＬＫの１サイクルごとに画素ブロック記憶部６０Ｂからの読み出しデータＳ９が保持される。すなわち、フリップフロップＦＦ１２では、１画素の画像データＳ９が画素ブロック記憶部６０Ｂから読み出される度に、この読み出された画像データに対し２回のサンプリングが行われる。
第１の画像データ生成部８１ＣにおけるセレクタＳＬ１１では、フリップフロップＦＦ１２の保持データが画像データＳ２５として選択され、フリップフロップＦＦ１４へ直接入力される。
【０２７１】
また、フレームメモリ５０から画素ブロック記憶部６０Ｂへクロマ信号の画像データの読み出しが行われる場合に、これとともに、画素ブロック記憶部６０Ｂから第１の画像データ生成部８１Ｃへ次に読み出される８×４画素ブロックに隣接する別の８×４画素ブロック、または、画素ブロック記憶部６０Ｂから第１の画像データ生成部８１Ｃへ読み出し中の８×４画素ブロックに隣接する別の８×４画素ブロックの、所定の境界領域に含まれる画像データが、図示しない制御部によってフレームメモリ５０から読み出される。この読み出された境界領域に含まれる画像データが、境界データ記憶部７０ＣのレジスタＲＧ５またはレジスタＲＧ６に保持される。
【０２７２】
以上のことから、第２の画像データ生成部８２ＣとフリップフロップＦＦ１２とを合わせた構成および動作が、図９において示した画像データ生成部８２Ａの構成および動作と等価になる。したがって、画像データ生成部８２Ａの説明において述べたものと同様な動作により、画素ブロック記憶部６０Ｂから読み出された８×４画素ブロックの画像データが８×８画素ブロックの画像データに変換され、ＹＣｒＣｂ比（４：１：１）から（４：２：２）への変換処理が実現される。
【０２７３】
以上説明したように、図１５に示す第１の画像データ生成部８１Ｃ、第２の画像データ生成部８２Ｃおよび境界データ記憶部７０Ｃを含んだ画像データ処理装置によれば、図１４に示す画像データ処理装置と同様に、画像データ数の変換処理が、第１の画像データ生成部８１Ｃおよび第２の画像データ生成部８２Ｃにおいて２段階に分けて実行される。したがって、各段階における画像データ数の変換比が小さくなり、回路構成を簡略化することができる。
また、図１５に示す画像データ処理装置によれば、第１の画像データ生成部８１Ｃにおける画像データ数の変換処理を有効化または無効化することにより、２種類の変換比による画像データ数の変換処理をおこなうことができる。この場合、第２の画像データ生成部８２Ｃにおける画像データ数の変換処理が２つの変換比を実現するために共用されるので、例えば図７の画像データ処理装置のように、異なる変換比で画像データ数変換をおこなう２つの画像データ処理装置を個別に設ける方法に比べて、回路規模をさらに削減することができる。
【０２７４】
選択信号（ｂｌｋ−ｒｉｇｈｔ１、ｂｌｋ−ｒｉｇｈｔ２、ａｒｅａ−ｃｒ）やイネーブル信号（ｘｃｂ−ｅｎ、ｘｃｒ−ｅｎ、ｉｎ−ｅｎ２）は、画像データ符号化部９０において処理される１ＭＣＵ分の画像データが画素ブロック記憶部６０から読み出されるたびに、図示しない制御部によって同一のタイミングで生成される。
したがって、たとえば、画像データ符号化部９０において処理される１ＭＣＵ分の画像データが画素ブロック記憶部６０Ｂから読み出されるたびに、その先頭の画像データの読み出し時において初期化され、画像データの読み出しが行われるたびに計数を行うカウンタと、このカウンタの計数値に応じた選択信号（ｂｌｋ−ｒｉｇｈｔ１、ｂｌｋ−ｒｉｇｈｔ２、ａｒｅａ−ｃｒ）、イネーブル信号（ｘｃｂ−ｅｎ、ｘｃｒ−ｅｎ、ｉｎ−ｅｎ２）を生成するデコード回路とをこの制御部に設けることにより、これらの信号を簡単に生成することができる。
【０２７５】
＜第７の実施形態＞
次に、本発明の第７の実施形態について述べる。
図１８は、本発明の第３の実施形態に係るカメラ・システム１００の構成の一例を示すブロック図である。
図１８に示すカメラ・システム１００は、光学系１０１と、ＣＣＤ１０２と、Ａ／Ｄ変換部１０３と、画像圧縮部１０４と、ＳＤＲＡＭ１１４と、ＣＰＵ１１５とを有する。
また、画像圧縮部１０４は、ＣＣＤ信号処理部１０５と、バス１０６と、バッファ１０７と、ＳＤＲＡＭインターフェイス（ＳＤＲＡＭＩ／Ｆ）１０８と、ＪＰＥＧ処理部１０９ａと、ＪＰＥＧインターフェイス部１０９ｂと、クロック生成部１１０と、システムコントローラ１１１と、ＣＰＵインターフェイス（ＣＰＵＩ／Ｆ）１１２と、メモリコントローラ１１３とを有する。
光学系１０１、ＣＣＤ１０２およびＡ／Ｄ変換部１０３を含むユニットは、本発明の第８および第９の観点における撮影手段の一実施形態である。
ＳＤＲＡＭ１１４は、本発明の第８および第９の観点におけるフレーム画像記憶手段の一実施形態である。
ＪＰＥＧインターフェイス部１０９ａは、本発明の第８および第９の観点における画像データ符号化手段の一実施形態である。
ＪＰＥＧインターフェイス部１０９ｂおよびバッファ１０７を含むユニットは、本発明の第８および第９の観点における画像データ処理手段の一実施形態である。
【０２７６】
光学系１０１は、使用者の操作により所望の画像を撮像し、その光信号をＣＣＤ１０２の撮像面上に結像させる。
ＣＣＤ１０２は、光学系１０１により結像された撮像面上の光信号を電気信号に変換し、アナログ画像信号としてＡ／Ｄ変換部１０３に出力する。
Ａ／Ｄ変換部１０３は、ＣＣＤ１０２より入力されたアナログ画像信号を所定の階調のデジタル画像信号に変換し、画像圧縮部１０４のＣＣＤ信号処理部１０５に出力する。
【０２７７】
画像圧縮部１０４のＣＣＤ信号処理部１０５は、システムコントローラ１１１の制御に基づいて、入力されるデジタル画像信号をＲ（赤）、Ｇ（緑）、Ｂ（青）の各色信号に分離し、各色信号に対して色再現性のためガンマ補正を行い、さらに輝度信号とクロマ信号を生成する。生成された輝度信号とクロマ信号からなる画像データは、バス１０６を介してバッファ１０７に出力される。
【０２７８】
バッファ１０７は、ＣＣＤ信号処理部１０５よりバス１０６を介して入力される画像データを順次記憶し、一定量蓄えられたら、メモリコントローラ１１３の制御に基づいて、ＳＤＲＡＭＩ／Ｆ１０８に出力する。また、ＳＤＲＡＭＩ／Ｆ１０８から入力される、ＳＤＲＡＭ１１４より読み出された画像データを一時的に記憶し、バス１０６およびＪＰＥＧインターフェイス部１０９ｂを介してＪＰＥＧ処理部１０９ａに出力する。
ＳＤＲＡＭＩ／Ｆ１０８は、画像圧縮部１０４の外部メモリであって、メモリコントローラ１１３の制御に基づいて、バッファ１０７より入力される所定の単位ごとの画像データをＳＤＲＡＭ１１４に記憶する。また、ＳＤＲＡＭ１１４に記憶されている画像データを、８×８画素ブロックごとに読み出し、バッファ１０７に出力する。
【０２７９】
ＪＰＥＧ処理部１０９ａは、ＪＰＥＧインターフェイス部１０９ｂを介して１ＭＣＵごとに入力される画像データをＪＰＥＧ符号化して、符号化ビットストリームを生成する。そして、生成した符号化ビットストリームをＪＰＥＧインターフェイス部、バス１０６およびＣＰＵＩ／Ｆ１１２を介してＣＰＵ１１５に出力する。
【０２８０】
ＪＰＥＧインターフェイス部１０９ｂは、システムコントローラ１１１の制御に基づいてＳＤＲＡＭ１１４より読み出され、バッファ１０７およびバス１０６を介して所定の画像ブロックごとに入力される画像データに対し、ＹＣｒＣｂ比変換を実行する。そして、このＹＣｒＣｂ比変換によりデータ数変換が行われたクロマ信号の８×８画素ブロックを含む１ＭＣＵの画像データをＪＰＥＧ処理部１０９ａへ順次出力する。また、ＪＰＥＧ処理部１０９ａにおいて生成された符号化ビットストリームを、バス１０６およびＣＰＵＩ／Ｆ１１２を介してＣＰＵ１１５に出力する。
【０２８１】
なお、ＪＰＥＧインターフェイス部１０９ｂは、第３〜第６の実施形態において説明した画像データ生成部および境界データ記憶部を含んでいる。
たとえば、図７に示すブロック図では、境界データ記憶部７０、画像データ生成部８１、画像データ生成部８２、およびセレクタＳＬ４と同様な構成を含む。図８および図９に示すブロック図では、境界データ記憶部７０Ａ、画像データ生成部８１Ａおよび画像データ生成部８２Ａと同様な構成を含む。図１４に示すブロック図では、境界データ記憶部７０Ｂ、第１の画像データ生成部８１Ｂ、および第２の画像データ生成部８２Ｂと同様な構成を含む。図１５に示すブロック図では、境界データ記憶部７０Ｃ、第１の画像データ生成部８１Ｃ、および第２の画像データ生成部８２Ｃと同様な構成を含む。
【０２８２】
クロック生成部１１０は、システムコントローラ１１１の制御に基づいて、画像圧縮部１０４内の各部で使用するクロックを生成し、その各構成部に提供する。
バス１０６は、画像圧縮部１０４内のデータバスを模式的に示したものである。このバス１０６を介して、ＣＣＤ信号処理部１０５からバッファ１０７へ、およびバッファ１０７からＪＰＥＧインターフェイス部１０９ｂへの画像データの転送、および、ＪＰＥＧインターフェイス部１０９ｂからＣＰＵＩ／Ｆ１１２への符号化ビットストリームの転送などが行なわれる。
【０２８３】
システムコントローラ１１１は、ＣＰＵ１１５の制御に基づいて動作し、画像圧縮部１０４の動作、すなわち、入力される画像データのＳＤＲＡＭ１１４への記憶、ＳＤＲＡＭ１１４に記憶された画像データのＪＰＥＧ処理部１０９ａへの転送、ＪＰＥＧ処理部１０９ａにおけるＪＰＥＧ符号化、および、符号化された画像データのＣＰＵ１１５への出力などの動作が適切に行えるように、画像圧縮部１０４の各構成部を制御する。
ＣＰＵＩ／Ｆ１１２は、ＣＰＵ１１５とのインターフェイスであり、ＣＰＵ１１５からの制御信号、画像信号の入力、ＣＰＵ１１５への制御信号、符号化データの出力などを行う。
メモリコントローラ１１３は、システムコントローラ１１１の制御に基づいて、バッファ１０７およびＳＤＲＡＭＩ／Ｆ１０８を制御し、画像データのＳＤＲＡＭ１１４への記憶およびＳＤＲＡＭ１１４に記憶された画像データの読み出しなどを制御する。
【０２８４】
ＳＤＲＡＭ１１４は、撮影された輝度信号およびクロマ信号からなる画像データを一時的に記憶するメモリである。光学系１０１、ＣＣＤ１０２およびＡ／Ｄ変換部１０３において撮影された画像データは、一旦ＳＤＲＡＭ１１４に記憶された後、ＪＰＥＧ処理部１０９ａに順次供給され、符号化され、ＣＰＵ１１５に出力され、記憶、表示、伝送などに用いられる。
ＣＰＵ１１５は、光学系１０１、ＣＣＤ１０２、Ａ／Ｄ変換部１０３、画像圧縮部１０４およびＳＤＲＡＭ１１４による所望の画像の撮像、画像処理、画像データの記憶・再生、ＪＰＥＧ符号化、ＪＰＥＧ符号化データの記憶、表示、伝送などの各処理が適切に行なわれ、カメラ・システム１００が全体として所望の動作をするように、カメラ・システム１００の各構成部を制御する。
【０２８５】
このような構成のカメラ・システム１００においては、まず、使用者の操作により光学系１０１により所望の画像が撮像されると、ＣＣＤ１０２において光信号から電気信号に変換されて画像信号が生成される。その画像信号は、Ａ／Ｄ変換部１０３でアナログ信号からデジタル信号に変換され、さらに画像圧縮部１０４のＣＣＤ信号処理部１０５において各色信号に分解され、ガンマ補正が施された後、輝度信号とクロマ信号からなる画像データに変換される。
この画像データは、バッファ１０７、ＳＤＲＡＭＩ／Ｆ１０８を介して一旦ＳＤＲＡＭ１１４に記憶された後、所定の画素ブロックごとに順次読み出されてＪＰＥＧインターフェイス部１０９ｂにおいてＹＣｒＣｂ比を変換され、８×８画素ブロックごとにＪＰＥＧ処理部１０９ａに入力される。
ＪＰＥＧ処理部１０９ａにおいては、順次入力される８×８画素ブロックごとの画像データがＪＰＥＧ符号化され、所定のフォーマットのＪＰＥＧ符号化データ・ストリームが生成される。このＪＰＥＧ符号化データ・ストリームがＣＰＵＩ／Ｆ１１２を介してＣＰＵ１１５に出力され、記憶、表示、伝送などの処理が行なわれる。
【０２８６】
以上説明したように、図１８に示したカメラ・システムでは、ＪＰＥＧインターフェイス部１０９ｂに所定の画素ブロックごとに入力される画像データに対して直接データ数の変換処理を行うことができる。これにより、フレームメモリやラインメモリに対して画像データを読み書きさせる処理が省略されるので、データの処理を高速化することができ、回路規模を大幅に減少させることができる。
また、ＹＣｒＣｂ比を種々に変更することができるので、様々な形式の画像データを扱うことが可能になり、利便性を高めることができる。
【０２８７】
なお、本発明は上述した第１ないし第７の実施形態に限定されない。
上述した各実施形態において示した種々の具体的な数値等、たとえば、画素ブロックや小画素ブロックのサイズ、小画素ブロックの配列方法、重み付け係数、画像データの読み出し周期、サンプリング回数などは、何れも説明上の一例に過ぎず、任意に改変することが可能である。
【０２８８】
第１および第２の実施形態においては画像データ数が減縮される場合のみが示されており、第３ないし第６の実施形態では画像データ数が拡大される場合のみが示されているが、本発明はこれに限定されない。すなわち、第１および第２の実施形態において示した画像データ生成部において、小画素ブロックのサイズ、その配列方法、１つの小画素ブロックから画像データを合成させる際の重み付けの種類などを適当に定めることにより、画像データ数の拡大を実行することも可能である。また、同様に、第３ないし第６の実施形態において示した画像データ生成部において、小画素ブロックのサイズ、その配列方法、１つの小画素ブロックから画像データを合成させる際の重み付けの種類などを適当に定めることにより、画像データ数の縮小を実行することも可能である。
【０２８９】
【発明の効果】
本発明によれば、第１に、複数の異なる変換比をもって画像データ数の変換を行うことができる画像データ処理装置を提供することができる。
第２に、複数の異なる変換比をもって画像データ数の変換を行うことができる画像データ処理方法を提供することができる。
第３に、撮影画像の画像データに対して、複数の異なる変換比をもって画像データ数の変換を行うことができるカメラ・システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像データ処理装置の構成の一例を示すブロック図である。
【図２】本発明の第２の実施形態に係る画像データ処理装置に含まれる第１の画像データ生成部、第２の画像データ生成部、境界データ記憶部、および制御部の構成の一例を示すブロック図である。
【図３】画像データ復号化部から出力されるＹＣｒＣｂ比（４：４：４）の画像データＳ１をＹＣｒＣｂ比（４：１：１）の画像データへ変換するクロマ信号補間処理の概要を図解した図である。
【図４】ＹＣｒＣｂ比（４：４：４）からＹＣｒＣｂ比（４：１：１）への変換処理が行われる場合における、図２のブロック図に示した各信号の値とタイミング関係の一例を示すタイミングチャートである。
【図５】画像データ復号化部から出力されるＹＣｒＣｂ比（４：２：２）の画像データＳ１をＹＣｒＣｂ比（４：１：１）の画像データへ変換するクロマ信号補間処理の概要を図解した図である。
【図６】ＹＣｒＣｂ比（４：２：２）からＹＣｒＣｂ比（４：１：１）への変換処理が行われる場合における、図２のブロック図に示した各信号の値とタイミング関係の一例を示すタイミングチャートである。
【図７】本発明の第３の実施形態に係る画像データ処理装置の構成の一例を示すブロック図である。
【図８】本発明の第４の実施形態に係る画像データ処理装置に含まれる画像データ生成部および境界データ記憶部の構成の一例を示す第１のブロック図である。
【図９】本発明の第４の実施形態に係る画像データ処理装置に含まれる画像データ生成部および境界データ記憶部の構成の一例を示す第２のブロック図である。
【図１０】フレームメモリから読み出されたＹＣｒＣｂ比（４：１：１）の画像データをＹＣｒＣｂ比（４：４：４）の画像データへ変換するクロマ信号補間処理の概要を図解した第１の図である。
【図１１】ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換処理が行われる場合における、図８のブロック図に示した各信号の値とタイミング関係の一例を示すタイミングチャートである。
【図１２】フレームメモリから読み出されたＹＣｒＣｂ比（４：１：１）の画像データをＹＣｒＣｂ比（４：２：２）の画像データへ変換するクロマ信号補間処理の概要を図解した図である。
【図１３】ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換処理が行われる場合における、図９のブロック図に示した各信号の値とタイミング関係の一例を示すタイミングチャートである。
【図１４】本発明の第５の実施形態に係る画像データ処理装置の構成の一例を示すブロック図である。
【図１５】本発明の第６の実施形態に係る画像データ処理装置に含まれる第１の画像データ生成部、第２の画像データ生成部および境界データ記憶部の構成の一例を示すブロック図である。
【図１６】フレームメモリから読み出されたＹＣｒＣｂ比（４：１：１）の画像データをＹＣｒＣｂ比（４：４：４）の画像データへ変換するクロマ信号補間処理の概要を図解した第２の図である。
【図１７】ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：４：４）への変換処理が行われる場合における、図１５のブロック図に示した各信号の値とタイミング関係の一例を示すタイミングチャートである。
【図１８】本発明の第３の実施形態に係るカメラ・システムの構成の一例を示すブロック図である。
【図１９】一般的なデジタルビデオ用画像処理装置のインターフェイス部の構成の一例を示すブロック図である。
【図２０】ＹＣｒＣｂ比（４：４：４）形式における１つのＭＣＵを図解した図である。
【図２１】ＹＣｒＣｂ比（４：２：２）形式における１つのＭＣＵを図解した図である。
【図２２】ＹＣｒＣｂ比（４：１：１）形式における１つのＭＣＵを図解した図である。
【図２３】ＪＰＥＧ復号化部から出力されるＹＣｒＣｂ比（４：２：２）の画像データをＹＣｒＣｂ比（４：１：１）の画像データへ変換するクロマ信号補間処理の概要を図解した図である。
【図２４】ＹＣｒＣｂ比（４：２：２）からＹＣｒＣｂ比（４：１：１）への変換を行う、一般的なＪＰＥＧインターフェイス回路の構成の一例を示すブロック図である。
【図２５】フレームメモリからＹＣｒＣｂ比（４：１：１）の画像データを読み出してＹＣｒＣｂ比（４：２：２）の画像データに変換しＪＰＥＧ符号化部へ出力する際のクロマ信号補間処理の概要を図解した図である。
【図２６】ＹＣｒＣｂ比（４：１：１）からＹＣｒＣｂ比（４：２：２）への変換を行う、一般的なＪＰＥＧインターフェイス回路の構成の一例を示すブロック図である。
【符号の説明】
１０…画像データ復号化部、２１，２１Ａ，８１Ｂ，８１Ｃ…第１の画像データ生成部、２２，２２Ａ，８２Ｂ，８２Ｃ…第２の画像データ生成部、３０，３０Ａ，７０，７０Ａ〜７０Ｃ…境界データ記憶部、４０，６０，６０Ｂ…画素ブロック記憶部、５０…フレームメモリ、８１，８１Ａ，８２，８２Ａ…画像データ生成部、９０…画像データ符号化部、ＦＦ１〜ＦＦ１４…フリップフロップ、ＡＤ１〜ＡＤ８…加算部、ＭＬ１〜ＭＬ８…乗算部、ＳＬ１〜ＳＬ１３…セレクタ、ＲＧ１〜ＲＧ６…レジスタ、ＣＯＮＴ１…制御部
【図１】
2004135007.tif 000003
【図２】
2004135007.tif 000004
【図３】
2004135007.tif 000005
【図４】
2004135007.tif 000006
【図５】
2004135007.tif 000007
【図６】
2004135007.tif 000008
【図７】
2004135007.tif 000009
【図８】
2004135007.tif 000010
【図９】
2004135007.tif 000011
【図１０】
2004135007.tif 000012
【図１１】
2004135007.tif 000013
【図１２】
2004135007.tif 000014
【図１３】
2004135007.tif 000015
【図１４】
2004135007.tif 000016
【図１５】
2004135007.tif 000017
【図１６】
2004135007.tif 000018
【図１７】
2004135007.tif 000019
【図１８】
2004135007.tif 000020
【図１９】
2004135007.tif 000021
【図２０】
2004135007.tif 000022
【図２１】
2004135007.tif 000023
【図２２】
2004135007.tif 000024
【図２３】
2004135007.tif 000025
【図２４】
2004135007.tif 000026
【図２５】
2004135007.tif 000027
【図２６】
2004135007.tif 000028