(57)【特許請求の範囲】
【請求項１】
画像入力手段により入力された入力画像の解像度を変換する解像度変換手段と、
前記画像入力手段により入力された入力画像が縮小された縮小画像に対するフィルタ処理により得られるフィルタ画像に対する補間処理によって空間フィルタ処理画像を作成し、前記作成した空間フィルタ処理画像に基づいて、前記入力画像に対する階調補正を行う階調補正処理手段と、
前記画像入力手段により入力された入力画像、前記解像度変換手段によって解像度が変換された画像、及び前記階調補正処理手段によって階調補正された画像を保持するメモリ手段と、
前記画像入力手段により入力された入力画像の解像度を変換する処理と、前記空間フィルタ処理画像の作成に用いる前記縮小画像を作成する処理とを時分割で行うように制御する制御手段とを有し、
前記制御手段は、動画像を構成する１画面分のデータの更新間隔である１映像期間内に、前記１画面分のデータに対する前記解像度の変換処理と前記縮小画像の作成処理とが完了するように制御することを特徴とする画像処理装置。
【請求項２】
前記解像度変換手段は、前記入力画像の奇数ラインと偶数ラインとのうちいずれかの画像データを用いて前記縮小画像を作成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記解像度変換手段は、前記入力画像の奇数ラインの画像データを用いて前記縮小画像を作成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記解像度変換手段は、解像度を変換する処理手段を複数有し、前記入力画像から複数の異なる画角に対応する複数の縮小画像を並列に作成し、前記階調補正処理手段は、前記複数の異なる画角に対応する複数の縮小画像を用いて前記複数の異なる画角の画像に対する階調補正処理を行うことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記異なる画角の画像は、前記画像入力手段によって入力された入力画像から一部を切り出すことによって作成されることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
画像入力手段により入力された入力画像の解像度を変換する解像度変換手段と、
前記画像入力手段により入力された入力画像が縮小された縮小画像に対するフィルタ処理により得られるフィルタ画像に対する補間処理によって空間フィルタ処理画像を作成し、前記作成した空間フィルタ処理画像に基づいて、前記入力画像に対する階調補正を行う階調補正処理手段と、
前記画像入力手段により入力された入力画像、前記解像度変換手段によって解像度が変換された画像、及び前記階調補正処理手段によって階調補正された画像を保持するメモリ手段と、
前記階調補正された画像の解像度を変換する処理と、前記空間フィルタ処理画像の作成に用いる前記縮小画像を作成する処理とを時分割で行うように制御する制御手段とを有し、
前記制御手段は、動画像を構成する１画面分のデータの更新間隔である１映像期間内に、前記１画面分のデータに対する前記解像度の変換処理と前記縮小画像の作成処理とが完了するように制御することを特徴とする画像処理装置。
【請求項７】
画像入力手段により入力された入力画像の解像度を変換する解像度変換手段と、
前記画像入力手段により入力された入力画像が縮小された縮小画像に対するフィルタ処理により得られるフィルタ画像に対する補間処理によって空間フィルタ処理画像を作成し、前記作成した空間フィルタ処理画像に基づいて、前記入力画像に対する階調補正を行う階調補正処理手段と、
前記画像入力手段により入力された入力画像、前記解像度変換手段によって解像度が変換された画像、及び前記階調補正処理手段によって階調補正された画像を保持するメモリ手段とを有する画像処理装置が行う画像処理方法であって、
前記画像入力手段により入力された入力画像の解像度を変換する処理と、前記空間フィルタ処理画像の作成に用いる前記縮小画像の作成処理とを時分割で行うように制御する制御工程を有し、
前記制御工程は、動画像を構成する１画面分のデータの更新間隔である１映像期間内に、前記１画面分のデータに対する前記解像度の変換処理と前記縮小画像を作成する処理とが完了するように制御することを特徴とする画像処理方法。
【請求項８】
画像入力手段により入力された入力画像の解像度を変換する解像度変換手段と、
前記画像入力手段により入力された入力画像が縮小された縮小画像に対するフィルタ処理により得られるフィルタ画像に対する補間処理によって空間フィルタ処理画像を作成し、前記作成した空間フィルタ処理画像に基づいて、前記入力画像に対する階調補正を行う階調補正処理手段と、
前記画像入力手段により入力された入力画像、前記解像度変換手段によって解像度が変換された画像、及び前記階調補正処理手段によって階調補正された画像を保持するメモリ手段とを有する画像処理装置が行う画像処理方法であって、
前記階調補正された画像の解像度を変換する処理と、前記空間フィルタ処理画像の作成に用いる前記縮小画像の作成処理とを時分割で行うように制御する制御工程を有し、
前記制御工程は、動画像を構成する１画面分のデータの更新間隔である１映像期間内に、前記１画面分のデータに対する前記解像度の変換処理と前記縮小画像を作成する処理とが完了するように制御することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像信号をデジタル化してデジタル信号処理する画像処理装置及び画像処理方法に関し、例えば画像の階調補正処理を行う際に用いて好適な技術に関する。
【背景技術】
【０００２】
従来、原画像に対して画素数が少ない画像を作成し、それを原画像の画素数と同等になるまで補間拡大して空間フィルタ処理画像を作成し、その空間フィルタ処理画像と原画像信号に基づいて非線形処理を行う画像処理手法が提案されている。これらの場合、画素数の少ない画像の作成はこの画像処理装置内部で閉じた形で実現されている（例えば、特許文献１参照）。
【０００３】
一方、近年、ネットワークカメラなどのように、カメラで撮影した映像をネットワーク越しに複数のユーザが利用する装置が増加している。そのような装置では、ユーザの要求する解像度に応じて、撮影した画像の解像度を撮像装置側で解像度変換して送信することが行われる（例えば、非特許文献１参照）。
【０００４】
また、解像度変換処理等の画像処理モジュールを複数の出力に対して共有する手法が提案されている（例えば、特許文献２参照）。更に、階調補正と解像度とを関連させた技術としては、画像データの画素値に応じて階調補正するための補正係数の解像度を切り替える手法が提案されている（例えば特許文献３参照）。
【０００５】
【特許文献１】特開平１０−６３８３７号公報
【特許文献２】特開２００２−３１８６７３号公報
【特許文献３】特許第３４２４５７６号公報
【非特許文献１】「ネットワークカメラVB-C５０i/VB-C５０iR」、映像情報インダストリアル、産業開発機構（株）、平成１６年１０月１日、第３６巻、第１０号、p.６８−６９
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前述したネットワークカメラなどのように、ユーザの要求する解像度に応じて入力した動画像を解像度変換するシステムに前記画像処理を適用し、階調補正処理を実施した画像を解像度変換して配信することを考えた場合がある。この場合、階調補正処理と画像の拡大及び縮小などの解像度変換処理の両者を、動画像を構成する１画面分のデータの更新間隔である１映像期間毎に、それぞれの画面を構成するデータに対して行う必要がある。しかし、階調補正処理と解像度変換処理の同時実施を考慮した装置は従来存在しなかった。
【０００７】
特許文献３では階調補正処理の中で解像度という用語を利用しているが、これは周波数特性という意味合いが強く、異なる画像サイズの画像を生成するための解像度変換処理とは異なっている。
【０００８】
また、階調補正処理部及び解像度処理部の二つを単純に一つのシステム内部に存在させると、両者の処理に要するハードウェア資源がそのまま加えられることになり、ハードウェア量の増大を招くという問題がある。
【０００９】
また、階調補正処理を行ってから解像度変換処理を行った場合、処理内容が増える分遅延要素が増えることになる。単純にフレーム画像単位で処理した結果を各処理ユニット間で受け渡していたのでは、全体画面の縮小画像を作ってから階調補正処理を行うために、階調補正処理部で少なくとも１フレーム遅延し、更に解像度変換処理に伴う遅延が付け加わることになる。撮影した画像をできる限り遅延なく送出するという観点から考えると、映像の処理遅延が増大することは問題である。
【００１０】
更に、階調補正処理を１枚のフレーム画像単位ごとに実施することになる。それゆえ、１画面分のデータの更新間隔である１映像期間内に、入力されたフレーム画像を加工して複数の異なる画像として取り扱い、それらに対してそれぞれ階調補正処理を実施することはできなかった。
【００１１】
本発明は前述の問題点に鑑み、階調補正処理と解像度変換処理の同時実施を考慮した画像処理装置及び画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、画像入力手段により入力された入力画像の解像度を変換する解像度変換手段と、前記画像入力手段により入力された入力画像が縮小された縮小画像に対するフィルタ処理により得られるフィルタ画像に対する補間処理によって空間フィルタ処理画像を作成し、前記作成した空間フィルタ処理画像に基づいて、前記入力画像に対する階調補正を行う階調補正処理手段と、前記画像入力手段により入力された入力画像、前記解像度変換手段によって解像度が変換された画像、及び前記階調補正処理手段によって階調補正された画像を保持するメモリ手段と、前記画像入力手段により入力された入力画像の解像度を変換する処理と、前記空間フィルタ処理画像の作成に用いる前記縮小画像を作成する処理とを時分割で行うように制御する制御手段とを有し、前記制御手段は、動画像を構成する１画面分のデータの更新間隔である１映像期間内に、前記１画面分のデータに対する前記解像度の変換処理と前記縮小画像の作成処理とが完了するように制御することを特徴とする。
また、本発明の画像処理装置の他の態様としては、画像入力手段により入力された入力画像の解像度を変換する解像度変換手段と、前記画像入力手段により入力された入力画像が縮小された縮小画像に対するフィルタ処理により得られるフィルタ画像に対する補間処理によって空間フィルタ処理画像を作成し、前記作成した空間フィルタ処理画像に基づいて、前記入力画像に対する階調補正を行う階調補正処理手段と、前記画像入力手段により入力された入力画像、前記解像度変換手段によって解像度が変換された画像、及び前記階調補正処理手段によって階調補正された画像を保持するメモリ手段と、前記階調補正された画像の解像度を変換する処理と、前記空間フィルタ処理画像の作成に用いる前記縮小画像を作成する処理とを時分割で行うように制御する制御手段とを有し、前記制御手段は、動画像を構成する１画面分のデータの更新間隔である１映像期間内に、前記１画面分のデータに対する前記解像度の変換処理と前記縮小画像の作成処理とが完了するように制御することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、動画像を構成する１画面分のデータの更新間隔である１映像期間毎に、前記解像度変換と前記縮小画像作成の両者の処理がそれぞれ完了するように制御する制御手段を持つようにした。これにより、階調補正処理を実施した画像を解像度変換して配信することが可能になる。
【００１４】
また、前記入力された画像もしくは前記階調補正処理をされた画像の解像度を変換する処理と、前記階調補正処理に利用するための縮小画像を作成する処理との両者に前記解像度変換手段を時分割多重で利用するための手段を備えた。これにより、解像度処理部を階調補正処理に利用する縮小画像を作成することにもできるようになるため、階調補正処理部単独で縮小画像作成のための処理ユニットを持つ必要がなくなる。そのため、両者を単純に並べてシステムを構成した場合に比べてハードウェア資源の削減が可能になる。
【００１６】
また、時分割多重にするために片フィールドの画像データを用いて階調補正処理に利用する縮小画像を作成している。これにより、１フレーム分の画像データを用いて縮小画像を作成する場合に比べて少なくとも０．５フレーム分出力画像の遅延を小さくすることが可能になる。また、階調補正処理と解像度変換処理の２つの処理ユニットを１つのシーケンス制御部で制御することで、全体の処理遅延を１フレーム以内に押さえることが可能になる。
【００１７】
更に、解像度変換手段において、解像度を変換する複数の処理手段を並行に動作させる。これにより、階調補正処理に利用する縮小画像を切出し画像などの異なる画角に対応して複数作成し、動画像を構成する１画面分のデータの更新間隔である１映像期間内に、複数の異なる画角の画像に対して階調補正処理を実施することが可能になる。
【発明を実施するための最良の形態】
【００１８】
（第１の実施形態）
以下、添付図面を参照して本発明の好適な実施形態を詳細に説明する。
図１は、本実施形態における画像処理装置の構成を示すブロック図である。１は本提案の主眼となる画像加工部であり、ＣＣＤ等のセンサーを用いた撮像部３から同期信号を含んだ映像信号が動画像データとして入力される。この同期信号を含んだ映像信号の例としてはITU-R BT.656の形式に準拠したもの等がある。画像加工部で処理された動画像は画像出力処理部２に送られ、そこで圧縮等の処理を加えられてネットワーク４へと送出される。
【００１９】
画像加工部１には動画像入力を受け取るための画像入力インタフェース１０、入力された画像、及び各処理ユニットで処理された画像データを一時保存するためのメモリ（１）４０が存在する。さらに、階調補正処理を実施するための階調補正処理部２０、解像度変換部３０が存在する。
【００２０】
画像入力インタフェース１０は、撮像部３から入力される同期信号を含んだ映像信号から同期信号を抽出し、フレームの開始や、奇数フィールド、偶数フィールドの切り替わりなどの同期情報を抽出してシーケンス制御部８０に対して伝達する。また同時に、その同期信号の状態に応じて、入力された画像データのメモリ（１）４０への転送を制御し、その転送状況に関してもシーケンス制御部８０に対して通知を行う。これらの同期信号、及びメモリへの転送信号の情報を元に、シーケンス制御部８０は１画面分のデータの更新間隔である１映像期間を認識し、その期間毎に各種処理が完了するように制御を行う。
【００２１】
なお、画像入力インタフェース１０がメモリ（１）に転送する画像データは、同期信号を含んだ映像信号から画像信号の部分のみを取り出したものである。また、メモリ（１） ４０に関しては、画像データの受け渡しのために、後述する画像出力処理部２側からもアクセスが可能である。
【００２２】
画像出力処理部２には、メモリ（１）４０から動画像データを読み出して所定の方式に基づいて圧縮をする圧縮処理部５０が存在する。さらに、圧縮処理された符号化データを一時蓄積するメモリ（２）７０、メモリ（２）７０から符号化データを取り出してネットワーク４に送出するためのパケット化などの処理を行う通信処理部６０が存在する。そして、画像加工部１、及び画像出力処理部２のそれぞれの処理モジュール間でのデータの受け渡しを制御するためのシーケンス制御部８０が、画像加工部１、及び画像出力処理部２をまたぐ形でそれら内部の各処理モジュールと接続されている。シーケンス制御部８０にはＣＰＵ８１が含まれており、通信制御部６０を介して伝達されたネットワーク４を利用しているユーザの要求に応じて、各モジュールを適切に制御する。
【００２３】
ここで、メモリ（１）４０とメモリ（２）７０とは別のモジュールとして記述したが、メモリの構成としてはこの両者を別個の物理的なメモリとして構成することも、一つの物理メモリとして構成することも可能である。
【００２４】
また、本実施形態においては画像出力処理部２では圧縮処理が行われ接続されたネットワークに対して符号化データが送出されるとしたが、画像出力処理部２の構成はこれに限るものではない。例えば複数の異なる解像度のモニタに接続されており、それらのモニタに対して非圧縮のデータの形で画像データを供給する等の場合も考えられる。この画像出力処理部２の形態によって本提案の主眼である画像加工部１における動作は影響を受けるものではない。
【００２５】
図２は、本実施形態における階調補正処理部２０の詳細を示す図である。
２１はデータ供給部、２５はデータ出力部であり、メモリ（１）４０との間でのデータのやり取りを管理する。メモリ（１）４０から読み込まれた画像データはデータ供給部２１でデータの種類により２つの経路に分配される。
【００２６】
空間フィルタ処理画像を作成する元データとなるＯＤＤフィールドＹ成分の縮小画像を読んできた場合には、その縮小画像のデータはまず前処理フィルタ２２に供給され所定のローパスフィルタを掛けられる。その後、空間フィルタ処理画像作成部２３に伝達され、そこで必要なサイズに補間・拡大されて階調処理用の空間フィルタ処理画像となり、階調補正演算部２４に送られる。
【００２７】
一方、階調補正処理の対象となった画像データはデータ供給部２１から直接階調補正演算部２４に送られる。階調補正演算部２４では空間フィルタ処理画像作成部２３で作成された空間フィルタ処理画像に対応して画像の画素ごとにルックアップテーブルを用いて輝度補正用に予め設定してあるガンマ補正値を求める。その上で、画像データの各画素値とガンマ補正値の間で乗算を行った後、必要に応じて補正量を加えるなどの演算を行い、階調補正済み画像を作成する。作成された階調補正済み画像はデータ出力部２５に対して出力され、出力された階調補正済画像は、データ出力部２５によってメモリ（１）４０に対して書き込まれる。
【００２８】
なお、これらの一連の動作はシーケンス制御部８０が管理している。そして前処理フィルタ２２のフィルタ係数、空間フィルタ処理画像作成部２３での画像拡大の際の拡大率、階調補正演算の際に利用するルックアップテーブル及び補正量、更にメモリに読み書きする際のアドレス等を各処理部に指示する。なお、従来の例では空間フィルタ処理画像作成の元データとなるＯＤＤフィールドＹ成分の縮小画像を作成する縮小画像作成部がデータ供給部２１と前処理フィルタ２２の間に存在している。しかし、本実施形態ではその部分を図３に示した解像度変換部３０と共通化したため、図からは取り除かれている。
【００２９】
図３は、本実施形態における解像度変換部３０の詳細を示す図である。３１はデータ供給部、３４はデータ出力部であり、メモリ（１）４０との間でのデータのやり取りを管理する。メモリ（１）４０から読み込まれた画像データはデータ供給部３１でＹ信号とＣ信号に分離される。そしてそれぞれＹデータ用解像度変換部３２、及びＣデータ用解像度変換部３３に入力され、解像度変換処理が行われる。解像度変換処理としては解像度変換器３５でその画像の縦横のサイズを所定の比率で拡大もしくは縮小した後、一旦そのデータをラインバッファ３６に蓄え、その後、後処理フィルタ３７でエッジ強調の処理などを施す。この処理内容は基本的にＹ系、Ｃ系で同一である。
【００３０】
以上のようにしてＹデータ用解像度変換部３２、及びＣデータ用解像度変換部３３で解像度変換された画像は、データ出力部３４で再び一つのデータ列にされ、メモリ（１）４０に対して書き込まれる。なお、これらの一連の動作はシーケンス制御部８０が管理しており、変換する画像のサイズ及び後処理フィルタでの処理の必要性の有無、メモリに読み書きする際のアドレス等を各処理部に指示する。
【００３１】
なお、解像度変換器３５で行われる解像度変換処理は変換する解像度に合わせたフィルタリング処理とバイリニア、バイキュービック等の補間処理とを組み合わせたものである。解像度変換専用であるため、複雑なフィルタリング処理を設けるためにハードウェア資源を投入することが可能となっており、従来の階調補正処理部単独で縮小画像作成のために保持していた簡易な縮小処理ユニットに比べるとその特性は格段に良いものとなる。
【００３２】
このような構成を持つ画像処理システムにおいて、どのように解像度変換部３０を時分割多重で共用して階調補正処理と解像度変換処理を両立させているのかを図１〜３、及び図４のタイミングチャート、及び図５、図６のフローチャートを用いて説明する。図４はシーケンス制御部８０が階調補正処理部２０、解像度変換部３０及び圧縮処理部５０をどのような順序で制御していくかを示す図である。図５、図６はその制御を行う上でシーケンス制御部８０に含まれるＣＰＵ８１が行う処理の流れを示すフローチャートである。図５に階調補正処理に関するフローチャート、図６に解像度変換処理に関するフローチャートを示している。
【００３３】
図４において、時刻t=１において画像入力インタフェース１０に対して新しい画像の入力が始まったとする。ここで、入力される画像データはプログレッシブ画像である。その画像データを構成するラインのうち、奇数ラインを集めた奇数フィールド（ＯＤＤフィールド、以下ＯＤＤと記す）と、偶数ラインを集めた偶数フィールド（EVENフィールド、以下EVENと示す）の２フィールドに分ける。そして、それらがITU-R BT.656等の形式を利用してそれぞれのフィールド単位で入力されてくるものとする。
【００３４】
画像入力インタフェース１０が同期信号を抽出して、ＯＤＤフィールドの開始を認識すると新しいシーケンスが開始される。このとき、時刻t=１において始まった新しい画像の入力はＮフレーム目のＯＤＤであったとする。
【００３５】
画像入力インタフェース１０はＯＤＤフィールドの開始を認識すると、そのＯＤＤデータのメモリ（１）４０に対する転送を直ちに開始する。その結果、時刻t＝２の時点からそのＯＤＤデータはメモリ（１）４０上に蓄積される。すると、解像度変換部３０はメモリ（１）４０からＮフレーム目のＯＤＤデータを読み出す。そして、Ｙデータ用解像度変換部３２を使って階調補正処理に必要な空間フィルタ処理画像の元データとなるＯＤＤフィールドＹ成分の縮小画像を作るための縮小処理を時刻t=３より開始する。
【００３６】
この縮小処理はＮフレーム目のＯＤＤデータの全てがシステムに入力された後、一定の処理遅延を置いて時刻t=４において終了する。その際、作成された第ＮフレームのＯＤＤフィールドＹ成分の縮小画像はメモリ（１）４０上に出力されている。
【００３７】
Ｎフレーム目のＯＤＤデータの入力が終わると、一定時間を経過した後、時刻t=５よりＮフレーム目のEVENデータの入力が開始される。画像入力インタフェース１０はEVENフィールドの開始を同期信号を抽出することで認識すると、そのEVENデータのメモリ（１）４０に対する転送を直ちに開始する。その結果、時刻t=６の時点からEVENデータはメモリ（１）４０上に蓄積される。その結果、メモリ（１）４０ 上ではＮフレーム目のプログレッシブ画像データが順次構成されていくことになる。
【００３８】
なお、この入力画像データを含むメモリ（１）４０上の画像データはそれぞれダブルバッファリングされており、後段の処理で利用中の画像データが前段の出力によって上書きされないような仕組みになっているものとする。
【００３９】
時刻t=７になってＮフレーム目のプログレッシブ画像データが読み出せる状態になる。そしてこの状態になると、階調補正処理部２０はメモリ（１）４０からＮフレーム目のＯＤＤデータとEVENデータを１ラインずつ交互に読み出して作成したＮフレーム目のプログレッシブ画像を階調補正処理の対象として、階調補正処理を開始する。その際、先に時刻t=３〜４で作成した第ＮフレームのＯＤＤフィールドＹ成分の縮小画像も合わせてメモリ（１）４０から読み出して利用する。そして階調補正処理の結果をメモリ（１）４０に時刻t=８より書き込み始める。
【００４０】
メモリ（１）４０上に階調補正処理済みのＮフレーム目の画像データが蓄積され始めると、解像度変換部３０はその画像データを読み出して解像度変換を時刻t=９より実施する。ここでの解像度変換処理は縮小処理であるとする。ほぼ同じくして、同じデータを利用して圧縮処理部も階調補正処理済みのＮフレーム目の画像データに対して、圧縮処理を時刻t=１０より開始する。圧縮されて符号化データとなった階調補正処理済みのＮフレーム目の画像データは時刻t=１１よりメモリ（２）７０上に蓄積される。そしてこのデータは通信処理部６０によって読み出され、パケット化などの処理を施された後、ネットワーク４の先にいるユーザに対して送出される。
【００４１】
一方、階調補正処理済みのＮフレーム目画像データの縮小処理を実施している解像度変換部３０は時刻t=１２において縮小処理を終了する。ここで縮小された階調補正処理済みのＮフレーム目画像データは、メモリ（１）４０上に蓄積される。圧縮処理部５０はそれ以前の圧縮処理の終了と、解像度変換処理の終了（t=１２）を受けて、時刻t=１３より縮小された階調補正処理済みのＮフレーム目画像データに対して圧縮処理を開始する。
【００４２】
圧縮されて符号化データとなった縮小・階調補正処理済みのＮフレーム目の画像データは時刻t=１４よりメモリ（２）７０上に蓄積される。そしてこのデータも通信処理部６０によって読み出され、パケット化などの処理を施された後、ネットワーク４の先にいるユーザに対して送出される。
【００４３】
なお、縮小された階調補正処理済みのＮフレーム目画像データを圧縮処理するために要する時間が、縮小のない画像の場合に比べて短くなっているが、これは処理対象画像自体が縮小されているためにその処理データ量が少なくなっていることによるものである。圧縮処理に要する時間が短くなっているため、符号化データのメモリ（２）７０上への書き出しに要する時間も同様に短くなっている。
【００４４】
図５は、本実施形態における階調補正処理に関し、シーケンス制御部８０におけるＣＰＵ８１の処理の流れを示すフローチャートである。
階調補正処理に関する処理が開始される（ステップＳ５０１）と、シーケンス制御部は、まず階調補正処理要求が発生しているかどうかを調べる（ステップＳ５０２）。この階調補正処理要求は、ネットワーク４の先にいるユーザからの要求を受けて、通信処理部６０がシーケンス制御部８０に対してその内容を通知するものである。
【００４５】
階調補正処理要求が発生すると（ステップＳ５０２-ＹＥＳ）、ステップＳ５０３に進む。ステップＳ５０３では、シーケンス制御部８０は、解像度変換部３０に対して階調補正処理に用いる空間フィルタ処理画像の元データとなるＯＤＤフィールドＹ成分の縮小画像を作成するためのパラメータを設定する。
【００４６】
ここで設定されるパラメータには、データ供給部３１に対するデータの転送元のアドレス及び転送サイズの合計、データを供給する先（Ｙデータ用解像度変換部３２）へのパスの設定が含まれる。また、Ｙデータ用解像度変換部３２に対する変換後の画像サイズ（画像縮小率）、後処理フィルタでの処理を行わずに解像度変換済みのデータをそのままデータ出力部３４に供給させるための設定も含まれる。さらに、データ出力部３４に対する縮小画像の転送先のアドレス、及び転送サイズの合計などが含まれる。
【００４７】
その上で、縮小画像作成を開始可能な量の画像データがメモリ（１）に転送されるまで待つ（ステップＳ５０４）。縮小画像作成を開始可能な量の画像データがメモリ（１）に転送されたことを画像入力インタフェース１０からの通知により認識すると（ステップＳ５０４-ＹＥＳ）、次に進む。そして、シーケンス制御部８０は解像度変換部３０に対してＯＤＤフィールドＹ成分の縮小画像作成を指示し（ステップＳ５０５）、解像度変換部３０は縮小処理を開始する（図４のt=３）。
【００４８】
そして、ＯＤＤフィールドＹ成分の縮小画像作成の終了をデータ出力部データ出力部３４からの通知により認識すると（ステップＳ５０６-ＹＥＳ、図４のt=４）、次に進む。そして、シーケンス制御部８０は、今度は階調補正処理部に対して現フレームの階調補正処理を実施するために必要なパラメータをセットする（ステップＳ５０７）。
【００４９】
ここで設定されるパラメータには、データ供給部２１に対するＯＤＤフィールドＹ成分の縮小画像及び被階調補正画像データの転送元のアドレス及び転送サイズの合計、前処理フィルタ２２のフィルタの係数が含まれる。そして、空間フィルタ処理画像作成部２３での画像拡大の際の拡大率、階調補正演算部２４における階調補正演算の際に利用するルックアップテーブル及び補正量も含まれる。さらに、データ出力部２５に対する階調補正処理済みデータの転送先のアドレス、及び転送サイズの合計などが含まれる。
【００５０】
その上で、階調補正処理を開始可能な量の画像データがメモリ（１）に転送されるまで待つ（ステップＳ５０８）。これは、既にＯＤＤの画像データはメモリ（１）４０上に存在しているので、そこにEVENの画像データが転送されて、メモリ（１）４０上でプログレッシブ画像が構成されるまで待つことを意味する。階調補正処理を開始可能な量の画像データがメモリ（１）に転送されたことを画像入力インタフェース１０からの通知により認識すると（ステップＳ５０８-ＹＥＳ）、次に進む。そして、シーケンス制御部８０は階調補正処理部２０に対して現フレームの階調補正処理を指示し（ステップＳ５０９）、階調補正処理部２０は階調補正処理を開始する（図４のt=７）。
【００５１】
そして、階調補正処理の終了をデータ出力部２５からの通知により認識すると（ステップＳ５１０）、シーケンス制御部８０は、次のフレームに対しても階調補正処理要求が継続しているかどうかをチェックする。継続しているようであれば（ステップＳ５１１-ＹＥＳ）、次の処理に先立って優先すべき解像度変換処理があるかどうかをチェックする（ステップＳ５１２）。
【００５２】
優先すべき解像度変換処理がある場合にはそれがなくなるまで待ち（ステップＳ５１２-ＹＥＳ）、なくなると（ステップＳ５１２-ＮＯ）図５のAの点まで制御を戻し、解像度変換部３０のパラメータを再設定し、次のフレームに対する処理の開始を待つ。階調補正処理が継続していなければ（ステップＳ５１１-ＮＯ）、階調補正処理を終了する（ステップＳ５１３）。
【００５３】
図６は、本実施形態における解像度変換処理に関し、シーケンス制御部８０におけるＣＰＵ８１の処理の流れを示すフローチャートである。
解像度変換処理に関する処理が開始される（ステップＳ６０１）と、シーケンス制御部は、まず解像度変換処理要求が発生しているかどうかを調べる（ステップＳ６０２）。この解像度変換処理要求は、ネットワーク４の先にいるユーザからの要求を受けて、通信処理部６０がシーケンス制御部８０に対してその内容を通知するものである。
【００５４】
解像度変換処理要求が発生すると（ステップＳ６０２-ＹＥＳ）、シーケンス制御部８０は、まず解像度変換部３０を時分割多重で共有して処理を行う階調補正処理要求が存在しているかどうかを調べる（ステップＳ６０３）。もし存在していた場合は（ステップＳ６０３-ＹＥＳ）、現フレーム画像のＯＤＤフィールドＹ成分の縮小画像作成が終了するまで待つ（ステップＳ６０４-ＮＯ）。その縮小画像作成終了後（ステップＳ６０４-ＹＥＳ）又は階調補正処理要求が存在してなかった場合（ステップＳ６０３-ＮＯ）は、シーケンス制御部８０は解像度変換部３０に対して解像度変換処理を実施するためのパラメータ設定する（ステップＳ６０５）。
【００５５】
ここで設定されるパラメータには、データ供給部３１に対するデータの転送元のアドレス及び転送サイズの合計、Ｙデータ用解像度変換部３２及びＣデータ用解像度変換部３３に対する変換後の画像サイズ（画像縮小率）が含まれる。また、後処理フィルタ３７を用いて行うエッジ強調処理などのフィルタ係数、データ出力部３４に対する縮小画像の転送先のアドレス、及び転送サイズの合計なども含まれる。
【００５６】
その上で、解像度変換処理を開始可能な量の画像データがメモリ（１）４０に転送されるまで待つ（ステップＳ６０６-ＮＯ）。解像度変換処理を開始可能な量の画像データがメモリ（１）４０に転送されたことを画像入力インタフェース１０からの通知により認識すると（ステップＳ６０６-ＹＥＳ）、次に進む。そして、シーケンス制御部８０は解像度変換部３０に対して解像度変換処理の実施を指示し（ステップＳ６０７）、解像度変換部３０は解像度変換処理を開始する（図４のt=９）。
【００５７】
そして、対象画像の解像度変換済みデータの転送終了をデータ出力部３４からの通知により認識すると （ステップＳ６０８、図４のt=１２）、シーケンス制御部８０は、次のフレームに対しても解像度変換処理要求が継続しているかどうかをチェックする。継続しているようであれば（ステップＳ６０９-ＹＥＳ）、ステップＳ６０３の直前まで制御を戻し、次のフレームに対する処理の開始を待つ。継続していなければ（ステップＳ６０９-ＮＯ）、解像度変換処理を終了する（ステップＳ６１０）。
【００５８】
このように、動画像を構成する１画面分のデータの更新間隔である１映像期間毎に、前記解像度変換と前記縮小画像作成の両者の処理がそれぞれ完了するように制御するようにしたことで、階調補正処理を実施した画像を解像度変換して配信することが可能になる。
【００５９】
また、このように時分割多重で解像度変換部３０の処理を切り替える。これで階調補正処理に利用する空間フィルタ処理画像を作成するための縮小画像作成と、システムに要求されているユーザの要求している元画像に対する解像度変換とを一つの解像度変換部３０を用いて両立させることが可能になる。これにより、ハードウェア資源の削減が可能になる。
【００６０】
また、専用の解像度変換部３０を階調補正処理の空間フィルタ処理画像作成のための画像縮小に関して用いる。これにより、階調補正処理部単独で縮小画像作成のための処理ユニットを持つ場合に比べて余分なハードウェア資源をかけることなく、複雑な解像度変換処理を適用することが可能になる。その結果空間フィルタ処理画像の品質が向上し、階調処理を施した出力画像の画質の向上が期待できる。
【００６１】
また、時分割多重にするために片フィールドの画像データを用いて階調補正処理に利用する縮小画像を作成している。そして、そのことにより、１フレーム分の画像データを用いて縮小画像を作成する場合に比べて少なくとも０.５フレーム分出力画像の遅延を小さくすることが可能になる。また、階調補正処理と解像度変換処理の２つの処理ユニットを一つのシーケンス制御部８０で制御することで、全体の処理遅延を１フレーム以内に押さえることが可能になる。
【００６２】
（第２の実施形態）
第１の実施形態においては、空間フィルタ処理画像作成の元データとなるＯＤＤフィールドＹ成分の縮小画像を作成する縮小画像作成部を図３に示した解像度変換部３０と共通化することで、ハードウェア資源を削減していた。
【００６３】
本実施形態においては、更に階調補正処理部の前処理フィルタに関しても解像度変換部と共有することでハードウェア資源を削減すると共に、処理手順を変更することで階調補正処理に要する時間を削減し、更なる出力遅延時間の削減を図った例を示す。第１の実施形態との共通部分が多いので、基本的にはその図及び番号等を流用し、異なる部分についてのみ詳細に説明する。
【００６４】
図７は、本実施形態における階調補正処理部２０の構成を示すブロック図である。構成は第１の実施形態の図２とほぼ共通であるが、前処理フィルタ２２が図２と比較して削減されている。この前処理フィルタ２２は、空間フィルタ処理画像を作成する元データとなるＯＤＤフィールドＹ成分の縮小画像に対して所定のローパスフィルタを掛けるものであった。この機能は後述するように解像度変換部３０の後処理フィルタ３７によって実現されている。
図８は本実施形態における解像度変換部３０の構成を示したものである。構成は第１の実施形態の図３とほぼ共通であるが、解像度変換器（１）３５aからラインバッファ（１）３６ａを経由して再び後処理フィルタ（１）３７aに戻るデータパスが追加されている。これは階調補正処理の前処理フィルタで行っていた処理を解像度変換部３０で実施する上でバッファ量の追加が必要になるために、必要に応じてラインバッファを組替えて利用できるようにする為のものである。
【００６５】
以下、図７、８、及び図９、図１０のフローチャート、更に第１の実施形態の図４を流用して本実施形態における制御の流れ等を説明する。図９、図１０は各モジュールの制御を行う上でシーケンス制御部８０に含まれるＣＰＵ８１が行う処理の流れを示すフローチャートである。図９に階調補正処理に関するフローチャート、図１０に解像度変換処理に関するフローチャートを示している。基本的な流れは第１の実施形態と同様であるので、本実施形態における特徴的な部分に関してのみ説明する。
【００６６】
図９において、階調補正処理要求が確認される（ステップＳ９０２-ＹＥＳ）。そうすると、シーケンス制御部８０は、解像度変換部３０に対して階調補正処理に用いる空間フィルタ処理画像の元データとなるＯＤＤフィールドＹ成分の前処理済縮小画像の作成パラメータの設定及びデータパスの組替えを指示する（ステップＳ９０３）。
【００６７】
この際、第１の実施形態と同様にデータ供給部３１に対するデータの転送元のアドレス及び転送サイズの合計、データを供給する先（Ｙデータ用解像度変換部３２）へのパスが設定される。また、Ｙデータ用解像度変換部３２に対する変換後の画像サイズ（画像縮小率）、データ出力部３４に対する縮小画像の転送先のアドレス、及び転送サイズの合計等が設定される。本実施形態では、同時に、後処理フィルタ３７で階調補正処理の前処理に相当するローパスフィルタを掛けるようにする為のフィルタ係数の設定やデータパスの組換えの設定を行う。
【００６８】
そのフィルタ処理に要するデータ数が通常の解像度変換実施時よりも多くのデータ数を要求する場合がある。特に図８に示したように、この場合には、ラインバッファ３６へのデータパスを組替えて、Ｃデータ用解像度変換部３３の中のラインバッファ（２）３６bもＹデータ用解像度変換部３２の制御下で利用できるようにする。これは、例えば通常の解像度変換における後処理フィルタ３７で実施する処理がエッジ強調のための３×３のフィルタ演算であったのに対して階調補正処理で必要とされる前処理が５×５のデータで演算を行うローパスフィルタなどであるような場合に有効になる。
【００６９】
このようにして解像度変換部３０の構成を再構成した上で、縮小画像作成を開始可能な量の画像データがメモリ（１）に転送されたことを画像入力インタフェース１０からの通知により認識する（ステップＳ９０４-ＹＥＳ）。そうすると、シーケンス制御部８０は解像度変換部３０に対してＯＤＤフィールドＹ成分の前処理済縮小画像作成を指示し（ステップＳ９０５）、解像度変換部３０は縮小処理を開始する（図４のt=３）。この際、解像度変換部３０では、階調補正処理における前処理に相当するフィルタリング処理まで先行した形でＯＤＤフィールドＹ成分の前処理済縮小画像を作成し、それをメモリ（１）４０に対して書き込むことになる。
【００７０】
そして、ＯＤＤフィールドＹ成分の前処理済縮小画像作成の終了をデータ出力部３４からの通知により認識する（ステップＳ９０６-ＹＥＳ、図４のt=４）。そうすると、シーケンス制御部８０は、今度は階調補正処理部に対して現フレームの階調補正処理を実施するために必要なパラメータをセットする（ステップＳ９０７）。
【００７１】
ここで設定されるパラメータには、第１の実施形態同様、データ供給部２１に対するＯＤＤフィールドＹ成分の前処理済縮小画像及び被階調補正画像データの転送元のアドレス及び転送サイズの合計が含まれる。また、空間フィルタ処理画像作成部２３での画像拡大の際の拡大率、階調補正演算部２４における階調補正演算の際に利用するルックアップテーブル及び補正量も含まれる。さらに、データ出力部２５に対する階調補正処理済みデータの転送先のアドレス、及び転送サイズの合計などが含まれる。但し、本実施形態においては図７に示すように図２において存在していた前処理フィルタ２２は存在しないので、そのフィルタの係数に関する設定は行われない。
【００７２】
その上で、階調補正処理を開始可能な量の画像データがメモリ（１）に転送されたことを画像入力インタフェース１０からの通知により認識する（ステップＳ９０８-ＹＥＳ）。そうすると、シーケンス制御部８０は階調補正処理部２０に対して現フレームの階調補正処理を指示し（ステップＳ９０９）、階調補正処理部２０は階調補正処理を開始する（図４のt=７）。
【００７３】
その際、データ供給部２１によって読み込まれたＯＤＤフィールドＹ成分の前処理済み縮小画像は、図７に示すように直接空間フィルタ処理画像作成部２３に伝達される。そこで必要なサイズに補間・拡大されて階調処理用の空間フィルタ処理画像となり、階調補正演算部２４に送られる。これに続く処理は第１の実施形態と同様であるが、第１の実施形態と比較してEVENフィールドが入力されて以降の階調補正処理のフェーズにおいて図２における前処理フィルタ２２での処理が削減されたことでその分だけ階調補正処理に要する遅延が小さくなる。
【００７４】
図１０は、本実施形態における解像度変換処理に関し、シーケンス制御部８０におけるＣＰＵ８１の処理の流れを示すフローチャートである。基本的な流れは第１の実施形態の図６と相違はない。異なるのは、ステップＳ１００５において、シーケンス制御部８０は解像度変換部３０に対して、解像度変換処理を実施するためのパラメータを設定すると共に、データパスの設定を行うように指示するようになったことである。
【００７５】
先に示したように、階調補正処理要求があった場合には、ラインバッファ３６へのデータパスを組替えて、Ｃデータ用解像度変換部３３のなかのラインバッファ（２）３６bもＹデータ用解像度変換部３２の制御下で利用できるようになっている。それゆえ、それを元にもどして、ラインバッファ（２）３６bをＣデータ用解像度変換部３３の制御下に戻す必要がある。そのための指示をこのステップで行っている。
【００７６】
このように、動画像を構成する１画面分のデータの更新間隔である１映像期間毎に、前記解像度変換と前記縮小画像作成の両者の処理がそれぞれ完了するように制御するようにしたことで、階調補正処理を実施した画像を解像度変換して配信することが可能になる。
【００７７】
また、このように時分割多重で解像度変換部３０の処理及び構成を切り替える。これゆえ階調補正処理に利用する空間フィルタ処理画像を作成するための縮小画像作成と、システムに要求されているユーザの要求している元画像に対する解像度変換を一つの解像度変換部３０を用いて両立させることが可能になる。これによりハードウェア資源の削減が可能になる。併せて階調補正処理で必要になる縮小画像に対する前処理も解像度変換部３０の後処理用フィルタ２２を利用することで、更なるハードウェア資源の削減を実現することが可能になる。
【００７８】
また、専用の解像度変換部を階調補正処理の空間フィルタ処理画像作成のための画像縮小に関して用いる。これゆえ、階調補正処理部単独で縮小画像作成のための処理ユニットを持つ場合に比べて余分なハードウェア資源をかけることなく、複雑な解像度変換処理を適用することが可能になる。その結果空間フィルタ処理画像の品質が向上し、階調処理を施した出力画像の画質の向上が期待できる。
【００７９】
また、時分割多重にするために片フィールドの画像データを用いて階調補正処理に利用する縮小画像を作成しているが、１フレーム分の画像データを用いて縮小画像を作成する場合に比べて少なくとも０.５フレーム分出力画像の遅延を小さくすることができる。
【００８０】
また、階調補正処理と解像度変換処理の２つの処理ユニットを一つのシーケンス制御部８０で制御することで、全体の処理遅延を１フレーム以内に押さえることが可能になる。更に、併せて階調補正処理で必要になる縮小画像に対する前処理も解像度変換部３０の後処理用フィルタを利用することで、その処理を先行して実施できることにより、更に出力画像の遅延を小さくすることが期待できる。
【００８１】
（第３の実施形態）
本提案における階調補正処理を実施するためには、空間フィルタ処理画像を作成するためにその処理対象画像と同一の画角の縮小画像が必要になる。従来の縮小画像作成部をその内部に持つ階調補正処理部を備えたシステムでは、この空間フィルタ処理画像の作成はその画角毎に逐次的であり、１映像期間内に複数の画角に対応する階調補正処理画像を作成することは不可能であった。本実施形態では解像度変換部のデータ供給部にデータ切出部を組み込み、解像度変換部がＹ用とＣ用の２つの解像度変換部を持っていることを利用する。そして１映像期間内にある画角の画像とその中から切り出した画像との２つに階調補正処理を実施することができるようにした例を示す。
【００８２】
図１１は、第３の実施形態における解像度変換部３０の構成を示すブロック図である。第１の実施形態の図３とほとんど同様であり、異なっているのはデータ供給部３１の内部にデータ切出部３８を備えるようにしたことである。
【００８３】
このデータ切出部３８は階調補正処理におけるＯＤＤフィールドＹ成分縮小画像作成のために解像度変換部を利用する際に、シーケンス制御部８０からその切り出し領域情報を設定される。そして、その切り出し領域情報に従って、データ供給部３１によってメモリ（１）４０から読み出された画像データから必要な部分を抽出する。抽出された切り出しデータは、元データがＹデータ用解像度変換部３２に供給されるのに並行して、Ｃデータ用解像度変換部３３に供給される。この仕組みを利用することによって、ある画角の画像とその中から切り出した画像との２つに対応したＯＤＤフィールドＹ成分の縮小画像を並行して作成することが可能になる。
【００８４】
以下、図１１、及び図１２のタイミングチャート、図１３のフローチャート、更に第１の実施形態の図１を流用して本実施形態における制御の流れ等を説明する。図１２はシーケンス制御部８０が階調補正処理部２０、解像度変換部３０及び圧縮処理部５０を制御する手順を示す図である。図１３は、その制御を行う上で階調補正処理に関してシーケンス制御部８０に含まれるＣＰＵ８１が行う処理の流れをフローチャートで示したものである。各図において以前の実施形態と共通な構成要素に関しては、その番号は共通としている。なお、基本的な流れは第１の実施形態と同様であるので、本実施形態における特徴的な部分に関してのみ説明する。
【００８５】
図１２において、その基本的な流れは第１の実施形態の図４と同一である。異なるのはt=３〜t=４において切出し画像に対応するＯＤＤフィールドＹ成分の縮小画像も作成していることと、t=１５〜１８の切出し画像に対する階調補正処理及びその出力画像の圧縮処理が行われていることである。これらの差の部分に関しては、図１３の説明の中で併せて説明する。
【００８６】
図１３は、本実施形態における階調補正処理に関するシーケンス制御部８０内のＣＰＵ８１での処理の流れを示すフローチャートである。
図１３において、処理が開始され（ステップＳ１３０１）、階調補正処理要求が確認される（ステップＳ１３０２-ＹＥＳ）。そうすると、シーケンス制御部８０は、まず解像度変換部３０に対して、階調補正処理に用いる空間フィルタ処理画像の元データとなるＯＤＤフィールドＹ成分の縮小画像を作成するためのパラメータの設定を指示する（ステップＳ１３０３）。
【００８７】
この際、階調補正処理要求が、ある画角サイズ（例えば１２８０×９６０、以下画角１）と、その画像から切り出した画角（例えば入力画像の中央部を６４０x４８０で切り出したもの、以下画角２）の２つ発生していたとする。この要求は図１に示す通信処理部６０を介して、ネットワーク４の先にいるユーザの要求が伝えられたものである。
【００８８】
その場合、第１の実施形態と同様にデータ供給部３１に対する画角１のＯＤＤフィールドＹ成分画像データの転送元アドレス及び転送サイズの合計、データを供給する先（Ｙデータ用解像度変換部３２）へのパスの設定が設定される。また、Ｙデータ用解像度変換部３２に対する変換後の画像サイズ（画像縮小率）、データ出力部３４に対する縮小画像の転送先のアドレス、及び転送サイズの合計等が設定される。本実施形態では、同時に画角２の画像に対する階調補正処理を実施するための画角２用縮小画像データ作成のための設定がなされる。
【００８９】
即ち、図１１に示したようにデータ供給部３１内部のデータ切出部３８に対して、画角１のＯＤＤフィールドＹ成分画像データからどこを抽出するかの情報と、抽出した画像データをＣデータ用解像度変換部３３へ供給するためのパスの設定される。そして、Ｃデータ用解像度変換部３３に対する変換後の画像サイズ（画像縮小率）、データ出力部３４に対する画角２用縮小画像の転送先のアドレス、及び転送サイズの合計等がシーケンス制御部８０により設定される。
【００９０】
このようにして解像度変換部３０を設定した上で、画角１の縮小画像作成を開始可能な量の画像データがメモリ（１）に転送されたことを画像入力インタフェース１０からの通知により認識する（ステップＳ１３０４-ＹＥＳ）。そうすると、シーケンス制御部８０は解像度変換部３０に対してＯＤＤフィールドＹ成分の前処理済縮小画像作成を指示し（ステップＳ１３０５）、解像度変換部３０は縮小処理を開始する（図１２のt=３）。
【００９１】
この際、解像度変換部３０では、画角１用のＯＤＤフィールドＹ成分の縮小画像をＹデータ用解像度変換部３２で作成すると同時に、画角２用ＯＤＤフィールドＹ成分の縮小画像をＣデータ用解像度変換部３３で作成する。そしてそれらをメモリ（１）４０に対して書き込むことになる。なお、画角２の画像は画角１の画像の部分画像であるため、画角２用縮小画像の作成は画角１用縮小画像作成に要する時間よりも短い時間で完了する。
【００９２】
そして、ＯＤＤフィールドＹ成分の前処理済縮小画像作成の終了をデータ出力部３４からの通知により認識する（ステップＳ１３０６-ＹＥＳ、図１２のt=４）。そうすると、シーケンス制御部８０は、今度は階調補正処理部２０に対してまず、画角１の画像に対する階調補正処理を実施するために必要なパラメータをセットする（ステップＳ１３０７）。それ以下のステップＳ１３１０までの処理は第１実施形態の図５のステップＳ５１０までの処理と同一である。
【００９３】
画角１の画像に対する階調補正処理を終了すると（ステップＳ１３１０-ＹＥＳ）、シーケンス制御部８０は次いで異なる画角の階調補正が必要かどうかの判断を行う（ステップＳ１３１４）。本実施形態では画角２の画像に対しても階調補正処理するように要求が発生している（ステップＳ１３１４-ＹＥＳ）。そのため、シーケンス制御部８０は、今度は階調補正処理部２０に対して、画角２の画像に対する階調補正処理を実施するために必要なパラメータをセットする（ステップＳ１３０７）。
【００９４】
メモリ（１）４０上には既に画角１を構成する画像データが転送されてダブルバッファによって保持されているので、そこから切り出すことによって作成される画角２の画像のデータは既にメモリ上に存在している（ステップＳ１３０８-ＹＥＳ）。そこで、今度は画角２の画像に対する階調補正処理実施開始を階調補正処理部２０に対してシーケンス制御部８０は指示を出す（ステップＳ１３０９、図１２のt=１５）。
【００９５】
階調補正処理部２０は画角２の画像データに対して、先に作成した画角２用ＯＤＤフィールドＹ成分の縮小画像を利用して階調補正処理を実施し、図１２のt=１６の時点より順次メモリ（１）４０上に階調補正処理済みデータを保存していく。保存された画角２の階調補正処理済みデータは、圧縮処理部での処理の時間が空くと（図１２  t=１７）、その時点から圧縮処理部５０によって画像圧縮処理が開始され、メモリ（２）７０上に保存されていく（図１２  t=１８）。そして通信処理部６０及びネットワーク４を介して外部の画像ユーザに配送されることになる。
【００９６】
一方、シーケンス制御部８０による階調補正処理に関する制御は、画角２に関する階調補正処理要求にも対応したことで保留中の階調補正処理はなくなった（ステップＳ１３１４-ＮＯ）。それゆえ、次フレームに関する処理要求の継続性をチェックすることになる（ステップＳ１３１１）。ここからの先の制御の流れは第１の実施形態と同等であるのでここでは省略する。
【００９７】
このように一度のデータ読出しで得られる画像データ列をデータ切出部で必要な部分だけ抽出し、元のデータ列と切り出したデータ列をそれぞれ解像度変換部に備わっているＹとＣの２系列の解像度変換部に別々に供給して縮小処理をする。これにより、同時並行して２つの異なる画角に対応した階調補正処理に利用する空間フィルタ処理画像を作成することが可能になる。その結果、１映像期間内にある画角の画像とその中から切り出した画像との２つに階調補正処理を実施することが可能になる。
【００９８】
（本発明に係る他の実施形態）
前述した本発明の実施形態における画像処理装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００９９】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【０１００】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムまたは装置に直接、または遠隔から供給する。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１０１】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１０２】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１０３】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【０１０４】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【０１０５】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１０６】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１０７】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１０８】
さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１０９】
【図１】本発明の第１の実施形態における画像処理装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態における階調補正処理部の詳細を示す図である。
【図３】本発明の第１の実施形態における解像度変換部の詳細を示す図である。
【図４】本発明の第１の実施形態における処理の時間的関係のタイミングチャートである。
【図５】本発明の第１の実施形態における階調補正処理に関するシーケンス制御部内のＣＰＵでの処理の流れを示すフローチャートである。
【図６】本発明の第１の実施形態における解像度変換処理に関するシーケンス制御部内のＣＰＵでの処理の流れを示すフローチャートである。
【図７】本発明の第２の実施形態における階調補正処理部の詳細を示す図である。
【図８】本発明の第２の実施形態における解像度変換部の詳細を示す図である。
【図９】本発明の第２の実施形態における階調補正処理に関するシーケンス制御部内のＣＰＵでの処理の流れを示すフローチャートである。
【図１０】本発明の第２の実施形態における解像度変換処理に関するシーケンス制御部内のＣＰＵでの処理の流れを示すフローチャートである。
【図１１】本発明の第３の実施形態における解像度変換部の詳細を示す図である。
【図１２】本発明の第３の実施形態における処理の時間的関係のタイミングチャートである。
【図１３】本発明の第３の実施形態における階調補正処理に関するシーケンス制御部内のＣＰＵでの処理の流れを示すフローチャートである。
【符号の説明】
【０１１０】
１  画像加工部
２  画像出力処理部
３  撮像部
４  ネットワーク
１０  画像入力インタフェース
２０  階調補正処理部
２１  データ供給部
２２  前処理フィルタ
２３  空間フィルタ処理画像作成部
２４  階調補正演算部
２５  データ出力部
３０  解像度変換部
３１  データ供給部
３２  Ｙデータ用解像度変換部
３３  Ｃデータ用解像度変換部
３４  データ出力部
３５  解像度変換器
３６  ラインバッファ
３７  後処理フィルタ
３８  データ切出部
４０  メモリ（１）
５０  圧縮処理部
６０  通信処理部
７０  メモリ（２）
８０  シーケンス制御部
８１  ＣＰＵ
【図１】
0004649309.tif 000002
【図２】
0004649309.tif 000003
【図３】
0004649309.tif 000004
【図４】
0004649309.tif 000005
【図５】
0004649309.tif 000006
【図６】
0004649309.tif 000007
【図７】
0004649309.tif 000008
【図８】
0004649309.tif 000009
【図９】
0004649309.tif 000010
【図１０】
0004649309.tif 000011
【図１１】
0004649309.tif 000012
【図１２】
0004649309.tif 000013
【図１３】
0004649309.tif 000014