(57)【要約】【課題】画像データのサイズを低減しつつ、画像の高画質化を図ることが可能な、画像処理装置、画像処理方法、および画像処理システムを提供する。【解決手段】入力された画像データを、所定の方式で変換する変換部と、所定の方式で変換された画像データを、所定の方式に対応する基準単位に基づく所定の単位ごとに量子化し、可変長符号化して圧縮する第１圧縮処理部と、圧縮された画像データが復号、逆量子化された画像データを、フレーム単位で量子化し、可変長符号化して圧縮する第２圧縮処理部とを備える、画像処理装置が提供される。【選択図】図５
2015207850.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データを、所定の方式で変換する変換部と、
前記所定の方式で変換された画像データを、前記所定の方式に対応する基準単位に基づく所定の単位ごとに量子化し、可変長符号化して圧縮する第１圧縮処理部と、
圧縮された画像データが復号、逆量子化された画像データを、フレーム単位で量子化し、可変長符号化して圧縮する第２圧縮処理部と、
を備える、画像処理装置。
【請求項２】
前記第１圧縮処理部は、
変換された画像データに対応する、前記所定の単位ごとの第１量子化値を取得する第１量子化値取得部と、
前記変換された画像データを遅延させて、前記第１量子化値と前記変換された画像データとのタイミングを合わせる第１メモリと、
前記所定の単位ごとに、前記第１量子化値で前記変換された画像データを量子化する第１量子化部と、
前記所定の単位ごとに前記第１量子化値で量子化された画像データを、可変長符号化する第１可変長符号化部と、
を備える、請求項１に記載の画像処理装置。
【請求項３】
前記第２圧縮処理部は、
変換された画像データに対応する、フレーム単位の第２量子化値を取得する第２量子化値取得部と、
前記第１圧縮処理部において可変長符号化された画像データを遅延させて、前記第２量子化値と前記可変長符号化された画像データとのタイミングを合わせる第２メモリと、
遅延された前記可変長符号化された画像データを可変長復号する可変長復号部と、
復号された画像データを逆量子化する逆量子化部と、
逆量子化された画像データを、前記第２量子化値で量子化する第２量子化部と、
前記第２量子化値で量子化された画像データを、可変長符号化する第２可変長符号化部と、
を備える、請求項１に記載の画像処理装置。
【請求項４】
前記第１圧縮処理部と前記第２圧縮処理部とは、異なる量子化方式で画像データを量子化する、請求項１に記載の画像処理装置。
【請求項５】
前記第２圧縮処理部は、前記第１圧縮処理部よりもより画像データを圧縮することが可能な量子化方式で、画像データを量子化する、請求項４に記載の画像処理装置。
【請求項６】
前記第１圧縮処理部は、シフト演算により画像データを量子化し、
前記第２圧縮処理部は、少数量子化により画像データを量子化する、請求項５に記載の画像処理装置。
【請求項７】
前記第１圧縮処理部と前記第２圧縮処理部とは、同一の量子化方式で画像データを量子化する、請求項１に記載の画像処理装置。
【請求項８】
前記第１圧縮処理部と前記第２圧縮処理部とは、異なる可変長符号化方式で画像データを可変長符号化する、請求項１に記載の画像処理装置。
【請求項９】
前記第１圧縮処理部は、２次元可変長符号化により画像データを可変長符号化し、
前記第２圧縮処理部は、算術符号化により画像データを可変長符号化する、請求項８に記載の画像処理装置。
【請求項１０】
前記第１圧縮処理部と前記第２圧縮処理部とは、同一の可変長符号化方式で画像データを可変長符号化する、請求項１に記載の画像処理装置。
【請求項１１】
前記変換部は、入力された画像データをウェーブレット変換する、請求項１に記載の画像処理装置。
【請求項１２】
前記変換部は、入力された画像データを離散コサイン変換する、請求項１に記載の画像処理装置。
【請求項１３】
画像データを所定の方式で変換し、基準単位に基づく所定の単位で量子化し、可変長符号化して圧縮された、動画像を示す圧縮画像データにおける、加算対象のフレームである複数の加算対象フレームに対応する圧縮フレーム画像データを、前記所定の単位で並び替える並び替え処理部と、
並び替えられた前記圧縮フレーム画像データを、可変長復号する可変長復号部と、
可変長復号された前記加算対象フレームに対応する画像データを、逆量子化する逆量子化部と、
逆量子化された前記加算対象フレームに対応する画像データを、前記所定の単位で前記加算対象フレーム分加算する加算部と、
加算された画像データを、前記所定の方式で逆変換する逆変換部と、
を備える、画像処理装置。
【請求項１４】
入力された画像データを、所定の方式で変換する変換ステップと、
前記所定の方式で変換された画像データを、前記所定の方式に対応する基準単位に基づく所定の単位ごとに量子化し、可変長符号化して圧縮する第１圧縮ステップと、
圧縮された画像データが復号、逆量子化された画像データを、フレーム単位で量子化し、可変長符号化して圧縮する第２圧縮ステップと、
を有する、画像処理装置により実行される画像処理方法。
【請求項１５】
第１の画像処理装置と、
前記第１の画像処理装置と通信可能な第２の画像処理装置と、
を有し、
前記第１の画像処理装置は、
入力された画像データを、所定の方式で変換する変換部と、
前記所定の方式で変換された画像データに対応する、前記所定の方式に対応する基準単位に基づく所定の単位ごとの第１量子化値を取得する第１の量子化値取得部と、
前記所定の方式で変換された画像データを遅延させて、前記第１量子化値と前記変換された画像データとのタイミングを合わせる第１のメモリと、
前記所定の単位ごとに、前記第１量子化値で前記変換された画像データを量子化する第１の量子化部と、
前記所定の単位ごとに前記第１量子化値で量子化された画像データを、可変長符号化する第１の可変長符号化部と、
可変長符号化された画像データを送信する第１の通信部と、
を備え、
前記第２の画像処理装置は、
前記可変長符号化された画像データを受信する第２の通信部と、
受信された前記可変長符号化された画像データを、可変長復号する第１の可変長復号部と、
受信された前記可変長符号化された画像データが復号された画像データを、逆量子化する第１の逆量子化部と、
受信された前記可変長符号化された画像データが前記復号された画像データが、逆量子化された画像データに対応する、フレーム単位の第２量子化値を取得する第２の量子化値取得部と、
受信された前記可変長符号化された画像データを遅延させて、前記第２量子化値と、受信された前記可変長符号化された画像データとのタイミングを合わせる第２のメモリと、
遅延された前記可変長符号化された画像データを可変長復号する第２の可変長復号部と、
遅延された前記可変長符号化された画像データが復号された画像データを、逆量子化する第２の逆量子化部と、
遅延された前記可変長符号化された画像データが復号された画像データが、逆量子化された画像データを、前記第２量子化値で量子化する第２の量子化部と、
前記第２量子化値で量子化された画像データを、可変長符号化する第２の可変長符号化部と、
を備える、画像処理システム。
【請求項１６】
第１の画像処理装置と、
前記第１の画像処理装置と通信可能な第２の画像処理装置と、
を有し、
前記第１の画像処理装置は、
入力された画像データを、所定の方式で変換する変換部と、
前記所定の方式で変換された画像データに対応する、前記所定の方式に対応する基準単位に基づく所定の単位ごとの第１量子化値を取得する第１の量子化値取得部と、
前記変換された画像データに対応する、フレーム単位の第２量子化値を取得する第２の量子化値取得部と、
前記所定の方式で変換された画像データを遅延させて、前記第１量子化値と前記変換された画像データとのタイミングを合わせる第１のメモリと、
前記所定の単位ごとに、前記第１量子化値で前記変換された画像データを量子化する第１の量子化部と、
前記所定の単位ごとに前記第１量子化値で量子化された画像データを、可変長符号化する第１の可変長符号化部と、
可変長符号化された画像データと、前記第２量子化値とを送信する第１の通信部と、
を備え、
前記第２の画像処理装置は、
前記可変長符号化された画像データと、前記第２量子化値とを受信する第２の通信部と、
受信された前記可変長符号化された画像データを遅延させて、前記第２量子化値と、受信された前記可変長符号化された画像データとのタイミングを合わせる第２のメモリと、
遅延された前記可変長符号化された画像データを可変長復号する可変長復号部と、
復号された画像データを逆量子化する逆量子化部と、
逆量子化された画像データを、受信された前記第２量子化値で量子化する第２の量子化部と、
前記第２量子化値で量子化された画像データを、可変長符号化する第２の可変長符号化部と、
を備える、画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、および画像処理システムに関する。
【背景技術】
【０００２】
画像データの圧縮符号化に係る技術が開発されている。画像データの圧縮符号化に係る技術としては、例えば、下記の特許文献１〜３に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４９００７２０号公報
【特許文献２】特許第４２５４８６７号公報
【特許文献３】特許第４３５６０３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像データを符号化により圧縮する場合には、画像データのサイズを低減しつつ、画像の高画質化を図ることが望まれている。
【０００５】
本開示では、画像データのサイズを低減しつつ、画像の高画質化を図ることが可能な、新規かつ改良された画像処理装置、画像処理方法、および画像処理システムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、入力された画像データを、所定の方式で変換する変換部と、上記所定の方式で変換された画像データを、上記所定の方式に対応する基準単位に基づく所定の単位ごとに量子化し、可変長符号化して圧縮する第１圧縮処理部と、圧縮された画像データが復号、逆量子化された画像データを、フレーム単位で量子化し、可変長符号化して圧縮する第２圧縮処理部と、を備える、画像処理装置が提供される。
【０００７】
また、本開示によれば、画像データを所定の方式で変換し、基準単位に基づく所定の単位で量子化し、可変長符号化して圧縮された、動画像を示す圧縮画像データにおける、加算対象のフレームである複数の加算対象フレームに対応する圧縮フレーム画像データを、上記所定の単位で並び替える並び替え処理部と、並び替えられた上記圧縮フレーム画像データを、可変長復号する可変長復号部と、可変長復号された上記加算対象フレームに対応する画像データを、逆量子化する逆量子化部と、逆量子化された上記加算対象フレームに対応する画像データを、上記所定の単位で上記加算対象フレーム分加算する加算部と、加算された画像データを、上記所定の方式で逆変換する逆変換部と、を備える、画像処理装置が提供される。
【０００８】
また、本開示によれば、入力された画像データを、所定の方式で変換する変換ステップと、上記所定の方式で変換された画像データを、上記所定の方式に対応する基準単位に基づく所定の単位ごとに量子化し、可変長符号化して圧縮する第１圧縮ステップと、圧縮された画像データが復号、逆量子化された画像データを、フレーム単位で量子化し、可変長符号化して圧縮する第２圧縮ステップと、を有する、画像処理装置により実行される画像処理方法が提供される。
【０００９】
また、本開示によれば、第１の画像処理装置と、上記第１の画像処理装置と通信可能な第２の画像処理装置と、を有し、上記第１の画像処理装置は、入力された画像データを、所定の方式で変換する変換部と、上記所定の方式で変換された画像データに対応する、上記所定の方式に対応する基準単位に基づく所定の単位ごとの第１量子化値を取得する第１の量子化値取得部と、上記所定の方式で変換された画像データを遅延させて、上記第１量子化値と上記変換された画像データとのタイミングを合わせる第１のメモリと、上記所定の単位ごとに、上記第１量子化値で上記変換された画像データを量子化する第１の量子化部と、上記所定の単位ごとに上記第１量子化値で量子化された画像データを、可変長符号化する第１の可変長符号化部と、可変長符号化された画像データを送信する第１の通信部と、を備え、上記第２の画像処理装置は、上記可変長符号化された画像データを受信する第２の通信部と、受信された上記可変長符号化された画像データを、可変長復号する第１の可変長復号部と、受信された上記可変長符号化された画像データが復号された画像データを、逆量子化する第１の逆量子化部と、受信された上記可変長符号化された画像データが上記復号された画像データが、逆量子化された画像データに対応する、フレーム単位の第２量子化値を取得する第２の量子化値取得部と、受信された上記可変長符号化された画像データを遅延させて、上記第２量子化値と、受信された上記可変長符号化された画像データとのタイミングを合わせる第２のメモリと、遅延された上記可変長符号化された画像データを可変長復号する第２の可変長復号部と、遅延された上記可変長符号化された画像データが復号された画像データを、逆量子化する第２の逆量子化部と、遅延された上記可変長符号化された画像データが復号された画像データが、逆量子化された画像データを、上記第２量子化値で量子化する第２の量子化部と、上記第２量子化値で量子化された画像データを、可変長符号化する第２の可変長符号化部と、を備える、画像処理システムが提供される。
【００１０】
また、本開示によれば、第１の画像処理装置と、上記第１の画像処理装置と通信可能な第２の画像処理装置と、を有し、上記第１の画像処理装置は、入力された画像データを、所定の方式で変換する変換部と、上記所定の方式で変換された画像データに対応する、上記所定の方式に対応する基準単位に基づく所定の単位ごとの第１量子化値を取得する第１の量子化値取得部と、上記変換された画像データに対応する、フレーム単位の第２量子化値を取得する第２の量子化値取得部と、上記所定の方式で変換された画像データを遅延させて、上記第１量子化値と上記変換された画像データとのタイミングを合わせる第１のメモリと、上記所定の単位ごとに、上記第１量子化値で上記変換された画像データを量子化する第１の量子化部と、上記所定の単位ごとに上記第１量子化値で量子化された画像データを、可変長符号化する第１の可変長符号化部と、可変長符号化された画像データと、上記第２量子化値とを送信する第１の通信部と、を備え、上記第２の画像処理装置は、上記可変長符号化された画像データと、上記第２量子化値とを受信する第２の通信部と、受信された上記可変長符号化された画像データを遅延させて、上記第２量子化値と、受信された上記可変長符号化された画像データとのタイミングを合わせる第２のメモリと、遅延された上記可変長符号化された画像データを可変長復号する可変長復号部と、復号された画像データを逆量子化する逆量子化部と、逆量子化された画像データを、受信された上記第２量子化値で量子化する第２の量子化部と、上記第２量子化値で量子化された画像データを、可変長符号化する第２の可変長符号化部と、を備える、画像処理システムが提供される。
【発明の効果】
【００１１】
本開示によれば、画像データのサイズを低減しつつ、画像の高画質化を図ることができる。
【００１２】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
【図面の簡単な説明】
【００１３】
【図１】既存の画像処理方法が用いられる圧縮装置を含むシステムの一例を示すブロック図である。
【図２】既存の画像処理方法が用いられる場合における画像データのサイズと、量子化値との関係の一例を示す説明図である。
【図３】既存の画像処理方法が用いられる場合における画像データのサイズと、量子化値との関係の他の例を示す説明図である。
【図４】他の画像処理方法が用いられる圧縮装置を含むシステムの一例を示すブロック図である。
【図５】本実施形態に係る画像処理装置を含むシステムの一例を示すブロック図である。
【図６】本実施形態に係る画像処理装置における量子化に係る処理の一例を説明するための説明図である。
【図７】本実施形態に係る画像処理装置における量子化に係る処理の他の例を説明するための説明図である。
【図８】本実施形態に係る画像処理方法が用いられる場合における画像データのサイズと、量子化値との関係の一例を示す説明図である。
【図９】本実施形態に係る画像処理システムの一例を示す説明図である。
【図１０】本実施形態に係る画像処理システムを構成する処理装置のハードウェア構成の概念の一例を示す説明図である。
【図１１】既存の画像処理方法が用いられるシステムが有する撮像装置と処理装置との構成の一例を示すブロック図である。
【図１２】他の画像処理方法が用いられるが用いられる場合における撮像装置と処理装置との構成の一例を示すブロック図である。
【図１３】本実施形態に係る画像処理システムの構成の第１の例を示す説明図である。
【図１４】本実施形態に係る画像処理システムの構成の第２の例を示す説明図である。
【図１５】本実施形態に係るフレーム加算型画像伸長部の第１の例を示す説明図である。
【図１６】第１の例に係るフレーム加算型画像伸長部が備えるメモリの書き込み、読み出しタイミングの一例を示す説明図である。
【図１７】本実施形態に係るフレーム加算型画像伸長部の第２の例を示す説明図である。
【図１８】第２の例に係るフレーム加算型画像伸長部が備える第１メモリ、および第２メモリそれぞれの書き込み、読み出しタイミングの一例を示す説明図である。
【図１９】本実施形態に係るフレーム加算型画像伸長部の第３の例を示す説明図である。
【図２０】第３の例に係るフレーム加算型画像伸長部が備える第１メモリ、第２メモリ、および第３メモリそれぞれの書き込み、読み出しタイミングの一例と、スイッチング部の切り替えの一例とを示す説明図である。
【図２１】本実施形態に係る画像処理システムの構成の第３の例を示す説明図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る画像処理方法
２．本実施形態に係る画像処理装置
３．本実施形態に係る画像処理システム
４．本実施形態に係るプログラム
【００１６】
（本実施形態に係る画像処理方法）
本実施形態に係る画像処理装置の構成について説明する前に、まず、本実施形態に係る画像処理方法について説明する。以下では、本実施形態に係る画像処理方法に係る処理を、本実施形態に係る画像処理装置が行う場合を主に例に挙げて、本実施形態に係る画像処理方法について説明する。なお、後述する本実施形態に係る画像処理方法の適用例に示すように、本実施形態に係る画像処理方法に係る処理は、複数の装置を有する画像処理システムにおいて行われることも可能である。
【００１７】
［１］既存の画像処理方法が用いられる場合
本実施形態に係る画像処理方法について説明する前に、既存の画像処理方法が用いられる場合について説明する。
【００１８】
図１は、既存の画像処理方法が用いられる圧縮装置１０を含むシステムの一例を示すブロック図である。
【００１９】
図１に示すシステムは、圧縮装置１０と、伸長装置３０と、制御装置４０とを有する。
【００２０】
［１−１］圧縮装置１０
圧縮装置１０は、ウェーブレット変換部１２と、符号量計算部１４と、メモリ１６と、量子化部１８と、可変長符号化部２０とを備える。圧縮装置１０では、例えば、ＭＰＵ（Micro  Processing  Unit）などの演算回路で構成されるプロセッサが、ウェーブレット変換部１２、符号量計算部１４、量子化部１８、および可変長符号化部２０の役目を果たす。また、ウェーブレット変換部１２、符号量計算部１４、量子化部１８、および可変長符号化部２０は、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよい。
【００２１】
ウェーブレット変換部１２は、入力された画像データ（以下、「入力画像」または「入力画像データ」と示す場合がある。）をウェーブレット変換する。
【００２２】
符号量計算部１４は、ウェーブレット変換された画像データの符号量を計算して、量子化値Ｑを算出する。
【００２３】
メモリ１６は、ウェーブレット変換された画像データを遅延させて、量子化値と、ウェーブレット変換された画像データとのタイミングを合わせる。メモリ１６における遅延量は予め設定される。メモリ１６は、例えば、符号量計算部１４における符号量の計算に要する時間分、ウェーブレット変換された画像データを遅延させる。
【００２４】
量子化部１８は、メモリ１６から伝達されるウェーブレット変換された画像データを、量子化値Ｑに基づいて量子化する。
【００２５】
可変長符号化部２０は、量子化部１８において量子化された画像データを可変長符号化する。
【００２６】
圧縮装置１０では、例えば図１に示す構成により、入力画像データが量子化および符号化されて、入力画像データが圧縮される。
【００２７】
［１−２］伸長装置３０
伸長装置３０は、可変長復号部３２と、逆量子化部３４と、逆ウェーブレット変換部３６とを備える。伸長装置３０では、例えば、ＭＰＵなどの演算回路で構成されるプロセッサが、可変長復号部３２、逆量子化部３４、および逆ウェーブレット変換部３６の役目を果たす。また、可変長復号部３２、逆量子化部３４、および逆ウェーブレット変換部３６は、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよい。
【００２８】
可変長復号部３２は、圧縮装置１０において圧縮された画像データを可変長復号する。また、逆量子化部３４は、可変長復号された画像データを逆量子化する。また、逆ウェーブレット変換部３６は、逆量子化された画像データに対して逆ウェーブレット変換を行う。
【００２９】
伸長装置３０は、例えば図１に示す構成により、圧縮装置１０において圧縮された画像データを伸長する。
【００３０】
［１−３］制御装置４０
制御装置４０は、例えば、記録制御部４２と、記録媒体４４と、再生制御部４６とを備える。制御装置４０では、例えば、ＭＰＵなどの演算回路で構成されるプロセッサが、記録制御部４２、および再生制御部４６の役目を果たす。また、記録制御部４２、および再生制御部４６は、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよい。
【００３１】
記録制御部４２は、圧縮装置１０から送信される圧縮された画像データを、記録媒体４４に記憶させる。記録媒体４４としては、例えば、ハードディスク（Hard  Disk）などの磁気記録媒体や、フラッシュメモリ（flash  memory）などの不揮発性メモリ（nonvolatile  memory）などが挙げられる。
【００３２】
圧縮装置１０から送信される圧縮された画像データは、圧縮装置１０が主体的に送信した画像データであってもよいし、記録制御部４２が送信命令を含む送信要求を送信することにより送信された画像データであってもよい。
【００３３】
再生制御部４６は、記録媒体４４に記憶されている圧縮された画像データを伸長装置３０へ送信させて、伸長装置３０に処理を行わせる。
【００３４】
図１に示すシステムでは、例えば、圧縮装置１０と、伸長装置３０と、制御装置４０とを有することによって、入力画像データが圧縮され、圧縮された画像データが伸長される。
【００３５】
ここで、図１に示す圧縮装置１０における画像データの圧縮について、より具体的に説明する。
【００３６】
図２は、既存の画像処理方法が用いられる場合における画像データのサイズと、量子化値との関係の一例を示す説明図である。図２に示すＡは、図１のウェーブレット変換部１２から伝達されるウェーブレット変換された画像データ（図１のＡに対応）のサイズを示している。また、図２に示すＢは、図１の可変長符号化部２０から伝達される可変長符号化された画像データ（図１のＢに対応）のデータサイズと、量子化値との一例を示している。また、図２に示すＣは、図１の可変長符号化部２０から伝達される可変長符号化された画像データ（図１のＢに対応）のデータサイズと、量子化値との他の例を示している。
【００３７】
例えば、ウェーブレット変換の１水平単位であるＴＵ（Transfer  Unit。例えば、１６ライン単位に相当し、１フレームは、約１４０ＴＵである。）で符号量を抑制する場合には、メモリ１６における遅延量は、ＴＵサイズ付近に抑えられる。しかしながら、フレーム内の画像の難易度のばらつきに対して圧縮後の画像データサイズを抑えようとすると、例えば図２のＢに示すケース１のように、局所的に難易度の高いＴＵの量子化値Ｑを大きくすることになる。そのため、既存の画像処理方法が用いられる場合において、圧縮後の画像データサイズを抑えようとすると、量子化値Ｑが大きくなる部分の画質劣化につながる。
【００３８】
また、例えば図２のＣに示すケース２のように、難易度の高いＴＵの画質を維持するために量子化値Ｑを抑えると、圧縮後の画像データサイズを抑えられずに、圧縮後の画像データのサイズが大きくなる。
【００３９】
図３は、既存の画像処理方法が用いられる場合における画像データのサイズと、量子化値との関係の他の例を示す説明図である。図３に示すＡは、図１のウェーブレット変換部１２から伝達されるウェーブレット変換された画像データ（図１のＡに対応）のサイズを示している。また、図３に示すＢは、図１の可変長符号化部２０から伝達される可変長符号化された画像データ（図１のＢに対応）のデータサイズと、量子化値との一例を示している。
【００４０】
例えば図３のＢに示すように、１フレーム分の符号量を計算して、フレーム内で固定の量子化値Ｑが用いられる場合には、局所的に難易度の高いＴＵに対しても固定の量子化値Ｑで量子化することができるので高画質を維持しつつ圧縮後の画像データのサイズを抑えることができる可能性がある。
【００４１】
しかしながら、例えば、符号量計算部１４において１フレーム分の符号量を計算するためには、ウェーブレット変換された画像データを遅延させる遅延量は１フレーム以上となる。そのため、１フレーム分の符号量を計算して、フレーム内で固定の量子化値Ｑが用いられる場合には、メモリ１６の記憶容量を１フレーム以上に相当する画像データを記憶可能な記憶容量とする必要があることからメモリ１６のサイズが大きくなり、装置の小型化が困難となることや、装置のコストが増加するという望ましくない事態が生じる。
【００４２】
［２］他の画像処理方法
ここで、画像データのサイズを低減しつつ、画像の高画質化を図るための他の画像処理方法としては、異なる変換方式を用いる方法が考えられる。
【００４３】
図４は、他の画像処理方法が用いられる圧縮装置５０を含むシステムの一例を示すブロック図である。図４では、図１と同様の構成を有する伸長装置３０および制御装置４０を、併せて示している。
【００４４】
圧縮装置５０は、例えば、第１ウェーブレット変換部５１と、符号量計算部５２と、画像圧縮部５３と、メモリ５４と、画像伸長部５５と、第２ウェーブレット変換部５６と、量子化部５７と、可変長符号化部５８とを備える。
【００４５】
第１ウェーブレット変換部５１は、入力画像データをウェーブレット変換する。
【００４６】
符号量計算部５２は、ウェーブレット変換された画像データの符号量を計算して、量子化値Ｑを算出する。
【００４７】
画像圧縮部５３は、例えば、離散コサイン変換（Discrete  Cosine  Transform。以下、「ＤＣＴ」と示す場合がある。）や差分パルス符号変調（Differential  Pulse  Code  Modulation。以下、「ＤＰＣＭ」と示す場合がある。）などの、画像データを圧縮可能な方式で、入力画像データを圧縮する。
【００４８】
メモリ５４は、画像圧縮部５３において圧縮された画像データを遅延させて、量子化値と、画像圧縮部５３において圧縮された画像データとのタイミングを合わせる。メモリ５４における遅延量は予め設定される。メモリ５４は、例えば、第１ウェーブレット変換部５１における処理時間と画像圧縮部５３における処理時間との差分に相当する時間と、量子化値取得部５２における符号量の計算に要する時間とを加算した時間分、画像圧縮部５３において圧縮された画像データを遅延させる。
【００４９】
画像伸長部５５は、画像圧縮部５３における方式と対応する方式で、メモリ５４から伝達される圧縮された画像データを伸長する。
【００５０】
第２ウェーブレット変換部５６は、伸長された画像データをウェーブレット変換する。
【００５１】
量子化部５７は、伸長された画像データがウェーブレット変換された画像データを、量子化値Ｑに基づいて量子化する。
【００５２】
可変長符号化部５８は、量子化部５７において量子化された画像データを可変長符号化する。
【００５３】
圧縮装置５０では、例えば図４に示す構成により、入力画像データが量子化および符号化されて、入力画像データが圧縮される。
【００５４】
例えば図４に示す圧縮装置５０では、メモリ５４は圧縮された画像データを遅延させるので、図１に示す圧縮装置１０が備えるメモリ１６よりもメモリサイズを小さくすることが可能となる。
【００５５】
しかしながら、図４に示す圧縮装置５０では、ＤＣＴやＤＰＣＭなどの、第１ウェーブレット変換部５１や第２ウェーブレット変換部５６で行われるウェーブレット変換とは異なる方式を用いた変換が行われるので、ＤＣＴやＤＰＣＭなどの変換によって、画質が劣化する恐れがある。また、図４に示す圧縮装置５０では、複数の変換を行うために回路規模が大きくなる恐れがある。
【００５６】
［３］本実施形態に係る画像処理方法の概要
本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、（１）変換処理、（２）第１圧縮処理、および（３）第２圧縮処理を行う。
【００５７】
（１）変換処理
本実施形態に係る画像処理装置は、入力された画像データ（入力画像データ）を、所定の方式で変換する。
【００５８】
ここで、本実施形態に係る入力画像データとしては、例えば、４Ｋ（Ｕｌｔｒａ  ＨＤ（High  Definition）。４０９６×２１６０など）や、ＨＤなど様々な解像度の動画像（または、複数の静止画像）を示す、画像データが挙げられる。具体例を挙げると、本実施形態に係る入力画像データとしては、例えば、４Ｋ／４８０Ｐや、ＨＤ／１０００Ｐなどの動画像を示す画像データが挙げられる。ここで、上記“解像度／Ｎｐ”（Ｎは、正の整数）とは、例えば、解像度に対応する所定の有効画素が、順次走査方式で、Ｎ［ｆｒａｍｅ／ｓｅｃ］で伝送されることをいう。なお、本実施形態に係る入力画像データが、上記に示す例に限られないことは、言うまでもない。
【００５９】
また、本実施形態に係る入力画像データは、例えば、ＲＡＷ画像を示す画像データであってもよいし、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）それぞれに対応する画像を示す複数の画像データであってもよい。
【００６０】
また、本実施形態に係る所定の方式での変換としては、例えば、ウェーブレット変換や、ＤＣＴなどが挙げられる。以下では、入力画像データが、ウェーブレット変換される場合を例に挙げる。
【００６１】
（２）第１圧縮処理
本実施形態に係る画像処理装置は、所定の方式で変換された画像データを、所定の方式に対応する基準単位に基づく所定の単位ごとに量子化し、可変長符号化して圧縮する。
【００６２】
ここで、本実施形態に係る所定の方式に対応する基準単位としては、例えば下記に示す例が挙げられる。
・ＴＵ（所定の方式が、ウェーブレット変換である場合）
・スライス（所定の方式が、ＤＣＴである場合）
【００６３】
また、本実施形態に係る基準単位に基づく所定の単位としては、例えば、基準単位そのもの、または、複数の基準単位が挙げられる。
【００６４】
以下では、本実施形態に係る所定の単位が、ＴＵである場合を例に挙げる。
【００６５】
（３）第２圧縮処理
本実施形態に係る画像処理装置は、上記（２）の処理（第１圧縮処理）において圧縮された画像データが復号、逆量子化された画像データを、フレーム単位で量子化し、可変長符号化して圧縮する。
【００６６】
本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記（１）の処理（変換処理）、（２）の処理（第１圧縮処理）、および上記（３）の処理（第２圧縮処理）を行うことによって、入力画像データが量子化および符号化されて、入力画像データが圧縮される。
【００６７】
以下、本実施形態に係る画像処理方法に係る処理を実現することが可能な本実施形態に係る画像処理装置の構成の一例を挙げつつ、本実施形態に係る画像処理方法が用いられることにより奏される効果について説明する。
【００６８】
以下では、本実施形態に係る所定の方式での変換が、ウェーブレット変換であり、本実施形態に係る所定の単位が、ウェーブレット変換におけるＴＵである場合を例に挙げる。
【００６９】
（本実施形態に係る画像処理装置）
図５は、本実施形態に係る画像処理装置１００を含むシステムの一例を示すブロック図である。
【００７０】
図５に示すシステムは、画像処理装置１００と、伸長装置２００と、図１と同様の構成を有する制御装置４０とを有する。
【００７１】
なお、図５では、システムが、制御装置４０を有する例を示しているが、本実施形態に係る画像処理装置１００を含むシステムは、制御装置４０を有していなくてもよい。例えば、制御装置４０を有さないシステムでは、伸長装置２００が画像処理装置１００から送信される画像データ（圧縮された画像データ）を処理することも可能である。
【００７２】
また、図５では、伸長装置２００および制御装置４０を有するシステムを示しているが、例えば、伸長装置２００および制御装置４０を有するシステムでなくてもよい。本実施形態に係る画像処理装置１００は、単体で、本実施形態に係る画像処理方法に係る処理を行うことが可能である。
【００７３】
［Ｉ］伸長装置２００
伸長装置２００は、可変長復号部２０２と、逆量子化部２０４と、逆ウェーブレット変換部２０６とを備える。伸長装置２００では、例えば、ＭＰＵなどの演算回路で構成されるプロセッサが、可変長復号部２０２、逆量子化部２０４、および逆ウェーブレット変換部２０６の役目を果たす。また、可変長復号部２０２、逆量子化部２０４、および逆ウェーブレット変換部２０６は、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよい。
【００７４】
可変長復号部２０２、逆量子化部２０４、および逆ウェーブレット変換部２０６は、基本的に、図１に示す伸長装置３０を構成する可変長復号部３２、逆量子化部３４、および逆ウェーブレット変換部３６と同様の機能を有する。なお、可変長復号部２０２と逆量子化部２０４との構成の一例については、画像処理装置１００の構成の説明と併せて説明する。
【００７５】
伸長装置２００は、例えば図５に示す構成により、図１に示す伸長装置３０と同様に、画像処理装置１００において圧縮された画像データを伸長する。
【００７６】
［ＩＩ］画像処理装置１００
画像処理装置１００は、例えば、ウェーブレット変換部１０２と、第１量子化値取得部１０４と、第２量子化値取得部１０６と、第１メモリ１０８と、第１量子化部１１０と、第１可変長符号化部１１２と、第２メモリ１１４と、可変長復号部１１６と、逆量子化部１１８と、第２量子化部１２０と、第２可変長符号化部１２２とを備える。
【００７７】
ここで、図５では、ウェーブレット変換部１０２が、上記（１）の処理（変換処理）を行う変換部の役目を果たす。また、図５では、例えば、第１量子化値取得部１０４、第１メモリ１０８、第１量子化部１１０、および第１可変長符号化部１１２が、上記（２）の処理（第１圧縮処理）を行う第１圧縮処理部の役目を果たす。また、図５では、第２量子化値取得部１０６、第２メモリ１１４、可変長復号部１１６、逆量子化部１１８、第２量子化部１２０、および第２可変長符号化部１２２が、上記（３）の処理（第２圧縮処理）を行う第２圧縮処理部の役目を果たす。
【００７８】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（図示せず）、ＲＡＭ（図示せず）、制御装置４０などの外部装置と通信を行うための通信部（図示せず）などを備えていてもよい。
【００７９】
制御部（図示せず）は、例えば、ＭＰＵなどの演算回路で構成されるプロセッサや、各種回路などで構成され、画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、画像処理装置１００において、ウェーブレット変換部１０２、第１量子化値取得部１０４、第２量子化値取得部１０６、第１メモリ１０８、第１量子化部１１０、第１可変長符号化部１１２、第２メモリ１１４、可変長復号部１１６、逆量子化部１１８、第２量子化部１２０、および第２可変長符号化部１２２のうちの１または２以上の役目を果たしてもよい。なお、ウェーブレット変換部１０２、第１量子化値取得部１０４、第２量子化値取得部１０６、第１メモリ１０８、第１量子化部１１０、第１可変長符号化部１１２、第２メモリ１１４、可変長復号部１１６、逆量子化部１１８、第２量子化部１２０、および第２可変長符号化部１２２のうちの１または２以上が、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよいことは、言うまでもない。
【００８０】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００８１】
通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、制御装置４０や伸長装置２００などの外部装置と、無線または有線で通信を行う役目を果たす。ここで、通信部（図示せず）としては、例えば、光ファイバー接続端子および送受信回路や、通信アンテナおよびＲＦ（Radio  Frequency）回路、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮ（Local  Area  Network）やＷＡＮ（Wide  Area  Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Wireless  Local  Area  Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ：Wireless  Wide  Area  Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission  Control  Protocol/Internet  Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００８２】
ウェーブレット変換部１０２は、入力画像データを、ウェーブレット変換する（所定の方式での変換の一例）。
【００８３】
第１量子化値取得部１０４は、ウェーブレット変換された画像データ（以下、単に「変換された画像データ」と示す場合がある。）に対応する、ＴＵ（所定の単位の一例）ごとの第１量子化値Ｑ１を取得する。
【００８４】
第１量子化値取得部１０４は、例えば、ＴＵ（所定の単位の一例）ごとに、変換された画像データの符号量を計算して、ＴＵごとの第１量子化値Ｑ１を算出することによって、ＴＵごとの第１量子化値Ｑ１を取得する。ここで、第１量子化値取得部１０４は、後述する第１量子化部１１０において行われる量子化に係る処理に対応する算出方法によって、整数値の第１量子化値Ｑ１、または小数値の第１量子化値Ｑ１を算出する。
【００８５】
また、第１量子化値取得部１０４は、例えば、上記計算結果が予め記憶されている量子化テーブルなどを参照することによって、変換された画像データに対応する、ＴＵごとの第１量子化値Ｑ１を取得することも可能である。上記量子化テーブルなどのデータは、例えば、ＲＯＭ（図示せず）などに記憶され、第１量子化値取得部１０４は、ＲＯＭなどから上記量子化テーブルなどを読み出して、ＴＵごとの第１量子化値Ｑ１を取得する。
【００８６】
第２量子化値取得部１０６は、変換された画像データに対応する、フレーム単位の第２量子化値Ｑ２を取得する。
【００８７】
第２量子化値取得部１０６は、例えば、フレーム単位で変換された画像データの符号量を計算して、フレーム単位の第２量子化値Ｑ２を算出することによって、フレーム単位の第２量子化値Ｑ２を取得する。ここで、第２量子化値取得部１０６は、後述する第２量子化部１２０において行われる量子化に係る処理に対応して、整数値の第２量子化値Ｑ２、または小数値の第２量子化値Ｑ２を算出する。
【００８８】
第２量子化値取得部１０６は、例えば、上記計算結果が予め記憶されている量子化テーブルなどを参照することによって、変換された画像データに対応する、フレーム単位の第２量子化値Ｑ２を取得することも可能である。上記量子化テーブルなどのデータは、例えば、ＲＯＭ（図示せず）などに記憶され、第２量子化値取得部１０６は、ＲＯＭなどから上記量子化テーブルなどを読み出して、フレーム単位の第２量子化値Ｑ２を取得する。
【００８９】
第１メモリ１０８は、変換された画像データを遅延させて、第１量子化値Ｑ１と変換された画像データとのタイミングを合わせる（ディレイを合わせる）。第１メモリ１０８は、画像処理装置１００における第１のバッファに該当する。
【００９０】
第１メモリ１０８における遅延量は予め設定される。第１メモリ１０８は、例えば、第１量子化値取得部１０４における符号量の計算に要する時間分、変換された画像データを遅延させる。
【００９１】
ここで、第１量子化値Ｑ１はＴＵごとに算出されるので、第１メモリ１０８は、例えば、ＴＵ単位分（１６ライン分）などの所定の単位に相当する記憶容量を有する。つまり、第１メモリ１０８は、例えば図１のメモリ１６のように、１フレーム以上に相当する画像データを記憶可能な記憶容量を有する必要はない。よって、画像処理装置１００では、第１メモリ１０８のサイズを、例えば図１のメモリ１６よりも小さくすることが可能である。また、画像処理装置１００では、第１メモリ１０８の帯域を抑えることが可能である。
【００９２】
第１量子化部１１０は、ＴＵ（所定の単位の一例）ごとに、第１量子化値Ｑ１で変換された画像データを量子化する。
【００９３】
図６は、本実施形態に係る画像処理装置１００における量子化に係る処理の一例を説明するための説明図であり、画像処理装置１００が、シフト演算により画像データを量子化する場合を示している。図６のＡは、画像処理装置１００の第１量子化部１１０（または、第２量子化部１２０）が、シフト演算により画像データを量子化する場合の処理を示している。図６のＢは、画像処理装置１００の逆量子化部１１８（または、伸長装置２００の逆量子化部２０４）が、シフト演算により画像データを逆量子化する場合の処理を示している。
【００９４】
第１量子化部１１０は、例えば図６のＡに示すように、整数値の第１量子化値Ｑ１に基づき変換された画像データを右シフトさせ、シフトされた画像データを、設定されている端数処理によって丸めることによって、量子化された画像データを出力する。
【００９５】
図７は、本実施形態に係る画像処理装置１００における量子化に係る処理の他の例を説明するための説明図であり、画像処理装置１００が、少数量子化により画像データを量子化する場合を示している。図７のＡは、画像処理装置１００の第１量子化部１１０（または、第２量子化部１２０）が、少数量子化により画像データを量子化する場合の処理を示している。図７のＢは、画像処理装置１００の逆量子化部１１８（または、伸長装置２００の逆量子化部２０４）が、少数逆量子化により画像データを逆量子化する場合の処理を示している。
【００９６】
第１量子化部１１０は、例えば図７のＡに示すように、少数値の第１量子化値Ｑ１で変換された画像データを除算し、除算された画像データを、設定されている端数処理によって丸めることによって、量子化された画像データを出力する。
【００９７】
第１量子化部１１０は、例えば、量子化方式としてシフト演算または少数量子化を用いるによって、画像データを量子化する。なお、第１量子化部１１０は、例えば、画像データの量子化を行うことが可能な任意の量子化方式を用いた処理によって、画像データを量子化してもよい。
【００９８】
再度図５を参照して、画像処理装置１００の構成の一例について説明する。第１可変長符号化部１１２は、ＴＵ（所定の単位の一例）ごとに、第１量子化値Ｑ１で量子化された画像データを、可変長符号化する。第１可変長符号化部１１２は、例えば、２次元可変長符号化や、ハフマン符号化、ランレングス符号化、算術符号化、適応ビット割当などの可変長符号化が可能な任意の方式を用いて、第１量子化値Ｑ１で量子化された画像データを可変長符号化する。
【００９９】
第２メモリ１１４は、第１圧縮処理部を構成する第１可変長符号化部１１２において可変長符号化された画像データを遅延させて、第２量子化値Ｑ２と可変長符号化された画像データとのタイミングを合わせる（ディレイを合わせる）。第２メモリ１１４は、画像処理装置１００における第２のバッファに該当する。
【０１００】
第２メモリ１１４における遅延量は予め設定される。第２メモリ１１４は、例えば、第２量子化値取得部１０６における符号量の計算に要する時間分、可変長符号化された画像データを遅延させる。
【０１０１】
ここで、第２メモリ１１４には、第１可変長符号化部１１２において可変長符号化された画像データが入力されるので、第２メモリ１１４に入力される画像データは、入力画像データよりもデータサイズが小さい。つまり、第２メモリ１１４は、例えば図１のメモリ１６のように、１フレーム以上に相当する画像データを記憶可能な記憶容量を有する必要はない。よって、画像処理装置１００では、第２メモリ１１４のサイズを、例えば図１のメモリ１６よりも小さくすることが可能である。また、画像処理装置１００では、第２メモリ１１４の帯域を抑えることが可能である。
【０１０２】
可変長復号部１１６は、第２メモリ１１４から伝達される、遅延された可変長符号化された画像データを復号する。可変長復号部１１６は、第１可変長符号化部１１２が用いる可変長符号化方式と対応する可変長復号方式で、可変長符号化された画像データを復号する。
【０１０３】
逆量子化部１１８は、可変長復号部１１６において復号された画像データを逆量子化する。逆量子化部１１８は、第１量子化部１１０が用いる量子化方式に対応する逆量子化方式で、復号された画像データを逆量子化する。
【０１０４】
例えば、第１量子化部１１０が図６のＡに示す処理によって、シフト演算により画像データを量子化する場合には、逆量子化部１１８は、図６のＢに示す処理によって、復号された画像データを逆量子化する。例えば、逆量子化部１１８は、整数値の第１量子化値Ｑ１に基づき復号された画像データを左シフトさせ、シフトされた画像データを、設定されている端数処理によって丸めることによって、逆量子化された画像データを出力する。
【０１０５】
また、第１量子化部１１０が図７のＡに示す処理によって、少数量子化により画像データを量子化する場合には、逆量子化部１１８は、図７のＢに示す処理によって、復号された画像データを逆量子化する。例えば、逆量子化部１１８は、少数値の第１量子化値Ｑ１と復号された画像データとを乗算し、乗算された画像データを、設定されている端数処理によって丸めることによって、逆量子化された画像データを出力する。
【０１０６】
逆量子化部１１８が、可変長復号部１１６において復号された画像データを逆量子化することによって、ウェーブレット変換部１０２において入力画像データがウェーブレット変換された画像データが、復元される。
【０１０７】
第２量子化部１２０は、逆量子化部１１８において逆量子化された画像データを、第２量子化値Ｑ２で量子化する。
【０１０８】
ここで、第２圧縮処理部を構成する第２量子化部１２０は、例えば、第１圧縮処理部を構成する第１量子化部１１０と同一の量子化方式で画像データを量子化する。
【０１０９】
なお、第２量子化部１２０が量子化に用いる量子化方式は、第１量子化部１１０と同一の量子化方式に限られない。
【０１１０】
例えば、第２量子化部１２０は、第１量子化部１１０とは異なる量子化方式で画像データを量子化してもよい。
【０１１１】
第２量子化部１２０は、例えば、第１量子化部１１０よりもより画像データを圧縮することが可能な量子化方式で、画像データを量子化する。具体例を挙げると、第１量子化部１１０は、図６のＡに示すシフト演算により画像データを量子化し、第２量子化部１２０は、図７のＡに示す少数量子化により画像データを量子化する。
【０１１２】
例えば、第２量子化部１２０が、第１量子化部１１０よりもより画像データを圧縮することが可能な量子化方式で画像データを量子化する場合には、画像処理装置１００は、回路規模を抑えることと高画質化を図ることとを、両立させることができる。
【０１１３】
なお、本実施形態に係る画像処理装置１００では、第１量子化部１１０が、第２量子化部１２０よりもより画像データを圧縮することが可能な量子化方式で、画像データを量子化する構成をとることも可能である。
【０１１４】
第２可変長符号化部１２２は、第２量子化部１２０において第２量子化値Ｑ２で量子化された画像データを、可変長符号化する。
【０１１５】
ここで、第２圧縮処理部を構成する第２可変長符号化部１２２は、例えば、第１圧縮処理部を構成する第１可変長符号化部１１２と同一の可変長符号化方式で、画像データを可変長符号化する。
【０１１６】
なお、第２可変長符号化部１２２が可変長符号化に用いる可変長符号化方式は、第１可変長符号化部１１２と同一の可変長符号化方式に限られない。
【０１１７】
例えば、第２可変長符号化部１２２は、第１可変長符号化部１１２とは異なる可変長符号化方式で画像データを可変長符号化してもよい。具体例を挙げると、例えば、第１可変長符号化部１１２は、２次元可変長符号化により画像データを可変長符号化し、第２可変長符号化部１２２は、算術符号化により画像データを可変長符号化する。なお、第１可変長符号化部１１２と第２可変長符号化部１２２とが異なる可変長符号化方式で画像データを可変長符号化する場合の例が、上記に示す例に限られないことは、言うまでもない。
【０１１８】
画像処理装置１００では、例えば図５に示す構成により、入力画像データが量子化および符号化されて、入力画像データが圧縮される。
【０１１９】
図８は、本実施形態に係る画像処理方法が用いられる場合における画像データのサイズと、量子化値との関係の一例を示す説明図である。図８に示すＡは、図５のウェーブレット変換部１０２から伝達されるウェーブレット変換された画像データ（図５のＡに対応）のサイズを示している。また、図８に示すＢは、図５の第１可変長符号化部１１２から伝達される可変長符号化された画像データ（図５のＢに対応）のデータサイズと、量子化値との一例を示している。また、図８に示すＣは、図５の第２可変長符号化部１２２から伝達される可変長符号化された画像データ（図５のＣに対応）のデータサイズと、量子化値との一例を示している。
【０１２０】
例えば図８のＢに示すように、第１可変長符号化部１１２から伝達される可変長符号化された画像データは、図８のＡに示すウェーブレット変換された画像データのサイズよりも１／２〜１／３となっている。第１可変長符号化部１１２から伝達される可変長符号化された画像データを、図８のＢに示すように、変換された画像データのサイズよりも１／２〜１／３とすることによって、ＴＵ（所定の単位の一例）の第１量子化値Ｑ１を低く抑えることができるので、高画質を維持することができる。
【０１２１】
また、第１可変長符号化部１１２から伝達される可変長符号化された画像データを、図８のＢに示すように、変換された画像データのサイズよりも１／２〜１／３とすることによって、第２メモリ１１４の帯域と記録容量とを抑えることが可能となる。
【０１２２】
また、画像処理装置１００では、フレーム単位の符号量計算に基づく第２量子化値Ｑ２が取得されるので、フレーム内の画像の難易度にバラつきがあっても、図８のＣに示すように、第２量子化値Ｑ２を固定値とすることが可能である。よって、例えば図８のＣに示すように、入力画像データよりもサイズを低減しつつ、第２可変長符号化部１２２から出力される可変長符号化された画像データの画質を維持することができる。
【０１２３】
また、画像処理装置１００では、入力画像データの圧縮に係る画像データの変換が、ウェーブレット変換部１０２におけるウェーブレット変換の１回だけである。よって、画像処理装置１００では、例えば図４に示す圧縮装置５０のように異なる方式による複数の変換が行われないので、圧縮装置５０において生じうる画質の劣化は生じない。
【０１２４】
したがって、本実施形態に係る画像処理装置１００は、例えば図５に示す構成によって、画像データのサイズを低減しつつ、画像の高画質化を図ることができる。
【０１２５】
また、本実施形態に係る画像処理装置１００は、例えば、上記のように第２メモリ１１４の帯域と記録容量とを抑えることができ、また、例えば図４に示す圧縮装置５０のように異なる方式による複数の変換が行われないので、複数の変換を行うための回路規模の増加はない。
【０１２６】
よって、本実施形態に係る画像処理装置１００は、例えば図５に示す構成によって、メモリの帯域、記録容量を抑えつつ、高画質、高圧縮を実現することができる。
【０１２７】
なお、本実施形態に係る画像処理方法に係る処理を行うことが可能な、本実施形態に係る画像処理装置の構成は、図５に示す構成に限られない。
【０１２８】
例えば、本実施形態に係る画像処理装置は、ウェーブレット変換部１０２を、入力画像データを離散コサイン変換する離散コサイン変換部や、入力画像データを差分パルス符号変調する差分パルス符号変調部など、画像データの圧縮に係る他の方式に係る変換部に置き換えた構成をとることも可能である。上記他の方式に係る変換部に置き換えた構成をとる場合であっても、本実施形態に係る画像処理装置は、図５に示す画像処理装置１００が奏する効果と同様の効果を奏することができる。
【０１２９】
（本実施形態に係る画像処理システム）
上記では、本実施形態に係る画像処理方法が、１つの画像処理装置に適用される例を示したが、本実施形態に係る画像処理方法は、複数の画像処理装置を有する画像処理システムにおいて行われることも可能である。そこで、次に、本実施形態に係る画像処理方法に係る処理を行うことが可能な、本実施形態に係る画像処理システムについて説明する。
【０１３０】
［ｉ］本実施形態に係る画像処理システムの一例の概要
図９は、本実施形態に係る画像処理システム１０００の一例を示す説明図である。図９に示す、画像処理システム１０００は、撮像装置３００（第１の画像処理装置の一例）と、処理装置４００（第２の画像処理装置の一例）とを有する。画像処理システム１０００は、撮像装置３００において撮像された画像を、処理装置４００が、Ｌｉｖｅ映像としてリアルタイムで外部装置に送信し、また、Ｒｅｐｌａｙ映像として非リアルタイムで外部装置に送信する、本実施形態に係る画像処理システムの一例である。
【０１３１】
また、画像処理システム１０００を構成する処理装置４００は、撮像装置３００において撮像された画像の一部の領域に対応する画像を、外部装置へ送信する機能（図９に示す“ＨＤ  Ｃｕｔ  Ｏｕｔ”）や、撮像装置３００において撮像された画像の一部の領域に対応する画像がダウンコンバートされた画像を、外部装置へ送信する機能（図９に示す“ＨＤ  Ｄｏｗｎ  Ｃｏｎｖ．”）を有していてもよい。また、画像処理システム１０００を構成する処理装置４００は、ネットワークを介して（または、直接的に）、外部装置に対して画像データを送信する機能を有していてもよい。
【０１３２】
図９では、処理装置４００が各種画像を示す画像データを送信する対象の外部装置として、外部装置５００Ａ、５００Ｂ、５００Ｃ、５００Ｄを示している。以下では、処理装置４００が画像データを送信する対象の外部装置５００Ａ、５００Ｂ、５００Ｃ、５００Ｄ、…を、総称して「外部装置５００」と示す。また、図９の外部装置５００Ｄに示すように、処理装置４００が送信した画像データは、さらに他の外部装置５００Ｅとの間で送受信されてもよい。
【０１３３】
撮像装置３００は、動画像を撮像し、撮像された動画像を示す画像データを、処理装置４００へ送信する。以下では、撮像装置３００が、４Ｋ／４８０Ｐの動画像を撮像する場合を例に挙げる。
【０１３４】
処理装置４００は、撮像装置３００から送信される画像データを処理し、外部装置５００に対して、各種画像を示す画像データを送信する。図１０は、本実施形態に係る画像処理システム１０００を構成する処理装置４００の、ハードウェア構成の概念の一例を示す説明図である。なお、処理装置４００の、ハードウェア構成の概念が、図１０に示す例に限られないことは、言うまでもない。
【０１３５】
また、処理装置４００は、例えば、撮像装置３００における撮像を制御する、いわゆるカメラコントロール機能（ＣＣＵ機能）を有してもよい。
【０１３６】
［ｉｉ］上記既存の画像処理方法や上記他の画像処理方法が用いられる場合
本実施形態に係る画像処理方法が適用される本実施形態に係る画像処理システム１０００が有する、撮像装置３００と処理装置４００との構成の一例について説明する前に、上記既存の画像処理方法や上記他の画像処理方法が、図９と同様に撮像装置と処理装置とを有するシステムに適用される場合における、撮像装置と処理装置との構成について、説明する。以下では、撮像装置が、４Ｋ／４８０Ｐの動画像を撮像する場合を例に挙げる。
【０１３７】
［ｉｉ−１］既存の画像処理方法が用いられる場合における撮像装置と処理装置との構成の一例
図１１は、既存の画像処理方法が用いられるシステムが有する撮像装置６０と処理装置８０Ａとの構成の一例を示すブロック図である。
【０１３８】
［ｉｉ−１−１］撮像装置６０
撮像装置６０は、単板イメージャ６２と、欠陥補正部６４と、フレーム間引き部６６と、信号処理部６８と、低遅延画像圧縮部７０と、送信部７２とを備える。ここで、低遅延画像圧縮部７０は、例えば図１の圧縮装置１０に相当する。
【０１３９】
撮像装置６０では、例えば、ＭＰＵなどの演算回路で構成されるプロセッサが、欠陥補正部６４、フレーム間引き部６６、信号処理部６８、低遅延画像圧縮部７０、送信部７２の役目を果たす。また、欠陥補正部６４、フレーム間引き部６６、信号処理部６８、低遅延画像圧縮部７０、送信部７２は、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよい。
【０１４０】
単板イメージャ６２は、撮像に応じた画像データを出力し、当該画像データは、欠陥補正部６４において補正される。単板イメージャ６２は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を複数用いたイメージセンサと、信号処理回路とで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic  Gain  Control）回路やＡＤＣ（Analog  to  Digital  Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。
【０１４１】
フレーム間引き部６６は、欠陥補正部６４において補正された画像データからフレームを間引く。入力される補正された画像データが、４８０Ｐの画像データである場合には、フレーム間引き部６６は、例えば、フレームを間引くことによって、６０Ｐの画像データに変換する。
【０１４２】
信号処理部６８は、フレームが間引かれた画像データを、画像を表示させる対象の表示画面に応じて処理し、処理した画像データが示す画像を、表示画面に表示させる。図１１では、信号処理部６８が、例えば、撮像装置が備えるビューファインダ（図１１に示す“ＶＦ”）と、撮像装置が備える表示デバイスまたは外部表示デバイス（図１１に示す“ＭＯＮ”）の表示画面に、画像を表示させる例を示している。
【０１４３】
低遅延画像圧縮部７０は、欠陥補正部６４において補正された画像データを、図１に示す圧縮装置１０と同様に圧縮する。
【０１４４】
送信部７２は、例えば１０Ｇファイバーを介して、低遅延画像圧縮部７０において圧縮された画像データを、処理装置８０Ａへ送信する。送信部７２は、例えば、送信部７２を構成する通信デバイス、または、撮像装置６０に接続されている外部の通信デバイスに画像データを送信させることによって、圧縮された画像データを処理装置８０Ａへ送信する。
【０１４５】
撮像装置６０は、例えば図１１に示す構成によって、撮像により生成された画像データを圧縮し、圧縮された画像データを、処理装置８０Ａへ送信する。
【０１４６】
［ｉｉ−１−２］処理装置８０Ａ
処理装置８０Ａは、受信部８２と、低遅延画像伸長部８４Ａと、フレーム加算部８６と、第１現像部８８と、記録再生制御部９０と、記録媒体９２と、低遅延画像伸長部８４Ｂと、第２現像部９４とを備える。ここで、低遅延画像伸長部８４Ａと低遅延画像伸長部８４Ｂとが、例えば図１の伸長装置３０に相当する。
【０１４７】
処理装置８０Ａでは、例えば、ＭＰＵなどの演算回路で構成されるプロセッサが、受信部８２、低遅延画像伸長部８４Ａ、フレーム加算部８６、第１現像部８８、記録再生制御部９０、低遅延画像伸長部８４Ｂ、および第２現像部９４の役目を果たす。また、受信部８２、低遅延画像伸長部８４Ａ、フレーム加算部８６、第１現像部８８、記録再生制御部９０、低遅延画像伸長部８４Ｂ、および第２現像部９４は、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよい。
【０１４８】
受信部８２は、例えば１０Ｇファイバーを介して撮像装置６０から送信される圧縮された画像データを受信する。受信部８２は、例えば、受信部８２を構成する通信デバイスにより直接的に、または、処理装置８０Ａに接続されている外部の通信デバイスを介して間接的に、画像データを受信する。
【０１４９】
低遅延画像伸長部８４Ａは、受信された圧縮された画像データを、例えば図１の伸長装置３０と同様に伸長する。
【０１５０】
フレーム加算部８６は、低遅延画像伸長部８４Ａにおいて伸長された画像データにフレームを加算する。伸長された画像データが、４８０Ｐの画像データである場合には、フレーム加算部８６は、例えば、８フレームを加算することによって、６０Ｐの画像データに変換する。
【０１５１】
第１現像部８８は、例えば、ＲＡＷ現像に係る各種処理を行うことによって、フレーム加算部８６から伝達される画像データを、Ｌｉｖｅ映像を示す画像データとする。
【０１５２】
記録再生制御部９０は、受信された圧縮された画像データを、記録媒体９２に記録する。ここで、記録媒体９２としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。
【０１５３】
また、記録再生制御部９０は、例えば、処理装置８０Ａのユーザの操作に基づく再生命令や、外部装置から送信される再生命令を含む再生要求に基づいて、記録媒体９２に記憶されている画像データを、６０Ｐの画像データとして低遅延画像伸長部８４Ｂへ伝達する。記録媒体９２に記憶されている画像データが４８０Ｐの画像データである場合には、記録再生制御部９０は、例えば、フレームを間引くことによって、６０Ｐの画像データに変換し、変換された画像データを低遅延画像伸長部８４Ｂへ伝達する。
【０１５４】
低遅延画像伸長部８４Ｂは、記録再生制御部９０から伝達される圧縮された画像データを、例えば図１の伸長装置３０と同様に伸長する。
【０１５５】
第２現像部９４は、例えば、ＲＡＷ現像に係る各種処理を行うことによって、低遅延画像伸長部８４Ｂから伝達される画像データを、Ｒｅｐｌａｙ映像を示す画像データとする。
【０１５６】
例えば図１１に示す撮像装置６０と処理装置８０Ａとを有するシステムによって、図９に示すような、Ｌｉｖｅ映像を示す画像データと、Ｒｅｐｌａｙ映像を示す画像データとを、外部装置へ送信することができる。
【０１５７】
ここで、図９に示すような、Ｌｉｖｅ映像を示す画像データとＲｅｐｌａｙ映像を示す画像データとを外部装置へ送信するシステムでは、撮像装置に対しては、例えば、低遅延で高画質維持、および内部のメモリ資源（回路規模）の節約という要求がある。また、図９に示すような上記システムでは、処理装置が備える記録媒体の記録容量や帯域を抑える要求がある。上記の各要求は、画像データの解像度や、転送レートが高くなるにつれ、より強くなる。
【０１５８】
しかしながら、例えば図２や図３を参照して示したように、既存の画像処理方法が用いられる場合には、上記の各要求の両立を図ることは困難である。
【０１５９】
［ｉｉ−２］他の画像処理方法が用いられるが用いられる場合における撮像装置６０と処理装置８０Ｂとの構成の一例
図１２は、他の画像処理方法が用いられるが用いられる場合における撮像装置６０と処理装置８０Ｂとの構成の一例を示すブロック図である。図１２に示す撮像装置６０は、図１１に示す撮像装置６０と同様の構成を有する。
【０１６０】
処理装置８０Ｂは、受信部８２と、低遅延画像伸長部８４Ａと、フレーム加算部８６と、第１現像部８８と、１フレーム画像圧縮部９６と、記録再生制御部９０と、記録媒体９２と、１フレーム画像伸長部９６と、第２現像部９４とを備える。ここで、低遅延画像伸長部８４Ａが、例えば図１の伸長装置３０に相当する。
【０１６１】
処理装置８０Ｂでは、例えば、ＭＰＵなどの演算回路で構成されるプロセッサが、受信部８２、低遅延画像伸長部８４Ａ、フレーム加算部８６、第１現像部８８、１フレーム画像圧縮部９６、記録再生制御部９０、１フレーム画像伸長部９６、および第２現像部９４の役目を果たす。また、受信部８２、低遅延画像伸長部８４Ａ、フレーム加算部８６、第１現像部８８、１フレーム画像圧縮部９６、記録再生制御部９０、１フレーム画像伸長部９６、および第２現像部９４は、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよい。
【０１６２】
受信部８２は、図１１に示す受信部８２と同様の機能を有し、撮像装置６０から送信される圧縮された画像データを受信する。
【０１６３】
低遅延画像伸長部８４Ａ、フレーム加算部８６、および第１現像部８８は、図１１に示す低遅延画像伸長部８４Ａ、フレーム加算部８６、および第１現像部８８と同様の機能を有する。受信部８２において受信された圧縮された画像データは、低遅延画像伸長部８４Ａで伸長され、フレーム加算部８６で６０Ｐの画像データに変換され、第１現像部８８でＬｉｖｅ映像を示す画像データとされる。
【０１６４】
１フレーム画像圧縮部９６は、低遅延画像伸長部８４Ａにおいて伸長された画像データを、撮像装置６０の低遅延画像圧縮部７０において用いられる圧縮方式とは異なる圧縮方式で圧縮する。１フレーム画像圧縮部９６は、例えば、画質を維持しつつ、低遅延画像圧縮部７０において用いられる圧縮方式よりもより圧縮することが可能な圧縮方式を用いる。
【０１６５】
記録再生制御部９０は、図１１に示す記録再生制御部９０と同様の機能を有する。記録再生制御部９０は、圧縮された画像データを、記録媒体９２に記録する。また、記録再生制御部９０は、記録媒体９２に記憶されている画像データを、６０Ｐの画像データとして１フレーム画像伸長部９８へ伝達する。
【０１６６】
１フレーム画像伸長部９８は、記録再生制御部９０から伝達される圧縮された画像データを、１フレーム画像圧縮部９６と対応する方式で伸長する。
【０１６７】
第２現像部９４は、図１１に示す第２現像部９４と同様の機能を有し、１フレーム画像伸長部９８から伝達される画像データを、Ｒｅｐｌａｙ映像を示す画像データとする。
【０１６８】
例えば図１２に示す撮像装置６０と処理装置８０Ｂとを有するシステムによって、図９に示すような、Ｌｉｖｅ映像を示す画像データと、Ｒｅｐｌａｙ映像を示す画像データとを、外部装置へ送信することができる。
【０１６９】
しかしながら、図１２に示すシステムでは、撮像装置６０の低遅延画像圧縮部７０における圧縮と、処理装置８０Ｂの１フレーム画像圧縮部９６における圧縮という２種類の変換方式が用いる圧縮が行われる。そのため、図１２に示すシステムが用いられる場合には、複数の変換方式の用いられることによる画質劣化（いわゆる、コンカチネーション）が発生し、または、複数の変換方式を実現するために回路規模が増大する。
【０１７０】
［ｉｉｉ］  本実施形態に係る画像処理方法が適用される本実施形態に係る画像処理システムの構成の一例
次に、本実施形態に係る画像処理方法が適用される本実施形態に係る画像処理システムの構成の一例について、説明する。以下では、本実施形態に係る画像処理システムが、図９に示す画像処理システム１０００である場合を例に挙げる。なお、本実施形態に係る画像処理システムが、図９に示す画像処理システム１０００に限られないことは、言うまでもない。
【０１７１】
［ｉｉｉ−１］本実施形態に係る画像処理システムの構成の第１の例
図１３は、本実施形態に係る画像処理システムの構成の第１の例を示す説明図であり、画像処理システム１０００を構成する撮像装置３００Ａ（第１の画像処理装置の一例）と、処理装置４００Ａ（第２の画像処理装置の一例）とを示している。
【０１７２】
［ｉｉｉ−１−１］撮像装置３００Ａ
撮像装置３００Ａは、単板イメージャ３０２と、欠陥補正部３０４と、フレーム間引き部３０６と、信号処理部３０８と、ウェーブレット変換部３１０（変換部の一例）と、量子化値取得部３１２（第１の量子化値取得部）と、メモリ３１４（第１のメモリ）と、量子化部３１６（第１の量子化部）と、可変長符号化部３１８（第１の可変長符号化部）と、送信部３２０（第１の通信部）とを備える。
【０１７３】
ここで、図１３に示す撮像装置３００Ａでは、ウェーブレット変換部３１０が、上記（１）の処理（変換処理）を行う役目を果たす。また、図１３に示す撮像装置３００Ａでは、例えば、量子化値取得部３１２、メモリ３１４、量子化部３１６、および可変長符号化部３１８が、上記（２）の処理（第１圧縮処理）を行う役目を果たす。
【０１７４】
また、図１３に示す撮像装置３００Ａでは、ウェーブレット変換部３１０、量子化値取得部３１２、メモリ３１４、量子化部３１６、および可変長符号化部３１８は、図５に示す画像処理装置１００の構成要素と下記のように対応する。
・ウェーブレット変換部３１０：画像処理装置１００のウェーブレット変換部１０２
・量子化値取得部３１２：画像処理装置１００の第１量子化値取得部１０４
・メモリ３１４：画像処理装置１００の第１メモリ１０８
・量子化部３１６：画像処理装置１００の第１量子化部１１０
・可変長符号化部３１８：画像処理装置１００の第１可変長符号化部１１２
【０１７５】
また、撮像装置３００Ａは、例えば、制御部（図示せず）や、ＲＯＭ（図示せず）、ＲＡＭ（図示せず）などを備えていてもよい。
【０１７６】
制御部（図示せず）は、例えば、ＭＰＵなどの演算回路で構成されるプロセッサや、各種回路などで構成され、撮像装置３００Ａ全体を制御する。また、制御部（図示せず）は、例えば、撮像装置３００Ａにおいて、ウェーブレット変換部３１０、量子化値取得部３１２、量子化部３１６、可変長符号化部３１８、送信部３２０のうちの１または２以上の役目を果たしてもよい。なお、ウェーブレット変換部３１０、量子化値取得部３１２、量子化部３１６、可変長符号化部３１８、送信部３２０のうちの１または２以上が、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよいことは、言うまでもない。
【０１７７】
単板イメージャ３０２および欠陥補正部３０４は、図１１に示す単板イメージャ６２および欠陥補正部６４と同様の機能、構成を有する。単板イメージャ３０２は、撮像に応じた画像データを出力し、当該画像データは、欠陥補正部３０４において補正される。
【０１７８】
フレーム間引き部３０６および信号処理部３０８は、図１１に示すフレーム間引き部６６および信号処理部６８と同様の機能を有する。フレーム間引き部３０６は、欠陥補正部３０４において補正された画像データからフレームを間引き、信号処理部３０８は、フレームが間引かれた画像データを、画像を表示させる対象の表示画面に応じて処理し、処理した画像データが示す画像を、表示画面に表示させる。
【０１７９】
ウェーブレット変換部３１０は、図５に示すウェーブレット変換部１０２と同様に、欠陥補正部３０４から伝達される補正された画像データである入力画像データを、ウェーブレット変換する（所定の方式での変換の一例）。
【０１８０】
量子化値取得部３１２は、図５に示す第１量子化値取得部１０４と同様に、ウェーブレット変換された画像データに対応する、ＴＵ（所定の単位の一例）ごとの第１量子化値Ｑ１を取得する。
【０１８１】
メモリ３１４は、図５に示す第１メモリ１０８と同様に、変換された画像データを遅延させて、第１量子化値Ｑ１と変換された画像データとのタイミングを合わせる（ディレイを合わせる）。メモリ３１４は、撮像装置３００Ａにおけるバッファに該当する。
【０１８２】
量子化部３１６は、図５に示す第１量子化部１１０と同様に、ＴＵ（所定の単位の一例）ごとに、第１量子化値Ｑ１で変換された画像データを量子化する。
【０１８３】
可変長符号化部３１８は、図５に示す第１可変長符号化部１１２と同様に、ＴＵ（所定の単位の一例）ごとに、第１量子化値Ｑ１で量子化された画像データを、可変長符号化する。
【０１８４】
送信部３２０は、例えば図１１に示す撮像装置６０の送信部７２と同様の機能、構成を有し、例えば１０Ｇファイバーを介して、可変長符号化部３１８から伝達される、可変長符号化された画像データ（量子化および可変長符号化されて圧縮された画像データ）を、処理装置４００Ａへ送信する。
【０１８５】
［ｉｉｉ−１−２］処理装置４００Ａ
処理装置４００Ａは、例えば、受信部４０２（第２の通信部）と、第１可変長復号部４０４（第１の可変長復号部）と、第１逆量子化部４０６（第１の逆量子化部）と、第１逆ウェーブレット変換部４０８と、フレーム加算部４１０と、第１現像部４１２と、量子化値取得部４１４（第２の量子化値取得部）と、メモリ４１６（第２のメモリ）と、第２可変長復号部４１８（第２の可変長復号部）と、第２逆量子化部４２０（第２の逆量子化部）と、量子化部４２２（第２の量子化部）と、可変長符号化部４２４（第２の可変長符号化部）と、記録再生制御部４２６と、記録媒体４２８と、第３可変長復号部４３０と、第３逆量子化部４３２と、第２逆ウェーブレット変換部４３４と、第２現像部４３６とを備える。
【０１８６】
ここで、図１３に示す処理装置４００Ａでは、第１可変長復号部４０４、第１逆量子化部４０６、量子化値取得部４１４、メモリ４１６、第２可変長復号部４１８、第２逆量子化部４２０、量子化部４２２、および可変長符号化部４２４が、上記（３）の処理（第２圧縮処理）を行う役目を果たす。
【０１８７】
また、図１３に示す処理装置４００Ａでは、第１可変長復号部４０４、第１逆量子化部４０６、量子化値取得部４１４、メモリ４１６、第２可変長復号部４１８、第２逆量子化部４２０、量子化部４２２、および可変長符号化部４２４は、図５に示す画像処理装置１００の構成要素と下記のように対応する。
・第１可変長復号部４０４および第２可変長復号部４１８：画像処理装置１００の可変長復号部１１６
・第１逆量子化部４０６および第２逆量子化部４２０：画像処理装置１００の逆量子化部１１８
・量子化値取得部４１４：画像処理装置１００の第２量子化値取得部１０６
・メモリ４１６：画像処理装置１００の第２メモリ１１４
・量子化部４２２：画像処理装置１００の第２量子化部１２０
・可変長符号化部４２４：画像処理装置１００の第２可変長符号化部１２２
【０１８８】
また、処理装置４００Ａは、例えば、制御部（図示せず）や、ＲＯＭ（図示せず）、ＲＡＭ（図示せず）などを備えていてもよい。
【０１８９】
制御部（図示せず）は、例えば、ＭＰＵなどの演算回路で構成されるプロセッサや、各種回路などで構成され、処理装置４００Ａ全体を制御する。また、制御部（図示せず）は、例えば、処理装置４００Ａにおいて、受信部４０２、第１可変長復号部４０４、第１逆量子化部４０６、第１逆ウェーブレット変換部４０８、フレーム加算部４１０、第１現像部４１２、量子化値取得部４１４、第２可変長復号部４１８、第２逆量子化部４２０、量子化部４２２、可変長符号化部４２４、記録再生制御部４２６、第３可変長復号部４３０、第３逆量子化部４３２、第２逆ウェーブレット変換部４３４、および第２現像部４３６のうちの１または２以上の役目を果たしてもよい。なお、受信部４０２、第１可変長復号部４０４、第１逆量子化部４０６、第１逆ウェーブレット変換部４０８、フレーム加算部４１０、第１現像部４１２、量子化値取得部４１４、第２可変長復号部４１８、第２逆量子化部４２０、量子化部４２２、可変長符号化部４２４、記録再生制御部４２６、第３可変長復号部４３０、第３逆量子化部４３２、第２逆ウェーブレット変換部４３４、および第２現像部４３６のうちの１または２以上が、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよいことは、言うまでもない。
【０１９０】
受信部４０２は、例えば図１１に示す処理装置８０Ａの受信部８２と同様の機能、構成を有し、例えば１０Ｇファイバーを介して撮像装置３００Ａから送信される可変長符号化された画像データ（圧縮された画像データ）を受信する。
【０１９１】
第１可変長復号部４０４は、図５に示す画像処理装置１００の可変長復号部１１６と同様に、受信部４０２において受信された可変長符号化された画像データを復号する。
【０１９２】
第１逆量子化部４０６は、図５に示す画像処理装置１００の逆量子化部１１８同様に、第１可変長復号部４０４において復号された画像データを逆量子化する。第１逆量子化部４０６が逆量子化することによって、撮像装置３００Ａのウェーブレット変換部３１０においてウェーブレット変換された画像データが、復元される。
【０１９３】
第１逆ウェーブレット変換部４０８は、第１逆量子化部４０６において逆量子化された画像データを、逆ウェーブレット変換する。
【０１９４】
フレーム加算部４１０、および第１現像部４１２は、図１１に示す処理装置８０Ａのフレーム加算部８６、および第１現像部８８と同様の機能を有する。第１逆ウェーブレット変換部４０８において逆ウェーブレット変換された画像データは、例えば、フレーム加算部４１０で６０Ｐの画像データに変換され、第１現像部４１２でＬｉｖｅ映像を示す画像データとされる。
【０１９５】
量子化値取得部４１４は、図５に示す画像処理装置１００の第２量子化値取得部１０６と同様に、第１逆量子化部４０６において逆量子化された画像データに対応する、フレーム単位の第２量子化値Ｑ２を取得する。
【０１９６】
メモリ４１６は、図５に示す画像処理装置１００の第２メモリ１１４と同様に、受信部４０２において受信された可変長符号化された画像データを遅延させて、第２量子化値Ｑ２と、受信された可変長符号化された画像データとのタイミングを合わせる（ディレイを合わせる）。メモリ４１６は、処理装置４００Ａにおけるバッファに該当する。
【０１９７】
第２可変長復号部４１８は、図５に示す画像処理装置１００の可変長復号部１１６と同様に、メモリ４１６から伝達される、遅延された可変長符号化された画像データを復号する。
【０１９８】
第２逆量子化部４２０は、図５に示す画像処理装置１００の逆量子化部１１８同様に、第２可変長復号部４１８において復号された画像データを逆量子化する。第２逆量子化部４２０が逆量子化することによって、撮像装置３００Ａのウェーブレット変換部３１０においてウェーブレット変換された画像データが、復元される。
【０１９９】
量子化部４２２は、図５に示す画像処理装置１００の第２量子化部１２０と同様に、第２逆量子化部４２０において逆量子化された画像データを、第２量子化値Ｑ２で量子化する。
【０２００】
可変長符号化部４２４は、図５に示す画像処理装置１００の第２可変長符号化部１２２と同様に、量子化部４２２において第２量子化値Ｑ２で量子化された画像データを、可変長符号化する。
【０２０１】
記録再生制御部４２６は、図１１に示す処理装置８０Ａの記録再生制御部９０と同様の機能を有する。記録再生制御部４２６は、可変長符号化部４２４により可変長符号化された画像データ（量子化、可変長符号化された圧縮された画像データ）を、記録媒体４２８に記録する。ここで、記録媒体４２８としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。
【０２０２】
また、記録媒体４２８は、記録媒体４２８に記憶されている可変長符号化された画像データを、６０Ｐの画像データとして第３可変長復号部４３０へ伝達する。
【０２０３】
第３可変長復号部４３０は、例えば図５に示す画像処理装置１００の可変長復号部１１６と同様に、記録媒体４２８から伝達される可変長符号化された画像データを復号する。
【０２０４】
第３逆量子化部４３２は、例えば図５に示す画像処理装置１００の逆量子化部１１８同様に、第３可変長復号部４３０において復号された画像データを逆量子化する。
【０２０５】
第２逆ウェーブレット変換部４３４は、第３逆量子化部４３２において逆量子化された画像データを、逆ウェーブレット変換する。
【０２０６】
第２現像部４３６は、図１１に示す処理装置８０Ａの第２現像部９４と同様の機能を有し、第２逆ウェーブレット変換部４３４から伝達される画像データを、Ｒｅｐｌａｙ映像を示す画像データとする。
【０２０７】
画像処理システム１０００が、例えば図１３に示す撮像装置３００Ａと処理装置４００Ａとを有することによって、Ｌｉｖｅ映像を示す画像データと、Ｒｅｐｌａｙ映像を示す画像データとを、外部装置へ送信することが可能なシステムが実現される。
【０２０８】
また、画像処理システム１０００が、例えば図１３に示す撮像装置３００Ａと処理装置４００Ａとを有することによって、本実施形態に係る画像処理方法に係る処理（上記（１）の処理（変換処理）〜上記（３）の処理（第２圧縮処理））を、撮像装置３００Ａと処理装置４００Ａとにおいて分散して行うことが可能な、画像処理システムが実現される。
【０２０９】
ここで、撮像装置３００Ａの可変長符号化部３１８は、図５の画像処理装置１００の第１可変長符号化部１１２に対応するので、可変長符号化部３１８から出力される画像データのサイズと量子化値との関係は、図８のＢに示す関係を有する。つまり、撮像装置３００Ａは、例えば図８に示すように、ウェーブレット変換部３１０においてウェーブレット変換された画像データに対して、データのサイズを１／２〜１／３にすることによって、ＴＵ（所定の単位の一例）の第１量子化値Ｑ１を低く抑えることができるので、高画質を維持することができる。また、画像データのサイズを１／２〜１／３にすることが可能であるので、画像処理システム１０００では、撮像装置３００Ａと処理装置４００Ａとの間の通信に係る帯域が抑えられる。
【０２１０】
よって、画像処理システム１０００が、撮像装置３００Ａを有することによって、画像処理システム１０００は、Ｌｉｖｅ映像として外部装置に送信される画像データを、低遅延で外部装置に送信することが可能となる。
【０２１１】
また、画像処理システム１０００が、撮像装置３００Ａを有することによって、画像データのサイズを１／２〜１／３にすることが可能であるので、処理装置４００Ａが備えるメモリ４１６の記憶容量と帯域とを抑えることが可能となる。
【０２１２】
また、処理装置４００Ａの量子化値取得部４１４、および可変長符号化部４２４は、図５に示す画像処理装置１００の第２量子化値取得部１０６、および第２可変長符号化部１２２に対応するので、可変長符号化部４２４から出力される画像データのサイズと量子化値との関係は、図８のＣに示す関係を有する。つまり、処理装置４００Ａでは、フレーム単位の符号量計算に基づく第２量子化値Ｑ２が取得されるので、フレーム内の画像の難易度にバラつきがあっても、図８のＣに示すように、第２量子化値Ｑ２を固定値とすることが可能である。
【０２１３】
よって、画像処理システム１０００が、処理装置４００Ａを有することによって、例えば図８のＣに示すように、入力画像データよりもサイズを低減しつつ、第２可変長符号化部１２２から出力される可変長符号化された画像データの画質を維持することができる。
【０２１４】
また、画像処理システム１０００では、圧縮に係る画像データの変換が、撮像装置３００Ａのウェーブレット変換部３１０におけるウェーブレット変換の１回だけであり、図１２に示すシステムのように異なる方式の変換が行われない。よって、画像処理システム１０００では、図１２に示すシステムにおいて生じうる画質劣化が生じない。さらに、画像処理システム１０００では、図１２に示すシステムのような、複数の変換方式を実現するための回路規模の増大も、ない
【０２１５】
なお、本実施形態に係る画像処理システムを構成する各装置の構成は、図１３に示す構成（および、後述する図１４、図２１に示す構成）に限られない。
【０２１６】
例えば、本実施形態に係る画像処理システムを構成する装置は、本実施形態に係る画像処理方法に係る処理（上記（１）の処理（変換処理）〜上記（３）の処理（第２圧縮処理））に係る構成要素、および通信に係る構成（例えば図１３に示す送信部３２０、受信部４０２）以外の構成要素を備えない構成をとることも可能である。本実施形態に係る画像処理システムを構成する装置が上記構成をとる場合であっても、本実施形態に係る画像処理方法に係る処理を、複数の装置において分散して行うことが可能な、画像処理システムが実現される。
【０２１７】
［ｉｉｉ−２］本実施形態に係る画像処理システムの構成の第２の例
図１４は、本実施形態に係る画像処理システムの構成の第２の例を示す説明図であり、画像処理システム１０００を構成する撮像装置３００Ｂ（第１の画像処理装置の一例）と、処理装置４００Ｂ（第２の画像処理装置の一例）とを示している。
【０２１８】
［ｉｉｉ−２−１］撮像装置３００Ｂ
撮像装置３００Ｂは、単板イメージャ３０２と、欠陥補正部３０４と、フレーム間引き部３０６と、信号処理部３０８と、ウェーブレット変換部３１０（変換部の一例）と、第１量子化値取得部３１２（第１の量子化値取得部）と、第２量子化値取得部３２２（第２の量子化値取得部）と、メモリ３１４（第１のメモリ）と、量子化部３１６（第１の量子化部）と、可変長符号化部３１８（第１の可変長符号化部）と、送信部３２０（第１の通信部）とを備える。
【０２１９】
ここで、図１４に示す撮像装置３００Ｂでは、ウェーブレット変換部３１０が、上記（１）の処理（変換処理）を行う役目を果たす。また、図１４に示す撮像装置３００Ｂでは、例えば、第１量子化値取得部３１２、メモリ３１４、量子化部３１６、および可変長符号化部３１８が、上記（２）の処理（第１圧縮処理）を行う役目を果たす。また、また、図１４に示す撮像装置３００Ｂでは、例えば、第２量子化値取得部３２２が、上記（３）の処理（第２圧縮処理）の一部を行う役目を果たす。
【０２２０】
また、図１４に示す撮像装置３００Ｂでは、ウェーブレット変換部３１０、第１量子化値取得部３１２、第２量子化値取得部３２２、メモリ３１４、量子化部３１６、および可変長符号化部３１８は、図５に示す画像処理装置１００の構成要素と下記のように対応する。
・ウェーブレット変換部３１０：画像処理装置１００のウェーブレット変換部１０２
・第１量子化値取得部３１２：画像処理装置１００の第１量子化値取得部１０４
・第２量子化値取得部３２２：画像処理装置１００の第２量子化値取得部１０６
・メモリ３１４：画像処理装置１００の第１メモリ１０８
・量子化部３１６：画像処理装置１００の第１量子化部１１０
・可変長符号化部３１８：画像処理装置１００の第１可変長符号化部１１２
【０２２１】
また、撮像装置３００Ｂは、例えば、制御部（図示せず）や、ＲＯＭ（図示せず）、ＲＡＭ（図示せず）などを備えていてもよい。
【０２２２】
制御部（図示せず）は、例えば、ＭＰＵなどの演算回路で構成されるプロセッサや、各種回路などで構成され、撮像装置３００Ｂ全体を制御する。また、制御部（図示せず）は、例えば、撮像装置３００Ｂにおいて、ウェーブレット変換部３１０、第１量子化値取得部３１２、第２量子化値取得部３２２、量子化部３１６、可変長符号化部３１８、送信部３２０のうちの１または２以上の役目を果たしてもよい。なお、ウェーブレット変換部３１０、第１量子化値取得部３１２、第２量子化値取得部３２２、量子化部３１６、可変長符号化部３１８、送信部３２０のうちの１または２以上が、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよいことは、言うまでもない。
【０２２３】
図１４の撮像装置３００Ｂと図１３の撮像装置３００Ａとを比較すると、撮像装置３００Ｂは、撮像装置３００Ａに対して第２量子化値取得部３２２をさらに備えている点が相違する。また、上記相違点に起因して、撮像装置３００Ｂの送信部３２０から送信されるデータが、撮像装置３００Ａの送信部３２０から送信されるデータと相違する。
【０２２４】
以下では、撮像装置３００Ｂにおける撮像装置３００Ａとの相違点について説明し、撮像装置３００Ｂが撮像装置３００Ａと同一の処理を行う構成については、説明を省略する。
【０２２５】
第２量子化値取得部３２２は、図５に示す画像処理装置１００の第２量子化値取得部１０６と同様に、ウェーブレット変換部３１０においてウェーブレット変換された画像データに対応する、フレーム単位の第２量子化値Ｑ２を取得する。
【０２２６】
送信部３２０は、可変長符号化部３１８から伝達される、可変長符号化された画像データ（量子化および可変長符号化されて圧縮された画像データ）と、第２量子化値取得部３２２から伝達される第２量子化値Ｑ２とを、処理装置４００Ｂへ送信する。送信部３２０は、例えば、第２量子化値Ｑ２を示すデータを、可変長符号化された画像データが送信される信号に重畳することによって、可変長符号化された画像データと第２量子化値Ｑ２とを処理装置４００Ｂへ送信する。
【０２２７】
［ｉｉｉ−２−２］処理装置４００Ｂ
処理装置４００Ｂは、例えば、受信部４０２（第２の通信部）と、第１可変長復号部４０４と、第１逆量子化部４０６と、第１逆ウェーブレット変換部４０８と、フレーム加算部４１０と、第１現像部４１２と、メモリ４１６（第２のメモリ）と、第２可変長復号部４１８（可変長復号部）と、第２逆量子化部４２０（逆量子化部）と、量子化部４２２（第２の量子化部）と、可変長符号化部４２４（第２の可変長符号化部）と、記録再生制御部４２６と、記録媒体４２８と、第３可変長復号部４３０と、第３逆量子化部４３２と、第２逆ウェーブレット変換部４３４と、第２現像部４３６とを備える。
【０２２８】
ここで、図１４に示す処理装置４００Ｂでは、メモリ４１６、第２可変長復号部４１８、第２逆量子化部４２０、量子化部４２２、および可変長符号化部４２４が、上記（３）の処理（第２圧縮処理）の一部を行う役目を果たす。
【０２２９】
また、図１４に示す処理装置４００Ｂでは、メモリ４１６、第２可変長復号部４１８、第２逆量子化部４２０、量子化部４２２、および可変長符号化部４２４は、図５に示す画像処理装置１００の構成要素と下記のように対応する。
・メモリ４１６：画像処理装置１００の第２メモリ１１４
・第２可変長復号部４１８：画像処理装置１００の可変長復号部１１６
・第２逆量子化部４２０：画像処理装置１００の逆量子化部１１８
・量子化部４２２：画像処理装置１００の第２量子化部１２０
・可変長符号化部４２４：画像処理装置１００の第２可変長符号化部１２２
【０２３０】
また、処理装置４００Ｂは、例えば、制御部（図示せず）や、ＲＯＭ（図示せず）、ＲＡＭ（図示せず）などを備えていてもよい。
【０２３１】
制御部（図示せず）は、例えば、ＭＰＵなどの演算回路で構成されるプロセッサや、各種回路などで構成され、処理装置４００Ｂ全体を制御する。また、制御部（図示せず）は、例えば、処理装置４００Ｂにおいて、受信部４０２、第１可変長復号部４０４、第１逆量子化部４０６、第１逆ウェーブレット変換部４０８、フレーム加算部４１０、第１現像部４１２、第２可変長復号部４１８、第２逆量子化部４２０、量子化部４２２、可変長符号化部４２４、記録再生制御部４２６、第３可変長復号部４３０、第３逆量子化部４３２、第２逆ウェーブレット変換部４３４、および第２現像部４３６のうちの１または２以上の役目を果たしてもよい。なお、受信部４０２、第１可変長復号部４０４、第１逆量子化部４０６、第１逆ウェーブレット変換部４０８、フレーム加算部４１０、第１現像部４１２、第２可変長復号部４１８、第２逆量子化部４２０、量子化部４２２、可変長符号化部４２４、記録再生制御部４２６、第３可変長復号部４３０、第３逆量子化部４３２、第２逆ウェーブレット変換部４３４、および第２現像部４３６のうちの１または２以上が、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよいことは、言うまでもない。
【０２３２】
図１４の処理装置４００Ｂと図１３の処理装置４００Ａとを比較すると、処理装置４００Ｂは、処理装置４００Ａが備える量子化値取得部４１４を備えていない点が相違する。また、上記相違点に関連して、図１４の処理装置４００Ｂでは、受信部４０２が、可変長符号化された画像データと第２量子化値Ｑ２とを受信し、量子化部４２２が受信された第２量子化値Ｑ２を処理に用いる点が、図１３の処理装置４００Ａと相違する。
【０２３３】
以下では、処理装置４００Ｂにおける処理装置４００Ａとの相違点について説明し、処理装置４００Ｂが処理装置４００Ａと同一の処理を行う構成については、説明を省略する。
【０２３４】
受信部４０２は、撮像装置３００Ｂから送信される、可変長符号化された画像データと、第２量子化値Ｑ２とを受信する。受信部４０２は、受信した可変長符号化された画像データを、第１可変長復号部４０４と、メモリ４１６へ伝達する。また、受信部４０２は、受信した第２量子化値Ｑ２を、量子化部４２２へ伝達する。
【０２３５】
量子化部４２２は、図５に示す画像処理装置１００の第２量子化部１２０と同様に、第２逆量子化部４２０において逆量子化された画像データを、受信部４０２から伝達される第２量子化値Ｑ２で量子化する。
【０２３６】
撮像装置３００Ｂと処理装置４００Ｂとは、上記相違点を除き、基本的に図１３に示す撮像装置３００Ａおよび処理装置４００Ａと同様の構成を有する。
【０２３７】
よって、画像処理システム１０００が、例えば図１４に示す撮像装置３００Ｂと処理装置４００Ｂとを有することによって、Ｌｉｖｅ映像を示す画像データと、Ｒｅｐｌａｙ映像を示す画像データとを、外部装置へ送信することが可能なシステムが実現される。
【０２３８】
また、画像処理システム１０００が、例えば図１４に示す撮像装置３００Ｂと処理装置４００Ｂとを有する場合であっても、本実施形態に係る画像処理方法に係る処理（上記（１）の処理（変換処理）〜上記（３）の処理（第２圧縮処理））を、撮像装置３００Ａと処理装置４００Ａとにおいて分散して行うことが可能な、画像処理システムが実現される。
【０２３９】
また、図１４に示す第２の例に係る画像処理システム１０００は、図１３に示す第２の例に係る画像処理システム１０００と同様の効果を奏することができる。
【０２４０】
また、図１４に示す撮像装置３００Ｂは、第１量子化値取得部３１２と、第２量子化値取得部３２２とを備えている。ここで、第１量子化値取得部３１２と第２量子化値取得部３２２とにおいて、符号量の計算が行われることによって第１量子化値Ｑ１と第２量子化値Ｑ２とが取得される場合には、符号量の見積もりに係る計算などの共通する処理の結果を、第１量子化値取得部３１２と第２量子化値取得部３２２とで共有することができる。よって、図１４に示す撮像装置３００Ｂでは、上記共通する処理に係る回路の共通化や、計算結果の共有によって、回路規模の削減や、計算資源の低減を図ることが可能となる。
【０２４１】
また、図１４に示す処理装置４００Ｂでは、Ｌｉｖｅ映像に係る構成要素（第１可変長復号部４０４、第１逆量子化部４０６、第１逆ウェーブレット変換部４０８、フレーム加算部４１０、および第１現像部４１２）では、本実施形態に係る画像処理方法に係る処理が行われない。よって、第２の例に係る画像処理システムは、例えば、Ｌｉｖｅ映像に係る構成要素を有さないシステムへの適用に有効である。
【０２４２】
なお、Ｌｉｖｅ映像に係る構成要素において本実施形態に係る画像処理方法に係る処理が行われない、本実施形態に係る処理装置の構成は、図１４に示す例に限られない。
【０２４３】
例えば、本実施形態に係る処理装置は、図１４に示す第１可変長復号部４０４、第１逆量子化部４０６、第１逆ウェーブレット変換部４０８、およびフレーム加算部４１０の代わりに、フレーム加算型画像伸長部を備えることも可能である。
【０２４４】
本実施形態に係るフレーム加算型画像伸長部は、圧縮画像データに対して、例えば下記の（ａ）〜（ｅ）の処理を行うことによって、フレーム加算された画像データを生成する。ここで、本実施形態に係る圧縮画像データとは、画像データを所定の方式で変換し、所定の単位で量子化し、可変長符号化して圧縮された画像データである。本実施形態に係る圧縮画像データは、例えば複数のフレームそれぞれに対応するフレーム画像からなる動画像を示す。
【０２４５】
（ａ）並び替え処理
本実施形態に係るフレーム加算型画像伸長部は、圧縮画像データにおける、加算対象のフレームである複数の加算対象フレームに対応する画像データ（以下、「圧縮フレーム画像データ」と示す。）を、所定の単位で並び替える。
【０２４６】
本実施形態に係るフレーム加算型画像伸長部は、例えば、圧縮された状態の画像データである圧縮画像データにおいて、複数の加算対象フレームの圧縮フレーム画像データをＴＵ単位（所定の単位の一例）で並び替える。並び替え処理によって、加算対象フレームの圧縮フレーム画像データは、ＴＵ単位（所定の単位の一例）でインターリーブするように変換される。
【０２４７】
（ｂ）可変長復号処理
本実施形態に係るフレーム加算型画像伸長部は、上記（ａ）の処理（並び替え処理）によって並び替えられた圧縮フレーム画像データを、可変長復号する。
【０２４８】
（ｃ）逆量子化処理
本実施形態に係るフレーム加算型画像伸長部は、上記（ｂ）の処理（可変長復号処理）によって可変長復号された、加算対象フレームに対応する画像データを、逆量子化する。
【０２４９】
（ｄ）加算処理
本実施形態に係るフレーム加算型画像伸長部は、上記（ｃ）の処理（逆量子化処理）によって逆量子化された、加算対象フレームに対応する画像データを、ＴＵ単位などの所定の単位で加算対象フレーム分加算する。ここで、例えば、本実施形態に係る圧縮画像データが、ウェーブレット方式（所定の方式の一例）で変換されて圧縮された画像データである場合、加算処理では、逆量子化されたウェーブレット係数が、ＴＵ単位などの所定の単位で加算対象フレーム分加算される。
【０２５０】
（ｅ）逆変換処理
本実施形態に係るフレーム加算型画像伸長部は、上記（ｄ）の処理（加算処理）において加算された画像データを、ウェーブレット方式などの所定の方式で逆変換する。
【０２５１】
本実施形態に係るフレーム加算型画像伸長部は、例えば上記（ａ）の処理（並び替え処理）〜上記（ｅ）の処理（逆変換処理）を行うことによって、フレーム加算された画像を示す画像データを生成する。
【０２５２】
ここで、本実施形態に係るフレーム加算型画像伸長部は、上記（ａ）の処理（並び替え処理）において、圧縮された状態である複数の圧縮フレーム画像データを並び替える。よって、本実施形態に係るフレーム加算型画像伸長部では、例えば、複数の圧縮フレーム画像データの並び替えに用いるメモリを、復号された画像データの並び替えが行われる場合と比べて、アクセス帯域、記憶容量共に、圧縮比に応じて低減することが可能となる。
【０２５３】
また、本実施形態に係るフレーム加算型画像伸長部は、上記（ｄ）の処理（加算処理）において、逆量子化された加算対象フレームに対応する画像データを、ＴＵ単位などの所定の単位で加算対象フレーム分加算する。よって、本実施形態に係るフレーム加算型画像伸長部では、例えば、加算に用いるメモリの記憶容量を所定の単位分とすることができるので、復号された画像データに対して加算が行われる場合に必要となる１フレーム以上分の記憶容量と比べて、加算に用いるメモリの記憶容量をより小さくすることが可能となる。また、加算に用いるメモリの記憶容量をより小さくすることが可能となることによって、加算に用いるメモリを、例えば、ＤＲＡＭ（Dynamic  Random  Access  Memory）の他、ＳＲＡＭ（Static  Random  Access  Memory）などでも実現することができる。また、本実施形態に係るフレーム加算型画像伸長部が有する加算に用いるメモリのアクセス帯域は、復号された画像データに対して加算が行われる場合に用いられるメモリと同等である。
【０２５４】
また、本実施形態に係るフレーム加算型画像伸長部は、上記（ｄ）の処理（加算処理）において、加算対象フレーム分加算するので、離散的な画像ではなくより連続的な画像を示す画像データを生成することが可能である。よって、本実施形態に係るフレーム加算型画像伸長部は、視覚的により自然な画像（なめらかな画像）を示す画像データを生成することができるので、画像データが示す画像の高画質化を図ることができる。
【０２５５】
また、本実施形態に係るフレーム加算型画像伸長部は、上記（ｅ）の処理（逆変換処理）において、加算対象フレーム分加算された画像データを、ウェーブレット方式などの所定の方式で逆変換する。よって、圧縮画像データが４８０Ｐや２４０Ｐなどの高フレームレート（High  Frame  Rate）の動画像である場合であっても、本実施形態に係るフレーム加算型画像伸長部は、例えば、６０Ｐなどの通常のフレーム周波数で、逆変換を行うことができる。よって、本実施形態に係るフレーム加算型画像伸長部は、逆変換に係る処理の速度を低減させることができる。
【０２５６】
以下、本実施形態に係るフレーム加算型画像伸長部の構成の一例について説明する。以下では、圧縮画像データが２４０Ｐの動画像であり、加算対象フレームが４フレームである場合を例に挙げる。なお、本実施形態に係る圧縮画像データが２４０Ｐの動画像に限られず、また、本実施形態に係る加算対象フレームが、４フレームに限られないことは、言うまでもない。また、以下では、本実施形態に係る所定の単位がＴＵ単位であり、本実施形態に係る所定の方式がウェーブレット方式である場合を例に挙げる。
【０２５７】
（Ａ）フレーム加算型画像伸長部の第１の構成例
図１５は、本実施形態に係るフレーム加算型画像伸長部の第１の例を示す説明図である。図１６は、第１の例に係るフレーム加算型画像伸長部が備えるメモリ４５０の書き込み、読み出しタイミングの一例を示す説明図である。
【０２５８】
第１の例に係るフレーム加算型画像伸長部は、例えば、メモリ４５０と、書き込み制御部４５２と、読み出し制御部４５４と、可変長復号部４５６と、逆量子化部４５８と、加算部４６０と、逆ウェーブレット変換部４６２とを備える。
【０２５９】
ここで、図１５に示す第１の例に係るフレーム加算型画像伸長部では、例えば、メモリ４５０、書き込み制御部４５２、および読み出し制御部４５４が、上記（ａ）の処理（並び替え処理）を行う役目を果たす。また、図１５に示す第１の例に係るフレーム加算型画像伸長部では、可変長復号部４５６が、上記（ｂ）の処理（可変長復号処理）を行う役目を果たす。また、図１５に示す第１の例に係るフレーム加算型画像伸長部では、逆量子化部４５８が、上記（ｃ）の処理（逆量子化処理）を行う役目を果たす。また、図１５に示す第１の例に係るフレーム加算型画像伸長部では、加算部４６０が、上記（ｄ）の処理（加算処理）を行う役目を果たす。また、図１５に示す第１の例に係るフレーム加算型画像伸長部では、逆ウェーブレット変換部４６２が、上記（ｅ）の処理（逆変換処理）を行う役目を果たす。
【０２６０】
また、第１の例に係るフレーム加算型画像伸長部では、例えば、制御部（図示せず）を構成するプロセッサが、書き込み制御部４５２、読み出し制御部４５４、可変長復号部４５６、逆量子化部４５８、加算部４６０、および逆ウェーブレット変換部４６２の役目を果たす。また、第１の例に係るフレーム加算型画像伸長部では、例えば、書き込み制御部４５２、読み出し制御部４５４、可変長復号部４５６、逆量子化部４５８、加算部４６０、および逆ウェーブレット変換部４６２のうちの１または２以上が、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよい。
【０２６１】
入力された圧縮画像データは、書き込み制御部４５２によって、２４０［ｆｒａｍｅ／ｓｅｃ］で順にメモリ４５０に書き込まれる（例えば図１６のＡ）。
【０２６２】
メモリ４５０に書き込まれた圧縮画像データは、読み出し制御部４５４によって、４ｎ（ｎは、正の整数）フレームに対応する圧縮フレーム画像データ、４ｎ＋１フレームに対応する圧縮フレーム画像データ、４ｎ＋２フレームに対応する圧縮フレーム画像データ、および４ｎ＋３フレームに対応する圧縮フレーム画像データそれぞれが、６０［ｆｒａｍｅ／ｓｅｃ］で読み出される（例えば図１６のＢ）。図１５に示す例では、４ｎフレーム、４ｎ＋１フレーム、４ｎ＋２フレーム、および４ｎ＋３フレームが、加算対象フレームに該当する。
【０２６３】
可変長復号部４５６は、メモリ４５０から読み出された各加算対象フレームの圧縮フレーム画像データを、それぞれ可変長復号する。図１５では、可変長復号部４５６が、４ｎフレームに対応する圧縮フレーム画像データを可変長復号する第１可変長復号部４５６Ａと、４ｎ＋１フレームに対応する圧縮フレーム画像データを可変長復号する第２可変長復号部４５６Ｂと、４ｎ＋２フレームに対応する圧縮フレーム画像データを可変長復号する第３可変長復号部４５６Ｃと、４ｎ＋３フレームに対応する圧縮フレーム画像データを可変長復号する第４可変長復号部４５６Ｄとを有する例を示している。
【０２６４】
逆量子化部４５８は、可変長復号部４５６において可変長復号された、各加算対象フレームに対応する画像データを、それぞれ逆量子化する。図１５では、逆量子化部４５８が、４ｎフレームに対応する画像データを逆量子化する第１逆量子化部４５８Ａと、４ｎ＋１フレームに対応する画像データを逆量子化する第２逆量子化部４５８Ｂと、４ｎ＋２フレームに対応する画像データを逆量子化する第３逆量子化部４５８Ｃと、４ｎ＋３フレームに対応する画像データを逆量子化する第４逆量子化部４５８Ｄとを有する例を示している。
【０２６５】
加算部４６０は、逆量子化部４５８において逆量子化された各加算対象フレームに対応する画像データを、ＴＵ単位（所定の単位の一例）で４フレーム分（加算対象フレーム分の一例）加算する。加算部４６０は、例えば加算器などで構成される。
【０２６６】
逆ウェーブレット変換部４６２は、加算部４６０において加算された画像データを、ウェーブレット方式（所定の方式の一例）で逆変換する。
【０２６７】
第１の例に係るフレーム加算型画像伸長部は、例えば図１５に示す構成を有することによって、上記（ａ）の処理（並び替え処理）〜上記（ｅ）の処理（逆変換処理）を行う。よって、第１の例に係るフレーム加算型画像伸長部は、例えば図１５に示す構成を有することによって、フレーム加算された画像を示す画像データを生成することができる。
【０２６８】
また、第１の例に係るフレーム加算型画像伸長部は、例えば図１５に示す構成を有することによって、上記（ａ）の処理（並び替え処理）〜上記（ｅ）の処理（逆変換処理）が行われることにより奏される効果を、奏することができる。
【０２６９】
（Ｂ）フレーム加算型画像伸長部の第２の構成例
図１７は、本実施形態に係るフレーム加算型画像伸長部の第２の例を示す説明図である。図１８は、第２の例に係るフレーム加算型画像伸長部が備える第１メモリ４６４、および第２メモリ４７０それぞれの書き込み、読み出しタイミングの一例を示す説明図である。
【０２７０】
第２の例に係るフレーム加算型画像伸長部は、例えば、第１メモリ４６４と、書き込み制御部４５２と、読み出し制御部４５４と、可変長復号部４６６と、逆量子化部４６８と、第２メモリ４７０と、加算部４６０と、逆ウェーブレット変換部４６２とを備える。
【０２７１】
ここで、図１７に示す第２の例に係るフレーム加算型画像伸長部では、例えば、第１メモリ４６４、書き込み制御部４５２、読み出し制御部４５４、および第２メモリ４７０が、上記（ａ）の処理（並び替え処理）を行う役目を果たす。また、図１７に示す第２の例に係るフレーム加算型画像伸長部では、可変長復号部４６６が、上記（ｂ）の処理（可変長復号処理）を行う役目を果たす。また、図１７に示す第２の例に係るフレーム加算型画像伸長部では、逆量子化部４６８が、上記（ｃ）の処理（逆量子化処理）を行う役目を果たす。また、図１７に示す第２の例に係るフレーム加算型画像伸長部では、加算部４６０が、上記（ｄ）の処理（加算処理）を行う役目を果たす。また、図１７に示す第２の例に係るフレーム加算型画像伸長部では、逆ウェーブレット変換部４６２が、上記（ｅ）の処理（逆変換処理）を行う役目を果たす。
【０２７２】
また、第２の例フレーム加算型画像伸長部では、例えば、制御部（図示せず）を構成するプロセッサが、書き込み制御部４５２、読み出し制御部４５４、可変長復号部４６６、逆量子化部４６８、加算部４６０、および逆ウェーブレット変換部４６２の役目を果たす。また、第２の例に係るフレーム加算型画像伸長部では、例えば、書き込み制御部４５２、読み出し制御部４５４、可変長復号部４６６、逆量子化部４６８、加算部４６０、および逆ウェーブレット変換部４６２のうちの１または２以上が、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよい。
【０２７３】
入力された圧縮画像データは、書き込み制御部４５２によって、２４０［ｆｒａｍｅ／ｓｅｃ］で順に第１メモリ４６４に書き込まれる（例えば図１８のＡ）。
【０２７４】
第１メモリ４６４に書き込まれた圧縮画像データは、読み出し制御部４５４によって、ＴＵ単位（所定の単位の一例）で４フレーム（加算対象フレームの一例）を順に読みだされる（例えば図１８のＢ）。
【０２７５】
可変長復号部４６６は、第１メモリ４６０から順に読み出された加算対象フレームの圧縮フレーム画像データを、順に可変長復号する。
【０２７６】
逆量子化部４６８は、可変長復号部４６６において順に可変長復号された、加算対象フレームに対応する画像データを、順に逆量子化する。
【０２７７】
第２メモリ４７０には、逆量子化部４６８から伝達される、順に逆量子化された加算対象フレームに対応する画像データが書き込まれる（例えば図１８のＢ）。ここで、第２メモリ４７０への画像データの書き込みの制御は、書き込み制御部４５２が行ってもよいし、他の構成要素が行ってもよい。
【０２７８】
第２メモリ４７０からは、逆量子化部４６８において逆量子化された画像データが、４フレーム（加算対象フレームの一例）分が、４系統で同時に読み出される（例えば図１８のＣ）。ここで、第２メモリ４７０からの画像データの読み出しの制御は、読み出し制御部４５４が行ってもよいし、他の構成要素が行ってもよい。
【０２７９】
加算部４６０は、第２メモリ４７０から読み出された、逆量子化部４６８において逆量子化された各加算対象フレームに対応する画像データを、ＴＵ単位（所定の単位の一例）で４フレーム分（加算対象フレーム分の一例）加算する。加算部４６０は、例えば加算器などで構成される。
【０２８０】
逆ウェーブレット変換部４６２は、加算部４６０において加算された画像データを、ウェーブレット方式（所定の方式の一例）で逆変換する。
【０２８１】
第２の例に係るフレーム加算型画像伸長部は、例えば図１７に示す構成を有することによって、上記（ａ）の処理（並び替え処理）〜上記（ｅ）の処理（逆変換処理）を行う。よって、第２の例に係るフレーム加算型画像伸長部は、例えば図１７に示す構成を有することによって、フレーム加算された画像を示す画像データを生成することができる。
【０２８２】
また、第２の例に係るフレーム加算型画像伸長部は、例えば図１７に示す構成を有することによって、上記（ａ）の処理（並び替え処理）〜上記（ｅ）の処理（逆変換処理）が行われることにより奏される効果を、奏することができる。
【０２８３】
（Ｃ）フレーム加算型画像伸長部の第３の構成例
図１９は、本実施形態に係るフレーム加算型画像伸長部の第３の例を示す説明図である。図２０は、第３の例に係るフレーム加算型画像伸長部が備える第１メモリ４６４および第３メモリ４７４それぞれの書き込み、読み出しタイミングの一例と、スイッチング部ＳＷの切り替えの一例とを示す説明図である。
【０２８４】
第３の例に係るフレーム加算型画像伸長部は、例えば、第１メモリ４６４と、書き込み制御部４５２と、読み出し制御部４５４と、可変長復号部４６６と、逆量子化部４６８と、加算部４６０と、スイッチング部ＳＷと、第２メモリ４７２と、第３メモリ４７４と、逆ウェーブレット変換部４６２とを備える。
【０２８５】
ここで、図１９に示す第３の例に係るフレーム加算型画像伸長部では、例えば、第１メモリ４６４、書き込み制御部４５２、読み出し制御部４５４、スイッチング部ＳＷおよび第２メモリ４７２が、上記（ａ）の処理（並び替え処理）を行う役目を果たす。また、図１９に示す第３の例に係るフレーム加算型画像伸長部では、可変長復号部４６６が、上記（ｂ）の処理（可変長復号処理）を行う役目を果たす。また、図１９に示す第３の例に係るフレーム加算型画像伸長部では、逆量子化部４６８が、上記（ｃ）の処理（逆量子化処理）を行う役目を果たす。また、図１９に示す第３の例に係るフレーム加算型画像伸長部では、加算部４６０が、上記（ｄ）の処理（加算処理）を行う役目を果たす。また、図１９に示す第３の例に係るフレーム加算型画像伸長部では、逆ウェーブレット変換部４６２が、上記（ｅ）の処理（逆変換処理）を行う役目を果たす。
【０２８６】
また、第３の例フレーム加算型画像伸長部では、例えば、制御部（図示せず）を構成するプロセッサが、書き込み制御部４５２、読み出し制御部４５４、可変長復号部４６６、逆量子化部４６８、加算部４６０、および逆ウェーブレット変換部４６２の役目を果たす。また、第２の例に係るフレーム加算型画像伸長部では、例えば、書き込み制御部４５２、読み出し制御部４５４、可変長復号部４６６、逆量子化部４６８、加算部４６０、および逆ウェーブレット変換部４６２のうちの１または２以上が、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよい。
【０２８７】
また、第３の例フレーム加算型画像伸長部では、スイッチング部ＳＷは、例えば、図２０のＣに示す切り替えを実現することが可能な、任意のスイッチング素子または任意のスイッチング回路で構成される。また、スイッチング部ＳＷにおける図２０のＣに示す切り替えは、例えば、制御部（図示せず）などにより制御される。
【０２８８】
入力された圧縮画像データは、書き込み制御部４５２によって、２４０［ｆｒａｍｅ／ｓｅｃ］で順に第１メモリ４６４に書き込まれる（例えば図２０のＡ）。
【０２８９】
第１メモリ４６４に書き込まれた圧縮画像データは、読み出し制御部４５４によって、図１７に示す第２の例に係るフレーム加算型画像伸長部と同様に、ＴＵ単位（所定の単位の一例）で４フレーム（加算対象フレームの一例）を順に読みだされる（例えば図２０のＢ）。
【０２９０】
可変長復号部４６６は、第１メモリ４６０から順に読み出された加算対象フレームの圧縮フレーム画像データを、順に可変長復号する。
【０２９１】
逆量子化部４６８は、可変長復号部４６６において順に可変長復号された、加算対象フレームに対応する画像データを、順に逆量子化する。
【０２９２】
逆量子化部４６８により逆量子化された画像データは、加算部４６０およびスイッチング部ＳＷを介して第２メモリ４７２に書き込まれる。また、第２メモリ４７２からは、１ＴＵ分（所定の単位の一例）遅延された画像データが読み出され、第２メモリ４７２から読み出された画像データは、加算部４６０へ伝達される。
【０２９３】
また、スイッチング部ＳＷは、例えば図２０のＣに示すように、４ＴＵに１回、加算部４６０を介さずに逆量子化部４６８へ接続する信号経路へと切り替わり、逆量子化部４６８により逆量子化された画像データが第２メモリ４７２に書き込まれる。また、第２メモリ４７２からは、１ＴＵ分（所定の単位の一例）遅延された画像データが読み出され、第２メモリ４７２から読み出された画像データは、加算部４６０へ伝達される。
【０２９４】
上記のように、逆量子化部４６８から伝達される逆量子化された画像データと、上記のように第２メモリ４７２から伝達される画像データとが、加算部４６０に伝達されることによって、加算部４６０では、ＴＵ単位（所定の単位の一例）で４フレーム（加算対象フレームの一例）分の加算が可能となる。
【０２９５】
第３メモリ４７４には、加算部４６０において４フレーム（加算対象フレームの一例）分加算された画像データがＴＵ（所定の単位の一例）ごとに書き込まれる（例えば図２０のＤ）。ここで、第３メモリ４７４への画像データの書き込みの制御は、書き込み制御部４５２が行ってもよいし、他の構成要素が行ってもよい。
【０２９６】
第３メモリ４７４からは、画像データが１／４（“１／（加算対象フレーム数）”）のクロックで読み出される（例えば図２０のＥ）。ここで、第３メモリ４７４からの画像データの読み出しは、読み出し制御部４５４が行ってもよいし、他の構成要素が行ってもよい。第３メモリ４７４から画像データが１／４のクロックで読み出されることによって、２４０Ｐの動画像を示す圧縮画像データが、６０Ｐの動画像を示す画像データとなる。
【０２９７】
逆ウェーブレット変換部４６２は、第３メモリ４７４から読み出された画像データを、ウェーブレット方式（所定の方式の一例）で逆変換する。
【０２９８】
第３の例に係るフレーム加算型画像伸長部は、例えば図１９に示す構成を有することによって、上記（ａ）の処理（並び替え処理）〜上記（ｅ）の処理（逆変換処理）を行う。よって、第３の例に係るフレーム加算型画像伸長部は、例えば図１９に示す構成を有することによって、フレーム加算された画像を示す画像データを生成することができる。
【０２９９】
また、第３の例に係るフレーム加算型画像伸長部は、例えば図１９に示す構成を有することによって、上記（ａ）の処理（並び替え処理）〜上記（ｅ）の処理（逆変換処理）が行われることにより奏される効果を、奏することができる。
【０３００】
本実施形態に係るフレーム加算型画像伸長部は、例えば、図１５に示す第１の例に係る構成、図１７に示す第２の例に係る構成、図１９に示す第３の例に係る構成によって、フレーム加算された画像データを生成する。
【０３０１】
なお、本実施形態に係るフレーム加算型画像伸長部の構成は、図１５、図１７、図１９に示す構成に限られない。例えば、図１５、図１７、図１９では、本実施形態に係るフレーム加算型画像伸長部が、上記（ｅ）の処理（逆変換処理）として逆ウェーブレット変換を行う逆ウェーブレット変換４６２を備える構成を示したが、本実施形態に係るフレーム加算型画像伸長部は、上記（ｅ）の処理（逆変換処理）として逆ＤＣＴなどの他の方式で逆変換を行う構成であってもよい。
【０３０２】
また、上記では、上記（ａ）の処理（並び替え処理）〜上記（ｅ）の処理（逆変換処理）を、本実施形態に係る処理装置を構成するフレーム加算型画像伸長部が行うものとして説明したが、上記（ａ）の処理（並び替え処理）〜上記（ｅ）の処理（逆変換処理）は、本実施形態に係る処理装置の外部装置である他の画像処理装置において行われてもよい。
【０３０３】
［ｉｉｉ−３］本実施形態に係る画像処理システムの構成の３の例
上記第１の例に係る画像処理システムと、上記第２の例に係る画像処理システムでは、図９に示す画像処理システム１０００を構成する撮像装置が、単板イメージャ３０２を備える構成を示した。しかしながら、画像処理システム１０００を構成する撮像装置は、単板イメージャ３０２以外の撮像手段を備えることも可能である。
【０３０４】
図２１は、本実施形態に係る画像処理システムの構成の第３の例を示す説明図であり、画像処理システム１０００を構成する撮像装置３００Ｃ（第１の画像処理装置の一例）と、処理装置４００Ｃ（第２の画像処理装置の一例）とを示している。
【０３０５】
図２１に示す第３の例に係る撮像装置３００Ｃは、図１４に示す第２の例に係る撮像装置３００Ｂの単板イメージャ３０２が、３板イメージャ３２４に置き換わった構成を有する。また、図２１に示す第３の例に係る処理装置４００Ｃは、図１４に示す第２の例に係る処理装置４００Ｂの第１現像部４１２が、３板イメージャ３２４により生成される画像データに対応する画像処理を行う第１画像処理部４３８に置き換わり、また、第２現像部４３６が、３板イメージャ３２４により生成される画像データに対応する画像処理を行う第２画像処理部４４０に置き換わった構成を有する。
【０３０６】
第３の例に係る撮像装置３００Ｃと処理装置４００Ｃとは、上記相違点を除き、基本的に図１４に示す撮像装置３００Ｂおよび処理装置４００Ｂと同様の構成を有する。また、撮像装置３００Ｃと処理装置４００Ｃとは、本実施形態に係る画像処理方法に係る処理を行う構成については、図１４に示す撮像装置３００Ｂおよび処理装置４００Ｂと同一である。
【０３０７】
よって、画像処理システム１０００が、例えば図２１に示す撮像装置３００Ｃと処理装置４００Ｃとを有する場合であっても、第３の例に係る画像処理システム１０００は、図１３に示す第２の例に係る画像処理システム１０００と同様の効果を奏することができる。
【０３０８】
なお、第３の例に係る画像処理システムの構成は、図２１に示す構成に限らない。例えば、第３の例に係る画像処理システムは、図１３に示す第１の例に係る撮像装置３００Ａの単板イメージャ３０２を、３板イメージャ３２４に置き換え、処理装置４００Ａの第１現像部４１２および第２現像部４３６を、第１画像処理部４３８および第２画像処理部４４０に置き換えた構成をとることも可能である。
【０３０９】
以上、本実施形態として画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、撮像装置や、ＰＣ（Personal  Computer）やサーバなどのコンピュータ、テレビ受像機、携帯電話やスマートフォンなどの通信装置、タブレット型の装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像データを処理することが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣ（Integrated  Circuit）に適用することもできる。
【０３１０】
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、上記（１）の処理（変換処理）〜上記（３）の処理（第２圧縮処理）など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、画像データのサイズを低減しつつ、画像の高画質化を図ることができる。
【０３１１】
また、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る画像処理方法に係る処理によって奏される効果を、奏することができる。
【０３１２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０３１３】
例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
【０３１４】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【０３１５】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０３１６】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
入力された画像データを、所定の方式で変換する変換部と、
前記所定の方式で変換された画像データを、前記所定の方式に対応する基準単位に基づく所定の単位ごとに量子化し、可変長符号化して圧縮する第１圧縮処理部と、
圧縮された画像データが復号、逆量子化された画像データを、フレーム単位で量子化し、可変長符号化して圧縮する第２圧縮処理部と、
を備える、画像処理装置。
（２）
前記第１圧縮処理部は、
変換された画像データに対応する、前記所定の単位ごとの第１量子化値を取得する第１量子化値取得部と、
前記変換された画像データを遅延させて、前記第１量子化値と前記変換された画像データとのタイミングを合わせる第１メモリと、
前記所定の単位ごとに、前記第１量子化値で前記変換された画像データを量子化する第１量子化部と、
前記所定の単位ごとに前記第１量子化値で量子化された画像データを、可変長符号化する第１可変長符号化部と、
を備える、（１）に記載の画像処理装置。
（３）
前記第２圧縮処理部は、
変換された画像データに対応する、フレーム単位の第２量子化値を取得する第２量子化値取得部と、
前記第１圧縮処理部において可変長符号化された画像データを遅延させて、前記第２量子化値と前記可変長符号化された画像データとのタイミングを合わせる第２メモリと、
遅延された前記可変長符号化された画像データを可変長復号する可変長復号部と、
復号された画像データを逆量子化する逆量子化部と、
逆量子化された画像データを、前記第２量子化値で量子化する第２量子化部と、
前記第２量子化値で量子化された画像データを、可変長符号化する第２可変長符号化部と、
を備える、（１）、または（２）に記載の画像処理装置。
（４）
前記第１圧縮処理部と前記第２圧縮処理部とは、異なる量子化方式で画像データを量子化する、（１）〜（３）のいずれか１つに記載の画像処理装置。
（５）
前記第２圧縮処理部は、前記第１圧縮処理部よりもより画像データを圧縮することが可能な量子化方式で、画像データを量子化する、（４）に記載の画像処理装置。
（６）
前記第１圧縮処理部は、シフト演算により画像データを量子化し、
前記第２圧縮処理部は、少数量子化により画像データを量子化する、（５）に記載の画像処理装置。
（７）
前記第１圧縮処理部と前記第２圧縮処理部とは、同一の量子化方式で画像データを量子化する、（１）〜（３）のいずれか１つに記載の画像処理装置。
（８）
前記第１圧縮処理部と前記第２圧縮処理部とは、異なる可変長符号化方式で画像データを可変長符号化する、（１）〜（７）のいずれか１つに記載の画像処理装置。
（９）
前記第１圧縮処理部は、２次元可変長符号化により画像データを可変長符号化し、
前記第２圧縮処理部は、算術符号化により画像データを可変長符号化する、（８）に記載の画像処理装置。
（１０）
前記第１圧縮処理部と前記第２圧縮処理部とは、同一の可変長符号化方式で画像データを可変長符号化する、（１）〜（７）のいずれか１つに記載の画像処理装置。
（１１）
前記変換部は、入力された画像データをウェーブレット変換する、（１）〜（１０）のいずれか１つに記載の画像処理装置。
（１２）
前記変換部は、入力された画像データを離散コサイン変換する、（１）〜（１０）のいずれか１つに記載の画像処理装置。
（１３）
画像データを所定の方式で変換し、基準単位に基づく所定の単位で量子化し、可変長符号化して圧縮された、動画像を示す圧縮画像データにおける、加算対象のフレームである複数の加算対象フレームに対応する圧縮フレーム画像データを、前記所定の単位で並び替える並び替え処理部と、
並び替えられた前記圧縮フレーム画像データを、可変長復号する可変長復号部と、
可変長復号された前記加算対象フレームに対応する画像データを、逆量子化する逆量子化部と、
逆量子化された前記加算対象フレームに対応する画像データを、前記所定の単位で前記加算対象フレーム分加算する加算部と、
加算された画像データを、前記所定の方式で逆変換する逆変換部と、
を備える、画像処理装置。
（１４）
入力された画像データを、所定の方式で変換する変換ステップと、
前記所定の方式で変換された画像データを、前記所定の方式に対応する基準単位に基づく所定の単位ごとに量子化し、可変長符号化して圧縮する第１圧縮ステップと、
圧縮された画像データが復号、逆量子化された画像データを、フレーム単位で量子化し、可変長符号化して圧縮する第２圧縮ステップと、
を有する、画像処理装置により実行される画像処理方法。
（１５）
第１の画像処理装置と、
前記第１の画像処理装置と通信可能な第２の画像処理装置と、
を有し、
前記第１の画像処理装置は、
入力された画像データを、所定の方式で変換する変換部と、
前記所定の方式で変換された画像データに対応する、前記所定の方式に対応する基準単位に基づく所定の単位ごとの第１量子化値を取得する第１の量子化値取得部と、
前記所定の方式で変換された画像データを遅延させて、前記第１量子化値と前記変換された画像データとのタイミングを合わせる第１のメモリと、
前記所定の単位ごとに、前記第１量子化値で前記変換された画像データを量子化する第１の量子化部と、
前記所定の単位ごとに前記第１量子化値で量子化された画像データを、可変長符号化する第１の可変長符号化部と、
可変長符号化された画像データを送信する第１の通信部と、
を備え、
前記第２の画像処理装置は、
前記可変長符号化された画像データを受信する第２の通信部と、
受信された前記可変長符号化された画像データを、可変長復号する第１の可変長復号部と、
受信された前記可変長符号化された画像データが復号された画像データを、逆量子化する第１の逆量子化部と、
受信された前記可変長符号化された画像データが前記復号された画像データが、逆量子化された画像データに対応する、フレーム単位の第２量子化値を取得する第２の量子化値取得部と、
受信された前記可変長符号化された画像データを遅延させて、前記第２量子化値と、受信された前記可変長符号化された画像データとのタイミングを合わせる第２のメモリと、
遅延された前記可変長符号化された画像データを可変長復号する第２の可変長復号部と、
遅延された前記可変長符号化された画像データが復号された画像データを、逆量子化する第２の逆量子化部と、
遅延された前記可変長符号化された画像データが復号された画像データが、逆量子化された画像データを、前記第２量子化値で量子化する第２の量子化部と、
前記第２量子化値で量子化された画像データを、可変長符号化する第２の可変長符号化部と、
を備える、画像処理システム。
（１６）
第１の画像処理装置と、
前記第１の画像処理装置と通信可能な第２の画像処理装置と、
を有し、
前記第１の画像処理装置は、
入力された画像データを、所定の方式で変換する変換部と、
前記所定の方式で変換された画像データに対応する、前記所定の方式に対応する基準単位に基づく所定の単位ごとの第１量子化値を取得する第１の量子化値取得部と、
前記変換された画像データに対応する、フレーム単位の第２量子化値を取得する第２の量子化値取得部と、
前記所定の方式で変換された画像データを遅延させて、前記第１量子化値と前記変換された画像データとのタイミングを合わせる第１のメモリと、
前記所定の単位ごとに、前記第１量子化値で前記変換された画像データを量子化する第１の量子化部と、
前記所定の単位ごとに前記第１量子化値で量子化された画像データを、可変長符号化する第１の可変長符号化部と、
可変長符号化された画像データと、前記第２量子化値とを送信する第１の通信部と、
を備え、
前記第２の画像処理装置は、
前記可変長符号化された画像データと、前記第２量子化値とを受信する第２の通信部と、
受信された前記可変長符号化された画像データを遅延させて、前記第２量子化値と、受信された前記可変長符号化された画像データとのタイミングを合わせる第２のメモリと、
遅延された前記可変長符号化された画像データを可変長復号する可変長復号部と、
復号された画像データを逆量子化する逆量子化部と、
逆量子化された画像データを、受信された前記第２量子化値で量子化する第２の量子化部と、
前記第２量子化値で量子化された画像データを、可変長符号化する第２の可変長符号化部と、
を備える、画像処理システム。
【符号の説明】
【０３１７】
１０、５０    圧縮装置
１２、１０２、３１０    ウェーブレット変換部
１６、５４、３１４、４１６、４５０    メモリ
１８、５７、３１６、４２２    量子化部
２０、５８、３１８、４２４    可変長符号化部
３０、２００    伸長装置
３２、１１６、２０２、４５６、４６６    可変長復号部
３４、１１８、２０４、４５８、４６８    逆量子化部
３６、２０６、４６２    逆ウェーブレット変換部
４０    制御装置
７２、３２０    送信部
８０Ａ、８０Ｂ、４００、４００Ａ、４００Ｂ、４００Ｃ    処理装置
８２、４０２    受信部
１００  画像処理装置
１０４    第１量子化値取得部
１０６    第２量子化値取得部
１０８、４６４    第１メモリ
１１０    第１量子化部
１１２    第１可変長符号化部
１１４、４７０、４７２    第２メモリ
１２０    第２量子化部
１２２    第２可変長符号化部
３００、３００Ａ、３００Ｂ、３００Ｃ    撮像装置
３１２、４１４    量子化値取得部
３２２    第２量子化値取得部
４０４    第１可変長復号部
４０６    第１逆量子化部
４１８    第２可変長復号部
４２０    第２逆量子化部
４５２    書き込み制御部
４５４    読み出し制御部
４６０    加算部
４７４    第３メモリ
５００、５００Ａ、５００Ｂ、５００Ｃ、５００Ｄ、５００Ｅ    外部装置
１０００    画像処理システム
【図１】
2015207850.tif 000003
【図２】
2015207850.tif 000004
【図３】
2015207850.tif 000005
【図４】
2015207850.tif 000006
【図５】
2015207850.tif 000007
【図６】
2015207850.tif 000008
【図７】
2015207850.tif 000009
【図８】
2015207850.tif 000010
【図９】
2015207850.tif 000011
【図１０】
2015207850.tif 000012
【図１１】
2015207850.tif 000013
【図１２】
2015207850.tif 000014
【図１３】
2015207850.tif 000015
【図１４】
2015207850.tif 000016
【図１５】
2015207850.tif 000017
【図１６】
2015207850.tif 000018
【図１７】
2015207850.tif 000019
【図１８】
2015207850.tif 000020
【図１９】
2015207850.tif 000021
【図２０】
2015207850.tif 000022
【図２１】
2015207850.tif 000023