(57)【要約】【課題】ある符号列から別の符号列を作成する際に、汎用性が高く、変換処理速度の速い高性能な処理を、低製造コストで実現する。【解決手段】階層間で処理速度の異なる階層構造を有し、この階層が上位にあるほど処理速度が速くなるアルゴリズム実行部１１によって、与えられたアルゴリズムを処理する。階層構造の上位階層１２ではリコンフィギャラブル・ロジックで処理を行い、下位階層１３ではＭＰＵの処理で実現するチューリングマシンで処理を行なう。アルゴリズム実行部１１が実行する処理により、画像データを１又は複数の小領域に分割し、この小領域ごとに画素値を直交変換し、階層的に圧縮符号化することにより作成した符号列の構文を解析し、この符号列を構成するパケットを操作し、当該符号列から新たな符号列を作成する。【選択図】    図１１
2004153621.tif 000002
【特許請求の範囲】
【請求項１】
階層間で処理速度の異なる階層構造を有し、この階層が上位にあるほど処理速度が速くなるアルゴリズム実行部によって、与えられたアルゴリズムを処理するアルゴリズム処理手段を備え、
このアルゴリズム処理手段が実行する処理により、
画像データを１又は複数の小領域に分割し、この小領域ごとに画素値を直交変換し、階層的に圧縮符号化することにより作成した符号列の構文を解析する構文解析処理と、
この符号列を構成するパケットを操作し、当該符号列から新たな符号列を作成する符号列作成処理と、
を行なう、
符号列変換装置。
【請求項２】
前記構文解析処理は、静止画像の画像データに対して前記圧縮符号化を行なうものである、請求項１に記載の符号列変換装置。
【請求項３】
前記構文解析処理は、動画像の画像データに対してそのフレームごとに前記小領域への分割を行って前記圧縮符号化を行なうものである、請求項１に記載の符号列変換装置。
【請求項４】
前記アルゴリズム処理手段は、前記アルゴリズム実行部として前記階層構造の相対的上位の階層ではリコンフィギャラブル・ロジック（Ｒｅｃｏｎｆｉｇｕｒａｂｌｅ  Ｌｏｇｉｃ）で処理を行い、この上位の階層より下位の階層ではチューリングマシン（Ｔｕｒｉｇ  Ｍａｃｈｉｎｅ）で処理を行なうものを用いる、請求項１〜３の何れかの一に記載の符号列変換装置。
【請求項５】
前記チューリングマシンは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ）又はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）を用いている、請求項４に記載の符号列変換装置。
【請求項６】
前記アルゴリズム実行部の一部は本符号列変換装置とネットワークを介して接続されている、請求項４又は５に記載の符号列変換装置。
【請求項７】
前記符号列作成処理を前記リコンフィギャラブル・ロジックの処理により行なう、請求項４に記載の符号列変換装置。
【請求項８】
前記構文解析処理を前記チューリングマシンの処理により行なう、請求項４に記載の符号列変換装置。
【請求項９】
前記符号列作成処理として、前記静止画像の画像データを圧縮符号化した符号列の符号の一部を削減した新たな符号列を作成する符号列削減処理を行なう、請求項２に記載の符号列変換装置。
【請求項１０】
前記符号列作成処理として、前記動画像の画像データを圧縮符号化した符号列の符号の一部を削減した新たな符号列を作成する符号列削減処理を行なう、請求項３に記載の符号列変換装置。
【請求項１１】
前記符号列作成処理として、符号列に新たなパケットを加えた新たな符号列を作成する符号列加算処理を行なう、請求項１〜１０の何れかの一に記載の符号列変換装置。
【請求項１２】
前記符号列作成処理として、単一の符号列を分割して複数の新たな符号列を作成する符号列分割処理を行なう、請求項１〜１１の何れかの一に記載の符号列変換装置。
【請求項１３】
前記符号列作成処理として、符号列を並べ替えた新たな符号列を作成する符号列並替処理を行なう、請求項１〜１２の何れかの一に記載の符号列変換装置。
【請求項１４】
前記符号列作成処理として、符号列のフレーム間に別のフレームを挿入した新たな符号列を作成する符号列挿入処理を行なう、請求項１〜１３の何れかの一に記載の符号列変換装置。
【請求項１５】
前記符号列作成処理を、
前記構文解析処理による前記構文解析の結果に基づいて、前記静止画像の画像データを圧縮符号化した符号列について現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出処理と、
このサブバンド符号量分布の検出結果に基づいて、前記静止画像の画像データを圧縮符号化した符号列に対して前記パケット操作を行なって符号を削減するパケット・スイッチ処理と、
により実行する、請求項９に記載の符号列変換装置。
【請求項１６】
前記符号列削減処理を、
前記動画像の画像データを圧縮符号化した符号列について、前記フレーム間の前記直交変換係数値を比較することにより現フレームとその以前のフレームとの間の動き量を求める動き量検出処理と、
静前記構文解析処理による前記構文解析の結果に基づいて、前記動画像の画像データを圧縮符号化した符号列について現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出処理と、
前記動き量及び前記サブバンド符号量分布の検出結果に基づいて、前記動画像の画像データを圧縮符号化した符号列に対して前記パケット操作を行なって符号を削減するパケット・スイッチ処理と、
により実行する、請求項１０に記載の符号列変換装置。
【請求項１７】
前記構文解析処理は、前記直交変換として離散コサイン変換された前記符号列の構文を解析する、請求項１〜１６の何れかの一に記載の符号列変換装置。
【請求項１８】
前記構文解析処理は、前記直交変換として離散ウェーブレット変換された前記符号列の構文を解析する、請求項１〜１６の何れかの一に記載の符号列変換装置。
【請求項１９】
前記構文解析処理は、ＪＰＥＧ２０００アルゴリズムにより圧縮された前記符号列の構文を解析する、請求項２に記載の符号列変換装置。
【請求項２０】
前記構文解析処理は、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００アルゴリズムにより圧縮された前記符号列の構文を解析する、請求項３に記載の符号列変換装置。
【請求項２１】
動画像を撮像する画像入力装置と、
この撮像した動画像の画像データをフレームごとに１又は複数の小領域に分割し、この小領域ごとに画素値を直交変換して、階層的に圧縮符号化する圧縮装置と、
この圧縮符号化後の符号列をネットワークを介して送信する送信手段と、
この送信された符号列を前記ネットワークから受信する受信手段と、
この受信した符号列をパケット操作して新たな符号列を作成する請求項３に記載の符号列変換装置と、
この新たに作成した符号列を伸張する伸張装置と、
この伸張後の画像データの画像を表示する表示装置と、
を備えているカメラシステム。
【請求項２２】
画像データを１又は複数の小領域に分割し、この小領域ごとに画素値を直交変換して、階層的に圧縮符号化した符号列をネットワークを介して受信する受信手段と、
この受信した符号列をパケット操作して新たな符号列を作成する請求項１〜２０の何れかの一に記載の符号列変換装置と、
この新たに作成した符号列を伸張する伸張装置と、
この伸張後の画像データの画像を表示する表示装置と、
を備えている画像表示システム。
【請求項２３】
画像データを１又は複数の小領域に分割し、この小領域ごとに画素値を直交変換して、階層的に圧縮符号化した符号列をネットワークを介して受信する受信手段と、
この受信した符号列に対する編集の入力を受付ける入力手段と、
この入力に応じて、受信した符号列をパケット操作して新たな符号列を作成する請求項１〜２０の何れかの一に記載の符号列変換装置と、
を備えている画像編集システム。
【請求項２４】
前記アルゴリズム処理手段に対して、請求項１〜２０の何れかの一に記載の発明の前記各処理の実行を行なわせるコンピュータに読み取り可能なプログラム。
【請求項２５】
請求項２４に記載のプログラムを記憶している記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、符号列変換装置、カメラシステム、画像表示システム、画像編集システム、プログラム及び記憶媒体に関する。
【０００２】
【従来の技術】
従来の各種画像処理等の実行に使用される電子システムは、通常、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ）とメモリ、そして、ユーザの用途に合わせて設計されたＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、あるいは、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等で構成されている。ＭＰＵは、システムの中に組み込まれた後でも、プログラムを書き換えることにより、仕様変更に対しても柔軟に対応することができる。一方、ＡＳＩＣやＦＰＧＡは、そうした柔軟性を持ち合わせていない。但し、後者は、機器の開発段階では、特別な装置を用いれば、書き換えることが可能である。この他に、ＭＰＵとＡＳＩＣの中間的な性格を持ったＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）も、しばしば用いられる。
【０００３】
アプリケーションに対する柔軟性と処理速度の間には、トレード・オフ関係が存在する。すなわち、ＭＰＵ、ＤＳＰ、ＡＳＩＣ／ＦＰＧＡの順に柔軟性は低下するが、処理速度は向上する。電子システムを実現する最適なアーキテクチャは、こうした技術的要素と、コストや開発時間といった経済的要素を加味し、決定される。
【０００４】
また、画像の圧縮伸張アルゴリズムとして、最近では国際標準としてＪＰＥＧ２０００という新しい方式が規格化されつつある。
【０００５】
【特許文献１】特開２００２−２４０３６８公報
【特許文献２】特開２００２−２４７２５８公報
【発明が解決しようとする課題】
このＪＰＥＧ２０００は、画像をタイルと呼ばれる小領域に分割し、このタイルごとに独立に画素値をウェーブレット変換し、階層的に圧縮符号化するものである。このようにして作成された符号列は、タイルごとに削除したり、挿入したり、並べ替えたり等が容易に行なえるため、このような操作を行って元の符号列から新たな符号列を作成することができる。
【０００６】
このような新たな符号列を作成する操作を実行する符号列変換装置の仕様の中で、最も重要な要素の一つである処理速度の点においては、パケット操作が大半を占めている。具体的には、符号列の削減／加算あるいは合成／分割／並べ替え／挿入／再量子化／複数コンポーネントへの符号データの配置、等の処理がある。これらの処理は、個々の処理内容は単純ではあるものの、短時間のうちに、大量のパケットを操作する必要がある。
【０００７】
ＭＰＵによるソフトウエア処理は、ユーザの要求する、これら様々の操作に対して、低速では処理することはできる。しかし、パケット数が増えてくると、現状のＭＰＵの性能では、リアルタイムでの処理が困難になる。
【０００８】
一方、ＡＳＩＣやＦＰＧＡは、特定の処理に対しては、高速処理を得意とするが、処理内容の変更に対しては対応が不可能である。そして、全ての処理に対応できるような設計をすると、チップ面積や消費電力の増大を招いてしまう。
【０００９】
本発明の目的は、ある符号列から別の符号列を作成する際に、汎用性が高く、変換処理速度の速い高性能な処理を、低製造コストで実現することである。
【００１０】
【課題を解決するための手段】
請求項１に記載の発明は、階層間で処理速度の異なる階層構造を有し、この階層が上位にあるほど処理速度が速くなるアルゴリズム実行部によって、与えられたアルゴリズムを処理するアルゴリズム処理手段を備え、このアルゴリズム処理手段が実行する処理により、画像データを１又は複数の小領域に分割し、この小領域ごとに画素値を直交変換し、階層的に圧縮符号化することにより作成した符号列の構文を解析する構文解析処理と、この符号列を構成するパケットを操作し、当該符号列から新たな符号列を作成する符号列作成処理と、を行なう、符号列変換装置である。
【００１１】
したがって、あらゆる種類のパケット操作に対して柔軟にかつ高速に処理を実行することができ、極めて汎用性が高くかつ変換処理速度の速い、高性能な符号列変換装置を低製造コストで実現することができる。
【００１２】
請求項２に記載の発明は、請求項１に記載の符号列変換装置において、前記構文解析処理は、静止画像の画像データに対して前記圧縮符号化を行なうものである。
【００１３】
したがって、静止画の符号列に対し、あらゆる種類のパケット操作に対して柔軟にかつ高速に処理を実行することができ、極めて汎用性が高くかつ変換処理速度の速い、高性能な符号列変換装置を低製造コストで実現することができる。
【００１４】
請求項３に記載の発明は、請求項１に記載の符号列変換装置において、前記構文解析処理は、動画像の画像データに対してそのフレームごとに前記小領域への分割を行って前記圧縮符号化を行なうものである。
【００１５】
したがって、動画の符号列に対し、あらゆる種類のパケット操作に対して柔軟にかつ高速に処理を実行することができ、極めて汎用性が高くかつ変換処理速度の速い、高性能な符号列変換装置を低製造コストで実現することができる。
【００１６】
請求項４に記載の発明は、請求項１〜３の何れかの一に記載の符号列変換装置において、前記アルゴリズム処理手段は、前記アルゴリズム実行部として前記階層構造の相対的上位の階層ではリコンフィギャラブル・ロジック（Ｒｅｃｏｎｆｉｇｕｒａｂｌｅ  Ｌｏｇｉｃ）で処理を行い、この上位の階層より下位の階層ではチューリングマシン（Ｔｕｒｉｇ  Ｍａｃｈｉｎｅ）で処理を行なうものを用いる。
【００１７】
したがって、ＡＳＩＣやＦＰＧＡが持つ高速性と、ＭＰＵ上におけるソフトウエア処理の持つ柔軟性の両方を、同時に兼ね備えたリコンフィギャラブル・ロジックを上位階層で使用することにより、あらゆる種類のパケット操作に対して、柔軟にかつ高速に処理を実行することができ、極めて汎用性が高くかつ変換処理速度の速い、高性能な符号列変換装置を低製造コストで実現することができる。
【００１８】
請求項５に記載の発明は、請求項４に記載の符号列変換装置において、前記チューリングマシンは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ）又はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）を用いている。
【００１９】
したがって、下位階層ではＭＰＵ又はＤＳＰによる柔軟な処理を行なうことにより、あらゆる種類のパケット操作に対して、柔軟にかつ高速に処理を実行することができ、極めて汎用性が高くかつ変換処理速度の速い、高性能な符号列変換装置を低製造コストで実現することができる。
【００２０】
請求項６に記載の発明は、請求項４又は５に記載の符号列変換装置において、前記アルゴリズム実行部の一部は本符号列変換装置とネットワークを介して接続されている。
【００２１】
したがって、アルゴリズム実行部の一部を外部のシステムに担わせることができる。
【００２２】
請求項７に記載の発明は、請求項４に記載の符号列変換装置において、前記符号列作成処理を前記リコンフィギャラブル・ロジックの処理により行なう。
【００２３】
したがって、ＡＳＩＣやＦＰＧＡが持つ高速性と、ＭＰＵ上におけるソフトウエア処理の持つ柔軟性の両方を、同時に兼ね備えたリコンフィギャラブル・ロジックを新たな符号列の作成に使用することにより、あらゆる種類のパケット操作に対して、柔軟にかつ高速に処理を実行することができ、極めて汎用性が高くかつ変換処理速度の速い、高性能な符号列変換装置を低製造コストで実現することができる。
【００２４】
請求項８に記載の発明は、請求項４に記載の符号列変換装置において、前記構文解析処理を前記チューリングマシンの処理により行なう。
【００２５】
したがって、符号列の構文の解析はチューリングマシンの処理により柔軟に行なうことができる。
【００２６】
請求項９に記載の発明は、請求項２に記載の符号列変換装置において、前記符号列作成処理として、前記静止画像の画像データを圧縮符号化した符号列の符号の一部を削減した新たな符号列を作成する符号列削減処理を行なう。
【００２７】
したがって、静止画像の符号列の符号の一部を削減した新たな符号列を作成する処理を、極めて汎用性が高くかつ変換処理速度の速い符号列変換装置で実現することができる。
【００２８】
請求項１０に記載の発明は、請求項３に記載の符号列変換装置において、前記符号列作成処理として、前記動画像の画像データを圧縮符号化した符号列の符号の一部を削減した新たな符号列を作成する符号列削減処理を行なう。
【００２９】
したがって、動画像の符号列の符号の一部を削減した新たな符号列を作成する処理を、極めて汎用性が高くかつ変換処理速度の速い符号列変換装置で実現することができる。
【００３０】
請求項１１に記載の発明は、請求項１〜１０の何れかの一に記載の符号列変換装置において、前記符号列作成処理として、符号列に新たなパケットを加えた新たな符号列を作成する符号列加算処理を行なう。
【００３１】
したがって、符号列に新たなパケットを加えた新たな符号列を作成する処理を、極めて汎用性が高くかつ変換処理速度の速い符号列変換装置で実現することができる。
【００３２】
請求項１２に記載の発明は、請求項１〜１１の何れかの一に記載の符号列変換装置において、前記符号列作成処理として、単一の符号列を分割して複数の新たな符号列を作成する符号列分割処理を行なう。
【００３３】
したがって、単一の符号列を分割して複数の新たな符号列を作成する処理を、極めて汎用性が高くかつ変換処理速度の速い符号列変換装置で実現することができる。
【００３４】
請求項１３に記載の発明は、請求項１〜１２の何れかの一に記載の符号列変換装置において、前記符号列作成処理として、符号列を並べ替えた新たな符号列を作成する符号列並替処理を行なう。
【００３５】
したがって、符号列を並べ替えた新たな符号列を作成する処理を、極めて汎用性が高くかつ変換処理速度の速い符号列変換装置で実現することができる。
【００３６】
請求項１４に記載の発明は、請求項１〜１３の何れかの一に記載の符号列変換装置において、前記符号列作成処理として、符号列のフレーム間に別のフレームを挿入した新たな符号列を作成する符号列挿入処理を行なう。
【００３７】
したがって、符号列のフレーム間に別のフレームを挿入した新たな符号列を作成する処理を、極めて汎用性が高くかつ変換処理速度の速い符号列変換装置で実現することができる。
【００３８】
請求項１５に記載の発明は、請求項９に記載の符号列変換装置において、前記符号列作成処理を、前記構文解析処理による前記構文解析の結果に基づいて、前記静止画像の画像データを圧縮符号化した符号列について現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出処理と、このサブバンド符号量分布の検出結果に基づいて、前記静止画像の画像データを圧縮符号化した符号列に対して前記パケット操作を行なって符号を削減するパケット・スイッチ処理と、により実行する。
【００３９】
したがって、新たな符号列において、画像周波数の高低に伴う画質劣化を抑えることができる。
【００４０】
請求項１６に記載の発明は、請求項１０に記載の符号列変換装置において、前記符号列削減処理を、前記動画像の画像データを圧縮符号化した符号列について、前記フレーム間の前記直交変換係数値を比較することにより現フレームとその以前のフレームとの間の動き量を求める動き量検出処理と、静前記構文解析処理による前記構文解析の結果に基づいて、前記動画像の画像データを圧縮符号化した符号列について現フレーム内のサブバンド符号量分布を検出するサブバンド符号量分布検出処理と、前記符号列の一部の削減を指示する複数のテーブルからなるテーブル群から、前記動き量及び前記サブバンド符号量分布の検出結果に基づいて最適なテーブルを選択するテーブル選択処理と、この選択したテーブルのテーブルデータに基づいて、前記動画像の画像データを圧縮符号化した符号列に対して前記パケット操作を行い、符号を削減するパケット・スイッチ処理と、により実行する。
【００４１】
したがって、新たな符号列において、動き量の大小や画像周波数の高低に伴う画質劣化を抑えることができる。
【００４２】
なお、前記構文解析処理は、前記直交変換として離散コサイン変換された前記符号列の構文を解析することができる（請求項１７）。また、前記構文解析処理は、前記直交変換として離散ウェーブレット変換された前記符号列の構文を解析するようにしてもよい（請求項１８）。
【００４３】
さらに、前記構文解析処理は、ＪＰＥＧ２０００アルゴリズムにより圧縮された前記符号列の構文を解析するようにすることができる（請求項１９）。また、前記構文解析処理は、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００アルゴリズムにより圧縮された前記符号列の構文を解析するようにしてもよい（請求項２０）。
【００４４】
請求項２１に記載の発明は、動画像を撮像する画像入力装置と、この撮像した動画像の画像データをフレームごとに１又は複数の小領域に分割し、この小領域ごとに画素値を直交変換して、階層的に圧縮符号化する圧縮装置と、この圧縮符号化後の符号列をネットワークを介して送信する送信手段と、この送信された符号列を前記ネットワークから受信する受信手段と、この受信した符号列をパケット操作して新たな符号列を作成する請求項３に記載の符号列変換装置と、この新たに作成した符号列を伸張する伸張装置と、この伸張後の画像データの画像を表示する表示装置と、を備えているカメラシステムである。
【００４５】
したがって、あらゆる種類のパケット操作に対して柔軟にかつ高速に処理を実行することができ、極めて汎用性が高くかつ変換処理速度の速い、高性能なカメラシステムを低製造コストで実現することができる。
【００４６】
請求項２２に記載の発明は、画像データを１又は複数の小領域に分割し、この小領域ごとに画素値を直交変換して、階層的に圧縮符号化した符号列をネットワークを介して受信する受信手段と、この受信した符号列をパケット操作して新たな符号列を作成する請求項１〜２０の何れかの一に記載の符号列変換装置と、この新たに作成した符号列を伸張する伸張装置と、この伸張後の画像データの画像を表示する表示装置と、を備えている画像表示システムである。
【００４７】
したがって、あらゆる種類のパケット操作に対して柔軟にかつ高速に処理を実行することができ、極めて汎用性が高くかつ変換処理速度の速い、高性能な画像表示システムを低製造コストで実現することができる。
【００４８】
請求項２３に記載の発明は、画像データを１又は複数の小領域に分割し、この小領域ごとに画素値を直交変換して、階層的に圧縮符号化した符号列をネットワークを介して受信する受信手段と、この受信した符号列に対する編集の入力を受付ける入力手段と、この入力に応じて、受信した符号列をパケット操作して新たな符号列を作成する請求項１〜２０の何れかの一に記載の符号列変換装置と、を備えている画像編集システムである。
【００４９】
したがって、あらゆる種類のパケット操作に対して柔軟にかつ高速に処理を実行することができ、極めて汎用性が高くかつ変換処理速度の速い、高性能な画像編集システムを低製造コストで実現することができる。
【００５０】
請求項２４に記載の発明は、前記アルゴリズム処理手段に対して、請求項１〜２０の何れかの一に記載の発明の前記各処理の実行を行なわせるコンピュータに読み取り可能なプログラムである。
【００５１】
したがって、本発明のプログラムに基づく処理により、請求項１〜２０の何れかの一に記載の発明と同様の作用、効果を奏することができる。
【００５２】
請求項２５に記載の発明は、請求項２４に記載のプログラムを記憶している記憶媒体である。
【００５３】
したがって、記憶しているプログラムに基づく処理により、請求項１〜２０の何れかの一に記載の発明と同様の作用、効果を奏することができる。
【００５４】
【発明の実施の形態】
［前提技術の概要］
まず、本実施の形態の前提技術となる「リコンフィギャラブル・ロジック」、「直交変換係数の配置」、「階層符号化アルゴリズム」、及び、「ＪＰＥＧ２０００アルゴリズム」の概要について、各々順に説明する。
【００５５】
（１）「リコンフィギャラブル・ロジック」について
このデバイスは、ハードウエア処理の高速性とソフトウエア処理の柔軟性といった、両者の長所を同時に持ち、色々な機能への切り替えが極めて高速に行われるものである。この機能の変更に際して、従来のデバイス、例えばＦＰＧＡ等では、プログラムの書き換えに時間を要し、高速性が要求されるアプリケーションでは実用化が難しかった。ところが、リコンフィギャラブル・ロジックでは、この機能変更が非常に高速に行われるのが最大の特長である。そのため、このデバイスは動的再構成が可能であると言われている。
【００５６】
具体的な構成あるいは応用については、特開平８−３３０９４５号公報や、“，Ａ  Ｄｙｎａｍｉｃａｌｌｙ  Ｒｅｃｏｎｆｉｇｕｒａｂｌｅ  Ｌｏｇｉｃ  Ｅｎｇｉｎｅ  ｗｉｔｈ  ａ  Ｍｕｌｔｉ−Ｃｏｎｔｅｘｔ／Ｍｕｌｔｉ−Ｍｏｄｅ  Ｕｎｉｆｉｅｄ−Ｃｅｌｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ（ＩＳＳＣＣ９９／Ｓｅｓｓｏｎ２１／Ｐａｐｅｒ  ＷＡ２１．３）”等に開示されている。
【００５７】
（２）「直交変換係数の配置」について
図１は二次元ＤＣＴ（離散コサイン変換）を使った場合の基底ベクトルを、図２は二次元ＤＷＴ（離散ウェーブレット変換）を使った場合のオクターブ分割を、各々示している。これらの直交変換を採用した、代表的な符号化アルゴリズムとしては、各々、ＪＰＥＧアルゴリズムとＪＰＥＧ２０００アルゴリズムが知られている。
【００５８】
そして、図３に概念的に示すように、ＪＰＥＧ２０００アルゴリズムで符号化後の符号列は、ＳＯＣ（Ｓｔａｒｔ  Ｏｆ  Ｃｏｄｅｓｔｒｅａｍ）を先頭、ＥＯＣ（Ｅｎｄ  Ｏｆ  Ｃｏｄｅｓｔｒｅａｍ）を末尾として配列され、直交変換係数値はペイロード部２１１に、その要約された情報がヘッダ部２１２に、符号列の中で配置される。符号列中のヘッダ部２０２は、構文解析手段２１３により検出され、パケット長読取手段２１４によりパケット長（ペイロード部のサブバンド符号量）が読み出される。
【００５９】
（３）「階層符号化アルゴリズム」及び「ＪＰＥＧ２０００アルゴリズム」について
図４は、ＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するためのブロック図である。この階層符号化アルゴリズムは、２次元ウェーブレット変換・逆変換部２０２、量子化・逆量子化部２０３、エントロピー符号化・復号化部２０４、タグ処理部２０５で構成されている。ＪＰＥＧアルゴリズムと比較して、最も大きく異なる点の一つは変換方法である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ）を、階層符号化圧縮伸張アルゴリズムでは離散ウェーブレット変換（ＤＷＴ）を、各々用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００で採用された大きな理由の一つとなっている。また、他の大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部２０５と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データが符号列として生成され、伸張動作時には伸張に必要な符号列の解釈が行われる。そして、符号列によって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。
【００６０】
例えば、図５はデコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示す図であるが、図２に示したブロックベースでのＤＷＴにおけるオクターブ分割の階層に対応した任意の階層で、静止画像の圧縮伸張処理を停止させることができる。なお、ここでの「デコンポジション」に関し、ＪＰＥＧ２０００  ＰａｒｔＩ  ＦＤＩＳ（Ｆｉｎａｌ  Ｄｒａｆｔ  ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ）には、以下のように定義されている。
ｄｅｃｏｍｐｏｓｉｔｉｏｎ  ｌｅｖｅｌ：
Ａ  ｃｏｌｌｅｃｔｉｏｎ  ｏｆ  ｗａｖｅｌｅｔ  ｓｕｂｂａｎｄｓ  ｗｈｅｒｅ  ｅａｃｈ  ｃｏｅｆｆｉｃｉｅｎｔ  ｈａｓ  ｔｈｅ  ｓａｍｅ  ｓｐａｔｉａｌ  ｉｍｐａｃｔ  ｏｒ  ｓｐａｎ  ｗｉｔｈ  ｒｅｓｐｅｃｔ  ｔｏ  ｔｈｅ  ｓｏｕｒｃｅ  ｃｏｍｐｏｎｅｎｔ  ｓａｍｐｌｅｓ．  Ｔｈｅｓｅ  ｉｎｃｌｕｄｅ  ｔｈｅ  ＨＬ，ＬＨ，ａｎｄ  ＨＨ  ｓｕｂｂａｎｄｓ  ｏｆ  ｔｈｅ  ｓａｍｅ  ｔｗｏ  ｄｉｍｅｎｓｉｏｎａｌ  ｓｕｂｂａｎｄ  ｄｅｃｏｍｐｏｓｉｔｉｏｎ．  Ｆｏｒ  ｔｈｅ  ｌａｓｔ  ｄｅｃｏｍｐｏｓｉｔｉｏｎ  ｌｅｖｅｌ  ｔｈｅ  ＬＬ  ｓｕｂｂａｎｄ  ｉｓ  ａｌｓｏ  ｉｎｃｌｕｄｅｄ．
なお、図４において、原画像の入出力部分には、色空間変換部２０１が接続されることが多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶ或いはＹＣｂＣｒ表色系への変換又は逆の変換を行なう部分がこれに相当する。
【００６１】
以下、ＪＰＥＧ２０００アルゴリズムについて、詳細に説明する。
【００６２】
図６は、タイル分割されたカラー画像の各コンポーネントの例を示す図である。カラー画像は、一般に図３に示すように、原画像の各コンポーネント２０７Ｒ，２０７Ｇ，２０７Ｂ（ここではＲＧＢ原色系）が、矩形をした小領域（タイル）２０７Ｒｔ，２０７Ｇｔ，２０７Ｂｔによって分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５が、圧縮伸張プロセスを実行する際の基本単位となる。従って、圧縮伸張動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
【００６３】
符号化時には、各コンポーネントの各タイルのデータが、図１の色空間変換部１に入力され、色空間変換を施されたのち、２次元ウェーブレット変換部２０２で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
【００６４】
図５は、２次元離散ウェーブレット変換のオクターブ分割の説明図である。デコンポジションレベルは、その数値が大きいほど上位階層レベルである。グレイで表示した部分は、各階層レベルにおいて符号化の対象となるサブバンドである。図５の例では、デコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジションレベル０（２０６０））に対して、２次元ウェーブレット変換を施し、デコンポジションレベル１（２０６１）に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジションレベル２（２０６２）に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元可逆ウェーブレット変換を施し、デコンポジションレベル３（２０６３）に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。
【００６５】
更に図５では、各デコンポジションレベルにおいて符号化の対象となるサブバンドを、グレイで表してある。例えば、デコンポジションレベル数を３とした時、グレイで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００６６】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図４の量子化部２０３で対象ビット周辺のビットからコンテキストが生成される。
【００６７】
図７は、プレシンクトとコードブロックの関係を説明するための説明図である。量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図７に示したように、一つのプレシンクト、例えばプレシンクト２０８ｐ４は、空間的に一致した３つの矩形領域からなっている。プレシンクト２０８ｐ６も同様である。なお、ここで原画像はデコンポジションレベル１でタイル２０８ｔ０，２０８ｔ１，２０８ｔ２，２０８ｔ３の４つのタイルに分割されている。更に、個々のプレシンクトは、重複しない矩形の「コードブロック」（プレシンクト８ｐ４に対してはコードブロック２０８４ｂ０，２０８４ｂ１，…）に分けられる。これは、エントロピーコーディングを行なう際の基本単位となる。符号化効率を上げるために、係数値をビットプレーン単位に分解し、画素或いはコードブロック毎にビットプレーンに順序付けを行い、１又は複数のビットプレーンからなる層（レイヤ）を構成することもある。すなわち係数値のビットプレーンから、その有意性に基づいた層（レイヤ）を構成し、そのレイヤごとに符号化を行なう。最も有意なレイヤである最上位レイヤ（ＭＳＢ）とその下位レイヤを数レイヤだけ符号化し、最も有意でないレイヤ（ＭＬＢ）を含んだそれ以外のレイヤをトランケートすることもある。
【００６８】
エントロピー符号化部２０４では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行なう。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。
【００６９】
最後にタグ処理部２０５は、エントロピコーダ部からの全符号化データを１本の符号列に結合するとともに、それにタグを付加する処理を行なう。図８には、符号列の構造を簡単に示している。符号列の先頭と各タイルを構成する部分タイルの先頭にはヘッダ（それぞれ、メインヘッダ２０９ｈ及びタイル部ヘッダ２０９ｔｈ）と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データ（ビットストリーム２０９ｂ）が続く。そして、符号列の終端には、再びタグ（ＥＯＣタグ２０９ｅ）が置かれる。
【００７０】
更に、図９は、符号化されたウェーブレット係数値の収容されたパケットを、サブバンドごとに表わしたときの符号列の構造を示すものである。タイルによる分割処理を行っても、あるいは行なわなくても、同様のパケット列構造を持っている。
【００７１】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルの符号列から画像データを生成する。図４を用いて簡単に説明する。この場合、タグ処理部２０５は、外部より入力した符号列に付加されたタグ情報を解釈し、符号列を各コンポーネントの各タイルの符号列に分解し、その各コンポーネントの各タイルの符号列毎に復号化処理が行われる。符号列内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部２０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部２０４で、このコンテキストと符号列から確率推定によって復号化を行い対象ビットを生成し、それを対象ビットの位置に書き込む。
【００７２】
このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部２０２で２次元ウェーブレット逆変換を行なうことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部２０１によって元の表色系のデータに変換される。
【００７３】
以上が、「ＪＰＥＧ２０００」アルゴリズムの概要であり、静止画像、すなわち単フレームに対する方式を複数フレームに拡張したものが、「Ｍｏｔｉｏｎ  ＪＰＥＧ２０００」アルゴリズムである。
【００７４】
［発明の実施の形態１］
以下、本発明の一実施の形態について詳細に説明する。
【００７５】
図１０は、本実施の形態である符号列変換装置１のハードウエア構成を示すブロック図である。符号列変換装置１は、各種演算を行い、符号列変換装置１の各部を集中的に制御するＭＰＵ２と、各種のＲＯＭ、ＲＡＭなどからなるメモリ３とが、バス４で接続されている。メモリ３は、本発明の記憶媒体を実施するものであり、本発明のプログラムを実施したプログラムが記憶されている。このプログラムはＭＰＵ２が実行する。
【００７６】
また、バス４には、所定の処理を実行するＡＳＩＣ（又はＦＰＧＡ）５と、ネットワークインターフェイス６とが接続されている。ネットワークインターフェイス６は、ＬＡＮ、ＷＡＮ、インターネットなどのネットワーク７と符号列変換装置１とを接続するインターフェイスとなる。
【００７７】
さらに、バス４にはＲＣＬ（Ｒｅｃｏｎｆｉｇｕｒａｂｌｅ  Ｌｏｇｉｃ，リコンフィギャラブル・ロジック）８が接続されている。ＲＣＬ８は、符号列変換装置１で実行するアルゴリズムの実行部の上位階層、すなわち、高速処理が要求されるプロセスを担当する。高速処理の内容が固定している場合には、その機能を、ＡＳＩＣ（又はＦＰＧＡ）５のようなハード・ワイヤード・ロジックに任せることができる。その場合、ＲＣＬ８は、頻度が低いが、高速処理が必要とされる特殊な処理にのみ対応すればよい。
【００７８】
ＲＣＬ８は、自身の機能を変更させるためのハードウエア記述を受け取り、その記述に従って、動的再構成を行なうことができる。この機能変更は、符号列変換装置１の仕様に影響を与えない時間範囲で、完了しなければならない。
【００７９】
図１１は、符号列変換装置１によるアルゴリズムの実行部の階層構造を、概念的に示す説明図である。図１１の（ａ）は本実施の形態の場合を示し、（ｂ）は、比較のため従来の一階層の構造の場合を示した。
【００８０】
本実施の形態では、このアルゴリズムの実行部１１によりアルゴリズム処理手段を実現する。図１１（ａ）の左図は、図１０に示した符号列変換装置１に対応したものである。ＲＣＬ８が処理を担当するＲＣＬ部１２は、アルゴリズムの実行部１１の相対的に上位の階層、つまり、高速性には優れるものの柔軟性には劣る階層を占める。ＭＰＵ２及びＡＳＩＣ（又はＦＰＧＡ）５が処理を担当するＴｕｒｉｎｇ  Ｍａｃｈｉｎｅ部１３は、アルゴリズムの実行部１１のＲＣＬ部１２より相対的に下位の階層を占める。ＭＰＵ２及びＡＳＩＣ（又はＦＰＧＡ）５と、ＲＣＬ８の占める相対的な占有率は、絶えず変化し続ける。すなわち、ＲＣＬ部１２は、あるときは図１１（ａ）の右図に示すように大きく、あるときは図１１（ａ）の中図に示すように小さくなる。また、アルゴリズム実行部１１は、必ずしも全ての機能をローカルに局在させる必要がない。場合によっては、図１１（ａ）中図、右図に示すように、ネットワーク７上に接続された実行部に、一部の処理を任せることもできる（Ｎｅｔｗｏｒｋ部１４）。これに対して、図１１（ａ）に示すＲＣＬ８を用いない場合には、アルゴリズムの実行部１１は、ＭＰＵ２及びＡＳＩＣ（又はＦＰＧＡ）５が処理を担当するＴｕｒｉｎｇ  Ｍａｃｈｉｎｅ部１３のみで構成される。
【００８１】
図１２は、以上のようなＲＣＬ８を用いた構成により実行される符号列変換装置１の処理の概要を示す機能ブロック図である。符号列変換装置１は、符号列が入力される符号列入力手段２１と、この符号列の構文をヘッダ情報等から解析して構文解析処理を実現する構文解析手段２２と、この構文に基づいて符号列を構成するパケットを操作して、新たな符号列を作成する処理を行なう符号列作成処理を実現する符号列作成手段２３と、この作成後の符号列を出力する符号列出力手段２４とを備えている。
【００８２】
符号列入力手段２１に入力される符号列は、動画の画像データをフレームごとに１又は複数の小領域に分割し、この小領域ごとに画素値を直交変換し、階層的に圧縮符号化したものであり、例えば、タイルという小領域に分割するＭｏｔｉｏｎ  ＪＰＥＧ２０００アルゴリズムを用いたものである。あるいは、符号列入力手段２１に入力される符号列は、静止画の画像データを１又は複数の小領域に分割し、この小領域ごとに画素値を直交変換し、階層的に圧縮符号化されたもの、例えば、タイルという小領域に分割するＪＰＥＧ２０００アルゴリズムを用いたものであってもよい。直交変換としては、離散コサイン変換（ＤＣＴ）、離散ウェーブレット変換（ＤＷＴ）などを用いることができる。
【００８３】
これら符号列変換装置１を構成する機能モジュールのうち、符号列作成手段２３は、高速にパケットを操作する必要がある。個々のパケット操作は単純であるが、その処理内容は、符号列の削減／加算あるいは合成／分割／並べ替え／挿入／再量子化／複数コンポーネントへの配置／等と、多岐に渡っている。こうした高速性と処理の多様性の二つの要求を同時に満たすことは、従来のＭＰＵやＤＳＰでは、処理内容そのものには対応できても、処理速度の面でリアルタイム性を維持することが困難である。一方、ＡＳＩＣやＦＰＧＡでそうした要求を実現しようとすると、非常に多くのデバイスを必要とし、増大したチップ面積は、経済性の観点から見て、現実的な解決方法とはなりえない。そこで、本実施の形態では、符号列作成手段２３をＲＣＬ８が実行する機能により、あるいは、かかる機能を中心にして実現している。
【００８４】
図１３、図１４は、符号列作成手段２３とそれに関わる機能ブロックを、ＲＣＬ８の処理で実現した場合の具体的な機能ブロック図である。ここでは、符号列を削減して新たな符号列を作成する場合の再量子化を行なう例を取り上げている。入力符号列が動画像の場合を図１３に、また、符号列が静止画像の場合を図１４に、各々示した。ＲＣＬ８が行なう処理により実現すべきブロックには、※印を付して示してある。
【００８５】
図１３に示すように、符号列変換装置１は、構文解析手段２２で解析後の構文から、当該符号列を構成する各パケットのパケット長をパケット長検出手段１０１で検出する。動き量検出手段１０２は、現フレームと以前のフレームとの間の動き量を検出して動き量検出処理を実現するものである。動き量検出手段１０２は、パケット長検出手段１０１で検出したパケット長を記憶するパケット長記憶手段１０３と、現フレームと以前のフレームとの間のパケット長の差分を求める差分検出手段１０４とを備えている。動き量検出手段１０２は、この例では、現フレームと以前のフレームとの間の動き量として、現フレームとそれ以前のフレームとの間におけるパケット長の差分から求められる相関係数値を使う。この相関係数値が大きいことは、フレーム間の画像が似ていることを意味するので、動き量は小さいことに対応する。
【００８６】
サブバンド符号量分布検出手段１０５は、現フレーム内のサブバンド符号量分布を検出して、サブバンド符号量分布検出処理を実現するものである。ここで、サブバンド符号量分布検出手段１０５によるサブバンド符号量分布の検出について説明する。ここでは、パケット長に基づいてサブバンド符号量分布を検出する手法について説明する。ペイロード部のサブバンド符号量、すなわち、パケット長は、ヘッダ部に記述されているので、その情報を構文解析手段２２により読み取って、フレームのパケット長をパケット長検出手段１０１により検出し、この検出したフレームのパケット長に基づいてサブバンド符号量分布を検出することができる。
【００８７】
圧縮率指定手段１０６は、ユーザが選択した画像の圧縮率を符号列変換装置１において指定する。
【００８８】
量子化テーブル群１０７は、「動き量」と「符号量分布」と「圧縮率」とのインデックス値に係る量子化テーブルを三次元マトリクス状に有したものである。この量子化テーブル群１０７に登録されている各テーブルは、後述のパケット・スイッチ１１０のパケット操作をどのように実行するか指示して、符号の削減のやり方を指定するものである。
【００８９】
量子化テーブル選択手段１０８は、動き量検出手段が検出した現フレームと以前のフレームとの間の動き量、サブバンド符号量分布検出手段１０５が検出した現フレーム内のサブバンド符号量分布、及び、圧縮率指定手段１０６が指定したユーザが選択した画像の圧縮率に基づいて、量子化テーブル群１０７から適切な量子化テーブル（選択された量子化テーブル１１１）を選択する。
【００９０】
量子化手段１０９は、符号列を再量子化してパケット・スイッチ処理を実現するパケット・スイッチ１１０を備えている。パケット・スイッチ１１０は、符号列を構成するパケットをパケット操作して取捨選択する。これは、前述のようにＲＣＬ８が実行する機能により実現される。このパケットの取捨選択は、選択された量子化テーブル１１１に基づいて行われる。また、量子化手段１０９の取捨選択に応じて、符号列作成手段２３が符号列のヘッダ・データを書換え、新たな符号列とする。
【００９１】
図１４に示すように、図１３の場合には入力された符号列が動画像の場合に必要だった動き量検出手段１０２は、静止画像の場合には不要になる。また、処理速度に対する制約も緩くなるのが一般的である。そこで、こうして生まれたリソースの余裕を、リソースの不足している他の機能モジュールに振り分け、あるいは、デバイスを休止状態にさせて、消費電力の削減を図ることもできる。
【００９２】
以下では、符号列変換装置１が実行する具体的な処理の内容について説明する。
【００９３】
（１）まず、符号列変換装置１によって符号列の符号の一部を削減した新たな符号列を作成して、符号列削減処理を実現する例について説明する。
【００９４】
まず、図１５、図１６に示すように、カラー画像の符号列３１から、輝度（Ｙ）成分３２のみを残し、他の色差（Ｕ＆Ｖ）成分３３，３４は削除して、新たな符号列３５を作成することができる。この場合、符号列３５においては符号データは保存されるが、タグの内容は書き換えられる。
【００９５】
図１７には、ＪＰＥＧ及びＪＰＥＧ２０００アルゴリズムで符号化された静止画像を、様々な縮小率で伸張したときの、表示までに要した時間を伸張時間として示している。縮小率が大きいほど、ＪＰＥＧ２０００のＪＰＥＧに対する優位性が大きくなる。縮小率が１０以上になると、ＪＰＥＧ２０００ではＪＰＥＧ方式に比較して、約１桁速く静止画像の縮小表示ができることがわかる。この傾向は、原画像が大規模・高精細になるに従い、ますます顕著に表れる。
【００９６】
そこで、符号列変換装置１で、特定ＬＬサブバンドまでを残し、それ以下の浅いサブバンドは削除し、必要最低限の符号量を持つ符号列に変換しておけば、その後、伸張装置によって、容易にかつ高速に、高精細静止画像を縮小表示させることができる。図１８には、各デコンポジション・レベルまでの符号列を示す。符号３６２元画像、符号３６３〜３６７はそれぞれデコンポジションレベル１〜６を示す。
【００９７】
図１９には、符号列変換装置１で変換後の符号列を伸張して、その画像を実際にディスプレイ上に画像を表示させた時の様子を示した。ここでは、横と縦の画素数が２０４８ピクセル×１５３６ピクセルの原画像４４を、表示デバイス４１の３２０（横）ピクセル×２４０ピクセル（縦）の表示領域４２に、３ＬＬサブバンドまでの伸張動作を行い、縮小画像４３を表示させている。ここでは、所定階層数計算表４７に基づき、表示領域４２の画素数以下で一番近い画素数をもつデコンポジションレベル（ここではレベル３）を算出している。
【００９８】
図２０を参照すると、元の符号列４５′は、ＳＯＣ４５Ｓ′、デコンポジションレベル４，３，２，１，０のコード４５４′〜４５０′、ＥＯＣ４５Ｅ′の順の符号列となっている。符号列変換装置１により生成された新しい符号列４６′は、元の符号列４５′から、デコンポジションレベル数「０」「１」「２」の符号部分が削除され、デコンポジションレベル４，３のコード４５４′，４５３′及びＥＯＣ４６Ｅ′の前に、ＳＯＣ４５Ｓ′とは異なるＳＯＣ４６Ｓ′がヘッダ情報として付与されている。
【００９９】
画像の中心領域だけを伸張し表示させることもできる。すなわち、図２１、図２２に示すように、１６個のタイル領域に分割されたＲ，Ｇ，Ｂ各コンポーネント５１Ｒ〜５１Ｂの原画像の中央部分に該当するタイル番号は、０５／０６／０９／１０である。符号列変換装置１は、これら４つのタイル以外のタイル・パートを、元の符号列５２から削除する。元の符号列５２と新たに生成した符号列５３の違いは、ＳＯＣ及びタイル・パートのヘッダの内容が書き換えられていること、タイル番号を０５→００／０６→０１／０９→０２／１０→０３のように付け替えたことである。
【０１００】
Ｍｏｔｉｏｎ  ＪＰＥＧ２０００では、連続する静止画像の各々をフレームとする動画像であるが、これを縮小表示させることもできる。この場合、原動画像はＪＰＥＧ２０００で符号化されているので、高速に表示させることができ、コマ落ちの無いスムースな画質を表示できる。図２３に示すように、この例では、階層型ウェーブレット変換による特定のＬＬサブバンドを、低周波側の２ＬＬあるいは３ＬＬにすることにより、画面５４に１／４及び１／８の縮小表示を各々実現することができる。
【０１０１】
符号列変換装置１は、この場合の不要な符号データを削除する。例えば、縮小率１／４の動画サムネイルを得るには、１ＨＨ／１ＬＨ／１ＨＬ／１ＬＬ／０ＬＬの符号データを削除し、２ＬＬのみを残した新しい符号列を作成し、これを伸張して画素値に戻せばよい。また、画像の表示の途中で動画像サイズをもう一段階縮小したい場合には、更に２ＨＨ／２ＬＨ／２ＨＬ／２ＬＬの符号データを削除することにより対応できる。
【０１０２】
また、図２７に示すように、一連の動画像の全フレーム７１のフルサイズの符号列７２から、例えば、デコンポジションレベル３の３ＬＬの符号７３のみを取り出した符号列７４を作成することが出来る。
【０１０３】
図２８は、図２７で説明した例において、全フレーム７１を含んだ完全な符号列７２からフレーム７１を間引く場合の他の例である。すなわち、動画の動きの比較的大きなシーンではフレーム７１を間引かずに全フレーム７１を残し、それ以外のシーンではフレーム７１を間引くようにする。これにより、動画像の画質を視覚的に改善する効果が期待できる。
【０１０４】
動画の動きの大小の検出方法としては、符号列７２中のペイロード部の符号量について、先行するフレーム７１と現フレーム７１間の差を算出することが、最も簡易かつ高速である。こうして求めた符号量の差が大きければ、先行するフレーム７１と現フレーム７１の間には、大きな変化が生じたことになる。すなわち、動き変化の大きなシーンであると予想できる。また、動きシーンが大きいか小さいかの判断は、求めた符号量の差を所定の閾値と比較することにより行なうことができる。更に、動画の動きの大小を、領域、サブバンド、コンポーネントの単位毎に細かく検出すれば、よりきめの細かいフレームの間引きを実現することができる。
【０１０５】
（２）符号列変換装置１によって符号列に新たなパケットを加えた新たな符号列を作成して、符号列加算処理を実現する例について説明する。
【０１０６】
すなわち、図２４に示すように、符号列変換装置１により、例えば、１枚の画像の上部領域、下部領域それぞれの各々４タイルからなる符号列６１，６２のパケットを合成し、新たに８つのタイルを持った一つの符号列６３を作成する。新しい符号列６３は、上下に分割された画像を一枚に合成した画像に対応し、これを伸張することにより、全体画像に得ることができる。
【０１０７】
図３０の例では、識別情報である認証コードを持った複数の符号列９１，９２を、認証情報である認証キーを記憶しているシステムが備えている符号列変換装置１で、一つの符号列９３を合成するものである。入力符号列９１，９２は、それぞれ単独では不完全な画像９４，９５の画像情報しか持っていないが、互いに補完しあう複数の符号列９１，９２を合成することにより、完全な画像９６を構成する画像情報を持った一つの符号列９３を作成することができる。
【０１０８】
符号列変換装置１が、認証コードに対応する認証キーを保持していなければ、符号列９３の合成はできない。この例では、符号列９１は認証コードを持っていないので、認証キーを持たない一般の画像伸張装置でもデコードすることはできるが、得られる画像９４はモザイク状にマスクを施された不完全なものとなる。なお、複製された認証キーが不当に使用される場合に備えて、あらかじめ認証キーに使用可能な期限を記録しておき、その期限までの限定使用とするのが望ましい。
【０１０９】
（３）符号列変換装置１によって単一符号列を分割して複数の新たな符号列を作成して、符号列分割処理を実現する例について説明する。
【０１１０】
すなわち、図２５に示すように、符号列変換装置１により、図２４の場合と逆の処理を行なうことにより、例えば、８つのタイルを持った一つの符号列６３を、１枚の画像の上部領域、下部領域それぞれの各々４タイルからなる符号列６１，６２を作成することができる。
【０１１１】
（４）符号列変換装置１によって既存の符号列を並べ替えた新たな符号列を作成して、符号列並替処理を実現する例について説明する。
【０１１２】
図２６は、符号列変換装置１で、タイルの表示順序を並べ替えた時の様子を説明するための図である。図２６に示す例では、符号列の各タイル領域に相当する符号部の並び方を、「ラスタ順」から「渦巻き順」にしている。符号列６６′のヘッダ６６Ｓ′内部に書かれている、タイルをデコードする順番を、ラスタ順（タイル番号０１，０２，０３，…，１４，１５の順：画像データ６６参照）から渦巻き順（タイル番号０５，０６，１０，０９，０８，０４，００，０１，０２，０３，０７，１１，１５，１４，１３，１２の順：画像データ６７参照）に書き換えるだけでも良いが、表示速度を落とさないようにするためには、更に、符号列本体の各タイルに相当する符号を入れ替えることが望ましい。ここでは、符号列６６′（ＳＯＣ６６Ｓ′をヘッダとする）に対して後者の処理まで行った結果の符号列６７′（ＳＯＣ６７Ｓ′をヘッダとする）を示している。画像の中心部から周辺に向かって表示領域を広げていくこの方法は、高速閲覧のところでも述べたように、情報量が画像の中心部に集中しているという性質を利用したものである。
【０１１３】
図３１は、この場合の応用例として、Ｍｏｔｉｏｎ静止画像の符号列の配信について具体的例を示すものである。すなわち、コンテンツ事業者１２１は、符号列中のフレーム順をランダムに並べ替えた符号列１２２を配信する。同時に、符号列中のフレーム順を正しい順番に並べ替えるのに必要なデスクランブル解読キーをも用意しておく。情報端末装置１２３は、具体的にはユーザが使用するパーソナルコンピュータ、ＴＶ受信機、ＣＡＴＶ受信機、携帯電話、携帯情報端末装置（ＰＤＡ）等の装置である。この情報端末装置１２３には、あらかじめ符号列変換装置１のほか、符号列を伸張する画像伸張装置１２５、画像を表示する表示デバイス１２６などのシステムが組み込まれている。
【０１１４】
ユーザは、コンテンツ事業者１２１から有償でデスクランブル解読キーの提供を受けて、符号列変換装置１により、符号列１２２を符号列中のフレーム順を正しい順番に並べ替え、フレーム順が正しい順番である符号列１２４を得ることができる。よって、ユーザはＭｏｔｉｏｎ静止画像を伸張し、動画像のコンテンツを見ることができる。なお、コンテンツ事業者１２１が符号列中のフレーム順をランダムに並べ替える場合にも、符号列変換装置１を用いることができる。
【０１１５】
図３２は、情報端末装置１２３において符号列変換装置１が行なう処理のフローチャートである。符号列変換装置１にＭｏｔｉｏｎ静止画像の符号列１２２が入力されると（ステップＳ１）、符号列１２２の構文解読作業を行い（ステップＳ２）、デスクランブル解読キーの有無を判断する（ステップＳ３）。デスクランブル解読キーが存在する場合は（ステップＳ３のＹ）、符号列１２２のデスクランブル作業を行い（ステップＳ４）、符号列１２４の作成作業を行なう（ステップＳ５，Ｓ６）。そして、作成した符号列１２４に新たなヘッダを付与して（ステップＳ７）、処理を終了する。デスクランブル解読キーが存在しない場合は（ステップＳ３のＮ）、処理を終了する。
【０１１６】
（５）符号列変換装置１によって既存の符号列のフレーム間に別のフレームを挿入した新たな符号列を作成して、符号列挿入処理を実現する例について説明する。
【０１１７】
図２９に示すのは、本システムでＭｏｔｉｏｎ静止画像用の符号列を取り扱う場合の例である。すなわち、符号列変換装置１は、一連の動画像を構成する全フレーム８４を含んだ符号列８１から、奇数又は偶数順番毎にフレーム８４を間引いた符号列８２，８３に分解することで、符号量の削減及び符号列の複数化を図ることが出来る。
【０１１８】
逆に、奇数及び偶数順番のフレーム８４だけでそれぞれ構成される二つの符号列８２，８３から、全フレーム８４を含んだ符号列８１を合成することで、符号の加算を行なうこともできる。
【０１１９】
これらの機能は、Ｍｏｔｉｏｎ静止画像の早送り表示や、Ｍｏｔｉｏｎ静止画像のスムースな表示に、応用することができる。
【０１２０】
［発明の実施の形態２］
図３３は、符号列変換装置１を応用した、監視カメラシステム１３１の電気的な接続を示すブロック図である。この監視カメラシステム１３１は、ネットワーク１３２に、画像入力装置１３３、圧縮装置１３４、符号列変換装置１などが接続されて構成されている。画像入力装置１３３で画像を撮影すると、その画像データは圧縮装置１３４によりＪＰＥＧ２０００やＭｏｔｉｏｎ  ＪＰＥＧ２０００アルゴリズムなどでフレームごとに１又は複数の小領域に分割し、この小領域ごとに画素値を直交変換して、階層的に圧縮符号化され、ネットワーク１３２を介して所定の通信インターフェイスで符号列変換装置１側に送信される（送信手段）。符号列変換装置１側でこれを所定の通信インターフェイスを介して受信すると（受信手段）、符号列変換装置１の詳細な構成、動作は実施の形態１で説明したとおりであり、受信した符号列に対して実施の形態１で説明したような変換を行って、新たな符号列として出力する。この新たな符号列はバッファメモリ１３５にバッファリングされ、伸張装置１３６により伸張されて、表示装置１３７に表示される。
【０１２１】
［発明の実施の形態３］
図３４は、符号列変換装置１を応用した、画像表示システム１４１の電気的な接続を示すブロック図である。この画像表示システム１４１は、ネットワーク１４２に、画像サーバ１４３、符号列変換装置１などが接続されている。画像サーバ１４３は、画像データをＪＰＥＧ２０００やＭｏｔｉｏｎ  ＪＰＥＧ２０００アルゴリズムなどでフレームごとに１又は複数の小領域に分割し、この小領域ごとに画素値を直交変換して、階層的に圧縮符号化されている符号列を記憶していて、この符号列は、ネットワーク１４２を介して所定の通信インターフェイスで符号列変換装置１側に送信される（送信手段）。符号列変換装置１側でこれを所定の通信インターフェイスを介して受信する（受信手段）。符号列変換装置１の詳細な構成、動作は実施の形態１で説明したとおりであり、受信した符号列に対して実施の形態１で説明したような変換を行って、新たな符号列として出力する。この新たな符号列はバッファメモリ１４４にバッファリングされ、伸張装置１４５により伸張されて、表示装置１４６に表示される。
【０１２２】
なお、監視カメラシステム１３１、画像表示システム１４１と同様の構成により、所定の入力装置によりユーザの編集の指示を受付けて（入力手段）、画像サーバ１４３が送信した符号列を、ユーザが符号列変換装置１によりユーザの指示に応じて所望の符号列に編集することで、画像の編集を行なう画像編集システムを構成することもできる。
【０１２３】
【発明の効果】
請求項１に記載の発明は、あらゆる種類のパケット操作に対して柔軟にかつ高速に処理を実行することができ、極めて汎用性が高くかつ変換処理速度の速い、高性能な符号列変換装置を低製造コストで実現することができる。
【０１２４】
請求項２に記載の発明は、請求項１に記載の発明において、静止画の符号列に対し、あらゆる種類のパケット操作に対して柔軟にかつ高速に処理を実行することができ、極めて汎用性が高くかつ変換処理速度の速い、高性能な符号列変換装置を低製造コストで実現することができる。
【０１２５】
請求項３に記載の発明は、請求項１に記載の発明において、動画の符号列に対し、あらゆる種類のパケット操作に対して柔軟にかつ高速に処理を実行することができ、極めて汎用性が高くかつ変換処理速度の速い、高性能な符号列変換装置を低製造コストで実現することができる。
【０１２６】
請求項４に記載の発明は、請求項１〜３の何れかの一に記載の発明において、ＡＳＩＣやＦＰＧＡが持つ高速性と、ＭＰＵ上におけるソフトウエア処理の持つ柔軟性の両方を、同時に兼ね備えたリコンフィギャラブル・ロジックを上位階層で使用することにより、あらゆる種類のパケット操作に対して、柔軟にかつ高速に処理を実行することができ、極めて汎用性が高くかつ変換処理速度の速い、高性能な符号列変換装置を低製造コストで実現することができる。
【０１２７】
請求項５に記載の発明は、請求項４に記載の発明において、下位階層ではＭＰＵ又はＤＳＰによる柔軟な処理を行なうことにより、あらゆる種類のパケット操作に対して、柔軟にかつ高速に処理を実行することができ、極めて汎用性が高くかつ変換処理速度の速い、高性能な符号列変換装置を低製造コストで実現することができる。
【０１２８】
請求項６に記載の発明は、請求項４又は５に記載の発明において、アルゴリズム実行部の一部を外部のシステムに担わせることができる。
【０１２９】
請求項７に記載の発明は、請求項４に記載の発明において、ＡＳＩＣやＦＰＧＡが持つ高速性と、ＭＰＵ上におけるソフトウエア処理の持つ柔軟性の両方を、同時に兼ね備えたリコンフィギャラブル・ロジックを新たな符号列の作成に使用することにより、あらゆる種類のパケット操作に対して、柔軟にかつ高速に処理を実行することができ、極めて汎用性が高くかつ変換処理速度の速い、高性能な符号列変換装置を低製造コストで実現することができる。
【０１３０】
請求項８に記載の発明は、請求項４に記載の発明において、符号列の構文の解析はチューリングマシンの処理により柔軟に行なうことができる。
【０１３１】
請求項９に記載の発明は、請求項２に記載の発明において、静止画像の符号列の符号の一部を削減した新たな符号列を作成する処理を、極めて汎用性が高くかつ変換処理速度の速い符号列変換装置で実現することができる。
【０１３２】
請求項１０に記載の発明は、請求項３に記載の発明において、動画像の符号列の符号の一部を削減した新たな符号列を作成する処理を、極めて汎用性が高くかつ変換処理速度の速い符号列変換装置で実現することができる。
【０１３３】
請求項１１に記載の発明は、請求項１〜１０の何れかの一に記載の発明において、符号列に新たなパケットを加えた新たな符号列を作成する処理を、極めて汎用性が高くかつ変換処理速度の速い符号列変換装置で実現することができる。
【０１３４】
請求項１２に記載の発明は、請求項１〜１１の何れかの一に記載の発明において、単一の符号列を分割して複数の新たな符号列を作成する処理を、極めて汎用性が高くかつ変換処理速度の速い符号列変換装置で実現することができる。
【０１３５】
請求項１３に記載の発明は、請求項１〜１２の何れかの一に記載の発明において、符号列を並べ替えた新たな符号列を作成する処理を、極めて汎用性が高くかつ変換処理速度の速い符号列変換装置で実現することができる。
【０１３６】
請求項１４に記載の発明は、請求項１〜１３の何れかの一に記載の発明において、符号列のフレーム間に別のフレームを挿入した新たな符号列を作成する処理を、極めて汎用性が高くかつ変換処理速度の速い符号列変換装置で実現することができる。
【０１３７】
請求項１５に記載の発明は、請求項９に記載の発明において、新たな符号列において、画像周波数の高低に伴う画質劣化を抑えることができる。
【０１３８】
請求項１６に記載の発明は、請求項１０に記載の発明において、新たな符号列において、動き量の大小や画像周波数の高低に伴う画質劣化を抑えることができる。
【０１３９】
請求項２１に記載の発明は、あらゆる種類のパケット操作に対して柔軟にかつ高速に処理を実行することができ、極めて汎用性が高くかつ変換処理速度の速い、高性能なカメラシステムを低製造コストで実現することができる。
【０１４０】
請求項２２に記載の発明は、あらゆる種類のパケット操作に対して柔軟にかつ高速に処理を実行することができ、極めて汎用性が高くかつ変換処理速度の速い、高性能な画像表示システムを低製造コストで実現することができる。
【０１４１】
請求項２３に記載の発明は、あらゆる種類のパケット操作に対して柔軟にかつ高速に処理を実行することができ、極めて汎用性が高くかつ変換処理速度の速い、高性能な画像編集システムを低製造コストで実現することができる。
【０１４２】
請求項２４に記載の発明は、本発明のプログラムに基づく処理により、請求項１〜２０の何れかの一に記載の発明と同様の作用、効果を奏することができる。
【０１４３】
請求項２５に記載の発明は、記憶しているプログラムに基づく処理により、請求項１〜２０の何れかの一に記載の発明と同様の作用、効果を奏することができる。
【図面の簡単な説明】
【図１】二次元ＤＣＴ（離散コサイン変換）を使った場合の基底ベクトルを説明する説明図である。
【図２】二次元ＤＷＴ（離散ウェーブレット変換）を使った場合のオクターブ分割を説明する説明図である。
【図３】ＪＰＥＧ２０００符号列の構文解析、パケット長の読み取りについて説明する概念図である。
【図４】ＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するためのブロック図である。
【図５】デコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示す図である。
【図６】タイル分割されたカラー画像の各コンポーネントの例を示す図である。
【図７】プレシンクトとコードブロックの関係を説明するための図である。
【図８】符号列の構造を説明するための図である。
【図９】符号化されたウェーブレット係数値の収容されたパケットを、サブバンドごとに表わしたときの符号列の構造を示す説明図である。
【図１０】発明の実施の形態１にかかる符号列変換装置のハードウエア構成を示すブロック図である。
【図１１】符号列変換装置によるアルゴリズムの実行部の階層構造を概念的に示す説明図である。
【図１２】符号列変換装置の処理の概要を示す機能ブロック図である。
【図１３】符号列作成手段とそれに関わる機能ブロックを、ＲＣＬの処理で実現した場合の具体的な機能ブロック図である。
【図１４】符号列作成手段とそれに関わる機能ブロックを、ＲＣＬの処理で実現した場合の具体的な機能ブロック図である。
【図１５】符号列変換装置で伸張コンポーネントを輝度成分に限定して表示させた時の様子を説明するための図である。
【図１６】図１５で新たに生成した符号列を示す図である。
【図１７】符号列変換装置と静止画像伸張装置を用いて、特定ＬＬサブバンドまでの伸張動作を行った時の、表示までに要した時間を示す図である。
【図１８】図１７の各ＬＬサブバンドの符号列を示す図である。
【図１９】符号列変換装置で、原画像を指定した表示領域内に高速で縮小表示させる場合の、特定ＬＬサブバンドの決め方を説明するための図である。
【図２０】図１９の３ＬＬサブバンドの符号列を示す図である。
【図２１】符号列変換装置で、伸張領域を画像中心部に限定して表示させた時の様子を説明するための図である。
【図２２】図２１で新たに生成した符号列を示す図である。
【図２３】符号列変換装置で、動画をサムネイル表示する場合の説明図である。
【図２４】符号列変換装置で、複数の符号列から単一の符号列を作成する場合の説明図である。
【図２５】符号列変換装置で、元の符号列を二種類の符号列に複数化した時の様子を説明するための図である。
【図２６】符号列変換装置で、タイルの表示順序を並べ替えた時の様子を説明するための図である。
【図２７】符号列変換装置で、Ｍｏｔｉｏｎ静止画像のサムネイル表示を可能とする場合の説明図である。
【図２８】図２７の場合において、全フレームを含んだ完全な符号列からフレームを間引く他の例の説明図である。
【図２９】符号列変換装置で、フレームごとに符号列の補間、間引きを行なう場合の説明図である。
【図３０】認証キーの存在を条件に複数の符号列から単一の符号列を作成する場合の説明図である。
【図３１】Ｍｏｔｉｏｎ静止画像の符号列の配信の具体的な応用例を説明する説明図である。
【図３２】図３１のシステムにおける符号列作成装置の処理を示すフローチャートである。
【図３３】発明の実施の形態２にかかるカメラシステムの全体構成を示すブロック図である。
【図３４】発明の実施の形態３にかかる画像表示システムの全体構成を示すブロック図である。
【符号の説明】
１        符号列変換装置
２        ＭＰＵ
８        リコンフィギャラブル・ロジック
１１      アルゴリズム実行部、アルゴリズム処理手段
１２      上位階層
１３      下位階層
１３１    カメラシステム
１３４    圧縮装置
１３６    伸張装置
１３７    表示装置
１４１    画像表示システム
１４５    伸張装置
１４６    表示装置
【図１】
2004153621.tif 000003
【図２】
2004153621.tif 000004
【図３】
2004153621.tif 000005
【図４】
2004153621.tif 000006
【図５】
2004153621.tif 000007
【図６】
2004153621.tif 000008
【図７】
2004153621.tif 000009
【図８】
2004153621.tif 000010
【図９】
2004153621.tif 000011
【図１０】
2004153621.tif 000012
【図１１】
2004153621.tif 000013
【図１２】
2004153621.tif 000014
【図１３】
2004153621.tif 000015
【図１４】
2004153621.tif 000016
【図１５】
2004153621.tif 000017
【図１６】
2004153621.tif 000018
【図１７】
2004153621.tif 000019
【図１８】
2004153621.tif 000020
【図１９】
2004153621.tif 000021
【図２０】
2004153621.tif 000022
【図２１】
2004153621.tif 000023
【図２２】
2004153621.tif 000024
【図２３】
2004153621.tif 000025
【図２４】
2004153621.tif 000026
【図２５】
2004153621.tif 000027
【図２６】
2004153621.tif 000028
【図２７】
2004153621.tif 000029
【図２８】
2004153621.tif 000030
【図２９】
2004153621.tif 000031
【図３０】
2004153621.tif 000032
【図３１】
2004153621.tif 000033
【図３２】
2004153621.tif 000034
【図３３】
2004153621.tif 000035
【図３４】
2004153621.tif 000036