(57)【要約】【課題】エンコードに必要な計算量やメモリ容量が少なくて済むと同時にブロックノイズやモスキートノイズ等を発生することのない、従来とは異なる画像圧縮を実現すること。【解決手段】一連の複数の画像の画像データを圧縮するためのプログラムであって、一連の複数の画像について、各画像の対応する画素値又は画素の成分値であるサンプリングデータを一連の画像の並びに対応させて並べたデータストリームについて、圧縮を行う手段と、前記各データストリームについて、圧縮されたデータを画素の位置情報に関連づけて蓄積する手段としてコンピュータを機能させることを特徴とするプログラム。【選択図】        図１２
2006186887.tif 000002
【特許請求の範囲】
【請求項１】
一連の複数の画像の画像データを圧縮するためのプログラムであって、
一連の複数の画像について、各画像の対応する位置における画素値又は画素の成分値であるサンプリングデータを一連の画像の並びに対応させて並べたデータストリームについて、キーデータを抽出するキーデータ抽出手段と、
前記各データストリームについて、キーデータとして抽出されたサンプリングデータを圧縮データとして蓄積する手段と、
してコンピュータを機能させることを特徴とするプログラム。
【請求項２】
一連の複数の画像の画像データを圧縮するためのプログラムであって、
一連の複数の画像について、各画像の対応する位置における画素値又は画素の成分値であるサンプリングデータを一連の画像の並びに対応させて並べたデータストリームについて、圧縮を行う手段と、
前記各データストリームについて、圧縮されたデータを画素の位置情報に関連づけて蓄積する手段と、
してコンピュータを機能させることを特徴とするプログラム。
【請求項３】
請求項１又は２のいずれかにおいて、
前記キーデータ抽出手段は、
前記データストリームを構成するサンプリングデータの差分商を求める手段と、
求めた差分商としきい値とを比較し、比較結果に基づきその差分商に対応するサンプリングデータを抽出する手段と、
を含むことを特徴とするプログラム。
【請求項４】
請求項１又は２のいずれかにおいて、
前記キーデータ抽出手段は、
データストリームを構成するサンプリングデータｙiとｙi+1のデータ間を、補間するための補間関数Ｓi（ｘ）の情報を求める補間関数演算手段と、
前記補間関数Ｓi（ｘ）に基づき、サンプリングデータｙiに対応した差分パラメータｋiを求める差分パラメータ演算手段と、
ｙiに対応した差分パラメータｋiに基づき、ｙiをキーデータとして選択するか否か判断してキーデータを選択するキーデータ選択手段と、
を含むことを特徴とするプログラム。
【請求項５】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１乃至４のいずれかのプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項６】
一連の複数の画像の画像データを圧縮するための画像圧縮システムであって、
一連の複数の画像について、各画像の対応する位置における画素値又は画素の成分値であるサンプリングデータを一連の画像の並びに対応させて並べたデータストリームについて、キーデータを抽出するキーデータ抽出手段と、
前記各データストリームについて、キーデータとして抽出されたサンプリングデータを圧縮データとして蓄積する手段と、
を含むことを特徴とする画像圧縮システム。
【請求項７】
一連の複数の画像の画像データを圧縮するための画像圧縮システムであって、
一連の複数の画像について、各画像の対応する位置における画素値又は画素の成分値であるサンプリングデータを一連の画像の並びに対応させて並べたデータストリームについて、圧縮を行う手段と、
前記各データストリームについて、圧縮されたデータを画素の位置情報に関連づけて蓄積する手段と、
を含むことを特徴とする画像圧縮システム。
【請求項８】
一連の複数の画像の画像データを圧縮するための画像圧縮方法であって、
一連の複数の画像について、各画像の対応する位置における画素値又は画素の成分値であるサンプリングデータを一連の画像の並びに対応させて並べたデータストリームについて、キーデータを抽出するステップと、
前記各データストリームについて、キーデータとして抽出されたサンプリングデータを圧縮データとして蓄積するステップと、
を含むことを特徴とする画像圧縮方法。
【請求項９】
一連の複数の画像の画像データを圧縮するための画像圧縮方法であって、
一連の複数の画像について、各画像の対応する位置における画素値又は画素の成分値であるサンプリングデータを一連の画像の並びに対応させて並べたデータストリームについて、圧縮を行うステップと、
前記各データストリームについて、圧縮されたデータを画素の位置情報に関連づけて蓄積するステップと、
を含むことを特徴とする画像圧縮方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラム、情報記憶媒体、画像圧縮システム及び画像圧縮方法に関する。
【背景技術】
【０００２】
動画像や静止画像を圧縮する方法としては、従来よりＭＰＥＧ等が知られている。
【非特許文献１】J. Jain and A. Jain. Displacement measurement and its application in interframe image coding. In Transactions on Communications, volume COM-29. IEEE, December 1981.
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしＭＰＥＧ等では、画像を８×８の画素ブロックに分割し、各画素ブロック毎に周波数変換（直交変換＋量子化）を行うので、画素の位置情報が損失し、結果としてブロックノイズやモスキートノイズが発生するという問題点があった。
【０００４】
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、デコードに必要な計算量やメモリ容量が少なくて済むと同時にブロックノイズやモスキートノイズ等を発生することのない、従来とは異なる画像圧縮を実現するためのプログラム、情報記憶媒体、画像圧縮システム及び画像圧縮方法を提供することである。
【課題を解決するための手段】
【０００５】
（１）本発明は、
一連の複数の画像の画像データを圧縮するためのプログラムであって、
一連の複数の画像について、各画像の対応する位置における画素値又は画素の成分値であるサンプリングデータを一連の画像の並びに対応させて並べたデータストリームについて、キーデータを抽出するキーデータ抽出手段と、
前記各データストリームについて、キーデータとして抽出されたサンプリングデータを圧縮データとして蓄積する手段と、
してコンピュータを機能させることを特徴とする。
【０００６】
また本発明は、上記各手段を含むデータ圧縮システムに関係する。また本発明は、コンピュータ読み取り可能な情報記憶媒体であって、上記各手段としてコンピュータを機能させるプログラムを記憶（記録）した情報記憶媒体に関係する。
【０００７】
また本発明は、一連の複数の画像の画像データを圧縮するための画像圧縮方法であって、
一連の複数の画像について、各画像の対応する位置における画素値又は画素の成分値であるサンプリングデータを一連の画像の並びに対応させて並べたデータストリームについて、キーデータを抽出するステップと、
前記各データストリームについて、キーデータとして抽出されたサンプリングデータを圧縮データとして蓄積するステップと、
を含むことを特徴とする画像圧縮方法に関係する。
【０００８】
一連の複数の画像データとは、例えば時系列に取得された第１の画像、第２の画像、・・・第ｎの画像を含む複数の画像データであり、例えばカメラ等で実写された動画像でもよいし、アニメやリアルタイム画像生成により生成された一連の画像でもよい。
【０００９】
画素値とは、例えばＲＧＢ値やＹＵＶ値等の各画素毎に与えられたデータである。各画素値が複数の成分で構成される場合には、対応する画素の成分単位でデータストリームを構成するようにしてもよい。例えば各画素がＲＧＢ成分を有する場合には、Ｒ成分、Ｇ成分、Ｂ成分の値でもよいし、例えば各画素がＹＵＶ成分を有する場合には、Ｙ成分、Ｕ成分、Ｖ成分の値でもよい。
【００１０】
また画素値は例えば整数値（ＲＧＢ値等）をとる場合でもよいし、実数値をとる場合（例えば色空間変換を行った場合等）でもよい。
【００１１】
またデータストリームのサンプリングデータは一連の画像の並びに対応させて並んでおり、一連の画像が時系列に並んだものであれば、データストリームは各画素の画素値又は各画素の画素の成分値が時系列に並んだものである。
【００１２】
本発明によれば、複数の画像の各画素値又は各画素の各成分値を一連の画像の並びに対応させて並べたデータストリームについて、キーデータを抽出し、圧縮データとして蓄積する。
【００１３】
ここで前記各データストリームについて、圧縮されたデータを画素の位置情報に関連づけて蓄積するようにしてもよい。
【００１４】
このように本発明では一連に（例えば時系列に）取得された複数の画像について、一連の並びの方向に（例えば時間軸方向に）圧縮を行うので、ＭＰＥＧ等のように１つの画像を８×８の画素ブロックに分割し、各画素ブロック毎に周波数変換（直交変換＋量子化）を行う場合のように画素の位置情報が損失しない。したがってブロックノイズやモスキートノイズが発生しないという効果を有する。
【００１５】
なお前記圧縮データを、前記圧縮データから求めたスプライン関数を用いて復元するようにしてもよい。
【００１６】
（２）本発明は、
一連の複数の画像の画像データを圧縮するためのプログラムであって、
一連の複数の画像について、各画像の対応する位置における画素値又は画素の成分値であるサンプリングデータを一連の画像の並びに対応させて並べたデータストリームについて、圧縮を行う手段と、
前記各データストリームについて、圧縮されたデータを画素の位置情報に関連づけて蓄積する手段と、
してコンピュータを機能させることを特徴とする。
【００１７】
また本発明は、上記各手段を含むデータ圧縮システムに関係する。また本発明は、コンピュータ読み取り可能な情報記憶媒体であって、上記各手段としてコンピュータを機能させるプログラムを記憶（記録）した情報記憶媒体に関係する。
【００１８】
又は本発明は、一連の複数の画像の画像データを圧縮するための画像圧縮方法であって、
一連の複数の画像について、各画像の対応する位置における画素値又は画素の成分値であるサンプリングデータを一連の画像の並びに対応させて並べたデータストリームについて、圧縮を行うステップと、
前記各データストリームについて、圧縮されたデータを画素の位置情報に関連づけて蓄積するステップと、
を含むことを特徴とする画像圧縮方法に関係する。
【００１９】
一連の複数の画像データとは、例えば時系列に取得された第１の画像、第２の画像、・・・第ｎの画像を含む複数の画像データであり、例えばカメラ等で実写された動画像でもよいし、アニメやリアルタイム画像生成により生成された一連の画像でもよい。
【００２０】
画素値とは、例えばＲＧＢ値やＹＵＶ値等の各画素毎に与えられたデータである。各画素値が複数の成分で構成される場合には、対応する画素の成分単位でデータストリームを構成するようにしてもよい。例えば各画素がＲＧＢ成分を有する場合には、Ｒ成分、Ｇ成分、Ｂ成分の値でもよいし、例えば各画素がＹＵＶ成分を有する場合には、Ｙ成分、Ｕ成分、Ｖ成分の値でもよい。
【００２１】
また画素値は例えば整数値（ＲＧＢ値等）をとる場合でもよいし、実数値をとる場合（例えば色空間変換を行った場合等）でもよい。
【００２２】
またデータストリームのサンプリングデータは一連の画像の並びに対応させて並んでおり、一連の画像が時系列に並んだものであれば、データストリームは各画素の画素値又は各画素の画素の成分値が時系列に並んだものである。
【００２３】
本発明によれば、複数の画像の各画素値又は各画素の各成分値を一連の画像の並びに対応させて並べたデータストリームについて、一定の規則で圧縮を行い、圧縮されたデータを画素の位置情報に関連づけて蓄積する。
【００２４】
ここでの圧縮は、例えば特開2000-106529「サンプリングデータ圧縮システムおよびデータ圧縮方法」でもよいし、「Wavelet変換を用いた圧縮」でもよいし、その他の圧縮方法でもよい。
【００２５】
このように本発明では一連に（例えば時系列に）取得された複数の画像について、一連の並びの方向に（例えば時間軸方向に）圧縮を行うので、ＭＰＥＧ等のように１つの画像を８×８の画素ブロックに分割し、各画素ブロック毎に周波数変換（直交変換＋量子化）を行う場合のように画素の位置情報が損失しない。従ってブロックノイズやモスキートノイズが発生しないという効果を有する。
【００２６】
なお前記圧縮データを、前記圧縮データから求めたスプライン関数を用いて復元するようにしてもよい。
【００２７】
（３）本発明のプログラム、情報記憶媒体、画像圧縮システム、画像圧縮方法において、
前記キーデータ抽出手段は、
前記データストリームを構成するサンプリングデータの差分商を求める手段と、
求めた差分商としきい値とを比較し、比較結果に基づきその差分商に対応するサンプリングデータを抽出する手段とを含むことを特徴とする。
【００２８】
ここにおいて、比較した結果が大きい場合、さらに、まえに記憶したサンプリングデータとの間隔が他のしきい値より大きいか比較する手段を備え、他のしきい値と比較した結果が大きい場合に圧縮データとして記憶するようにしてもよい。
【００２９】
また前記差分商を求める手段は、高階の差分商を求めるようにしてもよい。
【００３０】
また上記いずれかのデータ圧縮プログラムにより圧縮された前記圧縮データを、前記圧縮データから求めたスプライン関数を用いて復元するようにしてもよい。
【００３１】
また複数のサンプリングデータを圧縮する場合には、複数のサンプリングデータの差分商を求め、求めた差分商と、しきい値とを比較し、比較した結果が大きい場合、その差分商に対応するサンプリングデータを圧縮データとして記憶するようにしてもよい。
【００３２】
また比較した結果が大きい場合、さらに、まえに記憶したサンプリングデータとの間隔が他のしきい値より大きいか比較し、他のしきい値と比較した結果が大きい場合、圧縮データとして記憶するようにしてもよい。
【００３３】
また圧縮された前記圧縮データを、前記圧縮データから求めたスプライン関数を用いて復元するようにしてもよい。
【００３４】
（４）本発明のプログラム、情報記憶媒体、画像圧縮システム、画像圧縮方法において、
前記キーデータ抽出手段は、
データストリームを構成するサンプリングデータｙiとｙi+1のデータ間を、補間するための補間関数Ｓi（ｘ）の情報を求める補間関数演算手段と、
前記補間関数Ｓi（ｘ）に基づき、サンプリングデータｙiに対応した差分パラメータｋiを求める差分パラメータ演算手段と、
ｙiに対応した差分パラメータｋiに基づき、ｙiをキーデータとして選択するか否か判断してキーデータを選択するキーデータ選択手段と、
を含むことを特徴とする。
【００３５】
ここにおいてサンプリングデータｙi（ｉ＝０，１，２、・・・）とは離散データである。
【００３６】
キーデータとは、間引きデータ圧縮を行う際に間引かないデータのことであり、圧縮されたデータを復元する場合には、キーデータに基づき、補間曲線の情報等を用いて間引いたデータを復元する。
【００３７】
本発明によれば、ベタのサンプリングデータ間（本来ならデータのない区間）についてあえて補間関数を考えて、ｙiとｙi+1間の補間関数Ｓi（ｘ）を求め、Ｓi（ｘ）に基づきｙiに対応した差分パラメータｋiを求める。そしてｙiに対応した差分パラメータｋiに基づき、ｙiをキーデータとして選択するか否か判断してキーデータを選択することができるため、サンプリングデータからキーデータを選択する作業を自動化することができる。
【００３８】
また前記差分パラメータ演算手段は、
補間関数Ｓi（ｘ）の係数の値に基づき差分パラメータｋiを求めるようにしてもよい。
【００３９】
例えば補間関数をｎ次スプライン関数で与える場合、補間関数は、Ｓi（ｘ）＝ａni（ｘ−ｘi）n ＋・・・＋ａ1i（ｘ−ｘi）＋ａ0iで与えられるため最高次の係数ａniに基づき差分パラメータｋiを求めるようにしてもよい。
【００４０】
また前記差分パラメータ演算手段は、
ｙi-1からｙiの間を補間するための第１の補間関数Ｓiー1（ｘ）と、ｙiとｙi+1の間を補間するための第２の補間関数Ｓi（ｘ）に基づき、サンプリングデータｙiに対応した差分パラメータｋiを求めるようにしてもよい。
【００４１】
本発明によれば、ベタのサンプリングデータ間（本来ならデータのない区間）についてあえて補間関数を考えて、ｙiの前後の第１の補間関数Ｓi（ｘ）と第２のＳi+1（ｘ）に基づきｙiのに対応した差分パラメータｋiを求める。そしてｙiに対応した差分パラメータｋiに基づき、ｙiをキーデータとして選択するか否か判断してキーデータを選択することができるため、サンプリングデータからキーデータを選択する作業を自動化することができる。
【００４２】
また前記差分パラメータ演算手段は、
第１の補間関数Ｓiー1（ｘ）と第２の補間関数Ｓi（ｘ）に基づき差関数Ｆi（ｘ）を設定し、差関数Ｆi（ｘ）に基づき差分パラメータｋiを求めるようにしてもよい。
【００４３】
ここにおいて差関数Ｆi（ｘ）は、第１の補間関数Ｓiー1（ｘ）と第２の補間関数Ｓi（ｘ）の差に基づき設定されるものでも良いし、下記のような関数として設定されるものでもよい。
【００４４】
【数３】
2006186887.tif 000003
【００４５】
また前記差分パラメータ演算手段は、
前記差関数Ｆi（ｘ）を、第１の補間関数Ｓiー1（ｘ）と第２の補間関数Ｓi（ｘ）の差として与えられる関数として設定し、当該差関数Ｆi（ｘ）の係数の値に基づき差分パラメータｋiを求めるようにしてもよい。
【００４６】
例えばｎ次スプライン関数の場合、差関数はＦi（ｘ）＝ｌi（ｘ−ｘi）nで与えられるのでｌiに基づき差分パラメータｋiを求めるようにしてもよい。
【００４７】
また前記差分パラメータ演算手段は、
前記差関数Ｆi（ｘ）を、第１の補間関数Ｓiー1（ｘ）と第２の補間関数Ｓi（ｘ）の差として与えられる関数として設定し、当該差関数Ｆi（ｘ）の積分値を求め、求めた積分値に基づき差分パラメータｋiを求めるようにしてもよい。
【００４８】
例えばｘi、ｘi+1によって定まる小区間における関数Ｓi（ｘ）と関数Ｓi+1（ｘ）によって定まる領域の面積に基づき差分パラメータｋiを求めるようにしてもよい。
【００４９】
ここにおいて差関数Ｆi（ｘ）は、第１の補間関数Ｓiー1（ｘ）と第２の補間関数Ｓi（ｘ）の差に基づき設定されるものでも良いし、下記のような関数として設定されるものでもよい。
【００５０】
【数３】
2006186887.tif 000004
【００５１】
また前記キーデータ選択手段は、
差分パラメータに基づき、しきい値を決定し、
前記差分パラメータｋiと当該しきい値を比較して、比較結果に基づきキーデータとなるサンプリングデータを選択するようにしてもよい。
【００５２】
また前記キーデータ選択手段は、
所定のしきい値と前記差分パラメータｋiとを比較して、比較結果に基づきキーデータとなるサンプリングデータを選択するようにしてもよい。
【００５３】
また前記各補間関数Ｓi（ｘ）をスプライン関数で設定するようにしてもよい。
【００５４】
実用上は３次スプライン関数であることが多い。
【発明を実施するための最良の形態】
【００５５】
以下、本発明の好適な実施形態について図面を用いて説明する。
【００５６】
なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を何ら限定するものではない。また本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００５７】
１．第１の実施の形態
図１は本実施の形態の画像圧縮の概念について説明するための図である。
【００５８】
Ｇ１、Ｇ２、Ｇ３、・・・Ｇｎは一連の複数の画像（時系列に取得された複数の画像）であり、たとえば、カメラ等の撮像手段で撮影された一連の画像（映像）でもよいし、アニメやリアルタイム画像生成により生成された一連の画像でもよい。
【００５９】
１０は、圧縮対象となる第１の画像Ｇ１〜第ｎの画像Ｇｎの複数の画像について、各画像の対応する位置における画素列Ｐ１，Ｐ２、Ｐ３、・・・・、Ｐｎである。
【００６０】
１２は当該画素列の赤（ｒ）成分値ｒ１，ｒ２，ｒ３，・・・、ｒｎであるサンプリングデータを一連の画像の並びに対応させて並べた（時系列に並べた）データストリームである。
【００６１】
１４は当該画素列の緑（ｇ）成分値ｇ１，ｇ２，ｇ３，・・・、ｇｎであるサンプリングデータを一連の画像の並びに対応させて並べた（時系列に並べた）データストリームである。
【００６２】
１６は当該画素列の青（ｂ）成分値ｂ１，ｂ２，ｂ３，・・・、ｂｎであるサンプリングデータを一連の画像の並びに対応させて並べた（時系列に並べた）データストリームである。
【００６３】
なおここでは各画素がＲＧＢ成分を有する場合を例にとり説明するが、これに限られない。たとえば各画素がＹＵＶ成分を有する場合にＹ成分、Ｕ成分、Ｖ成分毎にデータストリームを形成するようにしてもよい。また各画素単位の画素値でデータストリームを形成するようにしてもよい。
【００６４】
本実施の形態では、サンプリングデータを一連の画像の並びに対応させて並べた（時系列に並べた）データストリームについて、キーデータを抽出し、各データストリームについて、キーデータとして抽出されたサンプリングデータを圧縮データとして蓄積する。
【００６５】
本実施の形態の画像圧縮によれば、ＭＰＥＧ等のように画像を８×８の画素ブロックに分割し、各画素ブロック毎に周波数変換（直交変換＋量子化）を行う場合のようにブロックノイズやモスキートノイズが発生しないという効果を有する。
【００６６】
図２は本実施の形態のデータストリームのサンプリングデータについて説明するための図である。
【００６７】
５０は、時系列に取得された第１の画像Ｇ１、第２の画像Ｇ２、・・・、第ｎの画像Ｇｎの所与の画素ＰのＲ成分、Ｇ成分、Ｂ成分のデータストリームのサンプリングデータを時系列に並べたグラフであり、横軸ｔは時間軸である。
【００６８】
６０は、所与の画素ＰのＲ成分のデータストリームのサンプリングデータを時系列に並べた関数である。
【００６９】
７０は、所与の画素ＰのＧ成分のデータストリームのサンプリングデータを時系列に並べた関数である。
【００７０】
８０は、所与の画素ＰのＢ成分のデータストリームのサンプリングデータを時系列に並べた関数である。
【００７１】
本実施の形態では、一連の画像（映像）のすべての画素について色成分に分解し、時間軸に対し時系列に配置する。Ｒ成分、Ｇ成分、Ｂ成分は、整数値を取る離散データであるため関数６０、７０、８０は階段関数となっている。
【００７２】
図３（Ａ）（Ｂ）（Ｃ）（Ｄ）は、本実施の形態により圧縮されたデータを復元するために用いているスプライン関数の特性について説明するための図である。
【００７３】
図３（Ａ）の点Ａ，点Ｂ，点Ｃを通る３次スプライン曲線２１０をｆ（ｘ）とすると、例えばスプライン関数が通っている点Ｂに関して、１階の導関数ｄｆ（ｘ）／ｄｘ（図３（Ｂ）参照）に対する点Ｂ′、および、２階の導関数ｄ2 ｆ（ｘ）／ｄｘ2 （図３（ｃ）参照）に対応する点Ｂ″において、スプライン関数の性質から連続である。しかし、３階の導関数ｄ3 ｆ（ｘ）／ｄｘ3 に関する点Ｂ″′においては不連続となる（図３（Ｄ）参照）。
【００７４】
本実施の形態では３次スプライン関数がこの３階の導関数において不連続となることを用いて、記憶すべきキーデータを定めている。
【００７５】
例えば図２の関数６０において、時刻ｔ０，ｔ１，ｔ２，・・におけるＲ成分を、例えば、ｘ＝ｘ0 ，ｘ1 ，ｘ2 ，ｘ3 ，ｘ4 ，・・でサンプリングする。
このようなサンプリングされた点により表される関数ｆ（ｘ）を近似するスプライン関数を得るための最適なサンプリング点を抽出することができれば、記憶すべきサンプリングデータを少なくする（圧縮する）ことができる。
【００７６】
このような離散値からなるデータに対しては、微分を計算できないので、本実施の形態においては差分商を計算する。サンプリング点ｘ＝ｘ0 ，ｘ1 ，ｘ2 ，ｘ3 に対する１階の差分商Δｆ（ｘ）は、以下の式で表すことができる。
【００７７】
Δｆ（ｘ0 ）＝（ｆ（ｘ1 ）−ｆ（ｘ0 ））／（ｘ1 −ｘ0 ）
Δｆ（ｘ1 ）＝（ｆ（ｘ2 ）−ｆ（ｘ1 ））／（ｘ2 −ｘ1 ）
Δｆ（ｘ2 ）＝（ｆ（ｘ3 ）−ｆ（ｘ2 ））／（ｘ3 −ｘ2 ）
またサンプリング点ｘ＝ｘ0 ，ｘ1 に対する２階の差分商Δ2 ｆ（ｘ）は、以下の式で表すことができる。
【００７８】
Δ2 ｆ（ｘ0 ）＝（Δｆ（ｘ1 ）−Δ（ｘ0 ））／（ｘ2 −ｘ0 ）
Δ2 ｆ（ｘ1 ）＝（Δｆ（ｘ2 ）−Δ（ｘ1 ））／（ｘ3 −ｘ1 ）
サンプリング点ｘ＝ｘ0 に対する３階の差分商Δ3 ｆ（ｘ）は、以下の式で表すことができる。
【００７９】
Δ3 ｆ（ｘ0 ）＝（Δ2 ｆ（ｘ1 ）−Δ2 ｆ（ｘ0 ））／（ｘ3 −ｘ0 ）
このようにして、３階の差分商を各点について計算する。
【００８０】
上述のように、３次スプライン関数は、３階の微分で不連続となることにより、計算した３階の差分商の値において、ある定められた値εを越えたとき、その点のデータをキーデータとして登録する。このキーデータに基づいて、スプライン関数を求めることにより、元のサンプリングデータを表す関数ｆ（ｘ）に近似する関数を復元することができる。
【００８１】
複数の点（ｘ，ｙ＝ｆ（ｘ））が与えられたとき、その複数の点を通るスプライン関数は、既存の手法を用いることができる。このようにして求めたキーデータは、εを適切にさだめることにより、ｙ＝ｆ（ｘ）として表される曲線を近似するために必要なスプライン関数を求めるために最適なものとなる。
【００８２】
ｆ（ｘ）の３階の差分商の値からどのようにして、キーデータを求めるかを説明したのが図４である。図４において、上述のように計算して、ｆ（ｘ）に対する離散値のデータから各点に対応する３階の差分商Δ3 ｆ（ｘ）の値（Ｐ1 ，Ｐ2 ，Ｐ3 、・・・Ｐi-1 ，Ｐi ）をもとめ、それがεを越える値（Ｐi ）に対応する点のサンプリングデータをキーデータとする。
【００８３】
また、図５（Ａ）のように、ｘの変化に対して十分離れずに密な状態でキーデータがとられる場合、図５（Ｂ）のように、予め定めたδだけ離れた点に対応するものをキーデータとして抽出するようにする。例えば、ｆ（ｘ）に対する３階の差分商のグラフである図６においては、ｘ1でε以上になったとしてキーデータがとられた場合、次にキーデータとして取られるのは、ε以上となるｘ4, ｘ5の両点ではなく、ｘ1からδ以上離れたε以上となるｘ5の点である。
【００８４】
このように、サンプリングデータの差分商データに対して、しきい値εとδの双方用いて記憶すべきキーデータを決定することにより、より圧縮率がよいキーデータを得ることができる。
【００８５】
上述の説明では、３次のスプライン関数を用いて復元することを前提に、３階の差分商を求める例で説明した。しかし、求める差分商はこれに限らず、復元に用いるスプライン関数に応じた高階の差分商を求めてもよい。したがって、例えば、２次のスプライン関数を用いるときは、２階の差分商を求めてもよい。
【００８６】
なお復元に用いる関数はスプライン関数以外(たとえば線形補間など)でも構わない。
【００８７】
次に図７から図１０を用いて、本実施の形態の画像データ圧縮処理の一例について説明する。
【００８８】
図７は、時系列に取得された第１の画像、第２の画像、・・・第ｎの画像の複数の画像の対応する所与の画素（同じ位置座標を有する画素）のＲ成分Ｒ（ｎ）、Ｇ成分Ｇ（ｎ）、Ｂ成分Ｂ（ｎ）値を示した表である。
【００８９】
図８は図７の画素のＲ成分のデータストリームのサンプリングデータについてキーフレームの抽出手法について説明するための図である。
【００９０】
３１０は時系列に取得された画素の属する画像のフレーム番号であり、３２０は各フレームの所与の画素のＲ成分の値である。
【００９１】
また３３０は次フレームの対応成分との一階差分商Ｒ’（ｎ）であり、３４０は前フレームの一階差分商との二階差分商Ｒ”（ｎ）であり、以下の式で求められる。
【００９２】
Ｒ’（ｎ）＝Ｒ（ｎ＋１）−Ｒ（ｎ）
Ｒ”（ｎ）＝｛Ｒ’（ｎ）−Ｒ’（ｎ−１）｝／２
また３５０は、一階差分商に対するしきい値（ｔ１）が２０又は二階差分商に対するしきい値（ｔ２）が１５の場合（第１のケース）にキーデータとして選択されるか否かについて判断結果を示している。
【００９３】
３６０は、一階差分商に対するしきい値（ｔ１）が２０又は二階差分商に対するしきい値（ｔ２）が１０の場合（第２のケース）にキーデータとして選択されるか否かについて判断結果を示している。
【００９４】
３７０は、一階差分商に対するしきい値（ｔ１）が１５又は二階差分商に対するしきい値（ｔ２）が１０の場合（第３のケース）にキーデータとして選択されるか否かについて判断結果を示している。
【００９５】
図９は、第１のケースにおける圧縮前のデータと圧縮後の補間結果について示したグラフである。
【００９６】
４３０−１、４３０−２、・・、４３０−ｎはｎフレーム目におけるＲ成分Ｒ（ｎ）と次フレームのＲ成分Ｒ（ｎ＋１）との一階差分商Ｒ’（ｎ）である。
【００９７】
４４０−２、４４０−３、・・、４４０−ｎはｎフレーム目における一階差分商Ｒ’（ｎ）と前フレームの一階差分商Ｒ’（ｎ−１）との二階差分商Ｒ”（ｎ）である。
【００９８】
４１０は、Ｒ成分の圧縮前のデータであり、４２０はＲ成分の圧縮後のデータを用いた補間結果を示している。
【００９９】
第１のケースでは、第ｎフレームにおける一階差分商Ｒ’（ｎ）に対するしきい値（ｔ１）が２０又は二階差分商Ｒ”（ｎ）に対するしきい値（ｔ２）が１５の場合に第ｎフレームにおけるＲ成分の値Ｒｎがキーデータとして選択されるため、ｎ＝１，２，３，４、１４，１６のＲｎ成分の値がキーデータとして選択される。
【０１００】
図１０は、第２のケースにおける圧縮前のデータと圧縮後の補間結果について示したグラフである。
【０１０１】
４３０−１、４３０−２、・・、４３０−ｎはｎフレーム目におけるＲ成分Ｒ（ｎ）と次フレームのＲ成分Ｒ（ｎ＋１）との一階差分商Ｒ’（ｎ）である。
【０１０２】
４４０−２、４４０−３、・・、４４０−ｎはｎフレーム目における一階差分商Ｒ’（ｎ）と前フレームの一階差分商Ｒ’（ｎ−１）との二階差分商Ｒ”（ｎ）である。
【０１０３】
４１０は、Ｒ成分の圧縮前のデータであり、４２２はＲ成分の圧縮後のデータを用いた補間結果を示している。
【０１０４】
第２のケースでは、第ｎフレームにおける一階差分商Ｒ’（ｎ）に対するしきい値（ｔ１）が２０又は二階差分商Ｒ”（ｎ）に対するしきい値（ｔ２）が１０の場合に第ｎフレームにおけるＲ成分の値Ｒｎがキーデータとして選択されるため、ｎ＝１，２，３，４、５，１０、１４、１５、１６のＲｎ成分の値がキーデータとして選択される。
【０１０５】
第２のケースは第１のケースに比べ、圧縮率は落ちているが、圧縮後の補間精度は上がっている。
【０１０６】
図１１は、第３のケースにおける圧縮前のデータと圧縮後の補間結果について示したグラフである。
【０１０７】
４３０−１、４３０−２、・・、４３０−ｎはｎフレーム目におけるＲ成分Ｒ（ｎ）と次フレームのＲ成分Ｒ（ｎ＋１）との一階差分商Ｒ’（ｎ）である。
【０１０８】
４４０−２、４４０−３、・・、４４０−ｎはｎフレーム目における一階差分商Ｒ’（ｎ）と前フレームの一階差分商Ｒ’（ｎ−１）との二階差分商Ｒ”（ｎ）である。
【０１０９】
４１０は、Ｒ成分の圧縮前のデータであり、４２４はＲ成分の圧縮後のデータを用いた補間結果を示している。
【０１１０】
第３のケースでは、第ｎフレームにおける一階差分商Ｒ’（ｎ）に対するしきい値（ｔ１）が１５又は二階差分商Ｒ”（ｎ）に対するしきい値（ｔ２）が１０の場合に第ｎフレームにおけるＲ成分の値Ｒｎがキーデータとして選択されるため、ｎ＝１，２，３，４、５，９、１０、１３，１４、１５、１６のＲｎ成分の値がキーデータとして選択される。
【０１１１】
第３のケースは第１のケース及び第２のケースに比べ、圧縮率は落ちているが、圧縮後の補間精度は上がっている。
【０１１２】
図１２は、第１の実施の形態の処理の流れについて説明するためのフローチャート図である。
【０１１３】
まず、システム１００は、画像データ取得部１７０から画像データを収集して記憶部１２０等に記憶する（ステップＳ１１０）。
【０１１４】
次に画素のＲＧＢの各成分毎に時系列に取得されたデータストリームのサンプリングデータに基づき一階差分商Ｒ’（ｎ）を求める（ステップＳ１２０）。
【０１１５】
次に一階差分商Ｒ’（ｎ）に基づき二階差分商Ｒ”（ｎ）を求める（ステップＳ１３０）。
【０１１６】
ｎ＝０を設定して一階差分商Ｒ’（ｎ）、二階差分商Ｒ”（ｎ）を読み出す（ステップＳ１４０）。
【０１１７】
一階差分商Ｒ’（ｎ）、二階差分商Ｒ”（ｎ）が無くなるまで以下の処理を行う（ステップＳ１５０）。
【０１１８】
しきい値ｔ１と一階差分商Ｒ’（ｎ）、しきい値ｔ２と二階差分商Ｒ”（ｎ）をそれぞれ比較してどちらかが範囲外であるか調べる（ステップＳ１６０）。
【０１１９】
どちらかが範囲外であれば（両方とも範囲外である場合を含む）、対応するサンプリングデータＲ（ｎ）をキーデータとして登録する（ステップＳ１７０）。そしてｎをインクリメントして次の一階差分商Ｒ’（ｎ）、二階差分商Ｒ”（ｎ）を読み出してステップＳ１６０にいく（ステップＳ１８０）。
【０１２０】
またこのように圧縮して格納してあるデータから、元の画像データ復元するためには、格納してある画像データのキーデータを通過する補間関数（例えば線形補間関数等）を求めて、この補間関数より元のサンプリングされたデータを復元することができる。
【０１２１】
２．第２の実施の形態
図１３は、時系列に取得された圧縮対象となる第１の画像〜第ｎの画像の複数の画像について、各画像の対応する画素の成分値（Ｒ成分、Ｇ成分、Ｂ成分のいずれか）であるサンプリングデータ（離散データ）を時系列に並べたグラフである。
【０１２２】
ｙ0，ｙ1，ｙ2、・・・は、時刻ｔ（ｔ＝ｘ0，ｘ2，ｘ3、・・・）において取得されたサンプリングデータ（画像の所与の画素の所与の成分値）である。
【０１２３】
ここですべてのデータｙ0，ｙ1，ｙ2、・・・をベタのデータとして記憶させるとデータ量が膨大となるため、キーフレームとなるデータと補間関数に関する情報のみを圧縮データとして記憶させる。そしてこのキーフレームデータと補間関数に基づき、キーフレーム間のデータを復元することにより、画像の所与の画素の所与の成分値のデータストリームを再現することができる。
【０１２４】
本実施の形態では、画素の成分値を時間軸方向に並べたデータストリームのキーフレームデータの選定を以下に説明する手法により自動的に行うことができる。
【０１２５】
まずベタデータであるｙ0，ｙ1，ｙ2、・・・の各データ間を補間するための補間関数Ｓ0（ｘ）、Ｓ1（ｘ），Ｓ2（ｘ）、・・の情報を求める。
【０１２６】
Ｓi（ｘ）はフレームｘiからその次のフレームｘi+1までの小区間における補間関数である。
【０１２７】
そして前記補間関数Ｓi（ｘ）に基づき、サンプリングデータｙiに対応した差分パラメータｋiを求める。
【０１２８】
例えば補間関数が３次のスプライン関数である場合には、補間関数は以下の式で与えられる。
【０１２９】
Ｓi（ｘ）＝ａi（ｘ−ｘi）3＋ｂi（ｘ−ｘi）2＋ｃi（ｘ−ｘi）＋ｄi
そしてすべての小区間における補間関数を求め、そのａi値をｙiに対応した差分パラメータｋiとし、差分パラメータｋiに基づき、ｙiをキーデータとして選択するか否か判断するようにしてもよい。
【０１３０】
図１４（Ａ）（Ｂ）は、本実施の形態の差関数について説明するための図である。
【０１３１】
図１４（Ａ）に示すように、区間［ｘi-1、ｘi）をＴiー1、区間［ｘi、ｘi+1）をＴiとする。そして区間Ｔiー1において、ｙi-1、ｙiを補間するための関数をＳi-1（ｘ）、区間Ｔiにおいて、ｙi、ｙi+1を補間するための関数をＳi（ｘ）とする。
【０１３２】
図１４（Ｂ）は、区間Ｔiにおける補間関数Ｓi-1（ｘ）と補間関数Ｓi（ｘ）の関係について説明するための図である。
【０１３３】
本実施の形態では、区間Ｔi-1における補間関数Ｓi-1（ｘ）の区間Ｔiにおける軌跡１０を考える。また区間Ｔiにおける補間関数Ｓi（ｘ）の区間Ｔiにおける軌跡３０を考える。ここで、軌跡３０（区間Ｔiにおける補間関数Ｓi（ｘ））は軌跡１０（区間Ｔiにおける補間関数Ｓi-1（ｘ））に所定の差関数Ｆi（軌跡２０）を加えて得られるとすると以下の式が成り立つ。
【０１３４】
Ｓi（ｘ）−Ｓi-1（ｘ）＝Ｆi（ｘ）
本実施の形態では差関数Ｆi（ｘ）に基づき差分パラメータｋiを決定することもできる。そして差分パラメータｋiに基づきｙiをキーフレームデータとして選択するかいなか決定するようにしてもよい。
【０１３５】
例えば第１の補間関数Ｓiー1（ｘ）と第２の補間関数Ｓi（ｘ）の差である差関数Ｆi（ｘ）の係数の値に基づき差分パラメータを求めるようにしてもよい。
【０１３６】
サンプリングデータ間の補間関数としてｍ次スプライン関数を用いる場合を例にとり説明する。
【０１３７】
ここでｍ次スプライン関数とは小区間［ｘi，ｘi+1），ｉ＝０，…Ｎ−１，上で、別々に定義されたｍ次多項式を、節点でｍ−１階までの微分係数の値が一致するように互いにつなぎ会わせた“区分的”解析関数（多項式）である。
【０１３８】
図１５は節点（ｘi，ｙi）が１つしかない３次のスプライン関数Ｓi、Ｓi+1を示している。
【０１３９】
３次のスプライン関数Ｓは、分点ｘiの両側で、各々別の３次多項式Ｓi-1，Ｓiで表され、節点（ｘi，ｙi）点上で、２回連続微分可能（２階導関数が連続という意味の慣用句。Ｃ2級であるともいう）である。
【０１４０】
ここでスプライン関数の定義から以下の式が成り立つ。
【０１４１】
【数１】
2006186887.tif 000005
【０１４２】
これから以下の式が成り立つ。
【０１４３】
【数２】
2006186887.tif 000006
【０１４４】
ここで、ｃiは適当な定数である。
【０１４５】
本実施の形態では、各区間Ｔｉ（区間［ｘi-1、ｘi）、ｉ＝０，１，２、・・）について対応するｃiを演算し、これを差分パラメータとして用いてサンプリングデータｙiをキーフレームデータとして選択するか否か判断する。
【０１４６】
図１６（Ａ）（Ｂ）は、本実施の形態における差分パラメータに基づくキーフレームデータの抽出の一例について説明するための図である。
【０１４７】
図１６（Ａ）は、各点ｉにおけるサンプリングデータｙiと対応するａiの表であり、図１６（Ｂ）は、各点ｉにおけるサンプリングデータｙiと対応するａiのグラフである。
【０１４８】
ａi（ｉ＝２，３，４、・・・・）は区間Ｔi（ｉ＝２，３，４、・・・・）におけるＳi（ｘ）＝ａi（ｘ−ｘi）3＋ｂi（ｘ−ｘi）2＋ｃi（ｘ−ｘi）＋ｄiで与えられる補間関数（ｘ−ｘi）3の係数である。
【０１４９】
本実施の形態では｜ａi｜が大きいほど寄与度が大きい（キーフレームとして選択する価値が大きい）と考え、｜ａi｜を差分パラメータとして対応するｙiをキーフレームとするか否か判断する。
【０１５０】
差分パラメータａiに基づき、しきい値εを決定し、前記差分パラメータａiと当該しきい値εを比較して、比較結果に基づきキーフレームとなるサンプリングデータを選択するようにしてもよい。
【０１５１】
例えばａiを加算平均して所定の係数を乗じたものをしきい値εとして決定するようにしてもよい。
【０１５２】
ここでしきい値ε＝ε1（ε1＝０．１）と設定した場合には、例えば｜ａi｜≧｜ε1｜となるａiを抽出して、対応するｙｉをキーフレームデータとするようにしてもよい。この場合、ａ1、ａ7、ａ8，ａ9、ａ10、ａ11、ａ12、ａ14、ａ15、ａ16が抽出され、これに対応するサンプリングデータｙ1、ｙ7、ｙ8，ｙ9、ｙ10、ｙ11、ｙ12、ｙ14、ｙ15、ｙ16がキーフレームデータとして選択される。
【０１５３】
またしきい値ε＝ε2（ε2＝０．２）と設定した場合には、例えば｜ａi｜≧｜ε2｜となるａiを抽出して、対応するｙiをキーフレームデータとするようにしてもよい。この場合、ａ7、ａ8，ａ9、ａ10、ａ11、ａ15、ａ16が抽出され、これに対応するサンプリングデータｙ7、ｙ8，ｙ9、ｙ10、ｙ11、ｙ15、ｙ16がキーフレームデータとして選択される。
【０１５４】
なおａiの値の値を用いてしきい値を決定するのではなく、予め用意されている所定の値を用いるようにしてもよい。
【０１５５】
図１７は、本実施の形態の差分パラメータの他の例について説明するための図である。
【０１５６】
時刻ｘiから時刻ｘi+1の区間Ｔiにおける関数Ｓi（ｘ）と関数Ｓi-1（ｘ）に決定される領域の面積Ｍiに基づき差分パラメータを求めるようにしてもよい。ここでは前記面積Ｍiは関数Ｓi（ｘ）と関数Ｓi-1（ｘ）と関数ｘ＝ｘi+1によって囲まれた領域の面積（時刻が不等間隔であれば、何らかの正規化を行うものとする）となっている。
【０１５７】
このように各サンプリングデータｙiについて関数Ｓi（ｘ）と関数Ｓi-1（ｘ）とｘ＝ｘi+1によって囲まれる面積Ｍiを演算し、面積Ｍiを差分パラメータとして、面積Ｍiが所定の条件を満たすときに対応するｙiをキーフレームデータとして選択するようにしてもよい。
【０１５８】
図１８は、第２実施の形態の処理の流れについて説明するためのフローチャート図である。
【０１５９】
まず、システム１００は、画像データ取得部１７０から画像データを収集して記憶部１２０等に記憶する（ステップＳ１０）。
【０１６０】
次に画素のＲＧＢの各成分毎に時系列に取得されたデータストリームのサンプリングデータ（画素データ（例えば画素のＲ成分、Ｇ成分、Ｂ成分のいずれか））間を補間する補間関数Ｓiを求める（ステップＳ２０）。ここで補間関数Ｓiは３次スプライン関数として与えても良い。
【０１６１】
次に補間関数Ｓiの係数に基づき各サンプリングデータ（画素データ）ｙiに対応する差分パラメータｋiを求める（ステップＳ３０）。補間関数Ｓiを３次スプライン関数として与えた場合には、Ｓi（ｘ）＝ａi（ｘ−ｘi）3＋ｂi（ｘ−ｘi）2＋ｃi（ｘ−ｘi）＋ｄiとなるので、（ｘ−ｘi）3の係数であるａiを差分パラメータｋiとしてもよい。
【０１６２】
次に差分パラメータｋiに基づきしきい値εを設定する（ステップＳ４０）。
【０１６３】
次に、最初の差分パラメータを設定する（ステップＳ５０）。差分パラメータとしきい値εと比較し（ステップＳ７０）、しきい値εより大きくなった差分パラメータに対応するサンプリングデータ（画素データ）をキーフレームデータとする（ステップＳ８０）。これを差分パラメータがなくなるまで順次行う（ステップＳ９０）。
【０１６４】
上記処理は時系列に配置された所与の画素の画素値のデータストリーム毎に行う。
【０１６５】
またこのように圧縮して格納してあるデータから、元の画像データ復元するためには、格納してある画像データのキーデータを通過するスプライン関数を求めて、このスプライン関数より元のサンプリングされたデータを復元することができる。
【０１６６】
３．システム構成
本発明は、コンピュータ・システム上のプログラムにより、画像圧縮システムとして実現されている。
【０１６７】
図１９は、画像データを取得して、そのデータを圧縮する画像圧縮システムの構成例である。
【０１６８】
図１９において、システムは、処理部１１０、記憶部１２０、情報記憶媒体１３０、表示部１４０，入力部１５０、通信部１６０、画像取得部１７０等を含む。
【０１６９】
記憶部１２０は、処理部１１０や通信部１６０などのワーク領域となるもので、その機能はＲＡＭなどのハードウェアにより実現できる。
【０１７０】
情報記憶媒体１３０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ（ＲＯＭ）などのハードウェアにより実現できる。
【０１７１】
処理部１１０は、この情報記憶媒体１３０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１３０には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【０１７２】
表示部１４０は、本実施形態により生成された画像を出力するものであり、その機能は、ＣＲＴ、ＬＣＤ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などのハードウェアにより実現できる。
【０１７３】
通信部１６０は、外部（例えばホスト装置や他のゲームシステム）との間で通信を行うための各種の制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどにより実現できる。
【０１７４】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、ホスト装置（サーバー）が有する情報記憶媒体からネットワーク及び通信部１６０を介して情報記憶媒体１３０（記憶部１２０）に配信するようにしてもよい。このようなホスト装置（サーバー）の情報記憶媒体の使用も本発明の範囲内に含めることができる。
【０１７５】
処理部１１０（プロセッサ）は、入力部１５０からの入力データ等やプログラムなどに基づいて、各種の処理を行う。処理部１１０は記憶部１２０をワーク領域として各種処理を行う。この処理部１１０の機能は、各種プロセッサ（ＣＰＵ、ＤＳＰ等）やＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラム（ゲームプログラム）により実現できる。
【０１７６】
処理部は、一連の複数の画像について、各画像の対応する画素値又は画素の成分値であるサンプリングデータを一連の画像の並びに対応させて並べたデータストリームについて、キーデータを抽出するキーデータ抽出手段と、前記各データストリームについて、キーデータとして抽出されたサンプリングデータを圧縮データとして蓄積する手段と、して機能する。
【０１７７】
処理部１１０は、複数のサンプリングデータｙiのなかからキーデータを選択するためのプログラムが実行され、サンプリングデータｙiとｙi+1のデータ間を、補間するための補間関数Ｓi（ｘ）の情報を求める補間関数演算手段と、前記補間関数Ｓi（ｘ）に基づき、サンプリングデータｙiに対応した差分パラメータｋiを求める差分パラメータ演算手段と、ｙiに対応した差分パラメータｋiに基づき、ｙiをキーデータとして選択するか否か判断してキーデータを選択するキーデータ選択手段として機能する。
【０１７８】
画像データ取得部１７０は、例えばカメラ等の撮像手段を用いて撮影された画像を取得する構成を有していても良いし、アニメ等の画像を取得する構成を有していても良いし、コンピュータによる画像生成システムにより生成された一連の画像を取得する構成を有していてもよい。
【０１７９】
なお本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。
【０１８０】
例えば本実施の形態では、係数ａiについて｛ａi｝ｉ＝０、・・、ｎの値からしきい値を求め、このしきい値以上のａiを持つフレームを選択する場合を例にとり説明したがこれに限られない。
【０１８１】
例えば｛ａi｝ｉ＝０、・・、ｎの部分集合｛ａi｝ｉ＝０、・・、ｍを定め、元データとの誤差を求め、誤差が最小（極小）になるまで繰り返し、部分集合を更新する。ここにおいて誤差は定められた誤差関数を減少させる方向で係数｛ａi｝ｉ＝０、・・、ｎの部分集合｛ａi｝ｉ＝０、・・、ｍを繰り返し更新し、やがて最適な解を表現する平衡状態に落ち着くように構成する。このときニューラルネット、ボルツマンマシンにおけるsimulated annealing法、あるいは遺伝的アルゴリズムなどのよく知られた技術を使うことができる。
【０１８２】
なお誤差関数は例えば以下のようなものを使用することができる。
【０１８３】
【数３】
2006186887.tif 000007
【０１８４】
また上記実施の形態では、データストリームについて、キーデータを抽出し、キーデータとして抽出されたサンプリングデータを圧縮データとして蓄積する場合を例にとり説明したがこれに限られない。
【０１８５】
例えば一連の複数の画像について、各画像の対応する位置における画素値又は画素の成分値であるサンプリングデータを一連の画像の並びに対応させて並べたデータストリームについてキーフレームを用いないで圧縮を行う構成でもよい。
【図面の簡単な説明】
【０１８６】
【図１】本実施の形態の画像圧縮の概念について説明するための図である。
【図２】本実施の形態のデータストリームのサンプリングデータについて説明するための図である。
【図３】図３（Ａ）（Ｂ）（Ｃ）（Ｄ）は、本実施の形態により圧縮されたデータを復元するために用いているスプライン関数の特性について説明するための図である。
【図４】ｆ（ｘ）の３階の差分商の値からキーデータを求める手法について説明するための図である。
【図５】しきい値δを説明する図である。
【図６】しきい値εおよびδを用いたデータの選択を説明する図である。
【図７】図７は、データストリームのＲ成分Ｒ（ｎ）、Ｇ成分Ｇ（ｎ）、Ｂ成分Ｂ（ｎ）値を示した表である。
【図８】サンプリングデータについてキーフレームの抽出手法について説明するための図である。
【図９】第１のケースにおける圧縮前のデータと圧縮後の補間結果について示したグラフである。
【図１０】第２のケースにおける圧縮前のデータと圧縮後の補間結果について示したグラフである。
【図１１】第３のケースにおける圧縮前のデータと圧縮後の補間結果について示したグラフである。
【図１２】第１の実施の形態の処理の流れについて説明するためのフローチャート図である。
【図１３】データストリームのサンプリングデータ（離散データ）を時系列に並べたグラフである。
【図１４】図１４（Ａ）（Ｂ）は、本実施の形態の差関数について説明するための図である。
【図１５】節点（ｘi，ｙi）が１つしかない３次のスプライン関数Ｓi、Ｓi+1を示している。
【図１６】図１６（Ａ）（Ｂ）は、本実施の形態における差分パラメータに基づくキーフレームデータの抽出の一例について説明するための図である。
【図１７】本実施の形態の差分パラメータの他の例について説明するための図である。
【図１８】第２実施の形態の処理の流れについて説明するためのフローチャート図である。
【図１９】画像データを取得して、そのデータを圧縮する画像圧縮システムの構成例である。
【符号の説明】
【０１８７】
１１０  処理部
１２０  記憶部
１３０  情報記憶媒体
１４０  表示部
１５０  入力部
１６０  通信部
１７０  画像データ取得部
【図１】
2006186887.tif 000008
【図２】
2006186887.tif 000009
【図３】
2006186887.tif 000010
【図４】
2006186887.tif 000011
【図５】
2006186887.tif 000012
【図６】
2006186887.tif 000013
【図７】
2006186887.tif 000014
【図８】
2006186887.tif 000015
【図９】
2006186887.tif 000016
【図１０】
2006186887.tif 000017
【図１１】
2006186887.tif 000018
【図１２】
2006186887.tif 000019
【図１３】
2006186887.tif 000020
【図１４】
2006186887.tif 000021
【図１５】
2006186887.tif 000022
【図１６】
2006186887.tif 000023
【図１７】
2006186887.tif 000024
【図１８】
2006186887.tif 000025
【図１９】
2006186887.tif 000026