(57)【要約】ビデオ画像データの圧縮及び圧縮解除方法であって、ビデオ画像のビデオデータの基本分析において、互いに隣接する画素における輝度及び／又は色価の飛躍的な変化に基いて、画像構造の輪郭が求められ、こうして見出される輪郭が、それぞれ部分毎に、パラメータ化される関数により記述され、対象として定義され、個々の対象のために、個々の対象の色優位、色推移、位置及び広がりと、構造関数が求められ、ビデオ画像の順次分析の際、対象の輝度、大きさ、位置及び向きの微分変化が、互いに隣接する対象の共通な輪郭を考慮して決定される。こうして定義される対象は、構造化された基本枠又は後続枠に設けられて、準備される。輪郭分析及び構造分析は神経回路網により行われる。
2005533419.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ画像列等のビデオ画像データの圧縮及び圧縮解除方法であって、ビデオ画像列等が付属する画素データのそれぞれ二次元でアドレス指定可能な画素の列として存在し、選択される画素量の画素データが数学関数で分析され、その関数パラメータに縮小されて圧縮され、記憶及び／又は伝送後適当な数学関数で十分に再生されて圧縮解除されるものにおいて、ビデオ画像のビデオデータの基本分析において
互いに隣接する画素における輝度及び／又は色価の飛躍的な変化に基いて、画像構造の輪郭が求められ、
補間により輪郭平滑化及び輪郭閉鎖が行われ、
こうして見出された輪郭が、パラメータ化された数学関数によりそれぞれ部分毎に記述されかつ対象として定義され、所定の閾値以下の画素数を含むすべての対象が背景に割当てられ、
個々の対象及び背景のために、色優位及び色推移がベクトル的に方向及び大きさを求められ、
個々の対象の位置及び広がりがそれぞれベクトル的に決定され、
個々の対象及び背景のために、それぞれ１つの構造関数が求められ、
ビデオ画像の順次分析の際
対象の輝度、大きさ、位置及び向きの微分変化が、隣接する対象の共通な輪郭を考慮して決定され、
こうして定義される対象及び背景が、こうして得られるその光学的、位置及び構造のデータと共に、構造化された基本枠又は後続枠に設けられかつ準備され、
それに応じて準備される基本枠データ及び後続枠データが、圧縮解除及び画像再処理のため、画素データに変換され、
その際対象から成る基本枠データから、その付属する輪郭位置データが画素画像において決定され、
画像の背景及び対象のために、それぞれ輪郭位置データにそれぞれ基いて限定されて、それぞれ付属する構造関数に従って画素表示が画素データで補充され、
色優位値、色推移ベクトル及び輝度に従って、これらの画素データが回復され、
後続枠データが、対象の移動及び／又は変化のため以前の画素表示に適用される
ことを特徴とする、方法。
【請求項２】
記述される対象が、その数学関数により神経回路網（ＮＮ１）に記憶され、この神経回路網がビデオ画像データ（ＶＤ）中の対象の引続く認識に役立つことを特徴とする、請求項１に記載の方法。
【請求項３】
求められた構造関数（ＯＳ）が、対象及び背景のパラメータにより神経回路網（ＮＮ２）に記憶され、構造関数（ＯＳ）を引続いて求める際、この神経回路網が、構造関数のパラメータにより初期ベースとして役立つことを特徴とする、先行する請求項の１つに記載の方法。
【請求項４】
構造関数（ＯＳ）がそれぞれ数学関数として表示され、パラメータが整数の量であり、関数が無限の小数を提供することを特徴とする、先行する請求項の１つに記載の方法。
【請求項５】
構造関数（ＯＳ）が小数、ｎ乗根又は超越関数であることを特徴とする、請求項４に記載の方法。
【請求項６】
整数の量が、素数の累乗、素数の和又は差として符号化されて表示されていることを特徴とする、請求項４又は５に記載の方法。
【請求項７】
パラメータがモジュロ２ｈｉｇｈ８で表示され、モジュロ２ｈｉｇｈ８で表示される量を持つ関数が実行されて、このような量を小数として提供することを特徴とする、請求項４〜６の１つに記載の方法。
【請求項８】
個々の構造関数（ＯＳ）が、所定の長さの画像線部分又は方形画素画像部分の画素データ列にそれぞれほぼ合わせて決定されることを特徴とする、請求項４〜７の１つに記載の方法。
【請求項９】
線部分が６４又は１２８又は２５６バイトの長さを持つか、又は画素画像部分が８×８又は１６×１６バイトの大きさを持っていることを特徴とする、請求項８に記載の方法。
【請求項１０】
構造関数（ＯＳ）が、それぞれ順次の近似により、所定時間（ＴＭａｘ）又は所定精度により決定されてそれぞれ近似的に表示すべき画素データ列に合わされることを特徴とする、請求項８又は９に記載の方法。
【請求項１１】
所定時間又は所定精度が、それぞれの対象の位置又はそれぞれの位置変化速度に関係して決定され、画像の中央にありかつ／又は静止している対象に対して、縁側にありかつ／又は比較的速く動かされる対象及び／又は背景より長い時間及び／又は高い精度が与えられることを特徴とする、請求項１０に記載の方法。
【請求項１２】
最小数の画素を持つような対象のみが、引続く認識及び特徴づけを受け、一層小さい対象が背景に割当てられることを特徴とする、先行する請求項の１つに記載の方法。
【請求項１３】
利用可能な計算時間が十分である限り、対象が低下する数の画素で順次に処理され、それにより画像内容の符号化の際、対象の最小数の画素が利用可能な計算時間に応じて決定されることを特徴とする、請求項１２に記載の方法。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】  本発明は、ビデオ画像列等のビデオ画像データの圧縮及び圧縮解除方法であって、ビデオ画像列等が付属する画素データのそれぞれ二次元でアドレス指定可能な画素の列として存在し、選択される画素量の画素データが数学関数で分析され、その関数パラメータに縮小されて圧縮され、記憶及び／又は伝送後適当な数学関数で十分に再生されて圧縮解除されるものに関する。
【０００２】  このような方法は、ＩＳＯ規格ＭＰＥＧ、ＭＰＥＧ１〜ＭＰＥＧ４、ＪＰＥＧ等で公知になっている。これらの規格では、先行するビデオ画像の同じ画像線座標及び画像行座標を持つ画像部分いわゆるタイルのタイルデータに関して、特にこのようなタイルデータの画素量データの微分解析、パターン解析、フーリエ解析等により、関数パラメータが求められ、これらの画像列における変化を考慮して、取り決められた標準書式を示す。枠書式は、適当な圧縮関数の指示を含み、順次に続く画像又はこのような画像の同じに支持されるタイルの内容が強く一致するほど、この圧縮関数がそれだけ大きく圧縮されて選択され、更に枠書式は、関数の使用の際そのつど得られるパラメータを含んでいる。
【０００３】  圧縮解除のため、それぞれの圧縮関数についての情報が枠から取られ、この圧縮関数に従って、少なくとも１つの先行する画像の適当な関数及び準備されるパラメータ及び場合によってはタイルのデータにより、最初の画素量が許容誤差を除いて再び形成される。
【０００４】  本発明の課題は、公知の方法とほぼ同じ画像品質で、ビデオ画像列データから実時間実行でデータの著しく高い圧縮を行うことである。
【０００５】  この解決は、次の点にある。即ち
ビデオ画像のビデオデータの基本分析において
互いに隣接する画素における輝度及び／又は色価の飛躍的な変化に基いて、画像構造の輪郭が求められ、
補間により輪郭平滑化及び輪郭閉鎖が行われ、
こうして見出された輪郭が、パラメータ化された数学関数によりそれぞれ部分毎に記述されかつ対象として定義され、所定の閾値以下の画素数を含むすべての対象が背景に割当てられ、
個々の対象及び背景のために、色優位及び色推移がベクトル的に方向及び大きさを求められ、
個々の対象の位置及び広がりがそれぞれベクトル的に決定され、
個々の対象及び背景のために、それぞれ１つの構造関数が求められ、
ビデオ画像の順次分析の際
対象の輝度、大きさ、位置及び向きの微分変化が、隣接する対象の共通な輪郭を考慮して決定され、
こうして定義される対象及び背景が、こうして得られるその光学的、位置及び構造のデータと共に、構造化された基本枠又は後続枠に設けられかつ準備され、
それに応じて準備される基本枠データ及び後続枠データが、圧縮解除及び画像再処理のため、画素データに変換され、
その際対象から成る基本枠データから、その付属する輪郭位置データが画素画像において決定され、
画像の背景及び対象のために、それぞれ輪郭位置データにそれぞれ基いて限定されて、それぞれ付属する構造関数に従って画素表示が画素データで補充され、
色優位値、色推移ベクトル及び輝度に従って、これらの画素データが回復され、
後続枠データが、対象の移動及び／又は変化のため以前の画素表示に適用される。
【０００６】  有利な構成は従属請求項に示されている。
【０００７】  対象の輪郭及び構造による対象の検出及び記述は、個々の方形部分がそれぞれ処理される従来の方法に比較して、大きい画像関係を求めて利用することなく、極めて高いデータ圧縮を可能にする。
【０００８】  方法を促進するため、更に個々の方法段階において、独立した発明としても評価される有利な新種の方法が適用される。
【０００９】  多くの対象がその基本構造及び他の同じ対象例えば頭、腕、上半身、下半身、脚に対する関係において人間等になるという認識に基いて、一旦認識されかつ関数により特徴づけられる対象が、そのデータにより、神経回路網において、その別の付属する対象の輪郭データに割当てられて記憶されるので、見出される対象に隣接する対象が後で直ちに見出され、輪郭検出を容易にするために利用されることができる。
【００１０】    種々の対象の数学関係記述のまとめを、半径、中心ベクトル、最初座標及び最終座標等のような適当な現在のパラメータのみを持っている神経回路網から取ることもできる。
【００１１】  対象の構造関数もしばしば同種の対象と同じであるか又は近似しているので、それが神経回路網に記憶されており、これから取出される場合、第１近似として役立つことができる。
【００１２】  画素線の画素データが自然数で行われる基本計算操作により表示される数列であるという認識の利用によって、非常に高い圧縮が有利に行われる。特に除算及びｎ乗根は、線の多かれ少かれ周期的な画素データをよく近似して生じる簡単な操作である。その場合線の表示は、関数の符号化された情報及びなるべく素数乗の和又は差として示される数値に収縮する。
【００１３】  既に画素データ列となるように見出されるこのような各構造記述はなるべく神経回路網に記憶されるので、そこで直ちに利用可能であるか、又は類似な画素データ列が後で存在する場合第１近似として呼出し可能である。
【００１４】  使用すべき関数は基本的であり、高速の普通の計算機により固定小数点演算として実行されるので、構造データから画素データが、画像再生の実行時間で発生され、即ち圧縮解除は全く問題がない。
【００１５】  ビデオ実行時間の圧縮は、その個々の段階において、その精度を偏差の両立性に有利に合わされる。
【００１６】  輪郭データを求める際、動かされる前景対象の高い解像力の平滑化に、背景及び受動対象に与えられるより多くの注意が払われる。
【００１７】  更に対象を定義する最小数の画素が、まだ利用可能な計算時間にそれぞれ合わされる。最大の対象がまず処理され、画像時間のためにまだ計算時間が余っていると、小さい対象が背景から分離され、詳細に幾何学的及び構造的に記述され、かつ枠へ入れられる。
【００１８】  対象の構造関数を求めるため、有利にそれぞれ最大時間の規定が行われ、その際個々の画素データの偏差が隣接して重なって現われない場合、これらの偏差が著しい画像品質低下を生じない、という知識が利用される。なぜならば、構造は対象の表面の一般的な外観のみに関係するが、画像の詳細には関係しないからである。
【００１９】  構造関数の例として、具体的説明のため次のものをあげる。
ｃ  ｈｉｇｈ  ｐ  ＋／−ｄ  ｈｉｇｈ  ｑによるａ  ｈｉｇｈ  ｍ  ＋／−  ｂ  ｈｉｇｈ  ｎから成るｎ乗根；ｘ＝整数１÷３；ａ，ｂ，ｃ，ｄ＝１７までの素数；ｍ，ｎ，ｐ，ｑ＝整数１÷９。
【００２０】  分析すべき画素量として、例えば画像線部分又は８×８又は１６×１６画素画像部分のそれぞれ２５６画素がとられる。画素データは通常８ビットに符号化される。それに応じて演算は、１０進法又は１６進法ではなく、モジュロ２５６で行われるので、符号化データ及び取消される線データのような原始データは、常に８ビット画素データとして直ちに存在する。
【００２１】  画像線又は順次に続く画像線の複数の線部分が分析されると、まず正しい構造関数の継続及び／又は数けただけのずれから、適当な解がしばしば非常に簡単にかつ時間を節約して得られる。新しい構造関数の代わりに、付属する枠における変更が示される。
【００２２】  ビデオデータＶＤは、順次に種々の方法段階を受ける。
【００２３】  まず対象認識ＶＥが行われ、その際画像においてまず認識される対象０１★，０２★、及び第１の神経回路網ＮＮ１に記憶されている対象が補助情報として利用される。認識された対象は対象平滑化ＯＧを受け、その際解像限界ＭＩＮが規定されている。
【００２４】  平滑化された対象は、隣接限界関係に注意しながら対象記述を受けるので、対象０１，０２等は関数的に枠ＦＲに記憶される。
【００２５】  個々の対象に対して、位置及び方向のベクトルＯＬ１，ＯＬ２等の規定、及び色及び色推移のベクトルＯＦ１，ＯＦ２等により色記述が行われる。
【００２６】  更に対象０１，０２等に対して、なるべく第２の神経回路網ＮＮ２を利用して、構造関数及びそのパラメータＯＳ１，ＯＳ２等が決定され、位置及び色のベクトルと同様に、枠ＦＲに記憶される。
【００２７】  すべての対象が枠に記憶されていると、背景ＨＧからなお色ベクトルＨＧＦ及び背景基本構造ＨＧＳが求められ、枠ＦＲに記憶される。その場合画像の完全な枠ＦＲは、歴史枠ＦＲＨとして準備され、それぞれ符号にアスタリスクを付けて示されている枠の内容は、原材料として次の画像の符号化に利用可能にされる。
【００２８】  対象の色、位置、構造又は向きの僅かな変化のみが認められる場合、後続枠における変化のみが明細に示され、それにより処理時間、記憶容量及び伝送容量が著しく節約される。
【００２９】  それぞれ見出される対応記述、その隣接関係及び構造関数は神経回路網ＮＮ１，ＮＮ２の基底へ供給されるので、類似な対象及び構造が見出され、新しい画像の符号化の際利用される。
【００３０】  符号化はそれぞれ時間管理器ＴＭＧを介して監視され、構造分析の最小解像力ＭＩＮ及び最大時間ＴＭＡＸの適当な規定により限界内に保たれる。
【００３１】  最初に説明した構造関数の計算に対する代案は、１６進法演算で同じように有利に行われ、そのため普通の８ビット画素情報が２つの４ビット符号に分割され、こうして２倍のけた数が計算され、最大の類似性を検査される。関数及びそのパラメータは、好都合に特に関連において、１６進数としても符号化され、対になって８ビットバイトで枠に格納される。示される関数に応じて、パラメータが多く又は少なく表示される。
【００３２】  １つのバイトにおいて、８つの関数に対してそれぞれ３つのビット、８つの最初の素数に対して３つのビット、その１〜４の指数に対して２つのビットが記憶される時、それによっても枠における非常に高い格納密度が得られる。関数要素として、例えば４つの基本計算法、根関数、指数関数及び式括弧が符号化される。括弧関数のために、バイトの別の５ビットにおいて、式エンドマーク又は複素関数のような別の特殊関数が示される。
【図面の簡単な説明】
【００３３】
【図１】  画像符号化のブロックダイアグラムを示す。
【図１】
2005533419.tif 000003
【国際調査報告】
2005533419.tif 000004
2005533419.tif 000005
2005533419.tif 000006
2005533419.tif 000007
2005533419.tif 000008
2005533419.tif 000009