(57)【特許請求の範囲】
【請求項１】
（ａ）ＶＯＬにおける形状が任意の形状であるかを判別する段階と、
（ｂ）（ａ）段階でＶＯＬにおける形状が任意の形状である場合、各フレームのＶＯＰの大きさを求める段階と、
（ｃ）前記フレーム別に前記ＶＯＰ内の全てのマクロブロックが不透明か、否かを判断して、これに対する情報を符号化する段階と、
（ｄ）（ｃ）段階で前記フレーム別に、形状が全て不透明でなければＶＯＰをマクロブロック単位で動き情報、形状情報及びテクスチャー情報を符号化する段階と、
（ｅ）（ａ）段階でＶＯＬにおける形状が任意の形状でないか、または（ｃ）段階でＶＯＰの形状が全て不透明のフレームの場合、ＶＯＰをマクロブロック単位で動き情報及びテクスチャー情報のみを符号化する段階とを含むことを特徴とする任意形状符号化方法。
【請求項２】
前記（ｂ）段階は、
各フレームのＶＯＰの幅を求める段階と、
各フレームのＶＯＰの高さを求める段階からなり、
前記（ｃ）段階は、
前記ＶＯＰの幅及び高さがＶＯＬにおける幅及び高さと同じ場合にのみ形状が全て不透明か否かを判断することを特徴とする請求項１に記載の任意形状符号化方法。
【請求項３】
前記（ｂ）段階は、
各フレームのＶＯＰの幅を求める段階と、
各フレームのＶＯＰの高さを求める段階からなり、
前記（ｃ）段階は、
前記ＶＯＰの幅及び高さがフレームの幅及び高さと同じ場合にのみ形状が全て不透明か否かを判断することを特徴とする請求項１に記載の任意形状符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、任意の形状に基づいた客体符号化に係り、特に、ディスプレーの全領域の画素が一つの客体のテクスチャーとして使用される場合、これを効率よく形状符号化する任意形状符号化方法に関する。
【０００２】
【従来の技術】
図２に示されたように、一般的に任意の形状に基づいた客体は、形状とテクスチャー（Ｔｅｘｔｕｒｅ）とに区分される。
従来の任意形状符号化方法、例えばＭＰＥＧ−４  Ｖｉｄｅｏ  ＶＭ（Ｖｅｒｓｉｏｎ７．０）に記述されている形状符号化方法は、図３に示されたような過程による。
まず、ビデオ客体層（Ｖｉｄｅｏ  Ｏｂｊｅｃｔ  Ｌａｙｅｒ：以下、ＶＯＬと記載）における形状が、任意の形状なのかを判別する（１１０段階）。
ＶＯＬにおける形状が任意の形状である場合、ビデオ客体平面（Ｖｉｄｅｏ  Ｏｂｊｅｃｔ  Ｐｌａｎｅ：以下、ＶＯＰと記載）のフレーム別に客体の大きさ（幅、高さ等）を求めた後（１２０段階）、各マクロブロック別に動き、形状及びテクスチャー符号化を行う（１４０段階）。
一方、ＶＯＬにおける形状が任意の形状でない場合には、予め四角フレームが決定されるので、各マクロブロック別に動き及びテクスチャー符号化のみを行う（１５０段階）。
【０００３】
図４によれば、時間フレームt +３に示されたように任意の形状であっても場面によっては画面全領域の画素が任意の形状を有する一つの客体のテクスチャーとして用いられ場合がある。図３に示された従来の技術によって形状符号化する場合には、任意の形状を有する一つの客体のテクスチャーが画面全体を占める場合に対しても該当画面に含まれるそれぞれのマクロブロックに対する形状情報を伝送データストリームに含めるべきである。
このように任意の形状を有する一つの客体のテクスチャーが画面全体を占める場合にはそれぞれのマクロブロックへの形状情報は意味のない情報であるが、これを計算するために付加的な時間及び伝送データが含まれて      非効率的である。
【０００４】
【発明が解決しようとする課題】
本発明は、前記問題点を解決するために創作されたものであって、任意形状の符号化時、ディスプレーの全領域の画素が一つの客体のテクスチャーとして使用される場合、これを効率よく形状符号化しうる任意形状符号化方法を提供することにその目的がある。
【０００５】
【課題を解決するための手段】
前記目的を達成するために本発明による任意形状符号化方法は、（ａ）ＶＯＬにおける形状が任意の形状であるかを判別する段階と、（ｂ）（ａ）段階でＶＯＬにおける形状が任意の形状である場合、各フレームのＶＯＰの大きさを求める段階と、（ｃ）前記フレーム別に前記ＶＯＰ内の全てのマクロブロックが不透明か、否かに対する情報を符号化する段階と、（ｄ）（ｃ）段階で前記フレーム別に、形状が全て不透明でなければＶＯＰをマクロブロック単位で動き情報、形状情報及びテクスチャー情報を符号化する段階と、（ｅ）（ａ）段階でＶＯＬにおける形状が任意の形状でないか、または（ｃ）段階でＶＯＰの形状が全て不透明のフレームの場合、ＶＯＰをマクロブロック単位で動き情報及びテクスチャー情報のみを符号化する段階とを含むことを特徴とする。
【０００６】
【発明の実施の形態】
以下、添付された図面に基づき本発明を詳しく説明する。
ＶＯＬとは、一つの客体が時間軸上で動く時、一定時間の映像フレームに含まれた全ての客体を意味し、ＶＯＰとは、動映像を時間軸上に配列した時、与えられた何れか一瞬間に処理されている１枚の静止画面を意味する。
従って、ＶＯＬは一定時間のＶＯＰを全て含むことを意味する。
【０００７】
ＶＯＬにおける幅及び高さは、一定時間固定されたものであって、ＴＶ映像画面やＰＣモニター画面上におけるディスプレーの大きさと概念上同一である。
【０００８】
ＶＯＬで符号化する対象が任意形状である場合、任意形状を囲む最小の境界四角形領域がＶＯＰとなる。従って、ＶＯＰの幅及び高さは、時間フレーム毎に異なる値を有する。ＶＯＬで符号化する対象が四角である場合には、ＶＯＰの大きさは、ＶＯＬの幅及び高さに固定される。
【０００９】
従って、図４に示された４枚のフレームの外郭を形成する四角形の幅及び高さがＶＯＬにおける幅及び高さと同じであり、その四角形内部に星状の客体を取囲む最小の大きさの領域を形成する四角形の幅及び高さがＶＯＰにおける幅及び高さである。
【００１０】
図１によれば、本発明による任意形状符号化方法は、ＶＯＬにおける形状が任意の形状なのかを判別する段階（２１０段階）、各フレームのＶＯＰの大きさを求める段階（２２０段階）、時間フレーム別に形状が全て不透明か否かの情報を符号化する段階（２４０段階）、形状が全て不透明でなければＶＯＰをマクロブロック単位で符号化する段階（２５０段階）、及びＶＯＬにおける形状が任意の形状でないか、またはＶＯＰの形状が全て不透明のフレームの場合、ＶＯＰをマクロブロック単位で動き情報及びテクスチャー情報のみを符号化する段階（２６０段階）よりなる。
【００１１】
ＶＯＬにおける客体の形状は、任意の形状（ａｒｂｉｔｒａｒｙ  ｓｈａｐｅ）と非任意の形状（ｎｏｎ−ａｒｂｉｔｒａｒｙ  ｓｈａｐｅ）とに区分される。ここで、任意の形状は任意の模様を有する形状であり、非任意の形状は四角領域も一つの形状情報と見做すことを意味する。２１０段階ではＶＯＬにおける客体の形状が任意の形状か否かを判別する。
【００１２】
２２０段階では、ＶＯＬにおける客体の形状が任意の形状の場合、各時間フレームのＶＯＰの幅を求め（２２１段階）、ＶＯＰの高さを求める（２２２段階）。
【００１３】
２４０段階では、フレーム別に形状がディスプレーの全領域を使用したか、即ちＶＯＰにおける全てのマクロブロックが全て形状で占められて不透明か否かを判断し、これに対する情報を符号化する。この際、形状が全て不透明か否かの判断方法は、比較対象のフレームの透明か不透明かを判断する情報を全て不透明である参照映像の不透明であることを示す情報に比べて差がなければ全て不透明であると判断することである。
【００１４】
本発明の一実施例では、２４０段階で常に全て不透明か否かを判断した。しかし、他の実施例では、２２０段階で求めたＶＯＰの幅及び高さがＶＯＬにおける幅及び高さと同じ場合、または２２０段階で求めたＶＯＰの幅及び高さがフレームの幅及び高さと同じ場合、または２２０段階で求めたＶＯＰの幅及び高さが直前フレームのＶＯＰの幅及び高さと同じ場合、またはこのような条件を適切に組合せた場合にのみ形状が全て不透明か否かを判断することによりその判断の回数を減らすこともできる。
【００１５】
２５０段階は、形状が全て不透明でない場合に、マクロブロック別初期形状符号化（２５１段階）、マクロブロック別動き符号化（２５２段階）、マクロブロック別形状符号化（２５３段階）及びマクロブロック別テクスチャー符号化（２５４段階）を行う段階である。
【００１６】
マクロブロック単位内における形状情報の分布は、透明、不透明及び境界に大別される。透明はマクロブロック内に形状情報がない場合であり、不透明はマクロブロック内の全ての画素が客体の形状情報の場合であり、境界はマクロブロック内の一部画素が客体の形状情報で残り画素には形状情報がない場合である。これでマクロブロック別初期形状符号化段階では、前記のようなマクロブロックの種類を符号化する。その理由は、マクロブロックの種類が透明や不透明な場合にはマクロブロック別形状符号化を行わないようにするためである。
【００１７】
２６０段階は、ＶＯＬにおける形状が任意の形状でないか、またはＶＯＰの形状が全て不透明なフレームの場合、マクロブロック別動き符号化（２６１段階）及びマクロブロック別テクスチャー符号化（２６２段階）を行う段階である。
【００１８】
従って、本発明によれば、ＶＯＰにおける形状が全て不透明な場合には前記マクロブロック別初期形状符号化（２５１段階）も不要なので、マクロブロック別に１〜３ビットが所要される符号化過程がＶＯＰ単位で１ビット符号化過程に代替される。
【００１９】
【発明の効果】
本発明によれば、任意形状の符号化時、ディスプレーの全領域の画素が客体のテクスチャーとして使用される場合、ＶＯＰ当り１ビットの情報を符号化することによりマクロブロック当り1〜３ビットまで所要される形状情報を回避できる。
また、ＶＯＰの形状が全て不透明な場合、マクロブロック符号化に必要なモジュールが、全体４つから２つに減少されて符号化過程で必要な計算量を減らしうる。
次は、本発明の性能を評価するために、ＶＯＰの形状が全て不透明な場合、本発明を用いた形状符号化量と既存の方式を用いた形状符号化量とを比較した図表である。
【表１】
0003760049.tif 000002
表１に示されたように、従来の方法による形状符号化量はＶＯＰにおけるマクロブロック数の2倍である反面、本発明による形状符号化量はＶＯＰ当り１ビットである。
【図面の簡単な説明】
【図１】本発明による任意形状符号化の過程を示したフローチャートである。
【図２】任意の形状を有する客体の内容を説明するための図面である。
【図３】従来の技術による任意形状符号化の過程を示したフローチャートである。
【図４】時間フレーム別に任意の形状を有する客体を示した図面である。
【図１】
0003760049.tif 000003
【図２】
0003760049.tif 000004
【図３】
0003760049.tif 000005
【図４】
0003760049.tif 000006