(57)【要約】  【課題】  特殊な性質を有する入力画像、例えば特殊カメラから入力された画像の符号化効率、画質、解像度などを良好にすることができる適応形状画像符号化装置および復号装置を提供すること。  【解決手段】  画像形状認識部２１は入力画像ａの形状を認識する。画像分割部２２は、該形状に応じて入力画像ａをスライスすると共に画素密度または画像解像度に応じた大きさのブロックに分割する。符号化部２５は、前記スライスの番号および該スライスの基準位置からのシフト量を含むパラメータを用いて画像中の物体の動きを定義し、該物体の動きを用いて、前記各ブロックの符号化を行う。符号統合部２６は、前記ブロックのサイズおよび位置情報を含むパラメータからなるヘッダと、符号化部２５からの画像符号化信号とを統合して出力する。  【選択図】  図１
2005101719.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の形状に適合するように画像をスライスし、該入力画像をその画素密度または画像解像度に応じた大きさのブロックに分割する手段と、
前記スライスを特定するデータおよび該スライスの基準位置からのシフト量を含むパラメータを用いて画像中の物体の動きを定義し、該物体の動きを用いて、前記分割された各ブロックの符号化を行う手段とを具備したことを特徴とする適応形状画像符号化装置。
【請求項２】
請求項１に記載の適応形状画像符号化装置において、
前記スライスは、入力画像の輪郭とほぼ平行に、かつ画素密度または画像解像度が大であるほどその幅が小となるように行われることを特徴とする適応形状画像符号化装置。
【請求項３】
請求項１に記載の適応形状画像符号化装置において、
前記スライスの軌跡は、前記入力画像の画素密度または画像解像度に応じた曲線であることを特徴とする適応形状画像符号化装置。
【請求項４】
請求項１ないし３のいずれかに記載の適応形状画像符号化装置において、
前記ブロックのサイズは、入力画像の画素密度または画像解像度が大であるほど小であることを特徴とする適応形状画像符号化装置。
【請求項５】
請求項１ないし４のいずれかに記載の適応形状画像符号化装置において、
前記符号化を行う手段は、一つのスライスに含まれるブロックに対して順次符号化を行い、それが終わると次のスライスに含まれるブロックに対して順次符号化を行うことを特徴とする適応形状画像符号化装置。
【請求項６】
請求項１に記載の適応形状画像符号化装置において、
さらに、前記入力画像の形状を検知する手段を具備したことを特徴とする適応形状画像符号化装置。
【請求項７】
請求項１ないし６のいずれかに記載の適応形状画像符号化装置において、
前記入力画像が全方位撮影カメラで撮影された円形画像またはドウナツ形状画像であることを特徴とする適応形状画像符号化装置。
【請求項８】
請求項７に記載の適応形状画像符号化装置において、
前記円形画像またはドウナツ形状画像は、中心部に向かう程画素密度が大であることを特徴とする適応形状画像符号化装置。
【請求項９】
請求項１ないし８のいずれかに記載の適応形状画像符号化装置により符号化された信号を復号する適応形状画像復号装置において、
前記受信した信号を、前記ブロックの位置や動き情報を含むヘッダ情報と、画像情報とに分離する手段と、
該画像情報を、前記ヘッダ情報を用いて復号する手段とからなることを特徴とする適応形状画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は適応形状画像符号化装置および復号装置に関し、特に特殊な形状の画像を効率的に符号化する適応形状画像符号化装置および復号装置に関する。
【背景技術】
【０００２】
入力画像から任意形状の部分映像を切り出し、これを符号化する従来技術の一例として、例えば特開平１１−２６６４５４号公報に記されたものがある。
【０００３】
この公報には、矩形状の入力画像から任意の領域を選択し、該領域の位置及び形状を符号化し、また種々のパラメータを調節して該領域の画質が他の領域の画質よりも良好に符号化されるようにする符号化装置が開示されている。また、入力された符号化データを分離し、該分離された符号化データから前記領域の位置及び形状を復号すると共に符号化パラメータを復号し、該符号化パラメータを用いて前記任意の領域の画像を復号することが開示されている。
【特許文献１】特開平１１−２６６４５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記の従来技術には、矩形状の入力画像から任意の領域を切り出し、該切り出した領域の画像を他の領域の画質より良好に符号化および復号する装置が開示されているが、入力画像が特殊な性質を有する場合、例えば該入力画像が全方位型カメラで撮像されたものである場合については、該特殊な性質を基に符号化効率等を向上させるようにする点について何らの配慮もされていない。換言すれば、前記従来技術では、特殊な性質を有する入力画像に対しては、符号化効率、画質、解像度などを良好にすることができないという問題があった。
【０００５】
本発明の目的は、前記した従来技術に鑑みてなされたものであり、特殊な性質を有する入力画像、例えば特殊カメラから入力された画像の符号化効率、画質、解像度などを良好にすることができる適応形状画像符号化装置および復号装置を提供することにある。
【課題を解決するための手段】
【０００６】
前記した目的を達成するために、本発明は、入力画像の形状に適合するように画像をスライスし、該入力画像をその画素密度または画像解像度に応じた大きさのブロックに分割する手段と、前記スライスを特定するデータおよび該スライスの基準位置からのシフト量を含むパラメータを用いて画像中の物体の動きを定義し、該物体の動きを用いて、前記分割された各ブロックの符号化を行う手段とを具備した点に第１の特徴がある。
【０００７】
また、本発明は、前記スライスの軌跡が、前記入力画像の画素密度または画像解像度に応じた曲線である点に第２の特徴がある。
【０００８】
さらに、本発明は、前記ブロックのサイズは、入力画像の画素密度または画像解像度が大であるほど小であるようにした点に第３の特徴がある。
【０００９】
さらに、前記入力画像が全方位撮影カメラで撮影された円形画像またはドウナツ形状画像である点に第４の特徴がある。
【発明の効果】
【００１０】
本発明によれば、入力画像をその画素密度または画像解像度に応じた大きさのブロックに分割して符号化するので、画素密度または画像解像度に応じた精度で符号化でき、符号化効率が向上する。また、スライスを特定するデータおよび該スライスの基準位置からのシフト量を含むパラメータを用いて画像中の物体の動きを定義するようにしているので、画像中の物体の動きや空間内相関性が効率的に表現でき、この点でも符号化効率が向上する。
【００１１】
また、本発明によれば、全方位撮影カメラで撮影された円形画像またはドウナツ形状画像のような特殊な性質を有する画像に適用すると、良好な符号化効率、画質、解像度などを期待できる符号化および復号装置を提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の概略の構成を示すブロック図である。
【００１３】
図において、画像形状認識部２１は、特殊カメラ（例えば、全方位撮影カメラ）などで撮影された画像などの特殊な性質を有する入力画像ａの形状、サイズなどを検出する。全方位撮影カメラからの入力画像であれば、その形状が円形であることを検出する。この形状認識は例えば入力映像の時間方向差分などの方法により自動的に検出可能である。例えば、後述する図６の円形画像１１ａの場合、円形画像の外側領域は画像が存在しないので時間方向差分は０になるが円形画像領域内は０にならない。よって、該入力画像ａが円形であることが認識できる。同様の方法により、円形画像の前記外側領域に加えて中心部領域にも画像が存在しないと判定された場合には、入力画像がドウナツ状であると認識できる。
【００１４】
また、該画像領域が特定できるとそのサイズも自動的に認識できる。なお、該入力画像ａが特殊な形状をもつものであっても、その形状およびサイズが既知であれば、該画像形状認識部２１は省略することができる。
【００１５】
ここで、前記全方位撮影カメラの一例の構成と、該カメラからの入力画像を、図５、図６を参照して説明する。図５は全方位撮影カメラの概念図、図６は該全方位撮影カメラで撮影した画像データを、パソコン等のディスプレイに表示した画面の一例を示すものである。
【００１６】
全方位撮影カメラは周知であり種々の方式のものがあるが、図５の全方位撮影カメラ１においては、透明のアクリル円筒２の内部の上面に設けられた半球状またはお椀状の全方位ミラー３、該全方位ミラー３の中心部から下方に延伸されたセンターニードル４、該センターニードル４の下方に設けられたＣＣＤカメラ５およびケーブルコネクタ６から構成されている。なお、このカメラは周知であるので、詳細な説明は省略する。
【００１７】
該全方位撮影カメラ１をケーブルコネクタ６を介してパソコン等に接続し、該全方位撮影カメラ１で撮影された画像をディスプレイに表示すると、図６のような画面１１が得られる。該画面１１には、全方位撮影カメラ１の撮影画像そのものであるドウナツ状の３６０°全方位画像（以下、円形画像という）１１ａ、該円形画像１１ａを帯状に展開したパノラマ展開画像１１ｂ、および画像１１ｂの一部を切り出した通常の１フレームサイズの画像１１ｃが映出される。１１ｄは、該画像１１ｃの切り出し画像である。前記円形画像１１ａは中心に近くなる程高密度の画像であり、また人などの移動があると、その移動は円周方向に動く傾向が強いという特殊な性質を有している。この円形画像１１ａは、例えば１５フレーム／秒の動画像である。なお、画像１１ｃは、例えば携帯電話などに配信することができる。
【００１８】
再度、図１に戻って説明を続ける。画像分割部２２は、入力画像ａの形状、サイズおよび／または画像解像度などを考慮に入れて、処理単位に分割する。例えば、スライス、マクロブロック、ブロックといった階層への分割が可能である。
【００１９】
例えば、図２(a)に示すような円形入力画像１１ａに対して、同心円上にスライスし、中心から外方へ同心円領域１１ａ１，１１ａ２，１１ａ３，・・・を形成する。そして、同図(b)に示すように、各領域１１ａ１，１１ａ２，１１ａ３，・・・を、マクロブロックまたはブロックで分割する。
【００２０】
この場合、分割される処理単位は、画素密度または画像解像度に応じて、異なるサイズおよび形状にすることができる。例えば、円中心部の画像解像度が高い映像であれば、マクロブロック、ブロックの構成画素数を均一として、マクロブロック、ブロックの面積（サイズ）や、１スライス内のマクロブロック、ブロックの数を可変とすることができる。なお、全画像中の画素密度の大小は既知の方法から検出できる。また、画素密度の大きい画像部分と小さい画像部分とが既知の場合には、新たに画素密度を検出する必要はない。
【００２１】
例えば、図２のような円形入力画像１１ａでは、中心部ほど画素密度または画像解像度が高いので、中心部のマクロブロックまたはブロック１のサイズをマクロブロックまたはブロック２のサイズより、またマクロブロックまたはブロック２のサイズをマクロブロックまたはブロック３のサイズより小さくする。換言すれば、各マクロブロック、各ブロックに含まれる画素数は全て同一の１６×１６または８×８であるので、該マクロブロックまたはブロックの画素密度は中心部のものほど高くなる。
【００２２】
次に、図１の形状情報符号化部２３は、画像の形状などの情報として、例えば２次元直交座標、極座標などで画像形状を定義し、その座標データを符号化する。該画像形状のデータは、符号統合部２６に送られる。なお、入力画像ａの画像形状が既知の場合には、該画像形状の情報を予め受信側に知らせておけばよいから、この情報は省略可能である。
【００２３】
一方、分割データサイズ・位置情報符号化部２４は、各マクロブロックまたはブロックの分割データサイズと、それらの位置情報を符号化する。該分割データサイズと位置情報は、符号統合部２６に送られる。
【００２４】
図３は、各ブロックの分割データサイズとその位置情報のデータフォーマットの説明図である。最初に、全画像の境界に関するデータ（境界部の座標など）が登録され、次いでスライス１，２，３，・・・に関するデータが列挙される。スライス１に関するデータを代表に上げて説明すると、まずスライス１の開始点が登録される。該開始点は、例えばスライス１に属するブロックのうちの最も左上の座標Ｐ１（Ｘ１，Ｙ１）（図２(b)参照）とすることができる。次に、スライス１中のブロックのサイズ、例えば８×８が登録される。該サイズは、予め決められておれば、省略することができる。次いで、スライス１中に属するブロックＢ１〜Ｂｎの左上の座標（Ｘ１，Ｙ１）〜（Ｘｎ，Ｙｎ）が順次登録される。
【００２５】
なお、前記分割データサイズ・位置情報符号化部２４は、固定的な画像を扱う場合は、該分割データサイズおよびその位置情報は既知であるので省略可能である。
【００２６】
次に、図１の符号化部２５の動作を説明する。画像の符号化には多種の方式が適用可能であるが、一例として、ＭＣ（動き補償）＋ＤＣＴ方式を適用することができる。この場合、あるスライスに含まれるブロックについて順次符号化を行い、これが終了すると次のスライスに含まれるブロックについて符号化を行う。このような符号化を、最後のスライスに含まれるブロックの最後まで行う。例えば、図２の例では、スライス１に含まれるブロック１に対して順次符号化を行い、全てのブロックの符号化が終わると続いてスライス２に含まれるブロック２に対して順次符号化を行う。さらに、スライス２に含まれるブロックの符号化が全て終わると引き続きスライス３に含まれるブロック３に対して順次符号化を行う。
【００２７】
また、前記ＭＣ（動き補償）＋ＤＣＴ方式を適用する場合には、一例として、ＭＣにおける動きベクトル参照位置を、オフセット値が示す位置に存在するブロック、マクロブロック、これらが属するスライスを特定するデータ（例えば、番号）、および該スライスの基準位置からのシフト量として定義可能である。ＤＣＴや量子化は、ブロック単位に実行可能である。
【００２８】
前記円形画像１１ａまたはドウナツ形状画像では、人物などの動物体は同心円画像内、すなわちスライス内を円周方向に移動する傾向が統計的に大きい。従って、前記したように、スライス順かつ各スライス内のブロック順に符号化をすると、画像中の物体の動きや空間内相関性に適合した符号化を行えるようになり、符号化効率が向上する。また、ＭＣにおける動きベクトル参照位置を、前記したように、スライスの番号および該スライスの基準位置からのシフト量として定義すると、画像中の物体の動きや空間内相関性に適合した符号化を行えるようになり、符号化効率が向上する。
【００２９】
次に、符号統合部２６は、前記画像形状、分割データサイズ、および位置情報をヘッダとし、符号化部２５からの画像情報と統合して出力する。以上により、特殊な性質を有する入力画像ａを効率的に符号化することができる。すなわち、画像中の物体の動きや空間内相関性に適合した符号化を行えるようになる。また、画素密度の大きい画像部分には精細な符号化ができ、逆に画素密度の小さい画像部分には粗い符号化を行うことができる。
【００３０】
次に、図４を参照して、適応形状画像復号装置の一実施形態を説明する。画像構成情報分離部３１は、入力してきた符号化画像情報ｂを、前記ヘッダ情報と画像情報とに分離する。ヘッダ情報は画像構成情報構築部３２に送られ、復号される。該復号された画像構成情報は画像復号部３３の動き補償部ＭＣに送られる。
【００３１】
一方、画像情報は画像復号部３３に送られる。該画像復号部３３は、差分情報復号部３３ａと動き補償部３３ｂから構成されている。また、該差分復号部３３ａは可変長復号部ＶＬＤと逆量子化部Ｑ−１と逆ＤＣＴ部ＤＣＴ−１とから構成されている。差分情報復号部３３ａは周知の動作により復号されたＤＣＴを出力する。該ＤＣＴは動き補償部３３ｂで動き補償され、復号画像が出力される。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態の符号化装置の概略構成を示すブロック図である。
【図２】本発明の一実施形態における画像のスライスおよび画像分割の一例を示す説明図である。
【図３】入力画像の分割データサイズ、位置情報のデータフォーマットの説明図である。
【図４】本発明の一実施形態の復号装置の概略構成を示すブロック図である。
【図５】全方位撮影カメラの構成の説明図である。
【図６】全方位撮影カメラで撮影した画像をディスプレーに表示した時の表示例を示す図である。
【符号の説明】
【００３３】
２１・・・画像形状認識部、２２・・・画像分割部、２３・・・形状情報符号化部、２４・・・分割データサイズ・位置情報符号化部、２５・・・符号化部、２６・・・符号統合部  ３１・・・画像構成情報分離部、３２・・・画像構成情報構築部、３３・・・画像復号部。
【図１】
2005101719.tif 000003
【図２】
2005101719.tif 000004
【図３】
2005101719.tif 000005
【図４】
2005101719.tif 000006
【図５】
2005101719.tif 000007
【図６】
2005101719.tif 000008