(57)【要約】【課題】マルチカメラ画像による全方位画像を効率的に符号化する。【解決手段】画像符号化復号システム１において、ＪＰＥＧ−２０００符号化部１２は、カメラ映像入力部１１から供給された複数台のカメラからの全方位画像をそれぞれタイル画像とみなしてタイル符号化を行うことにより、任意のカメラ画像のランダムアクセス復号を可能とする。また、ＪＰＥＧ−２０００符号化部１２は、複数のカメラ画像の同一位置の画素列又は画素行をまとめて１つの画像を生成することにより隣接画素の相関を高め、圧縮率を向上する。【選択図】　図７
2004007266.tif 000002
【特許請求の範囲】
【請求項１】
隣接する複数のカメラによって撮像された複数のカメラ画像を各構成要素とする全体画像を生成する手段と、
上記各構成要素となるカメラ画像を符号化の単位として上記全体画像を符号化する手段と
を備えることを特徴とする画像符号化装置。
【請求項２】
上記複数のカメラは、環状に配置されており、当該環状の中心方向又は外部方向の画像を撮像することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
上記符号化する手段は、上記全体画像をフレーム内符号化することを特徴とする請求項１記載の画像符号化装置。
【請求項４】
上記符号化する手段は、上記複数のカメラ画像を各タイル画像としてＪＰＥＧ−２０００方式でタイル符号化することを特徴とする請求項３記載の画像符号化装置。
【請求項５】
隣接する複数のカメラによって撮像された複数のカメラ画像内の画素を、隣接して配列されるカメラ画像同士が対称になるように配置する手段と、
当該配置後のカメラ画像を水平方向及び垂直方向に配列して全体画像を生成する手段と、
上記全体画像を符号化する手段と
を備えることを特徴とする画像符号化装置。
【請求項６】
上記複数のカメラは、環状に配置されており、当該環状の中心方向又は外部方向の画像を撮像することを特徴とする請求項５記載の画像符号化装置。
【請求項７】
隣接する複数のカメラによって撮像された複数のカメラ画像の同一位置の画素列又は画素行をまとめて配置し、全体画像を生成する手段と、
上記全体画像を符号化する手段と
を備えることを特徴とする画像符号化装置。
【請求項８】
上記複数のカメラは、環状に配置されており、当該環状の中心方向又は外部方向の画像を撮像することを特徴とする請求項７記載の画像符号化装置。
【請求項９】
隣接する複数のカメラのうち１又は２以上の第１のカメラによって撮像された第１のカメラ画像をフレーム内符号化する手段と、
符号化された上記第１のカメラ画像を復号する手段と、
復号された上記第１のカメラ画像と上記第１のカメラに隣接する第２のカメラによって撮像された第２のカメラ画像との第１の差分画像を符号化する手段と
を備えることを特徴とする画像符号化装置。
【請求項１０】
復号された上記第２のカメラ画像と上記第２のカメラに隣接する第３のカメラによって撮像された第３のカメラ画像との第２の差分画像を符号化する手段をさらに備えることを特徴とする請求項９記載の画像符号化装置。
【請求項１１】
上記複数のカメラは、環状に配置されており、当該環状の中心方向又は外部方向の画像を撮像することを特徴とする請求項９記載の画像符号化装置。
【請求項１２】
上記第１のカメラの位置は、常に一定であることを特徴とする請求項９記載の画像符号化装置。
【請求項１３】
上記第１のカメラの位置は、視点の中心位置であることを特徴とする請求項９記載の画像符号化装置。
【請求項１４】
隣接する複数のカメラによって撮像された複数のカメラ画像を各構成要素とする全体画像を生成する工程と、
上記各構成要素となるカメラ画像を符号化の単位として上記全体画像を符号化する工程と
を有することを特徴とする画像符号化方法。
【請求項１５】
隣接する複数のカメラによって撮像された複数のカメラ画像内の画素を、隣接して配列されるカメラ画像同士が対称になるように配置する工程と、
当該配置後のカメラ画像を水平方向及び垂直方向に配列して全体画像を生成する工程と、
上記全体画像を符号化する工程と
を有することを特徴とする画像符号化方法。
【請求項１６】
隣接する複数のカメラによって撮像された複数のカメラ画像の同一位置の画素列又は画素行をまとめて配置し、全体画像を生成する工程と、
上記全体画像を符号化する工程と
を有することを特徴とする画像符号化方法。
【請求項１７】
隣接する複数のカメラのうち１又は２以上の第１のカメラによって撮像された第１のカメラ画像をフレーム内符号化する工程と、
符号化された上記第１のカメラ画像を復号する工程と、
復号された上記第１のカメラ画像と上記第１のカメラに隣接する第２のカメラによって撮像された第２のカメラ画像との第１の差分画像を符号化する工程と
を有することを特徴とする画像符号化方法。
【請求項１８】
復号された上記第２のカメラ画像と上記第２のカメラに隣接する第３のカメラによって撮像された第３のカメラ画像との第２の差分画像を符号化する工程をさらに有することを特徴とする請求項１７記載の画像符号化方法。
【請求項１９】
所定の処理をコンピュータに実行させるプログラムにおいて、
隣接する複数のカメラによって撮像された複数のカメラ画像を各構成要素とする全体画像を生成する工程と、
上記各構成要素となるカメラ画像を符号化の単位として上記全体画像を符号化する工程と
を有することを特徴とするプログラム。
【請求項２０】
所定の処理をコンピュータに実行させるプログラムにおいて、
隣接する複数のカメラによって撮像された複数のカメラ画像内の画素を、隣接して配列されるカメラ画像同士が対称になるように配置する工程と、
当該配置後のカメラ画像を水平方向及び垂直方向に配列して全体画像を生成する工程と、
上記全体画像を符号化する工程と
を有することを特徴とするプログラム。
【請求項２１】
所定の処理をコンピュータに実行させるプログラムにおいて、
隣接する複数のカメラによって撮像された複数のカメラ画像の同一位置の画素列又は画素行をまとめて配置し、全体画像を生成する工程と、
上記全体画像を符号化する工程と
を有することを特徴とするプログラム。
【請求項２２】
所定の処理をコンピュータに実行させるプログラムにおいて、
隣接する複数のカメラのうち１又は２以上の第１のカメラによって撮像された第１のカメラ画像をフレーム内符号化する工程と、
符号化された上記第１のカメラ画像を復号する工程と、
復号された上記第１のカメラ画像と上記第１のカメラに隣接する第２のカメラによって撮像された第２のカメラ画像との第１の差分画像を符号化する工程と
を有することを特徴とするプログラム。
【請求項２３】
復号された上記第２のカメラ画像と上記第２のカメラに隣接する第３のカメラによって撮像された第３のカメラ画像との第２の差分画像を符号化する工程をさらに有することを特徴とする請求項２２記載のプログラム。
【請求項２４】
所定の処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体において、
隣接する複数のカメラによって撮像された複数のカメラ画像を各構成要素とする全体画像を生成する工程と、
上記各構成要素となるカメラ画像を符号化の単位として上記全体画像を符号化する工程と
を有することを特徴とするプログラムが記録された記録媒体。
【請求項２５】
所定の処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体において、
隣接する複数のカメラによって撮像された複数のカメラ画像内の画素を、隣接して配列されるカメラ画像同士が対称になるように配置する工程と、
当該配置後のカメラ画像を水平方向及び垂直方向に配列して全体画像を生成する工程と、
上記全体画像を符号化する工程と
を有することを特徴とするプログラムが記録された記録媒体。
【請求項２６】
所定の処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体において、
隣接する複数のカメラによって撮像された複数のカメラ画像の同一位置の画素列又は画素行をまとめて配置し、全体画像を生成する工程と、
上記全体画像を符号化する工程と
を有することを特徴とするプログラムが記録された記録媒体。
【請求項２７】
所定の処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体において、
隣接する複数のカメラのうち１又は２以上の第１のカメラによって撮像された第１のカメラ画像をフレーム内符号化する工程と、
符号化された上記第１のカメラ画像を復号する工程と、
復号された上記第１のカメラ画像と上記第１のカメラに隣接する第２のカメラによって撮像された第２のカメラ画像との第１の差分画像を符号化する工程と
を有することを特徴とするプログラムが記録された記録媒体。
【請求項２８】
上記プログラムは、復号された上記第２のカメラ画像と上記第２のカメラに隣接する第３のカメラによって撮像された第３のカメラ画像との第２の差分画像を符号化する工程をさらに有することを特徴とする請求項２７記載の記録媒体。
【請求項２９】
隣接する複数のカメラによって撮像された複数のカメラ画像を各構成要素とする全体画像を、上記各構成要素となるカメラ画像を単位として符号化して生成された符号化コードストリームを復号する画像復号装置であって、
上記符号化コードストリームを復号する手段と、
復号された上記複数のカメラ画像を隣接して表示する手段と
を備えることを特徴とする画像復号装置。
【請求項３０】
上記複数のカメラは、環状に配置されており、当該環状の中心方向又は外部方向の画像を撮像することを特徴とする請求項２９記載の画像復号装置。
【請求項３１】
上記復号する手段は、上記複数のカメラ画像を各タイル画像としてＪＰＥＧ−２０００方式でタイル復号することを特徴とする請求項２９記載の画像復号装置。
【請求項３２】
上記復号する手段は、視点の位置によって復号するカメラ画像を選択することを特徴とする請求項２９記載の画像復号装置。
【請求項３３】
上記復号する手段は、復号速度が十分でない場合、カメラ画像の低域成分の符号化コードストリームのみを復号することを特徴とする請求項２９記載の画像復号装置。
【請求項３４】
上記復号する手段は、復号速度が十分でない場合、カメラ画像の上位レイヤの符号化コードストリームのみを復号することを特徴とする請求項２９記載の画像復号装置。
【請求項３５】
隣接する複数のカメラによって撮像された複数のカメラ画像内の画素を、隣接して配列されるカメラ画像同士が対称になるように配置し、当該配置後のカメラ画像を水平方向及び垂直方向に配列した全体画像を符号化して生成した符号化コードストリームを復号する画像復号装置であって、
上記符号化コードストリームを復号する手段と、
復号された画像を水平方向及び垂直方向に分割して上記複数のカメラ画像を生成する手段と、
隣接して配列された画像同士が対称になるように上記複数のカメラ画像の画素が配置されている場合に元の画素配列に戻す手段と
を備えることを特徴とする画像復号装置。
【請求項３６】
上記複数のカメラは、環状に配置されており、当該環状の中心方向又は外部方向の画像を撮像することを特徴とする請求項３５記載の画像復号装置。
【請求項３７】
隣接する複数のカメラによって撮像された複数のカメラ画像の同一位置の画素列又は画素行をまとめて配置した全体画像を符号化して生成した符号化コードストリームを復号する画像復号装置であって、
上記符号化コードストリームを復号する手段と、
復号された画像の画素列又は画素行を同一位置に分配することにより上記複数のカメラ画像を生成する手段と
を備えることを特徴とする画像復号装置。
【請求項３８】
上記複数のカメラは、環状に配置されており、当該環状の中心方向又は外部方向の画像を撮像することを特徴とする請求項３７記載の画像復号装置。
【請求項３９】
隣接する複数のカメラのうち１又は２以上の第１のカメラによって撮像された第１のカメラ画像をフレーム内符号化して生成した第１の符号化コードストリームと、符号化された上記第１のカメラ画像を復号し、復号された上記第１のカメラ画像と上記第１のカメラに隣接する第２のカメラによって撮像された第２のカメラ画像との第１の差分画像を符号化して生成した第２の符号化コードストリームとを復号する画像復号装置であって、
上記第１の符号化コードストリームを復号して上記第１のカメラ画像を生成する手段と、
上記第２の符号化コードストリームを復号して上記第１の差分画像を生成する手段と、
上記第１の差分画像と上記第１のカメラ画像とを合成して上記第２のカメラ画像を生成する手段と
を備えることを特徴とする画像復号装置。
【請求項４０】
復号された上記第２のカメラ画像と上記第２のカメラに隣接する第３のカメラによって撮像された第３のカメラ画像との第２の差分画像を符号化した第３の符号化コードストリームを復号して上記第２の差分画像を生成する手段と、
上記第２の差分画像と上記第２のカメラ画像とを合成して上記第３のカメラ画像を生成する手段と
をさらに備えることを特徴とする請求項３９記載の画像復号装置。
【請求項４１】
上記複数のカメラは、環状に配置されており、当該環状の中心方向又は外部方向の画像を撮像することを特徴とする請求項３９記載の画像復号装置。
【請求項４２】
隣接する複数のカメラによって撮像された複数のカメラ画像を各構成要素とする全体画像を、上記各構成要素となるカメラ画像を単位として符号化して生成された符号化コードストリームを復号する画像復号方法であって、
上記符号化コードストリームを復号する工程と、
復号された上記複数のカメラ画像を隣接して表示する工程と
を有することを特徴とする画像復号方法。
【請求項４３】
隣接する複数のカメラによって撮像された複数のカメラ画像内の画素を、隣接して配列されるカメラ画像同士が対称になるように配置し、当該配置後のカメラ画像を水平方向及び垂直方向に配列した全体画像を符号化して生成した符号化コードストリームを復号する画像復号方法であって、
上記符号化コードストリームを復号する工程と、
復号された画像を水平方向及び垂直方向に分割して上記複数のカメラ画像を生成する工程と、
隣接して配列された画像同士が対称になるように上記複数のカメラ画像の画素が配置されている場合に元の画素配列に戻す工程と
を有することを特徴とする画像復号方法。
【請求項４４】
隣接する複数のカメラによって撮像された複数のカメラ画像の同一位置の画素列又は画素行をまとめて配置した全体画像を符号化して生成した符号化コードストリームを復号する画像復号方法であって、
上記符号化コードストリームを復号する工程と、
復号された画像の画素列又は画素行を同一位置に分配することにより上記複数のカメラ画像を生成する工程と
を有することを特徴とする画像復号方法。
【請求項４５】
隣接する複数のカメラのうち１又は２以上の第１のカメラによって撮像された第１のカメラ画像をフレーム内符号化して生成した第１の符号化コードストリームと、符号化された上記第１のカメラ画像を復号し、復号された上記第１のカメラ画像と上記第１のカメラに隣接する第２のカメラによって撮像された第２のカメラ画像との第１の差分画像を符号化して生成した第２の符号化コードストリームとを復号する画像復号方法であって、
上記第１の符号化コードストリームを復号して上記第１のカメラ画像を生成する工程と、
上記第２の符号化コードストリームを復号して上記第１の差分画像を生成する工程と、
上記第１の差分画像と上記第１のカメラ画像とを合成して上記第２のカメラ画像を生成する工程と
を有することを特徴とする画像復号方法。
【請求項４６】
復号された上記第２のカメラ画像と上記第２のカメラに隣接する第３のカメラによって撮像された第３のカメラ画像との第２の差分画像を符号化した第３の符号化コードストリームを復号して上記第２の差分画像を生成する工程と、
上記第２の差分画像と上記第２のカメラ画像とを合成して上記第３のカメラ画像を生成する工程と
をさらに有することを特徴とする請求項４５記載の画像復号方法。
【請求項４７】
隣接する複数のカメラによって撮像された複数のカメラ画像を各構成要素とする全体画像を、上記各構成要素となるカメラ画像を単位として符号化して生成された符号化コードストリームを復号する画像復号処理をコンピュータに実行させるプログラムであって、
上記符号化コードストリームを復号する工程と、
復号された上記複数のカメラ画像を隣接して表示する工程と
を有することを特徴とするプログラム。
【請求項４８】
隣接する複数のカメラによって撮像された複数のカメラ画像内の画素を、隣接して配列されるカメラ画像同士が対称になるように配置し、当該配置後のカメラ画像を水平方向及び垂直方向に配列した全体画像を符号化して生成した符号化コードストリームを復号する画像復号処理をコンピュータに実行させるプログラムであって、
上記符号化コードストリームを復号する工程と、
復号された画像を水平方向及び垂直方向に分割して上記複数のカメラ画像を生成する工程と、
隣接して配列された画像同士が対称になるように上記複数のカメラ画像の画素が配置されている場合に元の画素配列に戻す工程と
を有することを特徴とするプログラム。
【請求項４９】
隣接する複数のカメラによって撮像された複数のカメラ画像の同一位置の画素列又は画素行をまとめて配置した全体画像を符号化して生成した符号化コードストリームを復号する画像復号処理をコンピュータに実行させるプログラムであって、
上記符号化コードストリームを復号する工程と、
復号された画像の画素列又は画素行を同一位置に分配することにより上記複数のカメラ画像を生成する工程と
を有することを特徴とするプログラム。
【請求項５０】
隣接する複数のカメラのうち１又は２以上の第１のカメラによって撮像された第１のカメラ画像をフレーム内符号化して生成した第１の符号化コードストリームと、符号化された上記第１のカメラ画像を復号し、復号された上記第１のカメラ画像と上記第１のカメラに隣接する第２のカメラによって撮像された第２のカメラ画像との第１の差分画像を符号化して生成した第２の符号化コードストリームとを復号する画像復号処理をコンピュータに実行させるプログラムであって、
上記第１の符号化コードストリームを復号して上記第１のカメラ画像を生成する工程と、
上記第２の符号化コードストリームを復号して上記第１の差分画像を生成する工程と、
上記第１の差分画像と上記第１のカメラ画像とを合成して上記第２のカメラ画像を生成する工程と
を有することを特徴とするプログラム。
【請求項５１】
復号された上記第２のカメラ画像と上記第２のカメラに隣接する第３のカメラによって撮像された第３のカメラ画像との第２の差分画像を符号化した第３の符号化コードストリームを復号して上記第２の差分画像を生成する工程と、
上記第２の差分画像と上記第２のカメラ画像とを合成して上記第３のカメラ画像を生成する工程と
をさらに有することを特徴とする請求項５０記載のプログラム。
【請求項５２】
隣接する複数のカメラによって撮像された複数のカメラ画像を各構成要素とする全体画像を、上記各構成要素となるカメラ画像を単位として符号化して生成された符号化コードストリームを復号する画像復号処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
上記符号化コードストリームを復号する工程と、
復号された上記複数のカメラ画像を隣接して表示する工程と
を有することを特徴とするプログラムが記録された記録媒体。
【請求項５３】
隣接する複数のカメラによって撮像された複数のカメラ画像内の画素を、隣接して配列カメラ画像同士が対称になるように配置し、当該配置後のカメラ画像を水平方向及び垂直方向に配列された全体画像を符号化して生成した符号化コードストリームを復号する画像復号処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
上記符号化コードストリームを復号する工程と、
復号された画像を水平方向及び垂直方向に分割して上記複数のカメラ画像を生成する工程と、
隣接して配列された画像同士が対称になるように上記複数のカメラ画像の画素が配置されている場合に元の画素配列に戻す工程と
を有することを特徴とするプログラムが記録された記録媒体。
【請求項５４】
隣接する複数のカメラによって撮像された複数のカメラ画像の同一位置の画素列又は画素行をまとめて配置した全体画像を符号化して生成した符号化コードストリームを復号する画像復号処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
上記符号化コードストリームを復号する工程と、
復号された画像の画素列又は画素行を同一位置に分配することにより上記複数のカメラ画像を生成する工程と
を有することを特徴とするプログラムが記録された記録媒体。
【請求項５５】
隣接する複数のカメラのうち１又は２以上の第１のカメラによって撮像された第１のカメラ画像をフレーム内符号化して生成した第１の符号化コードストリームと、符号化された上記第１のカメラ画像を復号し、復号された上記第１のカメラ画像と上記第１のカメラに隣接する第２のカメラによって撮像された第２のカメラ画像との第１の差分画像を符号化して生成した第２の符号化コードストリームとを復号する画像復号処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
上記第１の符号化コードストリームを復号して上記第１のカメラ画像を生成する工程と、
上記第２の符号化コードストリームを復号して上記第１の差分画像を生成する工程と、
上記第１の差分画像と上記第１のカメラ画像とを合成して上記第２のカメラ画像を生成する工程と
を有することを特徴とするプログラムが記録された記録媒体。
【請求項５６】
上記プログラムは、復号された上記第２のカメラ画像と上記第２のカメラに隣接する第３のカメラによって撮像された第３のカメラ画像との第２の差分画像を符号化した第３の符号化コードストリームを復号して上記第２の差分画像を生成する工程と、
上記第２の差分画像と上記第２のカメラ画像とを合成して上記第３のカメラ画像を生成する工程と
をさらに有することを特徴とする請求項５５記載の記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数のカメラからの画像を例えばＪＰＥＧ−２０００方式で符号化する画像符号化装置及びその方法、その圧縮された画像を復号する画像復号装置及びその方法、並びにプログラム及び記録媒体に関する。
【０００２】
【従来の技術】
従来の代表的な画像圧縮方式として、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｓｔａｎｄａｒｄｓ　Ｏｒｇａｎｉｚａｔｉｏｎ）によって標準化されたＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）方式がある。これは、離散コサイン変換（ＤＣＴ：Ｄｅｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を用い、比較的高いビットが割り当てられる場合には、良好な符号化画像及び復号画像を供することが知られている。しかし、ある程度以上に符号化ビット数を少なくすると、ＤＣＴ特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。
【０００３】
一方、近年では画像をフィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタとを組み合わせたフィルタによって複数の帯域に分割し、各帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、ＤＣＴのように高圧縮でブロック歪みが顕著になるという欠点がないことから、ＤＣＴに代わる新たな技術として有力視されている。
【０００４】
【発明が解決しようとする課題】
ところで、現在、電子スチルカメラやビデオムービでは、上述したＪＰＥＧ方式やＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）方式を用いており、変換方式としてはＤＣＴを用いている。
【０００５】
ここで、ＭＰＥＧでは圧縮効率を向上させる目的でフレーム内符号化画像（Ｉピクチャ）とフレーム間符号化画像（Ｐピクチャ：片方向予測、Ｂピクチャ：両方向予測）とを用いており、復号側ではＩピクチャがないとＰピクチャ及びＢピクチャの復号が行えないため、例えば臨場感画像通信やゲーム等の環境で最近増えつつあるマルチカメラ画像による全方位画像を符号化する際に遅延が生じるという問題が発生する。また、動き補償のためのフレームメモリを多く持たなければならないという制約がある。
【０００６】
そこで、コンシューマ用途のカムコーダではＤＶ、監視用のコーデックではＭｏｔｉｏｎ−ＪＰＥＧやＤＶ、プロフェッショナル用途のノンリニア編集機ではＭｏｔｉｏｎ−ＪＰＥＧやＤＶ、デジタルカメラに搭載された動画コーデックではＭｏｔｉｏｎ−ＪＰＥＧ、といったように、静止画ベースのコーデックが広く使われている。その理由としては、遅延が少ないことの他、静止画ベースであるため後での編集処理等が容易に行えることや、各画像が独立しているため使いまわしがよいこと等が挙げられる。
【０００７】
しかしながら、今後はウェーブレット変換をベースにした製品が市場に出現するものと推測され、各研究機関においても符号化方式の効率向上のための検討が盛んに行われている。実際、ＪＰＥＧ方式の後継とも言える次世代の静止画国際標準方式として期待されているＪＰＥＧ−２０００方式（ＪＰＥＧと同じ組織であるＩＳＯ／ＩＥＣ／ＪＴＣ１　ＳＣ２９／ＷＧ１によって作業中）は、２００１年１月に標準化勧告が出された。このＪＰＥＧ−２０００では、画像圧縮の基本である変換方式として、既存のＪＰＥＧのＤＣＴに代わり、ウェーブレット変換を採用している。また、ＪＰＥＧ−２０００は、ＪＰＥＧよりも高圧縮が実現できる他、プログレッシブ機能や、エラー耐性、可逆・非可逆圧縮・伸張など、ＪＰＥＧにはない豊富な機能を持っている点が大きな特徴である。
【０００８】
また、もう１つの特徴として、動画対応のＭｏｔｉｏｎ−ＪＰＥＧ２０００方式の規格化もなされた。これは動画を構成する各画像をＪＰＥＧ−２０００画像の連続として符号化するものである。
【０００９】
本発明は、このような従来の実情に鑑みて提案されたものであり、ウェーブレット変換を用いた静止画ベースの符号化方式であるＪＰＥＧ−２０００方式やＭｏｔｉｏｎ−ＪＰＥＧ２０００方式を用いて、複数のカメラによって撮像された複数のカメラ画像を効率的に符号化する画像符号化装置及びその方法、その圧縮された画像を復号する画像復号装置及びその方法、並びに画像符号化処理又は画像復号処理をコンピュータに実行させるプログラム及びそのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像符号化装置及び方法は、隣接する複数のカメラによって撮像された複数のカメラ画像を各構成要素とする全体画像を生成し、上記各構成要素となるカメラ画像を符号化の単位として上記全体画像を符号化する。
【００１１】
また、上述した目的を達成するために、本発明に係る画像復号装置及び方法は、隣接する複数のカメラによって撮像された複数のカメラ画像を各構成要素とする全体画像を、上記各構成要素となるカメラ画像を単位として符号化して生成された符号化コードストリームを復号する際に、上記符号化コードストリームを復号し、復号された上記複数のカメラ画像を隣接して表示する。
【００１２】
このような画像符号化装置及び方法、並びに画像復号装置及び方法では、複数のカメラ画像をそれぞれ１つの画像の構成要素とみなし、この構成要素となるカメラ画像を符号化の単位として符号化し、復号後の複数のカメラ画像を隣接する元の配置となるように表示する。
【００１３】
また、上述した目的を達成するために、本発明に係る画像符号化装置及び方法は、隣接する複数のカメラによって撮像された複数のカメラ画像内の画素を、隣接して配列されるカメラ画像同士が対称になるように配置し、当該配置後のカメラ画像を水平方向及び垂直方向に配列して生成された全体画像を符号化する。
【００１４】
また、上述した目的を達成するために、本発明に係る画像復号装置及び方法は、隣接する複数のカメラによって撮像された複数のカメラ画像内の画素を、隣接して配列されるカメラ画像同士が対称になるように配置し、当該配置後のカメラ画像を水平方向及び垂直方向に配列した全体画像を符号化して生成した符号化コードストリームを復号する際に、上記符号化コードストリームを復号し、復号された画像を水平方向及び垂直方向に分割して上記複数のカメラ画像を生成し、隣接して配列された画像同士が対称になるように上記複数のカメラ画像の画素が配置されている場合に元の画素配列に戻す。
【００１５】
このような画像符号化装置及び方法、並びに画像復号装置及び方法では、複数のカメラ画像を隣接境界で画素値に大きな差がないように反転させて対称になるように水平・垂直方向に接合し、１つの全体画像として符号化する。復号の際には、復号された画像を水平方向及び垂直方向に分割して元の複数のカメラ画像を生成し、隣接して配列された画像同士が対称になるように複数のカメラ画像の画素が配置されている場合には元の画素配列に戻す。
【００１６】
また、上述した目的を達成するために、本発明に係る画像符号化装置及び方法は、隣接する複数のカメラによって撮像された複数のカメラ画像の同一位置の画素列又は画素行をまとめて配置して生成された全体画像を符号化する。
【００１７】
また、上述した目的を達成するために、本発明に係る画像復号装置及び方法は、隣接する複数のカメラによって撮像された複数のカメラ画像の同一位置の画素列又は画素行をまとめて配置した全体画像を符号化して生成した符号化コードストリームを復号する際に、上記符号化コードストリームを復号し、復号された画像の画素列又は画素行を同一位置に分配することにより上記複数のカメラ画像を生成する。
【００１８】
このような画像符号化装置及び方法、並びに画像復号装置及び方法では、複数のカメラ画像の同一位置の画素列又は画素行をまとめ、１つの全体画像として符号化する。復号の際には、復号された画像の画素列又は画素行を同一位置に分配することにより元の複数のカメラ画像を生成する。
【００１９】
また、上述した目的を達成するために、本発明に係る画像符号化装置及び方法は、隣接する複数のカメラのうち１又は２以上の第１のカメラによって撮像された第１のカメラ画像をフレーム内符号化し、符号化された上記第１のカメラ画像を復号し、復号された上記第１のカメラ画像と上記第１のカメラに隣接する第２のカメラによって撮像された第２のカメラ画像との第１の差分画像を符号化する。
【００２０】
ここで、この画像符号化装置及び方法は、復号された上記第２のカメラ画像と上記第２のカメラに隣接する第３のカメラによって撮像された第３のカメラ画像との第２の差分画像を符号化する。
【００２１】
また、上述した目的を達成するために、本発明に係る画像復号装置及び方法は、隣接する複数のカメラのうち１又は２以上の第１のカメラによって撮像された第１のカメラ画像をフレーム内符号化して生成した第１の符号化コードストリームと、符号化された上記第１のカメラ画像を復号し、復号された上記第１のカメラ画像と上記第１のカメラに隣接する第２のカメラによって撮像された第２のカメラ画像との第１の差分画像を符号化して生成した第２の符号化コードストリームとを復号する際に、上記第１の符号化コードストリームを復号して上記第１のカメラ画像を生成し、上記第２の符号化コードストリームを復号して上記第１の差分画像を生成し、上記第１の差分画像と上記第１のカメラ画像とを合成して上記第２のカメラ画像を生成する。
【００２２】
ここで、この画像復号装置及び方法は、復号された上記第２のカメラ画像と上記第２のカメラに隣接する第３のカメラによって撮像された第３のカメラ画像との第２の差分画像を符号化した第３の符号化コードストリームを復号して上記第２の差分画像を生成し、上記第２の差分画像と上記第２のカメラ画像とを合成して上記第３のカメラ画像を生成する。
【００２３】
このような画像符号化装置及び方法、並びに画像復号装置及び方法では、フレーム内符号化するカメラ画像と差分画像として符号化するカメラ画像とに分け、画像の内容が類似する隣接カメラ画像間の差分を取って符号化する。復号の際には、復号された差分画像と復号された隣接カメラ画像とを合成して元のカメラ画像を生成する。
【００２４】
また、本発明に係るプログラムは、上述した画像符号化処理又は画像復号処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００２５】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、複数のカメラからの画像をＪＰＥＧ−２０００方式で符号化する画像符号化装置及びその方法、並びにその圧縮された画像を復号する画像復号装置及びその方法に適用したものである。
【００２６】
（１）第１の実施の形態
本実施の形態では、１つの画像を複数の矩形領域であるタイルに分割して符号化するというＪＰＥＧ−２０００規格におけるタイル符号化の機能を応用して、複数台のカメラからの全方位画像をそれぞれタイル画像とみなしてタイル符号化を行う。ここで、複数台のカメラによる全方位画像としては、大別して、図１（Ａ）に示すように、環状にカメラを配置し、環状の中心から外部方向に撮像して得られたものと、図１（Ｂ）に示すように、環状にカメラを配置し、環状の中心に向かって撮像して得られたものとの２つのタイプが存在する。そして、例えば図２に示すように、このようにして得られた第１カメラ〜第１６カメラのカメラ画像をそれぞれタイル画像とみなしてタイル符号化を行う。
【００２７】
以下では、本実施の形態における画像符号化復号システムについて説明する前に、先ずＪＰＥＧ−２０００規格におけるウェーブレット変換及びタイル符号化について説明する。
【００２８】
このウェーブレット変換では、通常図３に示すように低域成分が繰り返し変換されるが、これは画像のエネルギの多くが低域成分に集中しているためである。このことは、図４（Ａ）に示す分割レベル＝１から図４（Ｂ）に示す分割レベル＝３のように、分割レベルを進めていくに従って、同図のようにサブバンドが形成されていくことからも分かる。
【００２９】
ここで、図３におけるウェーブレット変換のレベル数は２であり、この結果計７個のサブバンドが形成されている。すなわち、１回目のフィルタリング処理によって水平方向のサイズＸ＿ＳＩＺＥ及び垂直方向のサイズＹ＿ＳＩＺＥがそれぞれ１／２に分割され、ＬＬ−１，ＬＨ−１，ＨＬ−１，ＨＨ−１の４つのサブバンドが生成される。そして２回目のフィルタリング処理によってＬＬ−１がさらに分割されて、ＬＬ−２，ＬＨ−２，ＨＬ−２，ＨＨ−２の４つのサブバンドが生成される。なお、図３においてＬ，Ｈはそれぞれ低域，高域を表し、Ｌ，Ｈの後の数字は分割レベルを表す。すなわち、例えばＬＨ−１は、水平方向が低域で垂直方向が高域である分割レベル＝１のサブバンドを表す。
【００３０】
続いてＪＰＥＧ−２０００規格におけるタイル符号化について説明する。ＪＰＥＧ−２０００規格で定義されているタイル符号化時のパラメータを図５に示す。図５に示すように、１つの画像は、例えばタイルインデックスがＴ０〜Ｔ１９である２０個のタイルに分割される。各タイルの水平サイズはＸＴｓｉｚ、垂直サイズはＹＴｓｉｚで与えられる。本実施の形態では、（ＸＴｓｉｚ、ＹＴｓｉｚ）がカメラ画像の水平サイズ、垂直サイズになる。また、ＪＰＥＧ−２０００規格では、画像やタイルの位置がリファレンス・グリッド（Ｒｅｆｅｒｅｎｃｅ　Ｇｒｉｄ）と称する座標軸を用いて表現され、これにより、解像度変換を行った際に画像のサンプリング位置を容易に決定することができる。ここで、各タイルは、単独で符号化・復号できる必要があるため、タイル境界を越えての画素参照はできない。タイルの位置は、リファレンス・グリッドの原点とタイルの左上との相対位置で指定され、この相対位置が図５におけるＸＴＯｓｉｚ、ＹＴＯｓｉｚと定められている。
【００３１】
また、ＪＰＥＧ−２０００規格のタイル符号化では、タイル内の画像をウェーブレット変換する際に、隣接タイル領域までフィルタがはみ出る際には、その隣接タイルの画素を使わず、図６に示すように符号化対象のタイル内の画素を対称拡張してウェーブレット変換を行う。図６の例では、符号化対象のタイルの外部に対して水平方向に画素ｂ，ｃを、垂直方向に画素ｅ，ｆをそれぞれ対称拡張している。ＪＰＥＧ−２０００規格では、可逆型５×３ウェーブレット変換フィルタと非可逆型９×７ウェーブレット変換フィルタとが存在し、それぞれのウェーブレット変換フィルタに対してタイル境界から対称拡張すべき画素数が定義されているため、本実施の形態でもそれに従えばよい。
【００３２】
次に、第１の実施の形態における画像符号化復号システムの概略構成を図７に示す。図７に示すように、画像符号化復号システム１は、カメラ映像入力部１１と、ＪＰＥＧ−２０００符号化部１２と、コードストリーム記録部１３とを有する画像符号化装置１０と、ＪＰＥＧ−２０００復号部２１と、画像表示部２２とを有する画像復号装置２０とから構成されている。画像符号化装置１０と画像復号装置２０とは、例えばインターネットであるネットワークＮを介して接続されている。
【００３３】
画像符号化装置１０において、カメラ映像入力部１１は、複数台のカメラからの全方位画像を得て、このカメラ画像情報Ｄ１０をＪＰＥＧ−２０００符号化部１２に供給する。
【００３４】
ＪＰＥＧ−２０００符号化部１２は、カメラ画像入力部１１から供給されたカメラ画像情報Ｄ１０を上述したように各タイル画像とみなし、これをＪＰＥＧ−２０００方式に従って符号化する。ＪＰＥＧ−２０００符号化部１２は、得られた符号化コードストリームＤ１１をネットワークＮを介して画像復号装置２０に伝送し、又はコードストリーム記録部１３に供給して記録媒体に記録させる。なお、カメラ画像が複数個存在する場合には、符号化コードストリームＤ１１もカメラ数だけ存在することになる。
【００３５】
コードストリーム記録部１３は、ＪＰＥＧ−２０００符号化部１２から供給された符号化コードストリームＤ１１を、例えばハードディスクやメモリカードといった図示しない記録媒体に記録する。
【００３６】
なお、図２に示す計１６個のカメラ画像は、１時刻当たりの画像である。したがって、例えば通常のテレビジョン映像のように１秒間に３０フレームの動画像の場合、ＪＰＥＧ−２０００符号化部１２は、図８に示すように図２の画像を毎秒３０フレームの速度で符号化する。
【００３７】
一方、画像復号装置２０において、ＪＰＥＧ−２０００復号部２１は、画像符号化装置１０から伝送され、又は記録媒体を介して画像符号化装置１０から供給された符号化コードストリームＤ１１をＪＰＥＧ−２０００方式に従って復号する。ここで、符号化コードストリームＤ１１内には、タイル符号化の有無や、タイルサイズを記述するパラメータが定義されているため、ＪＰＥＧ−２０００復号部２１は、それらを忠実に復号する。なお、タイル符号化は隣接タイルの影響を受けず完全に独立しているため、ランダムアクセス復号が可能とされる。ＪＰＥＧ−２０００復号部２１は、得られた復号画像Ｄ２０を画像表示部２２に供給する。
【００３８】
画像表示部２２は、ＪＰＥＧ−２０００復号部２１から供給された復号画像Ｄ２０を表示する。ここで、複数台のカメラ分だけ復号画像Ｄ２０が存在するため、画像表示部２２は、それらを図１に示した配置になるように表示する。
【００３９】
このように、第１の実施の形態では、複数のカメラ画像をそれぞれ１つの画像のタイル画像とみなしてタイル符号化を行うことにより、ランダムアクセス復号が可能となり、任意のカメラ画像の符号化コードストリームを抽出して復号することができるため、操作性が非常に向上する。例えばインターネット環境下において、クライアント側で人間が実際に見ている視点位置のカメラ画像のみを復号することができる。これにより、全てのカメラ画像を復号する必要がなく、効率的である。
【００４０】
（２）第２の実施の形態
第１の実施の形態で画像復号装置２０が十分に高速でない場合がある。例えばカメラ数が多い場合は、これら全部をリアルタイムに復号するのにはハードウェア化してもかなりの規模のＬＳＩ化が必要になる。したがって、安価なコーデックＬＳＩではパフォーマンス的にアルタイム復号ができない可能性がある。そこで、以下に説明する第２の実施の形態では、ＪＰＥＧ−２０００方式の符号化コードストリームの持つスケーラビリティを積極的に利用する。ここで、スケーラビリティとは、スケールが自由に変えられること、つまり１つの符号化コードストリームを用いて解像度や画質を自由に変えて復号できることを意味している。
【００４１】
ＪＰＥＧ−２０００方式の符号化コードストリームの特徴とスケラービリティの具体的な実現手段について説明する。ＪＰＥＧ−２０００方式では、上述したようにウェーブレット変換を用いて画像を符号化する。この際、図３に示したように低域成分の解像度を階層的に分割するため、元々の符号化コードストリームは、多重解像度構造を保有することになる。
【００４２】
また、ＪＰＥＧ−２０００方式では、ビットプレーン符号化を採用しており、ＭＳＢ（Ｍｏｓｔ　Ｓｉｇｎｉｆｉｃａｎｔ　Ｂｉｔ）からＬＳＢ（Ｌｅａｓｔ　Ｓｉｇｎｉｆｉｃａｎｔ　Ｂｉｔ）に展開して符号化する。これらから、符号化の過程で、図９に示すように、ＭＳＢからＬＳＢ方向にレイヤ化した符号化コードストリームを生成することができる。
【００４３】
また、ＪＰＥＧ−２０００方式では、符号化コードストリームをパケットという単位で生成する。ここで、規定により、同一の解像度レベルにつき１つのパケットが割り当てられる。図９の例では、レベル３までウェーブレット変換を行っているため、１個のレイヤに付き４個のパケットが存在する。
【００４４】
これらの特徴を生かして、例えば画像復号装置２０のパフォーマンスが十分でない場合には、図９の低域成分（Ｐａｃｋｅｔ−０、Ｐａｃｋｅｔ−４、Ｐａｃｋｅｔ−８）のみを復号して表示することが有効である。この場合、原画像と比較して水平・垂直のサイズが８分の１の大きさになるため、原画像の大きさの符号化コードストリームを復号する場合と比較して大幅に処理の負担を軽減することができ、リアルタイムでカメラの個数分だけの復号画像を生成することが可能となる。
【００４５】
実際の画像で実現した例を図１０に示す。図１０に示すように、最低域（レベル０）から最高域（レベル３）に至る解像度が図示されている。そこで、画像復号装置２０のパフォーマンスに応じて、可能なレベルまでのパケットの符号化コードストリームを復号することができる。
【００４６】
また、上位レイヤのパケットの符号化コードストリームのみを復号することも有効である。この場合、カメラ画像の原画像と同じ解像度で画質の劣化した画像が出力されることになる。実際の画像で実現した例を図１１に示す。図１１に示すように、最低域（レイヤ０）から最高域（レイヤ２）に至る復号画像が図示されている。そこで、画像復号装置２０のパフォーマンスに応じて、可能なレイヤまでのパケットの符号化コードストリームを復号することができる。
【００４７】
このように、第２の実施の形態では、画像復号装置２０のパフォーマンスに応じて、可能なレベルまで、或いは可能なレイヤまでの符号化コードストリームを復号することで、カメラ数が多い場合であってもリアルタイムに復号することが可能となる。
【００４８】
（３）第３の実施の形態
本実施の形態では、例えば図１２に示すように、第１カメラ〜第９カメラの合計９個のカメラ画像を水平・垂直方向に接合して１つの画像とする。この際、単純に複数のカメラ画像を接合するのではなく、隣接境界で画素値に大きな差がないように、予めカメラ画像を反転させて対称になるように配置して、接合させる。これにより、ウェーブレット変換した際に、エッジ等が現れやすい隣接部における高域成分が発生し難いために全体の符号化効率が向上し、圧縮率向上に繋がる。実際の構成としては、図７に示した画像符号化復号システム１を用いることができるため、必要に応じて図７を参照しながら説明する。
【００４９】
図７に示したカメラ映像入力部１１は、複数台のカメラからカメラ画像を得て、このカメラ画像情報Ｄ１０をＪＰＥＧ−２０００符号化部１２に供給する。
【００５０】
ＪＰＥＧ−２０００符号化部１２は、カメラ画像入力部１１から供給されたカメラ画像情報Ｄ１０を上述したように水平・垂直方向に接合して１つの画像とし、この画像をＪＰＥＧ−２０００方式に従って符号化する。ＪＰＥＧ−２０００符号化部１２は、得られた符号化コードストリームＤ１１をネットワークＮを介して画像復号装置２０に伝送し、又はコードストリーム記録部１３に供給して記録媒体に記録させる。
【００５１】
なお、図１２の計９個のカメラ画像は、１時刻当たりの画像であり、例えば通常のテレビジョン映像のように、１秒間に３０フレームの動画像の場合、ＪＰＥＧ−２０００符号化部１２は、図１２の画像を毎秒３０フレームの速度で符号化する。
【００５２】
ＪＰＥＧ−２０００復号部２１は、画像符号化装置１０から伝送され、又は記録媒体を介して画像符号化装置１０から供給された符号化コードストリームＤ１１を対称変換前の画像に戻し、これをＪＰＥＧ−２０００方式に従って復号する。ＪＰＥＧ−２０００復号部２１は、得られた復号画像Ｄ２０を画像表示部２２に供給する。
【００５３】
画像表示部２２は、ＪＰＥＧ−２０００復号部２１から供給された復号画像Ｄ２０を表示する。ここで、複数台のカメラ分だけ復号画像Ｄ２０が存在するため、画像表示部２２は、それらを図１に示した配置になるように表示する。
【００５４】
このように、第３の実施の形態では、複数のカメラ画像を隣接境界で画素値に大きな差がないように反転させて対称になるように水平・垂直方向に接合し、１つの画像とすることにより、ウェーブレット変換した際に、エッジ等が現れやすい隣接部における高域成分が発生し難くなり、全体の符号化効率を向上することができる。
【００５５】
（４）第４の実施の形態
本実施の形態では、例えば図１３に示すように、複数のカメラ画像の同一位置の画素列をまとめて１つの画像を生成する。図１３の例では、４個のカメラ画像について、左端から順番に４列ずつをまとめる。これにより、最終的に生成される画像は、カメラ画像と垂直サイズが同じで、水平サイズが４倍の解像度となる。実際の構成としては、図７に示した画像符号化復号システム１を用いることができるため、必要に応じて図７を参照しながら説明する。
【００５６】
図７に示したカメラ映像入力部１１は、複数台のカメラからカメラ画像を得て、このカメラ画像情報Ｄ１０をＪＰＥＧ−２０００符号化部１２に供給する。
【００５７】
ＪＰＥＧ−２０００符号化部１２は、カメラ画像入力部１１から供給されたカメラ画像情報Ｄ１０について、上述したように同一位置の画素列をまとめて１つの画像とし、この画像をＪＰＥＧ−２０００方式に従って符号化する。ＪＰＥＧ−２０００符号化部１２は、得られた符号化コードストリームＤ１１をネットワークＮを介して画像復号装置２０に伝送し、又はコードストリーム記録部１３に供給して記録媒体に記録させる。
【００５８】
ここで、隣接カメラ画像の特徴、特に同位置の画像の内容（画素値）が類似しているため、新しく生成した画像の隣接画素の相関が高くなり、圧縮率の向上が期待できる。
【００５９】
ＪＰＥＧ−２０００復号部２１は、画像符号化装置１０から伝送され、又は記録媒体を介して画像符号化装置１０から供給された符号化コードストリームＤ１１について、同一位置の画素列を複数のカメラ画像の画素列に分配し、複数のカメラ画像を生成する。そして、ＪＰＥＧ−２０００復号部２１は、この複数のカメラ画像をＪＰＥＧ−２０００方式に従って復号する。ＪＰＥＧ−２０００復号部２１は、得られた復号画像Ｄ２０を画像表示部２２に供給する。
【００６０】
画像表示部２２は、ＪＰＥＧ−２０００復号部２１から供給された復号画像Ｄ２０を表示する。ここで、複数台のカメラ分だけ復号画像Ｄ２０が存在するため、画像表示部２２は、それらを図１に示した配置になるように表示する。
【００６１】
なお、複数のカメラ画像の、同一位置の画素列をまとめる代わりに、例えば図１４に示すように、複数のカメラ画像の同一位置の画素行をまとめることもできる。図１４の例では、４個のカメラ画像について、画像の上から下の方向に１行ずつ複数のカメラ画像の同一位置の画素行を抽出し、これを順に並べて１つの画像を生成する。これにより、最終的に生成される画像は、カメラ画像と水平サイズが同じで、垂直サイズが４倍の解像度となる。
【００６２】
ＪＰＥＧ−２０００符号化部１２は、このように複数のカメラ画像の同一位置の画素行をまとめて１つの画像を生成し、生成された画像を、ＪＰＥＧ−２０００方式に従って符号化する。
【００６３】
ＪＰＥＧ−２０００復号部２１は、同一位置の画素行を複数のカメラ画像の画素列に分配し、複数のカメラ画像を生成する。そして、ＪＰＥＧ−２０００復号部２１は、この複数のカメラ画像をＪＰＥＧ−２０００方式に従って復号する。
【００６４】
画像表示部２２は、ＪＰＥＧ−２０００復号部２１から供給された復号画像Ｄ２０を表示する。ここで、複数台のカメラ分だけ復号画像Ｄ２０が存在するため、画像表示部２２は、それらを図１に示した配置になるように表示する。
【００６５】
このように、第４の実施の形態では、複数のカメラ画像の同一位置の画素列又は画素行をまとめて１つの画像を生成することにより隣接画素の相関を高め、圧縮率を向上することが可能となる。
【００６６】
なお、上述した第１、第３、第４の実施の形態の説明において、ＪＰＥＧ−２０００符号化部１２は、図１５で示すように、各画像をＩピクチャ（フレーム内符号化画像）として符号化するのが一般的である。
【００６７】
（５）第５の実施の形態
上述した第１、第３、第４の実施の形態では、全ての画像をＩピクチャ（フレーム内符号化画像）として符号化していたが、本実施の形態では、Ｉピクチャとして符号化する画像と差分画像として符号化する画像とに分けて符号化する。以下では、差分画像として符号化される画像をＳピクチャという。なお、ＭＰＥＧ方式ではマクロブロック単位で動き予測を行い、予測誤差について符号化を行うが、本実施の形態では、簡略化のため、動き予測を行わない単純な差分画像に対して符号化を行うこととする。
【００６８】
先ず本実施の形態における符号化方式の概念図を図１６に示す。上述した図１５では全てＩピクチャとして符号化されるのに対して、図１６では、第１カメラのみがＩピクチャとして符号化され、他のカメラ画像はＳピクチャとして符号化される。例えば、第２カメラの入力画像は、第１カメラの復号画像との差分が取られ、この差分画像が符号化される。同様に、第３カメラの入力画像は、第２カメラの復号画像との差分が取られ、この差分画像が符号化される。
【００６９】
次に本実施の形態における画像符号化復号システムの概略構成を図１７に示す。図１７に示すように、画像符号化復号システム２は、画像符号化装置３０と画像復号装置４０とから構成されており、画像符号化装置３０と画像復号装置４０とは、例えばインターネットであるネットワークＮを介して接続されている。ここで、画像符号化装置３０は、カメラ映像入力部３１と、ＪＰＥＧ−２０００符号化部３２と、ＪＰＥＧ−２０００復号部３３と、減算器３４と、差分画像符号化部３５と、コードストリーム記録部３６とを有する。また、画像復号装置４０は、ＪＰＥＧ−２０００復号部４１と、差分画像復号部４２と、加算器４３と、画像表示部４４とを有する。
【００７０】
画像符号化装置３０において、カメラ映像入力部３１は、複数台のカメラからの全方位画像を得て、このカメラ画像情報Ｄ３０をＪＰＥＧ−２０００符号化部３２及び減算器３４に供給する。
【００７１】
ＪＰＥＧ−２０００符号化部３２は、カメラ映像入力部３１から供給されたカメラ画像情報Ｄ３０をＪＰＥＧ−２０００方式に従って符号化する。ＪＰＥＧ−２０００符号化部３２は、得られた符号化コードストリームＤ３１をＪＰＥＧ−２０００復号部３３に供給する。また、ＪＰＥＧ−２０００符号化部３２は、Ｉピクチャとして符号化した符号化コードストリームＤ３２をネットワークＮを介して画像復号装置４０に伝送し、又はコードストリーム記録部３６に供給する。
【００７２】
ＪＰＥＧ−２０００復号部３３は、ＪＰＥＧ−２０００符号化部３２から供給された符号化コードストリームＤ３１をＪＰＥＧ−２０００方式に従って復号し、復号画像情報Ｄ３３を生成する。減算器３４は、カメラ映像入力部３１からＳピクチャとして符号化するカメラ画像情報Ｄ３０が供給されると、このカメラ画像情報Ｄ３０から隣接するカメラの復号画像情報Ｄ３３を減算し、得られた差分画像情報Ｄ３４を差分画像符号化部３５に供給する。
【００７３】
差分画像符号化部３５は、減算器３４から供給された差分画像情報Ｄ３４を、例えばファイル圧縮等によく使われるＬｉｖ−Ｚｅｍｐｅｌ符号や算術符号を用いて符号化する。ここで、ＪＰＥＧ−２０００方式に従って差分画像情報Ｄ３４を符号化しないのは、差分画像は一種のノイズ画像であり、画像内部の相関が非常に小さいため、画像の相関を利用するＪＰＥＧ−２０００方式が適さないからである。差分画像符号化部３５は、得られた符号化コードストリームＤ３５をネットワークＮを介して画像復号装置４０に伝送し、又はコードストリーム記録部３６に供給して記録媒体に記録させる。
【００７４】
一方、画像復号装置４０において、ＪＰＥＧ−２０００復号部４１は、Ｉピクチャとして符号化されて画像符号化装置３０から伝送され、又は記録媒体を介して画像符号化装置３０から供給された符号化コードストリームＤ３２をＪＰＥＧ−２０００方式に従って復号する。ＪＰＥＧ−２０００復号部４１は、得られた復号画像情報Ｄ４０を加算器４３及び画像表示部４４に供給する。
【００７５】
差分画像復号部４２は、Ｓピクチャとして符号化されて画像符号化装置３０から伝送され、又は記録媒体を介して画像符号化装置３０から供給された符号化コードストリームＤ３５を復号し、得られた差分画像情報Ｄ４１を加算器４３に供給する。加算器４３は、差分画像復号部４２から差分画像情報Ｄ４１が供給されると、この差分画像情報Ｄ４１と復号画像情報Ｄ４０又は隣接するカメラの復号画像情報とを加算し、得られた復号画像情報Ｄ４２を画像表示部４４に供給する。
【００７６】
画像表示部４４は、ＪＰＥＧ−２０００復号部４１から供給された復号画像情報Ｄ４０と加算器４３から供給された復号画像情報Ｄ４２とを表示する。ここで、複数台のカメラ分だけ復号画像が存在するため、画像表示部４４は、それらを図１に示した全方位画像の配置になるように表示する。
【００７７】
このように、第５の実施の形態では、Ｉピクチャとして符号化する画像とＳピクチャとして符号化する画像とに分け、画像の内容が類似する隣接カメラ画像間の差分を取って符号化することにより、Ｉピクチャのみの場合よりも圧縮率を向上することができる。その反面、少なくとも参照用の復号画像を保持しておくためのメモリが必要とされ、また、カメラ画像を順番に符号化していくことによりカメラ数分だけ遅延が発生するため、システムの要求条件によってＳピクチャを使い分けることが好ましい。
【００７８】
なお、図１６の例では、Ｉピクチャの位置を常に第１カメラに固定することにより切り替えの必要がなくなり、ハードウェアの制御を簡略化することができたが、このようにＩピクチャの位置を１つのカメラに固定することに限定されるものではない。例えば図１８に示すように、複数個のカメラ画像をＩピクチャで符号化し、Ｉピクチャに隣接したカメラ画像をＳピクチャで符号化するようにしても構わない。これにより、図１６の場合と比較して遅延時間を減らすことができる。また、重要なカメラ画像をＩピクチャで符号化するように切り替えても構わない。例えば、インターネット環境下において、クライアント側で人間が実際に見ている視点の中心位置のカメラ画像をサーバから伝送する場合には、この視点の中心位置のカメラ画像をＩピクチャとして符号化するように切り替えるのが好ましい。
【００７９】
（６）その他
本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００８０】
例えば、上述の実施の形態では、環状に配置された複数のカメラによって全方位画像を得るものとして説明したが、これに限定されるものではなく、例えば円弧状に配置された複数のカメラによって複数方位の画像を得るようにしても構わない。
【００８１】
また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【００８２】
【発明の効果】
以上詳細に説明したように本発明に係る画像符号化装置及び方法は、隣接する複数のカメラによって撮像された複数のカメラ画像を各構成要素とする全体画像を生成し、上記各構成要素となるカメラ画像を符号化の単位として上記全体画像を符号化する。
【００８３】
また、本発明に係る画像復号装置及び方法は、隣接する複数のカメラによって撮像された複数のカメラ画像を各構成要素とする全体画像を、上記各構成要素となるカメラ画像を単位として符号化して生成された符号化コードストリームを復号する際に、上記符号化コードストリームを復号し、復号された上記複数のカメラ画像を隣接して表示する。
【００８４】
このような画像符号化装置及び方法、並びに画像復号装置及び方法では、複数のカメラ画像をそれぞれ１つの画像の構成要素とみなし、この各構成要素となるカメラ画像を符号化の単位として符号化し、復号後の複数のカメラ画像を隣接する元の配置となるように表示する。これにより、ランダムアクセス復号が可能となり、任意のカメラ画像を抽出して復号することができるため、操作性が非常に向上する。
【００８５】
また、本発明に係る画像符号化装置及び方法は、隣接する複数のカメラによって撮像された複数のカメラ画像内の画素を、隣接して配列されるカメラ画像同士が対称になるように配置し、当該配置後のカメラ画像を水平方向及び垂直方向に配列して生成された全体画像を符号化する。
【００８６】
また、本発明に係る画像復号装置及び方法は、隣接する複数のカメラによって撮像された複数のカメラ画像内の画素を、隣接して配列されるカメラ画像同士が対称になるように配置し、当該配置後のカメラ画像を水平方向及び垂直方向に配列された全体画像を符号化して生成した符号化コードストリームを復号する際に、上記符号化コードストリームを復号し、復号された画像を水平方向及び垂直方向に分割して上記複数のカメラ画像を生成し、隣接する画像同士が対称になるように上記複数のカメラ画像の画素が配置されている場合に元の画素配列に戻す。
【００８７】
このような画像符号化装置及び方法、並びに画像復号装置及び方法では、複数のカメラ画像を隣接境界で画素値に大きな差がないように反転させて対称になるように水平・垂直方向に接合し、１つの全体画像として符号化する。復号の際には、復号された画像を水平方向及び垂直方向に分割して元の複数のカメラ画像を生成し、隣接して配列された画像同士が対称になるように複数のカメラ画像の画素が配置されている場合には元の画素配列に戻す。これにより、エッジ等が現れやすい隣接部における高域成分が発生し難くなり、全体の符号化効率を向上することができる。
【００８８】
また、発明に係る画像符号化装置及び方法は、隣接する複数のカメラによって撮像された複数のカメラ画像の同一位置の画素列又は画素行をまとめて配置して生成された全体画像を符号化する。
【００８９】
また、本発明に係る画像復号装置及び方法は、隣接する複数のカメラによって撮像された複数のカメラ画像の同一位置の画素列又は画素行をまとめて配置した全体画像を符号化して生成した符号化コードストリームを復号する際に、上記符号化コードストリームを復号し、復号された画像の画素列又は画素行を同一位置に分配することにより上記複数のカメラ画像を生成する。
【００９０】
このような画像符号化装置及び方法、並びに画像復号装置及び方法では、複数のカメラ画像の同一位置の画素列又は画素行をまとめ、１つの全体画像として符号化する。復号の際には、復号された画像の画素列又は画素行を同一位置に分配することにより元の複数のカメラ画像を生成する。これにより、隣接画素の相関を高め、圧縮率を向上することが可能となる。
【００９１】
また、本発明に係る画像符号化装置及び方法は、隣接する複数のカメラのうち１又は２以上の第１のカメラによって撮像された第１のカメラ画像をフレーム内符号化し、符号化された上記第１のカメラ画像を復号し、復号された上記第１のカメラ画像と上記第１のカメラに隣接する第２のカメラによって撮像された第２のカメラ画像との第１の差分画像を符号化する。
【００９２】
ここで、この画像符号化装置及び方法は、復号された上記第２のカメラ画像と上記第２のカメラに隣接する第３のカメラによって撮像された第３のカメラ画像との第２の差分画像を符号化する。
【００９３】
また、本発明に係る画像復号装置及び方法は、隣接する複数のカメラのうち１又は２以上の第１のカメラによって撮像された第１のカメラ画像をフレーム内符号化して生成した第１の符号化コードストリームと、符号化された上記第１のカメラ画像を復号し、復号された上記第１のカメラ画像と上記第１のカメラに隣接する第２のカメラによって撮像された第２のカメラ画像との第１の差分画像を符号化して生成した第２の符号化コードストリームとを復号する際に、上記第１の符号化コードストリームを復号して上記第１のカメラ画像を生成し、上記第２の符号化コードストリームを復号して上記第１の差分画像を生成し、上記第１の差分画像と上記第１のカメラ画像とを合成して上記第２のカメラ画像を生成する。
【００９４】
ここで、この画像復号装置及び方法は、復号された上記第２のカメラ画像と上記第２のカメラに隣接する第３のカメラによって撮像された第３のカメラ画像との第２の差分画像を符号化した第３の符号化コードストリームを復号して上記第２の差分画像を生成し、上記第２の差分画像と上記第２のカメラ画像とを合成して上記第３のカメラ画像を生成する。
【００９５】
このような画像符号化装置及び方法、並びに画像復号装置及び方法では、フレーム内符号化するカメラ画像と差分画像として符号化するカメラ画像とに分け、画像の内容が類似する隣接カメラ画像間の差分を取って符号化する。復号の際には、復号された差分画像と復号された隣接カメラ画像とを合成して元のカメラ画像を生成する。これにより、全てのカメラ画像をフレーム内符号化する場合よりも圧縮率を向上することができる。
【００９６】
また、本発明に係るプログラムは、上述した画像符号化処理又は画像復号処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００９７】
このようなプログラム及び記録媒体によれば、上述した画像符号化処理又は画像復号処理をソフトウェアにより実現することができる。
【図面の簡単な説明】
【図１】第１の実施の形態における全方位画像を説明する図であり、同図（Ａ）は、同心円上にカメラを配置し、同心円の中心から外部方向に撮像する例を示し、図図（Ｂ）は、同心円上にカメラを配置し、同心円の中心に向かって撮像する例を示す。
【図２】同第１の実施の形態において、複数のカメラ画像をタイル画像とみなす例を説明する図である。
【図３】第２レベルまでウェーブレット変換した場合のサブバンドを説明する図である。
【図４】実際の画像をウェーブレット変換した場合のサブバンドを説明する図であり、同図（Ａ）は、第１レベルまで分割した例を示し、同図（Ｂ）は、第３レベルまで分割した例を示す。
【図５】同第１の実施の形態におけるタイル符号化時のパラメータを説明する図である。
【図６】同タイル符号化の際のウェーブレット変換の及ぶ範囲を説明する図である。
【図７】同第１の実施の形態における画像符号化復号システムの概略構成を説明する図である。
【図８】タイル画像群の時間方向の符号化を説明する図である。
【図９】第２の実施の形態において、複数レイヤに符号化コードストリームを分割する際のレイヤ構造及びパケットの配置を説明する図である。
【図１０】実際の画像における解像度プログレシブを説明する図である。
【図１１】実際の画像における画質プログレシブを説明する図である。
【図１２】第３の実施の形態において、複数のカメラ画像を対称関係になるように配置する例を説明する図である。
【図１３】第４の実施の形態において、複数のカメラ画像の同一列の画素をまとめて１つの画像とする例を説明する図である。
【図１４】同第４の実施の形態において、複数のカメラ画像の同一行の画素をまとめて１つの画像とする例を説明する図である。
【図１５】全てのカメラ画像をＩピクチャとして符号化する例を説明する図である。
【図１６】第５の実施の形態において、複数のカメラ画像のうち、１つのカメラ画像をＩピクチャとして符号化し、その他のカメラ画像をＳピクチャとして符号化する例を説明する図である。
【図１７】同第５の実施の形態における画像符号化復号システムの概略構成を説明する図である。
【図１８】同第５の実施の形態において、複数のカメラ画像のうち、複数のカメラ画像をＩピクチャとして符号化し、その他のカメラ画像をＳピクチャとして符号化する例を説明する図である。
【符号の説明】
１，２　画像符号化復号システム、１０　画像符号化装置、１１　カメラ映像入力部、１２　ＪＰＥＧ−２０００符号化部、１３　コードストリーム記録部、２０　画像復号装置、２１　ＪＰＥＧ−２０００復号部、２２　画像表示部、３０　画像符号化装置、３１　カメラ映像入力部、３２　ＪＰＥＧ−２０００符号化部、３３　ＪＰＥＧ−２０００復号部、３４　減算器、３５　差分画像符号化部、３６　コードストリーム記録部、４０　画像復号装置、４１　ＪＰＥＧ−２０００復号部、４２　差分画像復号部、４３　加算器、４４　画像表示部
【図１】
2004007266.tif 000003
【図２】
2004007266.tif 000004
【図３】
2004007266.tif 000005
【図４】
2004007266.tif 000006
【図５】
2004007266.tif 000007
【図６】
2004007266.tif 000008
【図７】
2004007266.tif 000009
【図８】
2004007266.tif 000010
【図９】
2004007266.tif 000011
【図１０】
2004007266.tif 000012
【図１１】
2004007266.tif 000013
【図１２】
2004007266.tif 000014
【図１３】
2004007266.tif 000015
【図１４】
2004007266.tif 000016
【図１５】
2004007266.tif 000017
【図１６】
2004007266.tif 000018
【図１７】
2004007266.tif 000019
【図１８】
2004007266.tif 000020