(57)【要約】【課題】複数の入力映像の符号化を行なう際に、符号化の演算処理効率を向上させることができる映像符号化装置を提供する。【解決手段】複数の映像データを同時に符号化処理する映像符号化装置であって、第１の映像データと第２の映像データをそれぞれ入力する映像入力手段と、第１の映像データに対して、符号化を行い第１の符号化データを出力する第１の符号化手段と、第１の映像データを参照して、第２の映像データに対して、視差探索を行うことにより、視差情報を求める視差探索手段と、視差情報を参照して、第２の映像データに対して、符号化を行い第２の符号化データを出力する第２の符号化手段と、第１の符号化データと、第２の符号化データを結合して第３の符号化データを出力する結合手段とを備える。【選択図】図１
2013162396.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像データを同時に符号化処理する映像符号化装置であって、
第１の映像データと第２の映像データをそれぞれ入力する映像入力手段と、
前記第１の映像データに対して、符号化を行い第１の符号化データを出力する第１の符号化手段と、
前記第１の映像データを参照して、前記第２の映像データに対して、視差探索を行うことにより、視差情報を求める視差探索手段と、
前記視差情報を参照して、前記第２の映像データに対して、符号化を行い第２の符号化データを出力する第２の符号化手段と、
前記第１の符号化データと、前記第２の符号化データとを結合して第３の符号化データを出力する結合手段と
を備えることを特徴とする映像符号化装置。
【請求項２】
前記視差探索手段は、前記視差探索の範囲を制限し、前記第１の映像データ及び前記第２の映像データそれぞれに含まれる特徴量を用いて、前記範囲内において前記視差探索を行なうことを特徴とする請求項１に記載の映像符号化装置。
【請求項３】
複数の映像データを同時に符号化処理する映像符号化装置が行う映像符号化方法であって、
第１の映像データと第２の映像データをそれぞれ入力する映像入力ステップと、
前記第１の映像データに対して、符号化を行い第１の符号化データを出力する第１の符号化ステップと、
前記第１の映像データを参照して、前記第２の映像データに対して、視差探索を行うことにより、視差情報を求める視差探索ステップと、
前記第２の映像データに対して、前記視差情報を参照して符号化を行い第２の符号化データを出力する第２の符号化ステップと、
前記第１の符号化データと、前記第２の符号化データとを結合して第３の符号化データを出力する結合ステップと
を有することを特徴とする映像符号化方法。
【請求項４】
前記視差探索ステップにおいては、前記視差探索の範囲を制限し、前記第１の映像データ及び前記第２の映像データそれぞれに含まれる特徴量を用いて、前記範囲内において前記視差探索を行なうことを特徴とする請求項３に記載の映像符号化方法。
【請求項５】
コンピュータに、請求項３または４に記載の映像符号化方法を実行させるための映像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の圧縮符号化を行う映像符号化装置、映像符号化方法及び映像符号化プログラムに関する。
【背景技術】
【０００２】
現在、映像の符号化を行なう際には、予測符号化とブロック分割変換符号化を行なうことが一般的になっている。予測符号化では、フレーム内予測符号化及び動き補償フレーム間予測符号化を行なうことにより予測誤差信号を生成する（例えば、非特許文献１参照）。予測誤差信号とは、マクロブロックにおける画素値とこの画素値の予測値との差分を表す信号である。マクロブロックとは、隣接する複数の画素（例えば、８×８画素）を集めた領域であり、符号化を行なう対象である。フレーム内予測符号化では、隣接する符号化済みのマクロブロックの画素値からマクロブロックにおける画素値を予測することにより、高い圧縮率を実現している。
【０００３】
一方、動き補償フレーム間予測符号化は、隣接するフレーム間の差分信号を用いるフレーム間予測符号化に加えて、フレームにある物体が符号化済みのフレームからどれだけ動いたかを表す情報（動きベクトル）を用いてマクロブロックの画素値を予測する。これにより、高い圧縮率を実現する。ブロック分割変換符号化では、フレーム内予測符号化及び動き補償フレーム間予測符号化による予測誤差信号を符号化する。すなわち、マクロブロック単位で予測誤差信号に離散コサイン変換（ＤＣＴ）を行なうことにより、高い圧縮率を実現している。
【０００４】
図３は、規格Ｈ．２６４／ＡＶＣの符号化方式を用いた映像符号化装置を示すブロック図である。映像符号化装置３０は、ＤＣＴ量子化部３１、逆量子化逆ＤＣＴ部３２、デブロッキングフィルタ部３３、動き補償部３４、重み付き予測部３５、画面内予測部３６、動きベクトル検出部３７、エントロピー符号化部３８とを含んで構成される。
【０００５】
ＤＣＴ量子化部３１は、符号化の対象である映像信号（以下、入力映像信号とする）を入力し、入力映像信号と予測画像との差分画像に対して離散コサイン変換および量子化を行なう。逆量子化逆ＤＣＴ部３２は量子化済のデータに対して逆量子化および逆離散コサイン変換を行なう。デブロッキングフィルタ部３３は逆離散コサイン変換後のデータに対してデブロッキングフィルタを掛けることで、ノイズ除去処理を行なう。動き補償部３４はデブロッキングフィルタ済のデータを元に、動きベクトル検出部３７で導出された動きベクトルを用いて動き補償を行なう。重み付き予測部３５は動き補償済みのデータに対して重み付き予測を行なう。エントロピー符号化部３８は、量子化済のデータに対してエントロピー符号化を行い符号化ストリームを出力する。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】ITU-T Rec. H.264 - ISO/IEC 14496-10, “Advanced video coding for generic audiovisual service”, Mar. 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、複数の入力映像信号に対して、複数の符号化装置を用いて符号化する際には、映像符号化装置３０を並列に並べて動作させることが想定されるが、この場合、符号化時には各入力映像信号に対して個別に符号化処理が行われることになる。したがって、複数の符号化部を持つ映像符号化装置に対して、複数の映像信号が入力されたとしても個々に符号化を行なう必要がある。そのため、２系統の入力映像が似ている特徴を有した入力映像であっても、符号化処理の演算処理効率を向上させることができないという問題がある。
【０００８】
本発明は、このような事情に鑑みてなされたもので、複数の入力映像の符号化を行なう際に、符号化の演算処理効率を向上させることができる映像符号化装置、映像符号化方法及び映像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、複数の映像データを同時に符号化処理する映像符号化装置であって、第１の映像データと第２の映像データをそれぞれ入力する映像入力手段と、前記第１の映像データに対して、符号化を行い第１の符号化データを出力する第１の符号化手段と、前記第１の映像データを参照して、前記第２の映像データに対して、視差探索を行うことにより、視差情報を求める視差探索手段と、前記視差情報を参照して、前記第２の映像データに対して、符号化を行い第２の符号化データを出力する第２の符号化手段と、前記第１の符号化データと、前記第２の符号化データを結合して第３の符号化データを出力する結合手段とを備えることを特徴とする。
【００１０】
本発明は、前記視差探索手段は、前記視差探索の範囲を制限し、前記第１の映像データ及び前記第２の映像データそれぞれに含まれる特徴量を用いて、前記範囲内において前記視差探索を行なうことを特徴とする。
【００１１】
本発明は、複数の映像データを同時に符号化処理する映像符号化装置が行う映像符号化方法であって、第１の映像データと第２の映像データをそれぞれ入力する映像入力ステップと、前記第１の映像データに対して、符号化を行い第１の符号化データを出力する第１の符号化ステップと、前記第１の映像データを参照して、前記第２の映像データに対して、視差探索を行うことにより、視差情報を求める視差探索ステップと、前記第２の映像データに対して、前記視差情報を参照して符号化を行い第２の符号化データを出力する第２の符号化ステップと、前記第１の符号化データと、前記第２の符号化データを結合して第３の符号化データを出力する結合ステップとを有することを特徴とする。
【００１２】
本発明は、前記視差探索ステップにおいては、前記視差探索の範囲を制限し、前記第１の映像データ及び前記第２の映像データそれぞれに含まれる特徴量を用いて、前記範囲内において前記視差探索を行なうことを特徴とする。
【００１３】
本発明は、コンピュータに、前記映像符号化方法を実行させるための映像符号化プログラムである。
【発明の効果】
【００１４】
本発明によれば、第１の映像データを参照して、第２の映像データに対して、視差探索を行って求めた視差情報を参照して、第２の映像データの符号化を行うようにしたため、符号化時の演算量を削減することができるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】視差探索部の探索範囲の予備実験の結果を示す図である。
【図３】従来技術による映像符号化装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の一実施形態による映像符号化装置を説明する。図１は同実施形態の構成を示すブロック図である。映像符号化装置２０は符号化部２１と符号化部２２と視差探索部２３と結合部２４とを含んで構成する。
【００１７】
符号化部２１は、符号化の対象となる第１の映像信号（以下、入力映像信号（１）と称する）を入力し、入力映像信号（１）に対して符号化を行い、符号化した結果である符号化結果（１）（第１の符号化データ）を出力する。そして、符号化部２１は符号化結果（１）を結合部２４に出力する。符号化部２２は、符号化の対象となる第２の映像信号（以下、入力映像信号（２）と称する）を入力し、入力映像信号（２）に対して符号化を行い、符号化した結果である符号化結果（２）（第２の符号化データ）を出力する。そして、符号化部２２は符号化結果（２）を結合部２４に出力する。符号化部２１、符号化部２２の詳細な構成は、公知の構成（例えば、図３に示す従来の構成）と同等であるので、ここでは詳細な説明を省略する。
【００１８】
視差探索部２３は入力映像信号（１）および入力映像信号（２）を入力し、入力映像信号（２）を対象画像、入力映像信号（１）を参照画像として、対象画像上の特徴点に対応する参照画像上の対応点を探索するなどして視差探索を行なう。結合部２４は符号化結果（１）および符号化結果（２）を入力し、これらを結合して１つの符号化ストリーム（第３の符号化データ）を出力する。
【００１９】
符号化部２１において符号化する際には、符号化部２１に含まれる動きベクトル検出部で動き探索を行なう。この時、入力映像信号（１）のあるフレームを動き探索対象画像として、前後数フレームを参照フレームとして動き探索を行なう。動きベクトル検出部については、公知である（例えば、図３に示す動きベクトル検出部３７）ため、ここでは詳細な説明を省略する。
【００２０】
視差探索部２３において視差探索を行なう際には、入力映像信号（２）を対象画像とし、入力映像信号（１）を参照画像として視差探索を行なう。この時、通常の動き探索では対象画像と同一時刻だけでなく異なる時刻の複数のフレームを参照画像とするが、視差探索部２３では対象画像と同一時刻の参照画像１フレームのみを参照画像とする。視差探索の結果得られた情報を符号化部２２へ出力する。
【００２１】
符号化部２２において符号化する際には、符号化部２１で符号化する際と同様に動きベクトル検出部で動き探索も行なうが、この結果に対して視差探索部２３で得られた情報を加えて動き補償部３４以降の処理（例えば、図３に示す各処理部により処理）を行なう。この様に視差探索部２３の結果を用いて符号化を行なっていくことで、入力映像信号（２）だけでなく入力映像信号（１）の情報を利用しながら符号化することが可能となる。
【００２２】
結合部２４は、符号化部２１が出力する符号化結果（１）および符号化部２２が出力する符号化結果（２）を入力とし、これらの符号化結果（１）符号化結果（２）を結合し、一つの符号化ストリームを出力する。
【００２３】
視差探索部２３において視差探索を行なう際には、動きベクトル検出部で行なう動き探索の探索範囲とは異なる探索範囲で探索を行なう。これは、視差探索を行なう際には入力映像信号（１）と入力映像信号（２）は同一時刻の異なる視点からの映像が入力されることが想定されるため、通常の動きベクトル検出で行なう動き探索とは異なる映像特性が有るからである。動きベクトル検出部では、一般的に縦横同じサイズの範囲を探索範囲として動き探索を行なう。一方、視差探索部２３では入力映像信号（１）と入力映像信号（２）が横方向にずれた視点からの映像が入力されることが想定されるため、縦方向は狭く、横方向は広く視差探索を行なう。この様に、入力画像の特徴に基づき、縦方向の探索範囲を狭くすることで探索精度をある程度保持した状態で演算量を削減することが可能となる。
【００２４】
次に、適切な探索範囲を検討するための予備実験の結果について説明する。予備実験では、探索範囲を横方向は１０２４画素固定、縦方向を５１２画素から１画素まで段階的に狭くした状態でＰＳＮＲ−Ｙ（Ｐｅａｋ  Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ−Ｌｕｍａ；ピーク信号対雑音比（輝度成分））を測定した。図２に予備実験結果を示す。この予備実験結果から横方向の探索範囲としては１６画素以下にすると大きくＰＳＮＲ−Ｙが大きく低下することが確認できるが、縦方向３２画素以上であるとＰＳＮＲ−Ｙをある程度維持できることが確認できるため、探索範囲を横方向と比べ縦方向を削減した形の探索範囲でも十分であることがわかる。
【００２５】
以上説明したように、同一映像の異なる視点の映像が入力される場合などでは、同一時刻の映像であるため、それらの映像間では多くの共通点があることが想定される。本実施形態による映像符号化装置２０は入力映像信号（２）を符号化する際に視差探索部２３の結果を用いて動き探索を行なうことで、効率的に動き探索を行い演算量を低減することができる。また、視差情報を利用してフレーム間の冗長性を取り除く視差補償探索を行なう際に、入力映像の特性を利用した探索範囲のみにおいて視差探索を行なうようにしたため、適切な探索範囲での視差探索が可能となり、符号化時の演算量を削減することができる。また、符号化部を複数（符号化部２１、２２）備えるとともに、視差探索部２３を映像符号化装置２０内に独立して備えたため、符号化処理を行う基本構成部分は従来のものをそのまま用いることが可能となる。また、符号化部を複数保持することでリアルタイムでの動作が可能となる。なお、結合部２４は、符号化部２１、２２が複数あるため複数のビットストリームを結合して１つのビットストリームを生成するためものである。
【００２６】
なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像符号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００２７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００２８】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【００２９】
複数の入力映像の符号化を行なう際に、符号化の演算処理効率を向上させることが不可欠な用途に適用できる。
【符号の説明】
【００３０】
２０・・・映像符号化装置、２１、２２・・・符号化部、２３・・・視差探索部、２４・・・結合部
【図１】
2013162396.tif 000003
【図２】
2013162396.tif 000004
【図３】
2013162396.tif 000005