(57)【要約】【課題】  高フレームレート映像や高解像度映像を複数の符号化装置を用いて符号化する際に、符号化効率を低下させずに符号化することを目的とする。【解決手段】  入力された画像データを、符号化における参照画像となる画像データと、参照画像とならない画像データに分配し、分配された参照画像となる画像データを第１の符号化手段によって符号化し、分配された参照画像とならない画像データを第２の符号化手段によって符号化して、各符号化されたストリームデータを多重化する。【選択図】  図１
2015226171.tif 000002
【特許請求の範囲】
【請求項１】
画像データをフレーム間予測符号化する画像符号化装置であって、
入力された画像データを、符号化における参照画像となる画像データと、参照画像とならない画像データに分配する画像分配手段と、
前記画像分配手段によって分配された参照画像となる画像データを符号化する第１の符号化手段と、
前記第１の符号化手段で符号化されたストリームデータを復号化する復号化手段と、
前記復号化手段で復号された画像データを参照画像として、前記画像分配手段によって分配された参照画像とならない画像データを予測符号化する第２の符号化手段と、
前記第１の符号化手段で符号化されたストリームデータと、前記第２の符号化手段で符号化されたストリームデータとを多重化するストリーム多重化手段とを備えることを特徴とする画像符号化装置。
【請求項２】
通信網に接続される通信手段を備え、前記第１の符号化手段と前記第２の符号化手段が、前記通信手段によってネットワーク接続されることを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記画像分配手段は、符号化におけるピクチャタイプがＩピクチャ及びＰピクチャのものと、符号化におけるピクチャタイプがＢピクチャとを分類することを特徴とする請求項１又は請求項２に記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画の符号化技術に係り、高フレームレートまたは高解像度映像の符号化を複数の符号化装置により行う画像符号化装置に関するものである。
【背景技術】
【０００２】
従来、画像を圧縮符号化する方式として、ＭＰＥＧ２、Ｈ．２６４等が知られている。これらの圧縮符号化方式は、画像をマクロブロックと呼ばれる１６×１６画素のブロックに分割し、動き補償予測、直交変換を行い、さらにその変換係数を量子化し、エントロピー符号化を施し、画像の圧縮符号化を行うものである。
【０００３】
また、高品質なＨＤ映像を撮影可能な撮像装置に、上記符号化方式による符号化装置を搭載したＨＤビデオカメラが一般に広く知られている。
【０００４】
近年、ビデオカメラの高フレームレート化、高解像度化への要望は高く、ＨＤのフレームレート６０Ｈｚインターレースに対して、６０Ｈｚプログレッシブの映像や、ＨＤの解像度１９２０×１０８０に対して、３８４０×２１６０の解像度をもつ４Ｋ２Ｋと呼ばれる高解像度の映像フォーマットが提案されている。
【０００５】
このような高フレームレート映像、高解像度映像を符号化しようとすると、非常に多く処理量が要求されるため、単一の符号化装置では実現が難しいという課題がある。そのため、画像をフレーム単位に時分割し、複数の符号化装置で符号化するという技術が特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２０００１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の技術は、フレーム単位の分割を、２以上の連続するピクチャからなるピクチャ群に分割するため、フレーム予測の参照距離が大きくなってしまうピクチャが存在し、予測符号化における符号化効率が低下するという問題があった。
【０００８】
本発明は、この点に鑑みてなされたものであり、高フレームレート映像や高解像度映像を複数の符号化装置を用いて符号化する際に、符号化効率を低下させずに符号化することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明に係る画像符号化装置の構成は、画像データをフレーム間予測符号化する画像符号化装置であって、入力された画像データを、符号化における参照画像となる画像データと、参照画像とならない画像データに分配する画像分配手段と、前記画像分配手段によって分配された参照画像となる画像データを符号化する第１の符号化手段と、前記第１の符号化手段で符号化されたストリームデータを復号化する復号化手段と、前記復号化手段で復号された画像データを参照画像として、前記画像分配手段によって分配された参照画像とならない画像データを予測符号化する第２の符号化手段と、前記第１の符号化手段で符号化されたストリームデータと、前記第２の符号化手段で符号化されたストリームデータとを多重化するストリーム多重化手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、高フレームレート映像や高解像度映像を複数の符号化装置を用いて符号化する際に、予測符号化におけるフレーム間予測の参照距離が大きくならないため、符号化効率を低下させずに符号化することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る画像符号化装置の構成を示すブロック図である。
【図２】本実施形態の動作タイミングを示すタイミング図である。
【発明を実施するための形態】
【００１２】
以下、本発明に係る画像符号化装置の実施形態について、図面を参照しながら詳細に説明する。図１は本実施形態に係る画像符号化装置の構成例を示すブロック図である。
【００１３】
図１に示すように本実施形態は第１の符号化処理部１００と、第２の符号化処理部１２０と、その間をつなぐ通信網１１０で構成されている。
【００１４】
第１の符号化処理部１００は、撮像部１０１、第１のフレームメモリ１０２、第１の符号化部１０３、ストリーム多重化部１０４、記録部１０５、第１の送信部１０６、第１の受信部１０７、第１の制御部１０８から構成される。第１の符号化処理部１００は従来のビデオカメラ本体に相当する。
【００１５】
第２の符号化処理部１２０は、第２の受信部１２１、第２の送信部１２６、復号化部１２２、第２のフレームメモリ１２３、第２の符号化部１２４、第２の制御部１２５から構成される。なお、第２の符号化処理部１２０は前記ブロックの機能をプログラム実行可能なコンピュータであってもよい。
【００１６】
通信網１１０は所定の通信プロトコルを用いて双方向にネットワーク通信可能な通信媒体であり、原画像信号を伝送する帯域を有している。例えば、ＵＳＢインターフェース、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、インターネットなどである。この通信網１１０を介して、第１の符号化処理部１００と第２の符号化処理部１２０の各データの送受信が行われている。
【００１７】
まず、第１の符号化処理部１００を構成する各ブロックについて説明する。第１の制御部１０８は、以下に説明する第１の符号化処理部１００の全体のタイミング制御を司っている。各ブロックでのピクチャ処理タイミング、送受信タイミングなどを制御する。
【００１８】
撮像部１０１は、レンズ、撮像素子、撮像信号処理回路で構成される動画像撮像部であり、撮像した映像をデジタル映像信号に変換し、原画像信号として、第１のフレームメモリ１０２に出力する。
【００１９】
第１のフレームメモリ１０２は、複数のフレーム領域をもつフレームメモリであり、書き込み及び読み出しがそれぞれ別々に任意のフレーム領域に対して行えるよう構成されている。入力された原画像信号をフレーム領域に一旦蓄積し、所定のタイミングで読み出しを行い、第１の符号化部１０３および第１の送信部１０６に出力する。
【００２０】
第１のフレームメモリ１０２が出力する原画像信号は第１の符号化部１０３に対しては、ＩピクチャおよびＰピクチャの原画像信号のみが出力され、第１の送信部１０６に対しては、Ｂピクチャの原画像信号のみが出力される。
【００２１】
第１の符号化部１０３は、ＭＰＥＧ２方式等の符号化方式により画像信号を符号化する画像符号化部である。ただし、第１の符号化部１０３はＩピクチャ及びＰピクチャのみの符号化を行う。第１のフレームメモリ１０２より入力された原画像信号はＩピクチャ及びＰピクチャとして符号化が行われ、符号化されたストリームデータはストリーム多重化部１０４と、第１の送信部１０６に出力される。
【００２２】
ストリーム多重化部１０４は、第１の符号化部１０３から入力されるＩピクチャ及びＰピクチャのストリームデータと、後述する第１の受信部１０７から入力されるＢピクチャのストリームデータの多重化を行う。ストリーム多重化部１０４には複数のピクチャストリームデータを蓄積するメモリがあり、蓄積されたピクチャストリームデータを所定の順番で読み出して多重化する。このように多重化されたストリームデータは単一の符号化装置で符号化したストリームと同様のピクチャ構造のストリームデータとなる。
【００２３】
記録部１０５は、ストリーム多重化部１０４より入力された多重化ストリームを非図示の記録媒体に記録する。
【００２４】
第１の送信部１０６は、第１のフレームメモリ１０２から入力されたＢピクチャの原画像信号と、第１の符号化部１０３から入力されたＩピクチャ及びＰピクチャのストリームデータを後述の第２の受信部１２１に送信する。この際、送信する原画像信号及びストリームデータが、どのピクチャのデータか（何番目のピクチャのデータか）を識別するためのピクチャ番号をストリームデータに付随させて送信する。
【００２５】
また、第１の受信部１０７は、第２の送信部１２６からのＢピクチャのストリームデータを受信する。受信したＢピクチャのストリームデータはストリーム多重化部１０４に出力する。なお、第２の送信部１２６から送信されるストリームデータにはどのピクチャのデータかを識別するためのピクチャ番号が付随しており、ストリーム多重化部１０４の処理において、ピクチャを識別する事ができる。
【００２６】
次に、第２の符号化処理部１２０を構成する各ブロックについて説明する。第２の制御部１２５は、以下に説明する第２の符号化処理部１２０の全体のタイミング制御を司っている。各ブロックでのピクチャ処理タイミング、送受信タイミングなどを制御する。
【００２７】
第２の受信部１２１は、第１の送信部１０６から送信されたＢピクチャの原画像信号と、Ｉピクチャ及びＰピクチャのストリームデータを受信する。受信したＢピクチャの原画像信号を第２のフレームメモリ１２３に出力し、Ｉピクチャ及びＰピクチャのストリームデータを復号化部１２２に出力する。なお、第１の送信部１０６から送信されるストリームデータにはどのピクチャのデータかを識別するためのピクチャ番号が付随しており、これ取り出して、以降に続く、復号化部１２２、第２のフレームメモリ１２３、第２の符号化部１２４での処理におけるピクチャ識別のために用いる。
【００２８】
また、第２の送信部１２６は、後述する第２の符号化部１２４から入力されたＢピクチャのストリームデータを第１の受信部１０７に送信する。この際、送信するストリームデータがどのピクチャのストリームデータかを識別するためのピクチャ番号の情報も併せて送信する。
【００２９】
復号化部１２２は、入力されたＩピクチャおよびＰピクチャのストリームデータを復号化して復号画像信号を第２のフレームメモリ１２３に出力する。なお、ここで入力されるＩピクチャ及びＰピクチャのストリームデータは前記第１の符号化部１０３で符号化されたストリームデータであり、復号化した復号化画像信号は後述する第２の符号化部１２４でのＢピクチャ符号化の際に参照画像として用いられる。
【００３０】
第２のフレームメモリ１２３は、復号化部１２２から入力されるＩピクチャ及びＰピクチャの復号画像信号と、第２の受信部１２１から入力されるＢピクチャ原画像信号を一旦蓄積して、所定のタイミングで読み出しを行い、第２の符号化部１２４に出力する。
【００３１】
第２の符号化部１２４は、ＭＰＥＧ２方式等の符号化方式により画像信号を符号化する画像符号化部である。ただし、第２の符号化部１２４はＢピクチャのみの符号化を行う。前述したように第２のフレームメモリには符号化対象となるＢピクチャの原画像が格納されており、また、参照画像となるＩピクチャ及びＰピクチャの復号画像信号が格納されている。第２の符号化部１２４はこれらの画像信号を読み出して、Ｂピクチャの符号化を行い、符号化されたストリームデータを第２の送信部１２６に出力する。
【００３２】
以上、本実施形態に係る各ブロックの動作について説明した。次に本実施形態の一連の処理動作について図２のタイミング図を交えて詳細に説明する。
【００３３】
図２は本実施形態に係る画像符号化装置の各ブロックで処理されるピクチャを表すタイミング図である。図２において横軸は時間軸である。横軸に示されるＴ０〜Ｔ１７はそれぞれ、１ピクチャ期間を示している。図中、矩形内のアルファベットは、原画像信号が符号化される際の符号化ピクチャタイプ、あるいはストリームデータのピクチャタイプを示している。数字はピクチャの表示順に付けられたピクチャ番号である。
【００３４】
（ａ）〜（ｇ）に示される矩形は各ブロックでの処理タイミング、あるいは入出力されるデータそのものを表している。上から（ａ）撮像部１０１からの原画像信号、（ｂ）第１の符号化部１０３での符号化処理、（ｃ）第１の送信部１０６の送信データ、（ｄ）復号化部１２２での復号化処理、（ｅ）第２の符号化部１２４での符号化処理、（ｆ）第２の送信部１２６での送信データ、（ｇ）多重化ストリームデータを表している。
【００３５】
なお、（ｃ）の第１の送信部１０６の送信データは第２の受信部１２１の受信データと同一であるため、第２の受信部１２１の受信データの説明の際にも（ｃ）を参照して説明する。
【００３６】
また、（ｅ）の第２の送信部１２６の送信データは第１の受信部１０７の受信データと同一であるため、第１の受信部１０７の受信データの説明の際にも（ｅ）を参照して説明する。
【００３７】
撮像部１０１からの原画像信号を（ａ）に示す。原画像信号は（ａ）に示すように１ピクチャ間隔で順次出力され、第１のフレームメモリ１０２に入力される。（ａ）に示されるピクチャタイプは後段の第１の符号化部および第２の符号化部で符号化される祭のピクチャタイプである。
【００３８】
第１の符号化部１０３での符号化処理タイミングを（ｂ）に示す。第１の符号化部１０３で符号化されるピクチャは前述したように、Ｉピクチャ及びＰピクチャである。撮像部１０１からの原画像信号のうち、ＩピクチャまたはＰピクチャがフレームメモリ１０から読み出されて符号化処理が行われる。
【００３９】
第１の符号化部１０３は（ｂ）に示すように、Ｉ２ピクチャをＴ３、Ｔ４の期間で読み出して符号化する。同様にＰ５ピクチャをＴ６、Ｔ７期間で読み出して符号化する。以降に続くＰピクチャ（Ｐ８、Ｐ１１、・・・）も同様である。
【００４０】
第１の送信部１０６から送信される送信データを（ｃ）に示す。第１の送信部１０６から送信される送信データは前述したように、Ｂピクチャの原画像信号とＩピクチャ及びＰピクチャのストリームデータである。
【００４１】
第１の送信部１０６は（ｃ）に示すように、まずＢ０ピクチャ、Ｂ１ピクチャの原画像信号を送信する。そして第１の符号化部１０３でのＩ２ピクチャの符号化が完了した後、Ｔ５期間でＩ２ピクチャのストリームを送信する。次にＢ３、Ｂ４ピクチャの原画像を送信する。そしてＰ５ピクチャの符号化が完了した後、Ｐ５ピクチャのストリームを送信する。以降に続くＢピクチャ（Ｂ６，Ｂ７，Ｐ８・・・）も同様である。
【００４２】
復号化部１２２での復号処理タイミングを（ｄ）に示す。復号化部１２２は前述したように、第１符号化部で符号化されたＩピクチャ及びＰピクチャのストリームデータを復号する。そのため、該ストリームデータが第１の送信部１０６及び第２の受信部１２１を介して復号化部１２２に入力された段階で復号化処理が開始される。
【００４３】
復号化部１２２は（ｄ）に示すように、Ｉ２ピクチャの復号化は第１の送信部１０６でのＩ２ピクチャのストリームデータの送信完了後に開始される。次にＰ５ピクチャの復号化は第１の送信部１０６でのＰ５ピクチャのストリームデータの送信完了後に開始される。以降に続く、Ｐピクチャ（Ｐ８，Ｐ１１・・・）も同様である。
【００４４】
第２の符号化部１２４での符号化処理タイミングを（ｅ）に示す。第２の符号化部１２４は前述したように、Ｉピクチャ及びＰピクチャの復号画像を参照画像として用い、Ｂピクチャの原画像信号の符号化を行う。そのため、参照画像、Ｂピクチャの原画像が第２のフレームメモリ１２３に格納された段階で符号化が開始される。
【００４５】
第２の符号化部１２４は（ｅ）に示すように、Ｂ０、Ｂ１ピクチャの符号化は復号化部１２２でＩ２ピクチャの復号化が完了した後、開始される。Ｂ３、Ｂ４ピクチャの符号化は復号化部１２２でＰ５ピクチャの復号化が完了した後、開始される。以降に続く、Ｂピクチャ（Ｂ６、Ｂ７・・・）も同様である。
【００４６】
第２の送信部１２６から送信される送信データを（ｆ）に示す。第２の送信部１２６から送信される送信データは前述したように、Ｂピクチャのストリームデータである。
【００４７】
第２の送信部１２６は（ｆ）に示すように、第２の符号化部１２４でのＢピクチャの符号化処理が完了した後、Ｂピクチャのストリームデータを送信する。Ｂ０ピクチャのストリームデータは、第２の符号化部１２４でＢ０ピクチャの符号化が完了した後、送信される。Ｂ１ピクチャのストリームデータは、第２の符号化部１２４でＢ１ピクチャの符号化が完了した後、送信される。
【００４８】
ストリーム多重化部１０４から出力される多重ストリームデータを（ｇ）に示す。ストリーム多重化部１０４は前述したように、第１の符号化部１０３から入力されるＩピクチャ及びＰピクチャのストリームデータと、第１の受信部１０７から入力されるＢピクチャのストリームデータを多重化して出力する。
【００４９】
ストリーム多重化部１０４は（ｇ）に示すように、まず、第１の符号化部１０３からＩ２ピクチャのストリームが入力された後、Ｉ２ピクチャを出力する。次に第１の受信部１０７からＢ０ピクチャのストリームが入力された後、Ｂ０を出力する。以降に続くピクチャ（Ｂ１、Ｐ５、Ｂ３、Ｂ４・・・）も同様である。
【００５０】
このように多重化されたストリームデータは単一の符号化装置で符号化したストリームと同様のピクチャ構造をもつストリームデータとなる。
【００５１】
以上のように本実施形態は、第１の符号化処理部１００でＩピクチャ及びＰピクチャの符号化を行い、第２の符号化処理部１２０でＢピクチャの符号化を行うように動作する。また、第２符号化処理部１２０での符号化における、フレーム間予測のための参照画像は第１の符号化処理部１００で符号化したＩピクチャ及びＰピクチャストリームデータを復号化した復号画像信号を用いるため、参照関係、参照距離とも単一の符号化装置で符号化する場合と同じになり、符号化効率を低下させることなく符号化を可能とする事ができる。
【符号の説明】
【００５２】
１００  第１の符号化処理部、１０１  撮像部、１０２  第１のフレームメモリ、
１０３  第１の符号化部、１０４  ストリーム多重化部、１０５  記録部、
１０６  第１の送信部、１０７  第１の受信部、１０８  第１の制御部、
１１０  通信網、１２０  第２の符号化処理部、１２１  第２の受信部、
１２２  復号化部、１２３  第２のフレームメモリ、１２４  第２の符号化部、
１２５  第２の制御部、１２６  第２の送信部
【図１】
2015226171.tif 000003
【図２】
2015226171.tif 000004