(57)【要約】      （修正有）【課題】より柔軟なサービスを提供することができる変換装置を提供する。【解決手段】変換装置１０ａは、第１ストリームを取得する取得部１１と、第１ストリームに含まれる不可逆符号化された第１ピクチャを、可逆符号化されたピクチャである第２ピクチャに変換する変換部１２と、第２ピクチャを含む第２ストリームを出力する出力部１４とを備える。第１ストリームに含まれる複数のピクチャのうち、ストリームの送信要求が受け付けられたタイミングに応じた前記第１ピクチャを含む少なくとも１つの連続するピクチャのそれぞれの符号化方式を変換すると判断する。【選択図】図１
2020043519.tif 000002
【特許請求の範囲】
【請求項１】
第１ストリームを取得する取得部と、
前記第１ストリームに含まれる不可逆符号化された第１ピクチャを、可逆符号化されたピクチャである第２ピクチャに変換する変換部と、
前記第２ピクチャを含む第２ストリームを出力する出力部と、
を備える変換装置。
【請求項２】
前記出力部は、
前記第１ストリームに含まれる、前記第１ピクチャの復号画像を参照して符号化されたピクチャである第３ピクチャが、復号順で前記第２ピクチャの後に配置されるように、前記第２ストリームに前記第３ピクチャを含め、
前記第３ピクチャを含む前記第２ストリームを出力する
請求項１に記載の変換装置。
【請求項３】
前記出力部は、さらに、前記取得部によって取得された前記第１ストリームを出力する、
請求項１または２に記載の変換装置。
【請求項４】
前記変換装置は、さらに、
前記第１ストリームに含まれる複数のピクチャのそれぞれについて、当該ピクチャの符号化方式を変換するか否かを判断する判断部を備え、
前記変換部は、
前記判断部によって変換すると判断されたピクチャである前記第１ピクチャを、前記第２ピクチャに変換する、
請求項１〜３の何れか１項に記載の変換装置。
【請求項５】
前記判断部は、
前記第１ストリームに含まれる複数のピクチャのうち、ストリームの送信要求が受け付けられたタイミングに応じた前記第１ピクチャを含む少なくとも１つの連続するピクチャのそれぞれの符号化方式を変換すると判断する
請求項４に記載の変換装置。
【請求項６】
前記判断部は、
前記第１ストリームに含まれる複数のピクチャのうち、前記少なくとも１つの連続するピクチャよりも後の各ピクチャの符号化方式を変換しないと判断する
請求項５に記載の変換装置。
【請求項７】
前記変換部は、
前記第１ピクチャを復号することによって、前記第１ピクチャの復号画像を生成し、
前記第１ピクチャの復号画像を可逆符号化することによって、前記第１ピクチャを前記第２ピクチャに変換する
請求項１〜６の何れか１項に記載の変換装置。
【請求項８】
前記変換部は、
前記第１ピクチャの復号画像をイントラ予測符号化することによって、前記第１ピクチャを前記第２ピクチャに変換する
請求項７に記載の変換装置。
【請求項９】
前記変換部は、さらに、
前記第１ストリームに含まれる、不可逆にインター予測符号化されたピクチャである第４ピクチャを復号することによって、前記第４ピクチャの復号画像を生成し、
前記第４ピクチャの復号画像を不可逆にイントラ予測符号化することによって、前記第４ピクチャを第５ピクチャに変換し、
前記第１ピクチャの前記第２ピクチャへの変換では、
前記第４ピクチャの復号画像を参照してインター予測符号化された前記第１ピクチャの復号画像を、前記第５ピクチャの復号画像を参照して可逆にインター予測符号化することによって、前記第１ピクチャを前記第２ピクチャに変換し、
前記出力部は、
前記第５ピクチャおよび前記第２ピクチャを含む前記第２ストリームを出力する
請求項７に記載の変換装置。
【請求項１０】
前記変換部は、さらに、
前記第１ストリームに含まれる、不可逆にインター予測符号化された前記第１ピクチャを復号することによって、前記第１ピクチャの復号画像を生成し、
前記第１ピクチャの復号画像を不可逆にイントラ予測符号化することによって、前記第１ピクチャを第４ピクチャに変換し、
前記第１ピクチャの前記第２ピクチャへの変換では、
前記第１ピクチャの復号画像を、前記第４ピクチャの復号画像を参照して可逆にインター予測符号化することによって、前記第１ピクチャを前記第２ピクチャに変換し、
前記出力部は、
前記第４ピクチャおよび前記第２ピクチャを含む前記第２ストリームを出力する
請求項７に記載の変換装置。
【請求項１１】
第２ピクチャを含む第２ストリームを受信する受信部と、
前記第２ストリームを復号することによって映像信号を生成する復号部と、
前記映像信号にしたがって映像を表示する表示部とを備え、
前記第２ピクチャは、第１ストリームに含まれる不可逆符号化された第１ピクチャを変換することによって得られた、可逆符号化されたピクチャである
復号装置。
【請求項１２】
コンピュータがピクチャの符号化方式を変換する変換方法であって、
第１ストリームを取得し、
前記第１ストリームに含まれる不可逆符号化された第１ピクチャを、可逆符号化されたピクチャである第２ピクチャに変換し、
前記第２ピクチャを含む第２ストリームを出力する、
変換方法。
【請求項１３】
コンピュータがストリームを復号する復号方法であって、
第２ピクチャを含む第２ストリームを受信し、
前記第２ストリームを復号することによって映像信号を生成し、
前記映像信号にしたがって映像を表示し、
前記第２ピクチャは、第１ストリームに含まれる不可逆符号化された第１ピクチャを変換することによって得られた、可逆符号化されたピクチャである
復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、動画像の符号化、復号または変換を行う装置および方法などに関する。
【背景技術】
【０００２】
動画像符号化処理では、一般に、動画像が有する時間方向の冗長性を利用して情報量の圧縮を行う画面間予測（以降、インター予測とも呼ぶ）符号化処理が用いられる。インター予測符号化処理では、ピクチャを符号化する際に、そのピクチャ（以下、符号化対象ピクチャという）とは異なる符号化済みのピクチャを、参照ピクチャとして用いる。そして、その参照ピクチャに基づく符号化対象ピクチャの動き検出により、動きベクトルを導出する。さらに、動きベクトルに基づいて動き補償を行って得られた予測画像と、符号化対象ピクチャとの差分を取ることにより、時間方向の冗長性を取り除く。ここで、動き検出では、符号化対象ピクチャ内の符号化対象ブロックと、参照ピクチャ内の各ブロックとの差分値を算出し、最も差分値の小さい参照ピクチャ内のブロックを参照ブロックとして探索する。そして、符号化対象ブロックと、参照ブロックとを用いて、動きベクトルを検出する。
【０００３】
動画像符号化処理では、一般に、インター予測符号化処理と、参照ピクチャを用いない符号化処理である画面内予測（以降、イントラ予測とも呼ぶ）符号化処理が併用される。また、動画像の符号化方式として代表的なものに、Ｈ．２６５／ＨＥＶＣと呼ばれる動画像符号化方式がある（非特許文献１参照）。
【０００４】
また、動画像符号化処理は、監視カメラまたはテレビ会議システムのように１つの映像を複数の端末に伝送する場合、あるいは、映像を記憶媒体に記録する場合などに用いられる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Recommendation ITU-T H.265 「AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video」、２０１８年２月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば監視カメラなどの動画像の伝送に、上述の動画像符号化処理が単純に用いられる場合には、柔軟なサービスを提供することが難しいという課題がある。
【０００７】
本開示は、符号化された動画像であるストリームを他のストリームに変換する装置であって、より柔軟なサービスを提供することができる変換装置を提供する。
【課題を解決するための手段】
【０００８】
本開示の一態様に係る変換装置は、第１ストリームを取得する取得部と、前記第１ストリームに含まれる不可逆符号化された第１ピクチャを、可逆符号化されたピクチャである第２ピクチャに変換する変換部と、前記第２ピクチャを含む第２ストリームを出力する出力部と、を備える。
【０００９】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
【発明の効果】
【００１０】
本開示の変換装置によれば、より柔軟なサービスを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態１における変換装置の構成図である。
【図２】図２は、実施の形態１における変換装置の各構成要素によって行われる処理の一例を示すシーケンス図である。
【図３Ａ】図３Ａは、実施の形態１における変換装置の動作の一例を示すフローチャートである。
【図３Ｂ】図３Ｂは、実施の形態１における変換装置の動作の他の例を示すフローチャートである。
【図４】図４は、実施の形態２における変換装置の各構成要素によって行われる処理の一例を示すシーケンス図である。
【図５】図５は、実施の形態３における変換装置の各構成要素によって行われる処理の一例を示すシーケンス図である。
【図６】図６は、実施の形態４における符号化装置の構成図である。
【図７】図７は、実施の形態５における映像配信システムの構成図である。
【図８】図８は、実施の形態６における映像配信システムの構成図である。
【図９】図９は、実施の形態７における映像再生システムの構成図である。
【図１０】図１０は、実施の形態７における可逆圧縮方式のトランスコードを説明するための図である。
【図１１】図１１は、実施の形態７における他の映像記録再生装置の構成図である。
【図１２】図１２は、変換装置の構成の他の例を示すブロック図である。
【発明を実施するための形態】
【００１２】
（本開示の基礎となった知見）
本発明者は、「背景技術」の欄において記載した動画像符号化処理の適用例に関し、以下の課題が生じることを見出した。
【００１３】
例えば、動画像符号化処理の適用例として、監視カメラなどの動画像に対して符号化処理を行い、その符号化処理された動画像、すなわちストリームを複数の端末に送信して再生させるシステムがある。これらの複数の端末はストリーミング再生を行う。このようなシステムの場合、第１端末がストリームの再生を行っているときに、途中から第２端末がそのストリームの送信を要求しても、その第２端末によるそのストリームの再生が遅延する可能性がある。
【００１４】
例えば、第２端末は、ストリームに含まれるＧＯＰ（Group of Picture）にある、インター予測符号化されたピクチャからの再生を要求する。つまり、その再生の要求が受け付けられたタイミングでは、ストリームに含まれる各ピクチャのうち、そのインター予測符号化されたピクチャが送信される。また、そのピクチャは、具体的にはＰピクチャ（Predictive Picture）またはＢピクチャ（Bidirectionally Predictive Picture）などである。
【００１５】
しかし、その要求に応じて、ストリームのうち、インター予測符号化されたピクチャ以降の各ピクチャが第２端末に送信されても、第２端末は、そのインター予測符号化されたピクチャを復号することができない。これは、第２端末が、インター予測符号化されたピクチャの復号に参照されるピクチャを先に復号していないためである。したがって、第２端末は、ストリームのうちのＩＤＲ（Instantaneous Decoding Refresh）ピクチャが伝送されるまで、再生を待たなければならない。そのため、効率的なランダムアクセスが困難である。
【００１６】
また、このような再生の遅延を解消するために、そのインター予測符号化されたピクチャを、イントラ予測符号化されたピクチャに変換することが想定される。この場合には、インター予測符号化されたピクチャの代わりに、イントラ予測符号化されたピクチャを含むストリームが第２端末に送信される。その結果、第２端末は、ストリームに含まれるそのイントラ予測符号化されたピクチャから各ピクチャを復号することができる。しかし、そのイントラ予測符号化されたピクチャの後続のピクチャの復号画像の画質が低下してしまうという課題が生じる。これは、ストリームに含まれていた元のピクチャが、不可逆にインター予測符号化されてあって、そのピクチャの復号画像が、上述の変換によって、さらに不可逆にイントラ予測符号化されるためである。その結果、このようなイントラ予測符号化されたピクチャの復号画像を参照することによって復号されるピクチャでは、画質が低下してしまう。つまり、ストリームに含まれる、イントラ予測符号化されたピクチャ以降の各ピクチャにおいて、映像の乱れが生じてしまう。
【００１７】
また、再生の遅延を解消するために、つまり、効率的なランダムアクセスを実現するために、ストリームにＩＤＲピクチャを挿入して、そのＩＤＲピクチャが挿入されたストリームを第２端末に送信することが想定される。しかし、この場合には、そのストリームを伝送するためのネットワークの負荷が増加してしまう。
【００１８】
また、再生の遅延を解消するために、つまり、効率的なランダムアクセスを実現するために、監視カメラなどに各端末に対応する符号化装置を備えておくことが想定される。しかし、この場合には、ストリームを同時に再生することができる端末の数が、その符号化装置の数に制限されてしまう。
【００１９】
そこで、本開示の一態様に係る変換装置は、第１ストリームを取得する取得部と、前記第１ストリームに含まれる不可逆符号化された第１ピクチャを、可逆符号化されたピクチャである第２ピクチャに変換する変換部と、前記第２ピクチャを含む第２ストリームを出力する出力部と、を備える。例えば、前記変換部は、前記第１ピクチャを復号することによって、前記第１ピクチャの復号画像を生成し、前記第１ピクチャの復号画像を可逆符号化することによって、前記第１ピクチャを前記第２ピクチャに変換してもよい。また、可逆符号化は、例えば、動画像符号化規格のＨ．２６４またはＨ．２６５の拡張機能である、Ｈ．２６４ＬｏｓｓｌｅｓｓまたはＨ．２６５Ｌｏｓｓｌｅｓｓなどによる符号化である。
【００２０】
これにより、例えば、第１ストリームが送信されているときに、端末が、その第１ストリームに含まれる第１ピクチャ以降の各ピクチャの送信を要求しても、不可逆符号化されたピクチャではなく、可逆符号化されたピクチャである第２ピクチャを含む第２ストリームがその端末に送信される。その結果、端末は、第２ストリームに含まれる第２ピクチャ以降の各ピクチャを適切に復号することができ、復号画像の画質の低下を抑えることができる。したがって、ネットワーク負荷の増加と、ストリームを同時に再生することができる端末の数の制限とを伴うことなく、効率的なランダムアクセスを実現することができ、より柔軟なサービスを提供することができる。
【００２１】
また、前記出力部は、前記第１ストリームに含まれる、前記第１ピクチャの復号画像を参照して符号化されたピクチャである第３ピクチャが、復号順で前記第２ピクチャの後に配置されるように、前記第２ストリームに前記第３ピクチャを含め、前記第３ピクチャを含む前記第２ストリームを出力してもよい。
【００２２】
これにより、第３ピクチャの符号化方式が変換されていなくても、その第２ストリームを受信する端末は、第２ピクチャの復号画像を参照して第３ピクチャを適切に復号することができる。
【００２３】
また、前記出力部は、さらに、前記取得部によって取得された前記第１ストリームを出力してもよい。
【００２４】
これにより、第１ストリームを第１端末に送信しているときに、第２端末からの要求に応じて、第２ストリームを第２端末に送信することができる。
【００２５】
また、前記変換装置は、さらに、前記第１ストリームに含まれる複数のピクチャのそれぞれについて、当該ピクチャの符号化方式を変換するか否かを判断する判断部を備え、前記変換部は、前記判断部によって変換すると判断されたピクチャである前記第１ピクチャを、前記第２ピクチャに変換してもよい。例えば、前記判断部は、前記第１ストリームに含まれる複数のピクチャのうち、ストリームの送信要求が受け付けられたタイミングに応じた前記第１ピクチャを含む少なくとも１つの連続するピクチャのそれぞれの符号化方式を変換すると判断してもよい。
【００２６】
これにより、ピクチャの符号化方式の変換を適切なタイミングで実施することができ、送信要求からの遅延を抑えて、第２ストリームの再生を開始することができる。
【００２７】
また、前記判断部は、前記第１ストリームに含まれる複数のピクチャのうち、前記少なくとも１つの連続するピクチャよりも後の各ピクチャの符号化方式を変換しないと判断してもよい。
【００２８】
これにより、符号化方式の変換にかかる負荷を低減することができる。
【００２９】
また、前記変換部は、前記第１ピクチャの復号画像をイントラ予測符号化することによって、前記第１ピクチャを前記第２ピクチャに変換してもよい。
【００３０】
これにより、第２ピクチャは可逆符号化されたＩピクチャであるため、第２ストリームの先頭に第２ピクチャが配置されていても、端末は、第２ストリームをその先頭から、復号画像を参照することなく復号することができる。また、第１ストリームに含まれる各ピクチャのうち第１ピクチャの符号化方式を変換すれば、他のピクチャの符号化方式の変換を省くことができる。
【００３１】
また、前記変換部は、さらに、前記第１ストリームに含まれる、不可逆にインター予測符号化されたピクチャである第４ピクチャを復号することによって、前記第４ピクチャの復号画像を生成し、前記第４ピクチャの復号画像を不可逆にイントラ予測符号化することによって、前記第４ピクチャを第５ピクチャに変換し、前記第１ピクチャの前記第２ピクチャへの変換では、前記第４ピクチャの復号画像を参照してインター予測符号化された前記第１ピクチャの復号画像を、前記第５ピクチャの復号画像を参照して可逆にインター予測符号化することによって、前記第１ピクチャを前記第２ピクチャに変換し、前記出力部は、前記第５ピクチャおよび前記第２ピクチャを含む前記第２ストリームを出力してもよい。
【００３２】
これにより、第１ストリームに含まれる第４ピクチャおよび第１ピクチャは、第２ストリームに含まれる第５ピクチャおよび第２ピクチャに変換される。例えば、不可逆符号化されたＰピクチャである第４ピクチャと、不可逆符号化されたＰピクチャである第１ピクチャとは、不可逆符号化されたＩピクチャである第５ピクチャと、可逆符号化されたＰピクチャである第２ピクチャとに、それぞれ変換される。
【００３３】
例えば、可逆符号化されたＩピクチャの符号量は大きく、そのＩピクチャの送信によってネットワーク負荷が高まる可能性がある。しかし、上述の態様では、第２ピクチャは、可逆符号化されたＩピクチャではなく、可逆符号化されたＰピクチャ（またはＢピクチャ）として構成される。また、不可逆符号化されたＰピクチャである第４ピクチャを、不可逆符号化されたＩピクチャである第５ピクチャに変換することによって、１つのピクチャあたりの符号量が増加する可能性があるが、ストリームの全体的なビットレートを抑えることができる。
【００３４】
また、前記変換部は、さらに、前記第１ストリームに含まれる、不可逆にインター予測符号化された前記第１ピクチャを復号することによって、前記第１ピクチャの復号画像を生成し、前記第１ピクチャの復号画像を不可逆にイントラ予測符号化することによって、前記第１ピクチャを第４ピクチャに変換し、前記第１ピクチャの前記第２ピクチャへの変換では、前記第１ピクチャの復号画像を、前記第４ピクチャの復号画像を参照して可逆にインター予測符号化することによって、前記第１ピクチャを前記第２ピクチャに変換し、前記出力部は、前記第４ピクチャおよび前記第２ピクチャを含む前記第２ストリームを出力してもよい。
【００３５】
これにより、第１ストリームに含まれる第１ピクチャは、第２ストリームに含まれる第４ピクチャと第２ピクチャとに変換される。例えば、不可逆符号化されたＰピクチャである第１ピクチャは、不可逆符号化されたＩピクチャである第４ピクチャと、可逆符号化されたＰピクチャである第２ピクチャとに変換される。
【００３６】
例えば、可逆符号化されたＩピクチャの符号量は大きく、そのＩピクチャの送信によってネットワーク負荷が高まる可能性がある。しかし、上述の態様では、第２ピクチャは、可逆符号化されたＩピクチャではなく、可逆符号化されたＰピクチャ（またはＢピクチャ）として構成される。また、第４ピクチャと第２ピクチャとはそれぞれ、同じ第１ピクチャからの変換によって生成されるため、第４ピクチャと第２ピクチャとの画像は類似している。その結果、第１ピクチャから第２ピクチャへの変換に、その第４ピクチャの復号画像が参照されることによって、その第２ピクチャの符号量を抑えることができる。その結果、ストリームの全体的なビットレートを抑えることができる。
【００３７】
また、本開示の一態様に係る復号装置は、第２ピクチャを含む第２ストリームを受信する受信部と、前記第２ストリームを復号することによって映像信号を生成する復号部と、前記映像信号にしたがって映像を表示する表示部とを備え、前記第２ピクチャは、第１ストリームに含まれる不可逆符号化された第１ピクチャを変換することによって得られた、可逆符号化されたピクチャである。
【００３８】
これにより、例えば、第１ストリームが送信されているときに、その第１ストリームに含まれる第１ピクチャ以降の各ピクチャの送信を要求すると、受信部は、不可逆符号化されたピクチャではなく、可逆符号化されたピクチャである第２ピクチャを含む第２ストリームを受信する。その結果、復号部は、第２ストリームに含まれる第２ピクチャ以降の各ピクチャを適切に復号することができ、復号画像の画質の低下を抑えることができる。
【００３９】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
【００４０】
以下、本開示の実施の形態について、図面を参照しながら具体的に説明する。
【００４１】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４２】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
【００４３】
（実施の形態１）
図１は、本実施の形態における変換装置の構成図である。
【００４４】
本実施の形態における変換装置１０ａは、第１フレームを符号化することによって得られる第１符号化データを含む第１ストリームと、第１符号化データをトランスコードすることによって得られる第２符号化データを含む第２ストリームとを出力する。例えば、変換装置１０ａは、第１ストリームを第１復号装置２１に出力し、第２ストリームを第２復号装置２２に出力する。
【００４５】
なお、本開示において、フレームとピクチャとは同義である。また、フレームまたはピクチャは、符号化されていない状態であってもよく、符号化されている状態であってもよい。しかし、符号化されている状態を明示する場合、その符号化されているフレームまたはピクチャを、符号化データと称する。
【００４６】
また、上述の第１符号化データは、第１ストリームの先頭に配置されている符号化データではなく、途中に配置されている符号化データである。なお、ストリームには、各符号化データが先頭から復号順または符号化順に配置されている。また、第１ストリームに含まれる各符号化データは、フレームまたはピクチャを不可逆符号化することによって得られたデータである。
【００４７】
本実施の形態における変換装置１０ａによって、第１復号装置２１は、第１ストリームの復号を、先頭の符号化データから開始し、第２復号装置２２は、第２ストリームの復号を、第１ストリームの途中にある第１符号化データに対応する第２符号化データから開始することができる。なお、第２符号化データは、例えばＰピクチャである第１符号化データを可逆符号化でトランスコードすることによって得られるＩピクチャであってもよい。この構成により、第２符号化データ（すなわち符号化された第１フレーム）の後続の符号化データをトランスコードしなくても、第２復号装置２２は、その後続の符号化データを復号することができる可能性がある。
【００４８】
変換装置１０ａは、図１に示すように、取得部１１、判断部１３、変換部１２、および出力部１４を備え、第１復号装置２１と第２復号装置２２とに接続されている。変換装置１０ａは、第１ストリームを取得し、その第１ストリームを第１復号装置２１に出力する。また、変換装置１０ａは、その第１ストリームを第２ストリームに変換し、その第２ストリームを第２復号装置２２に出力する。第１復号装置２１は、第１ストリームを復号し、第２復号装置２２は、第２ストリームを復号する。なお、変換装置１０ａと、第１復号装置２１および第２復号装置２２とは、ネットワーク経由で接続されていてもよい。
【００４９】
取得部１１は、第１符号化データを含む第１ストリームを取得し、その第１ストリームを出力部１４および変換部１２に出力する。第１符号化データは、フレーム内符号化データ（即ち、Ｉピクチャ）またはフレーム間符号化データ（即ち、ＰピクチャもしくはＢピクチャ）である。なお、フレーム内符号化データは、画面内予測、すなわちイントラ予測によって符号化されたフレームまたはピクチャであり、フレーム間符号化データは、画面間予測、すなわちインター予測によって符号化されたフレームまたはピクチャである。なお、図１において、第１ストリームと第２ストリームの一例を示す。「Ｉ１」および「Ｉ２」は、Ｉピクチャの符号化データを示し、「Ｐ１」〜「Ｐ４」は、Ｐピクチャの符号化データを示す。
【００５０】
変換部１２は、第１符号化データをトランスコードする。変換部１２は、復号部１２ａと、符号化部１２ｂとを備える。復号部１２ａは、第１符号化データを復号することによって復号画像を生成する。符号化部１２ｂは、その復号画像を符号化することによって、第１符号化データを第２符号化データにトランスコードする。なお、符号化部１２ｂによって行われる符号化を、再符号化ともいう。
【００５１】
判断部１３は、第１ストリームに含まれる符号化データのそれぞれについて、その符号化データをトランスコードするか否かを判断する。判断部１３は、第２復号装置２２からの復号開始を求める要求信号が変換装置１０ａに受信された場合に、要求信号が受信された後に送信される１または複数の符号化データをトランスコードすると判断してもよい。例えば、判断部１３は、要求信号が受信された後（具体的には直後）に送信される第１符号化データをトランスコードすると判断する。なお、判断部１３は、要求信号が受信された後、第１ストリームに含まれる次のＩピクチャまでトランスコードすると判断してもよい。なお、次のＩピクチャは、要求信号が受信されたタイミングの後に、変換装置１０ａから最初に送信されるＩピクチャである。
【００５２】
出力部１４は、第１ストリームを第１復号装置２１に出力し、第２ストリームを第２復号装置２２に出力する。つまり、第１ストリームおよび第２ストリームが送信または伝送される。第２ストリームは、第２符号化データと、その第２符号化データに後続する１つまたは複数の符号化データとを含む。具体的には、出力部１４は、第２フレームと、第２フレームに後続する１つまたは複数のフレームを組合せ、さらに制御情報を付与することによって第２ストリームを生成する。
【００５３】
図２は、本実施の形態における変換装置１０ａの各構成要素によって行われる処理の一例を示すシーケンス図である。
【００５４】
図２に示すように、変換装置１０ａの取得部１１は、符号化データＩ１、符号化データＰ１、符号化データＰ２、符号化データＰ３、符号化データＰ４の順にこれらの符号化データを取得する。つまり、取得部１１は、上述の順に配列されているこれらの符号化データを含む第１ストリームを取得する。また、符号化データＩ１は、１番目のＩピクチャの符号化データであって、符号化データＰｎ（ｎは１〜５のうちの何れかの整数）は、ｎ番目のＰピクチャの符号化データである。また、Ｐピクチャ（または符号化データＰｎ）は、直前の符号化データを参照して符号化されている。また、図２に示す例では、第１復号装置２１は、第１ストリームに含まれる全ての符号化データを復号し、第２復号装置２２は、第１ストリームに含まれる符号化データＰ２以降の各符号化データの送信を変換装置１０ａに要求する。言い換えれば、第１復号装置２１は、第１ストリームの先頭の符号化データからの再生を変換装置１０ａに要求し、第２復号装置２２は、第１ストリームの途中の符号化データからの再生を変換装置１０ａに要求する。このような要求は、要求信号として変換装置１０ａに送信される。
【００５５】
図２に示すように、取得部１１は、符号化データを取得するたびに、その符号化データを出力部１４と、変換部１２とに出力する。変換部１２の復号部１２ａは、取得部１１から出力された符号化データを復号することによって、その符号化データに対応する復号画像を生成する。
【００５６】
判断部１３は、例えば第２復号装置２２からの要求が受け付けられるまで、変換部１２に順次入力される符号化データをトランスコードしないと判断する。また、出力部１４は、例えば第２復号装置２２からの要求が受け付けられるまで、第２復号装置２２への第２ストリームの送信を行うことなく、第１復号装置２１への第１ストリームの送信を行う。
【００５７】
つまり、上述のように、第２復号装置２２が、第１ストリームに含まれる符号化データＰ２以降の各符号化データの送信を要求する場合、判断部１３は、符号化データＩ１および符号化データＰ１をトランスコードしないと判断する。すなわち、判断部１３は、第２ストリームの生成を開始しないと判断する。そして、出力部１４は、符号化データＩ１および符号化データＰ１をそれぞれ第１ストリームに含まれる符号化データとして第１復号装置２１に送信する。
【００５８】
次に、第２復号装置２２からの要求が受け付けられた場合、判断部１３は、第１ストリームに含まれる符号化データＰ２をトランスコードすると判断する。すなわち、判断部１３は、第２ストリームの生成を開始すると判断する。その結果、判断部１３は、符号化データＰ２に対する再符号化を指示する指示信号を、符号化部１２ｂに送信する。
【００５９】
符号化部１２ｂは、その指示信号に応じて、復号部１２ａによって生成された、符号化データＰ２の復号画像を符号化する。この符号化では、可逆のイントラ予測が用いられる。その結果、符号化部１２ｂは、可逆のフレーム内符号化データである符号化データＩ２を生成して出力部１４に出力する。これにより、変換部１２では、不可逆の符号化データＰ２が可逆の符号化データＩ２に変換される。言い換えれば、不可逆のＰピクチャが可逆のＩピクチャに変換される。
【００６０】
なお、可逆符号化は、例えば、動画像符号化規格のＨ．２６４またはＨ．２６５の拡張機能である、Ｈ．２６４ＬｏｓｓｌｅｓｓまたはＨ．２６５Ｌｏｓｓｌｅｓｓなどによる符号化である。また、符号化において量子化が行われる場合には、可逆符号化は、その量子化に用いられる量子化幅が１の符号化であってもよい。また、符号化データＰ２は、上述の第１符号化データであり、符号化データＩ２は、上述の第２符号化データである。
【００６１】
出力部１４は、符号化データＰ２を第１ストリームに含まれる符号化データとして第１復号装置２１に出力し、符号化データＩ２を第２ストリームに含まれる符号化データとして第２復号装置２２に出力する。
【００６２】
次に、判断部１３は、変換部１２に符号化データＰ３以降の各符号化データが入力されると、それらの符号化データをトランスコードしないと判断する。
【００６３】
出力部１４は、符号化データＰ２に引き続き、符号化データＰ３以降の各符号化データも、第１ストリームに含まれる符号化データとして第１復号装置２１に出力する。その結果、第１ストリームが出力部１４から第１復号装置２１に出力される。
【００６４】
さらに、出力部１４は、上述の判断部１３による判断結果に基づき、符号化データＰ３以降の各符号化データの符号化方式を変換することなく、その各符号化データを第２ストリームに含まれる符号化データとして第２復号装置２２に出力する。これによって、符号化データＩ２と、第１ストリームのうちの符号化データＰ３以降の各符号化データとを含む第２ストリームが、出力部１４によって生成されて、第２復号装置２２に出力される。なお、第２ストリームには、第１ストリームの符号化データＩ１およびＰ１が含まれていない。
【００６５】
この構成により、第２復号装置２２は、第２ストリームを復号することによって、実質的に、第１ストリームの符号化データＰ２からの復号を開始することができる。
【００６６】
ここで、符号化データＰ２の復号画像が、不可逆圧縮方式で符号化データＩ２に符号化されると、第２ストリームにおけるその符号化データＩ２の後続の符号化データは、その符号化データＩ２の復号画像を参照して復号される。その結果、第２ストリームの再生によって表示される映像が乱れる恐れがある。つまり、画質劣化が生じる可能性がある。
【００６７】
したがって、本実施の形態における符号化部１２ｂは、符号化データＰ２の復号画像を、可逆圧縮方式で符号化データＩ２に符号化する。これにより、映像の乱れを抑制することができる。なお、本開示では、可逆圧縮方式にしたがった符号化を、可逆符号化ともいい、不可逆圧縮方式にしたがった符号化を、不可逆符号化ともいう。また、可逆圧縮方式を、単に可逆ともいい、不可逆圧縮方式を、単に不可逆ともいう。
【００６８】
図３Ａは、本実施の形態における変換装置１０ａの動作の一例を示すフローチャートである。
【００６９】
まず、変換装置１０ａの取得部１１は、第１ストリームの符号化データを取得する（ステップＳ１０１）。次に、判断部１３は、第２ストリームの生成を開始するか否かを判断する（ステップＳ１０２）。ここで、第２ストリームの生成を開始しないと判断部１３によって判断されると（ステップＳ１０２のＮ）、出力部１４は、ステップＳ１０１で取得された符号化データを含む第１ストリームを第１復号装置２１に出力する（ステップＳ１０３）。
【００７０】
一方、第２ストリームの生成を開始すると判断部１３によって判断されると（ステップＳ１０２のＹ）、符号化部１２ｂは、第１ストリームの符号化データの復号画像をＩピクチャの符号化データに可逆に符号化する（ステップＳ１０４）。そして、出力部１４は、ステップＳ１０１で取得された符号化データを含む第１ストリームを、第１復号装置２１に出するとともに、ステップＳ１０４の符号化によって得られた符号化データを含む第２ストリームを、第２復号装置２２に出力する（ステップＳ１０５）。
【００７１】
図３Ｂは、本実施の形態における変換装置１０ａの動作の他の例を示すフローチャートである。この図３Ｂに示すフローチャートは、図３Ａのフローチャートの各ステップを含むとともに、さらに、ステップＳ１０６を含む。
【００７２】
つまり、ステップＳ１０２において、第２ストリームの生成を開始すると判断部１３によって判断されると（ステップＳ１０２のＹ）、符号化部１２ｂは、ステップＳ１０１で取得された符号化データがフレーム内符号化データであるか否かを判定する（ステップＳ１０６）。ここで、その符号化データがフレーム内符号化データでないと判定されると（ステップＳ１０６のＮ）、符号化部１２ｂは、その符号化データの復号画像を、Ｉピクチャの符号化データに可逆に符号化する（ステップＳ１０４）。一方、その符号化データがフレーム内符号化データであると判定されると（ステップＳ１０６のＹ）、符号化部１２ｂは、その符号化データの復号画像を符号化しない。つまり、その符号化データはトランスコードされない。
【００７３】
その結果、出力部１４は、ステップＳ１０４で符号化が行われた場合には、ステップＳ１０１で取得された符号化データを含む第１ストリームを出力し、さらに、ステップＳ１０４の符号化によって得られた符号化データを含む第２ストリームを出力する（ステップＳ１０５）。また、出力部１４は、ステップＳ１０４で再符号化が行われていない場合には、ステップＳ１０１で取得された符号化データをそれぞれ含む第１ストリームおよび第２ストリームを出力する（ステップＳ１０５）。
【００７４】
このように本実施の形態における変換装置１０ａは、第１ストリームを取得する取得部１１と、その第１ストリームに含まれる不可逆符号化された第１ピクチャを、可逆符号化されたピクチャである第２ピクチャに変換する変換部１２と、その第２ピクチャを含む第２ストリームを出力する出力部１４とを備える。第１ピクチャは、上述の符号化データＰ２に相当し、第２ピクチャは、上述の符号化データＩ２に相当する。例えば、変換部１２は、第１ピクチャを復号することによって、その第１ピクチャの復号画像を生成し、その第１ピクチャの復号画像を可逆符号化することによって、第１ピクチャを第２ピクチャに変換する。
【００７５】
これにより、例えば、第１ストリームが送信されているときに、第２復号装置２２が、その第１ストリームに含まれる第１ピクチャ以降の各ピクチャの送信を要求しても、不可逆符号化されたピクチャではなく、可逆符号化されたピクチャである第２ピクチャを含む第２ストリームがその第２復号装置２２に送信される。その結果、第２復号装置２２は、第２ストリームに含まれる第２ピクチャ以降の各ピクチャを適切に復号することができ、復号画像の画質の低下を抑えることができる。したがって、ネットワーク負荷の増加と、ストリームを同時に再生することができる端末の数の制限とを伴うことなく、効率的なランダムアクセスを実現することができ、より柔軟なサービスを提供することができる。
【００７６】
また、図２に示すように、変換部１２は、第１ピクチャの復号画像をイントラ予測符号化することによって、第１ピクチャを２ピクチャに変換する。
【００７７】
これにより、第２ピクチャは可逆符号化されたＩピクチャであるため、第２ストリームの先頭に第２ピクチャが配置されていても、第２復号装置２２は、第２ストリームをその先頭から、復号画像を参照することなく復号することができる。また、第１ストリームに含まれる各ピクチャのうち第１ピクチャの符号化方式を変換すれば、他のピクチャの符号化方式の変換を省くことができる。
【００７８】
つまり、出力部１４は、第１ストリームに含まれる、第１ピクチャの復号画像を参照して符号化されたピクチャである第３ピクチャが、復号順で第２ピクチャの後に配置されるように、第２ストリームにその第３ピクチャを含め、第３ピクチャを含む第２ストリームを出力する。第３ピクチャは、例えば図２に示す符号化データＰ３であって、第２復号装置２２に送信される第２ストリームには、第２ピクチャである符号化データＩ２と、第３ピクチャである符号化データＰ３とが含まれる。
【００７９】
これにより、第３ピクチャの符号化方式が変換されていなくても、その第２ストリームを受信する第２復号装置２２は、第２ピクチャの復号画像を参照して第３ピクチャを適切に復号することができる。
【００８０】
また、本実施の形態では、出力部１４は、さらに、取得部１１によって取得された第１ストリームを出力する。
【００８１】
これにより、第１ストリームを第１復号装置２１に送信しているときに、第２復号装置２２からの要求に応じて、第２ストリームをその第２復号装置２２に送信することができる。
【００８２】
また、本実施の形態では、変換装置１０ａは、さらに、第１ストリームに含まれる複数のピクチャのそれぞれについて、当該ピクチャの符号化方式を変換するか否かを判断する判断部１３を備え、変換部１２は、判断部１３によって変換すると判断されたピクチャである第１ピクチャを、第２ピクチャに変換する。具体的には、判断部１３は、第１ストリームに含まれる複数のピクチャのうち、ストリームの送信要求が受け付けられたタイミングに応じた第１ピクチャを含む少なくとも１つの連続するピクチャのそれぞれの符号化方式を変換すると判断する。例えば、図２に示す例では、そのタイミングに応じた符号化データＰ２の符号化方式を変換すると判断される。
【００８３】
これにより、ピクチャの符号化方式の変換を適切なタイミングで実施することができ、送信要求からの遅延を抑えて、第２ストリームの再生を開始することができる。
【００８４】
また、判断部１３は、第１ストリームに含まれる複数のピクチャのうち、その少なくとも１つの連続するピクチャよりも後の各ピクチャの符号化方式を変換しないと判断する。例えば、図２に示す例では、符号化データＰ４および符号化データＰ５の符号化方式を変換しないと判断される。
【００８５】
これにより、符号化方式の変換にかかる負荷を低減することができる。
【００８６】
なお、本実施の形態では、フレーム間符号化データは、直前の符号化データを参照して符号化されたＰピクチャであるが、この限りではない。フレーム間符号化データは、直前ではない符号化データを参照して符号化されていてもよいし、参照される符号化データは１つでなくてもよい。例えば、符号化またはトランスコードされる符号化データは、Ｐピクチャに限らず、Ｂピクチャであってもよい。
【００８７】
また、本実施の形態における変換装置１０ａは、判断部１３を備えているが、その判断部１３を備えていなくてもよい。この場合、判断部１３は、例えばパーソナルコンピュータなどの外部装置に備えられ、外部装置の判断部１３が、符号化部１２ｂと出力部１４とに指示信号を出力してもよい。
【００８８】
また、本実施の形態では、第２ストリームの生成を開始すると判断されたときに、その判断のタイミングに応じた１つの符号化データがトランスコードされる。しかし、変換装置１０ａは、第１ストリームにおけるその符号化データから、次のＩピクチャの符号化データまでの各符号化データをトランスコードしてもよい。
【００８９】
また、本実施の形態では、変換部１２の復号部１２ａは、第１ストリームに含まれる全ての符号化データを復号するが、一部の符号化データを復号してもよい。例えば、復号部１２ａは、Ｉピクチャから後続する所定の枚数のピクチャ（すなわち符号化データ）だけを復号してもよく、所定条件を満たす符号化データ、または所定条件を満たす期間に含まれる符号化データだけを復号してもよい。これにより、変換装置１０ａにおける消費電力を削減することができる。
【００９０】
また、本開示では、第１ストリームに含まれるフレームの符号化データを、第２ストリームに含まれる符号化データに変換する処理をトランスコードと呼んでいるが、この処理の呼び方は、トランスコードに限られない。例えば、この処理を単に符号化と呼んでもよい。つまり、変換装置を符号化装置と称してもよい。
【００９１】
（実施の形態２）
本実施の形態における変換装置１０ａは、図１に示す構成を有し、第１フレームを符号化することによって得られる第１符号化データを含む第１ストリームと、第２ストリームとを出力する。ここで、本実施の形態における第２ストリームは、第１符号化データを不可逆圧縮方式によりトランスコードすることによって得られるフレーム内符号化データである第２符号化データと、第３符号化データを可逆圧縮方式によりトランスコードすることによって得られる第４符号化データとを含む。なお、第３符号化データは、第１ストリームに含まれる、第１符号化データに後続する符号化データであって、その第１符号化データの復号画像を参照して符号化されたフレームの符号化データである。
【００９２】
例えば、第１符号化データを可逆圧縮方式でフレーム内符号化データにトランスコードすると、そのフレーム内符号化データの符号量が大きくなり、通信に負荷がかかる虞がある。本実施の形態では、可逆圧縮方式ではなく不可逆圧縮方式でその第１符号化データがフレーム内符号化データにトランスコードされるため、第２ストリームの符号量を削減できる可能性がある。
【００９３】
図４は、本実施の形態における変換装置１０ａの各構成要素によって行われる処理の一例を示すシーケンス図である。
【００９４】
図４に示すように、変換装置１０ａの取得部１１は、符号化データＩ１、符号化データＰ１、符号化データＰ２、符号化データＰ３、符号化データＰ４の順にこれらの符号化データを取得する。つまり、取得部１１は、上述の順に配列されているこれらの符号化データを含む第１ストリームを取得する。また、Ｐピクチャは、直前の符号化データを参照して符号化されている。また、図４に示す例では、第１復号装置２１は、第１ストリームに含まれる全ての符号化データを復号し、第２復号装置２２は、第１ストリームに含まれる符号化データＰ２以降の各符号化データの送信を変換装置１０ａに要求する。
【００９５】
図４に示すように、取得部１１は、符号化データを取得するたびに、その符号化データを出力部１４と、変換部１２とに出力する。変換部１２の復号部１２ａは、取得部１１から出力された符号化データを復号することによって、その符号化データに対応する復号画像を生成する。
【００９６】
判断部１３は、例えば第２復号装置２２からの要求が受け付けられるまで、変換部１２に順次入力される符号化データをトランスコードしないと判断する。また、出力部１４は、例えば第２復号装置２２からの要求が受け付けられるまで、第２復号装置２２への第２ストリームの送信を行うことなく、第１復号装置２１への第１ストリームの送信を行う。
【００９７】
つまり、上述のように、第２復号装置２２が、第１ストリームに含まれる符号化データＰ２以降の各符号化データの送信を要求する場合、判断部１３は、符号化データＩ１および符号化データＰ１をトランスコードしないと判断する。すなわち、判断部１３は、第２ストリームの生成を開始しないと判断する。そして、出力部１４は、符号化データＩ１および符号化データＰ１をそれぞれ第１ストリームに含まれる符号化データとして第１復号装置２１に送信する。
【００９８】
次に、第２復号装置２２からの要求が受け付けられた場合、判断部１３は、第１ストリームに含まれる符号化データＰ２をトランスコードすると判断する。すなわち、判断部１３は、第２ストリームの生成を開始すると判断する。その結果、判断部１３は、符号化データＰ２に対する再符号化を指示する指示信号を、符号化部１２ｂに送信する。
【００９９】
符号化部１２ｂは、その指示信号に応じて、復号部１２ａによって生成された、符号化データＰ２に対応する復号画像を符号化する。この符号化では、イントラ予測および不可逆圧縮方式が用いられる。そして、符号化部１２ｂは、その符号化によって得られたフレーム内符号化データである符号化データＩ２を出力部１４に出力する。これにより、変換部１２では、符号化データＰ２が、不可逆圧縮方式によって符号化されたＩピクチャの符号化データＩ２に変換される。言い換えれば、Ｐピクチャが不可逆のＩピクチャに変換される。
【０１００】
出力部１４は、符号化データＰ２を第１ストリームに含まれる符号化データとして第１復号装置２１に出力し、符号化データＩ２を第２ストリームに含まれる符号化データとして第２復号装置２２に出力する。
【０１０１】
次に、判断部１３は、符号化データＰ２に後続する符号化データＰ３が変換部１２に入力されると、第１ストリームに含まれる符号化データＰ３をトランスコードすると判断する。その結果、判断部１３は、符号化データＰ３に対する再符号化を指示する指示信号を、符号化部１２ｂに送信する。
【０１０２】
符号化部１２ｂは、その指示信号に応じて、復号部１２ａによって生成された、符号化データＰ３の復号画像を符号化する。つまり、符号化部１２ｂは、符号化データI２の復号画像を参照して、符号化データＰ３の復号画像を可逆圧縮方式で符号化する。そして、符号化部１２ｂは、その符号化によって得られたフレーム間符号化データである符号化データＰ６を出力部１４に出力する。これにより、変換部１２では、符号化データＰ３が、可逆圧縮方式によって符号化されたＰピクチャである符号化データＰ６に変換される。言い換えれば、不可逆のＰピクチャが可逆のＰピクチャに変換される。
【０１０３】
出力部１４は、符号化データＰ３を第１ストリームに含まれる符号化データとして第１復号装置２１に出力し、符号化データＰ６を第２ストリームに含まれる符号化データとして第２復号装置２２に出力する。
【０１０４】
次に、判断部１３は、変換部１２に符号化データＰ４以降の各符号化データが入力されると、それらの符号化データをトランスコードしないと判断する。
【０１０５】
出力部１４は、符号化データＰ３に引き続き、符号化データＰ４以降の各符号化データも、第１ストリームに含まれる符号化データとして第１復号装置２１に出力する。その結果、第１ストリームが出力部１４から第１復号装置２１に出力される。
【０１０６】
さらに、出力部１４は、上述の判断部１３による判断結果に基づき、符号化データＰ４以降の各符号化データの符号化方式を変化することなく、その各符号化データを第２ストリームに含まれる符号化データとして第２復号装置２２に出力する。これにより、符号化データＩ２およびＰ６と、第１ストリームのうちの符号化データＰ４以降の各符号化データとを含む第２ストリームが、出力部１４によって生成されて、第２復号装置２２に出力される。なお、第２ストリームには、第１ストリームの符号化データＩ１およびＰ１が含まれていない。
【０１０７】
この構成により、第２復号装置２２は、第２ストリームを復号することによって、実質的に、第１ストリームの符号化データＰ２からの復号を開始することができる。また、実施の形態１よりも、第２ストリームの符号量を削減できる可能性がある。
【０１０８】
つまり、本実施の形態では、変換部１２は、第１ストリームに含まれる、不可逆にインター予測符号化されたピクチャである第４ピクチャを復号することによって、第４ピクチャの復号画像を生成する。次に、変換部１２は、第４ピクチャの復号画像を不可逆にイントラ予測符号化することによって、第４ピクチャを第５ピクチャに変換する。そして、第１ピクチャの第２ピクチャへの変換では、変換部１２は、第４ピクチャの復号画像を参照してインター予測符号化された第１ピクチャの復号画像を、その第５ピクチャの復号画像を参照して可逆にインター予測符号化することによって、第１ピクチャを第２ピクチャに変換する。出力部１４は、その第５ピクチャおよび第２ピクチャを含む第２ストリームを出力する。例えば、第４ピクチャおよび第５ピクチャは、それぞれ図４に示す符号化データＰ２および符号化データＩ２に相当し、第１ピクチャおよび第２ピクチャは、それぞれ図４に示す符号化データＰ３および符号化データＰ６に相当する。
【０１０９】
これにより、第１ストリームに含まれる第４ピクチャおよび第１ピクチャは、第２ストリームに含まれる第５ピクチャおよび第２ピクチャに変換される。つまり、不可逆符号化された符号化データＰ２と、不可逆符号化された符号化データＰ３とは、不可逆符号化された符号化データＩ２と、可逆符号化された符号化データＰ６とに、それぞれ変換される。
【０１１０】
例えば、可逆符号化されたＩピクチャの符号量は大きく、そのＩピクチャの送信によってネットワーク負荷が高まる可能性がある。しかし、本実施の形態では、符号化データＰ６は、可逆符号化されたＩピクチャではなく、可逆符号化されたＰピクチャとして構成される。また、不可逆符号化された符号化データＰ２を、不可逆符号化されたＩピクチャである符号化データＩ２に変換することによって、１つのピクチャあたりの符号量が増加する可能性があるが、ストリームの全体的なビットレートを抑えることができる。
【０１１１】
なお、本実施の形態では、符号化データＰ３の復号画像を、可逆圧縮方式で符号化することによって、可逆の符号化データＰ６を生成するが、不可逆圧縮方式で符号化してもよい。この場合には、符号化データＰ２およびＰ３だけでなく、符号化データＰ４もトランスコードされる。つまり、変換部１２は、符号化データＰ４の復号画像を、可逆圧縮方式で符号化する。また、不可逆圧縮方式の符号化が行われる回数を増やすことで、可逆圧縮の符号化を行うタイミングを制御してもよい。
【０１１２】
また、本実施の形態では、符号化データＩ２の直後の符号化データＰ６を可逆圧縮方式によって生成するが、可逆圧縮によって生成される符号化データは、符号化データＩ２に後続する符号化データであれば、直後の符号化データでなくてもよい。また、変換装置１０ａは、第２ストリームの生成を開始するタイミングに応じた符号化データから、次のＩピクチャの符号化データまでの各符号化データを、トランスコードしてもよい。
【０１１３】
つまり、判断部１３は、第１ストリームに含まれる複数のピクチャのうち、ストリームの送信要求が受け付けられたタイミングに応じた第１ピクチャを含む少なくとも１つの連続するピクチャのそれぞれの符号化方式を変換すると判断してもよい。これにより、ピクチャの符号化方式の変換を適切なタイミングで実施することができ、送信要求からの遅延を抑えて、第２ストリームの再生を開始することができる。
【０１１４】
（実施の形態３）
本実施の形態における変換装置１０ａは、図１に示す構成を有し、第１フレームを符号化することによって得られる第１符号化データを含む第１ストリームと、第２ストリームとを出力する。ここで、本実施の形態における第２ストリームは、第１符号化データを不可逆圧縮方式によりトランスコードすることによって得られるフレーム内符号化データである第２符号化データと、第１符号化データを可逆圧縮方式によりトランスコードすることによって得られる第４符号化データとを含む。
【０１１５】
例えば、第１符号化データを可逆圧縮方式でフレーム内符号化データにトランスコードすると、そのフレーム内符号化データの符号量が大きくなり、通信に負荷がかかる虞がある。本実施の形態では、可逆圧縮方式だけでなく不可逆圧縮方式でもその第１符号化データがトランスコードされるため、第２ストリームの符号量を削減できる可能性がある。つまり、実施の形態２では、互いに異なる符号化データをトランスコードするが、本実施の形態では、同一の第１符号化データを第２符号化データと第４符号化データとにトランスコードする。ここで、第４符号化データのトランスコードには第２符号化データが参照される。それにより、第４符号化データの画像と、参照先の第２符号化データの画像との差分量を小さくすることができる。その結果、第２ストリームの符号量を削減できる可能性がある。
【０１１６】
図５は、本実施の形態における変換装置１０ａの各構成要素によって行われる処理の一例を示すシーケンス図である。
【０１１７】
図５に示すように、変換装置１０ａの取得部１１は、符号化データＩ１、符号化データＰ１、符号化データＰ２、符号化データＰ３、符号化データＰ４の順にこれらの符号化データを取得する。つまり、取得部１１は、上述の順に配列されているこれらの符号化データを含む第１ストリームを取得する。また、Ｐピクチャは、直前の符号化データを参照して符号化されている。また、図５に示す例では、第１復号装置２１は、第１ストリームに含まれる全ての符号化データを復号し、第２復号装置２２は、第１ストリームに含まれる符号化データＰ２以降の各符号化データの送信を変換装置１０ａに要求する。
【０１１８】
図５に示すように、取得部１１は、符号化データを取得するたびに、その符号化データを出力部１４と、変換部１２とに出力する。変換部１２の復号部１２ａは、取得部１１から出力された符号化データを復号することによって、その符号化データに対応する復号画像を生成する。
【０１１９】
判断部１３は、例えば第２復号装置２２からの要求が受け付けられるまで、変換部１２に順次入力される符号化データをトランスコードしないと判断する。また、出力部１４は、例えば第２復号装置２２からの要求が受け付けられるまで、第２復号装置２２への第２ストリームの送信を行うことなく、第１復号装置２１への第１ストリームの送信を行う。
【０１２０】
つまり、上述のように、第２復号装置２２が、第１ストリームに含まれる符号化データＰ２以降の各符号化データの送信を要求する場合、判断部１３は、符号化データＩ１および符号化データＰ１をトランスコードしないと判断する。すなわち、判断部１３は、第２ストリームの生成を開始しないと判断する。そして、出力部１４は、符号化データＩ１および符号化データＰ１をそれぞれ第１ストリームに含まれる符号化データとして第１復号装置２１に送信する。
【０１２１】
次に、第２復号装置２２からの要求が受け付けられた場合、判断部１３は、第１ストリームに含まれる符号化データＰ２をトランスコードすると判断する。すなわち、判断部１３は、第２ストリームの生成を開始すると判断する。その結果、判断部１３は、符号化データＰ２に対する再符号化を指示する指示信号を、符号化部１２ｂに送信する。
【０１２２】
符号化部１２ｂは、その指示信号に応じて、復号部１２ａによって生成された、符号化データＰ２に対応する復号画像を符号化する。この符号化では、イントラ予測および不可逆圧縮方式が用いられる。そして、符号化部１２ｂは、その符号化によって得られたフレーム内符号化データである符号化データＩ２を出力部１４に出力する。これにより、変換部１２では、符号化データＰ２が、不可逆圧縮方式によって符号化されたＩピクチャである符号化データＩ２に変換される。言い換えれば、Ｐピクチャが不可逆のＩピクチャに変換される。
【０１２３】
出力部１４は、符号化データＰ２を第１ストリームに含まれる符号化データとして第１復号装置２１に出力し、符号化データＩ２を第２ストリームに含まれる符号化データとして第２復号装置２２に出力する。
【０１２４】
ここで、本実施の形態では、復号部１２ａは、符号化データＩ２を復号することによって、符号化データＩ２に対応する復号画像を生成する。符号化部１２ｂは、符号化データＰ２の復号画像を、符号化データＩ２の復号画像を参照して可逆圧縮方式で符号化する。そして、符号化部１２ｂは、その符号化によって得られたフレーム間符号化データである符号化データＰ７を、出力部１４に出力する。
【０１２５】
出力部１４は、その符号化データＰ７を第２ストリームに含まれる符号化データとして第２復号装置２２に出力する。
【０１２６】
次に、判断部１３は、変換部１２に符号化データＰ３以降の各符号化データが入力されると、それらの符号化データをトランスコードしないと判断する。
【０１２７】
出力部１４は、符号化データＰ２に引き続き、符号化データＰ３以降の各符号化データも、第１ストリームに含まれる符号化データとして第１復号装置２１に出力する。その結果、第１ストリームが出力部１４から第１復号装置２１に出力される。
【０１２８】
さらに、出力部１４は、符号化データＰ３以降の各符号化データを、第２ストリームに含まれる符号化データとして第２復号装置２２に出力する。これにより、符号化データＩ２およびＰ７と、第１ストリームのうちの符号化データＰ３以降の各符号化データとを含む第２ストリームが、出力部１４によって生成されて、第２復号装置２２に出力される。なお、第２ストリームには、第１ストリームの符号化データＩ１およびＰ１が含まれていない。
【０１２９】
この構成により、第２復号装置２２は、第２ストリームを復号することによって、実質的に、第１ストリームの符号化データＰ２からの復号を開始することができる。また、実施の形態１よりも、第２ストリームの符号量を削減できる可能性がある。また、実施の形態２では、互いに異なる符号化データをトランスコードするが、本実施の形態では、同一の符号化データＰ２を符号化データＩ２と符号化データＰ７とにトランスコードする。ここで、符号化データＰ７へのトランスコードには符号化データＩ２が参照される。それにより、符号化データＰ７の画像と、参照先の符号化データＩ２の画像との差分量を小さくすることができる。その結果、第２ストリームの符号量を削減できる可能性がある。
【０１３０】
つまり、本実施の形態では、変換部１２は、第１ストリームに含まれる、不可逆にインター予測符号化された第１ピクチャを復号することによって、第１ピクチャの復号画像を生成する。次に、変換部１２は、第１ピクチャの復号画像を不可逆にイントラ予測符号化することによって、第１ピクチャを第４ピクチャに変換する。そして、第１ピクチャの第２ピクチャへの変換では、第１ピクチャの復号画像を、第４ピクチャの復号画像を参照して可逆にインター予測符号化することによって、第１ピクチャを第２ピクチャに変換する。出力部１４は、その第４ピクチャおよび第２ピクチャを含む第２ストリームを出力する。例えば、第４ピクチャは、図５に示す符号化データＩ２に相当し、第１ピクチャおよび第２ピクチャは、それぞれ図５に示す符号化データＰ２および符号化データＰ７に相当する。
【０１３１】
これにより、第１ストリームに含まれる第１ピクチャは、第２ストリームに含まれる第４ピクチャと第２ピクチャとに変換される。つまり、不可逆符号化された符号化データＰ２は、不可逆符号化された符号化データＩ２と、可逆符号化された符号化データＰ７とに変換される。
【０１３２】
例えば、可逆符号化されたＩピクチャの符号量は大きく、そのＩピクチャの送信によってネットワーク負荷が高まる可能性がある。しかし、本実施の形態では、符号化データＰ７は、可逆符号化されたＩピクチャではなく、可逆符号化されたＰピクチャとして構成される。また、符号化データＩ２と符号化データＰ７とはそれぞれ、同じ符号化データＰ２からの変換によって生成されるため、符号化データＩ２と符号化データＰ７との画像は類似している。その結果、符号化データＰ２から符号化データＰ７への変換に、その符号化データＩ２の復号画像が参照されることによって、その符号化データＰ７の符号量を抑えることができる。その結果、ストリームの全体的なビットレートを抑えることができる。
【０１３３】
なお、本実施の形態における変換装置１０ａは、第２ストリームの生成を開始するタイミングに応じた符号化データから、次のＩピクチャの符号化データまでの各符号化データを、トランスコードし続けてもよい。
【０１３４】
（実施の形態４）
本実施の形態における符号化装置は、動画像を符号化することによって第１ストリームを生成する符号化部と、その第１ストリームから第２ストリームを生成する変換装置とを含む。
【０１３５】
図６は、本実施の形態における符号化装置の構成を示すブロック図である。なお、図６において、実施の形態１の図１に示す構成要素と同じ構成要素については同じ符号を用い、詳細な説明を省略する。
【０１３６】
図６に示すように、符号化装置２００は、第１符号化部１００と変換装置１０ｂとを備える。
【０１３７】
第１符号化部１００は、スライス分割部１０１と、減算器１０２と、直交変換部１０３と、量子化部１０４と、エントロピー符号化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、加算器１０８と、デブロッキングフィルタ１０９と、メモリ１１０と、イントラ予測部１１１と、インター予測部１１２と、動き検出部１１３と、イントラ／インター判定部１１４とを備える。
【０１３８】
スライス分割部１０１は、複数のピクチャを含む動画像信号を取得し、それぞれのピクチャを複数のスライスまたはスライスセグメントに分割する。
【０１３９】
減算器１０２は、複数のピクチャを含む動画像信号を取得するとともに、イントラ／インター判定部１１４から予測画像を取得する。そして、減算器１０２は、その動画像信号に含まれるピクチャのうちの符号化の対象とされるブロック（以下、対象ブロックという）から予測画像を減算することによって差分画像を生成する。ブロックは、例えばＣＴＵ（Coding Tree Unit）、ＣＵ（Coding Unit）、ＰＵ（Prediction Unit）またはＴＵ（Transform Unit）に相当する。
【０１４０】
直交変換部１０３は、減算器１０２によって生成された差分画像に対して、例えば離散コサイン変換などの直交変換（周波数変換）を行うことによって、その差分画像を複数の周波数係数からなる係数列に変換する。量子化部１０４は、その係数列に含まれる各周波数係数を量子化することによって、量子化された係数列を生成する。
【０１４１】
逆量子化部１０６は、量子化部１０４によって量子化された係数列を逆量子化する。逆直交変換部１０７は、その逆量子化された係数列に含まれる各周波数係数に対して逆離散コサイン変換などの逆直交変換（逆周波数変換）を行うことによって、復号差分画像を生成する。
【０１４２】
加算器１０８は、イントラ／インター判定部１１４から予測画像を取得し、その予測画像と、逆直交変換部１０７によって生成された復号差分画像とを加算することによって局所復号画像（再構成画像）を生成する。
【０１４３】
デブロッキングフィルタ１０９は、加算器１０８によって生成された局所復号画像のブロック歪みを除去し、その局所復号画像をメモリ１１０に格納する。
【０１４４】
メモリ１１０は、インター予測の際の参照画像として局所復号画像を格納するためのメモリである。なお、このメモリ１１０は復号ピクチャバッファ（ＤＰＢ）として用いられる。
【０１４５】
イントラ予測部１１１は、加算器１０８によって生成された局所復号画像を用いて、対象ブロックに対してイントラ予測を行うことによって予測画像（イントラ予測画像）を生成する。
【０１４６】
動き検出部１１３は、動画像信号に含まれる対象ブロックに対して動きベクトルを検出し、その検出された動きベクトルをインター予測部１１２とエントロピー符号化部１０５とに出力する。
【０１４７】
インター予測部１１２は、メモリ１１０に格納されている画像を参照画像として参照するとともに、動き検出部１１３によって検出された動きベクトルを用いることによって、対象ブロックに対して動き補償を行う。インター予測部１１２は、このような動き補償を行うことによって、つまり対象ブロックに対してインター予測を行うことによって、対象ブロックの予測画像（インター予測画像）を生成する。
【０１４８】
イントラ／インター判定部１１４は、対象ブロックをイントラ予測符号化するか、インター予測符号化するかを判定する。対象ブロックがイントラ予測符号化される場合には、イントラ／インター判定部１１４は、イントラ予測部１１１によって生成された予測画像（イントラ予測画像）を減算器１０２および加算器１０８に出力する。一方、イントラ／インター判定部１１４は、対象ブロックがインター予測符号化される場合には、インター予測部１１２によって生成された予測画像（インター予測画像）を減算器１０２および加算器１０８に出力する。
【０１４９】
エントロピー符号化部１０５は、量子化部１０４によって量子化された係数列と、動き検出部１１３によって検出された動きベクトルとを、エントロピー符号化（可変長符号化）することによってビットストリームを生成する。つまり、エントロピー符号化部１０５は、エントロピー符号化することによって、ビットストリームである第１ストリームを取得し、その第１ストリームを変換装置１０ｂに出力する。言い換えれば、エントロピー符号化部１０５は、実施の形態１〜３の変換装置１０ａの取得部１１としての機能を有する。
【０１５０】
変換装置１０ｂは、実施の形態１〜３の変換装置１０ａと同様の機能を有する。具体的には、変換装置１０ｂは、第２符号化部１２ｃと、判断部１３と、出力部１４とを備える。第２符号化部１２ｃは、実施形態１〜３の変換装置１０ａにおける符号化部１２ｂと同一の機能を有する。ここで、変換装置１０ｂは、復号部１２ａを備えていないが、第１符号化部１００のメモリ１１０に格納されている各画像を、第１ストリームに含まれる各符号化データの復号画像として取得する。つまり、第２符号化部１２ｃは、第１符号化部１００のメモリ１１０に格納されている復号画像に対して符号化処理を施す。それにより、構成を簡素化し得る。
【０１５１】
なお、第２符号化部１２ｃは、第１符号化部１００と同一の構成を有していてもよい。この場合、第２符号化部１２ｃにおける量子化部１０４は、上述の係数列に含まれる各周波数係数を量子化することなく、エントロピー符号化部１０５に出力する。これにより、第２符号化部１２ｃは、画像に対する可逆の符号化を実現することができる。または、第２符号化部１２ｃにおける量子化部１０４は、上述の係数列に含まれる各周波数係数に対して、量子化幅が１の量子化を行ってもよい。これにより、上述と同様、第２符号化部１２ｃは、画像に対する可逆の符号化を実現することができる。また、実施形態１〜３の変換装置１０ａにおける符号化部１２ｂも、第２符号化部１２ｃと同様、第１符号化部１００と同一の構成を有していてもよい。この場合でも、符号化部１２ｂは、量子化の処理を省いたり、量子化幅が１の量子化を行うことによって、画像に対する可逆の符号化を実現してもよい。
【０１５２】
（実施の形態５）
本実施の形態における映像配信システムは、変換装置を含む映像配信装置を備える。
【０１５３】
図７は、本実施の形態における映像配信システムの構成図である。
【０１５４】
映像配信システム３００Ａは、図７に示すように、変換装置を用いた映像配信装置３１０と、映像受信装置３２０および３３０とを備える。
【０１５５】
映像配信装置３１０は、撮像部３１１、エンコード部３１２、変換装置３１３、および送信部３１４を備える。このような映像配信装置３１０は、ネットワークを介して映像受信装置３２０および３３０のそれぞれと接続し、ストリームである映像データを映像受信装置３２０および３３０のそれぞれに送信する。
【０１５６】
撮像部３１１は、複数のレンズを含む光学系と、光電変換素子としての撮像素子とを備えており、被写体の光学像を画素ごとの信号に変換する。画素ごとの信号は、映像信号としてエンコード部３１２に入力される。
【０１５７】
エンコード部３１２は、撮像部３１１から入力される映像信号を符号化して、符号化データを生成し、変換装置３１３に出力する。
【０１５８】
変換装置３１３は、実施形態１〜３の変換装置１０ａである。実施形態１〜３の第１復号装置２１が映像受信装置３２０に相当し、第２復号装置２２が映像受信装置３３０に相当する。映像配信装置３１０の映像データの送信先が映像受信装置３２０のみの場合は、変換装置３１３は、第１ストリームのみを送信部３１４に出力する。例えば、映像配信装置３１０は、映像受信装置３２０に映像データを送信している途中に、映像受信装置３３０にも映像データの配信を開始する要求を、その映像受信装置３３０から受け付ける場合がある。このような場合、変換装置３１３は、実施の形態１〜３と同じ方法で第１ストリームと一緒に第２ストリームを送信部３１４に出力する。
【０１５９】
なお、エンコード部３１２と変換装置３１３とを含むユニットは、実施の形態４における符号化装置２００であってもよい。
【０１６０】
送信部３１４は、変換装置３１３から出力されたストリームを、映像受信装置３２０および３３０のうちの少なくとも一方に送信する。本実施の形態の場合、送信部３１４は、第１ストリームを映像受信装置３２０に送信し、第２ストリームを映像受信装置３３０に送信する。ネットワークを介して映像配信装置３１０と映像受信装置３２０および３３０のそれぞれとが接続されている場合は、送信部３１４は、ストリームを複数のＩＰパケットに変換して伝送しても良い。
【０１６１】
映像受信装置３２０および３３０のそれぞれは、受信部３４１、復号部３４２および表示部３４３を備えている。受信部３４１は、映像配信装置３１０からストリームを受信して復号部３４２に出力する。また、受信部３４１は、複数のＩＰパケットを受信した場合は、その複数のＩＰパケットをストリームに変換し、そのストリームを復号部３４２に出力する。復号部３４２は、ストリームを復号することによって映像信号を生成し、その映像信号を表示部３４３に出力する。表示部３４３は、復号部３４２によって生成された映像信号に従って、映像を表示する。
【０１６２】
この構成により、映像配信装置３１０は、映像受信装置３２０にストリームを送信している途中でも、次のフレーム内符号化データまで待つことなく、任意のタイミングの符号化データから映像受信装置３３０にストリームを送信することが可能である。ここで、例えば、複数の映像受信装置のそれぞれへのストリームの送信を、任意のタイミングで開始することができるように、エンコード部および変換装置からなるユニットを映像配信装置に複数備えることが想定される。しかし、本実施の形態では、変換装置３１３は、実施の形態１〜３の変換装置１０ａとしての機能を有し、エンコード部３１２および変換装置３１３からなるユニットは、実施の形態４の符号化装置２００としての機能を有する。したがって、映像配信装置３１０は、映像受信装置ごとに、エンコード部３１２と変換装置３１３とからなるユニットを複数備えなくても、任意のタイミングで複数の映像受信装置のそれぞれにストリームの送信を開始することが可能である。
【０１６３】
また、本実施の形態における映像受信装置３２０および３３０は、実施の形態１〜３における第１復号装置２１および第２復号装置２２にそれぞれ対応する。また、映像受信装置３２０および３３０はそれぞれ、第２ピクチャを含む第２ストリームを受信する受信部３４１と、その第２ストリームを復号することによって映像信号を生成する復号部３４２と、映像信号にしたがって映像を表示する表示部３４３とを備える。ここで、第２ピクチャは、第１ストリームに含まれる不可逆符号化された第１ピクチャを変換することによって得られた、可逆符号化されたピクチャである。
【０１６４】
これにより、例えば、第１ストリームが送信されているときに、その第１ストリームに含まれる第１ピクチャ以降の各ピクチャの送信を要求すると、受信部３４１は、不可逆符号化されたピクチャではなく、可逆符号化されたピクチャである第２ピクチャを含む第２ストリームを受信する。その結果、復号部３４２は、第２ストリームに含まれる第２ピクチャ以降の各ピクチャを適切に復号することができ、復号画像の画質の低下を抑えることができる。
【０１６５】
（実施の形態６）
本実施の形態における映像配信システムは、変換装置を含む映像中継装置を備える。
【０１６６】
図８は、本実施の形態における映像配信システムの構成図である。図８において、実施の形態５の図７に示す構成要素と同じ構成要素については同じ符号を用い、詳細な説明を省略する。
【０１６７】
映像配信システム３００Ｂは、図８に示すように、映像送信装置３５０と、映像中継装置３６０と、映像受信装置３２０および３３０とを備える。
【０１６８】
映像送信装置３５０は、撮像部３１１、エンコード部３１２、および送信部３５１を備える。
【０１６９】
撮像部３１１は、複数のレンズを含む光学系と、光電変換素子としての撮像素子とを備えており、被写体の光学像を画素ごとの信号に変換する。画素ごとの信号は、映像信号としてエンコード部３１２に入力される。
【０１７０】
エンコード部３１２は、撮像部３１１から入力される映像信号を符号化して、符号化データを生成し、変換装置３１３に出力する。
【０１７１】
送信部３５１は、エンコード部３１２から出力された符号化データを含むストリームを映像中継装置３６０に送信する。
【０１７２】
映像中継装置３６０は、映像送信装置３５０とネットワークを介して接続し、その映像送信装置３５０からストリームを受信する。また、映像中継装置３６０は、映像受信装置３２０および３３０のそれぞれとネットワークを介して接続され、映像データであるストリームを映像受信装置３２０および３３０のそれぞれに送信する。
【０１７３】
映像中継装置３６０は、受信部３６１、変換装置３１３、および送信部３１４を備える。
【０１７４】
受信部３６１は、映像送信装置３５０からストリームを受信する。
【０１７５】
変換装置３１３は、実施の形態１〜３の変換装置１０ａである。実施形態１〜３の第１復号装置２１が映像受信装置３２０に相当し、第２復号装置２２が映像受信装置３３０に相当する。映像配信装置３１０の映像データの送信先が映像受信装置３２０のみの場合は、変換装置３１３は、第１ストリームのみを送信部３１４に出力する。例えば、映像中継装置３６０は、映像受信装置３２０に映像データを送信している途中に、映像受信装置３３０にも映像データの配信を開始する要求を、その映像受信装置３３０から受け付ける場合がある。このような場合、変換装置３１３は、実施の形態１〜３と同じ方法で第１ストリームと一緒に第２ストリームを送信部３１４に出力する。
【０１７６】
送信部３１４は、変換装置３１３から出力されたストリームを、映像受信装置３２０および３３０のうちの少なくとも一方に送信する。本実施の形態の場合、送信部３１４は、第１ストリームを映像受信装置３２０に送信し、第２ストリームを映像受信装置３３０に送信する。ネットワークを介して映像配信装置３１０と映像受信装置３２０および３３０のそれぞれとが接続されている場合は、送信部３１４は、ストリームを複数のＩＰパケットに変換して伝送しても良い。
【０１７７】
映像受信装置３２０および３３０のそれぞれは、映像中継装置３６０からストリームを受信して復号することによって映像信号を生成し、その映像信号にしたがった映像を表示する。
【０１７８】
（実施の形態７）
本実施の形態における映像再生システムは、変換装置を含む映像記録再生装置を備える。
【０１７９】
図９は、本実施の形態における映像再生システムの構成図である。図９において、実施の形態５の図７または実施の形態６の図８に示す構成要素と同じ構成要素については同じ符号を用い、詳細な説明を省略する。
【０１８０】
図９に示すように、映像再生システム４００Ａは、映像送信装置３５０と、映像記録再生装置４１０とを備える。
【０１８１】
映像送信装置３５０は、実施の形態６における映像送信装置３５０と同一の構成を有し、ネットワークを経由して映像記録再生装置４１０に接続されている。
【０１８２】
映像記録再生装置４１０は、受信部３６１、変換装置３１３、記録部４１１、記録媒体４１２、読込部４１３、復号部３４２および表示部３４３を備える。このような映像記録再生装置４１０は、映像送信装置３５０からネットワーク経由でストリームを受信しながらすぐに再生するリアルタイム再生機能（いわゆるストリーミング機能）と、ストリームを記録媒体４１２に記録する記録機能と、記録されたストリームを再生する記録再生機能とを有している。
【０１８３】
受信部３６１は、映像送信装置３５０の送信部３５１からＩＰパケットを順次取得し、それらのＩＰパケットから、符号化データを含むストリームを生成し、そのストリームを変換装置３１３に出力する。
【０１８４】
変換装置３１３は、実施形態１〜３の変換装置１０ａである。
【０１８５】
リアルタイム再生機能の処理が行われる場合、変換装置３１３は、受信部３６１から出力されるストリームに対して変換を行うことなく、そのストリームを第１ストリームとして復号部３４２に出力する。
【０１８６】
リアルタイム再生機能の処理が行われている途中で、記録機能の処理が開始される場合、変換装置３１３は、受信部３６１から出力されるストリームを第１ストリームとして扱い、実施の形態１〜３と同じ方法で第１ストリームから第２ストリームを生成する。そして、変換装置３１３は、第２ストリームを記録媒体４１２に格納する。
【０１８７】
記録機能の処理が行われる場合にも、変換装置３１３は、受信部３６１から出力されるストリームを第１ストリームとして扱い、その第１ストリームから第２ストリームを生成する。しかし、この場合には、変換装置３１３の判断部１３は、受信部３６１から第１ストリームが出力されている間、上述の再符号化の指示信号を周期的に出力する。例えば、判断部１３は、第１ストリームのＧＯＰよりも短い周期で指示信号を出力する。これにより、可逆圧縮されたＩピクチャまたはＰピクチャの符号化データがより短い周期で配置されている第２ストリームが生成される。そして、変換装置３１３は、その第２ストリームを記録媒体４１２に格納する。
【０１８８】
なお、判断部１３は、第１ストリームにおいてフレーム間符号化されたフレームが所定回数連続して現れる場合に、再符号化の指示信号を出力してもよい。または、判断部１３は、特定の条件が満たされた場合に、再符号化の指示信号を出力してもよい。
【０１８９】
記録部４１１は、変換装置３１３から出力される第２ストリームを記録媒体４１２に記録する。記録媒体４１２は、メモリ、ＨＤＤ（hard disk drive）、またはＳＳＤ（solid state drive）などの記憶装置であってもよく、取り外し可能なＳＤメモリカード、ＵＳＢ（Universal Serial Bus）メモリ、または、ネットワーク経由で接続可能なＮＡＳ（Network Attached Storage）などであってもよい。
【０１９０】
読込部４１３は、記録再生機能が利用される場合に、記録媒体４１２から第２ストリームを読み込み、その第２ストリームのうちの、再生開始位置のフレーム以降の各符号化データを復号部３４２に出力する。なお、再生開始位置のフレームの符号化データは、フレーム内符号化されたフレームであってもよい。
【０１９１】
復号部３４２は、変換装置３１３または読込部４１３から出力されるストリームを復号することによって映像信号を生成し、その映像信号を表示部３４３に出力する。
【０１９２】
表示部３４３は、復号部３４２から出力される映像信号に従って、映像を表示する。
【０１９３】
なお、受信部３６１、変換装置３１３、および記録部４１１と、読込４１３部、復号部３４２、および表示部３４３とは、それぞれ異なる装置に備えられていてもよい。
【０１９４】
このような映像記録再生装置４１０は、受信されたストリームの途中から記録を開始することができる。また、任意のフレームを可逆圧縮方式で符号化またはフレーム内符号化することで、復号を開始できるフレームを増やすことができる。
【０１９５】
図１０は、可逆圧縮方式のトランスコードを説明するための図である。
【０１９６】
本実施の形態における変換装置３１３は、図１０に示すように、エンコード部３１２によって生成された第１ストリームに含まれる不可逆の符号化データＰ２を、可逆の符号化データＰ２にトランスコードする。これにより、可逆の符号化データＰ２を含む第２ストリームが記録媒体４１２に蓄積される。
【０１９７】
そのトランスコードでは、変換装置３１３は、符号化データＰ２によって参照される符号化データを変更してもよい。例えば、符号化データＰ２は、符号化データＰ１の復号画像を参照して不可逆に符号化されたピクチャである。変換装置３１３の復号部１２ａは、その不可逆の符号化データＰ２を復号することによって復号画像を生成する。そして、変換装置３１３の符号化部１２ｂは、その復号画像を可逆のインター予測によって符号化する。このとき、符号化部１２ｂは、その符号化データＰ２の直前の符号化データＰ１の復号画像ではなく、ロングタームの符号化データＩ１の復号画像を参照して、インター予測符号化を行う。
【０１９８】
これにより、復号部３４２が、記録媒体４１２に蓄積されている第２ストリームを例えば早送り再生するときには、符号化データＰ２の直前の符号化データＰ１を復号しなくても、その符号化データＰ２を適切に復号することができる。さらに、復号部３４２は、その符号化データＰ２に後続する他の符号化データＰ３およびＰ４も適切に復号することができる。つまり、映像の乱れを抑えて第２ストリームを適切に再生することができる。
【０１９９】
図１１は、本実施の形態における他の映像再生システムの構成図である。図１１において、図９に示す構成要素と同じ構成要素については同じ符号を用い、詳細な説明を省略する。
【０２００】
図１１に示す映像再生システム４００Ｂは、映像記録再生装置４１０の代わりに、映像記録装置４１０Ａと、記録媒体４１２と、映像再生装置４１０Ｂとを備える。映像記録装置４１０Ａは、受信部３６１と、変換装置３１３と、記録部４１１とを備える。映像再生装置４１０Ｂは、読込部４１３と、復号部３４２と、表示部３４３とを備える。この映像再生装置４１０Ｂは、上述の映像記録再生装置４１０と同様に、記録機能を有するが、リアルタイム再生機能を有さない。また、映像記録装置４１０Ａの変換装置３１３に備えられている判断部１３は、映像記録再生装置４１０の変換装置３１３に備えられている判断部１３と同様、上述の再符号化の指示信号を周期的に出力してもよい。あるいは、判断部１３は、第１ストリームにおいてフレーム間符号化されたフレームが所定回数連続して現れる場合に、再符号化の指示信号を出力してもよい。または、判断部１３は、特定の条件が満たされた場合に、再符号化の指示信号を出力してもよい。それにより、ストリームの記録再生をＧＯＰの途中から開始することができる。
【０２０１】
以上、一つまたは複数の態様に係る変換装置および復号装置などについて、上記各実施の形態に基づいて説明したが、本開示は、それらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。
【０２０２】
例えば、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０２０３】
図１２は、変換装置１０ａの構成の他の例を示すブロック図である。
【０２０４】
変換装置１０ａは、プロセッサ１と、メモリ２とを備える。プロセッサ１は、そのメモリ２を用いて、第１ストリームを取得し、第１ストリームに含まれる不可逆符号化された第１ピクチャを、可逆符号化されたピクチャである第２ピクチャに変換し、第２ピクチャを含む第２ストリームを出力する。メモリ２には、プロセッサ１に上記各処理を実行させるためのプログラムが格納されていてもよい。この場合には、プロセッサ１は、そのプログラムを実行することによって、ピクチャの変換などの上記各処理を実行する。または、メモリ２は、取得された第１メモリを保持するために用いられてもよく、第２ピクチャを保持するために用いられてもよい。なお、変換装置１０ｂも、変換装置１０ａと同様、図１２に示す構成を有していてもよい。
【０２０５】
また、上記各実施の形態の変換装置などを実現するソフトウェアは、図３Ａまたは図３Ｂに示すフローチャートに含まれる各ステップをコンピュータに実行させてもよい。
【０２０６】
また、上記各実施の形態では、符号化データは、ピクチャまたはフレームが符号化されることによって得られるデータであるが、ピクチャまたはフレーム以外の画像単位を符号化することによって得られるデータであってもよい。その画像単位は、例えば、ブロック、スライスまたはシーケンスなどであってもよい。
【０２０７】
また、本開示の一態様に係る符号化装置は、複数の装置で構成されていてもよい。例えば、符号化装置は、画像を符号化して符号化データを出力する送信機と、中継装置とによって構成されていてもよい。中継装置は、送信機から符号化データを受信し、符号化データを復号してトランスコードを行う変換部と、符号化データを受信機に送信する送信部と、受信機からの要求信号を受信する受信部とを備えていてもよい。
【０２０８】
また、本開示の一態様に係る変換装置は、符号化装置とも言える。つまり、符号化装置は、符号化部と出力部とを備える。符号化部は、第１ストリームに含まれる第１符号化データを復号して得られる復号画像に対して、符号化処理を施して第２符号化データを生成する。ここで、第１符号化データは映像信号を符号化することにより生成されており、第２符号化データは第１期間に対応する。出力部は、第２符号化データと、その第１の期間に後続する第２期間に対応する符号化データとを含む第２ストリームを出力する。ここで、第１符号化データおよび第２符号化データは、それぞれ例えば図２に示す符号化データＰ２および符号化データＩ２である。また、第２期間に対応する符号化データは、例えば図２に示す符号化データＰ３である。また、上述の符号化部および出力部は、それぞれ例えば図１に示す符号化部１２ｂおよび出力部１４に対応する。
【０２０９】
また、本開示の一態様に係る変換装置は、以下の符号化装置とも言える。つまり、符号化装置は、符号化部を備える。この符号化部は、映像信号に含まれる第１フレームの画像に対して、他のフレームを参照したフレーム間符号化処理を施して第１符号化データを生成する。次に、符号化部は、その映像信号に含まれる第２フレームの画像に対して、第１フレームを参照したフレーム間符号化処理を施して第２符号化データを生成する。そして、符号化部は、その第１フレームに対応し、且つ第２フレームの符号化に用いた参照画像に対して、可逆圧縮方式を用いた符号化処理を施して第３符号化データを生成する。ここで、第１符号化データ、第２符号化データおよび第３符号化データは、それぞれ例えば図２に示す符号化データＰ２、符号化データＰ３および符号化データＩ２である。また、上述の符号化部は、例えば図６に示す第１符号化部１００に対応する。
【０２１０】
また、本開示の一態様に係る変換装置は、以下の符号化装置とも言える。つまり、符号化装置は、符号化部と出力部とを備える。この符号化部は、映像信号に含まれる第１フレームの画像に対して、他のフレームを参照したフレーム間符号化処理を施して第１符号化データを生成する。次に、符号化部は、その映像信号に含まれる第２フレームの画像に対して、第１フレームを参照したフレーム間符号化処理を施して第２符号化データを生成する。そして、符号化部は、その第１フレームに対応し、且つ第２フレームの符号化に用いた参照画像に対して、他のフレームを参照しない符号化処理を施して第３符号化データを生成する。また、出力部は、第１符号化データと第２符号化データを含む第１ストリームと、第３符号化データと第２符号化データを含む第２ストリームとを出力する。ここで、第１符号化データ、第２符号化データおよび第３符号化データは、それぞれ例えば図２に示す符号化データＰ２、符号化データＰ３および符号化データＩ２である。また、上述の符号化部および出力部は、例えば図６に示す第１符号化部１００および出力部１４にそれぞれ対応する。
【０２１１】
また、第３符号化データは、他の装置からの要求に応じてあらかじめ定められた期間のみ生成されてもよい。
【０２１２】
また、本開示の一態様に係る変換装置は、符号化された映像ストリームを変換する変換装置であって、判断部と、再符号化部と、出力部とを備えていてもよい。判断部は、入力された第１ストリームに含まれる符号化データを変換するか否か判断する。再符号化部は、その判断部で変換すると判断された変換前の符号化データを再符号化する。出力部は、その判断部で変換しないと判断された非変換の符号化データと、再符号化部で再符号化された変換後の符号化データとを含む第２ストリームを出力する。
【０２１３】
ここで、再符号化部は、上述の変換前の符号化データを復号して得られる画像に対して、可逆圧縮方式でフレーム内符号化データに符号化してもよい。
【０２１４】
また、再符号化部は、第１変換前符号化データを復号して得られた第１画像を、不可逆圧縮方式でフレーム内符号化データに符号化する。再符号化部は、その第１変換前符号化データに後続する第２変換前符号化データを復号して得られた第２画像を、その第１画像を参照してフレーム間符号化データに可逆圧縮方式で符号化してもよい。
【０２１５】
また、再符号化部は、第１変換前符号化データを復号して得られた第１画像を、フレーム内符号化データに不可逆圧縮方式で符号化し、そのフレーム内符号化データを復号して得られる第２画像を参照して、その第１画像をフレーム間符号化データに可逆圧縮方式で符号化してもよい。
【０２１６】
また、判断部は、復号を開始したい第１符号化データを第１変換前符号化データと判断し、第１符号化データの後続する第２符号化データを非変換符号化データと判断してもよい。
【０２１７】
また、判断部は、復号を開始したい第１符号化データと第１符号化データに後続する１つ以上の第２符号化データとのそれぞれを、変換前符号化データと判断し、その次の符号化データを非変換符号化データと判断してもよい。
【産業上の利用可能性】
【０２１８】
本開示にかかる変換装置、符号化装置、映像配信システム、および映像再生システムなどは、例えば監視カメラやテレビ会議システムなどデータの符号化または復号を行う機器またはシステムに適用できる。
【符号の説明】
【０２１９】
１０ａ、１０ｂ    変換装置
１１    取得部
１２    変換部
１２ａ    復号部
１２ｂ    符号化部
１２ｃ    第２符号化部
１３    判断部
１４    出力部
２１    第１復号装置
２２    第２復号装置
１００    第１符号化部
１０１    スライス分割部
１０２    減算器
１０３    直交変換部
１０４    量子化部
１０５    エントロピー符号化部
１０６    逆量子化部
１０７    逆直交変換部
１０８    加算器
１０９    デブロッキングフィルタ
１１０    メモリ
１１１    イントラ予測部
１１２    インター予測部
１１３    動き検出部
１１４    イントラ／インター判定部
２００    符号化装置
３００Ａ、３００Ｂ    映像配信システム
３１０    映像配信装置
３１１    撮像部
３１２    エンコード部
３１３    変換装置
３１４    送信部
３２０、３３０    映像受信装置
３４１    受信部
３４２    復号部
３４３    表示部
４００Ａ、４００Ｂ    映像再生システム
４１０    映像記録再生装置
４１０Ａ    映像記録装置
４１０Ｂ    映像再生装置
４１１    記録部
４１２    記録媒体
４１３    読込部
【図１】
2020043519.tif 000003
【図２】
2020043519.tif 000004
【図３Ａ】
2020043519.tif 000005
【図３Ｂ】
2020043519.tif 000006
【図４】
2020043519.tif 000007
【図５】
2020043519.tif 000008
【図６】
2020043519.tif 000009
【図７】
2020043519.tif 000010
【図８】
2020043519.tif 000011
【図９】
2020043519.tif 000012
【図１０】
2020043519.tif 000013
【図１１】
2020043519.tif 000014
【図１２】
2020043519.tif 000015