(57)【要約】【課題】スケーラブル拡張され、低帯域伝送されるデータを、既存のデコーダでデコード可能とする。【解決手段】判定部が、エンコード及びデコードの基準であり、デコード装置との間で共有する、入力画像に関連するベースストリームが、記憶部に記憶されているか否かを判定する。ベースストリーム生成部は、入力画像に関連するベースストリームが、記憶部に記憶されていると判定された場合、記憶部に記憶されているベースストリームをエンコード処理し、入力画像に関連するベースストリームが、記憶部に記憶されていないと判定された場合、入力画像をエンコード処理してベースストリームを生成する。差分生成部は、ベースストリームと入力画像との差分である差分ビットストリームを生成する。通信制御部は、ベースストリームをデコード装置に送信して共有すると共に、以後、差分ビットストリームをデコード装置に送信する。【選択図】図１０
2019176500.tif 000002
【特許請求の範囲】
【請求項１】
エンコード及びデコードの基準であり、デコード装置との間で共有するベースストリームであり、入力画像に関連するベースストリームが、記憶部に記憶されているか否かを判定する判定部と、
前記判定部により、入力画像に関連するベースストリームが、前記記憶部に記憶されていると判定された場合、前記記憶部に記憶されているベースストリームをエンコード処理し、前記判定部により、入力画像に関連するベースストリームが、前記記憶部に記憶されていないと判定された場合、前記入力画像をエンコード処理してベースストリームを生成するベースストリーム生成部と、
前記ベースストリーム生成部で生成されたベースストリームと入力画像との差分である差分ビットストリームを生成する差分生成部と、
前記ベースストリームを前記デコード装置に送信するように通信部を制御することで、前記ベースストリームを前記デコード装置との間で共有すると共に、以後、前記差分生成部で生成された前記差分ビットストリームを、前記デコード装置に送信するように前記通信部を制御する通信制御部と、
を有するエンコード装置。
【請求項２】
前記ベースストリームに識別情報を付加し、また、前記差分ビットストリームに前記ベースストリームの識別情報を付加する調整部を、さらに備える
請求項１に記載のエンコード装置。
【請求項３】
前記通信制御部は、前記デコード装置に対する前記ベースストリームの送信の要否を判別し、前記デコード装置に対する前記ベースストリームの送信が不要と判別した場合は、前記デコード装置に対して前記ベースストリームは送信せず、前記デコード装置に対する前記ベースストリームの送信が必要と判別した場合に、前記デコード装置に対して前記ベースストリームを送信するように前記通信部を制御する
請求項１又は請求項２に記載のエンコード装置。
【請求項４】
前記通信制御部は、前記ベースストリーム生成部により新たなベースストリームが生成されたことが通知されたタイミング、ベースストリームの出力指示を取得したタイミング、予め決められたタイミング、又は、前記デコード装置からの、ベースストリームの伝送要求を取得したタイミングで、前記ベースストリームを送信するように、前記通信部を制御する
請求項１から請求項３のうち、いずれか一項に記載のエンコード装置。
【請求項５】
前記ベースストリームは、単一種類又は複数種類のベースストリームである
請求項１から請求項４のうち、いずれか一項に記載のエンコード装置。
【請求項６】
前記ベースストリームは、エンコード処理したビットストリーム全体又は一部である
請求項１から請求項５のうち、いずれか一項に記載のエンコード装置。
【請求項７】
入力画像に関連する前記ベースストリームは、静止画像である
請求項１から請求項５のうち、いずれか一項に記載のエンコード装置。
【請求項８】
前記ベースストリームは、前記差分ビットストリームを生成する際に、参照ピクチャとして用いることが可能な画質であり、かつ、差分が生成されるピクチャとの類似性が高いピクチャである事前入力ピクチャに基づいて生成される
請求項１から請求項７のうち、いずれか一項に記載のエンコード装置。
【請求項９】
前記ベースストリームは、イントラピクチャネットワーク抽象化層ユニットのベースストリームである
請求項１から請求項８のうち、いずれか一項に記載のエンコード装置。
【請求項１０】
前記差分ビットストリームは、インターピクチャネットワーク抽象化層ユニットを含む差分ビットストリームである
請求項１から請求項９のうち、いずれか一項に記載のエンコード装置。
【請求項１１】
コンピュータを、
エンコード及びデコードの基準であり、デコード装置との間で共有するベースストリームであり、入力画像に関連するベースストリームが、記憶部に記憶されているか否かを判定する判定部と、
前記判定部により、入力画像に関連するベースストリームが、前記記憶部に記憶されていると判定された場合、前記記憶部に記憶されているベースストリームをエンコード処理し、前記判定部により、入力画像に関連するベースストリームが、前記記憶部に記憶されていないと判定された場合、前記入力画像をエンコード処理してベースストリームを生成するベースストリーム生成部と、
前記ベースストリーム生成部で生成されたベースストリームと入力画像との差分である差分ビットストリームを生成する差分生成部と、
前記ベースストリームを前記デコード装置に送信するように通信部を制御することで、前記ベースストリームを前記デコード装置との間で共有すると共に、以後、前記差分生成部で生成された前記差分ビットストリームを、前記デコード装置に送信するように前記通信部を制御する通信制御部として機能させる
エンコードプログラム。
【請求項１２】
請求項１から請求項１０のうち、いずれか一項に記載のエンコード装置と、
前記エンコード装置との間で共有するベースストリームに基づいて、前記差分ビットストリームに対応する画面をエンコードした状態のビットストリームを再構成し、再構成した前記ビットストリームに施されているエンコード処理に対応するデコード処理を施すデコード装置と
を有するストリーミングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施の形態は、エンコード装置、エンコードプログラム、及びストリーミングシステムに関する。
【背景技術】
【０００２】
今日において、ＨＤＴＶ映像伝送を用い、低ビットレートで４Ｋ解像度等の超解像度の映像に拡張可能なＳＨＶＣエンコード技術（ＨＥＶＣのスケーラブル拡張）が知られている。ＨＤＴＶは、「High-definition  television」の略記である。ＳＨＶＣは、「Scalable  High-efficiency  Video  Coding」の略記である。ＨＥＶＣは、「High-efficiency  Video  Coding」の略記である。
【０００３】
このＳＨＶＣエンコード技術は、ＨＥＶＣで用いられていた画面間予測及び画面内予測に加え、ＨＤＴＶ画像から４Ｋ画像を予測するレイヤ間予測を用い、動きによりボケが生じている画像領域に対して割り当てるデータ量を抑え、ピントのあっている動きの少ない画像領域により多くのデータ量を割り当てて主観画質を改善する。また、圧縮困難なノイズ成分を時空間画像処理で予め４Ｋ画像から除去することで、低ビットレートにおける解像度感の低下を抑制する。このため、追加ビットレートを１０Ｍｂｐｓに設定した場合でも、４Ｋ映像の解像度感を維持できる。４Ｋ解像度の映像配信には、例えば３０Ｍｂｐｓ程度のビットレートが必要であったが、ＨＥＶＣエンコード技術を用いることで、必要な追加伝送帯域を１／３の１０Ｍｂｐｓ程度まで低減できる。
【０００４】
ここで、ＳＨＶＣを用いた狭帯域映像伝送システムでは、送信側と受信側で予め参照画像を共有する。送信側は、参照画像との差分のみをエンコードデータとして送出する。受信側は、受信したエンコードデータを、予め共有しておいた参照画像を用いてデコードして表示する。これにより、エンコードデータは、参照画像との差分のみとなるため、データ量を削減でき、帯域利用効率のよい映像ストリーミングが可能となる。
【０００５】
しかし、ＳＨＶＣを用いた狭帯域映像伝送システムにおいて、送信側から送信された映像信号を受信側でデコードするためには、受信側でＳＨＶＣ対応の専用デコーダが必要となり、既存のＨＥＶＣデコーダでは再生が困難となる問題があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１１０２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする課題は、スケーラブル拡張され低ビットレート伝送されるデータを、既存のデコーダでデコード可能とするエンコード装置、エンコードプログラム、及びストリーミングシステムを提供することである。
【課題を解決するための手段】
【０００８】
実施の形態によれば、エンコード装置は、判定部が、エンコード及びデコードの基準であり、デコード装置との間で共有するベースストリームであり、入力画像に関連するベースストリームが、記憶部に記憶されているか否かを判定する。ベースストリーム生成部は、判定部により、入力画像に関連するベースストリームが、記憶部に記憶されていると判定された場合、記憶部に記憶されているベースストリームをエンコード処理し、判定部により、入力画像に関連するベースストリームが、記憶部に記憶されていないと判定された場合、入力画像をエンコード処理してベースストリームを生成する。差分生成部は、ベースストリーム生成部で生成されたベースストリームと入力画像との差分である差分ビットストリームを生成する。通信制御部は、ベースストリームをデコード装置に送信するように通信部を制御することで、ベースストリームをデコード装置との間で共有すると共に、以後、差分生成部で生成された差分ビットストリームを、デコード装置に送信するように通信部を制御する。
【図面の簡単な説明】
【０００９】
【図１】図１は、第１の実施の形態のストリーミングシステムのシステム構成図である。
【図２】図２は、第１の実施の形態のストリーミングシステムに設けられているサーバ装置のハードウェア構成図である。
【図３】図３は、第１の実施の形態のストリーミングシステムに設けられているクライアント装置のハードウェア構成図である。
【図４】図４は、サーバ装置のエンコーダの機能ブロック図である。
【図５】図５は、クライアント装置のデコーダの機能ブロック図である。
【図６】図６は、クライアント装置との間で共有するベースストリームの生成動作を説明するためのフローチャートである。
【図７】図７は、ベースストリームに基づいて差分ビットストリームを生成し、クライアント装置に伝送する動作を説明するためのフローチャートである。
【図８】図８は、サーバ装置から送信されたベースストリームを、クライアント装置で記憶する動作を説明するためのフローチャートである。
【図９】図９は、サーバ装置から送信されたビットストリームをデコードする動作を説明するためのフローチャートである。
【図１０】図１０は、第２の実施の形態のストリーミングシステムのエンコーダの機能ブロック図である。
【図１１】図１１は、第２の実施の形態のストリーミングシステムにおいて、クライアント装置との間で共有するベースストリームの生成動作を説明するためのフローチャートである。
【図１２】図１２は、第２の実施の形態のストリーミングシステムにおいて、ベースストリームに基づいて差分ビットストリームを生成し、クライアント装置に伝送する動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１０】
以下、実施の形態のストリーミングシステムを、図面を参照して詳細に説明する。
【００１１】
（概要）
実施の形態のストリーミングシステムは、例えば監視用の映像等を送受信するシステムとなっている。送信側のエンコーダは、予め画面パターン毎に、エンコード及びデコードの基準である、例えばイントラピクチャＮＡＬユニット等のベースストリームを予め生成して記憶する。ＮＡＬは、「Network  Abstraction  Layer」の略記である。生成されたベースストリームは、受信側のデコーダにも記憶され、エンコーダ側とデコーダ側との間でベースストリームが共有される。ベースストリームを受信側のデコーダに記憶させるタイミングは、例えば受信側のデコーダの工場出荷時又は初期セットアップ時に、ベースストリームがデコーダに記憶される。または、ベースストリームは、実際のストリーム伝送時に動的に、非同期又は同期して更新される。
【００１２】
入力画面をエンコードする場合、エンコーダは、デコーダ側との間で共有しているベースストリームを用いて入力映像のエンコードを行い、エンコードの状態に基づいて、例えばＰピクチャＮＡＬユニット等の差分ビットストリームを生成する。デコーダに伝送するビットストリームは、差分ビットストリームのみとする。これにより、伝送データ量を削減できる。なお、デコーダに伝送する差分ビットストリームに、ベースストリームを用いたか否かを示す情報を含ませてもよい。
【００１３】
受信側となるデコーダは、予め共有しているベースストリームと、受信した差分ビットストリームを用いて、本来、エンコーダが生成する予定であったストリームと同等（同画質、同解像度）のストリームを再構成する。換言すると、デコーダは、予め共有しているベースストリームと、受信した差分ビットストリームを用いて再生した、差分ビットストリームに対応する画面をエンコードした状態のビットストリームを再構成する。そして、デコーダは、再構成したストリームをデコードして表示する。これにより、画面転送において、帯域利用効率のよい映像ストリーミングを可能とすることができる。また、専用のデコーダを不要とすることができる。また、トランスコードと比べても再構成の処理量が低減できる。従って、汎用品デコーダチップと安価なＣＰＵで受信装置（デコーダ）を実現でき、ストリーミングシステムのコストダウンを実現できる。
【００１４】
（第１の実施の形態）
図１に、第１の実施の形態のストリーミングシステムのシステム構成図を示す。この図１に示すように、第１の実施の形態のストリーミングシステムは、サーバ装置１およびクライアント装置２を有している。サーバ装置１およびクライアント装置２は、インターネット等のネットワーク３を介して相互に接続されている。サーバ装置１は、所定の映像ストリームを、ＳＨＶＣエンコード技術を用いてスケーラブル拡張処理することで、いわゆる４Ｋ映像信号又８Ｋ映像信号等の高解像度の映像信号の高解像度感を維持した状態で低ビットレート化し、ネットワーク３を介して配信する。ＳＨＶＣは、「Scalable  High-efficiency  Video  Coding」の略記である。クライアント装置２は、一般的なＨＥＶＣデコーダとなっており、後述するように特別な構成を備えることなく、ＳＨＶＣエンコードされた映像信号をデコードして再生する。デコードされた映像信号は、モニタ装置に表示され又はレコーダ装置等に記録される。ＨＥＶＣは、「High-efficiency  Video  Coding」の略記である。
【００１５】
図２にサーバ装置１のハードウェア構成図を示す。図２に示すように、サーバ装置１は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＨＤＤ（ハードディスクドライブ）１４及び通信部１５を備える。ＣＰＵ１１〜通信部１５は、バスライン１６を介して相互に接続されている。ＣＰＵは、「Central  Processing  Unit」の略記である。ＲＯＭは、「Read  Only  Memory」の略記である。ＲＡＭは、「Random  Access  Memory」の略記である。
【００１６】
ＨＤＤ１４には、映像ストリームをエンコードするためのエンコードプログラムが記憶されている。ＣＰＵ１１は、エンコードプログラムに従って動作することでエンコーダ１７として機能し、映像ストリームをＳＨＶＣエンコードして配信する。なお、エンコードプログラムは、ＲＯＭ１２又はＲＡＭ１３等の他の記憶部に記憶してもよい。
【００１７】
図３にクライアント装置２のハードウェア構成図を示す。図３に示すように、クライアント装置２は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ＨＤＤ（ハードディスクドライブ）２４及び通信部２５を備える。ＣＰＵ２１〜通信部２５は、バスライン２６を介して相互に接続されている。
【００１８】
ＨＤＤ２４には、サーバ装置１からＳＨＶＣエンコードされて送信される映像ストリームをデコードするためのデコードプログラムが記憶されている。ＣＰＵ２１は、デコードプログラムに従って動作することでデコーダ２７として機能し、サーバ装置１から受信した映像ストリームをデコードする。なお、デコードプログラムは、ＲＯＭ２２又はＲＡＭ２３等の他の記憶部に記憶してもよい。
【００１９】
この例では、エンコーダ１７及びデコーダ２７はソフトウェア的に実現することとして説明を進める。しかし、エンコーダ１７及びデコーダ２７のうち、全部、いずれか一つ又は複数をＩＣ（Integrated  Circuit）等のハードウェアで実現してもよい。
【００２０】
また、エンコードプログラムおよびデコードプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、エンコードプログラム及びデコードプログラムは、ＣＤ−Ｒ、ＤＶＤ、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。ＤＶＤは、「Digital  Versatile  Disk」の略記である。また、エンコードプログラム及びデコードプログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、エンコードプログラム及びデコードプログラムは、機器内のＲＯＭ等に予め組み込んで提供してもよい。
【００２１】
図４は、サーバ装置１のエンコーダ１７の機能ブロック図である。エンコーダ１７は、エンコード装置の一例である。この図３に示すように、エンコーダ１７は、事前処理部３１、記憶制御部３２、第１の送信制御部３３、第２のバッファ制御部３４、第２のエンコード部３５、調整部３６、第２の送信制御部３７を有している。事前処理部３１は、第１のバッファ制御部３８及び第１のエンコード部３９を有している。なお、事前処理部３１〜第２の送信制御部３７のうち、全部又は一部をハードウェアで構成してもよいことは上述のとおりである。
【００２２】
事前処理部３１は、例えば受信側となるクライアント装置２の工場出荷時又は初期セットアップ時等において、上述のベースストリームを予め生成してデコーダに記憶する場合に機能する処理部である。このため、実際のストリーム伝送時に、動的に、非同期又は同期して、デコーダ側のベースストリームを更新する場合には、事前処理部３１は不要となる。また、図４では、事前処理部３１を独立の処理部として図示しているが、第１のバッファ制御部３８を第２のバッファ制御部３４で代用し、第１のエンコード部３９を第２のエンコード部３５で代用することで、事前処理部３１を省略できる。
【００２３】
記憶制御部３２は、事前処理部３１で生成され、クライアント装置２（デコーダ２７）の間で共有するベースストリームを、ＲＡＭ１３等の記憶部に記憶制御する。第１の送信制御部３３は、ＲＡＭ１３に記憶されたベースストリームをクライアント装置２に送信するように通信部１５を制御し、デコーダ２７との間でベースストリームを共有する。
【００２４】
第２のバッファ制御部３４は、入力される映像ストリーム（入力ビットストリーム）を、ＲＡＭ１３等の記憶部にバッファリング処理する。差分生成部の一例である第２のエンコード部３５は、ＲＡＭ１３に記憶されているベースストリームと、バッファリング処理された映像ストリームとの差分である差分ビットストリームを生成する。これにより、スケーラブル拡張及び低ビットレート化されたビットストリーム（ＳＨＶＣエンコード処理されたビットストリーム）が生成される。
【００２５】
調整部３６は、例えば参照するベースストリームの識別情報又は関連情報を付加することで、差分ビットストリームの調整を行う。通信制御部の一例である第２の送信制御部３７は、調整された差分ビットストリームをクライアント装置２に送信するように通信部１５を制御する。
【００２６】
図５は、クライアント装置２のデコーダ２７の機能ブロック図である。デコーダ２７は、デコード装置の一例である。この図５に示すように、デコーダ２７は、調整処理部４１及びデコード処理部４２を有している。調整処理部４１は、第１の受信制御部４３、記憶制御部４４、第２の受信制御部４５及び構成調整部４６を有している。デコード処理部４２は、デコード部４７及びバッファ制御部４８を有している。なお、第１の受信制御部４３〜バッファ制御部４８のうち、全部又は一部をハードウェアで構成してもよいことは上述のとおりである。
【００２７】
第１の受信制御部４３は、上述のように事前に生成され又は動的に更新される、サーバ装置１からのベースストリームを受信するように通信部２５を制御する。記憶制御部４４は、受信したベースストリームをＲＡＭ２３等の記憶部に記憶制御する。第２の受信制御部４５は、サーバ装置１からの差分ビットストリームを受信するように通信部２５を制御する。構成調整部４６は、予め共有しているベースストリームと、受信した差分ストリームを用いて、本来、エンコーダ１７が生成する予定であったビットストリームと同等（同画質、同解像度）のビットストリームを再構成する。
【００２８】
デコーダは、再構成されたビットストリームに対して、通常のＨＥＶＣデコード処理を施す。バッファ制御部４８は、デコードされたビットストリームを、ＲＡＭ２３等の記憶部にバッファリング処理し、順次、読み出してモニタ装置又は記録装置等に出力する。
【００２９】
次に、図６のフローチャートに、クライアント装置２との間で共有するベースストリームの生成動作の流れを示す。例えば、受信側となるクライアント装置２の工場出荷時、初期セットアップ時又は実際のストリーム伝送時等の事前処理のタイミングで、図４に示す事前処理部３１の第１のバッファ制御部３８が、事前入力されたピクチャ（事前入力ビットストリーム）をＲＡＭ１３にバッファリング処理する。
【００３０】
事前入力ピクチャとしては、キャプチャ画像、カメラ入力から得られるピクチャ又は所定の加工処理を施したピクチャ等が用いられる。また、事前入力ピクチャとしては、差分ビットストリームを生成する際に、参照ピクチャとして用いることが可能な画質であり、かつ、差分が生成されるピクチャとの類似性が高いピクチャであることが好ましい。
【００３１】
第１のエンコード部３９は、バッファリング処理された事前入力ピクチャを、ＲＡＭ１３から読み出し、ＳＨＶＣ用のベースストリームを生成する。ベースストリームは、単一種類でもよいし、複数種類でもよい。また、ベースストリームは、エンコードしたビットストリーム全体又は一部でもよい。部分的なベースストリームとしては、例えばエレメンタリストリームのＩピクチャ単体等が一例として挙げられる。
【００３２】
記憶制御部３２は、図６のフローチャートのステップＳ１において、ベースストリームを取得し、ステップＳ２において、例えば識別情報又は関連情報の付加等の調整処理のための記憶が必要であるか否かを判別する。記憶が必要な場合は（ステップＳ２：Ｙｅｓ）、ステップＳ３に処理が進み、記憶が不要の場合は（ステップＳ２：Ｎｏ）、ステップＳ４に処理が進む。
【００３３】
ステップＳ３では、調整部３６がベースストリームに対して識別情報又は関連情報を付加する等の調整処理を行う。また、ステップＳ３では、記憶制御部３２が、調整処理されたベースストリームを、ＲＡＭ２３に一旦記憶する。
【００３４】
次に、ステップＳ４では、第１の送信制御部３３が、クライアント装置２に対するベースストリームの出力（伝送）が必要か否か判断する。出力が必要な場合（ステップＳ４：Ｙｅｓ）、第１の送信制御部３３は、ステップＳ５において、ベースストリームをクライアント装置２に伝送するように、通信部１５を制御する。これに対して、出力が不要な場合（ステップＳ４：Ｎｏ）、第１の送信制御部３３は、ベースストリームを伝送することなく、図６のフローチャートの処理を終了する。
【００３５】
第１の送信制御部３３が、ベースストリームをクライアント装置２に送信するタイミングとしては、例えば記憶制御部３２から新たなベースストリームを記憶した旨が通知されたタイミングでよい。または、ユーザ又はシステムからベースストリームの出力指示が供給されたタイミングでよい。または、予め決められたタイミング、又は、クライアント装置２のからの伝送要求時のタイミングでもよい。なお、ベースストリームの伝送速度は任意であり、クライアント装置２の通信回線等に応じて低いビットレートの伝送速度としてもよいし、出力時間を短くするために高いビットレートの伝送速度としてもよい。
【００３６】
次に、図７のフローチャートに、ベースストリームに基づいて差分ビットストリームを生成し、クライアント装置２に伝送する動作の流れを示す。ステップＳ１１では、図４に示す第２のバッファ制御部３４が、エンコードを施すピクチャを取得し、ＲＡＭ１３等にバッファリング処理する。ステップＳ１２では、第２のエンコード部３５が、記憶制御部３２を介して、入力されたピクチャをエンコードする際に参照すべきベースストリームがＲＡＭ１３に記憶されているか否かを判別する。
【００３７】
参照すべきベースストリームがＲＡＭ１３に記憶されていない場合（ステップＳ１２：Ｎｏ）、第２のエンコード部３５は、ステップＳ１４において、ベースストリームを参照することなく、入力されたピクチャに対してＳＨＶＣエンコードを施し、処理をステップＳ１５に進める。これに対して、参照すべきベースストリームがＲＡＭ１３に記憶されている場合（ステップＳ１２：Ｙｅｓ）、第２のエンコード部３５は、ステップＳ１３において、ベースストリームを参照し、入力されたピクチャとの差分である差分ビットストリームを生成するＳＨＶＣエンコード処理を行い、処理をステップＳ１５に進める。
【００３８】
ステップＳ１５では、調整部３６が、ＳＨＶＣエンコード処理により生成された差分ビットストリーム等に、参照するベースストリームの識別情報又は関連情報を付加する調整処理を施す。ステップＳ１６では、記憶制御部３２が、ＳＨＶＣエンコード処理で生成したビットストリームを、ＲＡＭ１３に記憶するか否かを判別する。記憶する場合は（ステップＳ１６：Ｙｅｓ）、記憶制御部３２は、ステップＳ１７において、ＳＨＶＣエンコード処理で生成したビットストリームを、ＲＡＭ１３に記憶する。この際、記憶制御部３２は、新たに生成されたビットストリームをＲＡＭ１３に記憶し、又は、ＲＡＭ１３に記憶されているビットストリームを、新たなビットストリームで更新するかたちで記憶する。または、記憶制御部３２は、ＲＡＭ１３に記憶されているビットストリームと新たなビットストリームとの差分のみを記憶する。なお、このような記憶による処理が不要の場合（ステップＳ１６：Ｎｏ）、処理は、ステップＳ１８に進む。
【００３９】
ステップＳ１８では、第２の送信制御部３７が、差分ビットストリーム等をクライアント装置２に送信するように通信部１５を制御して、図７のフローチャートの処理を終了する。第１の実施の形態のストリーミングシステムの場合、最初にベースストリームをクライアント装置２に送信しておき、後は、ベースストリームとの差分である差分ビットストリームのみをクライアント装置２に送信する。これにより、低ビットレート化を図ることができ、伝送帯域を有効に利用できる。
【００４０】
次に、図８のフローチャートに、サーバ装置１から送信されたベースストリームを、クライアント装置２側で記憶する動作の流れを示す。ステップＳ２１では、図５に示す第１の受信制御部４３が、サーバ装置１から送信されたベースストリームを取得するように、通信部２５を制御する。ステップＳ２２では、記憶制御部４４が、取得したベースストリームは、記憶の必要があるか否かを判別する。
【００４１】
具体的には、記憶制御部４４は、ユーザ又はシステムからベースストリームの出力処理が指示されている場合、又は、予め予め決められたタイミングである場合に、取得したベースストリームをＲＡＭ２３等の記憶部に記憶する。または、記憶制御部４４は、サーバ装置１から記憶が指示されている場合、及び、構成調整部４６から記憶が指示されている場合等に、取得したベースストリームをＲＡＭ２３等の記憶部に記憶する。なお、ベースストリームの入力速度は任意であり、サーバ装置１の通信回線等に応じて低いビットレートの入力速度としてもよいし、入力時間を短くするために高いビットレートの入力速度としてもよい。
【００４２】
ステップＳ２２において、記憶が必要であると判別された場合、ステップＳ２３において、記憶制御部４４は、取得したベースストリームをＲＡＭ２３に記憶制御する。これにより、サーバ装置１とクライアント装置２との間でベースストリームが共有される。なお、ステップＳ２２において、記憶が不要であると判別された場合、記憶制御部４４は、そのまま図８のフローチャートの処理を終了する。
【００４３】
次に、図９のフローチャートに、サーバ装置１から送信されたビットストリームをデコードする流れを示す。ステップＳ３１では、第２の受信制御部４５が、サーバ装置１から伝送されるビットストリームを取得するように通信部２５を制御する。ステップＳ３２では、構成調整部４６が、ビットストリームのデコードにベースストリームが必要か否かを判別する。
【００４４】
ベースストリームが必要である場合（ステップＳ３２：Ｙｅｓ）、構成調整部４６は、ステップＳ３３において、ＲＡＭ２３に予め記憶されているベースストリームを取得して、処理をステップＳ３４に進める。これに対して、ベースストリームが不要である場合（ステップＳ３２：Ｎｏ）、構成調整部４６は、ステップＳ３４に処理を進める。
【００４５】
ステップＳ３４では、構成調整部４６が、予め共有しているベースストリームと、受信した後続の差分ビットストリームを用いて、本来、サーバ装置１のエンコーダ１７が生成する予定であったビットストリームと同等（同画質、同解像度）のビットストリームを再構成する。換言すると、構成調整部４６は、予め共有しているベースストリームと、受信した差分ビットストリームを用いて再生した、差分ビットストリームに対応する画面をエンコードした状態のビットストリームを再構成する。ステップＳ３５では、デコード部４７が、再構成されたビットストリームに対して、通常のＨＥＶＣデコード処理を施してデコードする。そして、バッファ制御部が、デコードされたビットストリームをＲＡＭ２３に一旦記憶し、順次、読み出してモニタ装置又は記録装置等に出力する。
【００４６】
このような第１の実施の形態のストリーミングシステムは、ビットストリームの転送において、帯域利用効率のよいストリーミングを可能とすることができる。また、ＳＨＶＣ専用のデコーダを用いなくても、通常のＨＥＶＣデコーダで、ＳＨＶＣエンコード処理されたビットストリームのデコードを行うことができる。また、トランスコードと比べても再構成の処理量を低減できる。従って、汎用デコーダチップと安価なＣＰＵでクライアント装置２を実現でき、ストリーミングシステムのコストダウンを実現できる。
【００４７】
（第２の実施の形態）
次に、第２の実施の形態のストリーミングシステムの説明をする。上述の第１の実施の形態ストリーミングシステムが、動画像のビットストリームを伝送する例であるのに対し、この第２の実施の形態のストリーミングシステムは、静止画像（ピクチャ）のビットストリームを伝送する例である。なお、第１の実施の形態と第２の実施の形態とでは、この点のみが異なる。このため、以下、差異の説明のみ行い、重複説明は省略する。
【００４８】
図１０は、第２の実施の形態のストリーミングシステムのエンコーダ１７の機能ブロック図である。この図１０において、図４と同じ動作を示す箇所には同じ符号を付してある。第２の実施の形態のストリーミングシステムのエンコーダ１７は、図１０に示すように、図４の各機能に加え、第１のバッファ制御部３８及び第２のバッファ制御部３４によりバッファリング処理されたピクチャを、ＲＡＭ１３に記憶制御するピクチャ記憶制御部５１を有している。また、ＲＡＭ１３に記憶されたピクチャのうち、エンコードするピクチャを判定（選別）する判定部５２を有している。
【００４９】
図１１のフローチャートに、クライアント装置２との間で共有するベースストリームの生成動作の流れを示す。例えば、受信側となるクライアント装置２の工場出荷時、初期セットアップ時又は実際のストリーム伝送時等の事前処理のタイミングで、図１０に示す事前処理部３１の第１のバッファ制御部３８が、ステップＳ４１において、事前入力されたピクチャ（事前入力ピクチャ）をバッファリング処理する。
【００５０】
事前入力ピクチャとしては、キャプチャ画像、カメラ入力から得られるピクチャ又は所定の加工処理を施したピクチャ等が用いられる。また、事前入力ピクチャとしては、差分ビットストリームを生成する際に、参照ピクチャとして用いることが可能な画質であり、かつ、差分が生成されるピクチャとの類似性が高いピクチャであることが好ましい。
【００５１】
ステップＳ４２では、ピクチャ記憶制御部５１が、判定部５２と連携し、事前入力ピクチャは、記憶が必要か否かを判別する。記憶が必要な場合（ステップＳ４１：Ｙｅｓ）、ピクチャ記憶制御部５１は、ステップＳ４３において、事前入力ピクチャをＲＡＭ１３に記憶制御して、処理をステップＳ４４に進める。これに対して、記憶が不要な場合（ステップＳ４１：Ｎｏ）、ピクチャ記憶制御部５１は、処理をステップＳ４４に処理を進める。
【００５２】
ステップＳ４４では、第１のエンコード部３９が、ＲＡＭ１３から事前入力ピクチャを読み出し、ＳＨＶＣ用のベースストリームを生成する。ベースストリームは、単一種類でもよいし、複数種類でもよい。また、ベースストリームは、エンコードしたビットストリーム全体又は一部でもよい。部分的なベースストリームとしては、例えばエレメンタリストリームのＩピクチャ単体等が一例として挙げられる。
【００５３】
次に、記憶制御部３２は、ステップＳ４５において、ベースストリームは、例えば識別情報又は関連情報の付加等の調整処理のための記憶が必要であるか否かを判別する。記憶が必要な場合は（ステップＳ４５：Ｙｅｓ）、ステップＳ４６に処理が進み、記憶が不要の場合は（ステップＳ４５：Ｎｏ）、ステップＳ４７に処理が進む。
【００５４】
ステップＳ４６では、記憶制御部３２が、ベースストリームをＲＡＭ１３に記憶制御すると共に、必要に応じて、調整部３６がベースストリームに対して識別情報又は関連情報を付加する等の調整処理を施す。そして、ステップＳ４７において、第１の送信制御部３３が、クライアント装置２にベースストリーム伝送するように、通信部１５を制御して、図６のフローチャートの処理が終了する。これにより、サーバ装置１とクライアント装置２との間でベースストリームが共有される。
【００５５】
第１の送信制御部３３が、ベースストリームをクライアント装置２に送信するタイミングとしては、例えば記憶制御部３２から新たなベースストリームを記憶した旨が通知されたタイミングでよい。または、ユーザ又はシステムからベースストリームの出力指示が供給されたタイミングでよい。または、予め決められたタイミング、又は、クライアント装置２のからの伝送要求時のタイミングでもよい。なお、ベースストリームの伝送速度は任意であり、クライアント装置２の通信回線等に応じて低いビットレートの伝送速度としてもよいし、出力時間を短くするために高いビットレートの伝送速度としてもよい。
【００５６】
次に、図１２のフローチャートに、ベースストリームに基づいて差分ビットストリームを生成し、クライアント装置２に伝送する動作の流れを示す。ステップＳ５１では、図１０に示す第２のバッファ制御部３４が、エンコードを施す入力ピクチャを取得し、ＲＡＭ１３等にバッファリング処理する。ステップＳ５２では、ピクチャ記憶制御部５１が判定部５２と連携し、入力ピクチャに関連する、参照すべきピクチャ（ベースストリーム）は存在するか否か（ＲＡＭ１３に記憶されているか否か）を判別する。
【００５７】
参照すべきピクチャが存在する場合（ステップＳ５２：Ｙｅｓ）、第２のエンコード部３５は、入力ピクチャの代わりに、参照すべきピクチャをＳＨＶＣエンコードし、ベースストリームを生成する。これに対して、参照すべきピクチャが存在しない場合（ステップＳ５２：Ｎｏ）、第２のエンコード部３５は、入力ピクチャをＳＨＶＣエンコードし、ベースストリームを生成する。なお、ピクチャ記憶制御部５１は、エンコードするピクチャを判定する判定部５２と連携し、入力ピクチャの記憶が必要か否かを判別し、必要な場合は入力ピクチャをＲＡＭ１３等に記憶してもよい。
【００５８】
次に、ステップＳ５５では、調整部３６が、ＳＨＶＣエンコードにより生成されたビットストリーム等に、参照するベースストリームの識別情報又は関連情報を付加する調整処理を施す。ステップＳ５６では、記憶制御部３２が、ＳＨＶＣエンコードで生成したビットストリームを、ＲＡＭ１３に記憶するか否かを判別する。記憶する場合は（ステップＳ５６：Ｙｅｓ）、記憶制御部３２は、ステップＳ５７において、ＳＨＶＣエンコード処理で生成したビットストリームを、ＲＡＭ１３に記憶する。この際、記憶制御部３２は、新たに生成されたビットストリームをＲＡＭ１３に記憶し、又は、ＲＡＭ１３に記憶されているビットストリームを、新たなビットストリームで更新するかたちで記憶する。または、記憶制御部３２は、ＲＡＭ１３に記憶されているビットストリームと新たなビットストリームとの差分のみを記憶する。なお、このような記憶による処理が不要の場合（ステップＳ５６：Ｎｏ）、処理は、ステップＳ５８に進む。
【００５９】
ステップＳ５８では、第２の送信制御部３７が、ビットストリーム等をクライアント装置２に送信するように通信部１５を制御して、図１２のフローチャートの処理を終了する。第２の実施の形態のストリーミングシステムの場合も、最初に参照ピクチャであるベースストリームをクライアント装置２に送信しておき、後は、ベースストリームとの差分である差分ピクチャのみをクライアント装置２に送信する。これにより、低ビットレート化を図ることができ、伝送帯域を有効に利用できる等、上述の第１の実施の形態と同じ効果を得ることができる。
【００６０】
なお、この第２の実施の形態の場合も、クライアント装置２のデコーダ２７は、予め記憶しておいたベースストリーム及び受信した入力ピクチャを用いて、本来、エンコーダ１７が生成する予定であったビットストリームと同等（同画質、同解像度）のビットストリームを再構成する。そして、デコーダ２７は、再構成したストリームを再生して表示等を行う。
【００６１】
本発明の実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００６２】
１  サーバ装置
２  クライアント装置
３  ネットワーク
１１  ＣＰＵ
１２  ＲＯＭ
１３  ＲＡＭ
１４  ＨＤＤ
１５  通信部
１７  エンコーダ
２１  ＣＰＵ
２２  ＲＯＭ
２３  ＲＡＭ
２４  ＨＤＤ
２５  通信部
２７  デコーダ
３１  事前処理部
３２  記憶制御部
３３  第１の送信制御部
３４  第２のバッファ制御部
３５  第２のエンコード部
３６  調整部
３７  第２の送信制御部
３９  エンコード部
３８  第１のバッファ制御部
４１  調整処理部
４２  デコード処理部
４３  第１の受信制御部
４４  記憶制御部
４５  第２の受信制御部
４６  構成調整部
４７  デコード部
４８  バッファ制御部
５１  ピクチャ記憶制御部
５２  判定部
【図１】
2019176500.tif 000003
【図２】
2019176500.tif 000004
【図３】
2019176500.tif 000005
【図４】
2019176500.tif 000006
【図５】
2019176500.tif 000007
【図６】
2019176500.tif 000008
【図７】
2019176500.tif 000009
【図８】
2019176500.tif 000010
【図９】
2019176500.tif 000011
【図１０】
2019176500.tif 000012
【図１１】
2019176500.tif 000013
【図１２】
2019176500.tif 000014