(57)【特許請求の範囲】
【請求項１】
監視カメラにより伝送される位置固定された監視シーンを表す画像データを表示するためのビデオシステム（１）であって、
符号化装置（５）を有するサーバ（２）と、ネットワーク（４）を介して前記サーバ（２）と接続可能なクライアント（３）とが設けられており、
前記符号化装置（５）は、アクティブな動作モードとして複数の動作モードで動作可能であり、該符号化装置（５）は、アクティブな動作モードに従ってビデオデータ（Ｖ）を符号化し、符号化伝送データ（Ｕ）を出力し、
前記クライアント（３）は１つのセッションにおいて、前記符号化装置（５）から符号化伝送データ（Ｕ）を要求し、さらに処理して表示する、
画像データを表示するためのビデオシステム（１）において、
前記符号化装置（５）は、アクティブな動作モードとして動作モード「再生」のほか、動作モード「停止」、「静止画」、「早送り」又は「早戻し」において動作可能であり、
該符号化装置（５）のアクティブな動作モードは、前記クライアント（３）により決定され、
前記符号化装置（５）は、セッション中、前記クライアント（３）に排他的に割り当てられていることを特徴とする、
画像データを表示するためのビデオシステム（１）。
【請求項２】
前記符号化装置（５）は、ビデオデータ（Ｖ）をリアルタイムに符号化する、請求項１記載のビデオシステム（１）。
【請求項３】
動作モード「早送り」及び／又は「早戻し」において、選択画像として画像データの画像（９）のうち選択された画像だけが、前記符号化装置（５）から符号化伝送データ（Ｕ）として出力され、画像データにおいて前記各選択画像の間に少なくとも１つの中間画像（１０）が配置されている、請求項１または２記載のビデオシステム（１）。
【請求項４】
動作モード「静止画」において、ビデオデータ（Ｖ）の目下の画像が高められた品質であとから符号化されてクライアント（３）に伝送される、請求項１から３のいずれか１項記載のビデオシステム（１）。
【請求項５】
前記符号化装置は符号変換装置（５）として構成されており、
前記サーバ（２）は記憶装置（６）を有しており、該記憶装置（６）内に符号化出力データ（Ａ）が格納されており、
前記符号変換装置（５）はアクティブな動作モードに従い、前記記憶装置（６）から到来する符号化出力データ（Ａ）をデコーダモジュール（７）において復号してビデオデータ（Ｖ）を生成し、ついでエンコーダモジュール（８）において符号化し、符号化伝送データ（Ｕ）として出力する、
請求項１から４のいずれか１項記載のビデオシステム（１）。
【請求項６】
前記符号化出力データ（Ａ）は、複数のキーフレーム（９）と複数のインターフレーム（１０）を有しており、動作モード「早送り」及び／又は「早戻し」においては、前記符号化出力データ（Ａ）のうちキーフレーム（９）のみが選択画像として選択される、
請求項５記載のビデオシステム（１）。
【請求項７】
選択画像として選択されたキーフレーム（９）は、デコーダモジュール（７）により生フレーム（１１）に変換され、該生フレーム（１１）は、エンコーダモジュール（８）により符号化伝送データ（Ｕ）に変換される、請求項６記載のビデオシステム。
【請求項８】
前記符号化伝送データ（Ｕ）は、複数のキーフレーム（９）と複数のインターフレーム（１０）を有しており、
動作モード「静止画」において、目下の画像は前記符号化出力データ（Ａ）またはビデオデータ（Ｖ）に基づきあとから符号化され、
該目下の画像に対し、付加的なインターフレーム（１０）が生成され、または新たに符号化され、
該目下の画像に対し、キーフレーム（９）とインターフレーム（１０）を有する付加的な画像グループ（ＧｏＰ）が生成され、
前記付加的なインターフレーム（１０）または前記付加的な画像グループ（ＧｏＰ）が、符号化伝送データとしてクライアントへ伝送される、
請求項５から７のいずれか１項記載のビデオシステム（１）。
【請求項９】
監視カメラにより伝送される位置固定された監視シーンを表す画像データを表示するためのビデオシステム（１）から出力データとしてサーバ（２）に供給される画像データをクライアント（３）に表示させる方法において、
前記クライアント（３）は前記サーバ（２）に対し１つのセッション中、アクティブな動作モードで画像データを要求し、さらに処理して表示し、
前記サーバ（２）の符号化装置（５）は、アクティブな動作モードに従いビデオデータ（Ｖ）を符号化し、符号化伝送データ（Ｕ）としてクライアント（３）に送信し、
前記符号化装置（５）は、アクティブな動作モードとして動作モード「再生」のほか、動作モード「停止」、「静止画」、「早送り」又は「早戻し」において動作可能であり、
前記クライアント（３）は、前記符号化装置（５）のアクティブな動作モードを決定し、
前記符号化装置（５）は、セッション中、前記クライアント（３）に排他的に割り当てられていることを特徴とする、
サーバ（２）に供給される画像データをクライアント（３）に表示させる方法。
【請求項１０】
監視カメラにより伝送される位置固定された監視シーンを表す画像データを表示するためのビデオシステム（１）のための符号化装置（５）であって、
該符号化装置（５）は、アクティブな動作モードとして複数の動作モードにおいて動作可能であり、
該符号化装置（５）は、アクティブな動作モードに従いビデオデータ（Ｖ）を符号化し、符号化伝送データ（Ｕ）を出力するように構成されている、
符号化装置（５）において、
該符号化装置（５）は、アクティブな動作モードとして動作モード「再生」のほか、動作モード「停止」、「静止画」、「早送り」又は「早戻し」において動作可能であり、
該符号化装置（５）は、該符号化装置（５）のアクティブな動作モードがクライアント（３）により決定されるように構成されており、
前記符号化装置（５）は、前記クライアント（３）が１つのセッションにおいて、前記符号化装置（５）から符号化伝送データ（Ｕ）を、さらに処理して表示するために要求可能であるように構成されており、
前記符号化装置（５）は、セッション中、前記クライアント（３）に排他的に割り当てられているように構成されていることを特徴とする、
符号化装置（５）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを表示するためのビデオシステムに関する。この場合、符号化装置を有するサーバと、ネットワークを介して前記サーバと接続可能なクライアントとが設けられており、前記符号化装置は、アクティブな動作モードとして複数の動作モードで動作可能であり、該符号化装置は、アクティブな動作モードに従ってビデオデータを符号化し、符号化伝送データを出力し、前記クライアントは１つのセッションにおいて、前記符号化装置から到来する符号化伝送データを要求し、さらに処理して表示する。さらに本発明は、画像データを表示させる方法、コンピュータプログラムならびに符号化装置にも関する。
【背景技術】
【０００２】
最近一般的になってきているのは、例えばビデオシーケンスといった画像データをサーバに記憶させ、サーバと接続されたクライアントがそれらの画像データを要求に応じてネットワーク経由でロードしてクライアントにおいて表示させることである。
【０００３】
画像データはフレキシブルに呼び出されるべきであるからには、種々の伝送レートのネットワーク接続であっても、画像データの呼び出しをデータ伝送レートに応じた良好な品質で常に行えなければならない。データ伝送レートは、例えばＩＳＤＮコネクションの１４４ｋｂｉｔ／ｓから１０００Ｍｂｉｔイーサネットネットワークの１０００Ｍｂｉｔ／ｓまでに及ぶ。殊に帯域幅の制限されたネットワーク接続において画像データをレイテンシや揺動なく伝送するために一般的に行われているのは、画像データを様々な方式で圧縮することであり、その際、種々の圧縮方式は、圧縮された画像データを伝送するために必要とされるビットレートの点でそれぞれ異なっている。クライアントがネットワーク接続を介して低いデータ伝送レートでサーバと接続されるならば、クライアントに対し低いビットレートで圧縮画像データが供給される。これに対し、ネットワーク接続のデータ伝送レートが高いならば、クライアントはそれ相応に高いビットレートで、つまりはいっそう高い画像品質で、圧縮画像データを受け取る。
【０００４】
画像データを伝送するためのこの種の方法は、例えばUS2011/0225315A1に開示されており、この文献は最も近い従来技術を成している。この文献には、サーバがクライアントに画像データストリームを供給するサーバクライアントシステムについて述べられている。画像データはサーバにおいて様々なバージョンで格納されており、それらのバージョンはビットレートつまりは品質の点でそれぞれ異なっている。画像データを伝送する際、サーバにおいて伝送バッファが監視され、その際、伝送バッファの充填レベルに応じて、画像データの目下のバージョンが維持されるか、あるいはいっそう高いビットレートまたはいっそう低いビットレートの画像データのバージョンが選択される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】US2011/0225315A1
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の課題は、冒頭で述べた形式の画像データを表示するためのビデオシステムならびに方法を改善することにある。
【課題を解決するための手段】
【０００７】
本発明によればこの課題は、符号化装置は、アクティブな動作モードとして動作モード「再生」のほか、動作モード「停止」及び／又は「静止画」及び／又は「早送り」及び／又は「早戻し」において動作可能であり、該符号化装置のアクティブな動作モードは、前記クライアントにより決定されることを特徴とする、画像データを表示するためのビデオシステムによって解決される。さらに上記の課題は、請求項１０記載の特徴を備えた方法、請求項１２記載の特徴を備えたコンピュータプログラム、ならびに請求項１２記載の特徴を備えた符号化装置によって解決される。従属請求項、以下の説明ならびに添付の図面には、本発明の有利な実施形態が示されている。
【０００８】
本発明によるビデオシステムは、画像データを表示するために適しており、及び／又は画像データを表示するように構成されている。画像データは例えば画像データストリームとして構成されており、特にビデオシーケンスとして構成されている。ここでビデオシーケンスとは例えば、時間的に等間隔で配置され、及び／又は１つの画像シーンの時間的な経過を表す相前後する複数の個別画像のことである。
【０００９】
このビデオシステムには、符号化装置を有するサーバが含まれており、符号化装置はアクティブな動作モードとして複数の動作モードにおいて動作可能である。この場合、サーバを例えば単一のコンピュータまたは仮想のサーバとすることができるし、あるいはサーバとして用いられる論理ユニットとしてもよい。
【００１０】
符号化装置は、アクティブな動作モードに依存してビデオデータを符号化し、符号化された伝送データを出力するように構成されている。ビデオデータは、符号化される前には殊に有利には生データとして存在しており、つまり画像データストリームが生じるように時間的に相前後して配列された複数の個別画像として存在している。符号化された伝送データは、圧縮されたビデオデータである。例えばビデオデータ圧縮のための例として、MPEG-2, MPEG-4標準が挙げられる。殊に、H.264標準に従って符号化が行われる。
【００１１】
さらにビデオシステムにはクライアントが含まれており、このクライアントを例えば別のコンピュータとして構成することもできるし、代案として、あるいは補足的に、ハンディ、スマートフォン、ＰＤＡ等として構成してもよい。クライアントは、ネットワーク例えばEthernetネットワークまたはインターネットを介して、無線または有線でサーバと接続可能であり、殊にそのようにしてサーバと接続されている。ネットワークを介して、クライアントとサーバは双方向でデータを交換することができる。クライアントは１つのセッション中に、殊に１つのセッションの間に、符号化伝送データを符号化装置に対し要求し、それらのデータをさらに処理し、ついで例えばディスプレイに表示させるように構成されている。クライアントにおける処理とは例えば、符号化伝送データをクライアントによって表示させることのできる画像データに変換することなどである。この場合、例えばセッションを、クライアントによるサーバの利用期間と定義することができる。
【００１２】
例えばビデオシステムによりストリーミングが実行され、その際、ビットデータは符号化伝送データとしてクライアントにより受信され、それと同時に描画される。伝送される画像データを、ライブストリームまたはストリームとも称する。有利には、符号化伝送データはMPEG-4_AVC-BP標準に対応しており、これはBaseline-Profilとも呼ばれる。
【００１３】
本発明によれば符号化装置は、アクティブな動作モードとして動作モード「再生」のほか、動作モード「停止」、「静止画」、「早送り」及び／又は「早戻し」においても動作可能であり、その際、符号化装置のアクティブな動作モードはクライアントにより決定される。上述の動作モードは、例えばクライアントのところでそのユーザによりアクティブな動作モードとして要求される。クライアントはアクティブな動作モードを符号化装置へ伝達し、符号化装置は要求に従い自身の動作モードを変更し、アクティブな動作モードに従い符号化を行って、符号化伝送データを生成し、それらのデータを出力する。殊にビデオシステムは、クライアントが符号化装置のアクティブな動作モードを設定又は選択できるように構成されている。クライアントは、符号化伝送データをさらに処理するために復号装置を有しており、この復号装置は殊に有利には、Baseline-Profilとも呼ばれるMPEG-4_AVC-BP標準に従って動作する。符号化伝送データは殊に、クライアントにより選択された動作モードとは無関係に、Baseline-Profilの枠内で復号可能なストリームとして処理することができる。
【００１４】
本発明の利点は、クライアントのユーザにより目下要求されているビデオデータだけを符号化し、ネットワークは符号化伝送データだけを伝達すればよいことである。したがってアクティブな動作モードが動作モード「停止」であるならば、以降の画像データの符号化ならびに伝送をただちに中止することができ、このことでサーバとネットワークの負荷を軽減することができる。アクティブな動作モードが動作モード「早送り」及び「早戻し」であるならば、時間的に割愛された画像データのバージョンが符号化装置により符号化される。この場合、時間的に割愛された画像データのバージョンは、時間的に割愛されなかった同じ画像データのバージョンよりも僅かな画像しか含んでおらず、したがってこの動作モードにおいてもサーバとネットワークの負荷が軽減される。本発明のさらに別の利点は、クライアントに対する要求が非常に少ないことである。つまり選択された動作モードとは無関係に、殊に動作モード「静止画」、「早送り」及び／又は「早戻し」において、クライアントに対しストリームが供給される。
【００１５】
本発明の１つの有利な実施形態によれば、符号化装置はセッションの間、クライアントに対し排他的に割り当てられている。このような排他的な割り当てによって、クライアントと符号化装置との間で１対１のコネクションが形成され、したがって符号化装置はもっぱらクライアントの要求だけに対応することができる。この実施形態の利点は、排他的に割り当てられること及び動作モードを決定できることによって符号化装置はクライアントのユーザに対し、符号化伝送データの生成及び伝送の制御について最大限のフレキシビリティと対話性を提供するものとなることである。したがってユーザは、符号化伝送データの伝送に対し任意の時点で意のままに介入し、符号化装置を他の動作モードにシフトさせることができる。例えばユーザはクライアントにコマンドを入力することによって、いつでも自由選択で画像データの任意の個所にジャンプすることができ、その個所から符号化装置の任意の動作モードをスタートさせることができる。
【００１６】
符号化装置をサーバのハードウェアコンポーネントとすることができるが、有利には符号化装置はコーダインスタンスとして、つまりソフトウェアコンポーネントとして構成されている。例えば複数のクライアントが存在している場合、各クライアントごとに固有のコーダインスタンスをサーバ上でスタートさせることができる。例えばコーダインスタンスの各々は、正確に１つのクライアントに排他的に割り当てられている。
【００１７】
本発明の１つの有利な実施形態によれば、符号化装置はビデオデータをリアルタイムで符号化するように構成されている。この場合、リアルタイムはクライアントの要求に応じて規定され、つまり動作モード「再生」であれば、ビデオデータが例えば２秒よりも短い遅れ時間で、殊に１秒よりも短い遅れ時間で符号化される。動作モード「早送り」または「早戻し」であるならば、符号化伝送データがクライアントの要求に応じて、２秒よりも短い遅延で、殊に１秒よりも短い遅延で符号化される。リアルタイム処理が有利である理由は、動作モード切替時に符号化装置がそれに対し高速に応答でき、ユーザは画像データの再生を遅延なく、あるいは僅かな遅延で制御できるからである。殊に、符号化伝送データは符号化装置によりon-the-flyで生成され、その際、目下の動作モードに合わせて処理することができる。
【００１８】
格別有利であるのは、ネットワーク殊にサーバとクライアントとの間のネットワークコネクションにおいて提供されているまたは利用可能なデータ伝送レートを特定または推定するための装置を、ビデオシステムが有することである。例えばこの装置は、ネットワークへ向かうサーバの出力バッファの充填状態に基づき、提供されているまたは利用可能なデータ伝送レートを推定することができる。例えばこの装置を、冒頭で引用したUS2011/0225315A1のように構成することができる。ビデオシステム及び殊にサーバ特に符号化装置は、用いられるネットワーク接続において提供されているまたは利用可能なデータ伝送レートに応じて、ビデオデータに対する圧縮を選択するように構成されている。このような圧縮を行うことで、ネットワーク接続において提供されているデータ伝送レートよりも低いデータ伝送レート（ビットレートとも称する）を有する符号化された伝送データが生じるようになり、これによりクライアントにおいてビデオデータをレイテンシや揺動なく表示することができる。これに対する代案として、符号化伝送データのデータ伝送レートをクライアントが決定することもできる。
【００１９】
符号化伝送データのデータ伝送レートに対する既述の自動的なまたは手動によるフレキシブルな整合もしくは変更は、符号化装置をクライアントに排他的に割り当てることにより、特に記憶装置を節約するかたちで実現することができる。なぜならば符号化装置は、符号化伝送データに対し要求されるデータ伝送レートが変更されると、符号化を切り替えるからである。特に符号化の切替は即時に、遅滞なく及び／又はリアルタイムに行われる。さもなければ、このようなやり方ではなく従来技術において知られているように、望ましいデータ伝送レートを有する符号化データ伝送データを要求に即して選択して用いるために、画像データを複数の品質段階で圧縮しなければならない。このような公知のやり方が欠点となってしまうのは、おそらく二度とは呼び出されないかもしれない画像データを符号化伝送データとして何度もコピーして圧縮し、種々の品質段階でストックしておかなければならないことである。
【００２０】
有利には、動作モード「早送り」及び／又は「早戻し」において、画像データ例えば出力データのうち選択された画像だけが、選択画像として符号化装置により符号化されて符号化伝送データとして出力される。殊にこの場合、画像データにおいて選択画像の間に、この動作モードでは伝送されない中間画像が存在する。ビデオシーケンスが例えば毎秒５０画像を有しているならば、動作モード「早送り」もしくは「早戻し」においては画像データのうち１つおき、２つおき、３つおきといった画像だけが符号化され、符号化伝送データとしてネットワークを介してクライアントに伝送される。この構成により得られる利点とは、「早送り」または「早戻し」の場合には画像データは完全には伝送されず、クライアントは完全な画像データに基づいて「早送り」もしくは「早戻し」をアクティブにするのではなく、これらの動作モードは既に符号化装置によりサーバ側で準備されることである。
【００２１】
本発明の１つの有利な実施形態によればビデオシステムは、動作モード「静止画」においてビデオデータの目下の画像が、事前に伝送された同じ目下の画像よりも高められた品質で符号化されてクライアントに伝送されるように構成されている。ユーザがクライアントにおいて動作モード「静止画」を選択したならば、そのことによってただちに前提とするのは、ユーザは目下の画像をいっそう詳しく観察したい、ということである。動作モード「静止画」において、目下の画像がサーバにおいてあとから符号化され、目下の画像に対しさらに別の伝送データがクライアントに伝送され、それによって目下の画像の画像品質がクライアントにおいて改善されるようになる。オプションとして補足的に、あとから符号化を行う際に目下の画像の解像度を変更し、いっそう高い解像度で目下の画像を符号化してクライアントに伝送することができる。動作モード「静止画」の場合、クライアントおける目下の画像の描画を改善するために、ネットワーク接続において利用可能なデータ伝送レートが用いられる。
【００２２】
本発明の１つの可能な具体的実施形態によれば、符号化装置は符号変換装置として構成されており、この場合、サーバは、符号化出力データが格納された記憶装置例えばデータベースを有している。この場合、サーバの記憶装置内における所要記憶スペースを僅かに抑える目的で、記憶させるために画像データがまずは符号化されて符号化出力データが生成される。この最初の符号化を、画像データの品質損失を最小限に抑えて、またはまったく品質を損なわずに行うのが有利である。例えばこの符号化は、MPEG-4及び／又はH.264標準に従って行われる。
【００２３】
符号変換装置はアクティブな動作モードに従い、データベースに格納された符号化出力データをデコーダモジュールにおいて復号してビデオデータを生成し、ついでエンコーダモジュールにおいて復号し、符号化伝送データとして出力する。殊に有利であるのは、エンコーダモジュールにおける符号化が前述の最初の符号化とは一致しないようにすることである。
【００２４】
本発明の１つの可能な具体的実施形態によれば符号化出力データは、複数のキーフレームと複数のインターフレーム例えばＰフレームまたはＢフレームを有するように構成されている。ビデオ符号化において一般的であるのは、符号化された画像データを画像グループいわゆるＧｏＰ（Group of Pictures）にグループ分けすることである。この場合、画像グループは、互いに依存し合いながら符号化された相前後する個別画像（フレーム）のグループから成り、ビデオシーケンスの画像ストリーム中に画像データとして配置されている。キーフレーム（イントラ画像とも呼ばれる）は１つの画像グループにおける基準画像であり、これは１つの静止画像に相応し、同じ画像グループ内における他の画像タイプには依存していない。つまりキーフレームは、煩雑な計算を行うことなく符号化出力データから読み出すことができる。
【００２５】
復号後、画像データはビデオデータとして存在し、このビデオデータは有利には生フレームないしはローフレームとして構成されており、つまり相前後して続く互いに無関係な画像として構成されている。
【００２６】
ビデオデータはエンコーダモジュールにより符号化され、符号化伝送データが形成される。ここで有利であるのは、符号化伝送データが再び画像グループ（ＧｏＰ）として編成されることである。例えばこの符号化は、MPEG-4及び／又はH.264に従って行われる。
【００２７】
さらに有利であるのは、動作モード「早送り」及び／又は「早戻し」の場合には、符号化出力データからキーフレームだけを選択画像として選択することである。他方、中間画像に対応するインターフレームは用いられない。画像ストリームから個別画像を選択することを、スクラッチングScratchingとも称する。このように構成することの利点は、デコーダモジュールの負担が著しく軽減されることである。なぜならばキーフレームは、画像ストリーム中の他のフレームには依存しておらず、したがってインターフレームよりも僅かな手間で復号することができるからである。
【００２８】
例えば、選択画像として選択されたキーフレームはデコーダモジュールにより生フレームに変換され、ついで生フレームはエンコーダモジュールにより符号化伝送データに変換されるように構成されている。さらに例えば、符号化出力データにおいてそれぞれ５つの画像を有する５つの画像グループから、キーフレームだけが読み出されて生フレームに変換され、その結果、５つの生フレームを利用できるようになる。その後、これら５つの生フレームはエンコーダモジュールにより、ただ１つのキーフレームとそれに続く４つのインターフレームを有する別の画像グループに変換される。このような信号処理により、符号変換装置の負荷と同時にネットワーク接続の負荷も最小限に抑えられる。
【００２９】
さらに格別有利であるのは、動作モード「静止画」において新たなインターフレームを符号化してクライアントに送信することであり、このようにすることで目下の画像のディテールの精度が改善される。殊に、クライアントにおいて静止画像が改めてシャープにされる。これに対する代案として、動作モード「静止画」において目下の画像が改善された解像度で、殊に利用可能な最大解像度で、あるいは生フレームの解像度で新たに符号化され、クライアントに伝送される。その際、殊に１つの画像グループ（ＧｏＰ）全体にわたって伝送を行うことができ、したがって解像度の改善されたキーフレームが最初に伝送され、ついでディテール精度を向上させるためにインターフレームが伝送される。
【００３０】
本発明の１つの有利な実施形態によれば、画像データは少なくとも１つの監視カメラによる位置固定された監視シーンに関するデータである。この実施形態によれば、ビデオ圧縮を行うのが格別有利である。殊に「早送り」及び／又は「早戻し」については、場合によっては異なる監視対象を含むが同じ監視シーンを選択画像が一貫して表すことから、きわめて効果的である。
【００３１】
本発明はさらに、サーバの画像データをクライアントにおいて表示させる方法に関する。この方法によれば、クライアントはサーバに対し１つのセッション中、アクティブな動作モードで画像データを要求し、さらに処理して表示し、サーバの符号化装置は、アクティブな動作モードに従いビデオデータを符号化し、符号化された伝送データとしてクライアントに送信し、符号化装置は、アクティブな動作モードとして動作モード「再生」のほか、動作モード「停止」及び／又は「静止画」及び／又は「早送り」及び／又は「早戻し」において動作可能であり、クライアントは、符号化装置のアクティブな動作モードを決定する。
【００３２】
さらに本発明は、請求項１２記載の特徴を備えたコンピュータプログラム、請求項１３記載の特徴を備えた符号化装置に関する。
【００３３】
以下に続く本発明の有利な実施例の説明ならびに添付の図面には、本発明のさらに別の特徴、利点ならびに効果が示されている。
【図面の簡単な説明】
【００３４】
【図１】本発明の第１の実施例であるビデオシステムを示すブロック図
【図２】本発明の第２の実施例であるビデオシステムを図１と同じように示すブロック図
【図３】図１及び図２によるビデオシステムの早送りモードについて説明した図
【図４】第１の実施形態として図１及び図２によるビデオシステムの標準モードについて説明した図
【図５】第２の実施形態として図１及び図２によるビデオシステムの標準モードについて説明した図
【発明を実施するための形態】
【００３５】
図１には、本発明の１つの実施例として画像データを表示するためのビデオシステムが略示されている。
【００３６】
ここで画像データとは例えば、相前後する複数の画像を有するビデオシーケンスのことであり、それらの画像は時間的に互いに等間隔に配置されており、それらのビデオシーケンスによって１つのフィルムを表示させることができる。ビデオシステムの１つの可能な用途として、画像データは監視カメラのビデオシーケンスとして構成され、この場合、画像データは位置固定された監視シーンを表す。この用途はビデオシステム１において殊に有利に実現することができる。その理由は、画像データが常に実質的に等しいシーン背景を有していることから、きわめて効率的な画像データ圧縮を実行できるからである。
【００３７】
ビデオシステム１は、出力データを供給するように構成されたサーバ２を有している。画像データのための出力データは、例えば少なくとも１つの監視カメラにより伝送される画像データによる監視を行う際に形成され、サーバと接続されたまたはサーバ内に組み込まれた記憶装置に格納される。
【００３８】
さらにビデオシステム１は、ネットワーク４を介してサーバ２と接続されたクライアント３を有している。ネットワーク４を無線ネットワークとしてもよいし、有線ネットワークとしてもよく、例えばイーサネットまたはインターネットとすることができる。クライアント３は、サーバ２に対しネットワーク４を介して画像データを要求し、その画像データを処理して表示するように構成されている。
【００３９】
画像データを要求するため、クライアント３はネットワーク４を介してコマンドＢをサーバ２へ伝送する。例えばコマンドＢによって、アクティブな動作モードの選択がサーバ２へ伝達される。この場合、動作モードを例えば、再生、停止、静止画、早送り、早戻しなどとすることができる。
【００４０】
動作モード「再生」の場合、画像データは通常速度でクライアント３に表示される。動作モード「停止」の場合、クライアント３に画像データは表示されない。動作モード「静止画」の場合、画像データにおけるアクティブな画像または目下の画像がクライアント３に持続的に表示される。動作モード「早送り」の場合、画像データが送り方向のクイックモーションで表示され、動作モード「早戻し」の場合、戻り方向のクイックモーションで表示される。
【００４１】
サーバ２は符号化装置５を有しており、この符号化装置５は、アクティブな動作モードに応じた出力データに基づきビデオデータを選択して符号化し、符号化伝送データとして出力する。ビデオデータの符号化は、例えばMPEG-4標準及び／又はH.264コーデックに従い、対応する規格に記されているようにして行われる。符号化装置５はソフトウェアまたはプログラムインスタンスとして構成されており、１つのセッションの期間中、クライアント３に排他的に割り当てられる。つまり符号化装置５はセッション中または利用期間中、割り当てられたクライアント３のためだけにビデオデータを符号化し、相応に符号化された伝送データをアクティブな動作モードに応じて出力する。
【００４２】
このように構成することの利点は、符号化装置５がもっぱらクライアント３のコマンドＢに対してのみ動作するようになり、サーバ２のリソースを確保することである。コマンドＢ及び殊にアクティブな動作モードの変更に対し適時に応答できるようにする目的で、ビデオデータの符号化がリアルタイムに、または"on-the-fly"に、あるいは要求に即して行われる。つまり例えば、動作モード「停止」が命令Ｂによってアクティブにされるとただちに、符号化装置５はビデオデータの符号化を終了する。
【００４３】
アクティブな動作モードが動作モード「早送り」または「早戻し」であるならば、符号化装置５は利用可能な出力データの画像のうち選択されたものだけを符号化し、符号化伝送データとしてネットワーク４を介して伝達することが可能である。なぜならば「早送り」の場合には、いわゆるスクラッチモード（Scratch-Modus）で１つの画像シーケンスのうち１つおき、２つおき、３つおきに画像を表示するだけでよく、したがってそれらの画像のみを伝送すればよいからである。同じことは、動作モード「早戻し」の場合にも当てはまり、この場合も、伝送される画像の個数を低減することができる。
【００４４】
現状を見ると、ネットワーク４におけるデータ伝送レートは制限されていることが多い。この状況については、ネットワーク４を介した伝送前に符号化装置５がビデオデータを符号化して圧縮することにより考慮される。ただし、通常のビデオ圧縮標準によれば様々な圧縮係数が許容されており、これによってクライアント３に表示される画像データの品質がそれぞれ異なることになる一方、符号化伝送データのデータ伝送レート（ビットレートとも称する）がそれぞれ異なるようになる。このため例えば、ネットワーク４において低い伝送データレートが提供されている場合には、圧縮に際して低いビットレートを選択することができる。
【００４５】
ビデオデータを符号化するためのビットレートは、一方ではクライアント３により設定することができ、この場合、クライアント３は例えば、選択のための種々のビットレートが呈示される選択フィールドを有している。クライアント３においてあるビットレートが選択されるとただちに、そのビットレートがコマンドＢとしてサーバ２へ伝送され、符号化装置５は選択されたビットレートにあとで整合するようにビデオデータを符号化する。択一的にまたは補足的に、符号化の際に画像周波数または画像サイズも、クライアント３により１つまたは複数のコマンドＢによって定めることができる。これに対する代案として、サーバ２及び／又は符号化装置５は、ビデオデータ符号化のためのパラメータに対するパラメータ調整部を有することができ、これを適応型または自己開ループ制御型あるいは自己閉ループ制御型とすることができる。さらに例えば、ネットワーク４へのサーバ２の出力バッファ殊にTCP/IPバッファが監視される。この場合、出力バッファの充填状態は、符号化伝送データの伝送完了に対する尺度である。バッファの充填レベルが上昇したならば、そのことから、利用可能なネットワーク４のデータ伝送レートに対し選択されたビットレートが高すぎると判定され、ビデオデータ符号化の際にビットレートが低減される。出力バッファの充填レベルが過度に低下したならば、利用可能なネットワーク４のデータ伝送レートに対しビットレートが低すぎると判定される。この場合には、ビデオデータ符号化の際にビットレートが高められる。
【００４６】
ビットレートの自動的な変更または手動による変更は、符号化装置５により遅延なく実行されるので、ビデオデータはパラメータとしてただ１つのビットレートによってのみ符号化され、例えばそれぞれ異なるビットレートによる複数のコピーにおいてパラレルには符号化されない。
【００４７】
動作モード「静止画」の場合、最初にアクティブな画像が目下の符号化によりクライアント３に表示される。ただし動作モード「静止画」がコマンドＢによって伝達されると、別のビデオデータの符号化及び符号化伝送データの出力がアクティブな動作モードである「静止画」に従い休止されるので、符号化装置５は空き状態となる一方、ネットワーク４のデータ伝送レートを十分に利用可能となる。動作モード「静止画」において、アクティブな画像の新たな符号化又は再符号化が行われる。この場合、アクティブな画像は改善された解像度で、あるいは僅かな符号化で、いずれにせよ改善された品質で、クライアント３に伝達される。この伝達を、アクティブな画像の新たな伝達としてもよいし、あるいは既にクライアント３に存在するアクティブな画像に対する画像情報の捕捉としてもよい。
【００４８】
図２には本発明の第２の実施例が示されている。同じコンポーネントにはここでも同じ参照符号が付されており、それらについては既述の説明を参照されたい。図２に示した実施例では、サーバ２における画像データの信号経路が詳しく説明されている。外部から到来した画像データは記憶装置６に格納される。この場合、画像データは符号化出力データＡとして保管される。例えば画像データは、MPEG-4またはH. 264コーデックに基づき圧縮される。
【００４９】
符号化出力データＡはついで符号化装置５へ伝送され、この実施例では符号化装置５は、トランスコーダとして構成されている。この実施例では符号化装置５には、デコーダモジュール７とエンコーダモジュール８が含まれている。デコーダモジュール７において、記憶装置６に格納されていた符号化出力データが復号され、復号された後は、互いに独立した順次連続する一連の個別画像の形態でビデオデータＶとして存在する。例えばビデオデータＶは、いわゆる生フレームないしはローフレームRaw-Frameとして形成されている。
【００５０】
エンコーダモジュール８においてビデオデータＶが符号化されて符号化伝送データＵが形成され、この場合、MPEG-4方式またはH.264標準が使用される。エンコーダモジュール８におけるコーディングは、アクティブな動作モードに応じて行われ、及び／又は、選択されたパラメータに応じて行われ、例えば選択されたデータ伝送レート／ビットレートまたは符号化伝送データの画像解像度または画像周波数（fps-frames per second）に依存して行われる。
【００５１】
図３には、アクティブな動作モードが「早送り」のときに符号化伝送データＵを生成する方法が描かれている。図３の下方には、符号化出力データＡがどのように記憶装置６に格納されているかについて略示されている。符号化出力データＡは画像グループＧｏＰに分類されており、この場合、各ＧｏＰにはそれぞれ、キー画像９（キーフレームKey-FrameまたはイントラフレームIntra-Frameとも称する）と複数のインターフレーム１０とが含まれている。
【００５２】
フレーム９，１０の各々は、１つのビデオシーケンス中の１つの画像に対応する。キーフレーム９は他のフレームとは独立しており、該当する画像に対するすべての画像情報を含んでいる。これに対しインターフレームは、先行フレームまたは後続フレームに関連づけられたものであり、したがって１つのインターフレーム１０単体は、基礎となる画像に必要とされるすべての画像情報を有していない。
【００５３】
動作モード「早送り」（スクラッチモードとも称する）の場合、符号化装置５により、殊にデコーダモジュール７により、出力データＡのうちキーフレーム９だけが選択され、インターフレーム１０は破棄される。したがって図示の実施例によれば、３つおきにフレームが復号されるだけである。この復号には僅かな手間しかかからない。それというのも、キーフレーム９にはすべての画像情報が既に存在しているからである。その結果、ビデオデータＶは、生フレームRaw-Frame１１の形態で存在し、これは元の画像データのうち選択された画像を成すものである。なぜならば、各選択画像１１の間にはそれぞれ３つの中間画像（この場合にはインターフレーム１０）が位置しているからである。
【００５４】
ビデオデータＶのためにキーフレーム９を１つおき、２つおきまたはｎ個おきに復号して、それらの間に位置するフレーム９，１０を破棄することも可能である。動作モード「早送り」の利点は、きわめて広い時間範囲を容易にスキャンできることである。
【００５５】
エンコーダモジュール８において、ビデオデータＶの生フレーム１１が符号化されて符号化伝送データＵが形成され、このデータＵは、キーフレーム９及びインターフレーム１０を含むＧｏＰとして再び形成されている。符号化のパラメータは、符号化出力データＡに対する画像データの符号化のパラメータには依存しない。次に、符号化伝送データＵは、ネットワーク４を介してクライアント３に伝送される。クライアント３は符号化伝送データを受信してそれを復号し、アクティブな動作モード「早送り」において画像データを表示する。
【００５６】
この動作モード「早送り」の利点とは、キーフレーム９のみが選択画像として用いられるため、復号にごく僅かな計算時間しかかからないことである。これとは別に、クライアント３への伝送のために、実際においても表示すべきフレームだけが符号化される。その結果、ネットワーク４を介したデータ伝送及び符号化装置５によるデータ準備処理が効果的に低減されるようになる。動作モード「早戻し」も同じようにして実施することができる。
【００５７】
図４には、図３と同様の描き方で、動作モード「静止画」が第１の実施例として示されている。この動作モードにおいて前提とするのは、クライアント３においてユーザが、時点ｔ０で現在の画像またはアクティブな画像が表示されているときに、動作モード「静止画」をアクティブにすることである。動作モードはコマンドＢとしてサーバ２及び殊に符号化装置５へ伝送される。サーバ２もしくは符号化装置５は、新たなビデオデータＶを符号化するのではなく、クライアント３において表示される目下の画像の画像品質殊にディテール精度を向上させるために、時点ｔ０における目下の画像（この事例ではインターフレーム１０として伝送される画像）を、対応する生フレーム１１に基づき後から符号化し始める。この目的でデコーダモジュール８により、目下の画像における生フレーム１１から別のインターフレーム１０が符号化される。このフレーム１０は、生フレーム１１の別のディテール情報を含んでおり、伝送データＵとしてクライアント３に伝送される。クライアント３は、目下の画像に対する付加的なインターフレーム１０を受信し、その画像を漸次、改善された品質で表示することができる。
【００５８】
図５には変形実施例が示されている。この実施例によれば、動作モード「静止画」がアクティブにされた後、目下の画像に対応する生フレーム１１が新たに符号化され、キーフレーム９及び他のインターフレーム１０を有するＧｏＰとしてクライアント３へ伝送される。この変形実施例の利点は、動作モード「静止画」において画像解像度つまり画像あたりのピクセル数も変更できることである。したがって例えば、ネットワーク４を介したネットワークコネクションの帯域幅が制限されているときに、動作モード「静止画」による目下の画像を改めて改善された解像度で要求することができる。
【図１】
0006541932.tif 000002
【図２】
0006541932.tif 000003
【図３】
0006541932.tif 000004
【図４】
0006541932.tif 000005
【図５】
0006541932.tif 000006