(57)【要約】【課題】一度以上視聴された符号化動画像を再符号化することにより、次回再生時に行われる各種操作を容易且つ高品質に行うことが可能な動画像再生システムを提供する。【解決手段】符号化動画像の再生時に指示された視聴者からの再生操作や早送り操作や巻き戻し操作等の再生制御操作を操作履歴１０８として保存する蓄積媒体１０７と、蓄積媒体１０７により保存された前記再生制御操作に適した形式に前記符号化動画像を再符号化する符号部１０４とを有する。【選択図】      図１
2004214708.tif 000002
【特許請求の範囲】
【請求項１】
符号化された動画像（符号化動画像）を再生出力する動画像再生システムにおいて、
前記符号化動画像の再生時に指示された視聴者からの再生操作や早送り操作や巻き戻し操作等の再生制御操作を操作履歴として保存する操作履歴保存手段と、
前記操作履歴保存手段により保存された前記再生制御操作に適した形式に前記符号化動画像を再符号化する符号化手段とを有することを特徴とする動画像再生システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、符号化動画像を再生する動画像再生システムに関する。
【０００２】
【従来の技術】
近年、ビデオ信号・オーディオ信号を含む動画像データをデジタル信号に変換し、蓄積・再生可能なＤＶＤ（Digital Versatile Disk）やＨＤＤ（Hard Disk Drive）等の蓄積媒体に記録する記録再生装置が開発され、普及しつつある。
【０００３】
デジタル化された動画像データは、様々なデジタル画像処理が容易で、ノイズに強い等の特長があるが、その情報量は非常に膨大であるため、前記蓄積媒体に記録する際には、通常圧縮符号化処理が行われる。
【０００４】
デジタル動画像データを圧縮符号化する方法としては、ＭＰＥＧ２（Moving Picture Experts Group phase 2）等をはじめとする数々の符号化方法が知られている。
【０００５】
ＭＰＥＧ２は、ＤＣＴ（Discrete Cosine Transform）や逆量子化による画素値圧縮、動き補償による差分値のみを符号化するフレーム間予測符号化、ハフマン符号を利用したエントロピー符号化等が用いられて動画像の圧縮符号化がなされており、ＤＶＤ−ＶｉｄｅｏやＢＳデジタル放送等の動画像符号化フォーマットとして利用されている。
【０００６】
以下、ＭＰＥＧ２の構成を簡単に説明する。
【０００７】
ＭＰＥＧ２は、三種類のピクチャにより構成されている。即ち、フレーム内で符号化が完結されているフレームがＩピクチャ（Intra picture）、フレーム間予測符号化が施されたフレームの内、時間的に前方のフレームのみを利用して符号化するフレームがＰピクチャ（Predictive picture）、時間的に前方及び後方の双方向フレームを利用して符号化するフレームがＢピクチャ（Bi-directionally predictive picture）である。
【０００８】
ＭＰＥＧ２の映像は、上記三種類のピクチャが、Ｉピクチャを先頭に必ず１枚含むＧＯＰ（Group Of Pictures）を構成し、そのＧＯＰが連なることでストリームとなっている。ＭＰＥＧ２の復号はＧＯＰ単位で行われ、Ｉピクチャが復号されないと、そのＧＯＰ内の他のＰピクチャ及びＢピクチャは復号することができない。
【０００９】
これは、Ｐピクチャ及びＢピクチャの復号時には、参照フレームとして既に復号済みのフレームが必要となるからであり、ＧＯＰの先頭に位置するＩピクチャを先に復号する必要があるからである。
【００１０】
以上説明したＭＰＥＧ２に代表される符号化方法によって圧縮符号化されたデジタル符号化動画像を、ＤＶＤやＨＤＤ等のディスク状蓄積媒体に記録することで、これらの蓄積媒体の特長を生かした動画像のランダムアクセスが可能となる。
【００１１】
従来、動画像の蓄積媒体として主流であったＶＴＲ（Video Tape Recorder）はシーケンシャルアクセス性を持つ蓄積媒体であるため、前記ＶＴＲ上で現在読み出している動画像位置から空間的に（動画像上では時間的に）離れた箇所への瞬時のアクセスは不可能である。つまり、ＶＴＲにおいては、ある動画像の一場面から他の場面へのスキップ操作を瞬時に行うことはできなかった。
【００１２】
しかし、ランダムアクセス特性を持つディスク状蓄積媒体であれば、蓄積媒体上の任意の箇所を瞬時にアクセス可能であるため、従来のＶＴＲでは実現できないスキップ操作等を行うことが可能である。
【００１３】
ＤＶＤやＨＤＤ等のディスク状蓄積媒体にデジタル符号化動画像を蓄積し、ランダムアクセス特性等を利用した様々な再生を行うデジタル動画像再生装置は、ＶＴＲに代わり今後主流となるものと思われる。
【００１４】
【発明が解決しようとする課題】
しかしながら、デジタル符号化動画像を任意速度の倍速再生、逆再生等の特殊再生を行って視聴する場合、幾つかの問題点が生じる。
【００１５】
例えば、ＭＰＥＧ２符号化動画像の早送り再生を容易に実現する方法として、ストリームを構成するフレームを間引くということが考えられる。
【００１６】
しかし、Ｉピクチャ及びＰピクチャは参照されるフレームであるため、符号化されている状態のままで間引くことは不可能である。復号以前に自由に間引くことの可能なＢピクチャのみで早送り再生を行う場合は、ＧＯＰの構成によって実現可能な早送り速度倍率が決まってしまうため、簡単な方法では、任意の速度の早送り再生を行うことができないことになる。
【００１７】
また、ディスク状蓄積媒体のランダムアクセス特性を利用してスキップ操作を行う場合においても、そのスキップ操作を行い移動する目的地を特定するためには、視聴者が早送り若しくは巻き戻し等のストリーム制御操作を行いながら決定することが必要となる。
【００１８】
従って、瞬時にスキップするということは事実上不可能であり、ランダムアクセス特性を十分に生かした視聴を行っているとは言い難い。
【００１９】
本発明は、上記従来技術の有する問題点を解決するためになされたものであり、その目的は、次回の符号化動画像の再生時（視聴時）に行われる各種の操作を容易且つ高品質に行うことが可能な動画像再生システムを提供することである。
【００２０】
【課題を解決するための手段】
上記目的を解決するために本発明の動画像再生システムは、符号化された動画像（符号化動画像）を再生出力する動画像再生システムにおいて、前記符号化動画像の再生時に指示された視聴者からの再生操作や早送り操作や巻き戻し操作等の再生制御操作を操作履歴として保存する操作履歴保存手段と、前記操作履歴保存手段により保存された前記再生制御操作に適した形式に前記符号化動画像を再符号化する符号化手段とを有することを特徴とする。
【００２１】
【発明の実施の形態】
以下、本発明の各実施の形態について、図面に基づきに説明する。
【００２２】
本発明の要旨は、符号化動画像の視聴時に視聴者が行った符号化動画像の再生制御操作を操作履歴に記録するもので、この操作履歴は、符号化動画像のストリーム上において、どこの箇所でどのような内容の制御操作が行われたかについての記録がなされているものであり、その操作履歴に従って、それらの再生制御操作を容易且つ高品質に行うことが可能となるよう符号化動画像に再符号化処理を施すことである、。このことにより、次回の符号化動画像の視聴時に、視聴者からの再生制御操作の操作性向上及び各種再生方法の高品質化が可能となる。
【００２３】
（第１の実施の形態）
まず、本発明の第１の実施の形態を、図１〜図５に基づき説明する。
【００２４】
図１は、本実施の形態に係わる動画像再生システムの全体構成を示すブロック図である。同図における各モジュール間における矢印は、データの流れを示しており、太い矢印が動画像データを、細い矢印が制御信号等を、それぞれ示す。
【００２５】
図１において、１００は動画像再生システム（デジタル符号化動画再生システム）、１０１はインタフェース、１０２は操作検出部、１０３は符号化制御部、１０４は符号部、１０５は復号部、１０６は表示部、１０７は蓄積媒体、１０８は操作履歴、１０９は符号化動画像である。
【００２６】
動画像再生システム１００は、蓄積媒体１０７に蓄積されている符号化動画像１０９を、復号部１０５において復号処理後、表示部１０６にて表示出力を行うことにより、再生動画像を得るものである。表示部１０６は、映像の表示及び音声の再生を行うものである。動画像再生システム１００を一つの装置と捉えた場合、表示部１０６が装置内に組み込まれているものはデジタルＴＶ（テレビジョン）であると考えられ、表示部１０６が装置内のモジュールであるものは、ＳＴＢ（Set Top Box）であると考えられる。蓄積媒体１０７に蓄積されている符号化動画像１０９は、動画像符号化方式によって圧縮符号化されたデータであり、映像信号と音声信号とで構成されている。本実施の形態においては、この符号化動画像１０９は、ＭＰＥＧ２符号化方式によってなされたものとする。つまり、復号部１０５は、ＭＰＥＧ２デコーダであり、復号部１０５を介することによって、圧縮符号化前の動画像データを得ることが可能となる。
【００２７】
また、動画像再生システム１００は、インタフェース１０１から各種再生制御操作に関する情報を得る。この再生制御操作は、早送り操作・巻き戻し操作・低速再生操作等、通常の動画像の視聴時（再生時）に行われるものであり、主に、視聴者から指示されるものである。これら動画像の視聴時に行われる再生制御操作が操作検出部（再生制御操作検出手段）１０２により検出され、該検出された再生制御操作情報が復号部１０５へ送信される。復号部１０５は、操作検出部１０２から送られた再生制御操作情報に応じた復号を符号化動画像１０９に対して施すことにより、視聴者の任意の再生制御操作を動画像再生システム１００が実現できることになる。
【００２８】
以上が動画像再生システム１００において、符号化動画像１０９の再生を行うための基本構成であるが、動画像再生システム１００は、更に操作履歴１０８を蓄積媒体１０７上に記録する機能をも持つ。操作履歴１０８は、操作検出部１０２によって検出された再生時に行われた各種再生制御操作を、符号化動画像１０９と対応付けて記録するものである。
【００２９】
以下、操作履歴１０８について、図２を用いて説明する。
【００３０】
図２は、操作履歴１０８を示す図であり、同図において、２０１は符号化動画像ストリームで、図１における符号化動画像１０９の動画像ストリームであり、時系列に左から右へと表現したものである。この符号化動画像ストリーム２０１を図１に示す動画像再生システム１００において再生することを考える。
【００３１】
まず、符号化動画像ストリーム２０１が再生されている時に、Ａ点において早送り操作が指示されたとする。この早送り操作は、図１のインタフェース１０１から入力され、操作検出部１０２により検出された後、復号部１０５へ送信される。それと同時に蓄積媒体１０７上の操作履歴１０８に記録されるが、ここで記録される内容は“Ａ点において早送り再生が開始された”という情報である。つまり、“再生操作が行われた箇所”と“再生制御操作の内容”とが記録されるわけである。これは、視聴者から視聴操作が指示される度に操作履歴１０８として記録されていくことになり、以下、記録されていく順序は、“Ｂ点で早送り再生終了”、“Ｃ点で低速再生開始”、“Ｄ点で低速再生終了”となる。
【００３２】
このように、符号化動画像ストリーム２０１の再生時における各種再生制御操作を記録したものが操作履歴１０８であり、この操作履歴１０８は、視聴した符号化動画像ストリーム２０１の視聴手順を如実に表すものであると言うことができる。操作履歴１０８の蓄積媒体１０７上における保存形式は、符号化動画像ストリーム２０１とは別に、一対一に対応したファイルとして保存されていることになる。更に、図１の動画像再生システム１００は、操作履歴１０８を利用した符号化動画像１０９の再符号化機能を備えている。
【００３３】
以下、符号化動画像１０９の再符号化について説明する。
【００３４】
動画像再生システム１００内の符号化制御部１０３は、蓄積媒体１０７より操作履歴１０８を得る。得た操作履歴１０８を元に、それに対応した符号化動画像１０９の再符号化形式を決定し、その情報を符号部１０４へ送信する。これと同時に、蓄積媒体１０７上の符号化動画像１０９を符号部１０４へ送信し、決定された再符号化形式に従って再符号化処理が施される。符号部１０４によって再符号化された動画像データは、新しい符号化動画像１０９として蓄積媒体１０７に上書き保存される。
【００３５】
符号化動画像１０９に再符号化を施す理由は、一度以上視聴した符号化動画像１０９の次回再生操作を容易且つ高品質に行うためである。符号化動画像１０９は、その符号化形式により再生制御操作の得手不得手がある。そこで、一度行われた再生制御操作は、次回視聴時においても行われる可能性が高いという考えの元で、既に行われた再生制御操作を行い易くするために再符号化を行うということである。
【００３６】
ここで符号部１０４による再符号化の例を、図３を用いて説明する。
【００３７】
図３は、再符号化について３つの例を示した図であり、図３（ａ）は、ピクチャの種類を変更する再符号化形式である。図３（ａ）のＧＯＰ３０１、即ち、ＩピクチャまたはＰピクチャの間に２枚のＢピクチャが存在する一般的なＧＯＰ３０１について考える。Ｂピクチャ数の割合が多い場合は、ビットレートの低減となるため、放送等の伝送系においては非常に有効となる。
【００３８】
しかし、Ｂピクチャ数の割合が増加すると画質については劣化してしまうことになるため、ビットレートと画質とのトレードオフにより、このようなＧＯＰが一般的となっている。
【００３９】
このＧＯＰ３０１で構成されるストリームを２倍速の早送りで再生することについて考える。倍速再生は、フレームを間引きすることで実現可能であるため、２倍速の早送り再生をする場合は、１枚おきにフレームを間引けば早送り再生が実現できることになる。
【００４０】
しかし、復号以前に間引くことが可能なピクチャは参照フレームとなり得ないＢピクチャのみであるため、ＧＯＰ３０１を１枚おきに等間隔で間引くことは不可能である。
【００４１】
従って、フレームを間引くことで早送り再生を行う場合、２倍速に限らず等間隔にフレームを間引くことができない場合は、連続箇所と不連続箇所とがストリーム上に現れてしまうため、視聴に違和感を生じることになる。全てのフレームを復号した後に間引くことを行えば、これを解決することは可能であるが、この場合には、図１に示される復号部１０５の高性能化が必須となってしまう。
【００４２】
そこで、図３（ａ）ＧＯＰ３０２，３０３に再符号化することを考える。ＧＯＰ３０２は、全てＩピクチャとした構成であり、また、ＧＯＰ３０３は、必要最小限のＩピクチャ及びＰピクチャ以外は、全てＢピクチャとした構成である。ＧＯＰ３０２のように再符号化をした場合、Ｉピクチャは参照しないで、それのみで復号可能なフレームであるため、復号以前に自由に間引くことが可能となり、簡単に任意速度の倍速再生を実現することが可能となる。また、ＧＯＰ３０３の場合も、Ｂピクチャは、上記説明の通り参照されないフレームであるため、復号以前に自由に間引くことが可能であり、ＧＯＰ３０２と同様の結果を得ることになる。早送り再生等の倍速再生が行われた場合、ＧＯＰ３０２またはＧＯＰ３０３のように再符号化することで、次回視聴時に容易な早送り再生を実現することが可能である。また、等間隔にフレームを間引くことが可能であるため、違和感のない高品質な倍速再生を実現できることにもなる。
【００４３】
また、逆再生が視聴時に行われた場合は、ＧＯＰ３０２に再符号化処理を施すことで容易に行うことが可能となるため、非常に有効であると言える。
【００４４】
図３（ｂ）は、ＧＯＰを構成するピクチャ数を変化させるための再符号化を示す。ＭＰＥＧ２のストリームは、ＧＯＰを復号の最小単位として扱っている。このストリームを復号する場合は、始めにＧＯＰ内のＩピクチャを復号することから行われるため、サーチ操作はＧＯＰ単位で行われることになる。
【００４５】
従って、図３（ｂ）のＧＯＰ３０５を構成するピクチャ数を減少させて再符号化することで、サーチする単位を細かくすることができ、より詳細なサーチ操作を行うことが可能となる。
【００４６】
また、図３には示していないが、スキップ操作が行われた箇所のＧＯＰを構成するピクチャ数を増加させて再符号化することで、スキップ操作を迅速に行うことが可能となる。
【００４７】
図３（ｃ）は、動画像ストリームのシーン分割を行う再符号化例を示す。同図のストリーム３０６は、サーチポイントを先頭として幾つかのシーンに分割されている場合がある。ＤＶＤ−Ｖｉｄｅｏ等においては、サーチポイントにサムネイル表示を設けることで等、シーン（ｓｃｅｎｅ）間を迅速にスキップすることが可能となっている。そこで、繰り返し視聴された箇所のストリームを、３０７に示すように、ｓｃｅｎｅ１−１，ｓｃｅｎｅ１−２，ｓｃｅｎｅ１−３というように、より細かくシーン分割する。サーチポイントを新しく追加し、前記ＤＶＤ−Ｖｉｄｅｏと同様にサムネイルで表示することを行えば、より迅速且つ詳細に意図したシーンへとスキップすることが可能となり、視聴の高効率化・高品質化を実現できることになる。
【００４８】
以上、図３に示す例のような再符号化により、図１に示される符号化動画像１０９の再生が容易且つ高品質となる。再符号化形式は図１の操作履歴１０８によって決定されるものであるが、再符号化することの決定はユーザーである視聴者が行う。また、再符号化は、ユーザーが符号化動画像１０９を視聴している時間外で行われるものとする。符号化処理は、復号処理より演算量が一般的に多いため、図１の復号部１０５や他の装置が動作している状態で符号部１０４を動作させるためには、システムの高性能化は避けられない。再符号化処理は、視聴時に行う必要はなく、また、リアルタイムで行う必要もない。従って、再符号化処理を視聴時間外で行うことで、符号部１０４は、簡単な構成で且つ安価な装置により実現することが可能となる。
【００４９】
以上で述べた図１の動画像再生システム１００を利用した動画像再生方法について、図４及び図５を用いて説明する。
【００５０】
図４及び図５は、本実施の形態に係る動画再生システムの動作の流れを示すフローチャートである。
【００５１】
まず、符号化動画像１０９の再生時の動作について、図４を用いて説明する。
【００５２】
ステップＳ４０１で図１の符号化動画像１０９の再生開始が指示されると、この符号化動画像１０９は、復号部１０５により復号処理が施され、表示部１０６において表示される。次に、ステップＳ４０２で再生制御操作が検出されたか否かを、検出されるまで判断する。そして、符号化動画像１０９を再生中に操作検出部１０２により再生制御操作が検出された場合は、次のステップＳ４０３へ進んで、再生制御操作についての情報を操作履歴１０８に保存して良い（ＯＫ）か否かを判断する。そして、保存して良いと判断された場合は、ステップＳ４０４へ進んで、そのときに行われた再生制御の操作情報を操作履歴１０８に保存した後、次のステップＳ４０５へ進む。また、前記ステップＳ４０３において、再生制御操作についての情報を操作履歴１０８に保存しないと判断された場合は、前記ステップＳ４０４をスキップして、ステップＳ４０５へ進む。
【００５３】
ここで前記ステップＳ４０３における、操作履歴１０８に保存するか否かの判断は、予めユーザーにより指定されているものとする。例えば、符号化動画像１０９を初めて視聴する場合は、必ず操作履歴１０８に保存する等である。
【００５４】
ステップＳ４０５では、再生中の符号化動画像１０９の視聴が終了したか否かを判断する。そして、再生中の符号化動画像１０９の視聴が終了しないと判断された場合は、前記ステップＳ４０２へ戻り、また、再生中の符号化動画像１０９の視聴が終了したと判断された場合は、次のステップＳ４０６ヘ進む。ステップＳ４０６では、符号化動画像１０９に再符号化処理を施す（ＯＫ）か否かを判断する。この判断も、前記ステップＳ４０３における操作履歴１０８の保存判断と同様に、ユーザーによって予め指定されているものである。また、この判断は、操作履歴１０８が存在していない場合においては当然、再符号化するという選択は行われないことになる。
【００５５】
前記ステップＳ４０６において、再符号化処理を施すと判断された場合は、次のステップＳ４０７へ進んで、再符号化することを示す再符号化フラグ（ｆｌａｇ）に１をたてた後、次のステップＳ４０８へ進む。前記再符号化ｆｌａｇは、符号化動画像１０９及び操作履歴１０８毎に設定されることになる。また、前記ステップＳ４０６において、再符号化処理を施さないと判断された場合は、前記ステップＳ４０７をスキップしてステップＳ４０８へ進む。
【００５６】
ステップＳ４０８では、図１の動画像再生システム１００を継続して視聴に使用するか否かを判断する。そして、この動画像再生システム１００を継続して視聴に使用すると判断された場合は、前記ステップＳ４０１へ戻って、新たに別の符号化動画像１０９の再生開始が指示されることになる。前記ステップＳ４０８の判断は、動画像再生システム１００の電源オフによって行われる、または、図１のインタフェース１０１より明示的に指示されることで行われる等が考えられる。
【００５７】
一方、前記ステップＳ４０８において、図１の動画像再生システム１００を継続して視聴に使用しないと判断された場合は、次のステップＳ４０９へ進んで、再符号化ｆｌａｇが１であるか否かを判断する。そして、再符号化ｆｌａｇが１であると判断された場合は、次のステップＳ４１０へ進んで、再符号化が行われた後、本処理動作を終了する。前記ステップＳ４１０における再符号化処理は、図１の符号部１０５により行われ、蓄積媒体１０７に符号化動画像１１２として上書き保存される。また、前記ステップＳ４０９において、再符号化ｆｌａｇが１でないと判断された場合は、前記ステップＳ４０９をスキップして、本処理動作を終了する。
【００５８】
以上が図１の動画像再生システム１００による再生時の動作手順であるが、符号化動画像１０９の再符号化のタイミングは、動画像再生システム１００を視聴することに利用している時間以外であれば任意の時間で良く、視聴直後である必要はない。
【００５９】
次に、本実施の形態に係る動画像再生システム１００における再符号化処理が単体で行われる動作について、図５を用いて説明する。
【００６０】
ユーザーが動画像再生システム１００を利用していない時に、ステップＳ５０１で符号化動画像１０９に対応した操作履歴１０８が有るか否かを判断する。そして、符号化動画像１０９に対応した操作履歴１０８が有ると判断された場合は、次のステップＳ５０２へ進んで、再符号化することを許されているか否かをフラグ（ｆｌａｇ）により判断する。ここで再符号化ｆｌａｇが１であると判断された場合、即ち、再符号化をすることが許されていると判断された場合は、次のステップＳ５０３へ進んで、符号化動画像１０９に再符号化処理が施された後、本処理動作を終了する。この再符号化処理は、次回の視聴時までに完了していることが望ましい。
【００６１】
また、前記ステップＳ５０１において、符号化動画像１０９に対応した操作履歴１０８が無いと判断された場合及び前記ステップＳ５０２において、再符号化ｆｌａｇが１でないと判断された場合、即ち、再符号化をすることが許されていないと判断された場合は、いずれも何も処理せずに本処理動作を終了する。
【００６２】
以上詳述したように、本実施の形態によれば、一度視聴（再生）したことのある符号化動画像１０９を再度復号して視聴する場合、符号部１０４によって再符号化された符号化動画像１０９の利用によって、再生制御操作を容易且つ高品質に行うことが可能なる。
【００６３】
（第２の実施の形態）
次に、本発明の第２の実施の形態を図６及び図７に基づき説明する。
【００６４】
本実施の形態において上述した第１の実施の形態と異なる点は、図１の動画像再生システム１００において、符号化動画像１０９を再生する箇所と、符号化動画像１０９に再符号化を施す箇所とが別の装置として構成されていることである。
【００６５】
図６は、本実施の形態に係る動画像再生システムを構成する再生端末と動画像供給部の構成を示すブロック図であり、同図において、上述した第１の実施の形態における図１と同一部分には、同一符号が付してある。
【００６６】
図６において、６００は再生端末、６０１は動画供給部である。
【００６７】
再生端末６００は、インタフェース１０１、操作検出部１０２、復号部１０５、表示部１０６、蓄積媒体１０７ａから成る。再生端末６００は、外部からの符号化動画像を復号部１０５により復号して表示部１０６に表示する機能及び視聴時の再生制御に関する情報を操作検出部１０２により検出して操作履歴１０８として蓄積媒体１０７ａに保存する機能及びその保存した操作履歴１０８を外部へ送信する機能を有している。
【００６８】
動画像供給部６０１は、符号化制御部１０３、符号部１０４、蓄積媒体１０７ｂから成る。
【００６９】
動画像供給部６０１は、外部からの操作履歴１０８に従って動画像を符号部１０４により再符号化し、新たな符号化動画像１０９を得る機能及びその符号化動画像１０９を蓄積媒体１０７ｂに保存し且つ外部へ送出する機能を有している。
【００７０】
上述した第１の実施の形態では、再生端末６００と動画像供給部６０１とが対となって動作する例を示したが、これらは一対一に対応している必要はなく、図７は、動画像供給部６０１と再生端末６００とを一対多の構成にして成る本実施の形態に係る動画像再生システムの構成を示す図である。
【００７１】
図７において、７００は本実施の形態に係る動画像再生システムで、複数台（本実施の形態においては４台）の再生端末６００−１，６００−２，６００−３，６００−４と、１台の動画像供給部６０１とから成る。
【００７２】
次に、本実施の形態に係る動画像再生システム７００における視聴操作の手順について説明する。
【００７３】
再生端末６００−１〜６００−４は、動画像供給部６０１から送信される動画像ストリーム７０１を受信し、復号再生を行う装置である。動画像ストリーム７０１の送信方法は、放送波による方法でも良いし、ケーブル等による伝送でも良い。また、再生端末６００−１〜６００−４からのリクエストにより供給されるＶＯＤ（Video On Demand）の形式をとっている可能性もある。
【００７４】
ここで１台の再生端末６００−１に注目し、この再生端末６００−１によって動画像ストリーム７０１が再生されることを考える。このとき、再生端末６００−１では、動画像ストリーム７０１の再生によって、それに対応した操作履歴１０８が保存される。その後、再生端末６００−１は、この操作履歴１０８を外部操作履歴情報７０２として動画像供給部６０１へ送信する。動画像供給部６０１は、外部操作履歴情報７０２を元に動画像ストリーム７０１を、上述した第１の実施の形態において説明したように符号部１０４により再符号化し、再符号化ストリーム７０３を新たなストリームとして送信することになる。
【００７５】
次に、動画像供給部６０１による再符号化について説明する。
【００７６】
動画像供給部６０１は、外部操作履歴情報７０２に従って動画像ストリーム７０１を再符号化するが、この外部操作履歴情報７０２は、ある一つの再生端末６００によるものであるとは限らない。
【００７７】
図７に示すように、動画像ストリーム７０１が再生端末６００−１，６００−２，６００−４で視聴された場合、それぞれの再生端末６００−１，６００−２，６００−４で作成された操作履歴１０８が外部操作履歴情報７０２として動画像供給部６０１へ送信されることになる。
【００７８】
動画像供給部６０１では、複数台の再生端末６００−１〜６００−４から送信された外部操作履歴情報７０２を集計し、集計結果を反映して動画像ストリーム７０１の再符号化処理を行うことになる。例えば、多くの再生端末で早送り再生がなされた箇所については、それに適した再符号化する、というように動画像供給部６０１で再符号化がなされるわけである。このことにより、まだ動画像ストリーム７０１を視聴していなかった再生端末６００−３は、初回の視聴から再符号化ストリーム７０３を視聴することが可能となる。
【００７９】
再生端末６００−３において、他の再生端末６００−１，６００−２，６００−４で行われた同様の再生制御操作が行われるとは限らないが、その操作が行われた時には非常に有効となる。当然、再符号化ストリーム７０３は、動画像ストリーム７０１を既に視聴済みの再生端末において視聴することも可能である。
【００８０】
本実施の形態によれば、動画像ストリーム７０１の視聴再生を行っていない再生端末６００−３においても再符号化ストリーム７０３を利用することが可能となるため、初めて視聴する場合であっても、再生制御操作を容易且つ高品質に行うことが可能となる。
【００８１】
（他の実施の形態）
上述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても、本発明が達成されることは言うまでもない。
【００８２】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した各実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８３】
また、プログラムコードを供給するための記憶媒体としては、例えば、ＲＡＭ、ＮＶ−ＲＡＭ、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等）、磁気テープ、不揮発性のメモリカード、他のＲＯＭ等の上記プログラムコードを記憶できるものであれば良く、或いはネットワークを介したダウンロード等を用いることができる。
【００８４】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００８５】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００８６】
以上では、本発明の様々な例と実施の形態を説明したが、当業者であれば、本発明の趣旨と範囲は本明細書内の特定の説明と図に限定されるものではなく、本願特許請求の範囲に全て述べられた様々な修正と変更に及ぶことが可能であることは言うまでもない。
【００８７】
本発明の実施態様の例を以下に列挙する。
【００８８】
［実施態様１］  符号化された動画像（符号化動画像）を再生出力する動画像再生システムにおいて、
前記符号化動画像の再生時に指示された視聴者からの再生操作や早送り操作や巻き戻し操作等の再生制御操作を操作履歴として保存する操作履歴保存手段と、
前記操作履歴保存手段により保存された前記再生制御操作に適した形式に前記符号化動画像を再符号化する符号化手段とを有することを特徴とする動画像再生システム。
【００８９】
［実施態様２］  符号化された動画像（符号化動画像）に復号処理を施して再生出力する動画像再生システムにおいて、
前記符号化動画像の再生時に指示された視聴者からの再生操作や早送り操作や巻き戻し操作等の再生制御操作を検出する再生制御操作検出手段と、
前記再生制御操作検出手段により検出された前記再生制御操作を再生した前記符号化動画像と対応付けて操作履歴として保存する操作履歴保存手段と、
前記操作履歴保存手段により保存された前記操作履歴を利用して前記符号化動画像を再符号化する符号化手段とを有することを特徴とする動画像再生システム。
【００９０】
［実施態様３］  前記再生制御操作とは、視聴者よりリモコン等のインタフェースを介して入力される前記符号化動画像の再生制御を行うための操作であることを特徴とする実施態様１または２に記載の動画像再生システム。
【００９１】
［実施態様４］  前記操作履歴とは、前記符号化動画像のストリーム内において、前記再生制御操作が行われた箇所及び操作内容を記録するものであり、
前記操作履歴保存手段による操作履歴の保存は、前記符号化動画像のストリームとは別に、蓄積媒体上に行われることを特徴とする実施態様１または２に記載の動画像再生システム。
【００９２】
［実施態様５］  前記蓄積媒体は、前記動画像再生システム内に設けられていることを特徴とする実施態様４に記載の動画像再生システム。
【００９３】
［実施態様６］  前記操作履歴を利用するとは、前記符号化動画像を再符号化する箇所及び再符号化形式の決定を行うために前記操作履歴を参照することであり、
前記符号化手段による符号化動画像の再符号化とは、前記操作履歴によって決定された再符号化箇所及び再符号化形式に従って再符号化することであることを特徴とする実施態様２に記載の動画像再生システム。
【００９４】
［実施態様７］  前記符号化手段による符号化動画像の再符号化は、前記符号化動画像の視聴利用時間外に行うことが可能であることを特徴とする実施態様１または２に記載の動画像再生システム。
【００９５】
［実施態様８］  符号化された動画像（符号化動画像）を再生出力する動画像再生方法において、
前記符号化動画像の再生時に指示された視聴者からの再生操作や早送り操作や巻き戻し操作等の再生制御操作を操作履歴として保存する操作履歴保存工程と、前記操作履歴保存工程により保存された前記再生制御操作に適した形式に前記符号化動画像を再符号化する符号化工程とを有することを特徴とする動画像再生方法。
【００９６】
［実施態様９］  符号化された動画像（符号化動画像）に復号処理を施して再生出力する動画像再生方法において、
前記符号化動画像の再生時に指示された視聴者からの再生操作や早送り操作や巻き戻し操作等の再生制御操作を検出する再生制御操作検出工程と、
前記再生制御操作検出工程により検出された前記再生制御操作を再生した前記符号化動画像と対応付けて操作履歴として保存する操作履歴保存工程と、
前記操作履歴保存工程により保存された前記操作履歴を利用して前記符号化動画像を再符号化する符号化工程とを有することを特徴とする動画像再生方法。
【００９７】
［実施態様１０］  前記再生制御操作とは、視聴者よりリモコン等のインタフェースを介して入力される前記符号化動画像の再生制御を行うための操作であることを特徴とする実施態様８または９に記載の動画像再生方法。
【００９８】
［実施態様１１］  前記操作履歴とは、前記符号化動画像のストリーム内において、前記再生制御操作が行われた箇所及び操作内容を記録するものであり、
前記操作履歴保存工程による操作履歴の保存は、前記符号化動画像のストリームとは別に、蓄積媒体上に行われることを特徴とする実施態様８または９に記載の動画像再生方法。
【００９９】
［実施態様１２］  前記蓄積媒体は、前記動画再生方法を実施するための動画再生システム内に設けられていることを特徴とする実施態様１１に記載の動画再生方法。
【０１００】
［実施態様１３］  前記操作履歴を利用するとは、前記符号化動画像を再符号化する箇所及び再符号化形式の決定を行うために前記操作履歴を参照することであり、
前記符号化工程による符号化動画像の再符号化とは、前記操作履歴によって決定された再符号化箇所及び再符号化形式に従って再符号化することであることを特徴とする実施態様８または９に記載の動画像再生方法。
【０１０１】
［実施態様１４］  前記符号化工程による符号化動画像の再符号化は、前記符号化動画像の視聴利用時間外に行うことが可能であることを特徴とする実施態様８または９に記載の動画像再生方法。
【０１０２】
［実施態様１５］  符号化された動画像（符号化動画像）を再生出力する動画像再生システムを制御するためのコンピュータ読み取り可能な制御プログラムであって、
前記符号化動画像の再生時に指示された視聴者からの再生操作や早送り操作や巻き戻し操作等の再生制御操作を操作履歴として保存する操作履歴保存工程と、前記操作履歴保存工程により保存された前記再生制御操作に適した形式に前記符号化動画像を再符号化する符号化工程とをコンピュータに実行させるためのプログラムコードから成ることを特徴とする動画像再生システムの制御プログラム。
【０１０３】
［実施態様１６］  符号化された動画像（符号化動画像）を再生出力する動画像再生システムを制御するためのコンピュータ読み取り可能な制御プログラムであって、
前記符号化動画像の再生時に指示された視聴者からの再生操作や早送り操作や巻き戻し操作等の再生制御操作を検出する再生制御操作検出工程と、前記再生制御操作検出工程により検出された前記再生制御操作を再生した前記符号化動画像と対応付けて操作履歴として保存する操作履歴保存工程と、前記操作履歴保存工程により保存された前記操作履歴を利用して前記符号化動画像を再符号化する符号化工程とをコンピュータに実行させるためのプログラムコードから成ることを特徴とする動画像再生システムの制御プログラム。
【０１０４】
【発明の効果】
以上説明したように本発明によれば、一度以上視聴された符号化動画像を再符号化することにより、次回再生時に行われる各種操作を容易且つ高品質に行うことが可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る動画像再生システムの構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る動画像再生システムにおける操作履歴を説明するための図である。
【図３】本発明の第１の実施の形態に係る動画像再生システムにおける再符号化の例を説明するための図である。
【図４】本発明の第１の実施の形態に係る動画像再生システムにおける再生時の動作の流れを示すフローチャートである。
【図５】本発明の第１の実施の形態に係る動画像再生システムにおける符号時の動作の流れを示すフローチャートである。
【図６】本発明の第２の実施の形態に係る動画像再生システムを構成する再生端末と動画像供給部の構成を示すブロック図である。
【図７】本発明の第２の実施の形態に係る動画像再生システムの構成を示すブロック図である。
【符号の説明】
１００      動画造作製システム（デジタル符号化動画像再生システム）
１０１      インタフェース
１０２      操作検出部
１０３      符号化制御部
１０４      符号部
１０５      復号部
１０６      表示部
１０７      蓄積媒体
１０７ａ    蓄積媒体
１０７ｂ    蓄積媒体
１０８      操作履歴
１０９      符号化動画像
２０１      符号化動画像ストリーム
６００      再生端末
６００−１  再生端末
６００−２  再生端末
６００−３  再生端末
６００−４  再生端末
６０１      動画像供給部
７０１      動画像ストリーム
７０２      外部操作履歴情報
７０３      再符号化ストリーム
【図１】
2004214708.tif 000003
【図２】
2004214708.tif 000004
【図３】
2004214708.tif 000005
【図４】
2004214708.tif 000006
【図５】
2004214708.tif 000007
【図６】
2004214708.tif 000008
【図７】
2004214708.tif 000009