(57)【要約】【課題】記録媒体に予め記録されていないアングルの画像データをユーザに提供することができるマルチシーン記録媒体の再生装置及び方法を提供する。【解決手段】マルチシーンを記録した記録媒体から前記マルチシーンのデータを読み出して再生する方法において、前記マルチシーンを記録した前記記録媒体から読み出した映像データを出力するステップと、読み出された前記映像データからアングル毎に応じたマルチシーンデータをデコードするステップと、外部からアングル変更指示があった場合、デコードされた前記アングル毎のマルチシーンデータのうち、前記アングル変更方向に近い少なくとも２つのマルチシーンデータを選択するステップと、選択された前記マルチシーンデータに基づいてデータ補間するステップとを具備することを特徴とする。【選択図】      図４
2005051395.tif 000002
【特許請求の範囲】
【請求項１】
マルチシーンを記録した記録媒体から前記マルチシーンのデータを読み出して再生する装置において、
前記マルチシーンを記録した前記記録媒体から読み出した映像データを出力する読出手段と、
この読出手段によって読み出された前記映像データからアングル毎に応じたマルチシーンデータをデコードするデコード手段と、
外部からアングル変更指示があった場合、前記デコード手段によってデコードされた前記アングル毎のマルチシーンデータのうち、前記アングル変更方向に近い少なくとも２つのマルチシーンデータを選択する選択手段と、
この選択手段によって選択された前記マルチシーンデータに基づいてデータ補間する補間手段とを具備することを特徴とするマルチシーン記録媒体の再生装置。
【請求項２】
前記デコード手段は、前記映像データから前記アングル毎にデコードするため複数のデコーダを有していることを特徴とする請求項１記載のマルチシーン記録媒体の再生装置。
【請求項３】
前記記録媒体の所定の領域に記録されたＳｔｒｅａｍＩＤに基づいて、前記アングル毎にマルチシーンデータを前記デコーダに振り分ける制御手段を有することを特徴とする請求項１記載のマルチシーン記録媒体の再生装置。
【請求項４】
前記選択手段は、外部からのアングル変更指示がない場合、特定の前記デコーダからのマルチシーンデータを選択することを特徴とする請求項１記載のマルチシーン記録媒体の再生装置。
【請求項５】
マルチシーンを記録した記録媒体から前記マルチシーンのデータを読み出して再生する方法において、
前記マルチシーンを記録した前記記録媒体から読み出した映像データを出力するステップと、
読み出された前記映像データからアングル毎に応じたマルチシーンデータをデコードするステップと、
外部からアングル変更指示があった場合、デコードされた前記アングル毎のマルチシーンデータのうち、前記アングル変更方向に近い少なくとも２つのマルチシーンデータを選択するステップと、
選択された前記マルチシーンデータに基づいてデータ補間するステップとを具備することを特徴とするマルチシーン記録媒体の再生方法。
【請求項６】
前記デコードするステップは、前記映像データから前記アングル毎にデコードするため複数のデコーダを有していることを特徴とする請求項１記載のマルチシーン記録媒体の再生方法。
【請求項７】
前記記録媒体の所定の領域に記録されたＳｔｒｅａｍＩＤに基づいて、前記アングル毎にマルチシーンデータを前記デコーダに振り分けるステップを有することを特徴とする請求項１記載のマルチシーン記録媒体の再生方法。
【請求項８】
前記選択するステップは、外部からのアングル変更指示がない場合、特定の前記デコーダからのマルチシーンデータを選択することを特徴とする請求項１記載のマルチシーン記録媒体の再生方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、映画などのマルチアングル映像やマルチストーリーといった同時進行するイベントの複数の映像等のデータをＭＰＥＧにより圧縮して記録した光ディスクや光磁気ディスクや半導体等の記録媒体から、これらのデータを再生するマルチシーン記録媒体の再生装置及び方法に関する。
【０００２】
【従来の技術】
ＮＴＳＣやＰＡＬ等のＭＰ＠ＭＬの映像信号を、直径１２ｃｍの光ディスクに約２時間分記録出来るシステムとして、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）が知られている。ＤＶＤでは、ＮＴＳＣ等の映像データを、ＭＰＥＧで圧縮してディスクに記録している。その他にも音声や字幕情報なども各種の圧縮方式によって圧縮された後、システムレベルでＭＰＥＧのストリームにして記録している。これらのディスクには、通常、１つの映像とそれに対応した音声や字幕が記録されている。
【０００３】
また、場面によっては、被写体を異なる位置から撮影した複数の映像が記録されていて、ユーザーの好みによりその中から１つの映像を選択して見ることが出来るような箇所を含むこともある。このような箇所をマルチアングルと呼んでいる。マルチアングルでは、多くの場合、同じシーンを異なった角度から撮影しているので、映像に対応する音声は共通で、所要時間も同じになっている。
【０００４】
一方、ストーリー自体が複数に分かれており、映像に加え、音声や所要時間も異なってくるものもある。これは、マルチストーリーと呼ばれており、ユーザーが選択した映像により、話の展開や結末が異なってくるというものである。
【０００５】
本明細書中では、これらマルチアングルやマルチストーリーを総称してマルチシーンと記す。
従来のマルチシーン記録媒体の再生装置では、ディスクドライブの再生速度の制約や再生回路の処理能力の制約から、ＤＶＤプレーヤーやパソコンでは２つ以上の場面のデータを十分再生できなかったこともあり、マルチシーン部分では１つの映像を選択して見ていた。
【０００６】
そこで、ＤＶＤディスクやＤＶＤ−ＲＡＭやメモリーなどの各種媒体から連続して読み取った、マルチアングルやマルチストーリーのシーンを同時に再生するため、再生回路をｎ個用意してｎ個のシーンを再生可能とするマルチシーン記録媒体の再生装置などが考えられてきている。（例えば、特許文献１参照）。
【０００７】
【特許文献１】
特開平１０−０９３９０８号公報
【０００８】
【発明が解決しようとする課題】
従来は、２つ以上のマルチシーンを再生しようとした場合、複数の再生回路（デコーダ）を用意することで再生可能としているが、これら複数の再生回路によって得る多数の視点（アングル）のデータから、記録媒体に記録されていない視点の動画再生については何ら記載されていなかった。
【０００９】
そこで、本発明は上記の問題を解決するために成されたものであり、複数のデコーダによって得る多数の視点のデータから画像補間を行って、記録媒体に記録されていない視点の動画再生を可能とするマルチシーン記録媒体の再生装置及び方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
この発明は、上記の目的を達成するために、マルチシーンを記録した記録媒体から前記マルチシーンのデータを読み出して再生する装置において、前記マルチシーンを記録した前記記録媒体から読み出した映像データを出力する読出手段と、この読出手段によって読み出された前記映像データからアングル毎に応じたマルチシーンデータをデコードするデコード手段と、外部からアングル変更指示があった場合、前記デコード手段によってデコードされた前記アングル毎のマルチシーンデータのうち、前記アングル変更方向に近い少なくとも２つのマルチシーンデータを選択する選択手段と、この選択手段によって選択された前記マルチシーンデータに基づいてデータ補間する補間手段とを備えるようにしたものである。
【００１１】
また、この発明は、上記の目的を達成するために、マルチシーンを記録した記録媒体から前記マルチシーンのデータを読み出して再生する方法において、前記マルチシーンを記録した前記記録媒体から読み出した映像データを出力するステップと、読み出された前記映像データからアングル毎に応じたマルチシーンデータをデコードするステップと、外部からアングル変更指示があった場合、デコードされた前記アングル毎のマルチシーンデータのうち、前記アングル変更方向に近い少なくとも２つのマルチシーンデータを選択するステップと、選択された前記マルチシーンデータに基づいてデータ補間するステップとを具備することを特徴とする。
【００１２】
上記のような構成によれば、記録媒体に予め記録されていないアングルの画像データをユーザに提供することができる。
【００１３】
【発明の実施の形態】
図面を参照しながら本発明の実施の形態について詳細に説明する。
まず、ＭＰＥＧストリームの構造を図１に示す。図１に示すように、１本のストリ−ムは、映像・音声・その他のパックの集合体になっている。また映像自体も沢山のパックから構成されている。１パックの大きさは２０４８バイトになっている。例えば、Ｖｉｄｅｏパックでは、その先頭が１４ｂｙｔｅからなるＰａｃｋ  Ｈｅａｄｅｒが存在し、それに続いてＰａｃｋｅｔ  Ｈｅａｄｅｒ、Ｖｉｄｅｏ  Ｄａｔａとなっている。
【００１４】
Ｐａｃｋ  Ｈｅａｄｅｒの先頭は、４ｂｙｔｅのＰａｃｋ  Ｓｔａｒｔ  Ｃｏｄｅ、すなわち０００００１ＢＡｈで始まる。この値は映像をはじめ、音声やその他のパックでも同じ値であり、この値によりパックの先頭位置が把握出来る。このＰａｃｋ  Ｓｔａｒｔ  Ｃｏｄｅに続いて、６ｂｙｔｅのＳＣＲ、３ｂｙｔｅのＭｕｘ  Ｒａｔｅ、１ｂｙｔｅのＳｔｕｆｆｉｎｇ−Ｌｅｎｇｔｈから構成される。
【００１５】
Ｐａｃｋｅｔ  Ｈｅａｄｅｒの先頭は、３ｂｙｔｅのＰａｃｋ  Ｓｔａｒｔ  Ｃｏｄｅ  Ｐｒｅｆｉｘ、すなわち０００００１ｈがあり、その後に１ｂｙｔｅのＳｔｒｅａｍＩＤが続く。このＳｔｒｅａｍＩＤは、ＭＰＥＧの規格で決められているフラグで、Ｖｉｄｅｏデータの場合Ｅ０〜ＥＦまで計１６個の値を設定することが可能となっており、どのアングル（シーン）のものなのか表すものである。このフラグは媒体製造メーカによって予めＥ０、Ｅ１、Ｅ２、・・・と設定することも可能であるし、又ＳｔｒｅａｍＩＤを付け替えることも可能である。このＳｔｒｅａｍＩＤの付け替えについては後述する。このＳｔｒｅａｍＩＤに続いて、２ｂｙｔｅのＰａｃｋｅｔ  Ｌｅｎｇｔｈ、３ｂｙｔｅのその他１（各種のフラグ、例えばパックの著作権状態が記述）、オプション領域などから構成される。オプション領域は、図１の点線で囲った領域で、先程の各種フラグで指定した項目が存在する。通常、ＰＴＳ，ＤＴＳに続き、前述のフラグで指定した各種データが続き、Ｕｓｅｒ  ＤＡＴＡ領域となる。この領域にユーザーが決めたフラグ類を置くことが出来る。例えば、このような領域にサブストリームＩＤの様な識別フラグを入れてストリームを送り出せば良い。
【００１６】
次に、図２は本発明の一実施形態に係る再生装置の一例を示すブロック図である。
図２に示す再生装置１００は、メインＭＰＵ１０、フラッシュＲＯＭ１１、ワークメモリ１２、ＣＰＲＭ６４、ＡＴＡＰＩコントローラ６０、ＭＰＥＧデコーダ３１、ＳＤＲＡＭ３２、３６、６２、オーディオＤＡＣ３３、グラフィック回路３５、ビデオデコーダ３４、セレクタ１３、グラフィックエンジン１５を備えている。
【００１７】
再生装置１００の全体の動作は、メインＭＰＵ１０により制御される。メインＭＰＵ１０は、データバスを介してフラッシュＲＯＭ１１とワークメモリ１２とセレクタ１３とに接続されている。またディスプレイＭＰＵ５０とも接続されており、このディスプレイＭＰＵ５０はディスプレイ５１と接続されている。ディスプレイＭＰＵ５０は、ディスプレイ５１の動作を制御する。
【００１８】
ディスクドライブ７２は、光ディスクＤに記録されているＭＰＥＧストリームデータを読み出す。ディスクドライブ７２から読み出されたＭＰＥＧストリームデータは、ＣＰＲＭ６４を介してＡＴＡＰＩコントローラ６０に入力される。
【００１９】
ＡＴＡＰＩコントローラ６０はＳＤＲＡＭ６２と接続されている。ＡＴＡＰＩコントローラ６０に入力されたＭＰＥＧストリームデータは、ＭＰＥＧデコーダ３１に入力される。
【００２０】
ＭＰＥＧデコーダ３１にはＳＤＲＡＭ３２が接続されている。ＭＰＥＧデコーダ３１は、ＭＰＥＧストリームデータをデコードし、オーディオＤＡコンバータ３３及びグラフィック回路３５に出力する。
【００２１】
オーディオＤＡコンバータ３３は、ＭＰＥＧストリームデータに含まれるオーディオ信号を出力する。
グラフィック回路３５には、ＳＤＲＡＭ３６が接続されている。グラフィック回路３５から出力されるグラフィック信号は、ビデオデコーダ３４に入力される。
ビデオデコーダ３４は、複数のデコーダから構成され、ＭＰＥＧストリームデータに含まれる視点（アングル）毎にデコードできるようになっている。
セレクタ１３は、ビデオデコーダ３４で各アングル毎（視点１、視点２、視点３、・・・）にデコードされたマルチシーンデータ（視点データ）のうち２つの視点データを選択する。通常は、複数のデコーダのうちの１つによってデコードされたマルチシーンデータ（例えば、視点１データ）をデフォルトとしてグラフィックエンジン１５に出力する。すなわち、視点１をデコードするデコーダから出力される視点１データをグラフィックエンジン１５に出力し、ディスプレイ５１によって視点１データを表示させる。なお、ユーザがリモコンを操作して表示された視点１データから視点を変えることを希望した場合、視点１データとともに、この変えた方向に近い別の視点データ、例えば視点２データとを選択するようになっている。
【００２２】
グラフィックエンジン１５は、セレクタ１３によって選択された視点データ（通常の場合は視点１データのみ出力）の補間を行い、補間データを出力する。メインＭＰＵ１０はこの出力された補間データをディスプレイＭＰＵ５０に送り、ディスプレイＭＰＵ５０によってディスプレイ５１に表示させる。
【００２３】
図３は、オブジェクトに対して４つの視点で撮影されている状態を概念的に示した図である。図４は４つの視点で撮影された映像データから記録されていない視点の映像データを出力するブロック構成図である。図５は記録媒体に記録されていない視点の映像データを出力するための動作を示すフローチャートである。以下図３乃至図５を用いて説明する。
【００２４】
上述したように、記録媒体には場面によってはオブジェクト（被写体）を異なる位置から撮影した複数の映像を記録することができ、ユーザの好みによりその中から１つの映像を選択して見ることができるような個所を含ませることができる。したがって、図３に示すように、オブジェクトに対して視点１、視点２、視点３、視点４の４箇所の視点角度で撮影した映像データは記録媒体に記録される。
【００２５】
この記録媒体に記録された映像データを読み出すと（ステップ１）、映像データはＣＰＲＭ６４、ＡＴＡＰＩコントローラ６０、ＭＰＥＧデコーダ３１、グラフィック回路３５を介してビデオデコーダ３４に入力される（ステップ３）。
【００２６】
ビデオデコーダ３４に入力された映像データは図４に示すように視点（アングル）毎にそれぞれ同時にデコードされる（ステップ５）。すなわち、視点１の映像データ（視点１データ）はデコーダ１、視点２の映像データ（視点２データ）はデコーダ２、視点３の映像データ（視点３データ）はデコーダ３、視点４の映像データ（視点４データ）はデコーダ４においてデコードされる。
【００２７】
なお、記録媒体に記録された異なる視点（アングル）から撮影された複数の映像データには、ＳｔｒｅａｍＩＤ（図１参照）があり１６個の値を設定することが可能である。そのため、媒体製造メーカが製造する際にこのＳｔｒｅａｍＩＤをアングル（視点）毎にＩＤを付けて区別することができる。したがって、グラフィック回路３５は、媒体製造メーカによって記録媒体に付されたＩＤをみて、視点毎（ここでは視点１、視点２、視点３、視点４）の映像データをそれぞれデコーダ１〜デコーダ４に振り分けることができる。
【００２８】
デコーダ１〜デコーダ４でデコードされた視点毎のマルチシーンデータはセレクタ１３に入力される。セレクタ１３はユーザからのアングル変更指示があるのか否か判断し、変更指示がなければ（ステップ７のＮ）、デコーダ１によってデコードされた視点１のマルチシーンデータを選択する（ステップ９）。そして、選択された視点１のマルチシーンデータをグラフィックエンジン１５に出力する。グラフィックエンジン１５は、視点１のマルチシーンデータをメインＭＰＵ１０の制御のもとディスプレイ５１に表示させる（ステップ１１）。
【００２９】
なお、ここではセレクタ１３はデフォルトとして視点１のマルチシーンデータを選択しているが、この限りではなく、視点２のマルチシーンデータをデフォルトとしてもよい。
【００３０】
また、ユーザからのアングル変更指示があれば（ステップ７のＹ）、セレクタ１３は視点１から視点４のマルチシーンデータのうち２つのマルチシーンデータを選択する。すなわち、図３に示すように、現在ディスプレイ５１に表示されているオブジェクトが視点１からの映像だったとし、ユーザはリモコン操作で例えば図３のＡ方向に移動操作させたとする。メインＭＰＵ１０はこの移動方向を逐一認識し（ステップ１３）、Ａ方向に最も近い別の視点の映像データがあるのかチェックする（ステップ１５）。
【００３１】
メインＭＰＵ１０はＡ方向に最も近い別の視点の映像データがないと判断した場合（ステップ１５のＮ）、セレクタ１３に通知しセレクタ１３は視点１のマルチシーンデータを選択する（ステップ９）。Ａ方向に最も近い別の視点の映像データがあると判断した場合（ステップ１５のＹ）、ここでは視点２のマルチシーンデータがあることを判断し、メインＭＰＵ１０はセレクタ１３に対し視点１と視点２のマルチシーンデータを選択するよう指示する（ステップ１７）。
【００３２】
反対に、ユーザはリモコン操作で図３のＢ方向に移動操作させた場合は、メインＭＰＵ１０は視点４の映像データが近いことを判断し、セレクタ１３に対し視点１と視点４のマルチシーンデータを選択するよう指示する。
【００３３】
セレクタ１３は、Ａ方向の場合、選択した視点１と視点２のマルチシーンデータを、Ｂ方向の場合、選択した視点１と視点４のマルチシーンデータをグラフィックエンジン１５に出力する。
【００３４】
グラフィックエンジン１５はセレクタ１３より出力されてきた視点１と視点２のマルチシーンデータ、若しくは視点１と視点４のマルチシーンデータを補間し、記録媒体に記録されていない視点の映像データを出力する（ステップ１９）。すなわち、視点１と視点２のマルチシーンデータを補間した場合、図６に示すように視点５のマルチシーンデータを出力し、また視点１と視点４のマルチシーンデータを補間した場合、視点８のマルチシーンデータを出力する。同様に、視点２と視点３のマルチシーンデータを補間した場合は視点６のマルチシーンデータを出力し、視点３と視点４のマルチシーンデータを補間した場合は視点７のマルチシーンデータを出力する。
【００３５】
このように、複数の視点の映像データを同時にデコードすることによってリアルタイムなマルチアングル再生を実現し、さらに複数のデータを補間することによって記録媒体に記録されていない視点の映像データを表示することが可能となる。
【００３６】
なお、本発明は、上記実施形態に限定されるものではなく、実施段階では、その要旨を逸脱しない範囲で種々に変形することが可能である。
【００３７】
【発明の効果】
以上のように、複数の視点における映像データを複数のデコーダによってデコーダを行い、このデコードされたマルチシーンデータの選択を行って映像データを補間することで、記録媒体に記録されていない視点の映像データをユーザに提供することができる。
【図面の簡単な説明】
【図１】ＭＰＥＧストリームのデータ構造を示す図である。
【図２】本発明の一実施形態に係る再生装置の一例を示すブロック図である。
【図３】オブジェクトに対して４つの視点で撮影されている状態を概念的に示した図である。
【図４】４つの視点で撮影された映像データから記録されていない視点の映像データを出力するブロック構成図である。
【図５】記録媒体に記録されていない視点の映像データを出力するための動作を示すフローチャートである。
【図６】グラフィックエンジンから出力された新たな映像データの視点位置を示した図である。
【符号の説明】
１０    メインＭＰＵ
１１    フラッシュＲＯＭ
１２    ワークメモリ
１３    セレクタ
１５    グラフィックエンジン
３１    ＭＰＥＧデコーダ
３３    オーディオＤＡＣ
３４    ビデオデコーダ
３５    グラフィック回路
５０    ディスプレイＭＰＵ
５１    ディスプレイ
６０    ＡＴＡＰＩコントローラ
７２    光ディスクドライブ
１００    再生装置
【図１】
2005051395.tif 000003
【図２】
2005051395.tif 000004
【図３】
2005051395.tif 000005
【図４】
2005051395.tif 000006
【図５】
2005051395.tif 000007
【図６】
2005051395.tif 000008