(57)【要約】【課題】  パケットロスなどの受信エラーによりデータの欠落したストリームを格納したＭＰ４ファイルを再生する際には、データが欠落した区間において、動画の表示がフリーズする、あるいは、音声が無音になるなどの課題があった。【解決手段】  ステップ１１０４において、サンプルの再生時間長が所定の値を超える場合にはデータが不連続であると判定し、動画像と音声が共に不連続である区間の再生をスキップすることにより、データが欠落した区間の再生をスキップできる。【選択図】  図１０
2006238003.tif 000002
【特許請求の範囲】
【請求項１】
動画像、音声などの符号化データが１以上のパケットに多重化されたデータから、前記各符号化データを分離して、復号、再生する逆多重化装置であって、
前記多重化されたパケットからヘッダとペイロードを分離する分離手段と、
少なくとも前記各符号化データ内のフレームの復号時刻あるいは表示時刻を示す情報を含む前記ヘッダを解析して、前記各符号化データにおけるフレーム毎の属性情報が所定の条件を満たすかどうか判定する判定手段と、
前記所定の条件を満たす場合には、前記ヘッダにより示されるフレームの復号時刻、表示時刻、あるいは再生時間長を修正する修正手段と、
を備え、
前記多重化された前記動画像、あるいは前記音声の符号化データは、フレームデータが欠落した領域を含むことを特徴とする逆多重化装置。
【請求項２】
前記属性情報は、前記ヘッダから取得したフレームの再生時間長ＤＵＲ１であり、
前記判定手段は、前記フレームの再生時間長ＤＵＲ１が所定の値を超える場合には、前記フレームと、再生時刻順が前記フレームの直後であるフレームとの間に不連続区間が存在すると判定し、
前記不連続区間が存在すると判定された際には、前記修正手段は、前記フレームの再生時間長を、前記再生時間長ＤＵＲ１よりも短い時間長ＤＵＲ２に再設定し、
前記不連続区間とは、前記連続する２フレーム間において、フレームデータが欠落していることを示すものであることを特徴とする請求項１に記載の逆多重化装置。
【請求項３】
前記属性情報は、各符号化データ内の復号順で連続する２フレーム間に前記不連続区間が存在するかどうかを示すものであり、
前記判定手段は、前記属性情報に基づいて前記不連続区間が存在するかどうか判定し、
前記不連続区間が存在すると判定された際には、前記修正手段は、前記連続する２フレームのうち、復号順で前のフレームの再生時間長を、前記再生時間長ＤＵＲ１よりも短い時間長ＤＵＲ２に再設定することを特徴とする請求項１に記載の逆多重化装置。
【請求項４】
前記多重化データは、動画像と音声の符号化データを共に含み、
前記判定手段は、前記動画像と前記音声のフレームのそれぞれについて不連続区間を取得して、前記動画像の不連続区間と、前記音声の不連続区間とが再生時刻において重なるかどうか判定し、
前記修正手段は、前記不連続区間の重なりがある場合には、前記動画像と前記音声の双方について、フレームの再生時間長を、前記再生時間長ＤＵＲ１よりも短い時間長ＤＵＲ２に再設定することを特徴とする請求項２、あるいは請求項３に記載の逆多重化装置。
【請求項５】
請求項１に記載の逆多重化装置であって、
前記所定の条件を満たす場合には、復号順が前記フレームの直後であるフレームが、ランダムアクセス可能なフレームとなるように、前記動画像において復号するフレームを決定する決定手段、
をさらに備えることを特徴とする逆多重化装置。
【請求項６】
請求項１に記載の逆多重化装置であって、
前記多重化データは、動画像と音声の符号化データを共に含み、
前記決定手段は、前記所定の条件を満たす場合に、前記音声において次に復号するランダムアクセス可能なフレームは、再生時刻が、前記動画像において次に復号するランダムアクセス可能なフレームの再生時刻と同一、直後のフレームであることを特徴とする逆多重化装置。
【請求項７】
動画像、音声などの符号化データが１以上のパケットに多重化されたデータから、前記各符号化データを分離して、復号、再生する逆多重化方法であって、
前記多重化されたパケットからヘッダとペイロードを分離する分離ステップと、
少なくとも前記各符号化データ内のフレームの復号時刻あるいは表示時刻を示す情報を含む前記ヘッダを解析して、前記各符号化データにおけるフレーム毎の属性情報が所定の条件を満たすかどうか判定する判定ステップと、
前記所定の条件を満たす場合には、前記ヘッダにより示されるフレームの復号時刻、表示時刻、あるいは再生時間長を修正する修正ステップと、
を備え、
前記多重化された前記動画像、あるいは前記音声の符号化データは、フレームデータが欠落した領域を含むことを特徴とする逆多重化方法。
【請求項８】
請求項７に記載の逆多重化方法であって、
前記所定の条件を満たす場合には、復号順が前記フレームの直後であるフレームが、ランダムアクセス可能なフレームとなるように、前記動画像において復号するフレームを決定する決定ステップ、
をさらに備えることを特徴とする逆多重化方法。
【請求項９】
動画像、音声などの符号化データが１以上のパケットに多重化されたデータから、前記各符号化データを分離して、復号、再生する逆多重化方法であって、
前記多重化されたパケットからヘッダとペイロードを分離する分離ステップと、
少なくとも前記各符号化データ内のフレームの復号時刻あるいは表示時刻を示す情報を含む前記ヘッダを解析して、前記各符号化データにおけるフレーム毎の属性情報が所定の条件を満たすかどうか判定する判定ステップと、
前記所定の条件を満たす場合には、前記ヘッダにより示されるフレームの復号時刻、表示時刻、あるいは再生時間長を修正する修正ステップと、
を備え、
前記多重化された前記動画像、あるいは前記音声の符号化データは、フレームデータが欠落した領域を含むことを特徴とする逆多重化方法
を行わせるものであることを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
動画像、音声などの符号化ストリームの多重化データを分離、復号して再生する逆多重化装置に関する。
【背景技術】
【０００２】
近年、蓄積メディアや通信ネットワークの大容量化、あるいは伝送技術の進歩にともない、動画や音声などの符号化マルチメディアデータを扱う機器や、サービスが普及してきた。例えば、放送分野においては、従来のアナログ放送に代わり、デジタル符号化されたメディアデータの放送が開始された。現在のデジタル放送は、固定受信のみを対象としているが、将来的には携帯電話などの移動体向けの放送も予定されている。また、通信分野においても、第３世代の携帯電話向けの動画配信サービスが立ち上がるなど、固定端末と携帯端末の双方でマルチメディアデータを扱う環境が整ってきている。これらの背景を鑑みると、SD（Secure Digital）カードなどのメモリカード、あるいはDVD-RAM（Digital Versatile Disk-Rewritable）などの光ディスクに、放送や、インターネット経由で受信したコンテンツデータを記録し、機器間でコンテンツデータを共有するといった使用方法の普及が見込まれる。
【０００３】
メディアデータを放送、蓄積、あるいはネットワーク経由で配信する際には、メディアデータの再生に必要なヘッダ情報とメディアデータとが多重化される。多重化にあたっては、放送やＤＶＤなどの蓄積機器向け、および移動体向けに、それぞれ標準の多重化方式が規格化されている。まず、デジタル放送やDVDにおいては、ISO/IEC JTC1/SC29/WG 11 (International Standardisation Organization/International Engineering Consortium)において標準化されたＭＰＥＧ−２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）システム規格が使用される。また、携帯端末では、第３世代の移動体通信システムの規格化を目的とする国際標準化団体である３ＧＰＰ(Third Generation Partnership Project)で、無線による動画配信規格として定められたTS26.234(Transparent end-to-end packet switched streaming service)において、ISO/IEC JTC1/SC29/WG 11で標準化されたMP４ファイルフォーマットが採用されている。
【０００４】
また、動画の符号化方式としては、現在普及しているＭＰＥＧ−２  ＶｉｓｕａｌやＭＰＥＧ−４  Ｖｉｓｕａｌの後継規格としてＭＰＥＧ−４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）が標準化されたことから、今後ＭＰＥＧ−４  ＡＶＣの符号化動画像データをＭＰＥＧ−２システム規格やＭＰ４ファイルフォーマット（以降、ＭＰ４と呼ぶ）により多重化し、放送、蓄積あるいは配信することが予想される。
【０００５】
以下に、ＭＰＥＧ−２システム、およびＭＰ４における符号化データ多重化方法の概要について説明する。ＭＰＥＧ−２システム、およびＭＰ４では、符号化データを扱う際の基本単位としてアクセスユニット（ＡＵ）を使用するため、まずＡＵの構造について説明する。ＡＵとは、動画像の１ピクチャ、あるいは音声の１フレーム分の符号化データを含む単位であり、ＭＰＥＧ−４  ＡＶＣにおけるＡＵデータは、図１に示す構造をもつ。ＭＰＥＧ−４  ＡＶＣでは、ピクチャの復号に必須のデータに加えて、復号に必須でないＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれる補助情報や、ＡＵの境界情報などをＡＵデータに含めることができ、これらのデータは全てＮＡＬ（Ｎｅｔｗｏｒｋ  Ａｄａｐｔａｔｉｏｎ  Ｌａｙｅｒ）ユニットに格納される。ＮＡＬユニットは、図１（a）に示すようにヘッダとペイロードから構成され、ヘッダのサイズは１バイトであり、ペイロードに格納されるデータのタイプ（以降、ＮＡＬユニットタイプと呼ぶ）を示すフィールドなどが含まれる。ＮＡＬユニットタイプは、スライスやＳＥＩなどデータの種類別に値が定義されており、ＮＡＬユニットに格納されたデータの種類を取得する際にはＮＡＬユニットタイプを参照する。ＡＵには、図１（ｂ）および（ｃ）に示すように、１ピクチャ分のスライスデータに加えて、ヘッダ情報やＳＥＩなどのＮＡＬユニットが格納されるが、ＮＡＬユニットにはＮＡＬユニットデータの境界を識別するための情報が存在しないため、ＡＵ格納時には、各ＮＡＬユニットの先頭に境界情報が付加することができる。境界情報としては、図１（ｂ）のように0x000001の３バイトで示されるスタートコードプレフィックスを付加する方法（以降、バイトストリームフォーマットと呼ぶ）と、図１（ｃ）のようにＮＡＬユニットのサイズを付加する方法（以降、ＮＡＬサイズフォーマットと呼ぶ）の２種類がある。なお、ＡＵの先頭ＮＡＬユニット、および特定のＮＡＬユニットタイプ値をもつＮＡＬユニットに対しては、スタートコードプレフィックスの前に、ｚｅｒｏ＿ｂｙｔｅ（値が０ｘ００である１バイト）を１つ以上付加することが規定されている。ＭＰＥＧ−２システムでは、バイトストリームフォーマットが使用され、ＭＰ４ではＮＡＬサイズフォーマットが使用される。次に、スライス、およびヘッダ情報について詳しく説明する。スライスは、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｅｒ  Ｒｅｆｒｅｓｈ）スライスとそれ以外のスライスの２種類に分けられる。ＩＤＲスライスとは、画面内符号化されたスライスデータであり、後述するＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）などのヘッダ情報はＩＤＲスライスにおいてのみ切り替えることができる。ピクチャにＩＤＲスライスが含まれる際には、同一ピクチャ内の他のスライスも全てＩＤＲスライスであるため、以降、ＩＤＲスライスを含むＡＵをＩＤＲ ＡＵと呼ぶことにする。また、ＩＤＲ ＡＵから、次のＩＤＲ ＡＵの直前ＡＵまでのAUから構成される単位をシーケンスと呼び、ＡＵのスライスデータを復号する際には、シーケンス内のＡＵのみが参照されるため、シーケンス単位でランダムアクセスす��ことができる。次に、ヘッダ情報にはＳＰＳとＰＰＳ（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）の２種類があり、ＳＰＳはシーケンス単位で固定のヘッダ情報であり、ＰＰＳはピクチャ単位で切り替えることのできるヘッダ情報である。ＳＰＳとＰＰＳは、ともに複数もつことができ、個々のＳＰＳ、あるいはＰＰＳはインデックス番号により区別される。また、１ＮＡＬユニットには１つのＳＰＳ、あるいはＰＰＳが格納される。各ピクチャが参照するＳＰＳ、およびＰＰＳのインデックス番号は次のように取得される。まず、ピクチャが参照するＰＰＳのインデックス番号は、スライスデータのヘッダ部に示される。次に、ＰＰＳには、ＰＰＳが参照するＳＰＳのインデックス番号が示されるため、ピクチャが参照するＰＰＳを解析することにより、ピクチャが参照するＳＰＳのインデックス番号を取得する。
【０００６】
次に、放送において、ＭＰＥＧ−２システムによりＡＵデータを多重化する際の方法について説明する。  ＭＰＥＧ−２システムでは、符号化データは、まずＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）パケットに多重化され、さらにＰＥＳパケットがＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）パケットに多重化される。図２の（a）と（ｂ）に、ＰＥＳパケットとＴＳパケットの構造をそれぞれ示す。ＰＥＳパケットのペイロードには、アクセスユニット（ＡＵ）データが格納される。図２（a）の（１）から（３）は、ＰＥＳパケットのペイロードへのＡＵデータの格納例を示すものであり、（１）、（２）に示すように１以上のＡＵをまとめて格納してもよいし、（３）に示すようにＡＵデータを分割して格納してもよい。さらに、ペイロードには、ＡＵデータとは別に、スタッフィングデータを含めることもできる。ＰＥＳパケットのヘッダは、0x000001の３バイトで示されるスタートコードプレフィックス、および１バイトのストリームＩＤから構成される計４バイトのスタートコードから開始する。ストリームＩＤとは、ＰＥＳパケットのペイロードデータに含まれる符号化データの種類を示す識別番号であり、ＭＰＥＧ−４ＡＶＣでは、0xE0以上0xEF以下の任意の値をとることができる。ヘッダには、ペイロード内で開始する先頭ＡＵの復号時刻、および表示時刻を格納することができるが、全てのＰＥＳパケットに必ずこれらの時間情報が格納されるわけではなく、時間情報が格納されないＰＥＳパケットも存在する。ＰＥＳパケットのヘッダにより復号時刻、あるいは表示時刻が示されないＡＵの時間情報が必要である際には、ＡＵデータを解析して、直前ＡＵとの復号時刻、あるいは表示時刻の差分値を取得する。なお、ＰＥＳパケットの開始位置は、ＴＳパケットのペイロードデータ内で、４バイトのスタートコードをサーチすることにより検出する。一方、ＰＥＳパケットのデータは、図２の（ｂ）に示すように、ＴＳパケットのペイロードに分割して格納される。ＴＳパケットは、サイズが１８８バイトである固定長のパケットであり、４バイトのヘッダ、アダプテーションフィールド、ペイロードデータから構成される。なお、アダプテーションフィールドは、ヘッダ内の特定のフラグがセットされている場合にのみ存在する。ヘッダには、ＴＳパケットが伝送するデータの種類を示すＰＩＤと呼ばれる識別番号と、continuity_counterと呼ばれるカウンタが含まれる。continuity_counterは、４ビットのフィールドであり、同一ＰＩＤのＴＳパケットにおいては、送信順に１ずつ増加し、最大値に達すると循環する。ＴＳパケットのＰＩＤと、ＴＳパケットが伝送するデータの種類との対応関係は、別途ＴＳパケットにより送信されるプログラム情報によって提供される。このため、ＴＳパケット受信時には、まず、ＴＳパケットのＰＩＤを取得し、ＰＩＤの値に応じてパケットを振り分ける。例えば、受信開始時に取得したプログラム情報により、ＭＰＥＧ−４  ＡＶＣのデータはＰＩＤが３２であるＴＳパケットにより伝送されることが示される際には、ＰＩＤが３２であるＴＳパケットを取得することにより、ＭＰＥＧ−４  ＡＶＣのＡＵデータを取得することができる。ここで、受信したＴＳパケットのcontinuity_counter値にギャップが発生している際には、伝送路においてパケットロスが発生したことを示す。また、ＴＳパケットからＡＵデータを分離する際には、ＴＳパケットのペイロードデータからＰＥＳパケットを分離し、分離されたＰＥＳパケットからＡＵのデータを分離する。
【０００７】
最後に、ＭＰ４におけるＡＵデータの多重化方法について説明する。ＭＰ４では、サンプル単位のヘッダ情報やメディアデータは、Ｂｏｘと呼ばれるオブジェクト単位で管理する。ここで、サンプルとは、ＭＰ４においてメディアデータを扱う際の基本単位であり、１サンプルは１ＡＵに相当する。各サンプルには、復号時刻順で昇順となるようにサンプル番号が振られ、サンプル番号は、サンプル毎に１ずつ増加する。図３（a）はＢｏｘの構造を示し、以下のフィールドから構成される。
【０００８】
size：sizeフィールドも含めたBox全体のサイズ
type：Ｂｏｘの識別子であり、通常はアルファベット4文字で表される。フィールド長は４バイトであり、ＭＰ４ファイル内でＢｏｘを検索する際には、連続する４バイト分のデータがtypeフィールドの識別子と一致するかどうかを判定することにより行う。
【０００９】
version：Ｂｏｘのバージョン番号
flags：Ｂｏｘ毎に設定されるフラグ情報
データ：ヘッダ情報やメディアデータが格納される。
【００１０】
なお、versionとflagsは必須でないため、Ｂｏｘによってはこれらのフィールドは存在しない。以後、Boxの参照にはtypeフィールドの識別子を使用することとし、例えばtypeが‘moov'であるBoxは、moovと呼ぶ。ＭＰ４ファイルにおけるＢｏｘ構造を図３（b）に示す。ＭＰ４ファイルは、ftyp、moov、mdat、あるいはmoofから構成され、ftypがファイルの先頭に配置される。ftypは、ＭＰ４ファイルを識別するための情報を含み、mdatには、メディアデータが格納される。mdatに含まれる各メディアデータはトラックと呼ばれ、各トラックはトラックIDにより識別される。次に、moovにはmdatの各トラックに含まれるサンプルについてのヘッダ情報が格納される。moov内では、図４（a）に示すように、Ｂｏｘが階層的に配置され、音声、動画像などの各メディアトラックにヘッダ情報は、それぞれ別々のtrakに格納される。trak内においても、Ｂｏｘが階層的に配置され、サンプルのサイズや復号時刻、表示開始時間、あるいはランダムアクセス可能なサンプルの情報などがstbl内の各Boxに格納される（図４（ｂ））。ランダムアクセス可能なサンプルはシンクサンプルと呼ばれ、シンクサンプルのサンプル番号の一覧は、stbl内のstssにより示される。上記では、トラック内の全サンプルのヘッダ情報をmoovに格納していたが、トラックを分割してフラグメント化し、フラグメント単位でヘッダ情報を格納することもできる。トラックを分割した単位に対するヘッダ情報は、moofにより示される。図５はフラグメント化したＭＰ４ファイルの構造例であり、mdat #1内のサンプルのヘッダ情報はmoof #1に格納される。
【００１１】
ここで、携帯端末において受信した放送データを、携帯電話から電子メールに添付して送信するケースを考える。３GPPでは、電子メールにおいて動画像や音声などを添付する際に、メディアデータをMP４で多重化することが規定されており、受信した放送データを電子メールに添付する場合などには、多重化方式をＴＳからＭＰ４へ変換する必要がある。なお、ＡＲＩＢ（Ａｓｓｏｃｉａｔｉｏｎ  ｏｆ  Ｒａｄｉｏ  Ｉｎｄｕｓｔｒｉｅｓ  ａｎｄＢｕｓｉｎｅｓｓｅｓ，電波産業界）において規格化され、日本で実施されるモバイル向けの地上デジタル放送（以下、１セグ放送と呼ぶ。）では、動画像の符号化方式としてＭＰＥＧ−４  ＡＶＣ、音声の符号化方式としてＭＰＥＧ−２  ＡＡＣが使用される。
【００１２】
図６は、パケットロスを含む放送データを受信して、放送データ内の動画像と音声のデータをMP4に多重化する際の復号時刻情報の格納方法を示す。この例では、図６（a）に示すように、動画像の５２番目から１００番目までのAUがパケットロスにより受信できなかったとする。このとき、MP4には、AU１からAU５１までと、AU10１以降がサンプルとして格納される。従って、図６（ｂ）のように、５１番目のサンプルはAU１０１のピクチャデータを格納することになる。これらサンプルについての復号時刻情報をmoov内に格納すると、各サンプルの復号時刻の差分値を記述するBoxであるsttsのテーブルは図６（c）のようになる。サンプル１からサンプル５０までは、復号時刻の差分値が全て１００ｍｓとなるため同一のエントリを参照すればよいが、サンプル５１とサンプル５２の復号時刻の差分値は、AU５２からAU１００がロストしたため、５０００ｍｓとなる。従って、サンプル５１用に新規のエントリを作成して差分値が５０００ｍｓであることを示す。ここで、受信ストリームは１０Hzの固定フレームレートであるとする。
【００１３】
図７は、ＭＰ４ファイルを再生する従来の逆多重化装置１００のブロック図である。多重化装置１００は、入力されたＭＰ４ファイルから動画像および音声のＡＵを分離し、復号して再生するものであり、ヘッダ分離手段１０１、ヘッダメモリ１０２、ｍｄａｔメモリ１０３、サンプル取得手段１０４、時刻情報解析手段１０５、および復号表示手段１０６とを備える。
【００１４】
ヘッダ分離手段１０１は、ＭＰ４ファイルＦｉｌｅＩｎからヘッダデータＨｄａｔとｍｄａｔデータＤｍｄａｔとを分離して、ヘッダデータＨｄａｔをヘッダメモリ１０２に、ｍｄａｔデータＤｍｄａｔをｍｄａｔメモリ１０３に、それぞれ入力する。ここで、ヘッダデータＨｄａｔは、ｍｏｏｖあるいはｍｏｏｆのデータを含む。時刻情報解析手段１０５は、ヘッダメモリ１０２からヘッダ時刻情報ＴＨｉｎｆを取得して解析し、外部から入力された再生開始時刻Ｔｓｔを満たす音声あるいは動画像のサンプルを決定する。さらに、前記決定したサンプルのサンプル番号ＳｐｌＮｕｍをサンプル取得手段１０４に入力するとともに、サンプル番号ＳｐｌＮｕｍであるサンプルの復号時刻および表示時刻を示す時刻情報Ｔｉｎｆを復号表示手段１０６に入力する。なお、復号時刻と表示時刻とが等しい場合には、復号時刻のみを時刻情報Ｔｉｎｆに含めてもよい。ここで、ヘッダ時刻情報ＴＨｉｎｆとは、ｍｏｏｖ内のｓｔｔｓとｃｔｔｓ、およびｍｏｏｆ内のｔｒｕｎなどに格納されるサンプル毎の復号時刻と表示時刻に関する情報を指す。また、サンプル番号とは、ＭＰ４の各トラックにおいてサンプルを識別する番号であり、先頭サンプルから復号順に１ずつ増加する。従って、再生開始後は、シーク再生などを行うために外部から再生開始時刻が新たに与えられなければ、サンプル番号ＳｐｌＮｕｍは１ずつ増加する。次に、サンプル取得手段は、サンプル番号ＳＰｌＮｕｍであるサンプルデータｓｐｌＤａｔａ１を取得して、復号表示手段１０６に入力する。手順としては、ヘッダメモリ１０２から取得したアクセス情報ＡｃｓＩｎｆを解析して、所望のサンプル番号をもつサンプルの格納位置を特定し、ｍｄａｔメモリ１０３からサンプルデータｓｐｌＤａｔ１を取得する。最後に、復号表示手段１０６は、時刻情報Ｔｉｎｆから取得した復号時刻と表示時刻に基づいて、サンプルデータｓｐｌＤａｔ１を復号し、出力Ｏｕｔとして出力する。
【００１５】
図８は、逆多重化装置１００の動作を示すフローチャートである。まず、ステップ１００１においてＭＰ４ファイルのヘッダ部とデータ部を分離し、続いてステップ１００２で復号を開始するサンプルを決定する。ステップ１００３では、ヘッダ部の時刻情報からサンプルの復号時刻と表示時刻、および再生時間長（Ｄｕｒ＿ｉｎ）を決定する。ここで、再生時間長とは、動画像であれば表示を継続する時間であり、音声であれば再生を継続する時間となる。次に、ステップ１００４では、ステップ１００３で取得した復号時刻と表示時刻に基づいてサンプルを復号、表示し、Ｄｕｒ＿ｉｎの間再生を継続する。なお、音声では、復号時刻と表示時刻は同一である。復号が必要な最終サンプルの復号が終了するまでステップ１００３とステップ１００４の処理を繰り返す。本フローチャートでは、ステップ１００２において復号開始サンプルを決定した後は、サンプルを復号順に順次サンプルを再生するとして、復号開始後は復号するサンプルのサンプル番号は１ずつ増加するものとしている。シーク再生などの特殊再生を行う場合には、特殊再生動作により指定された位置に相当するサンプルのサンプル番号を取得し、当該サンプルから復号開始するという動作を繰り返す。
【特許文献１】特開２００３―１１４８４５公報（第６−１８項、図６）
【発明の開示】
【発明が解決しようとする課題】
【００１６】
従来の逆多重化装置１００において、図６に示すＭＰ４ファイルを再生する際の動作について説明する。ここで、図６（ａ）のストリームにおいては、復号時刻と表示時刻が等しいものとする。時刻情報解析手段１０５は、ｓｔｔｓなどＭＰ４ファイルのヘッダに格納された時刻情報に従ってサンプルの復号時刻、表示時刻、および再生時間長を決定する。このとき、サンプル５１とサンプル５２との復号時刻の差分値は５０００ｍｓであり、サンプル５１の再生時間長は５０００ｍｓであると決定されるため、サンプル５１の復号結果は５０００ｍｓの間表示が継続される。結果として、本来の再生時間長が１００ｍｓであるサンプル５１が実際よりも４９００ｍｓ長く表示されることになる。このように、従来の多重化装置１００において、図６（ｂ）のようなストリームが格納されたＭＰ４ファイルを再生すると、サンプルの再生が長時間に渡ってフリーズし、再生品質が低下するという課題があった。
【課題を解決するための手段】
【００１７】
本発明は、以上の課題を解決するためになされたものである。
本発明の請求項１にかかる逆多重化装置は、動画像、音声などの符号化データが１以上のパケットに多重化されたデータから、前記各符号化データを分離して、復号、再生する逆多重化装置であって、前記多重化されたパケットからヘッダとペイロードを分離する分離手段と、少なくとも前記各符号化データ内のフレームの復号時刻あるいは表示時刻を示す情報を含む前記ヘッダを解析して、前記各符号化データにおけるフレーム毎の属性情報が所定の条件を満たすかどうか判定する判定手段と、前記所定の条件を満たす場合には、前記ヘッダにより示されるフレームの復号時刻、表示時刻、あるいは再生時間長を修正する修正手段と、を備え、前記多重化された前記動画像、あるいは前記音声の符号化データは、フレームデータが欠落した領域を含むことを特徴とする。
【００１８】
本発明の請求項２にかかる逆多重化装置は、請求項１に記載の逆多重化装置であって、  前記属性情報は、前記ヘッダから取得したフレームの再生時間長ＤＵＲ１であり、前記判定手段は、前記フレームの再生時間長ＤＵＲ１が所定の値を超える場合には、前記フレームと、再生時刻順が前記フレームの直後であるフレームとの間に不連続区間が存在すると判定し、前記不連続区間が存在すると判定された際には、前記修正手段は、前記フレームの再生時間長を、前記再生時間長ＤＵＲ１よりも短い時間長ＤＵＲ２に再設定し、前記不連続区間とは、前記連続する２フレーム間において、フレームデータが欠落していることを示すものであることを特徴とする。
【００１９】
本発明の請求項３にかかる逆多重化装置は、請求項１に記載の逆多重化装置であって、  前記属性情報は、各符号化データ内の復号順で連続する２フレーム間に前記不連続区間が存在するかどうかを示すものであり、前記判定手段は、前記属性情報に基づいて前記不連続区間が存在するかどうか判定し、前記不連続区間が存在すると判定された際には、前記修正手段は、前記連続する２フレームのうち、復号順で前のフレームの再生時間長を、前記再生時間長ＤＵＲ１よりも短い時間長ＤＵＲ２に再設定することを特徴とする。
【００２０】
本発明の請求項４にかかる逆多重化装置は、請求項２、あるいは請求項３に記載の逆多重化装置であって、前記多重化データは、動画像と音声の符号化データを共に含み、前記判定手段は、前記動画像と前記音声のフレームのそれぞれについて不連続区間を取得して、前記動画像の不連続区間と、前記音声の不連続区間とが再生時刻において重なるかどうか判定し、前記修正手段は、前記不連続区間の重なりがある場合には、前記動画像と前記音声の双方について、フレームの再生時間長を、前記再生時間長ＤＵＲ１よりも短い時間長ＤＵＲ２に再設定することを特徴とする。
【００２１】
本発明の請求項５にかかる逆多重化装置は、請求項１に記載の逆多重化装置であって、前記所定の条件を満たす場合には、復号順が前記フレームの直後であるフレームが、ランダムアクセス可能なフレームとなるように、前記動画像において復号するフレームを決定する決定手段、をさらに備えることを特徴とする。
【００２２】
本発明の請求項６にかかる逆多重化装置は、前記多重化データは、動画像と音声の符号化データを共に含み、前記決定手段は、前記所定の条件を満たす場合に、前記音声において次に復号するランダムアクセス可能なフレームは、再生時刻が、前記動画像において次に復号するランダムアクセス可能なフレームの再生時刻と同一、直後のフレームであることを特徴とする。
【００２３】
本発明の請求項７にかかる逆多重化方法は、動画像、音声などの符号化データが１以上のパケットに多重化されたデータから、前記各符号化データを分離して、復号、再生する逆多重化方法であって、前記多重化されたパケットからヘッダとペイロードを分離する分離ステップと、少なくとも前記各符号化データ内のフレームの復号時刻あるいは表示時刻を示す情報を含む前記ヘッダを解析して、前記各符号化データにおけるフレーム毎の属性情報が所定の条件を満たすかどうか判定する判定ステップと、前記所定の条件を満たす場合には、前記ヘッダにより示されるフレームの復号時刻、表示時刻、あるいは再生時間長を修正する修正ステップと、を備え、前記多重化された前記動画像、あるいは前記音声の符号化データは、フレームデータが欠落した領域を含むことを特徴とする。
【００２４】
本発明の請求項８にかかる逆多重化方法は、請求項７に記載の逆多重化方法であって、前記所定の条件を満たす場合には、復号順が前記フレームの直後であるフレームが、ランダムアクセス可能なフレームとなるように、前記動画像において復号するフレームを決定する決定ステップ、をさらに備えることを特徴とする。
【００２５】
本発明の請求項９にかかる記録媒体は、動画像、音声などの符号化データが１以上のパケットに多重化されたデータから、前記各符号化データを分離して、復号、再生する逆多重化方法であって、前記多重化されたパケットからヘッダとペイロードを分離する分離ステップと、少なくとも前記各符号化データ内のフレームの復号時刻あるいは表示時刻を示す情報を含む前記ヘッダを解析して、前記各符号化データにおけるフレーム毎の属性情報が所定の条件を満たすかどうか判定する判定ステップと、前記所定の条件を満たす場合には、前記ヘッダにより示されるフレームの復号時刻、表示時刻、あるいは再生時間長を修正する修正ステップと、を備え、前記多重化された前記動画像、あるいは前記音声の符号化データは、フレームデータが欠落した領域を含むことを特徴とする逆多重化方法を行わせるものであることを特徴とする。
【発明の効果】
【００２６】
本発明の請求項１の逆多重化装置によれば、データの一部が欠落した符号化ストリームを格納したＭＰ４ファイルを再生する際に、データの欠落に起因して動画像の表示がフリーズするなどの再生品質の低下を解消できるという効果が得られる。
【００２７】
本発明の請求項２の逆多重化装置によれば、ＭＰ４規格を拡張せずに、データの一部が欠落した符号化ストリームを格納したＭＰ４ファイルを再生する際に、データの欠落に起因して動画像の表示がフリーズするなどの再生品質の低下を解消できるという効果が得られる。
【００２８】
本発明の請求項３の逆多重化装置によれば、データの欠落位置を特定したうえで、再生動作を切替えられるため、データの欠落に起因して動画像の表示がフリーズするなどの再生品質の低下を、より確実に防ぐことができるという効果が得られる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３０】
（実施の形態１）
まず、本発明の実施の形態１に係る逆多重化装置１０００について説明する。ここでは、音声と動画像のトラックが各１つずつ格納されたＭＰ４ファイルを入力する。符号化方式は、音声がＭＰＥＧ−２  ＡＡＣ、動画像がＭＰＥＧ−４  ＡＶＣとする。なお、複数の音声あるいは動画像のトラックを含むＭＰ４ファイルであってもよい。また、符号化方式についても、音声としてはＭＰＥＧ−４  ＡＡＣ、ＡＭＲ（Ａｄａｐｔｉｖｅ  Ｍｕｌｔｉ−Ｒａｔｅ）、動画像としてはＭＰＥＧ−４  Ｖｉｓｕａｌ、Ｈ．２６３、ＶＣ−１（ＳＭＰＴＥで規格化された符号化方式）など他の方式であってもよい。また、多重化の方式についても、ＭＰ４に限定されるものではなく、例えば、ＡＳＦ（Ａｄｖａｎｃｅｄ  Ｓｙｓｔｅｍｓ  Ｆｏｒｍａｔ、マイクロソフト社の開発したフォーマット）やＱｕｉｃｋ  Ｔｉｍｅ（アップル社の開発したフォーマット）であってもよい。
【００３１】
図９は、逆多重化装置１０００の構成を示すブロック図である。逆多重化装置１０００は、ヘッダ分離手段１０１、ヘッダメモリ１０２、ｍｄａｔメモリ１０３、サンプル取得手段１０４、時刻情報解析手段１００５、復号表示手段１００２、および修正手段１００１とを備え、修正手段１００１を備えた点、および時刻情報解析手段１００５と復号表示手段１００２の動作において従来の逆多重化装置１００と異なるため、これら相違点について主に説明する。
【００３２】
時刻情報解析手段１００５は、サンプル番号ＳｐｌＮｕｍであるサンプル（以降、サンプル番号ＳｐｌＮｕｍであるサンプルをサンプル[ＳｐｌＮｕｍ]と示す。）の復号時刻と表示時刻、およびサンプル[ＳｐｌＮｕｍ＋ｉ]の復号時刻を少なくとも含む時刻情報Ｔｉｎｆ１を修正手段１０７に入力する。ここで、サンプル[ＳｐｌＮｕｍ＋ｉ]は、表示順がサンプル[ＳｐｌＮｕｍ]の直後のサンプルを示す。さらに、サンプル[ＳｐｌＮｕｍ＋ｉ]とサンプル[ＳｐｌＮｕｍ]の表示時刻の差分から算出されたサンプル[ＳｐｌＮｕｍ]の再生時間長Ｄｕｒ＿ｉｎについても時刻情報Ｔｉｎｆ１に含める。修正手段１００１は、時刻情報Ｔｉｎｆ１に基づいて、サンプル[ＳｐｌＮｕｍ]の復号時刻、表示時刻、および再生時間長を決定し、修正時刻ＭｏｄＴｉｎｆとして復号表示手段１００２に入力する。復号表示手段１００２は、修正時刻ＭｏｄＴｉｎｆに従って、サンプル[ＳｐｌＮｕｍ]を復号して再生する。
【００３３】
図１０は、逆多重化装置１０００の動作を示すフローチャートである。まず、ステップ１００１でＭＰ４ファイルのヘッダ部とデータ部とを分離して、ステップ１００２では復号を開始するサンプルを決定する。次に、ステップ１１０３では、ｓｔｔｓやｃｔｔｓ、あるいはｔｒｕｎなどの時刻情報に基づいて、次に復号するサンプルであるサンプル[ＳｐｌＮｕｍ]と、表示順がサンプル[ＳｐｌＮｕｍ]の直後となるサンプル[ＳｐｌＮｕｍ＋ｉ]の復号時刻と表示時刻、およびサンプル[ＳｐｌＮｕｍ]の再生時間長を取得する。
【００３４】
ステップ１１０４では、サンプル[ＳｐｌＮｕｍ]の再生時間長Ｄｕｒ＿ｉｎを修正する必要があるかどうか判定する。ステップ１１０４において修正の必要があると判定された際にはステップ１１０５に進み、修正は不要と判定されればステップ１１０７に進む。ステップ１１０５では、サンプル[ＳｐｌＮｕｍ]の再生時間長をＤｕｒ＿ｏｕｔに修正するとともに、サンプル[ＳｐｌＮｕｍ＋ｉ]の表示時刻を修正し、ステップ１１０６に進む。ここで、サンプル[ＳｐｌＮｕｍ＋ｉ]の表示時刻を修正することにより、サンプル[ＳｐｌＮｕｍ]以降のサンプルの表示時刻も修正が必要となるため、修正後の表示時刻に間に合うように以降のサンプルの復号時刻も修正する。通常、Ｄｕｒ＿ｏｕｔとＤｕｒ＿ｉｎの差分に等しい時間だけ、サンプル[ＳｐｌＮｕｍ]および以降のサンプルの復号時刻を早めるが、表示時刻に間に合えば、任意の時間だけ復号時刻を調整してもよい。ステップ１１０６では、サンプル[ＳｐｌＮｕｍ]を復号、表示し、Ｄｕｒ＿ｏｕｔの時間再生を継続する。再生を継続するとは、動画像であれば復号結果を繰り返し表示することを示し、音声であれば当該区間再生を継続することを示す。ただし、音声の場合に、再生時間長Ｄｕｒ＿ｏｕｔが１フレーム分の再生時間長よりも長い場合には、１フレームを再生した後は無音、あるいは擬似雑音を再生するなど所定の処理を行うものとする。また、ステップ１１０７では、サンプル[ＳｐｌＮｕｍ]を復号、表示し、Ｄｕｒ＿ｉｎの時間表示を継続する。このように、ステップ１１０３からステップ１１０７までの処理を、復号が必要な最終ピクチャまで繰り返す。ここで、各サンプルの復号時刻と表示時刻とが等しい場合には、ステップ１１０３からステップ１１０６までの処理においては、復号時刻のみ取得すればよく、再生時間長についても、連続する２つのサンプルにおける復号時刻の差分値から算出できる。各サンプルについて復号時刻と表示時刻が等しいかどうかは、ｍｏｏｖ内のサンプルであれば、復号時刻と表示時刻との差分値を格納するＢｏｘであるｃｔｔｓがｍｏｏｖ内に存在するかどうか、あるいは、ｃｔｔｓのエントリにより示される差分値が０であるかどうかにより判別できる。また、ｍｏｏｆ内のサンプルであれば、ｍｏｏｆ内のｔｒｕｎにおいてサンプルの復号時刻と表示時刻との差分値を格納するフィールドが存在するかどうか、また当該フィールドの値が０であるかどうかにより判定できる。
【００３５】
図１１（ａ）と（ｂ）は、動画像サンプルの再生時間長Ｄｕｒ＿ｉｎの算出例を示す。図中のＩ、Ｐ、Ｂは、それぞれ画面内符号化ピクチャ（Ｉピクチャ）、前方参照ピクチャ（Ｐピクチャ）、および双予測ピクチャ（Ｂピクチャ）が格納されたサンプルを示し、Ｉ、Ｐ、Ｂなどのタイプに付加された番号は表示順を示す。さらに、点線で示したサンプルについては、パケットロスなどの受信エラーにより取得できなかったサンプルを示す。図１１（ａ）は、各サンプルの復号時刻と表示時刻とが等しい例であり、Ｐ５、Ｐ６およびＰ７の３枚のピクチャが取得できなかったものとする。本トラックでは、各サンプルの復号時刻と表示時刻が等しいことから、Ｐ４の再生時間長Ｄｕｒ＿ｉｎは、復号順が直後となるＰ８の復号時刻からＰ４の復号時刻を減算することにより、４００ｍｓと算出できる。一方、図１１（ｂ）は、復号時刻と表示時刻とが異なるサンプルが混在する例であり、Ｂ５が取得できなかったものとする。本トラックでは、再生時間長Ｄｕｒ＿ｉｎは、表示順で連続するサンプルの表示時刻の差分値に一致することから、Ｂ４の再生時間長Ｄｕｒ＿ｉｎは、Ｐ６の表示時刻からＢ４の表示時刻を減算することにより、２００ｍｓと計算される。ここで、Ｂ４の再生時間長Ｄｕｒ＿ｉｎは、復号順で次のピクチャであるＰ９の表示時刻との差分値とはならないことに注意する。また、復号順がＢ４の後であるＰ９以降のピクチャの復号時刻についても、これらピクチャの表示時刻に間に合うように調節する必要がある。例えば、Ｐ６の表示時刻を５００ｍｓに変更すると、Ｂ７の表示時刻は６００ｍｓとなるため、６００ｍｓにおいてＢ７の復号を完了していなければならない。
【００３６】
次に、ステップ１１０４の判定動作とステップ１１０５における再生時間長Ｄｕｒ＿ｏｕｔの決定方法について説明する。まず、ステップ１１０４では、再生時間長Ｄｕｒ＿ｉｎの値が閾値ＴＨＲＥＳを超えるかどうかにより判定する。閾値ＴＨＲＥＳは、動画像や音声などメディア毎に定めた値とし、動画像と音声について同一の値であってもよい。例えば、１０Hzの動画像であれば１フレームあたりの再生時間長は通常１００ｍｓであり、フレームレートが変動する際にも１フレームの再生時間長が５００ｍｓを超えないと想定できる際には、閾値THRESを５００ｍｓに設定する。つまり、再生時間長Ｄｕｒ＿ｉｎが５００ｍｓを超えた場合には、パケットロスなどの受信エラーによりデータが欠落して不連続になっているとみなす。このように、動画像や音声のフレームレートに基づいて閾値ＴＨＲＥＳを決定できる。ここで、ＭＰ４ファイルに格納された音声や動画像のフレームレートは、ｓｔｔｓなどヘッダ内の時刻情報、あるいは、サンプルエントリに格納されたストリームの初期化情報内のパラメータから取得する。ＭＰＥＧ−４  ＡＶＣであれば、固定フレームレート時には、サンプルエントリに格納されたＳＰＳ内のパラメータからフレームレートが取得できる。フレームレートが可変である際にも、ＳＰＳ内のパラメータに基づいて、フレームレートの最大値を見積れるため、その結果に基づいて閾値ＴＨＲＥＳを決定してもよい。音声であれば、ヘッダ情報からサンプリング周波数を取得すれば、１フレームを構成する標本点数をサンプリング周波数で除算することで、フレームレートが計算できる。なお、フレームレートに依存せずに、予め定めた所定の値を閾値ＴＨＲＥＳとしてもよい。さらに、ＭＰ４ファイルのブランド情報に基づいて決定してもよいし、閾値ＴＨＲＥＳを示す情報を格納したＢｏｘをＭＰ４ファイル内に別途格納し、当該Ｂｏｘを参照して決定してもよい。ここで、閾値ＴＨＲＥＳは、トラック毎に設定してもよいし、各トラックに共通の値としてもよい。
【００３７】
また、閾値ＴＨＲＥＳ以外の情報から、サンプル[ＳｐｌＮｕｍ]とサンプル[ＳｐｌＮｕｍ＋１]の間が、受信エラーによるデータの欠落などに起因して、不連続となっているかどうかを判定して再生時間長Ｄｕｒ＿ｉｎの修正有無を判定してもよい。不連続であるかどうかは、サンプルデータ、あるいはヘッダ情報のいずれから判定してもよい。サンプルデータからは、例えばＭＰＥＧ−４  ＡＶＣであれば、不連続点を示す特定のＮＡＬユニットタイプをもつＮＡＬユニットがサンプル[ＳｐｌＮｕｍ]に含まれるかどうかにより判定できる。また、ヘッダ情報としては、ｓｔｂｌ、あるいはｔｒｕｎ内のＢｏｘにより、連続する２つのサンプル間が不連続となっているかどうかを示すことにして、これらのＢｏｘを参照して判定できる。
【００３８】
なお、再生時間長Ｄｕｒ＿ｉｎの値が閾値ＴＨＲＥＳと同一である際にも再生時間長を修正してもよい。
【００３９】
図１２は、ステップ１１０５における再生時間長Ｄｕｒ＿ｏｕｔの決定方法を示すフローチャートである。このとき、再生時間長Ｄｕｒ＿ｏｕｔを修正した後にも、後続サンプルにおいてＡＶ同期が保証される。ここでは、動画像のトラックは必ず存在するとする。まず、ステップ１２０１では、音声が存在するかどうか判定し、存在する場合にはステップ１２０２に進み、存在しなければステップ１２０５に進む。ステップ１２０２では、動画像と音声とで不連続区間の重なりがあるかどうか判定し、重なりがあると判定されればステップ１２０３に進み、重なりがなければステップ１２０４に進む。ステップ１２０３では、不連続区間が重なる部分の時間長であるＤｉｓ＿ｄｕｒだけ再生時間長Ｄｕｒ＿ｉｎを短縮する。結果として、
修正後の再生時間長Ｄｕｒ＿ｏｕｔ
＝  修正前の再生時間長Ｄｕｒ＿ｉｎ  −  Ｄｉｓ＿ｄｕｒ
となる。ここで、Ｄｉｓ＿ｄｕｒは下記のように計算される。
いま、動画像については、サンプル[Ｖ＿ＳａｍｐｌｅＮｕｍ]とサンプル[Ｖ＿ＳａｍｐｌｅＮｕｍ＋ｉ]の間において不連続区間があり、
音声については、サンプル[Ａ＿ＳａｍｐｌｅＮｕｍ]とサンプル[Ａ＿ＳａｍｐｌｅＮｕｍ＋ｉ]の間において不連続区間があるとすると、
Ｄｉｓ＿ｄｕｒ  ＝
ＭＩＮ（サンプル[Ｖ＿ＳａｍｐｌｅＮｕｍ＋ｉ]の表示時刻、サンプル[Ａ＿ＳａｍｐｌｅＮｕｍ＋ｉ]の表示時刻）
−  ＭＡＸ（サンプル[Ｖ＿ＳａｍｐｌｅＮｕｍ]の表示時刻  ＋  動画像の１フレーム間隔、サンプル[Ａ＿ＳａｍｐｌｅＮｕｍ]の表示時刻  ＋  音声の１フレーム間隔）
となる。ここで、ＭＡＸ（ｍ、ｎ）はｍとｎのうち値が大きいほうを示し、ＭＩＮ（ｍ、ｎ）はｍとｎのうち値が小さいほうを示す。両者の値が等しければ、その値を示す。つまり、再生するトラックが存在しない区間の再生をスキップすることになる。
ステップ１２０４では、再生時間長の修正は行わずに、
修正後の再生時間長Ｄｕｒ＿ｏｕｔ
＝  修正前の再生時間長Ｄｕｒ＿ｉｎ
とする。
【００４０】
ステップ１２０５では、再生時間長Ｄｕｒ＿ｏｕｔ  ＝  １フレーム間隔とする。ここで、１フレーム間隔とは、フレームレートが固定であれば、当該フレームレートにおける１フレームあたりの再生時間長を示す。例えば、フレームレートが１０Ｈｚであれば、１フレーム間隔は１００ｍｓに相当する。フレームレートが可変であっても、各フレームの再生時間長はフレーム間隔の整数倍となるため、フレーム間隔を適用できる。例えば、通常は１０Ｈｚであるが、符号化時のビットレートや処理時間の制約により、フレームをドロップすることがある。このとき、１フレームの再生時間長は２００ｍｓや３００ｍｓなどフレーム間隔１００ｍｓの整数倍となるが、これらの場合にも再生時間長Ｄｕｒ＿ｏｕｔは１フレーム間隔としてよい。
【００４１】
図１３は、ＭＰ４ファイル内に音声と動画像のトラックが各１本ずつ存在するケースを示す。なお、動画像において復号時刻と表示時刻は等しいとする。図１３（ａ）では、動画像は表示時刻が４００ｍｓから６００ｍｓの間において不連続であり、音声は２００ｍｓから３５０ｍｓの間において不連続であると判定されたケースである。このとき、各々が不連続である区間においても他のトラックのデータは連続であり、例えば音声が再生できない区間においても動画像は再生できることから、Ｄｕｒ＿ｉｎは修正しない。なお、４番目の動画像サンプルＶ４の表示時刻は３００ｍｓ、再生時間長Ｄｕｒ＿ｉｎは４番目と５番目の動画像サンプルの表示時刻の差分をとり、３００ｍｓとなる。一方、図１３（ｂ）は、動画像は表示時刻が４００ｍｓから６００ｍｓの間において不連続であり、音声は４００ｍｓから５００ｍｓの間において不連続であると判定されたケースである。このとき、４００ｍｓから５００ｍｓまでの間は、動画像と音声のデータが共に欠落していると判定できる。従って、４番目の動画像サンプルＶ４と８番目の音声サンプルＡ８について、再生時間長Ｄｕｒ＿ｉｎを修正する。不連続区間の重なり部分は１００ｍｓであるため、
Ｖ４については、
再生時間長Ｄｕｒ＿ｏｕｔ  ＝  再生時間長Ｄｕｒ＿ｉｎ  −  １００ｍｓ
＝  （６００ｍｓ  −  ３００ｍｓ）  −  １００ｍｓ
＝  ２００ｍｓ
となる。
Ａ８については、
再生時間長Ｄｕｒ＿ｏｕｔ  ＝  再生時間長Ｄｕｒ＿ｉｎ  −  １００ｍｓ
＝  （５００ｍｓ  −  ３５０ｍｓ）  −  １００ｍｓ
＝  ５０ｍｓ
となる。
【００４２】
なお、動画像と音声のデータが共に欠落している区間が所定の時間長を超える場合にのみ、再生時間長Ｄｕｒ＿ｉｎを修正してもよい。
【００４３】
また、音声と動画像が各１本ずつであるケースに限らず、２つ以上のトラックがある際には、それらのトラックの不連続区間が重なる場合にのみ再生時間長を短縮することにしてもよい。
【００４４】
なお、上記では音声のトラックが必ず存在することにして、ステップ１２０１においては動画像のトラックが存在するかどうか判定してもよい。
【００４５】
さらに、不連続区間において再生がスキップされたことを、ユーザに示してもよい。図１４は、再生経過部分を示すシークバーを用いる例である。図１４（ａ）に示すように、６０秒のＡＶコンテンツが格納されたＭＰ４ファイルを再生するとして、表示時刻が２０秒から２５秒までの間は不連続区間であるため、再生がスキップされるとする。図１４（ｂ）は、再生開始からの経過時間が２０秒であるときのシークバーの様子を示し、シークバーの終端は、２０秒の位置にある。図１４（ｃ）は、再生開始からの経過時間が２５秒であるときのシークバーの様子を示す。このとき、ＭＰ４ファイル内のＡＶデータにおける２０秒から２５秒までの５秒間は再生がスキップされるため、２０秒経過した時点でコンテンツの２５秒の位置が再生され、経過時間が２５秒ではコンテンツの３０秒までの位置が再生される。従って、シークバーの終端は３０秒の位置を示す。ユーザは、シークバーが不連続に移動することにより不連続区間であったと知ることができるが、図１４（ｃ）のようにシークバーの中でスキップされた区間を明示的に示してもよい。なお、シークバーにより再生経過部分を示さずに、再生している位置のみを示してもよい。また、予めスキップを考慮した総再生時間をシークバーに示し、再生時にはシークバーが連続的に移動するようにしてもよい。図１４の例では、予め総再生時間を５５秒としておくことになる。
【００４６】
また、サンプルの再生時間長を調節することにより再同期点までスキップするかどうかを切替えてもよい。例えば、再生端末において予め設定されたとおりに動作してもよい。また、当該処理を行うかどうかを、再生開始に先立って、端末の画面上でユーザに選択させてもよい。
【００４７】
また、スキップ処理が必要となるのは、ＭＰ４ファイルのトラック内に不連続な区間が存在するなど、不完全なデータが格納されるケースが主である。従って、ファイル内に不完全なトラックが含まれるかどうかを示す識別情報に従って、スキップ処理を行うかどうか決定してもよい。ここで、ｆｔｙｐなどに格納されるＭＰ４のブランドや、３ＧＰＰやＳＤＡ（ＳｅｃｕｒｅＤｉｇｉｔａｌ  Ａｓｓｏｃｉａｔｉｏｎ）などの運用規格で規定される特定のＢｏｘ内の情報を使用できる。例えば、放送データを記録したＭＰ４ファイルであることを示すブランドが存在するかどうかにより判定する。
【００４８】
携帯端末において放送を受信する際には、建物の影などに入り電波の受信状況が悪くなると、数秒など比較的長時間に渡って、データが受信できなくなるため、このような環境で記録したＭＰ４ファイルの再生には、本実施の携帯の逆多重化装置が特に有効となる。
【００４９】
（実施の形態２）
実施の形態１に係る逆多重化装置１０００では、不連続区間をスキップした際に、復号順で次のサンプルから復号開始するとしていた。しかしながら、特に動画像においては、復号順で次のサンプルから復号できるかどうかは保証されないため、スキップ後の画像が正しく復号できないことがあった。例えば、復号開始するサンプルがＰピクチャであり、当該Ｐピクチャが受信エラーにより取得できなかったピクチャを参照するなどのケースでは、次のＩピクチャまでのピクチャは正しく復号できないことがある。本実施の形態の逆多重化装置は、スキップ後に、ランダムアクセス可能なサンプルから復号開始することにより、復号開始後のサンプルが正しく復号できることを保証し、再生品質を向上する。
【００５０】
本実施の形態の逆多重化装置は、修正手段１００１とサンプル取得手段１０４の動作が異なる点において実施の形態１の逆多重化装置と異なる。以下に、実施の形態１の逆多重化装置と異なる点について説明する。
【００５１】
修正手段１００１は、サンプル[ＳｐｌＮｕｍ]の再生時間長Ｄｕｒ＿ｏｕｔを決定するとともに、次に復号するサンプル[ＳｐｌＮｕｍ＋ｊ]を決定して、サンプル[ＳｐｌＮｕｍ＋ｊ]の表示時刻を算出する。さらに、次に復号するサンプルがサンプル[ＳｐｌＮｕｍ＋ｊ]であることを時刻情報解析手段１００５に通知する。サンプル取得手段１０４は、修正手段１００１により決定されたサンプルのサンプルデータｓｐｌＤａｔ１を復号表示手段１００２に入力し、復号表示手段１００２は、修正手段１００１から入力された復号時刻と表示時刻に基づいてサンプルデータｓｐｌＤａｔ１を復号し、出力する。
【００５２】
ここで、サンプル[ＳｐｌＮｕｍ＋ｉ] とサンプル[ＳｐｌＮｕｍ＋ｊ]が同一であれば、サンプル[ＳｐｌＮｕｍ]の次に復号されるサンプルは、実施の形態１の多重化装置において決定されるサンプルと同一になる。
【００５３】
図１５は、本実施の形態の逆多重化装置の動作を示すフローチャートであり、ステップ１３０１とステップ１３０２の動作において逆多重化装置１０００と異なる。ステップ１３０１では、サンプル[ＳｐｌＮｕｍ]の再生時間長を修正する。ステップ１３０２では、サンプル[ＳｐｌＮｕｍ]の次に復号するサンプルであるサンプル[ＳｐｌＮｕｍ＋ｊ]を決定するとともに、サンプル[ＳｐｌＮｕｍ＋ｊ]の表示時刻を決定する。サンプル[ＳｐｌＮｕｍ＋ｊ]の表示時刻は、ｓｔｔｓとｃｔｔｓ、あるいはｔｒｕｎなどの従来のＭＰ４ファイルのヘッダ情報から取得した表示時刻から、下記の時間長を減算して取得する。
【００５４】
｛サンプル[ＳｐｌＮｕｍ＋ｊ]の表示時刻
−  ＭＡＸ（サンプル[Ｖ＿ＳａｍｐｌｅＮｕｍ]の表示時刻  ＋  動画像の１フレーム間隔、サンプル[Ａ＿ＳａｍｐｌｅＮｕｍ]の表示時刻  ＋  音声の１フレーム間隔）｝
ここで、動画像についてはサンプル[Ｖ＿ＳａｍｐｌｅＮｕｍ]の直後、音声についてはサンプル[Ａ＿ＳａｍｐｌｅＮｕｍ]の直後に不連続区間があるとする。
【００５５】
図１６は、ステップ１３０２においてサンプル[ＳｐｌＮｕｍ＋ｊ]を決定する際の動作を示すフローチャートである。ステップ１４０１では、サンプル[ＳｐｌＮｕｍ]がフラグメント内のサンプルであるかどうか判定し、フラグメント内のサンプルであればステップ１４０２に進み、そうでなければステップ１４０５に進む。ステップ１４０２では、ＭＰ４ファイル内にｍｆｒａが存在するかどうか判定する。ｍｆｒａとは、フラグメント部分に格納されたランダムアクセス可能なサンプルの位置を示すＢｏｘである。ｍｆｒａが存在する際にはステップ１４０３に進み、存在しなければステップ１４０４に進む。ステップ１４０３では、ｍｆｒａに示されるランダムアクセス可能なサンプルのうち、復号順がサンプル[ＳｐｌＮｕｍ]の次となるサンプルを、サンプル[ＳｐｌＮｕｍ＋ｊ]にすると決定する。なお、ｍｆｒａでは、シンクサンプル以外にもＧＤＲ（Ｇｒａｄｕａｌ  Ｄｅｃｏｄｅｒ  Ｒｅｆｒｅｓｈ）タイプのサンプルを示すことができるが、スキップ先としてはシンクサンプルのみを選択してもよい。ここで、ＧＤＲタイプのサンプルとは、当該サンプルから復号開始した際に、所定の枚数のサンプルを復号した時点で正しい復号結果が得られるサンプルであり、復号開始サンプルから正しい復号結果が得られるかどうかにおいてシンクサンプルと異なる。また、ランダムアクセス可能サンプルがシンクサンプルであるかどうかは、各サンプルがシンクサンプルであるかどうかを示すｔｒｕｎ内のフラグ情報を参照するなどして判定できる。ステップ１４０４では、復号順で直後のフラグメントの先頭サンプルをサンプル[ＳｐｌＮｕｍ＋ｊ]にすると決定する。ここで直後のフラグメントとは、当該メディアのサンプルが格納されるフラグメントのうち、復号順が直後であるフラグメントを指す。サンプル[ＳｐｌＮｕｍ]がｍｏｏｖ内のサンプルである際には、ステップ１４０５に進むが、このときは、シンクサンプルのうち、復号順で次のサンプルをサンプル[ＳｐｌＮｕｍ＋ｊ]にすると決定する。なお、ｍｏｏｖ内のシンクサンプルは、ｓｔｓｓにより示される。ここで、ｍｏｏｖにおいて、サンプル[ＳｐｌＮｕｍ]以降にシンクサンプルが存在しないときには、先頭フラグメントの先頭サンプルにスキップする。
【００５６】
なお、サンプル[Ａ＿ＳａｍｐｌｅＮｕｍ]以降の音声サンプルで、動画像の復号開始サンプル[ＳｐｌＮｕｍ＋ｊ]よりも復号時刻が前であるサンプルが必ず存在するように、サンプル[ＳｐｌＮｕｍ＋ｊ]を決定してもよい。このとき、ステップ１４０３では、サンプル[Ａ＿ＳａｍｐｌｅＮｕｍ＋１]と表示時刻が等しい、あるいは後であるランダムアクセス可能なサンプルで、最も表示時刻が早いサンプルをサンプル[ＳｐｌＮｕｍ＋ｊ]とする。ステップ１４０３では、フラグメントの先頭サンプルのうち、サンプル[Ａ＿ＳａｍｐｌｅＮｕｍ＋１]と表示時刻が等しい、あるいは後であり、最も表示時刻が早いサンプルをサンプル[ＳｐｌＮｕｍ＋ｊ]とする。また、ステップ１４０５では、サンプル[Ａ＿ＳａｍｐｌｅＮｕｍ＋１]と表示時刻が等しい、あるいは後であるシンクサンプルで、最も表示時刻が早いサンプルをサンプル[ＳｐｌＮｕｍ＋ｊ]とする。
【００５７】
また、サンプル[Ａ＿ＳａｍｐｌｅＮｕｍ]以降の音声サンプルで、動画像の復号開始サンプル[ＳｐｌＮｕｍ＋ｊ]よりも復号時刻が後であり、サンプル[ＳｐｌＮｕｍ＋ｊ]との復号時刻の差分値が所定の値以下であるサンプルが必ず存在するようにしてもよい。このようにすることで、動画像を再生開始時間近傍において音声も再生できることが保証される。
【００５８】
動画像トラックが存在する際には、上記の方法で動画像の復号開始サンプルを決定する。図１７は、音声の復号サンプルを決定する際の動作を示すフローチャートである。まず、ステップ１５０１では、動画像の復号開始サンプル（ＶＳＰＬ＿ＮＥＸＴ）を決定する。次に、ステップ１５０２において、ＭＰ４ファイル内に音声トラックが存在するかどうか判定し、音声トラックが存在する際にはステップ１５０３に進み、存在しなければステップ１５０４に進む。ステップ１５０３では、音声については、動画像の復号開始サンプルＶＳＰＬ＿ＮＥＸＴと同一、あるいは直後の復号時刻をもつサンプルから復号開始すると決定し、ステップ１５０４に進む。ステップ１５０４では、動画像については、ＶＳＰＬ＿ＮＥＸＴから復号、再生すると決定する。なお、動画像の復号開始サンプルがＧＤＲタイプのサンプルである際には、正しい復号結果が得られるサンプルから表示開始してもよく、このとき、復号開始サンプルと表示開始サンプルとが異なることになる。さらに、動画像の表示を開始するサンプルに従って、音声の復号開始サンプルを決定してもよい。
【００５９】
なお、サンプル[Ａ＿ＳａｍｐｌｅＮｕｍ]以降のサンプルで、復号時刻が、動画像の復号開始サンプル[ＳｐｌＮｕｍ＋ｊ]よりも前であるサンプルが存在する際には、サンプル[ＳｐｌＮｕｍ＋ｊ]の直前の復号時刻をもつ音声サンプルから復号開始してもよい。
【００６０】
なお、音声トラックについても、動画像トラックの復号開始サンプルに依存せずに、直後のシンクサンプルから復号開始してもよい。このとき、音声では、通常、全てのサンプルがシンクサンプルであるため、直後のサンプルから復号開始することになる。
【００６１】
図１８は、サンプル[ＳｐｌＮｕｍ＋ｊ]を決定する際の例であり、図１３（ｂ）と同一のケースである。ただし、動画像については１番目と７番目のサンプルのみがシンクサンプルであるとする。図１３（ｂ）では、動画像については、不連続区間の直後であるＶ５から復号を開始したが、本実施の形態では、不連続区間の直後のシンクサンプルであるＶ７から復号を開始する。また、音声についても、Ｖ７と復号時刻が等しいＡ１５から復号開始される。
【００６２】
ここまでは、パケットロスなどによりデータが欠落し、結果としてサンプルが取得できないケースについて説明したが、データの一部が欠落したサンプルを再生する際にも、同様の方法が適用できる。図２１は、データの一部が欠落したサンプルを含むトラックを再生する際の動作を示す。図２１（ａ）は、MP4ファイルに格納されたストリーム例であり、点線で囲ったサンプルは、データの一部が欠落したサンプル（以降、不完全なサンプルと呼ぶ。）である。この例では、２番目から１１番目までのサンプルは、不完全なサンプルである。なお、不完全なサンプルであるかどうかは、ｍｄａｔのサンプルデータに識別情報を含めることにより示してもよいし、ｍｏｏｖあるいはｍｏｏｆなどのヘッダ情報において別途情報を示してもよい。
【００６３】
不完全なサンプルは正常に復号できないことがあり、直前サンプルの復号結果を用いてコンシールメントするなどのエラー処理を行っても正しい復号結果を得られないため、特に、不完全なサンプルが長時間連続すると再生品質の低下が顕著になる。一方で、短時間であればエラー処理により一定以上の再生品質が得られると考えられるため、不完全なサンプルが連続する区間の時間長に応じて、当該区間のサンプルを再生するかどうか決定することは有効である。図２１（ｂ）は、不完全なサンプルが存在する際の再生動作を示すフローチャートである。まず、ステップ１６０１において、不完全なサンプルが一定時間以上連続するかどうか判定し、一定時間以上連続すると判定された際にはステップ１６０２に進み、そうでなければステップ１６０３に進む。ステップ１６０２では、不完全なサンプルが連続する区間の再生をスキップすると決定し、ステップ１６０３では、当該区間における不完全なサンプルについても再生すると決定する。なお、オーディオとビデオのトラックについて、不完全なサンプルが連続する区間が重なるかどうかに基づいて、再生動作を決定してもよい。また、不完全なサンプルを再生するかどうかをユーザが決定してもよい。さらに、不完全なサンプルが連続するかどうかではなく、一定区間内において所定の割合以上のサンプルが不完全なサンプルであるかどうかなど、他の判定条件に基づいて再生動作を決定してもよい。
【００６４】
（実施の形態３）
ここで、上記実施の形態１から実施の形態２で示した多重化方式変換装置、および逆多重化装置を用いたシステムを説明する。
【００６５】
図１９は、放送、および通信によるコンテンツ配信サービスを実現するシステムの全体構成を示すブロック図である。まず、放送データを受信するケースについて述べる。携帯電話ex１０５、あるいはＤＶＤレコーダなどのディスクレコーダex１０４は、デジタル化された符号化メディアデータが多重化されたＴＳパケット列を受信する。携帯電話ex１０５では、受信したＴＳパケット列を、ＭＰ４に変換してからＳＤカードex１０６に記録する。記録したＭＰ４ファイルは、本発明に係る逆多重化装置を備えた携帯電話ex１０５、ディスクレコーダex１０４、あるいは図示しないパーソナルコンピュータなどで視聴することができる。また、ＭＰ４ファイルを電子メールに添付して、携帯電話ex１０５から無線基地局ex１０７を経由して、本発明に係る逆多重化装置を備えた別の携帯電話ex１０８に送信し、携帯電話ex１０８においてＭＰ４ファイルを視聴することもできる。さらに、メール添付ではなく、ＨＴＴＰ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）およびＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）などのプロトコルを使用して、携帯電話ex１０５から携帯電話ex１０８にダウンロード、あるいは擬似ストリーミング配信してもよい。
【００６６】
ディスクレコーダex１０４においても、受信したＴＳパケット列をＭＰ４に変換し、ＳＤカード、ＤＶＤなどの光ディスク、あるいはハードディスクに記録することができる。また、記録したＭＰ４ファイルを、携帯電話や図示しないパーソナルコンピュータに対してダウンロード、あるいは擬似ストリーミング配信してもよい。
【００６７】
コンテンツサーバex１０２からインターネット経由で配信されたＴＳパケット列を携帯電話ex１０５、あるいはディスクレコーダex１０４において受信する際にも、上記放送データを受信した際と同様にＭＰ４ファイルを使用することができる。
【００６８】
また、ＴＳに関わらず、インターネット上のストリーミング配信などで使用されるＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）などのプロトコルにより送信されたデータをＭＰ４で記録する際にも、本発明に係る逆多重化装置が適用できる。
【００６９】
（実施の形態４）
上記各実施の形態で示した逆多重化装置における逆多重化方法を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００７０】
図２０は、上記各実施の形態の逆多重化装置における逆多重化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【００７１】
図２０(b) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図２０(a) は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
【００７２】
また、図２０(c) は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。多重化方式変換装置における多重化方式変換方法、および逆多重化装置における逆多重化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記各実施の形態の逆多重化装置における逆多重化方法を実現する上記各実施の形態の逆多重化装置における逆多重化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００７３】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【産業上の利用可能性】
【００７４】
本発明に係る逆多重化装置は、放送や通信などパケットロスによるデータの欠落が発生する環境において受信したストリームを記録したＭＰ４ファイルを再生する機器全般に適用することができ、特にＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）カードなどの記録メディアに蓄積されたコンテンツを再生できる携帯端末などにおいて有効である。
【図面の簡単な説明】
【００７５】
【図１】ＭＰＥＧ−４  ＡＶＣにおけるＡＵのデータ構造を示す図
【図２】ＰＥＳパケット、およびＴＳパケットのデータ構造を示す図
【図３】ＭＰ４のＢｏｘ構造を示す図
【図４】ＭＰ４におけるmoovの階層構造を示す図
【図５】フラグメント化されたＭＰ４の構造例
【図６】データが一部欠落したストリームを格納するＭＰ４ファイルについて説明する図
【図７】従来の逆多重化装置１００の構成を示すブロック図
【図８】従来の逆多重化装置１００の動作を示すフローチャート
【図９】本発明の実施の形態１に係る逆多重化装置１０００の全体構成を示すブロック図
【図１０】本発明の実施の形態１に係る逆多重化装置１０００の動作概要を示すフローチャート
【図１１】本発明の実施の形態１に係る逆多重化装置１０００の動作例を示す図
【図１２】本発明の実施の形態１に係る逆多重化装置１０００において、サンプルの再生時間長を修正するかどうかを判定する際の動作例を示す図
【図１３】本発明の実施の形態１に係る逆多重化装置１０００における、サンプルの再生時間長を決定する際の動作例を示す図
【図１４】不連続区間の再生がスキップされたことのユーザへの通知方法の一例を示す図
【図１５】本発明の実施の形態２に係る逆多重化装置の動作概要を示すフローチャート
【図１６】本発明の実施の形態２に係る逆多重化装置において、不連続区間後の動画像の復号開始サンプルを決定する動作を示すフローチャート
【図１７】本発明の実施の形態２に係る逆多重化装置において、不連続区間後のオーディオの復号開始サンプルを決定する動作を示すフローチャート
【図１８】本発明の実施の形態２に係る逆多重化装置の動作例を示すフローチャート
【図１９】本発明の実施の形態１および本実施の形態２に係る逆多重化装置の実用例を示す図
【図２０】上記各実施の形態の逆多重化装置における逆多重化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図
【図２１】不完全なサンプルを含むMP4ファイルを再生する際の動作を示すフローチャート
【符号の説明】
【００７６】
１０１  ヘッダ分離手段
１０２  ヘッダメモリ
１０３  ｍｄａｔメモリ
１０４  サンプル取得手段
１０５  時刻情報解析手段
１０６  復号表示手段
【図１】
2006238003.tif 000003
【図２】
2006238003.tif 000004
【図３】
2006238003.tif 000005
【図４】
2006238003.tif 000006
【図５】
2006238003.tif 000007
【図６】
2006238003.tif 000008
【図７】
2006238003.tif 000009
【図８】
2006238003.tif 000010
【図９】
2006238003.tif 000011
【図１０】
2006238003.tif 000012
【図１１】
2006238003.tif 000013
【図１２】
2006238003.tif 000014
【図１３】
2006238003.tif 000015
【図１４】
2006238003.tif 000016
【図１５】
2006238003.tif 000017
【図１６】
2006238003.tif 000018
【図１７】
2006238003.tif 000019
【図１８】
2006238003.tif 000020
【図１９】
2006238003.tif 000021
【図２０】
2006238003.tif 000022
【図２１】
2006238003.tif 000023