平成 12 年度
学士学位論文マルチストリーム画像ファイル
同期蓄積管理法A Synchronous Storing Managementfor Multi-Stream Image Files

1010427

野中健史

指導教員

島村

和典

2001 年 2 月 5 日
高知工科大学 情報システム工学科

要 旨

マルチストリーム画像ファイル
同期蓄積管理法野中健史

本研究の目的は, 複数の同期した AV データからなるコンテンツの同期再生を実現させるための同期蓄積管理法を確立することである. また, 具体的な研究課題は, (1) マルチスト
リーム AV ファイルの定義とその生成管理手順を提案すること, (2) 同期管理情報を保存する機能を提案し, 検証することの二つである.
マルチストリーム AV ファイルとは, マルチストリーム配送される場合に空間, 時間, 意
味などの要素を元に同期関連性を判断することのできる同期管理情報および対象とする AV
データから成る. マルチストリーム画像ファイル同期蓄積管理法は, この同期関連性を蓄積保存し, 様々な同期管理要求に対応する機能を提供する方式である.

キーワード

マルチストリーム, 同期性, 意味モデル, MPEG2 TS{i{Abstract

A Synchronous Storing Managementfor Multi-Stream Image Files

Takeshi Nonaka

The purpose of this reserch is to establish synchronous stroring management
for synchronized playback of the content structured by synchronized multi AudioVisual(AV)data. There are two important subjects:(1) de ning the multi stream AV
les and designing the method for synchronous storing management, and (2) verifying
the availability of that method.
"Multi stream AV les" is de ned as the AV les including the infomation that has
their synchronism. The title of this thesis, "Synchronous storing management for multistream image les", means storing their synchronism and providing the functions forthe variety of requirements to manage the synchronism content by content.

key words

Multi-Streams, synchronism, description model, MPEG2 TS{ ii {

目次
第1章

1

研究の目的

1.1

島村研究室 MAV 班について

1.2

本研究の目的とは第2章. . . . . . . . . . . . . . . . . . . . . . . .

1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

研究の背景

3

2.1

アプリケーションの向上 . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2.2

ネットワークの高速広帯域化. . . . . . . . . . . . . . . . . . . . . . . .

3

2.3

既存の技術について. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

AV データのストリーミング . . . . . . . . . . . . . . . . . . . . .

3

2.3.2 SMIL （Synchronized Multimedia Integration Language） . . . . . . . .

4

2.3.3 MPEG2 SYSTEM について . . . . . . . . . . . . . . . . . . . . .

4

マルチストリーム同期蓄積管理方式

53.1

マルチストリームの同期再生と参照性における課題 . . . . . . . . . . . . .

5

3.2

マルチストリーム AV ファイルの定義 . . . . . . . . . . . . . . . . . . . .

6

3.2.1 撮像内容の分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

3.2.2

意味モデルの定義 . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

3.2.3 意味モデルのデータ構成 . . . . . . . . . . . . . . . . . . . . . . .

7

3.2.4

意味モデル定義手順 . . . . . . . . . . . . . . . . . . . . . . . . . .

7

3.2.5 意味モデル定義例 . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

3.2.6 意味モデルのアルゴリズム . . . . . . . . . . . . . . . . . . . . . .

9

3.2.7

AV データファイル構成 . . . . . . . . . . . . . . . . . . . . . . . .

9同期蓄積管理系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

3.3.1

10

2.3.1

第3章

3.3

同期蓄積管理系参照モデル. . . . . . . . . . . . . . . . . . . . . .

{ iii {

目次

3.3.2 サーバの機能構成 . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

3.3.3 エンコーダ側の機能構成 . . . . . . . . . . . . . . . . . . . . . . .

11

AV データ生成系 . . . . . . . . . . . . . . . . . . . . . . . . . . .

11. . . . . . . . . . . . . . . . . . . . . . . . . . . .

12. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

本機能の同期蓄積管理上の役割 . . . . . . . . . . . . . . . . . . . .

12

エンコーダの登録 . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

3.4.2 エンコード同期制御スケジュール . . . . . . . . . . . . . . . . . . .

13. . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

本機能の同期蓄積管理上の役割 . . . . . . . . . . . . . . . . . . . .

15

3.5.2 同期管理情報の記憶 . . . . . . . . . . . . . . . . . . . . . . . . . .

15

3.5.3 同期参照点の算出 . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

同期エンコード方式の検証実験

18

同期情報記録系

3.4

同期エンコード方式

3.4.1

3.5

同期管理情報生成方式

3.5.1

第4章

4.1

実験目的

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

4.2

実験環境

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

4.3

実験内容

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

4.4

性能の評価基準 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

4.5

結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

4.6

考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

第5章

考察

23

5.1

まとめ

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

5.2

全体の考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

5.3

今後の研究課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

24

謝辞

{ iv {

目次

25

参考文献

{v{

図目次
2.1 ストリーミング . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

3.1 同期蓄積管理系参照モデル . . . . . . . . . . . . . . . . . . . . . . . . . .

10

3.2 エンコーダ登録手順 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

3.3 エンコード予約表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

3.4 エンコード予約処理スケジュール . . . . . . . . . . . . . . . . . . . . . . .

14

3.5 制御命令同期転送手順スケジュール . . . . . . . . . . . . . . . . . . . . . .

14

3.6 MPEG2 Tranport Stream の構成 . . . . . . . . . . . . . . . . . . . . . .

16

4.1 実験系構成図 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

4.2 各回ごとの処理誤差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20{ vi {

表目次
3.1 意味モデル構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

3.2 AV データファイル構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

4.1 実験条件設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19{ vii {

第1章

研究の目的

1.1

島村研究室 MAV 班について

本研究室の MAV 班は, AV データのマルチストリーム配送を主題とする研究グループであり, 以降に示す背景を受けて編成された. 本班は, マルチストリーム配送される複数の AV
データを適切に再生させるために, 一連の処理の各段階で何らかの同期性を保証する必要があるという考えに立ち, そのための技術の研究を進めている.

1.2

本研究の目的とは

1. AV データに意味参照性を与えるとともに、複数の AV データ間でこれを実現させるためのデータを定義すること

2. マルチストリーム AV ファイルを定義し, 同期管理に必要なデータとそれを保存する方法を示すこと.

3. AV データを生成段階から管理することで, その内容本来の実時間シーケンスに対する同期性を約束し, 時刻情報を用いて複数メディアが同期される局面においてそれが適正であることを保証すること.

4. メディア間の同期において, その内容が持つ共通要因である時間情報に着目し, メディ
ア間のシーケンスを同期させるために必要な情報を抽出し, 蓄積管理すること.

5. 複数の AV データがマルチストリーム配送される場合に, 任意の組み合わせや条件に基づいて, (2) の情報により同期を取るための各 AV データの送信開始ユニット, 再生開始

{1{

1.2 本研究の目的とはユニットの参照情報を提供すること.

{2{

第2章

研究の背景

2.1

アプリケーションの向上

CPU などのデバイスの処理能力や, AV データの撮像, 編集, エンコードのためのデバイ
スやソフトなどが比較的安価に提供されるようになってきたことなどから, 購入時から AV
データを扱う機能を実装して提供される PC が増えてきており, ユーザが表現方法の一つとして積極的に AV データを利用することができるようになった.

2.2

ネットワークの高速広帯域化

近年, xDSL 技術や CATV などにより高速に AV データを受信できる環境が整ってきた.
加えて, 光ファイバーによる高速広帯域の回線が一般にサービスが行われるようになろうと
している.

2.3

既存の技術について

2.3.1

AV データのストリーミング

ストリーミングは, 音声や動画のファイルをユーザーが連続的に受け取りながら連続的に
リアルタイムで再生する技術で, ライブ中継の AV データを配送する場合にも利用できる.
また, AV データが大容量であってもデータ全体をダウンロードすることなく再生できるので, 映画のような長時間のデータも閲覧することができる. 図 2.1 はエンコードされた AV
データがストリーミンクされ, 断続的にサーバを経由してクライアント側へ送信されている{3{

2.3 既存の技術について様子を示す.

図 2.1
2.3.2

ストリーミング

SMIL （ Synchronized Multimedia Integration Language）

SMIL は XML ベースの同期マルチメディア統合言語で, W3C により標準化され, Real
System などの多くのアプリケーションでこれにより記述されたコンテンツを再生させる機能が提供されている. 多くのデータフォーマットに対応し, 時間軸, 空間軸の同期もできる.

2.3.3

MPEG2 SYSTEM について

MPEG2 SYSTEM 形式は音声, 映像, プライベートデータを多重化して圧縮するもので,以下の種類がある.

1. MPEG2 Elementary Stream
2. MPEG2 Program Stream
3. MPEG2 Transport Stream
1 は, 各アクセスユニット (映像, 音声の 1 フレーム) に対応する PES(Packetized Elementary Stream) で構成される基本の形式である. 2 は, その名前が指すとおり一つの番組を示しており, PES をグループ化し配送, 再生のための情報を付加した形式である. 3 は, 2 とは逆に PES を分割し, 複数の番組を多重化して配送できるようになっている. 細かく分割する
ことにより, エラーに強く, 配送中に編集することができるなど, 2 より配送され再生されることをより意識したものとなっている.

{4{

第3章

マルチストリーム同期蓄積管理方式

3.1

マルチストリームの同期再生と参照性における課題

マルチストリームの同期再生させるには, 以下の課題がある.

1. どの AV データが同期再生されるべきなのか判断するには, その映像の内容を知っていない限り直接に内容を確認しなければならない

2. AV データの再生区間を何らかの形で意味づけしたとしても, マルチストリーム配送されるべき同様の意味を持っている再生区間同士に, 同じ意味を持っていると判断できる
共通する値が与えられるとは限らない

1 は, 処理系が AV データを直接確認することなく, ある程度見通しを立ててマルチストリー
ム配送され同期再生されうる AV データを区別するために, 各 AV データの内容を示す情報
が生成段階で付与されるべきであることを示し, 2 はマルチストリーム配送され同期再生されうる AV データの再生区間同士が, 同様の意味を持つと判断できる情報を共有する必要があることを示す.
これらの課題を満たすため, マルチストリーム AV ファイルを定義する. また, 同期管理情報を生成するために同期エンコード方式と同期管理情報生成方式を提案する.

{5{

3.2 マルチストリーム AV ファイルの定義
3.2

マルチストリーム AV ファイルの定義

3.2.1

撮像内容の分析

撮像内容は以下の種類に分類できる.

1. 事前に作成された筋書きに従って作成されるもの
2. 筋書きに相当する規則性を持っているもの
3. 不規則で筋書きを予測できないもの
1 は, 映画やドラマなどを指し, 撮像内容の持つ意味と時間シーケンスは台本という筋書きによって対応付けられ, これに従ってその内容も進行する.2 は, スポーツや催し物のようにその時間シーケンスが具体的にはどうなるのかは分からないが, 内容の進行に規則性がありその内容を示す各事象の前後関係や連続性が分かるものを指す.3 は, 撮像内容に事前に対応付けられる筋書きを想定することが困難なものを指す.

1 を対象とするコンテンツは, 台本の情報を元に後述する同期管理情報生成方式により参照点を与えれば, そのコンテンツが持っている内容の再生区間を意味単位で参照し, 同期再生させることもできる.

2 を対象とするコンテンツは, 実際に撮像をするまで具体的な時間シーケンスが分からな
いが, その内容が示す基本的な構成が分かっていて, その区切りに相当する時刻を内容構成に対応付けて記憶しておけば, ある程度, 意味参照性を提供することができる.

3 を対象とするコンテンツは, 何らかの方法で直接に AV データを判断対象にして, 内容構成を判断する必要がある.

3.2.2

意味モデルの定義

意味モデルは, 撮像内容の持つ意味を規則性や共通概念に従いモデル化し, 同種の内容を持つコンテンツに同じ参照性を与えることを目的としている. この意味モデルは, 前項に示した撮像内容の種類 2 を直接の対象とする. 他は次のように, 間接的に用いる.

{6{

3.2 マルチストリーム AV ファイルの定義
撮像内容の種類 1 には, 台本を元に直接後述の AV データファイルを記述し, 既存の意味
モデルを対応させる.
撮像内容の種類 3 は, 人為的に AV データを再生させて内容構成を判断するか, あるいは,映像が同種の撮像内容を持つ AV データなら必ず共通する性質を持つ映像を持つことが保証されるものであれば, その特徴を画像認識し, 自動的に内容構成の分岐を判断させ, 後述のAV データファイルを記述し, 既存の意味モデルを対応させる.
この意味モデルは, 同じ意味を持つ再生区間に同じ意味情報を割り当てるので, 複数の AV
データの同じ意味を持つ再生区間を同期再生させる手掛かりとして用いることが出来る.

3.2.3

意味モデルのデータ構成

以下の表 3.1 に意味モデルのデータ構成を示す.
表 3.1

意味モデル構成

構成情報名

意

意味モデル

AV データの主題に対応する筋書きの意味構成

味

構成要素
意味モデル名, 意味要
素数, 意味要素
意 味 要 素 名, 前 要 素,

意味要素

後 要 素, 派 生 要 素 数,意味を持つ内容を示す要素

派生
派生要素名, 分岐条件,

派生

この意味モデルで想定できる基本的な意味内容の派生

前要素

内容の進行順で現在の意味要素の前にある要素

前意味要素名, 連続性

次要素

内容の進行順で現在の意味要素の後ろにある要素

後意味要素名, 連続性

3.2.4

意味モデル定義手順

意味モデルの設定手順は, 以下の順序に従うものとする.

1. 意味モデル名の定義{7{

前要素, 後要素

3.2 マルチストリーム AV ファイルの定義
2. 意味要素の分析
3. 意味要素の定義
4. 各意味要素の前後関係, 連続性の定義
5. 派生条件の分析
6. 派生の定義
3.2.5

意味モデル定義例

例として野球を意味モデルとして定義する場合について考える.
野球は内容の進行に規則があり, 1 回表から 9 回裏まで表と裏が繰り返される. 意味要素は
この各回と"試合開始", "試合終了"となる. また, 前後関係, 連続性も明らかなので記述することができる.
派生は, 基本的な筋書きにおける分岐に対応するので, 以下のものが定義される.

1. 各回での展開
2. 延長
3. 9 回表での試合終了
1 は, 打者の動作の結果を分岐条件とし, 攻撃側が三回アウトを取られるまで打者の数だけ派
生"打順"を繰り返す.

2 は, 意味要素"9 回裏"の派生として定義され, 両チームの点数が同点であることを分岐条件にとり, 条件が崩れるまでの意味内容を示す. 条件が崩れたとき, 意味要素"試合終了"を派
生要素に取る.

3 は, 意味要素"9 回表"の派生として定義され, 守備側が攻撃側より 9 回表終了時に点が大きいことを分岐条件として, 意味要素"試合終了"を派生要素に取る.

{8{

3.2 マルチストリーム AV ファイルの定義
3.2.6

意味モデルのアルゴリズム

意味モデル自身は派生における分岐条件は, なんらかの値を記憶するのではなくて条件判断を行う関数が記憶される必要がある. 例えば, 前項の例の派生"9 回表での試合終了"の分岐>(攻撃側の点)) という論理計算とその結果を判断する処理が記憶され条件は ((守備側の点)る. これは, 意味モデルが関数を記憶する要素として定義される必要があることを示す.
このため, 意味モデルはオブジェクト指向言語で記述されるオブジェクトクラスとして定義され, 意味モデルを利用するオブジェクトのために条件分岐を判断するためのインターフェースが提供される. 既存の意味モデルから詳細な再生区間を定義した意味モデルが作成される場合, 元になる意味モデルは継承され, その意味構成を保存させることができる.

3.2.7

AV データファイル構成

マルチストリーム AV ファイルは各 AV データごとの具体事象を記述し, 時間情報や空間情報による参照性を与える. また, 意味情報による参照性は, 先述した意味モデルにより与えられる.
意味モデルは撮像対象の出来事の意味構成であり, それに対応する出来事が起こった時,意味に対応する各再生区間の開始時刻と終了時刻が記憶されるべきであることを処理系に認識させる.
結果として得られる意味モデルを元に記憶された時系列は, 適用された意味モデルの内容構造を持つ撮像対象の意味単位の再生区間を示すので, この内, AV データが捉えた再生区間を記憶することで, 意味構成が保存される.
以下の表 3.2 に, このマルチストリーム AV ファイルの AV データファイル構成を示す.

{9{

3.3 同期蓄積管理系
表 3.2
構成情報名

意 味

管理情報

同期管理情報AV データファイル構成
構成要素
内容名1 , 空間情報, 内容構成, 開始時刻1 , 終
了時刻1

空間情報

AV データの撮像空間情報

国名, 地域名, 地区名, 場所名, 視点情報

視点情報

撮像空間上の AV データの視点位置

水平位置, 垂直位置

内容構成

AV データの再生区間とその意味形式

意味モデル名, 再生区間数, 再生区間

再生区間

AV データの再生区間

意味要素名, 内容名2 , 開始時刻2 , 終了時刻23.3

同期蓄積管理系

3.3.1

同期蓄積管理系参照モデル

下図 3.1 に同期蓄積管理法を行う同期蓄積管理系の参照モデルを示す.

図 3.1 同期蓄積管理系参照モデル

同期蓄積管理系は, 入力・蓄積系と配送系に大別される. 本研究は入力・蓄積系を対象としており, この構成と機能について後述する.

{ 10 {

3.3 同期蓄積管理系
3.3.2

サーバの機能構成

サーバは入力・蓄積系において以下の機能を実装するものとする.

1. 同期エンコード方式によるエンコード制御機能
2. 同期管理情報生成方式による同期管理情報の生成, 蓄積機能
各方式は, 後述する.

3.3.3

エンコーダ側の機能構成

エンコーダ側は, 図 3.1 に示されるように構成される. エンコーダ側は, AV データ入力・生成装置とエンコーダからなる AV データ生成系と空間情報データベースからなる同期情報
記録系からなる.

AV データ生成系
AV データ生成系は以下のように構成され, 処理を行うものとする.
 同一空間を撮像対象とする AV データ生成系は, 同一のセグメントあるいはサブネットに置かれるものとする.

 エンコーダは, 処理速度を重視しハードウエアエンコードを行うものとし, エンコーダ
ボードを実装する.

 AV データ生成装置は, 常時 AV データを生成し, エンコーダに送りこみつづけるものとする AV データ生成装置〜エンコーダは直接接続され, その間の AV データの転送時間が1ms より十分に短いものとする
 エンコーダは, エンコーダの制御と同期エンコード命令を監視, 受信する機能を実装したエンコーダ管理プログラムが起動されているものとする{ 11 {

3.4 同期エンコード方式
 エンコードオプションやファイル名の指定などのエンコーダボードの初期化処理は, エンコードが実行されるまでに行われているものとする

 エンコード同期制御命令を受けて, エンコードの開始および終了を行うものとする
 エンコードされた AV データは, 一旦エンコーダのローカルストレージに蓄積され, エンコードが終了次第, 同期管理サーバに転送されるものとする

同期情報記録系
同期情報記録系は以下のように構成され, 処理を行うものとする.

 各撮像空間ごとに置かれるものとする
 撮像空間で撮像できる出来事についての情報を保持する
 撮像空間で撮像できる出来事は, 同期蓄積管理系のサポートする意味モデルの出来事の種類に分類される

 同期蓄積管理系がサポートする意味モデルで, その撮像空間で撮像されうるものを持つ
ものとする

 サーバから撮像できる出来事について問い合わせがあった時, 撮像対象名に対応する出来事を通知する

 既知の出来事が発生したとき, その出来事が開始して終了するまで意味モデルの意味要
素の開始, 終了時刻を記憶し, 終了後サーバへ送信する

3.4

同期エンコード方式

3.4.1

本機能の同期蓄積管理上の役割

本機能は, AV データの内容の実時間シーケンスに対する同期性を約束し, 時刻情報を用いて複数メディアが同期される局面においてそれが適正であることを保証する.AV データは事前に予約されるエンコード開始および終了時刻に正確にエンコード処理を行い, 撮像内容の{ 12 {

3.4 同期エンコード方式
実時間シーケンスを正確に切り取る.

エンコーダの登録
エンコード同期を実行するエンコーダは, 下図 3.2 の手順により同期管理蓄積系に登録される.

図 3.2 エンコーダ登録手順

図中に示されるエンコーダ ID は同期管理情報の空間情報と, 同じ空間情報を持つエンコー
ダの序数で構成されるデータである.

3.4.2

エンコード同期制御スケジュール

同期エンコード処理は, 左図 3.3 に示されるエンコード予約表に沿い, 各エンコーダごとの制御命令同期処理実行時刻 (予約時刻より制御命令同期処理に必要な時間だけ早い) まで,
図示した式で決定される周期で確認しながら待機する. これを右図 3.4 に示す.

{ 13 {

3.4 同期エンコード方式

図 3.3

エンコード予約表
図 3.4 エンコード予約処理スケジュール

制御命令同期処理実行時刻に達すると, エンコード予約表の対応する時刻に予約されているエンコーダごとにプロセスを生成し, 下図 3.5 に示したスケジュールで制御命令同期処理を行う.

図 3.5 制御命令同期転送手順スケジュール

各プロセスの処理時間は図に示されるように割り当てられる. 図中の式により, 遅延予測に必要な時間 I delay_ana は見積もられ, I delay_ctrl も事前に設定された値を用いるので, 一定の処理時間内で処理を終了する.
予測遅延 D Inst_snd は, 図中の式で算出される. この, D Inst_snd 分制御命令送信に掛{ 14 {

3.5 同期管理情報生成方式
かると見積もり, I delay_ctrl から差し引いた分だけ待機してから制御命令を送信することで遅延分だけ先送りし, 遅延を補完する.

3.5

同期管理情報生成方式

3.5.1

本機能の同期蓄積管理上の役割

本機能は大別して以下の二つを示す.

1. マルチストリーム AV ファイルの同期管理情報の記憶
2. 同期管理情報と AV データのデータ領域のマッピング
1 は同期管理情報を各処理の段階で記憶する処理で, 2 は配送, 再生における AV データ領域の直接の同期参照点を算出する処理である.

3.5.2

同期管理情報の記憶

同期管理情報は, 以下の手順で記憶される.

1. エンコード予約時に, 主題として 内容名1 , 予約時刻として 開始時刻1 と 終了時刻1 , エ
ンコーダの空間情報を空間情報に記憶する

2. エンコーダ側の同期情報記録系から, 意味モデルとこれを雛形に記憶した再生区間の時間情報を受け取る

3. 同期情報記録系は, 意味モデルに対応する出来事の開始時刻から終了時刻まで全体を記憶しているので, 開始時刻1 と 終了時刻1 に対応する再生区間を記憶する.

4. 意味モデルを雛型に割り付けられた同期管理情報の各再生区間は, 意味要素と別に独自の意味付けとして 内容名2 を設定できる. 編集者の意図する意味付けかその系独自の参照性を与えるタグが記憶される.

{ 15 {

3.5 同期管理情報生成方式
3.5.3

同期参照点の算出

各 AV データのエンコード形式により算出方法は異なる. 本研究では, 図 3.6 に示す

MPEG2 TS(MEPG2 Transport Stream) を対象とする. 図 3.6 上の網掛け部を主たる処

図 3.6

MPEG2 Tranport Stream の構成

理対象フィールドとする.TSP は PES を Payload に含む.AV データのフレームレート F,

GOP 当たりのフレーム数 U, 開始点からの経過秒 S が既知である時, 同期配送開始および同期再生点の TSP のデータ領域 BS , BP は次のようにして求まる. フレーム間の時間間隔

Sを F とおくと,SF = F1 となる. デコードの関係から, BS は GOP の先頭に相当するので,

S
SF × U で示される個数だけ, ランダムアクセス表示をカウントし終わったときの TSP がBS となる. SF S× U に余りがある場合, BS と BP が異なるので, 別途計算する. この余り時間{ 16 {

3.5 同期管理情報生成方式
Pを P と置くと, BP は BS から S
SF 個分だけ, ユニット開始表示が 1 で, ストリーム ID がS

ビデオストリームである TSP を読み飛ばし終えたときの TSP となる.

{ 17 {

第4章

同期エンコード方式の検証実験

4.1

実験目的

同期エンコード方式で, 実際に指定時刻にエンコードが開始および終了できるように制御命令が到達できるのか試し, 本方式の性能を検証する.

4.2

実験環境

図 4.1 実験系構成図{ 18 {

4.3 実験内容
4.3

実験内容

各エンコーダには実際にエンコードを行わせないで, 制御命令が各エンコーダに到達した時刻を計測し, 予約時刻との誤差を取る. 計測のため, サーバと各エンコーダーの時刻はNTP によって揃えている. 予約時刻は毎回 3 分待機するように設定し, 4.1 に示すように実験条件値を設定した. また, エンコード対象となる SIF(Source Input Format) は NTSC とする.
表 4.1 実験条件設定

パラメータ

値

I delay_ctrl

1(秒)エンコード開始命令数

50(回)

エンコード終了命令数

50(回)サンプル RTT 数20(個)RTT 取得時間

0.1(秒)

制御命令サイズ8(byte)

この場合, 遅延の予測に掛かる時間 I delay_ana は 2 秒となり, 各エンコーダごとのプロセ
スは予約時刻の 3 秒前から制御命令同期処理を実行する.

4.4

性能の評価基準誤差が以下のようである時, 性能が良いと評価する.

 AV データのエンコーダへの流入間隔より十分に小さい
 誤差が生じても, エンコーダ同士の誤差がほぼ等しい 誤差が生じても, 誤差がほぼ一定{ 19 {

4.5 結果
4.5

結果

下図 4.2 に実験結果を示す.

図 4.2 各回ごとの処理誤差

4.6

考察

実験結果は, 以下の特徴を持つ.

 各エンコーダとも各回の誤差がほぼ同じ
 encoder 3 を除き, 他のエンコーダは誤差がほぼ一定
 主に encoder 3 以外も, 希に大きな誤差が発生している.
 主に encoder 3 の結果が, 特に極端に大きな誤差が発生しており, 最大値が 2021ms
だった.

{ 20 {

4.6 考察
SIF が NTSC 形式なので, フレームレートを 30fps(frame per second) として考えると, フレームの間隔は約 33ms となる. この場合, エンコーダに映像信号は 33ms 周期で入力されると考えられ, 少なくとも 33ms より誤差が小さい必要がある. 図 4.2 はこれを意識して, 縦軸の最大値を 33ms にして描画した.
平均誤差は encoder 3 以外は 20ms, encoder 3 は 21ms で 33ms 以下に収まっており,

NTSC, CIF や QCIF などを SIF に取る場合は対応できることが分かる. 各回の誤差がほ
ぼ同じということから, 一定の処理精度を安定して実現できるということも分かる. しかし,100 回中の 8 回ではあるが, 大きな誤差が発生している. この原因として以下のことが考えられる.

1. 複数プロセスの並行処理によるサーバの処理負荷による遅延
2. RTT 取得のための ICMP エコーが, 処理が繰り返されると共に switch の負荷を増加させ, ある閾値を越えた時に遅延が生じた

1 は, 今回使用したサーバが CPU を 2 つ実装していることや複数プロセスが並行に処理されている時間が 3 秒と短く, 同時に最大でも 5 プロセス (RTT 取得のため, 外部プログラ
ムを呼び出して実行させていることを考慮すると 9 プロセス) しか動かないことから, 最大で 2021ms もの遅延を生じるほど大きな負荷が掛からなかったと考えられる.

2 は, この実験の条件設定では RTT 取得のための ICMP エコーが 8byte の制御命令が送信されることを想定して 16byte のサイズで 0.1ms 間隔で 20 回送信され, 単位時間当たりの処理負荷は大きいが, 次の処理まで 3 分もあるので次の処理が行われる時には前の負荷が影響しないと推定される.
しかし,2 を仮定して考えると, 各エンコーダの各回の最後の 20 回目の ICMP エコー

が全く同時に switch に到達して, どのエンコーダの I delay_ctrl と D Inst_snd の差も極めて小さい値で, まもなく制御命令が送信され, switch に ICMP エコー分の 64byte と制
御命令 4 つ分の 32byte がある短期間に集中し, 処理負荷により各エンコーダ 4 台への制御命令のうち一つに大きい遅延が生じたと推察ができる.

{ 21 {

4.6 考察以上のことから, RTT 取得時間は各エンコーダごとに意図的にずらし, 中継ノードの負荷分散させる必要があると考察される.

{ 22 {

第5章

考察

5.1

まとめ

意味モデルとマルチストリーム AV ファイルを定義し, 同期管理に必要な情報を示した.
次に, 再生時刻同期のために, 同期エンコード方式を提案し, 検証した. さらに, 時間情報によりデータ領域の対応する参照点の算出法と同期管理情報の保存法を同期管理情報生成方式として提案した.

5.2

全体の考察

同期管理蓄積法の提案は, 十分にでき, マルチストリーム配送される AV データを同期蓄積管理するための一つの方策を示せたと思う. しかし, 本同期管理蓄積法に沿った系の処理機能を実装するに至らず, 検証は不十分であり, その真価は改めて評価する必要がある.

5.3

今後の研究課題

本同期管理蓄積法が有効であるかどうかを実証するために, 今回検証した同期エンコード
方式や同期管理情報生成方式を統合した系を実装させるとともに, 同期管理情報を具体的な
ファイルシステムに対応付けさせる必要がある. また, 同期エンコード方式もまだ改善すべき部分がある事が分かり, HDTV 形式の入力信号を対象とする高精細画像の配信を意識す
ると, 実験の考察点を考慮して改良していく必要がある.

{ 23 {

謝辞
本研究のために, 島村 和典教授と TAO の研究員の皆様, 副指導教員である岡田 守教授と福本

昌弘講師, 院生の中平 拓司氏にご指導, ご助力頂きました. 誠に有り難う御座いました.

{ 24 {

参考文献[1] 藤原 洋, "ポイント図解式最新 MPEG 教科書", 株式会社アスキー, p231〜p251, 1994
[2] http://www.mpt.go.jp/pressrelease/japanese/housou/000609j701.html(平成 13 年 1 月 30 日現在)
[3] 野中 健史, 中平 拓司, 島村 和典, "マルチストリーム AV ファイル同期初期化法の一検討", 電気関係学会四国支部連合大会, 2000

{ 25 {