(57)【要約】リアルタイムスライドプレゼンテーション記録用のデータオブジェクトを生成するシステムを開示する。データオブジェクトは、スライドプレゼンテーションの複数のスライドのそれぞれの画像に対応するビットストリームと、各スライド内の関心のあるポイントとのプレゼンターのインタラクションのシンボリック表現に対応するビットストリームと、各スライドに関連するプレゼンターの音声に対応するビットストリームとを少なくとも含む、複数の同期化されオーバーレイされた再生可能なビットストリームを含む。このシステムは、表示領域の前に置かれたオブジェクトの関心のあるポイントを識別し、関心のある各ポイントにシンボルを割り当てることによって、取り込まれたリアルタイムプレゼンテーションの画像データから、プレゼンターのインタラクションのシンボリック表現に対応するビットストリームを生成する。次に、シンボリック表現ビットストリームが、対応する音声ビットストリームおよびプレゼンテーションのスライド画像データに同期化される。
2005527996.tif 000002
【特許請求の範囲】
【請求項１】
捕捉画像データを提供する画像取り込み装置および捕捉音声信号を提供する音声取り込み装置によって取り込まれたリアルタイムスライドプレゼンテーションを記録するシステムであって、前記スライドプレゼンテーションは、複数のスライド画像を表示するコンピュータ制御される表示領域、及び、前記表示領域とのプレゼンターの相互作用を含み、
前記リアルタイムスライドプレゼンテーション中の前記表示領域内に表示された前記スライド画像とのプレゼンターインタラクションイベントに対応するシンボリック表現ビットストリームを生成する手段と、
少なくとも、前記シンボリック表現ビットストリーム、前記リアルタイムスライドプレゼンテーションの前記捕捉音声信号に対応する音声ビットストリーム、および前記複数のスライド画像に対応するスライド画像データビットストリームを少なくともスライド単位で同期させる手段と、
を備える、システム。
【請求項２】
前記生成する手段は、建設的および破壊的な画像データフィードバックを使用して、前記表示領域を含む捕捉画像データ内のコンピュータ制御される表示領域に対応する表示領域画像データを特定する手段をさらに備える、請求項１記載のシステム。
【請求項３】
前記生成する手段は、前記表示領域画像データに依存する位置座標変換を含み、かつ選択された複数の較正スライドを使用する少なくとも１つの変換を導出するための手段をさらに備える、請求項２記載のシステム。
【請求項４】
前記生成する手段は、画像データを分離する手段をさらに備え、
前記画像データを分離する手段が、
少なくとも前記位置座標変換を使用して、前記表示領域画像データを期待される表示領域画像データに変換する手段と、
前記期待される表示領域画像データを実際に表示されたスライド画像データと比較する手段であって、該比較の差により、前記表示領域の前に置かれた少なくとも１つのオブジェクトに対応するオブジェクト画像データが提供されることからなる、手段
を備えることからなる、請求項３記載のシステム。
【請求項５】
前記生成する手段は、前記オブジェクト画像データ内の関心のあるポイントを特定する手段をさらに備え、
該特定する手段が、
前記捕捉画像データ内の前記表示領域の周辺境界に対応する周辺画像データを特定する手段と、
前記オブジェクト画像データと前記周辺画像データとに共通する画像データの部分集合を特定して格納する手段と、
前記共通する部分集合および前記オブジェクト画像データを使用して探索することにより、前記オブジェクト画像データ内の関心のあるデータのポイントを得るための探索手段
を備えることからなる、請求項４記載のシステム。
【請求項６】
前記生成する手段が、前記関心のあるデータのポイント内の関心のある各ポイントにシンボルを割り当てて、前記シンボリック表現ビットストリームを生成するための手段をさらに備えることからなる、請求項５記載のシステム。
【請求項７】
前記生成する手段が、前記捕捉画像データ内の関心のあるポイントを特定するための手段をさらに備え、該特定するための手段が、前記捕捉画像データ内の前記表示領域に投影されるレーザポイントを検出して、前記捕捉画像データ内の関心のあるデータのポイントを得るための手段を備えることからなる、請求項３記載のシステム。
【請求項８】
前記生成する手段が、前記関心のあるデータのポイント内の関心のある各ポイントにシンボルを割り当てて、前記シンボリック表現ビットストリームを生成するための手段をさらに備えることからなる、請求項７記載のシステム。
【請求項９】
前記同期させる手段は、少なくとも、前記音声信号、前記スライド画像データビットストリーム、および前記捕捉画像データにタイムスタンプを付与する手段をさらに備え、前記シンボリック表現ビットストリーム、前記音声ビットストリーム、および前記スライド画像データビットストリームは前記タイムスタンプに従って同期化される、請求項１記載のシステム。
【請求項１０】
前記タイムスタンプを付与する手段は、前記シンボリック表現ビットストリームおよび前記スライド画像データビットストリームを前記音声ビットストリームに同期させるために、少なくとも、前記捕捉画像データおよび前記スライド画像データビットストリームにタイムスタンプを付与する、請求項９記載のシステム。
【請求項１１】
前記同期させる手段は、少なくとも、前記音声信号、前記スライド画像データビットストリーム、および前記捕捉画像データにタイムスタンプを付与する手段をさらに備え、前記シンボリック表現ビットストリーム、前記音声ビットストリーム、および前記スライド画像データビットストリームは、前記タイムスタンプに従って同期化される、請求項６記載のシステム。
【請求項１２】
前記タイムスタンプを付与する手段は、前記シンボリック表現ビットストリームおよび前記スライド画像データビットストリームを前記音声に同期化させるために、少なくとも、前記捕捉画像データおよび前記スライド画像データビットストリームにタイムスタンプを付与する、請求項１１記載のシステム。
【請求項１３】
前記シンボルは、前記リアルタイムプレゼンテーション中に、前記表示されたスライド内の関心のある各ポイントに表示される、請求項６記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
［発明の分野］
本発明は、コンピュータ制御可能な表示システムに関し、特に、本開示は、リアルタイムスライドプレゼンテーションを表現するマルチメディアデータオブジェクト、マルチメディアデータオブジェクトを記録するためのシステム、ならびに閲覧可能なマルチメディアデータオブジェクトをプレゼンターのインタラクションイベント単位で作成するシステムおよび方法を提供する。
【背景技術】
【０００２】
［発明の背景］
コンピュータ制御による投影システムとしては、一般に、スライドプレゼンテーションの形で画像データを生成するコンピュータシステム、および画像データを投影スクリーン上に投影するプロジェクタが挙げられる。通常、コンピュータ制御による投影システムは、２人以上の閲覧者がスライドを容易に見ることができるように、プレゼンターがコンピュータシステムを使用して作成したスライドプレゼンテーションをより大きなスクリーン上に投影するために使用される。多くの場合、プレゼンターは、スライド上の注目すべき領域を自身の指、レーザポインタ、または他の何らかのポインティングデバイスまたは器具で指し示すことによって、投影されたスライド画像と対話（相互作用）する。
【０００３】
ある個人がスライドプレゼンテーションに個人的に出席できず、見ることができない場合、その個人が代わりに、プレゼンテーション時に示されたスライドのデジタルコピーを取得して、各自のパーソナルコンピュータシステム上で後に閲覧できることが一般的である。このようにして、少なくとも、スライド内の情報を得ることが可能である。しかし、スライドを後に見ることには、スライドが、各スライドについての言葉での注釈ならびに各スライドとのプレゼンターのインタラクション等、プレゼンテーション中にプレゼンターによって加えられた追加情報を含まないという点で不足がある。さらに、言葉での各注釈と、対応するプレゼンターの各スライドとのインタラクションとの間の同期もまた、後に閲覧する際には失われる。たとえば、プレゼンテーション中、話者はスライド内の関心のある領域を指し示しながら、同時にスライド内の特定領域に関連する言葉での注釈を提供するといったことがある。この種の情報は、単純に個人に後に閲覧するスライドセットが提供されるだけの場合は失われてしまう。
【０００４】
上記問題を克服する１つの方法は、閲覧者が、スライドの閲覧と同時に、プレゼンテーションのビデオテープを再生し、プレゼンターのスライドとのインタラクションを見るとともに、そのスライドに対するプレゼンターの音声での説明を聞くことができるように、プレゼンテーションをビデオテープに記録するというものである。しかし、ビデオテープに記録されたプレゼンテーションには、いくつかの欠点がある。第１に、ビデオテープに記録されたプレゼンテーションでは、比較的大量の記憶領域が使用され、また、伝送および／またはダウンロードに比較的大量の帯域が必要になる。このため、記憶領域または帯域が限られている状況では、ビデオテープに記録されたプレゼンテーションを取得して閲覧することは、困難であるか、あるいは不可能でありうる。第２に、ビデオテープ記録されたプレゼンテーションがスライドプレゼンテーションの所望の要素（すなわち、スライド、プレゼンターのスライドとのインタラクション、およびプレゼンターの音声）をすべて取り込んでいる場合であっても、ビデオテープに記録されたスライドは、潜在的に、ビデオ記録装置の解像度制約により、またはプレゼンテーションが適切に記録されていないことにより、クリアでないか、または読み取り不可能である恐れがある。たとえば、ビデオテープ記録中、プレゼンターが不用意に、ビデオカメラとスライドとの間の見通し線を遮ってしまい、それによってスライドがビデオテープ記録されたプレゼンテーション内で見えないか、またはクリアでなくなるといった場合がある。別の欠点は、スライドプレゼンテーションをビデオテープに記録するのに不都合がある場合があることである。加えて、この技法では、ビデオ機器の操作に人員を追加する必要がある。最後に、プレゼンテーションを専門職のようにビデオテープ記録するには、高価な、または専用の制作機器が必要である。
【０００５】
プレゼンテーションをビデオテープに記録することに対する代替は、スライドおよび関連する音声の両方が、後に閲覧する人に提供されるように、プレゼンテーション中のプレゼンターの音声を単純に録音するというものである。既知の一技法では、スライドが再生されるときに、関連する音声も再生されるように、音声の部分に特定のスライドが関連付けられる。残念なことに、この方策には、閲覧者に、追加情報を付加しうるプレゼンターのスライドプレゼンテーションとのインタラクションを提供しないという点で不足がある。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
したがって、必要とされるのは、スライドによって付与される情報、プレゼンターのスライドとの物理的なインタラクション、およびプレゼンターの音声寄与部分を同期して組み込み、それによってリアルタイムプレゼンテーションの再生可能な一貫した記録を生成する、リアルタイムスライドプレゼンテーションの記録を提供する手段である。
【課題を解決するための手段】
【０００７】
［発明の概要］
マルチメディアデータオブジェクトは、コンピュータ制御によるリアルタイムスライドプレゼンテーション、およびコンピュータ制御可能な表示領域に表示されたスライドとのプレゼンターのインタラクションを前もって取り込んだ記録を表現する、複数の同期化されオーバーレイされた再生可能なビットストリームを有するデータストリームを含む。ビットストリームは、スライドプレゼンテーションの複数のスライドそれぞれに対応する第１のビットストリームと、プレゼンテーション中の各スライド内の関心のあるポイントとのプレゼンターの各インタラクションのシンボリック表現に対応する第２のビットストリームと、プレゼンテーション中のプレゼンターの音声部分に対応する第３のビットストリームと、を少なくとも含む。複数の同期化されオーバーレイされたビットストリームは、各スライドが再生されている間に、プレゼンターのインタラクションのシンボリック表現がスライド上にオーバーレイされ、スライドに対応する音声が再生されるように、コンピュータシステムを使用して再生することが可能である。１実施形態では、マルチメディアデータオブジェクトは、取り込まれたリアルタイムプレゼンテーションのビデオクリップに対応する第４のビットストリームをさらに含む。
【０００８】
本発明の１実施形態は、捕捉されたイメージ（以下、画像と記載）データを提供するために画像取り込み装置によって取り込まれ、捕捉された音声信号を提供するために音声取り込み装置によって取り込まれたリアルタイムスライドプレゼンテーションを記録するためのシステムである。リアルタイムスライドプレゼンテーションは、対応するスライド画像データを有する複数のスライド画像を表示するコンピュータ制御される表示領域を含み、また、表示領域内に表示されるスライド内の関心のあるポイントとのプレゼンターのインタラクションも含む。本システムは、表示領域内に表示されるスライド画像とのプレゼンターのインタラクション（プレゼンターインタラクションイベントと呼ぶ）に対応するシンボリック表現のビットストリームを生成する手段を備える。本システムは、少なくとも、取り込まれたリアルタイムスライドプレゼンテーションの音声信号に対応する音声ビットストリーム、複数のスライド画像に対応するスライド画像データビットストリーム、およびシンボリック表現ビットストリームを少なくともスライド単位で同期させる手段をさらに備える。
【０００９】
［発明の詳細な説明］
図１Ａは、リアルタイムでコンピュータ制御式のスライドプレゼンテーションを取り込み、プレゼンテーションを表現するマルチメディアデータオブジェクトを生成するシステムの一例を示す。表示領域１０は、プレゼンター１０Ａが表示領域の前にいてスライドを提示する間に複数のスライド（図示せず）を表示する。この例では、プロジェクタ１１でスライドを表示する。プロジェクタは、ラップトップコンピュータ１２によって提供される、スライドを表す画像信号１１Ａによって駆動される。コンピュータ制御可能なスライドプレゼンテーションを表示する他の装置も当該技術分野において既知であることを理解されたい。各スライドが順次示されるにつれ、プレゼンター１０Ａは、スライド内の関心のあるポイントを指し示しながら、その内容について説明する言葉での注釈を付加する。たとえば、プレゼンターは、スライド内の黒丸を指し示し、それから黒丸の隣にあるテキストについて言葉での説明を付加するといったことがある。プレゼンターがスライド内の関心のあるポイントを指し示す行動またはイベントを、本明細書ではプレゼンターインタラクションと呼ぶ。
【００１０】
リアルタイムスライドプレゼンテーション中、マルチメディアデータオブジェクトユニット１５は、シンボルを、プレゼンターがリアルタイムスライドプレゼンテーション中に対話するスライド内の関心のあるポイントに表示させるように機能することができる。具体的には、本明細書において以下述べるように、マルチメディアデータオブジェクトユニット１５は、１）画像取り込み装置の取り込み領域（または捕捉領域。以下同じ）内の表示領域の位置を、捕捉された画像（以下、捕捉画像と記す）データ内で特定することができるように較正され、２）捕捉画像データ内で、プレゼンターおよび／または細長いポインティング器具を含む表示領域の前にあるオブジェクトを特定し見つけることができ、３）細長いポインティング器具の先端またはレーザポインタによって生成された照明ポイントに対応する関心のあるポイント等、表示領域の前にあるオブジェクトの関心のあるポイントを見つけることができる。そのため、ユニット１５は、表示されている対応するスライドの画像信号１１Ａ内の関心のあるポイントを見つけ、リアルタイムスライドプレゼンテーション中の関心のあるポイントとのプレゼンターのインタラクションを表現するデジタルシンボルを挿入することができる。たとえば、プレゼンター１０Ａは、画像取り込み装置の見通し線と表示されているスライドとの間にある表示領域１０（図１Ｂ）内の関心のあるポイント１０Ｂを物理的に指し示すことができ、選択されたシンボル（１０Ｃ）がスライド内のそのポイントに表示されることになる（図１Ｃ）。本明細書では、この所定のシンボルをプレゼンターインタラクションのシンボリック表現と呼ぶことにする。
【００１１】
マルチメディアデータオブジェクト
マルチメディアデータオブジェクトユニット１５は、画像取り込み装置１３および音声信号取り込み装置１４によって取り込まれたリアルタイムスライドプレゼンテーションを表現する複数の同期化されオーバーレイされた再生可能なビットストリーム１５Ａ（図１）を含むマルチメディアデータオブジェクトを生成するように機能する。図２を参照すると、１実施形態では、ビットストリームは、コンピューティングシステム１２によって提供されるプレゼンテーションの各スライドを表現するコンピュータ生成画像データ１１Ａに対応する第１のビットストリーム、各スライドとのプレゼンターのインタラクションの複数のシンボリック表現に対応する第２のビットストリーム、および音声信号取り込み装置１４によって提供されるプレゼンターの音声信号１４Ａに対応する第３のビットストリームを含む。
【００１２】
複数のビットストリーム１５Ａが、コンピュータ制御可能な表示スクリーンおよび音声再生装置（すなわち、オーディオスピーカ）を使用することによって再生されると、表示領域に、第２のビットストリームに対応するプレゼンターのインタラクションのシンボリック表現が同期してオーバーレイされた第１のビットストリームに従って、各スライドの画像が表示され、その間に音声装置が第３の音声ビットストリームを同期して再生する。たとえば、図１Ｄは、図１Ｃに示す、取り込まれたリアルタイムスライドプレゼンテーションの画像に対応する再生スライドを示す。図１Ｄに示すように、スライドの画像は、スライドの画像（すなわち、「レッスン１」）およびプレゼンターのインタラクションのシンボリック表現１０Ｃのオーバーレイされた画像（すなわち、笑っている顔）を含む。プレゼンターのビデオ画像は図示されていないが、プレゼンターのスライドとのインタラクションはやはり、低ビットレートフォーマットで再生スライド内に表されていることに留意されたい。
【００１３】
オーバーレイされた再生可能なビットストリームの同期化を図３に示す。ビットストリームは、ビットストリーム１内の任意の所与のスライドの表示開始時に、ビットストリーム２内の所与のスライドとのプレゼンターのインタラクションの対応するシンボリック表現が同期して表示され、ビットストリーム３内の対応する音声トラックが再生されるように再生することが可能である。たとえば、ｔ０において、スライド１が表示され、スライド１に関連する音声トラックである音声１が再生され始める。ｔ０１において、第１のプレゼンテーションインタラクションイベントが発生し、よってプレゼンターのインタラクションの第１のシンボリック表現がスライド画像内に表示／オーバーレイされる。スライド１は、第２のシンボリック表現が表示される第２のプレゼンテーションインタラクションイベントが発生するｔ０２まで音声トラックと同じように引き続き再生される。
【００１４】
図４は、コンピューティングシステム１２によって提供されるスライドプレゼンテーション中の各スライドを表すコンピュータ生成画像データ１１Ａに対応する第１のビットストリーム、各スライドとのプレゼンターインタラクションのシンボリック表現に対応する第２のビットストリーム、プレゼンターの音声信号１４Ａに対応する第３のビットストリーム、およびプレゼンターインタラクションイベントに応じて取り込まれた複数のビデオクリップに対応する第４のビットストリームを含むマルチメディアデータオブジェクト１５Ａの第２の実施形態を示す。
【００１５】
図５は、図４に示すビットストリームの同期化を示す。図２に示す実施形態のように、マルチメディアデータオブジェクトがコンピュータ制御可能な表示スクリーンおよび音声装置を使用して再生されると、音声装置が同期して音声ビットストリーム３を再生している間、ビットストリーム２に対応するプレゼンターのインタラクションのシンボリック表現が同期してオーバーレイされたビットストリーム１に従って各スライドが表示領域に再生される。加えて、各スライド内でのプレゼンターインタラクションの発生に応じて、たとえば、表示スクリーンの一部にビデオクリップを再生することができる。たとえば、１実施形態では、プレゼンターインタラクションのシンボリック表現が時間ｔ０１にスライド１内で再生されると（図５）、そのプレゼンターインタラクションに関連するビデオクリップＶ１が表示スクリーンの隅に再生されたい。ビットストリーム４はプレゼンテーションの連続したビデオ記録を含まないことに留意されたい。したがって、図５に示す例では、ビデオクリップＶ１が再生されると、次のプレゼンターインタラクションイベントが時間ｔ０２において発生するまで、ビデオ画像は再生されない。言い換えれば、ビデオクリップは、プレゼンターインタラクションイベントに応じて取り込まれる。１実施形態では、閲覧者は、ユーザ／ブラウザインタフェース上のオプション（選択肢）を選択することによってビデオクリップの閲覧を禁止することができる。このようにしてプレゼンテーションのビデオクリップを記録することの利点は、閲覧者が、すべてのプレゼンテーションをビデオに記録することを回避しながら、関心のある（すなわち、興味のある）何かを行っている可能性が最も高いときに、リアルタイムプレゼンテーション内の特定の時点におけるプレゼンターをビデオに記録したものを見ることができることである。その結果、マルチメディアデータオブジェクトのサイズが最小化される。したがって、閲覧者は、最小量の帯域消費で、マルチメディアデータオブジェクトから大半の情報を得ることが可能である。
【００１６】
図２および図４に示すマルチメディアデータオブジェクトの利点は、一応用形態では、それらが、１）コンテンツが豊富なマルチメディアデータオブジェクトとしてのスライドプレゼンテーションを容易に生成できるようにし、また２）ビットレートの極めて低いスライドプレゼンテーションの新しい表現を可能にすることにより、インターネットに対しての新しいコンテンツパイプライン（新しいコンテンツの供給ルート）を表現することである。マルチメディアデータオブジェクトは、スライドプレゼンテーションの関連コンテンツをいずれも失うことなく画像および音声がクロスリンクし同期したドキュメントとしてのそのコンパクトなスライドプレゼンテーション表現により、低帯域ネットワーク構造を介しての遠隔教育への応用を可能にする。さらに、マルチメディアデータオブジェクトは、これもまた容易な閲覧に適合された元々圧縮された形態を有している。
【００１７】
本発明によれば、マルチメディアデータオブジェクトは、まず１）リアルタイムスライドプレゼンテーション中に、画像取り込み装置１３を使用して、スライドを表示する表示領域１０（図１Ａ）の画像、および表示領域１０内の各スライドとのプレゼンターのインタラクション（対話または相互作用。以下同じ）を取り込み、２）音声信号取り込み装置１４を用いてプレゼンターのスピーチを取り込むことによって記録される。画像取り込み装置１３および音声信号記録装置１４は、捕捉画像信号１３Ａおよび捕捉音声信号１４Ａそれぞれを、コンピューティングシステム１２に、より具体的にはマルチメディアデータオブジェクトユニット１５に提供する。
【００１８】
マルチメディアデータオブジェクトユニット
図６Ａは、リアルタイムスライドプレゼンテーションの記録を表現する複数のビットストリーム１５Ａを生成する本発明のマルチメディアデータオブジェクトユニット１５の第１の実施形態を示す。ユニット１５には、捕捉画像データ１３Ａ、スライド画像データ１１Ａ、および音声信号１４Ａを含む、リアルタイムプレゼンテーションに対応する少なくとも３つの入力信号が与えられる。スライド画像データ１１Ａは、プレゼンテーション中、複数のスライドを表示するように表示装置を駆動する、コンピュータ生成された画像データを表す。捕捉画像データ１３Ａは、表示されたスライドの画像およびスライドとのプレゼンターのインタラクションの画像を含む、リアルタイムプレゼンテーション中に取り込まれた画像に対応する。音声信号１４Ａは、スライド内の特定の関心のあるポイントに関連する言葉による注釈を含む、プレゼンテーション中のプレゼンターの言葉による注釈に対応する。
【００１９】
捕捉画像データ１３Ａは、リアルタイムプレゼンテーション中に表示されたスライドとのプレゼンターのインタラクションに対応するシンボリック表現ビットストリームを生成する手段６０に結合される。ユニット１５は、シンボリック表現ビットストリーム、スライド画像データビットストリーム、および音声ビットストリームをスライド単位で同期させて（最小の時間解像度で）、リアルタイムスライドプレゼンテーションを表現する信号１５Ａを生成するように機能する同期装置をさらに備える。
【００２０】
図６Ｂは、図２および図４に示す複数のビットストリーム１５Ａを生成するマルチメディアデータオブジェクトユニット１５の第２の実施形態を示す。まず（すなわち、リアルタイムプレゼンテーションに先立って）、ブロック６０が、２００１年１月３０日に出願され、本願の譲受人に譲渡された（本明細書に参照により援用される）「A Method for Robust Determination of Visible Points of a Controllable Display within a Camera View」と題する米国特許出願第０９／７７４４５２号に記載の較正画像６０Ｂを使用して画像取り込み装置ビュー領域内の表示領域を見つける手段（ブロック６１Ｂ）を含み、かつ２００１年１月３１日に出願され、本願の譲受人に譲渡された（本明細書に参照により援用される）「A System and Method For Robust Foreground and Background Image Data Separation For Location Of Objects In Front Of A Controllable Display Within A Camera View」と題する米国特許出願第０９／７７５０３２号に記載の、スライド画像データによって画定される表示領域と捕捉画像データによって画定される捕捉表示領域との間の少なくとも１つのマッピング関数（または写像関数）を導出する手段（ブロック６１Ｃ）を含む、較正ブロック６１によって較正される。
【００２１】
一般に、ブロック６１Ｂは、画像取り込み装置１３によって取り込まれている間に、較正スライド画像６０Ｂから選択された複数の画像を表示領域内に表示させて、選択された較正画像を含む捕捉画像データ１３Ａを提供することによって、捕捉画像データ内の表示領域を見つける。次に、建設的および破壊的なフィードバックデータが、選択された較正画像の捕捉画像データから導出されて、表示領域の位置が決定される。図７Ａは、選択された画像が表示され（ブロック７００）、その画像が取り込まれ（ブロック７０１）、そして建設的および破壊的なフィードバックデータが導出される（ブロック７０２）、ブロック６１Ｂに対応する第１の機能フローチャートを示す。
【００２２】
図７Ｂは、ブロック６１Ｂに対応する第２の機能フローチャートを示す。図７Ｂを参照すると、ブロック６１Ｂは、少なくとも３つの単一輝度グレースケール画像を表示領域内に表示させ（ブロック７０３）、少なくとも３つの単一輝度グレースケール画像のうちの１つを各々が含む複数の画像が、画像取り込み装置の取り込み領域内に取り込まれる（ブロック７０４）。建設的または破壊的なフィードバックデータが、ブロック６１Ｂによって導出され、少なくとも３つの画像のうちの第１の画像を含む第１の捕捉画像に対応する画像データがピクセルアレイに格納され（ブロック７０５）、少なくとも第２および第３の単一輝度グレースケール画像を含む残りの捕捉画像に対応する画像データに応じて、ピクセル値を増分または減分する（ブロック７０６）。その結果、取り込み領域内の表示領域の位置を示す画像データが生成される。建設的なフィードバックは、所与のピクセル値が増分されることを意味し、破壊的なフィードバックは、所与のピクセル値が減分されることを意味することを理解されたい。１実施形態では、表示領域に対応するアレイ内のピクセル値は、第１の所定の定数値だけ増分され、非表示領域に対応するアレイ内のピクセル値は、第２の所定の定数値だけ減分される。この実施形態の一変形では、フィードバックが繰り返し適用される。この繰り返しプロセスは、ブロック６１Ｂが少なくとも第２および第３の画像を再表示させ、再びアレイ内のピクセル値を増分または減分させることによって実現される。
【００２３】
少なくとも１つのマッピング関数を導出する手段（図６Ｂのブロック６１Ｃ）は、少なくとも、座標位置マッピング関数を導出する。一般に、座標位置マッピング関数は、較正画像６０Ｂから選択された複数の画像（選択された画像の各々は較正オブジェクトを含む）を表示領域内に表示し、取り込み装置を用いて取り込むことによって導出される。マッピングは、コンピュータにより生成されたスライド画像データ内の各較正オブジェクトの座標位置と、「予め特定されている」表示領域に対応する捕捉画像データ内の同じ較正オブジェクトの座標位置との間で決定される。表示領域は、先に説明し、図７Ａおよび図７Ｂに示したように、「予め見つけられている（すなわち、表示領域の位置は、取り込み装置のビュー領域内に配置されている）ことに留意されたい。図７Ｃは、ブロック６１Ｃに対応する機能フローチャートを示し、ここでは、座標較正画像が表示され（ブロック７０７）、画像が取り込まれ（ブロック７０８）、較正オブジェクトがマッピングされ（ブロック７０９）、マッピング関数が導出される（ブロック７１０）。
【００２４】
ブロック６１Ｂが行う、取り込み領域における表示スクリーンの位置の事前決定により、捕捉画像データ内の表示領域の特定、ひいては表示された較正オブジェクトのｘ−ｙ座標位置の、所定の表示領域における捕捉された較正オブジェクトのｕ−ｖ座標位置へのマッピングが可能である。そして、較正オブジェクト位置の個々のマッピングにより、２つの座標系間の関数を導出することができる。
【００２５】
【数１】
2005527996.tif 000003
【００２６】
１実施形態では、透視変換関数（または射影変換関数：perspective transformation function）（式２および式３）を使用して、位置マッピング関数を導出する。
【００２７】
【数２】
2005527996.tif 000004
【００２８】
式２および式３の変数ａｉｊは、各較正オブジェクトに対する個々の位置のマッピングを決定することによって導出される。単純な変換マッピング関数またはアフィンマッピング関数等、他の変換関数を使用してもよいことに留意されたい。
【００２９】
たとえば、表示領域内に表示されている較正画像中の所与の較正オブジェクトの場合、その対応するｘ，ｙ座標は、コンピュータシステムによって生成されるスライド画像データ１１Ａからわかる。加えて、捕捉較正画像中の同じ較正オブジェクトのｕ，ｖ座標も、取り込み領域中の表示領域の所定位置に対応する捕捉画像データ１３Ａの部分からわかる。既知のｘ，ｙ，ｕ，ｖ座標値が、所与の較正オブジェクトについて式２および式３に代入される。複数の較正画像中の各較正オブジェクトも同じ方法でマッピングされ、ｘおよびｙ較正マッピング式（式２および式３）が得られる。
【００３０】
次に、各較正オブジェクトの位置マッピングを用いて、座標位置関数を導出する（式２および式３）。具体的には、較正マッピング式が同時に解かれて、変換関数式２および式３の係数ａ１１〜ａ３３が求められる。これら係数は、求められると、式２および式３に代入され、それによって表示領域内の任意の所与のｘ，ｙ座標位置について、対応するｕ−ｖ座標位置を求めることができる。ｕ−ｖ座標からｘ，ｙ座標への逆マッピング関数もまた係数ａ１１〜ａ３３から導出することができることに留意されたい。
【００３１】
１実施形態では、ブロック６１Ｃは、米国特許出願０９／７７５０３２号に記載のように、スライド画像データによって画定される輝度および捕捉画像データに従って画定される輝度のマッピング関数を導出する手段をさらに備える。輝度マッピング関数は、各々が異なる表示輝度値を有する少なくとも２つの輝度較正オブジェクトを有する較正スライド画像６０Ｂを表示することによって導出される。表示輝度値は、捕捉輝度値を得るために取り込まれ、次に、元の表示輝度値にマッピングされる。次に、輝度マッピング関数は、表示輝度値と捕捉輝度値の間のマッピングから導出される。図７Ｄは、輝度マッピング関数を導出するための機能フローチャートを示し、ここでは、少なくとも２つの輝度較正オブジェクトが表示されて取り込まれ（ブロック７１１および７１２）、捕捉輝度値が既知の表示輝度値にマッピングされ（ブロック７１３）、マッピングから輝度関数が導出される（ブロック７１４）。
【００３２】
リアルタイムスライドプレゼンテーション中、画像データを分離する手段（図６Ｂのブロック６２）が、米国特許出願第０９／７７５０３２号に記載のように、表示領域１０の前景内にあるオブジェクト、たとえば、プレゼンターおよび／またはポインタに対応する画像データを分離する。より具体的には、ブロック６２は、取り込み装置１３（図１）の見通し線と表示領域１０の間にあるオブジェクトを特定し、そのオブジェクトに対応する画像データ６２Ａを捕捉画像信号１３Ａから抽出するように機能する。図７Ｅは、ブロック６２に対応する機能フローチャートを示し、図８Ａは、ブロック６２の１実施形態を示す。図８Ａを参照すると、ブロック６２は、スライド画像データ１１Ａを受け取り、相互接続６１Ｄにおいて較正ブロック６１によって提供される変換を使用して、期待される捕捉表示領域データに変換する変換手段（ブロック８１）を備える。ブロック６２は、期待される捕捉表示領域データを実際の捕捉表示領域データと比較してオブジェクトデータ６２Ａを生成するための比較手段（ブロック８２）をさらに備える。機能フローチャート図７Ｅを参照すると、画像が表示されて取り込まれ（ブロック７１５および７１７）、表示画像が期待される捕捉データに変換され（ブロック７１６）、期待されるデータが実際のデータと比較され（ブロック７１８）、一致しないデータがオブジェクト位置として特定される（ブロック７１９）。
【００３３】
ブロック６２に従って、期待される捕捉表示領域データ（期待されるデータ）を捕捉表示領域データ（実際のデータ）から差し引き、次式で示す差分値を得ることによって、捕捉表示領域データを期待される表示領域データと比較することができる。
【００３４】
【数３】
2005527996.tif 000005
【００３５】
式中、（ｕｉ，ｖｉ）は、捕捉表示領域中の座標位置である。１実施形態では、次に、差分値δ（ｕｉ，ｖｉ）がしきい値ｃｔｈｒｅｓｈと比較される。但し、ｃｔｈｒｅｓｈは、照明条件、表示される画像、およびカメラの品質によって決まる定数である。差分値がしきい値よりも大きい（すなわち、δ（ｕｉ，ｖｉ）＞ｃｔｈｒｅｓｈ）場合、オブジェクトがその座標点に存在する。言い換えれば、所与の表示領域位置における、コンピュータの輝度期待値に合わないディスプレイ上のポイントでは、カメラとディスプレイの間の見通し線中にオブジェクトがある。
【００３６】
関心のあるポイントを特定する手段（図６Ｂのブロック６３）は、２００１年１月３１日に出願され、本願の譲受人に譲渡された（本明細書に参照により援用される）「System and Method for Extracting a Point of Interest of an Object in Front of a Computer Controllable Display Captured by an Imaging Device」と題する米国特許出願第０９／７７５３９４号に記載されるように、プレゼンターが自身の指、または木製のポインティングスティック等の任意の細長いポインティングオブジェクトを使用して、リアルタイムスライドプレゼンテーション中に指し示す、スライド内の関心のあるポイントの位置１０Ｂを特定する（図１Ｂ）。より具体的には、ブロック６３は、プレゼンターが所与のスライドとインタラクションをした大まかな位置に対応する、分離された画像データ６２Ａ内の画像データ６３Ａを特定する。図７Ｆは、ブロック６３に対応する機能フローチャートを示し、図８Ｂは、ブロック６３の１実施形態を示す。図８Ｂを参照すると、ブロック６３は、表示領域の周辺境界に対応する、画像データ１３Ａ内の周辺画像データを特定する手段（ブロック８３）を備える。ブロック８４は、オブジェクト画像データ６２Ａと周辺画像データの両方に共通するピクセル値に対応するデータの部分集合（サブセット）を特定して格納する。次に、探索手段（ブロック８５）が、データの部分集合およびオブジェクトデータを使用して関心のあるポイントを探索する。図７Ｆに示すフローチャートを参照すると、周辺境界が特定され（ブロック７２１）、その間にオブジェクトデータが特定され（ブロック７２２）、オブジェクトデータと周辺境界データの両方に共通するデータの部分集合が特定され（ブロック７２３）、関心のあるポイントが、画像データの部分集合およびオブジェクトデータを使用して探索される（ブロック７２４）。１実施形態では、ブロック６３は幅優先探索（または、横型探索法。breadth-first search）を使用して探索する。
【００３７】
レーザポインタが、リアルタイムプレゼンテーション中に、表示領域に表示されているスライド内の関心のあるポイントを指し示すために使用される場合、関心のあるポイントは、スライド上に投影され、捕捉画像データ１３Ａ内に取り込まれたレーザポイントを検出することによって見つけられる。捕捉画像データ１３Ａ内の投影レーザポイントに対応する捕捉ピクセル値の検出は、当該技術分野において既知であり、主に、捕捉画像データを解析／フィルタリングして、投影レーザポイントの輝度特徴を有するピクセル値を検出することをベースとしている。投影レーザポイントに対応するピクセルデータは、リアルタイムプレゼンテーション中に取り込まれる典型的な画像に対応するピクセル値と異なり、全体として単一の高輝度成分からなるため、容易に区別がつく。レーザポインタに対応するピクセル値のフィルタリングは、所与の輝度しきい値を越えるすべての単一成分ピクセル値を除去することによって実現することができる。
【００３８】
次に、データ６３Ａ内の特定された関心のある各ポイントに、シンボルを関心のある各ポイントに割り当てる手段（ブロック６４）によってシンボルが関連付けられる。具体的には、データ６３Ａ内の関心のあるポイントに対応する各位置に、ブロック６４によってシンボルが挿入されて、各プレゼンターインタラクションのシンボリック表現に対応するビットストリーム６０Ａが生成される。挿入されるシンボルの種類は、リアルタイムプレゼンテーション前にプレゼンターが事前に選択することもでき、またはユニット１５が自動的に割り当てることもできる。ビットストリーム６０Ａは、シンボリック表現が図１Ｃに示すもの等、スライド内の現在の関心のあるポイントの位置に表示されるように、リアルタイムプレゼンテーション中にスライド画像データ１１Ａとともに表示装置１１に伝送されることに留意されたい。
【００３９】
１実施形態では、捕捉画像データ１３Ａおよびスライド画像データ１１Ａに、音声信号１４Ａの持続期間に従って断続的にタイムスタンプが付与される（ブロック６４Ａ〜６４Ｃ）。次に、音声信号が、音声コーダ（音声符号器）６５によってデジタル信号に変換され、音声ビットストリーム６５Ａが生成される。
【００４０】
各プレゼンターインタラクションのシンボリック表現に対応するビットストリーム６０Ａ、スライド画像データに対応するビットストリーム１１Ａ、および音声信号に対応するビットストリーム６５Ａは、同期ブロック６６に関連付けられ、ブロック６４Ａ〜６４Ｃにおいて生成されたタイムスタンプに従って同期化される。具体的には、受け取られた各信号１３Ａ、１４Ａ、１１Ａ内に作成されたタイムスタンプが、対応するビットストリーム６０Ａ、１１Ａ、および６５Ａそれぞれとともに保持される。スライド画像データビットストリーム１１Ａおよびシンボリック表現ビットストリーム６０Ａは、タイムスタンプによって示される記録された音声信号の持続期間に応じて、音声ビットストリーム６４Ａに同期化される。これは、別個のシステムクロックが全ての信号の同期化に使用される一般的な同期化技法とは対照的である。システムクロックではなく音声ビットストリームに関して同期をとることの利点は、１）タイミングを取るために別個のクロックを必要としない、２）音声信号がプレゼンテーションの持続期間の正確なタイミングを表す、３）システムクロックは、他のタスクに関与することになる場合があり、実際のプレゼンテーション接続時間を反映しない場合があるため、音声ビットストリームほどプレゼンテーションのタイミングツールとして正確ではないことである。そのため、音声信号持続期間に従った同期は、より頑強なプレゼンテーションタイミングを提供する。
【００４１】
ビットストリームのリンクおよび閲覧
１実施形態では、閲覧インタフェース（またはブラウジングインターフェース）を使用してマルチメディアデータオブジェクトを閲覧可能にするために、ビットストリームがリンク（結合）されて、スライドプレゼンテーション内の個々のスライドの選択および閲覧が可能になり、これにより、所与のスライドが選択されたときに、その所与のスライドを画定するインターバル間のマルチメディアデータオブジェクトの各ビットストリームが再生されるようにする。したがって、マルチメディアデータオブジェクトは、スライド単位で閲覧することが可能である。
【００４２】
別の実施形態では、マルチメディアデータオブジェクトをプレゼンターインタラクションイベント単位で閲覧可能にするためにビットストリームがリンクされる。特に、複数のビットストリームは、ユーザがマルチメディアデータオブジェクトを再生し、プレゼンターインタラクションのシンボリック表現の位置が、再生されたスライド内で選択されると、リアルタイムプレゼンテーション中にそのプレゼンターインタラクションが発生したと同時に取り込まれた別のビットストリームの一部も再生されるように、リンキング機構（図３および図５ではＬ１およびＬ２と表される）をさらに含む。たとえば、図３を参照すると、閲覧者が表示スライド１内のｔ０１において発生した再表示スライド内のシンボリック表現に対応する位置を選択した場合、リンキング機構Ｌ１により、ビットストリーム３の音声１も時間ｔ０１に再生され始める。
【００４３】
別の実施形態では、シンボリックインタラクションビットストリームが、リアルタイムプレゼンテーション中に取り込まれた複数のビデオクリップを含むマルチメディアデータオブジェクトビデオクリップビットストリーム（図４）にリンクされる。ビデオクリップは、複数のビデオクリップのそれぞれに、リアルタイムプレゼンテーション取り込み中に発生したプレゼンターインタラクションが関連付けられるように、リアルタイムプレゼンテーション取り込み中にプレゼンターインタラクションの発生が検出されたことに応答して取り込まれる。この実施形態では、シンボリックインタラクションビットストリームは、スライドがマルチメディアデータオブジェクト内で再生され、シンボリックインタラクションイベントの位置がスライド内で選択されると、リアルタイムプレゼンテーション中にそのインタラクションイベントが発生したのと同時に取り込まれたビデオクリップも再生されるように、ビデオクリップビットストリームにリンクされる。たとえば、時間ｔ０１に発生したプレゼンテーションインタラクションイベントは、プレゼンテーションインタラクションが再生されるときに、ビデオクリップも同期して再生されるように、リンキング機構Ｌ２によってビデオクリップＶ１にリンクされる。各プレゼンテーションインタラクションイベントを、マルチメディアデータオブジェクトの複数のビットストリームの２つ以上にリンクさせることができることにさらに留意されたい。
【００４４】
リンキング機構は、ポインタのルックアップテーブルとして実現することができ、この場合、インタラクションイベントポインタを使用して、テーブルにアクセスし、他のビットストリーム内のトラッキングされた（すなわち追跡された）位置へのポイントを得ることができる。
【００４５】
図９は、マルチメディアデータオブジェクトをプレゼンターインタラクションイベント単位で閲覧可能にするためにビットストリームがリンクされる、マルチメディアデータオブジェクトを生成するシステムの１実施形態を示す。このシステムによれば、リアルタイムスライドプレゼンテーションが、スライドプレゼンテーション捕捉手段（ブロック９０）によって取り込まれて、表示されたスライド、および表示されたスライドの前にいるプレゼンターに対応する画像信号９０Ａ、ならびにプレゼンターのスピーチに対応する音声信号９０Ｂが得られる。画像信号９０Ａは、リアルタイムスライドプレゼンテーションを表す複数のビットストリームを生成するように機能するマルチメディアデータオブジェクトレコーダ（ブロック９１）に結合される。ビットストリーム９１Ｂの１つは、ビットストリーム内の位置をトラッキングする（すなわち、追跡する）第１の手段（ブロック９２）に結合される。プレゼンターインタラクションのシンボリック表現に対応するビットストリーム９１Ａは、スライド内のプレゼンターインタラクションを検出する第２の手段（ブロック９３）に結合されて、プレゼンテーション中のプレゼンターインタラクションイベントの発生を検出する。ビットストリームトラッキング情報９２Ａおよびプレゼンターインタラクションイベント情報９３Ａは、検出された各プレゼンターインタラクションを音声ビットストリーム内の対応するトラッキング位置（追跡された位置）にリンクする第３の手段（ブロック９４）に結合される。１実施形態では、ビットストリームを、インタラクションイベントの発生がビットストリーム内の特定の時間にリンクされるように、カウンタを使用してトラッキングすることができる。代替として、ビットストリームの位置を、インタラクションイベントの発生が、そのビットストリームを格納しているデータファイル内の特定位置にリンクされるように、格納されているデータ量をトラッキングすることによってトラッキングすることができる。１実施形態では、イベントは、イベントビットストリームが再生され、インタラクションイベントが選択されると、そのイベントの位置を使用して、トラッキングされたビットストリーム内のトラッキング位置を格納しているルックアップテーブルが指し示され、ビットストリームをどこから再生し始めるかが決定されるように、ルックアップテーブルまたはインデックスを使用してビットストリーム内のトラッキング位置にリンクされる。１実施形態では、ブロック９２〜９４はマルチメディアデータオブジェクトレコーダ９１内で実現することができ、この場合、イベントの検出およびビットストリームのトラッキングは、マルチメディアデータオブジェクトを生成する間に行われることを理解されたい。
【００４６】
図１０は、マルチメディアデータオブジェクトを記録し、マルチメディアデータオブジェクトをプレゼンターインタラクションイベント単位で閲覧する方法を示す。まず、リアルタイムプレゼンテーションが取り込まれて、プレゼンテーションを表す画像信号および音声信号が得られる（ブロック１０１）。複数のビットストリームを含むマルチメディアデータオブジェクトが生成され（ブロック１０２）、ここで、ビットストリームのうちの少なくとも１つは、プレゼンターインタラクションのシンボリック表現に対応する。インタラクションビットストリーム以外の、複数のビットストリームのうちの１つの位置がトラッキングされる（ブロック１０３）。さらに、インタラクションビットストリーム内のプレゼンターインタラクションが検出される（ブロック１０４）。インタラクションの検出に応答して、他のビットストリーム内の対応するトラッキングされた位置が、検出されたインタラクションのシンボリック表現にリンクされる（ブロック１０５）。マルチメディアデータオブジェクトを閲覧し、再表示されているスライド内の検出されたインタラクションのシンボリック表現の位置が選択されると（ブロック１０６）、他のビットストリームが、音声ビットストリーム内のトラッキングされた位置で再生され始める。
【００４７】
上記説明において、本発明の完全な理解を提供するために、多くの特定の細部について述べた。しかし、こういった特定の細部は、本発明を実施する際に採用する必要がないことが当業者に明らかであろう。他の場合では、本発明を不必要に曖昧にすることを避けるため、既知の技法については詳細に説明しなかった。
【００４８】
さらに、本発明の要素を特定の実施形態に関連して説明したが、様々な他の方法で本発明を実施することが可能である。したがって、例として図示し説明した特定の実施形態は限定することを意図したものではない。それらの実施形態の細部に対する参照は、本発明に必須なものとみなされる特徴のみを記載した特許請求の範囲を限定することを意図したものではない。
【図面の簡単な説明】
【００４９】
【図１Ａ】リアルタイムスライドプレゼンテーションを取り込み、プレゼンテーションを表現するマルチメディアデータオブジェクトを生成するシステムの一例を示す。
【図１Ｂ】表示されたスライドプレゼンテーションの表示領域内の関心のあるポイントとのプレゼンターのインタラクションを示す。
【図１Ｃ】図１Ｂに示す表示されたスライドプレゼンテーション内のプレゼンターのインタラクションのシンボリック表現の挿入を示す。
【図１Ｄ】図１Ｃに示す、以前に記録されたプレゼンターのインタラクションのシンボリック表現を含むマルチメディアデータオブジェクトの再生スライドを示す。
【図２】複数のビットストリームを含むマルチメディアデータオブジェクトの第１の実施形態を示す。
【図３】図２に示すマルチメディアデータオブジェクトの複数のビットストリームの同期化を示す。
【図４】複数のビデオクリップに対応する複数のビットストリームを含むマルチメディアデータオブジェクトの第２の実施形態を示す。
【図５】図４に示すマルチメディアデータオブジェクトの複数のビットストリームの同期化を示す。
【図６Ａ】本発明によるマルチメディアデータオブジェクトユニットの第１の実施形態を示す。
【図６Ｂ】本発明によるマルチメディアデータオブジェクトユニットの第２の実施形態を示す。
【図７Ａ】図６Ｂに示すマルチメディアデータオブジェクトユニットの構成要素によって実行される機能に対応するプロセスのフローチャートを示す。
【図７Ｂ】図６Ｂに示すマルチメディアデータオブジェクトユニットの構成要素によって実行される機能に対応するプロセスのフローチャートを示す。
【図７Ｃ】図６Ｂに示すマルチメディアデータオブジェクトユニットの構成要素によって実行される機能に対応するプロセスのフローチャートを示す。
【図７Ｄ】図６Ｂに示すマルチメディアデータオブジェクトユニットの構成要素によって実行される機能に対応するプロセスのフローチャートを示す。
【図７Ｅ】図６Ｂに示すマルチメディアデータオブジェクトユニットの構成要素によって実行される機能に対応するプロセスのフローチャートを示す。
【図７Ｆ】図６Ｂに示すマルチメディアデータオブジェクトユニットの構成要素によって実行される機能に対応するプロセスのフローチャートを示す。
【図８Ａ】図６Ｂに示す画像データを分離する手段の１実施形態を示す。
【図８Ｂ】図６Ｂに示す関心のあるポイントを特定する手段の１実施形態を示す。
【図９】マルチメディアデータオブジェクトをプレゼンターインタラクションイベント単位で閲覧可能にするためにビットストリームがリンクされた、閲覧可能なマルチメディアデータオブジェクトを作成するシステム第１の実施形態を示す。
【図１０】本発明による、マルチメディアデータオブジェクトを作成し閲覧する方法の第１の実施形態を示す。
【図１Ａ】
2005527996.tif 000006
【図１Ｂ】
2005527996.tif 000007
【図１Ｃ】
2005527996.tif 000008
【図１Ｄ】
2005527996.tif 000009
【図２】
2005527996.tif 000010
【図３】
2005527996.tif 000011
【図４】
2005527996.tif 000012
【図５】
2005527996.tif 000013
【図６Ａ】
2005527996.tif 000014
【図６Ｂ】
2005527996.tif 000015
【図７Ａ】
2005527996.tif 000016
【図７Ｂ】
2005527996.tif 000017
【図７Ｃ】
2005527996.tif 000018
【図７Ｄ】
2005527996.tif 000019
【図７Ｅ】
2005527996.tif 000020
【図７Ｆ】
2005527996.tif 000021
【図８Ａ】
2005527996.tif 000022
【図８Ｂ】
2005527996.tif 000023
【図９】
2005527996.tif 000024
【図１０】
2005527996.tif 000025
【国際調査報告】
2005527996.tif 000026
2005527996.tif 000027
2005527996.tif 000028