(57)【要約】【課題】アプリケーションの制限や適用場所の制限の問題を解決し、様々な公共空間において、フローティング広告やマップ広告等の人物の動作に応じた様々な情報提供を行うことを可能にする。【解決手段】本発明は、センサ手段の解析結果を取得し、これらの解析結果がある特定の条件を満たした場合に、イベントを発生させ、イベントに応じて規定された関数を実行し、関数の中で指定された画面制御命令を実行することにより、センサ手段から得られた解析結果に応じて画面制御を行なう。【選択図】  図１
2005157134.tif 000002
【特許請求の範囲】
【請求項１】
一人または複数の人物の動作に応じて、表示装置への情報の出力を動的に変化させる情報出力方法において、
センサ手段が、種々の検出対象からの入力に基づいて解析するセンサ過程と、
イベント発生手段が、センサ手段から解析結果を取得し、該解析結果がある特定の条件を満たした場合に、イベントを発生させるイベント発生過程と、
スクリプト実行手段が、発生された前記イベントに応じて規定された関数を実行するスクリプト実行過程と、
画像制御手段が、前記関数の中で指定された画面制御命令に応じて、表示するコンテンツの切り替え、または、出力位置、または、出力サイズの変更を実行する画面制御過程と、からなり、
前記センサ過程において、
１つまたは複数の監視カメラの撮影画像を解析し、人物の位置や動きを検出する複画像同期解析過程、または、
１つまたは複数の無線タグ受信機の出力結果を解析し、各受信機の感知領域内に存在する無線タグの識別子や位置を検出する無線タグ管理過程、または、
１つまたは複数のマイクによって取得された音声を解析し、音声の大きさや音声認識の結果を出力する音声入力過程を行うことを特徴とする情報出力方法。
【請求項２】
前記複数画像同期解析過程において、
１つまたは、複数の各監視カメラから撮影画像を取得し、撮影画像の各ピクセルを、背景を表す白と、背景との差分がある閾値を超えたものを表す黒の２値に変換し、黒のピクセルの連続領域を閉領域として取得し、該閉領域の重心を人物の位置とすることにより撮影画像から人物の位置検出を行う請求項１記載の情報出力方法。
【請求項３】
前記複数画像同期解析過程において、
前記閉領域の重心と前記閉領域の黒のピクセルとの距離を計算し、該距離が最大となるピクセルを求め、最大の距離がある閾値を超える場合には、重心から該最大の距離を持つピクセルへ結んだベクトルの方向を求め、これを該閉領域に対する人物の指差し方向とする請求項２記載の情報出力方法。
【請求項４】
前記複数画像同期解析過程において、
監視カメラの撮影画像の四隅を手動で調整された１つまたは複数の撮影画像をコンテンツの画面上にマッピングし、マッピングされた画面上で、監視領域を指定することができるユーザインタフェースを有し、マッピングされた形状の撮影画像を自動的に歪ませ、該ユーザインタフェースを介して指定された監視領域のみに対して人物の動作の検出を行う請求項１記載の情報出力方法。
【請求項５】
前記複数同期解析過程において、
複数の監視カメラの画像をマッピングした時に、撮影領域が互いに重なるようにした場合には、重なった領域のピクセルは、黒のピクセルの論理和をとることによって、１つの合成された画像を作成し、該合成された画像に対して人物の位置検出を行う請求項２または、４記載の情報出力方法。
【請求項６】
前記イベント発生過程において、
前記スクリプト実行手段から、監視対象のイベントリストを取得し、センサ手段からの解析結果を記憶手段に蓄積し、蓄積された解析結果集合が各イベントの発生条件を満たした場合には、イベントを発生させる請求項１記載の情報出力方法。
【請求項７】
一人または複数の人物の動作に応じて、表示装置への情報の出力を動的に変化させる情報出力装置であって、
監視カメラ、無線タグ受信機、マイクを含む各装置から取得した情報に基づいて解析を行うセンサ手段と、
前記複数センサ手段から解析結果を取得し、該解析結果がある特定の条件を満たした場合に、イベントを発生させるイベント発生手段と、
発生された前記イベントに応じて規定された関数を実行するスクリプト実行手段と、
前記関数の中で指定された画面制御命令に応じて、表示するコンテンツの切り替え、または、出力位置、または、出力サイズの変更を実行する画面制御手段と、を有し、
前記センサ手段は、
１つまたは複数の監視カメラの撮影画像を解析し、人物の位置や動きを検出する複画像同期解析手段、または、
１つまたは複数の無線タグ受信機の出力結果を解析し、各受信機の感知領域内に存在する無線タグの識別子や位置を検出する無線タグ管理手段、または、
１つまたは複数のマイクによって取得された音声を解析し、音声の大きさや音声認識の結果を出力する音声入力手段を含むことを特徴とする情報出力装置。
【請求項８】
前記複数画像同期解析手段は、
１つまたは、複数の各監視カメラから撮影画像を取得する手段と、
前記撮影画像の各ピクセルを、背景を表す白と、背景との差分がある閾値を超えたものを表す黒の２値に変換し、黒のピクセルの連続領域を閉領域として取得する手段と、
前記閉領域の重心を人物の位置とすることにより撮影画像から人物の位置検出を行う手段を含む請求項７記載の情報出力装置。
【請求項９】
前記複数画像同期解析手段は、
前記閉領域の重心と前記閉領域の黒のピクセルとの距離を計算する手段と、
前記距離が最大となるピクセルを求める手段と、
最大の距離がある閾値を超える場合には、重心から該最大の距離を持つピクセルへ結んだベクトルの方向を求め、これを該閉領域に対する人物の指差し方向とする手段と、を有する請求項８記載の情報出力装置。
【請求項１０】
前記複数画像同期解析手段は、
監視カメラの撮影画像の四隅を手動で調整された１つまたは複数の撮影画像をコンテンツの画面上にマッピングする手段と、
マッピングされた画面上で、監視領域を指定することができるユーザインタフェースと、
マッピングされた形状の撮影画像を自動的に歪ませ、前記ユーザインタフェースを介して指定された監視領域のみに対して人物の動作の検出を行う手段と、を含む請求項８記載の情報出力装置。
【請求項１１】
前記複数同期解析手段は、
複数の監視カメラの画像をマッピングした時に、撮影領域が互いに重なるようにした場合には、重なった領域のピクセルは、黒のピクセルの論理和をとることによって、１つの合成された画像を作成する手段と、
前記合成された画像に対して人物の位置検出を行う手段と、を含む請求項８または、１０記載の情報出力装置。
【請求項１２】
前記イベント発生手段は、
前記スクリプト実行手段から、監視対象のイベントリストを取得し、前記センサ手段からの解析結果を記憶手段に蓄積し、蓄積された解析結果集合が各イベントの発生条件を満たした場合には、イベントを発生させる手段を含む請求項７記載の情報出力装置。
【請求項１３】
一人または複数の人物の動作に応じて、表示装置への情報の出力を動的に変化させる情報出力装置に実行させる情報出力プログラムであって、
監視カメラ、無線タグ受信機、マイクを含む各装置から取得した情報に基づいて解析を行う複数のセンサステップと、
前記複数センサステップの出力として解析結果を取得し、該解析結果がある特定の条件を満たした場合に、イベントを発生させるイベント発生ステップと、
発生された前記イベントに応じて規定された関数を実行するスクリプト実行ステップと、
前記関数の中で指定された画面制御命令に応じて、表示するコンテンツの切り替え、または、出力位置、または、出力サイズの変更を実行する画面制御ステップと、からなり、
前記センサステップにおいて、
１つまたは複数の監視カメラの撮影画像を解析し、人物の位置や動きを検出する複画像同期解析ステップ、または、
１つまたは複数の無線タグ受信機の出力結果を解析し、各受信機の感知領域内に存在する無線タグの識別子や位置を検出する無線タグ管理ステップ、または、
１つまたは複数のマイクによって取得された音声を解析し、音声の大きさや音声認識の結果を出力する音声入力ステップのいずれかのステップをコンピュータに実行させることを特徴とする情報出力プログラム。
【請求項１４】
前記複数画像同期解析ステップにおいて、
１つまたは、複数の各監視カメラから撮影画像を取得するステップと、
前記撮影画像の各ピクセルを、背景を表す白と、背景との差分がある閾値を超えたものを表す黒の２値に変換し、黒のピクセルの連続領域を閉領域として取得するステップと、
前記閉領域の重心を人物の位置とすることにより撮影画像から人物の位置検出を行うステップと、を実行させる請求項１３記載の情報出力プログラム。
【請求項１５】
前記複数画像同期解析ステップにおいて、
前記閉領域の重心と前記閉領域の黒のピクセルとの距離を計算するステップと、
前記距離が最大となるピクセルを求めるステップと、
最大の距離がある閾値を超える場合には、重心から該最大の距離を持つピクセルへ結んだベクトルの方向を求め、これを該閉領域に対する人物の指差し方向とするステップと、を実行させる請求項１４記載の情報出力プログラム。
【請求項１６】
前記複数画像同期解析ステップにおいて、
監視カメラの撮影画像の四隅を手動で調整された１つまたは複数の撮影画像をコンテンツの画面上にマッピングするステップと、
マッピングされた画面上で、マッピングされた形状の撮影画像を自動的に歪ませ、監視領域を指定することができるユーザインタフェースを介して指定された監視領域のみに対して人物の動作の検出を行うステップと、を実行させる請求項１４記載の情報出力プログラム。
【請求項１７】
前記複数同期解析ステップにおいて、
複数の監視カメラの画像をマッピングした時に、撮影領域が互いに重なるようにした場合には、重なった領域のピクセルは、黒のピクセルの論理和をとることによって、１つの合成された画像を作成するステップと、
前記合成された画像に対して人物の位置検出を行うステップと、を実行させる請求項１４または、１６記載の情報出力プログラム。
【請求項１８】
前記イベント発生ステップにおいて、
前記スクリプト実行ステップの出力である、監視対象のイベントリストを取得し、前記センサ手段からの解析結果を記憶手段に蓄積するステップと、
蓄積された解析結果集合が各イベントの発生条件を満たした場合には、イベントを発生させるステップと、を、実行させる請求項１３記載の情報出力プログラム。
【請求項１９】
一人または複数の人物の動作に応じて、表示装置への情報の出力を動的に変化させる情報出力装置に実行させる情報出力プログラムを格納したコンピュータ読み取り可能な記憶媒体であって、
前記請求項１３乃至１８記載の情報出力プログラムを格納したことを特徴とする情報出力プログラムを格納したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報出力方法及び装置及びプログラム及び情報出力プログラムを格納したコンピュータ読み取り可能な記憶媒体に係り、特に、大規模な画面に対して、一人または複数の人物の動作に応じて、静止画、動画、文字情報等の出力を動的に変化させる情報出力方法及び装置及びプログラム及び情報出力プログラムを格納したコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
コンピュータの処理能力の進歩や、ディスプレイの低廉化等によって、駅構内やビルの入り口等の公共空間において、プラズマディスプレイやプロジェクタ等を利用した情報提供が始まってきている。
【０００３】
一方、センサ技術の発達によって、人の動作に応じて、情報出力を動的に変化させるといった試みが行われてきている（例えば、特許文献１，２、非特許文献１参照）。このような技術としては、監視カメラの撮影画像を用いて人物の位置や動きを検出するもの、ＩＤを発信する無線タグを用いて人物に関連付けられた属性（性別、年齢等）を特定するもの、マイクを用いて音声を取得するもの等があり、主にエンタテイメント施設やパビリオン等において利用されている。
【０００４】
本発明では、駅構内やビルの入り口といった大規模な空間の中で、人物の動作に応じて最適な情報（特に広告情報）を提供することを目的としている。具体的な例を以下に示す。
【０００５】
・フローティング広告：
当該フローティング広告は、図１１に示すように、大画面に、広告等の情報を表示する一つまたは複数の情報表示用ウィンドウを出力する。人物の動作に応じて以下のように出力を変化させる。
【０００６】
−人物がウィンドウの前を通りすぎるとウィンドウのサイズを拡大する。
【０００７】
−人物が立ち止まると詳細情報を表示する。
【０００８】
−長時間停滞する、指差す、声を出す等の動作を行うと地図やクーポン情報等を表示する。
【０００９】
−各ウィンドウに表示する情報は、検出された無線タグのＩＤに基づき選択する。例えば、男性に関連付けられた無線タグを持っている人物が近くに存在する場合は、男性向けの広告情報を表示する。
【００１０】
・マップ広告：
マップ広告は、図１２に示すように、初期状態では、大画面の背景に地図を表示する。人物の動作に応じて以下のように出力を変化させる。
【００１１】
−地図の決められた位置の前に人物が立ち止まると、情報表示用ウィンドウをポップアップする。
【００１２】
−対応する位置にあるお店の情報を表示する。
【００１３】
−画面に人物が近付くと詳細情報を表示する。
【００１４】
これらの情報提供方法では、人物の自然な動作に従い、その人物に適した情報を提供することができる。例えば、関心のない人に対しては、興味を引くような情報提供を行い、興味を持った人には詳細情報、さらに興味を持った人には、お店に誘導するための地図やクーポン情報を適宜提供することができる。
【特許文献１】特開２００１−４３３８４号公報「マルチメディア情報空間の入力方法及び入力装置及び入出力連携方法及び入出力連携装置及び入力プログラム及び入出力連携プログラムを記録した記録媒体」
【特許文献２】特開２００１−２１６５２７号公報「マルチメディア情報空間入力装置及びその方法、ならびにそのプログラムを記録した記録媒体」
【非特許文献１】木原民雄、草原真知子、安田浩「場のアートとネットワークアート」情報処理学会論文誌Vol.44 No2,  ２００３年
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかしながら、上記で述べたような情報提供方法を実現するためには、従来の技術では以下のような問題がある。
【００１６】
第1には、アプリケーションの制限という問題である。
【００１７】
従来技術の多くは、エンタテイメント施設等での利用が主な目的であったため、アプリケーション毎に全ての機能を作りこんでいる。そのため、上記２つの情報提供法を柔軟に切り替えたり、組み合わせたりして利用することや、人物の動作に応じて、きめ細かに出力方法を設定することが難しい。このため、ある特定の目的で開発されたシステムを、別の場所や違った種類の情報を提供するために利用するためには、非常に大きなコストがかかるという問題がある。
【００１８】
第２には、適用場所の制限という問題である。
【００１９】
動作の検出を行うためには、通常、検出領域の真上に設置された１台の監視カメラを利用している。しかしながら、監視カメラの画角は限られているため、天井が低い場所では、広い領域の人物の動作を検出することが難しい。上記のような情報提供では、既存の空間を対象としているため、様々な大きさや形状の監視領域やカメラの設置位置の制限等に柔軟に対応する必要があるため、従来技術を適用することは難しい。
【００２０】
本発明は、上記の点に鑑みなされたもので、アプリケーションの制限や適用場所の制限の問題を解決し、様々な公共空間において、フローティング広告やマップ広告等の人物の動作に応じた様々な情報提供を行うことが可能な情報出力方法及び装置及びプログラム及び情報出力プログラムを格納したコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００２１】
図１は、本発明の原理を説明するための図である。
【００２２】
本発明は、一人または複数の人物の動作に応じて、表示装置への情報の出力を動的に変化させる情報出力方法において、
センサ手段が、種々の検出対象からの入力に基づいて解析するセンサ過程（ステップ１）と、
イベント発生手段が、センサ手段から解析結果を取得し、該解析結果がある特定の条件を満たした場合に、イベントを発生させるイベント発生過程（ステップ２）と、
スクリプト実行手段が、発生された前記イベントに応じて規定された関数を実行する（ステップ３）スクリプト実行過程と、
画像制御手段が、前記関数の中で指定された画面制御命令に応じて、表示するコンテンツの切り替え、または、出力位置、または、出力サイズの変更を実行する画面制御過程（ステップ４）と、からなり、
センサ過程において、
１つまたは複数の監視カメラの撮影画像を解析し、人物の位置や動きを検出する複画像同期解析過程、または、
１つまたは複数の無線タグ受信機の出力結果を解析し、各受信機の感知領域内に存在する無線タグの識別子や位置を検出する無線タグ管理過程、または、
１つまたは複数のマイクによって取得された音声を解析し、音声の大きさや音声認識の結果を出力する音声入力過程を行う。
【００２３】
また、センサ過程の複数画像同期解析過程において、
１つまたは、複数の各監視カメラから撮影画像を取得し、撮影画像の各ピクセルを、背景を表す白と、背景との差分がある閾値を超えたものを表す黒の２値に変換し、黒のピクセルの連続領域を閉領域として取得し、該閉領域の重心を人物の位置とすることにより撮影画像から人物の位置検出を行う。
【００２４】
また、本発明は、複数画像同期解析過程において、
閉領域の重心と閉領域の黒のピクセルとの距離を計算し、該距離が最大となるピクセルを求め、最大の距離がある閾値を超える場合には、重心から該最大の距離を持つピクセルへ結んだベクトルの方向を求め、これを該閉領域に対する人物の指差し方向とする。
【００２５】
また、本発明は、複数画像同期解析過程において、
監視カメラの撮影画像の四隅を手動で調整された１つまたは複数の撮影画像をコンテンツの画面上にマッピングし、マッピングされた画面上で、マッピングされた形状の撮影画像を自動的に歪ませ、監視領域を指定することができるユーザインタフェースを介して指定された監視領域のみに対して人物の動作の検出を行う。
【００２６】
また、本発明は、複数同期解析過程において、
複数の監視カメラの画像をマッピングした時に、撮影領域が互いに重なるようにした場合には、重なった領域のピクセルは、黒のピクセルの論理和をとることによって、１つの合成された画像を作成し、該合成された画像に対して人物の位置検出を行う。
【００２７】
また、本発明は、イベント発生過程において、
スクリプト実行手段から、監視対象のイベントリストを取得し、センサ手段からの解析結果を記憶手段に蓄積し、蓄積された解析結果集合が各イベントの発生条件を満たした場合には、イベントを発生させる。
【００２８】
図２は、本発明の原理構成図である。
【００２９】
本発明は、一人または複数の人物の動作に応じて、表示装置への情報の出力を動的に変化させる情報出力装置１であって、
監視カメラ、無線タグ受信機、マイクを含む各装置から取得した情報に基づいて解析を行うセンサ手段１５と、
複数センサ手段１５から解析結果を取得し、該解析結果がある特定の条件を満たした場合に、イベントを発生させるイベント発生手段４０と、
発生されたイベントに応じて規定された関数を実行するスクリプト実行手段５０と、
関数の中で指定された画面制御命令に応じて、表示するコンテンツの切り替え、または、出力位置、または、出力サイズの変更を実行する画面制御手段６０と、を有し、
センサ手段１５は、
１つまたは複数の監視カメラの撮影画像を解析し、人物の位置や動きを検出する複画像同期解析手段、または、
１つまたは複数の無線タグ受信機の出力結果を解析し、各受信機の感知領域内に存在する無線タグの識別子や位置を検出する無線タグ管理手段、または、
１つまたは複数のマイクによって取得された音声を解析し、音声の大きさや音声認識の結果を出力する音声入力手段を含む。
【００３０】
また、本発明の複数画像同期解析手段は、
１つまたは、複数の各監視カメラから撮影画像を取得する手段と、
撮影画像の各ピクセルを、背景を表す白と、背景との差分がある閾値を超えたものを表す黒の２値に変換し、黒のピクセルの連続領域を閉領域として取得する手段と、
閉領域の重心を人物の位置とすることにより撮影画像から人物の位置検出を行う手段を含む。
【００３１】
また、本発明の複数画像同期解析手段は、
閉領域の重心と閉領域の黒のピクセルとの距離を計算する手段と、
距離が最大となるピクセルを求める手段と、
最大の距離がある閾値を超える場合には、重心から該最大の距離を持つピクセルへ結んだベクトルの方向を求め、これを該閉領域に対する人物の指差し方向とする手段と、を有する。
【００３２】
また、本発明の複数画像同期解析手段は、
監視カメラの撮影画像の四隅を手動で調整された１つまたは複数の撮影画像をコンテンツの画面上にマッピングする手段と、
マッピングされた画面上で、監視領域を指定することができるユーザインタフェースと、
マッピングされた形状の撮影画像を自動的に歪ませ、ユーザインタフェースを介して指定された監視領域のみに対して人物の動作の検出を行う手段と、を含む。
【００３３】
また、本発明の複数同期解析手段は、
複数の監視カメラの画像をマッピングした時に、撮影領域が互いに重なるようにした場合には、重なった領域のピクセルは、黒のピクセルの論理和をとることによって、１つの合成された画像を作成する手段と、
合成された画像に対して人物の位置検出を行う手段と、を含む。
【００３４】
また、本発明のイベント発生手段は、
スクリプト実行手段から、監視対象のイベントリストを取得し、センサ手段からの解析結果を記憶手段に蓄積し、蓄積された解析結果集合が各イベントの発生条件を満たした場合には、イベントを発生させる手段を含む。
【００３５】
本発明は、一人または複数の人物の動作に応じて、表示装置への情報の出力を動的に変化させる情報出力装置に実行させる情報出力プログラムであって、
監視カメラ、無線タグ受信機、マイクを含む各装置から取得した情報に基づいて解析を行う複数のセンサステップと、
複数センサステップの出力として解析結果を取得し、該解析結果がある特定の条件を満たした場合に、イベントを発生させるイベント発生ステップと、
発生されたイベントに応じて規定された関数を実行するスクリプト実行ステップと、
関数の中で指定された画面制御命令に応じて、表示するコンテンツの切り替え、または、出力位置、または、出力サイズの変更を実行する画面制御ステップと、からなり、
センサステップにおいて、
１つまたは複数の監視カメラの撮影画像を解析し、人物の位置や動きを検出する複画像同期解析ステップ、または、
１つまたは複数の無線タグ受信機の出力結果を解析し、各受信機の感知領域内に存在する無線タグの識別子や位置を検出する無線タグ管理ステップ、または、
１つまたは複数のマイクによって取得された音声を解析し、音声の大きさや音声認識の結果を出力する音声入力ステップのいずれかのステップをコンピュータに実行させる。
【００３６】
また、本発明は、複数画像同期解析ステップにおいて、
１つまたは、複数の各監視カメラから撮影画像を取得するステップと、
撮影画像の各ピクセルを、背景を表す白と、背景との差分がある閾値を超えたものを表す黒の２値に変換し、黒のピクセルの連続領域を閉領域として取得するステップと、
閉領域の重心を人物の位置とすることにより撮影画像から人物の位置検出を行うステップと、を実行させる。
【００３７】
また、本発明は、複数画像同期解析ステップにおいて、
閉領域の重心と閉領域の黒のピクセルとの距離を計算するステップと、
距離が最大となるピクセルを求めるステップと、
最大の距離がある閾値を超える場合には、重心から該最大の距離を持つピクセルへ結んだベクトルの方向を求め、これを該閉領域に対する人物の指差し方向とするステップと、を実行させる。
【００３８】
また、本発明は、複数画像同期解析ステップにおいて、
監視カメラの撮影画像の四隅を手動で調整された１つまたは複数の撮影画像をコンテンツの画面上にマッピングするステップと、
マッピングされた画面上で、マッピングされた形状の撮影画像を自動的に歪ませ、監視領域を指定することができるユーザインタフェースを用いて指定された監視領域のみに対して人物の動作の検出を行うステップと、を実行させる。
【００３９】
また、本発明は、複数同期解析ステップにおいて、
複数の監視カメラの画像をマッピングした時に、撮影領域が互いに重なるようにした場合には、重なった領域のピクセルは、黒のピクセルの論理和をとることによって、１つの合成された画像を作成するステップと、
合成された画像に対して人物の位置検出を行うステップと、を実行させる。
【００４０】
また、本発明は、イベント発生ステップにおいて、
スクリプト実行ステップの出力である、監視対象のイベントリストを取得し、センサ手段からの解析結果を記憶手段に蓄積するステップと、
蓄積された解析結果集合が各イベントの発生条件を満たした場合には、イベントを発生させるステップと、を、実行させる。
【００４１】
本発明は、一人または複数の人物の動作に応じて、表示装置への情報の出力を動的に変化させる情報出力装置に実行させる情報出力プログラムを格納したコンピュータ読み取り可能な記憶媒体であって、
上記記載の情報出力プログラムを、コンピュータ読み取り可能な記憶媒体に格納する。
【発明の効果】
【００４２】
本発明では、アプリケーションの制限、適用場所の制限の問題を解決できるので、様々な公共空間において、フローティング広告、マップ広告等の人物の動作に応じた様々な情報提供を容易に実現することが可能である。
【発明を実施するための最良の形態】
【００４３】
図３は、本発明の一実施の形態における情報出力装置の構成を示し、図４は、本発明の一実施の形態における情報出力装置の動作を示すシーケンスチャートでる。
【００４４】
同図に示す情報出力装置１は、複数画像同期解析部１０、無線タグ管理部２０、音声入力部３０、センサイベント発生部４０、スクリプト実行部５０、画面制御部６０からなり、複数画像同期解析部１０、無線タグ管理装置２０、音声入力装置３０の３つをまとめてセンサ装置と呼ぶ。
【００４５】
各装置の処理は以下の通りである。
【００４６】
複数画像同期解析装置１０は、１つまたは、複数の監視カメラで撮影された撮影画像に対して、画像解析処理処理（ステップ１０）を実行し、画像解析結果をセンサイベント発生部４０へ送信する。終了命令を取得するまでこれらの処理は繰り返される。画像解析処理（ステップ１０）では、複数の撮影画像を合成し、監視領域に写っている人物（以下、影と呼ぶ）の位置、速度、加速度、指差し方向を検出し、画像解析結果として出力する。画像解析処理の詳細を図５に示し、詳細については後述する。
【００４７】
無線タグ管理装置２０は、１つまたは、複数の無線タグ受信機が受信した無線タグのＩＤに対して、無線タグ解析処理（ステップ２０）を実行し、無線タグ情報解析結果をセンサイベント発生装置４０へ送信する。終了命令を取得するまでこれらの処理は繰り返される。無線タグ解析処理（ステップ２０）では、まず、各無線タグ受信機から、各受信機の感知領域内に存在する無線タグのＩＤを取得し、無線タグ情報解析結果（時刻、無線タグ受信機ＩＤ、感知された無線タグＩＤ、位置）を出力する。この処理は既存技術を用いる。
【００４８】
音声入力装置３０は、１つまたは複数のマイクから入力された音声に対して、音声解析処理（ステップ３０）を実行し、音声解析結果をセンサイベント発生装置４０へ送信する。終了命令を取得するまでこれらの処理は繰り返される。音声解析処理（ステップ３０）では、各マイクから音声を取得し、音声を解析し、音声解析結果（時刻、マイクＩＤ、音量または音声認識の結果）を出力する。この処理は既存技術を用いる。
【００４９】
センサイベント発生装置４０は、各センサ装置（複数画像同期解析部１０、無線タグ管理装置２０、音声入力装置３０）から解析結果を取得し、イベント発生処理（ステップ４０）を実行する。イベント発生処理（ステップ４０）では、各解析結果を蓄積し、蓄積された解析結果の集合が予め設定された特定の条件を満たした場合に、イベントを発生させ、スクリプト実行部５０に送信する。イベントを発生させる条件は、監視イベント設定要求に基づき設定される。ここでは、イベントの発生条件は特に限定しないが、例えば、以下のものがある。
【００５０】
・画像解析結果：特定の位置への影の進入、退出、一定時間の停滞、速度が一定値を超える、加速度が一定値を超える、監視領域全体で認識されている影の個数の増加、減少、指差し等の動きの検出等：
・無線タグ情報解析結果：各無線タグ受信機の特定領域内への無線タグの進入、退出、感知領域内の一定時間の停滞等：
・音声解析結果：音量が一定値を超える、一定値を下回る、特定の言葉が音声認識で検出される等：
上記のイベント発生処理の詳細については図６に示し、詳細については後述する。
【００５１】
また、センサイベント発生部４０は、スクリプト実行部５０からのセンサ状態取得要求に応じて、センサ状態取得処理（ステップ５０）を実行し、センサ状態を送信する。ここでは、センサ状態は特に限定しないが、例えば、以下のものがあり、各センサの解析結果から抽出される。
【００５２】
・画像解析結果：監視領域内の影の個数、各影の位置、速度、加速度、動きの判定（指差し方向）、影のサイズ、各影が初めて認識された時刻等）：
・無線タグ情報解析結果：各無線タグ受信機の感知領域内に存在する無線タグの個数、各無線タグのＩＤ、位置、各ＩＤが初めて認識された時刻等：
・音声解析結果：現在の音量（ｄＢ）、音声解析結果（テキスト）等；
スクリプト実行部５０は、アクションスクリプトで７０から、アクションスクリプトを取得し、スクリプト実行処理（ステップ６０）を実行する。スクリプト実行処理（ステップ６０）では、センサイベント発生部４０からイベントを取得すると、センサ状態取得命令、画面状態取得命令、画面制御命令、コマンド実行命令、演算・制御命令の組み合わせで構成される関数（以下、イベントハンドラ）を実行する。スクリプト実行処理の詳細を図７に示し、詳細については後述する。
【００５３】
画面制御部６０は、スクリプト実行部５０から画面制御要求を取得し、画面制御処理（ステップ８）を実行する。画面制御処理（ステップ８０）では、指定された位置、サイズのウィンドウに、コンテンツ（静止画、動画、テキスト等）を表示する。コンテンツは、コンテンツデータベース８０に格納されているか、または、ネットワーク９０経由で配信されるものとする。
【００５４】
また、スクリプト実行部５０からの画面状態取得要求に応じて、画面状態取得処理（ステップ７０）を実行し、画面状態を返却する。ここで、画面状態とは、特に限定しないが、例えば、表示しているウィンドウの個数、各ウィンドウの位置、サイズ、表示しているコンテンツ名、動画の再生状態等である。
【００５５】
次に、上記の各処理について詳細に説明する。
【００５６】
最初に図５に示す画像解析処理（ステップ５０）について説明する。
【００５７】
複数の画像同期解析部１０では、この処理を行う前に、予め、現実の監視カメラの撮影領域に合うように、撮影画像をコンピュータの画面上に手動でマッピングする。図８に２台の監視カメラを使用した場合の実際の撮影領域と撮影画像を示す。図８にあるように２台の監視カメラは互いに重なった領域が撮影できるように配置されている。また、監視カメラは撮影領域の真上には設置できず、図の下方向から撮影していることを想定している。このため、各監視カメラの実際の撮影領域は台形となっている。図８のように監視カメラから得られる撮影画像はあくまで長方形なので、実際の台形の撮影領域は長方形に歪むことになる。
【００５８】
図９は、このような歪んだ撮影画像をコンピュータの画面上のユーザインタフェースを用いて管理者が手動で、マッピングしている様子を表している。各撮影画像（図９ａ）の四隅をユーザインタフェース上で手動で行うことによって、実際の撮影映像に近い形（図９ｂ）にマッピングを行う。次に、実際に解析に利用する監視領域を指定する。
【００５９】
以下、このマッピングが既に行ってあるものとして、画像解析処理（図５）の各ステップを説明する。
【００６０】
ステップ１０１）  １つまたは複数の各監視カメラから撮影画像を取得する。
【００６１】
ステップ１０２）  撮影画像に対して、各ピクセルを白と黒の２値に変換する。ここで背景色を白とし、背景色との差分がある閾値を越えたものを『黒』とする。すなわち、人物の存在する領域のピクセルは『黒』となる。
【００６２】
ステップ１０３）  ２値化された画像を合成する。各ステップは以下の通りである。
【００６３】
（ａ）図９のように実際の撮影領域の形（台形）に合うように、取得画像（長方形）を歪ませる。
【００６４】
（ｂ）監視領域の部分のみを切り出す。
【００６５】
（ｃ）重なっている部分のピクセルに関して論理和をとる。つまりどちらかが、『黒』の場合は、そのピクセルの値を黒とする（図９ｃ）。
【００６６】
ステップ１０４）  フレーム画像から、閉領域リストを作成する。ここで、閉領域とは、黒のピクセルが連続する領域であり、かつ、面積（黒ピクセルの個数）がある閾値を越えるものである。図９ｃでは、２つの閉領域が抽出されている。
【００６７】
ステップ１０５）  現在時刻ｔを取得する。
【００６８】
ステップ１０６）  閉領域リストが空かどうかを判定する。空の場合はステップ１１５へ、空でない場合はステップ１０７に移行する。
【００６９】
ステップ１０７）  リストの先頭の閉領域ｋを取り出す。ｋに適当なＩＤを割り当てる。
【００７０】
ステップ１０８）  ｋに含まれる全ての黒ピクセルの重心位置を計算する。
【００７１】
ステップ１０９）  ｋに含まれる各ピクセルから重心までの距離をそれぞれ計算し、その距離が最も長いピクセルｐとその長さを特定する。この長さがある閾値を超える場合、ｋからｐへ結んだピクセルの方向を取得し、これを指差し方向とする。超えない場合は、指差しなしとする。
【００７２】
ステップ１１０）  現在の処理が２フレーム目以降かどうかの判定を行う。２フレーム目以降の場合は、ステップ１１１へ、そうでない場合はステップ１１４へ移行する。
【００７３】
ステップ１１１）  内部記憶領域へ保存された、前回の解析結果の中で最も重心の位置がｋと近い影１を見つける。ｋの重心と１の重心の差分ｄを計算する。ｄ０＜ｄ＜ｄ１の場合には、ｄをｋの速度とする。ここで、ｄ０、ｄ１は、定数であり、それぞれ、移動があったかどうかを表す下限、同じ影と特定できるのかどうかの上限を表す。また、ｄ＜ｄ１のときには、ｋのＩＤに１のＩＤを代入する。
【００７４】
ステップ１１２）  現在の処理が３フレーム目以降かどうかの判定を行う。３フレーム目以降の場合は、ステップ１１３へ、そうでない場合はステップ１１４へ移行する。
【００７５】
ステップ１１３）  ｋの速度と１の速度の差分を計算し、これをｋの加速度とする。
【００７６】
ステップ１１４）  『現在時刻ｔ、閉領域ｋのＩＤ，重心の位置、速度、加速度、指差し方向』を影リストへ追加する。
【００７７】
ステップ１１５）  影リストを画像解析結果として、センサイベント発生装置へ送信する。
【００７８】
ステップ１１６）  影リストを前回の解析結果として、内部記憶領域へ保存する。
【００７９】
次に、センサイベント発生部４０における、イベント発生処理（ステップ４０）について図６のフローチャートに沿って説明する。
【００８０】
ステップ４０１）  スクリプト実行部５０から、監視イベントのリストを取得する。ｎｕｍに監視イベントの個数、ｉに０を代入する。
【００８１】
ステップ４０２）  画像解析結果を取得し、内部記憶に蓄積する。画像解析結果は以下のレコードの集合であり、『時刻＋影ＩＤ』をキーとして、時刻でソートされて保存される。
【００８２】
レコード：『時刻、影ＩＤ，重心の位置、速度、加速度、指差し方向』
ステップ４０３）  無線タグ情報解析結果を取得し、内部記憶に蓄積する。無線タグ情報解析結果は以下のレコードの集合であり、『時刻＋無線タグ受信機ＩＤ＋無線タグＩＤ』をキーとして、時刻でソートされて保存される。
【００８３】
レコード：『時刻，無線タグ受信機ＩＤ，無線タグＩＤ，位置』
ステップ４０４）  音声解析結果を取得し、内部記憶に蓄積する。音声解析結果は、以下のレコードの集合であり、『時刻＋マイクＩＤ』をキーとして、時刻でソートされて保存される。
【００８４】
レコード：『時刻，マイクＩＤ，音量または音声認識結果』
ステップ４０５）  監視イベントリストを最後まで処理したかを判定する。ｉ＜ｎｕｍの場合はステップ４０６へ、それ以外の場合はステップ４１１へ移行する。
【００８５】
ステップ４０６）  リストのｉ番目の監視イベントｅを取得する。
【００８６】
ステップ４０７）  ｉにｉ＋１を代入する。
【００８７】
ステップ４０８）  ｅのイベント発生条件が満たされるかどうかを、内部記憶に蓄積された解析結果を調べることによって判定する。ここでは、発生条件を満たすかどうかの詳細な処理は規定しないが、例えば、監視領域にいる人物の数が増加というイベントを発生する場合には、以下の条件判定処理を行う。
【００８８】
（ａ）画像解析結果の最新の時刻を持つレコード数ｍを取得する。
【００８９】
（ｂ）１つ前の時刻を持つレコード数ｎを取得する。
【００９０】
（ｃ）ｍ−ｎが正の場合、人数の増加イベントを発生する。
【００９１】
ステップ４０９）  イベント発生条件を満たしたかどうかで、以下の分岐処理を行う。満たす場合にはステップ４１０へ、満たさない場合にはステップ４０５へ移行する。
【００９２】
ステップ４１０）  条件を満たしたイベント名とイベントに付随する変数をスクリプト実行部５０に送信する。ここで、引数とは例えば、図１０のアクションスクリプトの例にあるように、進入した人物の影(shadow)である。図１０の詳細な説明は後述する。
【００９３】
ステップ４１１）  終了命令が管理者によって実行されたかどうかを判定する。実行された場合は終了し、実行されていない場合にはステップ４０２へ移行する。
【００９４】
次に、スクリプト実行部部５０における、スクリプト実行処理（ステップ６０）について、図７のフローチャートに沿って説明する。
【００９５】
アクションスクリプトには、イベントが発生したときに呼び出される関数（イベントハンドラ）の集合を記述する。アクションスクリプトは手動または自動的に作成され、アクションスクリプトデータベース７０に格納されているものとする。イベントハンドラには、センサ状態取得命令、画面状態取得命令、画面制御命令、コマンド実行命令、演算・制御命令を指定できる。アクションスクリプトの例を図１０に示す。詳細は、実施例で後述する。管理者がアクションスクリプトを選択し、実行すると、以下のスクリプト実行処理が実行される。
【００９６】
ステップ６０１）  アクションスクリプトデータベース７０から、アクションスクリプトを取得する。
【００９７】
ステップ６０２）  アクションスクリプトに記述されているイベントハンドラの名前を監視イベントとして、センサイベント発生部４０へ送信する。
【００９８】
ステップ６０３）  終了命令が管理者によって実行されたかどうかを判定する。実行された場合には終了し、実行されていない場合にはステップ６０４へ移行する。
【００９９】
ステップ６０４）  センサイベント発生部４０からイベントを取得する。
【０１００】
ステップ６０５）  イベントに対応するイベントハンドラを解析し、命令の実行順にソートされた命令列を作成する。イベントハンドラの解析方法と命令列の作成方法は既存技術による。
【０１０１】
ステップ６０６）  命令列が空かどうかを判定する。空の場合ステップ６０３へ移行し、空でない場合にはステップ６０７へ移行する。
【０１０２】
ステップ６０７）  命令列の先頭の命令ｅを取得する。
【０１０３】
ステップ６０８）  以下の分岐処理を行う。ｅがセンサ状態取得命令の場合にはステップ６０９へ、それ以外の場合にはステップ６１０へ移行する。
【０１０４】
ステップ６０９）  ｅに指定されたセンサ状態取得要求をセンサイベント発生部４０へ送信し、結果として得られたセンサ状態を内部記憶に蓄積する。
【０１０５】
ステップ６１０）  以下の分岐処理を行う。ｅが画面状態取得命令の場合にはステップ６１１へ、それ以外の場合にはステップ６１２へ移行する。
【０１０６】
ステップ６１１）  ｅに指定された画面状態取得要求を画面制御部６０へ送信し、結果として得られた画面状態を内部記憶に蓄積する。
【０１０７】
ステップ６１２）  以下の分岐処理を行う。ｅが画面制御命令の場合にはステップ６１３へ、それ以外の場合にはステップ６１４へ移行する。
【０１０８】
ステップ６１３）  内部記憶のセンサ状態、画面状態の情報を用いて、ウィンドウのサイズ、位置、コンテンツの種類等を決定し、画面制御部６０へ送信する。
【０１０９】
ステップ６１４）  以下の分岐処理を行う。ｅがコマンド実行命令の場合にはステッ６１５へ、それ以外の場合にはステップ６１６へ移行する。
【０１１０】
ステップ６１５）  メール送信、管理者画面への状態出力等のコマンドを実行する。ここで、内部記憶のセンサ状態、画面状態の情報を用いる。また、利用できるコマンドは特に限定しない。
【０１１１】
ステップ６１６）  内部記憶の情報を用いて、算術演算、比較演算、変数の設定、制御命令等を実行し、結果を内部記憶へ蓄積する。
【実施例】
【０１１２】
以下に、実際の動作例の説明に、図１１のフローティング広告を用いる。フローティング広告を実現するスクリプトの一部を図１０に示す。関数「InArea」「OutArea」「RemainArea」がそれぞれイベントハンドラである。
【０１１３】
図１０において、「shadow」、「win」は、それぞれ画像解析処理で検出された人物の各影を表すオブジェクト、画面上に表示されている各情報表示用ウィンドウを表すオブジェクトである。各オブジェクトは、以下のメソッドを持ち、メソッドは“オブジェクト名．メソッド名”によって呼び出される。
【０１１４】
・Shadowオブジェクト
・x( ),y( )：位置取得
・handUp( )：指差しが行われているかどうかの判定
・waitedTime( )：同一箇所での停滞時間
これらのメソッドはセンサ状態を取得するためのものであるので、センサ状態取得命令である。
【０１１５】
・winオブジェクト
・setSize(width,height)：ウィンドウサイズを幅width、高さheightに変更する。
【０１１６】
・setContents（“文字列”）：文字列で指定されるコンテンツに表示情報を変更する。
【０１１７】
これらのメソッドは画面を制御するための命令であるので、画面制御命令である。
【０１１８】
また、イベントハンドラ内で利用されている関数の機能は以下の通りである。
【０１１９】
Convert(x,y)：画像解析処理で検出された影の位置（x,y）を画面上の位置（wx,wy）に変換して返却する。この命令は演算・制御命令である。
【０１２０】
・select_window(wx,wy)：wx,wyで指定された位置をその範囲に囲むウィンドウ（win）を返却する。この命令は画面状態取得命令である。
【０１２１】
各イベントハンドラのイベント発生条件と処理概要は以下の通りである。
【０１２２】
・InArea(shadow)
イベント発生条件：ある人物の影(shadow)が予め指定した領域に進入した場合に発生する。
【０１２３】
処理概要：進入した人物の影の位置を取得し、その位置に対応する画面上の情報表示ウィンドウ（win）のサイズを大きくする。
【０１２４】
・OutArea(shadow)
イベント発生条件：ある人物の影（shadow）が予め指定した領域から退出した場合に発生する。
【０１２５】
処理概要：退出した人物の影が最後にいた位置を取得し、その位置に対応する画面上の情報表示ウィンドウ（win）を特定する。そのウィンドウのサイズを通常の大きさにし、表示コンテンツを初期画面用のものにする。
【０１２６】
・RemainArea(shadow)
イベント発生条件：ある人物の影（shadow）が予め指定した領域に、一定時間停滞した場合に発生する。
【０１２７】
処理概要：停滞している人物の影の位置を取得し、その位置に対応する画面上の情報表示ウィンドウ（win）を特定する。停滞時間がある決められた時間（t０）よりも長いか、指差しが行われている場合は、地図画面を出力し、そうでなければ詳細情報を出力する。
【０１２８】
人物がある広告の前に一定時間立ち止まり、また、動いた場合に実際に呼び出される処理は以下の通りである。
【０１２９】
（１）ある人物が情報表示用ウィンドウの前を通る。
【０１３０】
（２）画像解析処理の結果、その人物を表す影（shadow）が検出され、規定された位置に入る。
【０１３１】
（３）進入イベントが発生し、進入したshadowを引数として、イベントハンドラInAreaが呼び出される。
【０１３２】
（４）InAreaでは、図１０の処理が行われ、目の前にある情報表示用ウィンドウのサイズを拡大する。
【０１３３】
（５）立ち止まった時間が一定時間を越えると、立ち止まっているshadowを引数として、イベントハンドラRemainAreaが呼び出される。
【０１３４】
（６）RemainAreaでは、図１０の処理が実行され、この時点ではt0より停滞時間が短いため、表示情報が詳細情報に変わる。
【０１３５】
（７）さらに、時間が経つと何度か同様にRemainAreaが呼び出される。停滞時間がｔ０を超えた時点で、地図画面が表示される。また、ｔ０を超えていなくても指差しをしていれば、即座に地図画面が表示される。
【０１３６】
（８）人物が動き、予め規定された領域からshadowを退出すると、イベントハンドラOutAreaが呼び出される。
【０１３７】
（９）OutAreaでは、図１０の処理が実行され、目の前にある情報表示ウィンドウのサイズを通常のサイズに戻し、初期画面を表示する。
【０１３８】
このように、図１０のような簡単なスクリプトを記述するだけで、フローティング広告といった人物の動作に応じた情報出力を行うことができる。同様に、無線タグ管理部２０、音声入力装置３０に対するイベントハンドラやセンサ状態取得命令をスクリプトに記述することによって、これらのセンサ装置を利用した情報出力を行うことができる。
【０１３９】
以下に、前述したアプリケーションの制限という問題がどのように解決されるのかを示す。
【０１４０】
スクリプト実行装置では、スクリプトに記述されたイベントが発生したタイミングで、センサ状態や画面状態を確認し、適切なアクション（画面制御）を実行することができる。このため、簡単なスクリプトを記述することによって、様々なセンサ情報を組み合わせた画面制御を容易に実現することができる。さらに、コマンド実行命令を用いれば、画面制御装置以外の機器を利用したアクション（人数が多くなったらメールで連絡）等にも拡張できる。また、スクリプトに記述されたイベントだけを監視対象とすることで、高速に処理が可能である。このように、本発明は、ある特定の目的のために開発されたシステムを、別の目的の様々なアプリケーションに容易に適用することができる。
【０１４１】
次に、前述した適用場所の制限という問題がどのように解決されるのかを示す。
【０１４２】
複数画像同期解析部１０では、n個のカメラの撮影画像を合成した画像から人物の位置を特定することができる。また、監視カメラの設置位置が監視対象領域の真上でない場合の補正も行うことができる。従って、天井が低いため、１台の監視カメラの画角ではカバーしきれないような広い領域や監視カメラの設置位置が真上にない場合でも、画像合成機能と補正機能によってその領域をカバーできる。また、監視カメラの撮影領域と監視領域の対応は、ユーザインタフェースを用いて簡単に設定可能であるため、あらゆる形状の領域、例えば、曲がり角があるような場合でも、監視領域をくまなく作成することができる。
さらに、解析結果としてはあくまで合成された一つの領域としてイベント発生部４０からは見えることになるので、イベントや状態取得の際に各監視カメラ画像を個別に取り扱う必要がない。そのため、スクリプトを書くことが容易となる。このように、本発明では、適用場所の制限の問題を解決することができる。
【０１４３】
また、図３に示す出力情報装置の各構成要素を個々の装置として構成し、出力情報システムとして構成することも可能である。
【０１４４】
また、本発明は、前述の図４〜図７に示す動作をプログラムとして構築し、情報出力装置として利用されるコンピュータにインストールし、ＣＰＵ等の制御手段で実行する、または、ネットワークを介して流通させることが可能である。
【０１４５】
また、構築されたプログラムを情報出力装置として利用されるコンピュータに接続されるハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納して置き、実行時にコンピュータにインストールすることも可能である。
【０１４６】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【産業上の利用可能性】
【０１４７】
エンタテイメント施設やパビリオン、駅構内、ビルの入り口等の大規模な空間の中で、人物の動作に応じて広告情報を提供する技術に適用可能である。
【図面の簡単な説明】
【０１４８】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における情報出力装置の構成図である。
【図４】本発明の一実施の形態における情報出力装置の概要動作のシーケンス図である。
【図５】本発明の一実施の形態における画像解析処理のフローチャートである。
【図６】本発明の一実施の形態におけるイベント発生処理のフローチャートである。
【図７】本発明の一実施の形態におけるスクリプト実行処理のフローチャートである。
【図８】本発明の一実施の形態における撮影領域と撮影画像である。
【図９】本発明の一実施の形態における撮影画像の合成方法である。
【図１０】本発明の一実施の形態におけるアクションスクリプトの例である。
【図１１】フローティング広告の例である。
【図１２】マップ広告の例である。
【符号の説明】
【０１４９】
１  情報出力装置
１０  複数画像同期解析部
１５  センサ手段
２０  無線タグ管理部
３０  音声入力部
４０  イベント発生手段、センサイベント発生部
５０  スクリプト実行手段、スクリプト実行部
６０  画像制御手段、画像制御部
７０  アクションスクリプトデータベース
８０  コンテンツデータベース
９０  ネットワーク
【図１】
2005157134.tif 000003
【図２】
2005157134.tif 000004
【図３】
2005157134.tif 000005
【図４】
2005157134.tif 000006
【図５】
2005157134.tif 000007
【図６】
2005157134.tif 000008
【図７】
2005157134.tif 000009
【図８】
2005157134.tif 000010
【図９】
2005157134.tif 000011
【図１０】
2005157134.tif 000012
【図１１】
2005157134.tif 000013
【図１２】
2005157134.tif 000014