(57)【特許請求の範囲】
【請求項１】
撮像光学系を介して結像された光を光電変換するイメージセンサーにより生成される画像における、対象物に対応する部分領域を、前記撮像光学系の光学特性に基づいて決定し、該部分領域の画像を切り出す切出し手段と、
前記切出し手段により切り出された前記部分領域の画像に対して、前記撮像光学系の光学特性に基づいて幾何変換を行う画像処理手段と、
前記画像処理手段によって幾何変換された前記部分領域の画像のサイズが、前記部分領域の画像を表示する表示手段における表示画角よりも大きい場合、前記表示画角に納まるように、前記画像処理手段によって幾何変換された前記部分領域の画像をトリミングするトリミング手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記撮像光学系は、全方位ミラーとレンズとの組み合わせを用いた全方位撮像光学系であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像光学系は、全周魚眼レンズを用いた全方位撮像光学系であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記対象物をユーザ操作により指定する指定手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記切出し手段は、前記部分領域を矩形形状として特定するように構成され、
前記切出し手段は、前記撮像光学系の光学特性と、前記画像における前記対象物の画像の位置とに基づいて、前記矩形形状の縦横のサイズ及びアスペクト比を決定する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像から動体を検知する動体検知手段と、
前記動体検知手段により検知された動体の動体視領域を前記部分領域として設定する設定手段と、
を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記動体検知手段により複数の動体が検知された場合に、該複数の動体からいずれか１つの動体をユーザ操作により指定する動体指定手段を更に有し、
前記設定手段は、前記動体指定手段により指定された動体の動体視領域を前記部分領域として設定する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記動体検知手段は、検知した動体を追尾するように構成されていることを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記切出し手段は、更に、前記イメージセンサーにおける画素の配列に応じて、前記部分領域の位置を決定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
撮像光学系を介して結像された光を光電変換するイメージセンサーにより生成される画像における、対象物に対応する部分領域を、前記撮像光学系の光学特性に基づいて決定し、該部分領域の画像を切り出す切出しステップと、
前記切出しステップにより切り出された前記部分領域の画像に対して、前記撮像光学系の光学特性に基づいて幾何変換を行う画像処理ステップと、
前記画像処理ステップによって幾何変換された前記部分領域の画像のサイズが、前記部分領域の画像を表示する表示手段における表示画角よりも大きい場合、前記表示画角に納まるように、前記画像処理ステップによって幾何変換された前記部分領域の画像をトリミングするトリミングステップと
を有することを特徴とする画像処理装置の制御方法。
【請求項１１】
コンピュータに、請求項１０に記載の制御方法の各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、撮像装置におけるイメージセンサーからのデータの読出し技術に関する。
【背景技術】
【０００２】
従来、カメラから全方位画像を読み出す手法が数多く提案されている。特許文献１では、３６０度パノラマ画像を取り込むカメラ装置と、カメラ装置から取り込まれたパノラマ画像を表示する表示システムが提案されている。特に、ビューポートと呼ばれる３６０度パノラマ環状画像の一部を切り取った画像を矩形投影画像に変換し、ローカル受像機（もしくはコンピュータ）に送信して表示することが提案されている。
【０００３】
特許文献２では、画像処理システムにおいて、広角撮影用のレンズを用いてカメラ装置で撮影された歪み画像の一部が切り出されて表示装置へ送信され、表示装置でレンズの歪み特性に応じた歪み補正が行われる。カメラ装置は、表示装置で表示される歪み補正後の表示画像の大きさに対応する画角情報を表示装置から受信する受信部を備える。また、カメラ装置は、表示装置から受信した画角情報に基づいて、表示画像に対応する歪み領域が含まれる切出し画像を歪み画像から切り出す画像切出し部を備える。カメラ装置は更に、レンズの歪み特性に基づいて、表示装置から受信した画角情報から算出した比率で切出し画像を縮小する画像縮小部を備える。
【０００４】
特許文献２で参照されている特許文献３では、サーバ側で歪み補正手段を持ち、視線方向の変化に伴う画角設定手段に使用する設定情報を表示装置側（クライアント側）に通知する方式が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００２−５１５９８４号公報
【特許文献２】特開２０１０−２１９８７２号公報
【特許文献３】特開２００６−１４８７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の構成では、高画素センサーを用いる場合には、一部分の画像を見る毎に環状画像を全画素取り込むと、多大な取込み時間がかかるという問題がある。
【０００７】
特許文献２の構成では、表示画像の大きさを表示装置側で決定し、通信で画角情報をカメラに送信しないと切り出す画像の大きさが決まらないという問題がある。また、表示側の画角情報に合わせていると、所望の画像が縮小されてしまい解像度が低下するという問題もある。さらに、イメージセンサーから直接切り出す場合に、表示側の画角と位置情報に合わせてしまうとイメージセンサーの特性に合わない画を切り出してしまうという問題もある。
【０００８】
特許文献３の構成では、高画素センサーを用いる場合には、キャプチャ部でのデータサイズが大きくなり、画像処理負荷が大きくなるという問題がある。
【０００９】
そこで本発明は、広角光学系を介してイメージセンサーに取り込まれた画像から切り出される被写体確認用の部分領域画像を、少ない処理負荷で、かつ高画質で、ユーザに提示することのできる画像処理装置を提供する。
【課題を解決するための手段】
【００１０】
本発明の一側面によれば、撮像光学系を介して結像された光を光電変換するイメージセンサーにより生成される画像における、対象物に対応する部分領域を、前記撮像光学系の光学特性に基づいて決定し、該部分領域の画像を切り出す切出し手段と、前記切出し手段により切り出された前記部分領域の画像に対して、前記撮像光学系の光学特性に基づいて幾何変換を行う画像処理手段と、前記画像処理手段によって幾何変換された前記部分領域の画像のサイズが、前記部分領域の画像を表示する表示手段における表示画角よりも大きい場合、前記表示画角に納まるように、前記画像処理手段によって幾何変換された前記部分領域の画像をトリミングするトリミング手段とを有することを特徴とする画像処理装置が提供される。
【発明の効果】
【００１１】
本発明によれば、広角光学系を介してイメージセンサーに取り込まれた画像から切り出される被写体確認用の部分領域画像を、少ない処理負荷で、かつ高画質で、ユーザに提示することができる。
【図面の簡単な説明】
【００１２】
【図１】実施形態１における撮像装置を示すブロック図。
【図２】実施形態１における撮像装置の動作を示すフローチャート。
【図３】実施形態１における全体視画像データでのユーザ指定領域と、当該ユーザ指定領域を含む切出し矩形形状との関係を示す図。
【図４】実施形態１における、切り出された矩形部分画像データを幾何変換して表示した例を示す図。
【図５】実施形態１における、広角光学系に全方位ミラー＆レンズを用いた場合の切り出し矩形形状のイメージセンサー上での変化を表す図。
【図６】実施形態２における撮像装置を示すブロック図。
【図７】実施形態２における撮像装置の動作を示すフローチャート。
【図８】実施形態２における動体検知領域と読出し矩形形状との関係を示す図。
【図９】実施形態２おける複数の動体検知領域と複数の読出し矩形形状との関係を示す図。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。
【００１４】
＜実施形態１＞
以下、図１〜図５に基づき、本発明に係る実施形態１を説明する。
【００１５】
図１は実施形態１における撮像装置のブロック図である。本実施形態において、外界からの光景を集約してセンサーに結像させる撮像光学系は、全方位ミラー＆レンズ１０によって構成される。全方位ミラー＆レンズ１０を介して結像された被写体像を光電変換するイメージセンサー１１は、ＣＭＯＳセンサーやＣＣＤセンサー等の半導体センサーで構成される。本実施形態におけるイメージセンサー１１は、全方位ミラー＆レンズ１０からの３６０度光景等を撮像する機能や、当該３６０度光景から一部分を切出す部分読出し機能を搭載している。センサー制御部１２は、イメージセンサー１１により光電変換されて生成された画像データを読出すデータ読出し制御と、読み出したデータの一時保存と、当該データへの現像処理等の画像処理の制御等を行う。幾何変換処理部１３は、供給された画像データを、全方位ミラー＆レンズ１０の光学特性に基づき幾何補正して歪みを無くしたデータへの変換等を行う。描画表示処理部１４は、センサー制御部１２にて一時保存された全体視画像データ及び幾何変換処理部１３で幾何補正され歪みを無くしたデータを、ディスプレイ１５に合うように表示処理を施す。ディスプレイ１５は、描画表示処理部１４にて表示処理されたデータを表示する表示部である。操作部１６は、ディスプレイ１５に表示された全体視データの中の部分領域を指定する。
【００１６】
全方位ミラー＆レンズ１０は、曲面ミラーを使った全方位ミラーとレンズとの組み合わせで構成され、これにより全方位撮像光学系を実現している。なお、全方位ミラーとレンズとの組み合わせの代わりに、全周魚眼レンズを用いて全方位撮像光学系を実現することも可能である。本実施形態では、全方位ミラー＆レンズ１０を、前者の全方位ミラーとレンズとの組み合わせで構成した例を取り上げる。
【００１７】
図２は、本実施形態における撮像装置の動作を示すフローチャートである。図３は、広角光学系に全方位ミラー＆レンズ１０を用いた場合、全体視画像データでのユーザ指定領域と、当該ユーザ指定領域を含む切出し矩形形状との関係を示す図である。図４は、当該ユーザ指定領域から切り出された矩形部分画像データを幾何変換して正視形にして表示した図である。図５は、広角光学系に全方位ミラー＆レンズ１０を用いた場合の切り出し矩形形状のイメージセンサー上での変化を表す図である。具体的には、図５は、ユーザ指定領域がイメージセンサー１１上に映る円環映像上で円周方向に変化した際の、当該ユーザ指定領域が光学パラメータにて変換された形状領域を含む切り出し矩形形状の変化を示している。
【００１８】
まず、センサー制御部１２は、全方位ミラー＆レンズ１０からの光を受けたイメージセンサー１１から、全体視画像データ（歪データ）を読み出す（Ｓ１００）。ここで、全体視画像データとは、全方位ミラーに映る景色全体が確認できる全体領域の画像を表すデータをいう。センサー制御部１２はその後、読み出した全体視画像データに対して現像処理等を行い、描画表示処理部１４に送る。
【００１９】
全体視画像データを受け取った描画表示処理部１４は、ディスプレイ１５の表示に適合するように当該全体視画像データに描画処理を施す。このとき、全体視画像データの画角がディスプレイ１５の画角より大きい場合は、縮小処理を行う。なお、縮小処理を行っても、後述する部分領域の指定は相対位置で行うため、不都合はない。その後、描画処理を施された全体視画像データがディスプレイ１５に表示される（Ｓ１０１）。
【００２０】
ユーザは、ディスプレイ１５に表示された描画処理を施された全体視画像データを基に、操作部１６によって対象物が映った部分領域を指定する（Ｓ１０２）。本実施形態では、部分領域を矩形形状として特定するものとする。そこで、この指定は、操作部１６において、マウスカーソルにて矩形領域をドラッグすることで行うものでもよいし、タッチペンで四隅を指定するものであってもよい。操作部１６によって指定された部分領域（以下、「部分視データ領域」という。）の枠が、全体視画像データ上に表示される（図３のａ１）。部分視データ領域の領域情報は、センサー制御部１２に送られる。
【００２１】
センサー制御部１２は、受信した部分視データ領域情報に基づき制御情報としての切出し矩形形状を算出する（Ｓ１０３）。本実施形態では、部分視データ領域を含む外周矩形（＋α）の形状及び位置を、全方位ミラー＆レンズ１０の光学パラメータ等に基づき算出する（図３の破線枠）。一例として、縦横のサイズ及び縦横比（アスペクト比）が部分視データ領域とは異なる形状が算出される。
【００２２】
具体的に説明する。例えば、全方位ミラーの１つである双曲面ミラーを用いた全方位撮像装置の場合を考える。この場合、対象物がイメージセンサー１１上に映る場所が円環映像（図３）の中心部に寄るほど、すなわち、円環映像の中心部からの半径距離が短くなるほど、映像歪が大きくなるという光学特性を呈する。逆に、対象物がイメージセンサー１１上に映る場所が円環映像の中心部から離れるほど、映像歪は小さくなる。
【００２３】
したがって、Ｓ１０２で指定された部分視データ領域を、光学パラメータを用いた計算により逆変換した形状（以下「扇形変換前形状」という。）及び位置が、円環映像（図３）の中心部に寄るほど、扇形変換前形状の内径側の映像が歪む。
【００２４】
また、センサー特性として、多くの場合、部分切り出し形状が矩形でしか切り出せない。そのため、対象物がイメージセンサー１１上に映る場所として円環映像（図５）の中心部角度が、垂直や水平に近い場合は、扇形変換前形状に当てはめた切り出し用外接矩形と当該扇形変換前形状との間の差が小さくなる。その結果、部分切り出し形状は、扇形変換前形状との間の余白（＋α）を小さく指定することが可能である（図５のａ’１１、ａ’１４）。
【００２５】
しかしながら、対象物がイメージセンサー１１上に映る場所として円環映像（図５）の中心部角度が斜め約３０度〜約８０度付近の場合は、扇形変換前形状に当てはめた切り出し用外接矩形と当該扇形変換前形状との間の差が大きくなる。その結果、部分切り出し形状は、扇形変換前形状との間の余白（＋α）を大きく、かつ、垂直方向に近い場合は縦長に、水平方向に近い場合は横長に、指定する必要がある。そのため、部分切り出し形状のアスペクト比を変化させる必要がある（図５のａ’１２、ａ’１３）。
【００２６】
さらに、映像歪補正後の対象物の外接矩形形状の映像をズームした際に映像の欠落が起きることを防ぐため、特に半径方向に余白（＋α）を大きく指定する必要がある。
【００２７】
以上のようにして、矩形読み出し形状である外矩形＋αの形状及び位置を算出する。
【００２８】
本実施形態においては、図３のａ’１が、ａ１より円周方向に大きい矩形領域が必要となる。
【００２９】
センサー制御部１２は、算出した外周矩形の形状及び位置を制御情報として、イメージセンサー１１の部分読出し機能を用いて、以下の処理を行う。全体視画像データから一部分を切り出した、切出し矩形形状データ（以下、「矩形部分画像データ」という。）を読み出す（Ｓ１０６）。このときセンサー制御部１２は、部分切出し位置としての撮像位置をイメージセンサー１１の特性に合わせて設定するか否かを判断する（Ｓ１０４）。その設定が必要と判断されると、例えば、イメージセンサー１１の画素がベイヤ配列の場合は、ベイヤのＲＧＢの並ぶ単位が全体視データの並ぶ単位と同じになるように、撮像位置を決定する（Ｓ１０５）。
【００３０】
例えば、センサー特性として、センサーの画素の並びが上記のようなＲＧＢベイヤ配列の場合、４画素単位で切り出し位置をずらさないと色味が変わってしまう。そのため、上記の光学特性で算出した切り出し位置をセンサー特性である４画素単位の位置に補正する必要がある。
【００３１】
センサー制御部１２は、読み出した矩形部分画像データに現像処理等を行い、その処理済みの矩形部分画像データを幾何変換処理部１３に送る。幾何変換処理部１３は、当該矩形部分画像データに対し、全方位ミラー＆レンズ１０の光学パラメータに基づき画像データ幾何変換（歪補正ともいう）を行う（Ｓ１０７）。幾何変換処理部１３は、幾何変換された矩形部分画像データを描画表示処理部１４に送る。
【００３２】
描画表示処理部１４は、その幾何変換された矩形部分画像データに対し、ディスプレイ１５の表示に合うよう描画処理を施す。具体的には、ディスプレイ１５の色味に合わせた色変換処理等を施す。このとき、描画表示処理部１４は、幾何変換された矩形部分画像データの画角（サイズ）がディスプレイ１５の表示画角より大きいか否かを判定する（Ｓ１０８）。幾何変換された矩形部分画像データの画角がディスプレイ１５の表示画角より大きいと判定された場合、描画表示処理部１４は、その矩形部分画像データにトリミング等を施して、ディスプレイ１５の表示画角内に納まるようにする（Ｓ１０９）。こうして処理された矩形部分画像データが、ディスプレイ１５に表示される（Ｓ１１０）（図４）。
【００３３】
＜実施形態２＞
次に第２の実施形態を説明する。
【００３４】
図６に本実施形態における撮像装置のブロック図を示す。図６では、図１に対して、動体を検知する動体検知処理部１７が追加された以外は、図１と同様である。図１と同じ処理ブロックには同じ参照番号を付し、それらの説明は省略する。
【００３５】
図７は、本実施形態における撮像装置の動作を示すフローチャートである。図８は、本実施形態における全体視画像データ（歪データ）の例を示す。図８において、ｂ１で示される実線枠は、動体検知処理部１７により得られた動体検知枠である。ｂ’１で示される破線枠は、動体検知枠ｂ１の位置と全方位ミラー＆レンズ１０の光学特性とから計算された有効矩形範囲（以下「動体視領域」という。）である。
【００３６】
まず、センサー制御部１２は、全方位ミラー＆レンズ１０からの光を受けたイメージセンサー１１から全体視画像データ（歪データ）を読み出す（Ｓ２００）。センサー制御部１２は、読み出した全体視画像データに現像処理等を行い、これを動体検知処理部１７に送る。動体検知処理部１７は、受け取った全体視画像データに対し、動体検知処理を実行する（Ｓ２０１）。センサー制御部１２は、動体検知処理により動体が検知されたか否かを判定する（Ｓ２０２）。動体検知処理により動体が検知されなかった場合は、処理はＳ２０８に進む。動体検知処理により動体が検知された場合は、センサー制御部１２は、Ｓ２０３で、検知された動体の数が１つであるか複数であるかを判定する。検知された動体が１つである場合は、処理はＳ２０４に進む。
【００３７】
Ｓ２０４では、動体検知処理で得られた動体検知枠（ｂ１）と、当該動体の位置及び、全方位ミラー＆レンズ１０の光学特性等により、部分読出し機能に指定する制御情報としての動体視領域（ｂ’１）を算出する。例えば、縦横のサイズ及び縦横比（アスペクト比）が動体検知枠とは異なる矩形形状データが算出される。なお、動体視領域を算出する際、動体の移動方向の方により多くの余白をもって動体視領域を設定してもよい。
【００３８】
算出された動体視領域は、切出し矩形領域として設定（Ｓ２０５）される。次に、イメージセンサー１１の特性にあった位置を撮像位置にしているかを判定する（Ｓ２０６）。特性にあった撮像位置でないと判断された場合は、全体視画像データのＲＧＢ画素並びと同じになるように、撮像位置としての切出し矩形位置を決定する（Ｓ２０７）。
【００３９】
その後、切出し矩形領域と撮像位置とを制御情報として指定し、イメージセンサー１１の機能である部分切出し機能を用いて、以下の処理を行う。すなわち、センサー制御部１２は、全体視画像データから一部分を切り出した切出し矩形形状データ（以下「矩形部分画像データ」という。）を読み出す（Ｓ２０８）。矩形部分画像データは、幾何変換処理部１３に送られる。幾何変換処理部１３は、受け取った矩形部分画像データに対し、全方位ミラー＆レンズ１０の光学パラメータに基づいて、画像データ幾何変換を行う（Ｓ２０９）。幾何変換後の矩形部分画像データは、描画表示処理部１４に送られる。
【００４０】
描画表示処理部１４は、受け取った幾何変換後の矩形部分画像データを受け取った描画表示処理部１４は、ディスプレイ１５の表示に合うように描画処理を施す。このとき、ディスプレイ１５の表示アスペクト比及び表示サイズに合わない場合は、矩形部分画像データをトリミング又はリサイズして合わせる処理を行う。その後、描画表示処理部１４により、幾何変換後の矩形部分画像データが、ディスプレイ１５に表示される（図４）（Ｓ２１０）。
【００４１】
次に、Ｓ２０３で複数の動体が検知された場合の処理を説明する。図９には、全体視画像データ上に複数の動体検知枠Ｃ１，Ｃ２が示されている。破線の枠で示されるＣ’１，Ｃ’２は、動体検知枠Ｃ１、Ｃ２の位置及び全方位ミラー＆レンズ１０の光学特性等から計算される動体視領域である。
【００４２】
Ｓ２０３で複数の動体が検知された場合は、操作部１６を用いたユーザ操作により、全体視画像データ上で注視動体の指定（動体指定処理）を行うことができる（Ｓ２１１）。ここでは、図９のＣ１が指定されたと仮定する。センサー制御部１２は、ユーザによって指定された動体検知枠Ｃ１と、当該動体の位置及び全方位ミラー＆レンズ１０の光学特性等より、部分読出し機能に指定する制御情報としての動体視領域Ｃ’１を算出する（Ｓ２１２）。その後、処理はＳ２０５に進む。
【００４３】
以上、本発明の実施形態を説明した。なお、本発明は上述の実施形態に限定されるものではない。例えば、以下のような変形も可能である。
【００４４】
実施形態１、２においては、広角光学系として全方位ミラーとレンズとの組み合わせを用いたが、上述したように、その代わりに、全周魚眼レンズ等を用いてもよい。なお、全周魚眼レンズを用いた全方位撮像光学系の場合は、全方位ミラーを用いた全方位撮像光学系の場合と光学特性が逆になる。対象物が映る場所として、円環映像の外周部に寄るほど、すなわち、円環映像の中心部から半径距離が長くなるほど、映像歪が大きくなる。
【００４５】
実施形態１、２においては、最後に、矩形部分画像データをディスプレイ１５に表示するようにした。これに代えて、又はこれに加えて、矩形部分画像データをネットワーク先の端末へ配信する、あるいは、記憶装置に保存するようにしてもよい。
【００４６】
実施形態１、２において、全体視画像データは、イメージセンサー１１からの全画素読出しデータであってもよいし、間引き読出しデータであってもよい。
【００４７】
実施形態１においては、操作部１６を介したユーザ操作により切出し領域を指定したが、切出し画像データの特徴（例えば人体）を特定することによって切出し領域を自動指定してもよい。
【００４８】
実施形態２においては、複数の動体が検知された場合、操作部１６を介したユーザ操作により注視動体を指定した。この代わりに、所定の条件下で自動で指定してもよいし、ある動体から一定時間毎に注視動体を切り替えて処理してもよい。所定の条件としては、動体の位置、動体のサイズ、動体の移動速度等に関連する条件が考えられる。
【００４９】
実施形態２においては、動体検知処理部１７をイメージセンサー１１とは別のブロックとして構成した。しかし、イメージセンサー１１が動体検知処理部１７を兼ねる構成としてもよい。
【００５０】
実施形態２において、動体の移動に合わせてＳ２０１〜Ｓ２１０の処理を繰り返し実行し、表示を更新することで、動体を追尾した矩形部分画像データを表示し、移動する被写体を確認するようにしてもよい。
【００５１】
以上説明した実施形態によれば、広角光学系の撮像位置によって読み出す形状を動的に変化させることができる。また、イメージセンサー特性に合わせて切出し位置を設定することで、被写体を確認するためのデータ範囲を部分的に読み出すことを可能とし、処理するデータ量を削減することができる。さらに、部分的に読み出したデータは、最大の解像度でかつ色味が元のデータから変わらないため、被写体を容易に確認できるという効果がある。
【００５２】
＜他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
0005847570.tif 000002
【図２】
0005847570.tif 000003
【図６】
0005847570.tif 000004
【図７】
0005847570.tif 000005
【図３】
0005847570.tif 000006
【図４】
0005847570.tif 000007
【図５】
0005847570.tif 000008
【図８】
0005847570.tif 000009
【図９】
0005847570.tif 000010