(57)【要約】【課題】現実物体間或いは現実物体と仮想物体との間の接触をユーザに提示する情報処理装置を提供する。【解決手段】情報処理装置１０００は、現実物情報取得部１４００から取得する現実物体情報から検出された該現実物体を表現する第１の仮想物体を生成する。情報処理装置１０００は、第１の仮想物体と第２の仮想物体との接触の判定結果に応じて、第１の仮想物体の表示状態を決定し、第１の仮想物体及び第２の仮想物体を含む仮想空間、ＨＭＤ１２００の位置姿勢、決定された表示状態及びＨＭＤ１２００から取得する現実空間画像に基づいて、仮想空間の画像と現実空間の画像とを組み合わせた複合現実画像を生成して、ＨＭＤ１２００に表示させる。【選択図】図１
2019040226.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置から現実空間の画像である現実空間画像を取得する撮像画像取得手段と、
前記撮像装置の視点の位置姿勢を表す位置姿勢情報を取得する位置姿勢情報取得手段と、
現実空間内の現実物体を検出し、検出した該現実物体を表現する第１の仮想物体を生成する仮想物体生成手段と、
前記第１の仮想物体と第２の仮想物体との接触を判定する接触判定手段と、
前記接触判定手段の判定結果に応じて、前記第１の仮想物体の表示状態を決定する決定手段と、
前記第１の仮想物体及び前記第２の仮想物体を含む仮想空間、前記位置姿勢情報、前記表示状態及び前記現実空間画像に基づいて、前記仮想空間の画像と前記現実空間の画像とを組み合わせた複合現実画像を生成する複合現実画像生成手段と、
生成した前記複合現実画像を所定の表示装置に表示させる画像出力手段と、を備えることを特徴とする、
情報処理装置。
【請求項２】
前記決定手段は、前記第１の仮想物体と前記第２の仮想物体とが接触する場合に前記第１の仮想物体を表示し、前記第１の仮想物体と前記第２の仮想物体とが接触していない場合に前記第１の仮想物体を非表示に設定することを特徴とする、
請求項１に記載の情報処理装置。
【請求項３】
前記複合現実画像生成手段は、前記第１の仮想物体の前記第２の仮想物体に対する相対位置を固定した前記複合現実画像を生成することを特徴とする、
請求項２に記載の情報処理装置。
【請求項４】
前記決定手段は、前記第１の仮想物体をはじめに非表示に設定しておき、前記接触判定手段が前記第１の仮想物体と前記第２の仮想物体とが接触していると判定した場合に、前記第１の仮想物体を表示に設定することを特徴とする、
請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
前記仮想物体生成手段は、他の現実物体を表現する仮想物体を生成して前記第２の仮想物体を生成することを特徴とする、
請求項１〜４のいずれか１項に記載の情報処理装置。
【請求項６】
請求項１〜５のいずれか１項に記載の情報処理装置を複数備えるシステムであって、
複数の情報処理装置の各々は、接触判定手段により第１の仮想物体と第２の仮想物体との接触を判定し、
いずれか１つの情報処理装置は、各情報処理装置の接触の判定結果から統合的に判断して、前記第１の仮想物体の可視化の判定を行うことを特徴とする、
システム。
【請求項７】
前記いずれか１つの情報処理装置は、各情報処理装置の接触の判定結果に応じて、前記第１の仮想物体の表現方法を変化させることを特徴とする、
請求項６に記載のシステム。
【請求項８】
現実空間の画像である現実空間画像を撮像する撮像装置、及び表示装置に接続される情報処理装置により実行される方法であって、
前記撮像装置の視点の位置姿勢を表す位置姿勢情報を取得し、
現実空間内の現実物体を検出し、検出した該現実物体を表現する第１の仮想物体を生成し、
前記第１の仮想物体と第２の仮想物体との接触を判定し、
接触の判定結果に応じて、前記第１の仮想物体の表示状態を決定し、
前記第１の仮想物体及び前記第２の仮想物体を含む仮想空間、前記位置姿勢情報、前記表示状態及び前記現実空間画像に基づいて、前記仮想空間の画像と前記現実空間の画像とを組み合わせた複合現実画像を生成して、前記表示装置に表示させることを特徴とする、
画像処理方法。
【請求項９】
現実空間の画像である現実空間画像を撮像する撮像装置、及び表示装置に接続されるコンピュータに、
前記撮像装置の視点の位置姿勢を表す位置姿勢情報を取得し、
現実空間内の現実物体を検出し、検出した該現実物体を表現する第１の仮想物体を生成し、
前記第１の仮想物体と第２の仮想物体との接触を判定し、
接触の判定結果に応じて、前記第１の仮想物体の表示状態を決定し、
前記第１の仮想物体及び前記第２の仮想物体を含む仮想空間、前記位置姿勢情報、前記表示状態及び前記現実空間画像に基づいて、前記仮想空間の画像と前記現実空間の画像とを組み合わせた複合現実画像を生成して、前記表示装置に表示させる、
ためのコンピュータプログラム。
【請求項１０】
請求項９記載のコンピュータプログラムを記憶する、コンピュータにより読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間の現実の物体（以下、「現実物体」という。）と仮想空間の仮想的な物体（以下、「仮想物体」という。）との接触を判定する情報処理装置に関する。
【背景技術】
【０００２】
現実空間と仮想空間とのつなぎ目のない結合を目的として、複合現実感（ＭＲ：Mixed Reality）システムの研究が盛んに行われている。ＭＲシステムでは、表示装置として、例えば頭部装着型ディスプレイ（ＨＭＤ：Head Mount Display）が用いられることが多い。ＭＲシステムは、例えば試作品を作成することなく、現実のシミュレーションを実現するために、工業分野にも活用されている。例えば、現実空間に工場の仮想空間を重畳することで、工場内のレイアウトをシミュレーションすることが可能である。このとき、仮想空間内の仮想物体を工場内のどこにおけば手が届くか等のシミュレーションを行うためには、現実物体である手と仮想物体との接触を判定する必要がある。
【０００３】
現実空間と仮想空間とを組み合わせた複合現実空間において、現実物体と現実物体、又は現実物体と仮想物体の接触をユーザに提示するとき、どのように接触したかを可視化する必要がある。しかし可視化により現実物体がユーザから見えにくくなってしまうことがある。これに対して特許文献１は、仮想物体と仮想物体とが接触した場合に、接触したことが明確になるように接触した痕跡を残す技術を開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−０３３２９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術は、仮想物体間の接触を対象としており、現実物体間或いは現実物体と仮想物体との間の接触をユーザに提示することについては一切触れていない。本発明は、現実物体間或いは現実物体と仮想物体との間の接触をユーザに提示する情報処理装置を提供することを主たる目的とする。
【課題を解決するための手段】
【０００６】
本発明の情報処理装置は、撮像装置から現実空間の画像である現実空間画像を取得する撮像画像取得手段と、前記撮像装置の視点の位置姿勢を表す位置姿勢情報を取得する位置姿勢情報取得手段と、現実空間内の現実物体を検出し、検出した該現実物体を表現する第１の仮想物体を生成する仮想物体生成手段と、前記第１の仮想物体と第２の仮想物体との接触を判定する接触判定手段と、前記接触判定手段の判定結果に応じて、前記第１の仮想物体の表示状態を決定する決定手段と、前記第１の仮想物体及び前記第２の仮想物体を含む仮想空間、前記位置姿勢情報、前記表示状態及び前記現実空間画像に基づいて、前記仮想空間の画像と前記現実空間の画像とを組み合わせた複合現実画像を生成する複合現実画像生成手段と、生成した前記複合現実画像を所定の表示装置に表示させる画像出力手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、現実物体間或いは現実物体と仮想物体との間の接触をユーザに提示することができる。
【図面の簡単な説明】
【０００８】
【図１】ＭＲシステムの構成図。
【図２】情報処理装置のハードウェア構成図。
【図３】画像処理を表すフローチャート。
【図４】現実物体である手が仮想物体に接触する際の説明図。
【発明を実施するための形態】
【０００９】
以下、図面を参照して、実施形態を詳細に説明する。なお、以下に説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１０】
（システム構成）
図１は、本実施形態の情報処理装置を含むＭＲシステムの構成図である。このＭＲシステムは、情報処理装置１０００、頭部装着型表示装置の一例であるＨＭＤ１２００、表示装置１３００、及び現実物情報取得部１４００を備える。情報処理装置１０００は、ＨＭＤ１２００、表示装置１３００、及び現実物情報取得部１４００の各々との間で、有線又は無線による通信可能に接続される。
【００１１】
情報処理装置１０００は、現実物情報取得部１４００から取得する現実空間内の現実物体を検出するための現実物体情報（ステレオ画像、距離画像等）に応じて、現実物体間或いは現実物体と仮想物体との間の接触を判定する。情報処理装置１０００は、判定結果に応じて、ＨＭＤ１２００から取得した現実空間の画像（現実空間画像）と、仮想空間の画像（仮想空間画像）とを組み合わせた複合現実空間の画像（複合現実画像）を生成する。情報処理装置１０００は、生成した複合現実画像をＨＭＤ１２００及び表示装置１３００の少なくとも一方に表示させる。現実物情報取得部１４００は、現実物体情報を取得するためのステレオカメラや距離画像カメラにより構成される。表示装置１３００は、一般的なＦＰＤ（Flat Panel Display）やＣＲＴ（Cathode Ray Tube）である。ユーザがＨＭＤ１２００の装着者だけである場合、表示装置１３００は不要である。複数のユーザがＨＭＤ１２００の装着者と同じ複合現実画像を確認する必要がある場合に、表示装置１３００は使用される。
【００１２】
（ＨＭＤ）
ＨＭＤ１２００は、右目用の画像撮像部１２１０Ｒ、左目用の画像撮像部１２１０Ｌ、右目用の画像表示部１２２０Ｒ、及び左目用の画像表示部１２２０Ｌを備える。画像撮像部１２１０Ｒ、１２１０Ｌは、現実空間を撮像し、その撮像画像を現実空間画像として情報処理装置１０００に入力する撮像装置である。ＨＭＤ１２００がユーザの頭部に装着された状態で、画像撮像部１２１０Ｒはユーザの右目の視界と同様の範囲を撮像する位置に配置され、画像撮像部１２１０Ｌはユーザの左目の視界と同様の範囲を撮像する位置に配置される。そのために画像撮像部１２１０Ｒ、１２１０Ｌで撮像される現実空間画像は、ユーザの視界を含むステレオ画像となる。
【００１３】
画像表示部１２２０Ｒ、１２２０Ｌは、それぞれ液晶画面等で構成される表示装置である。ＨＭＤ１２００がユーザの頭部に装着された状態で、画像表示部１２２０Ｒはユーザの右目の眼前に位置し、画像表示部１２２０Ｌはユーザの左目の眼前に位置するように、ＨＭＤ１２００に配置される。画像表示部１２２０Ｒ、１２２０Ｌは、それぞれ視差のついた画像が表示される。これによりＨＭＤ１２００は、ユーザにステレオ画像を提供する。画像表示部１２２０Ｒ、１２２０Ｌは、情報処理装置１０００で生成される複合現実画像を表示する。
【００１４】
このように本実施形態のＨＭＤ１２００は、画像撮像部１２１０Ｒ、１２１０Ｌにより撮像された現実空間画像に基づいて生成される複合現実画像を、画像表示部１２２０Ｒ、１２２０Ｌに表示するビデオシースルー型である。しかしながら、ＨＭＤ１２００は、現実空間を透過して観察することが可能な表示媒体に仮想空間画像を重畳して表示する光学シースルー型であってもよい。
【００１５】
（情報処理装置）
情報処理装置１０００は、ＨＭＤ１２００から取得する現実空間画像に対する処理を行うために、撮像画像取得部１０１０及び視点情報計測部１０２０として機能する。情報処理装置１０００は、現実物情報取得部１４００から取得する現実物体情報に対する処理を行うために、現実検出部１０３０、仮想物体化部１０４０、仮想物体保持部１０６０、接触判定部１０７０、及び表示切替部１０８０として機能する。情報処理装置１０００は、ＨＭＤ１２００及び表示装置１３００の少なくとも一方に複合現実画像を表示させるために、複合現実空間生成部１０９０及び画像出力部１１００として機能する。
【００１６】
これらの各機能は、ハードウェアにより実現してもよいが、本実施形態では、コンピュータプログラムの実行によりソフトウェアにより実現する。そのために情報処理装置１０００は、図２に示すようなハードウェア構成を備える。情報処理装置１０００は、ＣＰＵ（Central Processing Unit）２０１０、ＲＯＭ（Read Only Memory）２０２０、及びＲＡＭ（Random Access Memory）２０３０を備える。また、情報処理装置１０００は、入力インタフェース（Ｉ／Ｆ）２０４０及び出力Ｉ／Ｆ２０５０を備える。ＣＰＵ２０１０、ＲＯＭ２０２０、ＲＡＭ２０３０、入力Ｉ／Ｆ２０４０、及び出力Ｉ／Ｆ２０５０は、バス２０００を介して相互に通信可能に接続される。
【００１７】
ＣＰＵ２０１０は、ＲＯＭ２０２０から読み込むコンピュータプログラムを、ＲＡＭ２０３０を作業領域に用いて実行することで、情報処理装置１０００の動作を制御する。オペレーティングシステム（ＯＳ）、本実施形態に係る各処理プログラム、デバイスドライバ等はＲＯＭ２０２０に記憶されており、ＲＡＭ２０３０に一時記憶され、ＣＰＵ２０１０によって適宜実行される。入力Ｉ／Ｆ２０４０は、ＨＭＤ１２００及び現実物情報取得部１４００に接続され、ＨＭＤ１２００及び現実物情報取得部１４００から、情報処理装置１０００で処理可能な形式で画像や情報等を表す信号を取得する。出力Ｉ／Ｆ２０５０は、ＨＭＤ１２００及び表示装置１３００に接続され、ＨＭＤ１２００及び表示装置１３００が処理可能な形式で画像を表す信号を出力する。上記の情報処理装置１０００の各機能について説明する。
【００１８】
撮像画像取得部１０１０は、ＨＭＤ１２００から、画像撮像部１２１０Ｒ、１２１０Ｌにより撮像された現実空間画像を取得する。撮像画像取得部１０１０は、取得した現実空間画像を視点情報計測部１０２０及び複合現実空間生成部１０９０へ送信する。
視点情報計測部１０２０は、撮像画像取得部１０１０から取得する現実空間画像の画像処理を行い、画像中の点や線、マーカ等の特徴的な情報（特徴情報）を抽出する。これらの特徴情報の画像中の位置と予め用意された空間内の配置とを対応付けることで、視点の位置姿勢を計測する。視点情報計測部１０２０は、計測結果を表す位置姿勢情報を複合現実空間生成部に１０９０に送信する。位置姿勢情報は、ＨＭＤ１２００の位置と向いている方向（視線方向）等を表す。このように視点情報計測部１０２０は、位置姿勢情報取得を行う機能を有する。
【００１９】
本実施形態では、可視画像の画像処理により位置姿勢の計測を行うが、赤外光を用いた画像、超音波や磁気センサによる検出結果等を用いて、現実物体の位置姿勢取得を実行しても良い。また、距離センサによる距離画像を用いて現実物体の位置姿勢を計測しても良く、機械的に位置姿勢を計測しても良い。
【００２０】
現実検出部１０３０は、現実物情報取得部１４００から現実物体情報を取得する。現実検出部１０３０は、取得した現実物体情報から現実空間内の現実物体を検出して、検出結果及び現実物体情報を仮想物体化部１０４０に送信する。
仮想物体化部１０４０は、現実検出部１０３０から取得する現実物体の検出得結果及び現実物体情報に基づいて、現実空間内の現実物体を表現する仮想物体を生成し、仮想空間内の仮想物体に仮想物体化する。仮想物体化部１０４０は、生成した仮想物体の形状、仮想空間内における位置、姿勢等の情報を仮想物体保持部１０６０に保持させる。現実空間内の現実物体の仮想物体化は、例えばSurreal Vision社のKinectFusion（登録商標）を用いて行うことができる。KinectFusionは、Kinect（登録商標）を用いたリアルタイム三次元再構成である。KinectFusionにより仮想物体化を行う場合、現実物情報取得部１４００として距離画像カメラが用いられる。仮想物体化部１０４０は、距離画像カメラから現実物体情報として取得する距離画像から、最初に現実物体表面の点群の作成を行う。次に、仮想物体化部１０４０は、ＩＣＰ（Iterative Closest Point）によるカメラ位置姿勢推定、三次元オブジェクト生成、レンダリングの流れで三次元再構成を行う。なお、仮想物体化部１０４０は、KinectFusion以外の方法で現実空間の仮想物体化（仮想物体生成）を行ってもよい。
【００２１】
仮想物体保持部１０６０は、仮想空間を構成する仮想物体に関する情報（仮想物体の形状、仮想空間内における位置、姿勢等）や、仮想空間を照射する光源に関する情報（光源の位置、姿勢）等の、仮想空間に関する情報を保持する。仮想物体保持部１０６０は、仮想物体化部１０４０で生成された仮想物体に関する情報の他に、コンピュータプログラムの実行により生成される仮想物体に関する情報も保持する。また、仮想物体保持部１０６０は、仮想物体化部１０４０で複数の現実物体から生成された複数の仮想物体に関する情報を保持する。仮想物体保持部１０６０が保持するこれらの情報は、接触判定部１０７０及び複合現実空間生成部１０９０に読み取られる。
【００２２】
接触判定部１０７０は、仮想物体同士の接触を判定し、その判定結果を表示切替部１０８０に送信する。仮想物体同士の接触判定は、既知の技術であるので説明を省略する。
表示切替部１０８０は、仮想物体同士の接触の判定結果に応じて、現実物体情報から仮想物体化された仮想物体の表示状態を決定する。表示切替部１０８０は、現実物体情報から仮想物体化された仮想物体が他の仮想物体と接触する場合に該仮想物体を表示（可視化）し、接触していない場合に該仮想物体を非表示（不可視化）にする。表示切替部１０８０は、仮想物体の表示状態を表す情報を、該仮想物体に関する情報に紐付けて仮想物体保持部１０６０に保持させる。本実施形態では、仮想物体を単一の色で表示することを想定しているが、仮想物体をワイヤー表示する、点滅表示する、半透明表示する、接触部位からの距離に応じてグラデーション表示する、等により可視化してもよい。
【００２３】
複合現実空間生成部１０９０は、仮想物体保持部１０６０に保持される仮想物体と、視点情報計測部１０２０の計測結果である視点の位置姿勢情報とに基づいて、仮想空間の画像を生成する。ここで生成される仮想空間の画像は、仮想物体保持部１０６０に保持される仮想物体を含む仮想空間を、位置姿勢情報が表すＨＭＤ１２００の位置姿勢から見たときの画像となる。つまり仮想空間の画像は、現実空間画像と同じ向き、範囲の画像となる。複合現実空間生成部１０９０は、生成した仮想空間の画像に撮像画像取得部１０１０から取得する現実空間画像を重畳して、複合現実空間の画像の生成（複合現実画像生成）を実行する。複合現実空間生成部１０９０は、生成した複合現実画像を画像出力部１１００に送信する。なお、仮想物体を位置姿勢情報が表す所定の位置から見た仮想空間を生成するための技術は既知であるので、これについての詳細な説明は省略する。
【００２４】
画像出力部１１００は、複合現実空間生成部１０９０から取得した複合現実画像をＨＭＤ１２００及び表示装置１３００の少なくとも一方に送信する。ＨＭＤ１２００は、画像出力部１１００から取得した複合現実画像を画像表示部１２２０Ｒ、１２２０Ｌにより表示する。表示装置１３００も同様に、画像出力部１１００から取得した複合現実画像を表示する。
【００２５】
（処理）
図３は、このようなＭＲシステムによる現実物体の接触判定を含む画像処理を表すフローチャートである。この処理では、複合現実画像が生成、表示される。ここでは、現実物体としてユーザの手を例にして、手が仮想物体に接触するか否かの判定を行う。もちろん、現実物体は、手に限定されない。
【００２６】
情報処理装置１０００は、現実検出部１０３０により現実物情報取得部１４００からユーザの手に関する現実物体情報を取得する（Ｓ３０００）。仮想物体化部１０４０は、現実検出部１０３０から手に関する現実物体情報を取得し、該現実物体情報から手の仮想物体（ポリゴン）を生成する（Ｓ３１００）。これにより現実空間の手の仮想物体化が行われる。手のポリゴンは、仮想物体保持部１０６０に保持される。表示切替部１０８０は、仮想物体保持部１０６０に保持される手のポリゴンを非表示に設定する（Ｓ３２００）。
【００２７】
接触判定部１０７０は、仮想物体保持部１０６０に保持される手のポリゴンが他の仮想物体と接触しているか否かを判定する（Ｓ３３００）。判定の結果、手のポリゴンが他の仮想物体と接触している場合（Ｓ３４００：Y）、表示切替部１０８０は、手のポリゴンを表示するように設定する（Ｓ３５００）。判定の結果、手のポリゴンが他の仮想物体と接触していない場合（Ｓ３４００：N）、表示切替部１０８０は、手のポリゴンを非表示に設定する（Ｓ３６００）。
【００２８】
複合現実空間生成部１０９０は、仮想物体保持部１０６０に保持される仮想物体と、視点情報計測部１０２０の計測結果である位置姿勢情報と、撮像画像取得部１０１０から取得する現実空間画像とにより、複合現実画像を生成する（Ｓ３７００）。画像出力部１１００は、生成された複合現実画像をＨＭＤ１２００へ出力する（Ｓ３８００）。  情報処理装置１０００は、複合現実画像の出力後に処理を終了するか否かを判定する（Ｓ３９００）。終了しない場合（Ｓ３９００：N）、情報処理装置１０００は、Ｓ３０００以降の処理を繰り返し実行する。終了する場合（Ｓ３９００：Y）、情報処理装置１０００は、そのまま処理を終了する。
【００２９】
以上のような本実施形態の情報処理装置１０００は、現実物体を仮想物体化し、他の仮想物体と接触した場合にのみ、仮想化された現実物体の画像を可視化する。これにより、ＨＭＤ１２００が撮像した現実世界の画像を邪魔することなく、現実物体と仮想物体との間の接触をユーザに提示することができる。また、他の仮想物体も現実物体の仮想物体化した画像である場合には、現実物体間の接触をユーザに提示することができる。
【００３０】
他の仮想物体と接触して可視化された仮想物体は、接触状態が解消しても可視化させ続けるようにしてもよい。その場合、接触した該他の仮想物体との相対位置が接触した時点のまま一定になるように制御されてもよい。これは、接触時点の相対位置を保持しておき、他の仮想物体を基準にして保持された相対位置となるように仮想物体を描画することで実現できる。図４は、現実物体である手が仮想物体に接触する際の説明図である。現実物体である手４０２０は、仮想物体化されている。
【００３１】
他の仮想物体４０１０と手４０２０の仮想物体とが非接触の場合、仮想物体化された手４０３０は非表示であり、現実物体の手４０２０のみが目視できることになる。他の仮想物体４０１０と手４０２０の仮想物体とが接触する場合、仮想物体化された手４０３０が可視化されて表示される。このとき仮想物体化された手４０３０と他の仮想物体４０１０との相対位置が一定の位置に固定される。
仮想物体化された手４０３０を可視化した状態で、他の仮想物体４０１０との相対位置が一定の位置に固定されるために、現実物体と仮想物体との接触の仕方（どのように接触したか）をユーザに提示することが可能となる。
【００３２】
以上の説明では、１つの情報処理装置１０００により現実物体の接触判定を含む画像処理を行う。しかしながら、現実物体の接触判定を含む画像処理は、情報処理装置１０００を複数備えるシステムにより行われてもよい。すなわち、複数の情報処理装置の各々が、接触判定を行う。各情報処理装置の接触判定結果は、いずれか１つの情報処理装置に集められ、該情報処理装置により、各接触判定結果から統合的に判断して仮想物体化された現実物体の可視化の判定が行われる。各情報処理装置の接触判定結果に応じて、仮想物体の表現方法が変化させられてもよい。例えば、接触時間や接触面積などに応じて、仮想物体の輝度や色、輪郭などを変化させてもよい。
【００３３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2019040226.tif 000003
【図２】
2019040226.tif 000004
【図３】
2019040226.tif 000005
【図４】
2019040226.tif 000006