(57)【要約】【課題】マルチメディア情報を容易に扱うことができ、画像を利用した円滑なコミュニケーションを図ることができる画像入力装置の制御方法、カプセル化文書及び記憶媒体を提供する。【解決手段】画像入力装置Ａが接続されたコンピュータ１に表示されるカプセル化文書を介して画像入力装置Ａの撮像手段の方向及びズームを制御して撮像を指示すると共に、撮像した撮影画像をコンピュータに表示する。これにより、画像を利用した円滑なコミュニケーションを図ることができる。また、カプセル化文書を利用することにより、マルチメディア情報を容易に扱うことができる。【選択図】　　　　図１
2004078314.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに接続され、撮像手段を介して撮像した撮影画像を前記コンピュータに対して送信する画像入力装置を制御する画像入力装置の制御方法であって、
文書での表現実体であるデジタル情報ファイルと、前記表現実体の表示状態を特定する表示情報ファイルと、前記表現実体の表示や各種の機能を実行するプログラムを含む動作プログラムファイルと、を単一の文書としてカプセル化したカプセル化文書における前記動作プログラムファイルの前記プログラムを、前記画像入力装置が接続された前記コンピュータに読み取らせることにより、
前記撮像手段の方向及びズームを制御する視点制御機能と、
前記撮像手段による撮像を指示する撮像指示機能と、
前記撮像手段により撮像した撮影画像を表示する撮影画像表示機能と、
を前記コンピュータに実現させることを特徴とする画像入力装置の制御方法。
【請求項２】
コンピュータに接続され、被写体を複数の分割画像領域に分割し、各分割画像領域を所定の倍率で撮像手段を介して撮像した撮影画像を合成して前記コンピュータに対して送信する画像入力装置を制御する画像入力装置の制御方法であって、
文書での表現実体であるデジタル情報ファイルと、前記表現実体の表示状態を特定する表示情報ファイルと、前記表現実体の表示や各種の機能を実行するプログラムを含む動作プログラムファイルと、を単一の文書としてカプセル化したカプセル化文書における前記動作プログラムファイルの前記プログラムを、前記画像入力装置が接続された前記コンピュータに読み取らせることにより、
前記撮像手段により撮像する被写体の大きさを指示する被写体サイズ指示機能と、
前記撮像手段により撮像する撮影画像の解像度若しくは解像度を示す特性値を指示する解像度指示機能と、
前記撮像手段による撮像を指示する撮像指示機能と、
前記撮像手段により撮像した撮影画像を表示する撮影画像表示機能と、
を前記コンピュータに実現させることを特徴とする画像入力装置の制御方法。
【請求項３】
コンピュータに接続され、撮像手段を介して撮像した撮影画像を前記コンピュータに対して送信し、かつ、被写体の上の点もしくは領域を指示可能なポインティング手段を有する画像入力装置を制御する画像入力装置の制御方法であって、
文書での表現実体であるデジタル情報ファイルと、前記表現実体の表示状態を特定する表示情報ファイルと、前記表現実体の表示や各種の機能を実行するプログラムを含む動作プログラムファイルと、を単一の文書としてカプセル化したカプセル化文書における前記動作プログラムファイルの前記プログラムを、前記画像入力装置が接続された前記コンピュータに読み取らせることにより、
前記ポインティング手段による指示位置を制御するポインティング機能と、
前記撮像手段の方向及びズームを制御する視点制御機能と、
前記撮像手段による撮像を指示する撮像指示機能と、
前記撮像手段により撮像した撮影画像を表示する撮影画像表示機能と、
を前記コンピュータに実現させることを特徴とする画像入力装置の制御方法。
【請求項４】
コンピュータに接続され、撮像手段を介して撮像した撮影画像を前記コンピュータに対して送信し、かつ、被写体の上の点もしくは領域を指示可能なポインティング手段と被写体に対してパターン光を投影するパターン光投影手段とを有する画像入力装置を制御する画像入力装置の制御方法であって、文書での表現実体であるデジタル情報ファイルと、前記表現実体の表示状態を特定する表示情報ファイルと、前記表現実体の表示や各種の機能を実行するプログラムを含む動作プログラムファイルと、を単一の文書としてカプセル化したカプセル化文書における前記動作プログラムファイルの前記プログラムを、前記画像入力装置が接続された前記コンピュータに読み取らせることにより、
前記パターン光投影手段により被写体に対して投影したパターン光を用いて被写体の３次元形状を計測する３次元形状計測機能と、
前記ポインティング手段による指示位置を制御するポインティング機能と、
前記撮像手段の方向及びズームを制御する視点制御機能と、
前記撮像手段による撮像を指示する撮像指示機能と、
前記撮像手段により撮像した撮影画像を表示する撮影画像表示機能と、
を前記コンピュータに実現させることを特徴とする画像入力装置の制御方法。
【請求項５】
前記画像入力装置の動作状態を受信する動作状態受信機能と、
受信した前記画像入力装置の動作状態に応じて前記画像入力装置に対する指示を規制する指示規制機能と、
を前記コンピュータに実現させることを特徴とする請求項１ないし４の何れか一記載の画像入力装置の制御方法。
【請求項６】
前記画像入力装置の前記撮像手段の撮影条件を設定する撮影条件設定機能を前記コンピュータに実現させることを特徴とする請求項１ないし４の何れか一記載の画像入力装置の制御方法。
【請求項７】
前記画像入力装置の前記撮像手段の撮像方向とズーム量との少なくとも何れか一方を表示する撮像状態表示機能を前記コンピュータに実現させることを特徴とする請求項１ないし４の何れか一記載の画像入力装置の制御方法。
【請求項８】
前記画像入力装置に対して画像データの送信を指示するデータ送信指示機能を前記コンピュータに実現させることを特徴とする請求項１ないし４の何れか一記載の画像入力装置の制御方法。
【請求項９】
前記コンピュータに接続された複数の前記画像入力装置の中から特定の前記画像入力装置を指定する装置指定機能を前記コンピュータに実現させることを特徴とする請求項１ないし４の何れか一記載の画像入力装置の制御方法。
【請求項１０】
文書での表現実体であるデジタル情報ファイルと、前記表現実体の表示状態を特定する表示情報ファイルと、前記表現実体の表示や各種の機能を実行するプログラムを含む動作プログラムファイルと、を単一の文書としてカプセル化したカプセル化文書において、
撮像手段を介して撮像した撮影画像をコンピュータに対して送信する画像入力装置が接続された前記コンピュータに、前記動作プログラムファイルの前記プログラムを読み取らせることにより、
前記撮像手段の方向及びズームを制御する視点制御機能と、
前記撮像手段による撮像を指示する撮像指示機能と、
前記撮像手段により撮像した撮影画像を表示する撮影画像表示機能と、
を実現させることを特徴とするカプセル化文書。
【請求項１１】
文書での表現実体であるデジタル情報ファイルと、前記表現実体の表示状態を特定する表示情報ファイルと、前記表現実体の表示や各種の機能を実行するプログラムを含む動作プログラムファイルと、を単一の文書としてカプセル化したカプセル化文書において、
被写体を複数の分割画像領域に分割し、各分割画像領域を所定の倍率で撮像手段を介して撮像した撮影画像を合成してコンピュータに対して送信する画像入力装置が接続された前記コンピュータに、前記動作プログラムファイルの前記プログラムを読み取らせることにより、
前記撮像手段により撮像する被写体の大きさを指示する被写体サイズ指示機能と、
前記撮像手段により撮像する撮影画像の解像度若しくは解像度を示す特性値を指示する解像度指示機能と、
前記撮像手段による撮像を指示する撮像指示機能と、
前記撮像手段により撮像した撮影画像を表示する撮影画像表示機能と、
を実現させることを特徴とするカプセル化文書。
【請求項１２】
文書での表現実体であるデジタル情報ファイルと、前記表現実体の表示状態を特定する表示情報ファイルと、前記表現実体の表示や各種の機能を実行するプログラムを含む動作プログラムファイルと、を単一の文書としてカプセル化したカプセル化文書において、
撮像手段を介して撮像した撮影画像をコンピュータに対して送信し、かつ、被写体の上の点もしくは領域を指示可能なポインティング手段を有する画像入力装置が接続された前記コンピュータに、前記動作プログラムファイルの前記プログラムを読み取らせることにより、
前記ポインティング手段による指示位置を制御するポインティング機能と、
前記撮像手段の方向及びズームを制御する視点制御機能と、
前記撮像手段による撮像を指示する撮像指示機能と、
前記撮像手段により撮像した撮影画像を表示する撮影画像表示機能と、
を実現させることを特徴とするカプセル化文書。
【請求項１３】
文書での表現実体であるデジタル情報ファイルと、前記表現実体の表示状態を特定する表示情報ファイルと、前記表現実体の表示や各種の機能を実行するプログラムを含む動作プログラムファイルと、を単一の文書としてカプセル化したカプセル化文書において、
撮像手段を介して撮像した撮影画像をコンピュータに対して送信し、かつ、被写体の上の点もしくは領域を指示可能なポインティング手段と被写体に対してパターン光を投影するパターン光投影手段とを有する画像入力装置が接続された前記コンピュータに、前記動作プログラムファイルの前記プログラムを読み取らせることにより、
前記パターン光投影手段により被写体に対して投影したパターン光を用いて被写体の３次元形状を計測する３次元形状計測機能と、
前記ポインティング手段による指示位置を制御するポインティング機能と、
前記撮像手段の方向及びズームを制御する視点制御機能と、
前記撮像手段による撮像を指示する撮像指示機能と、
前記撮像手段により撮像した撮影画像を表示する撮影画像表示機能と、
を実現させることを特徴とするカプセル化文書。
【請求項１４】
前記画像入力装置の動作状態を受信する動作状態受信機能と、
受信した前記画像入力装置の動作状態に応じて前記画像入力装置に対する指示を規制する指示規制機能と、
を前記コンピュータに実現させることを特徴とする請求項１０ないし１３の何れか一記載のカプセル化文書。
【請求項１５】
前記画像入力装置の前記撮像手段の撮影条件を設定する撮影条件設定機能を前記コンピュータに実現させることを特徴とする請求項１０ないし１３の何れか一記載のカプセル化文書。
【請求項１６】
前記画像入力装置の前記撮像手段の撮像方向とズーム量との少なくとも何れか一方を表示する撮像状態表示機能を前記コンピュータに実現させることを特徴とする請求項１０ないし１３の何れか一記載のカプセル化文書。
【請求項１７】
前記画像入力装置に対して画像データの送信を指示するデータ送信指示機能を前記コンピュータに実現させることを特徴とする請求項１０ないし１３の何れか一記載のカプセル化文書。
【請求項１８】
前記コンピュータに接続された複数の前記画像入力装置の中から特定の前記画像入力装置を指定する装置指定機能を前記コンピュータに実現させることを特徴とする請求項１０ないし１３の何れか一記載のカプセル化文書。
【請求項１９】
請求項１０ないし１８の何れか一記載のカプセル化文書を記憶していることを特徴とするコンピュータに読取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像入力装置の制御方法、カプセル化文書及び記憶媒体に関する。
【０００２】
【従来の技術】
近年、光ファイバー等を用いた高速ネットワークのインフラが社会的に整備され、高精細静止画像、動画像等の高容量データの相互通信ができる通信環境が広く提供されるようになってきた。
【０００３】
また、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）等の固体撮像素子の低コスト化により通信環境に接続されたカメラが多くなり、これらをコミュニケーション手段として活用する機会も多くなりつつある。
【０００４】
カメラの通信における利用形態としては、監視カメラ、遠隔会議、チャット等が挙げられる。このようなカメラの形態は、いずれも物理的な距離を解消することを目的とし、監視や遠隔操作若しくはコミュニケーション手段として利用される。より具体的には、監視カメラとして利用する場合、カメラの画角の限界から、カメラをパン、チルト方向に回動可能な雲台上に設け、カメラに設けられている撮像倍率変更手段（ズーム手段）や雲台を通信によりコントロールできるようにし、より広い範囲の画像が得られるような構成としたシステムが提案されている。また、遠隔会議としての利用においては、人物撮影用カメラ、文書を撮影する書画カメラを通信手段で繋ぎ、円滑な遠隔コミュニケーションが実現されている。
【０００５】
【発明が解決しようとする課題】
また、近年においては、コンピュータ、とりわけパーソナル・コンピュータの急速な普及とその処理能力の向上とにより、静止画像や動画像を文字表現（テキスト文書等）とともにデジタル文書として扱うことができるようになってきている。そこで、パーソナル・コンピュータでは、従来の活字文書で培われてきた文書形態とラジオ、テレビジョンにより培われてきた映像とが融合した複数のメディアをミックスした文書形態を作成し閲覧することができるようになっている。そして、このような形態の文書は、今日のインターネットに代表されるようなグローバルネットワークを通して配布、配信されるようになってきている。このようなデジタル文書は、一般的に、マルチメディア情報と呼ばれている。
【０００６】
ここで、マルチメディア情報には、静止画像、動画像及びテキスト文書等の複数のメディアが含まれているが故に、その閲覧、再生にも複数のアプリケーション・プログラムが必要となる。つまり、マルチメディア情報を閲覧、再生するためには、
１．閲覧のためにアプリケーション・プログラムが必要
２．作成者と閲覧者との間に同一の作成、閲覧環境が必要
３．単一の文書を表現するのに複数のファイルが必要
４．保管してある過去の文書を閲覧するには、閲覧用のアプリケーション・プログラムの保管が必要
等の多くの問題がある。また、前述したようにカメラの撮像倍率変更手段（ズーム手段）や雲台をコントロールするためのコントロール機能を発揮するアプリケーション・プログラムや、カメラで撮影した静止画像や動画像を送受信するための通信機能を発揮するアプリケーション・プログラムも必要となってくる。したがって、一般ユーザにとって、マルチメディア情報を扱うのは困難である。
【０００７】
本発明の目的は、マルチメディア情報を容易に扱うことができ、画像を利用した円滑なコミュニケーションを図ることができる画像入力装置の制御方法、カプセル化文書及び記憶媒体を提供することである。
【０００８】
【課題を解決するための手段】
請求項１記載の発明の画像入力装置の制御方法は、コンピュータに接続され、撮像手段を介して撮像した撮影画像を前記コンピュータに対して送信する画像入力装置を制御する画像入力装置の制御方法であって、文書での表現実体であるデジタル情報ファイルと、前記表現実体の表示状態を特定する表示情報ファイルと、前記表現実体の表示や各種の機能を実行するプログラムを含む動作プログラムファイルと、を単一の文書としてカプセル化したカプセル化文書における前記動作プログラムファイルの前記プログラムを、前記画像入力装置が接続された前記コンピュータに読み取らせることにより、前記撮像手段の方向及びズームを制御する視点制御機能と、前記撮像手段による撮像を指示する撮像指示機能と、前記撮像手段により撮像した撮影画像を表示する撮影画像表示機能と、を前記コンピュータに実現させる。
【０００９】
したがって、画像入力装置が接続されたコンピュータに表示されるカプセル化文書を介して撮像手段の方向及びズームが制御されて撮像が指示されると共に、撮像した撮影画像がコンピュータに表示される。これにより、画像を利用した円滑なコミュニケーションを図ることが可能になる。
【００１０】
請求項２記載の発明の画像入力装置の制御方法は、コンピュータに接続され、被写体を複数の分割画像領域に分割し、各分割画像領域を所定の倍率で撮像手段を介して撮像した撮影画像を合成して前記コンピュータに対して送信する画像入力装置を制御する画像入力装置の制御方法であって、文書での表現実体であるデジタル情報ファイルと、前記表現実体の表示状態を特定する表示情報ファイルと、前記表現実体の表示や各種の機能を実行するプログラムを含む動作プログラムファイルと、を単一の文書としてカプセル化したカプセル化文書における前記動作プログラムファイルの前記プログラムを、前記画像入力装置が接続された前記コンピュータに読み取らせることにより、前記撮像手段により撮像する被写体の大きさを指示する被写体サイズ指示機能と、前記撮像手段により撮像する撮影画像の解像度若しくは解像度を示す特性値を指示する解像度指示機能と、前記撮像手段による撮像を指示する撮像指示機能と、前記撮像手段により撮像した撮影画像を表示する撮影画像表示機能と、を前記コンピュータに実現させる。
【００１１】
したがって、画像入力装置が接続されたコンピュータに表示されるカプセル化文書を介して撮像手段により撮像する被写体の大きさが指示され、撮像手段により撮像する撮影画像の解像度若しくは解像度を示す特性値が指示されて撮像が指示されると共に、撮像した撮影画像がコンピュータに表示される。これにより、迅速な通信が必要な場合には要求解像度を低くし、鮮明な画像が必要な場合には要求解像度を高くすることで、ユーザの使用シーンに適した使い方ができるようになるので、画像を利用した円滑なコミュニケーションを図ることが可能になるとともに使い勝手を向上させることが可能になる。
【００１２】
請求項３記載の発明の画像入力装置の制御方法は、コンピュータに接続され、撮像手段を介して撮像した撮影画像を前記コンピュータに対して送信し、かつ、被写体の上の点もしくは領域を指示可能なポインティング手段を有する画像入力装置を制御する画像入力装置の制御方法であって、文書での表現実体であるデジタル情報ファイルと、前記表現実体の表示状態を特定する表示情報ファイルと、前記表現実体の表示や各種の機能を実行するプログラムを含む動作プログラムファイルと、を単一の文書としてカプセル化したカプセル化文書における前記動作プログラムファイルの前記プログラムを、前記画像入力装置が接続された前記コンピュータに読み取らせることにより、前記ポインティング手段による指示位置を制御するポインティング機能と、前記撮像手段の方向及びズームを制御する視点制御機能と、前記撮像手段による撮像を指示する撮像指示機能と、前記撮像手段により撮像した撮影画像を表示する撮影画像表示機能と、を前記コンピュータに実現させる。
【００１３】
したがって、画像入力装置が接続されたコンピュータに表示されるカプセル化文書を介してポインティング手段による指示位置が制御され、撮像手段の方向及びズームが制御されて撮像が指示されると共に、撮像した撮影画像がコンピュータに表示される。これにより、被写体上をポインティングするポインティング手段のコントロールを画像入力装置が接続されたコンピュータに表示されるカプセル化文書上で行うことができるので、ポインティングによる付加情報のコミュニケーションを行うことが可能になり、円滑なコミュニケーションを図ることが可能になる。
【００１４】
請求項４記載の発明の画像入力装置の制御方法は、コンピュータに接続され、撮像手段を介して撮像した撮影画像を前記コンピュータに対して送信し、かつ、被写体の上の点もしくは領域を指示可能なポインティング手段と被写体に対してパターン光を投影するパターン光投影手段とを有する画像入力装置を制御する画像入力装置の制御方法であって、文書での表現実体であるデジタル情報ファイルと、前記表現実体の表示状態を特定する表示情報ファイルと、前記表現実体の表示や各種の機能を実行するプログラムを含む動作プログラムファイルと、を単一の文書としてカプセル化したカプセル化文書における前記動作プログラムファイルの前記プログラムを、前記画像入力装置が接続された前記コンピュータに読み取らせることにより、前記パターン光投影手段により被写体に対して投影したパターン光を用いて被写体の３次元形状を計測する３次元形状計測機能と、前記ポインティング手段による指示位置を制御するポインティング機能と、前記撮像手段の方向及びズームを制御する視点制御機能と、前記撮像手段による撮像を指示する撮像指示機能と、前記撮像手段により撮像した撮影画像を表示する撮影画像表示機能と、を前記コンピュータに実現させる。
【００１５】
したがって、画像入力装置が接続されたコンピュータに表示されるカプセル化文書を介してパターン光投影手段により被写体に対して投影したパターン光を用いて被写体の３次元形状が計測されてポインティング手段による指示位置が制御され、撮像手段の方向及びズームが制御されて撮像が指示されると共に、撮像した撮影画像がコンピュータに表示される。これにより、画像入力装置により撮像した画像が、画像入力装置が接続されたコンピュータに表示されるカプセル化文書上で３次元表示され、画像入力装置の被写体上の対応位置をこの３次元表示上でポインティングすることで、より円滑なコミュニケーションを図ることが可能になる。
【００１６】
請求項５記載の発明は、請求項１ないし４の何れか一記載の画像入力装置の制御方法において、前記画像入力装置の動作状態を受信する動作状態受信機能と、受信した前記画像入力装置の動作状態に応じて前記画像入力装置に対する指示を規制する指示規制機能と、を前記コンピュータに実現させる。
【００１７】
したがって、画像入力装置は同時に複数の動作（パンニング・チルティング動作や撮影動作など）を行うことはできないことから、画像入力装置の動作状態に応じて画像入力装置に対する指示が規制されることにより、不具合の発生等が防止される。
【００１８】
請求項６記載の発明は、請求項１ないし４の何れか一記載の画像入力装置の制御方法において、前記画像入力装置の前記撮像手段の撮影条件を設定する撮影条件設定機能を前記コンピュータに実現させる。
【００１９】
したがって、ユーザの要求仕様に近い画像を用いたコミュニケーションが可能になる。
【００２０】
請求項７記載の発明は、請求項１ないし４の何れか一記載の画像入力装置の制御方法において、前記画像入力装置の前記撮像手段の撮像方向とズーム量との少なくとも何れか一方を表示する撮像状態表示機能を前記コンピュータに実現させる。
【００２１】
したがって、撮像手段による撮像領域の状況を視覚的に把握することが可能になるので、ユーザの要求領域の撮像対象を迅速に探すことが可能になり、円滑なコミュニケーションが可能になる。
【００２２】
請求項８記載の発明は、請求項１ないし４の何れか一記載の画像入力装置の制御方法において、前記画像入力装置に対して画像データの送信を指示するデータ送信指示機能を前記コンピュータに実現させる。
【００２３】
したがって、画像データ通信が不要時の通信速度によるコミュニケーションの遅延を無くし、ユーザのストレスを低減することが可能になる。
【００２４】
請求項９記載の発明は、請求項１ないし４の何れか一記載の画像入力装置の制御方法において、前記コンピュータに接続された複数の前記画像入力装置の中から特定の前記画像入力装置を指定する装置指定機能を前記コンピュータに実現させる。
【００２５】
したがって、効率的なコミュニケーションを図ることが可能になる。
【００２６】
請求項１０記載の発明のカプセル化文書は、文書での表現実体であるデジタル情報ファイルと、前記表現実体の表示状態を特定する表示情報ファイルと、前記表現実体の表示や各種の機能を実行するプログラムを含む動作プログラムファイルと、を単一の文書としてカプセル化したカプセル化文書において、撮像手段を介して撮像した撮影画像をコンピュータに対して送信する画像入力装置が接続された前記コンピュータに、前記動作プログラムファイルの前記プログラムを読み取らせることにより、前記撮像手段の方向及びズームを制御する視点制御機能と、前記撮像手段による撮像を指示する撮像指示機能と、前記撮像手段により撮像した撮影画像を表示する撮影画像表示機能と、を実現させる。
【００２７】
したがって、画像入力装置が接続されたコンピュータに表示されるカプセル化文書を介して撮像手段の方向及びズームが制御されて撮像が指示されると共に、撮像した撮影画像がコンピュータに表示される。これにより、画像を利用した円滑なコミュニケーションを図ることが可能になる。
【００２８】
請求項１１記載の発明のカプセル化文書は、文書での表現実体であるデジタル情報ファイルと、前記表現実体の表示状態を特定する表示情報ファイルと、前記表現実体の表示や各種の機能を実行するプログラムを含む動作プログラムファイルと、を単一の文書としてカプセル化したカプセル化文書において、被写体を複数の分割画像領域に分割し、各分割画像領域を所定の倍率で撮像手段を介して撮像した撮影画像を合成してコンピュータに対して送信する画像入力装置が接続された前記コンピュータに、前記動作プログラムファイルの前記プログラムを読み取らせることにより、前記撮像手段により撮像する被写体の大きさを指示する被写体サイズ指示機能と、前記撮像手段により撮像する撮影画像の解像度若しくは解像度を示す特性値を指示する解像度指示機能と、前記撮像手段による撮像を指示する撮像指示機能と、前記撮像手段により撮像した撮影画像を表示する撮影画像表示機能と、を実現させる。
【００２９】
したがって、画像入力装置が接続されたコンピュータに表示されるカプセル化文書を介して撮像手段により撮像する被写体の大きさが指示され、撮像手段により撮像する撮影画像の解像度若しくは解像度を示す特性値が指示されて撮像が指示されると共に、撮像した撮影画像がコンピュータに表示される。これにより、迅速な通信が必要な場合には要求解像度を低くし、鮮明な画像が必要な場合には要求解像度を高くすることで、ユーザの使用シーンに適した使い方ができるようになるので、画像を利用した円滑なコミュニケーションを図ることが可能になるとともに使い勝手を向上させることが可能になる。
【００３０】
請求項１２記載の発明のカプセル化文書は、文書での表現実体であるデジタル情報ファイルと、前記表現実体の表示状態を特定する表示情報ファイルと、前記表現実体の表示や各種の機能を実行するプログラムを含む動作プログラムファイルと、を単一の文書としてカプセル化したカプセル化文書において、撮像手段を介して撮像した撮影画像をコンピュータに対して送信し、かつ、被写体の上の点もしくは領域を指示可能なポインティング手段を有する画像入力装置が接続された前記コンピュータに、前記動作プログラムファイルの前記プログラムを読み取らせることにより、前記ポインティング手段による指示位置を制御するポインティング機能と、前記撮像手段の方向及びズームを制御する視点制御機能と、前記撮像手段による撮像を指示する撮像指示機能と、前記撮像手段により撮像した撮影画像を表示する撮影画像表示機能と、を実現させる。
【００３１】
したがって、画像入力装置が接続されたコンピュータに表示されるカプセル化文書を介してポインティング手段による指示位置が制御され、撮像手段の方向及びズームが制御されて撮像が指示されると共に、撮像した撮影画像がコンピュータに表示される。これにより、被写体上をポインティングするポインティング手段のコントロールを画像入力装置が接続されたコンピュータに表示されるカプセル化文書上で行うことができるので、ポインティングによる付加情報のコミュニケーションを行うことが可能になり、円滑なコミュニケーションを図ることが可能になる。
【００３２】
請求項１３記載の発明のカプセル化文書は、文書での表現実体であるデジタル情報ファイルと、前記表現実体の表示状態を特定する表示情報ファイルと、前記表現実体の表示や各種の機能を実行するプログラムを含む動作プログラムファイルと、を単一の文書としてカプセル化したカプセル化文書において、撮像手段を介して撮像した撮影画像をコンピュータに対して送信し、かつ、被写体の上の点もしくは領域を指示可能なポインティング手段と被写体に対してパターン光を投影するパターン光投影手段とを有する画像入力装置が接続された前記コンピュータに、前記動作プログラムファイルの前記プログラムを読み取らせることにより、前記パターン光投影手段により被写体に対して投影したパターン光を用いて被写体の３次元形状を計測する３次元形状計測機能と、前記ポインティング手段による指示位置を制御するポインティング機能と、前記撮像手段の方向及びズームを制御する視点制御機能と、前記撮像手段による撮像を指示する撮像指示機能と、前記撮像手段により撮像した撮影画像を表示する撮影画像表示機能と、を実現させる。
【００３３】
したがって、画像入力装置が接続されたコンピュータに表示されるカプセル化文書を介してパターン光投影手段により被写体に対して投影したパターン光を用いて被写体の３次元形状が計測されてポインティング手段による指示位置が制御され、撮像手段の方向及びズームが制御されて撮像が指示されると共に、撮像した撮影画像がコンピュータに表示される。これにより、画像入力装置により撮像した画像が、画像入力装置が接続されたコンピュータに表示されるカプセル化文書上で３次元表示され、画像入力装置の被写体上の対応位置をこの３次元表示上でポインティングすることで、より円滑なコミュニケーションを図ることが可能になる。
【００３４】
請求項１４記載の発明は、請求項１０ないし１３の何れか一記載のカプセル化文書において、前記画像入力装置の動作状態を受信する動作状態受信機能と、受信した前記画像入力装置の動作状態に応じて前記画像入力装置に対する指示を規制する指示規制機能と、を前記コンピュータに実現させる。
【００３５】
したがって、画像入力装置は同時に複数の動作（パンニング・チルティング動作や撮影動作など）を行うことはできないことから、画像入力装置の動作状態に応じて画像入力装置に対する指示が規制されることにより、不具合の発生等が防止される。
【００３６】
請求項１５記載の発明は、請求項１０ないし１３の何れか一記載のカプセル化文書において、前記画像入力装置の前記撮像手段の撮影条件を設定する撮影条件設定機能を前記コンピュータに実現させる。
【００３７】
したがって、ユーザの要求仕様に近い画像を用いたコミュニケーションが可能になる。
【００３８】
請求項１６記載の発明は、請求項１０ないし１３の何れか一記載のカプセル化文書において、前記画像入力装置の前記撮像手段の撮像方向とズーム量との少なくとも何れか一方を表示する撮像状態表示機能を前記コンピュータに実現させる。
【００３９】
したがって、撮像手段による撮像領域の状況を視覚的に把握することが可能になるので、ユーザの要求領域の撮像対象を迅速に探すことが可能になり、円滑なコミュニケーションが可能になる。
【００４０】
請求項１７記載の発明は、請求項１０ないし１３の何れか一記載のカプセル化文書において、前記画像入力装置に対して画像データの送信を指示するデータ送信指示機能を前記コンピュータに実現させる。
【００４１】
したがって、画像データ通信が不要時の通信速度によるコミュニケーションの遅延を無くし、ユーザのストレスを低減することが可能になる。
【００４２】
請求項１８記載の発明は、請求項１０ないし１３の何れか一記載のカプセル化文書において、前記コンピュータに接続された複数の前記画像入力装置の中から特定の前記画像入力装置を指定する装置指定機能を前記コンピュータに実現させる。
【００４３】
したがって、効率的なコミュニケーションを図ることが可能になる。
【００４４】
請求項１９記載の発明のコンピュータに読取り可能な記憶媒体は、請求項１０ないし１８の何れか一記載のカプセル化文書を記憶している。
【００４５】
したがって、この記憶媒体に記憶されたカプセル化文書をコンピュータに読み取らせることにより、請求項１０ないし１８の何れか一記載の発明と同様の作用を得ることが可能になる。
【００４６】
【発明の実施の形態】
［第一の実施の形態］
本発明の第一の実施の形態を図１ないし図２０に基づいて説明する。
【００４７】
［システム構成の説明］
図１は、本実施の形態のシステムを示す概略構成図である。図１に示すように、本実施の形態のシステムは、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等のネットワーク７を介し、パーソナル・コンピュータ（以下、単にコンピュータと呼ぶ）１と、画像入力装置Ａとが接続されている。
【００４８】
まず、コンピュータ１について説明する。図２に、コンピュータ１のハードウェアの構成図を示す。コンピュータ１は、情報処理を行うＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２と、ＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）等を格納するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３と、情報を処理中に一時的に格納するＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓ　Ｍｅｍｏｒｙ）４等の記憶部と、処理結果等を保存するＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）５等の記憶部と、情報を外部に保管又は配布し若しくは情報（後述するカプセル化文書１０１（図５参照））を外部から入手するための記憶媒体であるリムーバブルメディア６のドライブ６ａと、画像入力装置Ａと通信するためのネットワーク７に接続するためのネットワークインタフェース８と、処理経過や処理結果等をユーザに表示するディスプレイ９と、操作者がコンピュータ１に命令や情報等を入力するためのキーボード１０やマウス１１等の入力装置とから構成され、これらの間のデータ通信をバスコントローラ１２が調停して動作している。
【００４９】
なお、リムーバブルメディア６としては、フレキシブルディスク、ハードディスク、磁気テープ等のような磁気的な記憶媒体、ＭＯのような光磁気的な記憶媒体、ＣＤ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等のような光学的な記憶媒体、半導体メモリ等、各種の記憶媒体が適用できる。
【００５０】
データ送信は、コンピュータ１のネットワークインタフェース８へとデータを送ることにより、ネットワークインタフェース８がネットワーク７へと信号を出力する。また、ネットワークインタフェース８が受け取った信号については、ネットワークインタフェース８において必要かどうかの判断がなされ、必要なデータであれば取り込み、不必要であれば破棄する、というような処理が行われる。すなわち、あらゆるデータの送受信は、すべてネットワークインタフェース８を経由して行われることになる。
【００５１】
一般的に、このようなコンピュータ１ではユーザが電源を投入すると、ＣＰＵ２はＲＯＭ３内のＢＩＯＳに含まれるローダーというプログラムを起動させ、ＨＤＤ５からオペレーティング・システムという当該コンピュータ１のハードウェアとソフトウェアとを管理するプログラムをＲＡＭ４に読み込む。オペレーティング・システムは起動すると、ユーザの操作に応じてアプリケーション・プログラムの起動、情報の読み込み、保存等をサポートする。代表的なオペレーティング・システムはＷｉｎｄｏｗｓ（Ｍｉｃｒｏｓｏｆｔ　Ｃｏｒｐｏｒａｔｉｏｎの登録商標）、ＵＮＩＸ（Ｘ／Ｏｐｅｎ，　Ｉｎｃ．の登録商標）等である。これらのオペレーティング・システム上で走るプログラムが、通常アプリケーション・プログラムと呼ばれている。
【００５２】
次に、画像入力装置Ａについて説明する。ここで、図３は画像入力装置Ａの構成を概略的に示す外観斜視図である。図３に示すように、画像入力装置Ａは、大別すると、撮像手段である撮像部２１、駆動部２２、支持柱２３、この支持柱２３が立設された支持ユニット２４、制御ユニット２５、インターフェース２６により構成されている。
【００５３】
撮像部２１は、駆動部２２を介して支持柱２３より支持ユニット２４に対して上方に位置づけられている。また、撮像部２１は、上下方向（チルト）、左右方向（パン）にそれぞれ駆動部２２の駆動機構により回転できるような構成になっている。このような駆動部２２の駆動機構は、特に図示しないが、互いに回転軸を直交させた２個のステッピングモータと所定の減衰比を有するギアとが用いられた２軸駆動機構である。なお、図３中では、被写体としてドキュメントｄを想定し、机上に置かれた当該ドキュメントｄを撮像部２１により撮影している。
【００５４】
制御ユニット２５は、ＣＰＵやメモリ、ハードディスク等の記録媒体により構成され、撮像部２１及び駆動部２２の駆動制御、撮像部２１から転送された画像データのストレージや画像処理を行う。また、制御ユニット２５は、インターフェース２６を介し、コンピュータ１との接続も司る。インターフェース２６としては、ネットワーク７であるＬＡＮの他、パーソナル・コンピュータ用の汎用インターフェース、例えば、ＲＳ−２３２Ｃ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＩＥＥＥ１３９４等を用いることができる。
【００５５】
ここで、撮像部２１について簡単に説明する。図４は撮像部２１の各部の電気的接続を示すブロック図である。図４に示すように、被写体（例えば、ドキュメントｄ）の像は、シャッタ３４により露光時間が制御され、固定レンズ３１、ズームレンズ３２、絞り機構３３、フォーカスレンズ３５を通してＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）である撮像素子３６上に形成される。撮像素子３６からの画像信号は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ）（相関二重サンプリング）回路３７でサンプリングされた後、Ａ／Ｄ変換器３８でデジタル信号化される。この時のタイミングはＴＧ（Ｔｉｍｉｎｇ　Ｇｅｎｅｒａｔｏｒ）３９で生成される。画像信号は、その後、ＩＰＰ（Ｉｍａｇｅ　Ｐｒｅ−Ｐｒｏｃｅｓｓｏｒ）４０でアパーチャ補正などの画像処理、圧縮処理などの処理を施され、メモリ４１に保存される。このようなズームレンズ３２，絞り機構３３，シャッタ３４，フォーカスレンズ３５，ＣＤＳ３７，ＴＧ３９，ＩＰＰ４０，メモリ４１等の各ユニットの動作は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）４２にて制御される。
【００５６】
［カプセル化文書の説明］
次に、コンピュータ１で処理されるカプセル化文書について説明する。図５は、カプセル化された文書であるカプセル化文書のデータ構造を示す模式図である。図５に示すように、カプセル化文書１０１は、文書全体の構造、配置等の表示状態を表す表示情報ファイルとしての文書配置情報１０２と、文書内のテキスト内容を表すデジタル情報ファイルとしてのテキスト情報１０３と、その他の静止画像や動画像を表すデジタル情報ファイルとしてのメディア情報１０４と、文書内容を表示したりユーザ操作を検出したりする複数の動作プログラムファイルとしてのプログラム１０５とから構築されている。これらの情報は、それぞれ一般的なパーソナル・コンピュータのオペレーティング・システム（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ、以下、適宜ＯＳと呼ぶ）が管理できる個別のファイル単位の構造となっている。
【００５７】
このようなカプセル化文書１０１は、フレキシブルディスク、ハードディスク、磁気テープ等のような磁気的な記憶媒体、ＭＯのような光磁気的な記憶媒体、ＣＤ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等のような光学的な記憶媒体、半導体メモリ等、各種の記憶媒体に格納することができ、記憶媒体の種類によっては容易に持ち運び可能となる。また、カプセル化文書１０１は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）やインターネット等の各種の通信回線を介して伝送可能である。
【００５８】
図６は書庫ファイルのデータ構造の一例を示す模式図、図７は書庫ファイルの別のデータ構造の一例を示す模式図である。カプセル化文書１０１を構成する各ファイル１０２、１０３、１０４、１０５は、図６及び図７に例示するように、書庫ファイル２０１という一つのファイルに格納されている。これにより、文書配置情報１０２（表示情報ファイル）と、テキスト情報１０３（デジタル情報ファイル）と、メディア情報１０４（デジタル情報ファイル）と、プログラム１０５（動作プログラムファイル）とを単一の文書としてカプセル化するカプセル化手段が構成されている。このような書庫ファイル２０１のファイル形式としては、一般的に、ＺＩＰ形式やＬＨＡ形式等があり、これらの技術を利用しても良い。
【００５９】
ここで、書庫ファイル２０１は、複数のファイル１０２、１０３、１０４、１０５を一つのファイル（書庫ファイル２０１）として格納するファイル構造を有している。このような書庫ファイル２０１は、格納機能及び解凍機能を有するアーカイバプログラムを用いることにより、ユーザの求めに応じて複数のファイル１０２、１０３、１０４、１０５を一つのファイル（書庫ファイル２０１）として扱うことができる。
【００６０】
図６に例示する書庫ファイル２０１では、複数のファイル１０２、１０３、１０４、１０５を格納した書庫ファイル２０１に、各ファイル１０２、１０３、１０４、１０５が書庫ファイル２０１中のどの位置にあるかを示すインデックス情報が付加されている。これにより、ファイル１０２、１０３、１０４、１０５の位置検索が可能となる。また、別の実施の形態として、図７に例示する書庫ファイル２０１のように、ファイル１０２、１０３、１０４、１０５毎にヘッダ情報を付加し、その位置を指示することでファイル１０２、１０３、１０４、１０５の位置検索を可能とする手法を採用しても良い。
【００６１】
このように、カプセル化文書１０１のファイル構造は、カプセル化文書１０１を構成する図５に示すような複数のファイル１０２、１０３、１０４、１０５をインデックス（図６参照）又はヘッダ（図７参照）で管理する書庫ファイル形式である。こうして、カプセル化文書１０１は、複数のファイル１０２、１０３、１０４、１０５を一つの書庫ファイル２０１としてカプセル化しているため、見かけ上、ユーザは複数のファイル１０２、１０３、１０４、１０５を一つの文書として管理し保管することができる。
【００６２】
図８はカプセル化文書１０１に格納されているプログラムのデータ構造を示す模式図、図９はプログラムに含まれている拡張プログラムに関する情報を規定する表示情報ファイルのデータ構造を示す模式図である。
【００６３】
カプセル化文書１０１に格納されている複数の動作プログラムファイルであるプログラム１０５は、図８に示すように、基本プログラム１１１と拡張プログラム１１２とから構成されている。
【００６４】
基本プログラム１１１は、カプセル化文書１０１の起動時に呼び出すことができるプログラムであり、全てのカプセル化文書１０１に共通して一つだけ存在するプログラムである。この基本プログラム１１１は、図示しない起動プログラムを含んでおり、コンピュータでのカプセル化文書１０１のアクセスに応じて、コンピュータに解釈、実行され、起動される。
【００６５】
拡張プログラム１１２は、カプセル化文書１０１に含まれている内容に応じて付加されるプログラムであり、例えば、図９に示すように、表示メディアの種類に応じて用意される。一例として、カプセル化文書１０１に含まれているデジタル情報ファイルがテキスト情報１０３のみである場合には、基本プログラム１１１に加えて、拡張プログラム１１２のうちの“Ｔｅｘｔ　Ｐａｎｅｌ”プログラム１１２ａがカプセル化文書１０１に格納されている。また、静止画像や動画像等を表すデジタル情報ファイルとしてのメディア情報１０４がカプセル化文書１０１に含まれている場合には、基本プログラム１１１に加えて、拡張プログラム１１２のうちの“Ｉｍａｇｅ　Ｐａｎｅｌ”プログラム１１２ｂ、“ＭｏｖｉｅＰａｎｅｌ”プログラム１１２ｃ、“３Ｄ　Ｐａｎｅｌ”プログラム１１２ｄがカプセル化文書１０１に格納されている。この基本プログラム１１１は、図示しない起動プログラムを含んでおり、コンピュータでのカプセル化文書１０１のアクセス、あるいは必要に応じて、コンピュータに解釈、実行され、起動される。
【００６６】
ここで、図９は、拡張プログラム参照ファイル１１３の一例を示しており、この拡張プログラム参照ファイル１１３は、拡張プログラム１１２とこれに対応するタグ１１４及び動作１１５を規定している。このような拡張プログラム参照ファイル１１３は、プログラム１０５としてカプセル化文書１０１に格納されている。
【００６７】
次に、文書配置情報１０２について説明する。文書配置情報１０２は、カプセル化文書１０１の各メディアの配置、表示サイズや各メディアのファイル等を記述するファイルである。本実施の形態では、これらの情報の記述を汎用的なＸＭＬ形式により記述している。
【００６８】
図１０は、ＸＭＬによって記述されたカプセル化文書１０１の一例を示す模式図である。ＸＭＬは、その一例を図１０に示すように、各要素をタグというもので記述するファイル形式であり、タグという要素の集まりによって文書を記述する。この場合、タグの中にタグを記述するという入れ子構造をとることも可能であり、各タグにはタグの属性を表わすアトリビュートと呼ばれるもので属性を付加することもできる。
【００６９】
図１１は、図１０に示すようにＸＭＬによって記述されたカプセル化文書１０１の表示例を示す模式図である。図１１に表示例を示すようなカプセル化文書１０１は、図１０に例示するＸＭＬの記述に基づいて表示される。まず、文書全体を表す＜Ｄｏｃｕｍｅｎｔ＞というタグが記述され、この中に文書の構造が記述されている。そして、最初に表題を記述するために、＜ＴＥＸＴ＞というタグを使用する場合の表示内容は、アトリビュートが省略されている場合にタグ内の内容を表示する。次のＴＥＸＴタグの例は、テキスト情報を“本文．ＴＸＴ”というファイルから読み込む例である。次のＩＭＡＧＥタグは、“画像．ＪＰＧ”という静止画像をＸ、Ｙ座標を起点にＷＩＤＴＨ、ＨＩＧＨＴで指示されている大きさで表示するという配置情報である。
【００７０】
このように、文書配置情報１０２は、ＸＭＬ形式によりファイルの指示や配置の指示を行う。
【００７１】
また、文書配置情報１０２は、ＸＭＬ形式を例に挙げて説明したが、その他のＨＴＭＬ形式等の記述言語を使用しても良いし、独自の記述形式を使用しても良い。
【００７２】
そして、残りの静止画像、動画像、３Ｄ画像、音声情報等を表すメディア情報１０４は、汎用のファイルフォーマットでも良いし、特殊な仕様の場合には独自のフォーマットを使用しても良い。
【００７３】
これまでに述べてきたように、カプセル化文書１０１のファイル構造は、文書全体の構造を表す文書配置情報１０２と、これに対応して表示されるテキスト情報ファイルや画像ファイル等の複数のメディアファイル（テキスト情報１０３及びメディア情報１０４）と、複数のプログラム１０５群から構成されている。
【００７４】
［カプセル化文書１０１の閲覧等］
ここで、カプセル化文書１０１の基本的な動作である文書起動から文書閲覧までの動作について説明する。図１２は、コンピュータ１を用いたカプセル化文書１０１の文書閲覧処理の流れを示すフローチャートである。本実施の形態では、このようなコンピュータ１とカプセル化文書１０１とによって情報処理装置を構成している。
【００７５】
カプセル化文書１０１は、テキスト情報１０３及びメディア情報１０４というその実体データに対応するアイコンをコンピュータ１のディスプレイ９上に表示するための図示しないアイコンに関するアイコンファイルを含んでいる。そこで、このアイコンファイルに従ったアイコンがコンピュータ１のディスプレイ９上に表示されることから、ユーザがマウス１１等でカプセル化文書１０１の実体データに対応するアイコンを選択起動（ダブルクリック）すると、カプセル化文書１０１内に書庫ファイル２０１として書庫形式で格納されている基本プログラム１１１が起動される（ステップＳ２０１）。基本プログラム１１１は、その起動後、文書を表示させるための表示ウィンドウを作成する（ステップＳ２０２）。そして、基本プログラム１１１は、ＸＭＬ等で記述された書庫ファイル２０１内の文書配置情報１０２を読み込む（ステップＳ２０３）。
【００７６】
基本プログラム１１１は、文書配置情報１０２の読み込み後、タグ構造を解析して（ステップＳ２０４）、図９に例示するようなタグ名に対応する拡張プログラム１１２を別スレッドで起動し、文書配置情報１０２に記述してあるアトリビュートを各拡張プログラム１１２に渡す（ステップＳ２０５）。基本プログラム１１１は、このような処理をカプセル化文書１０１に格納された文書配置情報１０２における全てのタグについて処理終了まで行い（ステップＳ２０６）、これによって、文書配置情報１０２に記述された複数の拡張プログラム１１２が別スレッドで起動する（ステップＳ２０５）。
【００７７】
各拡張プログラム１１２は、基本プログラム１１１より受け取ったアトリビュートを解析し（ステップＳ２０７）、アトリビュートの内容に応じて必要なテキスト情報１０３及びメディア情報１０４をカプセル化文書１０１内の書庫ファイル２０１から読み込む（ステップＳ２０８）。そして、各拡張プログラム１１２は、基本プログラム１１１が作成するウィンドウ内におけるアトリビュートに応じた大きさの領域にテキスト情報１０３及びメディア情報１０４を表示する（ステップＳ２０９）。このような処理を行うことで、カプセル化文書１０１は、複数のテキスト情報１０３及びメディア情報１０４を基本プログラム１１１が確保したウィンドウに表示することができる。
【００７８】
また、拡張プログラム１１２は、そのような表示後、各種のイベント発生を認識した場合は（ステップＳ２１０のＹ）、認識したイベントに応じた処理を実行する（ステップＳ２１１）。このように、カプセル化文書１０１は、従来の文書とは根本的に異なる構造で文書を表示することができる。
【００７９】
［カプセル化文書１０１に含まれているプログラム１０５の記述手法］
次に、カプセル化文書１０１に含まれているプログラム１０５の記述について説明する。
【００８０】
プログラム１０５を記述する場合、複数の手法が実施可能である。
【００８１】
第一の手法は、現在最もポピュラーな言語であるＣプログラム言語でプログラム１０５を作成し、Ｃ言語コンパイラーによりＣＰＵ２が直接実行できる形式のネイティブコードを使用する例である。この場合、基本プログラム１１１を実行形式（ＷｉｎｄｏｗｓではＥＸＥ形式）で作成し、各拡張プログラム１１２をライブラリ形式（ＷｉｎｄｏｗｓではＤＬＬ形式）で作成し、書庫構造で格納された文書配置情報１０２、デジタル情報ファイル（テキスト情報１０３及びメディア情報１０４）及びこれらのプログラム１０５をインデックスまたはヘッダによって検索し、検索されたプログラム１０５を基本プログラム１１１に指定すれば良い。しかしながら、この手法は、ＣＰＵ２のコードがＣＰＵ２の種類に限定されてしまうため、余り良い方法とはいえない。
【００８２】
第二の手法は、Ｊａｖａ（Ｓｕｎ　Ｍｉｃｒｏｓｙｓｔｅｍｓ，　Ｉｎｃ．の登録商標）言語等のインタープリタ言語を使用する方法である。これは、実行コードを使わず抽象的な中間コードでプログラムを構成し、実行時にこの中間コードをＣＰＵ２に理解可能なネイティブコードに変換し、これをＣＰＵ２が実行するというものである。この手法を用いることで、ＣＰＵ２の種類にとらわれないマルチプラットフォームでのカプセル化文書１０１の利用が可能となる。
【００８３】
このように、本実施の形態のカプセル化文書１０１では、まず基本プログラム１１１を起動させ、起動プログラムは文書配置情報１０２から諸情報を読み込み、それに適合する拡張プログラム１１２を動作させる、というものである。
【００８４】
また、拡張プログラム１１２は、前述したように、ＸＭＬ等で記述された文書配置情報１０２のタグの種類に対応したプログラムを用意しておき、その拡張プログラム１１２を起動しても良いし、タグの属性情報が読み込まれる各種のデジタル情報ファイル（テキスト情報１０３、メディア情報１０４）の種類に応じて拡張プログラム１１２を起動しても良い。例えば、図１３に示すように、動画情報を表示再生する場合の動画の代表的なフォーマットは複数あるため、その複数の動画を全て表示するための一つの拡張プログラム１１２を作成すると大きなプログラムになってしまう。そこで、図１３に示すように、ファイルフォーマットに合わせて複数の拡張プログラム１１２を用意し、カプセル化文書１０１内における特定の種類のファイルフォーマットに合う拡張プログラム１１２をカプセル化すれば良い。
【００８５】
［拡張プログラム１１２］
次いで、拡張プログラム１１２の具体的な例を説明する。
【００８６】
まず、カプセル化文書１０１に、複数個のデジタル情報ファイル（テキスト情報１０３、メディア情報１０４）が含まれていることを前提とする拡張プログラム１１２の機能を説明する。
【００８７】
拡張プログラム１１２は、ディスプレイ９に図示しないファイル特定用パネルを表示する。このファイル特定用パネルというのは、カプセル化文書１０１に含まれている複数個のデジタル情報ファイル（テキスト情報１０３、メディア情報１０４）を選択指示可能に列挙するパネルである。そこで、例えばマウス１１によるクリック等の手法で任意のデジタル情報ファイル（テキスト情報１０３、メディア情報１０４）が選択指示されると、拡張プログラム１１２は、図１２に示すフローチャートに示すように、イベントの検出を判定し（ステップＳ２１０のＹ）、対応するイベント動作を実行する（ステップＳ２１１）。
【００８８】
ここでのイベント動作として、拡張プログラム１１２は、選択指示されたデジタル情報ファイル（テキスト情報１０３、メディア情報１０４）をディスプレイ９に表示する動作を実行する。
【００８９】
次に、カプセル化文書１０１に、メディア情報１０４として、動画像ファイルが含まれていることを前提とする拡張プログラム１１２の機能を説明する。
【００９０】
図１４に示すように、拡張プログラム１１２は、ディスプレイ９に表示される文書中に動画像の１フレームによって規定される静止画像１４１を表示する。そして、ディスプレイ９の文書中に含まれる静止画像１４１の表示領域がマウス１１によるクリック等によって選択指示されると、拡張プログラム１１２は、図１２に示すフローチャートに示すように、イベントの検出を判定し（ステップＳ２１０のＹ）、対応するイベント動作を実行する（ステップＳ２１１）。
【００９１】
ここでのイベント動作として、拡張プログラム１１２は、静止画像１４１を拡大、縮小又はそのまま表示する画像１４２を含むポップアップフレーム１４３を表示し、このポップアップフレーム１４３に再生ボタン１４４、停止ボタン１４５及びポーズボタン１４６からなる操作ボタン１４７を出現させる。そして、マウス１１によるクリック等の手法で操作ボタン１４７に含まれるいずれかのボタン１４４、１４５、１４６が選択指示された場合、拡張プログラム１１２は、図１２に示すフローチャートに示すように、イベントの検出を判定し（ステップＳ２１０のＹ）、対応するイベント動作を実行する（ステップＳ２１１）。
【００９２】
ここでのイベント動作として、拡張プログラム１１２は、選択指示されたのが再生ボタン１４４であれば静止画像として表示されている画像１４２を本来の動画像として再生し、選択指示されたのが停止ボタン１４５であれば動画像の再生を停止し、選択指示されたのがポーズボタン１４６であれば動画像の再生をその時点で静止画画像として表示する。
【００９３】
更に、カプセル化文書１０１に、メディア情報１０４として、音声情報ファイルが含まれていることを前提とする拡張プログラム１１２の機能を説明する。
【００９４】
図１５に示すように、拡張プログラム１１２は、ディスプレイ９に表示される文書中に機能パネル及び再生パネルとしての音声再生ボタン１５１を表示する。そして、ディスプレイ９の文書中に含まれる音声再生ボタン１５１の表示領域がマウス１１によるクリック等によって選択指示されると、拡張プログラム１１２は、図１２に示すフローチャートに示すように、イベントの検出を判定し（ステップＳ２１０のＹ）、対応するイベント動作を実行する（ステップＳ２１１）。
【００９５】
ここでのイベント動作として、拡張プログラム１１２は、後述する音声読み上げ情報表示領域１５２を含むポップアップフレーム１５３を表示し、このポップアップフレーム１５３に再生ボタン１５４、停止ボタン１５５及びポーズボタン１５６からなる操作ボタン１５７を出現させる。そして、マウス１１クリック等の手法で操作ボタン１５７に含まれるいずれかのボタン１５４、１５５、１５６が選択指示された場合、拡張プログラム１１２は、図１２に示すフローチャートに示すように、イベントの検出を判定し（ステップＳ２１０のＹ）、対応するイベント動作を実行する（ステップＳ２１１）。
【００９６】
ここでのイベント動作として、拡張プログラム１１２は、選択指示されたのが再生ボタン１５４であればカプセル化文書１０１に含まれている音声情報ファイル内の音声を再生し、選択指示されたのが停止ボタン１４５であれば再生中の音声情報ファイル内の音声再生を停止し、選択指示されたのがポーズボタン１４６であれば再生中の音声情報ファイル内の音声再生をその時点で一時停止する。
【００９７】
拡張プログラム１１２は、更に別の機能として、再生ボタン１５４が選択指示されて音声情報ファイル内の音声が再生される場合、再生される音声をテキスト情報化した可視情報を音声読み上げ情報表示領域１５２に表示する機能をコンピュータ１に実行させる。このような動作は、文書を閲覧する場合に文書閲覧装置（通常はコンピュータ１）の音声再生用のスピーカがＯＦＦになっている場合や、難聴者が文書を閲覧する場合に有効である。また、このような読み上げ機能は、コンピュータ１のスピーカ等の設定や障害者補助機能の設定等に基づいて、自動的にポップアップ動作させても良い。
【００９８】
ここで、音声情報ファイルは、音声をサンプリングしたような音声データとしてのデータ構造を有するものであっても、テキストデータであっても良い。テキストデータである場合、音声情報ファイルを再生するに際して、例えば音声合成ＬＳＩ等を用い、そのテキストデータを音声の特徴量で規定した音声データに変換するというような手法で再生可能である。また、音声情報ファイル内の音声の再生に際して実行される音声のテキスト情報化は、音声情報ファイルがテキストデータによって構成されている場合にはそのテキストデータをそのまま利用することができる。これに対して、音声情報ファイルが音声データによって構成されている場合には、音声データを解析してテキスト情報化する処理が必要となる。
【００９９】
以上幾つかの具体例を挙げたように、表示又は再生させたい各種のデジタル情報の特性に応じて多くの種類の拡張プログラム１１２をカプセル化文書１０１に用意することが考えられる。そこで、これらの拡張プログラム１１２をマルチメディア文書の部品として用意しておくことで、柔軟に多種多様なメディアに対応する拡張プログラム１１２を実現することができる。そして、この場合、カプセル化文書１０１内には必要な拡張プログラム１１２のみを格納すれば良いので、カプセル化文書１０１の取り扱いは極めて軽快なものとなる。
【０１００】
図１６は、カプセル化文書１０１に含ませる拡張プログラム１１２の構造を示している。本実施の形態のカプセル化文書１０１は、文書配置情報１０２を基本プログラム１１１が読み取り、文書配置情報１０２が参照しているデジタル情報ファイル（テキスト情報１０３、メディア情報１０４）に対応する拡張プログラム１１２を起動し、起動した拡張プログラム１１２はデジタル情報ファイル（テキスト情報１０３、メディア情報１０４）を表示再生する、というものである。また、各拡張プログラム１１２は、それぞれユーザ操作を検出し、ユーザ操作があったときは、対応する動作を行う。この場合、デジタル情報ファイル（テキスト情報１０３、メディア情報１０４）を参照しない拡張プログラム１１２の場合には、ただ単にユーザ操作を受け取ってそのユーザ操作に応じた動作を行う。
【０１０１】
ユーザ操作には、マウス１１のクリックやキーボード１０からの入力等が考えられる。マウス１１のクリックの場合は、マウス１１のクリック位置がそれぞれの拡張プログラム１１２の表示占有範囲内かどうかを判断し、自分の表示範囲でクリックされた場合に対応する動作を行うようにすれば良い。キーボード１０からの入力の場合は、キーボード１０によって移動可能な図示しないカーソル位置がそれぞれの拡張プログラム１１２の表示占有範囲内かどうかを判断し、自分の表示範囲で選択指示された場合に対応する動作を行うようにすれば良い。例えば、図１７に示すように、３つのデジタル情報（ＰＲＧ１、ＰＲＧ２、ＰＲＧ３）を表示している文書の場合、一例として、図中の×印の部分でユーザがマウス１１をクリックした場合、ＰＲＧ２の拡張プログラム１１２がマウス１１のクリックを検出し、対応する動作を実行する。
【０１０２】
このように、本実施の形態におけるカプセル化文書１０１の文書形式は、各メディアの種類や表示情報ファイルのタグの種類に関連した拡張プログラム１１２群からなり、最小である構成としては、基本プログラム１１１と文書配置情報１０２からなっている。そして、カプセル化文書１０１は、ユーザがカプセル化文書１０１内に格納したい情報に応じてデジタル情報ファイル（テキスト情報１０３、メディア情報１０４）を準備し、その情報を再生、表示できるような拡張プログラム１１２を追加することで成立している。そして、本実施の形態におけるカプセル化文書１０１は、そのような各種ファイルを、単一のファイルとしてアーカイブ形式を利用して格納している。
【０１０３】
［拡張プログラム１１２を利用した画像入力装置Ａのコントロール機能］
次いで、拡張プログラム１１２を利用した本実施の形態の特長的な機能である画像入力装置Ａのコントロール機能である視点制御機能及び撮影指示機能について説明する。この画像入力装置Ａの視点制御機能というのは、画像入力装置Ａの方向や焦点等をコンピュータ１によってコントロールする機能であり、撮影指示機能というのは、画像入力装置Ａの撮影タイミングをコンピュータ１から指示する機能である。
【０１０４】
本実施の形態では、先に説明したカプセル化文書１０１に画像入力装置Ａの視点制御機能及び撮影指示機能を加える。例えば基本プログラム１１１は、画像入力装置Ａの視点制御機能及び撮影指示機能を指定するタグを読んだときに、画像入力装置Ａの視点制御機能及び撮影指示機能を有する拡張プログラム１１２を起動し、拡張プログラム１１２は、ディスプレイ９に表示されるカプセル化文書１０１の表示中に視点制御ボタンＢ１及び撮影指示ボタンＢ２（図１８参照）を表示する。
【０１０５】
図１８は、本実施の形態のカプセル化文書１０１の表示を例示する模式図である。なお、カプセル化文書１０１には、メディア情報１０４として、静止画像ファイル及び動画像ファイルが含まれていることを前提とする。拡張プログラム１１２は、ディスプレイ９に表示される文書中に、ＢＭＰ，ＪＰＥＧ，ＴＩＦＦ等のデジタル画像である静止画像、当該静止画像の編集等の操作を行うための操作ボタン、ＭＰＥＧ，ＡＶＩ等のデジタル動画像の１フレームによって規定される静止画像、当該動画像の再生や早送り、巻き戻し等の操作を行うための操作ボタンの他、画像入力装置Ａの視点制御を行うための視点制御ボタンＢ１、画像入力装置Ａの撮影タイミングを指示するための撮影指示ボタンＢ２を表示する。図１９に示すように、視点制御ボタンＢ１は、画像入力装置Ａの撮像部２１を左右方向（パン）に移動させるためのパンニングボタンｂ１、画像入力装置Ａの撮像部２１を上下方向（チルト）に移動させるためのチルティングボタンｂ２、撮影画像を光学的またはデジタル的にズームアップさせるためのズームアップボタンｂ３、撮影画像を光学的またはデジタル的にズームダウンさせるためのズームダウンボタンｂ４から構成されている。
【０１０６】
図２０は、カプセル化文書１０１が発揮する画像入力装置Ａのコントロール機能に係る処理の流れを示すフローチャートである。図２０に示すように、コンピュータ１のＣＰＵ２は、画像入力装置Ａのコントロール機能に係る拡張プログラム１１２に従い、ディスプレイ９の文書中に含まれる視点制御ボタンＢ１のいずれかのボタンｂ１〜ｂ４がマウス１１によるクリック等によって選択指示されると（ステップＳ１のＹ）、視点制御ボタンＢ１の指示（ズーム、パン、チルト）に対応する視点制御信号を生成し（ステップＳ２）、生成した視点制御信号をネットワーク７を介して画像入力装置Ａに送信する（ステップＳ３）。
【０１０７】
画像入力装置Ａは視点制御信号をコンピュータ１から受信すると、視点制御信号に従って駆動部２２の駆動機構を上下方向（チルト）や左右方向（パン）に回転させて撮像部２１を移動させ、視点制御信号に従って光学的またはデジタル的にズームアップ／ズームダウンさせる。
【０１０８】
また、コンピュータ１のＣＰＵ２は、ディスプレイ９の文書中に含まれる撮影指示ボタンＢ２がマウス１１によるクリック等によって選択指示されると（ステップＳ４のＹ）、撮影指示信号を生成し（ステップＳ５）、生成した撮影指示信号をネットワーク７を介して画像入力装置Ａに送信する（ステップＳ６）。
【０１０９】
画像入力装置Ａは撮影指示信号をコンピュータ１から受信すると、撮影指示信号に従って被写体を撮影し、撮影した撮影画像データを撮影完了信号とともにネットワーク７を介してコンピュータ１に送信する。
【０１１０】
加えて、コンピュータ１のＣＰＵ２は、画像入力装置Ａからネットワーク７を介して送信された撮影完了信号を受信すると（ステップＳ７のＹ）、撮影画像データを画像入力装置Ａからネットワーク７を介して受信し（ステップＳ８）、撮影画像をディスプレイ９に表示する（ステップＳ９：撮影画像表示機能）。
【０１１１】
なお、コンピュータ１のＣＰＵ２は、撮影完了信号が受信できない場合等には、エラーであると判定し（ステップＳ１０のＹ）、エラーメッセージをディスプレイ９に表示する（ステップＳ１１）。
【０１１２】
以上のようなステップＳ１〜Ｓ１１の処理は、カプセル化文書１０１が閉じられるまで（ステップＳ１２のＹ）、繰り返される。
【０１１３】
ここに、画像入力装置Ａが接続されたコンピュータ１に表示されるカプセル化文書１０１を介して撮像部２１の方向及びズームが制御されて撮像が指示されると共に、撮像した撮影画像がコンピュータ１に表示される。これにより、画像を利用した円滑なコミュニケーションを図ることが可能になる。
【０１１４】
次に、本発明の第二の実施の形態を図２１ないし図２５に基づいて説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。本実施の形態は、概略的には、画像入力装置Ａにより撮像する被写体の大きさを指示する被写体サイズ指示機能と取り込み時の要求解像度を設定する解像度設定機能とをカプセル化文書１０１の一つの機能として実装したものである。
【０１１５】
画像入力装置Ａは、前述したように、駆動部２２の駆動機構を用いて撮像部２１を移動させることで、例えば図２１に示すように、被写体であるドキュメントｄを分割した分割撮影領域Ａ〜Ｈを個別画像として収録できる。画像入力装置Ａの撮像部２１を駆動部２２の駆動機構を用いて左右方向に移動すると撮影領域をＡからＢに変えることができ、更に上下方向の回転とそれぞれ組み合わせれば、Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈの各領域を撮影領域にすることができる。このように複数の位置で撮影、すなわち分割撮影することにより、撮像系の画角をできるだけ狭くすることができるので、被写体を高解像に撮影することができる。この場合、被写体のすべての部分は分割画像のいずれかに含まれるように、撮影することが望ましい。
【０１１６】
そして、本実施の形態の画像入力装置Ａは、これらの分割撮影領域Ａ〜Ｈを１枚の画像として合成する機能を有する。次に、分割画像の合成手法について説明する。説明を簡単にするため、図２２に示したような２分割撮影を想定する。今、第一画像上の点と第二画像上の点をそれぞれ、
【数１】
2004078314.tif 000003
とする。被写体が平面の場合、両者には次の関係が成り立つ。
【数２】
2004078314.tif 000004
ここで、
【数３】
2004078314.tif 000005
は射影変換行列と呼ばれるもので、画像が撮影される撮影される二つの位置が同じ場合、この関係は一定である。したがって、予め既知の組（ｕ１，ｖ１），（ｕ２，ｖ２）からｈ１〜ｈ８を算出すれば良い。（１）式、（２）式を用いることにより、第二画像の各点が第一画像の位置で撮影された場合の位置を算出することができるため、第一画像を基準とし、第一画像上に第二画像の画素をマッピングすることができる。分割画像が三枚以上の場合も、例えば第一画像と第ｎ画像との射影変換行列を予め算出しておく。
【０１１７】
図２３（ａ）で分割画像（ここでは６分割）を撮影し、（ｂ）において予め求めておいた各姿勢の射影変換行列によりある基準画像の向きに合わせて貼り合せる。更に、あおり歪の補正、ノイズ除去を行い生成画像（ｃ）が得られる。これにより、高解像度画像が得られる。
【０１１８】
そこで、本実施の形態においては、画像入力装置Ａにより撮像する被写体の大きさを指示する被写体サイズ指示機能と取り込み時の要求解像度を設定する解像度設定機能とをカプセル化文書１０１の一つの機能として実装する。例えば基本プログラム１１１は、画像入力装置Ａの被写体サイズ指示機能及び解像度設定機能を指定するタグを読んだときに、画像入力装置Ａの被写体サイズ指示機能及び解像度設定機能を有する拡張プログラム１１２を起動し、拡張プログラム１１２は、ディスプレイ９に表示されるカプセル化文書１０１の表示中に被写体サイズ入力部Ｂ３及び解像度入力部Ｂ４（図２４参照）を表示する。
【０１１９】
図２４は、本実施の形態のカプセル化文書１０１の表示を例示する模式図である。なお、カプセル化文書１０１には、メディア情報１０４として、静止画像ファイル及び動画像ファイルが含まれていることを前提とする。拡張プログラム１１２は、ディスプレイ９に表示される文書中に、ＢＭＰ，ＪＰＥＧ，ＴＩＦＦ等のデジタル画像である静止画像、当該静止画像の編集等の操作を行うための操作ボタン、ＭＰＥＧ，ＡＶＩ等のデジタル動画像の１フレームによって規定される静止画像、当該動画像の再生や早送り、巻き戻し等の操作を行うための操作ボタンの他、画像入力装置Ａの撮影タイミングを指示するための撮影指示ボタンＢ２、被写体サイズ入力部Ｂ３、解像度入力部Ｂ４を表示する。
【０１２０】
被写体サイズ入力部Ｂ３は、画像入力装置Ａにより撮像する被写体の大きさをユーザに指定させるためのものである。撮像する被写体の大きさの指定方法としては、被写体の大きさ（縦横長さ）の絶対値を入力する方法や、規定された用紙の大きさ（Ａ３，Ａ４，Ｂ５等）の代用値で指定する方法等がある。
【０１２１】
解像度入力部Ｂ４は、画像入力装置Ａで撮影する画像の解像度（ｄｐｉ（Ｄｏｔ　Ｐｅｒ　Ｉｎｃｈ））をユーザに指定させるためのものである。この解像度は、画像全体の平均解像度等を示す。
【０１２２】
図２５は、カプセル化文書１０１が発揮する画像入力装置Ａのコントロール機能に係る処理の流れを示すフローチャートである。図２５に示すように、コンピュータ１のＣＰＵ２は、画像入力装置Ａのコントロール機能に係る拡張プログラム１１２に従い、ディスプレイ９の文書中に含まれる被写体サイズ入力部Ｂ３及び解像度入力部Ｂ４からキーボード１０やマウス１１等の操作によって撮影領域の大きさ及び解像度が入力されると（ステップＳ２１のＹ）、入力された撮影領域の大きさ及び解像度に対応するコマンドを生成する（ステップＳ２２）。
【０１２３】
ここで、ステップＳ２２で生成されるコマンドについて説明する。コンピュータ１のＣＰＵ２は、入力された撮影領域の大きさ及び解像度に応じて、画像入力装置Ａの撮像部２１のズーム倍率と被写体の分割撮影の撮影数とを決定する。例えば、撮像部２１の撮像素子３６が２０４８×１５３６（ｐｉｘｅｌｓ）の３３４万画素であり、被写体−撮像面間距離を３５２．４（ｍｍ）と仮定すると、下記に示すテーブルに基づくことにより、
【表１】
2004078314.tif 000006
撮影領域と解像度とに従ったズーム倍率と被写体の分割撮影の撮影数とを決定することができる。
【０１２４】
そして、このようにして生成された「ズーム倍率及び被写体の分割撮影の撮影数」を、コマンドとしてネットワーク７を介して画像入力装置Ａに送信する（ステップＳ２３）。
【０１２５】
画像入力装置Ａはコマンドをコンピュータ１から受信すると、コマンドに従ってズーム倍率を光学的またはデジタル的にズームアップ／ズームダウンさせ、また、被写体の分割撮影の撮影数を設定する。
【０１２６】
また、コンピュータ１のＣＰＵ２は、ディスプレイ９の文書中に含まれる撮影指示ボタンＢ２がマウス１１によるクリック等によって選択指示されると（ステップＳ２４のＹ）、撮影指示信号を生成し（ステップＳ２５）、生成した撮影指示信号をネットワーク７を介して画像入力装置Ａに送信する（ステップＳ２６）。
【０１２７】
画像入力装置Ａは撮影指示信号をコンピュータ１から受信すると、撮影指示信号に従って被写体を設定された分割撮影の撮影数に従って撮影し、撮影した分割画像データを前述した分割画像の合成手法に基づいて合成した後、撮影完了信号とともにネットワーク７を介してコンピュータ１に送信する。
【０１２８】
加えて、コンピュータ１のＣＰＵ２は、画像入力装置Ａからネットワーク７を介して送信された撮影完了信号を受信すると（ステップＳ２７のＹ）、撮影画像データを画像入力装置Ａからネットワーク７を介して受信し（ステップＳ２８）、撮影画像をディスプレイ９に表示する（ステップＳ２９）。
【０１２９】
なお、コンピュータ１のＣＰＵ２は、撮影完了信号が受信できない場合等には、エラーであると判定し（ステップＳ３０のＹ）、エラーメッセージをディスプレイ９に表示する（ステップＳ３１）。
【０１３０】
以上のようなステップＳ２１〜Ｓ３１の処理は、カプセル化文書１０１が閉じられるまで（ステップＳ３２のＹ）、繰り返される。
【０１３１】
ここに、画像入力装置Ａが接続されたコンピュータ１に表示されるカプセル化文書１０１を介して撮像部２１により撮像する被写体の大きさが指示され、撮像部２１により撮像する撮影画像の解像度若しくは解像度を示す特性値が指示されて撮像が指示されると共に、撮像した撮影画像がコンピュータ１に表示される。これにより、迅速な通信が必要な場合には要求解像度を低くし、鮮明な画像が必要な場合には要求解像度を高くすることで、ユーザの使用シーンに適した使い方ができるようになるので、画像を利用した円滑なコミュニケーションを図ることが可能になるとともに使い勝手を向上させることが可能になる。
【０１３２】
次に、本発明の第三の実施の形態を図２６及び図２７に基づいて説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。
【０１３３】
通常、画像入力装置Ａは同時に複数の動作（パンニング・チルティング動作や撮影動作など）を行うことはできない。しかしながら、画像入力装置Ａにより撮影された画像を含むカプセル化文書は、ネットワークを用いたコミュニケーション手段として利用されるため、画像入力装置Ａの動作状態を把握することは円滑なコミュニケーションを行う上で非常に重要である。
【０１３４】
そこで、本実施の形態においては、画像入力装置Ａの動作状態を受信する動作状態受信機能と画像入力装置Ａの動作状態に応じて前記画像入力装置に対する指示を規制する指示規制機能とをカプセル化文書１０１の一つの機能として実装する。例えば基本プログラム１１１は、画像入力装置Ａの動作状態受信機能及び指示規制機能を指定するタグを読んだときに、画像入力装置Ａの動作状態受信機能及び指示規制機能を有する拡張プログラム１１２を起動し、拡張プログラム１１２は、ディスプレイ９に表示されるカプセル化文書１０１の表示中に動作状態表示部Ｂ５（図２６参照）を表示する。
【０１３５】
図２６は、本実施の形態のカプセル化文書１０１の表示を例示する模式図である。なお、カプセル化文書１０１には、メディア情報１０４として、静止画像ファイル及び動画像ファイルが含まれていることを前提とする。拡張プログラム１１２は、ディスプレイ９に表示される文書中に、ＢＭＰ，ＪＰＥＧ，ＴＩＦＦ等のデジタル画像である静止画像、当該静止画像の編集等の操作を行うための操作ボタン、ＭＰＥＧ，ＡＶＩ等のデジタル動画像の１フレームによって規定される静止画像、当該動画像の再生や早送り、巻き戻し等の操作を行うための操作ボタンの他、画像入力装置Ａの視点制御を行うための視点制御ボタンＢ１、画像入力装置Ａの撮影タイミングを指示するための撮影指示ボタンＢ２、動作状態表示部Ｂ５を表示する。
【０１３６】
動作状態表示部Ｂ５は、画像入力装置Ａの動作状態を報知するためのものである。報知手段としては、例えば、テキストによる表示（動作中／非動作等の状態を示すテキスト情報）やボタン表示等の形状や色の変化で表示する手段等がある。
【０１３７】
図２７は、カプセル化文書１０１が発揮する画像入力装置Ａのコントロール機能に係る処理の流れを示すフローチャートである。図２７に示すように、コンピュータ１のＣＰＵ２は、画像入力装置Ａのコントロール機能に係る拡張プログラム１１２に従い、画像入力装置Ａから動作状態を受信すると（ステップＳ４１のＹ）、受信した動作状態を動作状態表示部Ｂ５に表示する（ステップＳ４２）。そして、画像入力装置Ａの動作状態が動作中である場合には（ステップＳ４３のＹ）、再びステップＳ４１に戻り、画像入力装置Ａからの動作状態の受信に待機し、ディスプレイ９の文書中に含まれる各種ボタンに対する操作による各種コマンドによる動作は行わない。なお、画像入力装置Ａは、コンピュータ１に対して動作状態を送信する機能を有するものとする。
【０１３８】
画像入力装置Ａから動作状態を受信し（ステップＳ４１のＹ）、画像入力装置Ａの動作状態が動作中でない場合には（ステップＳ４３のＮ）、ステップＳ４４〜Ｓ５５の処理を実行する。なお、ステップＳ４４〜Ｓ５５の処理については、第一の実施の形態で説明したステップＳ１〜Ｓ１２の処理となんら変わるものではないので、その説明は省略する。
【０１３９】
ここに、画像入力装置Ａは同時に複数の動作（パンニング・チルティング動作や撮影動作など）を行うことはできないことから、画像入力装置Ａの動作状態に応じて画像入力装置Ａに対する指示が規制されることにより、不具合の発生等が防止される。
【０１４０】
次に、本発明の第四の実施の形態を図２８及び図２９に基づいて説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。
【０１４１】
通常、画像入力装置Ａの撮像部２１は、内蔵のＩＰＰ（Ｉｍａｇｅ　Ｐｒｅ−Ｐｒｏｃｅｓｓｏｒ）４０により最適だと想定される撮影条件を算出し一連の撮影を行う。しかしながら、全ての被写体に対して、ユーザが要求する撮影条件での撮影を行うことは困難である。また、撮影画像は被写体の部位により明るさ等が異なるので、提示したい被写体の部位に合わせて撮影条件を可変できるとより鮮明な画像を用いたコミュニケーションが可能になる。
【０１４２】
そこで、本実施の形態においては、画像入力装置Ａの撮像部２１の撮影条件を設定する撮影条件設定機能をカプセル化文書１０１の一つの機能として実装する。例えば基本プログラム１１１は、画像入力装置Ａの撮像部２１の撮影条件を設定する撮影条件設定機能を指定するタグを読んだときに、画像入力装置Ａの撮像部２１の撮影条件を設定する撮影条件設定機能を有する拡張プログラム１１２を起動し、拡張プログラム１１２は、ディスプレイ９に表示されるカプセル化文書１０１の表示中に撮影条件入力部Ｂ６（図２８参照）を表示する。
【０１４３】
図２８は、本実施の形態のカプセル化文書１０１の表示を例示する模式図である。なお、カプセル化文書１０１には、メディア情報１０４として、静止画像ファイル及び動画像ファイルが含まれていることを前提とする。拡張プログラム１１２は、ディスプレイ９に表示される文書中に、ＢＭＰ，ＪＰＥＧ，ＴＩＦＦ等のデジタル画像である静止画像、当該静止画像の編集等の操作を行うための操作ボタン、ＭＰＥＧ，ＡＶＩ等のデジタル動画像の１フレームによって規定される静止画像、当該動画像の再生や早送り、巻き戻し等の操作を行うための操作ボタンの他、画像入力装置Ａの視点制御を行うための視点制御ボタンＢ１、画像入力装置Ａの撮影タイミングを指示するための撮影指示ボタンＢ２、撮影条件入力部Ｂ６を表示する。
【０１４４】
撮影条件入力部Ｂ６は、画像入力装置Ａの撮像部２１の撮影条件をユーザに指定させるためのものである。画像入力装置Ａの撮像部２１の撮影条件としては、露出やシャッタ速度等がある。
【０１４５】
図２９は、カプセル化文書１０１が発揮する画像入力装置Ａのコントロール機能に係る処理の流れを示すフローチャートである。図２９に示すように、コンピュータ１のＣＰＵ２は、画像入力装置Ａのコントロール機能に係る拡張プログラム１１２に従い、ディスプレイ９の文書中に含まれる撮影条件入力部Ｂ６からキーボード１０やマウス１１等の操作によって画像入力装置Ａの撮像部２１の撮影条件が入力されると（ステップＳ６１のＹ）、入力された画像入力装置Ａの撮像部２１の撮影条件に対応するコマンドを生成した後（ステップＳ６２）、ネットワーク７を介して画像入力装置Ａに送信する（ステップＳ６３）。
【０１４６】
画像入力装置Ａはコマンドをコンピュータ１から受信すると、コマンドに従って画像入力装置Ａの撮像部２１の撮影条件を設定する。
【０１４７】
また、コンピュータ１のＣＰＵ２は、ディスプレイ９の文書中に含まれる撮影指示ボタンＢ２がマウス１１によるクリック等によって選択指示されると（ステップＳ６４のＹ）、撮影指示信号を生成し（ステップＳ６５）、生成した撮影指示信号をネットワーク７を介して画像入力装置Ａに送信する（ステップＳ６６）。
【０１４８】
画像入力装置Ａは撮影指示信号をコンピュータ１から受信すると、撮影指示信号に従って被写体を設定された撮像部２１の撮影条件に従って撮影し、撮影した画像データを、撮影完了信号とともにネットワーク７を介してコンピュータ１に送信する。
【０１４９】
加えて、コンピュータ１のＣＰＵ２は、画像入力装置Ａからネットワーク７を介して送信された撮影完了信号を受信すると（ステップＳ６７のＹ）、撮影画像データを画像入力装置Ａからネットワーク７を介して受信し（ステップＳ６８）、撮影画像をディスプレイ９に表示する（ステップＳ６９）。
【０１５０】
なお、コンピュータ１のＣＰＵ２は、撮影完了信号が受信できない場合等には、エラーであると判定し（ステップＳ７０のＹ）、エラーメッセージをディスプレイ９に表示する（ステップＳ７１）。
【０１５１】
以上のようなステップＳ６１〜Ｓ７１の処理は、カプセル化文書１０１が閉じられるまで（ステップＳ７２のＹ）、繰り返される。
【０１５２】
ここに、画像入力装置Ａでの撮影結果を見ながらユーザが撮影条件（露出、シャッタ速度等）をコンピュータ１上で設定できるので、ユーザの要求した撮影条件の画像が得られるようになり、ユーザの要求仕様に近い画像を用いたコミュニケーションが可能になる。
【０１５３】
次に、本発明の第五の実施の形態を図３０及び図３１に基づいて説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。
【０１５４】
本実施の形態においては、画像入力装置Ａの撮像部２１の撮像方向及びズーム量を表示する撮像状態表示機能をカプセル化文書１０１の一つの機能として実装する。例えば基本プログラム１１１は、画像入力装置Ａの撮像部２１の撮像方向及びズーム量を表示する撮像状態表示機能を指定するタグを読んだときに、画像入力装置Ａの撮像部２１の撮像方向及びズーム量を表示する撮像状態表示機能を有する拡張プログラム１１２を起動し、拡張プログラム１１２は、ディスプレイ９に表示されるカプセル化文書１０１の表示中に撮像方向・ズーム量表示部Ｂ７（図３０参照）を表示する。
【０１５５】
図３０は、本実施の形態のカプセル化文書１０１の表示を例示する模式図である。なお、カプセル化文書１０１には、メディア情報１０４として、静止画像ファイル及び動画像ファイルが含まれていることを前提とする。拡張プログラム１１２は、ディスプレイ９に表示される文書中に、ＢＭＰ，ＪＰＥＧ，ＴＩＦＦ等のデジタル画像である静止画像、当該静止画像の編集等の操作を行うための操作ボタン、ＭＰＥＧ，ＡＶＩ等のデジタル動画像の１フレームによって規定される静止画像、当該動画像の再生や早送り、巻き戻し等の操作を行うための操作ボタンの他、画像入力装置Ａの視点制御を行うための視点制御ボタンＢ１、画像入力装置Ａの撮影タイミングを指示するための撮影指示ボタンＢ２、撮像方向・ズーム量表示部Ｂ７を表示する。
【０１５６】
撮像方向・ズーム量表示部Ｂ７は、画像入力装置Ａの撮像部２１の撮像方向及びズーム量を表示するものである。例えば、画像入力装置Ａの撮像部２１の可動範囲の座標を示すレーダーチャート上に現在の撮像領域を示すような表示形態が用いられる。
【０１５７】
図３１は、カプセル化文書１０１が発揮する画像入力装置Ａのコントロール機能に係る処理の流れを示すフローチャートである。図３１に示すように、コンピュータ１のＣＰＵ２は、画像入力装置Ａのコントロール機能に係る拡張プログラム１１２に従い、ディスプレイ９の文書中に含まれる視点制御ボタンＢ１のいずれかのボタンｂ１〜ｂ４がマウス１１によるクリック等によって選択指示されると（ステップＳ８１のＹ）、視点制御ボタンＢ１の指示（ズーム、パン、チルト）に対応する視点制御信号を生成し（ステップＳ８２）、生成した視点制御信号をネットワーク７を介して画像入力装置Ａに送信する（ステップＳ８３）。
【０１５８】
画像入力装置Ａは視点制御信号をコンピュータ１から受信すると、視点制御信号に従って駆動部２２の駆動機構を上下方向（チルト）や左右方向（パン）に回転させて撮像部２１を移動させ、視点制御信号に従って光学的またはデジタル的にズームアップ／ズームダウンさせる。また、画像入力装置Ａは視点制御信号をコンピュータ１から受信すると、画像入力装置Ａの撮像部２１の撮像方向及びズーム量をコンピュータ１に対して送信する。
【０１５９】
そして、コンピュータ１のＣＰＵ２は、画像入力装置Ａの撮像部２１の撮像方向及びズーム量を画像入力装置Ａから受信すると、受信した画像入力装置Ａの撮像部２１の撮像方向及びズーム量を撮像方向・ズーム量表示部Ｂ７に表示する（ステップＳ８４）。
【０１６０】
なお、ステップＳ８５〜Ｓ９３の処理については、第一の実施の形態で説明したステップＳ４〜Ｓ１２の処理となんら変わるものではないので、その説明は省略する。
【０１６１】
これにより、画像入力装置Ａの撮像部２１の方向の可動範囲内での現在の相対位置及びズーム量がコンピュータ１に表示されるので、被写体のどの領域を撮影しているのかをユーザは確認できるようになる。
【０１６２】
ここに、撮像部２１による撮像領域の状況を視覚的に把握することが可能になるので、ユーザの要求領域の撮像対象を迅速に探すことが可能になり、円滑なコミュニケーションが可能になる。
【０１６３】
次に、本発明の第六の実施の形態を図３２及び図３３に基づいて説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。
【０１６４】
画像入力装置Ａで撮像した画像は、画像入力装置Ａからコンピュータ１へと転送されることになるが、１回の撮像毎に転送すると通信速度の影響によりコミュニケーションの遅延が頻繁に発生する。このようなコミュニケーションの遅延を回避するためには、ユーザが指定した時にのみ、画像が転送されるようにすることが好ましい。
【０１６５】
そこで、本実施の形態においては、画像入力装置Ａに対して画像データの送信を指示するデータ送信指示機能をカプセル化文書１０１の一つの機能として実装する。例えば基本プログラム１１１は、画像入力装置Ａに対して画像データの送信を指示するデータ送信指示機能を指定するタグを読んだときに、画像入力装置Ａに対して画像データの送信を指示するデータ送信指示機能を有する拡張プログラム１１２を起動し、拡張プログラム１１２は、ディスプレイ９に表示されるカプセル化文書１０１の表示中に画像データ送信指示ボタンＢ８（図３２参照）を表示する。
【０１６６】
図３２は、本実施の形態のカプセル化文書１０１の表示を例示する模式図である。なお、カプセル化文書１０１には、メディア情報１０４として、静止画像ファイル及び動画像ファイルが含まれていることを前提とする。拡張プログラム１１２は、ディスプレイ９に表示される文書中に、ＢＭＰ，ＪＰＥＧ，ＴＩＦＦ等のデジタル画像である静止画像、当該静止画像の編集等の操作を行うための操作ボタン、ＭＰＥＧ，ＡＶＩ等のデジタル動画像の１フレームによって規定される静止画像、当該動画像の再生や早送り、巻き戻し等の操作を行うための操作ボタンの他、画像入力装置Ａの視点制御を行うための視点制御ボタンＢ１、画像入力装置Ａの撮影タイミングを指示するための撮影指示ボタンＢ２、画像データ送信指示ボタンＢ８を表示する。
【０１６７】
画像データ送信指示ボタンＢ８は、画像入力装置Ａに対する画像データの送信指示をユーザに実行させるためのものである。
【０１６８】
図３３は、カプセル化文書１０１が発揮する画像入力装置Ａのコントロール機能に係る処理の流れを示すフローチャートである。図３３に示すように、コンピュータ１のＣＰＵ２は、画像入力装置Ａのコントロール機能に係る拡張プログラム１１２に従い、ディスプレイ９の文書中に含まれる視点制御ボタンＢ１のいずれかのボタンｂ１〜ｂ４がマウス１１によるクリック等によって選択指示されると（ステップＳ１０１のＹ）、視点制御ボタンＢ１の指示（ズーム、パン、チルト）に対応する視点制御信号を生成し（ステップＳ１０２）、生成した視点制御信号をネットワーク７を介して画像入力装置Ａに送信する（ステップＳ１０３）。
【０１６９】
画像入力装置Ａは視点制御信号をコンピュータ１から受信すると、視点制御信号に従って駆動部２２の駆動機構を上下方向（チルト）や左右方向（パン）に回転させて撮像部２１を移動させ、視点制御信号に従って光学的またはデジタル的にズームアップ／ズームダウンさせる。
【０１７０】
また、コンピュータ１のＣＰＵ２は、ディスプレイ９の文書中に含まれる撮影指示ボタンＢ２がマウス１１によるクリック等によって選択指示されると（ステップＳ１０４のＹ）、撮影指示信号を生成し（ステップＳ１０５）、生成した撮影指示信号をネットワーク７を介して画像入力装置Ａに送信する（ステップＳ１０６）。
【０１７１】
画像入力装置Ａは撮影指示信号をコンピュータ１から受信すると、撮影指示信号に従って被写体を撮影し、撮影した撮影画像データを撮影完了信号とともにネットワーク７を介してコンピュータ１に送信する。
【０１７２】
加えて、コンピュータ１のＣＰＵ２は、画像入力装置Ａからネットワーク７を介して送信された撮影完了信号を受信すると（ステップＳ１０７のＹ）、画像データ送信指示ボタンＢ８がマウス１１によるクリック等によって選択指示されたか否かを判断する（ステップＳ１０８）。画像データ送信指示ボタンＢ８がマウス１１によるクリック等によって選択指示されていなければ（ステップＳ１０８のＮ）、ステップＳ１０１に戻る。一方、画像データ送信指示ボタンＢ８がマウス１１によるクリック等によって選択指示されている場合には（ステップＳ１０８のＹ）、画像入力装置Ａに対して画像データの送信を要求した後、撮影画像データを画像入力装置Ａからネットワーク７を介して受信し（ステップＳ１０９）、撮影画像をディスプレイ９に表示する（ステップＳ１１０）。
【０１７３】
なお、コンピュータ１のＣＰＵ２は、撮影完了信号が受信できない場合等には、エラーであると判定し（ステップＳ１１１のＹ）、エラーメッセージをディスプレイ９に表示する（ステップＳ１１２）。
【０１７４】
以上のようなステップＳ１０１〜Ｓ１１２の処理は、カプセル化文書１０１が閉じられるまで（ステップＳ１１３のＹ）、繰り返される。
【０１７５】
ここに、画像データ通信が不要時の通信速度によるコミュニケーションの遅延を無くし、ユーザのストレスを低減することが可能になる。
【０１７６】
次に、本発明の第七の実施の形態を図３４ないし図３６に基づいて説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。
【０１７７】
本実施の形態のシステムは、図３４に示すように、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等のネットワーク７を介し、パーソナル・コンピュータ（以下、単にコンピュータと呼ぶ）１と、複数の画像入力装置Ａ（Ａ１，Ａ２，Ａ３，Ａ４）とが接続されている点で第一の実施の形態とは異なっている。
【０１７８】
そこで、本実施の形態においては、複数の画像入力装置Ａ（Ａ１，Ａ２，Ａ３，Ａ４）の中から、特定の画像入力装置Ａを指定する装置指定機能をカプセル化文書１０１の一つの機能として実装する。例えば基本プログラム１１１は、特定の画像入力装置Ａを指定する装置指定機能を指定するタグを読んだときに、特定の画像入力装置Ａを指定する装置指定機能を有する拡張プログラム１１２を起動し、拡張プログラム１１２は、ディスプレイ９に表示されるカプセル化文書１０１の表示中に接続先アドレス入力部Ｂ９及び接続要求ボタンＢ１０（図３５参照）を表示する。
【０１７９】
図３５は、本実施の形態のカプセル化文書１０１の表示を例示する模式図である。なお、カプセル化文書１０１には、メディア情報１０４として、静止画像ファイル及び動画像ファイルが含まれていることを前提とする。拡張プログラム１１２は、ディスプレイ９に表示される文書中に、ＢＭＰ，ＪＰＥＧ，ＴＩＦＦ等のデジタル画像である静止画像、当該静止画像の編集等の操作を行うための操作ボタン、ＭＰＥＧ，ＡＶＩ等のデジタル動画像の１フレームによって規定される静止画像、当該動画像の再生や早送り、巻き戻し等の操作を行うための操作ボタンの他、画像入力装置Ａの視点制御を行うための視点制御ボタンＢ１、画像入力装置Ａの撮影タイミングを指示するための撮影指示ボタンＢ２、接続先アドレス入力部Ｂ９、接続要求ボタンＢ１０を表示する。
【０１８０】
接続先アドレス入力部Ｂ９は、ネットワーク７上に存在する複数の複数の画像入力装置Ａ（Ａ１，Ａ２，Ａ３，Ａ４）のうち１台の画像入力装置Ａを特定するホスト名、ＩＰアドレス等の特定情報をユーザに入力させるためのものである。
【０１８１】
接続要求ボタンＢ１０は、特定の画像入力装置Ａへの接続確立を行うためのものである。
【０１８２】
図３６は、カプセル化文書１０１が発揮する画像入力装置Ａ（Ａ１，Ａ２，Ａ３，Ａ４）のコントロール機能に係る処理の流れを示すフローチャートである。図３６に示すように、コンピュータ１のＣＰＵ２は、画像入力装置Ａのコントロール機能に係る拡張プログラム１１２に従い、接続先アドレス入力部Ｂ９からキーボード１０やマウス１１等の操作によって画像入力装置Ａを特定するホスト名、ＩＰアドレス等の特定情報が入力されて画像入力装置Ａが指定された後、マウス１１等によって接続要求ボタンＢ１０が操作されると（ステップＳ１２１）、指定された画像入力装置Ａに対して接続要求を送信する（ステップＳ１２２）。そして、指定された画像入力装置Ａとの接続が確立した場合には（ステップＳ１２３のＹ）、ステップＳ１２４に進み、指定された画像入力装置Ａとの接続が確立しない場合には（ステップＳ１２３のＮ）、ステップＳ１２１に戻り、画像入力装置Ａを再度指定する。なお、接続の確立確認は、指定された画像入力装置Ａがコンピュータ１からの接続要求を正常に受信したことを確認して、コンピュータ１に対して所定のコマンドを送信することにより行うものとする。
【０１８３】
指定された画像入力装置Ａとの接続が確立した場合には（ステップＳ１２３のＹ）、ステップＳ１２４〜Ｓ１３５の処理を実行する。なお、ステップＳ１２４〜Ｓ１３５の処理については、第一の実施の形態で説明したステップＳ１〜Ｓ１２の処理となんら変わるものではないので、その説明は省略する。
【０１８４】
これにより、複数の画像入力装置Ａにより撮影した画像データのハンドリングが一つのコンピュータ１に表示されたマルチメディア文書上で行えるようになるので、より多くの情報を活用したコミュニケーション環境が実現され、効率的なコミュニケーションを図ることが可能になる。
【０１８５】
次に、本発明の第八の実施の形態を図３７ないし図３９に基づいて説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。
【０１８６】
本実施の形態のシステムの画像入力装置Ａには、図３７に示すように、図３で説明した構成に加えて、被写体であるドキュメントｄ上の点若しくは領域を指示するためのポインティング部５１と当該ポインティング部５１を可動する駆動部５２とが、備えられている。ポインティング部５１には、ランプ、レーザ等の照射によって光学的に点または領域を指示することができる素子が用いられている。また、駆動部５２は、２軸の回転駆動を行うものであって、汎用のモータ（ＡＣサーボモータ、ステッピングモータ等）、減衰ギア、回転量検出手段であるエンコーダを設けたものである。すなわち、ポインティング部５１及び駆動部５２によりポインティング手段が構成される。
【０１８７】
そこで、本実施の形態においては、画像入力装置Ａのポインティング部５１及び駆動部５２を動作させるポインティング機能をカプセル化文書１０１の一つの機能として実装する。例えば基本プログラム１１１は、画像入力装置Ａのポインティング部５１及び駆動部５２を動作させるポインティング機能を指定するタグを読んだときに、画像入力装置Ａのポインティング部５１及び駆動部５２を動作させるポインティング機能を有する拡張プログラム１１２を起動し、拡張プログラム１１２は、ディスプレイ９に表示されるカプセル化文書１０１の表示中にポインティング操作ボタンＢ１１、ポインティング開始ボタンＢ１２及びポインティング終了ボタンＢ１３（図３８参照）を表示する。
【０１８８】
図３８は、本実施の形態のカプセル化文書１０１の表示を例示する模式図である。なお、カプセル化文書１０１には、メディア情報１０４として、静止画像ファイル及び動画像ファイルが含まれていることを前提とする。拡張プログラム１１２は、ディスプレイ９に表示される文書中に、ＢＭＰ，ＪＰＥＧ，ＴＩＦＦ等のデジタル画像である静止画像、当該静止画像の編集等の操作を行うための操作ボタン、ＭＰＥＧ，ＡＶＩ等のデジタル動画像の１フレームによって規定される静止画像、当該動画像の再生や早送り、巻き戻し等の操作を行うための操作ボタンの他、画像入力装置Ａの視点制御を行うための視点制御ボタンＢ１、画像入力装置Ａの撮影タイミングを指示するための撮影指示ボタンＢ２、ポインティング操作ボタンＢ１１、ポインティング開始ボタンＢ１２、ポインティング終了ボタンＢ１３を表示する。
【０１８９】
ポインティング操作ボタンＢ１１は、駆動部５２を上下左右に動かす為の各動作に対応したボタンを表示するものである。
【０１９０】
ポインティング開始ボタンＢ１２は、画像入力装置Ａのポインティング部５１によるドキュメントｄ上の点若しくは領域の指示の開始をユーザに宣言させるためのものであって、ポインティング終了ボタンＢ１３は、画像入力装置Ａのポインティング部５１によるドキュメントｄ上の点若しくは領域の指示の終了をユーザに宣言させるためのものである。
【０１９１】
図３９は、カプセル化文書１０１が発揮する画像入力装置Ａのコントロール機能に係る処理の流れを示すフローチャートである。図３９に示すように、コンピュータ１のＣＰＵ２は、画像入力装置Ａのコントロール機能に係る拡張プログラム１１２に従い、ディスプレイ９の文書中に含まれるポインティング操作ボタンＢ１１がマウス１１によるクリック等によって選択指示されると（ステップＳ１４１のＹ）、ポインティング操作ボタンＢ１１の指示（上下左右方向）に対応するポインティング制御信号を生成し（ステップＳ１４２）、生成したポインティング制御信号をネットワーク７を介して画像入力装置Ａに送信する（ステップＳ１４３）。
【０１９２】
画像入力装置Ａは、ポインティング制御信号をコンピュータ１から受信すると、ポインティング制御信号に従って駆動部５２を上下方向や左右方向に回転させてポインティング部５１を移動させる。
【０１９３】
また、コンピュータ１のＣＰＵ２は、ディスプレイ９の文書中に含まれるポインティング開始ボタンＢ１２がマウス１１によるクリック等によって選択指示されると（ステップＳ１４６のＹ）、ポインティング開始信号をネットワーク７を介して画像入力装置Ａに送信する（ステップＳ１４７）。画像入力装置Ａは、ポインティング開始信号をコンピュータ１から受信すると、ポインティング部５１からのランプ、レーザ等の照射を開始する。
【０１９４】
一方、コンピュータ１のＣＰＵ２は、ディスプレイ９の文書中に含まれるポインティング終了ボタンＢ１３がマウス１１によるクリック等によって選択指示されると（ステップＳ１４８のＹ）、ポインティング終了信号をネットワーク７を介して画像入力装置Ａに送信する（ステップＳ１４９）。画像入力装置Ａは、ポインティング終了信号をコンピュータ１から受信すると、ポインティング部５１からのランプ、レーザ等の照射を終了する。
【０１９５】
そして、コンピュータ１のＣＰＵ２は、画像入力装置Ａから撮影画像（動画像）を受信すると（ステップＳ１４４）、受信した画像入力装置Ａからの撮影画像（動画像）を表示する（ステップＳ１４５）。
【０１９６】
以上のようなステップＳ１４１〜Ｓ１４９の処理は、カプセル化文書１０１が閉じられるまで（ステップＳ１５０のＹ）、繰り返される。
【０１９７】
ここに、画像入力装置Ａが接続されたコンピュータ１に表示されるカプセル化文書を介してポインティング部５１及び駆動部５２による指示位置が制御され、撮像部２１の方向及びズームが制御されて撮像が指示されると共に、撮像した撮影画像がコンピュータ１に表示される。これにより、被写体上をポインティングするポインティング部５１及び駆動部５２のコントロールを画像入力装置Ａが接続されたコンピュータ１に表示されるカプセル化文書１０１上で行うことができるので、ポインティングによる付加情報のコミュニケーションを行うことが可能になり、円滑なコミュニケーションを図ることが可能になる。
【０１９８】
なお、本実施の形態においては、ポインティング操作ボタンＢ１１の操作により駆動部５２を上下左右に動かすようにしたが、これに限るものではない。例えば、図４０に示すように、ディスプレイ９に表示される文書中の画像入力装置Ａにより撮影されている動画像上にポインタ表示Ｂ１４を表示し、マウス１１によるクリック等によってポインタ表示Ｂ１４を動かすことにより、動画表示上の一部を指示できるようにしても良い。これにより、文書上で表示されている被写体であるドキュメントｄの画像の指示した点に相当する実際のドキュメントｄの領域がポインティング部５１により指示される。
【０１９９】
次に、本発明の第九の実施の形態を図４１ないし図４３に基づいて説明する。なお、第一の実施の形態及び第八の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。
【０２００】
本実施の形態のシステムの画像入力装置Ａには、図４１に示すように、図３７で説明した構成に加えて、被写体に対してパターン光を投影するパターン光投影手段６１が備えられている。パターン光投影手段６１は、例えば、光を投光可能な投光部にスリットパターンを印刷したフィルタを付与することで、スリットパターンを投影する。このように被写体に対して投影したパターン光を用いることにより、被写体の立体形状を計測することが可能になる。
【０２０１】
そこで、本実施の形態においては、画像入力装置Ａが撮像した被写体の立体形状を計測する３次元形状計測機能をカプセル化文書１０１の一つの機能として実装する。例えば基本プログラム１１１は、画像入力装置Ａが撮像した被写体の立体形状を計測する３次元形状計測機能を指定するタグを読んだときに、画像入力装置Ａが撮像した被写体の立体形状を計測する３次元形状計測機能を有する拡張プログラム１１２を起動し、拡張プログラム１１２は、ディスプレイ９に表示されるカプセル化文書１０１の表示中に３次元画像表示領域Ｂ１５（図４２参照）を表示する。
【０２０２】
図４２は、本実施の形態のカプセル化文書１０１の表示を例示する模式図である。なお、カプセル化文書１０１には、メディア情報１０４として、静止画像ファイル及び動画像ファイルが含まれていることを前提とする。拡張プログラム１１２は、ディスプレイ９に表示される文書中に、ＢＭＰ，ＪＰＥＧ，ＴＩＦＦ等のデジタル画像である静止画像、当該静止画像の編集等の操作を行うための操作ボタン、ＭＰＥＧ，ＡＶＩ等のデジタル動画像の１フレームによって規定される静止画像、当該動画像の再生や早送り、巻き戻し等の操作を行うための操作ボタンの他、画像入力装置Ａの視点制御を行うための視点制御ボタンＢ１、画像入力装置Ａの撮影タイミングを指示するための撮影指示ボタンＢ２、ポインティング操作ボタンＢ１１、ポインティング開始ボタンＢ１２、ポインティング終了ボタンＢ１３、３次元画像表示領域Ｂ１５を表示する。
【０２０３】
３次元画像表示領域Ｂ１５は、画像入力装置Ａが撮像した被写体の画像を３次元表現したものを表示する領域である。被写体画像の３次元表現としては、ＶＲＭＬ等の汎用フォーマットの形式とする。
【０２０４】
ここで、３次元画像表示領域Ｂ１５で表示される立体形状の算出は、図４３に示した三角測量の原理に基づいて行う。すなわち、パターン光投影手段６１からのスリット光が照射された部分は、撮像部２１の撮像素子３６上の点（ｕ，ｖ）で結像される。撮像部２１の光学中心を原点とする座標系を定義すると、スリット光が照射された被写体上の奥行き距離は次式で表せられる。
【数４】
2004078314.tif 000007
ここで、θ１はスリット光を照射した角度であり既知である。また、θ２は、
【数５】
2004078314.tif 000008
である。ｆは撮像部２１の焦点距離である。ｚが求まると、次式によりｘ，ｙが求まる。
【数６】
2004078314.tif 000009
以上により、被写体上の点の立体位置が求まる。これを様々な点で求めることにより、被写体の立体形状が求まることになる。
【０２０５】
このようにしてディスプレイ９に表示される文書中の画像入力装置Ａにより撮影されている立体画像上にポインタ表示Ｂ１４を表示し、マウス１１によるクリック等によってポインタ表示Ｂ１４を動かすことにより、立体画像上の一部を指示できる。これにより、文書上で表示されている立体画像の指示した点に相当する実際の被写体の領域がポインティング部５１により指示される。より詳細には、ポインタ表示Ｂ１４により指示された位置における３次元座標値が求められ、この３次元座標値が被写体上での３次元座標値に変換され、被写体上での３次元座標値を指示するために画像入力装置Ａに設けられたポインティング部５１及び駆動部５２の制御量が算出され、ポインティング部５１及び駆動部５２が制御されることになる。
【０２０６】
ここに、画像入力装置Ａにより撮像した画像が、画像入力装置Ａが接続されたコンピュータ１に表示されるカプセル化文書１０１上で３次元表示され、画像入力装置Ａの被写体上の対応位置をこの３次元表示上でポインティングすることで、より円滑なコミュニケーションを図ることが可能になる。
【０２０７】
【発明の効果】
請求項１、１０記載の発明によれば、画像入力装置が接続されたコンピュータに表示されるカプセル化文書を介して撮像手段の方向及びズームを制御して撮像を指示すると共に、撮像した撮影画像をコンピュータに表示することにより、画像を利用した円滑なコミュニケーションを図ることができる。また、カプセル化文書を利用することにより、マルチメディア情報を容易に扱うことができる。
【０２０８】
請求項２、１１記載の発明によれば、画像入力装置が接続されたコンピュータに表示されるカプセル化文書を介して撮像手段により撮像する被写体の大きさを指示し、撮像手段により撮像する撮影画像の解像度若しくは解像度を示す特性値を指示して撮像を指示すると共に、撮像した撮影画像をコンピュータに表示することにより、迅速な通信が必要な場合には要求解像度を低くし、鮮明な画像が必要な場合には要求解像度を高くすることで、ユーザの使用シーンに適した使い方ができるようになるので、画像を利用した円滑なコミュニケーションを図ることができるとともに使い勝手を向上させることができる。また、カプセル化文書を利用することにより、マルチメディア情報を容易に扱うことができる。
【０２０９】
請求項３、１２記載の発明によれば、画像入力装置が接続されたコンピュータに表示されるカプセル化文書を介してポインティング手段による指示位置を制御し、撮像手段の方向及びズームを制御して撮像を指示すると共に、撮像した撮影画像をコンピュータに表示することにより、被写体上をポインティングするポインティング手段のコントロールを画像入力装置が接続されたコンピュータに表示されるカプセル化文書上で行うことができるので、ポインティングによる付加情報のコミュニケーションを行うことができ、円滑なコミュニケーションを図ることができる。また、カプセル化文書を利用することにより、マルチメディア情報を容易に扱うことができる。
【０２１０】
請求項４、１３記載の発明によれば、画像入力装置により撮像した画像を、画像入力装置が接続されたコンピュータに表示されるカプセル化文書上で３次元表示し、画像入力装置の被写体上の対応位置をこの３次元表示上でポインティングすることで、より円滑なコミュニケーションを図ることができる。また、カプセル化文書を利用することにより、マルチメディア情報を容易に扱うことができる。
【０２１１】
請求項５、１４記載の発明によれば、画像入力装置は同時に複数の動作（パンニング・チルティング動作や撮影動作など）を行うことはできないことから、画像入力装置の動作状態に応じて画像入力装置に対する指示を規制することにより、不具合の発生等を防止することができる。
【０２１２】
請求項６、１５記載の発明によれば、ユーザの要求仕様に近い画像を用いたコミュニケーションが可能になる。
【０２１３】
請求項７、１６記載の発明によれば、撮像手段による撮像領域の状況を視覚的に把握することができるので、ユーザの要求領域の撮像対象を迅速に探すことができ、円滑なコミュニケーションが可能になる。
【０２１４】
請求項８、１７記載の発明によれば、画像データ通信が不要時の通信速度によるコミュニケーションの遅延を無くし、ユーザのストレスを低減することができる。
【０２１５】
請求項９、１８記載の発明によれば、効率的なコミュニケーションを図ることができる。
【０２１６】
請求項１９記載の発明によれば、記憶媒体に記憶されたカプセル化文書をコンピュータに読み取らせることで、請求項１０ないし１８の何れか一記載の発明と同様の作用効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態のシステムを示す概略構成図である。
【図２】コンピュータのハードウェアの構成図である。
【図３】画像入力装置の構成を概略的に示す外観斜視図である。
【図４】撮像部の各部の電気的接続を示すブロック図である。
【図５】カプセル化された文書であるカプセル化文書のデータ構造を示す模式図である。
【図６】書庫ファイルのデータ構造の一例を示す模式図である。
【図７】書庫ファイルの別のデータ構造の一例を示す模式図である。
【図８】カプセル化文書に格納されているプログラムのデータ構造を示す模式図である。
【図９】プログラムに含まれている拡張プログラムに関する情報を規定する表示情報ファイルのデータ構造を示す模式図である。
【図１０】ＸＭＬによって記述されたカプセル化文書の一例を示す模式図である。
【図１１】ＸＭＬによって記述されたカプセル化文書の表示例を示す模式図である。
【図１２】コンピュータを用いたカプセル化文書の文書閲覧処理の流れを示すフローチャートである。
【図１３】メディアの種類と拡張プログラムとの対応関係を規定するファイルのファイル構造を示す模式図である。
【図１４】拡張プログラムによる動画画像である表示画像の静止画画像としての表示機能及びその再生機能を例示する模式図である。
【図１５】拡張プログラムによる音声再生機能及び再生音声のテキスト情報化機能を例示する模式図である。
【図１６】カプセル化文書に含ませる拡張プログラムの構造を示す模式図である。
【図１７】３つのデジタル情報（ＰＲＧ１、ＰＲＧ２、ＰＲＧ３）を表示している文書表示例を示す模式図である。
【図１８】カプセル化文書の表示を例示する模式図である。
【図１９】視点制御ボタンを例示する模式図である。
【図２０】カプセル化文書が発揮する画像入力装置のコントロール機能に係る処理の流れを示すフローチャートである。
【図２１】本発明の第二の実施の形態の画像入力装置が備える分割撮影機能を説明するための説明図である。
【図２２】２枚の画像（第一画像、第二画像）の分割撮影を示す説明図である。
【図２３】分割画像の合成手法について説明するための説明図である。
【図２４】カプセル化文書の表示を例示する模式図である。
【図２５】カプセル化文書が発揮する画像入力装置のコントロール機能に係る処理の流れを示すフローチャートである。
【図２６】本発明の第三の実施の形態のカプセル化文書の表示を例示する模式図である。
【図２７】カプセル化文書が発揮する画像入力装置のコントロール機能に係る処理の流れを示すフローチャートである。
【図２８】本発明の第四の実施の形態のカプセル化文書の表示を例示する模式図である。
【図２９】カプセル化文書が発揮する画像入力装置のコントロール機能に係る処理の流れを示すフローチャートである。
【図３０】本発明の第五の実施の形態のカプセル化文書の表示を例示する模式図である。
【図３１】カプセル化文書が発揮する画像入力装置のコントロール機能に係る処理の流れを示すフローチャートである。
【図３２】本発明の第六の実施の形態のカプセル化文書の表示を例示する模式図である。
【図３３】カプセル化文書が発揮する画像入力装置のコントロール機能に係る処理の流れを示すフローチャートである。
【図３４】本発明の第七の実施の形態のシステムを示す概略構成図である。
【図３５】カプセル化文書の表示を例示する模式図である。
【図３６】カプセル化文書が発揮する画像入力装置のコントロール機能に係る処理の流れを示すフローチャートである。
【図３７】本発明の第八の実施の形態の画像入力装置が備えるポインティング機能を説明するための説明図である。
【図３８】カプセル化文書の表示を例示する模式図である。
【図３９】カプセル化文書が発揮する画像入力装置のコントロール機能に係る処理の流れを示すフローチャートである。
【図４０】カプセル化文書の表示を例示する模式図である。
【図４１】本発明の第九の実施の形態の画像入力装置が備えるポインティング機能及び３次元形状計測機能を説明するための説明図である。
【図４２】カプセル化文書の表示を例示する模式図である。
【図４３】三角測量の原理を説明するための説明図である。
【符号の説明】
１　　　　コンピュータ
６　　　　記憶媒体
２１　　　撮像手段
５１，５２　　　ポインティング手段
６１　　　パターン光投影手段
１０１　　カプセル化文書
Ａ　　　　画像入力装置
【図１】
2004078314.tif 000010
【図２】
2004078314.tif 000011
【図３】
2004078314.tif 000012
【図４】
2004078314.tif 000013
【図５】
2004078314.tif 000014
【図６】
2004078314.tif 000015
【図７】
2004078314.tif 000016
【図８】
2004078314.tif 000017
【図９】
2004078314.tif 000018
【図１０】
2004078314.tif 000019
【図１１】
2004078314.tif 000020
【図１２】
2004078314.tif 000021
【図１３】
2004078314.tif 000022
【図１４】
2004078314.tif 000023
【図１５】
2004078314.tif 000024
【図１６】
2004078314.tif 000025
【図１７】
2004078314.tif 000026
【図１８】
2004078314.tif 000027
【図１９】
2004078314.tif 000028
【図２０】
2004078314.tif 000029
【図２１】
2004078314.tif 000030
【図２２】
2004078314.tif 000031
【図２３】
2004078314.tif 000032
【図２４】
2004078314.tif 000033
【図２５】
2004078314.tif 000034
【図２６】
2004078314.tif 000035
【図２７】
2004078314.tif 000036
【図２８】
2004078314.tif 000037
【図２９】
2004078314.tif 000038
【図３０】
2004078314.tif 000039
【図３１】
2004078314.tif 000040
【図３２】
2004078314.tif 000041
【図３３】
2004078314.tif 000042
【図３４】
2004078314.tif 000043
【図３５】
2004078314.tif 000044
【図３６】
2004078314.tif 000045
【図３７】
2004078314.tif 000046
【図３８】
2004078314.tif 000047
【図３９】
2004078314.tif 000048
【図４０】
2004078314.tif 000049
【図４１】
2004078314.tif 000050
【図４２】
2004078314.tif 000051
【図４３】
2004078314.tif 000052