(57)【要約】【課題】本発明は、携帯カメラなどの撮影手段を用いた撮影を遠隔地から簡単に制御でき、所望の方向の映像を安定的に得られるようにすることを目的とする。【解決手段】カメラサーバ装置と、画像クライアント装置とを有する画像通信システムにおいて、カメラサーバ装置は、映像入力手段と、映像入力手段の姿勢を検出する姿勢検出手段と、画像クライアントからの映像方向制御要求情報と前記姿勢検出手段で検出された姿勢情報とから撮影条件を制御する制御手段と、撮影条件に応じて撮影された映像を画像クライアント装置へ送信する送信手段とを有し、画像クライアント装置は、映像方向制御要求情報をカメラサーバ装置へ送信する送信手段と、カメラサーバ装置から送信された画像情報を受信する受信手段と、表示手段とを有する。【選択図】　　　図１
2004064639.tif 000002
【特許請求の範囲】
【請求項１】
カメラサーバ装置と、画像クライアント装置とを有する画像通信システムであって、
前記カメラサーバ装置は、
映像を撮影する映像入力手段と、
前記画像クライアント装置から送信される映像方向制御要求情報を受信する映像方向制御要求情報入力手段と、
前記映像入力手段の姿勢を検出する姿勢検出手段と、
前記映像方向制御要求情報と前記姿勢検出手段で検出された姿勢情報とから前記映像入力手段の撮影条件を制御する制御手段と、
前記撮影条件に応じて前記映像入力手段で撮影された映像に関する画像情報を前記画像クライアント装置へ送信する送信手段とを有し、
前記画像クライアント装置は、
前記映像入力手段の制御に関するコマンドを入力するコマンド入力手段と、
前記コマンドに応じた映像方向制御要求情報を前記カメラサーバ装置へ送信する送信手段と、
前記カメラサーバ装置から送信された画像情報を受信する受信手段と、
前記画像情報情報を表示する表示手段とを有することを特徴とする画像通信システム。
【請求項２】
前記映像入力手段の姿勢を安定的に支持する指示手段を有することを特徴とする請求項１記載の画像通信システム。
【請求項３】
前記映像方向制御要求情報は、前記映像入力手段を操作するための情報であることを特徴とする請求項１記載の画像通信システム。
【請求項４】
前記映像入力手段は広角な映像を入力し、
前記映像方向制御要求情報は前記クライアント装置へ送信する画像情報で示される映像のビュー方向を示す情報であることを特徴とする請求項１記載の画像通信システム。
【請求項５】
カメラサーバ装置と、画像クライアント装置とを有する画像通信システムであって、
前記カメラサーバ装置は、
姿勢が安定的に支持されるように指示部によって指示されている映像入力手段と、
前記画像クライアント装置から送信される映像方向制御要求情報を受信する映像方向制御要求情報入力手段と、
前記映像方向制御要求情報に応じて前記映像入力手段の撮影条件を制御する制御手段と、
前記撮影条件に応じて前記映像入力手段で撮影された映像に関する画像情報を前記画像クライアント装置へ送信する送信手段とを有し、
前記画像クライアント装置は、
前記映像入力手段の制御に関するコマンドを入力するコマンド入力手段と、
前記コマンドに応じた映像方向制御要求情報を前記カメラサーバ装置へ送信する送信手段と、
前記カメラサーバ装置から送信された画像情報を受信する受信手段と、
前記画像情報情報を表示する表示手段とを有することを特徴とする画像通信システム。
【請求項６】
映像方向制御要求情報に応じて撮影部を制御する情報処理方法であって、
ユーザによって指示された映像方向制御要求情報を入力し、
前記撮影部の姿勢情報を入力し、
前記映像方向制御要求情報と前記姿勢情報とに基づき、前記撮影部の撮影条件を求め、
前記撮影条件を用いて前記撮影部を制御することを特徴とする情報処理方法。
【請求項７】
前記撮影部は撮影者によって保持され、前記撮影者の動作による影響が少なくなるように指示される指示部によって指示されていることを特徴とする請求項６記載の情報処理方法。
【請求項８】
請求項６記載の情報処理方法を実現するためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、携帯カメラなどの撮影部の撮影条件を遠隔地から制御するものに関する。
【０００２】
【従来の技術】
従来、コンピュータに接続して（パン・チルト・ズームなどが）制御可能なカメラ、いわゆるコムカメラが登場している。このコムカメラの遠隔地にあるクライアント端末からコムカメラの動作を制御し、コムカメラで撮影された静止画像、動画像をインターネット等を介して受信することにより、クライアント端末側でモニタ表示できるシステムが開発されている。また、このようなコムカメラをネットワーク上に配置して、ネットワーク上のユーザーに画像を配信するプログラムが知られている。このようなシステムでは、画像をほぼリアルタイムに送信することができ、遠隔地の風景等を容易に見ることが可能となっている。
【０００３】
また、広角なカメラをコンピュータに接続し、カメラで撮影された静止画像、動画像をインターネット等を介して受信することにより、クライアント端末側で任意の方向をモニタ表示できるシステムが開発されている。さらに、このようなカメラをネットワーク上に配置して、ネットワーク上のユーザーに画像を配信するシステムでは、遠隔地の風景等を容易に見ることが可能となっている。
【０００４】
しかし、これらシステムの個々のカメラ位置は固定されており、自由に移動することができない。
【０００５】
特開２００１−１８９９２７では、映像・音声情報を取得する移動ステーションを設け、情報収集地点から離間した地点において、あたかも情報収集地点にいるような体験を仮想的に行わせる疑似体験システムを提案している。しかし、移動ステーションの移動も遠隔から操作するため、制御が難しく、移動できる場所が限定されてしまう。
【０００６】
任意の場所に持ち運び可能な携帯カメラからにおいては、ネットワーク等を通じて、クライアント端末側から撮像画像を視察可能とすることも可能である。しかし、このような携帯カメラの制御はカメラを携帯している人のみにゆだねられており、クライアント端末側では、任意の方向の見回しができないという問題がある。
【０００７】
特開２０００−２０９６１３では、携帯カメラの撮像画像から、リアルタイムにパノラマ画像を作成し、クライアント側に提供することで上記の問題を解決している。しかし、現場の携帯カメラ撮影者は、パノラマ画像が作成できるような撮影を強いられる。
【０００８】
【発明が解決しようとする課題】
自由に現場を動き回って撮影できる携帯カメラでは，現場でカメラを携帯する人が、クライアント側の要求する映像をうまく撮像しない限り、クライアント端末側では自由に見まわすことができなかった。つまり、遠隔にいる人と現場にいる人とが共に、現場をそれぞれ自由に体験することができなかった。
【０００９】
本発明は、携帯カメラなどの撮影手段を用いた撮影を遠隔地から簡単に制御でき、所望の方向の映像を安定的に得られるようにすることを目的とする。
【００１０】
また、ネットワーク等に接続された携帯カメラで撮像した画像に対し、携帯カメラの姿勢情報を計測し利用して画像処理することで、クライアント端末側では、携帯カメラ姿勢変化の影響を受けず、要求に合った携帯カメラの位置から視察可能な任意のシーン画像を表示可能とすることを目的とする。
【００１１】
また、ネットワーク等に接続された携帯カメラであって、携帯カメラの姿勢変化を和らげる機構を有することで、クライアント端末側では、携帯カメラ姿勢変化の影響を受けず、要求に合った携帯カメラの位置から視察可能な任意のシーン画像を表示可能とすることを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するために本発明は以下の構成を有する。
【００１３】
本願請求項１記載の発明は、カメラサーバ装置と、画像クライアント装置とを有する画像通信システムであって、前記カメラサーバ装置は、映像を撮影する映像入力手段と、前記画像クライアント装置から送信される映像方向制御要求情報を受信する映像方向制御要求情報入力手段と、前記映像入力手段の姿勢を検出する姿勢検出手段と、前記映像方向制御要求情報と前記姿勢検出手段で検出された姿勢情報とから前記映像入力手段の撮影条件を制御する制御手段と、前記撮影条件に応じて前記映像入力手段で撮影された映像に関する画像情報を前記画像クライアント装置へ送信する送信手段とを有し、前記画像クライアント装置は、前記映像入力手段の制御に関するコマンドを入力するコマンド入力手段と、前記コマンドに応じた映像方向制御要求情報を前記カメラサーバ装置へ送信する送信手段と、前記カメラサーバ装置から送信された画像情報を受信する受信手段と、前記画像情報情報を表示する表示手段とを有することを特徴とする。
【００１４】
本願請求項５記載の発明は、カメラサーバ装置と、画像クライアント装置とを有する画像通信システムであって、前記カメラサーバ装置は、姿勢が安定的に支持されるように指示部によって指示されている映像入力手段と、前記画像クライアント装置から送信される映像方向制御要求情報を受信する映像方向制御要求情報入力手段と、前記映像方向制御要求情報に応じて前記映像入力手段の撮影条件を制御する制御手段と、前記撮影条件に応じて前記映像入力手段で撮影された映像に関する画像情報を前記画像クライアント装置へ送信する送信手段とを有し、前記画像クライアント装置は、前記映像入力手段の制御に関するコマンドを入力するコマンド入力手段と、前記コマンドに応じた映像方向制御要求情報を前記カメラサーバ装置へ送信する送信手段と、前記カメラサーバ装置から送信された画像情報を受信する受信手段と、前記画像情報情報を表示する表示手段とを有することを特徴とする。
【００１５】
本願請求項６記載の発明は、映像方向制御要求情報に応じて撮影部を制御する情報処理方法であって、ユーザによって指示された映像方向制御要求情報を入力し、前記撮影部の姿勢情報を入力し、前記映像方向制御要求情報と前記姿勢情報とに基づき、前記撮影部の撮影条件を求め、前記撮影条件を用いて前記撮影部を制御することを特徴とする。
【００１６】
【発明の実施の形態】
（実施形態１）
以下、本発明の一例となる実施の形態を図１に基づいて説明する。
【００１７】
本実施の形態では、カメラサーバ装置（コムカメラ１０１及びカメラ姿勢計測部１０６及びサーバ制御装置１０２）から任意の映像を取得するために、遠隔地にある画像クライアント装置（クライアント制御装置１０７及びコマンド入力部１１０及びディスプレイ装置１１１）で参照しながらコムカメラ１０１を遠隔操作する例について説明する。
【００１８】
特に、本実施の形態では、人がコムカメラ１０１を携帯し、街の風景を撮影している。
【００１９】
１０１は、カメラアングルや撮像条件などを接続線１０１−ａからの制御信号に基づいて制御されることが可能なカメラ（コムカメラとする）である。このコムカメラ１０１は、撮影した映像のデータを接続線１０１−ｂを介してリアルタイムに出力することが可能である。
【００２０】
１０６は、カメラ姿勢を計測するためのカメラ姿勢計測部１０６であり、ここではジャイロセンサを用いている。カメラ姿勢とは、カメラ自体（カメラの雲台）の姿勢のことをいい、ビュー方向や、カメラ制御パラメータ（パン角、チルト角など：カメラの雲台に対するカメラレンズの方向）と区別する。カメラを携帯することでカメラ姿勢が変化し（図７）、画像クライアント装置側では、カメラ遠隔操作の操作性（特にパン、チルト）が悪化することがある。カメラ姿勢情報を計測して利用することで、カメラの遠隔操作の操作性を向上させることが必要である。
【００２１】
一方、携帯カメラの姿勢が大きく変化しないような機構を取り入れることにより、カメラ姿勢計測部１０６は省略することができる。カメラ携帯者自体の自然な動き（単なる歩行による姿勢変化）は遠隔操作にはさほど影響を与えないことから、携帯カメラの姿勢が大きく変化しないような機構として図８、携帯カメラの姿勢が大きく変化しないような携帯方法として図９を示す。図８では、携帯カメラ姿勢が常に平行に保たれ、かつ携帯棒に対しカメラの雲台が前方を向くように保たれる機構であり、例えば出前機の機構が利用できる。また、図９では、カメラを背骨と垂直になるよう携帯することで、カメラの姿勢が一定に保たれる。本実施形態では、図７のような形態をしていることから、カメラ姿勢が大きく変化するものとして、カメラ姿勢計測部１０６を取り入れる。
【００２２】
携帯のカメラ姿勢計測部１０６で計測されたカメラ姿勢情報は後述するカメラ制御手段１０３に送られる。
【００２３】
１０２は、後述するクライアント制御装置からネットワーク回線を介して送信された制御信号および前記コムカメラ姿勢計測部１０６からの信号に基づいてコムカメラを制御する為のサーバ制御装置である。このサーバ制御装置１０２はいわゆるパーソナルコンピュータ等が用いられる。
【００２４】
サーバ制御装置１０２の具体的な構成を以下に説明する。
【００２５】
１０３は、コムカメラ１０１を接続線１０１−ａ（ＲＳ２３２Ｃインタフェース等）を介して制御するカメラ制御手段である。カメラ制御手段１０３は、後述するクライアント制御装置１０７から送信され、ネットワーク回線及び通信インタフェース１０５を介して入力されたカメラ制御要求情報を取得し、カメラ姿勢計測装部１０６から出力されるカメラ姿勢情報を取得する。さらに１０３は、これらカメラ制御要求情報および、カメラ姿勢情報からカメラ制御情報を生成し、コムカメラ１０１を制御する。なお、本実施の形態でいうカメラ制御情報とは、コムカメラ１０１を制御するために各装置間でやり取りする必要のある情報を総称していい、例えば、カメラのパン、チルト、ズームなどである。
【００２６】
１０４は、コムカメラ１０１の撮影した映像を接続線１０１−ｂを介して入力する、画像キャプチャ装置等の映像入力手段である。
【００２７】
１０５は、ネットワーク回線を介して接続された外部装置（クライアント制御装置１０７等）と画像情報、音声情報、各種制御情報の通信を行うことを可能とするネットワークアダプタであり、通信インタフェースと呼ぶ。
【００２８】
更に、サーバ制御装置１０２は、装置内の各部の動作制御及び必要な演算を行うＣＰＵやＲＯＭ、ＲＡＭ等の記憶装置を有しており、プログラムおよび各種パラメータ等を格納する。
【００２９】
次に、画像クライアント装置（クライアント制御装置１０７及びコマンド入力部１１０及びディスプレイ装置１１１）について、具体的に説明する。
【００３０】
１０７は、ユーザからの操作入力に応じて、サーバ制御装置１０２から適切な情報を取得するクライアント制御装置である。このクライアント制御装置１０７は、サーバ制御装置１０２と同様、主にパーソナルコンピュータが用いられる。
【００３１】
１０８は、通信インタフェース１０５と同様の機能を有するネットワークアダプタであり、通信インタフェースとよぶ。
【００３２】
１１０は、ユーザのカメラ制御コマンド情報を入力するコマンド入力部１１０であり、入力されたコマンド情報を後述するカメラ制御情報計測手段１０９に出力する。
【００３３】
１０９はコマンド入力部１１０から入力されたコマンド情報をカメラ制御情報として解釈するカメラ制御情報計測手段である。本実施形態ではユーザの頭に搭載したＧＰＳの傾き情報をカメラ１０１へのビュー制御要求と対応付けて解釈している。もちろん、コマンド入力部１１０としてジョイスティックやマウスなどを用い、カメラ制御情報計測手段１０９ではその入力情報をビュー制御情報として解釈するなど、コマンド入力部１１０はさまざまな入力デバイスで代用することが可能である。カメラ制御情報計測手段１０９で計測されたカメラ制御情報は通信インタフェース１０８へ送信される。
【００３４】
１１２は通信インタフェース１０８より入力された情報を表示する情報表示手段である。本実施形態では、画像情報をクライアントが装着しているヘッドマウントディスプレイ１１１に表示している。これにより、クライアントユーザはカメラ１０１で撮影された映像を視認することができる。
【００３５】
本実施形態におけるサーバ制御装置の動作を図４（ａ）に示すフローチャートを用いて説明する。
【００３６】
ステップＳ４０ａで処理を開始する。
【００３７】
ステップＳ４１ａでは、クライアント制御装置１０７から送信されてくるカメラ制御要求情報を取得する。
【００３８】
ステップＳ４２ａでは、カメラ姿勢計測装置１０６から送信されてくるカメラ姿勢情報を取得する。
【００３９】
ステップＳ４３ａでは、Ｓ４１ａで取得したカメラ制御要求情報、およびＳ４２ａで取得したカメラ姿勢情報を基に、カメラ制御パラメータを求める。上述したように、このステップは、カメラ１０１自体の動きに影響されずに、カメラ制御要求が満たされるために必要なステップである。
【００４０】
本実施形態では、カメラ制御情報のカメラ制御パラメータとしてパン（θ）、チルト（φ）、ズーム（ｚ）がある。θはパン角、φはチルト角、ｚはズーム倍率をそれぞれ示す。
カメラ制御パラメータ（θ、φ、ｚ）に対し、カメラ制御要求パラメータを（θｃ、φｃ、ｚｃ）、カメラ姿勢情報を（θｉ、φｉ、ｚｉ）とすると、
（θ、φ、ｚ）＝（θｃ、φｃ、ｚｃ）−（θｉ、φｉ、０）
でカメラ制御パラメータを求めることができる。ただし、パン角度の範囲は、本実施形態では−９０度〜９０度であるので、この範囲を計算角度が超える場合には上限または下限の値、すなわち９０度または−９０度の値が設定される。この演算により、カメラを携帯することによる遠隔操作の操作性の悪さが改善される。
【００４１】
ステップＳ４４ａでは、Ｓ４３ａで計算されたカメラ制御パラメータに従って、実際にカメラを操作する。
【００４２】
ステップＳ４５ａでは、カメラ１０１で撮像した映像を映像入力手段１０４に入力する。
【００４３】
ステップＳ４６ａでは、Ｓ４５ａで入力された映像情報を通信インタフェース１０５を通してクライアント制御装置１０７に送信する。映像情報と共に音声情報なども送信してもよい。
【００４４】
本実施形態におけるクライアント制御装置の動作を図４（ｂ）に示すフローチャートを用いて説明する。
【００４５】
ステップＳ４０ｂで接続を開始する。
【００４６】
ステップＳ４１ｂでは、クライアントユーザからのコマンドを受け付ける。
【００４７】
ステップＳ４２ｂでは、Ｓ４１ｂで入力されたコマンドをカメラ制御要求情報として解釈する。
【００４８】
ステップＳ４３ｂでは、Ｓ４１ｂで解釈されたカメラ制御要求情報を、通信インタフェース１０８を通してサーバ制御装置１０２に送信する。
【００４９】
ステップＳ４４ｂでは、ステップＳ４３ｂで送信したカメラ制御要求情報によってサーバ制御装置１０２から返送された情報を受け付ける。
【００５０】
ステップＳ４５ｂでは、Ｓ４４ｂでサーバ制御装置１０２から入力された情報をユーザに表示する。
【００５１】
本実施形態によれば、ネットワーク等に接続された携帯カメラにおいて、携帯カメラの姿勢変化を和らげる機構または、携帯カメラの姿勢情報を利用することで、クライアント側ではカメラを携帯することによる姿勢変化の影響を受けない入力する要求に合った携帯カメラの位置から視察可能な任意のシーン画像をモニタ表示可能にする装置に関する。
【００５２】
（実施形態２）
本発明の第２の実施形態として、第１の実施形態で用いたコムカメラの代わりに、広角カメラ（魚眼レンズ）を用いた場合の実施の形態を図２に基づいて説明する。
【００５３】
本実施の形態では、カメラサーバ装置（広角カメラ１０１及びカメラ姿勢計測部１０６及びサーバ制御装置１０２）の広角カメラで撮影される広角な映像を利用して、遠隔地にある画像クライアント装置（クライアント制御装置２０７及びコマンド入力部１１０及びディスプレイ装置１１１）で任意の方向の画像（ビュー）を参照する。
【００５４】
特に、本実施の形態では、人が広角カメラ２０１を携帯し、街の風景を撮影している。
【００５５】
２０１は、ほぼ全周囲が撮影できる広角カメラであり、例えば魚眼レンズカメラなどである。この広角カメラ２０１は、撮影した映像のデータは接続線２０１−ｂを介してリアルタイムに出力することが可能である。
【００５６】
２０６は、カメラの姿勢を計測するためのカメラ姿勢計測部２０６であり、ここではジャイロセンサを用いている。本実施形態ではカメラを携帯することでカメラの姿勢が変化してしまう。ここで計測されるカメラ姿勢情報を、カメラサーバ装置側もしくは画像クライアント装置側でビュー方向を制御するのに利用する。本実施形態ではカメラサーバ装置側でビュー制御する。
【００５７】
カメラ姿勢計測部２０６で計測されたカメラ姿勢情報は後述する画像制御手段２０３に送られる。
【００５８】
ここでも実施形態１と同様に、携帯カメラの姿勢が大きく変化しないような機構を取り入れることにより、カメラ姿勢計測装置２０６は省略することができる。携帯カメラの姿勢が大きく変化しないような機構として図１０を示す。
【００５９】
２０２は、後述するクライアント制御装置からネットワーク回線を介して送信された制御信号および前記カメラ姿勢計測部２０６からの信号に基づいて出力画像を制御する為のサーバ制御装置である。このサーバ制御装置２０２はいわゆるパーソナルコンピュータ等が用いられる。
【００６０】
サーバ制御装置２０２の具体的な構成を以下に説明する。
【００６１】
２０４は、広角カメラ２０１の撮影した映像を接続線２０１−ｂを介して入力する、画像キャプチャ装置等の映像入力手段である。ここで入力された画像は後述する画像処理手段２０３に送られる。
【００６２】
画像処理手段２０３は、映像入力手段２０４から入力される広角カメラ２０１の撮像映像を制御する画像処理手段である。画像処理手段２０３は、実施形態１におけるクライアント制御装置２０７から送信され、ネットワーク回線及び通信インタフェース２０５を介して入力されたビュー制御要求情報（クライアントから要求されるビュー方向などの情報）を取得し、さらに、カメラ姿勢計測部２０６がある場合はカメラ姿勢計測装部２０６から出力されるカメラ姿勢情報を取得する。さらに画像処理手段２０３は、映像入力手段２０４から入力された画像から、ビュー制御要求情報および、ある場合にはカメラ姿勢情報をもとに適切なビュー画像を生成する。この際、広角カメラで撮像することから生じる画像歪みも補正する。
【００６３】
２０５は、ネットワーク回線を介して接続された外部装置（クライアント制御装置２０７等）と画像情報、音声情報、各種制御情報の通信を行うことを可能とするネットワークアダプタであり、通信インタフェースと呼ぶ。
【００６４】
更に、サーバ制御装置２０２は、装置内必要な演算を行うＣＰＵやＲＯＭ、ＲＡＭ等の記憶装置を有しており、プログラムおよび各種パラメータ等を格納する。
【００６５】
次に、画像クライアント装置（クライアント制御装置２０７及びコマンド入力部２１０及びディスプレイ装置２１１）について、具体的に説明する。
【００６６】
２０７は、ユーザからの操作入力に応じて、サーバ制御装置１０２から適切な情報を取得するクライアント制御装置である。このクライアント制御装置２０７は、サーバ制御装置２０２と同様、主にパーソナルコンピュータが用いられる。
【００６７】
２０８は、通信インタフェース２０５と同様の機能を有するネットワークアダプタであり、通信インタフェースとよぶ。
【００６８】
２１０は、ユーザのビュー制御コマンド情報を入力するコマンド入力部２１０であり、入力されたコマンド情報をビュー制御情報計測手段２０９に出力する。
【００６９】
２０９はコマンド入力部２１０から入力されたコマンド情報をビュー制御情報として解釈するビュー制御情報計測手段である。本実施形態ではユーザの頭に搭載したＧＰＳの傾き情報をカメラ２０１へのビュー制御要求と対応付けて解釈している。もちろん、コマンド入力部２１０としてジョイスティックやマウスなどを用い、ビュー制御情報計測手段２０９ではその入力情報をビュー制御情報として解釈するなど、コマンド入力部２１０はさまざまな入力デバイスで代用することが可能である。ビュー制御情報計測手段２０９で計測されたビュー制御情報は通信インタフェース２０８へ送信される。
【００７０】
２１２は通信インタフェース２０８より入力された情報を表示する情報表示手段である。本実施形態では、映像情報をクライアントが装着しているヘッドマウントディスプレイ２１１に表示している。これにより、クライアントユーザはカメラ２０１で撮影された任意のビュー映像を視認することができる。
【００７１】
本実施形態におけるサーバ制御装置の動作を図５（ａ）に示すフローチャートを用いて説明する。
【００７２】
ステップＳ５０ａで処理を開始する。
【００７３】
ステップＳ５１ａでは、クライアント制御装置２０７から送信されてくるビュー制御要求情報を取得する。
【００７４】
ステップＳ５２ａでは、カメラ姿勢計測装置２０６から送信されてくるカメラ姿勢情報を取得する。
【００７５】
ステップＳ５３ａでは、広角カメラ２０１で撮像した映像を映像入力手段２０４に入力する。
【００７６】
ステップＳ５４ａでは、Ｓ５１ａで取得したビュー制御要求情報、およびＳ５２ａで取得したカメラ姿勢情報を基に、Ｓ５３ａで入力された映像からビュー画像の生成を行う。
【００７７】
本実施形態では、ビュー制御情報のパラメータとしてパン（θ）、チルト（φ）がある。θはパン角、φはチルト角をそれぞれ示す。
【００７８】
ビュー制御パラメータ（θ、φ）に対し、ビュー制御要求パラメータを（θｃ、φｃ）、カメラ姿勢情報を（θｉ、φｉ）とすると、
（θ、φ）＝（θｃ、φｃ）−（θｉ、φｉ）
でビュー制御パラメータを求めることができる。ここで、Ｓ５３ａで入力された映像は広角カメラで撮像した映像であり、歪みが生じている。この画像歪みを考慮してビュー制御パラメータ（θ、φ）に対応するビュー画像を生成する。
【００７９】
ステップＳ５では、Ｓ４で生成したビュー画像の画像情報通信インタフェース２０５を通してクライアント制御装置２０７に送信する。画像情報と共に音声情報なども送信してもよい。
【００８０】
本実施形態におけるクライアント制御装置の動作を図５（ｂ）に示すフローチャートを用いて説明する。
【００８１】
ステップＳ５０ｂで接続を開始する。
【００８２】
ステップＳ５１ｂでは、クライアントユーザからのコマンドを受け付ける。
【００８３】
ステップＳ５２ｂでは、Ｓ５１ｂで入力されたコマンドをビュー制御要求情報として解釈する。
【００８４】
ステップＳ５３ｂでは、Ｓ５１ｂで解釈されたビュー制御要求情報を、通信インタフェース２０８を通してサーバ制御装置２０２に送信する。
【００８５】
ステップＳ５４ｂでは、ステップＳ５３ｂで送信したビュー制御要求情報によってサーバ制御装置２０２から返送された情報を受け付ける。
【００８６】
ステップＳ５５ｂでは、Ｓ５４ｂでサーバ制御装置２０２から入力された情報をユーザに表示する。
【００８７】
（実施形態３）
第３の実施形態として図３に基づいて説明する。
【００８８】
本実施の形態では第２に実施形態と同様、カメラサーバ装置（広角カメラ３０１及びカメラ姿勢計測部３０６及びサーバ制御装置３０２）からの広角な画像を利用して、遠隔地にあるクライアント端末（クライアント制御装置３０７及びコマンド入力部３１０及びディスプレイ装置３１１）で任意の方向の画像（ビュー）を参照する。
【００８９】
第２の実施形態ではクライアントの要求するビュー画像の生成をカメラサーバ装置側で行った。本実施形態では、カメラサーバ装置側では画像の補正のみを行い、ビュー画像の生成は画像クライアント装置側で行う。
【００９０】
特に、本実施の形態では、人が広角カメラ３０１を携帯し、街の風景を撮影している。
【００９１】
３０１は、ほぼ全周囲が撮影できる広角カメラである。この広角カメラ３０１は、撮影した映像のデータは接続線３０１−ｂを介してリアルタイムに出力することが可能である。
【００９２】
３０６は、カメラの姿勢を計測するためのカメラ姿勢計測装置３０６であり、ここではジャイロセンサを用いている。カメラ姿勢計測装置３０６で計測されたカメラ姿勢情報は後述する画像処理手段３０４に送られる。
【００９３】
３０２は、広角カメラ姿勢計測部３０６からの信号に基づいて出力する画像の制御を行う為のサーバ制御装置である。このサーバ制御装置３０２はいわゆるパーソナルコンピュータ等が用いられる。更にサーバ制御装置３０２は、画像処理手段３０３で生成された画像情報やカメラ姿勢情報などを、無線ネットワーク回線を介して複数のクライアント制御装置に送信することが可能である。
【００９４】
サーバ制御装置３０２の具体的な構成を以下に説明する。
【００９５】
３０４は、は接続線３０１−ｂを介して入力する、画像キャプチャ装置等の映像入力手段である。ここで入力された画像は後述する画像処理手段３０３に送られる。
【００９６】
画像処理手段３０３は、広角カメラ３０１の撮影した映像の歪みを補正し、さらに、カメラ姿勢計測装部３０６から出力されるカメラ姿勢情報を利用し、カメラ姿勢一定の画像に変換する。
【００９７】
３０５は、ネットワーク回線を介して接続された外部装置（クライアント制御装置３０７等）と画像情報、音声情報、各種制御情報の通信を行うことを可能とするネットワークアダプタであり、通信インタフェースと呼ぶ。
【００９８】
更に、サーバ制御装置３０２は、装置内の必要な演算を行うＣＰＵやＲＯＭ、ＲＡＭ等の記憶装置を有しており、プログラムおよび各種パラメータ等を格納する。
【００９９】
次に、画像クライアント装置（クライアント制御装置３０７及びコマンド入力部３１０及びディスプレイ装置３１１）について、具体的に説明する。
【０１００】
３０７は、サーバ制御装置３０２から画像情報を取得し、ユーザからの操作入力に応じて、適切な情報を生成するクライアント制御装置である。このクライアント制御装置３０７は、サーバ制御装置３０２と同様、主にパーソナルコンピュータが用いられる。
【０１０１】
３０８は、通信インタフェース３０５と同様の機能を有するネットワークアダプタであり、通信インタフェースとよぶ。
【０１０２】
３１０は、ユーザのビュー制御コマンド情報を入力するコマンド入力部３１０であり、入力されたコマンド情報をビュー制御情報計測手段３０９に出力する。
【０１０３】
３０９はコマンド入力部３１０から入力されたコマンド情報をビュー制御情報として解釈するビュー制御情報計測手段である。本実施形態ではユーザの頭に搭載したＧＰＳの傾き情報をカメラ３０１へのビュー制御要求と対応付けて解釈している。もちろん、コマンド入力部３１０としてジョイスティックやマウスなどを用い、ビュー制御情報計測手段３０９ではその入力情報をビュー制御情報として解釈するなど、コマンド入力部３１０はさまざまな入力デバイスで代用することが可能である。ビュー制御情報計測手段３０９で計測されたビュー制御情報は後述する画像処理手段３１２へ送信される。
【０１０４】
３１２は画像処理手段である。画像処理手段３１２は通信インタフェース３０８より入力された画像情報及び、ビュー制御情報計測手段３０９から入力されるビュー制御情報からビュー画像を生成する。画像処理手段３１２で生成されたビュー画像はディスプレイ装置３１１で表示される。
【０１０５】
本実施形態におけるサーバ制御装置の動作を図６（ａ）に示すフローチャートを用いて説明する。
【０１０６】
ステップＳ６０ａで処理を開始する。
【０１０７】
ステップＳ６１ａでは、広角カメラ３０１で撮像した映像が映像入力手段３０４に入力される。
【０１０８】
ステップＳ６２ａでは、カメラ姿勢計測装置３０６から送信されてくるカメラ姿勢情報を取得する。
【０１０９】
ステップＳ６３ａでは、広角レンズ情報及びＳ６２ａで取得したカメラ姿勢情報を基に、Ｓ６１ａで入力された映像の補正を行う。この際、撮像画像自体の歪みも補正する。
【０１１０】
ステップＳ６４ａでは、Ｓ６３ａで生成した画像を通信インタフェース３０５を通してクライアント制御装置２０７に送信する。
【０１１１】
本実施形態におけるクライアント制御装置の動作を図６（ｂ）に示すフローチャートを用いて説明する。
【０１１２】
ステップＳ６０ｂで接続を開始する。
【０１１３】
ステップＳ６１ｂでは、クライアントユーザからのコマンドを受け付ける。
【０１１４】
ステップＳ６２ｂでは、Ｓ６１ｂで入力されたコマンドをビュー制御要求情報として解釈する。
【０１１５】
ステップＳ６３ｂでは、サーバ制御装置３０２から送信された情報を受け付ける。
【０１１６】
ステップＳ６４ｂでは、Ｓ６１ｂで解釈されたビュー制御要求情報を基に、Ｓ６３ｂで入力された画像情報からビュー情報を生成する。
【０１１７】
ステップＳ６５ｂでは、Ｓ６４ｂで作成したビュー画像を表示する。
【０１１８】
本実施形態では、サーバ側で「レンズ歪み補正」や「カメラ姿勢情報を基に、撮像映像の方向を統一する補正」を行ったが、後者の補正などは特に、カメラ姿勢情報などをカメラサーバからクライアントサーバに送信し、クライアント側で行うことにすることも可能である。
【０１１９】
（実施形態４）
第４の実施形態として図１２に基づいて説明する。
【０１２０】
本実施の形態では第３に実施形態と同様、カメラサーバ装置（広角カメラ４０１及びカメラ姿勢計測部４０６及びサーバ制御装置４０２）からの広角な画像を利用して、遠隔地にあるクライアント装置（クライアント制御装置４０７及びコマンド入力部４１０及びディスプレイ装置４１１）で任意の方向の画像（ビュー）を参照する。クライアント装置側のユーザはカメラ姿勢と同期して回転する回転イスに座ってＨＭＤを装着する（図１２）。
【０１２１】
本実施の形態では、人が広角カメラ４０１を携帯し、街の風景を撮影している。
【０１２２】
４０１は、ほぼ全周囲が撮影できる広角カメラである。この広角カメラ４０１は、撮影した映像のデータは接続線４０１−ｂを介してリアルタイムに出力することが可能である。
【０１２３】
４０６は、カメラの姿勢を計測するためのカメラ姿勢計測装置４０６であり、ここではジャイロセンサを用いている。カメラ姿勢計測装置４０６で計測されたカメラ姿勢情報は後述する画像処理手段４０４に送られ、さらにネットワーク回線を介して画像クライアント装置に送られる。
【０１２４】
４０２は、広角カメラ４０１の撮像画像や姿勢計測部４０６からの信号に基づいて、画像クライアント装置に送る情報の制御を行い、無線ネットワーク回線を介して複数の画像クライアント制御装置に送信することが可能である。
【０１２５】
サーバ制御装置４０２の具体的な構成を以下に説明する。
【０１２６】
４０４は、は接続線４０１−ｂを介して入力する、画像キャプチャ装置等の映像入力手段である。ここで入力された画像は後述する画像処理手段４０３に送られる。
【０１２７】
画像処理手段４０３は、広角カメラ３０１の撮影した映像の歪みを補正する。
【０１２８】
４０５は、ネットワーク回線を介して接続された外部装置（クライアント制御装置４０７等）と画像情報、カメラ姿勢情報、音声情報、各種制御情報の通信を行うことを可能とするネットワークアダプタであり、通信インタフェースと呼ぶ。
【０１２９】
更に、サーバ制御装置４０２は、装置内の必要な演算を行うＣＰＵやＲＯＭ、ＲＡＭ等の記憶装置を有しており、プログラムおよび各種パラメータ等を格納する。
【０１３０】
次に、クライアント装置（クライアント制御装置４０７及びコマンド入力部４１０及びディスプレイ装置４１１及び回転シート４１４）について、具体的に説明する。
【０１３１】
４０７は、サーバ制御装置４０２からネットワーク回線を介して送信された情報に基づいて回転シートを制御し、ユーザからの操作入力に応じて、適切な画像を生成するクライアント制御装置である。このクライアント制御装置４０７は、サーバ制御装置４０２と同様、主にパーソナルコンピュータが用いられる。
【０１３２】
４０８は、通信インタフェース４０５と同様の機能を有するネットワークアダプタであり、通信インタフェースとよぶ。
【０１３３】
４１０は、ユーザのビュー制御コマンド情報を入力するコマンド入力部４１０であり、入力されたコマンド情報をビュー制御情報計測手段４０９に出力する。
【０１３４】
４１３は、サーバ制御装置４０２からネットワーク回線を介して送信されるカメラ姿勢情報を取得し、後述する回転シート４１４を制御するシート制御手段４１３である。
【０１３５】
回転シート４１４はシート制御手段４１３の信号に基づき、回転する。シート４１４により、ユーザは遠隔のカメラ携帯者と同じ姿勢を体験することができる。
【０１３６】
４０９はコマンド入力部４１０から入力されたコマンド情報をビュー制御情報として解釈するビュー制御情報計測手段である。本実施形態では回転シートに対するユーザの頭の傾き情報をカメラ４０１へのビュー制御要求と対応付けて解釈している。コマンド入力部４１０はさまざまな入力デバイスで代用することが可能である。ビュー制御情報計測手段４０９で計測されたビュー制御情報は後述する画像処理手段４１２へ送信される。
【０１３７】
４１２は画像処理手段である。画像処理手段４１２は通信インタフェース４０８より入力された画像情報及び、ビュー制御情報計測手段４０９から入力されるビュー制御情報からビュー画像を生成する。画像処理手段４１２で生成されたビュー画像はディスプレイ装置４１１で表示される。これにより、ユーザは任意の方向を見回すことが可能になる。
【０１３８】
本実施形態におけるサーバ制御装置の動作を図１３（ａ）に示すフローチャートを用いて説明する。
【０１３９】
ステップＳ１３０ａで処理を開始する。
【０１４０】
ステップＳ１３１ａでは、広角カメラ４０１で撮像した映像が映像入力手段４０４に入力される。
【０１４１】
ステップＳ１３２ａでは、カメラ姿勢計測装置４０６から送信されてくるカメラ姿勢情報を取得する。
【０１４２】
ステップＳ１３３ａでは、広角レンズ情報基に、Ｓ１３１ａで入力された映像の歪み補正を行う。
【０１４３】
ステップＳ１３４ａでは、Ｓ１３３ａで生成した画像及びＳ１３２ａで取得したカメラ姿勢情報を、通信インタフェース４０５を通してクライアント制御装置２０７に送信する。
【０１４４】
本実施形態におけるクライアント制御装置の動作を図１３（ｂ）に示すフローチャートを用いて説明する。
【０１４５】
ステップＳ１３０ｂで接続を開始する。
【０１４６】
ステップＳ１３１ｂでは、サーバ制御装置４０２から送信された情報を受け付ける。
【０１４７】
ステップＳ１３２ｂでは、Ｓ１３１ｂで取得したカメラ姿勢情報を基に、回転シートを制御する。
【０１４８】
ステップＳ１３３ｂでは、クライアントユーザからのコマンドを受け付ける。
【０１４９】
ステップＳ１３４ｂでは、Ｓ１３１ｂで入力されたコマンドからビュー画像を生成する。
【０１５０】
ステップＳ１３５ｂでは、Ｓ１３４ｂで作成したビュー画像を表示する。
【０１５１】
以上説明したように、上記各実施形態によれば、持ち運び可能なカメラサーバ装置に、カメラを携帯することで生じる撮像画像のブレを補正する機能を持たせたことで、遠隔にある画像クライアント装置側で任意のビュー画像を参照することが可能になる。これを利用すれば、一人が携帯カメラを持ち運んで観光地を訪れることで、遠隔にいる人も、背負われながら共に現地を旅行しているような体験をすることが可能となる。
【０１５２】
特に実施形態３および４では、カメラサーバ装置側では、本来カメラを携帯することで生じる方向のズレを補正した広角画像を提供し、クライアント装置側で任意の方向の画像を抽出しているため、１つのカメラサーバ装置に対し、複数の画像クライアント装置を割り当てることが可能となる。これを利用すれば、一人が携帯カメラを持ち運んで観光地を訪れることで、複数人で旅行しているような体験をすることが可能となる。また、これを旅行会社などで利用し、各ツアーのツアーコンダクターが携帯カメラを持ち運ぶことにすれば、現在行われている任意のツアーに仮想参加することが可能になる。
【０１５３】
【発明の効果】
本発明によれば、携帯カメラなどの撮影手段を用いた撮影を遠隔地から簡単に制御でき、所望の方向の映像を安定的に得ることができる。
【０１５４】
本願請求項１の発明によれば、ネットワーク等に接続された携帯カメラで撮像した画像に対し、携帯カメラの姿勢情報を計測し利用して画像処理することで、クライアント端末側では、携帯カメラ姿勢変化の影響を受けず、要求に合った携帯カメラの位置から視察可能な任意のシーン画像を表示することができる。
【０１５５】
本願請求項５の発明によれば、ネットワーク等に接続された携帯カメラであって、携帯カメラの姿勢変化を和らげる機構を有することで、クライアント端末側では、携帯カメラ姿勢変化の影響を受けず、要求に合った携帯カメラの位置から視察可能な任意のシーン画像を表示することができる。
【図面の簡単な説明】
【図１】第１実施形態の概略構成を示すブロック図である。
【図２】第２実施形態の概略構成を示すブロック図である。
【図３】第３実施形態の概略構成を示すブロック図である。
【図４】第１実施形態の処理手順を説明するフローチャートである。
【図５】第２実施形態の処理手順を説明するフローチャートである。
【図６】第３実施形態の処理手順を説明するフローチャートである。
【図７】第１実施形態におけるサーバ装置の概略図である。
【図８】第１実施形態における携帯カメラ姿勢が大きく変化しないような機構の例である。
【図９】第１実施形態における携帯カメラの姿勢が大きく変化しないような携帯方法の例である。
【図１０】第２実施形態におけるサーバ装置の概略図である。
【図１１】第１実施形態における携帯広角カメラ姿勢が大きく変化しないような機構の例である。
【図１２】第４実施形態の概略構成を示すブロック図である。
【図１３】第４実施形態の処理手順を説明するフローチャートである。
【図１】
2004064639.tif 000003
【図２】
2004064639.tif 000004
【図３】
2004064639.tif 000005
【図４】
2004064639.tif 000006
【図５】
2004064639.tif 000007
【図６】
2004064639.tif 000008
【図７】
2004064639.tif 000009
【図８】
2004064639.tif 000010
【図９】
2004064639.tif 000011
【図１０】
2004064639.tif 000012
【図１１】
2004064639.tif 000013
【図１２】
2004064639.tif 000014
【図１３】
2004064639.tif 000015