(57)【要約】【目的】高解像度のパノラマ映像から任意の部分映像を取得することができ、映像処理性能および信頼性を大幅に向上させたパノラマ映像配信システムを提供する。【解決手段】複数の映像情報源２１〜２ｍと、映像情報源からの画像情報をパノラマ映像として合成するとともに、パノラマ映像から必要な部分を切り出す複数の映像処理部３１〜３ｉと、映像処理部から必要な画像情報を取得し、当該画像情報を外部の表示手段９１〜９ｎに送出する映像中継部４と、画像情報の処理を複数の映像処理部に振り分けるとともに、最新のパノラマ映像を保持する映像処理部の識別情報を記憶する映像順序制御部５とを有する。映像中継部は、最新のパノラマ映像を保持する映像処理部に必要な画像範囲を要求し、映像順序制御部は、所定時間ごとにパノラマ映像の合成処理を映像処理部に振り分け、映像処理部は、パノラマ映像の合成処理の終了通知情報を映像順序制御部に送出する。【選択図】図１
2005333552.tif 000002
【特許請求の範囲】
【請求項１】
時間軸に沿って順序付けられた複数の画像情報を順次出力する複数の映像情報源（２１〜２ｍ）と、
同時刻の複数の前記映像情報源（２１〜２ｍ）からの画像情報を合成してパノラマ映像として保持するとともに、前記パノラマ映像から必要な部分を切り出す処理を行う複数の映像処理部（３１〜３ｉ）と、
外部の表示手段（９１〜９ｎ）からの映像要求情報により、前記映像処理部（３１〜３ｉ）から必要な画像情報を取得し、当該画像情報を前記表示手段（９１〜９ｎ）に送出する映像中継部（４）と、
前記映像情報源（２１〜２ｍ）からの画像情報の処理を時間軸に沿って複数の前記映像処理部（３１〜３ｉ）に振り分けるとともに、最新の前記パノラマ映像の合成を終了した前記映像処理部（３１〜３ｉ）の識別情報を記憶する映像順序制御部（５）とを有し、
前記映像中継部（４）は、最新の前記パノラマ映像の合成を終了した前記映像処理部（３１〜３ｉ）の識別情報を前記映像順序制御部（５）に問い合わせ、その結果として得た識別情報に対応する前記映像処理部（３１〜３ｉ）に必要な画像範囲を要求する映像要求情報を送出するものであり、
前記映像順序制御部（５）は、所定時間ごとに複数の前記映像処理部（３１〜３ｉ）の中の１つを選択して前記パノラマ映像の合成を開始させる合成要求情報を送出するものであり、
前記映像処理部（３１〜３ｉ）は、前記合成要求情報を受け取ることにより、複数の前記映像情報源から画像情報を取得して当該画像情報から前記パノラマ映像を合成する処理を開始し、前記パノラマ映像を合成する処理が終了したときに終了通知情報を前記映像順序制御部（５）に送出するものであるパノラマ映像配信システム。
【請求項２】
請求項１に記載したパノラマ映像配信システムであって、
前記映像情報源は、複数方向のほぼ同時刻の映像を撮影してデジタル情報として送出可能な複数のカメラ（２１〜２ｍ）であるパノラマ映像配信システム。
【請求項３】
請求項１に記載したパノラマ映像配信システムであって、
前記映像情報源は、複数方向のほぼ同時刻の映像を予め記録した情報記録手段であるパノラマ映像配信システム。
【請求項４】
請求項１〜３のいずれか１項に記載したパノラマ映像配信システムであって、
前記映像中継部（４）は、インターネット通信網（８）を介して前記表示手段（９１〜９ｎ）と接続されているものであるパノラマ映像配信システム。
【請求項５】
請求項１〜４のいずれか１項に記載したパノラマ映像配信システムであって、
前記映像順序制御部（５）は、前回の合成要求情報に対して終了通知情報が送られてきた前記映像処理部（３１〜３ｉ）に対してのみ、次の合成要求情報を送出するものであるパノラマ映像配信システム。
【請求項６】
請求項５に記載したパノラマ映像配信システムであって、
前記映像順序制御部（５）は、前記映像処理部（３１〜３ｉ）に対し優先順位を設定し、当該優先順位の高い前記映像処理部（３１〜３ｉ）に対して優先的に合成要求情報を送出するものであるパノラマ映像配信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、広範囲方向のパノラマ映像を任意に加工して利用者に配信するパノラマ映像配信システムに関し、詳しくは、多数の利用者が遠隔地から任意の方向や倍率を指定して所望の映像を取得することのできるパノラマ映像配信システムに関するものである。
【背景技術】
【０００２】
近年、画像情報のデジタル化技術の発達、および、インターネットの普及により、ある地点にカメラを据え付け、その映像をインターネット経由で遠隔地から監視したり、不特定多数の利用者に対して閲覧可能とするようなシステムが考案され、利用されるようになってきた。
【０００３】
さらに、カメラ据え付け地点から任意の方角の映像を閲覧したり、遠景の映像を拡大して詳細に観察したりできるように、遠隔地からカメラの方向やズーミングを制御することも行われた。しかし、複数人が同時にこのような映像を利用する場合は、それぞれ見たい方向やズーミングの程度が異なるため、各利用者からの指示を同時に満足することはできないという問題点があった。
【０００４】
そこで、魚眼レンズなどを備え、カメラ自体は広範囲を撮影可能なものとし、撮影後の映像情報のデジタル処理によって見たい方角や範囲の映像を切り出して、歪みなどを整形し、利用者に送付するシステムが開発された。このようなシステムでは、カメラ自体は方向を変えたり、ズーミングしたりする必要がなく、常に同じ設定で映像を撮影できればよい。
【０００５】
複数人が、同時に異なる方向や拡大率の映像を要求してきた場合は、撮影後の映像情報の切り出しや整形の処理を、パラメータを変更して実行するだけでよい。この映像情報の処理を十分高速に実行できれば、交互にパラメータの異なる処理を実行するなどの手法で、ひとつのカメラで撮影した広範囲の映像から同時に異なる方向や異なる拡大率の映像を見せるようなサービスを実現できる。
【０００６】
このようなサービスとしては、例えば、後述の特許文献１に記載されたものがある。特許文献１には、全天球動画やパノラマ映像から一部を選択して配信し、利用者の表示装置に表示するようにした情報通信システムが記載されている。ただし、特許文献１のシステムが魚眼レンズ等の超広角レンズを使用して撮影した映像を処理するものかどうかは記載されていない。
【０００７】
ところで、広範囲を撮影できるレンズは周辺部などで歪みが大きく、このような領域の映像情報をさらに切り出したり整形したりした映像は、解像度が非常に悪化するという問題点がある。さらに、ひとつのカメラで撮影した映像の一部分のみを拡大すれば、レンズの解像度の限界や、撮像素子の画素数の限界から、やはり得られる映像の解像度は悪化する。このような問題点により、魚眼レンズで撮影して後処理で切り出しと整形を実施するシステムは、全般的に解像度が低い傾向にあった。
【０００８】
この解像度の問題点を解決するために、複数のカメラを同一地点に異なる方向を向けて据え付け、相互の映像をデジタル処理でつなぎ合わせて、全体としてパノラマの映像を得る方法が考案された。つなぎ合わせたあとは、前述のシステムと同じように、利用者からの要求に応じて必要な部分映像を切り出すとともにそれを整形して利用者に送付する。
【０００９】
複数の利用者から同時に異なる方向の映像を要求された場合も、カメラの物理的な制御ではなく、部分映像の切り出しと整形処理のパラメータを変えることで対処する。この方法であれば、普通の画角のレンズを使えるため、魚眼レンズなどに比べれば像の歪みも少なく、また、複数のカメラの撮像素子を併用しているため、単一カメラよりも撮像素子の総画素数が多く、魚眼レンズを使う方法よりも解像度の高い映像が得られる。
【００１０】
図１０に、複数のカメラ２１，２２，…，２ｍを使用した映像サービスシステムの構成例を示す。複数のカメラ２１，２２，…，２ｍは、同一地点に設置され、下方を除く全周方向を撮影可能に種々の方向に向けられている。例えば、１つのカメラを上方に向け、５つのカメラを水平方向全周に向けて均等に配置することにより、下方を除く全周方向を撮影可能となる。これらのカメラの撮影映像は、周辺部が隣接するカメラで重複するように配置されている。このため、それぞれの映像をつなぎ合わせることにより、撮影範囲内では画像の抜けがない連続したパノラマ映像が得られる。
【００１１】
次に、映像処理装置３によって、複数のカメラ２１，２２，…，２ｍで撮影された映像情報をつなぎ合わせ、ひとつの広画角のパノラマ映像に合成して記憶する。複数のカメラの映像を合成するので、１台のカメラではとても得られないような、広い画角と高解像度のパノラマ映像がデジタル情報として得られる。また、映像処理装置３は、合成したパノラマ映像の中から必要な部分を切り出し、平面画像として整形する機能を持っている。
【００１２】
一方、ひとつまたは複数の表示装置９１，９２，…，９ｎが、インターネット通信網、専用通信回線、ＬＡＮなどの通信回線８を介して映像処理装置３と通信可能な状態に設定されて設置されている。表示装置９１，９２，…，９ｎの設置場所そのものは、映像処理装置３から遠距離の遠隔地でもよく、もちろん映像処理装置３から近距離の場所でもよい。表示装置９１，９２，…，９ｎにより、遠隔位置の複数カメラで撮影され合成されたパノラマ映像の全体または一部分を表示することができる。
【００１３】
複数のカメラ２１，２２，…，２ｍは、ほぼ同時刻の映像を順次撮影するように制御されており、次々に最新の映像を撮影して映像処理装置３に出力する。映像処理装置３は、全カメラからの映像が揃ったら全映像をつなぎあわせる合成処理を行い、最新のパノラマ映像を生成してこのパノラマ映像を一時記憶する。一方、表示装置９１，９２，…，９ｎは、利用者から指定された表示方向や表示範囲の大きさ等の表示パラメータとともに最新の映像を取得するための映像要求を映像処理装置３に送出する。
【００１４】
この要求を受けた映像処理装置３は、その時点で保持している合成されたパノラマ映像情報の中から必要な範囲を切り出すとともに、平面に整形するなどの変形処理を行い、得られた映像情報をそれぞれの表示装置に送る。映像を入手した表示装置は、これを画面に表示するなどの処理を行う。これらの動作を繰り返すことで、個々の表示装置には、各利用者が見たい範囲の映像が動画として表示できる。もちろん、これらの動作を１回しか行わなければ、静止画の表示システムとしても使用できる。
【００１５】
なお、前述のように設置された複数のカメラで撮影された映像情報のストリームを、予めハードディスクのような情報記録装置に蓄積しておき、デジタルカメラの代わりにこの情報記録装置から映像情報を取り出すようにすれば、過去の映像ストリームに対して、同じようなサービスを提供するシステムも構成できる。このような方法によれば、ひとつのカメラで撮影する方法に比べて、複数の利用者に対して同時に異なる方向や異なる拡大率の映像を、十分な解像度で提供することが可能である。
【特許文献１】特開２００３−１３２３６２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
図１０のような構成のシステムでは、映像処理装置３が情報処理のボトルネックとなってしまい、システム全体が所期の性能を発揮できない場合がある。特に動画表示に使用する場合は、フレームレート（単位時間あたりのフレーム数）が低くならざるを得ない。原因は、複数のカメラ２１，２２，…，２ｍから集めた映像情報をつなぎあわせる合成処理に加えて、合成後の映像から表示装置９１，９２，…，９ｎによって指定された条件の映像を切り出したり整形する処理など、多くの映像処理が必要なためである。
【００１７】
さらに、同時に複数の表示装置に映像送付サービスを実施しているときは、通常、それぞれの表示装置ごとに切り出す範囲などが異なっている。このため、複数カメラからの映像を合成したパノラマ映像から必要な箇所を切り出したり整形する処理は、表示装置ごとに異なる処理内容となる。すなわち、同時にサービスしている表示装置の数だけ切り出し・整形処理を繰り返す必要があり、表示装置の数に比例してこの部分の処理が増加する。このような理由により、映像処理装置が情報処理のボトルネックとなってしまい、システム全体が所期の性能を発揮できない場合があるという問題点が生じていたのである。
【００１８】
そこで、本発明は、高解像度のパノラマ映像から任意の視点を指定した部分映像を取得することができ、また、同時に多数の利用者が遠隔地から任意の方向や倍率を指定しても所期の性能を維持することのできるパノラマ映像配信システムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記目的を達成するために、本発明のパノラマ映像配信システムは、時間軸に沿って順序付けられた複数の画像情報を順次出力する複数の映像情報源と、同時刻の複数の前記映像情報源からの画像情報を合成してパノラマ映像として保持するとともに、前記パノラマ映像から必要な部分を切り出す処理を行う複数の映像処理部と、外部の表示手段からの映像要求情報により、前記映像処理部から必要な画像情報を取得し、当該画像情報を前記表示手段に送出する映像中継部と、前記映像情報源からの画像情報の処理を時間軸に沿って複数の前記映像処理部に振り分けるとともに、最新の前記パノラマ映像の合成を終了した前記映像処理部の識別情報を記憶する映像順序制御部とを有する。そして、前記映像中継部は、最新の前記パノラマ映像の合成を終了した前記映像処理部の識別情報を前記映像順序制御部に問い合わせ、その結果として得た識別情報に対応する前記映像処理部に必要な画像範囲を要求する映像要求情報を送出するものであり、前記映像順序制御部は、所定時間ごとに複数の前記映像処理部の中の１つを選択して前記パノラマ映像の合成を開始させる合成要求情報を送出するものであり、前記映像処理部は、前記合成要求情報を受け取ることにより、複数の前記映像情報源から画像情報を取得して当該画像情報から前記パノラマ映像を合成する処理を開始し、前記パノラマ映像を合成する処理が終了したときに終了通知情報を前記映像順序制御部に送出するものである。
【００２０】
また、上記のパノラマ映像配信システムにおいて、前記映像情報源を、複数方向のほぼ同時刻の映像を撮影してデジタル情報として送出可能な複数のカメラとすることができる。
【００２１】
また、上記のパノラマ映像配信システムにおいて、前記映像情報源を、複数方向のほぼ同時刻の映像を予め記録した情報記録手段とすることができる。
【００２２】
また、上記のパノラマ映像配信システムにおいて、前記映像中継部は、インターネット通信網を介して前記表示手段と接続されているものであることが好ましい。
【００２３】
また、上記のパノラマ映像配信システムにおいて、前記映像順序制御部は、前回の合成要求情報に対して終了通知情報が送られてきた前記映像処理部に対してのみ、次の合成要求情報を送出するものであることが好ましい。
【００２４】
また、上記のパノラマ映像配信システムにおいて、前記映像順序制御部は、前記映像処理部に対し優先順位を設定し、当該優先順位の高い前記映像処理部に対して優先的に合成要求情報を送出するものとすることができる。
【発明の効果】
【００２５】
本発明は、以上のように構成されているので、以下のような効果を奏する。
【００２６】
複数の映像処理部を設け、映像に対する処理をフレームごとに複数の映像処理部に振り分けて並列動作を行うようにしたので、高解像度の画像処理の処理能力を大幅に向上させることができる。また、パノラマ映像配信システムが送出可能な映像のフレームレートの上限値も大幅に増加させることができる。また、パノラマ映像の各フレームの合成処理と、当該フレームからの部分映像の切り出し処理が同一の映像処理部で行われるので、フレーム映像の転送等を行う必要もなく効率的に全体の処理を実行することができる。また、全ての映像処理を１台で処理可能な高性能コンピュータを採用した場合に比べて、システム全体のコストを低減させることができる。さらに、映像処理部を複数設けることによりシステムの信頼性も向上させることができる。
【００２７】
映像情報源を複数方向のほぼ同時刻の映像を撮影してデジタル情報として送出可能な複数のカメラとすれば、現在の状態をリアルタイムで詳細に観察、監視可能なモニタシステムとして利用することができる。また、視線方向および拡大率等を利用者ごとに任意に設定することができる。
【００２８】
映像情報源を複数方向のほぼ同時刻の映像を予め記録した情報記録手段とすれば、過去の状態を詳細に参照可能な記録・モニタシステムとして利用することができる。また、視線方向および拡大率等を利用者ごとに任意に設定することができる。
【００２９】
映像中継部がインターネット通信網を介して表示手段と接続されているので、遠距離でも安価に接続可能なパノラマ映像配信システムを提供でき、利用者のランニングコストを低減することができる。
【００３０】
映像順序制御部が、前回の合成要求情報に対して終了通知情報が送られてきた映像処理部に対してのみ、次の合成要求情報を送出するものであるため、フレームの脱落を防止し、映像処理を全体として円滑に実行することができる。また、フレームごとの画像処理の振り分けは、映像順序制御部が任意のアルゴリズムに従って実行することができるため、複数の映像処理装置を循環的に使用したり、優先順位を付けて使用したり、状況に応じた最適な振り分けアルゴリズムを採用することができる。
【００３１】
映像処理部に対し優先順位を設定し、映像順序制御部が優先順位の高い映像処理部に対して優先的に合成要求情報を送出するものである場合には、必要な場合に必要な台数の映像処理部が利用されるようになり、利用されない映像処理部を低消費電力状態として消費電力を低減させたり、他の情報処理を実行させる等により、効率的にコンピュータ資源を利用することができる。
【発明を実施するための最良の形態】
【００３２】
本発明の実施の形態について図面を参照して説明する。図１は、本発明のパノラマ映像配信システムの全体構成を示す図である。複数のカメラ２１，２２，…，２ｍは、複数の方向を向けて組み合わされたパノラマ映像撮影用のカメラである。複数のカメラ２１，２２，…，２ｍは、近接したほぼ同一地点に設置され、下方を除く全周方向を撮影可能に種々の方向に向けられている。例えば、１つのカメラを上方に向け、５つのカメラを水平方向全周に向けて均等に配置することにより、下方を除く全周方向を撮影可能となる。これらのカメラの撮影映像は、周辺部が隣接するカメラで重複するように配置されている。このため、それぞれの映像をつなぎ合わせることにより、撮影範囲内では画像の抜けがない連続したパノラマ映像が得られる。
【００３３】
なお、カメラ２１，２２，…，２ｍに代えて、他の映像情報源を使用してもよい。他の映像情報源としては動画映像を記録した固定ディスク装置（ハードディスク）等が使用できる。このように、映像情報源としては、ハードディスク等の情報記録装置に映像情報を予め記録し、その映像情報を一定の時間間隔で読み出せる装置でもよく、デジタルカメラのように、一定時間間隔で映像を撮影して出力できる装置でもよい。また、その他の動画映像を生成する任意の装置も映像情報源として使用できる。
【００３４】
映像処理装置３１，３２，…，３ｉは、複数のカメラ２１，２２，…，２ｍから入手した同一時刻の映像フレームからパノラマ映像を合成し、そのパノラマ映像から必要な部分映像を切り出して出力する装置である。本発明においては、複数の映像処理装置３１，３２，…，３ｉが設置されており、協働してパノラマ映像の合成や部分映像を切り出し等の映像処理を行うものである。
【００３５】
映像処理装置３１〜３ｉの内部にはパノラマ形状が定義されている。パノラマ形状とは、複数の異なる方向の画像を接続して合成するための土台というべきものであり、２次元形状または３次元形状である。３次元形状としては典型的には球面（図２（ｂ）参照）が使用される。カメラの位置は球面の中心となる。２次元形状としては、地図における円筒図法と同様に、球面を円筒面に投影して切り開いた平面（図２（ａ）参照）がある。
【００３６】
映像の合成処理では、複数のカメラから入力された複数の映像の全ての画素を、パノラマ形状の座標に対応付ける（マッピング）。図２（ａ）は複数のカメラによる複数の撮影映像２１ａ，２２ａ，２３ａを平面上にマッピングした例であり、図２（ｂ）は複数のカメラによる複数の撮影映像２１ｂ，２２ｂ，２３ｂを球面上にマッピングした例である。これらのマッピング時には、同時にレンズ歪なども補正する。
【００３７】
さらに、図２のように複数の撮影映像の撮影範囲が重なっている場合は、パノラマ形状における撮影範囲が重なった部分の座標では複数のカメラによる画素データが重複して存在する。複数の撮影映像を１つのパノラマ映像に合成する処理では、特定のカメラの画素のみを採用したり、予め定められた重みにより複数の画素を重み付け加算して混合したりする。このようにして、複数の異なる方向の撮影映像をパノラマ形状の上にマッピングすることにより、レンズ歪の補正および複数カメラの撮影映像の合成が完了する。合成を完了したパノラマ映像は映像処理装置３１〜３ｉ内部の記憶装置に記憶される。
【００３８】
パノラマ映像から部分映像を切り出す処理は、記憶装置に保存されたパノラマ形状上にマッピングされたパノラマ映像の中から、利用者によって要求された部分のみを平面状の部分映像として取り出すものである。パノラマ形状が平面の場合は、図３のように、部分映像が長方形の領域として切り出される。領域を符号９１ａに示すように大きく設定すれば広角レンズによる映像となり、符号９２ａに示すように小さく設定すれば望遠レンズによる映像となる。パノラマ形状が球面の場合は、図４に示すように、指定された視点と視線方向および画角を決め、通常のコンピュータグラフィックスの手法（透視投影法等）により、球面上の映像Ａを平面上に投影して映像Ｂとして、２次元の映像を切り出す。
【００３９】
このような、部分映像を切り出す処理においては、切り出し領域の位置、大きさに加えて、切り出し領域を部分映像に変換する際の解像度も任意に指定できる。指定された解像度が元映像の解像度より高いこともあり得るが、その場合には内挿演算（補間演算）などにより中間の画素値が計算される。また、パノラマ形状全体をネットワーク転送に適した低い解像度に変換して送信することも可能である。さらに、この映像切り出し処理において、切り出した映像に対して圧縮処理などを施すこともできる。
【００４０】
図１の説明に戻る。映像順序制御装置５は、映像処理装置３１，３２，…，３ｉの中の適切な１台にパノラマ映像の合成を指示し、また、合成されたパノラマ映像の最新フレームを保持している映像処理装置３１，３２，…，３ｉの識別子を記憶し、パノラマ映像のフレーム順序を制御するための装置である。映像順序制御装置５は合成処理の終了した映像処理装置３１，３２，…，３ｉからの終了通知を逐次受け取っており、その終了通知から最新フレームを保持している映像処理装置の識別子を抽出して記憶している。
【００４１】
一方、ひとつまたは複数の表示装置９１，９２，…，９ｎが、インターネット通信網、専用通信回線、ＬＡＮなどの通信回線８を介して映像中継装置４と通信可能な状態に設定され設置されている。表示装置９１，９２，…，９ｎの設置場所は、映像中継装置４から遠距離の遠隔地でもよく、もちろん映像中継装置４から近距離の場所でもよい。表示装置９１，９２，…，９ｎにより、遠隔位置の複数カメラで撮影され合成されたパノラマ映像の全体または一部分（利用者が任意に選択した部分）を表示することができる。
【００４２】
映像中継装置４は、表示装置９１，９２，…，９ｎと映像処理装置３１，３２，…，３ｉとの間で映像情報の中継を行うための装置である。映像中継装置４は、映像順序制御装置５からパノラマ映像の最新フレームを保持している映像処理装置の識別子を入手し、その識別子の映像処理装置に対して必要な映像範囲の情報を含む映像要求を送り、最新パノラマ映像の中から必要な部分映像を取得する。映像中継装置４は、さらにその部分映像を表示装置９１，９２，…，９ｎに転送する。
【００４３】
複数のカメラ２１，２２，…，２ｍは、ほぼ同時刻の映像を順次撮影するように制御されており、次々に最新の映像を撮影して映像処理装置３１，３２，…，３ｉに出力する。本発明のシステムでは、複数の映像処理装置３１，３２，…，３ｉが設置されており、処理を行う映像処理装置をパノラマ映像の各フレームごとに切り換え、映像処理装置３１，３２，…，３ｉの並列動作によってパノラマ映像の処理能力を大幅に向上させたものである。
【００４４】
映像処理装置３１，３２，…，３ｉは、全カメラからの撮影映像が揃ったら全映像をつなぎあわせる合成処理を行い、最新のパノラマ映像を生成してこのパノラマ映像を記憶する。なお、映像処理装置３１，３２，…，３ｉの詳細な動作については、後に図７を参照して説明する。一方、表示装置９１，９２，…，９ｎは、利用者から指定された表示方向や表示範囲の大きさ等の表示パラメータに従った最新の映像を取得するための映像要求を映像中継装置４に送出する。
【００４５】
この映像要求を受けた映像中継装置４は、前述のように、映像順序制御装置５からパノラマ映像の最新フレームを保持している映像処理装置の識別子を入手し、その識別子の映像処理装置に対して必要な映像範囲の情報を含む映像要求を送り、最新パノラマ映像の中から必要な部分映像を取得する。この部分映像は、映像処理装置がその時点で保持している合成されたパノラマ映像情報の中から必要な範囲を切り出すとともに、平面映像に整形するなどの変形処理を行うことで得られる。
【００４６】
得られた映像情報は映像中継装置４に送られ、映像中継装置４はその映像情報を要求してきた表示装置に転送する。映像を取得した表示装置は、これを画面に表示するなどの処理を行う。これらの動作を繰り返すことで、個々の表示装置に各利用者が見たい範囲の映像を動画として表示できる。もちろん、これらの動作を１回しか行わなければ、静止画の表示システムとしても使用できる。
【００４７】
なお、前述のように、映像情報源としてカメラに代えてハードディスク等の情報記録装置を使用することもできる。設置された複数のカメラで撮影された映像情報のストリームを、予め情報記録装置に蓄積しておき、デジタルカメラの代わりにこの記録装置から映像情報を取り出すように構成すれば、過去の映像ストリームに対して、前述の説明と同様のパノラマ映像配信サービスを提供するシステムとなる。
【００４８】
次に、図５から図８のフローチャートにより、本発明のパノラマ映像配信システムの動作を詳細に説明する。図５は、表示装置９１〜９ｎの動作を示すフローチャートである。利用者は、表示装置を起動し、パノラマ映像から切り出す部分映像の範囲の大きさ、視線方向の角度、拡大率等から、自分の都合のよいパラメータにより表示させたい部分映像の範囲を指定する。そして、画面上に表示された「映像表示」ボタンなどをマウスによってクリックする等の操作により、図２のフローチャートの処理が開始される。
【００４９】
まず、手順９０１で、利用者の指定した部分映像の範囲を含む映像要求コマンドを発行して、映像中継装置４に対してその映像要求コマンドを送出する。次に、手順９０２において、要求した映像が受信されるまで待ち、その要求映像を取得する。そして、手順９０３において、取得した映像（最新フレーム）を画面に表示する。映像の画面表示は、表示画面の全領域に表示してもよく、表示画面の部分領域に表示するようにしてもよい。
【００５０】
次に、手順９０４において、映像表示を継続するか終了するかの判定を行う。終了する場合は、処理全体を終了して映像表示を停止する。継続する場合には、手順９０１に戻り、以上の処理を繰り返す。このとき、終了・継続の判定は、画面上に表示された「停止」ボタンなどがマウスによってクリックされたか否か、または、表示停止のためのキー操作がされたか否かによって行う。すなわち、「停止」ボタンがクリックされたり、表示停止のためのキー操作がされた場合に「終了」と判定される。
【００５１】
以上のような、動作を繰り返すことにより、各利用者が任意に指定した範囲の部分映像、またはパノラマ画像全体を表示装置９１〜９ｎに動画として表示することができる。また、表示中に視線方向や拡大率等を変更すれば、次の繰り返しの手順９０１における映像要求コマンドの部分映像の範囲として反映されるので、リアルタイムで表示映像の範囲を変更することができる。例えば、動画として表示中に表示映像をマウスでドラッグして視線方向を変更したり、拡大率を変更することがリアルタイムで行える。
【００５２】
図６は、映像中継装置４の動作を示すフローチャートである。映像中継装置４が起動すると、まず手順４０１において、表示装置９１〜９ｎからの映像要求があるか否かを判断する。映像要求が無ければ、判断を繰り返し映像要求が受信されるまで待つ。映像要求が受信された場合は手順４０２に進む。次の手順４０２では、映像要求を送信してきた表示装置の識別情報を映像要求コマンドから抽出して記憶する。ここで識別情報とは、インターネットのようなＴＣＰ／ＩＰに従う通信網では送信元の表示装置のＩＰアドレスとなる。他のプロトコルによる通信網の場合は、送信元の表示装置を特定可能な識別情報となる。
【００５３】
次に、手順４０３において、映像順序制御装置５に問い合わせを行い、最新映像を保持している映像処理装置（映像処理装置３１〜３ｉの中の１つ）を特定するための識別子を取得する。映像順序制御装置５は、パノラマ映像の合成を終了したことを示す終了通知を映像処理装置３１〜３ｉから逐次受け取っており、その終了通知から最新フレームを保持している映像処理装置の識別子を抽出して記憶している。
【００５４】
次に、手順４０４において、手順４０３で取得した識別子の映像処理装置に対して、利用者の指定した部分映像の範囲を要求する映像要求を送出し、利用者が要求した映像の最新フレームを取得する。そして、手順４０５において、映像処理装置から取得したその要求映像を、映像要求の送信元である表示装置に送出するのである。次に、手順４０６で、映像中継装置４に対して、動作を終了させる指示が成されているか否かを判定する。終了の指示が成されていれば動作を終了し、成されていなければ最初の手順４０１に戻って以上の動作を繰り返す。
【００５５】
図７は、映像処理装置３１〜３ｉの動作を示すフローチャートである。映像処理装置３１〜３ｉが起動すると、まず手順３０１において、イベントが発生しているか否かを判断し、発生していなければ発生するまで待つ。発生していれば次の手順３０２に進む。手順３０２では発生したイベントの種類を判定して、イベントの種類に応じて処理を分岐する。
【００５６】
発生イベントが終了の指示であった場合には、全体の処理を終了する。また、発生イベントが映像中継装置４から映像要求を受信したことを示すものであった場合には手順３０３に進み、発生イベントが映像順序制御装置５から合成要求を受信したことを示すものであった場合には手順３０５に進む。なお、合成要求とはパノラマ映像の合成開始を指示するために映像順序制御装置５から送られてくる情報である。
【００５７】
手順３０３では、記憶装置の中に記憶されている合成済みのパノラマ映像の中から、映像要求のパラメータで指定された範囲の映像を切り出し、歪みの補正などを実施して平面画像として整形する。次の手順３０４では、切り出し・整形して作成した要求映像の最新フレームを映像中継装置４に送出する。手順３０４の後は、手順３０１に戻りイベントの発生を監視する。
【００５８】
一方、手順３０２においてイベント判定が映像順序制御装置５からの合成要求であった場合は、手順３０５に進み、複数のカメラ２１〜２ｍの全てから撮影映像を取得する。手順３０６では、全てのカメラ２１〜２ｍからの映像取得を完了したか否を判断し、完了していなければ手順３０５に戻って映像取得を続行し、完了していれば次の手順３０７に進む。
【００５９】
手順３０７では、各カメラ２１〜２ｍの撮影映像の合成処理を行い、各映像を周辺部でずれないようにつなぎ合わせ、その結果を合成済みのパノラマ映像として記憶装置に記憶する。次の手順３０８では、合成処理が終了したことを示す終了通知を映像順序制御装置５に送出する。なお、この終了通知には自己の映像処理装置を識別可能とするための識別子の情報が含まれている。手順３０８の後は、手順３０１に戻りイベントの発生を監視する。
【００６０】
なお、このフローチャートでは、映像要求に対する処理（手順３０３〜３０４）と合成要求に対する処理（手順３０５〜３０８）とを逐次処理として実行しているが、これらは並列処理として実行するようにしてもよい。
【００６１】
図８は、映像順序制御装置５の動作を示すフローチャートである。映像順序制御装置５が起動すると、まず手順５０１においてタイマの設定を行う。本実施の形態のパノラマ映像配信システムが、例えば、ｌ秒間に１５フレームの映像を表示装置９１〜９ｎに送るという仕様であれば、タイマは１／１５秒ごとにタイマイベントを発生させるように設定される。次に、手順５０２において、イベントが発生しているか否かを判断し、発生していなければ発生するまで待つ。発生していれば次の手順５０３に進む。
【００６２】
手順５０３では発生したイベントの種類を判定して、イベントの種類に応じて処理を分岐する。すなわち、発生イベントが終了の指示であった場合には、全体の処理を終了し、発生イベントがその他のものである場合には、手順５０４でその他のイベントの種類を判定し処理を分岐する。なお、このフローチャートでは、手順５０３および手順５０４の２つの手順によってイベントの判定および分岐を行っているが、実際には１つの手順によって全てのイベントの判定・分岐を行うことになる。
【００６３】
手順５０４において、発生イベントがタイマイベントであった場合は、手順５０５に進み、前回の合成要求による合成処理が終了した映像処理装置３１〜３ｉの中から適切な１台を選択して、その映像処理装置に合成要求を送出してパノラマ映像の合成を指示する。手順５０５の後は、手順５０２に戻りイベントの発生を監視する。
【００６４】
なお、手順５０５において合成を指示する映像処理装置の選択方法には、複数の方法が考えられる。第１の選択方法としては、複数の映像処理装置３１〜３ｉの全てを順番に循環的に選択する方法がある。例えば、映像処理装置３１，３２，３３の３台の映像処理装置が設置されている場合、３１→３２→３３→３１→３２→…というように循環的に選択すればよい。
【００６５】
ただし、この選択順番に当たる映像処理装置が前回の合成処理をまだ終了していない場合には、その映像処理装置を飛ばしてその次の映像処理装置を選択すればよい。映像処理装置を飛ばした場合でも、合成されたパノラマ画像の順序は合成要求を発行した順序と同じになるようにすることができ、各フレームの順序が入れ替わったり、フレームが脱落してしまうことを防止することができる。
【００６６】
第２の選択方法としては、映像処理装置３１〜３ｉの全てに優先順位を付けておき、その時点で合成処理を終了している最も優先順位の高い映像処理装置を選択する方法がある。例えば、映像処理装置３１，３２，３３の３台の映像処理装置が設置されている場合、番号の小さい映像処理装置を優先的に選択するものとして、３１→３２→３１→３２→…というように選択される。これは、合成処理が２台の映像処理装置でも処理可能な場合である。
【００６７】
アクセス数が増加する等により、２台の映像処理装置では合成処理を処理しきれなくなると、自動的に３台目の映像処理装置が選択されるようになり、３１→３２→３３→３１→３２→３３→…という選択順序に変化する。この場合も、合成されたパノラマ画像の順序は合成要求を発行した順序と同じになるようにすることができ、各フレームの順序が入れ替わったり、フレームが脱落してしまうことを防止することができる。
【００６８】
このような第２の選択方法を採用すると、必要な場合に必要な台数の映像処理装置が利用されるようになるので、利用されない映像処理装置を低消費電力状態（待機状態）として消費電力を低減させたり、他の情報処理を実行させる等により効率的にコンピュータ資源を利用することができる。
【００６９】
なお、第１、第２の選択方法の他にも、種々の選択方法が考えられるが、いずれの選択方法を採用してもよい。このように映像処理装置を任意の選択順序で使用することが可能であり、この自由度の高さが本発明の利点の１つである。すなわち、状況に応じて最適な選択方法を採用することができる。
【００７０】
手順５０４において、発生イベントが映像処理装置３１〜３ｉから合成処理を終了した旨を示す終了通知を受信したことを示すものであった場合には、手順５０６に進み、最新映像（パノラマ映像の最新フレーム）を保持している映像処理装置を示す識別子を更新する。手順５０６の後は、手順５０２に戻りイベントの発生を監視する。
【００７１】
最新映像の保存先を示す識別子は、単純に一番最後に受信した終了通知に含まれる識別情報に更新すると、パノラマ映像のフレーム順序が入れ替わってしまうおそれがある。合成処理に必要な時間は各フレームの画像情報の内容によって異なるため、終了通知の順番が合成要求の発行順序と異なってしまう可能性もあるからである。
【００７２】
このようなフレーム順序の入れ替わりを防止するためには、２〜３個の終了通知をバッファに保持しておき、合成要求の発行順序が早いものから順番にバッファ内の終了通知を取り出して、最新映像の保存先を示す識別子に反映させるようにすればよい。ただし、多少のフレーム順序の入れ替わりやフレーム脱落が発生しても許容できる場合には、単純に一番最後に受信した終了通知によって識別子を更新してもよい。
【００７３】
手順５０４において、発生イベントが映像中継装置４から最新映像の保存先を示す識別子の問い合わせを受信したことを示すものであった場合には、手順５０７に進み、最新映像を保持している映像処理装置を示す識別子を映像中継装置４に送出する。手順５０７の後は、手順５０２に戻りイベントの発生を監視する。
【００７４】
以上の図５から図８に示す動作により、図１に示す本発明のパノラマ映像配信システムは、パノラマ映像の合成処理および要求映像の切り出し・整形処理をフレームごとに複数の映像処理装置３１〜３ｉから選択した１つに振り分け、複数の映像処理装置３１〜３ｉによる並列動作によって高解像度の画像処理を必要な時間内で行うことができる。
【００７５】
フレームごとの画像処理の振り分けは、映像順序制御装置５が任意のアルゴリズムで行うことができる。このため、映像処理装置３１〜３ｉを循環的に使用したり、優先順位を付けて使用したり、状況に応じた最適な振り分けアルゴリズムを採用することができる。
【００７６】
また、映像処理装置３１〜３ｉの中の１台が故障等によって動作停止しても、その他の映像処理装置による処理能力が映像処理の全体処理量を上回っていれば、そのまま正常な動作を行うことが可能である。そのため、パノラマ映像配信システム全体の信頼性が大幅に向上する。また、映像処理の処理量（例えば、アクセス数等）に応じて、動的に映像処理装置３１〜３ｉの数を増減させるようなことも容易に実施することができ、コンピュータ資源を効率的に利用することができる。
【００７７】
図９は、映像処理装置３１〜３ｉの動作の一例を示すタイミングチャートである。この例では、映像処理装置が４台が設置されており、それらは映像処理装置３１〜３４として示されている。また、映像中継装置４が毎秒送出するフレーム数（フレームレート）は１５である場合を示している。ただし、これらの数値はあくまで１つの例示であり他の数値でもよい。
【００７８】
図９の例では、映像処理装置３１〜３４が単独でパノラマ映像の１フレームの合成に要する時間は、３．４／１５＝０．２２７秒程度である。したがって、映像処理装置が単独で合成できる毎秒のフレーム数は約４．４となり、単独の映像処理装置が処理可能なフレームレートは４．４が上限値となる。本発明では、複数の映像処理装置を設置して、フレームごとにそれぞれの映像処理装置に処理を振り分けることにより、全体の処理能力を大幅に向上させ、フレームレートの上限値も大幅に引き上げることができたものである。
【００７９】
便宜上、各フレームに通し番号を付して説明する。図９に示すように、時間０秒において映像処理装置３１がフレーム＃１の合成処理を開始する。時間１／１５秒においては映像処理装置３２が次のフレーム＃２の合成処理を開始し、時間２／１５秒においては映像処理装置３３がフレーム＃３の合成処理を開始し、時間３／１５秒においては映像処理装置３４がフレーム＃４の合成処理を開始する。
【００８０】
ここでは映像処理装置３１〜３４が循環的に使用されている。時間４／１５秒においては、映像処理装置３１が既に前回の合成要求による合成処理を終了しているので、再び映像処理装置３１に合成要求が発行され、映像処理装置３１がフレーム＃５の合成処理を開始する。以下、同様に映像処理装置３１〜３４に循環的に各フレームの合成処理が振り分けられる。
【００８１】
合成を終了したパノラマ映像から部分映像を切り出して送出することは、各フレームの合成処理が終了した後に可能となる。すなわち、時間４／１５秒にはフレーム＃１からの要求映像が送出可能となる。以下、１／１５秒ごとに順次、後続のフレームが送出可能となる。したがって、この例では４台の映像処理装置を使用して、フレームレートが１５の動画配信を余裕を持って処理することができる。
【００８２】
映像処理装置が単独で処理可能なフレームレートの上限値をｆとすると、映像処理装置をｉ台使用して処理を行う場合には、並列実行により全体の処理能力がｉ倍になるので、システム全体が処理可能なフレームレートの上限値Ｆは、式：Ｆ＝ｉ×ｆによって得られる。図９の例では、フレームレートの上限値Ｆは、Ｆ＝４×４．４＝１７．６となる。
【００８３】
また、瞬間的に処理時間が増大するような映像（例えば、１フレームだけ異常に処理時間が増大するような映像）が入力された場合、従来のシステムであるとそのフレームの処理が間に合わず、そのフレームが脱落してしまうことになる。本発明においては、映像順序制御装置に終了通知が送られて来ていない映像処理装置には次の合成要求が発行されず、既に合成処理の終了している次の映像処理装置に合成要求が発行されるので、このような場合でも映像処理は全体として支障なく処理される。すなわち、単位時間あたりの各フレームの処理の合計量が、映像処理装置全体の単位時間あたりの処理能力の範囲内であればよい。また、合成処理を終了したフレームを合成要求の発行順に出力するようにすれば、フレームの順序が入れ替わることもない。
【００８４】
以上に説明したように、本発明のパノラマ映像配信システムは、複数の映像処理装置を設け、パノラマ映像の合成処理および要求映像の切り出し・整形処理をフレームごとに複数の映像処理装置に振り分け、複数の映像処理装置による並列動作を行うことにより、高解像度の画像処理の処理能力を大幅に向上させることができる。また、パノラマ映像配信システムが送出可能な映像のフレームレートの上限値も大幅に増加させることができる。
【００８５】
フレームごとの画像処理の振り分けは、映像順序制御装置が任意のアルゴリズムに従って実行することができる。このため、複数の映像処理装置を循環的に使用したり、優先順位を付けて使用したり、状況に応じた最適な振り分けアルゴリズムを採用することができる。さらに、パノラマ映像の各フレームの合成処理と、当該フレームからの部分映像の切り出し処理が同一の映像処理装置で行われるので、フレーム映像の転送等を行う必要もなく効率的に全体の処理を実行することができる。
【００８６】
また、複数の映像処理装置の中の１台が故障等によって動作停止しても、その他の映像処理装置による処理能力が映像処理の必要処理量を上回っていれば、そのまま正常な動作を行うことが可能である。そのため、パノラマ映像配信システム全体の信頼性が向上する。また、映像処理の処理量（例えば、アクセス数等）に応じて、動的に映像処理装置の数を増減させるようなことも容易に実施することができ、コンピュータ資源を効率的に利用することができる。
【００８７】
また、本発明のパノラマ映像配信システムによれば、同じ映像処理を１台で処理可能な高性能コンピュータを採用した場合に比べて、システム全体のコストを低減させることができる。さらに、映像処理装置を複数設けることによりシステムの信頼性も向上させることができる。
【００８８】
なお、以上に説明した実施の形態では、映像順序制御装置がパノラマ映像の合成を指示する情報を映像処理装置に送るようにしているが、合成を開始させるための情報を映像情報源（カメラ）に送るようにしてもよい。映像情報源はこの情報によって撮影映像を映像処理装置に送り、映像処理装置は全ての映像情報源からの映像を受け取った時点で合成処理を開始すればよい。
【００８９】
また、映像順序制御装置が、前回の合成要求に対する終了通知を確認した映像処理装置にのみ、次のパノラマ映像の合成処理を振り分けるようにしているが、各映像処理装置の処理能力から合成処理が終了していることがほぼ確実である場合は、終了通知を確認することなく合成処理を振り分けるようにしてもよい。この場合には、１フレームに対応する時間間隔で、決められた順番で各映像処理装置に合成処理が振り分けられる。
【００９０】
さらに、映像情報源としての複数のカメラは、下方を除く全周方向を撮影可能なカメラを例にとって説明したが、それに限定されることはなく、下方を含む全周方向を撮影可能なものでもよいし、下方および上方を除く水平面内を撮影可能なものでもよい。これ以外にも、複数のカメラを任意に組み合わせて撮影映像を合成するものであればどのようなものでも利用可能である。
【産業上の利用可能性】
【００９１】
本発明によれば、全方向のパノラマ映像を任意に加工して利用者に配信するパノラマ映像配信システムを低コストで提供することができ、また、パノラマ映像配信システムの処理能力および信頼性を向上させることができる。
【図面の簡単な説明】
【００９２】
【図１】本発明のパノラマ映像配信システムの全体構成を示す図である。
【図２】パノラマ形状と複数カメラの撮影範囲を示す図である。
【図３】パノラマ形状が平面の場合の要求映像の切り出しを示す図である。
【図４】パノラマ形状が球面の場合の要求映像の平面への投影を示す図である。
【図５】表示装置９１〜９ｎの動作を示すフローチャートである。
【図６】映像中継装置４の動作を示すフローチャートである。
【図７】映像処理装置３１〜３ｉの動作を示すフローチャートである。
【図８】映像順序制御装置５の動作を示すフローチャートである。
【図９】映像処理装置３１〜３ｉの動作の一例を示すタイミングチャートである。
【図１０】従来のパノラマ映像配信システムを示す図である。
【符号の説明】
【００９３】
３  映像処理装置
４  映像中継装置
５  映像順序制御装置
８  通信回線
２１〜２ｍ  カメラ
３１〜３ｉ  映像処理装置
９１〜９ｎ  表示装置
【図１】
2005333552.tif 000003
【図２】
2005333552.tif 000004
【図３】
2005333552.tif 000005
【図４】
2005333552.tif 000006
【図５】
2005333552.tif 000007
【図６】
2005333552.tif 000008
【図７】
2005333552.tif 000009
【図８】
2005333552.tif 000010
【図９】
2005333552.tif 000011
【図１０】
2005333552.tif 000012