(57)【要約】【課題】  複数の視線方向の画像を複数の画像受信装置へ同時に配信することができる画像配信システムを提供する。【解決手段】  画像配信システムは、画像配信装置２２と１つ以上の画像受信装置２４とを備え、画像配信装置２２は、周囲３６０度の画像を撮像する円画像撮像部２５と、画像受信装置２４より、円画像撮像部２５からの視線方向を受信する制御部４８と、円画像を前記視線方向に向かって見た画像に変換する画像処理部４２と、画像処理部４２で変換された後の変換画像を画像受信装置２４へ配信する画像配信部４６とを備えている。【選択図】      図２
2006157123.tif 000002
【特許請求の範囲】
【請求項１】
画像配信装置と１つ以上の画像受信装置とを備える画像配信システムであって、
前記画像配信装置は、
周囲３６０度を一度に観測可能な全方位画像を取得する全方位画像取得手段と、
前記画像受信装置より、視線方向を受信する視線方向受信手段と、
前記全方位画像を前記視線方向に向かって見た画像に変換する画像変換手段と、
前記画像変換手段で変換された後の変換画像を前記画像受信装置へ配信する変換画像配信手段とを備え、
前記画像受信装置は、
前記視線方向を前記画像配信装置へ送信する視線方向送信手段と、
前記変換画像を受信する変換画像受信手段と、
前記変換画像を表示する表示手段とを備える
ことを特徴とする画像配信システム。
【請求項２】
前記変換画像配信手段は、前記変換画像を圧縮して配信する
ことを特徴とする請求項１に記載の画像配信システム。
【請求項３】
前記変換画像受信手段は、圧縮された前記変換画像を受信した後、伸張する
ことを特徴とする請求項２に記載の画像配信システム。
【請求項４】
前記画像配信装置は、さらに、前記全方位画像取得手段で取得された全方位画像を前記画像受信装置へ配信する全方位画像配信手段を備え、
前記画像受信装置は、さらに、前記全方位画像を受信する全方位画像受信手段を備え、
前記視線方向送信手段は、前記全方位画像に基づいて前記視線方向を決定し、当該視線方向を前記画像配信装置へ送信し、
前記表示手段は、前記全方位画像および前記変換画像を表示する
ことを特徴とする請求項１〜３のいずれか１項に記載の画像配信システム。
【請求項５】
前記全方位画像配信手段は、前記全方位画像を圧縮して配信する
ことを特徴とする請求項４に記載の画像配信システム。
【請求項６】
前記全方位画像受信手段は、圧縮された前記全方位画像を受信した後、伸張する
ことを特徴とする請求項５に記載の画像配信システム。
【請求項７】
前記画像配信装置は、さらに、前記画像受信装置より、拡大または縮小に関する指示を受信する拡大縮小指示受信手段を備え、
前記画像変換手段は、
前記拡大または縮小に関する指示に基づいて、変換後の画像の倍率を決定する画像倍率決定部と、
変換後の画像倍率が前記画像倍率決定部で決定された前記画像倍率になるように、前記全方位画像を前記視線方向に向かって見た画像に変換する変換部とを有し、
前記画像受信装置は、さらに、前記拡大または縮小に関する指示を前記画像配信装置に送信する拡大縮小指示送信手段を備える
ことを特徴とする請求項１〜６のいずれか１項に記載の画像配信システム。
【請求項８】
前記全方位画像取得手段は、
凸面形状を有する第１のミラーと、
前記第１のミラーで反射された画像を集光するレンズと、
前記レンズで集光された画像を撮像する画像撮像部とを有する
ことを特徴とする請求項１〜７のいずれか１項に記載の画像配信システム。
【請求項９】
前記全方位画像取得手段は、さらに、
前記第１のミラーで反射された画像を反射する第２のミラーを有し、
前記レンズは、前記第２のミラーで反射された画像を集光する
ことを特徴とする請求項８に記載の画像配信システム。
【請求項１０】
前記第１のミラーは、二葉双曲面の一方の双曲面の形状を有する
ことを特徴とする請求項８または９に記載の画像配信システム。
【請求項１１】
前記第１のミラーは、放物面形状を有する
ことを特徴とする請求項８または９に記載の画像配信システム。
【請求項１２】
前記第１のミラーは、二葉双曲面の一方の双曲面の形状を有し、
前記第２のミラーは、平面形状を有する
ことを特徴とする請求項９に記載の画像配信システム。
【請求項１３】
前記第１のミラーは、二葉双曲面の一方の双曲面の形状を有し、
前記第２のミラーは、楕円面形状を有する
ことを特徴とする請求項９に記載の画像配信システム。
【請求項１４】
前記第１のミラーおよび前記第２のミラーの各々は、放物面形状を有する
ことを特徴とする請求項９に記載の画像配信システム。
【請求項１５】
前記画像変換手段は、下記の数式に従って画像変換処理を施すことにより、前記画像撮像部で撮像された画像を前記第１のミラーの焦点から前記視線方向に向かって見た画像に変換する
ただし、ａ，ｂは「前記第１のミラーの前記焦点と前記レンズの中心とを結ぶ軸をＺ軸とし、前記第１のミラーの前記焦点と前記レンズの中心との中心を座標原点０とする０−ＸＹＺ３次元座標系において、前記第１のミラーを表す式、（Ｘ2＋Ｙ2）／ａ2−Ｚ2／ｂ2＝−１における定数ａ、ｂ」であり、ｃは、「座標原点０から、前記第１のミラーの前記焦点または前記レンズの中心までの距離」であり、βは、「Ｚ軸と原画像点とを含む平面内において、前記レンズの中心から原画像点を見た方向が、前記レンズの中心を通り、Ｚ軸に垂直な直線となす角度」であり、αは、「Ｚ軸と変換画像点とを含む平面内において、前記第１のミラーの前記焦点から変換画像点を見る方向が、前記第１のミラーの前記焦点を通り、Ｚ軸に垂直な直線となす角度」である
ことを特徴とする請求項１０に記載の画像配信システム。
【数１】
2006157123.tif 000012
【請求項１６】
前記全方位画像取得手段は、さらに、
前記画像撮像部で撮像された画像をパノラマ画像に変換する手段を有する
ことを特徴とする請求項８〜１５のいずれか１項に記載の画像配信システム。
【請求項１７】
前記画像変換手段は、前記パノラマ画像より前記視線方向に向かって見た画像を切り出す
ことを特徴とする請求項１６に記載の画像配信システム。
【請求項１８】
画像配信装置と１つ以上の画像受信装置とを備える画像配信システムにおける画像配信装置であって、
周囲３６０度を一度に観測可能な全方位画像を取得する全方位画像取得手段と、
前記画像受信装置より、視線方向を受信する視線方向受信手段と、
前記全方位画像を前記視線方向に向かって見た画像に変換する画像変換手段と、
前記画像変換手段で変換された後の変換画像を前記画像受信装置へ配信する変換画像配信手段とを備える
ことを特徴とする画像配信装置。
【請求項１９】
画像配信装置と１つ以上の画像受信装置とを備える画像配信システムにおける画像受信装置であって、
視線方向を前記画像配信装置へ送信する視線方向送信手段と、
前記画像配信装置より、前記画像配信装置の周囲３６０度を同時に撮像した全方位画像を前記視線方向に向かって見た画像に変換した後の変換画像を受信する変換画像受信手段と、
前記変換画像を表示する表示手段とを備える
ことを特徴とする画像受信装置。
【請求項２０】
画像配信装置と１つ以上の画像受信装置とを備える画像配信システムにおける画像配信方法であって、
周囲３６０度を一度に観測可能な全方位画像を取得する全方位画像取得ステップと、
前記画像受信装置より、視線方向を受信する視線方向受信ステップと、
前記全方位画像を前記視線方向に向かって見た画像に変換する画像変換ステップと、
前記画像変換ステップにおいて変換された後の変換画像を前記画像受信装置へ配信する変換画像配信ステップとを含む
ことを特徴とする画像配信方法。
【請求項２１】
画像配信装置と１つ以上の画像受信装置とを備える画像配信システムにおける画像受信方法であって、
視線方向を前記画像配信装置へ送信する視線方向送信ステップと、
前記画像配信装置より、周囲３６０度を一度に観測可能な全方位画像を前記視線方向に向かって見た画像に変換した後の変換画像を受信する変換画像受信ステップと、
前記変換画像を表示する表示ステップとを含む
ことを特徴とする画像受信方法。
【請求項２２】
画像配信装置と１つ以上の画像受信装置とを備える画像配信システムにおいて、コンピュータを前記画像配信装置として機能させるためのプログラムであって、
周囲３６０度を一度に観測可能な全方位画像を取得する全方位画像取得手段と、
前記画像受信装置より、視線方向を受信する視線方向受信手段と、
前記全方位画像を前記視線方向に向かって見た画像に変換する画像変換手段と、
前記画像変換手段で変換された後の変換画像を前記画像受信装置へ配信する変換画像配信手段としてコンピュータを機能させる
ことを特徴とするプログラム。
【請求項２３】
画像配信装置と１つ以上の画像受信装置とを備える画像配信システムにおいて、コンピュータを画像受信装置として機能させるためのプログラムであって、
視線方向を前記画像配信装置へ送信する視線方向送信手段と、
前記画像配信装置より、周囲３６０度を一度に観測可能な全方位画像を前記視線方向に向かって見た画像に変換した後の変換画像を受信する変換画像受信手段と、
前記変換画像を表示する表示手段としてコンピュータを機能させる
ことを特徴とするプログラム。
【請求項２４】
プログラムを記録したコンピュータ読取可能な記録媒体であって、
請求項２２または請求項２３に記載のプログラムを記録した
ことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像配信システムに関し、特に、周囲３６０度の任意の位置の画像を配信可能な画像配信システムに関する。
【背景技術】
【０００２】
従来、遠隔地で撮像された画像を携帯電話等の画像受信装置に配信するシステムが知られている（例えば、特許文献１参照。）。このような従来のシステムでは、画像受信装置より、遠隔地に設置された首振りカメラの移動を制御することにより、所望の視線方向の画像を首振りカメラより画像受信装置へ配信している。
【特許文献１】特開２００３−２５９３５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来のシステムでは、画像の撮像手段として、首振りカメラを用いているため、複数の画像受信装置より同時に首振りカメラの移動制御を行なうことができない。このため、複数の視線方向の画像を複数の画像受信装置へそれぞれ同時に配信することができないという問題点がある。
【０００４】
本発明は上述の課題を解決するためになされたもので、複数の視線方向の画像を複数の画像受信装置へ同時に配信することができる画像配信システムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の画像配信システムは、画像配信装置と１つ以上の画像受信装置とを備える画像配信システムであって、前記画像配信装置は、周囲３６０度を一度に観測可能な全方位画像を取得する全方位画像取得手段と、前記画像受信装置より、視線方向を受信する視線方向受信手段と、前記全方位画像を前記視線方向に向かって見た画像に変換する画像変換手段と、前記画像変換手段で変換された後の変換画像を前記画像受信装置へ配信する変換画像配信手段とを備え、前記画像受信装置は、前記視線方向を前記画像配信装置へ送信する視線方向送信手段と、前記変換画像を受信する変換画像受信手段と、前記変換画像を表示する表示手段とを備えることを特徴とする。
【０００６】
この構成によると、画像配信装置は、周囲３６０度の画像を取得することができる。このため、首振りカメラのように、全方位画像撮像手段を回転させる必要がない。また、画像配信装置は、画像受信装置からの視線方向の指示に従い、全方位画像を当該視線方向に向かって見た画像に変換し、画像受信装置に配信する。このため、複数の画像配信装置より複数の視線方向の指示があった場合であっても、複数の視線方向の画像を複数の画像受信装置へ同時に配信することができる。また、画像受信装置より、視線方向の指示の変化があった場合には、画像配信装置は、それに追随させてその視線方向の画像を画像受信装置に配信することができる。このため、画像受信装置のユーザは、首振りカメラと同様な感覚で視線方向の制御を行ない、所望する視線方向の画像をリアルタイムで見ることができる。なお、「特許請求の範囲」および「明細書」中で「全方位画像」というときは、周囲３６０度を一度に撮像した円画像および円画像をパノラマ状に変換したパノラマ画像のいずれかを指すものとする。
【０００７】
また、前記変換画像配信手段は、前記変換画像を圧縮して配信し、前記変換画像受信手段は、圧縮された前記変換画像を受信した後、伸張するようにしてもよい。
【０００８】
画像配信装置は、変換画像を圧縮して配信している。このため、画像配信装置および画像受信装置間のデータ通信量を減らすことができる。
【０００９】
さらに、前記画像配信装置は、さらに、前記画像受信装置より、拡大または縮小に関する指示を受信する拡大縮小指示受信手段を備え、前記画像変換手段は、前記拡大または縮小に関する指示に基づいて、変換後の画像の倍率を決定する画像倍率決定部と、変換後の画像倍率が前記画像倍率決定部で決定された前記画像倍率になるように、前記全方位画像を前記視線方向に向かって見た画像に変換する変換部とを有し、前記画像受信装置は、さらに、前記拡大または縮小に関する指示を前記画像配信装置に送信する拡大縮小指示送信手段を備えていてもよい。
【００１０】
画像変換手段は、画像配信装置からの拡大または縮小指示に基づいて、画像を拡大または縮小して画像受信装置へ配信している。このため、画像受信装置のユーザは、所望する視線方向を詳細に観察したり大局的に観察したりすることができる。
【００１１】
なお、本発明は、このような特徴的な手段を備える画像配信システムや、当該画像配信システムを構成する画像配信装置および画像送信装置として実現することができるだけでなく、画像配信装置および画像受信装置に含まれる特徴的な手段をステップとする画像配信方法および画像受信方法としてそれぞれ実現することができる。また、コンピュータを画像配信装置または画像受信装置として機能させるためのプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の記録媒体やインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【発明の効果】
【００１２】
本発明によると、複数の視線方向の画像を複数の画像受信装置へ同時に配信することができる画像配信システムを提供することができる。
【００１３】
また、画像受信装置のユーザは、首振りカメラと同様な感覚で視線方向の制御を行ない、所望する視線方向の画像をリアルタイムで見ることができる。
【００１４】
さらに、画像受信装置のユーザは、所望する視線方向を詳細に観察したり大局的に観察したりすることができる。
【００１５】
さらにまた、画像配信装置および画像受信装置間のデータ通信量を減らすことができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態に係る画像配信システムについて、図面を参照しながら説明する。
［画像配信システムの構成］
図１は、画像配信システムの構成を示す外観図である。画像配信システム２０は、所望の視線方向の動画像を配信するシステムであって、画像配信装置２２と、複数の画像受信装置２４とから構成される。画像受信装置２４は、携帯電話等により構成される。
【００１７】
図２（ａ）は、画像配信装置２２の構成を示す機能ブロック図であり、図２（ｂ）は、画像受信装置２４の構成を示す機能ブロック図である。
【００１８】
図２（ａ）に示される画像配信装置２２は、複数の画像受信装置２４に同時に画像を配信する装置であって、円画像撮像部２５と、画像処理部４２と、画像圧縮部４４と、画像配信部４６と、制御部４８と、通信Ｉ／Ｆ（インタフェース）部５０とを備えている。
【００１９】
通信Ｉ／Ｆ部５０は、画像受信装置２４との間でデータの送受信を行なうインタフェースである。
【００２０】
円画像撮像部２５は、周囲３６０度の画像を一度に撮像することができる撮像装置であり、図１に示すように双曲面ミラー２８と、カメラ３０とから構成される。
【００２１】
画像処理部４２は、円画像撮像部２５で撮像された画像（以下、「円画像」という。）を処理し、当該円画像を、双曲面ミラー２８の焦点から画像受信装置２４で指定される方向を見た画像（以下、「変換画像」という。）に変換する処理（以下、「透視投影変換」という。）を行なう。透視投影変換については、後述する。
【００２２】
画像圧縮部４４は、円画像撮像部２５より出力される円画像または画像処理部４２より出力される変換画像を、例えばＭＰＥＧ（Moving Picture Experts Group）−２等の圧縮方法に従い圧縮する処理部である。
【００２３】
画像配信部４６は、画像圧縮部４４で圧縮された画像を通信Ｉ／Ｆ部５０を介して画像受信装置２４に配信する処理部である。
【００２４】
制御部４８は、画像受信装置２４より送信された各種指示を通信Ｉ／Ｆ部５０を介して受信し、当該指示に基づいて画像処理部４２および画像圧縮部４４を制御する処理部である。
【００２５】
図２（ｂ）に示される画像受信装置２４は、画像配信装置２２に対して所望する画像の視線方向を指定し、当該視線方向の画像を受信する装置であり、通信Ｉ／Ｆ部５２と、入力部５８と、画像伸張部５６と、画像表示部５９とを備えている。
【００２６】
通信Ｉ／Ｆ部５２は、画像配信装置２２との間でデータの送受信を行なうインタフェース部である。
【００２７】
入力部５８は、通信Ｉ／Ｆ部５２を介して画像配信装置２２に各種指示を送信する処理部である。入力部５８は、図１に示されるような入力ボタンを備えている。
【００２８】
画像伸張部５６は、通信Ｉ／Ｆ部５２を介して画像配信装置２２より受信した圧縮された変換画像を伸張する処理部である。画像伸張部５６は、画像圧縮部４４での圧縮方法と対応する方法により、圧縮された変換画像を伸張する。
【００２９】
画像表示部５９は、画像伸張部５６で伸張された変換画像を表示する、図１に示されるようなＬＣＤ（Liquid Crystal Display）等の表示装置である。
［画像配信システムの実行する処理］
次に、画像受信装置２４および画像配信装置２２の実行する処理についてそれぞれ説明する。
【００３０】
図３は、図２（ｂ）に示した画像受信装置２４の実行する処理のフローチャートである。
【００３１】
ユーザが、入力部５８を操作し、画像配信装置２２への接続指示を行なうと（Ｓ２でＹＥＳ）、入力部５８は、通信Ｉ／Ｆ部５２を介して画像配信装置２２へ円画像の送信要求を行なう（Ｓ４）。その後、通信Ｉ／Ｆ部５２は、画像配信装置２２より円画像を受信する（Ｓ１８）。当該円画像は画像配信装置２２において圧縮されている。このため、画像伸張部５６は、圧縮された円画像を伸張する（Ｓ２０）。画像伸張部５６は、円画像を伸張した後、画像表示部５９に出力する。すると、伸張された円画像が画像表示部５９に表示される（Ｓ２２）。
【００３２】
ユーザが、円画像の中から見たい位置の指示を行なうと（Ｓ２でＮＯ、Ｓ６でＹＥＳ）、当該位置に関する位置情報が通信Ｉ／Ｆ部５２を介して画像配信装置２２に送信される（Ｓ８）。その後、通信Ｉ／Ｆ部５２は、画像配信装置２２より、変換画像を受信する（Ｓ１８）。当該変換画像は画像配信装置２２において圧縮されている。このため、画像伸張部５６は、圧縮された変換画像を伸張する（Ｓ２０）。画像伸張部５６は、当該変換画像を伸張した後、画像表示部５９に出力する。すると、伸張された変換画像が画像表示部５９に表示される（Ｓ２２）。
【００３３】
ユーザが、入力部５８を操作し、変換画像の拡大または縮小の指示を行なうと（Ｓ２でＮＯ、Ｓ６でＮＯ、Ｓ１０でＹＥＳ）、拡大または縮小の指示が通信Ｉ／Ｆ部５２を介して画像配信装置２２に送信される（Ｓ１２）。その後、通信Ｉ／Ｆ部５２は、画像配信装置２２より拡大または縮小された変換画像を受信する（Ｓ１８）。当該変換画像は画像配信装置２２において圧縮されている。このため、画像伸張部５６は、圧縮された変換画像を伸張する（Ｓ２０）。画像伸張部５６は、当該変換画像を伸張した後、画像表示部５９に出力する。すると、伸張された変換画像が画像表示部５９に表示される（Ｓ２２）。
【００３４】
ユーザが、入力部５８を操作し、画像配信装置２２と確立されている接続の切断を指示した場合には（Ｓ２でＮＯ、Ｓ６でＮＯ、Ｓ１０でＮＯ、Ｓ１４でＹＥＳ）、入力部５８より通信Ｉ／Ｆ部５２を介して切断指示が画像配信装置２２へ送信される（Ｓ１６）。切断指示が送信されることにより、画像配信装置２２と画像受信装置２４との間の接続が切断される。
【００３５】
図４は、図２（ａ）に示した画像配信装置２２の実行する処理のフローチャートである。
【００３６】
制御部４８は、通信Ｉ／Ｆ部５０を介して円画像の送信要求を受信すると（Ｓ３２でＹＥＳ）、制御部４８は、画像圧縮部４４に、円画像撮像部２５より出力される円画像の圧縮指示を行なう。画像圧縮部４４は、円画像を圧縮する（Ｓ４６）。画像配信部４６は、圧縮された円画像を通信Ｉ／Ｆ部５０を介して画像受信装置２４に配信する（Ｓ４８）。
【００３７】
制御部４８は、通信Ｉ／Ｆ部５０を介して位置情報を受信すると（Ｓ３２でＮＯ、Ｓ３４でＹＥＳ）、画像処理部４２に対し、当該位置情報を出力することにより、当該位置情報で示される位置の方向を見た画像の生成を指示する（Ｓ３６）。画像処理部４２は、透視投影変換を行ない、円画像を変換画像に変換する（Ｓ３８）。画像圧縮部４４は、変換画像を圧縮する（Ｓ４６）。画像配信部４６は、圧縮された変換画像を通信Ｉ／Ｆ部５０を介して画像受信装置２４に配信する（Ｓ４８）。
【００３８】
制御部４８は、通信Ｉ／Ｆ部５０を介して拡大または縮小の指示を受信すると（Ｓ３２でＮＯ、Ｓ３４でＮＯ、Ｓ４０でＹＥＳ）、画像処理部４２に対して、拡大または縮小の指示を出力する（Ｓ４２）。画像処理部４２は、当該指示を受け、所定の倍率（例えば、拡大指示の場合には１．２倍、縮小指示の場合には０．８倍）だけ拡大または縮小させた変換画像を作成する（Ｓ３８）。画像圧縮部４４は、拡大または縮小された変換画像を圧縮する（Ｓ４６）。画像配信部４６は、圧縮された変換画像を通信Ｉ／Ｆ部５０を介して、画像受信装置２４に配信する（Ｓ４８）。
【００３９】
制御部４８は、通信Ｉ／Ｆ部５０介して切断指示を受信すると（Ｓ３２でＮＯ、Ｓ３４でＮＯ、Ｓ４０でＮＯ、Ｓ４４でＹＥＳ）、処理を終了する。
［透視投影変換］
次に、画像配信装置２２の画像処理部４２が実行する透視投影変換（図４のＳ３８）について、詳細に説明する。
【００４０】
画像配信装置２２の円画像撮像部２５の特徴は双曲面ミラー２８を用いることである。二葉双曲面投影の基本的な性質を以下に述べる。
【００４１】
図５は、二葉双曲面を説明するための図である。図６は、円画像撮像部２５の双曲面ミラー２８と、カメラ３０のレンズ中心および撮像面６０との関係を説明するための図である。まず、二葉双曲面について説明する。
【００４２】
図５に示すように、座標原点をＯとするＸＹＺ座標軸系において、双曲面１および２のそれぞれの焦点をＯＭ１およびＯＣ１とする。また、座標原点から各焦点ＯＭ１、ＯＣ１までの距離をＣ１とする。
【００４３】
二葉双曲面は次式（１）により定義される。
（Ｘ2＋Ｙ2）／ａ2−Ｚ2／ｂ2＝−１                                  （１）
ただしａは虚軸（共役軸）の半分、ｂは実軸（主軸）の半分である。
【００４４】
二葉双曲面はＸ2／ａ2−Ｚ2／ｂ2＝−１で表される双曲面をＺ軸周りに回転させることにより得られる（この双曲線Ｘ軸の回りに回転すると１葉双曲面になる）。従って、その形状には以下に示す特徴がある。
【００４５】
即ち、Ｚ軸に平行な平面による２通りの双曲面の切り口は双曲線となり、ＸＹ平面に平行な平面による切り口は円であり、ＸＹ平面で対称な２つの曲面を有している。
【００４６】
本実施例では２葉のうちＺ＞０の領域にある双曲面をミラーとして利用している。
このような反射ミラーを用いた円画像撮像部２５の構成について述べる。
【００４７】
図６において、レンズおよびカメラ３０の光軸をＺ軸（鉛直方向）とするＯ−ＸＹＺ３次元座標系を考える。ＯＭは双曲面ミラー２８の焦点、Ｏｃはレンズのレンズ中心、ｘｙはカメラ３０の撮像面６０を表す。座標原点Ｏは双曲面ミラー２８の焦点ＯＭとレンズのレンズ中心Ｏｃとの中心、ｃは原点Ｏからレンズ中心Ｏｃまたは焦点ＯＭまでの距離である。撮像面６０はＸＹ平面に平行でレンズ中心Ｏｃから焦点距離ｆだけ離れたＺ軸上の点を通る面とする。
【００４８】
なお、容易に理解されるように、実際の撮像面６０の位置は、双曲面ミラー２８の他方の焦点位置（レンズ中心位置）Ｏｃから見て、ミラーと反対側、レンズ中心から焦点距離ｆだけ離れた位置にある。しかしながら、像の位置は、レンズ中心に入射する光線上にあるので、本来の撮像面６０と、図６に示される撮像面６０とは、Ｘ方向およびＹ方向の符号の点を除けば等価となる。この点に鑑み、撮像面６０上の画像位置と物体位置との関係を、より分かりやすく説明するために、撮像面６０の位置を、レンズ中心から見て、ミラーと同じ側、焦点距離ｆの位置に設定して、以下の説明を行う。
【００４９】
図７は円画像撮像部２５の鉛直断面を示す図である。
図７に示すように双曲面ミラー２８の双曲面とその焦点ＯＭ、カメラ３０のレンズ中心Ｏｃは次式（２）で示される。
【００５０】
双曲面ミラー２８              （Ｘ2＋Ｙ2）／ａ2−Ｚ2／ｂ2＝−１
双曲面ミラー２８の焦点ＯＭ      （０，０，＋ｃ）                        （２）
カメラ３０のレンズの中心Ｏｃ  （０，０，−ｃ）
ただしａは虚軸（共役軸）の半分、ｂは実軸（主軸）の半分、ｃは次式で表される。
【００５１】
【数１】
2006157123.tif 000003
図８は点の射影水平方向を説明する図である。
【００５２】
このような画像配信装置２２の画像処理部４２は次のように動作する。すなわち、図８に示すように距離計測を行う任意の点Ｐ（ＸＰ，ＹＰ，ＺＰ）に対する撮像面６０上の写像点をｐ（ｘｐ，ｙｐ）とすると、次式（４）が成立する。
【００５３】
ｔａｎθ＝ＹＰ／ＸＰ＝ｙｐ／ｘｐ                                    （４）
このように３６０度パノラマ状の領域を双曲面ミラー２８を介して、撮像面６０上に投影する本方式では対象物体の方位角θが、その物体の撮像面６０上の投影の方位として直接現れる。
【００５４】
図９は点の射影鉛直方向を説明する図である。
図９に示すように点Ｐと双曲面ミラー２８の軸Ｚを含む鉛直面を想定すると、点Ｐと写像点ｐとの間に次式が成り立つ。
【００５５】
【数２】
2006157123.tif 000004
ただしａ、ｂ、ｃは双曲面に固有の定数（式（２）参照）でありｆはレンズの焦点距離である。
【００５６】
即ち、物体の位置（ＸＰ，ＹＰ）がわかれば、その物体の高さＺＰは天頂角βから求められる。次に式（５）の算出の詳細を説明する。
【００５７】
図１０は円画像撮像部２５の鉛直方向を説明する図である。
図１０のようにｐ，ｑを設定するとｐ，ｑおよび線分ＯＭ−Ｏｃからなる三角形から正弦定理により
ｐ／ｓｉｎ（π／２＋α）＝ｑ／ｓｉｎ（π／２−β）
＝２ｃ／ｓｉｎ（−α＋β）                  （６）
の関係が成立する。
【００５８】
式（６）を簡単にすると次式（７）が得られる。
ｐ／ｃｏｓα＝ｑ／ｃｏｓβ＝２ｃ／ｓｉｎ（−α＋β）                （７）
また双曲線の性質より
ｐ−ｑ＝２ｂ                                                      （８）
が得られるため、式（７）、式（８）からｐ、ｑを消去すると
［｛２ｃｃｏｓβ／ｓｉｎ（−α＋β）｝＋２ｂ］／ｃｏｓα
＝２ｃ／ｓｉｎ（−α＋β）                                            （９）
が得られ、式（９）をまとめると、
ｂｓｉｎ（−α＋β）＝ｃ（ｃｏｓα−ｃｏｓβ）                    （１０）
となる。加法定理により式（１０）は、
ｂ（ｃｏｓαｓｉｎβ−ｓｉｎαｃｏｓβ）
＝ｃ（ｃｏｓα−ｃｏｓβ）                                          （１１）
となりα、βをｙ＝ｔａｎα、ｘ＝ｔａｎβとすると式（１１）を次式（１２）に置き換えることができる。
【００５９】
【数３】
2006157123.tif 000005
これを簡単にすると
【００６０】
【数４】
2006157123.tif 000006
となりこれをｙについて解くと次式の関係が得られる。
【００６１】
【数５】
2006157123.tif 000007
上式の両辺を自乗してｙについて整理すると、
【００６２】
【数６】
2006157123.tif 000008
となり、この二次方程式を解くと、
【００６３】
【数７】
2006157123.tif 000009
となる。ｙ＝ｘは明らかに求めているものとは異なる。よって、もう一方の解を使用しｙ＝ｔａｎα、ｘ＝ｔａｎβを代入すると、
ｔａｎα＝｛（ｂ2＋ｃ2）ｓｉｎβ−２ｂｃ｝
／｛（ｂ2−ｃ2）ｃｏｓβ｝                                （１７）
同様にｘについて解き、ｙ＝ｔａｎα、ｘ＝ｔａｎβを代入すると、
ｔａｎβ＝｛（ｂ2＋ｃ2）ｓｉｎα−２ｂｃ｝
／｛（ｂ2−ｃ2）ｃｏｓα｝                                （１８）
となる。
【００６４】
本実施の形態で述べている二葉双曲面は双曲線の回転体であるため、「双曲線上における接線および法線は、それぞれ焦点半径（焦点と接線とを結ぶ動径）のなす内角および外角を２等分する」という性格をもつ。即ち、双曲線とは与えられた２つの定点Ｆ１（０，ｃ）、Ｆ２（０，−ｃ）（焦点）までの距離の差が一定（＝２ｂ＜２ｃ）であるような全ての点の集合（軌跡）をいう。
【００６５】
図１１は双曲線の要素を説明する図である。図１１において、ＡＢ（２ｂ）は実軸、Ａ，Ｂは頂点、Ｏは中心、焦点Ｆ１およびＦ２は実軸上の中心からｃの距離
【００６６】
【数８】
2006157123.tif 000010
であり、虚軸ＣＤ（２ａ）は
【００６７】
【数９】
2006157123.tif 000011
である。双曲線の方程式の標準形としては双曲線の実軸が一致するとき
ｙ2／ｂ2−ｘ2／ａ2＝１                                          （２１）
が成立する。双曲線上の点Ｍ（ｘ０，ｙ０）における接線の方程式は
ｙ・ｙ０／ｂ2−ｘ・ｘ０／ａ2＝１                                （２２）
で表され双曲線上における接線および法線は、それぞれ焦点半径（焦点と接点とを結ぶ動径）のなす内角および外角を二等分する。さらに双曲線の分岐が原点から遠ざかるに従い限りなく近づいていく直線、即ち、漸近線４の方程式は
ｙ＝±ａｘ／ｂ                                                  （２３）
にて表される。
【００６８】
従って、図９に示すようにレンズのレンズ中心Ｏｃを一方の双曲面の焦点位置にすることで点Ｐの位置にかかわらず、点Ｐと双曲面ミラー２８での反射位置とを結ぶ光路の延長線は、双曲面ミラー２８の焦点ＯＭを通過する。
【００６９】
すなわち、式（５）のαとβの関係を用いればカメラ３０で撮像した画像は、双曲面ミラー２８の焦点ＯＭから見た画像に変換できる。これは、焦点ＯＭにレンズ中心をもつカメラを鉛直軸まわりに回転させることで得られるパノラマ画像と等しく、本実施例では一般のカメラと同じく従来の画像処理技術を利用できる利点を有する。このようにして、画像処理部４２は、撮像面６０で撮像された画像を双曲面ミラー２８の焦点ＯＭから見た画像に変換している。
【００７０】
他の全方位視覚系の内、視覚系の類似する球面および円錐投影を用いる場合と、二葉双曲面投影を基いる場合との相違について述べると次の通りである。
【００７１】
図１２は球面投影法を用いた場合の視野領域および光路、図１３は円錐投影法を用いた場合の視野領域および光路、図１４は二葉双曲面投影法を用いた場合の視野領域および光路を示す。
【００７２】
図１２の投影図法を用いた場合、球面ミラーの上部をのぞく全視野が視野領域２１となり、足元から側方まで観測できる。しかし、画像の中心部にはカメラ自身の像が写り視野領域として利用できず、さらに側方の情報は解像度が低い欠点をもつ。
【００７３】
図１３の円錐投影法を用いた場合、側方を中心とした視野領域２３となるため側方の密な情報が得やすい。その反面足元の情報を得るためには光学系に工夫が必要である。
【００７４】
図１４に示すように双曲面ミラー２８を用いた場合には、カメラ自身も写るが漸近面（円錐上）により側方の視野領域２３は制限され、球面投影を用いたときより密な情報が得られる。
【００７５】
次に射影像の関係について比較する。球面投影や円錐投影を用いた場合、ミラー面の曲率のためミラーに焦点をもたない。そのため、線分などの場合、射影関係が複雑となり従来の方法を利用できない場合がある。
【００７６】
二葉双曲面投影を用いた場合、式（５）のα、βの関係式を用いれば、カメラ３０で撮像した画像は、双曲面ミラー２８の焦点ＯＭから見た画像に変換でき、一般のカメラと同じく従来の画像処理技術を利用できる。このことにより観測対象が点や鉛直線だけではなく、任意の直線の場合も射影関係が容易に得られる。
【００７７】
以上のことから双曲面ミラー２８を用いた画像配信装置２２によると、従来の画像処理技術が利用できる。
【００７８】
このように二葉双曲面投影を用いた本実施の形態によると、（１）基本的に、双曲面ミラー２８、レンズおよびカメラ３０のシンプルな構成であり、（２）全方位が一度に観測でき、（３）二葉双曲面投影においては、他の全方位視覚系にない焦点をもつという特徴があるために独自の画像認識技術を考慮しなくてもよいという特徴を有する。
【００７９】
これらのことは本実施例の固有の効果であり、特に監視装置やロボット移動用の視覚系など、一度に広い範囲の画像を入力する必要がある画像入力装置として従来の画像処理システムとともに用いて有効である。
［具体例］
次に、画像配信システム２０を利用した画像配信処理の具体例について説明する。図１５〜図２０は、第１の具体例を説明するための図である。
【００８０】
図１５に示されるように、たとえば、画像受信装置２４を利用するユーザが、入力部５８を操作し、「自宅食卓」に設置された画像配信装置２２への接続を指示した場合には（図３のＳ２）、画像配信装置２２へ円画像の送信要求が送信される（図３のＳ４）。
【００８１】
その後、画像受信装置２４は、円画像を画像配信装置２２より受信し（図３のＳ１８）、受信した円画像を伸張した後（図３のＳ２０）、図１６に示されるように画像表示部５９に表示する（図３のＳ２２）。その際、画像表示部５９には、円画像の中から見たい位置を指示するためのカーソル７０が表示されている。
【００８２】
図１７に示されるように、ユーザは、入力部５８を操作し、カーソル７０を移動させ見たい位置を指定し、決定動作を行なうと、カーソル７０で示された位置に関する位置情報が画像配信装置２２に送信される（図３のＳ８）。画像配信装置２２の制御部４８は、位置情報を受信すると（図４のＳ３４でＹＥＳ）、当該位置情報を画像処理部４２に出力する（図４のＳ３６）。
【００８３】
当該出力に応答して、画像処理部４２は、図１８（ａ）に示されるような円画像撮像部２５より出力される円画像８０を透視投影変換し、図１８（ｂ）に示されるような双曲面ミラー２８の焦点から位置情報で指定された位置の方向を視線方向として見た場合の画像８２に変換する（図４のＳ３８）。なお、透視投影変換された後の変換画像（画像８２）の視野範囲は特に限定されるものではなく、周囲３６０度を一度に撮像したパノラマ画像を変換画像としてもよい。
【００８４】
画像８２は、画像圧縮部４４にて圧縮された後（図４のＳ４６）、画像配信部４６により通信Ｉ／Ｆ部５０を介して画像受信装置２４に配信される（図４のＳ４８）。画像受信装置２４に配信された画像８２は、図１９に示されるように、画像受信装置２４の画像表示部５９に表示される（図３のＳ２２）。
【００８５】
ここで、ユーザが入力部５８を操作し、画像の拡大の指示を行った場合には（Ｓ４０でＹＥＳ）、拡大の指示が画像配信装置２２に送信される（図３のＳ１２）。画像配信装置２２は、拡大の指示を受信すると（図４のＳ４０でＹＥＳ）、制御部４８が画像処理部４２に対して拡大の指示を出力する（図４のＳ４２）。拡大指示の出力に応答して（図４のＳ４０でＹＥＳ）、画像処理部４２が倍率を１．２倍に拡大した変換画像を作成する（図４のＳ３８）。変換画像は画像配信部４６より画像受信装置２４に配信され、図２０に示されるように、拡大された画像が画像受信装置２４の画像表示部５９に表示される（図３のＳ２２）。
【００８６】
次に、第２の具体例について説明する。図２１〜図２５は、第２の具体例を説明するための図である。
【００８７】
図２１に示されるように、たとえば、画像受信装置２４を利用するユーザが入力部５８を操作し、「ＸＹＺ交差点」に設置された画像配信装置２２への接続を指示した場合には（図３のＳ２）、画像配信装置２２へ円画像の送信要求が送信される（図３のＳ４）。
【００８８】
その後、画像受信装置２４は、円画像を画像配信装置２２より受信し（図３のＳ１８）、受信した円画像を伸張した後（図３のＳ２０）、図２２に示されるように画像表示部５９に表示する（図３のＳ２２）。
【００８９】
図２３に示されるように、ユーザは、入力部５８を操作し、カーソル７０を移動させ、円画像の中から自動車の表示されている位置を指定し、決定動作を行なうと、カーソル７０で示された位置に関する位置情報が画像配信装置２２に送信される（図３のＳ８）。画像配信装置２２の制御部４８は、位置情報を受信すると（図４のＳ３４でＹＥＳ）、当該位置情報を画像処理部４２に出力する（図４のＳ３６）。
【００９０】
当該出力に応答して、画像処理部４２は、円画像を双曲面ミラー２８の焦点から位置情報で指定された位置の方向を視線方向として見た場合の画像に透視投影変換する（図４のＳ３８）。
【００９１】
変換画像は、図２４（ａ）に示されるように画像受信装置２４の画像表示部５９に表示される（図３のＳ２２）。図２４（ｂ）は、円画像を双曲面ミラー２８の焦点を回転中心としてカメラを３６０度回転させて撮像したのと等価なパノラマ画像の一例を示している。図２４（ａ）に示される変換画像は、パノラマ画像９２より一部の画像１００を切り出したのと等価である。
【００９２】
ここで、ユーザが入力部５８を操作し、画面を左へスクロールさせる指示を行った場合には（図３のＳ６でＹＥＳ）、先に指定した位置よりも左側の位置を視線方向とするための位置情報が画像配信装置２２に送信される（図３のＳ８）。
【００９３】
これに応答して、画像配信装置２２は、図２５（ａ）に示されるように画像１００よりも左側に位置する画像１０２をパノラマ画像９２より切り出したのと等価な透視投影変換を行なう（図４のＳ３８）。画像受信装置２４には、図２５（ｂ）に示されるような画像が画像表示部５９に表示される（図３のＳ２２）。
【００９４】
以上説明したように、本発明の実施の形態に係る画像配信システムによると、画像配信装置は、周囲３６０度の画像を撮像している。このため、首振りカメラのように、カメラを回転させる必要がない。また、画像配信装置は、画像受信装置からの視線方向の指示に従い、円画像を当該視線方向に向かってみた画像に変換し、画像受信装置に配信している。このため、複数の画像受信装置より複数の視線方向の指示があった場合であっても、複数の視線方向の画像を複数の画像受信装置へ同時に配信することができる。
【００９５】
また、画像受信装置より、視線方向の指示の変化があった場合には、画像配信装置は、それに追随させてその視線方向の画像を画像受信装置に配信することができる。このため、画像受信装置のユーザは、首振りカメラと同様な感覚で視線方向の制御を行ない、所望する視線方向の画像をリアルタイムで見ることができる。
【００９６】
また、画像処理部４２は、画像配信装置からの拡大または縮小指示に基づいて、画像を拡大または縮小して画像受信装置に配信している。このため、画像受信装置のユーザは、所望する視線方向を詳細に観察したり大局的に観察したりすることができる。
【００９７】
さらに、画像配信装置は、円画像および変換画像を圧縮して配信している。このため、画像配信装置および画像受信装置間のデータ通信量を減らすことができる。
【００９８】
以上、本発明に係る画像配信システムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。
【００９９】
例えば、円画像撮像部２５に用いられるミラーの形状は、双曲面形状に限られるものではなく、焦点を有するものであれば、放物面形状などであってもよい。
【０１００】
また、ミラーの数は１つには限られず２つ以上あってもよい。例えば、図２６（ａ）に示すように平面鏡１１０と双曲面鏡１１２との組み合わせであってもよいし、図２６（ｂ）に示すように楕円面鏡１１４と双曲面鏡１１６との組み合わせであってもよいし、図２６（ｃ）に示すように放物面鏡１１７および１１８の組み合わせであってもよい。なお、２枚のミラーを用いた全方位視覚系については、本願の出願人が以前に出願した特開平１１−３３１６５４号公報に詳しく開示されている。
【０１０１】
さらに、画像受信装置２４は、携帯電話でなくとも画像受信装置であればどのような構成であっても良く、例えば、ＰＤＡ（Personal Digital Assistant）等であってもよい。
【０１０２】
さらにまた、上述の実施の形態では、画像配信装置２２の画像処理部４２は、円画像を透視投影変換し、変換画像への変換を行なっているが、円画像を透視投影変換し、パノラマ画像への変換を行なうようにしてもよい。このようにした場合、画像配信装置２２でパノラマ画像を蓄積するようにすれば、画像受信装置２４から位置情報を受信した際に、受信した位置の変換画像をパノラマ画像から切り出し、画像受信装置２４へ配信するようにすればよい。これにより、画像受信装置２４から位置情報を受信するたびに、透視投影変換をする必要がなくなり、画像配信装置２２から画像受信装置２４へ高速に変換画像を配信することができるようになる。
【０１０３】
なお、画像配信装置２２は、円画像または変換画像を配信するようにしているが、パノラマ画像を配信するようにしてもよい。例えば、画像受信装置２４は、画像配信装置２２より受信したパノラマ画像を、表示するようにしてもよい。例えば、図２７に示すように、画像受信装置２４は、図２４（ｂ）に示したようなパノラマ画像９２を１８０度ずつに分割し、上下２段に並べて表示するようにしてもよい。なお、パノラマ画像９２の分割方法は、これに限られず、９０度ずつ４分割するようにしてもよいし、分割せずにパノラマ画像９２を画像表示部５９にそのまま表示させるようにしてもよい。
【０１０４】
また、図２８に示すように画像表示部５９に画像配信装置２２より配信されたパノラマ画像９２を表示させ、かつ、カーソル７０で指定した位置の変換画像を画像配信装置２２より受信し、同じ画像表示部５９内に表示させるようにしてもよい。
【産業上の利用可能性】
【０１０５】
本発明は、複数のユーザに同時に所望の視線方向の画像を配信する画像配信システムに適用でき、特に、交差点等の公共の場所に設置される監視システム等に適用できる。
【図面の簡単な説明】
【０１０６】
【図１】画像配信システムの構成を示す外観図である。
【図２】画像配信装置および画像受信装置の構成を示す機能ブロック図である。
【図３】画像受信装置の実行する処理のフローチャートである。
【図４】画像配信装置の実行する処理のフローチャートである。
【図５】二葉双曲面を説明するための図である。
【図６】円画像撮像部の双曲面ミラーと、カメラのレンズ中心および撮像面との関係を説明するための図である。
【図７】円画像撮像部の鉛直断面を示す図である。
【図８】点の射影水平方向を説明する図である。
【図９】点の射影鉛直方向を説明する図である。
【図１０】円画像撮像部の鉛直方向を説明する図である。
【図１１】双曲線の要素を説明する図である。
【図１２】球面投影法を用いた場合の視野領域および光路を示す図である。
【図１３】円錐投影法を用いた場合の視野領域および光路を示す図である。
【図１４】二葉双曲面投影法を用いた場合の視野領域および光路を示す図である。
【図１５】第１の具体例を説明するための図である。
【図１６】第１の具体例を説明するための図である。
【図１７】第１の具体例を説明するための図である。
【図１８】第１の具体例を説明するための図である。
【図１９】第１の具体例を説明するための図である。
【図２０】第１の具体例を説明するための図である。
【図２１】第２の具体例を説明するための図である。
【図２２】第２の具体例を説明するための図である。
【図２３】第２の具体例を説明するための図である。
【図２４】第２の具体例を説明するための図である。
【図２５】第２の具体例を説明するための図である。
【図２６】ミラーの組み合わせについて説明する図である。
【図２７】画像表示部５９への表示の変形例を示す図である。
【図２８】画像表示部５９への表示の変形例を示す図である。
【符号の説明】
【０１０７】
２０  画像配信システム
２２  画像配信装置
２４  画像受信装置
２５  円画像撮像部
２８  双曲面ミラー
３０  カメラ
４２  画像処理部
４４  画像圧縮部
４６  画像配信部
４８  制御部
５０，５２  通信Ｉ／Ｆ部
５６  画像伸張部
５８  入力部
５９  画像表示部
【図１】
2006157123.tif 000013
【図２】
2006157123.tif 000014
【図３】
2006157123.tif 000015
【図４】
2006157123.tif 000016
【図５】
2006157123.tif 000017
【図６】
2006157123.tif 000018
【図７】
2006157123.tif 000019
【図８】
2006157123.tif 000020
【図９】
2006157123.tif 000021
【図１０】
2006157123.tif 000022
【図１１】
2006157123.tif 000023
【図１２】
2006157123.tif 000024
【図１３】
2006157123.tif 000025
【図１４】
2006157123.tif 000026
【図１５】
2006157123.tif 000027
【図１６】
2006157123.tif 000028
【図１７】
2006157123.tif 000029
【図１８】
2006157123.tif 000030
【図１９】
2006157123.tif 000031
【図２０】
2006157123.tif 000032
【図２１】
2006157123.tif 000033
【図２２】
2006157123.tif 000034
【図２３】
2006157123.tif 000035
【図２４】
2006157123.tif 000036
【図２５】
2006157123.tif 000037
【図２６】
2006157123.tif 000038
【図２７】
2006157123.tif 000039
【図２８】
2006157123.tif 000040