(57)【要約】【課題】利用条件に応じた分割表示を適切に行うことができるようにする。【解決手段】画像処理装置１１は、座標変換テーブル生成装置１３により、ビデオカメラ２の数や配置位置、分割表示形態、またはビデオカメラ２のレンズ歪み等の利用条件に基づいて生成された、ディスプレイ１２Ａ上の座標、ディスプレイ１２Ａ上の座標に対応する、そのディスプレイ１２Ａ上の座標を含む、ビデオカメラ２による撮像の結果得られる画像が表示される小画面上の座標、およびその小画面に表示される画像を提供するビデオカメラ２のカメラ番号が、それぞれ対応付けられている座標変換テーブルを利用して、ビデオカメラ２による撮像の結果得られた画像の画素値を、所定のＨＤ画像に設定することで、Ｎ個の画像が分割表示されるＨＤ画像を生成することができる。【選択図】　　　図６
2004062103.tif 000002
【特許請求の範囲】
【請求項１】
所定の位置に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に対応する、前記所定の座標を含む前記小画像が表示される小画面上の座標を検出する検出手段と、
前記検出手段により検出された前記小画面上の座標に対応する位置にある、所定の前記小画像の画素の画素値を読み取る読み取り手段と、
前記読み取り手段により読み取られた前記画素値を、前記大画面上の前記所定の座標に対応する位置にある前記大画像の画素の画素値として出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記大画面上の座標、前記大画面上の座標に対応する、前記大画面上の座標を含む前記小画面上の座標、および前記小画面に表示される前記小画像を識別するための情報が、それぞれ対応付けられているテーブルを記憶する記憶手段をさらに備え、
前記検出手段は、前記大画面上の前記所定の座標に対応する、前記所定の座標を含む前記小画面上の座標を前記テーブルから検出し、
前記読み取り手段は、前記テーブルに、前記所定の座標に対応付けられている前記小画像を識別するための情報で識別される前記小画像の、前記検出手段により検出された前記小画面上の座標に対応する位置にある画素の画素値を読み取る
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記小画像は、撮像装置による撮像の結果得られた撮像画像に対応する画像である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
所定の位置に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に対応する、前記所定の座標を含む前記小画像が表示される小画面上の座標を検出する検出ステップと、
前記検出ステップの処理で検出された前記小画面上の座標に対応する位置にある、所定の前記小画像の画素の画素値を読み取る読み取りステップと、
前記読み取りステップの処理で読み取られた前記画素値を、前記大画面上の前記所定の座標に対応する位置にある前記大画像の画素の画素値として出力する出力ステップと
を含むことを特徴とする画像処理方法。
【請求項５】
所定の位置に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に対応する、前記所定の座標を含む前記小画像が表示される小画面上の座標の検出を制御する検出制御ステップと、
前記検出制御ステップの処理で検出された前記小画面上の座標に対応する位置にある、所定の前記小画像の画素の画素値の読み取りを制御する読み取り制御ステップと、
前記読み取り制御ステップの処理で読み取られた前記画素値の、前記大画面上の前記所定の座標に対応する位置にある前記大画像の画素の画素値としての出力を制御する出力制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項６】
所定の位置に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に対応する、前記所定の座標を含む前記小画像が表示される小画面上の座標の検出を制御する検出制御ステップと、
前記検出制御ステップの処理で検出された前記小画面上の座標に対応する位置にある、所定の前記小画像の画素の画素値の読み取りを制御する読み取り制御ステップと、
前記読み取り制御ステップの処理で読み取られた前記画素値の、前記大画面上の前記所定の座標に対応する位置にある前記大画像の画素の画素値としての出力を制御する出力制御ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【請求項７】
所定の位置に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に対応する、前記所定の座標を含む前記小画像が表示される小画面上の座標を、第１のテーブルから検出し、
前記第１のテーブルに、前記所定の座標に対応付けられている前記小画像を識別するための情報で識別される前記小画像の、検出された前記小画面上の座標に対応する位置にある画素の画素値を読み取り、
読み取られた前記画素値を、前記大画面上の前記所定の座標に対応する位置にある前記大画像の画素の画素値として出力する画像処理装置に提供される前記第１のテーブルを生成する情報処理装置において、
前記大画面上の座標に対応する、前記大画面上の座標を含む前記小画面上の座標を検出する第１の検出手段と、
前記大画面上の座標に対応付けられている前記小画像を識別するための情報を検出する第２の検出手段と、
前記大画面上の座標、前記第１の検出手段により検出された前記小画面上の座標、および前記第２の検出手段により検出された前記小画像を識別するための情報を、それぞれ対応させて保存し、前記第１のテーブルを生成する生成手段と
を備えることを特徴とする情報処理装置。
【請求項８】
前記小画像は、撮像装置による撮像の結果得られる撮像画像に対応する画像であり、
前記大画面上の座標には、前記撮像装置の撮像範囲に対応する領域毎に、対応する撮像範囲を有する前記撮像装置の識別情報が、前記小画像を識別するための情報として対応付けられている
ことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記撮像装置の光学系の条件に基づいて補正された後の前記撮像画像から切り取られた前記小画面分の前記撮像画像の前記小画面上の座標と、前記小画面上の座標に対応する、前記小画面分の前記撮像画像が所定の前記小画面に位置した場合の前記大画面上の座標とが対応付けられている第２のテーブルを記憶する記憶手段をさらに備え、
前記第１の検出手段は、前記大画面上の座標に対応する前記小画面上の座標を前記第２のテーブルから検出するとともに、検出した前記小画面上の座標から、補正前の前記撮像画像の前記小画面上の座標を検出する
ことを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
所定の位置に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に対応する、前記所定の座標を含む前記小画像が表示される小画面上の座標を、第１のテーブルから検出し、
前記第１のテーブルに、前記所定の座標に対応付けられている前記小画像を識別するための情報で識別される前記小画像の、検出された前記小画面上の座標に対応する位置にある画素の画素値を読み取り、
読み取られた前記画素値を、前記大画面上の前記所定の座標に対応する位置にある前記大画像の画素の画素値として出力する画像処理装置に提供される前記第１のテーブルを生成する情報処理装置の情報処理方法において、
前記大画面上の座標に対応する、前記大画面上の座標を含む前記小画面上の座標を検出する第１の検出ステップと、
前記大画面上の座標に対応付けられている前記小画像を識別するための情報を検出する第２の検出ステップと、
前記大画面上の座標、前記第１の検出ステップの処理で検出された前記小画面上の座標、および前記第２の検出ステップの処理で検出された前記小画像を識別するための情報を、それぞれ対応させて保存し、前記第１のテーブルを生成する生成ステップと
を含むことを特徴とする情報処理方法。
【請求項１１】
所定の位置に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に対応する、前記所定の座標を含む前記小画像が表示される小画面上の座標を、第１のテーブルから検出し、
前記第１のテーブルに、前記所定の座標に対応付けられている前記小画像を識別するための情報で識別される前記小画像の、検出された前記小画面上の座標に対応する位置にある画素の画素値を読み取り、
読み取られた前記画素値を、前記大画面上の前記所定の座標に対応する位置にある前記大画像の画素の画素値として出力する画像処理装置に提供される前記第１のテーブルを生成する情報処理装置のプログラムであって、
前記大画面上の座標に対応する、前記大画面上の座標を含む前記小画面上の座標の検出を制御する第１の検出制御ステップと、
前記大画面上の座標に対応付けられている前記小画像を識別するための情報の検出を制御する第２の検出制御ステップと、
前記大画面上の座標、前記第１の検出制御ステップの処理で検出された前記小画面上の座標、および前記第２の検出制御ステップの処理で検出された前記小画像を識別するための情報を、それぞれ対応させて保存することでの、前記第１のテーブルの生成を制御する生成制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１２】
所定の位置に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に対応する、前記所定の座標を含む前記小画像が表示される小画面上の座標を、第１のテーブルから検出し、
前記第１のテーブルに、前記所定の座標に対応付けられている前記小画像を識別するための情報で識別される前記小画像の、検出された前記小画面上の座標に対応する位置にある画素の画素値を読み取り、
読み取られた前記画素値を、前記大画面上の前記所定の座標に対応する位置にある前記大画像の画素の画素値として出力する画像処理装置に提供される前記第１のテーブルを生成する情報処理装置のプログラムであって、
前記大画面上の座標に対応する、前記大画面上の座標を含む前記小画面上の座標の検出を制御する第１の検出制御ステップと、
前記大画面上の座標に対応付けられている前記小画像を識別するための情報の検出を制御する第２の検出制御ステップと、
前記大画面上の座標、前記第１の検出制御ステップの処理で検出された前記小画面上の座標、および前記第２の検出制御ステップの処理で検出された前記小画像を識別するための情報を、それぞれ対応させて保存することでの、前記第１のテーブルの生成を制御する生成制御ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、複数の画像を適切に分割表示することができるようにした画像処理装置および方法、情報処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
図１は、従来の画像処理システムの構成例を示している。
【０００３】
被写体１に対して所定の位置に配置されたＮ個のビデオカメラ２−１乃至２−Ｎ（以下、個々に区別する必要がない場合、単に、ビデオカメラ２と称する。他の場合についても同様である）は、撮像の結果得られた画像を、画像処理装置３に供給する。
【０００４】
画像処理装置３は、ビデオカメラ２から供給されたＮ個の画像が表示装置４のディスプレイ４Ａ上で分割表示される画像を生成し、表示装置４に供給する。表示装置４は、画像処理装置３からの画像を、ディスプレイ４Ａに表示する。
【０００５】
【発明が解決しようとする課題】
ところで、画像処理装置３の処理内容は、ビデオカメラ２の数や分割表示形態によって異なる。
【０００６】
例えば、図２に示すように、９（Ｎ＝９）個のビデオカメラ２−１乃至２−９を被写体１を取り囲むようにして配置するとともに、ビデオカメラ２による撮像の結果得られた９個の画像を、図３に示すように分割表示する場合と、図４に示すように、８（Ｎ＝８）個のビデオカメラ２−１乃至２−８を３６０度全方の風景が被写体１となるように配置するとともに、ビデオカメラ２による撮像の結果得られた８個の画像を、図５に示すように分割表示する場合とでは、画像処理装置３の処理内容は異なる。
【０００７】
図３および図５に示される小画面Ｗに付されている数字は、そこに表示される画像の提供元であるビデオカメラ２を表しており、そのビデオカメラ２に続けて示されている数字と対応付けられている。すなわち、例えば、ビデオカメラ２−１による撮像の結果得られた画像は、小画面Ｗ１に表示され、ビデオカメラ２−２による撮像の結果得られた画像は、小画面Ｗ２に表示される。
【０００８】
また、ビデオカメラ２による撮像の結果得られた画像のそれぞれを適切に小画面Ｗに表示させるためには、それらの画像を、ビデオカメラ２のレンズ歪み等に基づいて補正する必要があるが、レンズ歪み等は、ビデオカメラ２のそれぞれで異なるので、画像処理装置３が行う画像処理は、それによっても異なることになる。
【０００９】
従って、画像処理装置３は、これらの条件に応じた専用機器とされていた。その結果、従来の画像処理システムでは、利用条件の変更に容易に対応することができない課題があった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、利用条件の変更に容易に対応することができるようにするものである。
【００１１】
【課題を解決するための手段】
本発明の画像処理装置は、所定の位置に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に対応する、所定の座標を含む小画像が表示される小画面上の座標を検出する検出手段と、検出手段により検出された小画面上の座標に対応する位置にある、所定の小画像の画素の画素値を読み取る読み取り手段と、読み取り手段により読み取られた画素値を、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力する出力手段とを備えることを特徴とする。
【００１２】
大画面上の座標、大画面上の座標に対応する、大画面上の座標を含む小画面上の座標、および小画面に表示される小画像を識別するための情報が、それぞれ対応付けられているテーブルを記憶する記憶手段をさらに設け、検出手段には、大画面上の所定の座標に対応する、所定の座標を含む小画面上の座標をテーブルから検出させ、読み取り手段には、テーブルに、所定の座標に対応付けられている小画像を識別するための情報で識別される小画像の、検出手段により検出された小画面上の座標に対応する位置にある画素の画素値を読み取らせることができる。
【００１３】
小画像は、撮像装置による撮像の結果得られた撮像画像に対応する画像とすることができる。
【００１４】
本発明の画像処理方法は、所定の位置に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に対応する、所定の座標を含む小画像が表示される小画面上の座標を検出する検出ステップと、検出ステップの処理で検出された小画面上の座標に対応する位置にある、所定の小画像の画素の画素値を読み取る読み取りステップと、読み取りステップの処理で読み取られた画素値を、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力する出力ステップとを含むことを特徴とする。
【００１５】
本発明の第１の記録媒体のプログラムは、所定の位置に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に対応する、所定の座標を含む小画像が表示される小画面上の座標の検出を制御する検出制御ステップと、検出制御ステップの処理で検出された小画面上の座標に対応する位置にある、所定の小画像の画素の画素値の読み取りを制御する読み取り制御ステップと、読み取り制御ステップの処理で読み取られた画素値の、大画面上の所定の座標に対応する位置にある大画像の画素の画素値としての出力を制御する出力制御ステップとを含むことを特徴とする。
【００１６】
本発明の第１のプログラムは、所定の位置に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に対応する、所定の座標を含む小画像が表示される小画面上の座標の検出を制御する検出制御ステップと、検出制御ステップの処理で検出された小画面上の座標に対応する位置にある、所定の小画像の画素の画素値の読み取りを制御する読み取り制御ステップと、読み取り制御ステップの処理で読み取られた画素値の、大画面上の所定の座標に対応する位置にある大画像の画素の画素値としての出力を制御する出力制御ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００１７】
本発明の画像処理装置および方法、第１のプログラムにおいては、所定の位置に配置された複数の小画像からなる大画像が表示される大画面上の所定の座標に対応する、所定の座標を含む小画像が表示される小画面上の座標が検出され、検出された小画面上の座標に対応する位置にある、所定の小画像の画素の画素値が読み取られ、読み取られた画素値が、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力される。
【００１８】
本発明の情報処理装置は、大画面上の座標に対応する、大画面上の座標を含む小画面上の座標を検出する第１の検出手段と、大画面上の座標に対応付けられている小画像を識別するための情報を検出する第２の検出手段と、大画面上の座標、第１の検出手段により検出された小画面上の座標、および第２の検出手段により検出された小画像を識別するための情報を、それぞれ対応させて保存し、第１のテーブルを生成する生成手段とを備えることを特徴とする。
【００１９】
小画像は、撮像装置による撮像の結果得られる撮像画像に対応する画像とし、大画面上の座標には、撮像装置の撮像範囲に対応する領域毎に、対応する撮像範囲を有する撮像装置の識別情報が、小画像を識別するための情報として対応付けられておくことができる。
【００２０】
撮像装置の光学系の条件に基づいて補正された後の撮像画像から切り取られた小画面分の撮像画像の小画面上の座標と、小画面上の座標に対応する、小画面分の撮像画像が所定の小画面に位置した場合の大画面上の座標とが対応付けられている第２のテーブルを記憶する記憶手段をさらに設け、第１の検出手段には、大画面上の座標に対応する小画面上の座標を第２のテーブルから検出させるとともに、検出した小画面上の座標から、補正前の撮像画像の小画面上の座標を検出させることができる。
【００２１】
本発明の情報処理方法は、大画面上の座標に対応する、大画面上の座標を含む小画面上の座標を検出する第１の検出ステップと、大画面上の座標に対応付けられている小画像を識別するための情報を検出する第２の検出ステップと、大画面上の座標、第１の検出ステップの処理で検出された小画面上の座標、および第２の検出ステップの処理で検出された小画像を識別するための情報を、それぞれ対応させて保存し、第１のテーブルを生成する生成ステップとを含むことを特徴とする。
【００２２】
本発明の第２の記録媒体のプログラムは、大画面上の座標に対応する、大画面上の座標を含む小画面上の座標の検出を制御する第１の検出制御ステップと、大画面上の座標に対応付けられている小画像を識別するための情報の検出を制御する第２の検出制御ステップと、大画面上の座標、第１の検出制御ステップの処理で検出された小画面上の座標、および第２の検出制御ステップの処理で検出された小画像を識別するための情報を、それぞれ対応させて保存することでの、第１のテーブルの生成を制御する生成制御ステップとを含むことを特徴とする。
【００２３】
本発明の第２のプログラムは、大画面上の座標に対応する、大画面上の座標を含む小画面上の座標の検出を制御する第１の検出制御ステップと、大画面上の座標に対応付けられている小画像を識別するための情報の検出を制御する第２の検出制御ステップと、大画面上の座標、第１の検出制御ステップの処理で検出された小画面上の座標、および第２の検出制御ステップの処理で検出された小画像を識別するための情報を、それぞれ対応させて保存することでの、第１のテーブルの生成を制御する生成制御ステップとを含むことを特徴とする。
【００２４】
本発明の情報処理装置および方法、並びに第２のプログラムにおいては、大画面上の座標に対応する、大画面上の座標を含む小画面上の座標が検出され、大画面上の座標に対応付けられている小画像を識別するための情報が検出され、大画面上の座標、検出された小画面上の座標、および検出された小画像を識別するための情報が、それぞれ対応させて保存されて、第１のテーブルが生成される。
【００２５】
【発明の実施の形態】
図６は、本発明を適用した画像処理システムの構成例を示している。図中、図１における場合と対応する部分については、同一の符号を付してある。
【００２６】
被写体１に対して所定の位置に配置されたＮ個のビデオカメラ２−１乃至２−Ｎは、撮像の結果得られた画像（例えば、ＳＤ（ｓｔａｎｄａｒｄ　ｄｅｆｉｎｉｔｉｏｎ）画像）を、画像処理装置１１に供給する。
【００２７】
画像処理装置１１は、ビデオカメラ２−１乃至２−Ｎのそれぞれから供給されたＳＤ画像から、メモリカード２１を介して提供される座標変換テーブル生成装置１３により生成された座標変換テーブルＴａを利用して、Ｎ個のＳＤ画像が、表示装置１２のディスプレイ１２Ａ上に所定の形態で分割表示される画像（ＨＤ（ｈｉｇｈｄｅｆｉｎｉｔｉｏｎ）画像）を生成する。画像処理装置１１は、生成したＨＤ画像を、表示装置１２を供給する。
【００２８】
表示装置１２は、画像処理装置１１からのＨＤ画像を、ディスプレイ１２Ａに表示する。なおディスプレイ１２Ａは、図７に示すように、１０８０×１９２０ピクセルの解像度を有している。
【００２９】
座標変換テーブル生成装置１３は、ビデオカメラ２の数や配置位置、レンズ歪み、およびＳＤ画像の表示形態等の利用条件に対応した座標変換テーブルＴａを生成し、例えば、メモリカード２１に記憶させて、画像処理装置１１に提供する。
【００３０】
図８は、画像処理装置１１の構成例を示している。
【００３１】
Ｎ個のデコーダ３１−１乃至３１−Ｎのそれぞれには、対応するビデオカメラ２−１乃至２−ＮからのＳＤ画像が入力される。デコーダ３１−１乃至３１−Ｎは、ビデオカメラ２から入力されたＳＤ画像をデコードし、対応するフィールドメモリ３２−１乃至３２−Ｎに供給する。
【００３２】
フィールドメモリ３２は、デコーダ３１から供給された画像データを、フィールド単位で記憶する。
【００３３】
変換部３３は、フィールドメモリ３２−１乃至３２−Ｎに記憶されている画像データを適宜読み出し、読み出した画像データから、記憶部３６に記憶されている座標変換テーブルＴａに基づいて、Ｎ個の画像が表示装置１２のディスプレイ１２Ａ上に所定の形態で分割表示されるＨＤ画像を生成し、フレームメモリ３４に供給する。フレームメモリ３４は、変換部３３から供給されたＨＤ画像を記憶する。
【００３４】
エンコーダ３５は、フレームメモリ３４に記憶された画像データ（ＨＤ画像の画像データ）を適宜読み取ってエンコードし、その結果得られた画像データを、表示装置１２に供給する。
【００３５】
記憶部３６は、インタフェース３７を介して、画像処理装置１１に装着されたメモリカード２１から座標変換テーブルＴａを読み取り、それを記憶する。
【００３６】
図９は、座標変換テーブル生成装置１３の構成例を示している。
【００３７】
ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）４１にはバス４５を介して入出力インタフェース４６が接続されており、ＣＰＵ４１は、入出力インタフェース４６を介して、キーボード、マウスなどよりなる入力部４８から指令が入力されると、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）４２、ハードディスク４４、またはドライブ５０に装着される磁気ディスク６１、光ディスク６２、光磁気ディスク６３、若しくは半導体メモリ６４などの記録媒体に格納されているプログラム（例えば、座標変換テーブルＴａを生成するためのプログラム）を、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）４３にロードして実行する。さらに、ＣＰＵ４１は、その処理結果を、例えば、入出力インタフェース４６を介して、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）などよりなる出力部４７に必要に応じて出力する。なお、プログラムは、ハードディスク４４やＲＯＭ４２に予め記憶しておき、座標変換テーブル生成装置１３と一体的にユーザに提供したり、磁気ディスク６１、光ディスク６２、光磁気ディスク６３、半導体メモリ６４等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部４９を介してハードディスク４４に提供することができる。
【００３８】
ＣＰＵ４１は、生成した座標変換テーブルＴａを、ドライブ５０を介してメモリカード２１に記憶させる。
【００３９】
次に、図２に示すように、９（Ｎ＝９）個のビデオカメラ２−１乃至２−９を、比較的近くの被写体１を取り囲むようにして配置するとともに、ビデオカメラ２による撮像の結果得られた画像を、図１０に示すように分割表示する場合（以下、このような利用条件を、適宜、第１の利用条件と称する）の画像処理装置１１の動作を、図１１のフローチャートを参照して説明する。
【００４０】
ステップＳ１において、画像処理装置１１の変換部３３は、記憶部３６に記憶されている、図１２に示すような座標変換テーブルＴａを読み出す。
【００４１】
この座標変換テーブルＴａには、ディスプレイ１２Ａ上の座標、ディスプレイ１２Ａ上の座標に対応する、そのディスプレイ１２Ａ上の座標を含む小画面Ｗ上の座標、およびその小画面Ｗに表示される画像を提供するビデオカメラ２に割り当てられたカメラ番号が、それぞれ対応付けられている。また所定のディスプレイ１２Ａ上の座標には、黒色を出力する旨を表す情報（図１２中の“黒色出力”で示されている情報）が設定されている。なお、黒色を出力する旨を表す情報が対応付けられているディスプレイ１２Ａ上の座標には、小画面Ｗ上の座標やカメラ番号が対応付けられていない。
【００４２】
次に、ステップＳ２において、変換部３３は、ディスプレイ１２Ａ上の１つの座標（ＨＤ画像を構成する１つの画素の座標）を選択する。
【００４３】
ステップＳ３において、変換部３３は、座標変換テーブルＴａにおいて、ステップＳ２で選択したディスプレイ１２Ａ上の座標に、黒色を出力する旨を表す情報が対応付けられているか否かを判定し、その情報が対応付けられていないと判定した場合、ステップＳ４に進み、選択したディスプレイ１２Ａ上の座標と対応付けられているカメラ番号を、座標変換テーブルＴａから検出する。
【００４４】
次に、ステップＳ５において、変換部３３は、ステップＳ４で検出されたカメラ番号が割り当てられているビデオカメラ２に対応するフィールドメモリ３２を選択する。
【００４５】
ステップＳ６において、変換部３３は、ステップＳ２で選択したディスプレイ１２Ａ上の座標と対応付けられている小画面Ｗ上の座標を、座標変換テーブルＴａから検出する。
【００４６】
次に、ステップＳ７において、変換部３３は、ステップＳ６で検出した小画面Ｗ上の座標に対応する位置にある、ステップＳ５で選択したフィールドメモリ３２に記憶されているＳＤ画像の画素の画素値を読み取り、それを、フレームメモリ３４に、ステップＳ２で選択したディスプレイ１２Ａ上の座標に出力される画素値として記憶させる。
【００４７】
ステップＳ３で、黒色を出力する旨を表す情報が設定されていると判定された場合、ステップＳ８に進み、変換部３３は、黒色として表示される画素値を、フレームメモリ３４に、ステップＳ２で選択されたディスプレイ１２Ａ上の座標に出力される画素値として記憶させる。
【００４８】
例えば、ステップＳ２で、図１０中、小画面Ｗ５内の所定の座標が選択された場合、座標変換テーブルＴａにおいて、選択された座標には、ビデオカメラ２−５のカメラ番号が対応付けられており、黒色を出力する旨の情報は対応付けられていないので、ビデオカメラ２−５のカメラ番号が検出される（ステップＳ３，ステップＳ４）。次にビデオカメラ２−５に対応するフィールドメモリ３２−５が選択されるとともに（ステップＳ５）、選択されたディスプレイ１２Ａ上の座標に対応付けられている小画面Ｗ上の座標が座標変換テーブルＴａから検出される（ステップＳ６）。
【００４９】
そして検出された小画面Ｗ上の座標（ステップＳ６）に対応する位置にある、ビデオカメラ２−５からのＳＤ画像（ステップＳ５）の画素の画素値が、選択されたディスプレイ１２Ａ上の座標に出力される画素値として記憶される（ステップＳ７）。
【００５０】
また、例えば、ステップＳ２で、図１０中、小画面Ｗ１乃至Ｗ９以外の画面（図中、陰が付されている部分）の座標が選択された場合、座標変換テーブルＴａにおいてそのような座標には、黒色を出力する旨の情報が設定されているので（ステップＳ３）、黒色として表示される画素値が、選択されたディスプレイ１２Ａ上の座標に出力される画素値として記憶される（ステップＳ８）。
【００５１】
図１１に戻り、ステップＳ７またはステップＳ８で、所定の画素値がフレームメモリ３４に記憶されたとき、ステップＳ９に進み、変換部３３は、ディスプレイ１２Ａ上のすべての座標が選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ２に戻り、次のディスプレイ１２Ａ上の座標を選択する。
【００５２】
ステップＳ９で、すべての座標が選択されたと判定された場合、処理は終了する。
【００５３】
図１２に示した座標変換テーブルＴａは、後述するように、第１の利用条件やビデオカメラ２のレンズ歪みに基づいて、座標変換テーブル生成装置１３により生成されたものであるので、本システムでは、画像処理装置１１が、その座標変換テーブルＴａに従って上述したような処理を行うことにより、ビデオカメラ２から供給される９個のＳＤ画像を、図１０に示すように分割表示することができる。
【００５４】
次に、ここで利用された座標変換テーブルＴａを生成する場合の座標変換テーブル生成装置１３の動作を、図１３のフローチャートを参照して説明する。
【００５５】
ステップＳ２１において、座標変換テーブル生成装置１３のＣＰＵ４１は、表示装置１２のディスプレイ１２Ａ上の座標（ＨＤ画像を構成する１つの画素の座標）（図１０）を１つ選択する。
【００５６】
ステップＳ２２において、ＣＰＵ４１は、ステップＳ２１で選択したディスプレイ１２Ａ上の座標が、小画面Ｗ内のもの（ビデオカメラ２による撮像の結果得られたＳＤ画像に対応する画像が表示される画面内のもの）か否かを判定する。
【００５７】
具体的には、この例の場合、図１４に示すような、小画面Ｗ１乃至小画面Ｗ９内の座標に、そこに表示される画像の提供元であるビデオカメラ２のカメラ番号が対応付けられ、小画面Ｗ１乃至小画面Ｗ９以外の画面（図１０中、陰が付されている部分）内の座標に、その旨を表す情報（以下、表示領域外情報と称する）が対応付けられている対応テーブルＴｂ１がハードディスク４４に記憶されているので、ＣＰＵ４１は、それを参照して、ステップＳ２１で選択したディスプレイ１２Ａ上の座標に、ビデオカメラ２のカメラ番号が対応付けられているか否かを判定する。
【００５８】
ステップＳ２２で、ステップＳ２１で選択されたディスプレイ１２Ａ上の座標が、小画面Ｗ内のものであると判定された場合（対応テーブルＴｂ１において、ステップＳ２１で選択された座標に、ビデオカメラ２のカメラ番号が対応付けられている場合）、ステップＳ２３に進み、ＣＰＵ４１は、ステップＳ２１で選択されたディスプレイ１２Ａ上の座標に対応するビデオカメラ２のカメラ番号を、対応テーブルＴｂ１から検出する。
【００５９】
次に、ステップＳ２４において、ＣＰＵ４１は、ハードディスク４４に記憶されている、図１５に示すディスプレイ１２Ａ上の座標と、後述するようにビデオカメラ２のレンズ歪み等に基づいて補正されたビデオカメラ２による撮像の結果得られるＳＤ画像から切り取られた小画面Ｗ分の画像の小画面Ｗ上の座標との対応関係を示す対応テーブルＴｂ２から、ステップＳ２１で選択したディスプレイ１２Ａ上の座標に対応付けられている小画面Ｗ上の座標を検出する。
【００６０】
ステップＳ２５において、ＣＰＵ４１は、ステップＳ２４で検出した小画面Ｗ上の座標から、後述するようにして補正前のＳＤ画像（元のＳＤ画像）の小画面Ｗ上の座標を算出する。
【００６１】
次に、ステップＳ２６において、ＣＰＵ４１は、ステップＳ２１で選択したディスプレイ１２Ａ上の座標、ステップＳ２３で検出したカメラ番号、およびステップＳ２５で算出した小画面Ｗ上の座標を、それぞれ対応させて座標変換テーブルＴａ（図１２）に保存する。
【００６２】
ステップＳ２２で、ステップＳ２１で選択されたディスプレイ１２Ａ上の座標が、小画面Ｗ内のものではないと判定された場合（対応テーブルＴｂ１において、ステップＳ２１で選択されたディスプレイ１２Ａ上の座標に、表示領域外情報が対応付けられている場合）、ステップＳ２７に進む。
【００６３】
ステップＳ２７において、ＣＰＵ４１は、ステップＳ２１で選択したディスプレイ１２Ａ上の座標と黒色を出力する旨を表す情報を、それぞれ対応させて座標変換テーブルＴａ（図１２）に保存する。
【００６４】
ステップＳ２６またはステップＳ２７で、所定の情報が座標変換テーブルＴａに保存されたとき、ステップＳ２８に進み、ＣＰＵ４１は、ディスプレイ１２Ａ上のすべてのディスプレイ１２Ａ上の座標が選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ２１に戻り、次の座標を選択し、それ以降の処理を実行する。
【００６５】
ステップＳ２８で、すべての座標が選択されたと判定されたとき、処理は終了する。
【００６６】
次に、座標変換テーブルＴａ（図１２）を生成する際に利用された対応テーブルＴｂ２（図１５）を生成する処理を、図１６のフローチャートを参照して説明する。なお、ここでは座標変換テーブル生成装置１３が対応テーブルＴｂ２を生成するものとする。
【００６７】
ステップＳ４１において、座標変換テーブル生成装置１３のＣＰＵ４１は、ビデオカメラ２−１乃至２−９のカメラ番号の中から１つのカメラ番号を選択する。
【００６８】
次に、ステップＳ４２において、ＣＰＵ４１は、ビデオカメラ２による撮像の結果得られるＳＤ画像と同じ大きさのＳＤ画像（この例の場合、小画面Ｗと同じ大きさの画像）を想定し、そのＳＤ画像を構成する各画素の小画面Ｗ上の座標（Ｘａ，Ｙａ）（補正前のＳＤ画像の小画面Ｗ上の座標）を、式（１）に従って補正し、座標（Ｘｂ，Ｙｂ）（補正後のＳＤ画像の小画面上の座標）を算出する。なお、このように座標を変換することで、ビデオカメラ２のレンズ歪みにより生ずるＳＤ画像の外周部分のぼやけを鮮明にすることができる。
【００６９】
【数１】
2004062103.tif 000003
【００７０】
式中、座標（Ｘａｃ，Ｙａｃ）は、ＳＤ画像の中心に位置する画素の座標である。ｋ１およびｋ２は、ビデオカメラ２のレンズ歪み等に基づいて決定される係数である。ｒは、座標（Ｘａ，Ｙａ）の画素と、ＳＤ画像の中心画素との距離である。
【００７１】
ステップＳ４３において、ＣＰＵ４１は、小画面Ｗの大きさに対応した、ステップＳ４２での補正の結果得られたＳＤ画像の範囲を決定し、ステップＳ４４において、決定された範囲内のＳＤ画像の各画素の小画面Ｗ上の座標（Ｘｂ，Ｙｂ）を選択する。すなわち、小画面Ｗに表示される補正後のＳＤ画像の小画面Ｗ上の座標が選択される。
【００７２】
ビデオカメラ２による撮像の結果得られたＳＤ画像（図１７Ａ）は、式（１）による補正により、例えば、図１７Ｂの実線が示すように、糸巻き型に拡大して変形するので、その中から、図１７Ｂ中の点線で示す、ステップＳ４３で決定された範囲内の座標が選択される（図１７Ｃ）。なお、図１７Ａ中の座標（Ｘａｉ，Ｙａｉ）は、任意の座標（Ｘａ，Ｙａ）を示し、図１７Ｂおよび図１７Ｃ中の座標（Ｘｂｉ，Ｙｂｉ）は、座標（Ｘａｉ，Ｙａｉ）が補正された結果得られた座標（Ｘｂ，Ｙｂ）を表している。
【００７３】
ステップＳ４５において、ＣＰＵ４１は、ステップＳ４４で選択された補正後のＳＤ画像の小画面Ｗ上の座標の中から１つの座標を選択し、それを、ステップＳ４６において、ディスプレイ１２Ａ上の座標に変換する。
【００７４】
具体的には、ステップＳ４５で選択された小画面Ｗ上の座標は、ステップＳ４３で決定された範囲のＳＤ画像（図１７（Ｃ））を、ステップＳ４１で選択されたカメラ番号を有するビデオカメラ２の画像が表示される小画面Ｗにマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【００７５】
例えば、ステップＳ４１で、ビデオカメラ２−５のカメラ番号が選択されているとき、ステップＳ４５で選択された小画面Ｗ上の座標は、ステップＳ４３で決定された範囲のＳＤ画像を小画面Ｗ５にマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【００７６】
次に、ステップＳ４７において、ＣＰＵ４１は、ステップＳ４５で選択した補正後のＳＤ画像の小画面Ｗ上の座標を、ステップＳ４６で得られたディスプレイ１２Ａ上の座標と対応付けて、対応テーブルＴｂ２（図１５）に保存する。
【００７７】
ステップＳ４８において、ＣＰＵ４１は、ステップＳ４４で選択された座標のすべてが選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ４５に戻り、次の座標を選択し、それ以降の処理を実行する。
【００７８】
ステップＳ４８で、すべての座標が選択されたと判定された場合、ステップＳ４９に進み、ＣＰＵ４１は、全てのカメラ番号が選択されたか否かを判定し、選択されていないカメラ番号がまだ残っていると判定した場合、ステップＳ４１に戻り、次のカメラ番号を選択する。
【００７９】
ステップＳ４９で、すべてのカメラ番号が選択されたと判定された場合、処理は終了する。
【００８０】
従って、例えば、小画面Ｗ５内の、ディスプレイ１２Ａ上の所定の座標Ｐｈ（図示せず）に出力される画素値は、ビデオカメラ２−５による撮像の結果得られたＳＤ画像の、図１６のステップＳ４２での補正の結果、ディスプレイ１２Ａ上の座標Ｐｈに対応するものとして検出される小画面Ｗ上の座標（Ｘｂｉ，Ｙｂｉ）（図１７Ｂ）（図１３のステップＳ２４）となる小画面Ｗ上の座標（Ｘａｉ，Ｙａｉ）（図１７Ａ）（図１３のステップＳ２５）に位置する画素の画素値となる。
【００８１】
すなわち、画像処理装置１１は、入力されるビデオカメラ２による撮像の結果得られるＳＤ画像の、ビデオカメラ２のレンズ歪みに対応した座標を算出したり、分割表示形態に応じたディスプレイ１２Ａ上の座標を算出したり必要がなく、図１１に示したように、ＳＤ画像の画素値を、座標変換テーブルＴａに応じてＨＤ画像に設定するだけで、歪み補正が施されたビデオカメラ２による撮像の結果得られたＳＤ画像を分割表示するＨＤ画像を生成することができる。
【００８２】
対応テーブルＴｂ２（図１５）の補正後のＳＤ画像の小画面Ｗ上の座標（Ｘｂ，Ｙｂ）は、上述したように、式（１）に従って算出されているので、図１３のステップＳ２５では、その式に対応した最適化により、逆補正を行って、補正前のＳＤ画像の小画面Ｗ上の座標が算出される。
【００８３】
次に、図１８に示すように、９個のビデオカメラ２−１乃至２−９を、遠方の被写体１に対して垂直方向に面を形成するようにして配置するとともに、ビデオカメラ２による撮像の結果得られた画像を、図１９に示すように分割表示する場合（以下、このような利用条件を、適宜、第２の利用条件と称する）の画像処理装置１１の動作について説明する。
【００８４】
なお、この例の場合、ビデオカメラ２は、隣接するもの同士の撮像範囲が、図２０の点線の枠が示すように、一部重複するように配置されている。例えば、ビデオカメラ２−１の撮像範囲（図２１の実線の枠）は、ビデオカメラ２−２の撮像範囲（図２２の実施の範囲）、ビデオカメラ２−４の撮像範囲（図２３の実線の範囲）、およびビデオカメラ２−５の撮像範囲（図２４の実線の範囲）と一部重なっている。
【００８５】
画像処理装置１１は、座標変換テーブル生成装置１３により、このような第２の利用条件やビデオカメラ２のレンズ歪み等に基づいて生成された図２５に示すような座標変換テーブルＴａを利用して、第１の利用形態の場合と同様に図１１のフローチャートに示す処理を実行する。すなわち、画像処理装置１１の処理は、扱う座標等の値が変わるが、第１の利用条件の場合と第２の利用条件の場合とで、実質に同じであるので、利用条件の変更に容易に対応することができる。
【００８６】
なお、図１９の表示形態は、第１の利用条件（図１０）の場合と異なり、表示装置１２のディスプレイ１２Ａの全体に、ＨＤ画像が表示されるので、座標変換テーブルＴａには、第１の利用条件の場合のように（図１２）、黒色を出力する旨を表す情報は設定されていない。従って、この例の場合、図１１のフローチャートにおいて、ステップＳ３でＹＥＳの判定はなされないので、ステップＳ８の処理で、黒色を出力するための画素値が記憶されることはない。
【００８７】
次に、この例の場合において利用される座標変換テーブルＴａ（図２５）を生成する場合の座標変換テーブル生成装置１３の動作を、図２６のフローチャートを参照して説明する。
【００８８】
ステップＳ６１において、座標変換テーブル生成装置１３のＣＰＵ４１は、表示装置１２のディスプレイ１２Ａの座標（ＨＤ画像上を構成する１つの画素の座標）（図１９）を１つ選択し、ステップＳ６２において、カメラ番号を１つ選択する。
【００８９】
ステップＳ６３において、ＣＰＵ４１は、図２７に示すディスプレイ１２Ａ上の座標とカメラ番号との対応関係を表す対応テーブルＴｃ１に、ステップＳ６１で選択したディスプレイ１２Ａ上の座標と、ステップＳ６２で選択したカメラ番号とが対応付けているか否かを判定する。
【００９０】
図２７に示す対応テーブルＴｃ１のディスプレイ１２Ａ上の座標には、図２０に示したビデオカメラ２の撮像範囲に対応する、図２８に示すような領域毎に、対応する撮像範囲を有するビデオカメラ２のカメラ番号が対応付けられている。
【００９１】
例えば、ディスプレイ１２Ａ上の、ビデオカメラ２−１の撮像範囲（図２１）に対応する領域Ｑ１（図２９）内の座標には、ビデオカメラ２−１のカメラ番号が対応付けられており、ビデオカメラ２−２の撮像範囲（図２２）に対応する領域Ｑ２（図３０）内の座標には、ビデオカメラ２−２のカメラ番号が対応付けられている。なお、領域Ｑ１および領域Ｑ２の両方に属するディスプレイ１２Ａ上の座標（例えば、図２９および図３０の座標（Ｘｈｉ，Ｙｈｉ））には、ビデオカメラ２−１，２−２の２個のカメラ番号が対応付けられている。
【００９２】
図２６に戻り、ステップＳ６３で、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標と、ステップＳ６２で選択されたカメラ番号が対応付けられていると判定された場合、ステップＳ６４に進む。
【００９３】
ステップＳ６４において、ＣＰＵ４１は、ハードディスク４４に記憶されている、図３１に示すディスプレイ１２Ａ上の座標、ビデオカメラ２のレンズ歪み等に基づいて補正されたビデオカメラ２による撮像の結果得られるＳＤ画像から切り取られた小画面Ｗ分の画像の小画面Ｗ上の座標、およびディスプレイ１２Ａ上の座標が対応する撮像範囲を有するビデオカメラ２のカメラ番号との対応関係を示す対応テーブルＴｃ２から、ステップＳ６１で選択したディスプレイ１２Ａ上の座標とステップＳ６２で選択されたカメラ番号に対応付けられている小画面Ｗ上の座標を検出する。なお、対応テーブルＴｃ２の生成方法については後述する。
【００９４】
次に、ステップＳ６５において、ＣＰＵ４１は、ステップＳ６４で検出した補正後のＳＤ画像の小画面Ｗ上の座標から、補正前のＳＤ画像の小画面Ｗ上の座標を算出する。
【００９５】
ステップＳ６３で、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標と、ステップＳ６２で選択したカメラ番号とが対応付けられていないと判定されたとき、またはステップＳ６５で、補正前のＳＤ画像の小画面Ｗ上の座標が算出されたとき、ステップＳ６６に進み、ＣＰＵ４１は、すべてのカメラ番号が選択されたか否かを判定し、選択されていないものがまだ残っていると判定した場合、ステップＳ６２に戻り、次のカメラ番号を選択する。
【００９６】
ステップＳ６６で、すべてのカメラ番号が選択されたと判定されたとき、ステップＳ６７に進み、ＣＰＵ４１は、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標が、対応テーブルＴｃ１（図２７）において複数のカメラ番号に対応付けられていたか否かを判定し、複数のカメラ番号に対応付けられていたと判定した場合、ステップＳ６８に進む。
【００９７】
例えば、図２９および図３０に示したディスプレイ１２Ａ上の座標（Ｘｈｉ，Ｙｈｉ）は、対応テーブルＴｃ１において、ビデオカメラ２−１のカメラ番号とビデオカメラ２−３のカメラ番号の両方に対応付けられているので、その座標（Ｘｈｉ，Ｙｈｉ）がステップＳ６１で選択されているとき、ステップＳ６８に進む。
【００９８】
ステップＳ６８において、ＣＰＵ４１は、ステップＳ６２乃至ステップＳ６５の処理が複数回行われて算出された複数の補正前のＳＤ画像の小画面Ｗ上の座標（ステップＳ６５）（例えば、ステップＳ６２でビデオカメラ２−１のカメラ番号が選択されているときに算出されたものとビデオカメラ２−２のカメラ番号が選択されているときに算出されたもの）の中から、座標変換テーブルＴａに設定する１つの座標を決定する。
【００９９】
例えば、座標（Ｘｈｉ，Ｙｈｉ）（図２９，３０）が、領域Ｑ２の中心からよりも、領域Ｑ１の中心からの方が近い位置にある場合、ビデオカメラ２−１のカメラ番号が選択されているときに算出された補正前のＳＤ画像の小画面Ｗ上の座標が選択される。
【０１００】
ステップＳ６７で、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標が、対応テーブルＴｃ１において複数のカメラ番号に対応付けられていないと判定されたとき、またはステップＳ６８で、１つの小画面Ｗ上の座標が決定されたとき、ステップＳ６９に進む。
【０１０１】
ステップＳ６９において、ＣＰＵ４１は、ステップＳ６１で選択したディスプレイ１２Ａ上の座標、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標が複数のカメラ番号に対応付けられていない場合のステップＳ６５で算出された小画面Ｗ上の座標またはステップＳ６１で選択されたディスプレイ１２Ａ上の座標が複数のカメラ番号に対応付けられている場合のステップＳ６８で決定された小画面Ｗ上の座標、およびその小画面Ｗ上の座標が算出されたときにステップＳ６２で選択されていたカメラ番号を、それぞれ対応させて座標変換テーブルＴａ（図２５）に保存する。
【０１０２】
次に、ステップＳ７０において、ＣＰＵ４１は、ディスプレイ１２Ａ上の座標がすべて選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ６１に戻り、次の座標を選択し、それ以降の処理を実行する。
【０１０３】
ステップＳ７０で、すべての座標が選択されたと判定されたとき、処理は終了する。
【０１０４】
次に、第２の利用条件に対応した座標変換テーブルＴａ（図２５）を生成する際に利用された対応テーブルＴｃ２（図３１）を生成する処理を、図３２のフローチャートを参照して説明する。なお、ここでは座標変換テーブル生成装置１３が対応テーブルＴｃ２を生成するものとする。
【０１０５】
ステップＳ８１において、座標変換テーブル生成装置１３のＣＰＵ４１は、カメラ番号を１つ選択する。
【０１０６】
次に、ステップＳ８２において、ＣＰＵ４１は、ビデオカメラ２による撮像の結果得られるＳＤ画像と同じ大きさのＳＤ画像を想定し、そのＳＤ画像を構成する各画素の小画面Ｗ上の座標（Ｘａ，Ｙａ）（補正前のＳＤ画像の小画面Ｗ上の座標）を、式（１）に従って補正し、座標（Ｘｂ，Ｙｂ）（補正後のＳＤ画像の小画面上の座標）を算出する。
【０１０７】
ステップＳ８３において、ＣＰＵ４１は、小画面Ｗの大きさに応じた、ステップＳ８２での補正の結果得られたＳＤ画像の範囲を決定し、ステップＳ８４において、決定された範囲内のＳＤ画像の各画素の小画面Ｗ上の座標（Ｘｂ，Ｙｂ）を選択する。すなわち、小画面Ｗに表示される補正後のＳＤ画像の小画面Ｗ上の座標が選択される。
【０１０８】
次に、ステップＳ８５において、ＣＰＵ４１は、ステップＳ８４で選択された補正後のＳＤ画像の小画面Ｗ上の座標の中から１つの座標を選択し、それを、ステップＳ８６において、ディスプレイ１２Ａ上の座標に変換する。
【０１０９】
具体的には、ステップＳ８５で選択された小画面Ｗ上の座標は、ステップＳ８３で決定された範囲のＳＤ画像を、ステップＳ８１で選択されたカメラ番号を有するビデオカメラ２の画像が表示される小画面Ｗにマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【０１１０】
例えば、ステップＳ８１で、ビデオカメラ２−５のカメラ番号が選択されているとき、ステップＳ８５で選択された小画面Ｗ上の座標は、ステップＳ８３で決定された範囲のＳＤ画像を小画面Ｗ５（図１９）にマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【０１１１】
次に、ステップＳ８７において、ＣＰＵ４１は、ステップＳ８１で選択したカメラ番号、ステップＳ８５で選択した補正後のＳＤ画像の小画面Ｗ上の座標、およびステップＳ８６で得られたディスプレイ１２Ａ上の座標を、図３１に示すように、それぞれ対応させて対応テーブルＴｃ２に保存する。
【０１１２】
ステップＳ８８において、ＣＰＵ４１は、ステップＳ８４で選択された座標のすべてが選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ８５に戻り、次の座標を選択する。
【０１１３】
ステップＳ８８で、すべての座標が選択されたと判定されたとき、ステップＳ８９に進み、ＣＰＵ４１は、カメラ番号のすべてが選択されたか否かを判定し、選択されていないカメラ番号がまだ残っていると判定した場合、ステップＳ８１に戻り、次のカメラ番号を選択する。
【０１１４】
ステップＳ８９で、すべてのカメラ番号が選択されたと判定されたとき、処理は終了する。
【０１１５】
次に、図４に示すように、８（Ｎ＝８）個のビデオカメラ２−１乃至２−８を３６０度全方の風景が被写体１となるようにして配置するとともに、ビデオカメラ２による撮像の結果得られた画像を、図５に示すように分割表示する場合（以下、このような利用条件を、適宜、第３の利用条件と称する）の画像処理装置１１の動作について説明する。
【０１１６】
なお、図４に示した８個のビデオカメラ２は、実際には、図３３に示すような全方向カメラ１０１に、ビデオカメラ２の投影中心が全方位カメラ１０１の中心付近で一致するように、かつ、各ビデオカメラ２の視線方向が１つの水平面上となるように、所定角度間隔で配列されている。
【０１１７】
平面鏡１１０は、ビデオカメラ２の視線方向に配置されている。
【０１１８】
すなわちビデオカメラ２が、対応する平面鏡１１０で反射された周囲の風景を撮像することにより、全方位カメラ１０１全体としては、水平方向３６０度の風景を撮像することができる。
【０１１９】
画像処理装置１１は、座標変換テーブル生成装置１３により、このような第３の利用条件やビデオカメラ２のレンズ歪み等に基づいて生成された座標変換テーブルＴａを利用して、第１の利用条件および第２の利用条件の場合と同様に図１１のフローチャートに示す処理を実行する。その結果、ビデオカメラ２による撮像の結果得られた８個の画像を、図５に示すように分割表示させることができる。
【０１２０】
次に、この例の場合において利用される座標変換テーブルＴａを生成する場合の座標変換テーブル生成装置１３の動作を、図３４のフローチャートを参照して説明する。
【０１２１】
ステップＳ１０１乃至ステップＳ１０４においては、図２６のステップＳ６１乃至ステップＳ６４における場合と同様の処理が行われるので、その説明を省略する。
【０１２２】
ステップＳ１０５において、ＣＰＵ４１は、ステップＳ１０４で検出した補正後のＳＤ画像の小画面Ｗ上の座標を最適化するとともに、ミラー反転処理の逆の処理（逆ミラー反転処理）を行って、補正前のＳＤ画像の小画面Ｗ上の座標を算出する。
【０１２３】
ステップＳ１０６乃至ステップＳ１１０においては、図２６のステップＳ６６乃至ステップＳ７０における場合と同様の処理がなされるので、その説明は省略する。
【０１２４】
次に、ステップＳ１０４で利用されたディスプレイ１２Ａ上の座標と補正後のＳＤ画像の小画面Ｗ上の座標との対応関係を示す対応テーブルを生成する処理を、図３５のフローチャートを参照して説明する。なお、ここでは座標変換テーブル生成装置１３がその対応テーブルを生成するものとする。
【０１２５】
ステップＳ１２１において、座標変換テーブル生成装置１３のＣＰＵ４１は、カメラ番号を１つ選択する。
【０１２６】
次に、ステップＳ１２２において、ＣＰＵ４１は、ビデオカメラ２による撮像の結果得られたＳＤ画像と同じ大きさのＳＤ画像を想定し、そのＳＤ画像を構成する各画素の座標（Ｘａ，Ｙａ）を、式（１）に従って補正し、座標（Ｘｂ，Ｙｂ）を算出するするとともに、ミラー反転処理を施す。
【０１２７】
ステップＳ１２３乃至ステップＳ１２９においては、図３２のステップＳ８３乃至ステップＳ８９における場合と同様の処理が行われるので、その説明を省略する。
【０１２８】
上述した一連の処理は、ハードウエアにより実現させることもできるが、ソフトウエアにより実現させることもできる。一連の処理をソフトウエアにより実現する場合には、そのソフトウエアを構成するプログラムがコンピュータにインストールされ、そのプログラムがコンピュータで実行されることより、上述した画像処理装置１１および座標変換テーブル生成装置１３が機能的に実現される。
【０１２９】
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３０】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１３１】
【発明の効果】
第１の本発明によれば、小画面の分割表示を容易に行うことができる。
【０１３２】
第２の本発明によれば、利用条件が変更されても、小画面の分割表示を容易に行うことができる。
【図面の簡単な説明】
【図１】従来の画像処理システムの構成例を示すブロック図である。
【図２】図１のビデオカメラの配置例を示す図である。
【図３】図２のビデオカメラによる撮像の結果得られた画像の表示例を示す図である。
【図４】図１のビデオカメラの他の配置例を示す図である。
【図５】図４のビデオカメラによる撮像の結果得られた画像の他の表示例を示す図である。
【図６】本発明を適用した画像処理システムの構成例を示すブロック図である。
【図７】図６の表示装置のディスプレイの大きさを示す図である。
【図８】図６の画像処理装置の構成例を示すブロック図である。
【図９】図６の座標変換テーブル生成装置の構成例を示すブロック図である。
【図１０】図２のビデオカメラによる撮像の結果得られた画像の他の表示例を示す図である。
【図１１】図６の画像処理装置の画像処理を説明するフローチャートである。
【図１２】座標変換テーブルの例を示す図である。
【図１３】図６の座標変換テーブル生成装置の座標変換テーブルを生成する場合の動作を説明するフローチャートである。
【図１４】ディスプレイ上の座標とカメラ番号の対応テーブルの例を示す図である。
【図１５】ディスプレイ上の座標と補正後のＳＤ画像の小画面上の座標の対応テーブルの例を示す図である。
【図１６】図１５の対応テーブルを生成する処理を説明するフローチャートである。
【図１７】図１５の対応テーブルを生成する処理を説明する図である。
【図１８】図６のビデオカメラの配置例を示す図である。
【図１９】図１８のビデオカメラによる撮像の結果得られた画像の表示例を示す図である。
【図２０】図１８のビデオカメラの撮像範囲を説明する図である。
【図２１】図１８のビデオカメラの撮像範囲を説明する他の図である。
【図２２】図１８のビデオカメラの撮像範囲を説明する他の図である。
【図２３】図１８のビデオカメラの撮像範囲を説明する他の図である。
【図２４】図１８のビデオカメラの撮像範囲を説明する他の図である。
【図２５】座標変換テーブルの他の例を示す図である。
【図２６】図６の座標変換テーブル生成装置の座標変換テーブルを生成する場合の他の動作を説明するフローチャートである。
【図２７】ディスプレイ上の座標とカメラ番号との対応テーブルの他の例を示す図である。
【図２８】図１８のビデオカメラの撮像範囲に対応するディスプレイ上の領域を示す図である。
【図２９】図１８のビデオカメラの撮像範囲に対応するディスプレイ上の領域を示す他の図である。
【図３０】図１８のビデオカメラの撮像範囲に対応するディスプレイ上の領域を示す他の図である。
【図３１】ディスプレイ上の座標と補正後のＳＤ画像の小画面上の座標との対応テーブルの他の例を示す図である。
【図３２】図３１の対応テーブルの生成処理を説明するフローチャートである。
【図３３】全方位カメラの外観の図である。
【図３４】図６の座標変換テーブル生成装置の座標変換テーブルを生成する場合の他の動作を説明するフローチャートである。
【図３５】ディスプレイ上の座標と補正後のＳＤ画像の小画面上の座標との対応テーブルを生成する処理を説明するフローチャートである。
【符号の説明】
２　ビデオカメラ，　１１　画像処理装置，　１２　表示装置，　１２Ａ　ディスプレイ，　１３　座標変換テーブル生成装置，　２１　メモリカード，　３１　デコーダ，　３２　フィールドメモリ，　３３　変換部，　３４　フレームメモリ，　３５　エンコーダ，　３６　記憶部，　３７　インタフェース，　４１　ＣＰＵ，　４２　ＲＯＭ，　４３　ＲＡＭ，　４４　ハードディスク，　４５　バス，　４６　入出力インタフェース，　４７　出力部，　４８　入力部，　４９　通信部，　５０　ドライブ，　１０１　全方向カメラ
【図１】
2004062103.tif 000004
【図２】
2004062103.tif 000005
【図３】
2004062103.tif 000006
【図４】
2004062103.tif 000007
【図５】
2004062103.tif 000008
【図６】
2004062103.tif 000009
【図７】
2004062103.tif 000010
【図８】
2004062103.tif 000011
【図９】
2004062103.tif 000012
【図１０】
2004062103.tif 000013
【図１１】
2004062103.tif 000014
【図１２】
2004062103.tif 000015
【図１３】
2004062103.tif 000016
【図１４】
2004062103.tif 000017
【図１５】
2004062103.tif 000018
【図１６】
2004062103.tif 000019
【図１７】
2004062103.tif 000020
【図１８】
2004062103.tif 000021
【図１９】
2004062103.tif 000022
【図２０】
2004062103.tif 000023
【図２１】
2004062103.tif 000024
【図２２】
2004062103.tif 000025
【図２３】
2004062103.tif 000026
【図２４】
2004062103.tif 000027
【図２５】
2004062103.tif 000028
【図２６】
2004062103.tif 000029
【図２７】
2004062103.tif 000030
【図２８】
2004062103.tif 000031
【図２９】
2004062103.tif 000032
【図３０】
2004062103.tif 000033
【図３１】
2004062103.tif 000034
【図３２】
2004062103.tif 000035
【図３３】
2004062103.tif 000036
【図３４】
2004062103.tif 000037
【図３５】
2004062103.tif 000038