(57)【特許請求の範囲】
【請求項１】
画像処理用の座標変換テーブルを生成する情報処理装置、および前記座標変換テーブルに基づいて画像処理を行う画像処理装置からなる情報処理システムにおいて、
前記情報処理装置は、
複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、前記大画面を構成する複数の小画面のうち、前記大画面上の前記所定の座標を含む前記小画面に表示される第１の前記小画像を撮像した前記ビデオカメラのカメラ番号を検出する第１の検出手段と、
前記ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の前記小画像の前記小画面上の座標のうち、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第１の座標を検出する第２の検出手段と、
所定の処理により、外周部分の歪を補正した第２の前記小画像の前記小画面上の前記第１の座標から、外周部分の歪を補正する前の第１の前記小画像の前記小画面上の座標のうち、前記小画面上の前記第１の座標に対応する、前記小画面上の第２の座標を算出する算出手段と、
前記大画面上の前記所定の座標、検出された前記カメラ番号、および算出された前記小画面上の前記第２の座標をそれぞれ対応付けた前記座標変換テーブルを生成する生成手段と
を備え、
前記画像処理装置は、
前記座標変換テーブルから、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第２の座標を検出する第３の検出手段と、
前記座標変換テーブルに、前記大画面上の前記所定の座標に対応付けられている前記カメラ番号の前記ビデオカメラで撮像された第１の前記小画像を構成する複数の画素のうち、前記座標変換テーブルから検出された前記小画面上の前記第２の座標に対応する位置にある画素の画素値を読み取る読み取り手段と、
読み取られた前記画素値を、前記大画面上の前記所定の座標に対応する位置にある前記大画像の画素の画素値として出力する出力手段と
を備える情報処理システム。
【請求項２】
前記情報処理装置の前記第１の検出手段は、前記大画面上の座標に、前記大画面を構成する複数の小画面のうち、前記大画面上の座標を含む前記小画面に表示される前記小画像を撮像した前記ビデオカメラの前記カメラ番号を対応付けた第１の対応テーブルに基づいて、前記大画面上の前記所定の座標に対応する前記カメラ番号を検出し、
前記第２の検出手段は、前記ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の前記小画像の前記小画面上の座標に、対応する前記大画面上の座標を対応付けた第２の対応テーブルに基づいて、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第１の座標を検出する
請求項１に記載の情報処理システム。
【請求項３】
画像処理用の座標変換テーブルを生成する情報処理装置において、
複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、前記大画面を構成する複数の小画面のうち、前記大画面上の前記所定の座標を含む前記小画面に表示される第１の前記小画像を撮像した前記ビデオカメラのカメラ番号を検出する第１の検出手段と、
前記ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の前記小画像の前記小画面上の座標のうち、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第１の座標を検出する第２の検出手段と、
所定の処理により、外周部分の歪を補正した第２の前記小画像の前記小画面上の前記第１の座標から、外周部分の歪を補正する前の第１の前記小画像の前記小画面上の座標のうち、前記小画面上の前記第１の座標に対応する、前記小画面上の第２の座標を算出する算出手段と、
前記大画面上の前記所定の座標、検出された前記カメラ番号、および算出された前記小画面上の前記第２の座標をそれぞれ対応付けた前記座標変換テーブルを生成する生成手段と
を備える情報処理装置。
【請求項４】
前記第１の検出手段は、前記大画面上の座標に、前記大画面を構成する複数の小画面のうち、前記大画面上の座標を含む前記小画面に表示される前記小画像を撮像した前記ビデオカメラの前記カメラ番号を対応付けた第１の対応テーブルに基づいて、前記大画面上の前記所定の座標に対応する前記カメラ番号を検出し、
前記第２の検出手段は、前記ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の前記小画像の前記小画面上の座標に、対応する前記大画面上の座標を対応付けた第２の対応テーブルに基づいて、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第１の座標を検出する
請求項３に記載の情報処理装置。
【請求項５】
画像処理用の座標変換テーブルを生成する情報処理装置の情報処理方法において、
複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、前記大画面を構成する複数の小画面のうち、前記大画面上の前記所定の座標を含む前記小画面に表示される第１の前記小画像を撮像した前記ビデオカメラのカメラ番号を検出する第１の検出ステップと、
前記ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の前記小画像の前記小画面上の座標のうち、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第１の座標を検出する第２の検出ステップと、
所定の処理により、外周部分の歪を補正した第２の前記小画像の前記小画面上の前記第１の座標から、外周部分の歪を補正する前の第１の前記小画像の前記小画面上の座標のうち、前記小画面上の前記第１の座標に対応する、前記小画面上の第２の座標を算出する算出ステップと、
前記大画面上の前記所定の座標、検出された前記カメラ番号、および算出された前記小画面上の前記第２の座標をそれぞれ対応付けた前記座標変換テーブルを生成する生成ステップと
を含む情報処理方法。
【請求項６】
画像処理用の座標変換テーブルを生成する情報処理装置の制御用のプログラムにおいて、
複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、前記大画面を構成する複数の小画面のうち、前記大画面上の前記所定の座標を含む前記小画面に表示される第１の前記小画像を撮像した前記ビデオカメラのカメラ番号を検出する第１の検出ステップと、
前記ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の前記小画像の前記小画面上の座標のうち、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第１の座標を検出する第２の検出ステップと、
所定の処理により、外周部分の歪を補正した第２の前記小画像の前記小画面上の前記第１の座標から、外周部分の歪を補正する前の第１の前記小画像の前記小画面上の座標のうち、前記小画面上の前記第１の座標に対応する、前記小画面上の第２の座標を算出する算出ステップと、
前記大画面上の前記所定の座標、検出された前記カメラ番号、および算出された前記小画面上の前記第２の座標をそれぞれ対応付けた前記座標変換テーブルを生成する生成ステップと
を含む処理を情報処理装置のコンピュータに実行させるプログラム。
【請求項７】
座標変換テーブルに基づいて画像処理を行う画像処理装置において、
複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標、前記大画面を構成する複数の小画面のうち、前記大画面上の前記所定の座標を含む前記小画面に表示される第１の前記小画像を撮像した前記ビデオカメラのカメラ番号、および前記ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の前記小画像の前記小画面上の座標のうち、前記大画面上の前記所定の座標に対応する座標を、前記小画面上の第１の座標とし、外周部分の歪を補正する前の第１の前記小画像の前記小画面上の座標のうち、前記小画面上の前記第１の座標に対応する、前記小画面上の第２の座標をそれぞれ対応付けた前記座標変換テーブルから、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第２の座標を検出する検出手段と、
前記座標変換テーブルに、前記大画面上の前記所定の座標に対応付けられている前記カメラ番号の前記ビデオカメラで撮像された第１の前記小画像を構成する複数の画素のうち、前記座標変換テーブルから検出された前記小画面上の前記第２の座標に対応する位置にある画素の画素値を読み取る読み取り手段と、
読み取られた前記画素値を、前記大画面上の前記所定の座標に対応する位置にある前記大画像の画素の画素値として出力する出力手段と
を備える画像処理装置。
【請求項８】
座標変換テーブルに基づいて画像処理を行う画像処理装置の画像処理方法において、
複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標、前記大画面を構成する複数の小画面のうち、前記大画面上の前記所定の座標を含む前記小画面に表示される第１の前記小画像を撮像した前記ビデオカメラのカメラ番号、および前記ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の前記小画像の前記小画面上の座標のうち、前記大画面上の前記所定の座標に対応する座標を、前記小画面上の第１の座標とし、外周部分の歪を補正する前の第１の前記小画像の前記小画面上の座標のうち、前記小画面上の前記第１の座標に対応する、前記小画面上の第２の座標をそれぞれ対応付けた前記座標変換テーブルから、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第２の座標を検出する検出ステップと、
前記座標変換テーブルに、前記大画面上の前記所定の座標に対応付けられている前記カメラ番号の前記ビデオカメラで撮像された第１の前記小画像を構成する複数の画素のうち、前記座標変換テーブルから検出された前記小画面上の前記第２の座標に対応する位置にある画素の画素値を読み取る読み取りステップと、
読み取られた前記画素値を、前記大画面上の前記所定の座標に対応する位置にある前記大画像の画素の画素値として出力する出力ステップと
を含む画像処理方法。
【請求項９】
座標変換テーブルに基づいて画像処理を行う画像処理装置の制御用のプログラムにおいて、
複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標、前記大画面を構成する複数の小画面のうち、前記大画面上の前記所定の座標を含む前記小画面に表示される第１の前記小画像を撮像した前記ビデオカメラのカメラ番号、および前記ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の前記小画像の前記小画面上の座標のうち、前記大画面上の前記所定の座標に対応する座標を、前記小画面上の第１の座標とし、外周部分の歪を補正する前の第１の前記小画像の前記小画面上の座標のうち、前記小画面上の前記第１の座標に対応する、前記小画面上の第２の座標をそれぞれ対応付けた前記座標変換テーブルから、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第２の座標を検出する検出ステップと、
前記座標変換テーブルに、前記大画面上の前記所定の座標に対応付けられている前記カメラ番号の前記ビデオカメラで撮像された第１の前記小画像を構成する複数の画素のうち、前記座標変換テーブルから検出された前記小画面上の前記第２の座標に対応する位置にある画素の画素値を読み取る読み取りステップと、
読み取られた前記画素値を、前記大画面上の前記所定の座標に対応する位置にある前記大画像の画素の画素値として出力する出力ステップと
を含む処理を画像処理装置のコンピュータに実行させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報処理システム、情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラムに関し、特に、複数の画像を適切に分割表示することができるようにした情報処理システム、情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラムに関する。
【０００２】
【従来の技術】
図１は、従来の画像処理システムの構成例を示している。
【０００３】
被写体１に対して所定の位置に配置されたＮ個のビデオカメラ２−１乃至２−Ｎ（以下、個々に区別する必要がない場合、単に、ビデオカメラ２と称する。他の場合についても同様である）は、撮像の結果得られた画像を、画像処理装置３に供給する。
【０００４】
画像処理装置３は、ビデオカメラ２から供給されたＮ個の画像が表示装置４のディスプレイ４Ａ上で分割表示される画像を生成し、表示装置４に供給する。表示装置４は、画像処理装置３からの画像をディスプレイ４Ａに表示する。
【０００５】
【発明が解決しようとする課題】
ところで、図１には、画像処理装置３により生成された画像が表示装置４に供給される例が示されているが、画像処理装置３により生成された画像は、実際には、その画像を加工するパーソナルコンピュータに供給されたり、その画像を用いて放送番組を生成する放送業者に供給されたり、ネットワークを介してブロードバンドされるなど、多くの形態に応じて出力される。
【０００６】
すなわち、画像処理装置３は、このような利用形態（ビデオカメラ２のレンズ歪みや使用方法、または分割表示位置など）に応じた画像を生成する必要があり、画像処理装置３の画像処理は、利用形態により異なる。
【０００７】
例えば、９（Ｎ＝９）個のビデオカメラ２−１乃至２−９（例えば、図２に示すように、被写体１を取り囲むようにして配置されたビデオカメラ）による撮像の結果得られた９個の画像を、図３に示すように分割表示させる場合には、それに応じた画像処理を行い、また８（Ｎ＝８）個のビデオカメラ２−１乃至２−８（例えば、図４に示すように、３６０度全方の風景が被写体１となるように配置されたビデオカメラ）による撮像の結果得られた８個の画像を、図５に示すように分割表示させる場合には、それに応じた画像処理を行う必要がある。
【０００８】
なお、図３および図５に示される小画面Ｗに付されている数字は、そこに表示される画像の提供元であるビデオカメラ２を表しており、そのビデオカメラ２に続けて示されている数字と対応付けられている。すなわち、例えば、ビデオカメラ２−１による撮像の結果得られた画像は、小画面Ｗ１に表示され、ビデオカメラ２−２による撮像の結果得られた画像は、小画面Ｗ２に表示される。
【０００９】
従って、画像処理装置３は、ユーザの利用形態に応じた専用機器とされ、その結果、従来の画像処理システムでは、利用形態の変更に容易に対応することができない課題があった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、利用形態の変更に容易に対応することができるようにするものである。
【００１１】
【課題を解決するための手段】
本発明の第１の側面の情報処理システムは、情報処理装置が、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号を検出する第１の検出手段と、ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する、小画面上の第１の座標を検出する第２の検出手段と、所定の処理により、外周部分の歪を補正した第２の小画像の小画面上の第１の座標から、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標を算出する算出手段と、大画面上の所定の座標、検出されたカメラ番号、および算出された小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルを生成する生成手段とを備え、画像処理装置が、座標変換テーブルから、大画面上の所定の座標に対応する、小画面上の第２の座標を検出する第３の検出手段と、座標変換テーブルに、大画面上の所定の座標に対応付けられているカメラ番号のビデオカメラで撮像された第１の小画像を構成する複数の画素のうち、座標変換テーブルから検出された小画面上の第２の座標に対応する位置にある画素の画素値を読み取る読み取り手段と、読み取られた画素値を、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力する出力手段とを備える。
【００１２】
本発明の第１の側面の情報処理システムの情報処理装置の第１の検出手段には、大画面上の座標に、大画面を構成する複数の小画面のうち、大画面上の座標を含む小画面に表示される小画像を撮像したビデオカメラのカメラ番号を対応付けた第１の対応テーブルに基づいて、大画面上の所定の座標に対応するカメラ番号を検出させ、第２の検出手段には、ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標に、対応する大画面上の座標を対応付けた第２の対応テーブルに基づいて、大画面上の所定の座標に対応する、小画面上の第１の座標を検出させることができる。
本発明の第１の側面においては、情報処理装置で、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号が検出され、ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する、小画面上の第１の座標が検出され、所定の処理により、外周部分の歪を補正した第２の小画像の小画面上の第１の座標から、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標が算出され、大画面上の所定の座標、検出されたカメラ番号、および算出された小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルが生成され、画像処理装置で、座標変換テーブルから、大画面上の所定の座標に対応する、小画面上の第２の座標が検出され、座標変換テーブルに、大画面上の所定の座標に対応付けられているカメラ番号のビデオカメラで撮像された第１の小画像を構成する複数の画素のうち、座標変換テーブルから検出された小画面上の第２の座標に対応する位置にある画素の画素値が読み取られ、読み取られた画素値が、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力されるので、ユーザの利用形態が変更されても、専用の画像処理装置を必要とすることがなく、容易に小画面の分割表示に対応することができる。
【００１３】
本発明の第２の側面の情報処理装置は、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号を検出する第１の検出手段と、ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する、小画面上の第１の座標を検出する第２の検出手段と、所定の処理により、外周部分の歪を補正した第２の小画像の小画面上の第１の座標から、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標を算出する算出手段と、大画面上の所定の座標、検出されたカメラ番号、および算出された小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルを生成する生成手段とを備える。
本発明の第２の側面の情報処理装置の第１の検出手段には、大画面上の座標に、大画面を構成する複数の小画面のうち、大画面上の座標を含む小画面に表示される小画像を撮像したビデオカメラのカメラ番号を対応付けた第１の対応テーブルに基づいて、大画面上の所定の座標に対応するカメラ番号を検出させ、第２の検出手段には、ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標に、対応する大画面上の座標を対応付けた第２の対応テーブルに基づいて、大画面上の所定の座標に対応する、小画面上の第１の座標を検出させることができる。
本発明の第２の側面の情報処理方法は、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号を検出する第１の検出ステップと、ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する、小画面上の第１の座標を検出する第２の検出ステップと、所定の処理により、外周部分の歪を補正した第２の小画像の小画面上の第１の座標から、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標を算出する算出ステップと、大画面上の所定の座標、検出されたカメラ番号、および算出された小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルを生成する生成ステップとを含む。
本発明の第２の側面の第１のプログラムは、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号を検出する第１の検出ステップと、ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する、小画面上の第１の座標を検出する第２の検出ステップと、所定の処理により、外周部分の歪を補正した第２の小画像の小画面上の第１の座標から、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標を算出する算出ステップと、大画面上の所定の座標、検出されたカメラ番号、および算出された小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルを生成する生成ステップとを含む処理を情報処理装置のコンピュータに実行させる。
本発明の第２の側面においては、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号が検出され、ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する、小画面上の第１の座標が検出され、所定の処理により、外周部分の歪を補正した第２の小画像の小画面上の第１の座標から、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標が算出され、大画面上の所定の座標、検出されたカメラ番号、および算出された小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルが生成されるので、生成された座標変換テーブルを用いることにより、ユーザの利用形態が変更されても、専用の画像処理装置を必要とすることがなく、容易に小画面の分割表示に対応することができる。
本発明の第３の側面の画像処理装置は、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号、およびビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する座標を、小画面上の第１の座標とし、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルから、大画面上の所定の座標に対応する、小画面上の第２の座標を検出する検出手段と、座標変換テーブルに、大画面上の所定の座標に対応付けられているカメラ番号のビデオカメラで撮像された第１の小画像を構成する複数の画素のうち、座標変換テーブルから検出された小画面上の第２の座標に対応する位置にある画素の画素値を読み取る読み取り手段と、読み取られた画素値を、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力する出力手段とを備える。
本発明の第３の側面の画像処理方法は、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号、およびビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する座標を、小画面上の第１の座標とし、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルから、大画面上の所定の座標に対応する、小画面上の第２の座標を検出する検出ステップと、座標変換テーブルに、大画面上の所定の座標に対応付けられているカメラ番号のビデオカメラで撮像された第１の小画像を構成する複数の画素のうち、座標変換テーブルから検出された小画面上の第２の座標に対応する位置にある画素の画素値を読み取る読み取りステップと、読み取られた画素値を、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力する出力ステップとを含む。
本発明の第３の側面の第２のプログラムは、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号、およびビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する座標を、小画面上の第１の座標とし、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルから、大画面上の所定の座標に対応する、小画面上の第２の座標を検出する検出ステップと、座標変換テーブルに、大画面上の所定の座標に対応付けられているカメラ番号のビデオカメラで撮像された第１の小画像を構成する複数の画素のうち、座標変換テーブルから検出された小画面上の第２の座標に対応する位置にある画素の画素値を読み取る読み取りステップと、読み取られた画素値を、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力する出力ステップとを含む処理を画像処理装置のコンピュータに実行させる。
本発明の第３の側面においては、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号、およびビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する座標を、小画面上の第１の座標とし、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルから、大画面上の所定の座標に対応する、小画面上の第２の座標が検出され、座標変換テーブルに、大画面上の所定の座標に対応付けられているカメラ番号のビデオカメラで撮像された第１の小画像を構成する複数の画素のうち、座標変換テーブルから検出された小画面上の第２の座標に対応する位置にある画素の画素値が読み取られ、読み取られた画素値が、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力されるので、ユーザの利用形態が変更されても、座標変換テーブルを用いることにより、専用の画像処理装置を必要とすることがなく、容易に小画面の分割表示に対応することができる。
【００１４】
【発明の実施の形態】
図６は、本発明を適用した画像処理システムの構成例を示している。図中、図１における場合と対応する部分については、同一の符号を付してある。なお、座標変換テーブル生成装置１３は、事業者により管理され、被写体１乃至表示装置１２は、ユーザにより管理されているものとし、画像処理装置１１は、その事業者が製造したものとする。
【００１５】
被写体１に対して所定の位置に配置されたＮ個のビデオカメラ２−１乃至２−Ｎは、撮像の結果得られた画像（例えば、SD（standard definition）画像）を、画像処理装置１１に供給する。
【００１６】
画像処理装置１１は、ビデオカメラ２の数や配置位置、レンズ歪み、およびSD画像の表示位置等の利用態様を、ネットワーク２１を介して座標変換テーブル生成装置１３（正確には、それを管理する事業者）に送信し、ネットワーク２１を介して送信されてきた、その利用態様に応じて座標変換テーブル生成装置１３により生成された座標変換テーブルＴaを取得する。
【００１７】
画像処理装置１１は、取得した座標変換テーブルＴaを利用して、ビデオカメラ２−１乃至２−Ｎのそれぞれから供給されたSD画像から、Ｎ個のSD画像が、表示装置１２のディスプレイ１２Ａ上に所望の形態で分割表示される画像（HD（high definition）画像）を生成し、例えば、表示装置１２に供給する。
【００１８】
表示装置１２は、画像処理装置１１からのHD画像を、ディスプレイ１２Ａに表示する。なおディスプレイ１２Ａは、図７に示すように、１０８０×１９２０ピクセルの解像度を有している。
【００１９】
座標変換テーブル生成装置１３は、画像処理装置１１からネットワーク２１を介して送信されてきた利用態様（ビデオカメラ２の数や配置位置、レンズ歪み、およびSD画像の表示位置等）に対応した座標変換テーブルＴaを生成し、画像処理装置１１に供給する。
【００２０】
すなわち、画像処理装置１１の製造業者若しくは提供者は、座標変換テーブルＴaを画像処理装置１１に提供するときに課金を発生させることで、画像処理装置１１の製造販売の他、画像処理装置１１に付帯する情報の提供という新たなビジネスを構築することができる。そのため、座標変換テーブル生成装置１３は、座標変換テーブルＴaなどの情報を暗号化する暗号化手段を、そして画像処理装置１１は、それを復号する復号手段を具備していることが望ましい。
【００２１】
図８は、画像処理装置１１の構成例を示している。
【００２２】
Ｎ個のデコーダ３１−１乃至３１−Ｎのそれぞれには、対応するビデオカメラ２−１乃至２−ＮからのSD画像が入力される。デコーダ３１−１乃至３１−Ｎは、ビデオカメラ２から入力されたSD画像をデコードし、対応するフィールドメモリ３２−１乃至３２−Ｎに供給する。
【００２３】
フィールドメモリ３２は、デコーダ３１から供給された画像データを、フィールド単位で記憶する。
【００２４】
制御部３３は、通信部３７を制御して、ユーザより入力部３８に入力された利用態様（ビデオカメラ２の数や配置位置、レンズ歪み、およびSD画像の表示位置等）を、ネットワーク２１を介して座標変換テーブル生成装置１３に送信させたり、その利用態様に応じて生成された座標変換テーブル生成装置１３からの座標変換テーブルＴaを取得して、記憶部３６に記憶させる。
【００２５】
制御部３３は、フィールドメモリ３２−１乃至３２−Ｎに記憶されている画像データを適宜読み出し、読み出した画像データから、記憶部３６に記憶されている座標変換テーブルＴaに基づいて、Ｎ個の画像が表示装置１２のディスプレイ１２Ａ上に所望の形態で分割表示されるHD画像を生成し、フレームメモリ３４に供給する。フレームメモリ３４は、制御部３３から供給されたHD画像を記憶する。
【００２６】
エンコーダ３５は、フレームメモリ３４に記憶された画像データ（HD画像の画像データ）を適宜読み取ってエンコードし、その結果得られた画像データを、表示装置１２に供給する。
【００２７】
図９は、座標変換テーブル生成装置１３の構成例を示している。
【００２８】
CPU（Central Processing Unit）４１にはバス４５を介して入出力インタフェース４６が接続されており、CPU４１は、入出力インタフェース４６を介して、キーボード、マウスなどよりなる入力部４８から指令が入力されると、例えば、ROM（Read Only Memory）４２、ハードディスク４４、またはドライブ５０に装着される磁気ディスク６１、光ディスク６２、光磁気ディスク６３、若しくは半導体メモリ６４などの記録媒体に格納されているプログラム（例えば、座標変換テーブルＴaを生成するためのプログラム）を、RAM（Random Access Memory）４３にロードして実行する。さらに、CPU４１は、その処理結果を、例えば、入出力インタフェース４６を介して、LCD（Liquid Crystal Display）などよりなる出力部４７に必要に応じて出力する。なお、プログラムは、ハードディスク４４やROM４２に予め記憶しておき、座標変換テーブル生成装置１３と一体的にユーザに提供したり、磁気ディスク６１、光ディスク６２、光磁気ディスク６３、半導体メモリ６４等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部４９を介してハードディスク４４に提供することができる。
【００２９】
CPU４１は、通信部４９を制御して、画像処理装置１１から送信されてきた利用態様を受信させたり、生成した座標変換テーブルＴaを画像処理装置１１に送信させる。
【００３０】
次に、画像処理装置１１および座標変換テーブル生成装置１３の動作を、図１０のフローチャートを参照して説明する。
【００３１】
ステップＳ１において、画像処理装置１１の制御部３３は、通信部３７を制御して、ユーザより入力部３８に入力された利用態様（ビデオカメラ２の数や配置位置、レンズ歪み、およびSD画像の表示位置等）を座標変換テーブル生成装置１３に送信させ、座標変換テーブルＴaの生成を要求する。
【００３２】
ステップＳ２において、座標変換テーブル生成装置１３のCPU４１は、画像処理装置１１からの利用態様に応じた座標変換テーブルＴaを生成する。なお、ここでの処理の詳細は後述する。
【００３３】
ステップＳ３において、座標変換テーブル生成装置１３のCPU４１は、生成した座標変換テーブルＴaを、例えば、画像処理装置１１の製造番号で暗号化し、通信部４９を介して画像処理装置１１に送信する。
【００３４】
ステップＳ４において、画像処理装置１１の制御部３３は、通信部３７により受信された、座標変換テーブル生成装置１３から送信されてきた座標変換テーブルＴaを、例えば、記憶部３６に記憶されている製造番号を利用して復号し、記憶部３６に記憶させる。
【００３５】
なお、このときに、座標変換テーブルＴaの送受信により、画像の座標変換に必要な情報の受発注行為が成立し、送信者である画像処理装置１１の製造業者若しくは提供者は、受信者であるユーザに対して課金を行うことができる。
【００３６】
ステップＳ５において、画像処理装置１１の制御部３３は、ステップＳ４で記憶された座標変換テーブルＴaを利用して、ビデオカメラ２−１乃至２−Ｎのそれぞれから供給されたSD画像から、Ｎ個のSD画像が、表示装置１２のディスプレイ１２Ａ上に所望の形態で分割表示されるHD画像を生成し、例えば、表示装置１２に供給する。なお、ここでの処理の詳細は、次に説明する。
【００３７】
例えば、図２に示すように、９（Ｎ＝９）個のビデオカメラ２−１乃至２−９を、比較的近くの被写体１を取り囲むようにして配置するとともに、ビデオカメラ２による撮像の結果得られた画像を、図１１に示すように分割表示する場合（以下、このような利用態様を、適宜、第１の利用態様と称する）のステップＳ５の処理について、図１２のフローチャートを参照して説明する。
【００３８】
すなわちこの場合、画像処理装置１１の記憶部３６には、この利用態様に応じてステップＳ２で生成された座標変換テーブルＴa（その詳細は後述する）が記憶されている。
【００３９】
ステップＳ１１において、画像処理装置１１の制御部３３は、記憶部３６に記憶されている、図１３に示すような座標変換テーブルＴaを読み出す。
【００４０】
この座標変換テーブルＴaには、ディスプレイ１２Ａ上の座標、ディスプレイ１２Ａ上の座標に対応する、そのディスプレイ１２Ａ上の座標を含む小画面Ｗ上の座標、およびその小画面Ｗに表示される画像を提供するビデオカメラ２に割り当てられたカメラ番号が、それぞれ対応付けられている。また所定のディスプレイ１２Ａ上の座標には、黒色を出力する旨を表す情報（図１３中の“黒色出力”で示されている情報）が設定されている。なお、黒色を出力する旨を表す情報が対応付けられているディスプレイ１２Ａ上の座標には、小画面Ｗ上の座標やカメラ番号が対応付けられていない。
【００４１】
次に、ステップＳ１２において、制御部３３は、ディスプレイ１２Ａ上の１つの座標（HD画像を構成する１つの画素の座標）を選択する。
【００４２】
ステップＳ１３において、制御部３３は、座標変換テーブルＴaにおいて、ステップＳ１２で選択したディスプレイ１２Ａ上の座標に、黒色を出力する旨を表す情報が対応付けられているか否かを判定し、その情報が対応付けられていないと判定した場合、ステップＳ１４に進み、選択したディスプレイ１２Ａ上の座標と対応付けられているカメラ番号を、座標変換テーブルＴaから検出する。
【００４３】
次に、ステップＳ１５において、制御部３３は、ステップＳ１４で検出されたカメラ番号が割り当てられているビデオカメラ２に対応するフィールドメモリ３２を選択する。
【００４４】
ステップＳ１６において、制御部３３は、ステップＳ１２で選択したディスプレイ１２Ａ上の座標と対応付けられている小画面Ｗ上の座標を、座標変換テーブルＴaから検出する。
【００４５】
次に、ステップＳ１７において、制御部３３は、ステップＳ１６で検出した小画面Ｗ上の座標に対応する位置にある、ステップＳ１５で選択したフィールドメモリ３２に記憶されているSD画像の画素の画素値を読み取り、それを、フレームメモリ３４に、ステップＳ１２で選択したディスプレイ１２Ａ上の座標に出力される画素値として記憶させる。
【００４６】
ステップＳ１３で、黒色を出力する旨を表す情報が設定されていると判定された場合、ステップＳ１８に進み、制御部３３は、黒色として表示される画素値を、フレームメモリ３４に、ステップＳ１２で選択されたディスプレイ１２Ａ上の座標に出力される画素値として記憶させる。
【００４７】
例えば、ステップＳ１２で、図１１中、小画面Ｗ５内の所定の座標が選択された場合、座標変換テーブルＴaにおいて、選択された座標には、ビデオカメラ２−５のカメラ番号が対応付けられており、黒色を出力する旨の情報は対応付けられていないので、ビデオカメラ２−５のカメラ番号が検出される（ステップＳ１３，ステップＳ１４）。次にビデオカメラ２−５に対応するフィールドメモリ３２−５が選択されるとともに（ステップＳ１５）、選択されたディスプレイ１２Ａ上の座標に対応付けられている小画面Ｗ上の座標が座標変換テーブルＴaから検出される（ステップＳ１６）。
【００４８】
そして検出された小画面Ｗ上の座標（ステップＳ１６）に対応する位置にある、ビデオカメラ２−５からのSD画像（ステップＳ１５）の画素の画素値が、選択されたディスプレイ１２Ａ上の座標に出力される画素値として記憶される（ステップＳ１７）。
【００４９】
また、例えば、ステップＳ１２で、図１１中、小画面Ｗ１乃至Ｗ９以外の画面（図中、陰が付されている部分）の座標が選択された場合、座標変換テーブルＴaにおいてそのような座標には、黒色を出力する旨の情報が設定されているので（ステップＳ１３）、黒色として表示される画素値が、選択されたディスプレイ１２Ａ上の座標に出力される画素値として記憶される（ステップＳ１８）。
【００５０】
図１２に戻り、ステップＳ１７またはステップＳ１８で、所定の画素値がフレームメモリ３４に記憶されたとき、ステップＳ１９に進み、制御部３３は、ディスプレイ１２Ａ上のすべての座標が選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ１２に戻り、次のディスプレイ１２Ａ上の座標を選択する。
【００５１】
ステップＳ１９で、すべての座標が選択されたと判定された場合、処理は終了する。
【００５２】
図１３に示した座標変換テーブルＴaは、後述するように、第１の利用態様に基づいて、座標変換テーブル生成装置１３により生成されたものであるので、本システムでは、画像処理装置１１が、その座標変換テーブルＴaに従って上述したような処理を行うことにより、ビデオカメラ２から供給される９個のSD画像を、図１１に示すように分割表示することができる。
【００５３】
次に、第１の利用態様に応じた座標変換テーブルＴaを生成する場合のステップＳ２の処理について、図１４のフローチャートを参照して説明する。
【００５４】
画像処理装置１１から送信されてきた利用態様（第１の利用態様）を受信すると、ステップＳ２１において、座標変換テーブル生成装置１３のCPU４１は、表示装置１２のディスプレイ１２Ａ上の座標（HD画像を構成する１つの画素の座標）（図１１）を１つ選択する。
【００５５】
具体的には、画像処理装置１１から送信されてきた第１の利用態様には、例えば、図１５に示すような、ディスプレイ１２Ａ上の小画面Ｗ１乃至小画面Ｗ９内の座標に、そこに表示される画像の提供元であるビデオカメラ２のカメラ番号が対応付けられ、ディスプレイ１２Ａ上の、小画面Ｗ１乃至小画面Ｗ９以外の画面（図１１中、陰が付されている部分）内の座標に、その旨を表す情報（以下、表示領域外情報と称する）が対応付けられている対応テーブルＴb1が含まれているので、CPU４１は、そのテーブルから、１つのディスプレイ１２Ａ上の座標を選択する。
【００５６】
ステップＳ２２において、CPU４１は、対応テーブルＴb1を参照して、ステップＳ２１で選択したディスプレイ１２Ａ上の座標が、小画面Ｗ内のもの（ビデオカメラ２による撮像の結果得られたSD画像に対応する画像が表示される画面内のもの）か否かを判定し、小画面Ｗ内のものであると判定した場合（対応テーブルＴb1において、ステップＳ２１で選択された座標に、ビデオカメラ２のカメラ番号が対応付けられている場合）、ステップＳ２３に進む。
【００５７】
ステップＳ２３において、CPU４１は、ステップＳ２１で選択されたディスプレイ１２Ａ上の座標に対応するビデオカメラ２のカメラ番号を、対応テーブルＴb1から検出する。
【００５８】
次に、ステップＳ２４において、CPU４１は、ステップＳ２１で選択したディスプレイ１２Ａ上の座標に対応付けられている小画面Ｗ上の座標を検出する。
【００５９】
具体的には、画像処理装置１１から送信されてきた第１の利用態様に含まれる、ビデオカメラ２のレンズ歪みを利用して生成されてハードディスク４４に記憶されている、図１６に示すようなレンズ歪みに基づいて補正されたビデオカメラ２による撮像の結果得られるSD画像から切り取られた小画面Ｗ分の画像の小画面Ｗ上の座標と、ディスプレイ１２Ａ上の座標との対応関係を示す対応テーブルＴb2から、ディスプレイ１２Ａ上の座標に対応付けられている小画面Ｗ上の座標が検出される。なお、この対応テーブルＴb2の詳細については後述する。
【００６０】
ステップＳ２５において、CPU４１は、ステップＳ２４で検出した小画面Ｗ上の座標から、後述するようにして補正前のSD画像（元のSD画像）の小画面Ｗ上の座標を算出する。
【００６１】
次に、ステップＳ２６において、CPU４１は、ステップＳ２１で選択したディスプレイ１２Ａ上の座標、ステップＳ２３で検出したカメラ番号、およびステップＳ２５で算出した小画面Ｗ上の座標を、それぞれ対応させて座標変換テーブルＴa（図１３）に保存する。
【００６２】
ステップＳ２２で、ステップＳ２１で選択されたディスプレイ１２Ａ上の座標が、小画面Ｗ内のものではないと判定された場合（対応テーブルＴb1において、ステップＳ２１で選択されたディスプレイ１２Ａ上の座標に、表示領域外情報が対応付けられている場合）、ステップＳ２７に進む。
【００６３】
ステップＳ２７において、CPU４１は、ステップＳ２１で選択したディスプレイ１２Ａ上の座標と黒色を出力する旨を表す情報を、それぞれ対応させて座標変換テーブルＴa（図１３）に保存する。
【００６４】
ステップＳ２６またはステップＳ２７で、所定の情報が座標変換テーブルＴaに保存されたとき、ステップＳ２８に進み、CPU４１は、ディスプレイ１２Ａ上のすべてのディスプレイ１２Ａ上の座標が選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ２１に戻り、次の座標を選択し、それ以降の処理を実行する。
【００６５】
ステップＳ２８で、すべての座標が選択されたと判定されたとき、処理は終了する。
【００６６】
次に、第１の利用態様に対応した座標変換テーブルＴa（図１３）を生成する際に利用された対応テーブルＴb2（図１６）を生成する処理を、図１７のフローチャートを参照して説明する。なお、ここでは座標変換テーブル生成装置１３が対応テーブルＴb2を生成するものとする。
【００６７】
ステップＳ４１において、座標変換テーブル生成装置１３のCPU４１は、ビデオカメラ２−１乃至２−９のカメラ番号の中から１つのカメラ番号を選択する。なお、CPU４１は、対応テーブルＴb1から、ビデオカメラ２−１乃至２−９のカメラ番号を把握している。
【００６８】
次に、ステップＳ４２において、CPU４１は、ビデオカメラ２による撮像の結果得られるSD画像と同じ大きさのSD画像（この例の場合、小画面Ｗと同じ大きさの画像）を想定し、そのSD画像を構成する各画素の小画面Ｗ上の座標（Ｘa，Ｙa）（補正前のSD画像の小画面Ｗ上の座標）を、式（１）に従って補正し、座標（Ｘb，Ｙb）（補正後のSD画像の小画面上の座標）を算出する。式中、座標（Ｘac，Ｙac）は、SD画像の中心に位置する画素の座標である。ｋ１およびｋ２は、第１の利用態様に含まれるビデオカメラ２のレンズ歪み等に基づいて決定される係数である。ｒは、座標（Ｘa，Ｙa）の画素と、SD画像の中心画素との距離である。
【００６９】
【数１】
0004218278.tif 000002
【００７０】
なお、このように座標を変換することで、ビデオカメラ２のレンズ歪みにより生ずるSD画像の外周部分のぼやけを鮮明にすることができる。
【００７１】
ステップＳ４３において、CPU４１は、小画面Ｗの大きさに対応した、ステップＳ４２での補正の結果得られたSD画像の範囲を決定し、ステップＳ４４において、決定された範囲内のSD画像の各画素の小画面Ｗ上の座標（Ｘb，Ｙb）を選択する。すなわち、小画面Ｗに表示される補正後のSD画像の小画面Ｗ上の座標が選択される。
【００７２】
ビデオカメラ２による撮像の結果得られたSD画像（図１８Ａ）は、式（１）による補正により、例えば、図１８Ｂの実線が示すように、糸巻き型に拡大して変形するので、その中から、図１８Ｂ中の点線で示す、ステップＳ４３で決定された範囲内の座標が選択される（図１８Ｃ）。なお、図１８Ａ中の座標（Ｘai，Ｙai）は、任意の座標（Ｘa，Ｙa）を示し、図１８Ｂおよび図１８Ｃ中の座標（Ｘbi，Ｙbi）は、座標（Ｘai，Ｙai）が補正された結果得られた座標（Ｘb，Ｙb）を表している。
【００７３】
ステップＳ４５において、CPU４１は、ステップＳ４４で選択された補正後のSD画像の小画面Ｗ上の座標の中から１つの座標を選択し、それを、ステップＳ４６において、ディスプレイ１２Ａ上の座標に変換する。
【００７４】
具体的には、ステップＳ４５で選択された小画面Ｗ上の座標は、ステップＳ４３で決定された範囲のSD画像（図１８（Ｃ））を、ステップＳ４１で選択されたカメラ番号を有するビデオカメラ２の画像が表示される小画面Ｗにマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【００７５】
例えば、ステップＳ４１で、ビデオカメラ２−５のカメラ番号が選択されているとき、ステップＳ４５で選択された小画面Ｗ上の座標は、ステップＳ４３で決定された範囲のSD画像を小画面Ｗ５にマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【００７６】
次に、ステップＳ４７において、CPU４１は、ステップＳ４５で選択した補正後のSD画像の小画面Ｗ上の座標を、ステップＳ４６で得られたディスプレイ１２Ａ上の座標と対応付けて、対応テーブルＴb2（図１６）に保存する。
【００７７】
ステップＳ４８において、CPU４１は、ステップＳ４４で選択された座標のすべてが選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ４５に戻り、次の座標を選択し、それ以降の処理を実行する。
【００７８】
ステップＳ４８で、すべての座標が選択されたと判定された場合、ステップＳ４９に進み、CPU４１は、全てのカメラ番号が選択されたか否かを判定し、選択されていないカメラ番号がまだ残っていると判定した場合、ステップＳ４１に戻り、次のカメラ番号を選択する。
【００７９】
ステップＳ４９で、すべてのカメラ番号が選択されたと判定された場合、処理は終了する。
【００８０】
従って、例えば、小画面Ｗ５内の、ディスプレイ１２Ａ上の所定の座標Ｐh（図示せず）に出力される画素値は、ビデオカメラ２−５による撮像の結果得られたSD画像の、図１７のステップＳ４２での補正の結果、ディスプレイ１２Ａ上の座標Ｐhに対応するものとして検出される小画面Ｗ上の座標（Ｘbi，Ｙbi）（図１８Ｂ）（図１４のステップＳ２４）となる小画面Ｗ上の座標（Ｘai，Ｙai）（図１８Ａ）（図１４のステップＳ２５）に位置する画素の画素値となる。
【００８１】
すなわち、画像処理装置１１は、入力されるビデオカメラ２による撮像の結果得られるSD画像の、ビデオカメラ２のレンズ歪みに対応した座標を算出したり、分割表示形態に応じたディスプレイ１２Ａ上の座標を算出したり必要がなく、図１２に示したように、SD画像の画素値を、座標変換テーブルＴaに応じてHD画像に設定するだけで、歪み補正が施されたビデオカメラ２による撮像の結果得られたSD画像を所望の形態に分割表示するHD画像を生成することができる。
【００８２】
対応テーブルＴb2（図１６）の補正後のSD画像の小画面Ｗ上の座標（Ｘb，Ｙb）は、上述したように、式（１）に従って算出されているので、図１４のステップＳ２５では、その式に対応した最適化により逆補正を行って、補正前のSD画像の小画面Ｗ上の座標が算出される。
【００８３】
次に、図１９に示すように、９個のビデオカメラ２−１乃至２−９を、遠方の被写体１に対して垂直方向に面を形成するようにして配置するとともに、ビデオカメラ２による撮像の結果得られた画像を、図２０に示すように分割表示する場合（以下、このような利用態様を、適宜、第２の利用態様と称する）のステップＳ５の処理について説明する。
【００８４】
なお、この例の場合、ビデオカメラ２は、隣接するもの同士の撮像範囲が、図２１の点線の枠が示すように、一部重複するように配置されている。例えば、ビデオカメラ２−１の撮像範囲（図２２の実線の枠）は、ビデオカメラ２−２の撮像範囲（図２３の実施の範囲）、ビデオカメラ２−４の撮像範囲（図２４の実線の範囲）、およびビデオカメラ２−５の撮像範囲（図２５の実線の範囲）と一部重なっている。
【００８５】
画像処理装置１１は、図１９のステップＳ２で、座標変換テーブル生成装置１３により、第２の利用態様に基づいて生成された図２６に示すような座標変換テーブルＴaを利用して、第１の利用形態の場合と同様に図１２のフローチャートに示す処理を実行する。すなわち、画像処理装置１１の処理は、扱う座標等の値が変わるが、第１の利用態様の場合と第２の利用態様の場合とで、実質に同じであるので、利用態様の変更に容易に対応することができる。
【００８６】
なお、図２０の表示形態は、第１の利用態様（図１１）の場合と異なり、表示装置１２のディスプレイ１２Ａの全体に、HD画像が表示されるので、座標変換テーブルＴaには、第１の利用態様の場合のように（図１３）、黒色を出力する旨を表す情報は設定されていない。従って、この例の場合、図１２のフローチャートにおいて、ステップＳ３でYESの判定はなされないので、ステップＳ８の処理で、黒色を出力するための画素値が記憶されることはない。
【００８７】
次に、第２の利用態様に応じた座標変換テーブルＴa（図２６）を生成する場合のステップＳ２の処理を、図２７のフローチャートを参照して説明する。
【００８８】
画像処理装置１１から送信されてきた利用態様（第２の利用態様）を受信すると、ステップＳ６１において、座標変換テーブル生成装置１３のCPU４１は、表示装置１２のディスプレイ１２Ａの座標（HD画像上を構成する１つの画素の座標）（図２０）を１つ選択し、ステップＳ６２において、カメラ番号を１つ選択する。
【００８９】
画像処理装置から送信されてきる第２の利用態様には、例えば、図２８に示すような、図２１に示したビデオカメラ２の撮像範囲に対応する、図２９に示すような領域毎に、対応する撮像範囲を有するビデオカメラ２のカメラ番号が対応付けられている対応テーブルＴc1が含まれているので、CPU４１は、そのテーブルを参照して、１つのディスプレイ１２Ａ上の座標とカメラ番号を選択する。
【００９０】
なお、対応テーブルＴc1において、例えば、ディスプレイ１２Ａ上の、ビデオカメラ２−１の撮像範囲（図２２）に対応する領域Ｑ１（図３０）内の座標には、ビデオカメラ２−１のカメラ番号が対応付けられており、ビデオカメラ２−２の撮像範囲（図２３）に対応する領域Ｑ２（図３１）内の座標には、ビデオカメラ２−２のカメラ番号が対応付けられている。領域Ｑ１および領域Ｑ２の両方に属するディスプレイ１２Ａ上の座標（例えば、図３０および図３１の座標（Ｘhi，Ｙhi））には、ビデオカメラ２−１，２−２の２個のカメラ番号が対応付けられている。
【００９１】
ステップＳ６３において、CPU４１は、図２８に示す対応テーブルＴc1に、ステップＳ６１で選択したディスプレイ１２Ａ上の座標と、ステップＳ６２で選択したカメラ番号とが対応付けているか否かを判定し、対応付けられていると判定された場合、ステップＳ６４に進む。
【００９２】
ステップＳ６４において、CPU４１は、ステップＳ６１で選択したディスプレイ１２Ａ上の座標とステップＳ６２で選択されたカメラ番号に対応付けられている小画面Ｗ上の座標を検出する。
【００９３】
画像処理装置から送信されてきた第２の利用態様に含まれる、ビデオカメラ２のレンズ歪みを利用して生成されてハードディスク４４に記憶されている、図３２に示すディスプレイ１２Ａ上の座標、ビデオカメラ２のレンズ歪みに基づいて補正されたビデオカメラ２による撮像の結果得られるSD画像から切り取られた小画面Ｗ分の画像の小画面Ｗ上の座標、およびディスプレイ１２Ａ上の座標が対応する撮像範囲を有するビデオカメラ２のカメラ番号との対応関係を示す対応テーブルＴc2から、ディスプレイ１２Ａ上の座標とカメラ番号に対応付けられている小画面Ｗ上の座標が検出される。なお、対応テーブルＴc2の生成方法については後述する。
【００９４】
次に、ステップＳ６５において、CPU４１は、ステップＳ６４で検出した補正後のSD画像の小画面Ｗ上の座標から、補正前のSD画像の小画面Ｗ上の座標を算出する。
【００９５】
ステップＳ６３で、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標と、ステップＳ６２で選択したカメラ番号とが対応付けられていないと判定されたとき、またはステップＳ６５で、補正前のSD画像の小画面Ｗ上の座標が算出されたとき、ステップＳ６６に進み、CPU４１は、すべてのカメラ番号が選択されたか否かを判定し、選択されていないものがまだ残っていると判定した場合、ステップＳ６２に戻り、次のカメラ番号を選択する。
【００９６】
ステップＳ６６で、すべてのカメラ番号が選択されたと判定されたとき、ステップＳ６７に進み、CPU４１は、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標が、対応テーブルＴc1（図２８）において複数のカメラ番号に対応付けられていたか否かを判定し、複数のカメラ番号に対応付けられていたと判定した場合、ステップＳ６８に進む。
【００９７】
例えば、図３０および図３１に示したディスプレイ１２Ａ上の座標（Ｘhi，Ｙhi）は、対応テーブルＴc1において、ビデオカメラ２−１のカメラ番号とビデオカメラ２−３のカメラ番号の両方に対応付けられているので、その座標（Ｘhi，Ｙhi）がステップＳ６１で選択されているとき、ステップＳ６８に進む。
【００９８】
ステップＳ６８において、CPU４１は、ステップＳ６２乃至ステップＳ６５の処理が複数回行われて算出された複数の補正前のSD画像の小画面Ｗ上の座標（ステップＳ６５）（例えば、ステップＳ６２でビデオカメラ２−１のカメラ番号が選択されているときに算出されたものとビデオカメラ２−２のカメラ番号が選択されているときに算出されたもの）の中から、座標変換テーブルＴaに設定する１つの座標を決定する。
【００９９】
例えば、座標（Ｘhi，Ｙhi）（図３０，３１）が、領域Ｑ２の中心からよりも、領域Ｑ１の中心からの方が近い位置にある場合、ビデオカメラ２−１のカメラ番号が選択されているときに算出された補正前のSD画像の小画面Ｗ上の座標が選択される。
【０１００】
ステップＳ６７で、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標が、対応テーブルＴc1において複数のカメラ番号に対応付けられていないと判定されたとき、またはステップＳ６８で、１つの小画面Ｗ上の座標が決定されたとき、ステップＳ６９に進む。
【０１０１】
ステップＳ６９において、CPU４１は、ステップＳ６１で選択したディスプレイ１２Ａ上の座標、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標が複数のカメラ番号に対応付けられていない場合のステップＳ６５で算出された小画面Ｗ上の座標またはステップＳ６１で選択されたディスプレイ１２Ａ上の座標が複数のカメラ番号に対応付けられている場合のステップＳ６８で決定された小画面Ｗ上の座標、およびその小画面Ｗ上の座標が算出されたときにステップＳ６２で選択されていたカメラ番号を、それぞれ対応させて座標変換テーブルＴa（図２６）に保存する。
【０１０２】
次に、ステップＳ７０において、CPU４１は、ディスプレイ１２Ａ上の座標がすべて選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ６１に戻り、次の座標を選択し、それ以降の処理を実行する。
【０１０３】
ステップＳ７０で、すべての座標が選択されたと判定されたとき、処理は終了する。
【０１０４】
次に、第２の利用態様に対応した座標変換テーブルＴa（図２６）を生成する際に利用された対応テーブルＴc2（図３２）を生成する処理を、図３３のフローチャートを参照して説明する。なお、ここでは座標変換テーブル生成装置１３が対応テーブルＴc2を生成するものとする。
【０１０５】
ステップＳ８１において、座標変換テーブル生成装置１３のCPU４１は、カメラ番号を１つ選択する。なお、CPU４１は、対応テーブルＴc1から、ビデオカメラ２−１乃至２−９のカメラ番号を把握している。
【０１０６】
次に、ステップＳ８２において、CPU４１は、ビデオカメラ２による撮像の結果得られるSD画像と同じ大きさのSD画像を想定し、そのSD画像を構成する各画素の小画面Ｗ上の座標（Ｘa，Ｙa）（補正前のSD画像の小画面Ｗ上の座標）を、式（１）に従って補正し、座標（Ｘb，Ｙb）（補正後のSD画像の小画面上の座標）を算出する。
【０１０７】
ステップＳ８３において、CPU４１は、小画面Ｗの大きさに応じた、ステップＳ８２での補正の結果得られたSD画像の範囲を決定し、ステップＳ８４において、決定された範囲内のSD画像の各画素の小画面Ｗ上の座標（Ｘb，Ｙb）を選択する。すなわち、小画面Ｗに表示される補正後のSD画像の小画面Ｗ上の座標が選択される。
【０１０８】
次に、ステップＳ８５において、CPU４１は、ステップＳ８４で選択された補正後のSD画像の小画面Ｗ上の座標の中から１つの座標を選択し、それを、ステップＳ８６において、ディスプレイ１２Ａ上の座標に変換する。
【０１０９】
具体的には、ステップＳ８５で選択された小画面Ｗ上の座標は、ステップＳ８３で決定された範囲のSD画像を、ステップＳ８１で選択されたカメラ番号を有するビデオカメラ２の画像が表示される小画面Ｗにマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【０１１０】
例えば、ステップＳ８１で、ビデオカメラ２−５のカメラ番号が選択されているとき、ステップＳ８５で選択された小画面Ｗ上の座標は、ステップＳ８３で決定された範囲のSD画像を小画面Ｗ５（図２０）にマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【０１１１】
次に、ステップＳ８７において、CPU４１は、ステップＳ８１で選択したカメラ番号、ステップＳ８５で選択した補正後のSD画像の小画面Ｗ上の座標、およびステップＳ８６で得られたディスプレイ１２Ａ上の座標を、図３２に示すように、それぞれ対応させて対応テーブルＴc2に保存する。
【０１１２】
ステップＳ８８において、CPU４１は、ステップＳ８４で選択された座標のすべてが選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ８５に戻り、次の座標を選択する。
【０１１３】
ステップＳ８８で、すべての座標が選択されたと判定されたとき、ステップＳ８９に進み、CPU４１は、カメラ番号のすべてが選択されたか否かを判定し、選択されていないカメラ番号がまだ残っていると判定した場合、ステップＳ８１に戻り、次のカメラ番号を選択する。
【０１１４】
ステップＳ８９で、すべてのカメラ番号が選択されたと判定されたとき、処理は終了する。
【０１１５】
次に、図４に示すように、８（Ｎ＝８）個のビデオカメラ２−１乃至２−８を３６０度全方の風景が被写体１となるようにして配置するとともに、ビデオカメラ２による撮像の結果得られた画像を、図５に示すように分割表示する場合（以下、このような利用態様を、適宜、第３の利用態様と称する）のステップＳ５の処理について説明する。
【０１１６】
なお、図４に示した８個のビデオカメラ２は、実際には、図３４に示すような全方向カメラ１０１に、ビデオカメラ２の投影中心が全方位カメラ１０１の中心付近で一致するように、かつ、各ビデオカメラ２の視線方向が１つの水平面上となるように、所定角度間隔で配列されている。
【０１１７】
平面鏡１１０は、ビデオカメラ２の視線方向に配置されている。
【０１１８】
すなわちビデオカメラ２が、対応する平面鏡１１０で反射された周囲の風景を撮像することにより、全方位カメラ１０１全体としては、水平方向３６０度の風景を撮像することができる。
【０１１９】
画像処理装置１１は、図１９のステップＳ２で、座標変換テーブル生成装置１３により、第３の利用態様に基づいて生成された座標変換テーブルＴaを利用して、第１の利用態様および第２の利用態様の場合と同様に図１２のフローチャートに示す処理を実行する。その結果、ビデオカメラ２による撮像の結果得られた８個の画像を、図５に示すように分割表示させることができる。
【０１２０】
次に、第３の利用態様に応じた座標変換テーブルＴaを生成する場合のステップＳ２の処理を、図３５のフローチャートを参照して説明する。
【０１２１】
ステップＳ１０１乃至ステップＳ１０４においては、図２７のステップＳ６１乃至ステップＳ６４における場合と同様の処理が行われるので、その説明を省略する。
【０１２２】
ステップＳ１０５において、CPU４１は、ステップＳ１０４で検出した補正後のSD画像の小画面Ｗ上の座標を最適化するとともに、ミラー反転処理の逆の処理（逆ミラー反転処理）を行って、補正前のSD画像の小画面Ｗ上の座標を算出する。
【０１２３】
ステップＳ１０６乃至ステップＳ１１０においては、図２７のステップＳ６６乃至ステップＳ７０における場合と同様の処理がなされるので、その説明は省略する。
【０１２４】
次に、ステップＳ１０４で利用されたディスプレイ１２Ａ上の座標と補正後のSD画像の小画面Ｗ上の座標との対応関係を示す対応テーブルを生成する処理を、図３６のフローチャートを参照して説明する。なお、ここでは座標変換テーブル生成装置１３がその対応テーブルを生成するものとする。
【０１２５】
ステップＳ１２１において、座標変換テーブル生成装置１３のCPU４１は、カメラ番号を１つ選択する。
【０１２６】
次に、ステップＳ１２２において、CPU４１は、ビデオカメラ２による撮像の結果得られたSD画像と同じ大きさのSD画像を想定し、そのSD画像を構成する各画素の座標（Ｘa，Ｙa）を、式（１）に従って補正し、座標（Ｘb，Ｙb）を算出するするとともに、ミラー反転処理を施す。
【０１２７】
ステップＳ１２３乃至ステップＳ１２９においては、図３３のステップＳ８３乃至ステップＳ８９における場合と同様の処理が行われるので、その説明を省略する。
【０１２８】
上述した一連の処理は、ハードウエアにより実現させることもできるが、ソフトウエアにより実現させることもできる。一連の処理をソフトウエアにより実現する場合には、そのソフトウエアを構成するプログラムがコンピュータにインストールされ、そのプログラムがコンピュータで実行されることより、上述した画像処理装置１１および座標変換テーブル生成装置１３が機能的に実現される。
【０１２９】
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３０】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１３１】
【発明の効果】
本発明によれば、ユーザの利用態様が変更されても、専用の画像処理装置を必要とすることがなく、容易に小画面の分割表示に対応することができる。
【図面の簡単な説明】
【図１】従来の画像処理システムの構成例を示すブロック図である。
【図２】図１のビデオカメラの配置例を示す図である。
【図３】図２のビデオカメラによる撮像の結果得られた画像の表示例を示す図である。
【図４】図１のビデオカメラの他の配置例を示す図である。
【図５】図４のビデオカメラによる撮像の結果得られた画像の他の表示例を示す図である。
【図６】本発明を適用した画像処理システムの構成例を示すブロック図である。
【図７】図６の表示装置のディスプレイの大きさを示す図である。
【図８】図６の画像処理装置の構成例を示すブロック図である。
【図９】図６の座標変換テーブル生成装置の構成例を示すブロック図である。
【図１０】図６の画像処理装置と座標変換テーブル生成装置の動作を説明するフローチャートである。
【図１１】図２のビデオカメラによる撮像の結果得られた画像の他の表示例を示す図である。
【図１２】図１０のステップＳ５の処理の詳細を説明するフローチャートである。
【図１３】座標変換テーブルの例を示す図である。
【図１４】図１０のステップＳ２の処理の詳細を説明するフローチャートである。
【図１５】ディスプレイ上の座標とカメラ番号の対応テーブルの例を示す図である。
【図１６】ディスプレイ上の座標と補正後のSD画像の小画面上の座標の対応テーブルの例を示す図である。
【図１７】図１６の対応テーブルを生成する処理を説明するフローチャートである。
【図１８】図１６の対応テーブルを生成する処理を説明する図である。
【図１９】図６のビデオカメラの配置例を示す図である。
【図２０】図１９のビデオカメラによる撮像の結果得られた画像の表示例を示す図である。
【図２１】図１９のビデオカメラの撮像範囲を説明する図である。
【図２２】図１９のビデオカメラの撮像範囲を説明する他の図である。
【図２３】図１９のビデオカメラの撮像範囲を説明する他の図である。
【図２４】図１９のビデオカメラの撮像範囲を説明する他の図である。
【図２５】図１９のビデオカメラの撮像範囲を説明する他の図である。
【図２６】座標変換テーブルの他の例を示す図である。
【図２７】図１０のステップＳ２の他の処理の詳細を説明するフローチャートである。
【図２８】ディスプレイ上の座標とカメラ番号との対応テーブルの他の例を示す図である。
【図２９】図１９のビデオカメラの撮像範囲に対応するディスプレイ上の領域を示す図である。
【図３０】図１９のビデオカメラの撮像範囲に対応するディスプレイ上の領域を示す他の図である。
【図３１】図１９のビデオカメラの撮像範囲に対応するディスプレイ上の領域を示す他の図である。
【図３２】ディスプレイ上の座標と補正後のSD画像の小画面上の座標との対応テーブルの他の例を示す図である。
【図３３】図３２の対応テーブルの生成処理を説明するフローチャートである。
【図３４】全方位カメラの外観の図である。
【図３５】図１０のステップＳ２の他の処理の詳細を説明するフローチャートである。
【図３６】ディスプレイ上の座標と補正後のSD画像の小画面上の座標との他の対応テーブルを生成する処理を説明するフローチャートである。
【符号の説明】
２  ビデオカメラ，  １１  画像処理装置，  １２  表示装置，  １２Ａ  ディスプレイ，  １３  座標変換テーブル生成装置，  ２１  ネットワーク，  ３１  デコーダ，  ３２  フィールドメモリ，  ３３  制御部，  ３４  フレームメモリ，  ３５  エンコーダ，  ３６  記憶部，  ３７  通信部，  ３８  入力部，  ４１  CPU，  ４２  ROM，  ４３  RAM，  ４４  ハードディスク，  ４５  バス，  ４６  入出力インタフェース，  ４７  出力部，  ４８  入力部，４９  通信部，  ５０  ドライブ，  １０１  全方向カメラ
【図１】
0004218278.tif 000003
【図２】
0004218278.tif 000004
【図３】
0004218278.tif 000005
【図４】
0004218278.tif 000006
【図５】
0004218278.tif 000007
【図６】
0004218278.tif 000008
【図７】
0004218278.tif 000009
【図８】
0004218278.tif 000010
【図９】
0004218278.tif 000011
【図１０】
0004218278.tif 000012
【図１１】
0004218278.tif 000013
【図１２】
0004218278.tif 000014
【図１３】
0004218278.tif 000015
【図１４】
0004218278.tif 000016
【図１５】
0004218278.tif 000017
【図１６】
0004218278.tif 000018
【図１７】
0004218278.tif 000019
【図１８】
0004218278.tif 000020
【図１９】
0004218278.tif 000021
【図２０】
0004218278.tif 000022
【図２１】
0004218278.tif 000023
【図２２】
0004218278.tif 000024
【図２３】
0004218278.tif 000025
【図２４】
0004218278.tif 000026
【図２５】
0004218278.tif 000027
【図２６】
0004218278.tif 000028
【図２７】
0004218278.tif 000029
【図２８】
0004218278.tif 000030
【図２９】
0004218278.tif 000031
【図３０】
0004218278.tif 000032
【図３１】
0004218278.tif 000033
【図３２】
0004218278.tif 000034
【図３３】
0004218278.tif 000035
【図３４】
0004218278.tif 000036
【図３５】
0004218278.tif 000037
【図３６】
0004218278.tif 000038