(57)【要約】【課題】仰角をもって取り付けられた撮影装置においてパン操作した場合にも所望の画角全体を欠落させずに撮影すること。【解決手段】特定の場所に設置する撮影装置において、前記撮影装置の方位軸廻りの変位角を計測する手段と、前記撮影装置の俯仰軸廻りの変位角を計測する手段と、前記方位軸廻り変位角計測手段及び俯仰軸廻り変位角計測手段により計測した変位角から上記撮影装置の姿勢を制御する手段と、撮影を要求する画角を入力する手段と、前記入力手段から入力した撮影要求画角から撮影画角を演算する手段と、撮影光学系を含む上記撮影画角演算手段により求めた画角を撮影画像の画角として入力する手段と、該撮影光学系の光軸廻りの変位角を計測する手段と、前記光軸廻り変位角計測手段により計測した変位角から補正画像を生成する手段を有する。【選択図】図２
2006165744.tif 000002
【特許請求の範囲】
【請求項１】
特定の場所に設置する撮影装置において、
前記撮影装置の方位軸廻りの変位角を計測する手段と、前記撮影装置の俯仰軸廻りの変位角を計測する手段と、前記方位軸廻り変位角計測手段及び俯仰軸廻り変位角計測手段により計測した変位角から上記撮影装置の姿勢を制御する手段と、撮影を要求する画角を入力する手段と、前記入力手段から入力した撮影要求画角から撮影画角を演算する手段と、撮影光学系を含む上記撮影画角演算手段により求めた画角を撮影画像の画角として入力する手段と、該撮影光学系の光軸廻りの変位角を計測する手段と、前記光軸廻り変位角計測手段により計測した変位角から補正画像を生成する手段を有することを特徴とする撮影装置。
【請求項２】
前記撮影画角演算手段において、前記撮影要求画角入力手段から入力した撮影要求画角矩形の対角線の中点を演算する手段と、該中点を中心とする円の接線で撮影要求画角矩形の辺と平行な線で囲まれる矩形を演算する手段を有することを特徴とする請求項１記載の撮影装置。
【請求項３】
前記補正画像生成手段において、内部に記憶する手段を有し、直前の演算での回転角方向の変位角を記憶して差分の演算を行うことを特徴とする請求項１記載の撮影装置。
【請求項４】
特定の場所に設置する撮影装置において、
前記撮影装置の方位軸廻りの変位角を計測する手段と、前記撮影装置の俯仰軸廻りの変位角を計測する手段と、前記方位軸廻り変位角計測手段及び俯仰軸廻り変位角計測手段により計測した変位角から上記撮影装置の姿勢を制御する手段と、撮影を要求する画角を入力する手段と、前記入力手段から入力した撮影要求画角から撮影画角を演算する手段と、撮影光学系を含む上記撮影画角演算手段により求めた画角を撮影画像の画角として入力する手段と、前記撮影要求画角入力手段より入力した水平方向の基準から水平方向を判断する手段と、該基準との撮影時の変位角から補正画像を生成する手段を有することを特徴とする撮影装置。
【請求項５】
前記撮影要求画角入力手段より入力した水平方向の基準を記憶する手段と、該基準を撮影画像から認識する手段を有し、前記補正画像生成手段で前記記憶手段の情報から補正画像を生成することを特徴とする請求項４記載の撮影装置。
【請求項６】
特定の場所に設置する撮影装置において、
前記撮影装置の方位軸廻りの変位角を計測するステップと、前記撮影装置の俯仰軸廻りの変位角を計測するステップと、前記方位軸廻り変位角計測ステップ及び俯仰軸廻り変位角計測ステップにより計測した変位角から上記撮影装置の姿勢を制御するステップと、撮影を要求する画角を入力するステップと、前記入力ステップから入力した撮影要求画角から撮影画角を演算するステップと、撮影光学系を含む上記撮影画角演算ステップにより求めた画角を撮影画像の画角として入力するステップと、該撮影光学系の光軸廻りの変位角を計測するステップと、前記光軸廻り変位角計測ステップにより計測した変位角から補正画像を生成するステップを有することを特徴とする撮影方法。
【請求項７】
前記撮影画角演算ステップにおいて、前記撮影要求画角入力ステップから入力した撮影要求画角矩形の対角線の中点を演算するステップと、該中点を中心とする円の接線で撮影要求画角矩形の辺と平行な線で囲まれる矩形を演算するステップを有することを特徴とする請求項６記載の撮影方法。
【請求項８】
前記補正画像生成ステップにおいて、内部に記憶するステップを有し、直前の演算での回転角方向の変位角を記憶して差分の演算を行うことを特徴とする請求項６記載の撮影方法。
【請求項９】
特定の場所に設置する撮影装置において、
前記撮影装置の方位軸廻りの変位角を計測するステップと、前記撮影装置の俯仰軸廻りの変位角を計測するステップと、前記方位軸廻り変位角計測ステップ及び俯仰軸廻り変位角計測ステップにより計測した変位角から上記撮影装置の姿勢を制御するステップと、撮影を要求する画角を入力するステップと、前記入力ステップから入力した撮影要求画角から撮影画角を演算するステップと、撮影光学系を含む上記撮影画角演算ステップにより求めた画角を撮影画像の画角として入力するステップと、前記撮影要求画角入力ステップより入力した水平方向の基準から水平方向を判断するステップと、該基準との撮影時の変位角から補正画像を生成するステップを有することを特徴とする撮影方法。
【請求項１０】
前記撮影要求画角入力ステップより入力した水平方向の基準を記憶するステップと、該基準を撮影画像から認識するステップを有し、前記補正画像生成ステップで前記記憶ステップの情報から補正画像を生成することを特徴とする請求項９記載の撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、設置された撮影装置によって撮像される画像への画像処理方法および装置に関する。
【背景技術】
【０００２】
設置された撮影装置において首を上にチルトさせてからパンを掛けると横を見たいと思ってパンさせたにも拘らず、実際に見える位置は図１に示すように円弧を描くように移動していく。そのため、撮影画像を補正する必要があるが、撮影画像を補正する技術として以下の（１）、（２）に示すものが提案されている。又、水平方向をユーザーに伝える技術として（３）に示すものが提案されている。
（１）撮像装置に駆動機構が３軸で構成され、それぞれについて角速度を検出するジャイロを持つことによって動揺体上に設置された空間安定化を実現する技術が知られている（特許文献１参照）。
（２）撮像装置の３軸のうち、光軸回りの回転について画像変換を用いて駆動機構に依存せずに画像の揺れの安定化を実現する技術が知られている（特許文献２参照）。
（３）姿勢検出装置から得られた角度データを基に撮影画面上に水平基準と撮影画面の傾き角度を示す表示する（特許文献３参照）。
【０００３】
【特許文献１】特開平２−０７１３１０号公報
【特許文献２】特開平１０−１２６６７６号公報
【特許文献３】特開２００２−２７１６５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の方法では、仰角をもって取り付けられた撮影装置においてパン操作した場合に所望の画角全体を欠落させずに撮影することができない、或は可能であっても非常に大掛かりな装置となってしまう。例えば、上記特許文献１では、カメラの俯仰角方向、方位角方向及びカメラの撮影光学系の光軸廻りの回転方向と３つの駆動機構を実装して実現しているが、装置全体が大型化し、重量も重くなってしまう。これは、コストを引き上げる要因にもなる。
【０００５】
又、前記特許文献２では、光軸廻りの回転について駆動機構に依存せずに画像変換によって実現しているが、光軸廻りで変位角を持った状態で撮影した後の処理となるので所望の撮影画像の内の一部が情報として欠落してしまう。
【０００６】
更に、前記特許文献３では、水平方向をユーザーに表示しているが、表示できる基準線はカメラの姿勢が水平になった時の基準線の表示となる。
【０００７】
そこで、本発明ではこのような課題を解決し、仰角をもって取り付けられた撮影装置においてパン操作した場合にも所望の画角全体を欠落させずに撮影することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を解決するため、本発明は、特定の場所に設置する撮影装置において、前記撮影装置の方位軸廻りの変位角を計測する手段と、前記撮影装置の俯仰軸廻りの変位角を計測する手段と、前記方位軸廻り変位角計測手段及び俯仰軸廻り変位角計測手段により計測した変位角から上記撮影装置の姿勢を制御する手段と、撮影を要求する画角を入力する手段と、前記入力手段から入力した撮影要求画角から撮影画角を演算する手段と、撮影光学系を含む上記撮影画角演算手段により求めた画角を撮影画像の画角として入力する手段と、該撮影光学系の光軸廻りの変位角を計測する手段と、前記光軸廻り変位角計測手段により計測した変位角から補正画像を生成する手段を有することを特徴とする。
【０００９】
又、本発明は、特定の場所に設置する撮影装置において、前記撮影装置の方位軸廻りの変位角を計測する手段と、前記撮影装置の俯仰軸廻りの変位角を計測する手段と、前記方位軸廻り変位角計測手段及び俯仰軸廻り変位角計測手段により計測した変位角から上記撮影装置の姿勢を制御する手段と、撮影を要求する画角を入力する手段と、前記入力手段から入力した撮影要求画角から撮影画角を演算する手段と、撮影光学系を含む上記撮影画角演算手段により求めた画角を撮影画像の画角として入力する手段と、前記撮影要求画角入力手段より入力した水平方向の基準から水平方向を判断する手段と、該基準との撮影時の変位角から補正画像を生成する手段を有することを特徴とする。
【００１０】
更に、本発明は、特定の場所に設置する撮影装置において、前記撮影装置の方位軸廻りの変位角を計測するステップと、前記撮影装置の俯仰軸廻りの変位角を計測するステップと、前記方位軸廻り変位角計測ステップ及び俯仰軸廻り変位角計測ステップにより計測した変位角から上記撮影装置の姿勢を制御するステップと、撮影を要求する画角を入力するステップと、前記入力ステップから入力した撮影要求画角から撮影画角を演算するステップと、撮影光学系を含む上記撮影画角演算ステップにより求めた画角を撮影画像の画角として入力するステップと、該撮影光学系の光軸廻りの変位角を計測するステップと、前記光軸廻り変位角計測ステップにより計測した変位角から補正画像を生成するステップを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、仰角をもって取り付けられた光軸廻りの回転方向に駆動機構を持たない撮影装置においてパン操作した場合にも所望の画角全体を欠落させずに撮影することが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下に本発明の実施の形態を添付図面に基づいて説明する。
【００１３】
［実施の形態１］
本実施形態の装置は、天井等の或る特定の設置場所に設置されて撮影を行う撮影装置である。撮影時に所望の画角の対角線を直径とする円の領域を包含する領域分の撮影を行い、検知した撮影装置の姿勢により撮影画像の水平方向が正しく出るように画像を補正する、という処理を行う。
【００１４】
＜撮影装置全体の構成＞
図２のブロック図を用いて、本実施形態の撮影装置の構成を説明する。図２において、本実施形態の撮影装置は、パン、チルト、ズーム等の操作をユーザーがリモートで行う入力装置０、カメラ部で撮影した画像を表示する表示装置９、画像を撮影して表示装置に出力するカメラ部１０から構成される。
【００１５】
ここで、カメラ部１０内の構成について説明する。
【００１６】
撮影画角演算部１は、入力装置０からの信号を受け取り、ユーザーの所望する画角の対角線を直径とする円を含む矩形領域に画角を決定する。画像入力部２は、ＣＣＤやＣＭＯＳセンサ等の撮像素子と補正画像生成部７が処理可能な状態で画像を補正画像生成部７へ送るための画像処理部から構成される。姿勢制御部３は俯仰軸廻り回転方向、方位軸廻り回転方向の２つの駆動機構を持ち、俯仰角変位計測部５、方位角変位計測部６からの情報から撮影装置の姿勢を制御する。回転角変位計測部４、俯仰角変位計測部５、方位角変位計測部６は、それぞれ回転角方向（光軸廻り）、俯仰角方向（俯仰軸廻り）、方位角方向（方位軸廻り）の基準点からの変位角を計測するもので、例えば、傾斜計、角速度計、角加速度計を用いて実現する。
【００１７】
補正画像生成部７は、画像入力部２で撮影した画像を回転角変位計測部４からの情報をもとに撮影画像の水平方向が正しく出るように回転補正を行う。回転補正に関しては、Ｆ（ｘ，ｙ）をＧ（ｘ．ｙ）へ回転する変換を回転行列の式を用いて式１に示す式で表すことができる。θは回転角方向の変位角である。
【００１８】
【数１】
2006165744.tif 000003
補正画像生成部７内には、撮影した画角の情報を保持する記憶部１４を持つ。撮影した画角を記憶部１４に保持して、Ｆ（ｘ，ｙ）の画素情報を式１の座標変換後の座標Ｇ（ｘ，ｙ）での画素情報に変更する。画像出力部８では補正画像生成部７から受け取った画像を出力画像のタイミング制御等、表示装置９の処理可能な状態にして表示装置９に出力する。
【００１９】
＜撮影画角演算部の構成＞
図３は本発明の特徴的構成要素となる図２のカメラ部１０内撮影画角演算部１のブロック図である。
【００２０】
入力装置０からの入力信号を入力受信部２１で受信すると対角線中心演算部２２へ渡す。対角線中心演算部２２では、受信した情報からユーザーが所望する矩形の画角からその対角線の中心を求める。矩形演算部２３では、求めた中心点を中心としてとして対角線を直径とする円の入力された矩形の辺と平行な４本の接線を辺とする矩形を求める。求めた矩形の情報は出力部２４から画像入力部２に伝えられる。又、ユーザーから入力された情報は補正画像生成部７へ伝えられる。
【００２１】
又、撮影画角演算部をＣＰＵで実装することも可能である。その場合のフローチャートを図４に示す。処理の説明図を図５に示す。図４及び図５を用いて処理の流れを説明する。
【００２２】
ステップＳ１０１で入力信号を受信するとステップＳ１０２でユーザーが要求する画角の矩形３１の頂点を読み取る。ステップＳ１０３で読み取った画角の矩形３１の頂点から矩形の対角線の交点３２を求める。ステップＳ１０４で対角線の交点を中心とする円３３の接線のうち、ユーザーが要求する画角の矩形の辺に平行な４本を求める。ステップＳ１０５で４本の接線の交点を算出する。この４つの点を結んだ矩形３４が撮影する画角となる。
【００２３】
＜撮影画角の説明＞
図６は撮影画像の画角についての説明図である。
【００２４】
ユーザーが入力装置０を用いてパン、チルト、ズーム等の操作を行い、画角を決定する。ユーザーが決定する画角を４１とする。このとき、回転軸方向に図６（ａ）に示す変位角θをもって撮影してしまうと、後段の補正画像生成部７で回転補正しても図６（ｂ）の斜線部４２で示す欠落した画素が生じてしまう。そのため、本発明の制御装置１では、ユーザーより画角４１の画角で撮影するよう指示されると、画角４１の対角線を直径とする円４３を含む画角４４で撮影を行っておくよう制御する（図６（ｃ）参照）。これにより画角４１を変位角分回転補正を行っても、補正後の画角４５は円４３内に収まるため、画角の欠落を防ぐことが可能となる。画角４４で撮影するよう制御したのは通常ＣＣＤの形状が矩形であるので円４３を包含する矩形としたが、円状のＣＣＤであれば円４３となるよう制御しても良い。
【００２５】
以上説明した処理を行うことで、仰角をもって取り付けられた撮影装置においてパン操作した場合にも所望の画角全体を欠落させずに撮影することが可能となる。
【００２６】
本実施の形態では、基準からの変位角θで計算する説明をしたが、直前に演算した時の変位角θを記憶部１４に記憶してその位置との差分の角度で計算を行っても良い。パン操作で極端な変位角を持つことは考えにくいため、１つの特定角度の変換行列を持ち、その角度分変位した時のみ演算を行うようにすれば演算負荷を軽くすることができる。
【００２７】
本実施の形態では、入力装置と表示装置を別にした構成で説明したが、一体となっていても構わない。又、図７のブロック図に示すようにカメラ側ではなく、表示装置側に前述の補正画像生成部を持ち、画像の補正処理を表示装置側で行う構成を採っても良い。図７は図２とほぼ同様であるので、同一の要素には同じ番号を付し、説明は省略する。図中、入力表示装置１３は入力部１１、補正画像生成部７、表示部１２を備える。入力部１１、表示部１２は入力装置０、表示装置９と機能は同じである。
【００２８】
［実施の形態２］
前記実施の形態１では、回転角方向（光軸廻り）の基準点からの変位角をセンサ等で計測していたが、計測手段を用いることなく撮影画像の水平方向が正しく出るように画像を補正する撮影装置について説明する。
【００２９】
図８は本実施の形態の撮影装置の構成を示すブロック図である。同図は実施の形態１の図７とほぼ同様であるので、同一の要素には同じ番号を付し、説明は省略する。
【００３０】
入力部において水平かどうか判断する手段を持つものとする。これにより、撮影時にユーザーが撮影画像の水平方向の基準を入力することによって回転角方向（光軸廻り）の傾きを検知して撮影画像の水平方向が正しく出るように画像を補正する、という処理を行う。
【００３１】
＜水平方向の基準入力の説明＞
図９は水平方向の基準入力についての説明図である。ここで、図９に示す表示装置は表示部１２上に入力部１１に当たるタッチパネルが搭載されているものとする。
【００３２】
撮影時に、図９で画面５１に表示されている基準としたい水平部分をユーザーが指定すると、指定した部分５２が水平になっているかどうかをタッチパネルのドット情報から判断する。
【００３３】
以上説明した処理を行うことで、回転角方向（光軸廻り）の計測手段を用いることなく前記実施の形態１と全く同様な効果が得られる。
【００３４】
ここで、画像認識部を更に備えて、基準となるものを記憶しておけば、撮影装置の設置時等、初期設定時に水平方向の基準入力を行い、撮影時に毎回水平方向の基準を指定する煩わしさを無くすことが可能となる。即ち、基準を入力した時の俯仰角方向（俯仰軸廻り）、方位角方向（方位軸廻り）の基準点からの変位角及び基準となるものを同時に記憶しておくことで画像認識により基準点のマッチングを行うことにより撮影画像の水平方向が正しく出るように画像を補正する。
【００３５】
以上の説明におけるプログラムを格納する記憶媒体としては、ＲＯＭ、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスク、メモリカード、
光磁気ディスク等を用いることができる。又、本発明に係るプログラムを格納した記憶媒体をシステム或は装置に供給し、そのシステム或は装置のコンピュータが、記憶媒体に格納されたプログラムコードを読み出し実行することによっても、本発明は達成される。
【図面の簡単な説明】
【００３６】
【図１】仰角をもって設置された撮影装置で首を上にチルトさせてからパンを掛けた画像を示す図である。
【図２】本発明の実施の形態１における撮影装置の概略構成を示すブロック図である。
【図３】本発明の実施の形態１における撮影装置内の撮影画角演算部の概略構成を示すブロック図である。
【図４】本発明の実施の形態１における撮影画角演算部の処理の流れを示すフローチャートである。
【図５】本発明の実施の形態１における撮影画角演算部の処理の流れの説明図である。
【図６】本発明の実施の形態１における撮影画角の説明図である。
【図７】本発明の実施の形態１における撮影装置の他の一例の概略構成を示すブロック図である。
【図８】本発明の実施の形態２における撮影装置の概略構成を示すブロック図である。
【図９】本発明の実施の形態２における水平方向の基準入力の説明図である。
【符号の説明】
【００３７】
０    入力装置
１    撮影画角演算部
２    画像入力部
３    姿勢制御部
４    回転角変位計測部
５    俯仰角変位計測部
６    方位角変位計測部
７    補正画像生成部
８    画像出力部
９    表示装置
１０  カメラ部
１１  入力部
１２  表示部
１３  入力表示装置
１４  記憶部
１５  水平判断部
２１  入力受信部
２２  演算部
２３  出力部
３１  ユーザー要求画角
３２  対角線の交点
３３  対角線の交点を中心とする円
３４  撮影画角
４１  ユーザー要求画角
４２  画素欠落部分
４３  対角線の交点を中心とする円
４４  撮影画角
４５  補正後の表示画角
５１  表示画面
５２  ユーザー指定水平方向基準
【図１】
2006165744.tif 000004
【図２】
2006165744.tif 000005
【図３】
2006165744.tif 000006
【図４】
2006165744.tif 000007
【図５】
2006165744.tif 000008
【図６】
2006165744.tif 000009
【図７】
2006165744.tif 000010
【図８】
2006165744.tif 000011
【図９】
2006165744.tif 000012