(57)【要約】【課題】  不均一でない一様なパノラマ映像を合成する。【解決手段】  画像撮像装置は、パノラマ映像を構成する単位画像を取得する撮像部１０と、この１０の撮像範囲を移動させる駆動部と、これら撮像部１０及び駆動部２０を制御する中央処理部３０とから構成される。上記単位画像が撮像される際には、上記撮像部１０の露出、ホワイトバランス、焦点等の撮像条件は、該単位画像に依らず最適条件に保持される。このような単位画像は、上記中央処理部３０の備える画像処理部３２にて、１枚のパノラマ映像として合成される。【選択図】  図１
2005348447.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像して映像信号とする撮像手段と、上記撮像手段を撮像範囲を移動させるように駆動する駆動手段と、上記駆動手段にて上記撮像手段を駆動し、上記撮像手段にてパノラマ映像を構成する単位画像を撮像制御する制御手段と、上記単位画像をパノラマ映像に合成する画像処理手段とを備え、上記制御手段は、該単位画像に依らず、上記撮像手段の露出、ホワイトバランス及び焦点の少なくとも一つを一定とすることを特徴とする画像撮像装置。
【請求項２】
パノラマ映像を構成する単位画像を撮像して映像信号とする撮像工程と、上記単位画像を処理してパノラマ映像に合成する画像処理工程とを有し、上記撮像工程では、該単位画像に依らず、露出、ホワイトバランス及び焦点の少なくとも一つを一定とすることを特徴とする画像撮像方法。
【請求項３】
画像を撮像して映像信号とする撮像手段と、上記撮像手段の撮像範囲を移動させるように駆動する駆動手段と、上記駆動手段にて上記撮像手段を駆動し、上記撮像手段にてパノラマ映像を構成する単位画像を撮像制御すると共に撮影条件を制御する制御手段と、上記単位画像をパノラマ映像に合成する画像処理手段とを備え、上記制御手段は、上記単位画像の撮影にて得た情報に基づいて露出、ホワイトバランス、焦点の少なくとも一つの最適条件を算出し、上記撮像手段を上記最適条件に決定することを特徴とする画像処理装置。
【請求項４】
上記制御手段は、初回のパノラマ映像の撮像にて得た各単位画像の画像情報に基づいて上記最適条件を算出することを特徴とする請求項３記載の画像処理装置。
【請求項５】
上記制御手段は、上記撮像手段の露出、ホワイトバランス及び焦点の少なくとも一つを各回毎に変化させて撮像を複数回行い、その撮影された画像の情報に基づいて露出、ホワイトバランス及び焦点の少なくとも一つの最適条件を算出し、上記撮像手段は上記最適条件に決定することを特徴とする請求項３記載の画像処理装置。
【請求項６】
上記制御手段は、上記撮像手段の露出、ホワイトバランス及び焦点の少なくとも一つを各回毎に変化させてパノラマ映像の撮像を複数回行い、そのパノラマ映像の情報に基づいて露出、ホワイトバランス及び焦点の少なくとも一つの最適条件を算出し、上記撮像手段は上記最適条件に決定することを特徴とする請求項３記載の画像処理装置。
【請求項７】
上記制御手段は、撮影された画像の情報に基づいて露出、ホワイトバランス、焦点の少なくとも一つの最適条件を算出し、上記画像処理手段における画像処理により上記最適条件を実現することを特徴とする請求項３記載の画像処理装置。
【請求項８】
上記制御手段は、撮影されたパノラマ映像の画像の情報に基づいて露出、ホワイトバランス、焦点の少なくとも一つの最適条件を算出することを特徴とする請求項７記載の画像処理装置。
【請求項９】
上記撮像装置は、パノラマ映像の作成後には、露出、ホワイトバランス及び焦点の少なくとも一つを初期値に変更することを特徴とする請求項３記載の画像処理装置。
【請求項１０】
画像を撮像して映像信号とする撮像工程と、上記画像をパノラマ映像に合成する画像処理工程とを有し、撮像された画像の情報に基づいて露出、ホワイトバランス及び焦点の少なくとも一つの最適条件を算出し、以降の撮影では該単位画像に依らず上記最適条件に決定することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した単位画像をパノラマ映像に合成する画像撮像装置及び方法、並びに、単位画像を画像処理してパノラマ映像に合成する画像処理装置及び方法に関する。
【背景技術】
【０００２】
従来、例えば家庭用ビデオカメラ等を用いて撮像した複数の画像を、ハードディスク等の記録装置に記録した後、これら複数の画像を連結して１枚のパノラマ映像とするパノラマ映像作成方法が知られている。
【０００３】
従来技術として、特許文献１には、被写体を撮像して作成した複数枚の縮小画像をつなぎ合わせてパノラマ静止画像を作成するパノラマ静止画作成装置が開示されている。
【０００４】
【特許文献１】特開平８−３０７７７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、家庭用ビデオカメラは、露出、ホワイトバランス、焦点等の撮影条件の自動調整機能を有するのが普通である。このため、パノラマ映像を構成する単位画像の撮影の際の条件が相違すると、自動調整機能が働いて撮影条件を変化させることがある。従って、撮影条件の相違のために、これらの画像が連結されてなるパノラマ映像の状態が、一様でなく不均一となる場合がある。
【０００６】
このようにパノラマ映像の状態が不均一となる問題は、パノラマ映像を構成する単位画像の撮影条件を固定して撮影することにより解決することができる。しかし、係る撮影条件の複雑な調整は、撮影者に負担を与える。
【０００７】
この発明は、上述の実情に鑑みてなされるものであって、複数の画像から一様な状態のパノラマ映像を合成すると共に、このために必要となる上記撮影条件の調整の負担を軽減する画像撮像装置及び方法、並びに画像処理装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の課題を解決するために、この発明に係る画像撮像装置は、画像を撮像して映像信号とする撮像手段と、上記撮像手段を撮像範囲を移動させるように駆動する駆動手段と、上記駆動手段にて上記撮像手段を駆動し、上記撮像手段にてパノラマ映像を構成する単位画像を撮像制御する制御手段と、上記単位画像をパノラマ映像に合成する画像処理手段とを備え、上記制御手段は、該単位画像に依らず、上記撮像手段の露出、ホワイトバランス及び焦点の少なくとも一つを一定とするものである。
【０００９】
また、この発明に係る画像撮像方法は、パノラマ映像を構成する単位画像を撮像して映像信号とする撮像工程と、上記単位画像を処理してパノラマ映像に合成する画像処理工程とを有し、上記撮像工程では、該単位画像に依らず、露出、ホワイトバランス及び焦点の少なくとも一つを一定とするものである。
【００１０】
さらに、この発明に係る画像処理装置は、画像を撮像して映像信号とする撮像手段と、上記撮像手段の撮像範囲を移動させるように駆動する駆動手段と、上記駆動手段にて上記撮像手段を駆動し、上記撮像手段にてパノラマ映像を構成する単位画像を撮像制御すると共に撮影条件を制御する制御手段と、上記単位画像をパノラマ映像に合成する画像処理手段とを備え、上記制御手段は、上記単位画像の撮影にて得た情報に基づいて露出、ホワイトバランス、焦点の少なくとも一つの最適条件を算出し、上記撮像手段を上記最適条件に決定するものである。
【００１１】
そして、この発明に係る画像処理方法は、画像を撮像して映像信号とする撮像工程と、上記画像をパノラマ映像に合成する画像処理工程とを有し、撮像された画像の情報に基づいて露出、ホワイトバランス及び焦点の少なくとも一つの最適条件を算出し、以降の撮影では該単位画像に依らず上記最適条件に決定するものである。
【発明の効果】
【００１２】
本発明によれば、ビデオカメラ等を用いてパノラマ映像を得る場合、各部分の映像をそれぞれ撮影してハードディスク等の記憶装置に保存しておき、撮影終了後にそれらを連結して１枚のパノラマ映像を作成する方法が利用される。この場合、各映像を撮影する際の露出・ホワイトバランス・焦点等の撮影条件を一定とすることで、一様なパノラマ映像を得ることができる。
【００１３】
また、一旦作成されたパノラマ映像の輝度・色差信号等の情報と、各種の撮影条件からそのパノラマ映像を作成するための最適な撮影条件を決定し、再度パノラマ撮影を行う。または、画像処理を施すことにより、均整の取れた美しいパノラマ映像を得ることができる。
【発明を実施するための最良の形態】
【００１４】
以下、この発明に係る画像撮像装置及び方法、並びに画像処理装置及び方法の実施の形態の一例について説明する。
【００１５】
画像撮像装置は、図１に示すように、画像を撮像して映像信号とする撮像部１０と、上記撮像部１０をパンチルトの２軸方向に駆動する駆動部２０と、これら撮像部１０及び駆動部２０を含むこの画像撮像装置の全体を制御する中央処理部３０と、データ等を一時的に記憶する記憶部１と、モニタに供給するデータを調整するインターフェース２と、パノラマ映像等の情報を表示するモニタ３とから構成される。
【００１６】
上記撮像部１０は、撮像する画像に対する所定の光学的変換を行うレンズブロック１１と、このレンズブロック１１を介して与えられた光学的像を映像信号に変換するＣＣＤ１２と、このＣＣＤ１２から得られる映像信号に対してサンプル／ホールド及び自動利得制御を行うＳＨ／ＡＧＣ部１３と、このＳＨ／ＡＧＣ部１３を介して供給される映像信号をデジタル信号とするＡ／Ｄ部１４と、このＡ／Ｄ部１４にてデジタル信号に変換された映像信号に対して所定の処理を施す信号処理部１５とから構成されている。
【００１７】
上記レンズブロック１１は、変倍用のレンズを駆動することによって撮像する画角を変化させることが可能なズームレンズであり、光束の入射する方向に順に、第１のレンズ４１と、第２のレンズ４２と、第３のレンズ４３と、第４のレンズ４４と、上記第３のレンズ４３及び第４のレンズ４４の間に配設されるアイリス４５とから構成される。また、このレンズブロック１１には、上記第２のレンズ４２を光軸方向に移動させるズームモータ４６とを備えている。
【００１８】
上記第１のレンズ４１と、第３のレンズ４３と、第４のレンズ４４は、位置が固定されている固定レンズである。上記第２のレンズ４２は、ズームモータ４６により駆動されるズームレンズである。即ち、この第２のレンズ４２は、光軸方向に移動されることにより、このレンズブロック１１の倍率を変化させる変倍レンズである。
【００１９】
上記ズームモータ４６は、上記中央処理部３０の制御部３１からの制御に基づいて、上記第２のレンズ４２を駆動する。また、上記第２のレンズ４２の現在位置を上記制御部３１に報告する。
【００２０】
上記ＣＣＤ１２は、受光画素を２次元に配列した固体撮像素子であり、上記レンズブロック１１によりＣＣＤ１２上に結像された被写体の画像を、映像信号として出力する。
【００２１】
上記ＳＨ／ＡＧＣ部１３は、上記制御部３１の制御の下に、上記ＣＣＤ１２から供給される映像信号に対してサンプル／ホールド及び自動利得調整を行う。これにより、間歇的なパルスとして供給される映像信号を連続信号となし、また、この映像信号のレベルを所定範囲内に調整することができる。例えば、アイリス４５の制御信号によって所定のゲインを持つように利得制御する。
【００２２】
上記Ａ／Ｄ部１４は、上記制御部３１からの制御の下に、ＣＣＤ１２から出力され、ＳＨ／ＡＧＣ部１３にて整形された映像信号を所定の分解能にて２値化してデジタル信号に変換するアナログデジタル変換部である。
【００２３】
上記信号処理部１５は、上記制御部３１の制御の下に、Ａ／Ｄ部１５から与えられるデジタル化された映像信号に対して所定の信号処理を行う。例えば、入力されてきた信号を輝度、色差、ビデオ信号といった各信号に変換し、映像信号となし、上記記憶部１及びインターフェース２に与える。
【００２４】
なお、この撮像部１０は、フォーカス、ズーム等はもちろん、絞り、ゲイン、電子シャッタスピード等の他に、露出、ホワイトバランスの制御、画質調整等の機能を有するものである。
【００２５】
上記中央処理部３０は、制御部３１と、画像処理部３２とから構成される。上記制御部３１は、中央処理部３０及びこの画像処理装置全体を制御し、この画像処理方法に係る一連の手順を実行するものである。即ち、この制御部３１は、上記撮像部１０のレンズブロック１１の備えるズームモータ４６、ＳＨ／ＡＧＣ部１３、Ａ／Ｄ部１４、信号処理部１５、駆動部２０のパンモータ２３、チルトモータ２２に制御を与え、またこれら各部における現在位置等の状況について報告を受ける。また。この制御部３１は、上記記憶部１に対して書き込み及び読み出しを制御するＲ／Ｗ制御信号、中央処理部３０内の画像処理部３２に対して処理制御信号を与える。
【００２６】
上記画像処理部３２は、制御部３１から与えられる処理制御信号により制御され、上記記憶部１から与えられた映像に対して所定の画像処理を施して記憶部１に出力する。例えば、上記撮像部１０にて撮像した複数の画像を連結することにより、パノラマ映像に合成する。
【００２７】
上記記憶部１は、映像信号等を一時的に記憶する揮発性のメモリである。この記憶部１は、上記制御部３１の与えるＲ／Ｗ信号により読み出し及び書き込みを制御される。例えば、撮像部１０の信号処理部１５から供給される信号を書き込み、上記画像処理部３２に映像信号を読み出し、この画像処理部３１にて画像処理された映像信号を書き込む。
【００２８】
上記インターフェース２は、上記信号処理部１５及び記憶部１と、モニタ３との間に介在して、映像信号の形式、タイミング調整等の必要な操作を行う。このインターフェースを介して接続されるモニタ３は、この画像処理装置の出力する所定の情報、例えば合成されたパノラマ映像を表示する。
【００２９】
上記駆動部２０は、上記撮像部１０をパンチルトの２軸方向に回転可能に保持する回転雲台２１と、この回転雲台２１をパンチルト方向にそれぞれ回転させるパンモータ２３及びチルトモータ２２とから構成されている。
【００３０】
上記回転雲台２１は、通常は固定されている基部と、主面に上記撮像部１０を固定する可動部と、この可動部を上記基部に対してパンチルトの２軸方向に回転自在に支持する接続部とから構成される。
【００３１】
この回転雲台２１をパン方向及びこれに略々直交するチルト方向に回転させる上記パンモータ２３及びチルトモータ２２は、所定の分解能を有する例えばステッピングモータであり、上記処理部３１の制御に基づいて回転雲台２１の可動部及びこの可動部に配設される撮像部１を駆動し、また、可動部の現在位置を上記制御部３１に報告する。
【００３２】
次に、この画像撮像方法に係る一連の工程について説明する。この一連の工程は、図２に示すように、ステップＳ１からステップＳ３までの３個の工程から構成される。
【００３３】
ステップＳ１においては、上記モニタ３を参照しながら、又はこのモニタ３上にてこのパノラマ映像作成に係る一連の工程の開始が指示されると、撮像部１０にて撮影される単位画像と、これらの単位画像が画像処理部３２にて合成されて得られるパノラマ画像と保存する領域をそれぞれの記憶部１に確保して初期化する処理が行われる。これに続くステップＳ２においては、上記撮像部１０その他と周期的に通信を行うために、タイマが設定される。そして、これらの初期設定動作が終了すると、各種発生するイベント待ち状態に推移する。即ち、ステップＳ３において、タイマイベント又はパノラマ作成イベントが発生するとこれらのイベントに分岐するが、そのイベントが終了すると、イベント待ち状態に復帰する。
【００３４】
次に、タイマイベントの詳細について説明する。この画像撮像方法のタイマイベントは、周期的にモードコントローラと通信を行うために発生するものであり、図３に示すように、ステップＳ１１からステップＳ２４までの１４個の工程から構成される。
【００３５】
ステップＳ１においては、タイマイベントが発生すると、通信ポートの設定が完了していることを確認する。通信ポートの設定が完了している場合には、“ＹＥＳ”としてステップＳ１２に進み、設定が完了していない場合には“ＮＯ”としてステップＳ２０に進む。
【００３６】
ステップＳ１２としては、受信バッファの受信データの有無を確認する。受信データがある場合には“ＹＥＳ”としてステップＳ１３に進み、受信データがない場合には“ＮＯ”としてステップＳ１４に進む。
【００３７】
ステップＳ１３においては、受信データの解析処理を行う。例えば、受信データから、例えば回転雲台２１の現在位置、ズームレンズとなる第２のレンズ４２の現在位置等の各情報として解析され、分離の上取得される。そして、次のステップＳ１４に進む。
【００３８】
ステップＳ１４においては、送信要求フラグＦｌａｇ＿ｓｏの確認をする。そして、この送信要求フラグＦｌａｇ＿ｓｏが、“Ｔｒｕｅ”である場合には、送信要求ありとしてステップＳ２１に進み、“Ｆａｌｓｅ”である場合には、送信要求なしとしてステップＳ１５に進む。
【００３９】
ステップＳ１５においては、位置要求カウント値ｒｅｑ＿ｃｎｔが０以下であるかによって分岐する。即ち、位置要求カウント値ｒｅｑ＿ｃｎｔが０以下の場合には、パノラマ位置要求ありの“ＹＥＳ”としてステップＳ１８に進み、他の場合には“ＮＯ”としてステップＳ１６に進む。ここで、位置要求カウント値ｒｅｑ＿ｃｎｔとは、位置要求を保持する内部カウンタであり、イベント処理毎にこの位置要求カウント値を利用して３種類の処理の内の１個を処理している。
【００４０】
ステップＳ１６においては、位置要求カウント値ｒｅｑ＿ｃｎｔが１以下であるかによって分岐する。即ち、位置要求カウント値ｒｅｑ＿ｃｎｔが１以下の場合にはズーム位置要求ありの“ＹＥＳ”としてステップＳ１７に進み、他の場合の“ＮＯ”の場合にはパノラマ要求ありとしてステップＳ２２に進む。
【００４１】
ステップＳ１７においては、ズームの位置を要求し、通信データの転送処理を行い、ステップＳ１９に進む。また、ステップＳ１８においては、パンチルタの位置を要求し、通信データの転送処理を行い、ステップＳ１９に進む。そして、ステップＳ１９においては、位置要求カウント値ｒｅｑ＿ｃｎｔをインクリメントする。すなわち、位置要求カウント値ｒｅｑ＿ｃｎｔを１増加させる。そして、この一連の工程を終了する。
【００４２】
ステップＳ２２においては、パノラマ要求フラグＦｌａｇ＿ｐａの確認をする。即ち、このパノラマ要求フラグＦｌａｇ＿ｐａが“Ｔｒｕｅ”の場合には、パノラマ要求ありとしてステップＳ２３に進み、“Ｆａｌｓｅ”の場合には、パノラマ要求なしとしてステップＳ２４に進む。
【００４３】
ステップＳ２３においては、パノラマ作成処理を行い、これに続くステップＳ２４としては、送信要求カウンタ値ｒｅｑ＿ｃｎｔを０に設定し、この一連の工程を終了する。
【００４４】
ステップＳ２０においては、通信ポートの処理を行う。例えば、中央処理部３０としてパーソナルコンピュータを用い、通信経路としてＲＳ２３２Ｃを利用する場合には、このＲＳ２３２Ｃポートを設定する。そして、この一連の工程を終了する。
【００４５】
ステップＳ２１においては、ステップＳ１４において、送信要求フラグＦｌａｇ＿ｓｏが“Ｔｒｕｅ”であり、送信要求が伝えられたので、送信バッファの内容を直ちに送信した後、この一連の工程を終了する。
【００４６】
続いて、上述のタイマイベントに係る一連の工程の簡易版を、図４に従って説明する。この簡易板のタイマイベントに係る一連の工程は、上記図３に示したステップＳ１４以下を簡易化したものである。なお、上記図３と同様な部分については共通の符号を付して説明を省略する。
【００４７】
図中のステップＳ３１においては、位置移動フラグが立ってるか否かによって分岐する。即ち、位置移動フラグが立っている場合には位置移動要求ありの“ＹＥＳ”としてステップＳ３２に進み、位置移動フラグが立っていない場合には位置移動要求なしの“ＮＯ”として、ステップＳ２２に進む。
【００４８】
このように、この簡易板のタイマイベントに係る一連の工程においては、内部カウンタｒｅｑ＿ｃｎｔとは別に、位置要求フラグが立った場合に指定された位置に撮像部１０を移動するものである。
【００４９】
次に、パノラマ映像を構成する単位画像からパノラマ映像を合成するパノラマ作成処理について説明する。まず、パノラマ映像作成の一連の工程の概略的な流れを説明する。この一連の工程は、図５に示すように、ステップ６１からステップ７１までの１１個の工程から構成される。
【００５０】
ステップＳ６１では、駆動部２０にて撮像部１０のズームをワイド端に移動する。続くステップＳ６２においては、上記撮像部１０の撮像位置が合っているか否かを判断しする。即ち、撮像位置が合っている場合には“ＹＥＳ”としてステップＳ６４に進み、撮像位置が合っていない場合には“ＮＯ”としてステップＳ７１に進む。
【００５１】
ステップＳ６３においては現在の映像を記憶部１に保存し、ステップＳ６４においては次の撮影位置を撮像部１０に指示し、ステップＳ６５においては位置移動フラグを立てる。
【００５２】
これに続くステップＳ６６においては、パノラマ映像を構成する単位画像を必要枚数撮像したか判断する。そして、必要枚数を撮像した場合には“ＹＥＳ”としてステップＳ６７に進み、そうでない場合には“ＮＯ”としてこの一連の工程を終了する。
【００５３】
ステップＳ６７においては、上記単位画像の縮小又は連結を行い、ステップＳ６８においてはパノラマ映像を記憶部１に保存し、ステップＳ６９においてはパノラマ映像をモニタ３に表示し、ステップＳ７０においてはパノラマ作成要求を解除する。そして、この一連の工程を終了する。
【００５４】
ステップ７１においては、位置移動フラグを立てる。そして、この一連の工程を終了する。
【００５５】
続いて、このようなパノラマ作成処理に係る一連の工程を、より具体的に説明する。このパノラマ作成処理に係る一連の工程は、図６に示すように、ステップＳ４１からステップＳ５４までの１４個の工程から構成される。
【００５６】
この一連の工程は、パノラマ映像を構成する単位画像の内、内部カウンタのパノラマカウント値ＰａｎｏＣｎｔに対応する単位画像を取得して、連結するものである。パノラマ映像の合成は、この一連の手順に従って行われ、パノラマ映像が完成した場合には、このパノラマ映像は保存される。
【００５７】
即ち、パノラマ作成要求のイベントが発生すると、単位画像を同定するパノラマカウント値ＰａｎｏＣｎｔに従って、パノラマ作成処理がこの一連の工程に従って実行される。
【００５８】
最初のステップＳ４１においては、パノラマカウント値ＰａｎｏＣｎｔが１であるという条件によって分岐する。この条件が満たされる場合には“ＹＥＳ”としてステップＳ５３に進み、この条件が満たされない場合には“ＮＯ”としてステップＳ４２に進む。このステップＳ４１では、撮像装置の画角の設定が最広角であるか確認されている。これは、より広範囲のパノラマ画像を、少ない画像取得回数で行うためである。
【００５９】
ステップＳ４２においては、パノラマカウント値ＰａｎｏＣｎｔが２であるという条件によって分岐する。この条件が満たされる場合には“ＹＥＳ”としてステップＳ５４に進み、この条件が満たされない場合には“ＮＯ”としてステップＳ４３に進む。このステップＳ４２では、パンチルタが画像を取得する最初の位置に設定されていることを確認している。
【００６０】
ステップＳ４３においては、ズームレンズである上記第２のレンズ４２の位置が確認される。設定したズーム位置にある場合には“ＹＥＳ”としてステップＳ４４に進み、設定したズーム位置にない場合には“ＮＯ”としてこの一連の工程を終了する。
【００６１】
ステップＳ４４においては、パンチルタの現在位置が確認される。即ち、パノラマカウント値ＰａｎｏＣｎｔが３以上の場合に、パンチルタ位置が指定位置ＰＯＳ（ＰａｎｏＣｎｔ−３）にある場合には“＝＝ＰＯＳ（ＰａｎｏＣｎｔ−３）”としてステップＳ４４に進み、そうでない場合には“！＝ＰＯＳ（ＰａｎｏＣｎｔ−３）”としてこの一連の工程を終了する。ここで、ＰＯＳとは、パノラマカウント値ＰａｎｏＣｎｔに対応するパンチルタ等の位置を指定する関数を意味している。
【００６２】
ステップＳ４５においては、指定位置における現在の画像のキャプチャを行い、次のステップＳ４５に進む。
【００６３】
ステップＳ４６においては、画像取得位置であるＰＯＳ（ＰａｎｏＣｎｔ−２）にパンチルタを移動し、続くステップＳ４７に進む。
【００６４】
ステップＳ４７においては、先にキャプチャした画像の水平、垂直方向への圧縮処理等を行い、次のステップＳ４８においてはパノラマ画像作成の進行状況をモニタ３に表示する。そして、次のステップＳ４９においては、パノラマカウント値ＰａｎｏＣｎｔをインクリメントする。即ち、パノラマカウント値を１増加させる。そして、次のステップＳ５０に進む。
【００６５】
ステップＳ５０においては、パノラマ映像が完成したか否かによって分岐する。即ち、パノラマ映像が完成した場合には“ＹＥＳ”としてステップＳ５１に進み、パノラマ映像が完成していない場合には“ＮＯ”としてこの一連の工程を終了する。
【００６６】
ステップＳ５１においてはフラグＦｌａｇＰａの値をＦａｌｓｅとして、パノラマ映像の完成を意味する設定を行い、次のステップＳ５２においてはパノラマ映像を保存し、この一連の工程を終了する。
【００６７】
なお、駆動装置２０は、制御部３１から制御される目標位置に対して、常に同じ方向から進入するように動作し、画像連結の際に発生し得る、連結画像のズレを補正している。このようなズレは、例えばギアのバックラッシュのような駆動形の機構の遊びによって発生することがある。
【００６８】
ステップＳ５２においては、ステップＳ５０にて全画面のパノラマ映像が完成したことが確認されたので、このパノラマ映像を保存する。そして、この一連の工程を終了する。
【００６９】
次に、上記画像撮像装置が不均一でない一様なパノラマ映像を取得するために用いる画像撮像方法の一例について説明する。
【００７０】
この方法は、パノラマ映像の作成に際して、上記制御部３１の制御の下に、撮像部１０の備えるシャッタ、ＡＧＣ・ホワイトバランス・焦点等の撮影条件の自動調整機能を無効とするものである。実際には、上記撮影条件はパノラマ映像を構成する単位画像を取得する間は一定に保持される。これら一定の撮影条件にて取得された単位画像を連結すると、一様なパノラマ映像が合成される。
【００７１】
続いて、一様なパノラマ映像を取得する画像撮像方法に係る第２の例について説明する。
【００７２】
この方法においては、パノラマ映像を構成する単位画像は、上述の方法と同じく、撮影条件を一定に保持された状態にて取得される。これらの単位画像は、ハードディスク等の記憶部１にデジタル静止画像として保存される。そして、記憶部１に保存されたこれら単位画像から輝度情報を抽出され、図７に示すような輝度の度数分布に関するヒストグラムが作成される。そして、このヒストグラムにおいて平均操作等の統計処理を行うことにより、図中斜線のバーにて示す基準輝度値Ｙ１が決定される。
【００７３】
これに続いて、上記輝度基準値Ｙ１と比較してそれよりも明るい部分の面積を求めるなどして、例えば逆光や過順光の状態を判定し、固定した最初の撮影条件を考慮して、記憶装置に用意されているテーブル等から最適な露出を与えるアイリスやゲイン等の条件を決定する。
【００７４】
例えば、図８のグラフにおいては、折れ線ａはアイリス開口率、折れ線ｂはシャッタ、折れ線ｃはゲインをそれぞれ示している。従って、これらアイリス開口率、シャッタ、ゲイン等の撮影条件は、上記輝度標準値Ｙ１に対応して、それぞれ図中の点Ｐ１、Ｐ２、Ｐ３として求められる。
【００７５】
このような撮影条件の決定により、次回の撮像以降は最適な撮影条件にて撮影を行うことができる。即ち、この画像撮像方法に係る第２の例においては、図９に示すように、ステップ８１からステップ８３までの３個の工程から構成されている。即ち、ステップ８１において輝度情報のヒストグラムを作成し、ステップＳ８２において上記ヒストグラムを解析した情報に基づいて最適な撮影条件を決定し、ステップＳ８３において最適条件にて露出を決定している。
【００７６】
なお、ホワイトバランス調整には、例えば記憶部１に保存された各画像の一定輝度以上の画素を原色分離して積分し、積分値の白とのズレを算定することにより、最適なホワイトバランスを決定することができる。
【００７７】
即ち、このようなホワイトバランスの調整は、図１０に示すように、ステップＳ９１からステップＳ９３までの３個のステップから構成される。
【００７８】
ステップＳ９１においては、初回に撮像したパノラマ映像を構成する単位画像から輝度情報を抽出し、輝度標準値Ｙ１と比較し、続くステップＳ９２においては、次のような線形関係式を満足し、Ｒｍ’＝Ｂｍ’＝Ｇｍ’となる対角行列Ｍを決定する。
【００７９】
【数１】
2005348447.tif 000003
【００８０】
そして、ステップＳ９３においては、この対角行列Ｍに基づいて、制御部３１は撮像部等の制御を行い、適当なホワイトバランスに設定する。
【００８１】
続いて、一様なパノラマ映像を取得する画像撮像方法の第３の例について説明する。
【００８２】
この方法においては、上述の方法と同じく、撮影条件を一定に保持した状態にてパノラマ映像を構成する単位画像を取得し、記憶部１にデジタル静止画像として保存する。そして、上記デジタル静止映像から輝度信号を抽出し、また、焦点の適合具合を判定する。
【００８３】
ここで、焦点の適合具合は、上記記憶部１に記録されたデジタル静止画像の周波数成分の分布により判定する。
【００８４】
即ち、図１１中のＡに示すように焦点が不適合なために画像がぼけていて、同図中のＢに示すように輝度が位置に関してなだらかに分布している場合には、同図中のＣにおいて周波数基準値ｆ０を越える周波数成分は少ない。
【００８５】
これに対して、図１２中のＡに示すように、焦点が適合しているために映像が鮮明であり、同図中のＢに示すように輝度が位置に対して急峻に変化している場合には、同図中のＣにおいて周波数基準値ｆ０を越える周波数成分は比較的多い。なお、周波数成分の抽出には、例えば隣接した画素の輝度の差を利用することができる。
【００８６】
このようにして得た初回の焦点の適合具合を記憶部１に記録する。そして、同様に複数回焦点を変化させてパノラマ映像を構成する単位画像を撮影し、記憶部１上のデジタル静止映像として焦点の適合具合を判定し、これら焦点の適合具合をそれぞれ記憶部１に記録する。そして、上記周波数基準値よりを越える高周波成分が極大となる場合を合焦状態とみなす。これにより、上記撮像部１においては、最適な焦点を以て撮像することができる。
【００８７】
この手順は、例えば、図１３に示す、ステップＳ１０１からステップＳ１０３までの３個のステップから構成される一連の工程により実現することができる。
【００８８】
即ち、ステップＳ１０１においては隣接している画素の輝度の差が規定値以上離れている画素の総数を求め、この総数を記憶部１に記録する。続くステップＳ１０２においては、同様の作業を複数回に亘って行い、上記総数が極大となったときの撮影条件を最適条件と決定する。そして、ステップＳ１０３においては、例えばＲＳ２３２Ｃを介してしてモードコントローラ７からカメラコントローラ５に上記最適条件の焦点を与え、再度撮影する。
【００８９】
なお、ホワイトバランスについては、図７に示したような初回の再像にて得たパノラマ映像を構成する単位画像の度数の分布の状態を示すヒストグラムにおいて、輝度基準値Ｙ１より明るい画素の累積度数又は上記輝度基準値Ｙ１より暗い画素の累積度数から、初回の撮像時の露出条件における最適な条件Ｃを決定することもできる。
【００９０】
即ち、各画素は、ＲＧＢ各値とＣを引数とする関数ｆ（Ｒ，Ｇ，Ｂ，Ｃ）や、またはそれを記憶部１上にＣとＲＧＢ値を与えると補正値が参照できるテーブルにより補正が加えられ、適正な露出を持つ映像に加工される。そして、例えば上記対角行列Ｍを各画素に乗じることにより適正なホワイトバランスを持つ映像に加工される。
【００９１】
次に、上記画像撮像装置の他の一例について説明する。この画像撮像装置は、図１４に示すように、パノラマ映像を取得する撮像部１０と、この画像撮像装置全体を制御するコンピュータ９とが異なった場所に設置され、これら撮像部１０とコンピュータ４０とが伝送線で接続されたものである。
【００９２】
即ち、この画像撮像装置においては、撮像部１０と、駆動部２０と、モードコントローラ７と、図示しないカメラコントローラ５と、パンチルタコントローラ６は、パノラマ映像を取得する被写体を撮影する位置、例えば屋外に配設される。一方、上記撮像部１０等を制御するコンピュータ４０と、第１のモニタ３と、第２のモニタ９と、入力部８は、上記位置と異なる場所、例えば室内に設置される。そして、これら撮像部１０等と、コンピュータ４０等との間は、伝送線にて接続されている。
【００９３】
この画像撮像装置は、図１５に示すように、画像を撮像して映像信号とする撮像部１０と、上記撮像部１０をパンチルトの２軸方向に駆動する駆動部２０と、この画像撮像装置の全体の制御と画像処理の一連の手順を行うコンピュータ４０とを有している。
【００９４】
上記コンピュータ４０は、パノラマ映像の合成等の画像処理を行う画像処理部４１と、このコンピュータ４０及びこの画像撮像装置の全体を制御する制御部４２と、上記撮像部１０から供給される映像信号をキャプチャするビデオキャプチャ部４３と、必要なデータを一時的に記憶する記憶部４４とから構成される。
【００９５】
上記撮像部１０及び駆動部２０については、上述の画像撮像装置と同様の構成であるので、共通の符号を付して説明を省略する。
【００９６】
この画像撮像装置は、カメラコントローラ５と、パンチルタコントローラ６と、モードコントローラ７とを有している。
【００９７】
上記カメラコントローラ５は、撮像部１０におけるフォーカス、ズーム等のレンズ制御、絞り、ゲイン、電子シャッタスピード等の露出制御、ホワイトバランスの制御、画質制御等を制御するコントローラであると共に、上記モードコントローラ７とのインターフェースを行っている。
【００９８】
例えば、このカメラコントローラ５は、ズームレンズである上記第２のレンズ４２の制御に関連するインターフェース制御として、モードコントローラ７より送られてくるズーム用の変倍レンズの駆動要求に対して、上記第２のレンズ４２が、指定された位置に駆動されるように制御信号をモータドライバに出力すると共に、上記第２のレンズ４２の現在位置をモードコントローラ７に報告する。
【００９９】
上記パンチルタコントローラ６は、モードコントローラ７より送られてくる上記回転雲台２１のパンチルトの各々の方向の駆動要求に対して、回転雲台２１が要求された位置に駆動されるよう制御信号をモータドライバに出力すると共に、回転雲台２１の現在位置をモードコントローラ７に報告する。
【０１００】
モードコントローラ７は、コンピュータ４０と伝送路として例えばＲＳ２３２Ｃにより接続され、コンピュータ４０から与えられる絶対位置駆動命令に対し、回転雲台２１、駆動部１０のズームレンズである第２のレンズ４２を駆動するようにこれらの命令をカメラコントローラ５及びパンチルタコントローラ６に振り分けると共に、これらカメラコントローラ５及びパンチルタコントローラ６より送られてくる現在位置情報を、コンピュータ４０に送信する。
【０１０１】
また、この画像撮像装置は、第１のモニタと、第２のモニタ９と、入力部８とを有している。
【０１０２】
上記第１のモニタ３は、上記撮像部から供給される映像信号及び他の情報を表示する。上記第２のモニタ９は、上記コンピュータ４０から供給される信号に基づいて、その表示画面に、現在の撮像映像９ａと、パノラマ映像９ｂとを表示する少なくとも２個のウインドウを表示している。
【０１０３】
上記入力部８は、キーボード等を有し、ユーザから入力される命令等を上記コンピュータ４０に伝える。また、この入力部８は、上記第２のモニタ９と一体として、例えば表示画面のタッチパネルとして構成することもできる。
【０１０４】
なお、この発明に係る画像撮像装置としては、パーソナルコンピュータを利用し、画像処理方法はソフトウェア的に実現することができる。例えば、ユーザインターフェースのため、コンピュータ４０に接続するＣＲＴの表示画面のグラフィック表示を用いてパノラマ画像の生成のための内部処理を行い、モードコントローラ７への通信データを生成することができる。
【０１０５】
また、ビデオキャプチャ４３としては、映像信号を任意の画質で表示することが可能であると共に、キャプチャ信号により、ビットマップ形式、ＪＰＥＧ形式の静止画、ＪＰＥＧ方式の動画等の任意の画像フォーマットに、任意の画質でキャプチャし、例えばハードディスクに記憶することができる。
【０１０６】
そして、この発明に係る画像撮像方法としては、上述のように、複数回撮影した結果から最適な撮影条件を決定する方法は、露出・ホワイトバランスの最適条件を決定する際に利用してもよい。この方法を複数回にわたって繰り返すことにより、撮影条件は徐々に改善される。
【０１０７】
さらに、最適な露出やホワイトバランスを決定した後、パノラマ画面全体にわたり画像処理を施すことにより、適正なパノラマ映像を得ることもできる。
【０１０８】
また、上述の画像撮像方法においては、パノラマ撮影終了後は、露出・ホワイトバランス・焦点・倍率等の撮影条件を元の状態、あるいは予め設定されている初期状態に戻すようにすることもできる。このことにより、その後の通常撮影をスムーズに行えるようにすることができる。例えば、回転雲台２１との駆動装置を利用してパノラマ映像を撮影したときは、撮影後、撮像部１０の向きも例えばパノラマ画面の中央に戻すなどする。また、自動調整がオフとされていた場合には、パノラマ撮影終了後には自動調整をオンとすることもできる。
【０１０９】
そして、上述の画像撮像方法においては、パノラマ映像の作成の方法としては、撮像部１０を回転雲台２１等を備える駆動部２０にて駆動することにより得た単位画像を連結することにより得ていたが、これに限定されるものではない。例えば、デジタル静止画カメラやラインＣＣＤにより撮影した映像を連結したり、移動体を流し撮りしたビデオ映像からパノラマ画面を作成してもよい。
【０１１０】
なお、以上においては画像撮像装置及び方法の実施の形態について述べたが、これらの実施の形態は画像処理装置及び方法に直接適応することができるのはもちろんである。
【０１１１】
上述のように、本発明の実施の形態によれば、ビデオカメラ等を用いてパノラマ映像を得る場合、各部分の映像をそれぞれ撮影してハードディスク等の記憶装置に保存しておき、撮影終了後にそれらを連結して１枚のパノラマ映像を作成する方法が利用される。この場合、各映像を撮影する際の露出・ホワイトバランス・焦点等の撮影条件を一定とすることで、一様なパノラマ映像を得ることができる。
【０１１２】
また、一旦作成されたパノラマ映像の輝度・色差信号等の情報と、各種の撮影条件からそのパノラマ映像を作成するための最適な撮影条件を決定し、再度パノラマ撮影を行う。または、画像処理を施すことにより、均整の取れた美しいパノラマ映像を得ることができる。
【０１１３】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【０１１４】
【図１】この発明に係る画像撮像装置の概略的な構成を示すブロック図である。
【図２】この発明に係る画像撮像方法の一連の工程を示すフローチャートである。
【図３】上記方法に係るタイマイベントのアルゴリズムの一連の工程を示すフローチャートである。
【図４】上記アルゴリズムを簡易化した一連の工程を示すフローチャートである。
【図５】上記方法に係るパノラマ映像作成のアルゴリズムの概略的な工程を示すフローチャートである。
【図６】上記アルゴリズムに係るより具体的な工程を示すフローチャートである。
【図７】上記方法に係る輝度に係る度数分布を示すヒストグラムである。
【図８】上記方法に係るシャッタ速度、ゲイン及びアイリス開口度の輝度に対応する値を示すグラフである。
【図９】上記方法に係る露出決定に係る一連の工程を示すフローチャートである。
【図１０】上記方法に係るホワイトバランスの決定に係る一連の工程を示すフローチャートである。
【図１１】合焦状態における画像、輝度分布および周波数成分の分布を示す図である。
【図１２】非合焦状態における画像、輝度分布および周波数成分の分布を示す図である。
【図１３】上記方法に係る焦点の決定に係る一連の工程を示すフローチャートである。
【図１４】上記装置の実施の形態の他の一例に係る設置の態様を示す正面図である。
【図１５】上記装置の実施の形態の他の一例に係る構成を示すブロック図である。
【符号の説明】
【０１１５】
１ 記憶部、２ インターフェース、３ モニタ、１０ 撮像部、２０ 駆動部、３０ 中央処理装置、４０ コンピュータ
【図１】
2005348447.tif 000004
【図２】
2005348447.tif 000005
【図３】
2005348447.tif 000006
【図４】
2005348447.tif 000007
【図５】
2005348447.tif 000008
【図６】
2005348447.tif 000009
【図７】
2005348447.tif 000010
【図８】
2005348447.tif 000011
【図９】
2005348447.tif 000012
【図１０】
2005348447.tif 000013
【図１１】
2005348447.tif 000014
【図１２】
2005348447.tif 000015
【図１３】
2005348447.tif 000016
【図１４】
2005348447.tif 000017
【図１５】
2005348447.tif 000018
【手続補正書】
【提出日】平成17年9月29日(2005.9.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像を撮像して映像信号とする撮像手段と、
上記撮像手段から出力される映像信号を記憶する記憶手段と、
上記撮像手段を撮像範囲を移動させるように駆動する駆動手段と、
上記駆動手段にて上記撮像手段を駆動し、上記撮像手段にてパノラマ映像を構成する単位画像を撮像制御する制御手段と、
上記単位画像をパノラマ映像に合成する画像処理手段とを備え、
上記制御手段は、上記記憶手段に記憶された単位画像から基準輝度値を決定し、上記基準輝度値に基づいて決定した撮影条件により次回のパノラマ映像の撮像を制御すること
を特徴とする画像撮像装置。
【請求項２】
上記制御手段は、上記記憶手段に記憶された単位画像から輝度情報のヒストグラムを作成し、上記ヒストグラムを統計処理することにより上記基準輝度値を決定すること
を特徴とする請求項１記載の画像撮像装置。
【請求項３】
パノラマ映像を構成する単位画像を撮像して映像信号とする撮像工程と、
上記単位画像を記憶する画像記憶工程と、
上記単位画像を処理してパノラマ映像に合成する画像処理工程とを有し、
上記撮像工程では、上記記憶された上記単位画像から基準輝度値を決定し、上記基準輝度値に基づいて決定した撮影条件により上記単位画像の撮像すること
を特徴とする画像撮像方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、撮像した単位画像をパノラマ映像に合成する画像撮像装置及び方法に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明は、上述したような実情に鑑みてなされたものであり、複数の画像から一様な状態のパノラマ映像を合成すると共に、このために必要となる上記撮影条件の調整の負担を軽減する画像撮像装置及び方法を提供することを目的とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記の課題を解決するために、本発明に係る画像撮像装置は、画像を撮像して映像信号とする撮像手段と、上記撮像手段から出力される映像信号を記憶する記憶手段と、上記撮像手段を撮像範囲を移動させるように駆動する駆動手段と、上記駆動手段にて上記撮像手段を駆動し、上記撮像手段にてパノラマ映像を構成する単位画像を撮像制御する制御手段と、上記単位画像をパノラマ映像に合成する画像処理手段とを備え、上記制御手段は、上記記憶手段に記憶された単位画像から基準輝度値を決定し、上記基準輝度値に基づいて決定した撮影条件により次回のパノラマ映像の撮像を制御することを特徴としている。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、本発明に係る画像撮像方法は、パノラマ映像を構成する単位画像を撮像して映像信号とする撮像工程と、上記単位画像を記憶する画像記憶工程と、上記単位画像を処理してパノラマ映像に合成する画像処理工程とを有し、上記撮像工程では、上記記憶された上記単位画像から基準輝度値を決定し、上記基準輝度値に基づいて決定した撮影条件により上記単位画像の撮像することを特徴としている。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
以下、この発明に係る画像撮像装置及び方法の実施の形態の一例について説明する。