(57)【特許請求の範囲】
【請求項１】
撮像装置により取得される一つの画像から複数の部分画像を切り出し、それら切り出し画像の画像サイズを変換して出力画像とする撮像システムであって、
前記各切り出し画像の合焦フォーカス位置、前記各切り出し画像の画像サイズ、前記各出力画像の画像サイズに基づいて、前記各出力画像上でのフォーカス位置に対する錯乱円径の最大値を表わす関数が最小の値となるフォーカス位置を全体の合焦フォーカス位置として算出する算出手段と、
前記算出手段により算出された前記全体の合焦フォーカス位置に従ってフォーカス制御を行うフォーカス制御手段とを備えたことを特徴とする撮像システム。
【請求項２】
撮像装置と、前記撮像装置と通信可能なクライアント装置とにより構成されることを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記全体の合焦フォーカス位置における錯乱円径が許容錯乱円径に収まる絞り値を算出する算出手段と、
前記算出手段により算出された絞り値に従って絞り制御を行う絞り制御手段とを備えたことを特徴とする請求項１又は２に記載の撮像システム。
【請求項４】
前記出力画像上での許容錯乱円径に対して前記出力画像の画素間隔が大きい場合は、前記出力画像上での許容錯乱円径を前記出力画像の画素間隔とすることを特徴とする請求項３に記載の撮像システム。
【請求項５】
前記一つの画像上での錯乱円径が画素位置によって変化する場合、前記各切り出し画像の錯乱円径を、算出基準位置における錯乱円径に対する変化分を含めて求めることを特徴とする請求項１〜４のいずれか１項に記載の撮像システム。
【請求項６】
前記算出基準位置は、各切り出し画像の中心画素位置、各切り出し画像における測距点に対応する画素位置、各切り出し画像内で錯乱円径が最大となる画素位置のうちいずれかであることを特徴とする請求項５に記載の撮像システム。
【請求項７】
切り出し画像上での許容錯乱円径に対して切り出し画像の画素間隔が大きい場合は、切り出し画像上での許容錯乱円径を切り出し画像の画素間隔として出力画像上での許容錯乱円径を算出することを特徴とする請求項１〜５のいずれか１項に記載の撮像システム。
【請求項８】
一つの画像から複数の部分画像を切り出し、それら切り出し画像の画像サイズを変換して出力画像とする撮像装置であって、
前記各切り出し画像の合焦フォーカス位置、前記各切り出し画像の画像サイズ、前記各出力画像の画像サイズに基づいて、前記各出力画像上でのフォーカス位置に対する錯乱円径の最大値を表わす関数が最小の値となるフォーカス位置を全体の合焦フォーカス位置として算出する算出手段と、
前記算出手段により算出された前記全体の合焦フォーカス位置に従ってフォーカス制御を行うフォーカス制御手段とを備えたことを特徴とする撮像装置。
【請求項９】
一つの画像から複数の部分画像を切り出し、それら切り出し画像の画像サイズを変換して出力画像とする撮像装置の制御方法であって、
前記各切り出し画像の合焦フォーカス位置、前記各切り出し画像の画像サイズ、前記各出力画像の画像サイズに基づいて、前記各出力画像上でのフォーカス位置に対する錯乱円径の最大値を表わす関数が最小の値となるフォーカス位置を全体の合焦フォーカス位置として算出する算出手順と、
前記算出手順により算出された前記全体の合焦フォーカス位置に従ってフォーカス制御を行うフォーカス制御手順とを有することを特徴とする撮像装置の制御方法。
【請求項１０】
一つの画像から複数の部分画像を切り出し、それら切り出し画像の画像サイズを変換して出力画像とする撮像装置を制御する手順をコンピュータに実行させるプログラムであって、
前記各切り出し画像の合焦フォーカス位置、前記各切り出し画像の画像サイズ、前記各出力画像の画像サイズに基づいて、前記各出力画像上でのフォーカス位置に対する錯乱円径の最大値を表わす関数が最小の値となるフォーカス位置を全体の合焦フォーカス位置として算出する算出手順と、
前記算出手順により算出された前記全体の合焦フォーカス位置に従ってフォーカス制御を行うフォーカス制御手順とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、キャプチャ画像から同時に複数の部分画像を切り出し、画像サイズを変換して出力する撮像システム及び装置、撮像装置の制御方法、プログラムに関する。
【背景技術】
【０００２】
キャプチャ画像から同時に複数の部分画像を切り出し、画像サイズを変換して出力することが可能な画像処理システムとして、例えば特許文献１では、複数の合焦フォーカス位置を持つ特殊なレンズを使用して一度のキャプチャで近景、遠景ともにピントが合った画像を得るようにしたものが開示されている。
【０００３】
また、例えば特許文献２や特許文献３には、一度のキャプチャで近景、遠景ともにピントが合った画像を得るカメラ装置が開示されている。特許文献２や特許文献３では、ハーフミラーやプリズムを使用してレンズからの距離が異なる位置に複数の撮像素子を配置することによって合焦フォーカス位置が異なる画像を同時にキャプチャし、それらを合成することによって全焦点画像を得る。
【０００４】
【特許文献１】特開平９−１３９８７８号公報「画像処理システム」
【特許文献２】特開平９−２５２４２２号公報「撮影装置」
【特許文献３】特開平１１−２９５８２６号公報「複数画像を用いる画像処理方法およびそれに用いる複数画像同時撮像型カメラ装置」
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に提案されているような画像処理システムでは、キャプチャされる一枚の画像に合焦フォーカス位置が複数存在することになる。そのため、実際はどのフォーカス位置にあっても画像のボケ成分が含まれることになるが、画像処理によってボケ成分を完全に取り除くことは困難であり、取り除いたとしても画質が劣化することになる。
【０００６】
また、特許文献２や特許文献３に提案されているようなカメラ装置では、複数の撮像素子やハーフミラーやプリズムのような高価な部品が必要となる。そのため、一組の光学系（レンズ）と撮像素子で構成された一般的なカメラ装置に比べて機器の製造コストが高くなる。
【０００７】
本発明は上記のような点に鑑みてなされたものであり、キャプチャ画像から同時に複数の部分画像を切り出し、画像サイズを変換して出力する際に、カメラパラメータ制御により各出力画像にピントを合わせられるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明による撮像システムは、撮像装置により取得される一つの画像から複数の部分画像を切り出し、それら切り出し画像の画像サイズを変換して出力画像とする撮像システムであって、前記各切り出し画像の合焦フォーカス位置、前記各切り出し画像の画像サイズ、前記各出力画像の画像サイズに基づいて、前記各出力画像上でのフォーカス位置に対する錯乱円径の最大値を表わす関数が最小の値となるフォーカス位置を全体の合焦フォーカス位置として算出する算出手段と、前記算出手段により算出された前記全体の合焦フォーカス位置に従ってフォーカス制御を行うフォーカス制御手段とを備えた点に特徴を有する。
本発明による撮像装置は、一つの画像から複数の部分画像を切り出し、それら切り出し画像の画像サイズを変換して出力画像とする撮像装置であって、前記各切り出し画像の合焦フォーカス位置、前記各切り出し画像の画像サイズ、前記各出力画像の画像サイズに基づいて、前記各出力画像上でのフォーカス位置に対する錯乱円径の最大値を表わす関数が最小の値となるフォーカス位置を全体の合焦フォーカス位置として算出する算出手段と、前記算出手段により算出された前記全体の合焦フォーカス位置に従ってフォーカス制御を行うフォーカス制御手段とを備えた点に特徴を有する。
本発明による撮像装置の制御方法は、一つの画像から複数の部分画像を切り出し、それら切り出し画像の画像サイズを変換して出力画像とする撮像装置の制御方法であって、前記各切り出し画像の合焦フォーカス位置、前記各切り出し画像の画像サイズ、前記各出力画像の画像サイズに基づいて、前記各出力画像上でのフォーカス位置に対する錯乱円径の最大値を表わす関数が最小の値となるフォーカス位置を全体の合焦フォーカス位置として算出する算出手順と、前記算出手順により算出された前記全体の合焦フォーカス位置に従ってフォーカス制御を行うフォーカス制御手順とを有する点に特徴を有する。
本発明によるプログラムは、一つの画像から複数の部分画像を切り出し、それら切り出し画像の画像サイズを変換して出力画像とする撮像装置を制御する手順をコンピュータに実行させるプログラムであって、前記各切り出し画像の合焦フォーカス位置、前記各切り出し画像の画像サイズ、前記各出力画像の画像サイズに基づいて、前記各出力画像上でのフォーカス位置に対する錯乱円径の最大値を表わす関数が最小の値となるフォーカス位置を全体の合焦フォーカス位置として算出する算出手順と、前記算出手順により算出された前記全体の合焦フォーカス位置に従ってフォーカス制御を行うフォーカス制御手順とをコンピュータに実行させる点に特徴を有する。
【発明の効果】
【０００９】
本発明によれば、キャプチャ画像から同時に複数の部分画像を切り出し、画像サイズを変換して出力する際に、カメラパラメータ制御により各出力画像にピントを合わせることができる。この場合、特殊なレンズや複数の撮像素子を必要とせず、一組の光学系（レンズ）と撮像素子で構成された一般的な撮像システムや撮像装置にカメラパラメータ算出アルゴリズムを追加するだけでよい。
【発明を実施するための最良の形態】
【００１０】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
まず、本発明を適用したカメラパラメータ制御の基本的な原理について説明する。図１は、キャプチャ画像から出力画像を得るまでの画像処理の過程を説明するための図である。図１の例では、キャプチャ画像１０から、まず、ユーザが指定した視野範囲１１ａ、１２ａ、１３ａに応じて、部分画像（切り出し画像）１１ｂ、１２ｂ、１３ｂが切り出される。各切り出し画像１１ｂ、１２ｂ、１３ｂは、アスペクト比は同じであるが、それぞれ画像サイズＮ1、Ｎ2、Ｎ3となっている。
【００１１】
次に、各切り出し画像１１ｂ、１２ｂ、１３ｂは、一定の画像サイズＮに変換されて出力画像１１ｃ、１２ｃ、１３ｃとして出力される。この画像サイズの変換には、基本的に線形補間法（bi-linear interpolation）や３次補完法（bi-cubic convolution）のように画質劣化の少ない変換方法が適用される。
【００１２】
ここで、キャプチャ画像１０上でのボケの大きさ（以下、錯乱円径とする）が画素位置によらず一様で、かつ、画像サイズの変換に伴う画像の劣化が無視できるものと仮定する。この場合、出力画像１１ｃ、１２ｃ、１３ｃ上での錯乱円径は、変換前の切り出し画像１１ｂ、１２ｂ、１３ｂの画像サイズに反比例して小さくなる。
【００１３】
図２は、各切り出し画像１１ｂ、１２ｂ、１３ｂ上でのフォーカス位置ｆに対する錯乱円の変化を表わす図である。２１、２２、２３はそれぞれ切り出し画像１１ｂ、１２ｂ、１３ｂにおける錯乱円の変化を表わしている。錯乱円径は、それぞれの合焦フォーカス位置Ｆ1、Ｆ2、Ｆ3において大きさが０で、フォーカス位置ｆに対して線形に変化する。したがって、フォーカス位置ｆに対する各切り出し画像１１ｂ、１２ｂ、１３ｂ上での錯乱円径Ｌ1(ｆ)、Ｌ2(ｆ)、Ｌ3(ｆ)は、定数ｋを用いて下式（１）で表される。ここで、ｋはキャプチャ画像１０上での合焦フォーカス位置Ｆ1、Ｆ2、Ｆ3からのずれに対する錯乱円径の変化の傾きを表わす定数である。
【００１４】
【数１】
0004709071.tif 000002
【００１５】
図３は、各出力画像１１ｃ、１２ｃ、１３ｃ上でのフォーカス位置ｆに対する錯乱円の変化を表わす図である。３１、３２、３３はそれぞれ出力画像１１ｃ、１２ｃ、１３ｃにおける錯乱円の変化を表わしている。各出力画像１１ｃ、１２ｃ、１３ｃは切り出し画像１１ｂ、１２ｂ、１３ｂの画像サイズに対してそれぞれＮ／Ｎ1倍、Ｎ／Ｎ2倍、Ｎ／Ｎ3倍にリサイズされている。したがって、フォーカス位置ｆに対する各出力画像１１ｃ、１２ｃ、１３ｃ上での錯乱円径Ｌ'1(ｆ)、Ｌ'2(ｆ)、Ｌ'3(ｆ)は、下式（２）で表される。
【００１６】
【数２】
0004709071.tif 000003
【００１７】
ここで、図８にも示すように、各出力画像１１ｃ、１２ｃ、１３ｃ上でのフォーカス位置ｆに対する錯乱円径の最大値を表わす関数Ｌ'max(ｆ)を考え、関数Ｌ'max(ｆ)が最小の値となるフォーカス位置をＦとする。図の例では、出力画像１１ｃ及び１３ｃ上での錯乱円径Ｌ'1(Ｆ)、Ｌ´3(Ｆ)がＬ'max(Ｆ)に等しくなっている。したがって、下式（３）が成立すると仮定すれば、式（１）、式（２）、式（３）から式（４）が導かれる。
【００１８】
【数３】
0004709071.tif 000004
【００１９】
【数４】
0004709071.tif 000005
【００２０】
図４は、絞り値の変更による錯乱円の変化を表わす図である。４１、４２、４３はそれぞれ絞り値変更後の出力画像１１ｃ、１２ｃ、１３ｃ上でのフォーカス位置ｆに対する錯乱円の変化を表わしている。絞り値（Ｆ値）を現在の絞り値ＩCからＩに変化させた場合、出力画像１１ｃ、１２ｃ、１３ｃ上での錯乱円径Ｌ" 1(ｆ)、Ｌ" 2(ｆ)、Ｌ" 3(ｆ)は式（５）に示すように絞り値に反比例して小さくなる。
【００２１】
【数５】
0004709071.tif 000006
【００２２】
錯乱円径が許容錯乱円径以下になれば、ピントが合ったとみなすことができる。そこで、各出力画像１１ｃ、１２ｃ、１３ｃ上でのフォーカス位置Ｆにおける錯乱円径の最大値Ｌ'max(Ｆ)が、出力画像１１ｃ、１２ｃ、１３ｃ上での許容錯乱円径δと等しくなる絞り値Ｉに変更する。これにより、なるべく絞り込まずに全ての出力画像１１ｃ、１２ｃ、１３ｃにピントを合わせることが可能になる。
【００２３】
ここで、式（１）の定数ｋもまた絞り値に反比例して変化する。したがって、定数ｋの場合の絞り値をＩk、出力画像１１ｃ、１２ｃ、１３ｃ上での許容錯乱円径δとすると、式（１）〜式（５）から、全ての出力画像１１ｃ、１２ｃ、１３ｃにピントを合わせることができる最小の絞り値Ｉを求めるための式（６）が導かれる。
【００２４】
【数６】
0004709071.tif 000007
【００２５】
式（４）及び式（６）によって算出される合焦フォーカス位置Ｆ及び絞り値Ｉにフォーカスや絞りを制御することによって、なるべく絞り込まずに全ての出力画像１１ｃ、１２ｃ、１３ｃにピントを合わせることが可能となる。特に被写界深度の深い光学系によってある程度距離のある被写体を捉える場合は、絞りを調整することなくフォーカス制御のみで全ての出力画像１１ｃ、１２ｃ、１３ｃにピントを合わせることも可能である。
【００２６】
また、式（４）及び式（６）で示したように、合焦フォーカス位置Ｆ及び絞り値Ｉは、予め必要な定数ｋ、Ｉk、δを求めておくことで、各切り出し画像１１ｂ、１２ｂ、１３ｂの合焦フォーカス位置及び画像サイズから容易に算出することが可能である。したがって、以上述べたカメラパラメータ制御手法は、一般的なカメラ装置やカメラシステムにカメラパラメータ算出アルゴリズムを追加するだけで適用することができる。
【００２７】
図５は、カメラ装置側でキャプチャ画像からの画像の切り出しとリサイズを行う場合のカメラシステムの内部構成を示す図である。カメラ装置１００において、１０１はカメラ部であり、ここでキャプチャ画像がキャプチャされる。１０２は画像処理部である。１０３は画像データを含む各種データを一時的に保持するためのメモリである。１０４は通信部であり、ネットワーク３００を経由してクライアント装置２００とのデータの送受信を行う。１０５はカメラ装置制御部であり、カメラ装置１００の内部状態やクライアント装置２００の接続状態を管理するとともに、カメラ装置１００各部の制御を行う。１０６はカメラパラメータ算出部であり、フォーカス、絞り、シャッタースピード、ゲイン等のカメラパラメータを算出する。
【００２８】
カメラ部１０１は、光学系１０７、撮像素子１０８、キャプチャ部１０９を含んで構成される。また、画像処理部１０２は、キャプチャ画像中の指定された部分の切り出しを行う切り出し処理部１１０、画像のリサイズ又はリサンプルを行うリサイズ処理部１１１、クライアント装置２００に送信するデータ量を圧縮するために画像データの符号化を行う符号化処理部１１２を含んで構成される。ここで、クライアント装置２００に配信される画像データは、静止画でも動画でもよく、静止画の場合はJPEGやJPEG2000、動画の場合はMPEG2やMPEG4等のコーデックによる符号化が符号化処理部１１２によって行われる。
【００２９】
クライアント装置２００において、２０１はユーザインタフェース部である。２０２は画像処理部である。２０３は画像データを含む各種データを一時的に保持するためのメモリである。２０４は通信部であり、ネットワーク３００を経由してカメラ装置１００とのデータの送受信を行う。２０５はクライアント装置制御部であり、クライアント装置２００の内部状態を管理するとともに、クライアント装置２００各部の制御を行う。
【００３０】
ユーザインタフェース部２０１は、出力画像を表示する画像表示部２０７、ユーザによる視線方向の入力を受け付けたり、現在カメラ装置側で設定されている視線方向を示したりする視線方向設定部２０８、ユーザによる画角の入力を受け付けたり、現在カメラ装置１００側で設定されている画角を示したりする画角設定部２０９を含んで構成される。また、画像処理部２０２は、カメラ装置１００から受信した画像データを復号する復号化処理部２１０を含んで構成される。
【００３１】
なお、カメラ装置１００側の画像処理部１０２及びクライアント装置２００側の画像処理部２０２を構成する各処理部は、専用のチップでも、ＣＰＵやＤＳＰによるソフトウェア処理でもよく、各処理部が必ずしも互いに独立していなくてもよい。
【００３２】
また、図５に示したカメラシステムでは、リサイズ処理部１１１はカメラ装置１００側だけにあり、クライアント装置２００に配信された画像は、そのままの画像サイズで出力画像として画像表示部２０７に出力される。クライアント装置２００側で受信した画像の画像サイズを変更する場合は、クライアント装置２００側にリサイズ処理部を備えることで、カメラ装置１００側のリサイズ処理部１１１を省略することができる。
【００３３】
図６は、本実施形態に係るカメラシステムにおいて視野範囲の変更を行ったときの処理動作を説明するためのフローチャートである。クライアント装置２００において、ユーザにより視線方向設定部２０８によって視線方向の変更が入力されたり、画角設定部２０９によって画角の変更が入力されたりすると（ステップＳ６０１）、クライアント装置制御部２０５は、通信部２０４を介して、視線方向又は画角の変更要求をカメラ装置１００に通知する（ステップＳ６０２）。
【００３４】
カメラ装置１００において、カメラ装置制御部１０５は、ステップＳ６０２で通知された視線方向又は画角の変更要求を受け付けると、変更後の各切り出し画像における合焦フォーカス位置の取得を行う（ステップＳ６０３）。ステップＳ６０３で取得される各切り出し画像の合焦フォーカス位置は、基本的にはカメラ部１０１が備えるオートフォーカス機能や、距離画像センサ等の外部装置によって取得された切り出し範囲における撮影対象のフォーカス位置を指す。ただし、ステップＳ６０１で視線方向や画角に加えてフォーカス位置が予め登録されたプリセットの選択によって行われる場合には、プリセットに含まれるフォーカス位置としてもよい。
【００３５】
ステップＳ６０３で各切り出し画像の合焦フォーカス位置が取得されると、カメラパラメータ算出部１０６は、式（４）及び式（６）で示した算出式を用いて、全体の合焦フォーカス位置Ｆとともに全ての出力画像にピントが合う最小の絞り値Ｉを算出する（ステップＳ６０４）。
【００３６】
ここで、現在の絞り値Ｉｃ及びフォーカス位置Ｆにおける出力画像上での錯乱円径の最大値Ｌ'max(Ｆ)が、出力画像上での許容錯乱円径δ以下であるかどうかを判定する（ステップＳ６０５）。錯乱円径の最大値Ｌ'max(Ｆ)が、出力画像上での許容錯乱円径δ以下となる場合は、Ｉ＜Ｉｃとなるので、絞りを開けることが可能になる。また、錯乱円径の最大値Ｌ'max(Ｆ)が、出力画像上での許容錯乱円径δより大きくなる場合は、Ｉ＞Ｉｃとなるので、絞りを絞る必要がある。本実施形態に係るシステムでは、常に絞り値ができるだけ小さくなるように絞りを制御するので、Ｌ'max(Ｆ)≦δの場合は絞り値を小さくし、Ｌ'max(Ｆ)＞δの場合は絞り値を大きくして、絞り値をＩに設定する（ステップＳ６０９）。
【００３７】
但し、設定可能な絞り値の下限をＩmin、上限をＩmaxとすると、Ｉ＜Ｉmin又はＩ＞Ｉmaxの場合は、絞り値をＩに設定することができないので、それぞれＩmin、Ｉmaxに設定する（ステップＳ６０８、Ｓ６１０）。絞り値をＩmaxに設定した場合は、Ｌ'max(Ｆ)≧δとなるため、一部の出力画像ではピントが若干ずれることになる。
【００３８】
ステップＳ６０８〜Ｓ６１０で絞り値を変更すると、各出力画像が適正露出から外れる場合がある。そこで、カメラパラメータ算出部１０６は、適当なシャッタースピードやゲインを算出し、シャッタースピードやゲインを調整して適正露出を維持する（ステップＳ６１１）。
【００３９】
そして、切り出し範囲をステップＳ６０２で要求された視線方向や画角を満たす位置に変更する（ステップＳ６１２）とともに、フォーカス位置をステップＳ６０４で算出された全体の合焦フォーカス位置Ｆに変更して（ステップＳ６１３）、処理を終了する。
【００４０】
図７は、本実施形態に係るカメラシステムにおいて被写体の移動等によってある切り出し範囲における合焦フォーカス位置が変化したときの処理動作を説明するための動作フローチャートである。合焦フォーカス位置が変化したときも（ステップＳ７０１）、基本的な処理動作は図６のステップＳ６０３以降と同じであるが、切り出し範囲には変更がないのでステップＳ６１２は省略される。
【００４１】
図８及び図９は、図６のステップＳ６０４における全体の合焦フォーカス位置Ｆと全ての出力画像にピントが合う最小の絞り値Ｉの具体的な算出過程を表わす。
【００４２】
図８は、出力画像１１ｃ、１２ｃ、１３ｃ上での変更前の絞り値Ｉｃにおけるフォーカス位置ｆに対する錯乱円径Ｌ'1(ｆ)、Ｌ'2(ｆ)、Ｌ'3(ｆ)の最大値を表わす関数Ｌ'max(ｆ)を表わしている。図の例では、Ｌ'max(ｆ)が最小になるのはＬ'1(ｆ)とＬ´3(ｆ)が交差する点８００なので、全体の合焦フォーカス位置Ｆは点８００におけるフォーカス位置になる。また、図８の状態では、Ｌ'max(Ｆ)が出力画像上での許容錯乱円径δよりも大きくなっているため、絞りを絞って錯乱円径を小さくする必要がある。
【００４３】
図９は、出力画像１１ｃ、１２ｃ、１３ｃ上での変更後の絞り値Ｉにおけるフォーカス位置ｆに対する錯乱円径Ｌ" 1(ｆ)、Ｌ" 2(ｆ)、Ｌ" 3(ｆ)の最大値を表わす関数Ｌ"max(ｆ)を表わしている。Ｌ'max(ｆ)とＬ"max(ｆ)の間には、式（５）の関係が成り立つので、絞り値をＩに変更するとＬ'1(ｆ)とＬ´3(ｆ)が交差する点８００は、フォーカス位置がそのままでＬ" 1(ｆ)とＬ" 3(ｆ)が交差する点９００となる。このとき、δ＝Ｌ"max(Ｆ)となることから、式（６）が導かれて、絞り値Ｉが算出できることになる。
【００４４】
図１０は、出力画像上での許容錯乱円径に対して出力画像の画素間隔が大きい場合に、全体の合焦フォーカス位置Ｆ及び全ての出力画像にピントが合う最小の絞り値Ｉの算出に用いる許容錯乱円径δをどのように決定するかを説明するための図である。
【００４５】
出力画像上での画素間隔をδＰ、出力画像上での画素間隔による解像度の低下を考慮しない場合の許容錯乱円径をδＬとする。許容錯乱円径δＬが画素間隔δＰよりも大きい場合（図１０（ａ））は、錯乱円径がδＬに近くなった場合でもピントのずれを判別することが可能である。しかしながら、許容錯乱円径δＬが画素間隔δＰよりも小さい場合（図１０（ｂ））は、錯乱円径が画素間隔δＰ未満になるとピントのずれを判別することが不可能になってしまう。
【００４６】
そこで、本実施形態では、全体の合焦フォーカス位置Ｆ及び全ての出力画像にピントが合う最小の絞り値Ｉの算出に用いるδは、δＬ≧δＰの場合はδ＝δＬ、δＬ＜δＰの場合はδ＝δＰとする。
【００４７】
また、切り出し画像から出力画像を得る際のリサイズ処理において拡大が行われる場合は、切り出し画像の画素間隔による解像度の低下が発生する可能性もある。切り出し画像上での画素間隔をδ'Ｐ、切り出し画像上での画素間隔による解像度の低下を考慮しない場合の許容錯乱円径をδ'Ｌ、切り出し画像及び出力画像の画像サイズをそれぞれＮｉ、Ｎとする。δＬ≧δＰの場合はδＬ＝Ｎ・δ'Ｌ／Ｎｉ、δＬ＜δＰの場合はδＬ＝Ｎ・δ'Ｐ／Ｎｉとして、切り出し画像の画素間隔による解像度の低下に伴う算出誤差を排除する。
【００４８】
（第２の実施形態）
上記第１の実施形態では、キャプチャ画像上での錯乱円径が画素位置によらず一様であるとみなせる場合を説明したが、第２の実施形態では、キャプチャ画像上での錯乱円径が画素位置によって変化する場合を説明する。なお、以下では第１の実施形態と異なる点について中心に説明し、共通する点についての詳細な説明は省略する。
【００４９】
図１１は、キャプチャ画像上での錯乱円の画素位置による違いを表わす図である。キャプチャ画像上での錯乱円は、光学系の特性により、通常は画像の中心部と周辺部で形状や大きさが異なる。また、魚眼レンズ等の歪みの大きい光学系を使用して、歪補正処理をかけた上でキャプチャ画像を取得するようなカメラシステムでは、光学系の特性上は画素位置によらず一様な錯乱円が描かれる場合でも、歪補正処理によって錯乱円の形状や大きさが画素位置によって異なることになる。
【００５０】
図の例では、キャプチャ画像の中心部の座標（Ｘ1，Ｙ1）における錯乱円１１０１は真円になっており、中心から外れた座標（Ｘ2，Ｙ2）における錯乱円１１０２は楕円になっている。錯乱円が楕円の場合は錯乱円径を長径とし、切り出し画像における錯乱円径の算出基準位置を中心座標とし、座標（ｘ，ｙ）、絞り値Ｉｋにおける単位フォーカス量当たりの錯乱円径の増分をＫ（ｘ，ｙ）で表わすものと仮定する。この場合、単位フォーカス量当たりの錯乱円径の増分は、中心座標が（Ｘ1，Ｙ1）の切り出し画像１１０３の場合はＫ（Ｘ1，Ｙ1）、中心座標が（Ｘ2，Ｙ2）の切り出し画像１１０４の場合はＫ（Ｘ2，Ｙ2）となる。ここで、切り出し画像における錯乱円径の算出基準位置については、中心座標以外に、切り出し範囲内で錯乱円径が最大となる座標や、各切り出し画像における測距点に対応する座標としても良い。
【００５１】
上記の関係を用いると、フォーカス位置ｆに対する切り出し画像ｉ上での錯乱円径Ｌｉ(ｆ)は式（７）で表される。また、フォーカス位置ｆに対する出力画像ｉ上での錯乱円径Ｌｉ'(ｆ)は式（８）で表される。したがって、式（７）、式（８）、及び式（３）を一般化した式（９）から、全体の合焦フォーカス位置Ｆの算出式として式（１０）が導き出される。
【００５２】
【数７】
0004709071.tif 000008
【００５３】
【数８】
0004709071.tif 000009
【００５４】
【数９】
0004709071.tif 000010
【００５５】
【数１０】
0004709071.tif 000011
【００５６】
また、式（７）〜式（１０）及び式（５）を一般化した式（１１）から、全ての出力画像にピントを合わせることができる最小の絞り値Ｉを求めるための式（１２）が導き出される。
【００５７】
【数１１】
0004709071.tif 000012
【００５８】
【数１２】
0004709071.tif 000013
【００５９】
式（１０）及び式（１２）を用いれば、キャプチャ画像上での錯乱円径が画素位置によって異なる場合でも、予めＫ（ｘ，ｙ）を取得しておくことにより、各切り出し画像の合焦フォーカス位置及び切り出し画像の画像サイズから、全体の合焦フォーカス位置Ｆ及び全ての出力画像に対してピントが合う最小の絞り値Ｉを算出することができる。
【００６０】
図１２は、本実施形態に係るカメラシステムにおいて視野範囲の変更を行ったときの処理動作を説明するためのフローチャートである。基本的には、上記第１の実施形態において図６で説明したものと同様の処理が行われる。ただし、全体の合焦フォーカス位置Ｆ及び全ての出力画像に対してピントが合う最小の絞り値Ｉを算出するステップＳ６０４の直前に、各切り出し画像における単位フォーカス量当たりの錯乱円径の増分Ｋ（ｘi，ｙi）の算出を行う（ステップＳ１２０１）。
【００６１】
（第３の実施形態）
第３の実施形態では、クライアント装置側でキャプチャ画像からの部分画像の切り出しとリサイズを行う場合を説明する。なお、以下では第１の実施形態と異なる点について中心に説明し、共通する点についての詳細な説明は省略する。
【００６２】
図１３は、クライアント装置側でキャプチャ画像からの部分画像の切り出しとリサイズを行う場合のカメラシステムの内部構成を示す図である。上記第１の実施形態において図６で説明したものと異なるのは、カメラ装置１００側の画像処理部１０２にあったリサイズ処理部１１１と切り出し処理部１１０がなくなり、クライアント装置２００側の画像処理部２０２にリサイズ処理部２１１と切り出し処理部２１２が追加された点である。全体の合焦フォーカス位置Ｆ及び全ての出力画像に対してピントが合う最小の絞り値Ｉを算出するカメラパラメータ算出部１０６は、同様にカメラ装置１００側にある。
【００６３】
図１４は、本実施形態に係るカメラシステムにおいて視野範囲の変更を行ったときの処理動作を説明するためのフローチャートである。基本的には、上記第１の実施形態において図６で説明したものと同様の処理が行われる。ただし、切り出し処理がクライアント装置２００側で行われる。すなわち、視線方向又は画角の変更が入力された（ステップＳ６０１）直後に、画像の切り出し範囲の変更が行われ（ステップＳ１４０１）、切り出し範囲変更後の視線方向又は画角の変更要求をカメラ装置１００に通知する（ステップＳ６０２）。また、ステップＳ１４０１で画像の切り出し範囲の変更が行われているため、ステップＳ６１２は省略される。
【００６４】
なお、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００６５】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６６】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００６７】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００６９】
【図１】キャプチャ画像から出力画像を得るまでの画像処理の過程を説明するための図である。
【図２】各切り出し画像上でのフォーカス位置に対する錯乱円の変化を表わす図である。
【図３】各出力画像上でのフォーカス位置に対する錯乱円の変化を表わす図である。
【図４】絞り値の変更による錯乱円の変化を表わす図である。
【図５】第１の実施形態に係るカメラシステムの内部構成を示す図である。
【図６】第１の実施形態に係るカメラシステムにおいて視野範囲の変更を行ったときの処理動作を説明するためのフローチャートである。
【図７】第１の実施形態に係るカメラシステムにおいて被写体の移動等によってある切り出し範囲における合焦フォーカス位置が変化したときの処理動作を説明するための動作フローチャートである。
【図８】出力画像上での変更前の絞り値Ｉｃにおけるフォーカス位置ｆに対する錯乱円径Ｌ'1(ｆ)、Ｌ'2(ｆ)、Ｌ'3(ｆ)の最大値を表わす関数Ｌ'max(ｆ)を表わす図である。
【図９】出力画像上での変更後の絞り値Ｉにおけるフォーカス位置ｆに対する錯乱円径Ｌ" 1(ｆ)、Ｌ" 2(ｆ)、Ｌ" 3(ｆ)の最大値を表わす関数Ｌ"max(ｆ)を表わす図である。
【図１０】出力画像上での許容錯乱円径に対して出力画像の画素間隔が大きい場合に、許容錯乱円径δをどのように決定するかを説明するための図である。
【図１１】キャプチャ画像上での錯乱円の画素位置による違いを表わす図である。
【図１２】第２の実施形態に係るカメラシステムにおいて視野範囲の変更を行ったときの処理動作を説明するためのフローチャートである。
【図１３】第３の実施形態に係るカメラシステムの内部構成を示す図である。
【図１４】第３の実施形態に係るカメラシステムにおいて視野範囲の変更を行ったときの処理動作を説明するためのフローチャートである。
【符号の説明】
【００７０】
１００    カメラ装置
１０１    カメラ部
１０２    画像処理部
１０３    メモリ
１０４    通信部
１０５    カメラ装置制御部
１０６    カメラパラメータ算出部
１０７    光学系
１０８    撮像素子
１０９    キャプチャ部
１１０    切り出し処理部
１１１    リサイズ処理部
１１２    符号化処理部
２００    クライアント装置
２０１    ユーザインタフェース部
２０２    画像処理部
２０３    メモリ
２０４    通信部
２０５    クライアント装置制御部
２０７    画像表示部
２０８    視線方向設定部
２０９    画角設定部
２１０    復号化処理部
２１１    リサイズ処理部
２１２    切り出し処理部
【図１】
0004709071.tif 000014
【図２】
0004709071.tif 000015
【図３】
0004709071.tif 000016
【図４】
0004709071.tif 000017
【図５】
0004709071.tif 000018
【図６】
0004709071.tif 000019
【図７】
0004709071.tif 000020
【図８】
0004709071.tif 000021
【図９】
0004709071.tif 000022
【図１０】
0004709071.tif 000023
【図１１】
0004709071.tif 000024
【図１２】
0004709071.tif 000025
【図１３】
0004709071.tif 000026
【図１４】
0004709071.tif 000027