(57)【特許請求の範囲】
【請求項１】
動画像を外部の配信先に配信するネットワーク通信手段を有する撮像装置であって、
レンズと、
撮像手段と、
夫々が異なる配信先に配信される複数の画像エリア毎の焦点位置に応じて前記レンズの焦点位置を制御する焦点位置制御手段と、
前記レンズの焦点位置が前記複数の画像エリア毎の焦点位置に応じた位置の夫々にあるときに前記撮像手段により撮像された画像から、前記複数の画像エリアの夫々に対応する画像を抽出し、前記複数の画像エリア毎の動画像を構成する動画像構成手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記焦点位置制御手段が、前記複数の画像エリアの焦点位置の内、一番近い距離を示す焦点位置と、一番遠い距離を示す焦点位置と、の間で、前記レンズの焦点位置を制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記動画像構成手段は、前記複数の画像エリアの焦点位置の内、焦点位置が最も近い位置関係にある２つの画像エリアに対応する焦点位置間の中間位置に前記レンズの焦点位置があるときに前記撮像手段により撮像された画像から、前記２つの画像エリアの夫々に対応する画像を抽出することを特徴とする請求項１に記載の撮像装置。
【請求項４】
レンズと、撮像手段と、動画像を外部の配信先に配信するネットワーク通信手段と、を有する撮像装置における撮像方法であって、
夫々が異なる配信先に配信される複数の画像エリア毎の焦点位置に応じて前記レンズの焦点位置を制御する焦点位置制御ステップと、
前記レンズの焦点位置が前記複数の画像エリア毎の焦点位置に応じた位置の夫々にあるときに前記撮像手段により撮像された画像から、前記複数の画像エリアの夫々に対応する画像を抽出し、前記複数の画像エリア毎の動画像を構成する動画像構成ステップと、
を有することを特徴とする撮像方法。
【請求項５】
前記焦点位置制御ステップでは、前記複数の画像エリアの焦点位置の内、一番近い距離を示す焦点位置と、一番遠い距離を示す焦点位置と、の間で、前記レンズの焦点位置を制御することを特徴とする請求項４に記載の撮像方法。
【請求項６】
前記動画像構成ステップでは、前記複数の画像エリアの焦点位置の内、焦点位置が最も近い位置関係にある２つの画像エリアに対応する焦点位置間の中間位置に前記レンズの焦点位置があるときに前記撮像手段により撮像された画像から、前記２つの画像エリアの夫々に対応する画像を抽出することを特徴とする請求項４に記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、及び撮像方法に関する。
【背景技術】
【０００２】
従来、動画像のオートフォーカスを最適化する仕組みとして、動画像のフレームレートに合わせてレンズの焦点位置を可変し１番合焦していると判断した画像を抜き取り、動画像を構成するものがある（例えば、特許文献１参照。）。
【０００３】
また、ネットワークを有するカメラでは、複数の焦点位置で撮影した画像の内最も焦点が合っている画像を選択し送信するようなものがある（例えば、特許文献２参照。）。
【０００４】
【特許文献１】特許第３０９９８９３号公報
【特許文献２】特開２００４−２０１００７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来例では、１つの動画像を最適化するオートフォーカスに対応することしか考慮されていなかった。よって、ネットワークを介して画面内の複数のエリア画像を配信する場合、各々複数の配信先に対して、ピントの合っていない画像を配信することになってしまう問題があった。
【０００６】
本発明は前記の問題点に鑑みなされたもので、各々複数の配信先に対して、ピントの合った画像を配信することを目的とする。
【課題を解決するための手段】
【０００７】
そこで、前記問題を解決するため、本発明は、動画像を外部の配信先に配信するネットワーク通信手段を有する撮像装置であって、レンズと、撮像手段と、夫々が異なる配信先に配信される複数の画像エリア毎の焦点位置に応じて前記レンズの焦点位置を制御する焦点位置制御手段と、前記レンズの焦点位置が前記複数の画像エリア毎の焦点位置に応じた位置の夫々にあるときに前記撮像手段により撮像された画像から、前記複数の画像エリアの夫々に対応する画像を抽出し、前記複数の画像エリア毎の動画像を構成する動画像構成手段と、を有することを特徴とする。
【０００８】
係る構成とすることにより、レンズの焦点位置が複数の画像エリア毎の焦点位置に応じた位置の夫々にあるときに撮像された画像から、複数の画像エリアの夫々に対応する画像を抽出し、複数の画像エリア毎の動画像を構成するので、各々複数の配信先に対して、ピントの合った画像を配信することができる。
【０００９】
また、前記問題を解決するため、本発明は、撮像方法としてもよい。
【発明の効果】
【００１０】
本発明によれば、各々複数の配信先に対して、ピントの合った画像を配信することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について図面に基づいて説明する。
【００１２】
（第１の実施形態）
図１は、本実施形態における撮像装置の構成の一例を表すブロック図である。図１において、１は、撮像用主レンズである。２は、光電変換素子である撮像素子（撮像素子として特に限定はしないが、ＣＣＤ或いはＣＭＯＳセンサー等の撮像素子を示す）である。３は、１の撮像用主レンズの焦点位置を制御するレンズ焦点位置可変駆動部である。
【００１３】
４は、２の撮像素子であるＣＣＤ或いはＣＭＯＳセンサーからのアナログ撮像データを所定の量子化ビットに対応してデジタル変換するためのＡ／Ｄ変換を司るＡ／Ｄ変換部である。
【００１４】
５は、４のＡ／Ｄ変換部においてＡ／Ｄ変換されたデジタル撮像データの内、所定の画面エリアに対応する所定の高周波数成分より、オートフォーカスに適応する評価値を生成するＡＦ（オートフォーカス）評価値処理部である。
【００１５】
６は、４のＡ／Ｄ変換部においてＡ／Ｄ変換されたデジタル撮像データの現像処理を行なう画像処理部である。７は、６の画像処理部にて画像処理されたデータを所定のフォーマットに応じて圧縮処理するためのエンコード処理部である。なお、画像フォーマットはＪＰＥＧ、ＭＰＥＧ等規格に準拠したフォーマットであるため、特に限定はしないが本実施例ではＪＰＥＧエンコーダで説明する。
【００１６】
８は、１〜８の各ブロックにおいて処理された動画像を外部へ配信或いは通信或いは、本撮像装置を外部より通信遠隔操作するためのネットワーク通信部である。なお、物理的な接続形態は、有線だけではなく無線の場合もあるため、プロトコル的に接続されていれば、物理的な形態にこだわるものではない。９は、１〜８の各ブロックを制御するＣＰＵを含むコントローラである。
【００１７】
図２は、図１に示した画像処理部６の詳細構成を表すブロック図である。図２において、１１は、図１のＡ／Ｄ変換部４によりデジタル化されたデータに、画像のフィルタリング処理、輝度、色差等の補正処理を施し画像として最適化するための現像処理部である。なお、処理内容の詳細は公知技術であり、各メーカ等での画像の考え方等により処理内容が異なるため、本明細書では説明の詳細は省略する。
【００１８】
１２は、現像処理部１１において処理した画像データを一次的にバッファするためのメモリである。１３は、メモリ１２にバッファされたデータを図１のコントローラ９におけるコントローラ制御により、外部配信するストリームの要求するエリアにあわせて画像を抜き出す画像切り出し処理部である。
【００１９】
１４は、画像切り出し処理部１３により切り出した画像をコントローラ９におけるコントローラ制御により、外部配信先（クライアント）毎の要求する画像解像度に変換する解像度変換部である。１５は、解像度変換部１４において配信先毎の要求する画像解像度に解像度変換した画像を一時的にバッファするためのメモリである（外部配信先毎に動画像対応するため、動画像を構成する画像単位にエリアを分けて記憶する）。
【００２０】
上記の構成において本実施形態では図１のネットワーク通信部８を介して外部のクライアントへ配信する画像データのストリーム本数を４本とした場合を例に取り、以下、処理の流れを説明する。
【００２１】
図３は、本実施形態における撮像装置の処理の一例を示すフローチャートである。最初に図１のコントローラ９は、電源が投入されると、ステップ１０１において図３に示される処理を開始する。
【００２２】
ステップ１０２において、図１のコントローラ９は、図１の撮像用主レンズ１と、図１の撮像素子２との焦点位置を、図１のレンズ焦点位置駆動部３において予め設定されてある初期位置にレンズを移動させる。なお、本実施形態においては無限遠に焦点が合う位置を初期位置として説明を行うが、このことは本発明の実施を限定するものではない。
【００２３】
次にステップ１０３において、図１のコントローラ９は、図１の撮像素子２の撮像フレームレート（画像フレームレート）の設定を行なう。次にステップ１０４において、図１のコントローラ９は、図１のＡ／Ｄ変換部４のＡ／Ｄ精度設定を行なう。なお、本実施形態においてはＲＧＢ各１２ｂｉｔを設定するものとして説明を行うが、このことは本発明の実施を制限するものではない。
【００２４】
次にステップ１０５において、図１のコントローラ９は、エンコーダフォーマット設定を実行する。本実施形態ではＪＰＥＧとする。
【００２５】
次にステップ１０６において、図１のコントローラ９は、現像処理部１１の現像用パラメータの設定を行なう（ここでは、ＲＧＢ入力された画像データをＹＣｂＣｒフォーマットに変換し各種画像の最適化処理に対応する設定を行なう。）。
【００２６】
以上のステップ１０１からステップ１０６までの処理は、図１のコントローラ９から、各処理ブロックに対して予め設定されてある初期化用の設定値を設定する動作である。
【００２７】
上記初期化した状態から、ステップ１０７において、図１のネットワーク通信部８は、外部のクライアント毎の切り出しエリアを、図１のコントローラ９に設定をする。初期のエリアは外部の各クライアントによって指定されていないため、予め設定されてある画像エリアと、切り出すサイズとに設定するものとする。なお、本実施形態では、予め設定されてある画像エリアは、全画面で、予め設定されてある切り出すサイズは中心位置として説明を行うが、このことは本発明の実施を限定するものではない。
【００２８】
続いてステップ１０８において、図１のコントローラ９は、図１の撮像素子２を制御することで、撮像を行なう。続いてステップ１０９において、図１のコントローラ９は、外部配信するストリームの本数を設定する。本実施形態において外部配信する設定を４ストリームとしているため、ここでは４に設定する。
【００２９】
４つのクライアント共に初期の設定値が、画像エリアは全画面で、切り出すサイズが中心位置の場合、図４に示すような画像となる。図４は、初期設定時の各クライアントに対応した撮像１画面内の切り出し位置を表す図である。
【００３０】
再び、図３の説明に戻り、ステップ１１０において、図１のコントローラ９は、図１のレンズ焦点位置可変駆動部３を制御して、図１の撮像用主レンズ１の初期の焦点位置可変（レンズスキャン）を開始する。コントローラ９は、この動作をＡＦ１シーケンスとし動作を実行する。初期のスキャンする範囲は、被写体が存在する最至近端〜最無限端の位置に相当する。レンズ焦点位置可変を行ないながら、図４のｅのエリアに対応する中心位置のＡＦ評価値を図１のＡＦ評価値処理部５において出力する。
【００３１】
出力レベルは図５に示す図で、４つのクライアントに対しても、同一の測距値となり、同一のフレーム画面が選択される。図５は、初期設定時の撮像用主レンズと、撮像素子との焦点位置に対応するＡＦに使用するコントラストの評価値出力の一例を示す図である。
【００３２】
再び、図３の説明に戻り、ステップ１１１において、コントローラ９は、図１の撮像用主レンズ１の被写界深度で合焦位置がカバー出来る範囲を設定する。ここで、ＡＦのレンズスキャンする範囲は、図５のＷ２の範囲である。
【００３３】
再び、図３の説明に戻り、ステップ１１２において、図１のコントローラ９は、ステップ１１１において設定した範囲をスキャンし続ける。図１のコントローラ９は、この動作をＡＦ２シーケンスとし動作を実行する。
【００３４】
次にステップ１１３において、図１のコントローラ９は、外部のクライアントよりネットワーク要求があったか否かを判定する。外部のクライアントよりネットワーク要求が無い場合は、図１のコントローラ９は、次のステップステップ１１４へ移行する。
【００３５】
外部のクライアントよりネットワークを介して、画像を選択するエリア（選択エリア）と、必要な解像度の変更（要求解像度）との要求があった場合は、図１のコントローラ９は、再び、ステップ１０７へ進み、切り出しエリアの設定変更を行なう。
【００３６】
ステップ１１４において、図１のコントローラ９は、撮像された画像を、図２の現像処理部１１において、現像処理を行わせ、図２のメモリ１２へ、順次処理した順に記憶して行く。
【００３７】
ステップ１１５において、図１のコントローラ９は、図２の画像切り出し処理部１３において、ステップ１０７において設定した切り出し範囲に基づいて、図２のメモリ１２より画像データを抜き出すよう制御する。そして、図１のコントローラ９は、図２の解像度変換部１４において、外部配信ストリーム毎の解像度にあわせて解像度変換処理を行なうよう制御する。ここで、解像度変換は、選択エリアと、要求解像度との関係で、図１の撮像素子２の解像度から画像を拡大又は縮小する処理である。図１のコントローラ９は、解像度変換した画像データを、処理した順に、各外部配信ストリーム先に応じて、図２のメモリ１５のメモリーエリアへ記憶する。
【００３８】
次にステップ１１６において、図１のコントローラ９は、図２のメモリ１５に記憶されている画像データを、図１のエンコード処理部７においてエンコード処理（ここではＪＰＥＧ処理）するよう制御する。次にステップ１１７において、図１のコントローラ９は、図１のネットワーク通信部８において上記初期状態において設定した画像を、そのまま４つのクライアントに対応する画像毎に切り換え、配信するよう制御する。
【００３９】
ここまでが初期動作を説明しており、ＡＦのレンズスキャンする範囲は、図５のＷ２の範囲、つまりレンズの被写界深度で合焦位置がカバー出来る範囲をスキャンし続ける。
【００４０】
なお、ＡＦの評価値に係る、主被写体を撮像した画像のコントラスト成分（所定の空間周波数に対応する値）の内容については、公知の技術であるコントラスト検出ピークスキャン方式を利用すればよいため、ここでは、この方式の説明は省略する。
【００４１】
ステップ１１９において、図１のコントローラ９は、図１のネットワーク通信部８を介して、外部の４つのクライアントに対応した通信コマンドを受信し、切り出しエリアと、ＡＦの測距するエリアとの変更コマンドを受信したと判定すると、ステップ１１０へ戻る。すると、図１のコントローラ９は、図１の撮像用主レンズ１の位置を制御し、図１のレンズ焦点位置可変駆動部３において第１回目の焦点位置可変（レンズスキャン）を開始する。第１回目のスキャンする範囲は、被写体が存在する最至近端〜最無限端の位置に相当する。
【００４２】
次に、ストリーム数が予め４つに設定されているときに、ストリーム毎の複数外部配信先より、図１のネットワーク通信部８に、各々の配信先の要求に対応した撮像エリアの画像を１画面として切り出すよう要求があった場合の処理を説明する。
【００４３】
図６は、本実施形態における各クライアントに対応した撮像１画面内の切り出し位置を表す図である。図６において、各配信先の見たいエリア毎に切り出すエリアを枠で囲んで示しており、４ヶ所へのストリームとして図６の（１）、（２）、（３）、（４）のエリアが各々指定された状態を示している。つまり、ストリーム毎に各々が画面内の必要切り出しエリアを設定することが出来る仕組みである。
【００４４】
この時、図６の（１）のエリア内において切り出しする枠内のａが、図１のＡＦ評価処理部５において、ＡＦの評価値を算出する際に用いられるエリアである。同様に（２）のエリアではｂ、（３）のエリアではｃ、（４）のエリアではｄが、図１のＡＦ評価処理部５において、ＡＦ評価値を算出する際に用いられるエリアである。
【００４５】
ＡＦの評価値を算出する際に用いられるエリアと、画像配信用に切り出すエリアとの関係は、
ＡＦ評価値エリア  ＜＝  画像切り出しエリア
の関係にある。
【００４６】
焦点位置の可変に応じて図６の切り出しエリア毎に対応した図１のＡＦ評価値処理部５のレベル出力が、図７に示すように出力される。図７は、本実施形態における撮像用主レンズと、撮像素子との焦点位置に対応するＡＦに使用するコントラストの評価値出力の一例を示す図である。
図６の（１）のａに対応する評価値が、図７のＬ１に対応する評価値
図６の（２）のｂに対応する評価値が、図７のＬ２に対応する評価値
図６の（３）のｃに対応する評価値が、図７のＬ３に対応する評価値
図６の（３）のｄに対応する評価値が、図７のＬ４に対応する評価値
として出力される。
【００４７】
図３のステップ１１１において図１のコントローラ９は、上記ステップ１１０でＡＦ１シーケンス動作し、ＡＦ評価値を検出後、各画像切り出しに対応した測距エリアのＡＦ測距値の一番遠い距離に焦点がある位置と、一番近い距離に焦点がある位置とを選択する。
【００４８】
続いて図３のステップＳ１１２での、第２回目以降のＡＦ２動作は、前記ＡＦ測距値の一番遠い距離に焦点がある位置と、一番近い距離に焦点が有る位置との間を図１のレンズ焦点位置可変駆動部３において、焦点位置可変（レンズスキャン）する動作である。つまり、図７に示すＬ１と、Ｌ４とに対応する位置（マルチ切り出しスキャン範囲）をスキャンする。以降は、上述したステップ１１３〜ステップ１１７の処理動作を行なう。
【００４９】
ステップ１１８において、図１のコントローラ９は、ステップ１１０のＡＦ１処理後予め設定している所定時間経過したか否かを判断し、所定時間経過したと判断すると、ステップ１１０のステップへ再度戻る。ステップ１１８において、図１のコントローラ９は、所定時間経過していないと判断すると、ステップ１１９へ進む。
【００５０】
ステップ１１９において、図１のコントローラ９は、外部配信先から本撮像装置の終了要求コマンドを受信したか否かを判断し、終了コマンドを受信したと判断すると、ステップ１２０のＥＮＤステートで図３に示す処理を終了する。終了コマンドを受信していないと判断した場合は、図１のコントローラ９は、ステップ１１０へ戻る。
【００５１】
ここまでの処理の内で、第１実施形態に関する詳細処理の流れを図８のタイミングチャートに示す。図８は、本実施形態の処理タイミングチャートである。
【００５２】
図８に示すタイミングチャートの上から信号順に、
撮像のフレーム同期信号であるＶＤ信号タイミング、
図１のＡ／Ｄ変換部４の処理タイミング、
図１のＡＦ評価値処理部５において評価値算出するタイミング、
図１の画像処理部６において画像を最適化する画像処理タイミング、
図１の画像処理部６において画像処理された画像を外部クライアント要求に応じて画像エリアを切り出す、切り出し処理タイミング、
図１の画像処理部６において切り出し処理した画像を外部クライアント要求の解像度に画像を合わせるための解像度変換処理タイミング、
図１のエンコード処理部７においてエンコード処理するエンコード処理タイミング、
外部通信タイミング、
図１のレンズ焦点位置可変駆動部３を制御するＥＮ０信号のＥＮ０信号タイミング、
図１のレンズ焦点位置可変駆動部３を制御するＥＮ１信号のＥＮ１信号タイミング、
図１のコントローラ９により図１のネットワーク通信部８にどの画像を通信させるのかをコントロールするための切り換え信号の外部通信セレクト４〜外部通信セレクト１信号タイミング
である。
【００５３】
ここで、図９は、本実施形態における撮像フレームレートと、各クライアントに対応した画像切り出しエリア数とに対応する画像の割り当てを説明する図である。
【００５４】
図７において、Ｌ１の焦点位置から、Ｌ４の焦点位置までは、動画像を構成するフレームレートに対応する期間以内で焦点位置を可変（スキャン）させる時に、図１のコントローラ９は、図８のＥＮ０信号をレンズ焦点位置可変駆動部３に出力する。このことで、焦点位置を遠側から近側に可変させる。
【００５５】
この間に、撮像装置は、ＡＦ測距評価を１フレーム単位で図８に示すようなタイミングで順次処理するのと同時に、画像の撮像を１フレーム単位で画像処理を複数回行なう。
【００５６】
その中で、図１の画像処理部６は、各切り出しエリアのＡＦ評価値のピークに一番近い画像を抜き出し、抜き出した順に画像処理を行なう。図１の画像処理部６は、画像処理を順次実施している間に、各ストリーム要求に応じた切り出しエリアで、切り出し処理を行なう。
【００５７】
図１の画像処理部６は、切り出し処理後、各ストリーム要求に応じた解像度に変換処理を実行する。解像度変換として、各ストリーム要求に応じた解像度であるため、図１の画像処理部６は、拡大処理、又は縮小処理を実行する。より詳細な処理方法については、特に限定はしない。
【００５８】
その後４つで構成される動画像を、図１のエンコード処理部７においてＪＰＥＧ画像にエンコードする。なお、ＪＰＥＧは一つの実施形態としての一例であり、ＪＰＥＧが必須では無く、配信先のフォーマットに応じたエンコード処理画像に合わせるもので、ＭＰＥＧ２、ＭＰＥＧ４等の動画像を構成するフォーマットでも構わない。
【００５９】
そして、図１のコントローラ９は、エンコード後のデータを、図１の外部ネットワーク処理部８へ渡す。図１のコントローラ９の制御により、図１の外部ネットワーク処理部８は、図８の外部通信セレクト４〜外部通信セレクト１をｉ、ｊ、ｋ、ｌのタイミングで切り換えながら出力する。つまり、撮像装置は、通信各エリアに対応した画像毎に動画像を構成し、合焦位置の最適なストリーム動画像とする。
【００６０】
撮像装置は、この図８に示すｆの期間を、動画像を構成するフレームレートに設定する。例として、３０ｆｐｓの動画像を構成したい場合は、４ストリーム別の合焦位置のエリアである場合、１ＶＤ期間は、３０ｆｐｓ（約３３ｍｓ）の４倍高速である１２０ｆｐｓ（約８．３３ｍｓ）で撮像するように構成する。
式で表すと、
撮像レート  ≒  構成動画像フレームレート×合焦位置選択数
で表される。
【００６１】
次のフレームのレンズスキャンは、図１のコントローラ９が、図８のＥＮ１信号をｇに示す期間（次のフレームの撮像開始時間まで）出力することで、図１の撮像用主レンズ１が、図７のＬ１に対応する焦点位置まで移動する。
【００６２】
上記を繰り返し実行することで、本第１実施形態を実現する。
【００６３】
図７のＬ１〜Ｌ４は上記説明において焦点位置に対応する位置であると同時に画像を撮像している位置に対応しており、
図９の（１）が図６の（１）の画像、
図９の（２）が図６の（２）の画像、
図９の（３）が図６の（３）の画像、
図９の（４）が図６の（４）の画像、
に対応する。撮像装置は、上述したように、各選択した画像毎に画像の切り出しを行なう。なお、撮像装置は、上記に示すＡＦ測距動作、画像切り出し動作、画像処理動作、画像圧縮動作を、動画像を構成する１フレーム期間内（図８のｆの期間）で行なう。
【００６４】
また、この動作を順次連続で動作している間に、エリア毎の主被写体の位置が変わる可能性があるため、撮像装置は、定期的に、Ｌ４の位置より焦点の遠い位置からＬ１の位置より近い焦点位置まで焦点位置の可変（レンズスキャン）を行う。そして、撮像装置は、再度Ｌ１〜Ｌ４に相当する位置に随時補正をかけていく。
【００６５】
撮像装置は、以上の処理を繰り返し行う。
【００６６】
上述したように、本実施形態によれば、各々設定している複数の位置の画像毎に、全て合焦位置の最適化された画像を配信することができる。
【００６７】
（第２の実施形態）
図１０は、本実施形態の処理タイミングチャートである。本実施形態の特徴的な部分のみ図１０の処理タイミングを説明する。
【００６８】
図１０に示すタイミングチャートの上から信号順に、
撮像のフレーム同期信号であるＶＤ信号タイミング、
図１のＡ／Ｄ変換部４の処理タイミング、
図１のＡＦ評価値処理部５において評価値算出するタイミング、
図１の画像処理部６において画像を最適化する画像処理タイミング、
図１の画像処理部６において画像処理された画像を外部クライアント要求に応じて画像エリアを切り出す、切り出し処理タイミング、
図１の画像処理部６において切り出し処理した画像を外部クライアント要求の解像度に画像を合わせるための解像度変換処理タイミング、
図１のエンコード処理部７においてエンコード処理するエンコード処理タイミング、
外部通信タイミング、
図１のレンズ焦点位置可変駆動部３を制御するＥＮ０信号のＥＮ０信号タイミング、
図１のレンズ焦点位置可変駆動部３を制御するＥＮ１信号のＥＮ１信号タイミング、
図１のコントローラ９により図１のネットワーク通信部８にどの画像を通信させるのかをコントロールするための切り換え信号の外部通信セレクト４〜外部通信セレクト１信号タイミング
である。
【００６９】
第２の実施形態では、第１の実施形態と初期動作は同一である。異なる部分は、図７に記載しているクライアント毎に切り出す画像に対応するＡＦを行ない、図１のレンズ焦点位置可変駆動部３を図１のコントローラ９で制御する場合の動作である。
【００７０】
この場合、撮像装置は、図１０の焦点制御ＥＮ０の信号を非撮像期間中（図１０のｈ０の期間）出力し、図７のＬ１→Ｌ２の位置まで可変して止める。
【００７１】
続けて、次のフレーム撮像期間、撮像装置は、順次第１実施形態同様に、画像処理→画像切り出し→解像度変換→エンコード→外部通信と処理を実行させる。
【００７２】
撮像装置は、この動作をフレーム毎に行う。つまり、撮像装置は、図１０の焦点制御ＥＮ０の信号を非撮像期間中（図１０のｈ１の期間）出力し、図７のＬ２→Ｌ３の位置まで可変して止める。また、撮像装置は、図１０の焦点制御ＥＮ０の信号を非撮像期間中（図１０のｈ２の期間）出力し、図７のＬ３→Ｌ４の位置まで可変して止める。
【００７３】
この動作を繰り返し、撮像装置は、図１０の焦点制御ＥＮ１の信号を非撮像期間中（図１０のｇ'の期間）にＬ１からＬ４の位置まで焦点位置を移動させる。
【００７４】
また、この動作を順次連続で動作している間に、エリア毎の主被写体の位置が変わる可能性があるため、撮像装置は、定期的に、Ｌ４の位置より焦点の遠い位置からＬ１の位置より近い焦点位置まで焦点位置の可変（レンズスキャン）を行う。そして、撮像装置は、再度Ｌ１〜Ｌ４に相当する位置に随時補正をかけていく。
【００７５】
撮像装置は、以上の処理を繰り返し行う。
【００７６】
本実施形態の他の動作に関しては、実施形態１記載の動作と同一である。
【００７７】
上述したように、本実施形態によれば、撮像用主レンズと、撮像素子との焦点位置を止めることで、第１の実施形態より更に合焦精度のよい画像を配信することが可能となる。
【００７８】
（第３の実施形態）
図１１は本実施形態における撮像装置の処理の一例を示すフローチャートである。なお、ステップ２０１〜２１２は、図３のステップ１０１〜１１２の処理内容と同一処理内容である。また、ステップ２１４〜ステップ２１８は、図３のステップ１１３〜１１７の処理内容と同一である。また、ステップ２１９及びステップ２２０は、図３のステップ１１９及びステップ１２０の処理内容と同一である。よって、以下では、これらのステップ以外のステップにおける処理について説明を行う。
【００７９】
ステップ２１３において、図１のコントローラ９は、図７に示すＬ１〜Ｌ２の間を図１の撮像用レンズ１と、図１の撮像素子２との焦点位置を可変しながらＡＦ評価値のレベルを判定する。
【００８０】
ＡＦ評価値レベルが、図７に記載するようなＬ１位置のときは、Ｈ１になったとき、図１のコントローラ９は、被写界深度範囲ではないと判定し、ステップ２１０に戻る。また、ＡＦ評価値レベルが、図７に記載するようなＬ２位置のときは、Ｈ２以下になったとき、図１のコントローラ９は、被写界深度範囲ではないと判定し、ステップ２１０に戻る。また、ＡＦ評価値レベルが、図７に記載するようなＬ３の位置のときは、Ｈ３以下になったとき、図１のコントローラ９は、被写界深度範囲ではないと判定し、ステップ２１０に戻る。また、ＡＦ評価値レベルが、図７に記載するようなＬ４の位置のときは、Ｈ４以下になったとき、図１のコントローラ９は、被写界深度範囲ではないと判定し、ステップ２１０に戻る。
【００８１】
そして、図１のコントローラ９の制御により、Ｌ４の位置より焦点の遠い位置からＬ１の位置より近い焦点位置まで焦点位置の可変（レンズスキャン）を行い、ステップ２１１のスキャン範囲である、Ｌ１〜Ｌ４に相当する位置に随時補正をかけていく。
【００８２】
上述したように、本実施形態によれば、各画像エリアに存在する被写体が動いた場合でも、各々設定している複数の位置の画像毎に、全て合焦位置の最適化された画像を配信することができる。
【００８３】
（第４の実施形態）
図１２は、本実施形態における各クライアントに対応した撮像１画面内の切り出し位置を表す図である。図１３は、本実施形態における撮像用主レンズと、撮像素子との焦点位置に対応するＡＦに使用するコントラストの評価値出力の一例を示す図である。
【００８４】
第４の実施形態では、ストリーム数を４本より多いストリームに対応する場合、（本実施形態では５本）について説明する。但し、図１の撮像素子２の読み出しレートが４倍のままで、１ストリーム毎に撮像した画像を割り当てることが出来ない場合について説明する。
【００８５】
即ち、図１３に示すＬ１〜Ｌ５の間を図１の１の主レンズと図１の撮像素子２の焦点位置を可変しており、外部ネットワークへ配信するストリームの本数が、図１の２の撮像素地の読み出し可能なレートより増えた場合について説明する。
【００８６】
例として、１ＶＤ期間が、１２０ｆｐｓ（約８．３３ｍｓ）に対応する撮像時間で、動画像を構成するフレームレートが３０ｆｐｓ（約３３．３ｍｓ）とする。なお、本発明の実施は、この値に限定されるものではなく、外部へ配信するストリーム数と、動画像を構成するフレームレートとの比に相当する値であればよい。撮像装置は、第１の焦点位置可変動作において、焦点位置をフルスキャンする際に、５つの切り出しエリアに対応するＡＦ評価値を検出する。これは、図１３中のＬ１〜Ｌ５の距離に相当する。
【００８７】
このＬ１〜Ｌ５の焦点位置の内、ＡＦの評価値より、Ｌ２の位置と、Ｌ５の位置とが他のＬ１、Ｌ３、Ｌ４との位置より近い場合、撮像装置は、Ｌ２と、Ｌ５との中間位置（図１３のＬ２５の位置）にレンズの焦点位置Ｌ２５を設定する。
【００８８】
その後の動作シーケンスは、上述した第１の実施形態において説明した図８或いは、上述した第２の実施形態において説明した図１０の動作シーケンスと同一である。本実施形態では、撮像装置は、図７のＬ２の焦点位置の画像フレームの画像処理を行う変わりに、図１３のＬ２５の焦点位置の画像フレームの画像処理を行なう。
【００８９】
外部クライアントから設定された画像切り出しエリアが、図１２の（２）のエリアと、図１２の（５）のエリアとの場合、撮像装置は、図９の（２）に相当する１枚の画像フレームの、選択されている各々のエリアに対応する画像を各々切り出す。
【００９０】
そして、切り出した画像を各々個別に図１の画像処理部６において解像度変換処理を行なう。そして、順次並行して解像度変換した画像を図１のエンコード処理部７においてエンコード処理し、順次データを図１のネットワーク通信部８へデータを流し、ネットワーク上に配信する。
【００９１】
画像を共有している以外の焦点位置（Ｌ１、Ｌ３、Ｌ４）での画像に関しては、１ストリームに１フレームの画像から切り出し処理を行なう（上述した実施形態１〜３までに記載している処理と同一の処理を行う。）。
【００９２】
以上、上述したように本実施形態によれば、外部配信に対応する配信本数が増えても、各々設定している複数の位置の画像毎に、全て合焦位置の最適化された画像を配信することができる。
【００９３】
（第５の実施形態）
図１４は、本実施形態における撮像フレームレートと、各クライアントに対応した画像切り出しエリア数とに対応する画像の割り当てを説明する図である。図１５は、本実施形態の処理タイミングチャートである。以下、本実施形態における特徴的な部分のみ説明する。
【００９４】
図１４は、図６に示す画像切り出しエリア毎の撮像したフレームの割り振りを表している。撮像装置は、第１の焦点位置可変動作において、図１の撮像用レンズ１と、図１の撮像素子２との焦点位置を、図１のレンズ焦点位置可変駆動部３において焦点位置を可変しながら、図７に示すＡＦの評価値を取得していく。取得方法や評価値レベルに関する説明は上述した第１の実施形態〜第４の実施形態において説明した方法と同一である。
【００９５】
ＡＦの評価値取得後、Ｌ１〜Ｌ４の焦点位置に対応するフレーム画像が存在しないとき、つまり、図１の撮像素子２の読み出しレートが遅く、動画像を構成するフレームレートと同一レートしか対応していない撮像素子の場合である。この時、例えば、図７のＬ２と、Ｌ３とに対応する焦点位置の画像が存在しないため、撮像装置は、Ｌ２の焦点が最適な切り出しエリアである図６の（２）のエリアに対応する画像として、Ｌ１と、Ｌ４との画像の何れかの焦点位置の近い画像を選択する。本実施形態では、Ｌ２は、Ｌ１の方に近いとしているため、撮像装置は、Ｌ１の焦点位置の画像を選択する。
【００９６】
同様にＬ３の焦点が最適な切り出しエリアである図６の（３）のエリアは、本実施形態では、Ｌ３は、Ｌ４の方に近いとしているため、撮像装置は、Ｌ４の焦点位置の画像を選択する。
【００９７】
従って、画像フレームの抜き出しとして、撮像装置は、図１４に示すように（１）と、（２）とが同一画像、（３）と、（４）とが同一画像を抜き出し、図６の（１）、（２）に対応するエリアの画像と、図６の（３）、（４）に対応するエリアの画像を切り出す。そして、撮像装置は、ストリーム毎の動画像として構成する。この時の各処理のタイミングについては、図１５に示すタイミングとなる。
【００９８】
図１５に示すタイミングチャートの上から信号順に、
撮像のフレーム同期信号であるＶＤ信号タイミング、
図１のＡ／Ｄ変換部４の処理タイミング、
図１のＡＦ評価値処理部５において評価値算出するタイミング、
図１の画像処理部６において画像を最適化する画像処理タイミング、
図１の画像処理部６において画像処理された画像を外部クライアント要求に応じて画像エリアを切り出す、切り出し処理タイミング、
図１の画像処理部６において切り出し処理した画像を外部クライアント要求の解像度に画像を合わせるための解像度変換処理タイミング、
図１のエンコード処理部７においてエンコード処理するエンコード処理タイミング、
外部通信タイミング、
図１のレンズ焦点位置可変駆動部３を制御するＥＮ０信号のＥＮ０信号タイミング、
図１のレンズ焦点位置可変駆動部３を制御するＥＮ１信号のＥＮ１信号タイミング、
図１のコントローラ９により図１のネットワーク通信部８にどの画像を通信させるのかをコントロールするための切り換え信号の外部通信セレクト４〜外部通信セレクト１信号タイミング
である。
【００９９】
図１５中のｆ"が、動画像を構成出来る１フレーム期間である。図１のレンズ焦点位置可変駆動部３において、図１の撮像用レンズ１と、図１の撮像素子２との焦点位置を可変するタイミングは、上述した実施形態１〜４記載の動画像を構成する１フレーム単位で可変する。上述した実施形態と異なる部分は、本実施形態では、複数のエリアに対応するため、同一画像から個別に切り出す必要が有ることである。よって、撮像装置は、画像切り出しのエリアを個別に指定し、複数の画像を生成する。
【０１００】
このエリア毎に対応した複数画像に対して撮像装置は、順次、図１の画像処理部６において解像度変換処理→図１のエンコード処理部７によるエンコード処理→図１のネットワーク通信部８によるネットワークへの配信処理を施す。そして、図１のコントローラ９から、図１５に示す焦点制御ＥＮ０信号、焦点制御ＥＮ１信号、外部通信セレクト４〜１信号の各信号を出力し、配信するストリーム毎の画像として時系列に処理を施していく。
【０１０１】
上述したように、本実施形態によれば、動画像を構成する１フレームレートより高速なフレームレートにおいて読み出しを行なう撮像素子が無くても、各々設定している複数の位置の画像毎に、全て合焦位置の最適化された画像を配信することができる。
【０１０２】
（第６の実施形態）
図１６は、本実施形態における撮像装置の構成の一例を表すブロック図である。本実施形態において、上述した実施形態と異なる部分は、図１６の１の撮像用レンズと、図１６の撮像素子２との焦点位置を可変する焦点位置可変駆動部１０である。この焦点位置駆動部１０は、図１６の撮像用レンズ１を光軸方向に動作させる機構と、図１６の撮像素子２を光軸方向に動作させる機構とを含む構成である。なお、焦点位置駆動部１０は、例えば、アクチェータとして、モーターを使った方式や圧電素子（ピエゾ素子）を使った方式等で、撮像用レンズ１や、撮像素子２を光軸方向に動作させる。なお、このことは、本発明の実施を制限するものではない。
【０１０３】
焦点位置を可変するタイミングにおいて、本実施形態における撮像装置は、図１６の撮像用レンズ１と、図１６の撮像素子２との両方を光軸方向に可変するように制御する。なお、制御するタイミングは上述した第１の実施形態〜第５の実施形態と同一タイミングである。
【０１０４】
上述したように、本実施形態によれば、各々設定している複数のエリアに対応する焦点位置へ高速で動作させることが可能となり、各々設定している複数の位置の画像毎に、全て合焦位置の最適化された画像を配信することができる。
【０１０５】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図面の簡単な説明】
【０１０６】
【図１】本実施形態における撮像装置の構成の一例を表すブロック図である。
【図２】図１に示した画像処理部６の詳細構成を表すブロック図である。
【図３】本実施形態における撮像装置の処理の一例を示すフローチャートである。
【図４】初期設定時の各クライアントに対応した撮像１画面内の切り出し位置を表す図である。
【図５】初期設定時の撮像用主レンズと、撮像素子との焦点位置に対応するＡＦに使用するコントラストの評価値出力の一例を示す図である。
【図６】本実施形態における各クライアントに対応した撮像１画面内の切り出し位置を表す図である。
【図７】本実施形態における撮像用主レンズと、撮像素子との焦点位置に対応するＡＦに使用するコントラストの評価値出力の一例を示す図である。
【図８】本実施形態の処理タイミングチャートである。
【図９】本実施形態における撮像フレームレートと、各クライアントに対応した画像切り出しエリア数とに対応する画像の割り当てを説明する図である。
【図１０】本実施形態の処理タイミングチャートである。
【図１１】本実施形態における撮像装置の処理の一例を示すフローチャートである。
【図１２】本実施形態における各クライアントに対応した撮像１画面内の切り出し位置を表す図である。
【図１３】本実施形態における撮像用主レンズと、撮像素子との焦点位置に対応するＡＦに使用するコントラストの評価値出力の一例を示す図である。
【図１４】本実施形態における撮像フレームレートと、各クライアントに対応した画像切り出しエリア数とに対応する画像の割り当てを説明する図である。
【図１５】本実施形態の処理タイミングチャートである。
【図１６】本実施形態における撮像装置の構成の一例を表すブロック図である。
【符号の説明】
【０１０７】
１    撮像用レンズ
２    撮像素子
３    レンズ焦点位置可変駆動部
４    Ａ／Ｄ変換部
５    ＡＦ評価値処理部
６    画像処理部
７    エンコード処理部
８    ネットワーク通信部
９    コントローラ
１０  焦点位置可変駆動部
【図１】
0004597063.tif 000002
【図２】
0004597063.tif 000003
【図３】
0004597063.tif 000004
【図４】
0004597063.tif 000005
【図５】
0004597063.tif 000006
【図６】
0004597063.tif 000007
【図７】
0004597063.tif 000008
【図８】
0004597063.tif 000009
【図９】
0004597063.tif 000010
【図１０】
0004597063.tif 000011
【図１１】
0004597063.tif 000012
【図１２】
0004597063.tif 000013
【図１３】
0004597063.tif 000014
【図１４】
0004597063.tif 000015
【図１５】
0004597063.tif 000016
【図１６】
0004597063.tif 000017