(57)【特許請求の範囲】
【請求項１】
光学系を用いた撮影により取得された画像に対する画像処理を行う画像処理装置に対して、前記画像処理のために用いられる第１の情報を供給する情報供給装置であって、
前記光学系に含まれる光学調節手段の状態を示す第２の情報を取得する情報取得手段と、
前記第２の情報および前記光学調節手段を制御するための指令として与えられる情報に基づいて、該第２の情報の取得時から所定時間経過後の時点での前記状態を予測し、前記第２の情報の取得時から前記所定時間経過後の時点で取得される画像に対する前記画像処理のために用いられる前記第１の情報として、予測された前記状態または予測された前記状態に対応する画像処理用パラメータを、前記第２の情報の取得時から前記所定時間経過後の時点で取得される前記画像の取得前に出力する情報生成手段とを有することを特徴とする情報供給装置。
【請求項２】
前記状態は、前記光学調節手段の位置であることを特徴とする請求項１に記載の情報供給装置。
【請求項３】
前記情報生成手段は、前記第２の情報の取得時から前記所定時間経過後の時点での予測される前記状態を示す前記第１の情報を生成し、
該情報生成手段は、前記第１の情報を用いた前記画像処理用パラメータの生成に要する時間に基づいて前記所定時間を設定することを特徴とする請求項１または２に記載の情報供給装置。
【請求項４】
前記情報生成手段は、前記画像処理装置から前記画像処理用パラメータの生成に要する時間を取得し、該要する時間に基づいて前記所定時間を設定することを特徴とする請求項１または２に記載の情報供給装置。
【請求項５】
前記情報供給装置は、前記所定時間を変更するために操作される所定時間変更手段を有することを特徴とする請求項１から４のいずれか１つに記載の情報供給装置。
【請求項６】
光学系と、
請求項１から５のいずれか１つに記載の情報供給装置とを有することを特徴とするレンズ装置。
【請求項７】
前記画像処理用パラメータを生成するためのテーブルデータを記憶したメモリと、
前記情報供給装置から出力された前記第１の情報としての前記状態と前記テーブルデータとを用いて該第１の情報に対応する前記画像処理用パラメータを生成して前記画像処理装置に出力する補正演算手段とを有することを特徴とする請求項６に記載のレンズ装置。
【請求項８】
光学系により形成された被写体像を撮影して該被写体像に対応する画像を生成するカメラ装置であって、
請求項１から５のいずれか１つに記載の情報供給装置と、
該情報供給装置からの前記第１の情報を用いて、前記画像に対する画像処理を行う画像処理装置とを有することを特徴とするカメラ装置。
【請求項９】
前記画像処理用パラメータを生成するためのテーブルデータを記憶したメモリと、
前記情報供給装置から出力された前記第１の情報としての前記状態と前記テーブルデータとを用いて該第１の情報に対応する前記画像処理用パラメータを生成する補正演算手段とを有し、
前記画像処理装置は、前記第１の情報に対応する前記画像処理用パラメータを用いて、前記第２の情報の取得時から前記所定時間経過後の時点で取得された前記画像に対して前記画像処理を行うことを特徴とする請求項８に記載のカメラ装置。
【請求項１０】
光学系を有するレンズ装置と、該レンズ装置を用いた撮影により画像を生成するカメラ装置とを含む撮影システムであって、
請求項１から５のいずれか１つに記載の情報供給装置と、
該情報供給装置からの前記第１の情報を用いて、前記画像に対する画像処理を行う画像処理装置とを有することを特徴とする撮影システム。
【請求項１１】
前記画像処理用パラメータを生成するためのテーブルデータを記憶したメモリと、
前記情報供給装置から出力された前記第１の情報としての前記状態と前記テーブルデータとを用いて該第１の情報に対応する前記画像処理用パラメータを生成する補正演算手段とを有し、
前記画像処理装置は、前記第１の情報に対応する前記画像処理用パラメータを用いて、前記第２の情報の取得時から前記所定時間経過後の時点で取得された前記画像に対して前記画像処理を行うことを特徴とする請求項１０に記載の撮影システム。
【請求項１２】
光学系を用いた撮影により取得された画像に対する画像処理のために用いられる第１の情報を供給する処理をコンピュータに実行させるコンピュータプログラムであって、
前記処理は、
前記光学系に含まれる光学調節手段の状態を示す第２の情報を取得するステップと、
前記第２の情報および前記光学調節手段を制御するための指令として与えられる情報に基づいて、該第２の情報の取得時から所定時間経過後の時点での前記状態を予測するステップと、
前記第２の情報の取得時から前記所定時間経過後の時点で取得される画像に対する前記画像処理のために用いられる前記第１の情報として、予測された前記状態または予測された前記状態に対応する画像処理用パラメータを、前記第２の情報の取得時から前記所定時間経過後の時点で取得される前記画像の取得前に出力するステップとを有することを特徴とする情報供給処理プログラム。
【請求項１３】
光学系を用いた撮影により取得された画像に対する画像処理のために用いられる第１の情報を供給する情報供給処理方法であって、
前記光学系に含まれる光学調節手段の状態を示す第２の情報を取得し、
前記第２の情報および前記光学調節手段を制御するための指令として与えられる情報に基づいて、該第２の情報の取得時から所定時間経過後の時点での前記状態を予測し、
前記第２の情報の取得時から前記所定時間経過後の時点で取得される画像に対する前記画像処理のために用いられる前記第１の情報として、予測された前記状態または予測された前記状態に対応する画像処理用パラメータを、前記第２の情報の取得時から前記所定時間経過後の時点で取得される前記画像の取得前に出力することを特徴とする情報供給処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学収差に起因した撮影画像の劣化を低減する技術に関する。
【背景技術】
【０００２】
光学系を通して撮影された画像（映像）には、該光学系の収差に起因した劣化が存在する場合が多い。例えば、光学系の色収差に起因して、画像上で色ごとにピントずれが発生したり、光学系の歪曲収差に起因して画像に歪みが発生したりする。
【０００３】
そこで、特許文献１では、撮像面における色収差量を演算し、色収差による画像の劣化を補正するための画像処理（以下、収差補正画像処理という）を行う装置が開示されている。
【特許文献１】特開２００６−１３５８０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、収差補正画像処理にはある程度の時間を要する。例えば、光学系がズーム動作すると該光学系で発生する色収差が変化するため、収差補正画像処理用の補正データ（以下、収差補正データという）も新たに算出する必要がある。実際のズーム位置での収差補正データは、予め準備された代表的なズーム位置での収差補正データ（テーブルデータ）から補間演算等によって算出される。このため、収差補正データの算出に時間を要する。
【０００５】
そして、収差補正データの算出に時間を要すると、収差補正画像処理の対象である画像（以下、補正対象画像という）の撮影時点から、収差補正データが算出されて収差補正画像処理が可能となるまでに遅延が生ずる。言い換えれば、補正対象画像に対してその撮影後すぐに収差補正画像処理を行いたくても、収差補正データの生成が間に合わない。また、補正対象画像の撮影時点より古い時点でのズーム位置を用いて収差補正データを先行して算出することは可能であるが、その収差補正データは撮影時点でのズーム位置に基づくものではないので、適切な収差補正画像処理を行えない。
【０００６】
本発明は、撮影画像に対して適切かつ遅延が少ない収差補正画像処理を可能とする情報供給装置、レンズ装置、カメラ装置及び撮影システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面としての情報供給装置は、光学系を用いた撮影により取得された画像に対する画像処理を行う画像処理装置に対して、該画像処理のために用いられる第１の情報を供給する。該情報供給装置は、光学系に含まれる光学調節手段の状態を示す第２の情報を取得する情報取得手段と、第２の情報および光学調節手段を制御するための指令として与えられる情報に基づいて、該第２の情報の取得時から所定時間経過後の時点での上記状態を予測し、該第２の情報の取得時から所定時間経過後の時点で取得される画像に対する上記画像処理のために用いられる第１の情報として、予測された状態または予測された状態に対応する画像処理用パラメータを、該第２の情報の取得時から所定時間経過後の時点で取得される画像の取得前に出力する情報生成手段とを有することを特徴とする。
【０００８】
なお、上記情報供給装置を有するレンズ装置、カメラ装置及び撮影システムも本発明の他の一側面を構成する。
また、本発明の他の一側面としての情報供給処理プログラムは、光学系を用いた撮影により取得された画像に対する画像処理のために用いられる第１の情報を供給する処理をコンピュータに実行させるコンピュータプログラムである。該処理は、光学系に含まれる光学調節手段の状態を示す第２の情報を取得するステップと、第２の情報および光学調節手段を制御するための指令として与えられる情報に基づいて、該第２の情報の取得時から所定時間経過後の時点での上記状態を予測し、該第２の情報の取得時から所定時間経過後の時点で取得される画像に対する画像処理のために用いられる第１の情報として、予測された状態または予測された状態に対応する画像処理用パラメータを、第２の情報の取得時から所定時間経過後の時点で取得される画像の取得前に出力するステップとを有することを特徴とする。
さらに、本発明の他の一側面としての情報供給処理方法は、光学系を用いた撮影により取得された画像に対する画像処理のために用いられる第１の情報を供給する方法であり、光学系に含まれる光学調節手段の状態を示す第２の情報を取得し、該第２の情報および光学調節手段を制御するための指令として与えられる情報に基づいて、該第２の情報の取得時から所定時間経過後の時点での上記状態を予測し、第２の情報の取得時から所定時間経過後の時点で取得される画像に対する画像処理のために用いられる第１の情報として、予測された状態または予測された状態に対応する画像処理用パラメータを、第２の情報の取得時から所定時間経過後の時点で取得される画像の取得前に出力することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、第２の情報（光学調節手段の状態）の取得時よりも後の時点での画像処理に用いられる第１の情報（上記状態又は該状態に対応する画像処理用パラメータ）を予測して生成することができる。このため、適切な画像処理を行うことができるとともに、該処理の遅延を少なくすることができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の好ましい実施例について図面を参照しながら説明する。
【実施例１】
【００１１】
図１には、本発明の参考技術例としての実施例１である情報供給装置を含むレンズ装置１と、画像処理装置を含むカメラ装置２とを用いた撮影システムの構成を示している。
【００１２】
レンズ装置１は、不図示の光学系と、該光学系に含まれる可動部１５と、該可動部１５の状態（位置）を検出するフォロー検出部１１と、メモリ１２と、ＣＰＵ１３と、通信部１４とを含む。
【００１３】
可動部１５には、変倍レンズ、フォーカスレンズ、アイリス（絞り）及び像振れ補正機構（ＩＳ）等の光学調節部材（光学調節手段）が含まれる。また、可動部１５には、ズーム操作、フォーカス操作及びアイリス操作といった光学調節部材を動作させるための操作リング等の操作部材（操作手段）も含まれる。なお、本実施例では、操作部材のマニュアル操作が機械的に伝達されることによって、変倍レンズ、フォーカスレンズ及びアイリス等が動作する。
【００１４】
ここで、光学調整部材の位置とは、変倍レンズの光軸方向の位置、フォーカスレンズの光軸方向の位置、アイリスの絞り羽根（板状の遮光部材）の（光軸と垂直な面内における）位置、或いはそれらを駆動する駆動部材の位置等の少なくとも１つを意味する。
【００１５】
また、操作部材の位置とは、操作リングの回転方向の位置（操作リングが所定の状態と比較して、時計回りに回転した角度、或いは反時計回りに回転した角度等）、或いは、操作部材の操作、回転と連動してモータ等に送信される信号等を意味する。
【００１６】
モータ等に送信される信号は、光学調整部材の絶対位置を指示する信号（絶対位置指令信号）であってもよいし、現在の位置との差分を与える信号（インクリメンタル信号）であってもよい。
【００１７】
情報取得手段としてのフォロー検出部１１は、上記可動部１５に含まれる光学調節手段及び操作手段のうち少なくとも一方の状態（位置）を、ポテンションメータ等のセンサを用いて検出（取得）し、該状態を示すフォローとして出力する。具体的には、フォロー検出部１１のセンサは可動部１５と不図示のギアを介して接続されており、可動部１５の動作がギアを介してセンサに伝達され、センサが動作することで、フォローが出力される。
【００１８】
通信部１４は、後述するカメラ装置２の通信部２３との間で通信を行う。メモリ１２及びＣＰＵ１３については後述する。
【００１９】
レンズ装置１は、カメラ装置２に対して取り外し可能に装着されている。カメラ装置２は、メモリ２１と、ＣＰＵ２２と、通信部２３と、撮像部２４とを含む。
【００２０】
撮像部２４は、レンズ装置１の光学系により形成された被写体像を光電変換するＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と、該撮像素子からの信号に基づいて撮影映像信号を生成する信号処理部とを含む。
【００２１】
メモリ２１は不揮発性メモリであり、代表的な複数のフォローに対応する収差補正テーブルデータＴｂｌを保持している。ここで、本実施例における収差補正データは、レンズ装置１（光学系）を用いた撮影により取得した撮影画像（撮影映像信号）に含まれる、該光学系の収差に応じた画像成分を低減するための収差補正画像処理を行うためのパラメータ（画像処理用パラメータ）である。また、ここにいう画像処理用パラメータとは、例えば撮影画像を幾何変換（座標変換）する場合に使用される変換式に含まれる係数又は変数（変換行列の要素等）である。すなわち、画像処理用パラメータは、画像変換パラメータということもできる。
【００２２】
ＣＰＵ２２は、補正演算部２２１及び画像処理部２２２を含む。本実施例では、補正演算部２２１及び画像処理部２２２により画像処理装置が構成される。
【００２３】
補正演算部２２１は、レンズ装置１から出力された後述する予測フォローとメモリ２１が保持する収差補正テーブルデータＴｂｌとから、該予測フォローに対応する収差補正データを（予測して）生成する。画像処理部２２２は、補正演算部２２１からの収差補正データを用いて、撮影映像信号に対して収差補正画像処理を行い、該処理後の映像信号を出力映像信号として出力する。
【００２４】
レンズ装置１のＣＰＵ１３は、情報生成手段としての先行予測値演算部１３１を含む。本実施例では、フォロー検出部１１と先行予測値演算部１３１とにより情報供給装置が構成される。
【００２５】
先行予測値演算部１３１は、フォロー検出部１１で検出されたフォロー（第２の情報：以下、実フォローという）に基づいて、該実フォローの取得時よりも後の時点でのフォロー（第１の情報：以下、予測フォローという）を（予測して）生成する。予測フォローは、カメラ装置２に出力（供給）され、前述した補正演算部２２１にて収差補正データを生成するために用いられる。つまり、予測フォローは、収差補正画像処理を行うために用いられる情報である。
【００２６】
本実施例においては、フォロー検出部１１により実フォローが検出された時刻（現在）から、予測フォローに対応する時刻までの時間（所定時間）を先行時間と定義する。また、本実施例では、ズーム、フォーカス、アイリス及びＩＳに関わる複数の可動部１５に対する先行時間を、１つの共通した先行時間として説明する。ただし、個々の可動部１５に対する先行時間として互いに異なる時間を設定してもよい。また、個々の可動部１５に対して別々の先行予測値演算部１３１を設けてもよい。
【００２７】
メモリ１２は不揮発性メモリであり、先行時間（固定値）ｔ１を保持している。ＣＰＵ１３内の先行予測値演算部１３１には、フォロー検出部１１により検出された実フォロー及びメモリ１２に保持された先行時間ｔ１が入力される。先行予測値演算部１３１は、入力された実フォロー及び先行時間ｔ１を用いて、予測フォローを算出する。
【００２８】
図２には、先行予測値演算部１３１の構成を示している。先行予測値演算部１３１では、可動部１５の実フォロー（実位置）から該可動部１５の現在の動作速度を算出し、該可動部１５が現在から先行時間ｔ１の間に移動すると予測される位置を、予測フォロー（予測位置）として出力する。
【００２９】
先行予測値演算部１３１は、速度演算部１３１１、乗算器１３１２及び加算器１３１３により構成されている。速度演算部１３１１は、ＣＰＵ１３のサンプリング周期（又はＡＤコンバータの更新周期等）における前回のタイミングで入力された実フォローと今回（現在）のタイミングで入力された実フォローとの差分から、可動部１５の動作速度を演算する。
【００３０】
乗算器１３１２は、速度演算部１３１から出力された動作速度に先行時間ｔ１を乗じることで、現在の実フォローに対する予測フォローの乖離量（実フォローの変化量）Δ１を算出する。
【００３１】
加算器１３１３は、現在の実フォローに乖離量Δ１を加算することで予測フォローを算出する。
【００３２】
このようにして先行予測値演算部１３１は、可動部１５の実フォローと先行時間ｔ１とに基づいて、実フォローの検出時よりも先行時間ｔ１だけ後の時点での予測フォローを算出する。算出された予測フォローは、通信部１４，２３を通じてカメラ装置２に出力される。
【００３３】
次に、図３を用いて、従来技術と本実施例における処理の時系列的な流れについて説明する。なお、後述する時刻１〜３は、図では丸囲み数字で示されている。
【００３４】
従来技術では、レンズ装置において可動部の実フォローが検出されると（時刻１）、カメラ装置で収差補正データの算出が行われる。そして、収差補正データの算出が終了すると（時刻２）、収差補正データを用いた撮影映像信号に対する収差補正画像処理が行われ、出力映像信号が出力される（時刻３）。この場合、撮影映像信号が入力される時刻２よりも前の時刻１での実フォローを用いて収差補正データが算出されることになり、撮影映像信号に対する適切な収差補正画像処理が行えない可能性がある。
【００３５】
一方、本実施例のレンズ装置１では、実フォローを検出する時刻１において、撮影映像信号を入力する時刻２（時刻１よりも先行時間ｔ１だけ後の時点）での予測フォローが算出され、該予測フォローを用いた予測値としての収差補正データも算出される。つまり、従来技術のように撮影映像信号よりも古い時刻１での実フォローを用いた収差補正データの算出は行われない。そして、収差補正データを用いた撮影映像信号に対する収差補正画像処理が行われ、出力映像信号が出力される（時刻３）。このように、本実施例では、撮影映像信号の入力に対してほとんど遅延することなく、撮影映像信号の入力時点でのフォロー（予測フォロー）に対応する収差補正データが生成されるので、撮影映像信号に対する適切な収差補正画像処理を行うことができる。
【００３６】
以下、レンズ装置１における電源投入後の初期化処理について、図４を用いて説明する。この初期化処理は、ＣＰＵ１３によって、その内部メモリに格納されたコンピュータプログラムに従って実行される。
【００３７】
電源投入後、ステップＳＴ０１において、ＣＰＵ１３は、カメラ装置２との通信の確立を確認する。通信が確立していればステップＳＴ０２へ進み、確立していなければステップＳＴ０１に戻る。
【００３８】
次に、ステップＳＴ０２では、ＣＰＵ１３は、カメラ装置２が収差補正画像処理を実行可能なカメラ装置（以下、収差補正カメラ装置という）であるか否かを判断する。カメラ装置２が収差補正カメラ装置であればステップＳＴ０３に進み、そうでなければステップＳＴ１１に進む。
【００３９】
ステップＳＴ０３では、ＣＰＵ１３は、メモリ１２から先行時間ｔ１を読み込み、ステップＳＴ１０へと進む。
【００４０】
ステップＳＴ１０では、ＣＰＵ１３は、フォロー検出部１１にて検出した実フォローと先行時間ｔ１とから予測フォローを算出し、カメラ装置２に出力する。
【００４１】
ステップＳＴ１１では、ＣＰＵ１３は、検出した実フォローをそのままカメラ装置２に出力する。
【００４２】
このように、本実施例のレンズ装置１は、該レンズ装置１が装着されたカメラ装置２が収差補正カメラ装置である場合は予測フォローを該カメラ装置２に出力する。また、カメラ装置２が収差補正カメラ装置でない場合は、実フォローを該カメラ装置２に出力する。これにより、本実施例のレンズ装置１は、収差補正カメラ装置だけでなく、収差補正カメラ装置ではないカメラ装置に対しても使用することができる。
【実施例２】
【００４３】
図５には、本発明の実施例２である情報供給装置を含むレンズ装置３と、画像処理装置を含むカメラ装置４とを用いた撮影システムの構成を示している。なお、実施例１と共通する構成要素には、実施例１と同符号を付して説明に代える。
【００４４】
本実施例では、カメラ装置４のＣＰＵ４２（補正演算部４２１）が、通信部２３，１４を介してレンズ装置３に処理時間（固定値）ｔ２を出力する。処理時間ｔ２は、補正演算部４２１において予測フォローが入力されてから収差補正データが算出される（生成される）までに要する時間である。ただし、処理時間ｔ２は、実際に予測フォローが入力されてから収差補正データが算出されるまでに要する時間に必ずしも一致しなくてもよく、該要する時間に対して多少の余裕を持たせてもよい。
【００４５】
また、処理時間ｔ２は、可動部３６が複数ある場合に、可動部３６ごとに異なる時間として設定されてもよいし、該複数の可動部３６に対して同じ（共通する）時間として設定されてもよい。本実施例では、複数の可動部３６に対して同じ処理時間ｔ２が設定されている。
【００４６】
また、本実施例のレンズ装置３には、制御部３５が設けられている。制御部３５は、レンズ装置３の可動部３６を駆動する不図示のモータ等のアクチュエータを制御するための速度指令信号（光学調節部材を制御するための指令として与えられる情報：以下、コントロールという）を出力する。本実施例の可動部３６は、実施例１で説明した光学調節部材（変倍レンズ、フォーカスレンズ及びアイリス）にアクチュエータとギアを組み込んだ構成を有し、該光学調節部材はコントロールに応じて駆動される。つまり、可動部３６は、操作部材の操作に応じてサーボ制御される。
【００４７】
なお、前述したように、レンズ装置３にはカメラ装置４から処理時間ｔ２が入力され、ＣＰＵ３３は、該処理時間ｔ２に基づいて、所定時間としての先行時間を設定する。このためのレンズ装置３には、実施例１で説明したメモリ１２は設けられていない。
【００４８】
先行予測値演算部３３１は、制御部３５から出力されたコントロールと、フォロー検出部１１から出力された実フォローと、カメラ装置４から入力された処理時間ｔ２とから予測フォローを算出し、カメラ装置４に出力する。
【００４９】
本実施例でも、フォロー検出部１１と先行予測値演算部３３１とにより情報供給装置が構成される。また、補正演算部４２１と画像処理部２２２とにより画像処理装置が構成される。
【００５０】
図６には、レンズ装置３に設けられたＣＰＵ３３内の先行予測値演算部３３１の構成を示している。先行予測値演算部３３１は、上記コントロールに従った動作速度で可動部３６が処理時間ｔ２間に移動すると予測される位置を予測フォローとして出力する。
【００５１】
先行予測値演算部３３１は、乗算器３３１２と加算器３３１３を含む。
【００５２】
乗算器３３１２は、コントロールに処理時間ｔ２を乗じることで、現在の実フォローに対する予測フォローの乖離量Δ２を算出する。なお、コントロールに処理時間ｔ２を乗じる際には、乗算結果である乖離量Δ２の次元を考慮して、所定の定数を乗じる等の演算を行うとよい。
【００５３】
加算器１３１３は、現在の実フォローに乖離量Δ２を加算することで予測フォローを算出する。
【００５４】
このようにして先行予測値演算部３３１は、可動部３６の実フォローと、制御部３５からのコントロールと、カメラ装置４から取得した処理時間ｔ２（先行時間）とに基づいて、実フォロー検出時よりも処理時間ｔ２だけ後の時点での予測フォローを算出する。算出された予測フォローは、通信部１４，２３を通じてカメラ装置４に出力される。
【００５５】
以下、レンズ装置３における電源投入後の初期化処理（情報供給処理方法）について、図７を用いて説明する。この初期化処理は、ＣＰＵ３３によって、その内部メモリに格納されたコンピュータプログラム（情報供給処理プログラムを含む）に従って実行される。
【００５６】
ステップＳＴ０１，ステップＳＴ０２及びステップＳＴ１１でのＣＰＵ３３の処理は、実施例１と同じである。
【００５７】
ステップＳＴ０４において、ＣＰＵ３３は、カメラ装置４から処理時間ｔ２を取得したか否かを判断する。取得していればステップＳＴ０５に進み、取得していなければステップＳＴ０６に進む。
【００５８】
ステップＳＴ０５では、ＣＰＵ３３は、処理時間ｔ２に基づいて先行時間を設定する。本実施例では、処理時間をそのまま先行時間に設定するが、処理時間に基づいて該処理時間とは異なる（例えば、より長い）先行時間を設定してもよい。
【００５９】
一方、ステップＳＴ０６では、ＣＰＵ３３は、既定値を先行時間に設定する。本実施例では、既定値をゼロとする。
【００６０】
そして、ステップＳＴ１０では、ＣＰＵ３３は、フォロー検出部１１にて検出した実フォローと制御部３５からのコントロールと先行時間（処理時間ｔ２又は既定値）とから予測フォローを算出し、カメラ装置４に出力する。なお、前述したように既定値はゼロであるため、ステップＳＴ０６からステップＳＴ１０に流れてきた場合は、実フォローと同じ値の予測フォローが算出されることになる。
【００６１】
このように、本実施例のレンズ装置３は、該レンズ装置３が装着されたカメラ装置４から処理時間ｔ２を読み込んだ場合は、実フォローの検出時よりも後の時点での予測フォローをカメラ装置４に出力する。一方、カメラ装置４から処理時間ｔ２を読み込まなかった場合は、実フォローと同じ値の予測フォローをカメラ装置４に出力する。これにより、本実施例のレンズ装置３は、処理時間ｔ２を出力可能なカメラ装置４だけでなく、処理時間ｔ２を出力できないカメラ装置に対しても使用することができる。

【００６２】
なお、カメラ装置が処理時間ｔ２を出力できない場合に、予めレンズ装置３内に設けられたメモリにゼロではない先行時間を保持させておき、これを用いて予測フォローを算出し、カメラ装置４に出力するようにしてもよい。
【００６３】
本実施例では、レンズ装置３に設けられた制御部３５から速度指令信号としてのコントロールが出力される場合について説明したが、コントロールは位置指令信号であってもよいし、アクチュエータに入力される駆動信号であってもよい。また、コントロールは、レンズ装置３以外の操作装置やカメラ装置からレンズ装置に入力されてもよい。
【実施例３】
【００６４】
図８には、本発明の実施例３である情報供給装置を含むレンズ装置５と、実施例２に示したカメラ装置４とを用いた撮影システムの構成を示している。なお、実施例２と共通する構成要素には、実施例２と同符号を付して説明に代える。
【００６５】
本実施例のレンズ装置５には、実施例２のレンズ装置３に対して、所定時間変更手段としての先行時間調整部５６と、Ｓ/Ｍ切替部５７と、表示部５８とが追加されている。
【００６６】
先行時間調整部５６は、先行時間をユーザが任意に調整するための操作ボリュームを有し、該操作ボリュームの操作に応じて、基準となる先行時間に対する調整量（増減割合）Δｔを出力する。
【００６７】
Ｓ／Ｍ切替部５７は、可動部（変倍レンズ、フォーカスレンズ及びアイリス）３６のサーボ制御とマニュアル操作とを切り替えるための切替スイッチと切替機構とを有する。切替スイッチが操作されると、切替機構が動作して、各可動部とアクチュエータとをメカニカルに接続（サーボ制御時）したり該接続を解除（マニュアル操作時）したりする。また、Ｓ／Ｍ切替部５７は、切替スイッチの操作に応じて切替信号を出力する。
【００６８】
表示部５８は、予測フォローの算出を行うか否か、先行時間の値及び調整量Δｔ等を表示する情報ディスプレイである。
【００６９】
レンズ装置５のＣＰＵ５３は、先行予測値演算部５３１と予測値切替部５３２とを有する。図９に、先行予測値演算部５３１の構成を示す。
【００７０】
先行予測値演算部５３１は、フォロー検出部１１からの実フォローに基づいて予測フォローｆｏｌ１を算出する第１予測値演算部５３１ａと、制御部３５からのコントロールに基づいて予測フォローｆｏｌ２を算出する第２予測値演算部５３１ｂとを有する。
【００７１】
第１予測値演算部５３１ａは、速度演算部１３１１と、乗算器１３１２と、加算器１３１３と、乗算器５３１４と、加算器５３１５とを有する。また、第２予測値演算部５３１ｂは、乗算器３３１２と、加算器３３１３と、乗算器５３１６と、加算器５３１７とを有する。
【００７２】
第１予測値演算部５３１ａは、以下のようにして予測フォローｆｏｌ１を算出する。まず、乗算器５３１４は、実施例２と同様にカメラ装置４から読み込んだ処理時間ｔ２に、先行時間調整部５６から出力された調整量Δｔを乗じる。加算器５３１５は、乗算器５３１４での乗算結果を処理時間ｔ２に加えて調整後の処理時間ｔ２′を出力する。次に、乗算器１３１２は、処理時間ｔ２′に、速度演算部１３１１にて算出された可動部３６の現在の動作速度を乗じて乖離量Δ３を算出し、出力する。そして、加算器１３１３は、実フォローに乖離量Δ３を加算して、予測フォローｆｏｌ１を算出し、出力する。
【００７３】
このようにして第１予測値演算部５３１ａは、可動部３６の実フォローと、速度演算部１３１１からの動作速度と、調整後の処理時間ｔ２′とに基づいて、実フォロー検出時よりも処理時間ｔ２′だけ後の時点での可動部３６の予測位置を算出する。該予測位置は、予測フォローｆｏｌ１として、予測値切替部５３２に出力される。
【００７４】
第２予測値演算部５３１ｂは、以下のようにして予測フォローｆｏｌ２を算出する。まず、乗算器５３１６は、処理時間ｔ２に、先行時間調整部５６から出力された調整量Δｔを乗じる。加算器５３１７は、乗算器５３１６での乗算結果を処理時間ｔ２に加えて調整後の処理時間ｔ２′を出力する。次に、乗算器３３１２は、処理時間ｔ２′にコントロールを乗じて乖離量Δ４を算出し、出力する。そして、加算器３３１３は、実フォローに乖離量Δ４を加算して、予測フォローｆｏｌ２を算出し、出力する。
【００７５】
このようにして第２予測値演算部５３１ｂは、可動部３６の実フォローと、制御部３５からのコントロールと、調整後の処理時間ｔ２′とに基づいて、実フォロー検出時よりも処理時間ｔ２′だけ後の時点での可動部３６の予測位置を算出する。該予測位置は、予測フォローｆｏｌ２として予測値切替部５３２に出力される。
【００７６】
予測値切替部５３２は、Ｓ／Ｍ切替部５７からの切替信号に応じて、予測フォローｆｏｌ１と予測フォローｆｏｌ２のうち一方を選択し、通信部１４，２３を介してカメラ装置４に出力する。
【００７７】
本実施例では、フォロー検出部１１、先行予測値演算部５３１及び予測値切替部５３２により情報供給装置が構成される。また、補正演算部４２１と画像処理部２２２とにより画像処理装置が構成される。
【００７８】
以下、レンズ装置５における電源投入後の初期化処理について、図１０を用いて説明する。この初期化処理は、ＣＰＵ５３によって、その内部メモリに格納されたコンピュータプログラムに従って実行される。
【００７９】
ステップＳＴ０１〜ステップＳＴ０６及びステップＳＴ１１でのＣＰＵ５３の処理は、実施例２と同じである。
【００８０】
ステップＳＴ０５，ＳＴ０６からステップＳＴ０７に進むと、ＣＰＵ５３は、可動部３６がサーボ制御状態か否かを判断する。サーボ制御状態である場合はステップＳＴ０８に進み、サーボ制御状態ではない（マニュアル操作状態である）場合はステップＳＴ０９に進む。
【００８１】
ステップＳＴ０８において、ＣＰＵ５３は、予測フォローｆｏｌ２を選択し、ステップＳＴ１０に進む。また、ステップＳＴ０９において、ＣＰＵ５３は、予測フォローｆｏｌ１を選択し、ステップＳＴ１０に進む。
【００８２】
そして、ステップＳＴ１０′では、ＣＰＵ５３は、選択された予測フォローをカメラ装置４に出力する。
【００８３】
このように、本実施例では、可動部３６がサーボ制御状態である場合は、実フォローとコントロールを用いて算出した予測フォローｆｏｌ２をカメラ装置４に出力する。一方、可動部３６がマニュアル操作状態である場合は、実フォローと該実フォローから求めた動作速度を用いて算出した予測フォローｆｏｌ１をカメラ装置４に出力する。すなわち、サーボ制御状態かマニュアル操作状態かにかかわらず、適切な予測フォローをカメラ装置４に出力することができる。
【００８４】
なお、先行予測値演算部５３１から出力される調整量Δｔについて、サーボ制御状態とマニュアル操作状態とで互いに独立して設定できるようにしてもよい。これにより、調整の自由度を増すことができる。
【００８５】
また、本実施例では、サーボ制御状態においてはコントロールと実フォローを用いて予測フォローｆｏｌ２を算出する場合について説明したが、マニュアル操作状態と同様に実フォローのみから算出してもよい。さらに、予測フォローｆｏｌ１と予測フォローｆｏｌ２のうち、予測の信頼性がより高い予測フォローが、ユーザにより又は自動的に選択されるようにしてもよい。これにより、より一層高い精度での収差補正画像処理を実現することができる。
【実施例４】
【００８６】
図１１には、本発明の実施例４である情報供給装置を含むレンズ装置６と、画像処理装置を含む従来のカメラ装置７とを用いた撮影システムの構成を示している。
【００８７】
レンズ装置６は、実施例３のレンズ装置に、実施例１〜３においてカメラ装置内のメモリ２１に保持されていた収差補正テーブルデータＴｂｌを保持するメモリ（不揮発性メモリ）６９を追加した構成を有する。実施例３と共通する構成要素には、実施例３と同符号を付して説明に代える。一方、カメラ装置７には、収差補正テーブルデータＴｂｌを保持するメモリや、補正演算部は設けられていない。
【００８８】
レンズ装置６のＣＰＵ６３内に設けられた補正演算部６３３は、処理時間ｔ２（＝先行時間）を先行予測値演算部５３１に出力する。先行予測値演算部５３１は、フォロー検出部１１からの実フォローや制御部３５からのコントロールを用いて、予測フォローｆｏｌ１，ｆｏｌ２を算出する。
【００８９】
そして、補正演算部６３３は、メモリ６９に保持された収差補正テーブルデータＴｂｌを用いて、予測値切替部５３２から出力された予測フォロー（ｆｏｌ１又はｆｏｌ２）に対応する収差補正データを生成する。そして、この収差補正データをカメラ装置７に出力する。実施例１〜３では、第１の情報として予測フォローをカメラ装置に出力したが、本実施例では、第１の情報として、予測フォローに対応する収差補正データをカメラ装置７に出力（供給）する。
【００９０】
カメラ装置７のＣＰＵ７２は、レンズ装置６から予測フォローに対応する収差補正データを取得する。そして、該ＣＰＵ７２内の画像処理部２２２にて、撮影映像信号に対する収差補正画像処理を行い、該処理後の映像信号を出力映像信号として出力する。
【００９１】
本実施例では、フォロー検出部１１、先行予測値演算部５３１、予測値切替部５３２及び補正演算部６３３により情報供給装置が構成される。また、画像処理部２２２により画像処理装置が構成される。
【００９２】
本実施例では、レンズ装置６にて収差補正テーブルデータＴｂｌが保持されているため、カメラ装置７へ収差補正テーブルデータＴｂｌを保持させる必要がない。したがって、収差補正テーブルデータＴｂｌを保持していない従来のカメラ装置７を用いた場合でも、実施例１〜３の撮影システムと同等の収差補正画像処理が可能な撮影システムを構築することができる。さらに、本実施例によれば、レンズ装置６で発生する収差に個体差があるような場合でも、個々のレンズ装置６での収差に合わせた収差補正テーブルデータＴｂｌをメモリ６９に保持させることができるので、より高精度な収差補正画像処理を実現することができる。
【実施例５】
【００９３】
図１２には、従来のレンズ装置８と、本発明の実施例５である情報供給装置、及び画像処理装置を含むカメラ装置９とを用いた撮影システムの構成を示している。
【００９４】
本実施例は、実施例１においてレンズ装置１のＣＰＵ１３内に設けられていた先行予測値演算部１３１をカメラ装置９のＣＰＵ９２内に設けた例である。このため、レンズ装置８には、フォロー検出部１１は設けられているが、先行予測値演算部は設けられていない。また、ＣＰＵ９２には、実施例１と同様に、撮像部２４、メモリ２１、画像処理部２２２及び通信部２３が設けられているとともに、実施例２と同様の補正演算部４２１が設けられている。その他、実施例１と共通する構成要素には、実施例１と同符号を付して説明に代える。
【００９５】
レンズ装置８は、フォロー検出部１１により検出された可動部１５の実フォローをそのまま通信部１４を介してカメラ装置９に出力する。
【００９６】
カメラ装置９のＣＰＵ９２には、レンズ装置８から、フォロー検出部１１により検出された実フォローが通信部１４，２３を介して入力される。
【００９７】
ＣＰＵ９２において、先行予測値演算部１３１は、レンズ装置８からの実フォローと補正演算部４２１からの処理時間ｔ２（＝先行時間）とに基づいて、実フォロー検出時（入力時）より先行時間だけ後の時点での可動部１５の予測位置（予測フォロー）を算出する。そして、該予測フォローを補正演算部４２１に出力する。
【００９８】
本実施例では、カメラ装置９の通信部２３が、レンズ装置８に設けられたフォロー検出部１１で検出された実フォローを取得する情報取得手段として機能する。
【００９９】
また、本実施例では、通信部２３、先行予測値演算部１３１及び補正演算部４２１により情報供給装置が構成され、画像処理部２２２により画像処理装置が構成される。ただし、通信部２３及び先行予測値演算部１３１により情報供給装置が構成され、補正演算部４２１及び画像処理部２２２により画像処理装置が構成されると考えることもできる。
【０１００】
本実施例によれば、先行予測値演算部を有さない従来のレンズ装置８から出力される実フォローを用いて、他の実施例と同様に予測フォローを算出し、該予測フォローに対応する収差補正データを生成することができる。このため、従来のレンズ装置８を用いた場合でも収差補正画像処理の遅延を少なくすることができる。
【０１０１】
なお、レンズ装置８に実施例２で説明した制御部３５が設けられている場合には、制御部３５からのコントロールをカメラ装置９に取り込んで予測フォローの算出や該予測フォローに対応する収差補正データの生成を行ってもよい。
【実施例６】
【０１０２】
図１３には、参考技術例として、実施例５で説明した従来のレンズ装置８と、実施例２で説明した画像処理装置を含むカメラ装置４と、これらレンズ装置８及びカメラ装置４に接続された情報供給装置としての先行予測値演算装置１０とを用いた撮影システムの構成を示す。
【０１０３】
先行予測値演算装置１０は、通信部１０１，１０２及び先行予測値演算部１２１を含む。通信部１０１は、先行予測値演算装置１０がレンズ装置８と通信するために設けられており、該通信部１０１を介してレンズ装置８に設けられたフォロー検出部１１からの実フォローが入力される。
【０１０４】
先行予測値演算部１２１は、レンズ装置８から入力された可動部１５の実フォローと、カメラ装置４から入力された処理時間t２（＝先行時間）とに基づいて、実フォローの検出時（取得時）よりも先行時間だけ後の時点での予測フォローを算出する。
【０１０５】
また、通信部１０２は、先行予測値演算装置１０がカメラ装置４と通信するために設けられており、該通信部１０２を介して先行予測値演算装置１０で算出された予測フォローがカメラ装置４に出力される。また、該通信部１０２を介して、カメラ装置４のＣＰＵ４２内に設けられた補正演算部４２１から処理時間t２が先行予測値演算装置１０に入力される。
【０１０６】
本実施例によれば、レンズ装置やカメラ装置が予測フォローを算出する機能を有していなくても、先行予測値演算装置１０を両装置に接続することで、他の実施例と同様に予測フォローの算出及び収差補正データの生成を行うことができる。この結果、収差補正画像処理の遅延を少なくすることができる。
【０１０７】
なお、本実施例では、カメラ装置４内に補正演算部４２１が設けられている場合について説明した。しかし、先行予測値演算装置１０内に補正演算部を設け、先行予測値演算装置１０から第１の情報としての収差補正データ（予測値）がカメラ装置４に出力されるようにしてもよい。
【実施例７】
【０１０８】
図１４には、主として、実施例２〜６で説明した処理時間ｔ２の決定シーケンスを示している。処理時間ｔ２は、実施例２〜６における補正演算部４２１又は６３３によって決定される。ここでは、実施例６に示した補正演算部４２１での処理時間ｔ２の決定シーケンスについて説明する。
【０１０９】
カメラ装置４の電源がオンされた後、ステップＳＴ２０では、補正演算部４２１は、複数の可動部（変倍レンズ、フォーカスレンズ、アイリス及びＩＳ）１５のうち収差補正データの算出対象となる可動部に応じた収差補正データ算出用パラメータを選択する。収差補正データ算出用パラメータは、収差補正テーブルデータＴｂｌから予測フォローに対応する収差補正データを生成する際に使用される、可動部に応じた変数である。これにより、収差補正テーブルデータＴｂｌから、収差補正データの算出対象となる可動部に応じた収差補正データを生成することができる。
【０１１０】
次に、ステップＳＴ２１では、補正演算部４２１は、収差補正レベルを設定する。収差補正レベルとは、撮影映像信号に対する収差補正画像処理による補正の程度を示す。一般には、スーパーハイビジョン等の高解像度の映像に対しては高精度の収差補正画像処理が要求されるため、より高い収差補正レベルが設定される。高い収差補正レベルが設定された場合には、収差補正画像処理に用いられる予測フォローには、より高い分解能が求められる。
【０１１１】
次に、ステップＳＴ２２では、補正演算部４２１は、収差補正データを算出するための演算負荷を算出する。ここでは、収差補正データ算出用パラメータ、収差補正レベル及び収差補正テーブルデータＴｂｌから収差補正データを算出する際の演算規模と、補正演算部４２１の処理能力とから演算負荷を算出する。一般に、演算規模を処理能力で割った値が演算負荷に相当する。
【０１１２】
さらに、ステップＳＴ２３では、補正演算部４２１は、処理時間を算出する。ここでは、ステップＳＴ２２で演算した演算負荷に基づいて、予測フォローの入力時（検出時又は取得時）から収差補正データを算出して出力するまでに要する時間を処理時間として算出する。
【０１１３】
さらに、ステップＳＴ２４では、補正演算部４２１は、最大処理時間を算出する。複数の可動部１５のうち２つ以上の可動部が重複して動作した場合には、それぞれが個別に動作した場合の処理時間よりも長い処理時間が必要になることが多い。このため、現在動作している１又は２以上の可動部に対して必要となる処理時間のうち最も長い時間を最大処理時間として算出する。
【０１１４】
なお、処理時間が長くなる場合としては、上述したような可動部の重複動作時に限らず、補正演算部４２１を含むＣＰＵ４２が通信処理等の他の処理を収差補正データの演算処理と並行して行う場合も含む。
【０１１５】
次に、ステップＳＴ２５では、補正演算部４２１は、ステップＳＴ２４で算出された最大処理時間を処理時間ｔ２に設定する。そして、ステップＳＴ２６では、補正演算部４２１は、先行予測値演算部１３１に処理時間ｔ２を出力する。
【０１１６】
なお、可動部ごとに最大処理時間を算出し、それぞれを処理時間ｔ２として設定及び出力してもよいし、複数の可動部のそれぞれについて算出された最大処理時間のうち最も長い最大処理時間を、全可動部に共通する処理時間として一律に設定してもよい。また、補正演算部４２１での演算負荷が頻繁に変動し、最大処理時間も変化するような場合には、これに合わせて処理時間ｔ２を更新してもよい。
【０１１７】
以上説明したように、上記各実施例では、レンズ装置に設けられた可動部の実フォローに基づいて、撮影画像の収差補正画像処理に用いる予測情報（第１の情報としての予測フォローや該予測フォローに対応する収差補正データ）を算出する。これにより、収差補正データを撮影画像の入力に先行して算出することが可能となり、この結果、収差補正画像処理において生ずる時間的な遅延を少なくすることができる。
【０１１８】
特に、スーパーハイビジョン等の高精細な撮影画像に対して収差補正画像処理を行う場合は収差補正データの算出に要する時間が長くなるため、遅延低減効果が大きい。また、収差補正データを算出する補正演算部の処理能力が低い場合にも、十分な遅延低減効果を得ることができる。
【０１１９】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【０１２０】
例えば、上記実施例では、可動部として機械的に動作するレンズ、アイリス、ＩＳを例に挙げたが、デジタルズーム動作や画像処理による防振動作を行う可動部であってもよい。
【０１２１】
また、上記各実施例では、可動部の状態を示す情報として、可動部の位置を示す情報を用いる場合について説明したが、可動部の動作速度を示す情報であってもよい。
【０１２２】
さらに、上記各実施例では、カメラ装置において収差補正画像処理を行う場合について説明した。しかし、カメラ装置（及びレンズ装置）以外のパーソナルコンピュータ等の外部装置（画像処理装置）において、カメラ装置から取り込んだ撮影画像に対して収差補正画像処理を行うようにしてもよい。また、上記外部装置に、予測フォローや該予測フォローに対応する収差補正データを算出させる情報供給装置としての機能を持たせてもよい。この場合、外部装置における収差補正データの算出に要する処理時間に基づいて、予測フォロー算出のための先行時間を設定すればよい。
【図面の簡単な説明】
【０１２３】
【図１】本発明の実施例１の撮影システムの構成を示すブロック図。
【図２】実施例１における先行予測値演算部の構成を示すブロック図。
【図３】実施例１における処理を時系列的に示した図。
【図４】実施例１における処理を示すフローチャート。
【図５】本発明の実施例２の撮影システムの構成を示すブロック図。
【図６】実施例２における先行予測値演算部の構成を示すブロック図。
【図７】実施例２における処理を示すフローチャート。
【図８】本発明の実施例３の撮影システムの構成を示すブロック図。
【図９】実施例３における先行予測値演算部の構成を示すブロック図。
【図１０】実施例３における処理を示すフローチャート。
【図１１】本発明の実施例４の撮影システムの構成を示すブロック図。
【図１２】本発明の実施例５の撮影システムの構成を示すブロック図。
【図１３】本発明の実施例６の撮影システムの構成を示すブロック図。
【図１４】本発明の実施例７における処理を示すフローチャート。
【符号の説明】
【０１２４】
１，３，５，６，８  レンズ装置
１１  フォロー検出部
１２  メモリ
１３，３３，５３，６３  ＣＰＵ
１３１，５３１  先行予測値演算部
１５，３６  可動部
２，４，７，９  カメラ装置
２１，６９  メモリ
２２，４２，７２  ＣＰＵ
２２１，４２１，６３３  補正演算部
２２２  画像処理部
２４  撮像部
３５  制御部
５３２  予測値切替部
５６  先行時間調整部
５７  Ｓ／Ｍ切替部
５８  表示部
１０  先行予測値演算装置
【図１】
0005483829.tif 000002
【図２】
0005483829.tif 000003
【図３】
0005483829.tif 000004
【図４】
0005483829.tif 000005
【図５】
0005483829.tif 000006
【図６】
0005483829.tif 000007
【図７】
0005483829.tif 000008
【図８】
0005483829.tif 000009
【図９】
0005483829.tif 000010
【図１０】
0005483829.tif 000011
【図１１】
0005483829.tif 000012
【図１２】
0005483829.tif 000013
【図１３】
0005483829.tif 000014
【図１４】
0005483829.tif 000015