(57)【特許請求の範囲】
【請求項１】
光線の経路情報と光量情報とを含むライトフィールドデータの複数のフレームから成る動画データの一つのフレームを基準フレームとし、前記基準フレームのライトフィールドデータから少なくとも１つの仮想焦点面におけるリフォーカス画像を生成するリフォーカス手段と、
前記リフォーカス画像を、前記動画データの補間フレームとして、前記基準フレームと時系列で隣り合う位置に内挿する補間手段と、
前記基準フレームを含む複数のフレームの焦点面の変化に基づいて、前記リフォーカス画像の仮想焦点面を決定する仮想焦点面決定手段と、
を備え、
前記基準フレームを含む複数のフレームの焦点面に変化がなかった場合は、前記仮想焦点面決定手段は前記仮想焦点面の決定を行わず、前記リフォーカス手段は前記リフォーカス画像の生成をしないことを特徴とする画像処理装置。
【請求項２】
前記仮想焦点面決定手段は、前記基準フレームを含む複数のフレームの各フレームの焦点面に対して補間演算を行って前記仮想焦点面を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記リフォーカス手段は、前記基準フレームと前記基準フレームに隣接する前記動画データのフレームの焦点面を一致させたのち加算平均合成を行って生成したフレームを基準フレームとして前記リフォーカス画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記補間手段による前記リフォーカス画像の内挿を含む所定の処理を前記動画データに行う処理手段をさらに備え、
前記リフォーカス手段は、前記所定の処理に従って前記基準フレームから生成する前記リフォーカス画像の数を決定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記所定の処理は、前記動画データのフレームレートを変換するフレームレート変換処理であり、前記処理手段は、変換するフレームレートを設定する設定手段を有し、前記仮想焦点面決定手段は、前記設定されたフレームレートと前記動画データのフレームレートに基づいて、前記補間手段が内挿する補間フレームの数を決定し、前記動画データのフレームレートは前記設定されたフレームレートよりも低いことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
基準フレームは、前記動画データの各フレームであり、前記処理手段は、前記決定された数の補間フレームを前記基準フレームの以前、前後、以降のいずれかに内挿してフレームレートが変換された動画データを生成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記所定の処理は、動画撮影中の静止画撮影のために撮影された動画データから欠落したフレームの補間処理であり、前記基準フレームは、前記動画データにおける前記静止画撮影の直前のフレームであることを特徴とする請求項４に記載の画像処理装置。
【請求項８】
光線の経路情報と光量情報とを含むライトフィールドデータの複数のフレームから成る動画データの一つのフレームを基準フレームとし、前記基準フレームのライトフィールドデータから少なくとも１つの仮想焦点面におけるリフォーカス画像を生成するリフォーカス手段と、
前記リフォーカス画像を、前記動画データの補間フレームとして、前記基準フレームと時系列で隣り合う位置に内挿する補間手段と、
前記基準フレームを含む複数のフレームの焦点面の変化に基づいて、前記リフォーカス画像の仮想焦点面を決定する仮想焦点面決定手段と、
前記補間手段による前記リフォーカス画像の内挿を含む所定の処理を前記動画データに行う処理手段と、
を備え、
前記所定の処理は、動画撮影中の静止画撮影のために撮影された動画データから欠落したフレームの補間処理であり、前記基準フレームは、前記動画データにおける前記静止画撮影の直前のフレームであることを特徴とする画像処理装置。
【請求項９】
撮像光学系と、
前記撮像光学系の特定の射出瞳領域を通過した光線を受光する複数の分割画素を備える画素の２次元配列を有し、前記光線の経路情報と光量情報とを含むライトフィールドデータの複数のフレームから成る動画データを生成する撮像手段と、
前記複数のフレームから成る動画データの一つのフレームを基準フレームとし、前記基準フレームのライトフィールドデータから少なくとも１つの仮想焦点面におけるリフォーカス画像を生成するリフォーカス手段と、
前記リフォーカス画像を、前記動画データの補間フレームとして、前記基準フレームと時系列で隣り合う位置に内挿する補間手段と、
前記基準フレームを含む複数のフレームの焦点面の変化に基づいて、前記リフォーカス画像の仮想焦点面を決定する仮想焦点面決定手段と、
前記補間手段による前記リフォーカス画像の内挿を含む所定の画像処理を前記動画データに行う処理手段と、
を備え、
前記基準フレームを含む複数のフレームの焦点面に変化がなかった場合は、前記仮想焦点面決定手段は前記仮想焦点面の決定を行わず、前記リフォーカス手段は前記リフォーカス画像の生成をしないことを特徴とする撮像装置。
【請求項１０】
光線の経路情報と光量情報とを含むライトフィールドデータの複数のフレームから成る動画データの一つのフレームを基準フレームとし、前記基準フレームのライトフィールドデータから少なくとも１つの仮想焦点面におけるリフォーカス画像を生成するリフォーカス工程と、
前記リフォーカス画像を、前記動画データの補間フレームとして、前記基準フレームと時系列で隣り合う位置に内挿する補間工程と、
前記基準フレームを含む複数のフレームの焦点面の変化に基づいて、前記リフォーカス画像の仮想焦点面を決定する仮想焦点面決定工程と、
を備え、
前記基準フレームを含む複数のフレームの焦点面に変化がなかった場合は、前記仮想焦点面決定工程は前記仮想焦点面の決定を行わず、前記リフォーカス工程は前記リフォーカス画像の生成をしないことを特徴とする画像処理方法。
【請求項１１】
画像処理装置を制御するためのプログラムであり、
コンピュータを、
光線の経路情報と光量情報とを含むライトフィールドデータの複数のフレームから成る動画データの一つのフレームを基準フレームとし、前記基準フレームのライトフィールドデータから少なくとも１つの仮想焦点面におけるリフォーカス画像を生成するリフォーカス手段、
前記リフォーカス画像を、前記動画データの補間フレームとして、前記基準フレームと時系列で隣接する位置に内挿する補間手段、
前記基準フレームを含む複数のフレームの焦点面の変化に基づいて、前記リフォーカス画像の仮想焦点面を決定する仮想焦点面決定手段、
として機能させ、
前記基準フレームを含む複数のフレームの焦点面に変化がなかった場合は、前記仮想焦点面決定手段が前記仮想焦点面の決定を行わず、前記リフォーカス手段が前記リフォーカス画像の生成をしないように機能させるプログラム。
【請求項１２】
請求項１１に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影データの再構成によって任意の焦点面の画像を生成可能な画像処理装置に関し、特に再構成された画像を利用してフレームレート変換などの処理を行う画像処理装置に関する。
【背景技術】
【０００２】
例えば特許文献１には、デジタルカメラなどで撮影された動画像のフレームレートを変換する技術が開示されている。この文献に係る技術では、時間的に隣接するフレーム画像から補間フレーム画像を生成し、元の動画像に補間フレーム画像を追加することでフレームレートを変換している。これによりフレームレート変換後の動画像において、滑らかな表示を可能としている。
【０００３】
一方、結像光学系の射出瞳の異なる領域を通過した光束を撮像素子によって取得し、得られた信号を合成することにより、１回の撮影で任意の焦点面における像の画像データを生成する技術が開示されている（特許文献２）。このような機能を持つカメラは一般にライトフィールドカメラとして知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２４４３３０号公報
【特許文献２】特開２００７−００４４７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１では、フレーム間における被写体の動きを補間することにより、焦点面の変化に対しても補間はなされるが、焦点面の補間として適切であるとは限らない。加算平均で補間フレームを生成した場合、焦点面の変化も滑らかになったように見えるが、実際には複数の焦点面が存在することになる。
【０００６】
また、特許文献２では１回の撮影データから任意の焦点面の画像を生成できるが、動画像における時系列の焦点面変化の補間に関する言及はない。
【０００７】
本発明は上記の問題点に鑑み、動画像における補間フレームの追加おいて、追加後の動画像の焦点面の変化を滑らかにすることを可能にする画像処理装置の提供を目的とする。
【課題を解決するための手段】
【０００８】
画像処理装置は、光線の経路情報と光量情報とを含むライトフィールドデータの複数のフレームから成る動画データの一つのフレームを基準フレームとし、基準フレームのライトフィールドデータから少なくとも１つの仮想焦点面におけるリフォーカス画像を生成するリフォーカス手段と、リフォーカス画像を、動画データの補間フレームとして、基準フレームと時系列で隣り合う位置に内挿する補間手段と、基準フレームを含む複数のフレームの焦点面の変化に基づいて、リフォーカス画像の仮想焦点面を決定する仮想焦点面決定手段とを備える。
【発明の効果】
【０００９】
本発明によれば、動画像における補間フレームの追加において、補間フレームの追加後の動画像の焦点面の変化を滑らかにすることを可能にする画像処理装置を提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施例に係わる画像処理装置の構成を示すブロック図である。
【図２】ライトフィールドカメラにおける撮像素子の構成を説明するための図である。
【図３】分割画素と入射光との関係を模式的に示す図である。
【図４】ライトフィールドデータのリフォーカス処理を模式的に示す図である。
【図５】本発明の第１の実施例に係わる画像処理装置におけるフレームレート変換処理動作のフローチャートを示す図である。
【図６】本発明の第１の実施例に係わるフレームレート変換おける焦点面の決定とフレーム補間を模式的に示す図である。
【図７】本発明の第２の実施例に係わる撮像装置の構成を示すブロック図である。
【図８】本発明の第２の実施例に係わる撮像装置におけるフレームレート変換処理動作のフローチャートを示す図である。
【図９】本発明の第３の実施例に係わる動画撮影中の静止画撮影処理における欠損フレームの補間フレームを説明するための図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明の好適な実施の形態を詳細に説明する。
【実施例１】
【００１２】
図１から図６を参照して、本発明の第１の実施例に係る画像処理装置を説明する。本発明は、動画データから生成されたフレーム画像で当該動画データのフレームを補間することを含む所定の処理にライトフィールドデータから得られる仮想焦点面における再構成画像（リフォーカス画像）を利用する発明である。第１の実施例は、所定の処理の例としてフレームレート変換処理を用い、ライトフィールドカメラである撮像装置で撮影された動画データ（ライトフィールドデータ）から生成された再構成画像を補間フレームとして用いる。これにより、フレームレート変換後の動画像の焦点面の変化を滑らかにすることが可能となる。
【００１３】
図１は、本実施例に係わる画像処理装置１００の構成を示すブロック図である。同図において、画像処理装置１００は、設定部１０１、入力部１０２、フレームレート変換部１０３、および出力部１０７を備える。
【００１４】
設定部１０１は、各種スイッチやグラフィカルユーザインターフェースなどの操作手段であり、変換後のフレームレートの設定を受け付ける。設定部１０１で設定されたフレームレートは仮想焦点面決定部１０４に出力される。入力部１０２は、指定された動画データ（ライトフィールドデータ）を読み込み、フレームレート変換部１０３の各部に出力する。
【００１５】
フレームレート変換部１０３は、仮想焦点面決定部１０４、リフォーカス画像生成部１０５、および変換データ生成部１０６で構成され、動画撮影により記録された動画データを低フレームレートから高フレームレートに変換する。仮想焦点面決定部１０４は、入力動画データに付与された焦点面情報および設定されているフレームレートに基づいて、フレームレート変換で内挿される補間フレームの仮想焦点面を決定し、リフォーカス画像生成部１０５に出力する。
【００１６】
リフォーカス画像生成部１０５は、入力動画データおよび仮想焦点面決定部１０４で決定された仮想焦点面に基づき、シフト加算演算によって仮想焦点面におけるリフォーカス画像を生成する。リフォーカス画像生成部１０５で生成されたリフォーカス画像は、変換データ生成部１０６に出力される。
【００１７】
ここで、図２から図４を用いて、ライトフィールドカメラにおける撮像素子の構成とリフォーカスの原理について説明する。
【００１８】
図２（ａ）はライトフィールドカメラにおける撮像素子の一部の領域を拡大した図であり、マイクロレンズアレイと画素の対応関係を示す図である。図中の円２０１はマイクロレンズを示している。前記マイクロレンズ２０１に対応する矩形領域は画素である。撮像素子は、図２（ａ）に示すマイクロレンズ２０１と画素との２次元配列を有する。
【００１９】
次に画素の構成について説明する。図２（ｂ）は撮像素子上の１画素を上面から観察した図である。図２（ｃ）は図２（ｂ）に示す線分Ｐ−Ｐ´における画素の断面図である。なお図２において同一の部分については同一の番号を付して示す。
【００２０】
マイクロレンズ２０１は、撮像光学系から出力された光束を集光する。マイクロレンズ２０１は撮像光学系の結像面近傍に配置されている。２０２〜２０５は光電変換部である。以後、これらの光電変換部を分割画素と呼称する。図３に示すように、分割画素２０２および分割画素２０３は、図３に示す撮像光学系の射出瞳３０１上の特定の領域３０２および３０３を通過した光束をそれぞれ受光する。
【００２１】
図４は、上記ライトフィールドカメラで取得されたライトフィールドデータに対するリフォーカス処理の動作を説明する図である。図４（ａ）は撮像素子の有る領域における入射光と焦点面の関係を示している。図３で説明した射出瞳領域３０２および３０３を通過した光束はマイクロレンズにより瞳分割され、分割画素で受光される。分割画素４０１、４０３、４０５，４０７、４０９では射出瞳領域３０２を通過した光束を、分割画素４０２、４０４、４０６、４０８、４１０では射出瞳領域３０３を通過した光束をそれぞれ受光する。
【００２２】
図４（ｂ）はそれぞれの分割画素が受光する光束を模式的に示した図である。同一レンズ下の分割画素４０１および４０２、４０３および４０４、４０５および４０６、４０７および４０８、４０９および４１０をそれぞれ加算することによって同一の種類の線で表わされる光束が結像した画像を得ることができる。
【００２３】
図４（ｄ）は受光した信号群をシフトして加算する例を示している。それぞれの分割画素は図４（ａ）で示した光線の経路情報と光量情報を有しているため、シフト加算によって得られる信号は、異なる種類の線で表わされる光束が結像した信号が得られる。これは図４（ｃ）に示すような仮想焦点面４１１で取得できる信号と近似して扱うことができる。
【００２４】
図４（ｆ）は逆方向にシフトして加算を行った例であり、図４（ｅ）に示すような仮想焦点面４１２で得られる信号と近似した信号として扱うことができる。
【００２５】
同様にして縦方向に対してもシフト加算し、全ての画素に対して処理を行うことで、任意の位置に焦点面を変化させたリフォーカス画像を得ることができる。
【００２６】
このようにシフト加算を用いることで任意の被写体領域にピントの合ったリフォーカス画像を生成することができる。
【００２７】
なお、ここではマイクロレンズに対して分割画素が４つである場合の例を用いてリフォーカス処理を説明したが、本発明の範囲はこれに限定されるものではない。分割画素の分割数等の画素構造や光学系の構成に応じた再合成処理を行うことで合成用仮想焦点面に対応したリフォーカス画像を得ることができればよい。詳細は公知の技術であるため、省略する。
【００２８】
また、説明の為に簡易なシフト加算演算によるリフォーカス処理の例を示したが、これに限定されるものではなく、別の方法を用いて各仮想焦点面におけるリフォーカス画像を得ても良い。例えば特許文献２のように重み付けを行ったシフト加算による処理を行うようにしても良い。
【００２９】
図１に戻り、変換データ生成部１０６は、リフォーカス画像生成部１０５で生成されたリフォーカス画像と入力動画データから、フレームレートを変換したデータを生成する。生成された変換データは出力部１０７に出力される。なお、フレームレート変換部１０３の各部の詳細な動作については後述する。
【００３０】
出力部１０７は、フレームレート変換部１０６で生成された変換データに対して、符号化によるデータ圧縮等のコーデック処理を行い、生成された動画データをメモリ等の記憶手段に記録する。
【００３１】
以上、実施形態における画像処理装置１００の構成について説明した。次に、本実施例におけるフレームレート変換動作を、図５および図６を用いて説明する。
【００３２】
図５は、動画データを低いフレームレートから高いフレームレートに変換する場合の変換処理動作のフローチャートを示す図である。また、図６は３０ｆｐｓから１２０ｆｐｓにフレームレート変換する場合の処理を模式的に示した図である。図６（ａ）は、入力動画データが撮影された時の撮影時間に対する焦点面（ピント位置）の変化例を示している。ここで焦点面とは、レンズの光学系情報とフォーカスレンズ位置から算出される値であり、基本的には主被写体までの距離に相当する。図６（ｂ）は、入力動画データの動画記録フレームレートが３０ｆｐｓの場合の記録フレームの例を示している。図６（ｃ）は、フレームレート変換部１０３によって入力動画データを１２０ｆｐｓにフレームレート変換した場合のフレームの例を示している。
【００３３】
次に、図５のフローチャートの各ステップの処理を、図６（ａ）（ｂ）（ｃ）を参照して説明する。図５のフローチャートに従った処理動作は、画像処理装置１００の不図示の制御部のＣＰＵが、当該制御部が有するメモリに格納された制御プログラムを実行することで実現される。
【００３４】
ステップＳ５０１では、仮想焦点面決定部１０４が設定部１０１よって入力された変換フレームレートの設定値を読み込む。変換フレームレートの設定がなされると、ステップＳ５０２に進む。
【００３５】
ステップＳ５０２では、仮想焦点面決定部１０４が、入力部１０２で読み込まれた入力データの動画記録フレームレートと、ステップＳ５０１で設定された変換フレームレートから内挿する補間フレーム数を決定する。図６（ｂ）および（ｃ）に示すように記録フレームレートが３０ｆｐｓであり、これを１２０ｆｐｓに変換する場合には、内挿する補間フレーム数は６１１〜６１３、６１５〜６１７、６１９〜６２１というように３フレームとなる。ここで、フレームレート変換前のフレーム６０７、６０８、６０９はそれぞれ、変換後のフレーム６１０、６１４、６１８に対応し、同一のフレームである。ステップＳ５０２で仮想焦点面決定部１０４により内挿される補間フレーム数が決定されると、ステップＳ５０３に進む。
【００３６】
ステップＳ５０３では変換データ生成部１０６が、出力フレームとして生成するフレームが補間処理を必要としない動画記録フレーム（以下、基準フレームと称する）の順番か、内挿する補間フレームの順番であるか否かを判定する。出力フレームとして内挿する補間フレームを生成する場合はステップＳ５０４に進み、動画記録フレームをそのまま出力フレームとする場合にはステップＳ５０６に進む。
【００３７】
ステップＳ５０４では、仮想焦点面決定部１０４が内挿する複数の補間フレームの仮想焦点面を決定する。図６の（ａ）（ｂ）に示すように動画撮影中にフォーカスレンズが駆動し、焦点面６０１が変化している場合に対して、その変化の連続性が維持されて変換後の動画において焦点面の変化が滑らかになるように、内挿する補間フレームの仮想焦点面を決定する。内挿する補間フレームの仮想焦点面は、変換前の時系列に隣り合う２つのフレームにおける焦点面を線形補間することで求める。ここでは動画の記録フレーム６０７と６０８の間に内挿する補間フレームの仮想焦点面を決定する例を説明する。記録フレーム６０７，６０８の焦点面６０２、６０３からフレーム間の焦点面変化を線形補間し、ステップＳ５０２で決定された補間フレーム数に応じて内挿する補間フレームの仮想焦点面６０４〜６０６を決定する。ステップＳ５０４で仮想焦点面が決定されると、ステップＳ５０５に進む。
【００３８】
ステップＳ５０５では、リフォーカス画像生成部１０５がステップＳ５０４で決定した仮想焦点面に基づいてリフォーカス画像の生成を行い、内挿する複数補間フレームを生成する。ここでは入力動画データの動画記録フレーム６０７を基準フレームとし、これと次のフレーム６０８との間に内挿する補間フレームを仮想焦点面６０４〜６０６に基づいて、基準フレーム６０７に対してリフォーカス処理を行い、補間フレーム６１１〜６１３を生成している。
【００３９】
次にステップＳ５０６では、変換データ生成部１０６が仮想焦点面に基づいたリフォーカス処理によって生成された補間フレームおよび動画記録フレームからフレームレート変換データを生成し、出力部１０７に出力する。
【００４０】
ステップＳ５０７では、出力部１０７がステップＳ５０６で生成されたフレームレート変換データに符号化によるデータ圧縮等のコーデック処理を行い、画像処理装置１００の不図示の記憶媒体に記録する。ステップＳ５０７の変換データの記録処理が終了すると、ステップＳ５０８に進む。
【００４１】
ステップＳ５０８では、入力部１０２に未変換のデータが残っているか否かを判定する。未変換のデータが残っている場合はステップＳ５０３に戻り、すべてのデータの変換が完了した場合はフレームレート変換処理を終了する。
【００４２】
以上説明したように、本実施例によれば、フレーム間の焦点面変化を補間して生成したフレームを内挿することで、低フレームレートから高フレームレートへの変換において焦点面の変化が滑らかな動画像を生成することが可能となる。
【００４３】
本実施例では、内挿する補間フレームの仮想焦点面を決定する際、時系列に隣り合う２つのフレーム間を線形補間する例を説明したが、これに限られるものではなく、別の補間演算を用いてフレーム間の焦点面を補間して求めてもよい。例えば２つ以上のフレームにおける焦点面情報を用いて、ラグランジュ補間による処理を行うようにしてもよい。
【００４４】
また、補間フレームは動画記録フレームを基準とし、それ以降に内挿フレーム数だけ基準フレームをリフォーカス処理して生成したフレームを内挿したが、これに限られるものではない。基準フレームの以前、前後、以降のいずれかに内挿フレーム数だけ基準フレームをリフォーカス処理して得られる補間フレームを内挿してもよい。
【００４５】
また、本実施例では焦点面の補間に言及して説明をしたが、被写体の動作に対する補間も考慮して内挿する補間フレームを生成してもよい。例えば、隣接する２つの基準フレームの焦点面が一致するように各分割画素をシフトさせた上で加算平均合成し、その後に焦点面を補間するようにリフォーカス処理を行うことで内挿する補間フレームを生成する。このような手順で補間フレームを生成することで、被写体の動きを補間し、複数の焦点面を存在させることなく焦点面の変化も補間することが可能となる。
【００４６】
また、内挿する補間フレームを生成する際のリフォーカス処理はフレーム全体に対して行う例を示したが、これに限らず、被写体や背景といった領域ごとに処理してもよい。
【００４７】
また、変換する動画記録フレーム間において焦点面が変化していなかった場合、もしくは基準フレームをそのまま出力フレームとする場合には、仮想焦点面の決定Ｓ５０４およびリフォーカス画像の生成Ｓ５０５の処理を行わない。これにより処理負荷および消費電力を低減することも可能である。
【００４８】
また、本実施例ではハードウェアによる構成を例にして説明したが、これに限られるものではなく、本発明の特徴とする動作フローをソフトウェアとして実現してもよい。
【実施例２】
【００４９】
図７および図８を参照して、本発明の第２の実施例を説明する。本実施例では、第１の実施例で説明した画像処理装置１００のフレームレート変換部１０３を撮像装置に適用した例について説明する。本発明の画像処理装置を撮像装置に適用することで、動画撮影と同時に焦点面の変化が滑らかなフレームレート変換処理が可能となり、記録データの読み込み等の処理が削減され、電力消費の削減も期待される。
【００５０】
図７は本実施例に係わる撮像装置７００の構成を示すブロック図、図８は本実施例に係わる撮像装置における動画撮影動作のフローチャートを示す図である。なお、第１の実施例で既に説明を行った部分については同一の記号を付し、ここでの詳細な説明を省略する。
【００５１】
図７において、７０１はフォーカスレンズを含んで構成される撮像光学系である。撮像光学系７０１は被写体からの光を受け、複数のレンズ群および絞りを介して撮像素子７０２に光を導く。撮像光学系７０１に含まれるフォーカスレンズは不図示のレンズ駆動制御部からの駆動命令またはピントリングの回転動作に基づいて駆動し、ピント位置の調節を可能にする。撮像光学系７０１を通過した光束は撮像素子７０２上に被写体の光学像を形成する。
【００５２】
撮像素子７０２には、第１の実施例で説明したように複数のマイクロレンズが格子状に並べられており、各マイクロレンズ下には複数の分割画素が備えられている。撮像素子７０２は受光した光束を電気信号に変換し、アナログ信号としてＡ／Ｄ変換部７０３に出力する。
【００５３】
Ａ／Ｄ変換器７０３は撮像素子７０２からのアナログ信号をデジタル信号に変換するための変換器である。Ａ／Ｄ変換器７０３は、変換したデジタル信号を画像処理部７０４に出力する。
【００５４】
画像処理部７０４は、後述する焦点検出部７０５、第１の実施例で説明したフレームレート変換部１０３を含む画像処理機能を有する回路及びシステム制御部７０６が実行するプログラム群である。画像処理部７０４は、システム制御部７０６からの制御命令に基づいてＡ／Ｄ変換部７０３によって取得されるデジタル信号群に対して画像処理を行い、記録用および表示用の画像データを生成する。画像処理部７０４で行われる画像処理は、倍率色収差補正や歪み補正、ノイズリダクション処理やガンマ処理などの現像処理である。
【００５５】
焦点検出部７０５は、Ａ／Ｄ変換器７０３を介して得られたデジタル信号群に基づいて相関演算を行い、レンズ位置調節に用いる評価値を算出する。焦点検出部７０５により算出された評価値はシステム制御部７０６を介してレンズ駆動命令へと変換され、撮像光学系７０１の駆動に用いられる。
【００５６】
ここで、焦点検出部７０５の詳細な動作について説明する。焦点検出部７０５は始めに、オートフォーカス領域内の瞳分割像を生成する。先の撮像素子７０２の説明でも述べたが、分割画素はそれぞれ射出瞳上の異なる領域を通過した光束を受光する。従って、マイクロレンズ中央に対して対称の位置関係にある分割画素の出力を集めることで、一対の瞳分割された信号を得ることができる。次に、得られた前記一対の瞳分割像に対して相関演算を行い、信号の差、つまりズレ量を算出する。相関演算は、前記一対の瞳分割像を水平方向にシフトさせながら重なり合う画素毎の差分値の絶対値を積分することで評価値を取得する。次に前記評価値が最も低くなる位置、すなわち瞳分割像の一致度が最も高くなる位置までの像のシフト量を算出する（ＳＡＤ演算）。このシフト量に基づいて撮像光学系７０１を駆動して焦点面調節を行う。
【００５７】
なお、ここでは評価値として各画素の差分の絶対値を用いる例について説明したが、差分値の２乗和（ＳＳＤ演算）、またはそれ以外の方法によって評価値を取得してもよい。
【００５８】
図７に戻り、システム制御部７０６はＣＰＵを含み、不図示のメモリに格納されている制御プログラムに従ってシステム全体の動作制御を行う。また、システム制御部７０６は画像処理によって得られたデータや、撮像光学系７０１のレンズ位置情報の取得等の各ブロック間の信号の入出力も行う。
【００５９】
操作手段７０７は撮像装置７００に備えられた各種スイッチやダイヤルなどの操作部材であり、撮影者は操作部７０７を用いて撮影パラメータの設定や撮影動作などを制御することが可能である。操作部７０７による操作入力はシステム制御部７０６に出力される。
【００６０】
表示部７０８はＬＣＤ等のディスプレイであり、システム制御部７０６から転送される撮影時の画像や記憶部７０９に記憶された画像データ、および各種設定画面などを表示する。記憶部７０９はＳＤカードやＣＦカードなどの記録媒体であり、システム制御部７０６を介して転送される画像データの記録や、記録データの読み出しを行う。
【００６１】
以上が本実施例に係わる撮像装置７００の構成である。次に、本実施例に係わる撮像装置におけるフレームレートの変換動作を、図８を用いて説明する。図８は、撮像装置７００において動画の撮影中に撮影記録フレームレートの動画と高フレームレートに変換した動画を同時に生成する場合の撮影動作のフローチャートを示す図である。撮像装置７００は、操作部７０７により動画撮影開始操作が実行されると、システム制御部７０６が制御プログラムを実行して以下の処理動作を実現する。
【００６２】
ステップＳ８０１では、仮想焦点面決定部１０４が操作部７０７によって入力された撮影記録フレームレートおよび変換フレームレートの設定値を、システム制御部７０６を介して読み込む。撮影記録、変換フレームレートの設定がなされると、ステップＳ５０２に進む。
【００６３】
ステップＳ５０２では、第１の実施例で説明したように仮想焦点面決定部１０４が、ステップＳ８０１で設定されたフレームレートから内挿する補間フレーム数を決定する。ステップＳ５０２で仮想焦点面決定部１０４により内挿される補間フレーム数が決定されると、ステップＳ８０２に進む。
【００６４】
ステップＳ８０２では、システム制御部７０６が操作部７０７によって動画撮影の停止操作が行われたか否かを判定する。ステップＳ８０２で動画撮影の停止操作が行われたと判定した場合は、動画撮影動作を終了する。一方、ステップＳ８０２で停止操作が行われなかった場合には、ステップＳ８０３に進む。
【００６５】
ステップＳ８０３では、オートフォーカス、自動露出機能による絞り値、シャッタースピードの決定といった撮影の予備動作を行う。ステップＳ８０３で撮影の予備動作が完了すると、ステップＳ８０４に進む。
【００６６】
ステップＳ８０４では、動画撮影フレームレートに応じたシャッタースピードで露光が行われ、撮像素子７０２から撮影対象領域の信号が出力される。ステップＳ８０４で露光動作が完了すると、ステップＳ８０５に進む。
【００６７】
ステップＳ８０５では、画像処理部７０４が撮像素子７０２およびＡ／Ｄ変換器７０３によって取得された撮影対象領域のデジタル信号に対して現像処理等の画像処理を施し、記録用および表示用の画像データを生成する。ステップＳ８０５で画像処理が完了すると、ステップＳ８０６に進む。
【００６８】
ステップＳ８０６では、フレームレート変換部１０３が第１の実施例で説明したステップＳ５０４〜Ｓ５０６の処理により内挿する補間フレームの仮想焦点面の決定、デジタル信号のリフォーカス処理、変換データの生成を行い、フレームレート変換処理を行う。各フレームの焦点面情報は焦点検出部７０５によって取得される。
【００６９】
焦点検出部７０５は現在のフォーカスレンズの位置から現フレームの焦点面情報を取得し、算出したシフト量に基づいて次のフレームの焦点面情報を取得することができる。フレームレート変換部１０３は、焦点検出部７０５によって取得された現フレームと次のフレームの焦点面情報を用いた線形補間により内挿する補間フレームの仮想焦点面を決定する。
【００７０】
ステップＳ８０７では、ステップＳ８０５で生成された記録用データおよび、Ｓ８０６で生成されたフレームレート変換データが、システム制御部７０６を介して画像処理装置７００の不図示の記憶媒体スロットに挿入されている記憶部７０９に記録される。また、表示用データはシステム制御部７０６を介して、表示部７０８に表示される。
【００７１】
以上説明したように、撮像装置として構成すると、動画撮影と同時にフレームレート変換処理が可能となり、記録データの読み込み等の処理が削減されるため、電力消費の削減もできる。
【実施例３】
【００７２】
図９を参照して、本発明の第３の実施例に係る画像処理装置について説明する。第１の実施例および第２の実施例では、動画データを低フレームレートから高フレームレートに変換する処理を例にして本発明の焦点面の変化を滑らかにする構成を示した。本実施例では、フレーム補間を含む所定の処理として、動画撮影中に静止画撮影を行う場合に欠落してしまうフレームを補間して動画記録データ、表示データを生成する処理を例にして本発明に係わる焦点面の変化を滑らかにする構成を説明する。なお、本実施例に係わる構成は、第２の実施例に係わる撮像装置あるいは第１の実施例に係わる画像処理装置が適用されていない撮像装置に適用できることは明らかである。
【００７３】
図９は、動画撮影中に静止画撮影を行った場合に、欠損してしまう動画記録フレームを模式的に示す図である。図９（ａ）は、ある一定時間において撮影された動画記録フレームを示しており、フレーム９０５〜９０８は、図９（ｂ）に示す動画撮影中に行われた静止画の撮影処理９１３によって欠損してしまうフレームを示している。
【００７４】
第２の実施例で説明した撮像装置７００では、動画撮影処理時において操作手段７０７に含まれるシャッターボタンが半押し状態になるとオートフォーカス等の予備動作を行い、シャッターボタンが全押し状態になると静止画の撮影処理が行われるようになっている。動画撮影中の静止画撮影ではモードの切り替えが発生するため、静止画撮影動を行っている間は撮影記録フレームレートで動画撮影を継続することができない。したがって、動画記録データおよび表示用データは静止画撮影処理が完了し、再び動画撮影モードに戻るまでの間はフレームが更新されないという問題がある。
【００７５】
前記問題に対して、第１の実施例および第２の実施例で説明したフレームレート変換処理を静止画撮影開始直前のフレームを基準フレームとして適用する。これにより、静止画撮影処理期間において同一のフレームを記録、表示するのではなく、焦点面の変化を滑らかに表現したフレームを記録、表示することが可能となる。なお、補間フレームの数は動画撮影のフレームレートと静止画撮影に要した時間などから決定することが可能である。
【００７６】
以上説明したように、本実施例に従って動画撮影中に静止画撮影を行っている期間の動画記録および表示データに対して本発明を適用すれば、撮影された動画像において焦点面の変化を滑らかに表現することが可能になる。結果として、撮影者に対して違和感の少ない動画表示を提供することができる。
【００７７】
［他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図１】
0006478587.tif 000002
【図２】
0006478587.tif 000003
【図３】
0006478587.tif 000004
【図４】
0006478587.tif 000005
【図５】
0006478587.tif 000006
【図６】
0006478587.tif 000007
【図７】
0006478587.tif 000008
【図８】
0006478587.tif 000009
【図９】
0006478587.tif 000010