(57)【要約】【課題】撮影前に取得したデータを用いて画像を再構成する操作を行うことで、メモリ容量の消費を低減しつつユーザの意図に沿ったリフォーカス画像を生成できる技術を実現する。【解決手段】画像の焦点面位置を変更したリフォーカス画像を生成する撮像装置であって、被写体像を光電変換する撮像手段と、前記撮像手段により生成されるＲＡＷデータを取得する取得手段と、前記ＲＡＷデータを記録する記録手段と、前記ＲＡＷデータを前記記録手段に記録するための操作を行う操作手段と、前記リフォーカス画像を生成するリフォーカスモードにおいて、画像の焦点面位置を設定する設定手段と、前記設定手段により設定された焦点面位置に基づいてリフォーカス画像を生成する生成手段と、前記操作手段による操作の有無に応じて前記ＲＡＷデータを前記記録手段に記録するか、前記リフォーカスモードに移行するかを切り替える制御手段と、を有する。【選択図】図５
2013247478.tif 000002
【特許請求の範囲】
【請求項１】
画像の焦点面位置を変更したリフォーカス画像を生成する撮像装置であって、
被写体像を光電変換する撮像手段と、
前記撮像手段により生成されるＲＡＷデータを取得する取得手段と、
前記ＲＡＷデータを記録する記録手段と、
前記ＲＡＷデータを前記記録手段に記録するための操作を行う操作手段と、
前記リフォーカス画像を生成するリフォーカスモードにおいて、画像の焦点面位置を設定する設定手段と、
前記設定手段により設定された焦点面位置に基づいてリフォーカス画像を生成する生成手段と、
前記操作手段による操作の有無に応じて前記ＲＡＷデータを前記記録手段に記録するか、前記リフォーカスモードに移行するかを切り替える制御手段と、を有することを特徴とする撮像装置。
【請求項２】
前記ＲＡＷデータは、シーン中の点から発せれた光線の輝度情報と、その光線の入射方向の情報を含むライトフィールドＲＡＷデータを含み、
前記設定手段は回転操作部材またはタッチパネルであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記操作手段はシャッターボタンであり、
前記シャッターボタンの半押し状態または全押し状態を検出する検出手段をさらに有し、
前記制御手段は、前記半押し状態を検出してから所定時間経過しても前記全押し状態を検出しない場合に前記リフォーカスモードに移行し、
前記リフォーカスモードに移行してから前記全押し状態を検出すると前記生成手段により生成されたリフォーカス画像を前記記録手段に記録することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記取得手段により取得したＲＡＷデータを表示する表示手段と、
タッチパネルへのタッチ操作およびタッチ位置を検出する検出手段をさらに有し、
前記制御手段は、前記タッチ操作を検出すると前記リフォーカスモードに移行し、
前記リフォーカスモードに移行してから前記操作手段による操作を検出すると前記生成手段により生成されたリフォーカス画像を前記記録手段に記録することを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
前記生成手段は、前記リフォーカス画像を圧縮した圧縮データを生成し、
前記記録手段は、前記圧縮データを記録することを特徴とする請求項１に記載の撮像装置。
【請求項６】
被写体像を光電変換する撮像手段と、
前記撮像手段により生成されるＲＡＷデータを記録する記録手段と、を有する撮像装置の制御方法であって、
前記撮像手段により生成されるＲＡＷデータを取得する取得工程と、
前記ＲＡＷデータを前記記録手段に記録するための操作を行う操作手段の操作の有無を検出する検出工程と、
前記操作手段の操作の有無に応じて前記ＲＡＷデータを前記記録手段に記録するか、画像の焦点面位置を変更したリフォーカス画像を生成するリフォーカスモードに移行するかを切り替える制御工程と、を有することを特徴とする制御方法。
【請求項７】
コンピュータを、請求項１ないし５のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
【請求項８】
コンピュータを、請求項１ないし５のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを格納したコンピュータにより読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の焦点面位置を変更したリフォーカス画像を生成する撮像装置に関する。
【背景技術】
【０００２】
近年、シーン中の点から発せれた光線の輝度情報だけでなく、その光線の入射方向の情報（ライトフィールドデータ）を取得可能なライトフィールドカメラと呼ばれる撮像装置が注目されている。
【０００３】
例えば、非特許文献１には、撮影レンズと撮像素子の間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対して１つのマイクロレンズを対応させ、マイクロレンズを通過した光を複数の画素によって入射方向ごとに取得する方法が記載されている。
【０００４】
そして、上記のように取得（撮影）されたライトフィールドデータから通常の撮影画像が生成される。さらに「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を適用すれば、撮影後に任意の仮想像面（リフォーカス面）にピントを合わせたリフォーカス画像を再構成することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｒｅｎ．Ｎｇ、他７名，「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記ライトフィールドカメラは、画像の解像度を決めるマイクロレンズアレイそれぞれに対して、光線の角度分解能を決める分割画素が割り当てられるため、情報量（画素数）が大きくなる。このため、画像データを記録するためのメモリ容量を多く消費することになり、撮影可能枚数が減少してしまう。
【０００７】
また、撮影時に被写体へのピント合わせが必要でなくなった分、撮影後にリフォーカス面を設定する操作を行ってリフォーカス画像を再構成する作業が必要となる。さらにまた、リフォーカス画像は、撮影後に記録された仮想像面の画像データだけから生成されるため、撮影時にユーザが期待していたピントの仕上がりを再現できない場合もある。
【０００８】
本発明は、上記課題に鑑みてなされ、その目的は、撮影前に取得したデータを用いて画像を再構成する操作を行うことで、メモリ容量の消費を低減しつつユーザの意図に沿ったリフォーカス画像を生成できる技術を実現することである。
【課題を解決するための手段】
【０００９】
上記課題を解決し、目的を達成するために、本発明は、画像の焦点面位置を変更したリフォーカス画像を生成する撮像装置であって、被写体像を光電変換する撮像手段と、前記撮像手段により生成されるＲＡＷデータを取得する取得手段と、前記ＲＡＷデータを記録する記録手段と、前記ＲＡＷデータを前記記録手段に記録するための操作を行う操作手段と、前記リフォーカス画像を生成するリフォーカスモードにおいて、画像の焦点面位置を設定する設定手段と、前記設定手段により設定された焦点面位置に基づいてリフォーカス画像を生成する生成手段と、前記操作手段による操作の有無に応じて前記ＲＡＷデータを前記記録手段に記録するか、前記リフォーカスモードに移行するかを切り替える制御手段と、を有する。
【発明の効果】
【００１０】
本発明によれば、撮影前に取得したデータを用いて画像を再構成する操作を行うことで、メモリ容量の消費を低減しつつユーザの意図に沿ったリフォーカス画像を生成できる技術を実現することである。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る実施形態の撮像装置の外観図。
【図２】本実施形態の撮像装置のブロック図。
【図３】本実施形態の撮像部とライトフィールド光学系の位置関係を説明する図。
【図４】撮影レンズとマイクロレンズと撮像部の関係を説明する図。
【図５】実施形態１の撮影動作を示すフローチャート。
【図６】実施形態１によるリフォーカス操作を説明する図（ａ）、リフォーカス位置が移動する様子を説明する図（ｂ）。
【図７】実施形態２の撮影動作を示すフローチャート。
【図８】実施形態２によるリフォーカス操作を説明する図。
【発明を実施するための形態】
【００１２】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００１３】
＜装置構成＞図１乃至図４を参照して、本発明の撮像装置を適用した実施形態のライトフィールドカメラの構成について説明する。
【００１４】
本実施形態のライトフィールドカメラ（以下、カメラ）１００の外観を示す図１において、１０１は撮影画像や各種情報をユーザに視認可能に表示するＬＣＤパネル等の表示部である。１０２はユーザが撮影指示を行うためのシャッターボタンである。１０３はユーザが各種モードを切り替えるためのモード切替スイッチである。１０４はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部である。１０６は操作部１０４に含まれて、ユーザによる回転操作が可能なコントローラホイールである。１０５はユーザが電源のオン／オフを切り替える電源スイッチである。１０７はカメラ１００と外部機器（ＰＣやテレビ等）とをケーブル１０８で接続するためのコネクタである。１０９はメモリカードやハードディスク等の記録媒体である。１１０は記録媒体１０９を格納するためのスロットである。スロット１１０に格納された記録媒体１０９は、カメラ１００との通信が可能となる。１１１はスロット１１０を開閉するカバーである。
【００１５】
本実施形態のカメラ１００のブロック構成を示す図２において、２０１はフォーカスレンズやズームレンズ等の撮影レンズ２０２を含む撮像光学系と、ライトフィールド光学系２０３とを有するレンズユニットである。２０４は絞り機能を備えるシャッター、２０５は被写体像を光電変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。２０６はＡ／Ｄ変換器であり、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２０６は、撮像部２０５から出力されるアナログ信号をデジタル信号に変換するために用いられる。ライトフィールド光学系２０３は、撮像光学系を介して入射されるシーン中の点から発せれた光線の輝度情報だけでなく、その光線の入射方向の情報を含むライトフィールドＲＡＷデータを取得する。
【００１６】
２０７は画像処理部であり、Ａ／Ｄ変換器２０６からのデータ、又は、メモリ制御部２０８からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２０７では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部２００が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２０７では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００１７】
さらにまた、画像処理部２０７において、メモリ２０９に保持されるライトフィールドＲＡＷデータに対して、設定されたリフォーカス位置においてリフォーカス画像を再構成する処理を施す。リフォーカス位置はシステム制御部２００から指示される。
【００１８】
Ａ／Ｄ変換器２０６からの出力データは、画像処理部２０７及びメモリ制御部２０８を介して、メモリ２０９に直接書き込まれる。メモリ２０９は、撮像部２０５によって得られ、Ａ／Ｄ変換器２０６によりデジタルデータに変換された画像データや、表示部１０１に表示するための画像データを格納する。メモリ２０９は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００１９】
また、メモリ２０９は画像表示用のメモリ（ビデオメモリ）を兼ねている。２１０はＤ／Ａ変換器であり、メモリ２０９に格納されている画像表示用のデータをアナログ信号に変換して表示部１０１に供給する。こうして、メモリ２０９に書き込まれた表示用の画像データはＤ／Ａ変換器２１０を介して表示部１０１により表示される。表示部１０１は、ＬＣＤ等の表示画面にＤ／Ａ変換器２１０からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２０６によって一旦Ａ／Ｄ変換されてメモリ２０９に蓄積されたデジタル信号は、画像処理部２０７で所定の信号処理が施された後にメモリ２０９に蓄積される。メモリ２０９に蓄積されたデジタル信号はＤ／Ａ変換器２１０によりアナログ信号に変換され、表示部１０１に逐次転送して表示することで、電子ビューファインダ（スルー画像表示）として機能する。なお、表示部１０１として立体表示に対応した表示手段を用いることも可能である。この場合には画像処理部２０７において立体表示に対応した表示用データを生成してメモリ２０９に書き込み、Ｄ／Ａ変換器２１０を介して表示部１０１に表示する。
【００２０】
圧縮・伸張処理部２１１は、ライトフィールドＲＡＷデータから再構成された画像データを入力してＪＰＥＧ等の圧縮、伸張処理を行う。
【００２１】
不揮発性メモリ２１２は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ２１２には、システム制御部２００の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは主として、図５や図８で後述する各種フローチャートを実行するためのプログラムのことである。
【００２２】
２００はシステム制御部であり、カメラ１００全体を制御する。前述した不揮発性メモリ２１２に格納されたプログラムを実行することで、後述するフローチャートの各処理を実現する。２１３はシステムメモリであり、ＲＡＭが用いられる。システムメモリ２１３には、システム制御部２００の動作用の定数、変数、不揮発性メモリ２１２から読み出したプログラム等を展開する。また、システム制御部はメモリ２０９、Ｄ／Ａ変換器２１０、表示部１０１等を制御することにより表示制御も行う。システムタイマー２１４は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
【００２３】
２１５はタッチパネルであり、表示部１０１の上面に貼付されている。タッチパネル２１５の検出方式として抵抗膜方式、静電容量方式等の公知の技術を用いるものとする。システム制御部２００は、ユーザの指等でタッチした位置を検出し、座標等に変換して利用することができる。
【００２４】
モード切替スイッチ１０３、第１シャッタースイッチ１０２ａ、第２シャッタースイッチ１０２ｂ、操作部１０４はシステム制御部２００に各種の動作指示を入力するための操作手段である。モード切替スイッチ１０３は、システム制御部２００の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。第１シャッタースイッチ１０２ａは、カメラ１００に設けられたシャッターボタン１０２の操作途中、いわゆる半押し（撮影準備指示）でオンとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。
【００２５】
第２シャッタースイッチ１０２ｂは、シャッターボタン１０２の操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部２００は、第２シャッタースイッチ信号ＳＷ２により、撮像部２０５からの信号の読み出しから記録媒体１０９に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００２６】
操作部１０４の各操作部材は、表示部１０１に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンを用いて直感的に各種設定を行うことができる。
【００２７】
コントローラホイール１０６は、操作部１０４に含まれる回転操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール１０６を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部２００はカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール１０６が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール１０６は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール１０６自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサからなる操作部材で、コントローラホイール１０６自体は回転せず、コントローラホイール１０６上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。
【００２８】
２１６は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部２１６は、その検出結果及びシステム制御部２００の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１０９を含む各部へ供給する。
【００２９】
２１７は電源部であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。２１８はメモリカードやハードディスク等の記録媒体１０９とのインターフェースである。記録媒体１０９は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００３０】
次に、図３を参照して、本実施形態のカメラ１００における撮影光学系、ライトフィールド光学系２０３および撮像部２０５の位置関係について説明する。
【００３１】
図３において、ライトフィールド光学系２０３と撮像部２０５とは、複数の分割画素３０１に対して１つのマイクロレンズ３０３が対応するように配置されている。１つのマイクロレンズ３０３後方にある複数の分割画素３０１をまとめて画素配列３０２と定義する。なお、本実施形態では画素配列３０２には、分割画素３０１が５行５列の計２５個あるものとする。
【００３２】
図４は、撮影レンズ２０２から出射された光が１つのマイクロレンズ３０３を通過して撮像部２０５で受光される様子を図２の光軸Ｚに対して垂直方向から見たものである。撮影レンズ２０２の各瞳領域ａ１〜ａ５から出射され、マイクロレンズ３０３を通過した光は、後方の対応する分割画素ｐ１〜ｐ５でそれぞれ結像する。撮像部２０５に結像した信号を用いて画面内の任意に設定した焦点位置（リフォーカス面）で画像を再構成処理することにより任意の被写体にピントが合った画像を生成することができる。画像の再構成処理の詳細は省略する。
【００３３】
＜撮影動作＞次に、図５を参照して、本実施形態のカメラによる撮影動作について説明する。図５のフローチャートは、システム制御部２００が不揮発性メモリ２１２に格納されたプログラムをシステムメモリ２１３のワークエリアに展開して実行し、カメラ１００の各部を制御することで実現する。
【００３４】
図５において、撮影が開始され、シャッターボタン１０２が半押し状態になると、第１シャッタースイッチ信号ＳＷ１が発生する。システム制御部２００が第１シャッタースイッチ信号ＳＷ１の発生を検出すると（Ｓ５０１）、ライトフィールド光学系２０３を介して取得される信号に対して所定の信号処理が施されたライトフィールドＲＡＷデータをメモリ２０９に保持する（Ｓ５０２）。
【００３５】
Ｓ５０３では、システム制御部２００は、タイマーが起動されてタイムカウント動作を開始する。
【００３６】
Ｓ５０４では、システム制御部２００は、図２の第２シャッタースイッチ信号ＳＷ２が発生したか否かを検出する。第２シャッタースイッチ信号ＳＷ２が検出されると、Ｓ５０５に進む。
【００３７】
Ｓ５０５では、システム制御部２００は、メモリ２０９に保持されているライトフィールドＲＡＷデータをバスに接続されている記録媒体１０９に記録するよう指示し、メモリ制御部２０８によりＲＡＷデータが記録された後、処理を終了する。
【００３８】
Ｓ５０５で第２シャッタースイッチ信号ＳＷ２が検出されない場合には、Ｓ５０６に進む。
【００３９】
Ｓ５０６では、システム制御部２００は、タイムカウント値が所定の値を超えたタイムアウトを検出する。ここで、第１シャッタースイッチ信号ＳＷ１を検出してから所定時間経過しても第２シャッタースイッチ信号ＳＷ２を検出しない場合にタイムアウトと判定される。
【００４０】
そして、Ｓ５０６でタイムアウトが検出されていない場合には、Ｓ５０４に戻り、Ｓ５０７でタイムアウトが検出されると、Ｓ５０７に進み、リフォーカスモードに移行する。リフォーカスモードはユーザがピント合わせ操作を行うモードを示している。
【００４１】
図６（ａ）はリフォーカス操作の概略を示している。本実施形態のカメラ１００でのリフォーカス操作は、コントローラホイール１０６を回転することで実現する。図６（ｂ）はリフォーカス操作によるリフォーカス位置が移動する様子を示している。
【００４２】
図６（ｂ）において、カメラ１００に対して人物６０２、人物６０３及び樹木６０４の３つの被写体がある。図５のＳ５０７でリフォーカスモードに移行した時点の焦点面位置をリフォーカス位置６０５とする。ここで図６（ｂ）に示すコントローラホイール１０６を時計回りに回転すると、リフォーカス位置はカメラ１００に対して遠ざかる方向に移動する。この操作により、最初リフォーカス位置６０５に位置する人物６０２にピントが合った状態から、リフォーカス位置６０６に位置する人物６０３にピントが合った状態でリフォーカス画像が再構成される。さらに時計回りに回転すると、奥の樹木６０４にピントが合った状態のリフォーカス画像が生成される。
【００４３】
コントローラホイール１０６を反時計回りに回転すると、リフォーカス位置はカメラ１００に近づく方向に移動する。
【００４４】
このようにカメラ１００では、ライトフィールドＲＡＷデータを取得後に、ピント位置を所定のリフォーカス範囲（下限位置６１０と上限位置６１１の間）で自由に変更することができる。
【００４５】
図５に戻りＳ５０７でリフォーカスモードに移行した後、Ｓ５０８で第１シャッタースイッチ信号ＳＷ１の解除が検出されると、Ｓ５０１に戻り、第１シャッタースイッチ信号ＳＷ１の解除が検出されない場合には、Ｓ５０９に進む。さらにＳ５１０で第２シャッタースイッチ信号ＳＷ２の発生が検出されると、Ｓ５１０に進み、第２シャッタースイッチ信号ＳＷ２が検出されなかい場合には、Ｓ５０８に戻り、第１シャッタースイッチ信号ＳＷ１の解除を判定する。
【００４６】
Ｓ５１０では、システム制御部２００は、メモリ２０９に保持されているリフォーカス画像を圧縮・伸張処理部２１１により圧縮してＪＰＥＧ圧縮データを生成する。
【００４７】
Ｓ５１１では、システム制御部２００は、ＪＰＥＧ圧縮データを記録媒体１０９に記録し、処理を終了する。
【００４８】
以上のように、本実施形態によれば、シャッターボタンの半押し状態においてリフォーカス操作を行うことで所望の被写体にピントが合ったリフォーカス画像を再構成できる。このように、撮影前に取得したライトフィールドＲＡＷデータを用いて画像を再構成する操作を行うことで、メモリ容量の消費を低減しつつユーザの意図に沿ったリフォーカス画像を生成できる。また、ライトフィールドＲＡＷデータとＪＰＥＧ等の画像データを用途に応じて選択的に記録することができる。
【００４９】
［実施形態２］次に、本発明に係る実施形態２について説明する。
【００５０】
実施形態１と異なる点は、ライトフィールドＲＡＷデータをメモリ２０９に保持し、表示部に表示された画像をタッチパネルにより操作してリフォーカス画像を再構成するところである。
【００５１】
以下、図７を参照して、本実施形態のカメラによる撮影動作について説明する。
【００５２】
なお、図７のフローチャートは、システム制御部２００が不揮発性メモリ２１２に格納されたプログラムをシステムメモリ２１３のワークエリアに展開して実行し、カメラ１００の各部を制御することで実現する。
【００５３】
また、図７のＳ７０４、Ｓ７０５、Ｓ７０８〜Ｓ７１２は、図５のＳ５０４、Ｓ５０５、Ｓ５０８〜Ｓ５１１と同様であるので、以下では相違点を中心に説明を行う。
【００５４】
図７において、撮影が開始されると、Ｓ７０１及びＳ７０２において、システム制御部２００は、撮像部２０５によりライトフィールドＲＡＷデータの取り込みを開始し、メモリ２０９に保持する。ライトフィールドＲＡＷデータの取り込み周期は、撮像部２０５で信号を取得してからライトフィールドＲＡＷデータが生成されてメモリ２０９に保持されるまでを基本単位として、逐次繰り返されているものとする。但し、設定により取り込み周期をより長くすることも可能である。
【００５５】
メモリ２０９に保持されているライトフィールドＲＡＷデータは、Ｓ７０３において画像処理部２０７により処理され、所定のリフォーカス位置でのリフォーカス画像に再構成されてメモリ２０９に保持される。リフォーカス画像はメモリ制御部２０８を介してＤ／Ａ変換器２１０で変換されて表示部１０１に表示される。
【００５６】
Ｓ７０４では、図５のＳ５０４と同様に、システム制御部２００は、図２の第２シャッタースイッチ信号ＳＷ２が発生したか否かを検出し、第２シャッタースイッチ信号ＳＷ２が検出されると、Ｓ７０５に進む。
【００５７】
Ｓ７０５では、図５のＳ５０５と同様に、システム制御部２００は、メモリ２０９に保持されているライトフィールドＲＡＷデータを記録媒体１０９に記録して、処理を終了する。
【００５８】
Ｓ７０４で第２シャッタースイッチ信号ＳＷ２が検出されない場合には、Ｓ７０６に進む。
【００５９】
Ｓ７０６では、システム制御部２００は、タッチパネル２１５がタッチされたか否かを検出する。そして、タッチが検出された場合にはＳ７０７に進み、検出されない場合にはＳ７０２に戻る。
【００６０】
Ｓ７０７では、システム制御部２００は、ライトフィールドＲＡＷデータの取り込みを停止する。
【００６１】
Ｓ７０８では、システム制御部２００は、リフォーカスモードに移行する。
【００６２】
Ｓ７０９では、システム制御部２００は、表示部１０１に表示されている解除ボタンの描画領域がタッチされたか否かを検出する。
【００６３】
その後、システム制御部２００は、解除ボタンがタッチされるまで、図５のＳ５０９〜５１１と同様の処理を実行する（Ｓ７１０〜Ｓ７１２）。
【００６４】
図８はリフォーカス操作の概略を示している。本実施形態のカメラ１００でのリフォーカス操作は、タッチパネル２１５へのタッチ操作により実現する。また、解除ボタン８０１をタッチすることで、リフォーカスモードから撮影モードに移行する。
【００６５】
図８に示すように、ピント合わせをしたい被写体領域をタッチすると、システム制御部２００はタッチされた位置を取得する。画像処理部２０７は、メモリ２０９に保持されているライトフィールドＲＡＷデータに対して、リフォーカス位置を図６（ｂ）の下限位置６１０から上限位置６１１まで所定のステップで移動しながらリフォーカス画像を再構成しメモリ２０９に保持する。システム制御部２００は各ステップで生成されるリフォーカス画像から、被写体領域のタッチ位置に相当する画像のピント状態を検出する。ピント状態の検出は、画像の周波数成分を解析する等公知の技術を用いれば良い。
【００６６】
そして、システム制御部２００は、各ステップでピント状態を検出し、最もピントが合っているリフォーカス位置でのリフォーカス画像を表示部１０１に表示する。ピント合わせをしたい領域がタッチされるごとに、上記シーケンスに従いタッチ位置の被写体領域に対してピントが合ったリフォーカス画像を表示する。
【００６７】
以上のように、本実施形態によれば、簡単なタッチパネル操作によりリフォーカスモードに移行してリフォーカス画像を再構成できる。このように、撮影前に取得したライトフィールドＲＡＷデータを用いて画像を再構成する操作を行うことで、メモリ容量の消費を低減しつつユーザの意図に沿ったリフォーカス画像を生成できる。また、ライトフィールドＲＡＷデータとＪＰＥＧ等の画像データを用途に応じて選択的に記録することができる。
【００６８】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
2013247478.tif 000003
【図２】
2013247478.tif 000004
【図３】
2013247478.tif 000005
【図４】
2013247478.tif 000006
【図５】
2013247478.tif 000007
【図６】
2013247478.tif 000008
【図７】
2013247478.tif 000009
【図８】
2013247478.tif 000010