(57)【要約】【課題】リフォーカス画像の表示におけるユーザの操作性を向上させる技術を提供する。【解決手段】表示モードをシングル表示モード又はマルチ表示モードに設定する設定手段と、合焦する被写体距離を変更可能なように構成された撮像データから生成された、１つのリフォーカス画像又は各々が異なる被写体距離に合焦する複数のリフォーカス画像を表示手段に表示する表示制御手段であって、前記シングル表示モードの設定中は前記１つのリフォーカス画像を表示し、前記マルチ表示モードの設定中は前記複数のリフォーカス画像を表示する、表示制御手段と、前記表示制御手段の表示対象を他の撮像データに変更する変更指示を検出する検出手段と、を備え、前記表示制御手段は、前記変更指示の検出に応じて、前記表示対象を前記他の撮像データに変更し、前記設定手段は、前記変更指示の検出に関わらず、前記表示モードの現在の設定を継続することを特徴とする画像表示装置を提供する。【選択図】図７
2018101906.tif 000002
【特許請求の範囲】
【請求項１】
表示モードをシングル表示モード又はマルチ表示モードに設定する設定手段と、
合焦する被写体距離を変更可能なように構成された撮像データから生成された、１つのリフォーカス画像又は各々が異なる被写体距離に合焦する複数のリフォーカス画像を表示手段に表示する表示制御手段であって、
前記シングル表示モードの設定中は前記１つのリフォーカス画像を表示し、
前記マルチ表示モードの設定中は前記複数のリフォーカス画像を表示する、
表示制御手段と、
前記表示制御手段の表示対象を他の撮像データに変更する変更指示を検出する検出手段と、
を備え、
前記表示制御手段は、前記変更指示の検出に応じて、前記表示対象を前記他の撮像データに変更し、
前記設定手段は、前記変更指示の検出に関わらず、前記表示モードの現在の設定を継続する
ことを特徴とする画像表示装置。
【請求項２】
前記複数のリフォーカス画像に対応する複数の被写体距離は、一定距離間隔毎の異なる被写体距離である
ことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記複数のリフォーカス画像に対応する複数の被写体距離は、リフォーカス候補の被写体の最小距離及び最大距離を含み、
前記複数のリフォーカス画像の数は、前記表示手段において同時に視認可能なように表示可能なリフォーカス画像の数である
ことを特徴とする請求項１に記載の画像表示装置。
【請求項４】
前記表示制御手段は、前記マルチ表示モードの設定中に前記表示対象を前記他の撮像データに変更したことに応じて、前記変更された表示対象に関して、前記複数のリフォーカス画像に対応する複数の被写体距離が、リフォーカス候補の被写体の最小距離及び最大距離を含み、前記複数のリフォーカス画像の数が、前記表示手段において同時に視認可能なように表示可能なリフォーカス画像の数となるように、前記複数のリフォーカス画像を表示する
ことを特徴とする請求項１に記載の画像表示装置。
【請求項５】
前記表示制御手段は、前記マルチ表示モードの設定中に前記表示対象を前記他の撮像データに変更した後、前記変更指示が検出されない期間が所定時間に達したことに応じて、前記変更された表示対象に関して、前記複数のリフォーカス画像に対応する複数の被写体距離が、一定距離間隔毎の異なる被写体距離となるように、前記複数のリフォーカス画像を表示する
ことを特徴とする請求項４に記載の画像表示装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の画像表示装置と、
前記撮像データ及び前記他の撮像データを取得する撮像手段と、
を備えることを特徴とする撮像装置。
【請求項７】
画像表示装置が実行する画像表示方法であって、
表示モードをシングル表示モード又はマルチ表示モードに設定する設定工程と、
合焦する被写体距離を変更可能なように構成された撮像データから生成された、１つのリフォーカス画像又は各々が異なる被写体距離に合焦する複数のリフォーカス画像を表示手段に表示する表示制御工程であって、
前記シングル表示モードの設定中は前記１つのリフォーカス画像を表示し、
前記マルチ表示モードの設定中は前記複数のリフォーカス画像を表示する、
表示制御工程と、
前記表示制御工程の表示対象を他の撮像データに変更する変更指示を検出する検出工程と、
を備え、
前記表示制御工程は、前記変更指示の検出に応じて、前記表示対象を前記他の撮像データに変更し、
前記設定工程は、前記変更指示の検出に関わらず、前記表示モードの現在の設定を継続する
ことを特徴とする画像表示方法。
【請求項８】
コンピュータを、請求項１乃至５のいずれか１項に記載の画像表示装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、撮像装置、画像表示方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置（ライトフィールドカメラ）が提案されている。特許文献１の技術によれば、撮影レンズと撮像素子との間にマイクロレンズアレイが配置され、撮像素子の複数の画素に対して１つのマイクロレンズが対応する。マイクロレンズを通過した光は、複数の画素によって入射方向別に取得される。このように取得された画素信号（ライトフィールド（ＬＦ）データ）に対して「Light Field Photography」と呼ばれる手法を適用することで、任意の像面（リフォーカス面）にピントを合わせた画像を撮影後に再構成することができる。
【０００３】
ユーザがリフォーカスによる画像の再構成を必要とするケースとして、撮影後に画像を確認したときに所望の被写体にピントが合っていなかった場合が考えられる。また、あるときは手前の被写体、またあるときは奥にある被写体にピントを合わせた画像を再構成して楽しむといったケースも挙げられる。これらのケースについて、従来のカメラであれば、画像を撮影し直したり、ピント位置をずらして複数の画像を予め撮影したりする必要があった。しかし、ライトフィールドカメラを用いて撮影することで、任意の被写体にピントを合わせたリフォーカス画像を再構成でき、撮影し直すことなく所望の画像が得られる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１５４９８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１は、特定の撮影画像（ＬＦデータ）に対応する複数のリフォーカス画像の候補をユーザに提示することを開示しているが、複数の撮影画像を切り替え可能な再生表示については考慮していない。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、リフォーカス画像の表示におけるユーザの操作性を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、表示モードをシングル表示モード又はマルチ表示モードに設定する設定手段と、合焦する被写体距離を変更可能なように構成された撮像データから生成された、１つのリフォーカス画像又は各々が異なる被写体距離に合焦する複数のリフォーカス画像を表示手段に表示する表示制御手段であって、前記シングル表示モードの設定中は前記１つのリフォーカス画像を表示し、前記マルチ表示モードの設定中は前記複数のリフォーカス画像を表示する、表示制御手段と、前記表示制御手段の表示対象を他の撮像データに変更する変更指示を検出する検出手段と、を備え、前記表示制御手段は、前記変更指示の検出に応じて、前記表示対象を前記他の撮像データに変更し、前記設定手段は、前記変更指示の検出に関わらず、前記表示モードの現在の設定を継続することを特徴とする画像表示装置を提供する。
【０００８】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【０００９】
本発明によれば、リフォーカス画像の表示におけるユーザの操作性を向上させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】画像表示装置の一例である撮像装置１００の構成を示すブロック図。
【図２】撮像素子１０３及びマイクロレンズアレイ１０２を図１の光軸Ｚ方向から観察した図。
【図３】撮影レンズ１０１から出射された光が１つのマイクロレンズ１０２０を通過して撮像素子１０３で受光される様子を、光軸Ｚに対して垂直方向から観察した図。
【図４】（ａ）撮影レンズ１０１の開口を光軸Ｚ方向から見た図、（ｂ）１つのマイクロレンズ１０２０とその後方に配置された画素配列２０を光軸Ｚ方向から見た図。
【図５】リフォーカス処理の概念図。
【図６】（ａ）シングル表示モードとマルチ表示モードとの関係の一例を示す図、（ｂ）シングル表示モードとマルチ表示モードとの関係の他の例を示す図。
【図７】画像表示処理におけるユーザ指示に応じた画面遷移の例を示す図。
【図８】第１の実施形態に係る、撮像装置１００が実行する画像表示処理のフローチャート。
【図９】マルチ表示モードにおける画像送り操作に応じた画面遷移の例を示す図。
【図１０】第２の実施形態に係る、マルチ表示モードにおける画像送り処理のフローチャート。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１２】
また、以下の実施形態では、画像表示装置の一例としての撮像装置について説明を行う。しかし、本発明は、任意の画像表示装置に対して適用可能である。
【００１３】
［第１の実施形態］
図１は、画像表示装置の一例である撮像装置１００の構成を示すブロック図である。図１において、１０１は撮影レンズ、１０２はマイクロレンズアレイ、１０３は撮像素子である。１００２は撮像部であり、撮影レンズ１０１、マイクロレンズアレイ１０２、及び撮像素子１０３を含む。
【００１４】
撮影レンズ１０１を通過した光は、撮影レンズ１０１の焦点位置近傍に結像する。マイクロレンズアレイ１０２は、複数のマイクロレンズ１０２０から構成されており、撮影レンズ１０１の焦点位置近傍に配置される。そのため、マイクロレンズアレイ１０２は、撮影レンズ１０１の異なる瞳領域を通過した光を瞳領域ごとに分割して出射する機能を有する。
【００１５】
撮像素子１０３は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサに代表される光電変換素子である。撮像素子１０３は、複数のマイクロレンズ１０２０の各々に対して複数の画素が対応するように配置される。そのため、撮像素子１０３は、マイクロレンズ１０２０で瞳領域ごとに分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換する機能を有する。
【００１６】
なお、撮像部１００２に関しては、特開２０１１−２２７９６号公報のように、複数の視点の異なるカメラをまとめて撮像部１００２とみなす構成も、ライトフィールドデータを得られる撮像光学系として採用可能である。即ち、撮像部１００２の構成は、被写体空間の３次元的な情報であるライトフィールドデータを取得できる撮像光学系であれば、図１に示す構成に限定されない。
【００１７】
１０４はアナログ信号処理回路（ＡＦＥ）、１０５はデジタル信号処理回路（ＤＦＥ）である。ＡＦＥ１０４は、撮像素子１０３から出力される画像信号に対して相関二重サンプリング処理、信号増幅、基準レベル調整、Ａ／Ｄ変換処理等を行う。ＤＦＥ１０５は、ＡＦＥ１０４から出力される画像信号に対して基準レベル調整等のデジタル画像処理を行う。
【００１８】
１０６は画像処理部、１０７はメモリ、１０８は記録部である。画像処理部１０６は、ＤＦＥ１０５から出力された画像信号に対して所定の画像処理やリフォーカス演算を施す。また、画像処理部１０６は、顔検出機能を備え、画像信号から被写体の顔領域を検出することが可能である。
【００１９】
メモリ１０７は、画像処理部１０６から出力された画像信号を一時的に保持したり演算用データを格納したりする揮発性メモリである。記録部１０８は、画像処理部１０６から出力された画像信号等を記録する不揮発性メモリ、又は、メモリカード等の記録媒体である。
【００２０】
１０９はシステム制御部、１１０は操作部、１１１は表示部である。システム制御部１０９は、撮像素子１０３や画像処理部１０６等を含む撮像装置１００全体を統括的に駆動・制御する。操作部１１０は、撮像装置１００に備え付けられた操作部材からの信号を受け付け、システム制御部１０９に対してユーザの命令を反映する。表示部１１１は、撮影後の画像やライブビュー画像、各種設定画面等を表示する。外部Ｉ／Ｆ１１２は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインタフェースである。
【００２１】
なお、操作部１１０は、表示部１１１に対する接触を検知可能なタッチパネルを含む。タッチパネルと表示部１１１とは一体的に構成することができる。例えば、タッチパネルを、光の透過率が表示部１１１の表示を妨げないように構成し、表示部１１１の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部１１１上の表示座標とを対応付ける。これにより、あたかもユーザが表示部１１１上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。システム制御部１０９は、タッチパネルへの以下の操作を検出できる。タッチパネルを指やペンで触れたこと（以下、タッチダウンと称する）。タッチパネルを指やペンで触れている状態であること（以下、タッチオンと称する）。タッチパネルを指やペンで触れたまま移動していること（以下、ムーブと称する）。タッチパネルへ触れていた指やペンを離したこと（以下、タッチアップと称する）。タッチパネルに何も触れていない状態（以下、タッチオフと称する）。これらの操作や、タッチパネル上に指やペンが触れている位置座標は、内部バスを通じてシステム制御部１０９に通知される。システム制御部１０９は、通知された情報に基づいて、タッチパネル上にどのような操作が行われたかを判定する。ムーブについては、タッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。またタッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されると、フリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合は、ドラッグが行なわれたと判定するものとする。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。
【００２２】
次に、撮像装置１００における撮影レンズ１０１、マイクロレンズアレイ１０２及び撮像素子１０３の構成について説明する。
【００２３】
図２は、撮像素子１０３及びマイクロレンズアレイ１０２を図１の光軸Ｚ方向から観察した図である。複数の単位画素２０１に対して１つのマイクロレンズ１０２０が対応するように配置されている。
【００２４】
１つのマイクロレンズ後方にある複数の単位画素２０１をまとめて画素配列２０と定義する。なお、本実施形態では、画素配列２０には、単位画素２０１が５行５列の計２５個含まれるものとする。また、撮像素子１０３には、画素配列２０が５行５列の２５個含まれるものとする。
【００２５】
図３は、撮影レンズ１０１から出射された光が１つのマイクロレンズ１０２０を通過して撮像素子１０３で受光される様子を、光軸Ｚに対して垂直方向から観察した図である。撮影レンズ１０１の各瞳領域ａ１〜ａ５から出射され、マイクロレンズ１０２０を通過した光は、後方の対応する単位画素ｐ１〜ｐ５にそれぞれ結像する。
【００２６】
図４（ａ）は、撮影レンズ１０１の開口を光軸Ｚ方向から見た図である。図４（ｂ）は、１つのマイクロレンズ１０２０とその後方に配置された画素配列２０を光軸Ｚ方向から見た図である。図４（ａ）に示すように、撮影レンズ１０１の瞳領域を１つのマイクロレンズ後方にある画素と同数の領域に分割した場合、１つの画素には撮影レンズ１０１の１つの瞳分割領域から出射した光が結像されることになる。但し、ここでは撮影レンズ１０１とマイクロレンズ１０２０のＦナンバーがほぼ一致しているものとする。
【００２７】
図４（ａ）に示す撮影レンズ１０１の瞳分割領域ａ１１〜ａ５５と、図４（ｂ）に示す画素ｐ１１〜ｐ５５との対応関係は、光軸Ｚ方向から見て点対称となる。従って、撮影レンズ１０１の瞳分割領域ａ１１から出射した光は、マイクロレンズ後方にある画素配列２０のうち、画素ｐ１１に結像する。これと同様に、瞳分割領域ａ１１から出射し、別のマイクロレンズ１０２０を通過する光も、そのマイクロレンズ後方にある画素配列２０の中の画素ｐ１１に結像する。
【００２８】
ここで、画面内（画像中）の任意の被写体位置に対応した焦点位置（リフォーカス面）を算出する方法について説明する。
【００２９】
図４で説明したように、画素配列２０の各画素は、撮影レンズ１０１に対して互いに異なる瞳領域を通過した光を受光している。これらの分割信号から複数の画素信号を合成することで、水平方向に瞳分割された一対の信号を生成する。
2018101906.tif 000003
【００３０】
式（１）は、ある画素配列２０の各画素について、撮影レンズ１０１の射出瞳の左側領域（瞳領域ａ１１〜ａ５１、ａ１２〜ａ５２）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像をＡ像と呼ぶ。また、式（２）は、ある画素配列２０の各画素について、撮影レンズ１０１の射出瞳の右側領域（瞳領域ａ１４〜ａ５４、ａ１５〜ａ５５）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像をＢ像と呼ぶ。Ａ像とＢ像に対して相関演算を行い、像のずれ量（瞳分割位相差）を検出する。更に、像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。
【００３１】
次に、上記の撮影レンズ１０１、マイクロレンズアレイ１０２、及び撮像素子１０３の構成によって取得された撮像データ（画像データ）に対して、任意に設定した焦点位置（リフォーカス面）で画像を再構成する処理（リフォーカス処理）について説明する。
【００３２】
図５は、任意に設定したリフォーカス面上のある画素を通過する光が、撮影レンズのどの瞳分割領域から出射され、どのマイクロレンズへ入射するかを光軸Ｚに対して垂直方向から見て示した図である。図５において、撮影レンズの瞳分割領域の位置を座標（ｕ，ｖ）、リフォーカス面上の画素位置を座標（ｘ，ｙ）、マイクロレンズアレイ１０２上のマイクロレンズの位置を座標（ｘ’，ｙ’）とする。また、撮影レンズ１０１からマイクロレンズアレイ１０２までの距離をＦ、撮影レンズ１０１からリフォーカス面までの距離をαＦとする。αは、リフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザが任意に設定できる。なお、図５では、ｕ、ｘ、ｘ’の方向のみを示し、ｖ、ｙ、ｙ’については省略してある。図５に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）とを通過した光は、マイクロレンズアレイ１０２上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は、式（３）のように表すことができる。
2018101906.tif 000004
【００３３】
そして、この光を受光する画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものとなるため、式（４）のようになる。
2018101906.tif 000005
【００３４】
式（４）において、リフォーカス係数αはユーザによって決定されるため、（ｘ，ｙ）、（ｕ，ｖ）を与えれば、光の入射するマイクロレンズの位置（ｘ’，ｙ’）がわかる。そして、そのマイクロレンズに対応する画素配列２０から（ｕ，ｖ）の位置に対応する画素がわかる。この画素の出力が、Ｌ（ｘ’，ｙ’，ｕ，ｖ）となる。これをすべての瞳分割領域について行い、求めた画素出力を積分することで、Ｅ（ｘ，ｙ）が算出できる。なお、（ｕ，ｖ）を撮影レンズ１０１の瞳分割領域の代表座標とすれば、式（４）の積分は、単純加算により計算することができる。
【００３５】
次に、撮像装置１００が実行する画像表示処理について、図６乃至図８を参照して説明する。図６（ａ）は、シングル表示モード（シングル表示状態）とマルチ表示モード（リフォーカス画像一覧表示状態）との関係の一例を示す図である。図６（ａ）の左側に示すシングル表示モードの画面においてユーザがリフォーカス画像一覧ボタンをタッチした場合、システム制御部１０９は、画像内の各位置の距離（被写体距離）を算出し、最小距離と最大距離とを求める。距離の算出方法は、図４、式（１）、及び式（２）を参照して説明した通りである。
【００３６】
なお、最大距離を求める際に、システム制御部１０９は、閾値以上の距離の被写体については、合焦対象（リフォーカス候補）ではない背景の被写体と判断して除外してもよい。図６（ａ）の例では、犬のうち最も近い部分（例えば、左耳）の距離が９０ｃｍであり、犬のうち最も近い部分（例えば、右後足）の距離が１２０ｃｍであり、犬以外の部分の距離は閾値以上である。そのため、リフォーカス候補の被写体の最小距離は９０ｃｍ、最大距離は１２０ｃｍである。
【００３７】
次いで、システム制御部１０９は、一定距離間隔毎に画像を再構成して複数のリフォーカス画像を生成する。そして、システム制御部１０９は、図６（ａ）の右側に示すように、生成した複数のリフォーカス画像を一覧表示する（マルチ表示モード）。図６（ａ）の例では、システム制御部１０９は、１０ｃｍ単位の距離間隔で画像を再構成している。画像の再構成の方法については、図５を参照して説明した通りである。マルチ表示モードの画面においてユーザが戻るボタンをタッチした場合、システム制御部１０９は、表示画面をシングル表示モードに戻す。
【００３８】
このように、システム制御部１０９は、シングル表示モードの設定中は１つのリフォーカス画像を表示し、マルチ表示モードの設定中は複数のリフォーカス画像を表示する表示制御を行う。
【００３９】
なお、リフォーカス画像の画質をある程度のレベル以上に維持することが可能な被写体距離の範囲（「リフォーカス可能範囲」と呼ぶ）は限られている。そのため、上述の最小距離と最大距離との間の範囲がリフォーカス可能範囲内に収まっていない場合は、システム制御部１０９は、この範囲がリフォーカス可能範囲内に収まるように最小距離及び最大距離を補正してもよい。
【００４０】
また、シングル表示モードの画面において表示されるリフォーカス画像において合焦する被写体距離は、特に限定されないが、例えばマルチ表示モードの画面において表示される複数のリフォーカス画像のうちの１つと同じであってもよい。また、マルチ表示モードにおいてユーザが特定のリフォーカス画像を選択可能であり、ここで選択されたリフォーカス画像をシングル表示モードにおいて表示するように撮像装置１００を構成してもよい。ユーザによるリフォーカス画像の選択が行われる前は、撮像時の合焦距離に対応するリフォーカス画像を表示するように撮像装置１００を構成してもよい。
【００４１】
図６（ｂ）は、シングル表示モードとマルチ表示モードとの関係の他の例を示す図である。図６（ｂ）の左側に示すシングル表示モードの画面においてユーザがリフォーカス画像一覧ボタンをタッチした場合、システム制御部１０９は、図６（ａ）の場合と同様、画像内の各位置の距離を算出し、最小距離と最大距離とを求める。そして、システム制御部１０９は、リフォーカス画像が予め決められた枚数となるように、最小距離と最大距離との間を均等に分割する複数のリフォーカス面を求め、各リフォーカス面について画像を再構成することにより複数のリフォーカス画像を生成する。そして、システム制御部１０９は、図６（ｂ）の右側に示すように、生成した複数のリフォーカス画像を一覧表示する（マルチ表示モード）。図６（ｂ）の例では、システム制御部１０９は、リフォーカス画像の一覧表示が一画面内に収まるように、最小距離と最大距離との間を５等分して６つのリフォーカス画像を生成している。
【００４２】
このように、図６（ｂ）の例では、マルチ表示モードにおける表示対象のリフォーカス画像の数は、表示部１１１において同時に視認可能なように表示可能なリフォーカス画像の数である。また、ここで表示される複数のリフォーカス画像は、リフォーカス候補の被写体の最小距離に合焦したリフォーカス画像と、リフォーカス候補の被写体の最大距離に合焦したリフォーカス画像とを含む。
【００４３】
図７は、画像表示処理におけるユーザ指示に応じた画面遷移の例を示す図である。画面７０１（シングル表示モード）においてユーザのフリック操作によって画像送りが指示された場合、システム制御部１０９は、画面７０２に示すようにシングル表示モードで次の画像を表示する。画面７０１（シングル表示モード）においてユーザがリフォーカス画像一覧ボタンをタッチした場合、システム制御部１０９は、画面７０３に示すように表示モードをマルチ表示モードに変更し、複数のリフォーカス画像を一覧表示する。画面７０３（マルチ表示モード）においてユーザのフリック操作によって画像送りが指示された場合、システム制御部１０９は、画面７０４に示すようにマルチ表示モードで次の複数のリフォーカス画像を一覧表示する。画面７０４（マルチ表示モード）においてユーザが戻るボタンをタッチした場合、システム制御部１０９は、画面７０２に示すように表示モードをシングル表示モードに変更し、１つの画像を表示する。このように、システム制御部１０９は、画像送り時に表示モードを変化させない。即ち、マルチ表示モードにおいてユーザによる画像送り指示がなされた場合、システム制御部１０９は、表示モードをマルチ表示モードに維持したまま、次の撮像データに基づく複数のリフォーカス画像を一覧表示する。このような構成により、ユーザは、画像送りの度にリフォーカス画像一覧ボタンをタッチする必要がなくなるため、操作性の向上が実現できる。
【００４４】
図８は、撮像装置１００が実行する画像表示処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、システム制御部１０９が制御プログラムを実行することにより実現される。撮像装置１００がシングル表示モード又はマルチ表示モードの時にユーザ操作が行われると、本フローチャートの処理が開始する。
【００４５】
なお、記録部１０８には、撮像部１００２により取得された撮像データ（即ち、合焦する被写体距離を変更可能なように構成された撮像データ）が格納されているものとする。また、以下の説明においては、システム制御部１０９はリフォーカス画像を表示するタイミングでリフォーカス画像を生成するものとするが、システム制御部１０９は事前に必要なリフォーカス画像を生成して記録部１０８に格納しておいてもよい。
【００４６】
Ｓ８０１で、システム制御部１０９は、表示モードがマルチ表示モード（図７の画面７０３及び画面７０４参照）であるか否かを判定する。マルチ表示モードの場合、処理はＳ８０２に進み、シングル表示モードの場合（図７の画面７０１及び画面７０２参照）処理は、Ｓ８０７に進む。
【００４７】
Ｓ８０２で、システム制御部１０９は、ユーザが戻るボタンをタッチしたか否か（即ち、シングル表示モードへの遷移指示が行われたか否か）を判定する。戻るボタンがタッチされた場合、処理はＳ８０３に進み、そうでない場合、処理はＳ８０４に進む。
【００４８】
Ｓ８０３で、システム制御部１０９は、表示モードをシングル表示モードに設定する。そして、システム制御部１０９は、現在の表示対象の撮像データを記録部１０８から読み出し、画像処理部１０６を用いて１つのリフォーカス画像を生成し、シングル表示モードで表示部１１１に表示する。その後、本フローチャートの処理は終了する。
【００４９】
Ｓ８０４で、システム制御部１０９は、ユーザがフリックによる画像送り操作を行ったか否か（即ち、表示対象の撮像データの変更指示が行われたか否か）を判定する。画像送り操作が行われた場合、処理はＳ８０５に進み、そうでない場合、処理はＳ８０６に進む。
【００５０】
Ｓ８０５で、システム制御部１０９は、フリックの方向に応じて次の撮像データ又は前の撮像データを記録部１０８から読み出し、画像処理部１０６を用いて複数のリフォーカス画像を生成し、マルチ表示モードで表示部１１１に表示する。このように、システム制御部１０９は、表示対象の撮像データが変更された場合でも、表示モードの現在の設定を継続する。その後、本フローチャートの処理は終了する。
【００５１】
Ｓ８０６で、システム制御部１０９は、ユーザ操作に応じた処理を行う。
【００５２】
Ｓ８０７で、システム制御部１０９は、ユーザがリフォーカス画像一覧ボタンをタッチしたか否か（即ち、マルチ表示モードへの遷移指示が行われたか否か）を判定する。リフォーカス画像一覧ボタンがタッチされた場合、処理はＳ８０８に進み、そうでない場合、処理はＳ８０９に進む。
【００５３】
Ｓ８０８で、システム制御部１０９は、表示モードをマルチ表示モードに設定する。そして、システム制御部１０９は、現在の表示対象の撮像データを記録部１０８から読み出し、画像処理部１０６を用いて複数のリフォーカス画像を生成し、マルチ表示モードで表示部１１１に表示する。その後、本フローチャートの処理は終了する。
【００５４】
Ｓ８０９で、システム制御部１０９は、システム制御部１０９は、ユーザがフリックによる画像送り操作を行ったか否か（即ち、表示対象の撮像データの変更指示が行われたか否か）を判定する。画像送り操作が行われた場合、処理はＳ８１０に進み、そうでない場合、処理はＳ８０６に進む。
【００５５】
Ｓ８１０で、システム制御部１０９は、フリックの方向に応じて次の撮像データ又は前の撮像データを記録部１０８から読み出し、画像処理部１０６を用いて１つのリフォーカス画像を生成し、シングル表示モードで表示部１１１に表示する。このように、システム制御部１０９は、表示対象の撮像データが変更された場合でも、表示モードの現在の設定を継続する。その後、本フローチャートの処理は終了する。
【００５６】
以上説明したように、第１の実施形態によれば、撮像装置１００は、表示対象の撮像データが変更された場合でも、表示モードの現在の設定を継続する。これにより、ユーザの操作性が向上する。
【００５７】
［第２の実施形態］
第２の実施形態では、第１の実施形態において説明したマルチ表示モードにおける画像送り処理の変形例について説明する。第２の実施形態において、撮像装置１００の基本的な構成は、第１の実施形態と同様である。以下、主に第１の実施形態と異なる点について説明する。
【００５８】
図９は、マルチ表示モードにおける画像送り操作に応じた画面遷移の例を示す図である。画面９０１は、標準距離モードでのマルチ表示の状態を示す。標準距離モードは、表示される複数のリフォーカス画像の合焦距離の間隔が標準の距離間隔（例えば、１０ｃｍ）であるモードである。標準距離モードにおけるリフォーカス画像の生成方法としては、例えば図６（ａ）を参照して説明した方法を利用できる。
【００５９】
画面９０１の状態で画像送り操作が行われると、第１の実施形態では画面９０３に遷移したが、第２の実施形態では画面９０２に遷移する。画面９０２は、１画面表示モードでのマルチ表示の状態を示す。１画面表示モードは、１画面に収まる枚数のリフォーカス画像を生成して表示するモードである。１画面表示モードにおけるリフォーカス画像の生成方法としては、例えば図６（ｂ）を参照して説明した方法を利用できる。即ち、１画面表示モードにおける表示対象のリフォーカス画像の数は、表示部１１１において同時に視認可能なように表示可能なリフォーカス画像の数である。また、ここで表示される複数のリフォーカス画像は、リフォーカス候補の被写体の最小距離に合焦したリフォーカス画像と、リフォーカス候補の被写体の最大距離に合焦したリフォーカス画像とを含む。これにより、特に連続的に画像送りを行う場合に、リフォーカス画像の一覧性が向上し、視認性が向上する。１画面表示モードにおいて、一定時間無操作状態が続くと、標準距離モードへの切り替えが行われ、画面９０２から画面９０３への遷移が生じる。
【００６０】
図１０は、第２の実施形態に係る、マルチ表示モードにおける画像送り処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、システム制御部１０９が制御プログラムを実行することにより実現される。本フローチャートの処理は、図８のＳ８０５の処理を置き換えるものである。即ち、図８のＳ８０４において画像送り操作が行われたと判定されると、図１０のフローチャートの処理が開始する。
【００６１】
Ｓ１００２で、システム制御部１０９は、現在のモードが１画面表示モードであるか否かを判定する。１画面表示モードの場合、処理はＳ１００４に進み、そうでない場合、処理はＳ１００３に進む。
【００６２】
Ｓ１００３で、システム制御部１０９は、１画面表示モードへの切り替えを行う。Ｓ１００４で、システム制御部１０９は、フリックの方向に応じて次の撮像データ又は前の撮像データを記録部１０８から読み出し、画像処理部１０６を用いて複数のリフォーカス画像を生成し、マルチ表示モードで表示部１１１に表示する。この時、システム制御部１０９は、１画面に収まる枚数のリフォーカス画像を生成して表示する。
【００６３】
Ｓ１００５で、システム制御部１０９は、表示タイマーをスタートさせる。Ｓ１００６で、システム制御部１０９は、表示タイマーが閾値以上であるか否かを判定する。表示タイマーが閾値以上の場合、処理はＳ１００７に進み、そうでない場合、処理はＳ１００９に進む。
【００６４】
Ｓ１００７で、システム制御部１０９は、標準距離モードへの切り替えを行う。Ｓ１００８で、システム制御部１０９は、現在の表示対象の撮像データについて、一定距離間隔毎に画像を再構成して複数のリフォーカス画像を生成し、マルチ表示モードで表示部１１１に表示する。このように、画像送りが行われた後に画像送り操作が検出されない期間が所定時間に達すると、標準距離モードでの表示状態への遷移が発生する。その後、本フローチャートの処理は終了する。
【００６５】
Ｓ１００９で、システム制御部１０９は、表示タイマーのインクリメント処理を実行する。その後、処理はＳ１００６に戻る。
【００６６】
なお、本フローチャートの処理の実行中に再び画像送り指示又はシングル表示モードへの遷移指示が行われた場合、本フローチャートの処理は終了し、図８のフローチャートの処理が実行される。
【００６７】
以上説明したように、第２の実施形態によれば、撮像装置１００は、マルチ表示モードにおいて画像送りを実行する場合、１画面に収まる枚数のリフォーカス画像を生成して表示する。これにより、特に連続的に画像送りを行う場合に、リフォーカス画像の一覧性が向上し、視認性が向上する。
【００６８】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６９】
１００…撮像装置、１０６…画像処理部、１０７…メモリ、１０８…記録部、１０９…システム制御部、１１０…操作部、１１１…表示部、１００２…撮像部
【図１】
2018101906.tif 000006
【図２】
2018101906.tif 000007
【図３】
2018101906.tif 000008
【図４】
2018101906.tif 000009
【図５】
2018101906.tif 000010
【図６】
2018101906.tif 000011
【図７】
2018101906.tif 000012
【図８】
2018101906.tif 000013
【図９】
2018101906.tif 000014
【図１０】
2018101906.tif 000015