(57)【要約】【課題】同時刻に撮像された露光時間の異なる複数の非破壊読み出し画像の中から、ユーザの意図にあった画像を選択できる画像選択装置を提供する。【解決手段】画像選択装置７００は、固体撮像装置１００から複数回の非破壊読み出しにより取得された複数の非破壊読み出し画像を記憶している記憶部３２０と、複数の非破壊読み出し画像のうちの少なくとも２以上の非破壊読み出し画像のそれぞれに対応する画像であって、複数の非破壊読み出し画像の中からユーザの意図にあった非破壊読み出し画像を選択させるための非破壊読み出し画像である選択用画像を表示する表示部５００と、ユーザによる選択用画像に対する選択を受け付ける受付部６００と、ユーザにより選択された選択用画像に対応する非破壊読み出し画像に処理を行う処理部３３０と、を備える。【選択図】図１
2020031255.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像装置から複数回の非破壊読み出しにより取得された複数の非破壊読み出し画像を記憶している記憶部と、
前記複数の非破壊読み出し画像のうちの少なくとも２以上の非破壊読み出し画像のそれぞれに対応する画像であって、前記複数の非破壊読み出し画像の中からユーザの意図にあった非破壊読み出し画像を選択させるための非破壊読み出し画像である選択用画像を表示する表示部と、
前記ユーザによる前記選択用画像に対する選択を受け付ける受付部と、
前記ユーザにより選択された前記選択用画像に対応する非破壊読み出し画像に処理を行う処理部と、を備える
画像選択装置。
【請求項２】
前記選択用画像には、前記複数の非破壊読み出し画像のうちの少なくとも２以上の非破壊読み出し画像のそれぞれに対応する画像であって、前記複数の非破壊読み出し画像の中からユーザの意図にあった非破壊読み出し画像を選択させるための画像が含まれる
請求項１に記載の画像選択装置。
【請求項３】
前記処理部は、前記選択用画像を露光時間の順に並べて前記表示部に表示させる
請求項２に記載の画像選択装置。
【請求項４】
前記処理部は、隣り合って並んでいる前記選択用画像の一部が重なるように前記表示部に表示させる
請求項３に記載の画像選択装置。
【請求項５】
前記処理部は、前記処理として、前記選択用画像のうちの前記ユーザが選択している選択用画像に対応する非破壊読み出し画像を前記表示部に表示させる
請求項１〜４のいずれか１項に記載の画像選択装置。
【請求項６】
前記記憶部は、２回以上の撮像のそれぞれにおいて、前記固体撮像装置から複数回の非破壊読み出しにより取得された複数の非破壊読み出し画像を記憶しており、
前記処理部は、前記ユーザの意図にあった撮像タイミングの撮像を選択させるための撮像選択用画像を、前記撮像が行われた順に、所定の方向に並べて前記表示部に表示させ、前記ユーザにより特定の撮像が選択されると、選択された撮像において取得された非破壊読み出し画像のうちの少なくとも２以上の非破壊読み出し画像のそれぞれに対応する選択用画像を、前記撮像選択用画像が並べられた方向と直交する方向に、露光時間の順に並べて前記表示部に表示させる
請求項１〜５のいずれか１項に記載の画像選択装置。
【請求項７】
前記処理部は、撮像ごとに取得された前記複数の非破壊読み出し画像のうちの露光時間が略同一であるときの非破壊読み出し画像に対応する撮像選択用画像を前記表示部に表示させる
請求項６に記載の画像選択装置。
【請求項８】
前記選択用画像は、前記複数の非破壊読み出し画像のうちの１つの非破壊読み出し画像である
請求項１に記載の画像選択装置。
【請求項９】
前記１つの非破壊読み出し画像に対して前記受付部が所定の操作を受け付けると、前記処理部は、前記処理として、前記１つの非破壊読み出し画像に置き換えて、前記複数の非破壊読み出し画像の中から前記１つの非破壊読み出し画像と露光時間が異なる非破壊読み出し画像を表示部に表示させる
請求項８に記載の画像選択装置。
【請求項１０】
前記複数の非破壊読み出し画像は、明るさに対するゲインの補正が行われた画像である
請求項１〜９のいずれか１項に記載の画像選択装置。
【請求項１１】
前記複数の非破壊読み出し画像は、有機光電変換膜を有する固体撮像装置で撮像された画像である
請求項１〜１０のいずれか１項に記載の画像選択装置。
【請求項１２】
請求項１〜１１のいずれか１項に記載の画像選択装置と、
行列状に配列され、非破壊読み出しが可能な複数の画素を有する固体撮像装置と、を備える
カメラ。
【請求項１３】
固体撮像装置から複数回の非破壊読み出しにより取得された複数の非破壊読み出し画像のうちの少なくとも２以上の画像のそれぞれに対応する画像であって、前記複数の非破壊読み出し画像の中からユーザの意図に合った非破壊読み出し画像を選択させるための非破壊読み出し画像である選択用画像を表示し、
ユーザによる前記選択用画像に対する選択を取得し、
前記ユーザにより選択された前記選択用画像に対応する非破壊読み出し画像に処理を行う
画像選択方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像選択装置、当該画像選択装置を備えるカメラ及びその画像選択方法に関する。
【背景技術】
【０００２】
従来、イメージセンサ（固体撮像装置）を用いて画像を撮像する撮像装置が知られている（例えば、特許文献１参照）。一般的に、撮像装置にはモニタ（例えば、液晶モニタ）が備えられており、ユーザは撮像された画像の中からユーザの意図にあった画像を、モニタを確認して選択する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８―０４２１８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、有機光電変換膜などを用いたイメージセンサなど様々なタイプのイメージセンサが提案されている。例えば、それらのイメージセンサを用いることで、同時刻に露光時間の異なる複数の非破壊読み出し画像を取得することができる。しかし、それらのイメージセンサを用いて撮像された複数の非破壊読み出し画像の中から、ユーザの意図にあった画像を選択する画像選択装置は提案されていなかった。
【０００５】
そこで、本開示は、同時刻に撮像された露光時間の異なる複数の非破壊読み出し画像の中から、ユーザの意図にあった画像を選択できる画像選択装置、カメラ及び画像選択方法を提供する。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本開示の一態様に係る画像選択装置は、固体撮像装置から複数回の非破壊読み出しにより取得された複数の非破壊読み出し画像を記憶している記憶部と、前記複数の非破壊読み出し画像のうちの少なくとも２以上の非破壊読み出し画像のそれぞれに対応する画像であって、前記複数の非破壊読み出し画像の中からユーザの意図にあった非破壊読み出し画像を選択させるための非破壊読み出し画像である選択用画像を表示する表示部と、前記ユーザによる前記選択用画像に対する選択を受け付ける受付部と、前記ユーザにより選択された前記選択用画像に対応する非破壊読み出し画像に処理を行う処理部と、を備える。
【０００７】
また、本開示の一態様に係るカメラは、上記に記載の画像選択装置と、行列状に配列され、非破壊読み出しが可能な複数の画素を有する固体撮像装置と、を備える。
【０００８】
また、本開示の一態様に係る画像選択方法は、固体撮像装置から複数回の非破壊読み出しにより取得された複数の非破壊読み出し画像のうちの少なくとも２以上の画像のそれぞれに対応する画像であって、前記複数の非破壊読み出し画像の中からユーザの意図に合った非破壊読み出し画像を選択させるための非破壊読み出し画像である選択用画像を表示し、ユーザによる前記選択用画像に対する選択を取得し、前記ユーザにより選択された前記選択用画像に対応する非破壊読み出し画像に処理を行う。
【発明の効果】
【０００９】
上記本開示の一態様に係る画像選択装置、カメラ、及び画像選択方法によれば、同時刻に撮像された露光時間の異なる複数の非破壊読み出し画像の中から、ユーザの意図にあった画像を選択できる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施の形態１に係る画像選択装置が内蔵されたカメラの構成を示すブロック図である。
【図２】図２は、実施の形態１に係る画像選択装置が内蔵されたカメラの外観図である。
【図３】図３は、実施の形態１に係る撮像装置の全体構成を示すブロック図である。
【図４】図４は、実施の形態１に係る画素の回路構成の一例を示す図である。
【図５】図５は、実施の形態１に係る露光時間と非破壊読み出し画像との関係を示す図である。
【図６】図６は、実施の形態１に係る画像選択装置の動作を示すフローチャートである。
【図７Ａ】図７Ａは、実施の形態１に係る表示部に表示される選択用画像の一例を示す図である
【図７Ｂ】図７Ｂは、実施の形態１に係る選択用画像が選択された場合に表示部に表示される画像の一例を示す図である。
【図８Ａ】図８Ａは、実施の形態１に係る選択された選択用画像に対応する非破壊読み出し画像の一部が拡大して表示されている例を示す図である。
【図８Ｂ】図８Ｂは、実施の形態１に係る選択された選択用画像に対応する非破壊読み出し画像の一部が拡大して表示されている例を示す図である。
【図９】図９は、実施の形態１に係る表示部に表示される選択用画像の他の一例を示す図である。
【図１０】図１０は、実施の形態２に係る画像選択装置の動作を示すフローチャートである。
【図１１Ａ】図１１Ａは、実施の形態２に係る表示部に表示される撮像選択用画像の一例を示す図である。
【図１１Ｂ】図１１Ｂは、実施の形態２に係る選択された撮像選択用画像に対応する非破壊読み出し画像が表示されている例を示す図である。
【図１１Ｃ】図１１Ｃは、実施の形態２に係る選択された撮像選択用画像に対応する選択用画像が表示されている例を示す図である。
【図１１Ｄ】図１１Ｄは、実施の形態２に係る選択用画像が選択される様子を示す図である。
【図１１Ｅ】図１１Ｅは、実施の形態２に係る選択用画像が選択された場合に表示部に表示される画像の一例を示す図である。
【図１２】図１２は、他の実施の形態に係るコンテンツを選択させるための画像が表示されている例を示す図である。
【発明を実施するための形態】
【００１１】
以下では、本開示の画像選択装置、カメラ及び画像選択方法について、図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００１２】
なお、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
【００１３】
（実施の形態１）
以下、図１〜図８Ｂを用いて、本実施の形態を説明する。
【００１４】
［１−１．カメラの全体構成］
まず、本実施の形態に係る画像選択装置７００を備えるカメラ１の全体構成について、図１を用いて説明する。図１は、本実施の形態に係る画像選択装置７００が内蔵されたカメラ１の構成を示すブロック図である。同図に示されたカメラ１は、固体撮像装置（イメージセンサ）１００及び信号処理部３００から構成される撮像装置１０と、レンズ（レンズを含む光学系）４００と、表示部５００と、受付部６００とを備える。また、同図に示されるように、本実施の形態では、画像選択装置７００は、信号処理部３００、表示部５００及び受付部６００から構成されている。
【００１５】
レンズ４００を通過した光は、固体撮像装置１００に入射する。画像選択装置７００は、固体撮像装置１００から受光量に応じた画素信号（デジタル値）を取得する。具体的には、信号処理部３００が、固体撮像装置１００から複数の画像に対する画素信号を取得する。そして、信号処理部３００は、当該画素信号により生成される複数の画像に対応する画像であって、複数の画像の中からユーザの意図にあった所望の画像を選択させるための画像（選択用画像とも呼ぶ）を表示部５００に表示させる。受付部６００がユーザからの選択用画像の選択を受け付けると、信号処理部３００は、ユーザの選択に応じた処理を行う。なお、信号処理部３００が行う処理については、後述する。
【００１６】
また、上記の画像選択装置７００が内蔵されたカメラ１の例として、例えば、図２の（ａ）に示されるデジタルスチルカメラ１Ａや図２の（ｂ）に示されるデジタルビデオカメラ１Ｂなどが挙げられる。
【００１７】
［１−１−１．固体撮像装置の構成］
次に、固体撮像装置１００の構成について、図３を用いて説明する。図３は、本実施の形態に係る撮像装置１０の全体構成を示すブロック図である。
【００１８】
図３に示すように、固体撮像装置１００は、画素アレイ部１１０と、列ＡＤ変換部１２０と、行走査部１３０と、列走査部１４０と、駆動制御部１５０とを有する。また、画素アレイ部１１０及びその周辺領域には、画素列ごとに列信号線１６０が配置され、画素行ごとに走査線１７０が配置されている。
【００１９】
画素アレイ部１１０は、複数の画素２１０が行列状に配置された撮像部である。
【００２０】
列ＡＤ変換（アナログ／デジタルコンバータ）部１２０は、各列信号線１６０から入力された信号（アナログ信号）をデジタル変換することで、画素２１０の受光量に対応するデジタル値を取得、保持及び出力する変換部である。列ＡＤ変換部は、列信号線１６０ごとに設けられたＡＤ変換器１２１で構成されている。ＡＤ変換器１２１は、例えば、８ｂｉｔのＡＤ変換器である。
【００２１】
行走査部１３０は、行単位で画素２１０のリセット動作、電荷の蓄積動作、及び読み出し動作を制御する機能を有する。
【００２２】
列走査部１４０は、列ＡＤ変換部１２０に保持された一行分のデジタル値を行信号線１８０へ順次出力させることで、信号処理部３００に出力させる。
【００２３】
駆動制御部１５０は、行走査部１３０及び列走査部１４０に対して各種制御信号を供給することにより、各部を制御する。駆動制御部１５０は、例えば、信号処理部３００からの制御信号に基づいて、行走査部１３０及び列走査部１４０に対して各種制御信号を供給する。
【００２４】
続いて、画素２１０について、図４を用いて詳細に説明する。図４は、本実施の形態に係る画素の回路構成の一例を示す図である。
【００２５】
画素２１０は、光電変換素子２１１と、リセットトランジスタ２１２と、増幅トランジスタ２１３と、選択トランジスタ２１４と、電荷蓄積部２１５とを有する。
【００２６】
光電変換素子２１１は、受光した光を信号電荷（画素電荷）に光電変換する光電変換部である。具体的には、光電変換素子２１１は、上部電極２１１ａと、下部電極２１１ｂと、両電極に挟まれた光電変換膜２１１ｃとで構成されている。光電変換膜２１１ｃは、受光した光に応じて電荷を発生する光電変換材料で構成された膜であり、本実施の形態では、高い光吸収機能を有する有機分子を含む有機光電変換膜で構成されている。言い換えると、本実施の形態に係る光電変換素子２１１は有機光電変換膜を有する有機光電変換素子であり、固体撮像装置１００は有機光電変換素子を用いた有機センサである。なお、有機光電変換膜は、複数の画素２１０に跨って形成されている。複数の画素２１０のそれぞれは、有機光電変換膜を有する。
【００２７】
光電変換膜２１１ｃの厚さは、例えば、約５００ｎｍである。また、光電変換膜２１１ｃは、例えば、真空蒸着法を用いて形成される。上記有機分子は、波長約４００ｎｍから約７００ｎｍの可視光全域にわたって高い光吸収機能を有する。
【００２８】
なお、本実施の形態に係る画素２１０が備える光電変換素子２１１は、上述した有機光電変換膜で構成されていることに限定されず、例えば、無機材料で構成されたフォトダイオードであってもよい。
【００２９】
上部電極２１１ａは、下部電極２１１ｂと対向する電極であり、光電変換膜２１１ｃ上に光電変換膜２１１ｃを覆うように形成されている。つまり、上部電極２１１ａは、複数の画素２１０に跨がって形成されている。上部電極２１１ａは、光電変換膜２１１ｃに光を入射させるため、透明な導電性材料（例えば、ＩＴＯ：インジウム・チタン・スズ）で構成されている。
【００３０】
下部電極２１１ｂは、対向する上部電極２１１ａとの間にある光電変換膜２１１ｃで発生した電子又は正孔を取り出すための電極である。下部電極２１１ｂは、画素２１０ごとに形成されている。下部電極２１１ｂは、例えば、Ｔｉ、ＴｉＮ、Ｔａ、Ｍｏなどで構成されている。
【００３１】
電荷蓄積部２１５は、光電変換素子２１１に接続され、下部電極２１１ｂを介して取り出された信号電荷を蓄積する。
【００３２】
リセットトランジスタ２１２は、ドレインにリセット電圧ＶＲＳＴが供給され、ソースが電荷蓄積部２１５に接続され、電荷蓄積部２１５の電位をリセット（初期化）する。具体的には、リセットトランジスタ２１２のゲートに、リセット用走査線１７０Ａを介して行走査部１３０から所定の電圧が供給される（オンされる）ことで、リセットトランジスタ２１２は電荷蓄積部２１５の電位をリセットする。また、所定の電圧の供給を停止することで、電荷蓄積部２１５に信号電荷が蓄積される（露光が開始される）。
【００３３】
増幅トランジスタ２１３は、ゲートが電荷蓄積部２１５に接続され、ドレインに電源電圧ＶＤＤが供給され、電荷蓄積部２１５に蓄積された信号電荷の電荷量に応じた画素信号を出力する。
【００３４】
選択トランジスタ２１４は、ドレインが増幅トランジスタ２１３のソースに接続され、ソースに列信号線１６０に接続され、増幅トランジスタ２１３から画素信号を出力するタイミングを決定する。具体的には、選択トランジスタ２１４のゲートに、選択用走査線１７０Ｂを介して行走査部１３０から所定の電圧が供給されることで、増幅トランジスタ２１３から画素信号が出力される。
【００３５】
上記の構成を有する画素２１０は、非破壊読み出しが可能である。ここで、非破壊読み出しとは、露光中に、電荷蓄積部２１５に蓄積した電荷（信号電荷）を破壊せずに、その電荷量に応じた画素信号を読み出すことを意味する。なお、露光中とは、露光時間内の任意のタイミングを意味するものとして使用している。
【００３６】
なお、固体撮像装置１００は上記の構成に限定されず、非破壊読み出しが可能な構成であればよい。
【００３７】
［１―１−２．画像選択装置の構成］
続いて、画像選択装置７００について、図１を用いて説明する。同図に示された画像選択装置７００は、信号処理部３００と、表示部５００と、受付部６００とを備える。そして、信号処理部３００は、制御部３１０、記憶部３２０及び処理部３３０を有する。
【００３８】
信号処理部３００は、固体撮像装置１００から取得した画像に所定の画像処理を行う、または当該画像を記憶するなどの処理を行う。さらに、信号処理部３００は、表示部５００に選択用画像を表示させ、またユーザにより選択された選択用画像に対応する非破壊読み出し画像に対して、処理を行う。ここで、固体撮像装置１００から取得した画像とは、固体撮像装置１００により非破壊読み出しにより取得された非破壊読み出し画像である。また、選択用画像とは、固体撮像装置１００から取得された非破壊読み出し画像のうちの少なくとも２以上の画像のそれぞれに対応する画像であって、非破壊読み出し画像の中からユーザの意図にあった非破壊読み出し画像を選択させるための画像である。選択用画像は、例えば、非破壊読み出し画像を縮小したサムネイル画像である。また、本実施の形態に係る固体撮像装置１００は、有機光電変換膜を有している。言い換えると、非破壊読み出し画像は、有機光電変換膜を有する固体撮像装置１００で撮像された画像である。
【００３９】
制御部３１０は、例えば、記憶部３２０からプログラムを読み出し、読み出したプログラムを実行する。上記では制御部３１０は駆動制御部１５０を制御することについて説明したが、その他の各部を制御してもよい。例えば、受付部６００がユーザから所定の指示を受け付けると、制御部３１０は指示に応じた制御を行ってもよい。例えば、受付部６００がユーザから撮像の指示を受け付けると、制御部３１０は、レンズ４００（具体的には、レンズ４００の位置を制御するモータ）を制御し、被写体のピントなどを調整してもよい。なお、制御部３１０は、撮像装置１０が備えていればよく、画像選択装置７００が備えていなくてもよい。
【００４０】
記憶部３２０は、例えば、固体撮像装置１００から複数回の非破壊読み出しにより取得された複数の非破壊読み出し画像を記憶している。つまり、記憶部３２０は、１回の撮像で取得された複数の非破壊読み出し画像を記憶している。なお、１回の撮像とは同時刻の撮像の一例である。言い換えると、記憶部３２０は、同時刻に撮像された露光時間の異なる複数の非破壊読み出し画像を記憶している。また、記憶部３２０は、処理部３３０のワークメモリとして機能してもよい。なお、記憶部３２０は、画像選択装置７００が有していればよく、信号処理部３００が有していなくてもよい。
【００４１】
処理部３３０は、表示部５００に選択用画像を表示させ、ユーザにより選択された選択用画像に対応する非破壊読み出し画像に処理を行う。詳細は後述するが、例えば、処理部３３０は、選択された選択用画像に対応する非破壊読み出し画像を表示部５００に表示させたり、選択された選択用画像に対応する非破壊読み出し画像を識別して記憶部３２０に記憶させたりする。識別の方法は特に限定されないが、例えば、ユーザにより選択された選択用画像に対応する非破壊読み出し画像に対して、所定のファイルに移動させたり、付加情報を付与して記憶したりする。
【００４２】
また、処理部３３０は、記憶部３２０に記憶されている複数の非破壊読み出し画像の中からユーザの意図にあった非破壊読み出し画像を選択させるための選択用画像を生成してもよい。なお、処理部３３０は生成した選択用画像を、当該選択用画像を生成する基となった非破壊読み出し画像と対応づけて記憶部３２０に記憶させてもよい。
【００４３】
ここで、固体撮像装置１００から取得する非破壊読み出し画像について、図５を用いて説明する。図５は、本実施の形態に係る露光時間と非破壊読み出し画像との関係を示す図である。１回の露光において、Ｎ回の非破壊読み出しを行い、画像１〜画像ＮのＮ枚の非破壊読み出し画像を取得する例を示している。例えば、露光時間（露光の開始から露光の終了までの時間）は、１／１６秒である。画像Ｎは、露光時間が１／１６秒のときに非破壊読み出しにより取得された非破壊読み出し画像である。また、画像Ｎ以外の画像は、画像Ｎより短い露光時間のときに非破壊読み出しにより取得された非破壊読み出し画像である。例えば、画像１の露光時間は１／１０００秒、画像２の露光時間は１／５００秒、画像３の露光時間は１／２５０秒などである。露光時間が短いときに取得された画像（例えば、画像１、画像２及び画像３）は、蓄積される信号電荷の電荷量が少ないため全体的に暗い画像となるが、被写体が動いている場合には動きボケの少ない画像となる。一方、露光時間が長いときに取得された画像（例えば、画像Ｎ）は、蓄積される信号電荷の電荷量が多いため全体的に明るい画像となるが、被写体が動いている場合には動きボケが多い画像となる。つまり、露光時間（非破壊読み出しが行われるタイミング）により生成される画像が、異なる。なお、図５では、画像１及び画像Ｎの２枚の非破壊読み出し画像を示しているが、画像１は明るさのゲインの補正を行った画像である。つまり、画像１と画像Ｎとは、明るさが略同一であり、動きボケが異なる画像である。また、非破壊読み出しを行う露光時間は、上記に限定されない。
【００４４】
ここで、明るさのゲインの補正について説明する。上記のように露光時間が短いときに取得された非破壊読み出し画像は全体的に暗い画像となるので、処理部３３０は、当該非破壊読み出し画像に明るさに対するゲインの補正などの画像処理を行なってもよい。例えば、複数の非破壊読み出し画像のそれぞれにおいて、ゲインの補正などの画像処理を行ってもよい。例えば、露光時間が長い画像の露光時間（例えば、１／１６秒）と、露光時間の短い画像の露光時間（例えば、１／１０００秒）とから演算を行い、明るさのゲインの補正値を決定してもよい。明るさのゲインの補正（具体的には、明るさを高くする補正）が行われることで、露光時間が短いときに取得された非破壊読み出し画像（例えば、画像１）は、露光時間が長いときに取得された非破壊読み出し画像（例えば、画像Ｎ）と比べ、明るさが略同一であり、かつ動きボケの少ない画像となる。つまり、明るさは略同一で、露光時間の違いにより動きボケの異なる画像を複数生成することができる。なお、非破壊読み出し画像に明るさのゲインの補正が行われた場合、その画像から生成される選択用画像も当該補正が行われた画像となる。また、露光中の非破壊読み出しにより取得された非破壊読み出し画像は、上記でも説明したように暗い画像ではあるが、ピントはあっている画像である。
【００４５】
表示部５００は、信号処理部３００で生成された補正用画像などを表示する表示デバイスであり、例えば、液晶モニタなどである。例えば、表示部５００は、非破壊読み出し画像のうちの少なくとも２以上の画像のそれぞれに対応する画像であって、非破壊読み出し画像の中からユーザの好みの非破壊読み出し画像を選択させるための選択用画像を同時に表示する。また、表示部５００は、各種の設定情報が表示可能である。例えば、表示部５００は、撮影時の撮影条件（絞りやＩＳＯ感度など）を表示可能である。
【００４６】
受付部６００は、ユーザの操作を受け付けるユーザインターフェースであり、タッチパネルまたは押しボタンなどである。例えば、受付部６００がタッチパネルである場合、受付部６００は表示部５００（例えば、液晶モニタ）に接着され構成されている。受付部６００によれば、ユーザは処理を行う画像を選択することができる。なお、受付部６００は、撮像の指示や撮影条件の変更などのユーザの操作を受け付けてもよい。そして、ユーザの操作に応じて、制御部３１０が各部を制御する。
【００４７】
なお、画像選択装置７００は、外部の回路と信号処理部３００との間で通信を行うためのインターフェース（図示しない）を備えていてもよい。インターフェースは、一例として、半導体集積回路からなる通信ポートなどである。
【００４８】
［１−２．画像選択装置の処理］
次に、画像選択装置７００が行う処理について説明する。
【００４９】
［１−２−１．画像選択装置の処理の流れ］
画像選択装置７００の処理の流れについて、図６を用いて説明する。図６は、本実施の形態に係る画像選択装置７００の動作を示すフローチャートである。
【００５０】
まず、処理部３３０は、固体撮像装置１００から複数回の非破壊読み出しにより取得された複数の非破壊読み出し画像を記憶部３２０に記憶させる（Ｓ１）。処理部３３０は、上記に示した明るさのゲインの補正などを行った複数の非破壊読み出し画像を記憶部３２０に記憶させてもよい。なお、本実施の形態において、複数回の非破壊読み出しにより取得された複数の非破壊読み出し画像とは、１回の撮像において複数回の非破壊読み出しが行われることで取得された画像である。また、非破壊読み出し画像は、非破壊読み出しが行われた回数と同数存在する。
【００５１】
そして、処理部３３０は記憶部３２０に記憶されている複数の非破壊読み出し画像のうちの少なくとも２以上の非破壊読み出し画像のそれぞれに対応する画像であって、複数の非破壊読み出し画像の中からユーザの好みの非破壊読み出し画像を選択させるための選択用画像を生成する（Ｓ２）。つまり、選択用画像は、記憶部３２０に記憶されている複数の非破壊読み出し画像の全てに対して生成されなくてもよい。例えば、所定の露光時間の間隔ごとの非破壊読み出し画像に対応する選択用画像を生成してもよいし、その他の方法でもよい。これにより、処理部３３０での処理時間を短縮することができる。
【００５２】
次に、処理部３３０は、生成した選択用画像を表示部５００に表示させる（Ｓ３）。例えば、処理部３３０は、選択用画像を並べて表示部５００に表示させてもよい。より詳しくは、処理部３３０は、選択用画像を露光時間の順に並べて同時に表示部５００に表示させてもよい。これにより、ユーザは徐々に動きボケの度合いが異なって並んでいる選択用画像の中から選択できるので、ユーザの好み（意図）にあった画像を容易に選択することができる。より具体的には、ユーザの好みの動きボケ度合の画像を容易に選択することができる。
【００５３】
そして、受付部６００を介してユーザにより特定の選択用画像が選択された場合（Ｓ４でＹｅｓ）、処理部３３０は表示部５００にユーザにより選択された選択用画像に対応する非破壊読み出し画像を表示部５００に表示させる（Ｓ５）。ステップＳ４において選択用画像が選択されたとは、例えば、タッチパネルのタッチ操作などによりユーザが特定の選択用画像を選択したことを意味する。なお、選択された選択用画像に対応する非破壊読み出し画像を表示部５００に表示させることは、処理部３３０が行う処理の一例である。
【００５４】
選択用画像は、非破壊読み出し画像を縮小した画像であるので、画像のサイズが非破壊読み出し画像に比べ小さい。そのため、ユーザにより選択された選択用画像に対応する非破壊読み出し画像を表示部５００に表示することにより、ユーザはより鮮明である非破壊読み出し画像を確認して、例えば保存する（記録する）画像を選択することができる。つまり、ユーザは容易に保存したい画像を選択することができる。
【００５５】
なお、ユーザにより特定の選択用画像が選択されていない場合（Ｓ４でＮｏ）、処理部３３０は特に処理を行わない。つまり、選択用画像を表示したままである。
【００５６】
そして、受付部６００を介してユーザにより記憶する（保存する）画像が選択されたら（Ｓ６でＹｅｓ）、処理部３３０は選択された選択用画像に対応する非破壊読み出し画像を記憶部３２０に記憶させる（Ｓ７）。ここで、処理部３３０は、記憶部３２０に記憶されていた非破壊読み出し画像のコピーを生成して、元の非破壊読み出し画像が記憶されているファイルとは異なるファイル（例えば、ユーザが選択した非破壊読み出し画像を格納するファイル）などに記憶させてもよいし、当該ファイルに選択された非破壊読み出し画像を移動させてもよい。つまり、ユーザが選択した非破壊読み出し画像であることがわかるように識別されることも、ステップＳ７における記憶に含まれる。なお、ユーザにより保存する画像が選択されるとは、例えば、表示されている非破壊読み出し画像を保存するか否かの選択（後述の図７Ｂの選択表示Ｃ１参照）において、受付部６００がユーザから保存する選択結果を受け付ける（後述の図７Ｂの選択表示Ｃ１に対して、“はい”を選択する）ことを意味する。また、ユーザが選択した選択用画像に対応する非破壊読み出し画像を記憶させることは、処理部３３０が行う処理の一例である。また、ユーザにより選択されなかった非破壊読み出し画像は削除されてもよいし、記憶部３２０に記憶されたままでもよい。
【００５７】
［１−２−２．画像選択装置の処理の詳細］
続いて、画像選択装置７００の処理について、図７Ａ及び図７Ｂを用いてより詳細に説明する。図７Ａは、本実施の形態に係る処理部３３０により表示部５００に表示される選択用画像の一例を示す図である。図７Ｂは、ユーザにより選択用画像が選択された場合に表示部５００に表示される画像の一例を示す図である。なお、以降においてユーザは受付部６００の一例であるタッチパネルを用いて画像を選択する例について説明するが、選択方法はこれに限定されない。例えば、ボタンなどにより選択されてもよい。
【００５８】
図７Ａでは、表示部５００の下側に１３枚の選択用画像が並んで表示されている例を示している。より詳しくは、選択用画像Ｐ１１、Ｐ１７、Ｐ１１３を含む選択用画像が並んでいる選択用画像群Ｐ１が表示されている。さらに、隣り合って並んでいる選択用画像の一部が重なるように表示されている。これにより、より多くの選択用画像を表示部５００に表示させることができるので、ユーザは意図にあった画像を選択しやすくなる。なお、表示部５００に表示される選択用画像の位置及び枚数は、特に限定されない。また、隣り合う選択用画像の一部が重なるように表示されることに、限定されない。なお、選択用画像群Ｐ１に含まれる画像は、複数の非破壊読み出し画像のうちの少なくとも２以上の非破壊読み出し画像のそれぞれに対応する画像であって、複数の非破壊読み出し画像の中からユーザの意図にあった非破壊読み出し画像を選択させるための画像の一例である。
【００５９】
また、図７Ａでは、選択用画像は露光時間の順に並べられて表示されている。例えば、選択用画像群Ｐ１の中で最も左に表示されている選択用画像Ｐ１１は、露光時間が最も短いときの非破壊読み出し画像（例えば、図５の画像１）に対応する選択用画像である。つまり、動きボケの小さい画像である。また、例えば、選択用画像群Ｐ１の中で最も右に表示されている選択用画像Ｐ１１３は、露光時間が最も長いときの非破壊読み出し画像（例えば、図５の画像Ｎ）に対応する選択用画像である。つまり、動きボケの大きい画像である。そして、選択用画像Ｐ１１から選択用画像Ｐ１１３まで徐々に露光時間が長くなるように順に選択用画像は並べて表示されている。言い換えると、選択用画像Ｐ１１から選択用画像Ｐ１１３まで、徐々に動きボケが大きくなるように並んで表示されている。これにより、ユーザは意図にあった動きボケが表示されている選択用画像を容易に選択することができる。
【００６０】
なお、図７Ａでは、ユーザにより特定の選択用画像を選択されていない状態を示している。この場合、例えば表示部５００に、１３枚の選択用画像のうちの１枚の選択用画像に対応する非破壊読み出し画像を表示していてもよい。図７Ａでは、選択用画像Ｐ１１に対応する非破壊読み出し画像Ｐ２が表示されている例を示している。例えば、非破壊読み出し画像は、選択用画像（選択用画像群Ｐ１）と重ならないように表示部５００に表示される。なお、非破壊読み出し画像Ｐ２は、複数の非破壊読み出し画像のうちの少なくとも２以上の非破壊読み出し画像のそれぞれに対応する画像であって、複数の非破壊読み出し画像の中からユーザの意図にあった非破壊読み出し画像を選択させるための選択用画像の一例である。
【００６１】
図７Ｂに示すように、例えば、受付部６００がタッチパネルである場合、ユーザにより特定の選択用画像（同図では、選択用画像Ｐ１７）がタッチされるなどして特定の選択用画像が選択されると、処理部３３０は、当該選択用画像に対応する非破壊読み出し画像Ｐ２を表示部５００に表示させる。例えば、非破壊読み出し画像Ｐ２は選択用画像（選択用画像群Ｐ１）と重ならないように表示される。これにより、ユーザは選択した選択用画像Ｐ１７に対応する非破壊読み出し画像Ｐ２を確認しながら保存する画像を選択することができるので、非破壊読み出し画像Ｐ２を縮小した選択用画像のみを確認しながら画像を選択する場合に比べ、ユーザの意図する画像を選択しやすくなる。
【００６２】
また、ユーザにより特定の選択用画像が選択されると、選択された選択用画像（図７Ｂでは、選択用画像Ｐ１７）は、他の選択用画像より大きく表示されてもよい。これにより、ユーザはタッチ操作（例えば、選択用画像をタッチすること）を止めても、表示部５００に表示されている非破壊読み出し画像がどの選択用画像に対応する画像であるかを確認することができる。また、表示されている非破壊読み出し画像がユーザの意図する画像ではなくより所望の非破壊読み出し画像を表示させる際、拡大されている選択用画像を基準としよりユーザの意図にあった非破壊読み出し画像に対応する選択用画像を選択しやすくなる。なお、選択用画像が１３枚以上ある場合、ユーザは選択用画像の並び方向にスワイプ操作を行うことで、選択用画像群Ｐ１に表示される選択用画像を選択してもよい。
【００６３】
そして、ユーザによる特定の非破壊読み出し画像を保存する指示（例えば、図７Ｂに示されている選択表示Ｃ１において、“はい”のタッチ）を受付部６００が受け付けると、処理部３３０は当該非破壊読み出し画像を記憶部３２０に記憶させる。なお、ここでの記憶とは、既に記憶されている（図６のＳ１参照）当該非破壊読み出し画像に対して、ユーザが選択した画像であることがわかるように他の非破壊読み出し画像と識別することを含む意図である。例えば、選択された非破壊読み出し画像を特定のファイルに移動させる、又は選択されたことを示す付加情報を付加することなども、記憶することに含まれる。
【００６４】
なお、例えば、ユーザにより特定の選択用画像が選択された場合、処理部３３０は、選択された選択用画像に対応する非破壊読み出し画像の一部の領域を拡大した拡大画像を表示部５００に表示させてもよい。この場合について、図８Ａ及び図８Ｂを用いて説明する。なお、拡大する領域は、例えば、ユーザにより決定される。例えば、ユーザが表示されている非破壊読み出し画像に対して所定の操作を行うことで、拡大された拡大画像が表示される。
【００６５】
まずは、選択された選択用画像に対応する非破壊読み出し画像の一部が拡大して表示されている場合について、図８Ａを用いて説明する。図８Ａは、選択された選択用画像に対応する非破壊読み出し画像の一部が拡大して表示されている例を示す図である。図８Ａは、選択した選択用画像Ｐ１７の領域Ｒに対応する非破壊読み出し画像の領域を拡大した拡大画像を表示している例について示している。非破壊読み出し画像の一部を拡大した拡大画像を表示することで、ユーザは、好みの画像を選択する上で特に重要である領域の画像を確認して保存する画像を選定することができる。
【００６６】
次に、選択用画像Ｐ１７に対応する非破壊読み出し画像Ｐ２の一部を拡大した拡大画像を表示した後、ユーザが選択用画像Ｐ１７とは別の選択用画像Ｐ１１０を選択した場合について、図８Ｂを用いて説明する。図８Ｂは、選択された選択用画像Ｐ１１０に対応する非破壊読み出し画像Ｐ２の一部が拡大して表示されている例を示す図である。ユーザが選択用画像Ｐ１１０を選択した場合、処理部３３０は、選択用画像Ｐ１１０に対応する非破壊読み出し画像Ｐ２を表示部５００に表示させる。このとき、処理部３３０は、選択用画像Ｐ１１０において選択用画像Ｐ１７内の領域Ｒと同じ領域に対応する非破壊読み出し画像Ｐ２の拡大画像を表示部５００に表示させる。これにより、ユーザが非破壊読み出し画像の一部の領域を拡大した拡大画像を確認して保存する画像を選択している場合において、選択用画像を選択するごとに拡大する領域を設定しなくてもよくなるので、操作性が向上する。つまり、ユーザの意図にあった画像を容易に選択することができる。
【００６７】
なお、上記では選択用画像として、選択用画像群Ｐ１及び非破壊読み出し画像Ｐ２が表示される例について説明したが、これに限定されない。選択用画像としては、選択用画像群Ｐ１及び非破壊読み出し画像Ｐ２の少なくとも一方が表示されていればよい。例えば、選択用画像として、非破壊読み出し画像Ｐ２のみが表示部５００に表示されていてもよい。選択用画像として、非破壊読み出し画像Ｐ２のみが表示部５００に表示されている例について、図９を用いて、説明する。図９は、表示部５００に表示される選択用画像の他の一例を示す図である。
【００６８】
図９に示すように、表示部５００には選択用画像として非破壊読み出し画像Ｐ２が表示される。ユーザは、鮮明である当該選択用画像（非破壊読み出し画像Ｐ２）を確認することで、複数の非破壊読み出し画像の中から、画像を選択できる。これにより、ユーザはユーザの意図にあった画像を選択することができる。
【００６９】
まず、処理部３３０は、複数の非破壊読み出し画像の中から、所定の非破壊読み出し画像を表示部５００に表示させる。所定の非破壊読み出し画像とは、例えば、露光時間の異なる複数の非破壊読み出し画像の中で、露光時間が真ん中である非破壊読み出し画像（１つの非破壊読み出し画像の一例）である。ユーザは表示部５００に表示された１つ非破壊読み出し画像を確認する。そして、当該非破壊読み出し画像を保存する場合は実施の形態１と同様、ユーザは選択表示（図示しない）などで保存する指示を行う。受付部６００がユーザから保存する指示を受け付けると、処理部３３０は当該非破壊読み出し画像Ｐ２を記憶部３２０に記憶させる。
【００７０】
一方、他の露光時間の非破壊読み出し画像を確認する（表示させる）場合、ユーザは例えば左右方向のスワイプ動作により表示させる非破壊読み出し画像Ｐ２の変更を行う。なお、ユーザによる左右方向のスワイプ動作は、受付部６００が受け付ける所定の操作の一例である。
【００７１】
受付部６００からユーザ所定の操作を受け付けると、処理部３３０は１つの非破壊読み出し画像と露光時間が異なる非破壊読み出し画像を表示部５００に表示させる。これにより、露光時間の異なる非破壊読み出し画像を確認することができるので、ユーザの意図にあった画像を選択することができる。
【００７２】
例えば、処理部３３０は所定の操作に応じて、露光時間の順に非破壊読み出し画像を表示部５００に表示させてもよい。具体的には、図９においてユーザが右方向（左から右）にスワイプ動作を行った場合、処理部３３０は１つの非破壊読み出し画像より露光時間が長い（ボケ度合いが大きい）非破壊読み出し画像を表示部５００に表示させる。より具体的には、複数の非破壊読み出し画像の中から、１つの非破壊読み出し画像を取得した露光時間の次に露光時間が長い非破壊読み出し画像を表示部５００に表示させる。
【００７３】
また、図９においてユーザが左方向（右か左）にスワイプ動作を行った場合、処理部３３０は１つの非破壊読み出し画像より露光時間が短い（ボケ度合いが小さい）非破壊読み出し画像を表示部５００に表示させてもよい。より具体的には、複数の非破壊読み出し画像の中から、１つの非破壊読み出し画像を取得した露光時間の次に露光時間が短い非破壊読み出し画像を表示部５００に表示させる。
【００７４】
これにより、ユーザは複数の非破壊読み出し画像を露光時間の順に確認することができるので、ユーザの意図にあった画像を容易に選択することができる。
【００７５】
［１−３．効果等］
以上のように、本実施の形態に係る画像選択装置７００は、固体撮像装置１００から複数回の非破壊読み出しにより取得された複数の非破壊読み出し画像を記憶している記憶部３２０と、複数の非破壊読み出し画像のうちの少なくとも２以上の非破壊読み出し画像のそれぞれに対応する画像であって、複数の非破壊読み出し画像の中からユーザの意図にあった非破壊読み出し画像を選択させるための非破壊読み出し画像である選択用画像を表示する表示部５００と、ユーザによる選択用画像に対する選択を受け付ける受付部６００と、ユーザにより選択された選択用画像に対応する非破壊読み出し画像に処理を行う処理部３３０と、を備える。
【００７６】
これにより、被写体が動いている場合、露光時間により動きボケが異なる画像が取得される。例えば、露光時間が短いと動きボケの少ない非破壊読み出し画像が取得され、露光時間が長いと動きボケの多い非破壊読み出し画像が取得される。つまり、ユーザは、同時刻の撮像（１回の撮像）において動きボケの程度が異なる複数の非破壊読み出し画像の中から、非破壊読み出し画像である選択用画像を確認することで意図にあった非破壊読み出し画像を選択することができる。よって、本実施の形態に係る画像選択装置７００は、同時刻に撮像された露光時間の異なる複数の非破壊読み出し画像の中からユーザの意図にあった画像を選択することができる。
【００７７】
また、非破壊読み出しが可能な固体撮像装置１００から非破壊読み出しにより取得された非破壊読み出し画像であれば、様々なタイプの固体撮像装置を用いて撮像された画像であっても、本実施の形態に係る画像選択装置７００では、ユーザの意図にあった画像を選択することができる。
【００７８】
また、ユーザにより特定の選択用画像が選択される（受付部６００がユーザの選択を受け付ける）と、処理部３３０は選択された選択用画像に対応する非破壊読み出し画像に処理を行う。処理部３３０が選択された選択用画像に対応する非破壊読み出し画像を表示部５００に表示させる処理を行った場合、ユーザは選択用画像及び非破壊読み出し画像を確認して画像を選択することができるので、ユーザの意図にあった非破壊読み出し画像を選択しやすくなる。また、処理部３３０が選択された選択用画像に対応する非破壊読み出し画像を記憶部３２０に記憶させる処理を行うことで、ユーザが選択した選択用画像に対応する非破壊読み出し画像を保存することができる。
【００７９】
また、選択用画像には、複数の非破壊読み出し画像のうちの少なくとも２以上の非破壊読み出し画像のそれぞれに対応する画像であって、複数の非破壊読み出し画像の中からユーザの意図にあった非破壊読み出し画像を選択させるための画像が含まれる。
【００８０】
これにより、ユーザは非破壊読み出し画像を選択させるための２以上の画像を確認して、ユーザの意図にあった画像を選択することができる。つまり、一度に２以上の画像を確認した上で、意図する画像を選択することができる。よって、本実施の形態に係る画像選択装置７００では、同時刻に撮像された露光時間の異なる複数の非破壊読み出し画像の中からユーザの意図にあった画像を選択することができる。
【００８１】
また、処理部３３０は、選択用画像を露光時間の順に並べて表示部５００に表示させる。
【００８２】
これにより、選択用画像は、動きボケの程度の順に並べて表示部５００に表示される。つまり、選択用画像は動きボケが徐々に異なるように並べて表示されるので、ユーザはユーザの意図にあった画像をより容易に選択することができる。
【００８３】
また、処理部３３０は、隣り合って並んでいる選択用画像の一部が重なるように表示部５００に表示させる。
【００８４】
これにより、表示部５００により多くの選択用画像を表示させることができるので、ユーザはユーザの意図に合った画像を選びやすくなる。
【００８５】
また、処理部３３０は、選択用画像のうちのユーザが選択している選択用画像に対応する非破壊読み出し画像を表示部５００に表示させる。
【００８６】
これにより、ユーザは選択用画像及び非破壊読み出し画像を確認して画像を選択することができるので、より容易にユーザの意図にあった画像を選択することができる。
【００８７】
また、選択用画像は、複数の非破壊読み出し画像のうちの１つの非破壊読み出し画像である。
【００８８】
これにより、ユーザは同時刻に撮像された露光時間の異なる（動きボケの程度が異なる）複数の非破壊読み出し画像の中から、１つの非破壊読み出し画像を確認することで、画像を選択することができる。ユーザは鮮明である非破壊読み出し画像を確認することで画像を選択できるので、ユーザの意図にあった画像を選択することができる。
【００８９】
また、１つの非破壊読み出し画像に対して受付部６００が所定の操作を受け付けると、処理部３３０は、処理として、１つの非破壊読み出し画像に置き換えて、複数の非破壊読み出し画像の中から１つの非破壊読み出し画像と露光時間が異なる非破壊読み出し画像を表示部５００に表示させる。
【００９０】
これにより、露光時間の異なる非破壊読み出し画像を確認することができるので、ユーザの意図にあった画像を選択することができる。
【００９１】
また、非破壊読み出し画像は、明るさに対するゲインの補正が行われた（反映された）画像である。
【００９２】
これにより、露光時間の異なる複数の非破壊読み出し画像は、略同一の明るさの画像となる。例えば、露光時間が短い画像の場合、全体的に暗く確認が行いづらい場合があるが、明るさに対するゲインの補正を行うことで、より確認が行いやすくなる。また、非破壊読み出し画像から生成される選択用画像も、ゲインの補正が行われた画像となる。つまり、選択用画像の確認を行うときも、より確認が行いやすくなる。
【００９３】
また、非破壊読み出し画像は、有機光電変換膜を有する固体撮像装置１００で撮像された画像である。
【００９４】
これにより、有機光電変換膜を有する固体撮像装置１００から取得された非破壊読み出し画像の中から、ユーザの意図にあった画像を容易に選択することができる。
【００９５】
また、本実施の形態に係るカメラ１は、上記に記載の画像選択装置７００と、行列状に配列され、非破壊読み出しが可能な複数の画素２１０を有する固体撮像装置１００と、を備える。
【００９６】
これにより、カメラ１が備える非破壊読み出しが可能な固体撮像装置１００から１回の撮像において複数回の非破壊読み出しにより取得された複数の非破壊読み出し画像の中から、動きボケなどのユーザの意図にあった非破壊読み出し画像を選択することができる。
【００９７】
また、様々なタイプの固体撮像装置を備えるカメラ１であっても、当該固体撮像装置から非破壊読み出しにより取得した非破壊読み出し画像を用いていれば、ユーザの意図にあった画像を選択することができる。
【００９８】
また、本実施の形態に係る画像選択方法は、固体撮像装置１００から複数回の非破壊読み出しにより取得された非破壊読み出し画像のうちの少なくとも２以上の画像のそれぞれに対応する画像であって、非破壊読み出し画像の中からユーザの意図に合った非破壊読み出し画像を選択させるための非破壊読み出し画像である選択用画像を表示し、ユーザによる選択用画像に対する選択を取得し、ユーザにより選択された選択用画像に対応する非破壊読み出し画像に処理を行う。
【００９９】
これにより、被写体が動いている場合、露光時間により動きボケが異なる画像が取得される。例えば、露光時間が短いと動きボケの少ない非破壊読み出し画像が取得され、露光時間が長いと動きボケの多い非破壊読み出し画像が取得される。つまり、ユーザは、１回の撮像において動きボケの程度が異なる複数の非破壊読み出し画像の中から、画像を選択することができる。よって、本実施の形態に係る画像選択方法であれば、同時刻に撮像された露光時間の異なる複数の非破壊読み出し画像の中から、ユーザの意図にあった画像を選択することができる。
【０１００】
（実施の形態２）
以下、図１０〜図１１Ｅを用いて、本実施の形態を説明する。なお、カメラの構成については実施の形態１と同様であり、説明を省略する。
【０１０１】
［２−１．画像選択装置の処理］
上記実施の形態１では、１回の撮像において取得された複数の非破壊読み出し画像の中からユーザの意図にあった非破壊読み出し画像を選択することについて説明した。本実施の形態では、２回以上の撮像のそれぞれにおいて取得された複数の非破壊読み出し画像の中からユーザの意図にあった画像を選択することについて説明する。例えば、動きの速い被写体に対して連写又は動画像による撮像を行い、その中からユーザの意図にあった非破壊読み出し画像を選択する場合などである。連写又は動画像による撮像のそれぞれにおいて複数回の非破壊読み出しにより複数の非破壊読み出し画像が取得できる。本実施の形態に係る画像選択装置７００であれば、ユーザは、その膨大な非破壊読み出し画像の中からユーザの意図にあった非破壊読み出し画像を選択することができる。以下に詳細を説明する。なお、所定の回数の連写による撮像、又は所定の期間の動画像の撮像とは、同時刻の撮像の一例である。
【０１０２】
［２−１−１．画像選択装置の処理の流れ］
画像選択装置７００の処理の流れについて、図１０を用いて説明する。図１０は、本実施の形態に係る画像選択装置７００の動作を示すフローチャートである。
【０１０３】
まず、処理部３３０は、固体撮像装置１００から複数回の非破壊読み出しにより取得された複数の非破壊読み出し画像を記憶部３２０に記憶させる（Ｓ１１）。なお、ステップＳ１１では、処理部３３０は、２回以上の撮像のそれぞれにおいて、固体撮像装置１００から複数回の非破壊読み出しにより取得された複数の非破壊読み出し画像を記憶部３２０に記憶させる。
【０１０４】
そして、処理部３３０は、記憶部３２０に記憶されている２回以上の撮像の中からユーザの意図にあった撮像を選択させるための撮像選択用画像を生成する（Ｓ１２）。なお、処理部３３０は、例えば、２回以上の撮像のそれぞれにおいて、複数の非破壊読み出し画像の中から１枚ずつ撮像選択用画像を生成する。撮像選択用画像は、実施の形態１の選択用画像と同様、例えば、非破壊読み出し画像を縮小したサムネイル画像である。
【０１０５】
処理部３３０は、生成した撮像選択用画像を表示部５００に表示させる（Ｓ１３）。そして、受付部６００を介してユーザにより特定の撮像選択用画像が選択される（Ｓ１４でＹｅｓ）と、処理部３３０は選択された撮像選択用画像に対応する非破壊読み出し画像を表示部５００に表示させる（Ｓ１５）。なお、ユーザにより特定の撮像選択用画像が選択されていない場合（Ｓ１４でＮｏ）、処理部３３０は特に処理を行わない。つまり、撮像選択用画像を表示したままである。また、選択された撮像選択用画像に対応する非破壊読み出し画像を表示部５００に表示させることは、処理部３３０が行う処理の一例である。
【０１０６】
そして、受付部６００を介してユーザにより選択用画像を表示する撮像（特定の撮像選択用画像）が選択されると（Ｓ１６でＹｅｓ）、処理部３３０は、選択された撮像選択用画像に対応する撮像において取得された複数の非破壊読み出し画像のうちの少なくとも２以上の非破壊読み出し画像のそれぞれに対応する選択用画像を生成し、表示部５００に表示させる（Ｓ１７）。例えば、処理部３３０は、露光時間の順に所定の方向に並べて撮像選択用画像を表示部５００に表示させる。
【０１０７】
続いて、ステップＳ１８〜ステップＳ２１が行われるが、それぞれ実施の形態１に係るステップＳ４〜ステップＳ７と同様の処理であり、説明を省略する。
【０１０８】
［２−１−２．画像選択装置の処理の詳細］
続いて、画像選択装置７００の処理について、図１１Ａ〜図１１Ｅを用いて説明する。図１１Ａは、本実施の形態に係る処理部３３０により表示部５００に表示される撮像選択用画像の一例を示す図である。同図では、一例として、撮像選択用画像Ｐ３１、Ｐ３５、Ｐ３９を含む９枚の撮像選択用画像が並んでいる撮像選択用画像群Ｐ３が表示されている場合を示している。つまり、撮像タイミングの異なる９枚の撮像選択用画像が表示されている。なお、表示される撮像選択用画像の数は特に限定されない。
【０１０９】
処理部３３０は、例えば、２回以上の撮像のそれぞれにおいて、略同一の露光時間のときに取得された非破壊読み出し画像から撮像選択用画像を生成してもよい。図１１Ａでは、撮像タイミングは異なっているが、露光時間が略同一である９枚の撮像選択用画像が表示されている。これにより、ユーザは略同一の動きボケ度合を有する撮像選択用画像であって、撮像タイミングが異なる非破壊読み出し画像から生成された撮像選択用画像を確認することができるので、ユーザの意図にあった撮像タイミングの撮像における画像を選択しやすくなる。なお、２回以上の撮像のそれぞれにおいて、略同一の露光時間のときに取得された非破壊読み出し画像がない場合、例えば、処理部３３０は、露光時間の差が最も小さくなるように２回以上の撮像のそれぞれにおいて撮像選択用画像を生成する非破壊読み出し画像を選定してもよい。
【０１１０】
例えば、処理部３３０は、撮像選択用画像を撮像が行われた順に所定の方向に並べて表示部５００に表示させてもよい。図１１Ａでは、表示部５００の下側に撮像選択用画像を並べて表示している例について示している。これにより、ユーザは撮像が行われた順に撮像確認用画像を確認することができるので、ユーザの意図にあった撮像タイミングの撮像をより容易に選択することができる。
【０１１１】
なお、図１１Ａはユーザにより撮像選択用画像が選択されていないときを示しているが、一例として撮像選択用画像Ｐ３１に対応する非破壊読み出し画像Ｐ２が表示部５００に表示されている場合を示している。なお、ユーザにより撮像選択用画像が選択されていない場合、非破壊読み出し画像は表示されていなくてもよい。
【０１１２】
図１１Ｂは、本実施の形態に係る処理部３３０により、選択された撮像選択用画像に対応する非破壊読み出し画像が表示部５００に表示されている例を示す図である。同図では、９枚の撮像選択用画像の中から撮像選択用画像Ｐ３５をユーザが選択した場合を示している。処理部３３０により、選択された撮像選択用画像Ｐ３５に対応する非破壊読み出し画像Ｐ２が表示部５００に表示される。これにより、ユーザは撮像選択用画像Ｐ３５及び非破壊読み出し画像Ｐ２を確認して撮像を選択することができるので、撮像選択用画像のみを確認して撮像を選択する場合に比べ、ユーザの意図にあった撮像を容易に選択することができる。なお、表示される非破壊読み出し画像Ｐ２は、非破壊読み出し画像の一部を拡大した画像であってもよい。
【０１１３】
また、ユーザにより撮像選択用画像が選択されると、処理部３３０は選択された撮像選択用画像Ｐ３５を他の撮像選択用画像より大きく表示部５００に表示させてもよい。例えば、選択された撮像選択用画像Ｐ３５は、表示されている非破壊読み出し画像Ｐ２と重ならないように拡大され表示される。
【０１１４】
図１１Ｃは、本実施の形態に係る選択された撮像選択用画像に対応する選択用画像が表示されている例を示す図である。例えば、ユーザは選択する撮像に対応する撮像選択用画像に対してスワイプ動作することにより、特定の撮像（撮像タイミング）を選択する。例えば、スワイプ動作は、撮像選択用画像の並び方向に対して略直交する方向に行われる。
【０１１５】
そして、処理部３３０は選択された撮像における選択用画像を生成し、表示部５００に表示させる。例えば、処理部３３０は、撮像選択用画像の並び方向と略直交する方向に選択用画像を並んで表示させる。例えば、選択され拡大して表示されている撮像選択用画像と同じ大きさの選択用画像を表示させる。図１１Ｃでは、表示部５００の下側から上側に向けて徐々に動きボケが大きくなる（露光時間が長くなる）ように順に選択用画像が並んでいる選択用画像群Ｐ１が表示されている。なお、選択用画像と撮像選択用画像とが略同一の縮小率で生成されている場合、選択された撮像選択用画像は選択用画像として用いられてもよい。
【０１１６】
なお、図１１Ｃでは選択用画像群Ｐ１は非破壊読み出し画像Ｐ２に重なって表示されている例について示しているが、これに限定されない。例えば、選択用画像群Ｐ１は、非破壊読み出し画像Ｐ２と重ならない、又は重なりが少なくなる位置に表示されてもよい。
【０１１７】
図１１Ｄは、本実施の形態に係る選択用画像が選択される様子を示す図である。ユーザは表示された選択用画像群Ｐ１の中からユーザの意図にあった選択用画像を選択する。例えば、タッチ操作を行うことで選択用画像を選択する。言い換えると、受付部６００は、ユーザにより特定の選択用画像の選択を受け付ける。図１１Ｄでは、並んで表示されている５枚の選択用画像の中から、真ん中に表示されている選択用画像を選択している場合を示している。そして、選択用画像が選択されることで、処理部３３０は選択された選択用画像に対応する非破壊読み出し画像を表示部５００に表示させる。
【０１１８】
図１１Ｅは、本実施の形態に係る選択用画像が選択された場合に表示部５００に表示される画像の一例を示す図である。図１１Ｅでは、選択用画像群Ｐ１のうちの非破壊読み出し画像と重なる位置に表示されている選択用画像は削除され、非破壊読み出し画像Ｐ２が見やすいように表示されている。なお、選択用画像群Ｐ１は削除される必要はなく、例えば縮小表示されてもよい。
【０１１９】
ユーザにより表示されている非破壊読み出し画像を保存する指示（例えば、図１１Ｅに示されている選択表示Ｃ１において、“はい”のタッチ）を受付部６００が受け付けると、処理部３３０は当該非破壊読み出し画像を記憶部３２０に記憶させる。なお、ここでの記憶とは、既に記憶されている（図１０のＳ１１参照）当該非破壊読み出し画像に対して、ユーザが選択した画像であることがわかるように他の非破壊読み出し画像と識別することを含む意図である。例えば、選択された非破壊読み出し画像を特定のファイルに移動させる、又は選択されたことを示す付加情報を付加することなども、記憶することに含まれる。
【０１２０】
なお、非破壊読み出し画像に対して明るさのゲインの補正が行われた場合、選択用画像に加え、撮像選択用画像においても当該ゲインの補正が行われた（反映された）画像となる。これにより、撮像選択用画像の確認を行うときに明るさが略同一である撮像選択用画像を確認できるので、より確認が行いやすくなる。
【０１２１】
［２−２．効果等］
以上のように、本実施の形態に係る画像選択装置７００が備える記憶部３２０は、２回以上の撮像のそれぞれにおいて、固体撮像装置１００から複数回の非破壊読み出しにより取得された複数の非破壊読み出し画像を記憶している。そして、処理部３３０は、ユーザの意図にあった撮像を選択させるための撮像選択用画像を、撮像が行われた順に、所定の方向に並べて表示部５００に表示させ、ユーザにより特定の撮像が選択されると、選択された撮像において取得された非破壊読み出し画像のうちの少なくとも２以上の非破壊読み出し画像のそれぞれに対応する選択用画像を、撮像選択用画像が並べられた方向と直交する方向に、露光時間の順に並べて表示部５００に表示させる。
【０１２２】
これにより、２回以上の撮像が行われた場合であっても、撮像選択用画像を選択することで撮像（撮像タイミング）を選択し、選択された撮像において取得された非破壊読み出し画像に対応する選択用画像を選択することで、保存する非破壊読み出し画像を選択することができる。つまり、撮像タイミング及び露光時間の異なる複数の非破壊読み出し画像の中から、ユーザの意図にあった非破壊読み出し画像を選択することができるので、よりユーザの意図にあった非破壊読み出し画像を選択することができる。また、撮像選択用画像が撮像の行われた順に、又は選択用画像が露光時間の順に並んで表示されることで、ユーザは意図にあった非破壊読み出し画像に対応する撮像選択用画像又は選択用画像を容易に選択することができる。
【０１２３】
また、処理部３３０は、撮像ごとに取得された非破壊読み出し画像のうちの露光時間が同じであるときの非破壊読み出し画像に対応する画像を撮像選択用画像として表示部５００に表示させる。
【０１２４】
これにより、動きボケが同程度であり撮像タイミングが異なる撮像選択用画像が表示部５００に表示されるので、ユーザは意図する撮像タイミングを選択しやすくなる。
【０１２５】
（他の実施の形態）
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１２６】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１２７】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【０１２８】
例えば、上記実施の形態では、画像選択装置７００がカメラ１に内蔵されている場合について説明したが、これに限定されない。例えば、画像選択装置７００は撮像装置を備えている機器に内蔵されていてもよい。例えば、画像選択装置７００がスマートフォンやタブレットなどに内蔵されていてもよい。これにより、スマートフォンなどで撮像された非破壊読み出し画像の中から、ユーザの意図にあった画像を選択することができる。また、画像選択装置７００は、撮像装置を備えていない機器に内蔵されていてもよい。例えば、撮像装置を備えていないパーソナルコンピュータなどに内蔵されていてもよい。これにより、パーソナルコンピュータを用いて、非破壊読み出し可能な固体撮像装置を有する撮像装置を備える機器（例えば、カメラ）から取得した複数の非破壊読み出し画像の中からユーザの意図にあった画像を選択することができる。
【０１２９】
また、例えば、処理部３３０が複数の非破壊読み出し画像に行う画像処理が明るさのゲインの補正である例について説明したが、画像処理はこれに限定されない。例えば、階調の補正や手ぶれの補正であってもよいし、その他の画像処理であってもよい。
【０１３０】
また、例えば、上記実施の形態では、受付部６００がタッチパネルであり、ユーザのタッチ操作により画像の選択を受け付けていたが、受付部６００はタッチパネルであることに限定されない。例えば、受付部６００はボタンなどであり、ボタンなどによりユーザからの選択を受け付けてもよい。また、画像選択装置７００がパーソナルコンピュータに内蔵されている場合、受付部６００は、例えばマウスやキーボードなどである。
【０１３１】
また、上記実施の形態では、選択された選択用画像に対応する非破壊読み出し画像を１つ表示している例について説明したが、これに限定されない。例えば、選択された複数の選択用画像に対応する複数の非破壊読み出し画像を表示部５００に同時に表示してもよい。表示する非破壊読み出し画像の枚数に応じて、非破壊読み出し画像は適宜縮小され、表示されてもよい。これにより、ユーザは保存する候補となる画像が複数ある場合、それらの非破壊読み出し画像（非破壊読み出し画像を縮小した画像）を比較し保存する非破壊読み出し画像を選択できるので、ユーザの意図にあった画像をより容易に選択することができる。
【０１３２】
また、上記実施の形態では、１回の撮像において保存する非破壊読み出し画像を１つ選択する例について説明したが、保存する非破壊読み出し画像の数は特に限定されない。
【０１３３】
また、上記実施の形態では、選択用画像又は撮像選択用画像を選択する例について説明したが、選択する内容はこれに限定されない。複数回の非破壊読み出しにより取得された複数の非破壊読み出し画像の中から特定の非破壊読み出し画像を選択する用途であれば、本開示に係る画像選択装置７００は適用可能である。例えば、複数のコンテンツ（複数の非破壊読み出し画像を含むコンテンツ）の中から表示部５００に表示するコンテンツを選択する場合にも、本開示の画像選択装置７００は適用可能である。図１２は、他の実施の形態に係るコンテンツを選択させるための画像が表示されている例を示す図である。具体的には、コンテンツＡ（自動車）、コンテンツＢ（馬）、コンテンツＣ（鳥）の中から、表示部５００に表示するコンテンツを選択する例を示しており、この場合にも本開示の画像選択装置７００は適用可能である。これにより、選択されたコンテンツ内の複数の非破壊読み出し画像の中からユーザの意図にあった非破壊読み出し画像を選択することができる。なお、図１２では、コンテンツＢが選択されており、コンテンツＢに対応する非破壊読み出し画像及び選択表示Ｃ２が表示部５００に表示されている。ユーザが選択表示Ｃ２に対して、“はい”を選択するとコンテンツＢに対応する選択用画像が表示部５００に表示される。また、選択されたコンテンツに対応する非破壊読み出し画像を表示部５００に表示させることは、処理部３３０が行う処理の一例である。
【０１３４】
また、上記変形例では、左右のスワイプ操作により露光時間の異なる非破壊読み出し画像を表示する例について説明したが、これに限定されない。例えば、左右のスワイプ操作により露光時間の異なる非破壊読み出し画像を表示し、かつ上下のスワイプ操作により撮像タイミングの異なる非破壊読み出し画像を表示してもよい。
【０１３５】
これにより、２回以上の撮像が行われた場合であっても、非破壊読み出し画像を確認することで、ユーザの意図する撮像（撮像タイミング）と当該撮像における露光時間（ボケ度合い）とを選択することができる。
【０１３６】
また、画像選択装置７００における各構成要素（機能ブロック）は、ＩＣ（Integrated Circuit）、ＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【０１３７】
また、上記各種処理の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、撮像装置１０に含まれるプロセッサがメモリに記憶されたプログラムを実行することにより実現されるものである。また、そのプログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。
【０１３８】
また、上述した実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。
【産業上の利用可能性】
【０１３９】
本開示は、固体撮像装置により取得された非破壊読み出し画像を選択する画像選択装置に広く利用可能である。具体的には、カメラ、スマートフォン、カメラ機能付き携帯電話機、タブレット型コンピュータ又はパーソナルコンピュータ等の情報端末機器等に本開示は適用可能である。
【符号の説明】
【０１４０】
１    カメラ
１Ａ    デジタルスチルカメラ
１Ｂ    デジタルビデオカメラ
１０    撮像装置
１００    固体撮像装置
１１０    画素アレイ部
１２０    列ＡＤ変換部
１２１    ＡＤ変換器
１３０    行走査部
１４０    列走査部
１５０    駆動制御部
１６０    列信号線
１７０    走査線
１７０Ａ    リセット用走査線
１７０Ｂ    選択用走査線
１８０    行信号線
２１０    画素
２１１    光電変換素子
２１１ａ    上部電極
２１１ｂ    下部電極
２１１ｃ    光電変換膜
２１２    リセットトランジスタ
２１３    増幅トランジスタ
２１４    選択トランジスタ
２１５    電荷蓄積部
３００    信号処理部
３１０    制御部
３２０    記憶部
３３０    処理部
４００    レンズ
５００    表示部
６００    受付部
７００    画像選択装置
Ｐ１    選択用画像群
Ｐ１１、Ｐ１７、Ｐ１１０、Ｐ１１３    選択用画像
Ｐ２    非破壊読み出し画像
Ｐ３    撮像選択用画像群
Ｐ３１、Ｐ３５、Ｐ３９    撮像選択用画像
Ｃ１、Ｃ２    選択表示
Ｒ    領域
【図１】
2020031255.tif 000003
【図２】
2020031255.tif 000004
【図３】
2020031255.tif 000005
【図４】
2020031255.tif 000006
【図５】
2020031255.tif 000007
【図６】
2020031255.tif 000008
【図７Ａ】
2020031255.tif 000009
【図７Ｂ】
2020031255.tif 000010
【図８Ａ】
2020031255.tif 000011
【図８Ｂ】
2020031255.tif 000012
【図９】
2020031255.tif 000013
【図１０】
2020031255.tif 000014
【図１１Ａ】
2020031255.tif 000015
【図１１Ｂ】
2020031255.tif 000016
【図１１Ｃ】
2020031255.tif 000017
【図１１Ｄ】
2020031255.tif 000018
【図１１Ｅ】
2020031255.tif 000019
【図１２】
2020031255.tif 000020