(57)【要約】【課題】被写体の動きの中でユーザが所望する瞬間の動きを撮像することができる撮像装置および電子機器を提供すること。【解決手段】本開示に係る撮像装置および電子機器は、撮像部と、メモリと、検出部と、消去部とを有する。撮像部は、順次連続して被写体の画像を撮像して画像データを生成する。メモリは、画像データを記憶する。検出部は、時系列の画像データに基づいて被写体の動き量を検出する。消去部は、被写体の動き量が所定の動き量未満の画像データを消去する。【選択図】図１
2020136899.tif 000002
【特許請求の範囲】
【請求項１】
順次連続して被写体の画像を撮像して画像データを生成する撮像部と、
前記画像データを記憶するメモリと、
時系列の前記画像データに基づいて前記被写体の動き量を検出する検出部と、
前記被写体の動き量が所定の動き量未満の前記画像データを消去する消去部と
を有する撮像装置。
【請求項２】
前記画像データから前記画像中の被写体を特定する特定部
を備え、
前記検出部は、
前記特定部によって特定された被写体の動き量を検出する
請求項１に記載の撮像装置。
【請求項３】
前記特定部は、
前記撮像部による高速撮像が開始される前に前記撮像部によって撮像されるプレビュー画像の画像データから前記被写体を特定する
請求項２に記載の撮像装置。
【請求項４】
前記特定部は、
ＤＮＮ（Deep  Neural  Network）を使用するＤＮＮ処理によって画像の構図を判定し、前記構図から前記被写体が写るＲＯＩ（Region  of  Interest）領域を決定し、
前記検出部は、
前記ＲＯＩ領域内の前記被写体の動き量を検出する
請求項２に記載の撮像装置。
【請求項５】
前記特定部は、
前記画像の中央に写る物体を被写体として特定する
請求項２に記載の撮像装置。
【請求項６】
前記特定部は、
ユーザによって前記画像から選択される物体を前記被写体として特定する
請求項２に記載の撮像装置。
【請求項７】
前記特定部は、
ユーザによって前記画像から選択される物体を前記被写体として特定する対象から除外する
請求項２に記載の撮像装置。
【請求項８】
前記特定部は、
オートフォーカスのフォーカスポイントに近い物体を被写体として特定する
請求項２に記載の撮像装置。
【請求項９】
前記特定部に前記被写体として特定させる物体の画像データを記憶する記憶部
を備え、
前記特定部は、
前記記憶部に記憶された画像データに基づいて被写体を特定する
請求項２に記載の撮像装置。
【請求項１０】
前記特定部に被写体として特定させる物体の種別が異なる複数のモードを有し、
前記特定部は、
前記モードに応じた物体を被写体として特定する
請求項２に記載の撮像装置。
【請求項１１】
前記特定部は、
人工知能によって前記画像中で動く可能性が高いと判断した物体を被写体として特定する
請求項２に記載の撮像装置。
【請求項１２】
前記特定部は、
前記画像に複数の人が写っている場合、前記人の年齢および／または性別に基づいて被写体として特定する前記人を決定する
請求項２に記載の撮像装置。
【請求項１３】
前記特定部は、
前記撮像部による高速撮像が開始される前に前記撮像部によって撮像されるプレビュー画像に所定時間以上継続して写っている物体を被写体として特定する
請求項２に記載の撮像装置。
【請求項１４】
順次連続して被写体の画像を撮像して画像データを生成する撮像部と、
前記画像データを記憶するメモリと、
時系列の前記画像データに基づいて前記被写体の動き量を検出する検出部と、
前記被写体の動き量が所定の動き量未満の前記画像データを消去する消去部と
を備える撮像装置
を有する電子機器。
【請求項１５】
順次連続して被写体の画像を撮像して画像データを生成し、
前記画像データをメモリに記憶させ、
時系列の前記画像データに基づいて前記被写体の動き量を検出し、
前記被写体の動き量が所定の動き量未満の前記画像データを消去する
撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、電子機器、および撮像方法に関する。
【背景技術】
【０００２】
動く被写体を高速連写することによって、被写体の動きの中でユーザが所望する瞬間の動きを撮像可能とする連写機能を備えた撮像装置がある。例えば、特許文献１には、連写用の操作部がユーザによって押されていると判断した場合に、現在のコマ速よりも高速のコマ速で連写を行い、操作部が押されていないと判断した場合に、現在のコマ速を維持する制御を行う撮像装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１４７３５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像装置は、高速連写を行う場合に、被写体の動きの中でユーザが所望する瞬間の動きを撮像することができないことがある。そこで、本開示では、被写体の動きの中でユーザが所望する瞬間の動きを撮像することができる撮像装置、電子機器、および撮像方法を提案する。
【課題を解決するための手段】
【０００５】
本開示に係る撮像装置は、撮像部と、メモリと、検出部と、消去部とを有する。撮像部は、順次連続して被写体の画像を撮像して画像データを生成する。メモリは、前記画像データを記憶する。検出部は、時系列の前記画像データに基づいて前記被写体の動き量を検出する。消去部は、前記被写体の動き量が所定の動き量未満の前記画像データを消去する。
【図面の簡単な説明】
【０００６】
【図１】本開示に係る電子機器の概略構成例を示すブロック図である。
【図２】本開示に係るＣＩＳの動作説明図である。
【図３】本開示の対比例に係る高速撮像画像の説明図である。
【図４】本開示に係る高速撮像画像の説明図である。
【図５】本開示に係る被写体の動き量とメモリに記憶される画像の枚数との関係を示す説明図である。
【図６】本開示に係るＣＩＳが実行する処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００７】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【０００８】
［１．電子機器の構成］
図１は、本開示に係る電子機器の概略構成例を示すブロック図である。図１に示す電子機器１は、静止画や動画を撮像する装置であり、例えば、デジタルカメラ、デジタルビデオカメラ、カメラ機能を有するタブレット端末やスマートフォン等である。
【０００９】
図１に示すように、電子機器１は、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサ（以下、ＣＩＳ２と記載する）と、アプリケーションプロセッサ（以下、ＡＰ３と記載する）と、表示操作部４とを有する。
【００１０】
表示操作部４は、画像を表示する機能と、ユーザによるタッチ操作を受け付ける機能とを備えるタッチパネル液晶ディスプレイである。なお、電子機器１は、表示操作部４の代わりに、画像を表示する液晶ディスプレイと、ユーザによるタッチ操作を受け付ける操作スイッチとを備える構成であってもよい。
【００１１】
ＣＩＳ２は、１チップで構成され、画像を撮像する撮像装置の一例であり、撮像画像の画像データをＡＰ３へ出力する。ＣＩＳ２は、通常の静止画や動画を撮像する機能に加えて、被写体を高速で連写（以下、高速撮像と記載する）する高速撮像機能を備える。なお、本開示に係る撮像装置は、ＣＩＳ２に限定されるものではなく、例えば、ＣＣＤ（Charge  Coupled  Device）イメージセンサ等、他のイメージセンサであってもよい。
【００１２】
ＡＰ３は、電子機器１の用途に応じた各種アプリケーションプログラムを実行するＣＰＵ（Central  Processing  Unit）等のプロセッサの一例であるＡＰ制御部３１と、ＣＩＳ２との間で情報通信を行う通信Ｉ／Ｆ（インターフェイス）３２とを備える。
【００１３】
ＡＰ３は、例えば、ＣＩＳ２から入力される画像データの補正処理や加工処理を行う他、画像データを表示操作部４に表示させる表示制御処理等を行う。また、ＡＰ３は、ＣＩＳ２によって高速撮像された撮像画像の画像データをコマ送りで時系列に表示操作部４で表示させることによって、例えば、高速で動く被写体の動きをスーパースローで再生することができる。
【００１４】
ここで、例えば、一般的なスマートフォン等の電子機器に搭載されるカメラでは、高速撮像を行う場合、ＣＩＳが高速で順次連続して被写体を撮像し、撮像画像の画像データを時系列にメモリに記憶させる。
【００１５】
ただし、電子機器は、画像データを記憶するメモリの容量に上限がある。このため、一般的な電子機器では、例えば、高速撮像を開始させるユーザの操作が早すぎると、被写体の動きの中でユーザが所望する瞬間になる前に、撮像画像の画像データ量がメモリ容量の上限に達する場合がある。
【００１６】
かかる場合、電子機器は、高速撮像した画像データをスーパースローで再生しても、被写体の動きの中でユーザが所望する瞬間の動きが撮像された画像データがメモリに記憶されていないため、ユーザが望む瞬間の画像を再生することができない。このように、一般的な電子機器では、被写体の動きの中でユーザが所望する瞬間の被写体の動きを撮像することができないことがある。
【００１７】
そこで、本開示に係るＣＩＳ２は、高速撮像を開始させるユーザの操作が早すぎる場合であっても、ユーザが所望する瞬間の被写体の動きを撮像することができる構成を備える。具体的には、ＣＩＳ２は、撮像部５と、メモリ６と、通信Ｉ／Ｆ７と、画像取捨選択部８とを備える。
【００１８】
撮像部５は、受光部５１と、読出部５２とを備える。受光部５１は、例えば、ズームレンズ、フォーカスレンズ、絞り等を備える光学系と、フォトダイオードなどの受光素子を含む単位画素が２次元マトリクス状に配列された画素アレイ部とを備える。
【００１９】
受光部５１は、外部から入射する光を光学系によって画素アレイ部の受光面に結像する。画素アレイ部の各単位画素は、受光素子に入射した光を光電変換することで、入射光の光量に応じた電荷を読出可能に蓄積する。
【００２０】
読出部５２は、各単位画素に蓄積された電荷を画素信号として読み出す読出回路と、読出回路によって読み出されたアナログの画素信号をデジタル値に変換することで、デジタルの画像データを生成するＡＤＣ（Analog  to  Digital  Converter）とを備える。読出部５２は、生成した画像データを１フレームの画像単位でメモリ６へ出力する。
【００２１】
また、撮像部５は、ＡＦ（オートフォーカス）機能を備える。撮像部５は、ＡＦ機能によって被写体に焦点（フォーカスポイント）が合った場合に、撮像画像におけるフォーカスポイントの位置を示す情報を画像取捨選択部８へ出力する。
【００２２】
かかる撮像部５は、表示操作部４からユーザによる撮像操作が行われたことを示す信号が入力される場合に、静止画や動画の撮像を行う。また、撮像部５は、表示操作部４からユーザによる高速撮像の開始操作が行われたことを示す信号（以下、高速撮像トリガという）を受信した場合に、高速撮像を開始する。
【００２３】
メモリ６は、例えば、フラッシュメモリ等の記憶デバイスであり、撮像部５から入力される撮像画像の画像データを時系列に記憶する。通信Ｉ／Ｆ７は、ＡＰ３から画像データの取得要求を受け付けた場合に、メモリ６に記憶された画像データをＡＰ３へ出力する。
【００２４】
ＡＰ制御部３１は、通信Ｉ／Ｆ３２を介してＣＩＳ２から入力される画像データを表示操作部４へ出力して表示させる。なお、ＡＰ制御部３１は、例えば、表示操作部４がユーザによる画像表示操作を受け付けた場合に、通信Ｉ／Ｆ３２を介してＣＩＳ２へ画像データの取得要求を出力し、ＣＩＳ２から画像データを取得して表示操作部４に表示させる。
【００２５】
画像取捨選択部８は、例えば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）などを有するマイクロコンピュータや各種の回路を含む。
【００２６】
画像取捨選択部８は、ＣＰＵがＲＯＭに記憶されたプログラムを、ＲＡＭを作業領域として使用して実行することにより機能する特定部８１と、検出部８２と、消去部８３とを備える。なお、画像取捨選択部８が備える特定部８１、検出部８２、および消去部８３は、一部または全部がＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成されてもよい。
【００２７】
画像取捨選択部８が備える特定部８１、検出部８２、および消去部８３は、それぞれ以下に説明する情報処理を実行する。なお、画像取捨選択部８の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば、他の構成であってもよい。
【００２８】
特定部８１は、メモリ６から画像データを読み出し、画像データから画像中の被写体を特定する。例えば、特定部８１は、撮像部５による高速撮像が開始される前に、撮像部５によって撮像されるプレビュー画像の画像データから被写体を特定する。プレビュー画像は、高速撮像が開始されるまで継続的に表示操作部４に表示される。
【００２９】
特定部８１は、例えば、ＤＮＮ（Deep  Neural  Network）を使用するＤＮＮ処理によって画像の構図を判定し、判定した構図から被写体が写るＲＯＩ（Region  of  Interest）領域を決定することで、被写体を特定する。そして、特定部８１は、被写体を特定した画像におけるＲＯＩ領域の位置を示す情報を検出部８２へ出力する。
【００３０】
なお、特定部８１は、ＤＮＮに限らず、ＲＮＮ（Recurrent  Neural  Networks）やＣＮＮ（Convolutional  Neural  Network）など様々なニューラルネットワークを用いて被写体を特定することができる。また、特定部８１は、決定木やサポートベクタマシンなどの他の様々な機械学習で学習した学習モデルを用いて被写体を特定する構成であってもよい。
【００３１】
検出部８２は、高速撮像が開始されると、メモリ６から時系列の高速撮像画像の画像データを読み出し、特定部８１から入力されるＲＯＩ領域の位置を示す情報に基づき、時系列の画像データ間での被写体の動き量を検出する。
【００３２】
つまり、検出部８２は、時系列の各高速撮像画像におけるＲＯＩ領域内の被写体の動き量を検出する。そして、検出部８２は、被写体の動き量を検出した各高速撮像画像の画像データと、被写体の動き量を示す情報とを消去部８３へ出力する。
【００３３】
消去部８３は、検出部８２から入力される画像データのうち、被写体の動き量が所定の動き量未満であった画像データを消去する。また、消去部８３は、検出部８２から入力される画像データのうち、被写体の動き量が所定の動き量以上であった画像については、再度、メモリ６に記憶させる。
【００３４】
また、上記したように、特定部８１は、高速撮像が開始される前のプレビュー画像から被写体を特定する。このため、消去部８３は、高速撮像の開始直後から画像データの取捨選択を行うことができる。
【００３５】
このように、ＣＩＳ２は、被写体の動き量が所定の動き量未満であった画像の画像データを消去することにより空き領域となるメモリ６の記憶領域を有効利用することによって、高速撮像可能な時間を延長することができる。これにより、ＣＩＳ２は、高速撮像を開始させるユーザの操作が早すぎる場合であっても、被写体の動きの中でユーザが所望する瞬間の被写体の動きを撮像することができる。
【００３６】
［２．電子機器の動作説明］
次に、図２を参照し、本開示に係るＣＩＳの動作について説明する。図２は、本開示に係るＣＩＳの動作説明図である。なお、図２には、２つのメモリ６を図示しているが、これは、ＣＩＳ２の動作の理解を容易にするためであり、図２中の２つのメモリ６は、物理的には同一の物である。
【００３７】
図２に示すように、ＣＩＳ２では、高速撮像を開始する前に、まず、画像取捨選択部８によってプレビュー画像Ｐｒｅから被写体を特定する（ステップＳ１）。その後、ＣＩＳ２は、高速撮像を開始すると、撮像部５からメモリ６へ高速撮像した画像データを出力してメモリ６に記憶させる（ステップＳ２）。
【００３８】
続いて、画像取捨選択部８は、メモリ６から画像データの読出しを行う（ステップＳ３）。そして、画像取捨選択部８は、被写体の動き量が所定の動き量未満の画像データを消去する（ステップＳ４）。その後、画像取捨選択部８は、被写体の動き量が所定の動き量以上の画像データをメモリ６に記憶させる（ステップＳ５）。
【００３９】
このため、メモリ６には、ステップＳ４で消去された画像データが記憶されていた領域に空き領域６１ができる。ＣＩＳ２は、かかるメモリ６の空き領域６１を使用することによって、高速撮像を継続することができる。
【００４０】
これにより、ＣＩＳ２は、画像取捨選択部８による画像データの削除（間引き）を行わない場合に比べて、高速撮像の継続時間を延長することができる。したがって、ＣＩＳ２は、高速撮像を開始させるユーザの操作が早すぎる場合であっても、被写体の動きの中でユーザが所望する瞬間の被写体の動きを撮像することができる。
【００４１】
そして、ＣＩＳ２は、高速撮像した画像を表示操作部４に表示させる場合には、メモリ６からＣＩＳ２の通信Ｉ／Ｆ７を介して、ＡＰ３の通信Ｉ／Ｆ３２へ画像データを出力する（ステップＳ６）。
【００４２】
これにより、ＡＰ３は、ＣＩＳ２から入力される高速撮像された画像データを撮像速度よりも遅いフレームレートで表示操作部４に表示させることで、被写体の動きの中でユーザが所望する瞬間の被写体の動きが写る画像をスーパースローで再生することができる。
【００４３】
［３．高速撮像画像の具体例］
次に、本開示に係る高速撮像画像の具体例について説明する。ここでは、野球のバットでボールを打つインパクトの瞬間の被写体をユーザが撮像しようとする場合について説明する。また、ここでは、画像取捨選択部８による画像データの消去を行わない対比例の高速撮像について説明した後に、画像取捨選択部８による画像データの消去を行う高速撮像について説明する。
【００４４】
図３は、本開示の対比例に係る高速撮像画像の説明図である。図４は、本開示に係る高速撮像画像の説明図である。なお、ここでは、画像取捨選択部８が奏する効果の理解を容易にするため、メモリ６に記憶可能な画像のフレーム数が実際より極端に少ない７フレームであるものとして説明する。
【００４５】
図３の上段に示すように、野球のバットをスイングする動作には、テイクバック、スイング、およびフォロースル―という一連の動作が含まれる。ＣＩＳ２は、例えば、画像取捨選択部８による画像消去を行わない場合、時刻ｔ１で高速撮像を開始すると、７フレーム目の画像を撮像した時刻ｔ２の時点で高速撮像を終了する。
【００４６】
こうして撮像された高速撮像画像をスーパースローで再生した場合、再生画像は、図３の下段に示すように、再生される画像の大半がテイクバック中の被写体の画像となり、ユーザが所望する肝心なスイング中の画像やインパクトの瞬間が写っていない。
【００４７】
これに対して、画像取捨選択部８による画像消去を行う場合、図４の上段に示すように、画像取捨選択部８は、時刻ｔ１で１フレーム目の画像が撮像された後、被写体の動き量が所定の動き量未満となる２〜４フレームのテイクバックの画像を消去する。
【００４８】
この時点で、メモリ６は、まだ、１フレームの画像しか記憶していないので、残り６フレームの画像を記憶可能である。そして、５フレーム目から被写体がスイング動作に入るため、被写体の動き量が所定の動き量以上となる。このため、画像取捨選択部８は、５〜１０フレームの画像を消去することなくメモリ６に記憶させ、時刻ｔ３で高速撮像が終了となる。
【００４９】
こうして撮像された高速撮像画像をスーパースローで再生した場合、再生画像は、図４の下段に示すように、スイングの開始から終了前までの画像が写っており、ユーザが望むインパクトの瞬間も含まれている。
【００５０】
なお、図４の下段に示す再生画像は、２〜４フレームの画像が間引かれた画像であるため、厳密には実際の被写体の動きを正確に表現したスーパースローの映像ではない。しかし、間引かれた２〜４フレームの画像は、被写体の動きが殆どない画像であり、高速撮像が要求される期間の画像ではない。
【００５１】
このため、図４の下段に示す再生画像は、ユーザの視点では高速撮像の目的を達成している画像ということができ、ユーザの感覚的には撮影時間が延長されたスーパースローの映像となる。このように、ＣＩＳ２によれば、高速撮像を開始させるユーザの操作が早すぎる場合であっても、被写体の動きの中でユーザが所望する瞬間の被写体の動きを撮像することができる。
【００５２】
［４．被写体の動き量とメモリに記憶される画像の枚数との関係］
次に、図５を参照し、図３および図４を用いて説明したバットスイングのシーンを１０００ｆｐｓのフレームレートで撮像した場合における被写体の動き量と、メモリ６に記憶される画像の枚数との関係について説明する。
【００５３】
図５は、本開示に係る被写体の動き量とメモリに記憶される画像の枚数との関係を示す説明図である。図５に示す横軸は時間であり、縦軸は被写体の動き量・画像の記憶枚数である。また、図５では、各時間帯における被写体の動き量の大きさを棒グラフで示している。
【００５４】
また、図５に示す実線の折れ線グラフは、画像取捨選択部８による画像消去を行った場合に、メモリ６に記憶される画像の枚数を示している。また、図５に示す一点鎖線の折れ線グラフは、画像取捨選択部８による画像消去を行わなかった場合に、メモリ６に記憶される画像の枚数の推移を示している。
【００５５】
図５に一転鎖線の折れ線グラフで示すように、画像消去をせずにバットスイングの全領域を１０００ｆｐｓで撮像した場合（ステップＳ１１）、スイング前に撮像画像の枚数がメモリ６の画像記憶枚数上限に達して撮像終了となる（ステップＳ１２）。
【００５６】
これに対して、画像消去を行う場合、１０００ｆｐｓで撮像しても、図５に実線の折れ線グラフで示すように、テイクバック中で被写体の動き量が所定の動き量未満である画像が消去されるため、メモリ６には１００ｆｐｓの画像が記憶される（ステップＳ１３）。
【００５７】
その後、スイングが開始されると、被写体の動き量が徐々に大きくなるため、メモリ６には８００ｆｐｓの画像が記憶される（ステップＳ１４）。そして、動き量が最大となるインパクトでは、メモリ６には１０００ｆｐｓの画像が記憶される（ステップＳ１５）。その結果、ＣＩＳ２によれば、スイングの最初から最後まで撮像が可能となる（ステップＳ１６）。
【００５８】
［５．画像取捨選択部が実行する処理］
次に、図６を参照し、本開示に係るＣＩＳ２が実行する処理の一例について説明する。図６は、本開示に係るＣＩＳ２が実行する処理の一例を示すフローチャートである。
【００５９】
ＣＩＳ２は、電子機器１が高速撮像モードとなっている期間、図６に示す処理を継続的に実行する。具体的には、ＣＩＳ２では、電子機器が高速撮像モードになると、図６に示すように、まず、撮像部５が高速撮像プレビューを開始する（ステップＳ１０１）。ここでは、撮像部５は、高速撮像よりも低速でプレビュー画像を撮像する。
【００６０】
続いて、画像取捨選択部８は、プレビュー画像を取得し（ステップＳ１０２）、画像の構図判定を行って（ステップＳ１０３）、ＲＯＩ領域を決定する（ステップＳ１０４）。その後、撮像部５は、高速撮像トリガを受信したか否かを判定する（ステップＳ１０５）。
【００６１】
そして、撮像部５は、高速撮像トリガを受信していないと判定した場合（ステップＳ１０５，Ｎｏ）、処理をステップＳ１０２へ移す。また、撮像部５は、高速撮像トリガを受信したと判定した場合（ステップＳ１０５，Ｙｅｓ）、高速撮像を開始する（ステップＳ１０６）。
【００６２】
その後、画像取捨選択部８は、高速撮像画像を取得し（ステップＳ１０７）、取得した高速撮像画像が１枚目の画像でないか否かを判定する（ステップＳ１０８）。そして、画像取捨選択部８は、画像が１枚目の画像であると判定した場合（ステップＳ１０８，Ｎｏ）、処理をステップＳ１０７へ移す。
【００６３】
また、画像取捨選択部８は、画像が１枚目の画像でないと判定した場合（ステップＳ１０８，Ｙｅｓ）、ＲＯＩ領域の被写体の動き量を検出する（ステップＳ１０９）。そして、画像取捨選択部８は、動き量が所定の動き量未満か否かを判定する（ステップＳ１１０）。
【００６４】
そして、画像取捨選択部８は、動き量が所定の動き量未満であると判定した場合（ステップＳ１２０，Ｙｅｓ）、画像を消去し（ステップＳ１１１）、処理をステップＳ１０７へ移す。また、画像取捨選択部８は、動き量が所定の動き量未満でない、つまり、動き量が所定の動き量以上であると判定した場合（ステップＳ１１０，Ｎｏ）、画像をメモリ６に記憶させる（ステップＳ１１２）。
【００６５】
続いて、画像取捨選択部８は、メモリ６に記憶させた画像の枚数がメモリ６の記憶枚数の上限に達したか否かを判定する（ステップＳ１１３）。そして、画像取捨選択部８は、記憶枚数の上限に達していないと判定した場合（ステップＳ１１３，Ｎｏ）、処理をステップＳ１０７へ移す。
【００６６】
また、画像取捨選択部８は、記憶枚数の上限に達したと判定した場合（ステップＳ１１３，Ｙｅｓ）、処理をステップＳ１０２へ移す。ＣＩＳ２は、上記した一連の処理を電子機器１が高速撮像モードとなっている期間、継続的に実行する。
【００６７】
［６．その他の実施形態］
上述した各実施形態に係る処理は、上記した実施形態以外にも種々の異なる形態にて実施されてよい。
【００６８】
例えば、上記した実施形態では、撮像画像中に存在する動体が１つである場合を例に挙げて説明したが、特定部８１は、撮像画像中に複数の動体が存在している場合に、ユーザが撮像を望む可能性が高い動体を被写体として特定することも可能である。
【００６９】
例えば、カメラのユーザは、撮像しようとする被写体を画像の中央に収めようとするのが一般的である。そこで、特定部８１は、画像の中央に写る物体を被写体として特定する。これにより、特定部８１は、撮像画像中に複数の動体が存在している場合に、ユーザが撮像を望む可能性が高い動体を被写体として特定することができる。
【００７０】
また、特定部８１は、ユーザによって画像から選択される物体を被写体として特定する。かかる場合、特定部８１は、例えば、表示操作部４に表示中のプレビュー画像の中で、ユーザによるタッチ操作で選択された物体を被写体として特定する。これにより、特定部８１は、例えば、ユーザが撮像を望む動体が画像の中央以外の位置に写っていても、その動体を被写体として特定することができる。
【００７１】
なお、特定部８１は、ユーザによって画像から選択された物体を被写体として特定する対象から除外することもできる。これにより、ユーザは、特定部８１によって自動的に特定された被写体が自身の意図する物体でない場合に、表示操作部４に表示中の特定された物体を選択操作することによって、特定部８１に被写体として特定させる対象から除外することができる。
【００７２】
また、通常、カメラのユーザは、ＡＦ機能が作動中の場合、撮像したい物体にフォーカスポイントが合うまでシャッタを切らないのが一般的である。そこで、特定部８１は、ＡＦ機能が作動中の場合、オートフォーカスポイントに最も近い物体を被写体として特定する。これにより、特定部８１は、ユーザが撮像を望む可能性が高い動体を被写体として特定することができる。
【００７３】
また、ＣＩＳ２は、特定部８１に被写体として特定させる物体の画像データを記憶する記憶部を備えることができる。かかる場合、ＣＩＳ２は、予めユーザに被写体の候補となる人の顔や物体の画像データを記憶部に登録させて記憶する。
【００７４】
そして、特定部８１は、記憶部に記憶された画像データに基づいて被写体を特定する。例えば、特定部８１は、撮像画像を分割した各分割領域の特徴量を取得し、撮像画像から取得した特徴量と、記憶に記憶している画像データの特徴量との類似度となるスコアを算出し、スコアの高い分割領域中の物体を被写体として特定する。これにより、特定部８１は、事前にユーザによって画像データが登録された物体である可能性が高い物体を被写体として特定することができる。
【００７５】
また、ＣＩＳ２は、被写体として特定させる物体の種別が異なる複数のモードを備える。そして、特定部８１は、モードに応じた物体を被写体として特定する。例えば、特定部８１は、ユーザによってスポーツモードが選択されている場合には、人だけを被写体として特定し、動物モードが選択されている場合には、動物だけを被写体として登録する。これにより、特定部８１は、特定の物体ではなく、ユーザが望む種別に含まれる任意の物体を被写体として特定することができる。
【００７６】
また、特定部８１は、撮像画像中で動く可能性が高い物体を推定するＡＩ（人工知能）を備えることもできる。かかる場合、特定部８１は、ＡＩによって動く可能性が最も高いと判断した物体を被写体として特定する。これにより、特定部８１は、ユーザからモードの選択や物体の指定が行われない場合であっても、ユーザが撮像を望む動く可能性が高い物体を被写体として特定することができる。
【００７７】
また、特定部８１は、撮像画像に複数の人が写っている場合、写っている人の年齢および性別の少なくとも何れか一方に基づいて被写体として特定する人を決定する。例えば、特定部８１は、子供の優先度を高、女性の優先度を中、男性の優先度を低として、被写体として特定する人を決定する。なお、年齢および性別についての優先度は、任意に設定変更が可能である。これにより、特定部８１は、ユーザの嗜好に応じた人を被写体として特定することができる。
【００７８】
また、一般に、被写体の決定的瞬間を撮像しようとするユーザは、高速撮像を開始する以前から被写体を画角内に収めていることが多い。そこで、特定部８１は、プレビュー画像に所定時間以上継続して写っている物体を被写体として特定する。これにより、特定部８１は、ユーザが決定的瞬間の撮像を望む可能性が高い動体を被写体として特定することができる。
【００７９】
なお、上述した実施形態では、ＣＩＳ２が特定部８１を備える場合について説明したが、特定部８１は、ＡＰ３側に設けられてもよい。かかる場合、ＣＩＳ２は、メモリ６に記憶した画像をＡＰ３へ出力し、ＡＰ３に設けられる特定部８１によって特定された被写体をＡＰ３から取得し、上述した手順と同様の手順により消去する画像データを取捨選択する。
【００８０】
ただし、特定部８１がＡＰ３側に設けられる場合には、メモリ６に記憶される全画像データをＡＰ３へ出力する必要がるため、ＣＩＳ２の消費電力が嵩む。このため、特定部８１は、ＣＩＳ２側に設けられることが望ましい。
【００８１】
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更することができる。
【００８２】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図１に示した特定部８１、検出部８２、および消去部８３は統合されてもよい。
【００８３】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【００８４】
［７．効果］
ＣＩＳ２は、撮像部５と、メモリ６と、検出部８２と、消去部８３とを有する。撮像部５は、順次連続して被写体の画像を撮像して画像データを生成する。メモリ６は、画像データを記憶する。検出部８２は、時系列の画像データに基づいて被写体の動き量を検出する。消去部８３は、被写体の動き量が所定の動き量未満の画像データを消去する。これにより、ＣＩＳ２は、例えば、高速撮像を行う場合に、時系列の画像間で動き量が少なく、高速撮像が必要とされない画像を消去し、メモリ６の空き領域を確保することにより、被写体の動きの中でユーザが所望する瞬間の動きを撮像することができる。
【００８５】
また、ＣＩＳ２は、特定部８１を備える。特定部８１は、画像データから画像中の被写体を特定する。検出部８２は、特定部８１によって特定された被写体の動き量を検出する。これにより、ＣＩＳ２は、例えば、ＣＩＳ２の外部に特定部８１が設けられる場合、外部の特定部８１へ画像データを出力する必要があり消費電力が嵩むが、内部に特定部８１を備えることで、消費電力を低減することができる。
【００８６】
また、特定部８１は、撮像部５による高速撮像が開始される前に撮像部５によって撮像されるプレビュー画像の画像データから被写体を特定する。これにより、検出部８２は、高速撮像の開始直後から被写体の動き量を検出することができる。
【００８７】
また、特定部８１は、ＤＮＮを使用するＤＮＮ処理によって画像の構図を判定し、構図から被写体が写るＲＯＩ領域を決定する。検出部８２は、ＲＯＩ領域内の被写体の動き量を検出する。これにより、検出部８２は、被写体の正確な動き量を検出することができる。
【００８８】
また、特定部８１は、画像の中央に写る物体を被写体として特定する。これにより、特定部８１は、撮像画像中に複数の動体が存在している場合に、ユーザが撮像を望む可能性が高い動体を被写体として特定することができる。
【００８９】
また、特定部８１は、ユーザによって画像から選択される物体を被写体として特定する。これにより、特定部８１は、ユーザが撮像を望む動体が画像の中央以外の位置に写っていても、その動体を被写体として特定することができる。
【００９０】
また、特定部８１は、ユーザによって画像から選択される物体を被写体として特定する対象から除外する。これにより、特定部８１は、自動的に特定した被写体がユーザの意図する物体でない場合に、自動的に特定した被写体を被写体の候補から除外することができる。
【００９１】
また、特定部８１は、オートフォーカスのフォーカスポイントに近い物体を被写体として特定する。これにより、特定部８１は、フォーカスポイントが合った場合に、高速撮像を開始させるユーザが撮像を望む可能性が高い動体を被写体として特定することができる。
【００９２】
また、ＣＩＳ２は、特定部８１に被写体として特定させる物体の画像データを記憶する記憶部を備える。特定部８１は、記憶部に記憶された画像データに基づいて被写体を特定する。これにより、特定部８１は、事前にユーザによって画像データが登録された物体である可能性が高い物体を被写体として特定することができる。
【００９３】
また、ＣＩＳ２は、特定部８１に被写体として特定させる物体の種別が異なる複数のモードを有する。特定部８１は、モードに応じた物体を被写体として特定する。これにより、特定部８１は、特定の物体ではなく、ユーザが望む種別に含まれる任意の物体を被写体として特定することができる。
【００９４】
また、特定部８１は、人工知能によって画像中で動く可能性が高いと判断した物体を被写体として特定する。これにより、特定部８１は、ユーザからモードの選択や物体の指定が行われない場合であっても、ユーザが撮像を望む動く可能性が高い物体を被写体として特定することができる。
【００９５】
また、特定部８１は、画像に複数の人が写っている場合、人の年齢および／または性別に基づいて被写体として特定する人を決定する。これにより、特定部８１は、ユーザの嗜好に応じた人を被写体として特定することができる。
【００９６】
また、特定部８１は、撮像部５による高速撮像が開始される前に撮像部５によって撮像されるプレビュー画像に所定時間以上継続して写っている物体を被写体として特定する。これにより、特定部８１は、ユーザが決定的瞬間の撮像を望む可能性が高い動体を被写体として特定することができる。
【００９７】
また、電子機器１は、ＣＩＳ２を有する。ＣＩＳ２は、撮像部５と、メモリ６と、検出部８２と、消去部８３とを備える。撮像部５は、順次連続して被写体の画像を撮像して画像データを生成する。メモリ６は、画像データを記憶する。検出部８２は、時系列の画像データに基づいて被写体の動き量を検出する。消去部８３は、被写体の動き量が所定の動き量未満の画像データを消去する。これにより、電子機器１は、例えば、高速撮像を行う場合に、時系列の画像間で動き量が少なく、高速撮像が必要とされない画像を消去し、メモリ６の空き領域を確保することにより、被写体の動きの中でユーザが所望する瞬間の動きを撮像することができる。
【００９８】
また、ＣＩＳ２は、順次連続して被写体の画像を撮像して画像データを生成し、画像データをメモリ６に記憶させ、時系列の画像データに基づいて被写体の動き量を検出し、被写体の動き量が所定の動き量未満の前記画像データを消去する。これにより、ＣＩＳ２は、被写体の動きの中でユーザが所望する瞬間の動きを撮像することができる。
【００９９】
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０１００】
なお、本技術は以下のような構成も取ることができる。
（１）
順次連続して被写体の画像を撮像して画像データを生成する撮像部と、
前記画像データを記憶するメモリと、
時系列の前記画像データに基づいて前記被写体の動き量を検出する検出部と、
前記被写体の動き量が所定の動き量未満の前記画像データを消去する消去部と
を有する撮像装置。
（２）
前記画像データから前記画像中の被写体を特定する特定部
を備え、
前記検出部は、
前記特定部によって特定された被写体の動き量を検出する
前記（１）に記載の撮像装置。
（３）
前記特定部は、
前記撮像部による高速撮像が開始される前に前記撮像部によって撮像されるプレビュー画像の画像データから前記被写体を特定する
前記（２）に記載の撮像装置。
（４）
前記特定部は、
ＤＮＮ（Deep  Neural  Network）を使用するＤＮＮ処理によって画像の構図を判定し、前記構図から前記被写体が写るＲＯＩ（Region  of  Interest）領域を決定し、
前記検出部は、
前記ＲＯＩ領域内の前記被写体の動き量を検出する
前記（２）または（３）に記載の撮像装置。
（５）
前記特定部は、
前記画像の中央に写る物体を被写体として特定する
前記（２）〜（４）のいずれかに記載の撮像装置。
（６）
前記特定部は、
ユーザによって前記画像から選択される物体を前記被写体として特定する
前記（２）〜（５）のいずれかに記載の撮像装置。
（７）
前記特定部は、
ユーザによって前記画像から選択される物体を前記被写体として特定する対象から除外する
前記（２）〜（６）に記載の撮像装置。
（８）
前記特定部は、
オートフォーカスのフォーカスポイントに近い物体を被写体として特定する
前記（２）〜（７）のいずれかに記載の撮像装置。
（９）
前記特定部に前記被写体として特定させる物体の画像データを記憶する記憶部
を備え、
前記特定部は、
前記記憶部に記憶された画像データに基づいて被写体を特定する
前記（２）〜（８）のいずれかに記載の撮像装置。
（１０）
前記特定部に被写体として特定させる物体の種別が異なる複数のモードを有し、
前記特定部は、
前記モードに応じた物体を被写体として特定する
前記（２）〜（９）のいずれかに記載の撮像装置。
（１１）
前記特定部は、
人工知能によって前記画像中で動く可能性が高いと判断した物体を被写体として特定する
前記（２）〜（１０）のいずれかに記載の撮像装置。
（１２）
前記特定部は、
前記画像に複数の人が写っている場合、前記人の年齢および／または性別に基づいて被写体として特定する前記人を決定する
前記（２）〜（１１）のいずれかに記載の撮像装置。
（１３）
前記特定部は、
前記撮像部による高速撮像が開始される前に前記撮像部によって撮像されるプレビュー画像に所定時間以上継続して写っている物体を被写体として特定する
前記（２）〜（１２）のいずれかに記載の撮像装置。
（１４）
順次連続して被写体の画像を撮像して画像データを生成する撮像部と、
前記画像データを記憶するメモリと、
時系列の前記画像データに基づいて前記被写体の動き量を検出する検出部と、
前記被写体の動き量が所定の動き量未満の前記画像データを消去する消去部と
を備える撮像装置
を有する電子機器。
（１５）
順次連続して被写体の画像を撮像して画像データを生成し、
前記画像データをメモリに記憶させ、
時系列の前記画像データに基づいて前記被写体の動き量を検出し、
前記被写体の動き量が所定の動き量未満の前記画像データを消去する
撮像方法。
【符号の説明】
【０１０１】
１  電子機器
２  ＣＩＳ
３  ＡＰ
３１  ＡＰ制御部
３２  通信Ｉ／Ｆ
４  表示操作部
５  撮像部
５１  受光部
５２  読出部
６  メモリ
７  通信Ｉ／Ｆ
８  画像取捨選択部
８１  特定部
８２  検出部
８３  消去部
【図１】
2020136899.tif 000003
【図２】
2020136899.tif 000004
【図３】
2020136899.tif 000005
【図４】
2020136899.tif 000006
【図５】
2020136899.tif 000007
【図６】
2020136899.tif 000008