(57)【要約】【課題】被写体の動きの中でユーザが所望する瞬間の動きを撮像することができる撮像装置および電子機器を提供すること。【解決手段】本開示に係る撮像装置は、撮像部と、メモリと、決定部とを有する。撮像部は、順次連続して被写体の画像を撮像して画像データを生成する。メモリは、画像データを記憶する。検出部は、画像データに基づいて被写体の動きを検出する。決定部は、画像データに基づいて予測された被写体の動く向きと一致する向きへの被写体の動きが検出部によって検出された画像データをメモリに保存する画像データと決定する。【選択図】図１
2020136898.tif 000002
【特許請求の範囲】
【請求項１】
順次連続して被写体の画像を撮像して画像データを生成する撮像部と、
前記画像データを記憶するメモリと、
前記画像データに基づいて前記被写体の動きを検出する検出部と、
前記画像データに基づいて予測された前記被写体の動く向きと一致する向きへの前記被写体の動きが前記検出部によって検出された画像データを前記メモリに保存する画像データと決定する決定部と
を有する撮像装置。
【請求項２】
前記決定部は、
前記メモリに記憶される前の前記画像データに基づいて、前記メモリに保存する画像データを決定し、保存すると決定した前記画像データを前記メモリに記憶させて保存する
請求項１に記載の撮像装置。
【請求項３】
前記決定部は、
前記メモリに記憶された後の前記画像データに基づいて、前記メモリに保存する画像データを決定し、前記保存すると決定した前記画像データ以外の画像データを前記メモリから消去する
請求項１に記載の撮像装置。
【請求項４】
前記画像データに基づいて前記被写体の動く向きを予測する予測部
を有する請求項１に記載の撮像装置。
【請求項５】
前記予測部は、
ＤＮＮ（Deep  Neural  Network）を使用するＤＮＮ処理によって前記被写体の動く向きを予測する
請求項４に記載の撮像装置。
【請求項６】
前記画像データから前記被写体を特定する特定部
を有する
請求項１に記載の撮像装置。
【請求項７】
前記特定部は、
前記画像の中央に写る物体を被写体として特定する
請求項６に記載の撮像装置。
【請求項８】
前記特定部は、
ユーザによって前記画像から選択される物体を前記被写体として特定する
請求項６に記載の撮像装置。
【請求項９】
前記特定部は、
ユーザによって前記画像から選択される物体を前記被写体として特定する対象から除外する
請求項６に記載の撮像装置。
【請求項１０】
前記特定部は、
オートフォーカスのフォーカスポイントに近い物体を被写体として特定する
請求項６に記載の撮像装置。
【請求項１１】
前記特定部に前記被写体として特定させる物体の画像データを記憶する記憶部
を備え、
前記特定部は、
前記記憶部に記憶された画像データに基づいて被写体を特定する
請求項６に記載の撮像装置。
【請求項１２】
前記特定部に被写体として特定させる物体の種別が異なる複数のモードを有し、
前記特定部は、
前記モードに応じた物体を被写体として特定する
請求項６に記載の撮像装置。
【請求項１３】
前記特定部は、
人工知能によって前記画像中で動く可能性が高いと判断した物体を被写体として特定する
請求項６に記載の撮像装置。
【請求項１４】
前記特定部は、
前記画像に複数の人が写っている場合、前記人の年齢および／または性別に基づいて被写体として特定する前記人を決定する
請求項６に記載の撮像装置。
【請求項１５】
前記特定部は、
前記撮像部による高速撮像が開始される前に前記撮像部によって撮像されるプレビュー画像に所定時間以上継続して写っている物体を被写体として特定する
請求項６に記載の撮像装置。
【請求項１６】
順次連続して被写体の画像を撮像して画像データを生成する撮像部と、
前記画像データを記憶するメモリと、
前記画像データに基づいて前記被写体の動きを検出する検出部と、
前記画像データに基づいて予測された前記被写体の動く向きと一致する向きへの前記被写体の動きが前記検出部によって検出された画像データを前記メモリに保存する画像データと決定する決定部と
を備える撮像装置
を有する電子機器。
【請求項１７】
順次連続して被写体の画像を撮像して画像データを生成し、
前記画像データに基づいて前記被写体の動きを検出し、
前記画像データに基づいて予測された前記被写体の動く向きと一致する向きへの前記被写体の動きが検出された画像データをメモリに保存する画像データと決定する
撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、電子機器、および撮像方法に関する。
【背景技術】
【０００２】
動く被写体を高速連写することによって、被写体の動きの中でユーザが所望する瞬間の動きを撮像可能とする連写機能を備えた撮像装置がある。例えば、特許文献１には、連写用の操作部がユーザによって押されていると判断した場合に、現在のコマ速よりも高速のコマ速で連写を行い、操作部が押されていないと判断した場合に、現在のコマ速を維持する制御を行う撮像装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１４７３５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像装置は、高速連写を行う場合に、被写体の動きの中でユーザが所望する瞬間の動きを撮像することができないことがある。そこで、本開示では、被写体の動きの中でユーザが所望する瞬間の動きを撮像することができる撮像装置、電子機器、および撮像方法を提案する。
【課題を解決するための手段】
【０００５】
本開示に係る撮像装置は、撮像部と、メモリと、決定部とを有する。撮像部は、順次連続して被写体の画像を撮像して画像データを生成する。メモリは、前記画像データを記憶する。検出部は、前記画像データに基づいて前記被写体の動きを検出する。決定部は、前記画像データに基づいて予測された前記被写体の動く向きと一致する向きへの前記被写体の動きが前記検出部によって検出された画像データを前記メモリに保存する画像データと決定する。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態に係る電子機器の概略構成を示すブロック図である。
【図２】第１の実施形態に係るＣＩＳの動作説明図である。
【図３】第１の実施形態の対比例に係る高速撮像画像の説明図である。
【図４】第１の実施形態に係る高速撮像画像の説明図である。
【図５】第１の実施形態に係るＣＩＳが実行する処理の一例を示すフローチャートである。
【図６】第２の実施形態に係る電子機器の概略構成を示すブロック図である。
【図７】第２の実施形態に係るＣＩＳの動作説明図である。
【発明を実施するための形態】
【０００７】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【０００８】
［１．第１の実施形態］
［１−１．第１の実施形態に係る電子機器の構成］
図１は、第１の実施形態に係る電子機器の概略構成例を示すブロック図である。図１に示す電子機器１は、静止画や動画を撮像する装置であり、例えば、デジタルカメラ、デジタルビデオカメラ、カメラ機能を有するタブレット端末やスマートフォン等である。
【０００９】
図１に示すように、電子機器１は、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサ（以下、ＣＩＳ２と記載する）と、アプリケーションプロセッサ（以下、ＡＰ３と記載する）と、表示操作部４とを有する。
【００１０】
表示操作部４は、画像を表示する機能と、ユーザによるタッチ操作を受け付ける機能とを備えるタッチパネル液晶ディスプレイである。なお、電子機器１は、表示操作部４の代わりに、画像を表示する液晶ディスプレイと、ユーザによるタッチ操作を受け付ける操作スイッチとを備える構成であってもよい。
【００１１】
ＣＩＳ２は、１チップで構成され、画像を撮像する撮像装置の一例であり、撮像画像の画像データをＡＰ３へ出力する。ＣＩＳ２は、通常の静止画や動画を撮像する機能に加えて、被写体を高速で連写（以下、高速撮像と記載する）する高速撮像機能を備える。なお、本開示に係る撮像装置は、ＣＩＳ２に限定されるものではなく、例えば、ＣＣＤ（Charge  Coupled  Device）イメージセンサ等、他のイメージセンサであってもよい。
【００１２】
ＡＰ３は、電子機器１の用途に応じた各種アプリケーションプログラムを実行するＣＰＵ（Central  Processing  Unit）等のプロセッサの一例であるＡＰ制御部３１と、ＣＩＳ２との間で情報通信を行う通信Ｉ／Ｆ（インターフェイス）３２とを備える。
【００１３】
ＡＰ３は、例えば、ＣＩＳ２から入力される画像データの補正処理や加工処理を行う他、画像データを表示操作部４に表示させる表示制御処理等を行う。また、ＡＰ３は、ＣＩＳ２によって高速撮像された撮像画像の画像データをコマ送りで時系列に表示操作部４で表示させることによって、例えば、高速で動く被写体の動きをスーパースローで再生することができる。
【００１４】
ここで、例えば、一般的なスマートフォン等の電子機器に搭載されるカメラでは、高速撮像を行う場合、ＣＩＳが高速で順次連続して被写体を撮像し、撮像画像の画像データを時系列にメモリに記憶させる。
【００１５】
ただし、電子機器は、画像データを記憶するメモリの容量に上限がある。このため、一般的な電子機器では、例えば、高速撮像を開始させるユーザの操作が早すぎると、被写体の動きの中でユーザが所望する瞬間になる前に、撮像画像の画像データ量がメモリ容量の上限に達する場合がある。
【００１６】
かかる場合、電子機器は、高速撮像した画像データをスーパースローで再生しても、被写体の動きの中でユーザが所望する瞬間の動きが撮像された画像データがメモリに記憶されていないため、ユーザが望む瞬間の画像を再生することができない。このように、一般的な電子機器では、被写体の動きの中でユーザが所望する瞬間の被写体の動きを撮像することができないことがある。
【００１７】
そこで、本開示に係るＣＩＳ２は、高速撮像を開始させるユーザの操作が早すぎる場合であっても、ユーザが所望する瞬間の被写体の動きを撮像することができる構成を備える。具体的には、ＣＩＳ２は、撮像部５と、メモリ６と、通信Ｉ／Ｆ７と、開始判定部８とを備える。
【００１８】
撮像部５は、受光部５１と、読出部５２とを備える。受光部５１は、例えば、ズームレンズ、フォーカスレンズ、絞り等を備える光学系と、フォトダイオードなどの受光素子を含む単位画素が２次元マトリクス状に配列された画素アレイ部とを備える。
【００１９】
受光部５１は、外部から入射する光を光学系によって画素アレイ部の受光面に結像する。画素アレイ部の各単位画素は、受光素子に入射した光を光電変換することで、入射光の光量に応じた電荷を読出可能に蓄積する。
【００２０】
読出部５２は、各単位画素に蓄積された電荷を画素信号として読み出す読出回路と、読出回路によって読み出されたアナログの画素信号をデジタル値に変換することで、デジタルの画像データを生成するＡＤＣ（Analog  to  Digital  Converter）とを備える。読出部５２は、生成した画像データを１フレームの画像単位で開始判定部８へ出力する。
【００２１】
また、撮像部５は、ＡＦ（オートフォーカス）機能を備える。撮像部５は、ＡＦ機能によって被写体に焦点（フォーカスポイント）が合った場合に、撮像画像におけるフォーカスポイントの位置を示す情報を開始判定部８へ出力する。
【００２２】
かかる撮像部５は、表示操作部４からユーザによる撮像操作が行われたことを示す信号が入力される場合に、静止画や動画の撮像を行う。また、撮像部５は、表示操作部４からユーザによる高速撮像の開始操作が行われたことを示す信号（以下、高速撮像トリガという）を受信した場合に、高速撮像を開始する。
【００２３】
開始判定部８は、撮像部５から入力される高速撮像された画像データのうち、ユーザが撮像を望んでいる可能性が高い画像データよりも前に撮像された画像データを消去し、ユーザが撮像を望んでいる可能性が高い画像データを選択的にメモリ６に記憶させる。
【００２４】
これにより、開始判定部８は、高速撮像を開始させるユーザの操作が早すぎる場合であっても、ユーザが所望する瞬間の被写体の動きを撮像することができる。具体的には、開始判定部８は、例えば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）などを有するマイクロコンピュータや各種の回路を含む。
【００２５】
開始判定部８は、ＣＰＵがＲＯＭに記憶されたプログラムを、ＲＡＭを作業領域として使用して実行することにより機能する特定部８１と、予測部８２と、検出部８３と、決定部８４とを備える。
【００２６】
なお、開始判定部８が備える特定部８１、予測部８２、検出部８３、および決定部８４は、一部または全部がＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成されてもよい。
【００２７】
開始判定部８が備える特定部８１、予測部８２、検出部８３、および決定部８４は、それぞれ以下に説明する情報処理を実行する。なお、開始判定部８の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば、他の構成であってもよい。
【００２８】
特定部８１は、画像データに基づいて被写体を特定し、画像における被写体の位置を示す情報と画像データとを予測部８２および検出部８３へ出力する。特定部８１は、例えば、ＤＮＮ（Deep  Neural  Network）を使用するＤＮＮ処理によって画像の構図を判定し、判定した構図から被写体が写るＲＯＩ（Region  of  Interest）領域を決定することで、被写体を特定する。
【００２９】
そして、特定部８１は、被写体を特定した画像におけるＲＯＩ領域の位置を示す情報と、被写体を特定した画像データとを予測部８２および検出部８３へ出力する。なお、特定部８１は、ＤＮＮに限らず、ＲＮＮ（Recurrent  Neural  Networks）やＣＮＮ（Convolutional  Neural  Network）など様々なニューラルネットワークを用いて被写体を特定することができる。また、特定部８１は、決定木やサポートベクタマシンなどの他の様々な機械学習で学習した学習モデルを用いて被写体を特定する構成であってもよい。
【００３０】
予測部８２は、例えば、画像データについてＤＮＮを使用するＤＮＮ処理を行うことによって、被写体の動く向きを予測する。なお、予測部８２は、ＤＮＮに限らず、ＲＮＮやＣＮＮなど様々なニューラルネットワークを用いて被写体を被写体の動く向きを予測することができる。
【００３１】
また、予測部８２は、決定木やサポートベクタマシンなどの他の様々な機械学習で学習した学習モデルを用いて被写体を被写体の動く向きを予測する構成であってもよい。例えば、予測部８２は、被写体が野球の打者であれば、スイングされるバットが動く向き、被写体が車や列車であれば進行方向、被写体が走っている人であれば、手足や髪が動く方向、被写体が鳥であれば羽ばたく羽が動く方法等を予測する。
【００３２】
そして、予測部８２は、予測した被写体の動く向きを示す情報を決定部８４へ出力する。検出部８３は、時系列の画像データに基づいて被写体の動きを検出し、被写体の動き（動き量および動く方向を含む）を示す情報を決定部８４へ出力する。
【００３３】
決定部８４は、予測部８２および検出部８３から入力される情報に基づいて、メモリ６に保存する画像データを決定し、保存すると決定した画像データをメモリ６へ出力して記憶させる。このとき、決定部８４は、予測部８２によって予測された被写体の動く向きと一致する動きが検出部８３によって検出された画像データをメモリ６に保存する画像データと決定する。
【００３４】
このため、メモリ６には、例えば、高速撮像を開始させるユーザの操作が早すぎて、被写体に動きがなく高速撮像する必要がない画像データや、手振れ等によって予測部８２によって予測された向きとは異なる向きに被写体が動いた画像データは記憶されない。
【００３５】
また、メモリ６には、予測部８２によって予測された向きと一致する向きに被写体が動いた画像データであり、ユーザが高速撮像を望んでいる可能性の高い画像データが記憶される。これにより、ＣＩＳ２は、高速撮像を開始させるユーザの操作が早すぎる場合であっても、ユーザが所望する瞬間の被写体の動きを撮像することができる。
【００３６】
メモリ６は、例えば、フラッシュメモリ等の記憶デバイスであり、開始判定部８から入力される撮像画像の画像データを時系列に記憶する。通信Ｉ／Ｆ７は、ＡＰ３から画像データの取得要求を受け付けた場合に、メモリ６に記憶された画像データをＡＰ３へ出力する。
【００３７】
ＡＰ制御部３１は、通信Ｉ／Ｆ３２を介してＣＩＳ２から入力される画像データを表示操作部４へ出力して表示させる。なお、ＡＰ制御部３１は、例えば、表示操作部４がユーザによる画像表示操作を受け付けた場合に、通信Ｉ／Ｆ３２を介してＣＩＳ２へ画像データの取得要求を出力し、ＣＩＳ２から画像データを取得して表示操作部４に表示させる。
【００３８】
［１−２．第１の実施形態に係る電子機器の動作説明］
次に、図２を参照し、本開示に係るＣＩＳの動作について説明する。図２は、本開示に係るＣＩＳの動作説明図である。図２に示すように、ＣＩＳ２では、高速撮像を開始する前に、まず、開始判定部８によってプレビュー画像Ｐｒｅから被写体を特定する（ステップＳ１）。
【００３９】
その後、ＣＩＳ２は、高速撮像トリガを受信して高速撮像を開始すると、開始判定部８が高速撮像された画像データを撮像部５から取得し、メモリ６に記憶される前の画像データに基づいて、メモリ６に保存する画像データを決定する（ステップＳ２）。このとき、開始判定部８は、被写体の動く向きが予測した向きと一致する画像データをメモリ６に保存する画像データと決定する。
【００４０】
また、開始判定部８は、高速撮像を開始させるユーザの操作が早すぎて、高速撮像開始当初の画像で被写体に動きがない場合、または、被写体の動く向きが予測した向きと異なる場合、これらの保存しない画像データを消去する（ステップＳ３）。
【００４１】
そして、開始判定部８は、撮像部５から取得する全画像データのうち、メモリ６に保存すると決定した画像データを選択的にメモリ６へ出力して記録を開始する（ステップＳ４）。これにより、ＣＩＳ２は、高速撮像開始当初の画像で被写体に動きがない画像データ等の高速撮像が不要な画像データをメモリ６に記録しない分、メモリ６の記憶容量をユーザが高速撮像の望む画像データの記録に有効利用することができる。
【００４２】
そして、ＣＩＳ２は、高速撮像した画像を表示操作部４に表示させる場合には、メモリ６からＣＩＳ２の通信Ｉ／Ｆ７を介して、ＡＰ３の通信Ｉ／Ｆ３２へ画像データを出力する（ステップＳ５）。
【００４３】
これにより、ＡＰ３は、ＣＩＳ２から入力される高速撮像された画像データを撮像速度よりも遅いフレームレートで表示操作部４に表示させることで、被写体の動きの中でユーザが所望する瞬間の被写体の動きが写る画像をスーパースローで再生することができる。
【００４４】
［１−３．高速撮像画像の具体例］
次に、本開示に係る高速撮像画像の具体例について説明する。ここでは、野球のバットでボールを打つインパクトの瞬間の被写体をユーザが撮像しようとする場合について説明する。また、ここでは、開始判定部８による画像データの消去を行わない対比例の高速撮像について説明した後に、開始判定部８による画像データの消去を行う高速撮像について説明する。
【００４５】
図３は、本開示の対比例に係る高速撮像画像の説明図である。図４は、本開示に係る高速撮像画像の説明図である。なお、ここでは、開始判定部８が奏する効果の理解を容易にするため、メモリ６に記憶可能な画像のフレーム数が実際より極端に少ない７フレームであるものとして説明する。
【００４６】
図３の上段に示すように、野球のバットをスイングする動作には、テイクバック、スイング、およびフォロースル―という一連の動作が含まれる。ＣＩＳ２は、例えば、開始判定部８による画像消去を行わない場合、時刻ｔ１で高速撮像を開始すると、７フレーム目の画像を撮像した時刻ｔ２の時点で高速撮像を終了する。
【００４７】
こうして撮像された高速撮像画像をスーパースローで再生した場合、再生画像は、図３の下段に示すように、再生される画像の大半がテイクバック中の被写体の画像となり、ユーザが所望する肝心なスイング中の画像やインパクトの瞬間が写っていない。
【００４８】
これに対して、開始判定部８による画像消去を行う場合、図４の上段に示すように、開始判定部８は、時刻ｔ１で１フレーム目の画像が撮像された後、被写体の動きがない２〜４フレームのテイクバックの画像をメモリ６に保存しない画像データと決定する。そして、開始判定部８は、保存しないと決定した２〜４フレームの画像を消去する。
【００４９】
この時点で、メモリ６は、まだ、１フレームの画像しか記憶していないので、残り６フレームの画像を記憶可能である。そして、５フレーム目から被写体がスイング動作に入るため、予測した向きと一致する向きへの被写体の動きが検出される。このため、開始判定部８は、５〜１０フレームの画像をメモリ６に保存する画像と決定し、５〜１０フレームの画像データをメモリ６に記憶させ、時刻ｔ３で高速撮像が終了となる。
【００５０】
こうして撮像された高速撮像画像をスーパースローで再生した場合、再生画像は、図４の下段に示すように、スイングの開始から終了前までの画像が写っており、ユーザが望むインパクトの瞬間も含まれている。
【００５１】
なお、図４の下段に示す再生画像は、２〜４フレームの画像が間引かれた画像であるため、厳密には実際の被写体の動きを正確に表現したスーパースローの映像ではない。しかし、間引かれた２〜４フレームの画像は、被写体の動きが殆どない画像であり、高速撮像が要求される期間の画像ではない。
【００５２】
このため、図４の下段に示す再生画像は、ユーザの視点では高速撮像の目的を達成している画像ということができ、ユーザの感覚的には撮影時間が延長されたスーパースローの映像となる。このように、ＣＩＳ２によれば、高速撮像を開始させるユーザの操作が早すぎる場合であっても、被写体の動きの中でユーザが所望する瞬間の被写体の動きを撮像することができる。
【００５３】
［１−４．ＣＩＳが実行する処理］
次に、図５を参照し、本開示に係るＣＩＳ２が実行する処理の一例について説明する。図５は、本開示に係るＣＩＳ２が実行する処理の一例を示すフローチャートである。
【００５４】
ＣＩＳ２は、電子機器１が高速撮像モードとなっている場合に、図５に示す処理を実行する。具体的には、ＣＩＳ２では、電子機器が高速撮像モードになると、図５に示すように、まず、撮像部５が高速撮像プレビューを開始する（ステップＳ１０１）。ここでは、撮像部５は、高速撮像よりも低速でプレビュー画像を撮像する。
【００５５】
続いて、開始判定部８は、プレビュー画像を取得し（ステップＳ１０２）、被写体の特定を行う（ステップＳ１０３）。その後、撮像部５は、高速撮像トリガを受信したか否かを判定する（ステップＳ１０４）。
【００５６】
そして、撮像部５は、高速撮像トリガを受信していないと判定した場合（ステップＳ１０４，Ｎｏ）、処理をステップＳ１０２へ移す。また、撮像部５は、高速撮像トリガを受信したと判定した場合（ステップＳ１０４，Ｙｅｓ）、高速撮像を開始して画像を１枚撮像する（ステップＳ１０５）。
【００５７】
その後、開始判定部８は、ＤＮＮにより画像中の被写体が動く向きを予測する（ステップＳ１０６）。また、開始判定部８は、ステップＳ１０６の処理と並行して、画像中の被写体の動きを検出する（ステップＳ１０７）。
【００５８】
そして、開始判定部８は、被写体の動く向きが予測と一致したか否かを判定する（ステップＳ１０８）。そして、開始判定部８は、動く向きが予測と一致しないと判定した場合（ステップＳ１０８，Ｎｏ）、処理をステップＳ１０５へ移す。
【００５９】
また、開始判定部８は、動く向きが予測と一致したと判定した場合（ステップＳ１０８，Ｙｅｓ）、動きを検出した画像データを保存する画像データと決定する（ステップＳ１０９）。その後、開始判定部８は、高速撮像画像の保存を開始する（ステップＳ１１０）。そして、撮像部５は、メモリ６の容量の上限まで撮像を行い（ステップＳ１１１）、処理を終了する。
【００６０】
［２．第２の実施形態］
［２−１．第２の実施形態に係る電子機器の構成］
図６は、第２の実施形態に係る電子機器の構成を示すブロック図である。図６に示すように、第２の実施形態に係る電子機器１ａは、ＣＩＳ２ａにおける撮像部５が撮像画像の画像データをメモリ６へ出力して記憶させる構成と、開始判定部８ａの構成が図１に示す電子機器１とは異なり、その他の構成は図１に示すものと同一である。
【００６１】
このため、ここでは、撮像部５の動作および開始判定部８ａの構成および動作について説明し、他の構成については、重複する説明を省略する。ＣＩＳ２ａの撮像部５は、高速撮像される画像データを順次メモリ６へ出力して記憶させる。
【００６２】
開始判定部８ａは、特定部８１ａと、予測部８２ａと、検出部８３ａと、決定部８４ａとを備える。特定部８１ａは、メモリ６から画像データを取得し、例えば、ＤＮＮにより画像データに基づいて被写体を特定する。そして、特定部８１ａは、画像における被写体の位置を示す情報を予測部８２ａおよび検出部８３ａへ出力する。
【００６３】
予測部８２ａは、メモリ６から時系列に画像データを取得し、例えば、ＤＮＮを使用するＤＮＮ処理によって被写体の動く向きを予測する。予測部８２ａは、予測した被写体の動く向きを示す情報を決定部８４ａへ出力する。
【００６４】
検出部８３ａは、メモリ６から時系列に画像データを取得し、時系列の画像データに基づいて被写体の動きを検出して、被写体の動き（動き量および動く方向を含む）を示す情報を決定部８４ａへ出力する。
【００６５】
決定部８４ａは、予測部８２ａおよび検出部８３ａから入力される情報に基づいて、メモリ６に保存する（消去せずに残す）画像データを決定する。決定部８４ａは、予測部８２ａによって予測された被写体の動く向きと一致する動きが検出部８３ａによって検出された画像データをメモリ６に保存する画像データと決定する。
【００６６】
また、決定部８４ａは、予測部８２ａによって予測された被写体の動く向きと一致する動きが検出部８３ａによって検出されなかった画像データをメモリ６に保存しない画像と決定して、メモリ６から消去する。
【００６７】
このため、メモリ６には、例えば、高速撮像を開始させるユーザの操作が早すぎて、被写体に動きがなく高速撮像する必要がない画像データや、手振れ等によって予測部８２ａによって予測された向きとは異なる向きに被写体が動いた画像データは記憶されない。
【００６８】
一方、メモリ６には、予測部８２ａによって予測された向きと一致する向きに被写体が動いた画像データであり、ユーザが高速撮像を望んでいる可能性の高い画像データが記憶される。これにより、ＣＩＳ２ａは、高速撮像を開始させるユーザの操作が早すぎる場合であっても、ユーザが所望する瞬間の被写体の動きを撮像することができる。
［２−２．第２の実施形態に係る電子機器の動作説明］
次に、図７を参照し、本開示に係るＣＩＳの動作について説明する。図７は、本開示に係るＣＩＳの動作説明図である。なお、図２には、２つのメモリ６を図示しているが、これは、ＣＩＳ２ａの動作の理解を容易にするためであり、図２中の２つのメモリ６は、物理的には同一の物である。
【００６９】
図７に示すように、ＣＩＳ２ａでは、高速撮像を開始する前に、まず、開始判定部８によってプレビュー画像Ｐｒｅから被写体を特定する（ステップＳ１１）。その後、ＣＩＳ２は、高速撮像トリガを受信して高速撮像を開始すると、撮像部５からメモリ６へ高速撮像した画像データを出力してメモリ６に記憶させる（ステップＳ１２）。
【００７０】
続いて、開始判定部８は、メモリ６から画像データの読出しを行う（ステップＳ１３）。そして、開始判定部８は、メモリ６に記憶された後の画像データに基づいて、メモリ６に保存する画像データを決定する（ステップＳ１４）。このとき、開始判定部８は、被写体の動く向きが予測した向きと一致する画像データをメモリ６に保存する画像データと決定する。
【００７１】
また、開始判定部８は、高速撮像を開始させるユーザの操作が早すぎて、高速撮像開始当初の画像で被写体に動きがない場合、または、被写体の動く向きが予測した向きと異なる場合、これらの保存しない画像データと決定する。
【００７２】
そして、開始判定部８は、保存しないと決定した画像データをメモリ６から消去する（ステップＳ１５）。これにより、メモリ６では、開始判定部８によってメモリ６に保存すると決定された画像データから記録が開始される（ステップＳ１６）。
【００７３】
このように、ＣＩＳ２は、高速撮像開始当初の画像で被写体に動きがない画像データ等の高速撮像が不要な画像データをメモリ６から消去するので、その分のメモリ６の記憶容量をユーザが高速撮像の望む画像データの記録に有効利用することができる。
【００７４】
そして、ＣＩＳ２は、高速撮像した画像を表示操作部４に表示させる場合には、メモリ６からＣＩＳ２の通信Ｉ／Ｆ７を介して、ＡＰ３の通信Ｉ／Ｆ３２へ画像データを出力する（ステップＳ１７）。
【００７５】
これにより、ＡＰ３は、ＣＩＳ２から入力される高速撮像された画像データを撮像速度よりも遅いフレームレートで表示操作部４に表示させることで、被写体の動きの中でユーザが所望する瞬間の被写体の動きが写る画像をスーパースローで再生することができる。
【００７６】
［３．その他の実施形態］
上述した各実施形態に係る処理は、上記した実施形態以外にも種々の異なる形態にて実施されてよい。
【００７７】
例えば、上記した実施形態では、撮像画像中に存在する動体が１つである場合を例に挙げて説明したが、特定部８１，８１ａは、撮像画像中に複数の動体が存在している場合に、ユーザが撮像を望む可能性が高い動体を被写体として特定することも可能である。
【００７８】
例えば、カメラのユーザは、撮像しようとする被写体を画像の中央に収めようとするのが一般的である。そこで、特定部８１，８１ａは、画像の中央に写る物体を被写体として特定する。これにより、特定部８１，８１ａは、撮像画像中に複数の動体が存在している場合に、ユーザが撮像を望む可能性が高い動体を被写体として特定することができる。
【００７９】
また、特定部８１，８１ａは、ユーザによって画像から選択される物体を被写体として特定する。かかる場合、特定部８１は、例えば、表示操作部４に表示中のプレビュー画像の中で、ユーザによるタッチ操作で選択された物体を被写体として特定する。これにより、特定部８１，８１ａは、例えば、ユーザが撮像を望む動体が画像の中央以外の位置に写っていても、その動体を被写体として特定することができる。
【００８０】
なお、特定部８１，８１ａは、ユーザによって画像から選択された物体を被写体として特定する対象から除外することもできる。これにより、ユーザは、特定部８１，８１ａによって自動的に特定された被写体が自身の意図する物体でない場合に、表示操作部４に表示中の特定された物体を選択操作することによって、特定部８１，８１ａに被写体として特定させる対象から除外することができる。
【００８１】
また、通常、カメラのユーザは、ＡＦ機能が作動中の場合、撮像したい物体にフォーカスポイントが合うまでシャッタを切らないのが一般的である。そこで、特定部８１，８１ａは、ＡＦ機能が作動中の場合、オートフォーカスポイントに最も近い物体を被写体として特定する。これにより、特定部８１，８１ａは、ユーザが撮像を望む可能性が高い動体を被写体として特定することができる。
【００８２】
また、ＣＩＳ２，２ａは、特定部８１，８１ａに被写体として特定させる物体の画像データを記憶する記憶部を備えることができる。かかる場合、ＣＩＳ２，２ａは、予めユーザに被写体の候補となる人の顔や物体の画像データを記憶部に登録させて記憶する。
【００８３】
そして、特定部８１，８１ａは、記憶部に記憶された画像データに基づいて被写体を特定する。例えば、特定部８１，８１ａは、撮像画像を分割した各分割領域の特徴量を取得し、撮像画像から取得した特徴量と、記憶に記憶している画像データの特徴量との類似度となるスコアを算出し、スコアの高い分割領域中の物体を被写体として特定する。これにより、特定部８１，８１ａは、事前にユーザによって画像データが登録された物体である可能性が高い物体を被写体として特定することができる。
【００８４】
また、ＣＩＳ２，２ａは、被写体として特定させる物体の種別が異なる複数のモードを備える。そして、特定部８１，８１ａは、モードに応じた物体を被写体として特定する。例えば、特定部８１，８１ａは、ユーザによってスポーツモードが選択されている場合には、人だけを被写体として特定し、動物モードが選択されている場合には、動物だけを被写体として登録する。これにより、特定部８１，８１ａは、特定の物体ではなく、ユーザが望む種別に含まれる任意の物体を被写体として特定することができる。
【００８５】
また、特定部８１，８１ａは、撮像画像中で動く可能性が高い物体を推定するＡＩ（人工知能）を備えることもできる。かかる場合、特定部８１，８１ａは、ＡＩによって動く可能性が最も高いと判断した物体を被写体として特定する。これにより、特定部８１，８１ａは、ユーザからモードの選択や物体の指定が行われない場合であっても、ユーザが撮像を望む動く可能性が高い物体を被写体として特定することができる。
【００８６】
また、特定部８１，８１ａは、撮像画像に複数の人が写っている場合、写っている人の年齢および性別の少なくとも何れか一方に基づいて被写体として特定する人を決定する。例えば、特定部８１，８１ａは、子供の優先度を高、女性の優先度を中、男性の優先度を低として、被写体として特定する人を決定する。なお、年齢および性別についての優先度は、任意に設定変更が可能である。これにより、特定部８１，８１ａは、ユーザの嗜好に応じた人を被写体として特定することができる。
【００８７】
また、一般に、被写体の決定的瞬間を撮像しようとするユーザは、高速撮像を開始する以前から被写体を画角内に収めていることが多い。そこで、特定部８１，８１ａは、プレビュー画像に所定時間以上継続して写っている物体を被写体として特定する。これにより、特定部８１，８１ａは、ユーザが決定的瞬間の撮像を望む可能性が高い動体を被写体として特定することができる。
【００８８】
なお、上述した実施形態では、ＣＩＳ２，２ａが特定部８１，８１ａを備える場合について説明したが、特定部８１，８１ａは、ＡＰ３側に設けられてもよい。かかる場合、ＣＩＳ２，２ａは、メモリ６に記憶した画像をＡＰ３へ出力し、ＡＰ３に設けられる特定部８１，８１ａによって特定された被写体をＡＰ３から取得し、上述した手順と同様の手順によりメモリ６に保存する画像データを決定する。
【００８９】
ただし、特定部８１，８１ａがＡＰ３側に設けられる場合には、撮像部５によって高速撮像される画像データをＡＰ３へ出力する必要がるため、ＣＩＳ２，２ａの消費電力が嵩む。このため、特定部８１，８１ａは、ＣＩＳ２，２ａ側に設けられることが望ましい。
【００９０】
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更することができる。
【００９１】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図１に示した特定部８１、予測部８２、検出部８３、および決定部８４は統合されてもよい。
【００９２】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【００９３】
［４．効果］
【００９４】
ＣＩＳ２，２ａは、撮像部５と、メモリ６と、決定部８４，８４ａとを有する。撮像部５は、順次連続して被写体の画像を撮像して画像データを生成する。メモリ６は、画像データを記憶する。検出部８３，８３ａは、画像データに基づいて被写体の動きを検出する。決定部８４，８４ａは、画像データに基づいて予測された被写体の動く向きと一致する向きへの被写体の動きが検出部８３，８３ａによって検出された画像データをメモリ６に保存する画像データと決定する。
【００９５】
これにより、ＣＩＳ２，２ａは、全画像データのうち、決定部８４，８４ａによって保存すると決定された画像データを選択的にメモリ６に記憶することでメモリ６の空き領域を確保し、被写体の動きの中でユーザが所望する瞬間の動きを撮像することができる。
【００９６】
また、決定部８４は、メモリ６に記憶される前の画像データに基づいて、メモリ６に保存する画像データを決定し、保存すると決定した画像データをメモリ６に記憶させて保存する。これにより、ＣＩＳ２は、メモリ６に画像データを記憶させる前に、メモリ６の空き領域を確保することができる。
【００９７】
また、決定部８４ａは、メモリ６に記憶された後の画像データに基づいて、メモリ６に保存する画像データを決定し、保存すると決定した画像データ以外の画像データをメモリ６から消去する。これにより、ＣＩＳ２ａは、メモリ６に画像データを記憶させた後に、メモリ６の空き領域を確保することができる。
【００９８】
また、ＣＩＳ２，２ａは、画像データに基づいて被写体の動く向きを予測する予測部８２，８２ａを有する。これにより、ＣＩＳ２，２ａは、例えば、ＣＩＳ２，２ａの外部に予測部８２，８２ａが設けられる場合、外部の予測部８２，８２ａへ画像データを出力する必要があり消費電力が嵩むが、内部に特定部８１，８１ａを備えることで、消費電力を低減することができる。
【００９９】
また、予測部８２，８２ａは、ＤＮＮを使用するＤＮＮ処理によって被写体の動く向きを予測する。これにより、予測部８２，８２ａは、被写体の動く向きを正確に予測することができる。
【０１００】
また、ＣＩＳ２，２ａは、画像データから被写体を特定する特定部８１，８１ａを有する。これにより、予測部８２，８２ａは、撮像画像中に複数の動体が存在している場合に、ユーザが撮像を望む可能性が高い被写体の動く向きを予測することができる。また、検出部８３，８３ａは、撮像画像中に複数の動体が存在している場合に、ユーザが撮像を望む可能性が高い被写体の動きを検出することができる。
【０１０１】
また、特定部８１，８１ａは、画像の中央に写る物体を被写体として特定する。これにより、特定部８１，８１ａは、撮像画像中に複数の動体が存在している場合に、ユーザが撮像を望む可能性が高い動体を被写体として特定することができる。
【０１０２】
また、特定部８１，８１ａは、ユーザによって画像から選択される物体を被写体として特定する。これにより、特定部８１，８１ａは、ユーザが撮像を望む動体が画像の中央以外の位置に写っていても、その動体を被写体として特定することができる。
【０１０３】
また、特定部８１，８１ａは、ユーザによって画像から選択される物体を被写体として特定する対象から除外する。これにより、特定部８１，８１ａは、自動的に特定した被写体がユーザの意図する物体でない場合に、自動的に特定した被写体を被写体の候補から除外することができる。
【０１０４】
また、特定部８１，８１ａは、オートフォーカスのフォーカスポイントに近い物体を被写体として特定する。これにより、特定部８１，８１ａは、フォーカスポイントが合った場合に、高速撮像を開始させるユーザが撮像を望む可能性が高い動体を被写体として特定することができる。
【０１０５】
また、ＣＩＳ２，２ａは、特定部８１，８１ａに被写体として特定させる物体の画像データを記憶する記憶部を備える。特定部８１，８１ａは、記憶部に記憶された画像データに基づいて被写体を特定する。これにより、特定部８１，８１ａは、事前にユーザによって画像データが登録された物体である可能性が高い物体を被写体として特定することができる。
【０１０６】
また、ＣＩＳ２，２ａは、特定部８１，８１ａに被写体として特定させる物体の種別が異なる複数のモードを有する。特定部８１，８１ａは、モードに応じた物体を被写体として特定する。これにより、特定部８１，８１ａは、特定の物体ではなく、ユーザが望む種別に含まれる任意の物体を被写体として特定することができる。
【０１０７】
特定部８１，８１ａは、人工知能によって画像中で動く可能性が高いと判断した物体を被写体として特定する。これにより、特定部８１，８１ａは、ユーザからモードの選択や物体の指定が行われない場合であっても、ユーザが撮像を望む動く可能性が高い物体を被写体として特定することができる。
【０１０８】
また、特定部８１，８１ａは、画像に複数の人が写っている場合、人の年齢および／または性別に基づいて被写体として特定する人を決定する。これにより、特定部８１，８１ａは、ユーザの嗜好に応じた人を被写体として特定することができる。
【０１０９】
特定部８１，８１ａは、撮像部５による高速撮像が開始される前に撮像部５によって撮像されるプレビュー画像に所定時間以上継続して写っている物体を被写体として特定する。これにより、特定部８１，８１ａは、ユーザが決定的瞬間の撮像を望む可能性が高い動体を被写体として特定することができる。
【０１１０】
また、電子機器１，１ａは、ＣＩＳ２，２ａを備える。ＣＩＳ２，２ａは、撮像部５と、メモリ６と、検出部８３，８３ａと、決定部８４，８４ａとを有する。撮像部５は、順次連続して被写体の画像を撮像して画像データを生成する。メモリ６は、画像データを記憶する。検出部８３，８３ａは、画像データに基づいて被写体の動きを検出する。決定部８４，８４ａは、画像データに基づいて予測された前記被写体の動く向きと一致する向きへの被写体の動きが検出部８３，８３ａによって検出された画像データをメモリに保存する画像データと決定する。
【０１１１】
これにより、ＣＩＳ２，２ａは、全画像データのうち、決定部８４，８４ａによって保存すると決定された画像データを選択的にメモリ６に記憶することでメモリ６の空き領域を確保し、被写体の動きの中でユーザが所望する瞬間の動きを撮像することができる。
【０１１２】
また、ＣＩＳ２，２ａは、順次連続して被写体の画像を撮像して画像データを生成し、画像データに基づいて被写体の動きを検出し、画像データに基づいて予測された被写体の動く向きと一致する向きへの被写体の動きが検出された画像データをメモリ６に保存する画像データと決定する。これにより、ＣＩＳ２，２ａは、被写体の動きの中でユーザが所望する瞬間の動きを撮像することができる。
【０１１３】
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０１１４】
なお、本技術は以下のような構成も取ることができる。
（１）
順次連続して被写体の画像を撮像して画像データを生成する撮像部と、
前記画像データを記憶するメモリと、
前記画像データに基づいて前記被写体の動きを検出する検出部と、
前記画像データに基づいて予測された前記被写体の動く向きと一致する向きへの前記被写体の動きが前記検出部によって検出された画像データを前記メモリに保存する画像データと決定する決定部と
を有する撮像装置。
（２）
前記決定部は、
前記メモリに記憶される前の前記画像データに基づいて、前記メモリに保存する画像データを決定し、保存すると決定した前記画像データを前記メモリに記憶させて保存する
前記（１）に記載の撮像装置。
（３）
前記決定部は、
前記メモリに記憶された後の前記画像データに基づいて、前記メモリに保存する画像データを決定し、前記保存すると決定した前記画像データ以外の画像データを前記メモリから消去する
前記（１）に記載の撮像装置。
（４）
前記画像データに基づいて前記被写体の動く向きを予測する予測部
を有する前記（１）〜（３）のいずれかに記載の撮像装置。
（５）
前記予測部は、
ＤＮＮ（Deep  Neural  Network）を使用するＤＮＮ処理によって前記被写体の動く向きを予測する
前記（４）に記載の撮像装置。
（６）
前記画像データから前記被写体を特定する特定部
を有する
前記（１）〜（５）のいずれかに記載の撮像装置。
（７）
前記特定部は、
前記画像の中央に写る物体を被写体として特定する
前記（６）に記載の撮像装置。
（８）
前記特定部は、
ユーザによって前記画像から選択される物体を前記被写体として特定する
前記（６）または（７）に記載の撮像装置。
（９）
前記特定部は、
ユーザによって前記画像から選択される物体を前記被写体として特定する対象から除外する
前記（６）〜（８）のいずれかに記載の撮像装置。
（１０）
前記特定部は、
オートフォーカスのフォーカスポイントに近い物体を被写体として特定する
前記（６）〜（９）のいずれかに記載の撮像装置。
（１１）
前記特定部に前記被写体として特定させる物体の画像データを記憶する記憶部
を備え、
前記特定部は、
前記記憶部に記憶された画像データに基づいて被写体を特定する
前記（６）〜（１０）のいずれかに記載の撮像装置。
（１２）
前記特定部に被写体として特定させる物体の種別が異なる複数のモードを有し、
前記特定部は、
前記モードに応じた物体を被写体として特定する
前記（６）〜（１１）のいずれかに記載の撮像装置。
（１３）
前記特定部は、
人工知能によって前記画像中で動く可能性が高いと判断した物体を被写体として特定する
前記（６）〜（１２）のいずれかに記載の撮像装置。
（１４）
前記特定部は、
前記画像に複数の人が写っている場合、前記人の年齢および／または性別に基づいて被写体として特定する前記人を決定する
前記（６）〜（１３）のいずれかに記載の撮像装置。
（１５）
前記特定部は、
前記撮像部による高速撮像が開始される前に前記撮像部によって撮像されるプレビュー画像に所定時間以上継続して写っている物体を被写体として特定する
前記（６）〜（１４）のいずれかに記載の撮像装置。
（１６）
順次連続して被写体の画像を撮像して画像データを生成する撮像部と、
前記画像データを記憶するメモリと、
前記画像データに基づいて前記被写体の動きを検出する検出部と、
前記画像データに基づいて予測された前記被写体の動く向きと一致する向きへの前記被写体の動きが前記検出部によって検出された画像データを前記メモリに保存する画像データと決定する決定部と
を備える撮像装置
を有する電子機器。
（１７）
順次連続して被写体の画像を撮像して画像データを生成し、
前記画像データに基づいて前記被写体の動きを検出し、
前記画像データに基づいて予測された前記被写体の動く向きと一致する向きへの前記被写体の動きが検出された画像データをメモリに保存する画像データと決定する
撮像方法。
【符号の説明】
【０１１５】
１，１ａ  電子機器
２，２ａ  ＣＩＳ
３  ＡＰ
３１  ＡＰ制御部
３２  通信Ｉ／Ｆ
４  表示操作部
５  撮像部
５１  受光部
５２  読出部
６  メモリ
７  通信Ｉ／Ｆ
８，８ａ  開始判定部
８１，８１ａ  特定部
８２，８２ａ  予測部
８３，８３ａ  検出部
８４，８４ａ  決定部
【図１】
2020136898.tif 000003
【図２】
2020136898.tif 000004
【図３】
2020136898.tif 000005
【図４】
2020136898.tif 000006
【図５】
2020136898.tif 000007
【図６】
2020136898.tif 000008
【図７】
2020136898.tif 000009