(57)【要約】      （修正有）【課題】動画像の各フレームに対応する画像データを時系列順序に従って再構成できるように出力する。【解決手段】イメージセンサ１０は、入射光に応じて画素信号を生成する画素部１２と、生成された前記画素信号に基づき、動画像の各フレームに対応する画像データを生成する画像生成部と、生成された前記画像データに埋め込むタグ情報を生成するタグ情報生成部１６と、前記タグ情報が埋め込まれた画像データを第１または第２の論理チャネルの少なくとも一方から出力する出力部１９と、前記画素部、前記画像生成部、前記タグ情報生成部、および前記出力部を制御して、Slow Movieモード、またはSuper Slow Movieモードとして動作させる制御部１１とを備える。【選択図】図３
2015186235.tif 000002
【特許請求の範囲】
【請求項１】
入射光に応じて画素信号を生成する画素部と、
生成された前記画素信号に基づき、動画像の各フレームに対応する画像データを生成する画像生成部と、
生成された前記画像データに埋め込むタグ情報を生成するタグ情報生成部と、
前記タグ情報が埋め込まれた画像データを第１または第２の論理チャネルの少なくとも一方から出力する出力部と、
前記画素部、前記画像生成部、前記タグ情報生成部、および前記出力部を制御して、Slow Movieモード、またはSuper Slow Movieモードとして動作させる制御部と
を備えるイメージセンサ。
【請求項２】
前記タグ情報生成部は、前記タグ情報として、SLOW_MODE，FRM_RATE_RATIO，SLOW_NUM，FRM_CNT，FRM_CNT_SS，DUPLI_PIC、またはSCN_DETのうちの少なくとも一つを生成する
請求項１に記載のイメージセンサ。
【請求項３】
前記制御部は、前記Slow Movieモードにおいて、
高速フレームレートで生成された画像データのうち、前記高速フレームレートよりも遅い通常フレームレートに対応する、前記タグ情報が埋め込まれた前記画像データを前記通常フレームレートで前記第１の論理チャネルから出力させるとともに、
前記タグ情報が埋め込まれた残りの前記画像データを前記高速フレームレートで前記第２の論理チャネルから出力させる
請求項２に記載のイメージセンサ。
【請求項４】
前記タグ情報生成部は、前記Slow Movieモードにおいて、前記タグ情報として、少なくともFRM_RATE_RATIO、およびSLOW_NUMを生成する
請求項３に記載のイメージセンサ。
【請求項５】
生成された前記画像データが格納されるリングバッファを
さらに備える請求項２に記載のイメージセンサ。
【請求項６】
前記制御部は、前記Super Slow Movieモードにおいて、
高速フレームレートで生成された画像データを前記リングバッファに格納し、前記リングバッファから前記高速フレームレートよりも遅い通常フレームレートで読み出した前記画像データを、前記タグ情報が埋め込まれた状態で前記通常フレームレートで前記第１の論理チャネルから出力させ、
所定のシーンが検知されたことに応じて前記リングバッファに対する高速フレームレートで生成された前記画像データの格納を停止させ、
前記リングバッファに対する格納が停止された状態で、前記通常フレームレートで生成されて、前記タグ情報が埋め込まれた前記画像データを前記通常フレームレートで前記第１の論理チャネルから出力させ、
前記第１の論理チャネルからの出力が終了した後、前記リングバッファに格納されている前記高速フレームレートで生成された前記画像データを所定のフレームレートで読み出して、前記タグ情報が埋め込まれた状態で前記第２の論理チャネルから出力させる
請求項５に記載のイメージセンサ。
【請求項７】
前記タグ情報生成部は、前記Super Slow Movieモードにおいて、前記タグ情報として、少なくともFRM_RATE_RATIO、およびDUPLI_PICを生成する
請求項６に記載のイメージセンサ。
【請求項８】
入射光に応じて画素信号を生成する画素部と、
生成された前記画素信号に基づき、動画像の各フレームに対応する画像データを生成する画像生成部と、
生成された前記画像データに埋め込むタグ情報を生成するタグ情報生成部と、
前記タグ情報が埋め込まれた画像データを第１または第２の論理チャネルの少なくとも一方から出力する出力部と、
前記画素部、前記画像生成部、前記タグ情報生成部、および前記出力部を制御して、Slow Movieモード、またはSuper Slow Movieモードとして動作させる制御部と
を備えるイメージセンサが搭載されている電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、イメージセンサ、および電子装置に関し、特に、撮像した動画像の画像データを複数の論理チャネルから出力するに際して、後段において各画像データを時系列順序（撮像順序）に従って整列させるためのタグ情報を各画像データに埋め込むようにしたイメージセンサ、および電子装置に関する。
【背景技術】
【０００２】
従来、通常フレームレート（例えば、30fps）での撮像に加えて、高速フレームレート（通常フレームレートの数倍から数十倍）での撮像が可能なイメージセンサが存在する（例えば、特許文献１参照）。
【０００３】
該イメージセンサでは、高速フレームレート撮像時に、例えば、高速フレームレートで得られる画像データ（以下、フレームとも称する）をリングバッファに格納しつつ、該リングバッファから通常フレームレートでフレームを間引き読み出しして出力し、高速フレームレート撮影終了後にリングバッファに格納されている全てのフレームを読み出して出力するようになされている。
【０００４】
上述したように、高速フレームレート撮像して得られた画像データを撮像中と撮像終了後とに分けて出力した場合、出力順序が時系列順序と異なるので、出力先でこれらを利用する場合、これら複数の画像データを時系列順序に従って再構成させる必要がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１８３５５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
動画像の各フレームを時系列順序（撮像順序、再生順序など）に従って整列させるためには、一般的には、各フレームのヘッダにタイムスタンプを記録する方法が知られている。しかしながら、この方法ではヘッダのサイズが大きくなってしまうので、イメージセンサ内での実現が困難である。
【０００７】
本開示はこのような状況に鑑みてなされたものであり、動画像の各フレームに対応する画像データを時系列順序に従って再構成できるように出力するものである。
【課題を解決するための手段】
【０００８】
本開示の第１の側面であるイメージセンサは、入射光に応じて画素信号を生成する画素部と、生成された前記画素信号に基づき、動画像の各フレームに対応する画像データを生成する画像生成部と、生成された前記画像データに埋め込むタグ情報を生成するタグ情報生成部と、前記タグ情報が埋め込まれた画像データを第１または第２の論理チャネルの少なくとも一方から出力する出力部と、前記画素部、前記画像生成部、前記タグ情報生成部、および前記出力部を制御して、Slow Movieモード、またはSuper Slow Movieモードとして動作させる制御部とを備える。
【０００９】
前記タグ情報生成部は、前記タグ情報として、SLOW_MODE，FRM_RATE_RATIO，SLOW_NUM，FRM_CNT，FRM_CNT_SS，DUPLI_PIC、またはSCN_DETのうちの少なくとも一つを生成することができる。
【００１０】
前記制御部は、前記Slow Movieモードにおいて、高速フレームレートで生成された画像データのうち、前記高速フレームレートよりも遅い通常フレームレートに対応する、前記タグ情報が埋め込まれた前記画像データを前記通常フレームレートで前記第１の論理チャネルから出力させるとともに、前記タグ情報が埋め込まれた残りの前記画像データを前記高速フレームレートで前記第２の論理チャネルから出力させることができる。
【００１１】
前記タグ情報生成部は、前記Slow Movieモードにおいて、前記タグ情報として、少なくともFRM_RATE_RATIO、およびSLOW_NUMを生成することができる。
【００１２】
本開示の第１の側面であるイメージセンサは、生成された前記画像データが格納されるリングバッファをさらに備えることができる。
【００１３】
前記制御部は、前記Super Slow Movieモードにおいて、高速フレームレートで生成された画像データを前記リングバッファに格納し、前記リングバッファから前記高速フレームレートよりも遅い通常フレームレートで読み出した前記画像データを、前記タグ情報が埋め込まれた状態で前記通常フレームレートで前記第１の論理チャネルから出力させ、所定のシーンが検知されたことに応じて前記リングバッファに対する高速フレームレートで生成された前記画像データの格納を停止させ、前記リングバッファに対する格納が停止された状態で、前記通常フレームレートで生成されて、前記タグ情報が埋め込まれた前記画像データを前記通常フレームレートで前記第１の論理チャネルから出力させ、前記第１の論理チャネルからの出力が終了した後、前記リングバッファに格納されている前記高速フレームレートで生成された前記画像データを所定のフレームレートで読み出して、前記タグ情報が埋め込まれた状態で前記第２の論理チャネルから出力させることができる。
【００１４】
前記タグ情報生成部は、前記Super Slow Movieモードにおいて、前記タグ情報として、少なくともFRM_RATE_RATIO、およびDUPLI_PICを生成することができる。
【００１５】
本開示の第２の側面である電子装置は、入射光に応じて画素信号を生成する画素部と、生成された前記画素信号に基づき、動画像の各フレームに対応する画像データを生成する画像生成部と、生成された前記画像データに埋め込むタグ情報を生成するタグ情報生成部と、前記タグ情報が埋め込まれた画像データを第１または第２の論理チャネルの少なくとも一方から出力する出力部と、前記画素部、前記画像生成部、前記タグ情報生成部、および前記出力部を制御して、Slow Movieモード、またはSuper Slow Movieモードとして動作させる制御部とを備えるイメージセンサが搭載されている。
【００１６】
本開示の第１および第２の側面においては、入射光に応じて画素信号が生成され、生成された前記画素信号に基づき、動画像の各フレームに対応する画像データが生成され、生成された前記画像データに埋め込むタグ情報が生成されて、前記タグ情報が埋め込まれた画像データが第１または第２の論理チャネルの少なくとも一方から出力される。なお、イメージセンサの全体は、Slow Movieモード、またはSuper Slow Movieモードとして動作するように制御される。
【発明の効果】
【００１７】
本開示の第１および第２の側面によれば、動画像の各フレームに対応する画像データを時系列順序に従って再構成できるように出力することができる。
【図面の簡単な説明】
【００１８】
【図１】Slow Movieモードについて説明するための図である。
【図２】Super Slow Movieモードについて説明するための図である。
【図３】本開示を適用したイメージセンサの構成例を示すブロック図である。
【図４】タグ情報生成部の詳細な構成例を示すブロック図である。
【図５】Slow Movieモードでの撮像処理を説明するフローチャートである。
【図６】Slow Movieモードで埋め込まれるタグ情報の一例を示す図である。
【図７】Super Slow Movieモードでの撮像処理を説明するフローチャートである。
【図８】Super Slow Movieモードで埋め込まれるタグ情報の一例を示す図である。
【図９】Super Slow Movieモードで出力される画像データの時系列順序での整列を説明するための図である。
【発明を実施するための形態】
【００１９】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について説明するが、その前に、本開示の実施の形態であるイメージセンサの動作モードについて説明する。なお、該イメージセンサは、出力I/Fに二つの論理チャンネルCH0，CH1を有するものとする。
【００２０】
＜Slow Movieモードについて＞
図１は、イメージセンサの動作モードの一つであるSlow Movieモードの様子を示している。
【００２１】
Slow Movieモードへは、プレビュモードからキャプチャモードを経て遷移する。
【００２２】
プレビュモードでは、通常フレームレート（例えば、30fpsとする）で画像データが生成され、プレビュ表示用の画像データとして論理チャネルCH0から出力される。キャプチャモードでは、通常フレームレートで画像データが生成され、キャプチャ用の画像データとして論理チャネルCH0から出力される。
【００２３】
Slow Movieモードでは、通常フレームレートよりも速い高速フレームレート（例えば、120fpsとする）で画像データが生成され、高速フレームレートで生成された画像データのうちの通常フレームレートに相当する分だけ（いまの場合、1/4）が間引きされて、キャプチャ用の画像データとして論理チャネルCH0から出力される。また、これと同時に、高速フレームレートで生成された画像データの残りの分（いまの場合、3/4）が、スロー再生用の画像データとして論理チャネルCH1から出力される。
【００２４】
すなわち、Slow Movieモードでは、高速フレームレートの画像データが通常フレームレートで間引かれて論理チャネルCH0から出力され、それと同時に、その他の画像データが高速フレームレートで論理チャネルCH1から出力される。
【００２５】
＜Super Slow Movieモードについて＞
図２は、イメージセンサの動作モードの一つであるSuper Slow Movieモードの様子を示している。
【００２６】
Super Slow Movieモード（以下、Super Slowモードとも称する）へは、プレビュモードから経て遷移する。
【００２７】
Super Slowモードでは、高速フレームレートよりもさらに速い高高速フレームレート（例えば、960fpsとする）で縦横2×2画素を加算することにより縮小画像データが生成されてリングバッファに格納され、リングバッファから通常フレームレートで間引き読み出しされた縮小画像データが論理チャネルCH0から出力される。なお、生成された縮小画像データ（または縮小前の画像データ）から予め設定されているシーン（例えば、風船が割れる瞬間のような被写体が瞬間的に変化するシーンなど）が検出されたことに応じて、高高速フレームレートでの画像データの生成とリングバッファへの格納は停止される。その後は、Super Slowモードが終了するまで、通常フレームレートで縮小画像データが生成され、リングバッファに格納されずにそのまま論理チャネルCH0から出力される。そして、Super Slowモードが終了されたとき、リングバッファに格納されている、シーン検知前後の縮小画像データが所定のフレームレートで読み出されて論理チャネルCH1から出力される。なお、シーン検知の代わりに、ユーザからトリガを入力するようにしてもよい。
【００２８】
すなわち、Super Slowモードでは、論理チャネルCH0から常に縮小画像データが通常フレームレートで出力され、Super Slowモード終了後に、論理チャネルCH1から、リングバッファ内の縮小画像データ（論理チャネルCH0から出力済みのものを含む）が出力される。なお、Super Slowモードにおいて、縮小画像データの代わりに常に通常サイズの画像データを出力するようにしてもよい。また、Super Slowモードにおける高高速フレームレートは、Slow Movieモードにおける高速フレームレートと同じ速度であってもよい。
【００２９】
本実施の形態であるイメージセンサは、Slow MovieモードまたはSuper Slowモードで論理チャネルCH0，CH1から出力された画像データ（縮小画像データ）を、後段にて時系列順序に従って再構成できるように、画像データ（縮小画像データ）にタグ情報を埋め込むものである。
【００３０】
＜本実施の形態であるイメージセンサの構成例＞
図３は、本実施の形態であるイメージセンサの構成例を示している。該イメージセンサ１０は、制御部１１、画素部１２、画像信号処理部１３、メモリ１５、タグ情報生成部１６、タグ情報埋め込み部１７、および出力部１９から構成される。
【００３１】
制御部１１は、ユーザから入力される動作モードの選択操作やキャプチャの開始および終了の指示操作、Slow Movieモードの開始および終了操作などに基づき、イメージセンサ10の全体を制御する。画素部１２は、縦横に配置された多数の受光素子から構成され、各受光素子にて生成された画素信号を動作モードに応じたフレームレートで読み出して画像信号処理部１３に出力する。
【００３２】
画像信号処理部１３は、画素部１２から入力された画素信号に基づいて各フレームの画像データや縮小画像データを生成する。また、画像信号処理部１３は、シーン検知部１４を内蔵しており、シーン検知部１４により、時間的に連続する複数のフレームから予め設定されているシーンを検知する。
【００３３】
メモリ１５は、Super Slowモードにおいて画像信号処理部１３で生成された縮小画像データをリングバッファとして保持する。
【００３４】
タグ情報生成部１６は、画像信号処理部１３で生成された画像データまたは縮小画像データに埋め込むためのタグ情報を生成する。タグ情報埋め込み部１７は、Slow Movieモードにおいて、画像信号処理部１３で生成された画像データにタグ情報をリアルタイムに埋め込んで出力部１９に出力する。また、タグ情報埋め込み部１７は、タグ情報生成部１６で生成されたタグ情報を保持するタグ保持部１８を内蔵する。タグ情報埋め込み部１７は、Super Slowモードにおいて、リングバッファとしてのメモリ１５に格納されている縮小画像データを読み出して出力する際、タグ保持部１８に保持されているタグ情報を埋め込んで出力部１９に出力する。なお、縮小画像データにタグ情報を埋め込んでからリングバッファに格納するようにすれば、タグ保持部１８は削除してもよい。
【００３５】
出力部１９は、二つの論理チャネルCH0，CH1を有する。出力部１９は、タグ情報埋め込み部１７から入力される、タグ情報が埋め込まれている画像データまたは縮小画像データを、制御部１１からの制御に従って論理チャネルCH0またはCH1から後段の画像処理装置３０などに出力する。
【００３６】
＜タグ情報生成部１６の詳細な構成例＞
次に、図４は、タグ情報生成部１６の詳細な構成例を示している。タグ情報生成部１６は、動作モード取得部２１、フレームレート取得部２２、遷移回数取得部２３、フレームカウント取得部２４、重複情報取得部２５、およびシーン検知情報取得部２６を有する。
【００３７】
動作モード取得部２１は、イメージセンサ１０の現在の動作モードがSlow Movieモードであるのか、Super Slowモードであるのか、それ以外であるのかを制御部１１から取得し、動作モードを表すタグ情報としてSLOW_MODEを生成する。すなわち、タグ情報SLOW_MODEは、Slow Movie、Super Slow、またはDisable（Slow MovieおよびSuper Slow以外）を表す。
【００３８】
フレームレート取得部２２は、画素部１２における各画素信号の読み出しレートを制御部１１から取得し、フレームレートを表すタグ情報としてFRM_RATE_RATIOを生成する。タグ情報FRM_RATE_RATIOは、通常のフレームレート（30fpsとする）に対する倍率で表すものとする。例えば、SLOW Movieモードの高速フレームレート（120fps）ではFRM_RATE_RATIO＝６、Super Slowモードの高高速フレームレート（960fps）ではFRM_RATE_RATIO＝３２とされる。
【００３９】
遷移回数取得部２３は、一度の動画シーケンスにおいてSlow Movieモードに遷移した回数を制御部１１から取得し、遷移回数を表すタグ情報としてSLOW_NUMを生成する。例えば、動画の撮像が開始され、Slow Movieモードに遷移するとタグ情報SLOW_NUMは１となる。その後、Slow Movieモードが終了されても動画の撮像が継続している場合にはSLOW_NUMは１のままとされ、再びSlow Movieモードに遷移するとSLOW_NUMは２に更新される。動画の撮像が終了されるとタグ情報SLOW_NUMは０に戻される。
【００４０】
フレームカウント取得部２４は、通常フレームレートで１ずつカウントアップするタグ情報FRM_CNTを生成するとともに、Super Slowモードにおいて高高速フレームレートでリングバッファに格納される、同一のFRM_CNTを有する各フレームに対して１ずつカウントアップするタグ情報FRM_CNT_SSを生成する。
【００４１】
重複情報取得部２５は、Super Slowモードにおいてシーン検知後、リングバッファ（メモリ１５）に対する縮小画像データの格納が停止された状態で、リングバッファから間引き読み出しされて論理チャネルCH0から通常フレームレートで出力される縮小画像データに埋め込むためのタグ情報DUPLI_PICを生成する。
【００４２】
シーン検知情報取得部２６は、Super Slowモードにおいて予め設定されているシーンが検知されたことをシーン検知部１４から取得し、シーン検出の有無を表すタグ情報SCN_DETを生成する。
【００４３】
＜Slow Movieモードでの撮像処理＞
次に、図５は、イメージセンサ１０によるSlow Movieモードでの撮像処理を説明するフローチャートである。
【００４４】
前提として、イメージセンサ１０は、既にプレビュモードで動作しており、出力部１９の論理チャネルCH0からは、通常フレームレート（例えば、30fps）でプレビュ表示用の画像データが出力されているものとする。
【００４５】
ステップＳ１において、制御部１１は、Slow Movieモードに遷移することを前提としたキャプチャモード開始の指示が入力されたか否かを判定し、該指示が入力されるまで待機する（プレビュモードを継続する）。該指示が入力された場合、処理はステップＳ２に進められる。
【００４６】
ステップＳ２において、画素部１２は、通常フレームレートで画素信号を読み出し、画像信号処理部１３は、読み出された画素信号に基づき、通常フレームレートで画像データを生成する。タグ情報埋め込み部１７は、各フレームの画像データに対して、タグ情報生成部１６にて生成されたタグ情報を埋め込んで出力部１９に出力する。出力部１９は、タグ情報が埋め込まれた画像データを通常フレームレートで論理チャネルCH0から出力する。
【００４７】
ステップＳ４において、制御部１１は、Slow Movieモード開始の指示が入力されたか否かを判定し、否と判定した場合、処理をステップＳ２に戻してキャプチャモードを継続させる。その後、ステップＳ４において、該指示が入力されたと判定された場合、処理はステップＳ５に進められる。次に、ステップＳ５において、制御部１１は、Slow Movieモード終了の指示が入力されたか否かを判定し、否と判定した場合、処理をステップＳ６に進める。
【００４８】
ステップＳ６において、画素部１２は、高速フレームレート（例えば、120fps）で画素信号を読み出し、画像信号処理部１３は、読み出された画素信号に基づき、高速フレームレートで画像データを生成する。ステップＳ７において、タグ情報埋め込み部１７は、各フレームの画像データに対して、タグ情報生成部１６にて生成されたタグ情報を埋め込んで出力部１９に出力する。出力部１９は、タグ情報が埋め込まれた高速フレームレートの画像データのうち、通常フレームレートの分だけを論理チャネルCH0から出力し、残りを高速フレームレートで論理チャネルCH1から出力する。
【００４９】
具体的には、通常フレームレートが30fpsで高速フレームレートがその４倍の120fpsである場合、高速フレームレートの画像データの４フレーム毎に１フレームだけを通常フレームレートで論理チャネルCH0から出力し、残りの３フレームを高速フレームレートで論理チャネルCH1から出力するようにする。
【００５０】
この後、処理はステップＳ５に戻されて、それ以降の処理が継続される。そして、ステップＳ５において、Slow Movieモード終了の指示が入力されたと判定された場合、ステップＳ２に戻されて以降の処理が繰り返される。この後、キャプチャモード終了の指示が入力されるまで、該Slow Movieモードでの撮像処理は継続される。
【００５１】
図６は、上述した該Slow Movieモードでの撮像処理により出力される画像データに埋め込まれるタグ情報を示している。図面下部の論理チャネルCH0，CH1から出力される各フレーム内に記載したＤ(Disable)またはSM(Slow Movie)は動作モードを示し、数字はタグ情報SLOW_NUMを表している。
【００５２】
同図に示されるように、該Slow Movieモードでの撮像処理では、基本的には、３種類のタグ情報SLOW_MODE，FRM_RATE_RATIO，SLOW_NUMを埋め込めばよい。
【００５３】
ただし、動作モードがSlow Movieモードから出る場合には、出力部１９の論理チャネルCH0および論理チャネルCH1からほぼ同時に画像データが出力されることから、動作モードを表すタグ情報SLOW_MODEがなくても動作モードを特定できるので、タグ情報SLOW_MODEを省略してもよい。反対に、動作モードを表すタグ情報SLOW_MODEを画像データに埋め込んでいる場合、出力部１９にて出力する論理チャネルを切り替えることなく、論理チャネルCH0またはCH1の一方からのみ、全ての画像データを高速フレームレートで出力するようにしてもよい。
【００５４】
なお、後段の画像処理装置３０において、該Slow Movieモードでの撮像処理により出力される画像データを時系列順序に従って再構成するには、以下のようにタグ情報を利用すればよい。
【００５５】
始めに、論理チャネルCH0から出力されたフレームのタグ情報SLOW_NUM（＝Ｎとする）に着目し、Ｎがインクリメントされるフレーム（Ｎ＝０）を特定する。
【００５６】
次に、論理チャネルCH1から出力された画像データのタグ情報SLOW_NUMとFRM_RATE_RATIOに着目し、SLOW_NUM＝Ｎであるフレームを、FRM_RATE_RATIOに応じた枚数ずつ、論理チャネルCH0で特定したフレーム以降に挿入する。
【００５７】
この後、Ｎ＝Ｎ＋１として、上述した処理を繰り返せば、論理チャネルCH0から通常フレームレートで出力されたフレームと、論理チャネルCH1から高速フレームレートで出力されたフレームを時系列順序に再構成することができる。
【００５８】
＜Super Slowモードでの撮像処理＞
次に、図７は、イメージセンサ１０によるSuper Slowモードでの撮像処理を説明するフローチャートである。
【００５９】
前提として、イメージセンサ１０は、既にプレビュモードで動作しており、出力部１９の論理チャネルCH0からは、通常フレームレート（例えば、30fps）でプレビュ表示用の画像データが出力されているものとする。
【００６０】
ステップＳ２１において、制御部１１は、Super Slowモードに遷移することを前提としたキャプチャモード開始の指示が入力されたか否かを判定し、該指示が入力されるまで待機する（プレビュモードを継続する）。該指示が入力された場合、処理はステップＳ２２に進められる。
【００６１】
ステップＳ２２において、画素部１２は、高高速フレームレート（960fps）で画素信号を読み出し、画像信号処理部１３は、読み出された画素信号に基づき、高高速フレームレートで縮小画像データを生成してリングバッファとしてのメモリ１５に格納する。ステップＳ２３において、タグ情報埋め込み部１７は、リングバッファから通常フレームレートで縮小画像データを間引き読み出しし、タグ情報を埋め込んで出力部１９に出力する。出力部１９は、タグ情報が埋め込まれた画像データを通常フレームレートで論理チャネルCH0から出力する。
【００６２】
ステップＳ２４において、制御部１１は、シーン検知部１４により予め設定されているシーンが検知されたか否かを判定し、検知されるまで処理をステップＳ２３に戻してステップＳ２３およびＳ２４を繰り返す。そして、予め設定されているシーンが検知された場合、処理をステップＳ２５に進める。
【００６３】
ステップＳ２５において、画像信号処理部１３は、シーン検知後の所定のフレーム数だけ、高高速フレームレートでの縮小画像データの生成と、リングバッファへの格納を継続し、その後にリングバッファへ書き込みを停止する。これにより、リングバッファには、シーン検知後の高高速フレームレートでの縮小画像データが所定のフレーム数だけ保持されることになる。
【００６４】
ステップＳ２６において、画素部１２は、通常フレームレートで画素信号を読み出し、画像信号処理部１３は、読み出された画素信号に基づき、通常フレームレートで縮小画像データを生成する。タグ情報埋め込み部１７は、通常フレームレートで生成された縮小画像データにタグ情報を埋め込んで出力部１９に出力する。出力部１９は、タグ情報が埋め込まれた縮小画像データを通常フレームレートで論理チャネルCH0から出力する。
【００６５】
ステップＳ２７において、制御部１１は、キャプチャモード終了の指示が入力されたか否かを判定し、該指示が入力されるまで処理をステップＳ２６に戻して、ステップＳ２６およびＳ２７を繰り返す。そして、該指示が入力された場合、処理はステップＳ２８に進められる。
【００６６】
ステップＳ２８において、タグ情報埋め込み部１７は、リングバッファから所定のフレームレートで縮小画像データを読み出し、タグ情報を埋め込んで出力部１９に出力する。出力部１９は、タグ情報が埋め込まれた画像データを所定のフレームレートで論理チャネルCH1から出力する。以上で、Super Slowモードでの撮像処理は終了される。
【００６７】
図８は、上述した該Super Slowモードでの撮像処理により出力される画像データに埋め込まれるタグ情報を示している。ただし、図面下部の論理チャネルCH0，CH1から出力される各フレーム内に記載したＤ(Disable)またはSS(Super Slow)は動作モードを示し、中央の数字はタグ情報DUPLI_PIC（１が重複を表す）を、下段の数字はSCN_DETを、各フレームの下に記載した数字（１６進数）はFRM_CNTを表している。
【００６８】
同図に示されるように、該Slow Movieモードでの撮像処理では、基本的には、全てのタグ情報SLOW_NUM，SLOW_MODE，FRM_RATE_RATIO，FRM_CNT，FRM_CNT_SS，DUPLI_PIC，SCN_DETを埋め込むが、最低限FRM_RATE_RATIO，DUPLI_PICは必須とする。また、論理チャネルCH0および論理チャネルCH1から出力される全てのフレームには、通常フレームレートでカウントアップされるタグ情報FRM_CNTが埋め込まれているものとする。
【００６９】
後段の画像処理装置３０において、該Super Slowモードでの撮像処理により出力される画像データを時系列順序に従って再構成するには、以下のようにタグ情報を利用すればよい。
【００７０】
図９は、該Super Slowモードでの撮像処理による出力の一例を示している。なお、同図Ａ、同図Ｂは、Super Slowモードでの撮像処理が終了される間際での論理チャネルCH0， CH1の出力、同図Ｃはシーン検知前後での論理チャネルCH0の出力の一例である。
【００７１】
始めに、論理チャネルCH0から出力されたフレームのタグ情報DUPLI_PICに着目し、DUPLI_PIC=1、すなわち、論理チャネルCH1からも重複して出力されるフレームを特定して削除する。
【００７２】
次に、論理チャネルCH1から出力されるフレームのタグ情報FRM_RATE_RATIOとFRM_CNTに着目し、FRM_RATE_RATIO-1と同一FRM_CMTが連続するフレーム数とが等しい場合、論理チャネルCH0から出力されたフレームのうち、該同一FRM_CNTのフレームを削除する。
【００７３】
そして、論理チャネルCH0から出力されて削除されたフレームの位置に、論理チャネルCH1から出力された全てのフレームを挿入する。以上の処理により、論理チャネルCH0から通常フレームレートで出力されたフレームと、論理チャネルCH1から所定のフレームレートで出力されたフレームを時系列順序に再構成することができる。
【００７４】
＜イメージセンサ１０の適用例＞
以上に説明した本実施の形態であるイメージセンサ１０は、撮像機能、あるいはセンシング機能を備えるあらゆる電子装置に適用することができる。
【００７５】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【００７６】
ただし、本開示は以下のような構成も取ることができる。
（１）
入射光に応じて画素信号を生成する画素部と、
生成された前記画素信号に基づき、動画像の各フレームに対応する画像データを生成する画像生成部と、
生成された前記画像データに埋め込むタグ情報を生成するタグ情報生成部と、
前記タグ情報が埋め込まれた画像データを第１または第２の論理チャネルの少なくとも一方から出力する出力部と、
前記画素部、前記画像生成部、前記タグ情報生成部、および前記出力部を制御して、Slow Movieモード、またはSuper Slow Movieモードとして動作させる制御部と
を備えるイメージセンサ。
（２）
前記タグ情報生成部は、前記タグ情報として、SLOW_MODE，FRM_RATE_RATIO，SLOW_NUM，FRM_CNT，FRM_CNT_SS，DUPLI_PIC、またはSCN_DETのうちの少なくとも一つを生成する
前記（１）に記載のイメージセンサ。
（３）
前記制御部は、前記Slow Movieモードにおいて、
高速フレームレートで生成された画像データのうち、前記高速フレームレートよりも遅い通常フレームレートに対応する、前記タグ情報が埋め込まれた前記画像データを前記通常フレームレートで前記第１の論理チャネルから出力させるとともに、
前記タグ情報が埋め込まれた残りの前記画像データを前記高速フレームレートで前記第２の論理チャネルから出力させる
前記（１）または（２）に記載のイメージセンサ。
（４）
前記タグ情報生成部は、前記Slow Movieモードにおいて、前記タグ情報として、少なくともFRM_RATE_RATIO、およびSLOW_NUMを生成する
前記（１）から（３）のいずれかに記載のイメージセンサ。
（５）
生成された前記画像データが格納されるリングバッファを
さらに備える前記（１）から（４）のいずれかに記載のイメージセンサ。
（６）
前記制御部は、前記Super Slow Movieモードにおいて、
高速フレームレートで生成された画像データを前記リングバッファに格納し、前記リングバッファから前記高速フレームレートよりも遅い通常フレームレートで読み出した前記画像データを、前記タグ情報が埋め込まれた状態で前記通常フレームレートで前記第１の論理チャネルから出力させ、
所定のシーンが検知されたことに応じて前記リングバッファに対する高速フレームレートで生成された前記画像データの格納を停止させ、
前記リングバッファに対する格納が停止された状態で、前記通常フレームレートで生成されて、前記タグ情報が埋め込まれた前記画像データを前記通常フレームレートで前記第１の論理チャネルから出力させ、
前記第１の論理チャネルからの出力が終了した後、前記リングバッファに格納されている前記高速フレームレートで生成された前記画像データを所定のフレームレートで読み出して、前記タグ情報が埋め込まれた状態で前記第２の論理チャネルから出力させる
前記（５）に記載のイメージセンサ。
（７）
前記タグ情報生成部は、前記Super Slow Movieモードにおいて、前記タグ情報として、少なくともFRM_RATE_RATIO、およびDUPLI_PICを生成する
前記（１）から（７）のいずれかに記載のイメージセンサ。
（８）
入射光に応じて画素信号を生成する画素部と、
生成された前記画素信号に基づき、動画像の各フレームに対応する画像データを生成する画像生成部と、
生成された前記画像データに埋め込むタグ情報を生成するタグ情報生成部と、
前記タグ情報が埋め込まれた画像データを第１または第２の論理チャネルの少なくとも一方から出力する出力部と、
前記画素部、前記画像生成部、前記タグ情報生成部、および前記出力部を制御して、Slow Movieモード、またはSuper Slow Movieモードとして動作させる制御部と
を備えるイメージセンサが搭載されている電子装置。
【符号の説明】
【００７７】
１０  イメージセンサ，  １１  制御部，  １２  画素部，  １３  画像信号処理部，  １４  シーン検知部，  １５  メモリ（リングバッファ），  １６  タグ情報生成部，  １７  タグ情報埋め込み部，  １８  タグ保持部，  １９  出力部，  ２１  動作モード取得部，  ２２  フレームレート取得部，  ２３  遷移回数取得部，  ２４  フレームカウント取得部，  ２５  重複情報取得部，  ２６  シーン検知情報取得部
【図１】
2015186235.tif 000003
【図２】
2015186235.tif 000004
【図３】
2015186235.tif 000005
【図４】
2015186235.tif 000006
【図５】
2015186235.tif 000007
【図６】
2015186235.tif 000008
【図７】
2015186235.tif 000009
【図８】
2015186235.tif 000010
【図９】
2015186235.tif 000011