(57)【要約】      （修正有）【課題】符号量の増加を抑制することができる画像記録装置、画像記録方法およびプログラムを提供する。【解決手段】動画像を形成するフレームの系列は、フレーム内予測フレームとフレーム間予測フレームと非参照フレームを所定周期毎に含み、静止画像の撮像が指示される指示時点から次の非参照フレームまでの待機期間が所定の時間以下であるとき、当該次の非参照フレームに対応する静止画像を符号化させ、前記待機期間が前記所定の時間を超えるとき、現フレームの画像を非参照フレームとして符号化させるとともに、現フレームに対応する静止画像を符号化させる。【選択図】図３
2019208103.tif 000002
【特許請求の範囲】
【請求項１】
動画像を形成する各フレームの画像を符号化する動画像符号化部と、
静止画像を符号化する静止画像符号化部と、
制御部と、を備え、
前記動画像を形成するフレームの系列は、
前記動画像符号化部がフレーム内予測を行って符号化するフレーム内予測フレームと、他のフレームの画像を参照画像として参照してフレーム間予測を行って符号化するフレーム間予測フレームとを含み、かつ、
前記系列は、前記フレーム内予測フレームのうち、過去のフレーム間予測フレームのフレーム間予測において参照されない非参照フレームを所定周期毎に含み、
前記制御部は、
静止画像の撮像が指示される指示時点から次の非参照フレームまでの待機期間が所定の時間以下であるとき、当該次の非参照フレームに対応する静止画像を前記静止画像符号化部に符号化させ、
前記待機期間が前記所定の時間を超えるとき、前記指示時点における現フレームの画像を非参照フレームとして前記動画像符号化部に符号化させるとともに、前記現フレームに対応する静止画像を前記静止画像符号化部に符号化させ、または
前記待機期間が前記所定の時間未満であるとき、前記次の非参照フレームに対応する静止画像を前記静止画像符号化部に符号化させ、
前記待機期間が前記所定の時間以上であるとき、前記現フレームの画像を非参照フレームとして前記動画像符号化部に符号化させるとともに、前記現フレームに対応する静止画像を前記静止画像符号化部に符号化させる
画像記録装置。
【請求項２】
前記制御部は、
前記動画像の動き量が大きいほど、前記所定の時間を短くする
請求項１に記載の画像記録装置。
【請求項３】
前記制御部は、
前記現フレームの少なくとも一部のブロックにおける画像の他フレームからの動きを示す動きベクトルを取得し、
前記動きベクトルに基づいて前記動き量を定める
請求項２に記載の画像記録装置。
【請求項４】
前記制御部は、
前記各フレームの画像から所定の被写体を認識し、
前記被写体の表示領域におけるブロック毎の動きベクトルの代表値を前記動き量として定める
請求項２に記載の画像記録装置。
【請求項５】
加速度を検出する加速度検出部を備え、
前記制御部は、
前記加速度に基づいて自装置の動き量を定め、
自装置の動き量が大きいほど、前記所定の時間を短くする
請求項１に記載の画像記録装置。
【請求項６】
前記制御部は、
前記動画像の撮像対象としての適格性を示す評価値を算出し、
前記評価値に基づいて前記静止画像の撮像の要否を判定する
請求項１から請求項５のいずれか一項に記載の画像記録装置。
【請求項７】
画像記録装置における画像記録方法であって、
動画像を形成する各フレームの画像を符号化する動画像符号化過程と、
静止画像を符号化する静止画像符号化過程と、
制御過程と、を有し、
前記動画像を形成するフレームの系列は、
前記動画像符号化過程において、フレーム内予測を行って符号化するフレーム内予測フレームと、他のフレームの画像を参照画像として参照してフレーム間予測を行って符号化するフレーム間予測フレームとを含み、かつ、
前記系列は、前記フレーム内予測フレームのうち、過去のフレーム間予測フレームのフレーム間予測において参照されない非参照フレームを所定周期毎に含み、
前記制御過程は、
静止画像の撮像が指示される指示時点から次の非参照フレームまでの待機期間が所定の時間以下であるとき、当該次の非参照フレームに対応する静止画像を前記静止画像符号化過程において符号化させ、
前記待機期間が前記所定の時間を超えるとき、前記指示時点における現フレームの画像を非参照フレームとして前記動画像符号化過程において符号化させるとともに、前記現フレームに対応する静止画像を前記静止画像符号化過程において符号化させる、または
前記待機期間が前記所定の時間未満であるとき、当該次の非参照フレームに対応する静止画像を前記静止画像符号化過程において符号化させ、
前記待機期間が前記所定の時間を以上であるとき、前記現フレームの画像を非参照フレームとして前記動画像符号化過程において符号化させるとともに、前記現フレームに対応する静止画像を前記静止画像符号化過程において符号化させる
画像記録方法。
【請求項８】
画像記録装置のコンピュータに、
動画像を形成する各フレームの画像を符号化する動画像符号化手順と、
静止画像を符号化する静止画像符号化手順と、
制御手順と、を実行させ、
前記動画像を形成するフレームの系列は、
前記動画像符号化手順において、フレーム内予測を行って符号化するフレーム内予測フレームと、他のフレームの画像を参照画像として参照してフレーム間予測を行って符号化するフレーム間予測フレームとを含み、かつ、
前記系列は、前記フレーム内予測フレームのうち、過去のフレーム間予測フレームのフレーム間予測において参照されない非参照フレームを所定周期毎に含み、
前記制御手順は、
静止画像の撮像が指示される指示時点から次の非参照フレームまでの待機期間が所定の時間以下であるとき、当該次の非参照フレームに対応する静止画像を前記静止画像符号化手順において符号化させ、
前記待機期間が前記所定の時間を超えるとき、前記指示時点における現フレームの画像を非参照フレームとして前記動画像符号化手順において符号化させるとともに、前記現フレームに対応する静止画像を前記静止画像符号化手順において符号化させる、または
前記待機期間が前記所定の時間未満であるとき、当該次の非参照フレームに対応する静止画像を前記静止画像符号化手順において符号化させ、
前記待機期間が前記所定の時間を以上であるとき、前記現フレームの画像を非参照フレームとして前記動画像符号化手順において符号化させるとともに、前記現フレームに対応する静止画像を前記静止画像符号化手順において符号化させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像と静止画像を同時に記録する画像記録装置、画像記録方法およびプログラムに関する。
【背景技術】
【０００２】
撮像した画像をディジタルデータとして記録する画像記録装置において、動画と特定の場面の静止画像を同時に記録する記録方法が提案されている。
例えば、特許文献１に記載の記録方法は、動画の記録中に所定の操作を受け付け、その操作が行われときＩピクチャを生成し、生成したＩピクチャを静止画像として記録する。Ｉピクチャとは、動画を構成する複数のフレームの画像のうち、他のフレームの画像を参照せずに自フレームでのフレーム内予測を行って符号化の対象とするフレームの画像を意味する。記録された静止画像に対応するフレームから動画を再生するとき、当該静止画像に対応するフレームがＩピクチャであるため、他のフレームから再生を行うよりも再生処理に要する処理量が少なくなる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−２８４０５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
他方、動画の再生の際、符号化によって得られる符号化データの容量（符号量）が、復号器のバッファの容量を超えないようにする必要がある。また、Ｉピクチャの符号化データの容量は、一般に、他のフレームを参照してフレーム間予測を行って符号化の対象とするフレームの画像（例えば、Ｂピクチャ、Ｐピクチャ）の符号化データの容量よりも多い。特許文献１に記載の記録方法では、操作に応じて指示されるタイミングでＩピクチャが生成され、その符号化データが記録されるので、符号量が増加してしまう。その結果、その部分の符号量が復号器のバッファの容量を超えてしまい、正常に動画が再生されない可能性があった。
【０００５】
本発明は上記の点に鑑みてなされたものであり、符号量の増加を抑制することができる画像記録装置、画像記録方法およびプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、動画像を形成する各フレームの画像を符号化する動画像符号化部と、静止画像を符号化する静止画像符号化部と、制御部と、を備え、前記動画像を形成するフレームの系列は、前記動画像符号化部がフレーム内予測を行って符号化するフレーム内予測フレームと、他のフレームの画像を参照画像として参照してフレーム間予測を行って符号化するフレーム間予測フレームとを含み、かつ、前記系列は、前記フレーム内予測フレームのうち、過去のフレーム間予測フレームのフレーム間予測において参照されない非参照フレームを所定周期毎に含み、前記制御部は、静止画像の撮像が指示される指示時点から次の非参照フレームまでの待機期間が所定の時間以下であるとき、当該次の非参照フレームに対応する静止画像を前記静止画像符号化部に符号化させ、前記待機期間が前記所定の時間を超えるとき、前記指示時点における現フレームの画像を非参照フレームとして前記動画像符号化部に符号化させるとともに、前記現フレームに対応する静止画像を前記静止画像符号化部に符号化させ、または、前記待機期間が前記所定の時間未満であるとき、前記次の非参照フレームに対応する静止画像を前記静止画像符号化部に符号化させ、前記待機期間が前記所定の時間以上であるとき、前記現フレームの画像を非参照フレームとして前記動画像符号化部に符号化させるとともに、前記現フレームに対応する静止画像を前記静止画像符号化部に符号化させる画像記録装置である。
【発明の効果】
【０００７】
本発明によれば、符号量の増加を抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る画像記録装置の機能構成の一例を示すブロック図である。
【図２】本実施形態に係る画像記録装置の動作例を示す説明図である。
【図３】本実施形態に係る画像記録処理の一例を示すフローチャートである。
【図４】本実施形態に係る画面表示の一例を示す図である。
【図５】本実施形態に係る画像記録装置の機能構成の他の例を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態に係る画像記録装置、画像記録方法及びプログラムについて、図面を参照しながら説明する。
図１は、本実施形態に係る画像記録装置１０の機能構成の一例を示すブロック図である。
画像記録装置１０は、画像を撮像し、撮像した画像を示す画像データを符号化し、符号化により得られる符号化データを記録する。画像記録装置１０は、動画像と静止画像を撮像し、記録可能とする。また、画像記録装置１０は、動画像の撮像中に静止画像を撮像することを可能としてもよい。画像記録装置１０は、専用の撮像装置（カメラ）であってもよいし、他の機能を有する電子機器、例えば、多機能携帯電話機、タブレット端末装置、などとして実装されてもよい。
【００１０】
画像記録装置１０は、静止画像の撮像が指示される指示時点から次の非参照フレーム（後述）までの期間が所定の期間内であるとき、当該次の非参照フレームの静止画像を記録する。画像記録装置１０は、指示時点から次の非参照フレームまでの期間が所定の期間を超えるとき、指示時点におけるフレームの画像を静止画像として記録させ、当該フレームの画像を非参照フレームとして動画像符号化を行わせる。
【００１１】
画像記録装置１０は、操作部１０１と、第１撮像部１０２と、第２撮像部１０３と、制御部１０４と、動画像符号化部１０５と、静止画像符号化部１０６と、記録部１０７と、画像復号部１１１と、表示部１１２と、通信部１１３と、を含んで構成される。
【００１２】
操作部１０１は、ユーザの操作を受け付け、受け付けた操作に応じた操作信号を生成し、生成した操作信号を制御部１０４に出力する。操作部１０１は、例えば、ボタン、ダイヤル、レバーなど、操作を受け付ける部材を含んで構成される。操作部１０１は、表示部１１２に重ね合わせて実装されたタッチセンサであってもよい。操作部１０１に対する操作により、画像記録装置１０が有する機能を制御する。例えば、動画像の撮像もしくは撮像停止、静止画像の撮像、記録された動画像の表示もしくは表示停止、静止画像の表示、などが指示されうる。
【００１３】
第１撮像部１０２は、視野範囲内に所在する被写体を表す画像を撮像し、撮像した画像を表す第１画像データを動画像符号化部１０５に出力する。以下の説明では、第１撮像部１０２が撮像した画像を第１画像と呼ぶ。第１画像は、所定のフレーム毎に撮像される画像で形成される動画像である。第１撮像部１０２は、光学系と、撮像素子と、信号処理部とを備える（図示せず）。光学系は、対物レンズを備える。対物レンズは自部に入射する画像光を収束し、撮像素子の表面に入射させる。撮像素子は、その表面に複数のセルを水平方向及び垂直方向に一定周期で配列して構成される。ここで、水平方向、垂直方向とは、光学系の光学軸に対して垂直な面内に形成される撮像領域の一辺の方向、他辺の方向である。他辺の方向は、一辺の方向に直交する方向である。セルは、各１個の画素に対応し、受光素子を有する。受光素子は、受光した光の強度に応じた電圧を信号値として有する電気信号を生成する。受光素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ；電荷結合素子）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ−Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ；相補型金属酸化物半導体）などである。
【００１４】
信号処理部は、所定のフレーム周期（例えば、１／３０秒）毎に第１画像を示す第１画像データを生成する。第１画像は、画素毎の信号値で表される。第１撮像部１０２の光学系は、広範な画角（視野角とも呼ばれる、例えば、１３５°）を有する。また、第１撮像部１０２の光学系は、広範な被写界深度を有し、合焦制御（自動焦点制御、ＡＦ（Ａｕｔｏｍａｔｉｃ  Ｆｏｃｕｓｉｎｇ）制御、ピント合わせ、などとも呼ばれる）を行わずにパンフォーカス（ディープフォーカス、とも呼ばれる）を実現してもよい。
【００１５】
第２撮像部１０３は、画像を撮像し、撮像した画像を表す第２画像データを静止画像符号化部１０６に出力する。以下の説明では、第２撮像部１０３が撮像した画像を第２画像と呼ぶ。第２画像は、撮像が指示された時点での静止画像である。第２撮像部１０３は、第１撮像部１０２と同様に、光学系と、撮像素子と、信号処理部と、を備える。但し、第２撮像部１０３の光学系の画角は、第１撮像部１０２の光学系の画角よりも狭くてもよい。また、第２撮像部１０３の光学系の被写界深度は、第１撮像部１０２の光学系の被写界深度よりも浅くてもよい。
【００１６】
第２撮像部１０３は、対物レンズと撮像素子との間の距離を可変にする合焦制御部（図示せず）を備えてもよい。第２撮像部１０３の信号処理部は、撮像素子に撮像される第２画像を示す第２画像データを生成し、合焦制御部に出力する。第２画像は、画素毎の信号値で表される。合焦制御部は、第２画像データが示す画素毎の信号値に基づいて合焦の度合い（以下、合焦度、と呼ぶ）を示す合焦評価値を算出し、合焦評価値が示す合焦度がより高くなるように対物レンズの位置を変更することによって合焦制御を行う。合焦評価値は、例えば、第２画像の所定の空間周波数未満の低域成分の強度と、所定の空間周波数以上の高域成分の強度を算出し、低域成分の強度に対する高域成分の強度の比である。合焦制御部は、合焦度が極大となる対物レンズの位置を特定する。信号処理部に合焦制御の完了を示す合焦完了信号を第２撮像部１０３の信号処理部に出力する。第２撮像部１０３の信号処理部は、撮像制御部１２１から静止画像の撮像を指示する撮像制御信号が入力されるとき、所定のシャッタースピード（露光時間、とも呼ばれる）の期間、受光して得られる第２画像を示す第２画像データを静止画像符号化部１０６に出力する。
なお、第２撮像部１０３の撮像素子は、撮像の指示がなされるか否かに関わらず、第２画像を撮像してもよい。そして、合焦制御部は撮像される第２画像に対して合焦制御を実行してもよい。
【００１７】
制御部１０４は、画像記録装置１０の各部の動作を制御する。制御部１０４は、撮像制御部１２１と、表示制御部１２２と、を含んで構成される。制御部１０４は、１個又は複数個のプロセッサ（例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ））を含むコンピュータとして構成されてもよい。制御部１０４は、予め記憶媒体に記憶されたプログラムに記述された命令で指示される処理を実行して、撮像制御部１２１と表示制御部１２２の機能を実現してもよい。これらの部材の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録しておき、プロセッサは、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行してもよい。
【００１８】
撮像制御部１２１は、操作部１０１から入力される操作信号に基づいて撮像に係る機能を制御する。撮像制御部１２１は、例えば、操作信号に基づいて第１撮像部１０２と動画像符号化部１０５による動画像の撮像もしくは撮像停止、第２撮像部１０３と静止画像符号化部１０６による静止画像の撮像を制御する。
表示制御部１２２は、操作部１０１から入力される操作信号に基づいて表示に係る機能を制御する。表示制御部１２２は、例えば、操作信号に基づいて、画像復号部１１１と表示部１１２による動画像の表示もしくは表示停止、静止画像の表示などを制御する。撮像制御部１２１及び表示制御部１２２が実行する処理の例については、後述する。
【００１９】
動画像符号化部１０５は、第１撮像部１０２から入力される第１画像データに対して符号化処理を行い、第１符号化データを生成する。符号化処理において、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）−１、ＭＰＥＧ−４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）、ＭＰＥＧ−Ｈ  ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）などのいずれかの規格で規定された動画像復号方式に対応する符号化方式が採用されてもよい。これらの符号化方式で符号化することで、第１画像の情報量を圧縮することができる。動画像符号化部１０５は、生成した第１符号化データを記録部１０７に順次記録する。
【００２０】
静止画像符号化部１０６は、第２撮像部１０３から入力される第２画像データに対して符号化処理を行い、第２符号化データを生成する。各１回の符号化処理は、１フレームの静止画像を表す第２画像データとなる。符号化処理において、例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ  Ｎｅｔｗｏｒｋ  Ｇｒａｐｈｉｃｓ）、ＧＩＦ（Ｇｒａｐｈｉｃｓ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｏｒｍａｔ）、ＨＥＩＦ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）などのいずれかの規格で規定された静止画像符号化方式が採用されてもよい。これらの静止画像符号化方式で符号化することで、第２画像の情報量を圧縮することができる。静止画像符号化部１０６は、生成した第２符号化データを記録部１０７に記録する。静止画像符号化部１０６は、第２符号化データを記録部１０７に記録する際、その第２画像と同時に撮像された第１画像のフレームと対応付けてもよい。
【００２１】
記録部１０７は、第１画像を表す第１符号化データと第２画像を表す第２符号化データを記録する。記録部１０７は、電力の供給を停止しても記録されたデータが消去されないフラッシュメモリなどの不揮発性メモリであればよい。記録部１０７は、画像記録装置１０の筐体（図示せず）に固定されていてもよいし、筐体から着脱可能な記録媒体とその記録媒体を装着するインタフェースとから構成されてもよい。着脱可能な記録媒体として、例えば、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）メモリカードが採用されてもよい。
【００２２】
画像復号部１１１は、制御部１０４の制御により第１符号化データ又は第２符号化データを復号する。例えば、制御部１０４は、操作部１０１から画像の表示と表示対象の画像を指示する操作信号が入力されるとき、その画像を示す第１符号化データ又は第２符号化データの復号を示す復号制御信号を生成する。画像復号部１１１は、制御部１０４から復号制御信号が示す第１符号化データ又は第２符号化データを記録部１０７から読み出す。復号制御信号が第１符号化データを指示するとき、画像復号部１１１は、第１符号化データを復号して第１画像データを生成し、生成した第１画像データを表示部１１２に出力する。第１符号化データの復号に用いられる復号方式は、第１符号化データの符号化に用いられた動画符号化方式に対応する復号方式であればよい。
画像復号部１１１は、復号制御信号が第２符号化データを指示するとき、読み出した第２符号化データを復号して第２画像データを生成し、生成した第２画像データを表示部１１２に出力する。
第２符号化データの復号に用いられる復号方式は、第２符号化データの符号化に用いられた静止画像符号化方式に対応する復号方式であればよい。
【００２３】
表示部１１２は、制御部１０４の制御に基づいて各種の視覚情報を表示する。表示部１１２は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、有機エレクトロルミネッセンスディスプレイ（ＯＬＥＤ：Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）などのいずれであってもよい。
画像復号部１１１から第１画像データが入力されるとき、表示部１１２は、第１画像データが示す第１画像（動画像）を表示する。画像復号部１１１から第２画像データが入力されるとき、表示部１１２は、第２画像データが示す第２画像（静止画像）を表示する。
なお、第１撮像部１０２は、操作部１０１からの第１画像の表示を示す操作信号の入力に応じて、制御部１０４から第１画像の表示を指示する表示制御信号が入力されるとき、第１画像データを表示部１１２に出力してもよい。表示部１１２は、第１画像の撮像中に、その第１画像（動画像）を表示する。
【００２４】
通信部１１３は、所定の通信方式を用いて、無線又は有線で他の機器と通信を行う。通信部１１３は、例えば、通信インタフェースである。例えば、制御部１０４は、操作部１０１から画像の送信、送信対象の画像及び送信先の機器を指示する操作信号が入力されるとき、その画像を示す第１符号化データ又は第２符号化データの送信先の機器への送信を示す通信制御信号を生成する。通信部１１３は、制御部１０４から通信制御信号が入力されるとき、通信制御信号で指示される第１符号化データと第２符号化データの一方又は双方のデータを記録部１０７から読み出し、読み出したデータを、通信制御信号で指示される送信先の機器（図示せず）に送信する。送信先の機器は、画像記録装置１０から取得したデータを復号する復号部と、復号により得られる画像データに基づく画像を表示する表示部を備えるものであってもよい。
【００２５】
（動作例）
次に、ユーザ操作に応じた画像記録装置１０の動作例について説明する。
図２に示す例は、主に撮像に係る画像記録装置１０の動作を示す。図２の横軸は、時刻ｔを示す。図２に対して右方ほど時間が経過していることを示す。図２では上から下の順に、ユーザ操作、制御部１０４（撮像制御部１２１）、動画像符号化部１０５及び静止画像符号化部１０６の状態を示す。
【００２６】
時刻ｔ０において、操作部１０１へのユーザ操作により電源の供給開始（電源ＯＮ）が指示されるとき、画像記録装置１０の電源ユニット（図示せず）は制御部１０４を含む各部に電源の供給を開始する。その後、各部が起動する。
【００２７】
時刻ｔ１において、ユーザ操作に応じて動画像の撮像開始を指示する操作信号が操作部１０１から入力されるとき、制御部１０４の撮像制御部１２１は、動画像の撮像開始を示す撮像制御信号を第１撮像部１０２に出力する。第１撮像部１０２は、動画像である第１画像の撮像を開始し、撮像した第１画像を示す第１画像データの動画像符号化部１０５への出力を開始する。動画像符号化部１０５は、第１撮像部１０２から入力される第１画像データの符号化を開始する。動画像符号化部１０５は、符号化により得られた第１符号化データを記録部１０７に順次記録する。
【００２８】
動画像は、一般に複数の画像からなる系列で表される。個々の画像はフレームと呼ばれる。複数のフレームからなる系列は、フレームの種類としてフレーム内予測フレームと、フレーム間予測フレームとを含む。フレーム内予測フレームは、符号化または復号においてフレーム内予測の実行対象となるフレームである。フレーム内予測は、他のフレームの画像を参照せずに処理対象のフレーム内の処理済みの画素の信号値から処理対象の画素の信号値を定める処理であり、イントラ予測とも呼ばれる。フレーム内予測フレームは、Ｉフレームとも呼ばれる。Ｉフレームの画像が、上記のＩピクチャに相当する。
【００２９】
フレーム間予測フレームは、符号化または復号においてフレーム間予測の実行対象となるフレームである。フレーム間予測は、他の処理済みのフレームの復号画像を参照して処理対象のフレームの画像に係る画素毎の信号値を定める処理であり、インタ予測とも呼ばれる。フレーム間予測には、順方向予測と双方向予測とがある。順方向予測とは、参照先のフレームが処理対象フレームよりも過去のフレームである予測方式である。双方向予測とは、参照先のフレームが処理対象フレームよりも過去のフレームと未来のフレームの両者である予測方式である。順方向予測の対象となるフレーム、そのフレームに係る画像は、それぞれＰフレーム、Ｐピクチャと呼ばれる。双方向予測の対象となるフレーム、そのフレームに係る画像は、それぞれＢフレーム、Ｂピクチャと呼ばれる。なお、符号化もしくは復号の過程におけるＢフレームに対する予測処理では、過去の複数フレームを参照画像として参照することもある。
【００３０】
動画像符号化部１０５は、上述の符号化方式に基づいて２以上の所定のフレーム数からなるフレームのグループを単位として符号化処理を実行する。各グループは、個々のフレーム種別の系列からなる。このグループは、例えば、ＭＰＥＧ−４  ＡＶＣにおいてＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）またはＭＰＥＧ−Ｈ  ＨＥＶＣにおいてＳＯＰ（Ｓｔｒｕｃｔｕｒｅ  ｏｆ  Ｐｉｃｔｕｒｅｓ）と呼ばれる。各１個のグループには、少なくとも１個の非参照フレームが含まれる。非参照フレームは、Ｉフレームの一種であり、過去のグループ内のフレーム間予測フレームでのフレーム間予測の際に参照されないフレームである。非参照フレームは、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｅｒ  Ｒｅｆｒｅｓｈ）フレームと呼ばれる。非参照フレームは、通例、そのグループの先頭のフレームとなる。グループ内の、その他のフレームは、Ｉフレーム、ＰフレームまたはＢフレームのいずれかとなる。非参照フレームは、そのフレームが属するグループの他のフレーム予測フレームでのフレーム間予測において参照されることがありうる。図２の「Ｉ」は、非参照フレームを示す。一般に、Ｉピクチャはその符号化データだけで符号化できる反面、その情報量は、ＰピクチャもしくはＢピクチャの符号化データの情報量よりも多い。符号化データの情報量を抑制して圧縮率を高くするために、グループ内のＩフレームの数は、Ｐフレームの数またはＢフレームの数よりも少ないことが通例である。但し、Ｉフレームの数が多い方が符号化データを復号して得られる復号画像の画質や、符号化データに混入されるエラーへの耐性が向上する傾向がある。
【００３１】
本実施形態では、動画像符号化部１０５に予め所定の参照画像情報を設定しておき、特に操作等による指示がない限り、所定の参照画像情報を用いてグループ毎に符号化処理を繰り返す。参照画像情報は、所定の数のフレームからなるグループにおいて、個々のフレームの種類を示す情報である。参照画像情報には、フレームの種類がＰフレームまたはＢフレームであるフレームについて参照先のフレームを示す参照先フレーム情報を含む。従って、特段の指示がなければ非参照フレームが所定の繰り返し周期ＴＩ毎に繰り返される。
【００３２】
次に、時刻ｔ２においてユーザ操作に応じて静止画像の撮像（静止画像撮像１）を指示する操作信号が操作部１０１から入力されるときを仮定する。このとき、撮像制御部１２１は、静止画像の撮像が指示されたと判定する。撮像制御部１２１は、静止画像の撮像が指示される時点である指示時点から次のＩＤＲフレームまでの期間（以下、ＩＤＲフレーム待機期間と呼ぶ）が所定の期間以下であるとき、そのＩＤＲフレームの時点で第２撮像部１０３に静止画像を撮像させる。
【００３３】
他方、動画像符号化部１０５は、自部に設定されている参照画像情報に係るフレームの繰り返し周期のうち、その時点における処理対象のフレームの順序を特定する。動画像符号化部１０５は、繰り返し周期内において特定した順序に基づいて、ＩＤＲフレーム待機期間Ｔ２を定めることができる。動画像符号化部１０５は、定めたＩＤＲフレーム待機期間Ｔ２を撮像制御部１２１に通知する。また、動画像符号化部１０５は、その時点における処理対象のフレームの種別がＩＤＲフレームである場合、そのフレームの種別がＩＤＲフレームであることを示すＩＤＲ情報を制御部１０４に出力する。
【００３４】
撮像制御部１２１は、動画像符号化部１０５から入力されるＩＤＲフレーム待機期間Ｔ２が予め自部に設定されたＩＤＲフレーム待機期間の閾値ΔＴを超えるとき、次のＩＤＲフレームを待機せずに、その時点におけるフレームの画像を第２撮像部１０３に静止画像として記録させる。このとき、撮像制御部１２１は、撮像指示信号を第２撮像部１０３に出力する。第２撮像部１０３は、撮像制御部１２１から撮像指示信号が入力されるとき、第２画像を示す第２画像データを生成し、生成した第２画像データを静止画像符号化部１０６に出力する。静止画像符号化部１０６は、第２撮像部１０３から入力される第２画像データに対して符号化処理を行って第２符号化データを生成し、生成した第２符号化データを記録部１０７に記録する。
ＩＤＲフレーム待機期間の閾値ΔＴは、静止画像の撮像の指示から現実に撮像に至るまでに許容される遅延時間（例えば、０．２〜１．０秒）以内であればよい。
【００３５】
併せて、撮像制御部１２１は、その時点におけるフレームａをＩＤＲフレームとし、そのフレームに係る第２画像データを動画像符号化部１０５に符号化させる。このとき、撮像制御部１２１は、ＩＤＲ挿入要求信号を動画像符号化部１０５に出力する。ＩＤＲ挿入要求信号は、ＩＤＲフレームとしての符号化を指示する信号である。
【００３６】
動画像符号化部１０５は、撮像制御部１２１からＩＤＲ挿入要求信号が入力されるとき、その時点で符号化対象とするフレームをＩＤＲフレームとして定め、そのフレームをＩＤＲフレームとして符号化する。また、動画像符号化部１０５は、そのフレームの画像を符号化して得られる第１符号化データに、そのフレームを先頭とする第２参照画像情報とを対応付けて記録部１０７に記憶する。動画像符号化部１０５には、予め複数通りのフレーム数のそれぞれに係る第２参照画像情報を設定しておいてもよい。第２参照画像情報に係るフレーム数は、ＩＤＲ待機期間の閾値ΔＴよりも長く、かつ繰り返し周期ＴＩよりも短いＩＤＲ待機期間内のフレーム数に相当する。
【００３７】
動画像符号化部１０５は、ＩＤＲ挿入要求信号が入力されたフレームから、次の繰り返し周期のＩＤＲフレームの直前のフレームまでのフレーム数を特定し、特定したフレーム数に係る第２参照画像情報を選択し、選択した第２参照画像情報を示す符号を第１符号化データの一部として記録部１０７に記憶する。動画像符号化部１０５は、その時点から現繰り返し周期内の各フレームについて、選択した第２参照画像情報で指示されるフレームの種類に対応する予測方式を用いて符号化処理を行う。その予測方式がフレーム間予測である場合には、動画像符号化部１０５は、第２参照画像情報が示す対象フレームに対して設定された参照先フレームを用いてフレーム間予測を行う。そして、動画像符号化部１０５は、次のＩＤＲフレームから予め設定された繰り返し周期に係る所定の参照画像情報を用いて符号化処理を再開してもよい。
【００３８】
次に、時刻ｔ３においてユーザ操作に応じて静止画像の撮像（静止画像撮像２）を指示する操作信号が操作部１０１から入力されることを仮定する。このときも、撮像制御部１２１は、静止画像の撮像が指示されたと判定する。撮像制御部１２１は、静止画像の撮像が指示される時点である指示時点から次のＩＤＲフレームまでの期間が所定の期間以下であるとき、次のＩＤＲフレームの時点で第２撮像部１０３に静止画像を撮像させる。
より具体的には、撮像制御部１２１は、動画像符号化部１０５から入力されるＩＤＲフレーム待機期間Ｔ３が予め自部に設定された所定のＩＤＲフレーム待機期間ΔＴ以下であるとき、処理対象のフレームが次にＩＤＲフレームになるまで待機する。ここで、撮像制御部１２１は、動画像符号化部１０５からのＩＤＲ情報の待ち状態をセットする。撮像制御部１２１は、ＩＤＲ情報の待ち状態がセットされている間、動画像符号化部１０５からのＩＤＲ情報の入力を待機する。撮像制御部１２１は、動画像符号化部１０５からＩＤＲ情報が入力されるとき、セットしたＩＤＲ情報の待ち状態を解除する。その後、撮像制御部１２１は、静止画像の撮像を指示するための撮像指示信号を第２撮像部１０３に出力する。
【００３９】
第２撮像部１０３は、撮像制御部１２１から撮像指示信号が入力されるとき、ＩＤＲフレーム待機期間Ｔ３の経過後、第２画像を撮像する。第２撮像部１０３は、撮像した第２画像を示す第２画像データを生成し、生成した第２画像データを静止画像符号化部１０６に出力する。静止画像符号化部１０６は、第２撮像部１０３から入力される第２画像データに対して符号化処理を行って第２符号化データを生成し、生成した第２符号化データを記録部１０７に記録する。
【００４０】
次に、時刻ｔ４においてユーザ操作に応じて動画像の撮像停止を指示する操作信号が操作部１０１から入力されるとき、撮像制御部１２１は、第２撮像部１０３に動画像の撮像停止を指示する撮像制御信号を出力する。第２撮像部１０３は、撮像制御部１２１から撮像制御信号が入力されるとき、動画像である第２画像の撮像を停止するとともに、第２画像を示す第２画像データの出力を停止する。撮像制御部１２１は、動画像符号化部１０５に符号化処理の停止を指示する符号化制御信号を出力する。動画像符号化部１０５は、撮像制御部１２１から符号化制御信号が入力されるとき、第２画像データに対する符号化処理を停止する。
【００４１】
時刻ｔ5において、操作部１０１へのユーザ操作により電源の供給停止（電源ＯＦＦ）が指示されるとき、制御部１０４は、各部の動作を停止し電源ユニットは制御部１０４を含む各部への電源の供給を停止し、各部の動作が停止する。
【００４２】
（画像記録処理）
次に、本実施形態に係る画像記録処理について説明する。
図３は、本実施形態に係る画像記録処理の一例を示すフローチャートである。
（ステップＳ１０２）撮像制御部１２１は、操作部１０１から入力される操作信号に基づき、動画像の撮像開始が指示されたか否かを判定する。撮像開始が指示されるとき（ステップＳ１０２  ＹＥＳ）、ステップＳ１０４の処理に進む。撮像開始が指示されないとき（ステップＳ１０２  ＮＯ）、ステップＳ１０２の処理を繰り返す。
【００４３】
（ステップＳ１０４）撮像制御部１２１は、操作部１０１から入力される操作信号に基づき、静止画像の撮像が指示されたか否かを判定する。撮像が指示されるとき（ステップＳ１０４  ＹＥＳ）、ステップＳ１０６の処理に進む。撮像が指示されないとき（ステップＳ１０４  ＮＯ）、ステップＳ１１４の処理に進む。
【００４４】
（ステップＳ１０６）撮像制御部１２１は、第１撮像部１０２からＩＤＲフレーム待機期間Ｔを取得する。その後、ステップＳ１０８の処理に進む。
（ステップＳ１０８）撮像制御部１２１は、ＩＤＲフレーム待機期間Ｔが所定のＩＤＲフレーム待機期間の閾値ΔＴ以下であるか否かを判定する。ＩＤＲフレーム待機期間Ｔが閾値ΔＴ以下であるとき（ステップＳ１０８  ＹＥＳ）、ステップＳ１１０の処理に進む。ＩＤＲフレーム待機期間Ｔが閾値ΔＴを超えるとき（ステップＳ１０８  ＮＯ）、ステップＳ１１２の処理に進む。
【００４５】
（ステップＳ１１０）撮像制御部１２１は、動画像符号化部１０５からのＩＤＲ情報の待ち状態をセットする。その後、ステップＳ１２２の処理に進む。
（ステップＳ１１２）撮像制御部１２１は、ＩＤＲ挿入要求信号を動画像符号化部１０５に出力する。動画像符号化部１０５は、撮像制御部１２１からＩＤＲ挿入要求信号が入力されるとき、その時点で符号化対象とするフレームをＩＤＲフレームとして定める。その後、ステップＳ１２０の処理に進む。
【００４６】
（ステップＳ１１４）撮像制御部１２１は、その時点において動画像符号化部１０５からのＩＤＲ情報の待ち状態を設定しているか否かを判定する。待ち状態を設定している場合（ステップＳ１１４  ＹＥＳ）、ステップＳ１１６の処理に進む。待ち状態を設定していない場合（ステップＳ１１４  ＮＯ）、ステップＳ１２２の処理に進む。
（ステップＳ１１６）撮像制御部１２１は、動画像符号化部１０５からＩＤＲ情報が入力されたか否かを判定する。ＩＤＲ情報が入力されるとき（ステップＳ１１６  ＹＥＳ）、ステップＳ１１８の処理に進む。ＩＤＲ情報が入力されないとき（ステップＳ１１６  ＮＯ）、ステップＳ１２２の処理に進む。
【００４７】
（ステップＳ１１８）撮像制御部１２１は、セットしたＩＤＲ情報の待ち状態を解除（クリア）する。待ち状態が解除された状態では、撮像制御部１２１は、動画像符号化部１０５からＩＤＲ情報を待ち受けずに棄却してもよい。その後、ステップＳ１２０の処理に進む。
（ステップＳ１２０）撮像制御部１２１は、静止画像の撮像を示す撮像制御信号を第２撮像部１０３に出力する。第２撮像部１０３は、第２画像を撮像する。静止画像符号化部１０６は、第２画像を示す第２画像データを符号化し、符号化により得られる第２符号化データを記録部１０７に記録する。その後、ステップＳ１２２の処理に進む。
（ステップＳ１２２）動画像符号化部１０５は、第１撮像部１０２から入力される第１符号化データを符号化し、符号化により得られる第１符号化データを記録部１０７に記録する。その後、処理対象のフレームを次のフレームに進め、ステップＳ１０４の処理に進む。
【００４８】
図２、図３に示す例では、動画像符号化部１０５が自律的にＩＤＲフレーム待機期間を撮像制御部１２１に通知する場合を例にしたが、これには限られない。撮像制御部１２１は、静止画像の撮像を指示する操作信号が入力されるとき、ＩＤＲフレーム待機期間の照会を示す第１照会信号を動画像符号化部１０５に出力してもよい。
動画像符号化部１０５は、第１照会信号に対する応答として、その時点で定めたＩＤＲフレーム待機期間Ｔを撮像制御部１２１に通知する。
【００４９】
（画像表示）
次に、画像記録装置１０が撮像した画像の表示例について説明する。
図４は、本実施形態に係る、画像記録装置１０が撮像した画像の表示例を示す図である。
表示制御部１２２は、動画像の表示を指示する操作信号が入力されるとき、所定のビューアＶｗ０１を表示部１１２に表示させ、操作信号で指示される動画像を示す第１符号化データを記録部１０７から画像復号部１１１に読み出させる。画像復号部１１１は、第１符号化データと対応付けて記憶された静止画像を表す第２符号化データと、第１符号化データと対応付けられた時刻を示す時刻情報を読み出す。時刻情報は、第１符号化データが示す動画像の冒頭の時点を基準とする時刻、つまり冒頭からの経過時間として表された再生時点であってもよい。画像復号部１１１は、読み出した第２符号化データを復号して静止画像を示す第２画像データを生成する。生成した第２画像データと時刻情報を表示制御部１２２に出力する。画像復号部１１１は、第２符号化データの復号の際、符号化の際に用いた符号化方式に対応する復号方式を用いる。
【００５０】
ビューアＶｗ０１は、その大部分が動画像ＭＩ０１を表示するための表示領域で占められ、その表示領域と重ならない下端部にプログレスバーＳｂ０１を表示する。プログレスバーＳｂ０１は、動画の再生状況を視覚的に表すとともに、再生開始点を操作により指示するための画面部品である。図４に示す例では、プログレスバーＳｂ０１の長手方向は水平方向に向けられ、その長さが動画像全体の再生時間を表す。プログレスバーＳｂ０１は、ポインタＰｔ０１を有する。表示制御部１２２は、画像復号部１１１から通知される再生時点に対応する位置にポインタＰｔ０１を表示させる。プログレスバーＳｂ０１の左端からポインタＰｔ０１の表示位置までの距離が、動画の冒頭から再生時点までの経過時間を表す。そして、表示制御部１２２は、操作部１０１から入力される操作信号が示される位置にポインタＰｔ０１の表示位置を変更し、変更した表示位置に対応する再生時点から動画の再生を指示する。
【００５１】
表示制御部１２２は、プログレスバーＳｂ０１が示す動画像の再生時間のうち、画像復号部１１１から入力された第２画像データが示す第２画像を所定の大きさに縮小して得られる縮小画像をサムネイルとして生成する。表示制御部１２２は、入力された時刻情報が示す時刻に対応する位置に生成したサムネイルを表示させる。図４に示すサムネイルＳＩ０１、ＳＩ０２、ＳＩ０３の表示位置は、それぞれの第２画像が撮像された時刻に対応する位置である。この時刻におけるフレームの第１画像は、第２画像と共通の絵柄を表す。
表示制御部１２２は、表示されたサムネイルのいずれかの押下を検知するとき、画像復号部１１１に対して、そのサムネイルの位置に対応する再生時点から第１符号化データの復号を開始させる。ここで、押下とは、その表示領域内の座標を示す操作信号が操作部１０１から入力されることの意味を含む。画像復号部１１１は、第１符号化データを復号して得られる第１画像データを逐次に表示部１１２に出力する。表示部１１２は、画像復号部１１１から入力される第１画像データが示す第１画像（動画像）を表示する。
【００５２】
従って、ユーザは、操作によってサムネイルを指示するとき、指示されたサムネイルの表示位置に対応する再生時点から、動画像である第１画像を表示部１１２に表示させることができる。サムネイルの基礎となる第２画像が符号化ならびに記録されたされた時点の第１画像のフレームはＩＤＲフレームとなる。そのため、画像復号部１１１は、ＩＤＲフレームを冒頭とし、それ以降の第１符号化データの復号を行うことができる。ここで、画像復号部１１１には、予め上述の参照画像情報と第２参照画像情報を設定しておき、第１符号化データに含まれる符号で指示される第２参照画像情報を特定する。画像復号部１１１は、特定した第２参照画像情報を参照して、第１符号化データをフレーム毎に復号する。
【００５３】
このとき、画像復号部１１１は、そのＩＤＲフレームよりも過去のフレームの符号化データを用いずに、そのＩＤＲフレームから第１符号化データを復号することができる。画像復号部１１１は、フレーム間予測フレームの第１符号化データを復号する際、処理対象の第１符号化データの一部を一時的に記憶するためのデータバッファを備えていなければならない。本実施形態では、ＩＤＲフレーム待機期間が所定のＩＤＲフレーム待機期間以下であるとき、処理対象のフレームが次にＩＤＲフレームになるまで待機するので、任意に指示されたタイミングでＩＤＲフレームが生成される場合よりも、ＩＤＲフレームが生成される契機が抑制される。そのため、データバッファとして要求される容量の増大を抑制することができる。第１符号化データの復号は、画像復号部１１１に限らず、他の機器が実行する可能性がある。他の機器では、データバッファとして要求される容量を設定する際、ＩＤＲフレームやその他のＩフレームの頻度が考慮されているとは限らない。そのため、本実施形態によれば、他の機器におけるデータバッファの容量を超えるリスクを低減することができる。また、ＩＤＲフレーム待機期間が所定のＩＤＲフレーム待機期間を超えるとき、次のＩＤＲフレームを待機することなく第１符号化データの復号を即座に開始することができる。
【００５４】
（変形例）
上記の説明では、静止画像の撮像がユーザの操作により指示される場合を例にしたが、これには限られない。図５に示すように、制御部１０４は、撮像判定部１２４を備えてもよい。
撮像判定部１２４は、第１撮像部１０２から入力される第１画像データが示す第１画像の撮像対象の適格性を示す評価値を算出し、算出した評価値が所定の評価値の閾値よりも高いか否かにより、第２画像の撮像の要否を判定する。より具体的には、撮像判定部１２４は、公知のパターン認識処理を用いて評価値を算出することができる。
【００５５】
パターン認識処理において、例えば、深層学習モデル、Ａｄａｂｏｏｓｔなどの機械学習モデルを利用することができる。深層学習モデルは、入力層と２層以上の中間層と出力層を有するニューラルネットワークを構成する数理モデルである。入力層、各中間層、出力層は、それぞれ複数の入力端、節点（ノード）、出力端を有する。各入力端は、入力される入力値を第１の中間層の各節点に出力値として出力する。中間層の各節点は、より下位の層の節点からそれぞれ入力される入力値を線形結合して合成値を算出し、算出した合成値に対して所定の活性化関数を用いて出力値を算出する。但し、入力端を第０層の節点とみなす。中間層の各節点は、算出した出力値をより上位の層の各節点に出力する。但し、出力端を最上位の中間層の節点とみなす。各出力端は、最上位の中間層の各節点からの出力値を入力値として線形結合して得られる合成値を、出力値として出力する。活性化関数として、例えば、シグモイド関数、双曲線正接（ｔａｎｈ：ｈｙｐｅｒｂｏｌｉｃ  ｔａｎｇｅｎｔ）関数、などが利用可能である。従って、深層学習モデルは、中間層の各節点において入力値を線形結合するための線形結合係数、各節点の活性化関数のパラメータ、出力端において入力値を線形結合するための線形結合係数をパラメータとして含んで構成される。以下の説明では、機械学習モデルを構成するパラメータをモデルパラメータと呼ぶ。
【００５６】
撮像判定部１２４は、評価値を算出する際、次に説明する第１評価処理と第２評価処理のいずれか一方又は両方を実行する。
第１評価処理では、撮像判定部１２４は、第１画像データに基づいて第１機械学習モデルを用いて第１撮像評価値を算出する。第１撮像評価値は、評価画像が表す主たる被写体が特定の認識対象物である可能性を示す値である。認識対象物の候補は、例えば、人物、動物、花、球技に用いられるボールなどである。認識対象物の候補は、特定の表情（例えば、笑い）を表す人物の顔面であってもよい。第１機械学習モデルを構成するモデルパラメータは、第１評価処理を実行する前に予め生成（学習）し、撮像判定部１２４に設定しておく。学習に用いる教師データとして、被写体を表す画像を示す画像データが用いられる。第１機械学習モデルのモデルパラメータの学習は、モデル学習部（図示せず）が行う（オフライン処理）。画像記録装置１０はモデル学習部を備えてもよいし、備えなくともよい。撮像判定部１２４は、第１機械学習モデルのモデルパラメータを画像記録装置１０とは別個の外部機器（例えば、サーバ装置）から取得してもよい。
【００５７】
第１機械学習モデルのモデルパラメータの学習は、次のステップＳ１１とステップＳ１２（図示せず）を含む。
（ステップＳ１１）モデル学習部は、既知の被写体を表す画像の教師データに対して、第１機械学習モデルを作用して既知の認識対象物の候補毎に第１撮像評価値を算出する。第１機械学習モデルとして深層学習モデルを用いる場合、モデル学習部は、例えば、教師データが示す画素毎の信号値に基づいて各入力端への入力値を定める。モデル学習部は、画素毎の信号値を入力値として用いてもよいし、その信号値に基づいて得られる画像特徴量を構成する要素値を入力値として用いてもよい。画像特徴量として、例えば、画素毎のエッジ方向、画素毎の信号値の勾配などが利用可能である。モデル学習部は、定めた入力値に対して深層学習モデルを用いて算出される各出力端からの出力値を、その出力端に対応する認識対象物の候補の第１撮像評価値として定める。
【００５８】
（ステップＳ１２）モデル学習部は、教師データが表す既知の被写体と同じ種類の認識対象物の候補について算出される第１撮像評価値が所定の第１の正値（例えば、１）となり、その被写体と異なる種類の認識対象物の候補について得られる第１撮像評価値が所定の第２の正値以下になるまでモデルパラメータを逐次に更新する。所定の第２の正値として、第１の正値よりも十分にゼロに近似した正の実数を用いる。よって、深層学習モデルを用いて算出される特定の認識対象物の候補に対する第１撮像評価値は、その値が大きいほど、被写体がその認識対象物である可能性が高いことを示す。モデルパラメータの学習において、十分に多数（例えば、数千〜数万）の異なる教師データが用いられる。
【００５９】
撮像判定部１２４は、評価画像に対して、第１機械学習モデルを作用して第１撮像評価値を算出する（オンライン処理）。第１機械学習モデルとして深層学習モデルを用いる場合、撮像判定部１２４は、学習の際と同様の手法を用いて、評価画像を示す画素毎の信号値に基づいて各入力端への入力値を定める。撮像判定部１２４は、入力値に対する深層学習モデルの出力端からの出力値を、その出力端に対応する認識対象物の候補の第１撮像評価値として算出する。
【００６０】
第１撮像評価値を算出するステップには、認識対象物の候補が表されている領域とその候補の形状を探索する探索過程が含まれていてもよい。探索過程は、例えば、予め設定された複数通りの線形変換係数の候補毎に、その線形変換係数を用いて線形変換を行って修正された評価画像に対して、第１機械学習モデルを作用して第１撮像評価値を算出し、最も大きい第１撮像評価値を与える線形変換係数を特定する処理を含む。この線形変換係数は、認識対象物の候補が表されている領域と形状に依存する。そのため、線形変換係数を特定することで認識対象物が表されている領域と形状が特定される。
第２評価処理を行わない場合には、撮像判定部１２４は、認識対象物の候補毎に算出した第１撮像評価値のうち、最も第１撮像評価値が大きい認識対象物の候補を認識対象物として特定し、その第１撮像評価値を撮像評価値として定める。
【００６１】
第２評価処理では、撮像判定部１２４は、評価画像の構図が良好である程度を示す評価値を算出する。構図の良否に影響する要素は、例えば、背景を含む評価画像の全体に対して主たる被写体が表されている領域の位置、その大きさ、主たる被写体と背景の色彩、その濃淡などである。モデル学習部は、第２評価処理に用いる第２機械学習モデルのモデルパラメータを予め学習し、撮像判定部１２４に設定しておく。学習に用いる教師データとして、主たる被写体と背景を表す画像を示す画像データが用いられる。
【００６２】
第２機械学習モデルのモデルパラメータの学習は、次のステップＳ２１とステップＳ２２（図示せず）を含む。
（ステップＳ２１）モデル学習部は、教師データに対して、第２機械学習モデルを作用して第２撮像評価値を算出する。第２機械学習モデルとして深層学習モデルを用いる場合、モデル学習部は、教師データが示す画素毎の信号値に基づいて各入力端への入力値を定める。モデル学習部は、定めた入力値に対して深層学習モデルを用いて算出される出力端からの出力値を第２撮像評価値として定める。
【００６３】
（ステップＳ２２）モデル学習部は、第２撮像評価値がその教師データが表す画像に対して与えられた得点との差の二乗値が所定の二乗値以下になるように、第２機械学習モデルを構成するモデルパラメータを更新する。所定の二乗値は、０に十分に近似した正値であればよい。得点は、例えば、その画像に対して人間が主観的に判断した良否を表す値である。得点は、良好と判断される場合に１とし、良好と判断されないとき０とする２段階の値であってもよい。また、得点は、良好であるほど大きい３段階以上の多段階の値であってもよい。
【００６４】
撮像判定部１２４は、評価画像に対して、第２機械学習モデルを作用して第２撮像評価値を算出する（オンライン処理）。第２機械学習モデルとして深層学習モデルを用いる場合、撮像判定部１２４は、学習の際と同様の手法を用いて、評価画像を示す画素毎の信号値に基づいて各入力端への入力値を定める。撮像判定部１２４は、入力値に対する深層学習モデルの出力端からの出力値を、第２撮像評価値として算出する。
【００６５】
上述の例では、第２評価処理が、第１評価処理とは独立に、第２機械学習モデルとして深層学習モデルを用いて評価画像に対して第２撮像評価値を算出する過程を含む場合を例にしたが、これには限られない。撮像判定部１２４は、第２評価処理として、第２機械学習モデルを用いずに第１評価処理の処理結果である認識対象物が表されている領域（以下、対象物領域、と呼ぶ）に基づいて第２撮像評価値を算出する過程を含んでもよい。撮像判定部１２４は、例えば、対象物領域のうち所定の第２評価領域内に含まれる部分の比率が大きいほど高くなるように、第２撮像評価値を定める。但し、第２評価領域として、評価領域と重心が共通であって、形状が相似形であり、一辺の径が評価領域よりも小さい（例えば、評価領域の一辺の０．２〜０．６倍）領域を予め撮像判定部１２４に設定しておく。これにより予め設定された被写体の対象物領域が、予め定められた大きさの第２評価領域内（例えば、評価領域の中央部）にあるほど、高くなる第２撮像評価値が算出される。このように算出される第２撮像評価値は、例えば、認識対象物である人物が評価領域の中央部に大写しになるほど高くなる。
【００６６】
また、撮像判定部１２４には、認識対象物の種類、対象物領域の大きさならびに位置の組毎に第２撮像評価値を示す第２撮像評価データを予め設定してもよい。撮像判定部１２４は、設定された第２撮像評価データを参照して第１評価処理において得られた認識対象物の種類、対象物領域の大きさならびに位置の組に対応する第２撮像評価値を特定してもよい。
【００６７】
なお、第１評価処理を行わない場合には、撮像判定部１２４は、算出した第２撮像評価値を撮像評価値として定める。
第１評価処理と第２評価処理の両方を行う場合には、撮像判定部１２４は、第１撮像評価値と第２撮像評価値に、それぞれに対応する所定の重み係数を乗算し、乗算により得られる乗算値の総和を撮像評価値として算出する。
【００６８】
その他、上記の説明では、ＩＤＲフレーム待機期間の閾値ΔＴが一定である場合を例にしたが、可変であってもよい。
撮像制御部１２１は、その時点のフレームの第１画像の動画像の動き量が大きいほど、短くなるように閾値ΔＴを定めてもよい。撮像制御部１２１には、予め動き量と対応付けて閾値ΔＴを示す待機期間制御データを設定しておき、その時点における動き量に対応付けられた閾値ΔＴを特定することができる。
【００６９】
撮像制御部１２１は、第１画像の動き量の指標値として、動画像符号化部１０５が符号化の過程でブロック毎に算出した動きベクトルの大きさの代表値を採用することができる。代表値として、フレーム内のブロック間の平均値、最頻値、最大値のいずれかを利用することができる。
【００７０】
なお、動画像符号化部１０５は、第１画像の動きを検出する際、現フレームの第１画像を区分した対象ブロック毎に、参照画像内のブロックとの間でブロックマッチングを行う。動画像符号化部１０５は、対象ブロックに表される模様と最も近似する模様を表すブロックを対応ブロックとして検出する。ブロックマッチングにおいて、模様の近似の度合いを示す評価値として、例えば、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅｓ、差分絶対値和）が利用可能である。ＳＡＤは、その値が小さいほど近似の度合いが高いことを示す指標値である。そして、動画像符号化部１０５は、対象ブロック毎に検出した参照画像内の対応ブロックからの位置の変位（ずれ）を動きベクトルとして定める。現フレームと参照画像のフレーム（以下、参照フレームと呼ぶ）は、必ずしも隣接しているとは限らず、２フレーム以上離れていることもある。動画像符号化部１０５は、ブロック毎の動きベクトルの絶対値を、現フレームと参照フレームとのフレーム間隔で正規化し、正規化して得られた値を動きベクトルの大きさとして撮像制御部１２１に出力する。
【００７１】
なお、上記では撮像制御部１２１が、動画像符号化部１０５が符号化の過程でブロック毎に算出した動きベクトルを取得し、その動きベクトルの大きさの代表値を第１画像の動き量の指標値として採用する場合を例にしたが、これには限られない。制御部１０４は、第１撮像部１０２から入力される第１撮像部１０２から入力される第１画像データが表す第１画像の動き（オプティカルフロー）を解析する動画像解析部（図示せず）を備えてもよい。動画像解析部は、例えば、上記のように、現フレームの第１画像を区分した対象ブロック毎に、過去のフレーム（例えば、現フレームの直前のフレーム）の第１画像を参照画像とし、参照画像内のブロックとの間でブロックマッチングを行って、対象ブロックに表される模様と最も近似する模様を表す参照画像内のブロックを対応ブロックとして検出する。動画像解析部は、対象ブロック毎に検出した対応ブロックからの位置の変位を動きベクトルとして定め、その動きベクトルの大きさを撮像制御部１２１に出力する。撮像制御部１２１は、動画像符号化部１０５に代えて、動画像解析部が定めた動きベクトルの大きさに基づいて第１画像の動き量の指標値を求める。符号化の過程において、Ｉピクチャについてはフレーム間予測が行われないため、動きベクトルが取得されない。しかしながら、動画像解析部を備えることで、符号化対象のフレームがＩピクチャである場合でも、動画像符号化部１０５に頼らずに第１画像の動き量を定量化することができる。
【００７２】
また、画像記録装置１０が撮像判定部１２４を備える場合には、撮像制御部１２１は、第１画像の動き量の指標値として、主たる認識対象物が表される領域である認識領域と重複するブロック間の動きベクトルの大きさの代表値を算出してもよい。この動きベクトルの大きさは、参照画像から現フレームまでの認識領域内に表された被写体の変位量に相当する。撮像判定部１２４は、上記の第１評価処理を行う過程で認識領域を特定することができる。撮像判定部１２４は、特定した認識領域を撮像制御部１２１に出力し、撮像制御部１２１は、指標値を算出する際、その認識領域の情報を利用することができる。これにより、撮像制御部１２１は、主たる被写体の動き量に基づいて閾値ΔＴを定めることができる。
【００７３】
また、撮像制御部１２１は、画像記録装置１０自体の移動量が大きいほど、短くなるように閾値ΔＴを定めてもよい。撮像制御部１２１には、予め移動量と対応付けて閾値ΔＴを示す待機期間制御データを設定しておき、その時点における移動量に対応付けられた閾値ΔＴを特定することができる。
移動量を検出するために、画像記録装置１０は、さらに加速度検出部（図示せず）を備えてもよい。加速度検出部は、例えば、３軸の加速度センサである。加速度検出部は、各感度軸方向の加速度を検出し、検出した加速度を撮像制御部１２１に出力する。そして、撮像制御部１２１は、加速度検出部から入力される各感度軸方向の加速度の重み付き移動平均値を重力成分として算出する。撮像制御部１２１は、加速度検出部から入力される加速度から重力成分を差し引いて加速度の移動成分を算出し、算出した加速度の移動成分を時間積分して得られる速度成分の感度軸方向間の二乗和の平方根を移動量として算出する。これにより、画像記録装置１０の移動量に基づいて閾値ΔＴが定められる。
【００７４】
なお、図１、図５に示す例では、第１撮像部１０２と第２撮像部１０３は別個であるが、画像記録装置１０は、少なくとも１個の撮像部（図示せず）を備えていればよい。１個の撮像部は、動画像である第１画像と静止画像である第２画像の撮像に共用されてもよい。
動画像符号化部１０５は、共用される１個の撮像部が撮像した画像を動画像として示す第１画像データを符号化し、静止画像符号化部１０６は、その撮像部が撮像した画像を静止画像として示す第２画像データを符号化する。
【００７５】
また、画像記録装置１０は、収音部、音声符号化部、音声復号部及び再生部（図示せず）を備えてもよい。収音部は、自部に到来する音声を収音し、収音した音声を示す音声データを音声符号化部に出力する。音声符号化部は、収音部から入力される音声データを符号化して音声符号化データを生成する。音声符号化部は、音声符号化データを第１符号化データと対応付けて記録部１０７に記録してもよい。制御部１０４は、画像復号部に第１画像に対応する音声の再生を示す制御信号を音声復号部に出力するとき、音声復号部は記録部から制御信号で指示される音声符号化データを読み出す。音声復号部は、読み出した音声符号化データに対して復号処理を行って音声データを生成し、生成した音声データを再生部に出力する。再生部は、音声復号部が入力される音声データに基づいて音声を再生する。
【００７６】
以上に説明したように本実施形態に係る画像記録装置１０は、動画像を形成する各フレームの画像を符号化する動画像符号化部１０５と、制御部１０４と、を備える。動画像を形成するフレームの系列は、動画像符号化部１０５がフレーム内予測を行って符号化するフレーム内予測フレームと、他のフレームの画像を参照画像として参照してフレーム間予測を行って符号化するフレーム間予測フレームとを含む。また、そのフレームの系列は、フレーム内予測フレームのうち、過去のフレーム間予測フレームのフレーム間予測において参照されない非参照フレームを所定周期毎に含む。制御部１０４は、静止画像の撮像が指示される指示時点から次の非参照フレームまでの待機期間が所定の時間以下であるとき、当該次の非参照フレームまで待機し、待機期間が所定の時間を超えるとき、当該フレームの画像を非参照フレームとして前記動画像符号化部に符号化させる。
この構成により、待機期間が所定の時間以下である場合には、次の非参照フレームまで待機して、指示時点におけるフレームを非参照フレームとして符号化が行われない。そのため、一律に非参照フレームとして符号化を行う場合よりも、非参照フレームの増加に伴う符号化データの増加が抑制される。そのため、復号過程において符号化データがバッファ容量を超えるために、正常に画像が再生されなくなるリスクが低減する。画像記録装置１０が記録した第１符号化データおよび第２符号化データは、他の電子機器において復号される可能性があるが、かかるリスクは、画像記録装置１０の仕様を考慮せずに定めたバッファ容量を有する他の電子機器において生じる可能性が高い。
【００７７】
また、制御部１０４は、動画像の動き量が大きいほど、所定の時間を短くしてもよい。
一般に、動画像の動き量が大きいほど、撮像が指示される時点から非参照フレームとして符号化するまでの絵柄の変動が大きくなるので、待機期間として許容される時間が短くなる。許容される待機期間に連動して所定の時間を短くすることで、より意図に沿った非参照フレームの画像を記録することができる。
【００７８】
動画像符号化部１０５は、フレーム間予測フレームにおいて、ブロック毎に動きベクトルを定め、制御部１０４は、動きベクトルに基づいてその動き量を定める。
この構成により、動き量を定める際に動画像の符号化の過程で算出される動きベクトルを利用することができるので、処理量の増大を抑制することができる。
【００７９】
制御部１０４は、各フレームの画像から所定の被写体を認識し、被写体の表示領域におけるブロック毎の動きベクトルの代表値を前記動き量として定めてもよい。
この構成により、動き量を定める際に、動画像に表された所定の被写体の表示領域における動きベクトルが用いられるので、その被写体の動きに応じて所定の時間が定められる。
【００８０】
また、画像記録装置１０は、加速度を検出する加速度検出部を備えてもよい。制御部１０４は、加速度検出部が検出した加速度に基づいて自装置の動き量を定め、自装置の動き量が大きいほど、所定の時間を短くする。
撮像中における画像記録装置１０の動き量が大きいほど、撮像される動画像の絵柄の変動が大きくなるので、待機期間として許容される時間が短くなる。待機期間に連動して所定の時間を短くすることで、より意図に沿った非参照フレームの画像を記録することができる。
【００８１】
制御部１０４は、動画像の撮像対象としての適格性を示す評価値を算出し、算出した評価値に基づいて静止画像の撮像の要否を判定する。
この構成により、動画像に基づいて撮像対象としての適格性が定量的に評価され、評価された適格性に基づいて静止画像の撮像の要否が判定される。そのため、判定結果に基づいて一律に非参照フレームとして符号化を行う場合よりも、非参照フレームの増加に伴う符号化データの増加が抑制される。
【００８２】
なお、上記の実施形態において、閾値（例えば、閾値ΔＴ）に対する大小判断において、「以上」、「以下」として、その閾値を含めた判断を行うか、「より大きい」、「より小さい」、「超える」、「超えない」、「上回る」、「下回る」、「未満」などとして、その閾値を含めずに判断をするかは、任意である。例えば、「以上」を「より大きい」、「超える」または「上回る」に読み替えてもよいし、「以下」を「より小さい」、「超えない」、「下回る」または「未満」に読み替えてもよい。
【００８３】
なお、画像記録装置１０の一部、例えば、制御部１０４、動画像符号化部１０５、静止画像符号化部１０６、画像復号部１１１のそれぞれ、又はそれらの任意の組み合わせは、ＣＰＵなどのプロセッサを含むコンピュータとして構成され、予め記憶媒体に記憶されたプログラムに記述された命令で指示される処理を実行して、それらの機能を実現してもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
【００８４】
また、上述した実施形態における画像記録装置１０の一部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｌｅｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）などの部材を含んで構成されてもよい。画像記録装置１０の一部の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩなどに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【００８５】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。上述の実施形態において説明した各構成は、任意に組み合わせることができる。
【符号の説明】
【００８６】
１０…画像記録装置、１０１…操作部、１０２…第１撮像部、１０３…第２撮像部、１０４…制御部、１０５…動画像符号化部、１０６…静止画像符号化部、１０７…記録部、１１１…画像復号部、１１２…表示部、１１３…通信部、１２１…撮像制御部、１２２…表示制御部、１２４…撮像判定部
【図１】
2019208103.tif 000003
【図２】
2019208103.tif 000004
【図３】
2019208103.tif 000005
【図４】
2019208103.tif 000006
【図５】
2019208103.tif 000007