(57)【要約】【課題】動画像データの中から、動画像の撮影者や視聴者にとって必要なシーンを適切に判断することのできる技術を提供する。【解決手段】データ要否判定回路３は、撮影部で取得された動画データの各フレーム画像に、検出された撮影中における動画データの撮影者あるいは被写体の生体情報を同期させる。これとともに、データ要否判定回路３は、生体情報を解析し、撮影者あるいは被写体の生体情報の状態変化が開始したか否かを判断する。そして、撮影者あるいは被写体の生体変化が開始したと判断したタイミングに対応するフレーム画像を非定常フレームとし、非定常フレーム以外のフレーム画像を定常フレームとするとき、非定常フレームを読み出し可能な状態で記録部４に記録させ、定常フレームについては読み出しが可能な状態での記録部４への記録は行わないよう制御を行う。【選択図】図１
2014192755.tif 000002
【特許請求の範囲】
【請求項１】
被写体が撮影された動画データをフレーム画像ごとに取得する撮影部と、
前記フレーム画像を記録する記録部と、
前記撮影中における前記動画データの撮影者あるいは被写体の生体情報を取得する情報検出部と、
前記撮影部で取得された動画データの各フレーム画像に前記情報検出部で検出された生体情報を同期させるとともに、
前記生体情報を解析し、前記撮影者あるいは被写体の生体情報の状態変化が開始したか否かを判断し、
前記撮影者あるいは前記被写体の生体変化が開始したと判断したタイミングに対応するフレーム画像を非定常フレームとし、非定常フレーム以外のフレーム画像を定常フレームとするとき、非定常フレームを読み出し可能な状態で前記記録部に記録させ、定常フレームについては読み出しが可能な状態での前記記録部への記録は行わないよう制御を行う動画記録制御部と、
を有することを特徴とする画像記録装置。
【請求項２】
前記動画記録制御部は、
複数の前記フレーム画像ごとに、前記複数の前記フレーム画像それぞれに同期する複数の前記生体情報に基づいて、前記非定常フレームまたは定常フレームのいずれに該当すると判断したかを表す判断データを生成し、
前記生成された判断データに基づいて前記複数のフレーム画像ごとに前記画像記録処理を行う請求項１に記載の画像処理装置。
【請求項３】
前記動画記録制御部は、前記動画データの開始フレームから数フレームに対応する前記生体情報については、前記撮影者あるいは前記被写体の生体情報の状態変化が開始したと判断する請求項１に記載の画像処理装置。
【請求項４】
前記動画記録制御部は、前記撮影部による前記被写体の撮影と並行して前記記録制御を行う
ことを特徴とする請求項１記載の画像記録装置。
【請求項５】
前記撮影部から出力される前記動画データを仮記録する仮記録部と、
を更に有し、
前記動画記録制御部は、前記仮記録部に仮記録された前記動画データを読み出して前記記録制御を行う
ことを特徴とする請求項４記載の画像記録装置。
【請求項６】
前記動画記録制御部は、前記動画データを前記仮記録部に仮記録している間に上記画像記録の制御処理を実行する
ことを特徴とする請求項５記載の画像記録装置。
【請求項７】
前記動画記録制御部は、前記生体情報を単位時間当たり計測し、前記計測された生体情報の変化率が閾値を超えた場合に、前記撮影者あるいは前記被写体の生体情報の状態変化が開始したと判断する
ことを特徴とする請求項１から６のいずれか１項に記載の画像記録装置。
【請求項８】
前記生体情報は、瞬きの回数、瞳孔の直径、特定のエリアにおける注視時間、脳波、音響、表情、血圧、脈、呼吸、鼻息、鼓動、汗、サーモグラフィのいずれかである
ことを特徴とする請求項７記載の画像記録装置。
【請求項９】
前記撮影者あるいは前記被写体の生体情報の変化率の閾値を記憶する記憶部と、
を更に有し、
前記動画記録制御部は、前記生体情報の変化率が前記閾値を超えている場合に、前記撮影者あるいは前記被写体の生体情報が状態変化したと判断する
ことを特徴とする請求項１から６のいずれか１項に記載の画像記録装置。
【請求項１０】
前記記録部は、前記撮影部の設定の初期状態情報を取得し、
前記動画記録制御部は、前記撮影部が前記被写体を撮影しているときの前記撮影部の設定と、前記撮影部の初期設定とを取得し、前記撮影中の設定の前記初期設定からの変化率が閾値を超えた場合、前記生体情報の状態変化が開始したと判断する
ことを特徴とする請求項９記載の画像記録装置。
【請求項１１】
前記撮像部の設定の変化量とは、撮像装置のレンズのズーム、ワイドの変化またはイメージャ若しくは光学系の単位時間当たりの移動距離または変化量である
ことを特徴とする請求項１０記載の画像記録装置。
【請求項１２】
前記生体情報は、脳波、撮影者の声、表情のいずれかである
ことを特徴とする請求項１０記載の画像記録装置。
【請求項１３】
前記動画記録制御部は、ＦＡＴ（File Allocation Table）の書き込み制御により、前記撮影者あるいは被写体の生体情報の状態変化が開始したと判断されたタイミングに対応するフレーム画像について、読み出し対象とならないように記録制御を行う
ことを特徴とする請求項１から６のいずれか１項に記載の画像記録装置。
【請求項１４】
前記動画記録制御部は、前記定常フレームについては読み出し対象とならないように記録制御を行うとともに、該定常フレームを別途記録するよう記録制御を行う
ことを特徴とする請求項１から６のいずれか１項に記載の画像記録装置。
【請求項１５】
前記画像記録制御部は、前記フレーム画像ごとに、画像処理パラメータを異ならせることで、前記画像記録の制御を行う
ことを特徴とする請求項１記載の画像記録装置。
【請求項１６】
前記画像記録制御部は、前記非定常フレームが前記定常フレームに対し、前記フレーム画像ごとがノイズを低くなる、輝度の変化が強調される、鮮鋭度を増大される、または、解像度が向上されるような画像処理を実行する
ことを特徴とする請求項１５記載の画像記録装置。
【請求項１７】
前記画像記録制御部は、前記定常フレームが前記非定常フレームに対し、被写体にディストーションが多くかかる画像処理を実行する
ことを特徴とする請求項１５記載の画像記録装置。
【請求項１８】
前記画像記録制御部は、処理対象の前記フレーム画像より前に前記撮影部で生成された前記フレーム画像の画像データを使用して、前記画像記録の制御を行う
ことを特徴とする請求項１記載の画像記録装置。
【請求項１９】
前記画像記録制御部は、前記非定常フレームから補間フレーム画像を生成し、前記補間フレーム画像を当該非定常フレームの前または後ろに挿入する画像処理を行う
ことを特徴とする請求項１記載の画像記録装置。
【請求項２０】
前記画像記録制御部は、少なくとも２つの前記定常フレームを合成処理する画像処理を行う
ことを特徴とする請求項１記載の画像記録装置。
【請求項２１】
前記画像記録制御部は、前記定常フレームが前記非定常フレームに対し、ぼかし量が多い画像を生成する画像処理を行う
ことを特徴とする請求項１記載の画像記録装置。
【請求項２２】
前記画像記録制御部は、前記定常フレームと前記非定常フレームとの画像の連続性を維持する画像処理パラメータを生成し、前記定常フレーム及び前記非定常フレームとを画像処理する
ことを特徴とする請求項１記載の画像記録装置。
【請求項２３】
フレーム画像の記録を制御する方法であって、
被写体が撮影された動画データをフレーム画像ごとに取得し、
前記撮影中における前記動画データの撮影者あるいは被写体の生体情報を取得し、
前記フレーム画像を記録するときに、
前記取得された動画データの各フレーム画像に前記検出された生体情報を同期させるとともに、
前記生体情報を解析し、前記撮影者あるいは被写体の生体情報の状態変化が開始したか否かを判断し、
前記撮影者あるいは被写体の生体変化が開始したと判断したタイミングに対応するフレーム画像を非定常フレームとし、非定常フレーム以外のフレーム画像を定常フレームとするとき、非定常フレームを読み出し可能な状態で記録させ、定常フレームについては読み出しが可能な状態での記録は行わないよう制御を行う、
ことを特徴とする画像記録の制御方法。
【請求項２４】
画像記録装置において画像記録を制御するための制御プログラムであって、
被写体が撮影された動画データをフレーム画像ごとに取得し、
前記撮影中における前記動画データの撮影者あるいは被写体の生体情報を取得し、
前記フレーム画像を記録するときに、
前記取得された動画データの各フレーム画像に前記検出された生体情報を同期させるとともに、
前記生体情報を解析し、前記撮影者あるいは被写体の生体情報の状態変化が開始したか否かを判断し、
前記撮影者あるいは被写体の生体変化が開始したと判断したタイミングに対応するフレーム画像を非定常フレームとし、非定常フレーム以外のフレーム画像を定常フレームとするとき、非定常フレームを読み出し可能な状態で記録させ、定常フレームについては読み出しが可能な状態での記録は行わないよう制御を行う、
ことを特徴とする制御プログラム。
【請求項２５】
請求項２４に記載の制御プログラムを記録したコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データを記録する画像記録装置、画像記録処理の制御方法及びそのプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラやデジタルビデオで動画像データを記録して、その場で再生を楽しむ機能を備える装置が広く普及してきている。動画像データを記録する記録媒体の容量は年々増加してきており、記録可能な時間もますます長くなってきている。
【０００３】
所望のシーンを抽出する公知の技術としては、例えば、記録媒体に記録された動画像からフレーム画像を抽出して重み付けを行い、重み付けに応じてユーザの好みの動画像のシーンのプレイリストを作成する技術について開示されている（例えば、特許文献１）。これによれば、タイムライン上に表示するコマ間隔を荒くしても、ユーザの好みのシーンはタイムラインにコマ表示され、ユーザの使い勝手が向上する。
【０００４】
また、例えば、複数の画像フレーム間の類似度よりシーンの変わり目のフレームを決定し、動画像データのダイジェスト動画の自動編集・作成を行う技術について開示されている（例えば、特許文献２）。これによれば、シーンの変わり目のフレームを決定することにより区切られたシーンの中において、ダイナミックなダイジェスト作成指示を受けた場合には、直前のフレームと類似度の低い特定時間分のフレームをマージしてダイジェスト動画を編集・作成する。おとなしいダイジェスト作成指示を受けた場合には、直前のフレームとの類似度の高い特定時間分のフレームをマージしてダイジェスト動画を編集・作成する。
【０００５】
また、生体情報を利用して、特定の画像をズームして再生する技術についても開示されている（例えば、特許文献３）。具体的には、撮像部を通じて被写体の画像を撮像している場合に、撮影者の生体情報を検出し、画像と生体情報とを同期させて記録しておく。記録された画像の再生時には、生体情報を解析して得られる感情状態を示す情報に基づいて、画像処理を施すべき画像が特定される。そして、特定された画像に対してズーム等の画像処理を施して再生する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２６３３７４号公報
【特許文献２】特開２０００−２３５６３８号公報
【特許文献３】特開２００５−６３０８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記のとおり、記録媒体の容量が増大し、ファイルの記録時間が長くなってくるにつれて、ユーザにとっては、撮影後に動画像を再生して、不要と判断した部分についてはその場で削除する等の編集作業が、より煩わしいものとなる。ユーザが作業や特段の操作を行うことなく、画像記録装置において、撮影者にとって必要と思われるシーンを判断して抽出できることが好ましい。
【０００８】
本発明は、動画像データの中から、動画像の撮影者や視聴者にとって必要なシーンを適切に判断することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前述の目的を達成するために、本発明の態様の一つである画像記録装置によれば、被写体が撮影された動画データをフレーム画像ごとに取得する撮影部と、前記フレーム画像を記録する記録部と、前記撮影中における、前記動画データの撮影者あるいは被写体の生体情報を取得する情報検出部と、前記撮影部で取得された動画データの各フレーム画像に前記情報検出部で検出された生体情報を同期させるとともに、前記生体情報を解析し、前記撮影者あるいは被写体の生体情報の状態変化が開始したか否かを判断し、前記撮影者あるいは前記被写体の生体変化が開始したと判断したタイミングに対応するフレーム画像を非定常フレームとし、非定常フレーム以外のフレーム画像を定常フレームとするとき、非定常フレームを読み出し可能な状態で前記記録部に記録させ、定常フレームについては読み出しが可能な状態での前記記録部への記録は行わないよう制御を行う動画記録制御部と、を有することを特徴とする。
【００１０】
また、本発明の態様の一つである画像記録の制御方法によれば、フレーム画像の記録を制御する方法であって、被写体が撮影された動画データをフレーム画像ごとに取得し、前記撮影中における、前記動画データの撮影者あるいは被写体の生体情報を取得し、前記フレーム画像を記録するときに、前記取得された動画データの各フレーム画像に前記検出された生体情報を同期させるとともに、前記生体情報を解析し、前記撮影者あるいは被写体の生体情報の状態変化が開始したか否かを判断し、前記撮影者あるいは被写体の生体変化が開始したと判断したタイミングに対応するフレーム画像を非定常フレームとし、非定常フレーム以外のフレーム画像を定常フレームとするとき、非定常フレームを読み出し可能な状態で記録させ、定常フレームについては読み出しが可能な状態での記録は行わないよう制御を行う、ことを特徴とする。
【００１１】
また、本発明の態様の一つである制御プログラムによれば、画像記録装置において画像記録を制御するための制御プログラムであって、被写体が撮影された動画データをフレーム画像ごとに取得し、前記撮影中における、前記動画データの撮影者あるいは被写体の生体情報を取得し、前記フレーム画像を記録するときに、前記取得された動画データの各フレーム画像に前記検出された生体情報を同期させるとともに、前記生体情報を解析し、前記撮影者あるいは被写体の生体情報の状態変化が開始したか否かを判断し、前記撮影者あるいは被写体の生体変化が開始したと判断したタイミングに対応するフレーム画像を非定常フレームとし、非定常フレーム以外のフレーム画像を定常フレームとするとき、非定常フレームを読み出し可能な状態で記録させ、定常フレームについては読み出しが可能な状態での記録は行わないよう制御を行う、ことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、動画像データの中から、動画像の撮影者や視聴者にとって必要なシーンを適切に判断することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態に係る画像記録装置の構成図である。
【図２】第１の実施形態に係る画像記録装置による画像記録処理を示したフローチャートである。
【図３】第１の実施形態に係るフラグＦ１の設定方法を説明する図である。
【図４】第１の実施形態の変形例に係る画像記録装置による画像記録処理を示したフローチャートである。
【図５】従来におけるＦＡＴの書き換え方法について説明する図である。
【図６】第１の実施形態の変形例に係る画像記録装置によるＦＡＴの書き換え方法を説明する図である。
【図７】第１の実施形態の変形例に係る画像記録装置による他のＦＡＴの書き換え方法を説明する図である。
【図８】読出装置による、図４の画像記録制御処理によって記録部に記録された動画の再生処理を示したフローチャートである。
【図９】第２の実施形態に係る画像記録装置による画像記録処理を示したフローチャートである。
【図１０】第３の実施形態に係る画像記録装置の構成図である。
【図１１】第３の実施形態に係る画像記録装置による画像記録処理を示したフローチャートである。
【図１２】第３の実施形態の変形例に係る画像記録装置による画像記録処理を示したフローチャートである。
【図１３】第４の実施形態に係る画像記録装置による画像記録処理を示したフローチャートである。
【図１４】レート変換の過程を模式的に示す図である。
【図１５】読出回路によるフレーム間のフィルタ処理を説明する図である。
【図１６】実施形態に係る画像記録の制御方法をデジタルカメラに適用した場合について説明する図である。
【図１７】実施形態に係る画像記録の制御方法を内視鏡に適用した場合について説明する図である。
【図１８】内視鏡において取得する生体情報の例について説明する図である。
【図１９】内視鏡において取得する生体情報の例について説明する他の図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
＜第１の実施形態＞
図１は、本実施形態に係る画像記録装置の構成図である。図１に示す画像記録装置１は、データ要否判定回路３及び記録部４を有する。図１においては、本実施形態に係る画像記録の制御方法に係わる構成のみを示している。以下の実施形態の構成図についても同様とする。
【００１５】
記録部４は、画像記録装置１において取得した動画データのフレーム画像を記録する。
データ要否判定回路３は、画像記録装置１が取得した各フレーム画像に、同様に画像記録装置１が取得した撮影者の生体情報を同期させる。データ要否判定回路３がフレーム画像と同期させる情報には、撮影中における撮影者の生体変化を示す生体情報や、動画を撮像する装置の設定パラメータの値の変化等を含む。
【００１６】
撮影者の生体情報の例としては、例えば、瞬きの回数、瞳孔の直径、画像を撮像する装置のファインダ画像のうち、特定のエリアにおける撮影者の注視時間、脳波、音響、血圧や脈、呼吸、鼻息、鼓動（拍動や心拍数）、汗、サーモグラフィ、撮影者の声、表情等が挙げられる。被写体を撮像する画像撮像装置の設定パラメータの例としては、例えば、レンズのズーム・ワイドの変化、イメージャや光学系の単位時間当たりの移動距離や変化量等が挙げられる。以下の説明においては、データ要否判定回路３が取得する情報については、単に「生体情報」あるいは「生体情報等」と略記することもある。
【００１７】
生体情報等は、例えば公知のＭＰＥＧ（Moving Picture Experts Group）−７、ＡＶＩ（Audio Video Interleave）、あるいはＸＭＬ（Extensible Markup Language）形式等にしたがって記述する。また、生体情報等と各フレーム画像との対応付けは、オーディオトラックに時系列に生体情報等を記録していくことにより、あるいはＪＰＥＧ（Joint Photographic Experts Group）では、フレーム画像のデータの始めや終わりの空き領域を使用して記録することにより行う。
【００１８】
データ要否判定回路３は、フレーム画像ごとに撮影者の生体情報を同期させていくとともに、生体情報を解析して、撮影者の生体情報の変化が開始したか否かを判断する。そして、データ要否判定回路３は、「非定常フレーム」であるフレーム画像については、読み出し可能な状態で記録部４に記録し、「定常フレーム」であるフレーム画像については、少なくとも、読み出しが可能な状態のみでの記録部４への記録は行わないよう、制御を行う。
【００１９】
ここで、フレーム画像が非定常フレームであるとは、撮影者の生体情報の状態変化や画像記録装置の設定パラメータの値の所定の閾値以上の変化が開始したタイミングに対応するフレーム画像をいうこととする。また、フレーム画像が定常フレームであるとは、そのフレーム画像が非定常フレームに該当しないフレーム画像をいうこととする。
【００２０】
本実施形態に係る画像記録装置１のデータ要否判定回路３は、制御プログラムで構成されることとしてもよい。データ要否判定回路３が制御プログラムで構成される場合、図１においては不図示のメモリ等に当該制御プログラムを予め記録しておき、これを図１においては不図示の制御部が読み出して実行する。
【００２１】
読出装置７は、読出回路５を有し、記録部４に記録されている動画データの読み出しを行う。読出回路５にて読み出された動画データは、読出装置７と接続される図１においては不図示の表示装置や読出装置７に設けられる表示部等に表示される。
【００２２】
図１の画像記録装置１は、動画データの各フレーム画像と同期される生体情報にしたがって、非定常フレーム以外のフレーム画像である定常フレームについては、動画再生時には記録部４から読み出されないよう、画像記録処理を制御する。以下に、図２や図３を参照して、具体的に説明する。
【００２３】
図２は、本実施形態に係る画像記録装置１による画像記録処理を示したフローチャートである。
まず、ステップＳ１０２で、データ要否判定回路３は、画像記録装置１に入力された生体情報等を解析し、解析結果に基づき、フレーム画像に対応付けて、そのフレーム画像の記録の要否を表すフラグＦ１を設定する。フラグＦ１は、対応するフレーム画像が、画像記録装置１において画像記録制御の対象とすべきフレーム画像であるか否かを識別するための情報である。実施例では、撮影者の生体情報より定常フレームと判断したフレーム画像には、対応するフラグＦ１に値「０」を設定し、非定常フレームと判断したフレーム画像には、対応するフラグＦ１に値「１」を設定する。
【００２４】
ここで、フレーム画像が定常フレームであるとは、撮影者の生体変化や画像記録装置の設定パラメータの値の変化が所定のレベル未満である状態（撮影者の生体情報等が定常状態であること）をいうこととする。また、フレーム画像が非定常フレームであるとは、撮影者の生体変化や画像記録装置の設定パラメータの値の変化が所定のレベル以上である状態（撮影者の生体情報等が非定常状態であること）をいうこととする。
【００２５】
ステップＳ１０３で、データ要否判定回路３は、画像記録装置１に入力された動画データを、ＲＡＭ（Random Access Memory）等の仮記録部に一時的に記録させておく。
【００２６】
図３は、フラグＦ１の設定方法を説明する図である。図３の上段には、撮影者がマラソンの動画をウェラブルカメラ等で撮像した場合等に、当該ウェラブルカメラ等に設けられたセンサ等で撮影者の心拍数を動画データのフレーム画像ごとに対応付けて取得した場合の心拍数を上段に示す。図３においては、最上段の生体情報である心拍数に続き、上から順に、心拍数の微分値、計測フラグ、非定常状態の開始情報、フラグＦ１及び非定常状態判定イネーブル信号を示す。
【００２７】
このうち、図３の計測フラグ、非定常状態の開始情報、フラグＦ１及び非定常状態判定イネーブル信号については、各値は複数のフレームからなる１つの「ブロック」を表す。
図３の心拍数の微分は、図３の最上段に示す心拍数（生体情報）を微分して得られる値であり、生体情報の変化率を表す。
【００２８】
計測フラグは、生体情報の変化率、すなわち心拍数の微分値を判断した結果を表す。実施例では、微分値が上限の閾値を上回るブロック及び下限の閾値を下回るブロックには、生体情報に状態変化があったと判断して、計測フラグに値「０」を設定する。微分値が下限の閾値以上且つ上限の閾値以下の範囲内にあるブロックには、生体情報に状態変化がなかったとして、計測フラグに値「１」を設定する。
【００２９】
非定常状態の開始情報は、計測フラグに基づき、撮影者の生体情報について、上記閾値を超える大きい変化率が検出されたことを表し、実施例では、フラグを用いてこれを表す。実施例では、非定常状態の開始情報に値「１」が設定されているブロックは、そのブロックにおいて生体情報が「定常状態」から「非定常状態」に切り替わったことを表す。撮影者の生体情報について、上記閾値を超える大きい変化率が検出されていないブロックには、フラグに値「０」を設定する。
【００３０】
ここで、「あるブロックの生体情報が（定常状態から外れて）非定常状態になる」とは、その生体情報と同期するフレーム画像を含むブロックから、閾値を超える生体情報の変化率が検出されたことをいう。「あるブロックの生体情報が定常状態である」とは、その生体情報が非定常状態にはないこと、すなわち、その生体情報と同期するフレーム画像を含むブロックにおいては、閾値を超える生体情報の変化率は検出されなかったことをいう。
【００３１】
フラグＦ１は、対応するフレーム画像が、画像記録装置１において、読出装置７で読み出しの対象となるよう記録制御をおこなうべきフレーム画像であるか否かを識別するための情報である。実施例では、生体情報より非定常フレームと判断したフレーム画像には、対応するフラグＦ１に値「１」を設定し、非定常フレームと判断したフレーム画像には、対応するフラグＦ１に値「０」を設定する。実施例では、生体情報が定常状態から非定常状態へと切り替わったタイミングのブロックに同期するフレーム画像だけでなく、その切り替わりのあったブロック以降の所定数のブロックについても、生体情報が定常／非定常のいずれの状態にあるかによらず、対応するフレーム画像を、非定常フレームとしている。
【００３２】
非定常状態判定イネーブル信号（以下判定イネーブル信号と略記）は、画像記録装置１において、非定常状態の開始を検出する処理を実行するか否かを表す情報である。実施例では、判定イネーブル信号に値「１」が設定されているブロックは、非定常状態が開始したことを検出する処理を実行するが、値「０」が設定されているブロックについては、この検出処理は行わないこととする。判定イネーブル信号は、上記の非定常状態の開始情報の値が「０」から「１」に切り替わるタイミングで、値を「１」から「０」に切り替える。そして、所定のブロックに渡って値を「０」で維持した後、元の値「１」に戻す。
【００３３】
判定イネーブル信号の値を「０」で維持するブロックの数については、図３に例示するように、フラグＦ１が値「１」を維持するブロック数と同一となるように設定してもよいし、異なるブロック数を設定してもよい。
【００３４】
図２のステップＳ１０２の処理を図３に示す例についてみると、データ要否判定回路３は、入力された心拍数に対し、例えば、各ブロックの心拍数の微分値あるいは分散値をとる。図３では、心拍数の微分をとる場合を示している。
【００３５】
ここで、図３に示す例では、１ブロックは、１０〜２０フレーム分のフレーム画像を含むこととする。また、動画データは、例えば３０［ｆｐｓ］または６０［ｆｐｓ］のフレームレートで取得される。フレームレートを３０［ｆｐｓ］とすると、１ブロック分の動画データを再生表示した場合には、その表示時間は凡そ０．３〜０．７［ｓｅｃ］となる。
【００３６】
図３においては、心拍数を簡略化して示しているが、実施例では、心拍数は、例えば１［ｋＨｚ］のサンプリング周波数で取得される。これに対し、動画データは、３０［ｆｐｓ］や６０［ｆｐｓ］のフレームレートで取得される。このため、あるフレーム画像（を含むあるブロック）に対応付けられている生体情報のアナログデータを見ると、図３には示されていない高周波成分が含まれている。分散値を用いる場合には、より適切に心拍数の変化率を適切に判断することができる。
【００３７】
図３の説明に戻ると、データ要否判定回路３は、求めた微分値や分散値が上限及び下限の閾値を超えた場合には、対応するブロックの計測フラグの値を「１」から「０」に切り替える。データ要否判定回路３は、微分値や分散値が閾値の範囲内にある場合は、対応するブロックの計測フラグの値を「１」で維持する。
【００３８】
実施例では、上限及び下限の閾値は、求めた各ブロックの微分値等が心拍数の微分値等の平均に対してどれだけ離れているかに基づき決定する。すなわち、生体情報取得部（不図示）からの心拍数の入力が開始されると、データ要否判定回路３は、心拍数の微分値等の算出を開始するとともに、その微分値の平均についても、算出を開始する。
【００３９】
微分値の平均を算出する処理については、判定イネーブル信号の値が「０」となったタイミングで一旦平均の算出処理を停止し、判定イネーブル信号の値が「１」に戻った後の微分値を利用して、改めて当該平均の算出を開始してもよい。あるいは、判定イネーブル信号の値によらず、動画データの開始時刻以降の平均を求めることとしてもよい。図３においては簡単のため、図示を省略しているが、判定イネーブル信号の値が１に戻った後の微分値を利用して平均の算出処理を再開する場合は、微分の平均値は、平均の算出処理を停止させる（判定イネーブル信号の値が０に切り替わる）以前の値から変動し得る。このため、心拍数の微分値の閾値についても、これに伴い変動し得る。
【００４０】
図３の微分値が上限の閾値を上回るか下限の閾値を下回るかしたことに基づき、あるブロックの計測フラグの値が１から０に変更されると、データ要否判定回路３は、そのブロックの非定常状態の開始情報の値を「０」から「１」に切り替える。実施例では、動画データ（及び生体情報）が開始した当初は、「非定常状態の開始情報」の設定は行わず、動画データの開始後最初に非定常状態に切り替わってから、当該「非定常状態の開始情報」の設定を開始している。図３では、動画データの開始時刻（図３の左端のブロック）から４つ目のブロックで、生体情報である心拍数が定常状態から非定常状態に切り替わり、このブロックから、当該「非定常状態の開始情報」の設定を開始している。
【００４１】
データ要否判定回路３は、非定常状態の開始情報の値を「１」に切り替えるとともに、これに応じて、フラグＦ１と判定イネーブル信号の設定値を変更する。すなわち、フラグＦ１には、対応するフレーム画像が非定常フレームであることを表す値「１」を設定する。判定イネーブル信号には、非定常状態の開始の検出処理は行わないことを表す値「０」を設定する。
【００４２】
実施例では、フラグＦ１及び判定イネーブル信号のいずれについても、非定常状態が開始したブロック以降の所定数のブロックについて、それぞれ切り替えた値を維持させる。図３に示す例では、４ブロック分の期間については、フラグＦ１は値「１」、判定イネーブル信号は値「０」を維持させる。
【００４３】
前述のとおり、判定イネーブル信号に値「０」が設定されている期間については、計測フラグの値に変化があっても、定常／非定常の状態が切り替わったか否かの判定は行わない。図３の例では、動画データの開始時刻から１２ブロック目で、計測フラグに基づき非定常状態の開始情報の値が「１」に切り替えられている。これに従って、判定イネーブル信号については、１２ブロック目から４ブロック分の区間（図３の区間（＊））に渡り、値「０」が設定される。これにより、図３の区間（＊）では、１３〜１５ブロック目も１２ブロック目と同様に心拍数の微分値は閾値の範囲外にあり、計測フラグの値は「０」であるものの、非定常状態の開始情報は値「０」のままとなる。すなわち、フラグＦ１に値「０」が設定される区間が、１３〜１５ブロック目の計測フラグに応じて伸びることはない。
【００４４】
ステップＳ１０５で、データ要否判定回路３は、各フレーム画像について、フラグＦ１を参照し、値「１」が設定されているか否かを判定する。フラグＦ１に値「１」が設定されている場合は、処理をステップＳ１０６へと移行させ、値「０」が設定されている場合は、処理をステップＳ１０７へと移行させる。
【００４５】
ステップＳ１０６で、データ要否判定回路３は、非定常フレームと判定されたフレーム画像については、「必要なシーン」と判断し、図１の読出装置７がそのフレーム画像を記録部４から読み出し可能な状態で、記録部４に記録させる。ステップＳ１０７では、データ要否判定回路３は、定常フレームと判定されたフレーム画像については、「不要なシーン」と判断し、読出装置７がそのフレーム画像を記録部４から読み出しができないよう、画像記録処理の制御を行う。具体的には、ステップＳ１０３で一時的に記録した動画データのうち、ステップＳ１０５において不要なシーンと判定されたフレーム画像については記録部４に記録を行わず、削除する等の処理を行う。
【００４６】
なお、あるフレーム画像が「必要なシーン」のフレーム画像であるとは、生体情報取得部６で取得した生体情報より、動画の撮影者の身体的変化（例えば、止まっている状況から走り出した等）があったり、感情の変化（驚いた等）があった状態で撮影を行った、すなわち撮影者や視聴者にとって重要度が高いと推測されるフレーム画像であることをいう。あるフレーム画像が「不要なシーン」のフレーム画像であるとは、生体情報取得部６で取得した生体情報より、動画の撮影者は、あまり身体的変化もなく、感情の変化も無く撮影を行った、すなわち撮影者や視聴者にとっては重要度が低いと推測されるフレーム画像であることをいう。
【００４７】
上記においては、図３を参照して、生体情報である心拍数の変化率が図３に示す閾値を超えたブロックから、これに含まれるフレーム画像を必要なシーンと判断する場合について説明している。これに対し、変形例として、例えば、生体情報の変化率が図３の閾値を超えたタイミングよりも時間的に前のブロックのフレーム画像から、必要なシーンと判断する構成としてもよい。実施例では、生体情報の変化率が図３の閾値を超えたフレーム画像より５〜１０フレーム分だけ前のフレーム画像から、必要なシーンと判断する。このような構成とすることで、必要なシーンの再生時に、撮影者の身体的変化や感情の変化の時間的な遅れがある場合に必要なシーンを不必要なシーンと判断して再生しないことを避けることができる。
【００４８】
生体情報の変化率が図３の閾値を超えたタイミングより前のブロックのフレーム画像から必要なシーンと判断する方法としては、例えば以下の２とおりの方法が考えられる。
１つ目の方法によれば、生体情報の変化率の閾値に、図３の場合よりも低い値を設定する。より低い値を閾値に設定することで、生体情報の変化が開始したと判断されるタイミングが図３の場合よりも前倒しされる。
【００４９】
２つ目の方法によれば、生体情報の変化率があるブロックで閾値を超えると、そのブロックから所定数のフレーム分前のフレーム画像からフラグＦ１に値「１」を設定する。具体的には、図２のステップＳ１０２において、ｎフレーム目のフレーム画像と対応する生体情報について、その変化率が閾値を超えると、（ｎ−ｋ）フレーム目のフレーム画像と対応するフラグＦ１にその旨を表す値「０」を設定する。
【００５０】
２つ目の方法においては、例えば、フラグＦ１に必要なシーンであることを表す値「１」を設定する期間については、（ｎ−ｋ）フレーム目から数えて、上記と同様の４ブロック分の期間としてもよい。あるいは、フラグＦ１に値「１」を設定する期間は、（ｋフレーム＋４ブロック）分に相当する期間としてもよい。いずれの場合であっても、非定常状態イネーブル信号の値の切り替えタイミングは、フラグＦ１に値「１」を設定する期間に応じて設定するのが望ましい。いずれの場合であっても、実際に生体情報の変化率が図３の閾値を超えたブロックよりも前の（ブロックの）フレーム画像から必要なシーンとして処理されることとなる。
【００５１】
以上説明したように、本実施形態に係る画像記録装置１によれば、フレーム画像を撮影したときの撮影者の生体情報等の状態変化が開始したか否かに応じて、フレーム画像ごとに、必要なシーンに含まれると推定される非定常フレームであるか否かを判断する。そして、画像記録装置１は、フレーム画像ごとに、必要なシーンであるか否か（非定常フレームであるか否か）を識別するフラグＦ１をフレーム画像に対応付けて付し、必要なシーンのみが再生されるよう、非定常フレームのみを動画データを記録部４に記録する。これにより、読出装置７は、画像記録装置４の記録部４から動画データを読み出して再生するときに、不要なシーンについては再生せずに、必要なシーンのみを再生することが可能となる。
【００５２】
なお、上記においては、図２のステップＳ１０３で、動画データを、仮記録部に一時的に記録させておき、データ要否判定回路３は、仮記録部から読み出した動画データに対して要否を判定する場合について説明しているが、これには限定されない。例えば、画像記録装置１において取得した動画データを仮記録部に一時的に記録させておくことなく、データ要否判定回路３が、これを直接に処理して要否を判定してもよい。あるいは、動画データを仮記録部に一時的に記録させている間に、データ要否判定回路３が上記の要否判定を行うこととしてもよい。どのような構成をとる場合であっても、同様の効果を得る。
＜第１の実施形態の変形例＞
【００５３】
上記の実施形態においては、不要なシーンのフレーム画像であると判断した場合、そのフレーム画像については削除し、記録部４への記録は行っていない。しかし、不要なシーンと判定されたフレーム画像の処理方法については、これに限定されるものではない。ここで説明する上記実施形態の変形例によれば、記録部４への記録は行うものの、図１の読出装置７において動画データを読み出すときに、不要なシーンについては読み出しを行わないようにする。
【００５４】
以下に、上記の実施形態と異なる点を中心に、第１の実施形態に係る画像記録の制御方法の変形例について、図面を参照して具体的に説明する。なお、ここで説明する第１の実施形態の変形例に係る画像記録装置の構成については、上記の実施形態と同様であり、図１に示すとおりであるので、ここでは説明を省略し、上記の実施形態と同一の構成については同一の符号を付して説明することとする。
【００５５】
図４は、第１の実施形態の変形例に係る画像記録装置１による画像記録処理を示したフローチャートである。実施例では、画像記録装置１は、ＦＡＴ（File Allocation Table）を採用するファイルシステムの下において、動画データを含む各種ファイルを管理している。
【００５６】
図４のステップＳ１１２及びステップＳ１１３の処理は、それぞれ図２のステップＳ１０２及びステップＳ１０３の処理と同様である。動画データの各フレーム画像に対応付けて図３のフラグＦ１が設定され、動画データがＲＡＭ等の仮記録部に一時的に記録されると、ステップＳ１１５へと処理を移行させる。
【００５７】
ステップＳ１１５で、データ要否判定回路３は、ステップＳ１１２において各フレーム画像に対応付けて設定したフラグＦ１を用いて、ファイルアロケーションテーブル（ＦＡＴ）の書き換えを行う。
【００５８】
ステップＳ１１３の処理に関しては、上記図２のステップＳ１０３の処理と同様に、動画データを仮記録部に一時的に記録させておき、データ要否判定回路３が仮記録部から読み出した動画データに対して要否を判定する場合に限定されない。動画データを仮記録部に一時的に記録させておくことなく、データ要否判定回路３が、画像処理装置１において取得した動画データを直接に処理して要否を判定してもよい。また、動画データを仮記録部に一時的に記録させている間に、データ要否判定回路３が上記の要否判定を行うこととしてもよい。
【００５９】
ＦＡＴの書き換えについて、図５〜図７を参照して説明する。
図５は、従来におけるＦＡＴの書き換え方法について説明する図である。このうち、図５（ａ）は、ＦＡＴファイルシステムのイメージ図である。
【００６０】
図５（ａ）のイメージ図に示すように、ＦＡＴでフォーマットした記録部４は、記録領域は、システム領域とデータ領域とから構成される。データ領域は、クラスタ単位で動画データを含むファイル本体のデータ等を格納するための領域である。システム領域には、画像記録の制御処理に関しては、（１）動画データの格納されているデータ領域の構造等を定義するブートセクタ領域、（２）データ領域に存在するクラスタの状態を記憶しておくＦＡＴ領域、（３）記録部４のルートディレクトリに存在するファイルやサブディレクトリの情報を管理するディレクトリ領域が含まれる。
【００６１】
図５（ｂ）は、ＦＡＴでフォーマットした記録部４の各領域を模式的に示している。説明の簡単のため、ここでは、データ領域の各クラスタには、それぞれフレーム画像のデータが、１枚分ずつ格納されているとする。
【００６２】
ディレクトリ領域には、データ領域の各クラスタに格納されているファイルの名称と、そのファイルが格納されているクラスタの先頭のクラスタ番号とが格納される。
ＦＡＴには、クラスタ番号に対応付けて、次に読み出すべきクラスタのクラスタ番号が格納される。
【００６３】
図５（ｂ）に示す例では、図１の読出装置７等は、記録媒体から動画データを読み出すときは、ディレクトリ領域から先頭のフレーム画像（フレーム０）が格納されるクラスタ番号を取得する。そして、読出装置７は、クラスタ番号「０」のデータをデータ領域から読み出すとともに、ＦＡＴを参照して、クラスタ番号「０」のクラスタの次に読み出すべきクラスタの番号「１」を取得する。以降についても同様の処理により、読出装置７は、順次クラスタからデータを読み出していき、最後のデータであることを認識するまで、データの読み出しを続ける。図５（ｂ）の例では、クラスタ番号「ＸＸ」のＦＡＴの情報より、ＸＸ番のデータが最後のデータであることを認識し、ＸＸ番のクラスタまでデータ読み出しを行う。
【００６４】
図６は、第１の実施形態の変形例に係る画像記録装置１によるＦＡＴの書き換え方法を説明する図である。図６を参照して、読み出しの際には非定常フレームのみが読み出されるよう、図４のステップＳ１１５において画像記録装置１のデータ要否判定回路３が実行する処理について、具体的に説明する。
【００６５】
図６に示すとおり、図５（ｂ）に示す従来の構造と比較すると、図４のステップＳ１１３で設定したフラグＦ１の情報を更に有している。
図６に示す例では、フレーム０からフレームＸ０の連続するフレーム画像のうち、網掛けされている部分が、生体情報等により必要なシーン、すなわち、非定常フレームと判断されたフレーム画像である。図６のフレーム４〜８、フレーム１１〜Ｘ０（Ｘ０は動画の最後のフレーム）までについては、フラグＦ１には、対応するフレーム画像が非定常フレームであることを表す値「１」が格納されている。他のフレーム（フレーム０〜４、フレーム９〜１０）については、フラグＦ１には、対応するフレーム画像が定常フレームであることを表す値「０」が格納されている。
【００６６】
データ要否判定回路３は、元の動画データ（フレーム０〜Ｘ０）までのフレーム画像だけでなく、元の動画データの最後のフレームである「フレームＸ０」以降に、フラグＦ１に値「１」の設定されている非定常フレームのみを更に記録しておく。
【００６７】
図６の例では、クラスタ番号Ｘ１以降に、非定常フレームのデータを格納していき、フレーム０〜３及びフレーム８〜最後のフレームのフレーム画像のデータが格納される。
ＦＡＴには、シーンごとに、最後のフレームに対して、そのフレームを格納するクラスタに最後のデータが格納されていることを表す情報を設定する。図６の例では、クラスタ番号Ｘ５及びＸＸのクラスタが最後のデータが格納されていることを表す情報を設定する。
【００６８】
なお、データ要否判定回路３においてある動画データから必要なシーンとして抽出されたフレームをすべてつなぎ合わせて保存する構成としてもよい。この場合は、ＦＡＴには、クラスタ番号Ｘ０についてのみ、最後のデータが格納されていることを表す情報が設定される。
【００６９】
データ要否判定回路３は、図５（ａ）のシステム領域のうち、ブートセクタ領域のロードに関する定義（以下においては、ブートセクタ情報とする）を変更する。具体的には、記録部４に記録されている動画データを読み出す際は、クラスタ番号Ｘ０番号以降のデータをロードするように設定する。これにより、必要なシーンと判定されたフレーム画像（非定常フレーム）のみを読み出して再生することが可能となる。
【００７０】
図７は、第１の実施形態の変形例に係る画像記録装置１による他のＦＡＴの書き換え方法を説明する図である。図７に示す例においても、図６と同様に、フレーム０からフレームＸ０の連続するフレーム画像のうち、網掛けされている部分が、生体情報等により必要なシーン、すなわち、非定常フレームと判断されたフレーム画像である。
【００７１】
図７に示す他のＦＡＴの書き換え方法によれば、図６を参照して説明した方法のように、元の動画データとは別に、非定常フレームのみを抽出してクラスタに格納しておくことはしない。その代わりに、図７に示す例では、ＦＡＴにおいて、各クラスタに格納されているデータが、動画の再生時に読み出すべきデータであるか否かを表す情報が追加されている。
【００７２】
データ要否判定回路３は、図５（ａ）のシステム領域のうち、上記ブートセクタ情報を変更して、フラグＦ１の値にしたがってクラスタからの読み出しを行うか否かを設定する。フラグＦ１の値にしたがって読み出しを行うことと設定すると、図６の場合と同様に、必要なシーンと判定されたフレーム画像（非定常フレーム）のみを読み出して再生することが可能となる。
【００７３】
図８は、図１の読出装置７による、図４の画像記録制御処理によって記録部４に記録された動画の再生処理を示したフローチャートである。図８を参照して、図６や図７に示す方法でＦＡＴが書き換えられた場合に、読出装置７の読出回路５が動画データを読み出す方法について説明する。
【００７４】
まず、ステップＳ１２１で、読出回路５は、動画再生の指示を受け付けたか否かを判定する。動画の再生指示を認識すると、ステップＳ１２３へと処理を移行させる。ステップＳ１２１の判定と並行させて、読出回路５は、ステップＳ１２２で、図６または図７のＦＡＴの読み出しを行っておく。
【００７５】
ステップＳ１２３では、フラグＦ１に値「１」が設定されている非定常フレームからなるシーンのみが、ブートセクタ情報が「読み出しする」になっており、必要なシーンとして再生される。非定常フレームのみを読み出す方法については、図６や図７の説明において述べたとおりである。図６のＦＡＴの書き換え方法によれば、クラスタ番号Ｘ１以降のデータが読み出されることにより、非定常フレームのみが再生される。図７のＦＡＴの書き換え方法によれば、ブートセクタ領域に設定されている「ブートセクタ情報」に基づき、図７のＦＡＴより読み出し対象と設定されているデータのみが選択的に読み出されることにより、非定常フレームのみが再生される。
【００７６】
以上説明したように、第１の実施形態の変形例に係る画像記録方法によれば、第１の実施形態と同様に、画像記録装置１において必要なシーンと判定された部分のみの再生を可能としつつ、不要なシーンも記録しておく。これにより、上記第１の実施形態と同様の効果を奏するとともに、画像記録装置１により「不要なシーン」と判定されたシーンであっても実際には撮影者や閲覧者等のユーザにとっては重要度の高いシーンが、再生不能となることを防ぐことができる。
＜第２の実施形態＞
【００７７】
上記の実施形態においては、データ要否判定回路３に不要なシーンと判定されたフレーム画像については削除する・読み出されないようにファイルシステムに設定しておく等により、不要なシーンは再生されない構成をとる。これに対し、本実施形態においては、不要なシーンもユーザの指示等に応じて再生可能であることを特徴とする。
【００７８】
以下に、本実施形態に係る画像記録装置１による画像記録の制御方法について、上記の実施形態と異なる点を中心に説明する。本実施形態においても、画像記録装置の構成については上記の実施形態と同様であり、図１に示すとおりであるので、ここでは説明を省略し、上記の実施形態と同一の構成については同一の符号を付して説明することとする。
【００７９】
図９は、本実施形態に係る画像記録装置１による画像記録処理を示したフローチャートである。以下の説明においては、上記の実施形態のうち、図２の第１の実施形態に係る画像記録処理と比較して、異なる処理を中心に説明する。
【００８０】
ステップＳ２０２及びステップＳ２０３の処理は、それぞれ図２のステップＳ１０２及びステップＳ１０３と同様である。
ステップＳ２０５で、データ要否判定回路３は、画像記録装置１に入力された元の動画データをフレーム画像ごとに記録して、ステップＳ２０６に進む。
【００８１】
ステップＳ２０６以降の処理については、図２のステップＳ１０５以降の処理とそれぞれ同様である。
このように、本実施形態に係る画像記録の制御方法によれば、必要と判断された非定常フレームだけ記録するのではなく、元の動画データについてもフレーム画像ごとに記録する（図９のステップＳ２０５）。データ要否判定回路３が、撮影者の生体情報等に基づき不要なシーンのフレームであると判定したとしても、実際には、そのフレーム画像が撮影者や閲覧者等にとって必要な画像であることもある。このような場合であっても、元の動画データも記録しておくことにより、実際には必要な画像がデータ要否判定回路３の判定結果により閲覧不能となってしまうことを回避している。
【００８２】
なお、図９のステップＳ２０３の処理に関しては、上記の実施形態と同様に、本実施形態は、動画データを仮記録部に一時的に記録させておき、データ要否判定回路３が仮記録部から読み出した動画データに対して要否を判定する場合に限定されない。動画データを仮記録部に一時的に記録させておくことなく、データ要否判定回路３が、フレームデータ取得部２から入力される動画データを直接に処理して要否を判定してもよい。また、動画データを仮記録部に一時的に記録させている間に、データ要否判定回路３が上記の要否判定を行うこととしてもよい。
【００８３】
本実施形態に係る画像記録装置１によれば、上記第１の実施形態の変形例と同様に、画像記録装置１により「不要なシーン」と判定されたシーンであっても実際には撮影者や閲覧者等のユーザにとっては重要度の高いシーンが再生不能となることを防ぐ。
＜第３の実施形態＞
【００８４】
上記の実施形態においては、画像記録装置１は、他の装置において取得された動画データと生体情報とが入力されると、入力された生体情報より各フレーム画像に対応付けてフラグＦ１の情報を付していく。これに対し、本実施形態においては、画像処理装置１′が動画データと生体情報とを取得している点で異なる。
【００８５】
以下に、本実施形態に係る画像記録装置１′による画像記録の制御方法について、上記第１の実施形態と異なる点を中心に説明する。
図１０は、本実施形態に係る画像記録装置の構成図である。図１０に示す画像記録装置１´は、図２の画像記録装置１と比較すると、生体情報取得部６及びフレームデータ取得部２を更に備える点で異なる。
【００８６】
フレームデータ取得部２は、被写体が撮影された動画データをフレーム画像ごとに取得する撮影部である。
生体情報取得部６は、本実施形態においては、画像記録装置１´に設けられたセンサ等により、撮影中の撮影者の生体情報等の情報を取得して、取得した生体情報等をデータ要否判定回路３に通知する。生体情報取得部６が取得する情報の具体例については、上記第１の実施形態の説明において述べたとおりである。
【００８７】
図１１を参照して、本実施形態における画像記録の制御方法について、具体的に説明する。
図１１は、本実施形態に係る画像記録装置１´による画像記録処理を示したフローチャートである。
【００８８】
まず、ステップＳ３０１で、データ要否判定回路３は、動画像の撮影が開始されているか否かを判定する。ステップＳ３０１の判定は、データ要否判定回路３において、フレームデータ取得部２からの動画データの入力開始を認識したことに基づき行う。
【００８９】
ステップＳ３０２以降の処理については、図２のステップＳ１０２以降の処理とそれぞれ同様である。すなわち、ステップＳ３０２において、データ要否判定回路３は、生体情報取得部６から入力された生体情報等を用いて解析を行い、データフレーム取得部２において取得した各フレーム画像に順次フラグＦ１を付してゆく。データ要否判定回路３は、フラグＦ１の値により、必要なシーンか不要なシーンかを判断し、必要なシーンのフレーム画像を記録部４に記録する一方で、不要なシーンについては、削除する。
【００９０】
本実施形態に係る画像記録装置１´によれば、上記第１の実施形態と同様の効果を得ることができる。
＜第３の実施形態の変形例＞
【００９１】
上記第３の実施形態についても、第１の実施形態の変形例と同様に、不要なシーンのフレーム画像については削除せず、読出装置７の読み出しの対象外となるように処理することができる。
【００９２】
以下に、第３の実施形態に係る画像記録の制御方法の変形例について、図１２を参照して説明する。第３の実施形態の変形例に係る画像記録装置の構成については、図１０に示すとおりであるので、ここでは説明を省略し、上記第３の実施形態と同一の構成については同一の符号を付して説明することとする。
【００９３】
図１２は、第３の実施形態の変形例に係る画像記録装置１´による画像記録処理を示したフローチャートである。実施例では、画像記録装置１´は、第１の実施形態の変形例と同様に、ＦＡＴを採用するファイルシステムの下において動画データを含む各種ファイルを管理している。
【００９４】
図１２のステップＳ３１１乃至ステップＳ３１３の処理は、それぞれ図１１のステップＳ３０１乃至ステップＳ３０３の処理と同様である。ステップＳ３１２において、生体情報取得部６より入力される生体情報より、フレームデータ取得部２から入力された動画データの各フレームに対応付けて図３のフラグＦ１が設定される。そして、動画データがＲＡＭ等の仮記録部に一時的に記録されると、ステップＳ３１５へと処理を移行させる。
【００９５】
ステップＳ３１５で、データ要否判定回路３は、ステップＳ３１２において各フレーム画像に対応付けて設定したフラグＦ１を用いて、ファイルアロケーションテーブル（ＦＡＴ）の書き換えを行う。
【００９６】
ステップＳ３１５のＦＡＴの書き換え処理の詳細については、図５乃至図７を参照して第１の実施形態の変形例の説明において述べたとおりである。第３の実施形態の変形例についても、同様に、図６または図７に示す方法のいずれかにより、ＦＡＴの書き換えを行う。
【００９７】
また、ステップＳ３１３の処理についても、図４のステップＳ１１３の処理と同様に、必ずしも動画データを仮記録部に一時記録させておく場合に限定されない。動画データを仮記録部に一時的に記録させておくことなく、データ要否判定回路３が、フレームデータ取得部２において取得した動画データを直接に処理して要否を判定してもよい。また、動画データを仮記録部に一時的に記録させている間に、データ要否判定回路３が上記の要否判定を行うこととしてもよい。
【００９８】
第３の実施形態の変形例によれば、上記の第１の実施形態の変形例と同様の効果を得ることができる。
＜第４の実施形態＞
【００９９】
上記の第２の実施形態においては、他の装置において取得した動画データについて、必要なシーンのみを記録するだけでなく、不要なシーンもユーザの指示等に応じて再生可能なように、元の動画データについても記録しておくよう画像記録の制御を行っている。一方、上記の第３の実施形態においては、自装置において取得した動画データについて、必要なシーンのみの記録を行っている。これに対し、本実施形態に係る画像記録装置では、自装置において取得した動画データに対して、必要なシーンのみを記録するだけでなく、不要なシーンも再生可能となるよう、元の動画データも記録しておくよう画像記録の制御を行う。
【０１００】
以下においては、自装置において取得した動画データに対して元の動画データも記録しておくよう画像記録の制御を行う方法について、上記第２及び３の実施形態と異なる点を中心に説明する。なお、ここで説明する第４の実施形態に係る画像記録装置の構成については、上記第３の実施形態と同様であり、図１０に示すとおりであるので、ここでは説明を省略し、上記の実施形態と同一の構成については同一の符号を付して説明する。
【０１０１】
図１３は、本実施形態に係る画像記録装置１´による画像記録処理を示したフローチャートである。
まず、ステップＳ４０１乃至ステップＳ４０３の処理については、それぞれ第３の実施形態の図１１に示すステップＳ３０１乃至ステップＳ３０３の処理と同様である。
【０１０２】
ステップＳ４０５の処理については、第２の実施形態の図９に示すステップＳ２０５の処理と同様である。
ステップＳ４０６以降の処理については、第２及び第３の実施形態の処理、すなわち、図９のステップＳ２０６以降及び図１１のステップＳ３０５以降の処理と同様である。
【０１０３】
このように、本実施形態に係る画像記録装置１´によれば、上記第３の実施形態のように、自装置で取得した動画データに対して、上記第２の実施形態のように、元の動画データを記録しつつ、必要なシーンのみを記録することが可能となる。したがって、上記の実施形態と同様の効果を奏する。
【０１０４】
なお、上記の説明においては記載を省略しているが、本実施形態に係る画像記録の制御方法を、例えばＦＡＴを採用するファイルシステムの下において動画データ等の各種ファイルを管理する場合に適用可能であることは勿論である。
＜第５の実施形態＞
【０１０５】
上記の第１〜第４の実施形態においては、画像記録装置１、１´において必要なシーンのフレーム画像と判定したフレームのみを、読出装置７において再生する方法について説明している。これに対し、本実施形態においては、動画の再生時には、画像記録装置１のデータ要否判定回路３においてシーンの要否を判定した結果を利用して画像処理を施した画像を出力することを特徴とする。これは、例えば第２の実施形態や第４の実施形態のように、元の動画データも併せて記録部４に記録しておいたような場合に実現可能である。あるいは、第１の実施形態の変形例及び第３の実施形態の変形例のように、不要なシーンのフレーム画像と判定した場合であっても読み出しが可能な構成をとる場合に実現が可能である。
【０１０６】
以下に、先に説明した方法によりシーンの要否を判定した結果を利用して、図１や図１０に示す読出装置７（の読出回路５）が、動画データを画像記録装置１、１´から読み出して所定のフレーム画像に画像処理を施した上で再生する方法について、具体的に説明する。
【０１０７】
所定のフレーム画像に画像処理を施す方法としては、例えば、不要なシーンと判定されたフレーム画像（定常フレーム）については輝度を低下させ、必要なシーンと判定されたフレーム画像（非定常フレーム）については輝度に変化を加えない。これにより、非定常フレーム、すなわち、必要なシーンと判定されたフレーム画像を強調して再生することができる。
【０１０８】
なお、必要なシーンと判定されたフレーム画像を強調するためには、再生される動画のうち、非定常フレームが定常フレームに対して強調されるよう、定常フレームと非定常フレームのうち、少なくとも一方に対して輝度を変化させる処理を施すこととすればよい。
【０１０９】
輝度以外にも、例えば、非定常フレームと比較して、定常フレームのＳ／Ｎ（Signal to Noise ratio）比を小さくする、鮮鋭度を低下させる、解像度を低下させる、彩度を低下させる、被写体等の変形処理を大きくする等の画像処理を実施してもよい。上記のとおり、定常フレームと比較して、非定常フレームに対して輝度の変化を強調する、Ｓ／Ｎ比を大きくする、鮮鋭度を上げる、解像度を上げる等の画像処理を実施してもよい。更には、Ｓ／Ｎ比、鮮鋭度、解像度等が定常フレームと非定常フレームとで差が出るように、定常フレーム及び非定常フレームの両方に対して画像処理を行うこととしてもよい。
【０１１０】
あるいは、例えば、定常フレームが非定常フレームよりも被写体にディストーションが多くかかるよう画像処理を行ってもよい。
【０１１１】
あるいは、処理対象のフレーム画像より時間的に前のフレーム画像の画像データを使用して画像処理を行うこととしてもよい。
また、非定常フレームより補間フレーム画像を生成し、生成した補間フレーム画像を、当該非定常フレームの前あるいは後ろに挿入することとしてもよい。すなわち、フレームレートが３０ｆｐｓ（Frames Per Second）で取得した動画に対し、補間フレームを挿入することにより、６０ｆｐｓの動画データを生成・再生することとしてもよい。
【０１１２】
また、少なくとも２つの定常フレームを合成してもよいし、定常フレームが非定常フレームに対してぼかし量が多い画像となるよう画像処理を実施してもよい。
補間フレームを挿入する処理、フレームの合成処理等について、図１４及び図１５を参照して説明する。
【０１１３】
図１４は、レート変換の過程を模式的に示す図である。フレーム間補間による高フレームレート化を行い、非定常フレームに対する注視度が上がるようにする。なお、ここで説明するレート変換については、一般的に使用されるレート変換であり、これに限定されるものではない。
【０１１４】
図１４（Ａ）は、取得したフレーム画像の並びを模式的に示す図である。奥側が古い画像で前側が新しい画像で、中央が非定常フレームＦｎである。図１４（Ｂ）、（Ｃ）に、非定常フレームＦｎの前２枚目と３枚目で、その中間画像を作成する例を示す。
【０１１５】
フレーム間補間では、隣接したフレーム画像Ｆｎ−３とＦｎー２から、特徴点、対応点を検出し、中間のフレームデータを生成して、フレーム画像Ｆｎ−２．５を作成する（図１４（Ｃ））。
【０１１６】
非定常フレームＦｎの近傍区間（Ｆｎ−３〜Ｆｎ＋３)について、同様に、中間フレームのデータを作成し、中間フレーム画像を元の動画像に合成すると図１４（Ｄ）に示すような動画像が作成される。補間処理により作成された画像を破線で示し、カッコ内の番号は、元の画像のフレーム番号を示す。
【０１１７】
このようなレート変換された動画像を再生すると、非定常フレームＦｎの近傍でスローモーションになるような画像が再生される。さらに、非定常フレームＦｎに近づくほど合成画像の数を増やして、非定常フレームのより近傍でスローモーション効果が強調されるようにしてもよい。
【０１１８】
また、読出回路５は、ステップＳ４０８で、フレームレートを変更するフレーム補間処理の代わりにフレーム間のフィルタ処理を行うようにしてもよい。図１５は、図１等の読出回路５によるフレーム間のフィルタ処理を説明する図である。
【０１１９】
読出回路５は、フレーム画像Ｆｍにつき、その前後のフレーム画像（Ｆｍ−i〜Ｆｍ＋ｉ）を用いて、下式に示す合成処理を行い、Ｆ´ｍを生成する。
【数１】
2014192755.tif 000003
【０１２０】
読出回路５が、かかる処理を行うことで、フレーム画像Ｆｍからぼけた画像Ｆ´ｍを作成することができる。読出回路５は、非定常フレームＦｎの近傍に関してはフレーム間のフィルタ処理は行わず、非定常フレームＦｎから離れるにつれて、時間的な帰還率を大きくし、ぼけた画像を作成する。非定常フレームＦｎの近傍で、ぼけた画像からぼけのないクリアな画像に変わることで、非定常フレームＦｎをより印象づけることができる。
＜適用例＞
【０１２１】
以下においては、上記の各実施形態に係る画像記録の制御方法を適用した装置の具体例について説明する。
図１６は、上記の実施形態に係る画像記録の制御方法をデジタルカメラに適用した場合について説明する図である。
【０１２２】
図１６（ａ）は、上記の実施形態に係る画像記録の制御方法を適用したデジタルカメラ８０の外観図である。図１６（ａ）のデジタルカメラ８０に生体情報を取得するためのセンサ等の手段を設けることについては、公知の技術であるのでここでは詳細な説明は省略する。
【０１２３】
図１６（ｂ）は、デジタルカメラ８０の構成を示す図である。デジタルカメラ８０は、撮像部８１、表示部８３、表示用メモリ８２、画像圧縮伸張部８４、入力部８５、ＲＡＭ（Random Access Memory）８８、ＲＯＭ（Read Only Memory）８９、記録部８６及びＣＰＵ８７を有する。
【０１２４】
入力部８５は、十字キーやボタン等や生体情報取得用のセンサから構成され、ユーザの入力やユーザの生体情報を受け付ける。例えば撮影の開始・終了の指示や、記録した動画の再生等の指示を受け付ける。
撮像部８１は、図１０のフレームデータ取得部２に対応する。画像圧縮伸張部８４は、撮像部８１から出力された画像データを所定の圧縮アルゴリズムを用いて圧縮したり、伸張したり等の処理を行う。記録部８６は、図１０（や図１の）のデータ要否判定回路３の機能を備え、デジタルカメラ８０本体のフラッシュメモリや着脱可能な記録媒体等の記録部４に、動画データ等の書き込みを行う。
【０１２５】
ＲＯＭ８９は、図１０等のデータ要否判定回路３の機能を制御プログラムにより実現する場合には、当該制御プログラムを格納する。ＣＰＵ８７は、ＲＯＭ８９から当該制御プログラムを読み出して実行させることにより、上記の各実施形態の画像記録の制御方法を実現させる。
【０１２６】
表示部８３は、液晶表示装置等からなり、例えば記録した動画の再生時には、動画を表示させる。表示用メモリ８２は、表示部８３に画像を表示するときに、映像信号を一時的に保持するためのメモリである。
【０１２７】
ＲＡＭ８８は、例えば上記の実施形態のうち、図１０のフレームデータ取得部２で取得した動画データを一時的に記録する構成をとる場合は、撮像部８１で取得したデータを一時的に保存するメモリ領域である。
【０１２８】
図１７、図１８は、上記の実施形態に係る画像記録の制御方法を内視鏡に適用した場合について説明する図である。
図１７（ａ）は、上記の実施形態に係る画像記録の制御方法を適用した内視鏡２０の外観図である。図１７（ａ）の内視鏡２０は、光源９０から照明の供給を受けて、被検者の体腔内の画像を先端部Ｐ２のスコープで取得する。
【０１２９】
プロセッサ１００は、スコープで取得した画像に所定の画像処理を施し、モニタ等の表示部５０に表示させる。表示部５０には、正面部Ｐ３にカメラやセンサ等が設けられている。医師は、手元の操作部Ｐ１のボタン等により内視鏡２０の各部を操作して、表示部５０に表示される画像により、病変の観察や鉗子挿入口２１から挿入した鉗子で患者の体腔内の組織・異物を除去・回収する等の処置を施す。
【０１３０】
図１７（ａ）の内視鏡２０の操作部Ｐ１や先端部Ｐ２、表示部５０の正面部Ｐ３を通じて、撮影者である医師や、被検者である患者の生態情報を取得する方法については、後述する。
【０１３１】
図１７（ｂ）は、図１７（ａ）の内視鏡２０と接続されるプロセッサ１００の構成図である。プロセッサ１００は、入力部１０５、画像圧縮伸張部１０４、記録部１０６、ＲＡＭ１０８、ＲＯＭ１０９、表示用メモリ１０２及びＣＰＵ１０７を有する。
【０１３２】
入力部１０５は、各種ボタンから構成され、術者である医師等のユーザの入力を受け付ける。
プロセッサ１００には、内視鏡２０の先端部Ｐ２のスコープが、図１０のフレームデータ取得部２に対応する。画像圧縮伸張部１０４の動作は、図１６（ｂ）の画像圧縮伸張部１０４と同様である。記録部１０６は、図１０（や図１）のデータ要否判定回路３の機能を備え、内視鏡２０を含む内視鏡システムの記録媒体等の記録部４に、動画データ等の書き込みを行う。
【０１３３】
ＲＯＭ１０９やＣＰＵ１０７、図１７（ａ）の表示部５０や表示用メモリ１０２、ＲＡＭ１０８の動作については、それぞれ図１６のＲＯＭ８９、ＣＰＵ８７、表示部８３、表示用メモリ８２及びＲＡＭ８８と同様である。
【０１３４】
図１７に例示する内視鏡２０にて動画を撮影するときに、内視鏡２０の操作部Ｐ１や先端部Ｐ２あるいは表示部５０の正面部Ｐ３にて取得する生体情報について、図１８及び図１９を参照して具体的に説明する。
【０１３５】
図１８は、内視鏡２０において取得する生体情報の例について説明する図である。
例えば内視鏡２０の操作部Ｐ１や、スコープの先端部Ｐ２（あるいは蛇管部）にセンサを取り付け、例えば、撮影者である医師Ｄと被検者である患者Ｓとの会話より、それぞれ医師Ｄや患者Ｓの呼吸、音響、鼻息等を生体情報として取り込むことができる。
【０１３６】
あるいは、モニタ等の表示部５０の正面部Ｐ３にカメラや各種センサを取り付けて、医師Ｄの特定のエリアにおける注視時間や表情等を生体情報として取り込むことができる。
なお、内視鏡２０に取り付けるセンサについては、操作部２０やスコープの先端部Ｐ２に限定されるものではない。一般的に、内視鏡２０を用いて検査や手術等を行う環境はさほど広くない。このため、操作部２０やスコープの先端部Ｐ２以外に設ける場合であっても、例えば医師Ｄや患者Ｓの声等については検出することが可能である。
【０１３７】
図１９は、内視鏡２０において取得する生体情報の例について説明する他の図である。
例えば内視鏡２０のスコープの先端部Ｐ２や蛇管部にセンサを取り付け、被写体である患者Ｓの心拍数や血圧等を生体情報として取り込むこともできる。これは、診断であれば患者Ｓの状態が安定した状態が必要なシーンの１つであり、もう１つは患者の苦痛等の異常状態を医師Ｄが知ることができる状態が必要なシーンであり、患者Ｓの状態（不安、緊張、安堵等）により心拍数や血圧等が変化すると考えられ、そうであるとすれば、患者Ｓの状態が興奮状態から安静状態、あるいは安静状態から興奮状態、もしくは安静状態から生体情報が低位な異常状態に変化したときに撮影された画像は、「必要なシーン」に含まれると推定されることに基づく。
【０１３８】
なお、本発明は上述した実施形態そのままに限定されるものではく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。
【符号の説明】
【０１３９】
１      画像記録装置
２      フレームデータ取得部
３      データ要否判定部
４      記録部
５      読出回路
６      生体情報取得部
７      読出装置
２０    内視鏡
８０    デジタルカメラ
１００  プロセッサ
【図１】
2014192755.tif 000004
【図２】
2014192755.tif 000005
【図４】
2014192755.tif 000006
【図５】
2014192755.tif 000007
【図６】
2014192755.tif 000008
【図７】
2014192755.tif 000009
【図８】
2014192755.tif 000010
【図９】
2014192755.tif 000011
【図１０】
2014192755.tif 000012
【図１１】
2014192755.tif 000013
【図１２】
2014192755.tif 000014
【図１３】
2014192755.tif 000015
【図１４】
2014192755.tif 000016
【図１５】
2014192755.tif 000017
【図１６】
2014192755.tif 000018
【図１７】
2014192755.tif 000019
【図１８】
2014192755.tif 000020
【図１９】
2014192755.tif 000021
【図３】
2014192755.tif 000022