(57)【特許請求の範囲】
【請求項１】
オリジナルフレームの画像および前記オリジナルフレームの画像から生成された補間フレームの画像を含む動画像データを再生する再生装置であって、
前記動画像データを受け取り、前記動画像データを表示部へ出力する再生部を備え、
前記再生部は、ユーザからの指示としてスロー再生を実行するスロー再生指令を受け取った場合、前記ユーザからの指示に基づき、前記動画像データから、前記オリジナルフレームの画像データのみを選択し、順次前記表示部へ出力する再生装置。
【請求項２】
前記ユーザからの指示は、動画像再生中における一時停止指令であって、
前記再生部は、前記一時停止指令を受け取った場合、前記動画像データから、前記オリジナルフレームの画像データの１つを前記表示部へ出力し続ける請求項１に記載の再生装置。
【請求項３】
前記ユーザからの指示は、動画像再生中における一時停止指令であって、
前記再生部は、前記一時停止指令を受け取った場合、前記動画像データから、前記一時停止指令を受け取った時点の直後に再生すべき前記オリジナルフレームの画像データを前記表示部へ出力し続ける請求項１に記載の再生装置。
【請求項４】
前記ユーザからの指示は、動画像再生中における一時停止指令であって、
前記再生部は、前記一時停止指令を受け取った場合、前記動画像データから、前記一時停止指令を受け取った時点の直前に再生した前記オリジナルフレームの画像データを前記表示部へ出力し続ける請求項３に記載の再生装置。
【請求項５】
前記動画像データにおける前記オリジナルフレームおよび前記補間フレームの配置を定義する定義情報を予め格納した定義情報格納部をさらに備え、
前記再生部は、前記ユーザの指令および前記定義情報に基づき、前記動画像データから、前記オリジナルフレームの画像データを選択的に前記表示部へ出力する請求項１に記載の再生装置。
【請求項６】
前記動画像データにおける前記オリジナルフレームおよび前記補間フレームの配置を示す管理情報を前記動画像データから決定する管理情報作成部をさらに備え、
前記再生部は、前記ユーザの指令および前記管理情報に基づき、前記動画像データから、前記オリジナルフレームの画像データを選択的に前記表示部へ出力する請求項１に記載の再生装置。
【請求項７】
撮像によって、オリジナルのフレーム画像のデータを生成する撮像部と、
前記オリジナルのフレーム画像から補間フレームの画像データを生成し、前記オリジナルのフレーム画像間に挿入し、動画像データを生成する記録部と、
前記動画像データを受け取り、前記動画像データを表示部へ出力する再生部を備え、
前記再生部は、ユーザからの指示としてスロー再生を実行するスロー再生指令を受け取った場合、前記ユーザからの指示に基づき、前記動画像データから、前記オリジナルフレームの画像データのみを選択し、順次前記表示部へ出力する撮像装置。
【請求項８】
オリジナルフレームの画像および前記オリジナルフレームの画像から生成された補間フレームの画像を含む動画像データを再生する再生装置に用いられるコンピュータプログラムであって、前記動画像データを受け取り、前記動画像データを表示部へ出力する再生部に搭載されたコンピュータに、
前記動画像データを受け取り、前記動画像データを表示部へ出力させるステップと、
ユーザからの指示としてスロー再生を実行するスロー再生指令を受け取った場合、前記ユーザからの指示に基づき、前記動画像データから、前記オリジナルフレームの画像データのみを選択し、順次前記表示部へ出力させるステップと、
を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は補間フレームを含む画像データを再生する再生装置に関する。
【背景技術】
【０００２】
特許文献１は画像処理装置を開示する。この画像処理装置は、複数のフレーム画像間に挿入する補間フレーム画像を生成する。特許文献１の画像処理装置は、複数のフレーム画像の各フレーム内の画素値の変化に基づいて、補間フレーム画像に含まれる補間画素の動きベクトルの探索範囲を算出し、算出した探索範囲内において推定した動きベクトルに基づいて、補間フレーム画像を生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７７７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術では生成した補間フレーム画像を含む動画ファイルを再生するとき、より適切なフレームが再生されるよう制御されてはいなかった。
【０００５】
本開示は補間フレーム画像が挿入された動画像を再生するとき、より適切なフレームが再生される再生装置を提供する。
【課題を解決するための手段】
【０００６】
本開示のある実施形態における再生装置は、オリジナルフレームの画像および前記オリジナルフレームの画像から生成された補間フレームの画像を含む動画像データを再生する再生装置であって、前記動画像データを受け取り、前記動画像データを表示部へ出力する再生部を備え、前記再生部は、ユーザからの指示に基づき、前記動画像データから、前記オリジナルフレームの画像データを選択的に前記表示部へ出力する。
【発明の効果】
【０００７】
本開示の技術によれば、補間フレーム画像がフレーム画像間に挿入された一連の動画像を再生するとき、より適切なフレームが再生されるよう制御できる。
【図面の簡単な説明】
【０００８】
【図１】本実施の形態にかかるデジタルビデオカメラの構成を示すブロック図である。
【図２】本実施の形態にかかるデジタルビデオカメラの画像処理部の記録部の構成を示すブロック図である。
【図３】本実施の形態にかかるデジタルビデオカメラにおける垂直同期信号に対するフレーム配置を説明するための図である。
【図４】本実施の形態にかかるデジタルビデオカメラの画像処理部の再生部の構成を示すブロック図である。
【図５】本実施の形態にかかるデジタルビデオカメラの再生動作を示すフローチャートである。
【図６】本実施の形態にかかるデジタルビデオカメラの再生部の他の構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、本発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１０】
（実施の形態）
まず、本開示の再生装置をデジタルビデオカメラに適用した実施の形態を説明する。以下の説明において、動画像を構成する個々の静止画像を示すデータを「フレーム画像」または単に「フレーム」と称する。また、連続する２つのフレームの間に挿入するフレームを「補間フレーム画像」または単に「補間フレーム」と称する。
【００１１】
［１−１．概要］
本実施の形態のデジタルビデオカメラ（以下、単に「カメラ」と呼ぶことがある。）は動画像を撮影できる撮像装置である。本実施の形態のデジタルビデオカメラは、動画像の撮影の際、リアルタイムに、または、撮影後、ユーザの指示などによってフレームレートを変換することができる。本実施の形態のデジタルビデオカメラは、撮影により得られたオリジナルのフレーム画像間に、オリジナルのフレーム画像から生成された補間フレーム画像を挿入することにより、フレームレートを変更する。例えば、毎秒６０フレームの動画撮影を行っている状態から、フレーム間に補間フレーム画像を挿入することによって毎秒１２０フレームの動画撮影へと切り替えることができる。デジタルビデオカメラが、フレームレートを切り替えるタイミングは、ユーザによるフレームレート変更の指示があったときでもよいし、撮影によって取得した画像（以下、「撮影画像」と称する場合がある。）から得られる情報（輝度情報など）が変更されたときであってもよいし、所定のモード（低速撮影モードなど）が選択されたときでもよい。
【００１２】
また、本実施の形態のデジタルビデオカメラは、補間フレームが挿入された動画像データをスロー再生など通常よりも再生速度が遅い再生する場合、あるいは、再生を一時停止する場合に動画像データ中のオリジナルのフレーム画像を選択的に表示する。
【００１３】
［１−２．デジタルビデオカメラの構成］
以下、図１を参照しながら本実施の形態にかかるデジタルビデオカメラの構成を説明する。図１は、デジタルビデオカメラ１００の構成を示すブロック図である。以下の図面において、ブロック図中の実線で示される矢印は、主に、制御信号の流れを示し、破線で示される矢印は、画像データの流れを示している。デジタルビデオカメラ１００は、１または２以上のレンズを含む光学系１１０により形成された被写体像をＣＭＯＳイメージセンサ１４０で撮像する。ＣＭＯＳイメージセンサ１４０で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。
【００１４】
光学系１１０は、ズームレンズやフォーカスレンズを含む複数のレンズ群を有する。ズームレンズを光軸に沿って移動させることにより、被写体像の拡大および縮小をすることができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整することができる。図１には３つのレンズが例示されているが、光学系１１０を構成するレンズの数は、要求される機能に応じて適宜決定される。
【００１５】
レンズ駆動部１２０は、光学系１１０に含まれる各種レンズを駆動する。レンズ駆動部１２０は、例えばズームレンズを駆動するズームモータや、フォーカスレンズを駆動するフォーカスモータを含む。
【００１６】
絞り３００は、使用者の設定に応じて、または、自動で、開口部の大きさを調整し、透過する光の量を調整する。
【００１７】
シャッタ１３０は、ＣＭＯＳイメージセンサ１４０に入射させる光を遮断する。
【００１８】
ＣＭＯＳイメージセンサ１４０は、光学系１１０によって形成された被写体像を光電変換することにより、画像データを生成する撮像素子である。ＣＭＯＳイメージセンサ１４０は、露光、転送、電子シャッタなどの各種の動作を行う。ＣＭＯＳイメージセンサ１４０は、一定時間ごとに新しい画像データを生成する。本実施形態では撮像素子としてＣＭＯＳイメージセンサ１４０を用いているが、ＣＣＤイメージセンサやＮＭＯＳイメージセンサなどの他の種類の撮像装置を用いてもよい。
【００１９】
Ａ／Ｄコンバータ（ＡＤＣ）１５０は、ＣＭＯＳイメージセンサ１４０に電気的に接続され、ＣＭＯＳイメージセンサ１４０で生成されたアナログ画像データをデジタル画像データに変換する回路である。
【００２０】
本実施形態では、光学系１１０、絞り２５０、シャッタ１３０、ＣＭＯＳセンサ１４０、ＡＤＣ１５０を含む複数の要素が、撮像部４００を構成している。撮像部４００により、連続する複数のフレームを含むデジタル動画像データが生成され、出力される。
【００２１】
画像処理部１６０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）またはマイクロコンピュータ（マイコン）などで実現され得る。画像処理部１６０は、撮影によって生成した画像データに記録ための処理を行う記録部１６０ａと、再生のための処理を行う再生部１６０ｂとを含む。このため、画像処理部１６０は、記録装置および再生装置として機能する。
【００２２】
画像処理部１６０の記録部１６０ａは、ＡＤＣ１５０に電気的に接続され、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して各種の処理を施し、表示モニタ２２０に表示するための画像データや、メモリカード２００に格納するための画像データを生成する。記録部１６０ａは、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して、例えば、ガンマ補正、ホワイトバランス補正、傷補正などの各種の処理を行う。また、記録部１６０ａは、ＣＭＯＳイメージセンサ１４０で生成された画像データを、例えば、Ｈ．２６４規格やＭＰＥＧ２規格等に準拠した圧縮形式により圧縮する。
【００２３】
記録部１６０ａは、さらに、ＣＭＯＳイメージセンサ１４０によって生成される画像データ（フレーム画像）に基づいて、動きベクトルを算出することができる。記録部１６０ａは、算出した動きベクトルと、その動きベクトルに関連するフレーム画像とに基づいて、動き補償による補間フレーム画像を生成することができる。また、記録部１６０ａは、動き補償によらず、関連する複数のフレーム画像を所定の比率で足し合わせて平均化することにより補間フレームを生成することができる。これらの補間フレームの生成処理の詳細については後述する。
【００２４】
コントローラ１８０は、デジタルビデオカメラ全体を制御する制御手段である。コントローラ１８０は、半導体素子などで実現可能である。コントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、例えば、マイコンなどで実現できる。あるいは、画像処理部１６０等とともに１つの半導体チップで実現してもよい。コントローラ１８０は、図１に示すように、画像処理部１６０その他の各部に電気的に接続され、各部に制御信号を送る。
【００２５】
また、コントローラ１８０は、垂直同期信号を生成する。デジタルビデオカメラ１００の動作は、コントローラ１８０が生成した垂直同期信号が示すタイミングに従って動作を行う。
【００２６】
バッファ１７０は、画像処理部１６０及びコントローラ１８０に電気的に接続され、これらのワークメモリとして機能する記憶領域である。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。
【００２７】
カードスロット１９０は、メモリカード２００を装着可能であり、機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納可能である。
【００２８】
メモリカード２００に記録された画像データは、画像処理部１６０の再生部１６０ｂへ読み出され、表示モニタ２２０へ出力されることによって、画像データに映像が表示モニタ２２０に表示される。
【００２９】
内部メモリ２３０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２３０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を記憶している。制御プログラムは、コントローラ１８０によって実行される。
【００３０】
操作部２１０は、使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部２１０は、例えば、使用者からの操作を受け付ける十字キーや決定ボタン等を含む。
【００３１】
表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０で生成した画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルビデオカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。
【００３２】
ジャイロセンサ２４０は、デジタルビデオカメラ１００の単位時間あたりの角度変化すなわち角速度に基づいてヨーイング方向のぶれおよびピッチング方向の動きを検出する動き検出器である。ジャイロセンサ２４０は、検出した動きの量を示すジャイロ信号をコントローラ１８０に出力する。なお、ジャイロセンサ２４０の代わりに、またはジャイロセンサ２４０に加えて加速度センサのような他の種類の動き検出器が設けられていてもよい。動き検出器は、撮影時の自機の動きを検出できるセンサであれば、その構成は特定のものに限定されない。
【００３３】
なお、上記の構成はあくまでも一例であり、画像処理部１６０が後述する動作を実行するように構成されている限り、デジタルビデオカメラ１００はどのように構成されていてもよい。
【００３４】
［１−３．動作］
続いて、本実施の形態にかかるデジタルビデオカメラ１００の動作を説明する。本実施の形態にかかるデジタルビデオカメラ１００は、補間フレーム画像を作成することによってフレームレートを変更することが可能である。また、再生時の所定の操作指令を受けた場合、補間フレームではなくオリジナルフレームを表示モニタ２２０に表示する。
【００３５】
ユーザが、デジタルビデオカメラ１００の電源をＯＮにすると、コントローラ１８０は、デジタルビデオカメラ１００を構成する各部に電力を供給する。デジタルビデオカメラ１００は、撮影モードと、再生モードを有し、ユーザの操作等により、撮影モードと再生モードとを切り換えることができる。電力が供給された後、撮影モードに設定されていれば、コントローラ１８０は、内部メモリ２３０から必要な情報を読出し、読み出した情報に基づき光学系１１０やＣＭＯＳイメージセンサ１４０などを初期化し、撮影可能な状態にセットアップを行なう。撮影可能な状態にするためのセットアップが完了すると、コントローラ１８０は、ＣＭＯＳイメージセンサ１４０が撮影し、Ａ／Ｄコンバータ１５０によってデジタル信号に変換された画像信号をスルー画像として表示可能な信号に変換するように画像処理部１６０の記録部１６０ａに指示し、生成されたスルー画像を表示モニタ２２０に表示するように制御する。表示モニタ２２０に表示されたスルー画像を見ることにより、ユーザは撮影中の画角や被写体などを確認することができる。
【００３６】
ユーザは、任意のタイミングで、動画記録ボタン（操作部２１０の一つ）を押下することにより、コントローラ１８０に動画像の記録指示を行うことができる。コントローラ１８０は、動画像の記録指示を受け付けると、ＣＭＯＳイメージセンサ１４０が撮影している画像を、所定の規格に準拠した形式により動画像として処理し、処理後の動画像データをメモリカード２００へ出力し、メモリカード２００へ動画像データを記録する。一方、ユーザは、動画記録中の任意のタイミングで、動画記録ボタンを押下することにより、コントローラ１８０に動画像の記録終了指示を行うことができる。
【００３７】
デジタルビデオカメラ１００は、動画記録中において、撮影する動画像のフレームレートを変更することができる。フレームレートが変更されるタイミングは、ユーザによる指示があったときでもよいし、撮影画像から得られる情報（輝度情報など）が変更されたときであってもよいし、所定のモード（低速撮影モードなど）が選択されたときでもよい。あるいは、予めフレームレートの変更をユーザが設定しておいてもよい。
【００３８】
画像処理部１６０は、フレームレートの変更が必要な場合、フレーム画像間に挿入する補間フレーム画像を作成する。
【００３９】
図２は、画像処理部１６０の記録部１６０ａの構成を示すブロック図である。図２に示すように、記録部１６０ａは、画像入力部３００と、連続する２つのフレーム間の動きベクトルを算出する動きベクトル算出部３０２と、動きベクトルに基づく補間フレームを生成する動き補償補間画像作成部３０３と、記録制御部３０８とを含む。
【００４０】
画像入力部３００は、ＣＭＯＳイメージセンサ１４０によって生成し、Ａ／Ｄコンバータ１５０によってデジタル信号に変換された画像信号を受け取る。画像信号は、複数のフレーム画像によって構成されるので、フレーム画像は所定のフレームレートで逐次フレーム画像が受け取られる。画像入力部３００が受け取ったフレーム画像は、動きベクトル算出部３０２および記録制御部３０８へ逐次出力される。
【００４１】
動きベクトル算出部３０２は、時間的に連続した２つのフレーム画像から動きベクトルを算出する。ここで時間的に連続したフレームとは、時間軸上において隣接しており、他のフレームを挟まない２つのフレームをいう。例えば、１６画素×１６画素のマクロブロック単位で動きベクトルの検出を行なう。具体的には、時間的に連続した２つのフレームのうち、一方のフレーム（基準フレームと呼ぶ。）内のあるマクロブロックと、他方のフレーム（探索フレームと呼ぶ。）内の対応する位置にある１６画素×１６画素のマクロブロックとにおいて、それぞれのマクロブロック内の対応する位置にある画素の輝度値の差をそれぞれ求め、合計することにより、差分（ＳＡＤ；  Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を求める。この差分を、探索フレーム内におけるマクロブロックの位置を水平方向および垂直方向に１画素ずつずらしながら求める。差分は、所定の探索範囲で、つまり、水平方向および垂直方向に所定の画素数分ずらした範囲で計算する。
【００４２】
探索範囲内で差分を比較し、差分が最小となるときの探索フレーム内におけるマクロブロックの位置を決定する。基準フレーム内のマクロブロックの中心から、決定した探索フレーム内のマクロブロックの中心までの距離および方向を求める。これにより、動きベクトルが算出される。基準フレーム内の他のマクロブロックについても同様にして動きベクトルを求める。
【００４３】
動きベクトル算出部３０２は、時間的に連続した２つのフレーム（基準フレームおよび探索フレーム）と、マクロブロックごとに求めた動きベクトルとを、動き補償補間画像作成部３０３に出力する。
【００４４】
動き補償補間画像作成部３０３は、基準フレーム内のマクロブロックが示す画像の部分を動きベクトルの中間の位置へシフトさせる。以下、この処理を動き補償補間と呼ぶ。基準フレーム内のすべてのマクロブロックについて同様の処理を行うことによって、時間的に連続する２つのフレーム画像間に挿入する補間フレーム画像（動き補償補間フレーム）を生成する。
【００４５】
動き補償補間画像作成部３０３は、生成した補間フレーム画像を記録制御部３０８へ出力する。記録制御部３０８は、生成された補間フレーム画像が、時間的に連続した２つのフレーム間に位置するように、順次補間フレーム画像を対応する２つのフレーム画像間に挿入する。これにより、記録制御部３０８は、フレームレートを変更した動画像を出力する。
【００４６】
図３を参照しながら、記録制御部３０８によるフレーム画像の配置を詳細に説明する。図３は、垂直同期信号ＶＤに対するフレーム配置を示している。図３に示すように、記録制御部３０８は、コントローラ１８０から受け取った垂直同期信号のタイミングに従って、奇数フレームと、偶数フレームとを予め定義している。記録制御部３０８は、画像入力部３００から取得したオリジナルのフレーム画像を奇数フレームに配置し、動き補償画像作成部３０３が生成した動き補償補間フレーム画像を偶数フレームに順次配置していく。すなわち、垂直同期信号に従って、奇数フレームにオリジナルのフレーム画像が配置され、その間の偶数フレームに補間フレーム画像が挿入される。これにより、記録制御部３０８は、オリジナルフレーム画像と、オリジナルフレーム画像間に挿入された補間フレーム画像とを含む一連の動画像データを作成する。
【００４７】
記録制御部３０８は、作成した一連の動画像データをメモリカード２００に順次書き込み、記録する。
【００４８】
続いて、図４および図５を参照しながら、本実施の形態にかかるデジタルビデオカメラ１００の再生動作を説明する。図４は、コントローラ１８０および再生部１６０ｂの再生動作にかかわるブロック図であり、図５はデジタルビデオカメラ１００の再生動作を示すフローチャートである。図４に示すように、画像処理部１６０は、動画像データをメモリカード２００から読み込み、動画像データを表示モニタ２２０へ出力する再生部１６０ｂを含む。画像処理部１６０は、さらに、以下で説明するオリジナルのフレーム画像および補完フレーム画像の配置を示す情報を格納する定義情報格納部１６０ｃを含んでいてもよい。
【００４９】
ユーザは、操作部２１０の１つである撮影モード／再生モードの切替スイッチを操作することにより、デジタルビデオカメラ１００を再生モードに設定する（Ｓ４００）。
【００５０】
コントローラ１８０は、上述のユーザの指示を受け取り、メモリカード２００に格納されている画像データ（静止画像、動画像）の代表画像（サムネイル画像）を読み出して、表示モニタ２２０に並べて表示させる。
【００５１】
ここで、ユーザが、フレームレートを変更した動画像を選択し、操作部２１０の１つである再生ボタンを押下した場合を説明する。この場合、再生される動画像データは、オリジナルフレームの画像およびオリジナルフレームの画像から生成された補間フレームの画像を含む。
【００５２】
コントローラ１８０は、再生ボタンが押下されたか否かを監視している（Ｓ４０１）。再生ボタンが押下された場合（Ｓ４０１におけるＹｅｓ）、コントローラ１８０は、選択された動画像データをメモリカード２００から読出し、再生部１６０ｂに所定の処理を行なわせて、表示モニタ２２０に出力する。これにより表示モニタ２２０に動画像データの映像が表示される（Ｓ４０２）。
【００５３】
表示モニタ２２０に、動画像データの映像が表示されている間、つまり、動画像データが再生されている間、コントローラ１８０は、ユーザが、操作部２１０の１つである一時停止ボタンを押下したか否かを監視している（Ｓ４０３）。コントローラ１８０は、ユーザによって一時停止ボタンが押下されることにより、一時停止指令を受け取ると（Ｓ４０３におけるＹｅｓ）、再生中の動画像データにおいて、補間フレーム画像ではないオリジナルのフレーム画像の１つを出力するように再生部１６０ｂを制御する（Ｓ４０４）。画像処理部１６０の定義情報格納部１６０ｃには、動画像データのフレーム定義情報が格納されている。フレーム定義情報は、動画像データ中のオリジナルフレーム画像および補間フレーム画像の配置を示す情報である。本実施形態では、上述したように、オリジナルフレーム画像を奇数フレームに配置し、補間フレーム画像を偶数フレームに配置している。コントローラ１８０は、フレーム定義情報に基づき、奇数フレームに配置されたフレーム画像を再生するよう再生部１６０ｂを制御する。具体的には、再生部１８０ｂは、一時停止指令を受け取った時点において、オリジナルフレーム画像のデータを表示モニタ２２０へ出力していれば、そのオリジナルフレーム画像のデータを表示モニタ２２０に出力し続ける。また、一時停止指令を受け取った時点において、補間フレーム画像のデータを表示モニタ２２０へ出力していれば、その補間フレーム画像のデータの時間的に直後また直前のフレームであるオリジナルフレーム画像のデータを選択し、表示モニタ２２０に出力し続ける。
【００５４】
また、ユーザによって、一時停止ボタンの替わりにスロー再生ボタンが押下された場合、再生部１６０ｂは、コントローラ１８０の制御によって、記憶している補間フレームの配置情報に基づき、奇数フレームに配置されたオリジナルフレーム画像のみを選択的に表モニタ２２０に出力する。これにより、表示モニタ２２０には、オリジナルフレーム画像の映像のみが表示される。
【００５５】
このように、デジタルビデオカメラ１００は、ユーザから一時停止の指示や、スロー再生の指示を受け付けた場合、多少画質の落ちる補間フレーム画像ではなく、選択的にオリジナルフレーム画像データによる映像を表示モニタに表示する。
【００５６】
［１−４．効果等］
以上のように本実施の形態によれば、動画像データをメモリカード２００から読み込み、動画像データを表示部モニタ２２０へ出力する再生部１６０ｂを備え、再生部１６０ｂは、ユーザからの指示に基づき、動画像データから、オリジナルフレームの画像データを選択的に表示モニタ２２０へ出力する。このため、ユーザには、補間フレーム画像よりも画質の高いフレーム画像が提示され、ユーザに自然な映像、操作感を与えることができる。また、通常の再生時には、補間フレームが挿入された動画像データによる映像が表示モニタ２２０に表示されるため、補間フレームが挿入された滑らかな動画像をユーザに提示することができる。
【００５７】
また、ユーザがスロー再生ボタンを押下した場合、再生部１６０ｂは、スロー再生を実行するスロー再生指令を受け取り、動画像データからオリジナルフレームの画像データのみを選択し、順次表示モニタ２２０へ出力する。これにより、画質の高いスロー再生画像をユーザに提示することができる。
【００５８】
また、ユーザが一時停止ボタンを押下した場合、再生部１６０ｂは、動画像の再生中における一時停止指令を受け取り、動画像データから、オリジナルフレームの画像データの１つを表示モニタ２２０へ出力し続ける。この場合、動画像データから、一時停止指令を受け取った時点の直後に再生すべきオリジナルフレームの画像データを表示モニタ２２０へ出力し続けてもよいし、動画像データから、一時停止指令を受け取った時点の直前に再生したオリジナルフレームの画像データを表示モニタ２２０へ出力し続けてもよい。これにより、画質の高い静止画像をユーザに提示することができる。
【００５９】
また、動画像データにおけるオリジナルフレームおよび補間フレームの配置を定義する定義情報を予め格納した定義情報格納部１６０ｃをさらに備えていてもよい。再生部１６０ｂは、ユーザの指令を受けた場合、定義情報を参照することによって、動画像データから、オリジナルフレームの画像データを選択的に表示部モニタ２２０へ出力することができる。
【００６０】
２．他の実施の形態
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【００６１】
上記の実施の形態では、撮像素子として、ＣＭＯＳイメージセンサ１４０を例示したが、撮像素子はこれに限定されない。例えば、撮像素子として、ＣＣＤイメージセンサやＮＭＯＳイメージセンサを用いてもよい。
【００６２】
また、画像処理部１６０とコントローラ１８０とは、１つの半導体チップで構成してもよく、また、それぞれ別々の半導体チップで構成してもよい。
【００６３】
上記実施の形態では、動画像を記録する媒体としてメモリカード２００を例示したが、これに限定されない。例えば、ハードディスクドライブ（ＨＤＤ）や、光ディスクなど、他の記録メディアであってもよい。
【００６４】
上記実施の形態では、デジタルビデオカメラ１００の表示モニタ２２０に動画像を再生するときにおいて、一時停止操作やスロー再生操作を行った場合の動作を説明したが、本開示の技術はこれに限定されない。デジタルビデオカメラ１００を、ＵＳＢケーブルなどの有線接続や、ＷｉＦｉなどの無線接続により外部表示装置と接続し、外部表示装置にデジタルビデオカメラ１００の動画像を再生するときにおいて、一時停止操作やスロー再生操作を行う場合にも、動画像におけるオリジナルフレーム画像と、補間フレーム画像との配置に関する情報に基づいて、同様の動作を行い、同様の効果を得ることができる。
【００６５】
また、デジタルビデオカメラ１００が、外部表示装置と接続されていない形態であってもよい。例えば、メモリカード２００に記録された動画像データのファイルと、その動画像データにおけるオリジナルフレーム画像と補間フレーム画像との配置に関する情報とを関連付けておき、パーソナルコンピュータ（ＰＣ）や、クラウド上のサーバに動画像を転送するような場合、配置に関する情報を合わせて転送すれば、上記実施の形態と同様の動作を行い、同様の効果を得ることができる。
【００６６】
上記実施の形態では、動画像を再生するときに、一時停止やスロー再生を行う動作を説明したが、本開示の技術はこれに限定されない。一時停止やスロー再生以外の動作であって、一連の複数フレームから一部のフレームを取り出す動作を行う場合に、本開示の技術を適用することができる。
【００６７】
また、上記実施の形態において、記録制御部３０８は、奇数フレームにオリジナルのフレーム画像を配置し、偶数フレームに補間フレーム画像を配置にしたが、これに限定されない。例えば、奇数フレームに補間フレーム画像を配置し、偶数フレームにオリジナルのフレーム画像を配置してもよい。この場合、一時停止や、スロー再生動作の際に、偶数フレームに配置されたフレーム画像のデータを再生するよう、コントローラ１８０が再生部１６０ｂを制御すればよい。
【００６８】
また、上記実施の形態では、奇数フレームおよび偶数フレームの２通りのフレームで映像配置する場合を例示したがこれに限定されない。例えば、第１フレーム、第２フレーム、第３フレームおよび第４フレームを１セットとしたフレームで映像配置を行なってもよい。この場合、第１フレームから第４フレームのいずれに補間フレームを配置しているかを示すフレーム定義情報を定義情報格納部１６０ｃに格納しておくことにより、一時停止やスロー再生のときに、補間フレーム画像を避けて、オリジナルのフレーム画像を表示モニタ２２０に表示することが可能となる。このようなフレーム定義情報にしたがった動画像データを再生する場合において、一時停止指令を受け取った時点で補間フレーム画像を再生部１６０ｂが表示モニタ２２０へ出力している場合、再生部１６０ｂが、その補間フレームより時間的に前であっても、後であっても、最も近いオリジナルフレームを再生するようにコントローラ１８０が再生部１６０ｂを制御すれば、ユーザが意図したタイミングとの遅延を極力少なくすることができる。
【００６９】
また、上記実施の形態では、オリジナルフレーム画像および補間フレーム画像の配置を示すフレーム定義情報を予め定義情報格納部１６０ｃに格納していた。しかし、予めフレーム定義情報を格納しない形態であってもよい。例えば、図６に示すように、画像処理部１６０は再生部１６０ｂと管理情報作成部１６０ｄとを含んでいてもよい。例えば、コントローラ１８０の指令に基づき管理情報作成部１６０ｄは、動画像データ中の垂直同期信号が示すタイミングを基準として、どのタイミングにどのようなフレーム画像が配置されたかを調べ、管理する管理情報を作成し、管理情報を記憶する。コントローラ１８０の指令により、再生部１６０ｂは、記憶された管理情報を用いて、一時停止や、スロー再生を行う場合に選択すべきフレーム画像を決定し、表示モニタ２２０へ出力してもよい。管理情報作成部１６０ｄは、記録部１６０ａが動画像データを作成するタイミング、メモリカード２００に記録するタイミング、または、メモリカード２００から動画像データを読出し、再生部１６０ｂが表示モニタ２２０へ出力するタイミングで、管理情報を作成し、記憶してもよい。この形態は、奇数フレームおよび偶数フレームで構成される標準的なフレームフォーマットに好適に用いることができる。具体的には、補間フレーム画像の出現率に対して、オリジナルフレーム画像の出現率が例えば３倍となるような映像配置のフレームフォーマットの動画像であっても、コントローラ１８０は、管理情報を参照することにより、一時停止や、スロー再生の際に、確実に、オリジナルフレーム画像を表示させることが可能となる。
【００７０】
また、上記実施の形態において、定義情報格納部１６０ｃおよび管理情報作成部１６０ｄは画像処理部１６０に含まれていた。しかし、定義情報格納部１６０ｃおよび管理情報作成部１６０は、コントローラ１８０にふくまれていてもよい。
【００７１】
また、本開示の技術はさらに、上述の再生動作を規定するソフトウェア（プログラム）にも適用され得る。そのようなプログラムに規定される動作は、例えば図５に示すとおりである。このようなプログラムは、可搬型の記録媒体に記録されて提供され得る他、電気通信回線を通じても提供され得る。コンピュータに内蔵されたプロセッサがこのようなプログラムを実行することにより、上記の実施形態で説明した各種動作を実現することができる。
【００７２】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００７３】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００７４】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００７５】
本開示の技術は、デジタルビデオカメラ１００への適用に限定されない。すなわち、デジタルスチルカメラや、カメラ付き情報端末、パーソナルコンピュータ、サーバコンピュータなど、フレームレートが変換可能な画像処理装置に適用可能である。
【符号の説明】
【００７６】
１００  デジタルビデオカメラ
１１０  光学系
１２０  レンズ駆動部
１３０  シャッタ
１４０  ＣＭＯＳイメージセンサ
１５０  Ａ／Ｄコンバータ
１６０  画像処理部
１６０ａ  記録部
１６０ｂ  再生部
１６０ｃ  定義情報格納部
１６０ｄ  管理情報作成部
１７０  バッファ
１８０  コントローラ
１９０  カードスロット
２００  メモリカード
２１０  操作部材
２２０  表示モニタ
２３０  内部メモリ
２４０  ジャイロセンサ
【図１】
0005938655.tif 000002
【図２】
0005938655.tif 000003
【図３】
0005938655.tif 000004
【図４】
0005938655.tif 000005
【図５】
0005938655.tif 000006
【図６】
0005938655.tif 000007