(57)【要約】【課題】時間階層符号化を用いることにより、高速な復号動作を用いることなく、特定のシーンのみをスローモーションで表示し、その他のシーンについては通常速度で表示できるようにする。【解決手段】電子機器は、画像データを再生するための手段と、時間階層化された画像データを復号するための手段とを有し、時間階層符号化された画像データに対して、特定の期間は、フレームレートの高い階層まで復号を行い、特定の期間以外をフレームレートの低い階層まで復号を行い、一定の表示フレームレートで、復号された画像を全て表示することにより、前記特定の期間をスローモーション効果で再生する。【選択図】図１
2018074208.tif 000002
【特許請求の範囲】
【請求項１】
画像データを再生するための手段と、
時間階層化された画像データを復号するための手段と
を有し、
時間階層符号化された画像データに対して、特定の期間は、フレームレートの高い階層まで復号を行い、
特定の期間以外をフレームレートの低い階層まで復号を行い、
一定の表示フレームレートで、復号された画像を全て表示することにより、前記特定の期間をスローモーション効果で再生することを特徴とする電子機器。
【請求項２】
請求項１に記載の電子機器であって、
特定の期間の指定手段として、ユーザーが直接指定することを特徴とする電子機器。
【請求項３】
請求項１に記載の電子機器であって、
画像認識するための手段を有し、
特定の期間の指定手段として、画像認識された情報をもとに期間を指定することを特徴とする電子機器。
【請求項４】
請求項１に記載の電子機器であって、
画像を時間階層符号化して記録するための手段を有し、
特定の期間の指定手段として、符号時に用いる動きベクトルの情報をもとに期間を指定することを特徴とする電子機器。
【請求項５】
請求項１に記載の電子機器であって、
画像を時間階層符号化して記録するための手段を有し、
符号時に特定の期間を指定する時、開始ピクチャをＩピクチャとして符号化することを特徴とする電子機器。
【請求項６】
請求項１に記載の電子機器であって、
符号化された画像データに対し特定の期間を指定する時、開始ピクチャをＩピクチャに限定することを特徴とする電子機器。
【請求項７】
請求項１に記載の電子機器であって、
復号された画像データを再符号化するための手段をさらに有し、
符号化された画像データに対し特定の期間を指定する時、開始ピクチャがＩピクチャ以外の場合、Ｉピクチャになるように再符号化することを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮された画像データの再生を行うことができる電子機器に関するものである。
【背景技術】
【０００２】
通常のフレームレートで撮影された映像とともに、高速なフレームレートで撮影された映像も同時に記録できる方法が提案されている。例えば、特許文献１には、映像を圧縮符号化し復号する方法として時間階層符号化が紹介されている。時間階層符号化は、ＳＶＣ（Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）の一つであるが、特に、Ｈ．２６４の拡張方式として提案された階層Ｂピクチャを利用した時間階層符号化では、図２に示すように、Ｂピクチャ（Ｂピクチャ：時間的に前後のピクチャから予測可能なピクチャ）を参照画像として用いた上で、参照構造が階層的になるように構成されている。
【０００３】
階層Ｂピクチャの圧縮符号化方式においては、例えば、図２において、Ｂ２ピクチャは下の段のＢ１ピクチャを参照していると同時に、上の段のＢ３ピクチャの参照ピクチャともなることができる。このように構成された時間階層符号では、時間スケーラビリティを利用して複数の異なる時間サンプリング周波数の映像を再生することができる。
【０００４】
滑らかなスローモーション映像を実現する撮影方法として、映画などで使われるオーバークランク撮影がある。オーバークランク撮影は、表示フレームレートより高速なフレームレートで撮影記録を行い、次に記録した映像を表示フレームレートで再生することにより、スローモーション効果を実現している。
【０００５】
図４は、表示フレームレート６０ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃ）で、２倍のスローモーション効果を実現しようとした場合を説明している。撮影は、１２０ｆｐｓで行い、撮影したフレームが６０ｆｐｓで表示されるように記録する。記録された映像を再生した場合、２倍のスローモーション効果が実現される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２１２７５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
例えば、鳥の羽ばたくシーンをスローモーション効果で表現したい場合、実際の撮影では、鳥がいつ羽ばたくかわからない為、羽ばたく以前から高速フレームレートで撮影した映像を記録しておく必要がある。この時、鳥が羽ばたいていないシーンも含む全ての画像をスローモーションで表示させる再生方法は、場合によっては使い勝手が良くない。特定のシーン（鳥の羽ばたくシーン）のみをスローモーションで表示させ、その他のシーンは通常速度で表示させたいとする。このときの従来例について図５を用いて説明する。
【０００８】
スローモーション表示したいピクチャ（鳥の羽ばたくシーン）を４、５、６とする。撮影自体は、１２０ｆｐｓで行う。符号化されたピクチャ同士には参照関係がある為、表示したいピクチャ（０，２，４，５，６，８、１０）と、その参照しているピクチャ（３，９）を一旦復号し、その後、表示ピクチャを並び替えて６０ｆｐｓで表示させる。表示しないピクチャ（３，９）も復号する必要がある為、従来手法では、表示フレームレートより高速な復号動作が求められる。
【０００９】
そこで、本発明は、時間階層符号化を用いることにより、高速な復号動作を用いることなく、特定のシーンのみをスローモーションで表示し、その他のシーンについては通常速度で表示できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る電子機器は、画像データを再生するための手段と、時間階層化された画像データを復号するための手段とを有し、時間階層符号化された画像データに対して、特定の期間は、フレームレートの高い階層まで復号を行い、特定の期間以外をフレームレートの低い階層まで復号を行い、一定の表示フレームレートで、復号された画像を全て表示することにより、前記特定の期間をスローモーション効果で再生することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、時間階層符号化を用いることにより、高速な復号動作を用いることなく、特定のシーンのみをスローモーションで表示し、その他のシーンについては通常速度で表示することができる。
【図面の簡単な説明】
【００１２】
【図１】時間階層符号化された映像の特定シーンのみをスローモーション表示する場合の符号化ピクチャ、復号化ピクチャ及び表示ピクチャの関係の一例を説明するための図である。
【図２】時間階層符号化を説明するための図である。
【図３】実施形態１における電子機器の構成を説明するためのブロック図である。
【図４】オーバークランク撮影でのスローモーション実現方法を説明するための図である。
【図５】特定シーンのみをスローモーション表示させる方法を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。
【００１４】
［実施形態１］
図３は、実施形態１における電子機器の構成を説明するためのブロック図である。実施形態１における電子機器は、記録再生装置として動作する。
【００１５】
図３において、４０１はレンズ、４０２はメイン・イメージセンサー、４０３はセンサー補正部、４０４は現像処理部、４０５は圧縮伸長部、４０６は記録メディア、４０７は表示部、４０８はテレビなどの表示装置、４０９はサブセンサー、４１０は被写体認識部、４１１はレンズ制御部、４１２はＣＰＵ、４１３はユーザー操作部、４２０は、ＣＰＵ４１２により制御される画像記録再生制御部全体を表している。
【００１６】
撮影時は、ユーザー操作部４１３から撮影の指示をＣＰＵ４１２に伝える。ＣＰＵ４１２は、画像記録再生制御部４２０に撮影動作の指示をする。レンズ制御部４１１により、フォーカス、絞り等のレンズ制御をレンズ４０１に行う。レンズ４０１から入力された画像データは、メイン・イメージセンサー４０２で結像される。メイン・イメージセンサー４０２で結像した画像データは、センサー補正部４０３により、センサーに起因する傷などの補正がなされた後、現像処理部４０４により、記録・表示する画像に画像処理される。
【００１７】
現像処理部４０４により画像処理された画像データは、圧縮伸長部４０５により、符号化処理がなされ、記録メディア４０６に記録される。また、現像処理部４０４により画像処理された画像データは、表示部４０７により、表示装置４０８に表示できる画像データに処理され、表示装置４０８に表示される。被写体認識部４１０は、現像処理部４０４の出力画像データから、例えば、人間の顔や動物、物体を認識し、レンズ制御部４１１にレンズ制御情報として出力する。サブセンサー４０９は、レンズ４０１から入力された画像データを結像し、例えば、合焦点情報を生成し、レンズ制御部４１１に出力する。
【００１８】
再生時は、ユーザー操作部４１３から再生の指示をＣＰＵ４１２に伝える。ＣＰＵ４１２は、画像記録再生制御部４２０に再生動作の指示をする。圧縮伸長部４０５は、記録メディア４０６から符号化されている画像データを読み出し、復号する。復号された画像データは、表示部４０７により、表示装置４０８に表示できる画像データに処理され、表示装置４０８に表示される。
【００１９】
図１で、圧縮伸長部４０５の符号・復号方法の詳細を説明する。圧縮伸長部４０５は、ＳＶＣの一つである時間階層符号化を用いて、画像データの符号・復号を行う。図１で、２つの時間階層をもつ時間階層符号化を例にとり説明する。第一階層をＴＩＤ０とし、６０ｆｐｓの間隔で符号化されるものとする。第二階層をＴＩＤ１とし、第一階層のピクチャ間で撮影されたピクチャが符号化されるものとする。
【００２０】
ここで、Ｂ２，Ｐ２，Ｂ３がスローモーション再生したいピクチャとする。二階層を持つ時間階層符号化を用いて記録された符号化データは、再生時には、まず表示したいピクチャ（Ｉ，Ｐ０，Ｐ１，Ｐ２，Ｂ２，Ｐ３，Ｂ３，Ｐ４）だけが復号される。次に復号された画像データは、表示順（Ｉ，Ｐ０，Ｐ１，Ｂ２，Ｐ２，Ｂ２，Ｐ３，Ｐ４）に並び替えられて６０ｆｐｓで表示される。これにより、Ｂ２，Ｐ２，Ｂ３ピクチャの表示期間は、２倍のスローモーション効果が得られる。
【００２１】
すなわち、通常再生の期間は、ＴＩＤ０の階層のみを使用し、スローモーション再生の期間は、ＴＩＤ０とＴＩＤ１の両階層を使用される。時間階層符号化を用いることにより、復号するピクチャと表示するピクチャが一致するので、高速な復号動作が必要なくなる。
【００２２】
スローモーション再生する期間の指定については、ユーザーがスローモーション表示したい期間をイン点・アウト点として指定する方法がある。また、スローモーション期間の指定方法としては、被写体認識部４１０が認識した被写体の情報に応じて指定する方法もある。圧縮伸長部４０５は、画像の動きベクトルを画像の符号に利用している。記録時のスローモーション期間の指定方法としては、圧縮伸長部４０５にて算出された動きベクトルの情報に応じて指定する方法もある。
【００２３】
記録時にスロー再生する期間を指定する場合、イン点をＩピクチャにすれば、スローモーション期間の再生頭出しや、編集に便利である。再生時にスローモーション再生する期間を指定する場合、イン点をＩピクチャにのみ限定して指定させることにより、同様の効果が得られる。また、再生時にスローモーション再生する期間を指定する場合でイン点がＩピクチャでない場合、Ｉピクチャになるように再符号化をすることによっても、同様の効果が得られる。
【００２４】
実施形態１では、カメラ機能を有する電子機器を例示したが、カメラ機能を有さない電子機器においても、同様の効果が得られる。
【符号の説明】
【００２５】
４０１  レンズ
４０２  メイン・イメージセンサー
４０３  センサー補正部
４０４  現像処理部
４０５  圧縮伸長部
４０６  記録メディア
４０７  表示部
４０８  表示装置
４０９  サブセンサー
４１０  被写体認識部
４１１  レンズ制御部
４１２  ＣＰＵ
４１３  ユーザー操作部
４２０  画像記録再生制御部
【図１】
2018074208.tif 000003
【図２】
2018074208.tif 000004
【図３】
2018074208.tif 000005
【図４】
2018074208.tif 000006
【図５】
2018074208.tif 000007