(57)【要約】      （修正有）【課題】外部の表示装置の表示フレームレートに応じて、圧縮された動画データを効率よく処理することができる画像処理装置を提供する。【解決手段】動画データに含まれる、外部の表示装置の表示フレームレートに対応する階層よりも上の階層のデータを復号しないように復号手段を制御し、外部の表示装置の表示フレームレートに対して動画データのフレームが不足する場合には、表示フレームレートに合うように動画データのフレーム数を増やして出力する。【選択図】図５
2015080034.tif 000002
【特許請求の範囲】
【請求項１】
階層符号化された動画データを取得する取得手段と、
前記取得手段により得られた動画データを復号する復号手段と、
前記復号手段により復号された動画データを外部の表示装置に出力する出力手段と、
前記外部の表示装置の表示フレームレートに関する情報を取得する情報取得手段と、
前記動画データに含まれる前記外部の表示装置のフレームレートに対応する階層よりも上の階層のデータを復号しないように前記復号手段を制御する制御手段とを有し、
前記制御手段は、前記表示フレームレートに対して前記動画データのフレームが不足する場合には、前記表示フレームレートに合うように動画データのフレーム数を増やして前記表示装置に出力するように前記出力手段を制御することを特徴とする画像処理装置。
【請求項２】
前記取得手段により取得された動画データの各フレームの階層を示す情報を取得する階層情報取得手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記階層を示す情報は、前記動画データに含まれ、前記動画データの逆量子化処理を行わずに取得することができる情報であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記階層を示す情報は、前記動画データに含まれ、前記動画データの逆コサイン変換処理を行わずに取得することができる情報であることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記階層を示す情報は、各フレームに対応するｔｅｍｐｏｒａｌ＿ｉｄであることを特徴とする請求項２から４に記載の画像処理装置。
【請求項６】
前記ｔｅｍｐｏｒａｌ＿ｉｄは、各フレームに対応するＮａｌ＿Ｕｎｉｔ＿Ｈｅａｄｅｒに格納されていることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記動画データは、Ｈ．２６５規格に準じた符号化方式で階層符号化された動画データであることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記取得手段は、記録媒体から動画データを取得し、
前記制御手段は、前記記録媒体に記録されている動画データのすべての動画データについて、前記外部の表示装置の表示フレームレートに対応する階層より上の階層のフレームに対応するデータを復号しないように前記復号手段を制御する請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記取得手段は、動画データの再生順を示すプレイリストに対応する動画データを取得し、
前記階層情報取得手段は、前記プレイリストに対応する動画データの階層を示す情報を取得し、
前記制御手段は、前記プレイリストに対応する動画データについて、前記外部の表示装置の表示フレームレートに対応する階層より上の階層のフレームに対応するデータを復号しないように前記復号手段を制御することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記制御手段は、前記外部の表示装置が接続されている場合に、前記外部の表示装置の表示フレームレートに対応する階層より上の階層のフレームに対応するデータを復号しないように前記復号手段を制御することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
階層符号化された動画データを取得する取得工程と、
前記取得工程で得られた動画データを復号する復号工程と、
前記復号工程で復号された動画データを外部の表示装置に出力する出力工程と、
前記外部の表示装置の表示フレームレートに関する情報を取得する情報取得工程と、
前記復号工程において、前記動画データに含まれる前記外部の表示装置の表示フレームレートに対応する階層よりも上の階層のデータを復号しないように制御すること有することを特徴とする画像処理方法。
【請求項１２】
コンピュータを請求項１から１０のいずれか１項に記載の各手段として動作させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラムに関する。
【背景技術】
【０００２】
従来、画像処理装置として、記録媒体に記録された動画データを再生して外部の表示装置に表示させる装置として、たとえば、デジタルカメラ、携帯電話、コンピュータ、ハードディスクレコーダ等が知られている。従来、これらの装置から外部の表示装置であるモニタやテレビに画像を出力するときは、ＨＤＭＩ（登録商標）規格、ＭＨＬ規格等の規格に準拠したインタフェースを介して出力することが一般的であった。
【０００３】
一方、近年では、モニタやテレビの表示フレームレートを上回るフレームレートを含む様々なフレームレートでの動画撮影、再生が可能になってきている。
【０００４】
しかしながら、ＨＤＭＩ（登録商標）規格、ＭＨＬ規格等の規格においては、一度接続してからは、フレームレートの切り替えが許容されていない。そのため、フレームレートの混在するようなコンテンツを再生する場合には、フレームレートを一定にしなければならなかった。
【０００５】
フレームレート変換に関しては、３Ｄ映像と２Ｄ映像が混在するようなコンテンツを再生する場合に、２Ｄ映像の期間において、フレームレートを倍にすることで、３Ｄ映像のコンテンツと同じフレームレートの表示をする技術（特許文献１）が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特願２０１０−５３１７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、たとえば特許文献１の技術においては、３Ｄ映像、２Ｄ映像のフレームレートがあらかじめ決められたフレームレートであり、異なるフレームレートの画像が混在するような場合にどのようにして各画像のフレームレートを把握するか不明であった。また、たとえば、再生コンテンツ自身が圧縮されていた場合にどのようにデコードするかといった点については全く触れられていない。
【０００８】
そこで、本発明は、圧縮された動画データを処理する画像処理装置において、外部の表示装置の表示フレームレートに応じて、圧縮された動画データを効率よく処理することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
このような目的を達成するために、本発明の画像処理装置は、階層符号化された動画データを取得する取得手段と、前記取得手段により得られた動画データを復号する復号手段と、前記復号手段により復号された動画データを外部の表示装置に出力する出力手段と、前記外部の表示装置の表示フレームレートに関する情報を取得する情報取得手段と、前記動画データに含まれる前記外部の表示装置のフレームレートに対応する階層よりも上の階層のデータを復号しないように前記復号手段を制御する制御手段とを有し、前記制御手段は、前記表示フレームレートに対して前記動画データのフレームが不足する場合には、前記表示フレームレートに合うように動画データのフレーム数を増やして前記表示装置に出力するように前記出力手段を制御することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、たとえば、圧縮された動画データを処理する画像処理装置において、外部の表示装置の表示フレームレートに応じて、圧縮された動画データを効率よく処理することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施例の撮像装置の構成を示す図。
【図２】本実施例のＴＶ２０００の構成を示す図。
【図３】本実施例のシステム構成を示す図。
【図４】本実施例の動画データの例を示す図。
【図５】実施例１の動画データの再生処理を示すフロー図。
【図６】実施例１の動画データの再生処理を示すフロー図。
【図７】実施例１の動画データの再生処理を示すフロー図。
【図８】実施例２の動画データの再生処理を示すフロー図。
【図９】実施例２の動画データの再生処理を示すフロー図。
【図１０】実施例２の動画データの再生処理を示すフロー図。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【００１３】
なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。
【実施例１】
【００１４】
本実施例では、画像処理装置の例として撮像装置を説明するが、動画データを復号処理することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。
【００１５】
以下、このような撮像装置について説明する。
【００１６】
まず、図１を用いて、本実施例の撮像装置１０００の主要な構成を説明する。本実施例の撮像装置においては、Ｈ．２６５規格に準じた符号化方式の動画データの符号化、記録、及び再生、復号を行うことができる。また本実施例においては、一部の動画データについては、Ｈ．２６５規格に準じた階層符号化が施されている。図１において、内部バス１０１０に対してＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１００１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１００２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１００３が接続されている。また、入力処理部１００４、出力処理部１００６、端子制御部１００８、記録媒体制御部１０１１、カメラ信号処理部１０１５、符号復号処理部１０１６が接続されている。内部バス１０１０に接続される各部は、内部バス１０１０を介して互いにデータのやりとりを行うことができる。
【００１７】
ＲＯＭ１００２は、ＣＰＵ１００１が動作するための各種プログラムが格納される。また、フラッシュメモリなども含まれる。ＲＡＭ１００３は、ＣＰＵ１００１が動作時に必要とするプログラムや変数、作業用の一時データなどが適宜記憶される。ＣＰＵ１００１は、ＲＯＭ１００２または記憶媒体１０１２に格納されるプログラムに従い、ＲＡＭ１００３をワークメモリとして用いて、この撮像装置１０００の各部を制御する。
【００１８】
光学系１０１３は、不図示のレンズ、フォーカス、絞り、ズーム機構及びそれらを制御するプロセッサを含むモジュール化されたたとえば撮影レンズであり、被写体の光学像を形成する。ＣＰＵ１００１は、制御バス１０１０を介して、光学系１０１３の、フォーカス、絞り、ズームの状態を取得、及び、制御することが出来る。撮像素子１０１４は、ＣＣＤやＣＭＯＳ素子等の光電変換素子、Ａ／Ｄ変換器を含み、光学像をアナログ電気信号に変換した後、デジタル信号に変換した画像信号を取得する。カメラ信号処理部１０１５は、ＣＰＵ１００１の制御に基づき、撮像素子１０１４で変換された画像信号に対し、所定の画素補間・縮小といったリサイズ処理や色変換、各種補正処理等を行う。
【００１９】
符号復号処理部１０１６は、ＣＰＵ１００１の制御に基づき、カメラ信号処理部１０１５で処理された画像信号を所定のビットレート、フォーマット形式で圧縮符号化して動画データ、静止画データを生成する。また、再生時には、圧縮された動画データを復号する処理を行う。
【００２０】
入力処理部１００４は、操作部１００５でのユーザ操作を受け付け、操作に応じた制御信号を生成し、ＣＰＵ１００１に供給する。例えば、操作部１００５は、ユーザ操作を受け付ける入力デバイスとして、キーボードといった文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイスなどを有する。また、赤外線リモコンなどの遠隔操作可能なものも含む。なお、タッチパネルは、例えば平面的に構成された入力部に対して接触された位置に応じた座標情報が出力されるようにした入力デバイスである。これにより、撮像装置１０００に対し、ユーザ操作に応じた動作を行わせることが出来る。本実施例では、入力デバイスはタッチパネルであるとして以降説明を行う。
【００２１】
出力処理部１００６は、ＣＰＵ１００１がプログラムに従い生成したＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）などの表示データを表示部１００７に表示させる。他にもカメラ信号処理部１０１５もしくは符号復号処理部１０１６が復号した画像を、表示部１００７に対して表示させる。
【００２２】
なお、操作部１００５としてタッチパネルを用いる場合、操作部１００５と表示部１００７とを一体的に構成することができる。例えば、タッチパネルを光の透過率が表示部１００７の表示を妨げないように構成し、表示部１００７の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部１００７上の表示座標とを対応付けることで、恰もユーザが表示部１００７上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することがでる。例えば、表示部１００７に表示されているボタン状のＧＵＩ部品に対応する座標上で接触を検知した場合、当該ボタンが押下されたとみなし、ＣＰＵ１００１がボタンに対応付けられた処理を実行する事で物理キーが押下された場合と同等の機能を実現する事が可能である。以降、本実施例では、物理キーのボタン押下とボタン状ＧＵＩ部品（ＧＵＩボタン）への接触検知を特に区別せず、どちらもボタンの押下として扱う。
【００２３】
さらに、ＣＰＵ１００１はタッチパネルへの以下の操作を検出できる。タッチパネルを指やペンで触れたこと（以下、タッチダウンと称する）。タッチパネルを指やペンで触れている状態であること（以下、タッチオンと称する）。タッチパネルを指やペンで触れたまま移動していること（以下、ムーブと称する）。タッチパネルへ触れていた指やペンを離したこと（以下、タッチアップと称する）。タッチパネルに何も触れていない状態（以下、タッチオフと称する）。これらの操作や、タッチパネル上に指やペンが触れている位置座標は内部バス１０１０を通じてＣＰＵ１００１に通知され、ＣＰＵ１００１は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。ムーブについてはタッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。またタッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。
【００２４】
記録媒体制御部１０１１は、ＨＤＤや不揮発性の半導体メモリなどの記録媒体１０１２が接続され、ＣＰＵ１００１の制御に基づき、接続された記憶媒体１０１２からのデータや映像ファイルの読み出しや、当該記録媒体１０１２に対するデータや映像ファイルの書き込みを行う。なお、記録媒体制御部１０１１が接続可能な記録媒体１０１２は、不図示のソケットなどを介して、例えばメモリカードなどの着脱可能な不揮発性の半導体メモリを接続するものとしてもよい。記録媒体１０１２は、撮影した映像データのほか、ＣＰＵ１００１の制御に必要な情報も記録することが可能である。
【００２５】
端子制御部１００８は、ＣＰＵ１００１の制御に基づき、端子１００９を介して、後述するＴＶ２０００に対し、接続通知信号の送受信、後述するＥＤＩＤの読み込み、映像音声信号の出力及び、制御コマンドの送受信を行う。本実施例では、端子制御部１００８で扱う映像音声信号はＨＤＭＩ（登録商標）（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）規格、に準拠した信号であるとし、端子１００９はＨＤＭＩ（登録商標）端子とする。端子制御部１００８は、図示されないＥＤＩＤ（Ｅｘｔｅｎｄｅｄ  Ｄｉｓｐｌａｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  Ｄａｔａ）読み込み部を含む。ＥＤＩＤとは、フレームレート、解像度等の受信可能な映像データの情報を含むＨＤＭＩ（登録商標）規格が定めるＳｉｎｋ装置（以降、実施例ではＴＶ２０００）のデバイス情報を記述したデータである。端子１００９に外部装置が接続された場合、ＣＰＵ１００１は、端子制御部１００８を介して受信したＴＶ２０００のＥＤＩＤを解析する。そして、ＴＶ２０００が受信可能な信号の種類や能力情報を判定した後、判定結果に応じて映像音声信号をＴＶ２０００に対して送信する。また、本実施例における端子１００９は、ＨＤＭＩ（登録商標）規格で定められたＳｏｕｒｃｅ装置（以降、実施例では撮像装置１０００）からＴＶ２０００への接続通知信号である＋５Ｖ信号を伝送する信号線を有する。また、ＴＶ２０００から撮像装置１０００への接続通知信号であるＨＰＤ信号、撮像装置１０００からＴＶ２０００への映像音声信号を伝送するＴＭＤＳ信号、前記ＥＤＩＤをそれぞれ伝送可能な信号線（不図示）を有する。
【００２６】
なお、音声については説明を行わなかったが、不図示のマイクにより得られた音声信号を符号化し、動画データとともに記録してもよい。また再生するときには、圧縮された音声データを復号して、不図示のスピーカから出力させる。
【００２７】
図２は、本発明の実施形態を適用可能なＴＶ２０００の構成を示す。チューナー２００１は、アンテナ（不図示）で受信した放送波を復調し、表示部２００２に復調した信号を送信する。ＴＶ２０００は、端子２００３を介して、ＨＤＭＩ（登録商標）規格に準拠した映像信号、音声信号を受信することができる。表示部２００２は、復調された信号か、端子２００３を介して受信した映像信号を表示する。ＴＶ２０００は、図示されないＥＤＩＤ保存部を有し、撮像装置１０００との接続を検知した場合、端子２００３を介して撮像装置１０００にＥＤＩＤを送信する。また、ＴＶ２０００は図示されないスピーカを有し、受信した音声情報を出力することができる。ＥＤＩＤには、ＴＶ２０００が表示可能な画素数、表示フレームレートに関する情報が少なくとも含まれている。
【００２８】
図３は、本発明の実施例に係る通信システムの一例を示す図である。撮像装置１０００はＴＶ２０００に対し、端子１００９からＨＤＭＩ（登録商標）規格に準拠した映像音声信号を出力する。前記出力されて映像音声信号はＨＤＭＩ（登録商標）ケーブル３１００を介してＴＶ２０００に伝送される。ＴＶ２０００は、端子２００３で映像信号、音声信号を受信し、受信した映像信号に対応する画像を表示部２００２に表示し、音声信号に対応する音声をスピーカから出力する。
【００２９】
図４は、本実施例において扱う、動画データのデータ構造を説明する図である。本実施例では、Ｈ．２６５規格（ＨＥＶＣ規格）に準じた符号化方式で符号化された動画データを扱う。図４に示す動画データは、特にＨ．２６５規格（ＨＥＶＣ規格）に準じた符号化方式で階層符号化されている。Ｈ．２６５規格（ＨＥＶＣ規格）では動画の各フレームに対応するデータはＮＡＬ（Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ）ユニット単位となっている。この動画データを再生、復号する場合、ＮＡＬユニットのヘッダ情報（Ｎａｌ＿Ｕｎｉｔ＿Ｈｅａｄｅｒ）に格納されたｔｅｍｐｏｒａｌ＿ｉｄ情報を読み取り、レイヤーに対応する符号化データかどうかの判別を行う。なお、圧縮された動画データを復号する際には、動画データに対して、逆量子化処理、逆離散コサイン変換処理（または逆コサイン変換処理）を行う。しかし、ＮＡＬユニットのヘッダ情報（Ｎａｌ＿Ｕｎｉｔ＿Ｈｅａｄｅｒ）は、逆量子化処理、逆離散コサイン変換処理（または逆コサイン変換処理）を行わずに取得することができる。
【００３０】
図４において、４００１、４００２、４００３、４００４、４００５、４００６、４００７は、それぞれが１フレームの画像データであることを示している。各フレームの画像データはそれぞれＮＡＬユニット格納される。４０２０、４０２１、４０２２は、ＨＥＶＣ規格に基づく階層構造を示している。４０２０がレイヤー０（ｔｅｍｐｏｒａｌ＿ｉｄ＝０）、４０２１がレイヤー１（ｔｅｍｐｏｒａｌ＿ｉｄ＝１）、４０２２がレイヤー２（ｔｅｍｐｏｒａｌ＿ｉｄ＝２）に相当する階層すなわちレイヤーを示す。ｔｅｍｐｏｒａｌ＿ｉｄとは、ＨＥＶＣ規格にて各レイヤーを指定する値の名称である。前述のように、ｔｅｍｐｏｒａｌ＿ｉｄによりＮａｌ＿Ｕｎｉｔに対応するフレームの階層を取得することができるので、ｔｅｍｐｏｒａｌ＿ｉｄは階層を示す情報と言える。本実施例では、ＣＰＵ１００１により階層情報取得が行われる。具体的には、各フレーム画像の含まれるＮＡＬユニットのヘッダにｔｅｍｐｏｒａｌ＿ｉｄが格納されており、復号時に参照される。なお、ＨＥＶＣ規格に基づく階層符号化においては、復号対象のフレーム画像を再生するときにはそのフレーム画像と同じ階層のレイヤーまたはそれよりも低い階層のレイヤーのみを参照するように符号化されている。
【００３１】
図４において、画像データ４００１、４００３、４００７は、ｔｅｍｐｏｒａｌ＿ｉｄ＝０である。すなわち４０２０に対応する、レイヤー０に属する画像データである。画像データ４００２、４００５は、ｔｅｍｐｏｒａｌ＿ｉｄ＝１である。すなわち、４０２１に対応する、レイヤー１に属する画像データである。画像データ４００４、４００６は、ｔｅｍｐｏｒａｌ＿ｉｄ＝２である。すなわち、４０２２に対応する、レイヤー２に属する画像データである。画像データ４００１、４００３、４００７は、符号復号処理部１０１６にて、レイヤー０用の圧縮率で圧縮された符号化データである。画像データ４００２、４００５は、符号復号処理部１０１６にて、レイヤー１用の圧縮率で圧縮された符号化データである。画像データ４００４、４００６は、符号復号処理部１０１６にて、レイヤー２用の圧縮率で圧縮された符号化データである。
【００３２】
画像データ４００１から画像データ４００７までの各画像データの表示時刻情報は、記録時に各画像データを撮像したタイミングに応じて、各画像データについて記録される。画像データ４００１から画像データ４００７までの各画像データの再生時は、各画像データについて記録された表示時刻情報を読み出し、表示時刻情報に沿って再生と表示を行う。
【００３３】
図４で示す動画像データは、レイヤー０  ４０２０、レイヤー１  ４０２１、レイヤー２  ２２２の３階層を持つ階層構造である。再生時は、どのレイヤー以下を復号対象とするかを指定することで、再生時のフレームレートを指定することができる。図４に示したデータ構造は３階層を持つ為、３段階の再生時のフレームレート指定が可能である。
【００３４】
本実施例では、再生対象とするレイヤーをレイヤー０とした場合、すなわち、レイヤー０に属する、画像データ４００１、４００３、４００７が再生対象となり、その時の通常再生時の再生フレームレートが３０フレーム／秒であるとする。また、再生対象とするレイヤーをレイヤー１以下と指定した場合、画像データ４００１、画像データ４００２、画像データ４００３、４００５、４００７が再生対象となる。その時の通常再生時の再生フレームレートは６０フレーム／秒であるとする。再生対象とするレイヤーをレイヤー２以下と指定した場合、画像データ４００１から画像データ４００７までの全ての画像データが再生対象となる。ただし、指定されたレイヤーのフレームが存在しない場合、そのレイヤーに対応するフレームレートでの再生は出来ない。そのため、画像データ４００１、４００２、４００３はレイヤー１相当のフレームレート、６０フレーム／秒で再生され、４００４から４００７までの画像データがレイヤー２に相当するフレームレート、１２０フレーム／秒で再生される。
【００３５】
この様に本実施例で取り扱う動画データは、レイヤーの指定により再生フレームレートを切りかえることができる動画データである。
【００３６】
次に、本実施例の撮像装置１０００の動作について説明する。図５、図６、図７は、撮像装置１０００のＣＰＵ１００１にて実施される処理の手順を説明するフローチャートである。
【００３７】
図５は、動画データの再生前に実施される処理の手順を説明するフローチャートである。なお、再生前処理は、電源投入後に、ユーザの操作が入力されない状態で自動的に開始してもよいし、撮像装置１０００を再生モードに切り替えたときに開始してもよいし、ＴＶ２０００（外部の表示装置）と接続したときに行われてもよい。また、再生モードにおいて、再生対象の動画データが選択されたとき、複数の動画データの再生順序を指定するプレイリストが指定されたときに行われてもよい。電源投入後、再生モードに切り替えたとき、または外部の表示装置に接続したときは、再生対象の動画データは記録媒体１０１２に記録されているすべての動画データであるものとする。また、動画データが選択されたとき、プレイリストが指定されたときは、再生される動画データが再生対象の動画データとなる。
【００３８】
Ｓ５０００において、ＣＰＵ１００１は再生前処理を開始する。
【００３９】
Ｓ５００１において、ＣＰＵ１００１は、記録媒体１０１２に記録されている動画データのｔｅｍｐｏｒａｌ＿ｉｄとフレームレートの対応関係を示したデータを読み出すように記録媒体制御部１０１１を制御する。ｔｅｍｐｏｒａｌ＿ｉｄとフレームレートの対応関係を示した対応データは、たとえばＡＶＣＨＤ規格の定めるメタデータ記録ファイルであるクリップインフォファイルに格納されている。本実施例では、前述したように、レイヤー２  ４０２２が１２０Ｈｚ、レイヤー１  ４０２１が６０Ｈｚ、レイヤー０  ４０２０が３０Ｈｚであるとして説明を行う。
【００４０】
Ｓ５００２において、ＣＰＵ１００１は、再生対象の動画データの全区間に渡って再生可能なレイヤーに対応するｔｅｍｐｏｒａｌ＿ｉｄ（共通ｔｅｍｐｏｒａｌ＿ｉｄ）を取得する。前述したようにｔｅｍｐｏｒａｌ＿ｉｄは、動画データの各フレームに対応するＮａｌ＿Ｕｎｉｔ＿Ｈｅａｄｅｒに格納されているため、本実施例において、ＣＰＵ１００１は、再生対象の動画データのＮａｌ＿Ｕｎｉｔ＿Ｈｅａｄｅｒを解析する。そして、再生対象の動画データの全区間に渡って再生可能な動画データが存在するレイヤーに対応するｔｅｍｐｏｒａｌ＿ｉｄを判定する。たとえば、再生対象の動画データのｔｅｍｐｏｒａｌ＿ｉｄが全区間にわたりレイヤー１に対応するｉｄを含むが、途中でレイヤー２に対応するｉｄを含まない場合には、レイヤー１に対応するｔｅｍｐｏｒａｌ＿ｉｄが共通ｔｅｍｐｏｒａｌ＿ｉｄとなる。図４の例では、レイヤー０  ４０２０、レイヤー１  ４０２１を示すｔｅｍｐｏｒａｌ＿ｉｄが共通ｔｅｍｐｏｒａｌ＿ｉｄとなる。レイヤー２  ４０２２は、全ての区間に渡って対応する画像データが存在しないためレイヤー２  ４０２２を示すｔｅｍｐｏｒａｌ＿ｉｄは、共通ｔｅｍｐｏｒａｌ＿ｉｄとは判定されない。以降、本実施例では、レイヤー１  ４０２１を示すｔｅｍｐｏｒａｌ＿ｉｄを、共通ｔｅｍｐｏｒａｌ＿ｉｄとして説明する。なお、レイヤー０  ４０２０を示すｔｅｍｐｏｒａｌ＿ｉｄは、共通ｔｅｍｐｏｒａｌ＿ｉｄになりうるので候補ｔｅｍｐｏｒａｌ＿ｉｄと呼ぶ。候補ｔｅｍｐｏｒａｌ＿ｉｄは複数であってもよい。
【００４１】
なお、共通ｔｅｍｐｏｒａｌ＿ｉｄは全ての動画データを解析して判定するものとしたが、記録時に予めクリップインフォファイルなどのメタデータ記録用の領域に記録しておいてもよい。この場合は、共通ｔｅｍｐｏｒａｌ＿ｉｄは、記録時の設定により決定されるかまたは、記録後に記録されたレイヤーの情報に基づいて判定される。
【００４２】
次に、Ｓ５００３において、ＣＰＵ１００１は、Ｓ５００１で読み出したｔｅｍｐｏｒａｌ＿ｉｄとフレームレートの対応データとＳ５００２で解析した共通ｔｅｍｐｏｒａｌ＿ｉｄから、共通フレームレート（ｆｃｏｍ）を判定する。共通フレームレート（ｆｃｏｍ）は、全区間に渡って再生可能なフレームレートである。本実施例では、レイヤー１  ４０２１を共通ｔｅｍｐｏｒａｌ＿ｉｄとするので、共通フレームレート（ｆｃｏｍ）は、レイヤー１  ４０２１に対応するフレームレートである６０Ｈｚとなる。また、候補ｔｅｍｐｏｒａｌ＿ｉｄに対応するフレームレート（候補フレームレート（ｆａｌｔ））も判定する。ここでは、レイヤー０  ４０２０に対応するフレームレートである３０Ｈｚが候補フレームレートとして判定される。判定された、共通フレームレート（ｆｃｏｍ）、候補フレームレート（ｆａｌｔ）ともにＲＡＭ１００３に記録される。そして、Ｓ５００４において、再生前処理を終了する。
【００４３】
図６は、撮像装置１０００とＴＶ２０００がＨＤＭＩ（登録商標）接続された際の処理の手順を説明するフローチャートである。
【００４４】
Ｓ５１００において、ＣＰＵ１００１は、ＨＤＭＩ（登録商標）接続の処理を開始する。Ｓ５１０１において、ＣＰＵ１００１は、ＴＶ２０００と通信を行いＴＶ２０００のＥＤＩＤ情報を受信し、ＲＡＭ１００３に書き込む。次に、Ｓ５１０２において、ＣＰＵ１００１は、Ｓ５１０１においてＲＡＭ１００３に書き込んだＥＤＩＤ情報を解析し、ＴＶ２０００が表示可能な表示フレームレートの情報を取得する。
【００４５】
次にＳ５１０３において、ＣＰＵ１００１は、Ｓ５１０２において解析したＴＶ２０００の表示フレームレートと共通フレームレート（ｆｃｏｍ）を比較する。そして、ＴＶ２０００の表示フレームレートに、共通フレームレートが含まれているか否かを判定する。共通フレームレートが含まれる場合はＳ５１０４へ、含まれない場合はＳ５１０５へ進む。
【００４６】
Ｓ５１０４において、ＣＰＵ１００１は、Ｓ５１０３で判定した共通フレームレート（ｆｃｏｍ）で映像信号を出力するようにＴＶ２０００に通知し、ＨＤＭＩ（登録商標）を経由しての接続をする。
【００４７】
一方、Ｓ５１０５において、共通フレームレートではない候補フレームレートのうち、ＥＤＩＤに含まれているか否かを判定していない候補フレームレート（ｆａｌｔ）が存在する場合、ｆａｌｔをｆｃｏｍとして、再度Ｓ５１０３の処理を実行する。全ての候補フレームレートがＥＤＩＤと比較済みの場合はＳ５１０６へ進む。
【００４８】
Ｓ５１０６において、ＣＰＵ１００１は、ＴＶと接続可能なフレームレートが存在しないと判定して、ＴＶ２０００とのＨＤＭＩ（登録商標）を経由しての接続を切断する。本ステップが実行された場合、後述するＳ５２００〜Ｓ５２０８において動画データに対応するＨＤＭＩ（登録商標）出力する処理は実行されない。
【００４９】
最後に、Ｓ５１０７において、ＣＰＵ１００１は、ＨＤＭＩ（登録商標）接続処理を終了する。
【００５０】
本実施例では、ＴＶ２０００の表示フレームレートが６０フレーム／秒であるものとして説明を行う。すなわちｆｃｏｍが６０フレーム／秒である。
【００５１】
図７は、動画データの再生処理手順を説明するフローチャートである。図７のフローチャートは、動画データ再生中における処理を示したものである。
【００５２】
Ｓ５２００において、ＣＰＵ１００１は、動画データの再生処理を開始する。ＣＰＵ１００１は、記録媒体１０１２から再生対象の動画データのヘッダ情報を読み出すように記録媒体制御部１０１１を制御する。
【００５３】
次に、Ｓ５２０１において、ＣＰＵ１００１は、再生対象の動画データのフレームのＮａｌ＿Ｕｎｉｔ＿Ｈｅａｄｅｒを少なくとも含む情報を記録媒体１０１２から読み出すように記録媒体制御部１０１１を制御する。次に、Ｓ５２０２において、ＣＰＵ１００１は、Ｓ５２０１において読み出された動画データのフレームのＮａｌ＿Ｕｎｉｔ＿Ｈｅａｄｅｒに格納されたｔｅｍｐｏｒａｌ＿ｉｄを取得する。次に、Ｓ５２０３において、ＣＰＵ１００１は、図５のＳ５００１で読み出したｔｅｍｐｏｒａｌ＿ｉｄとフレームレートの対応データを用いて、Ｓ５２０２において読み出したｔｅｍｐｏｒａｌ＿ｉｄに対応するフレームレートを判定する。
【００５４】
次に、Ｓ５０２４において、ＣＰＵ１００１は、図６のＳ５１０３において判定された共通フレームレート（ｆｃｏｍ）と、Ｓ５２０３で判定されたフレームレート（ｆ）を比較する。そして、Ｓ５２０１において読み出された動画データのフレームがＴＶ２０００との接続において復号対象のフレームであるかを判定する。前述したように、共通フレームレート（ｆｃｏｍ）は６０フレーム／秒であるため、本実施例では、レイヤー１、レイヤー０に対応するｔｅｍｐｏｒａｌ＿ｉｄを有するフレームであれば、復号対象のフレームとなる。Ｓ５２０３で判定されたフレームレート（ｆ）が共通フレームレート（ｆｃｏｍ）以下の場合はＳ５２０５へ進み、フレームレート（ｆ）が共通フレームレート（ｆｃｏｍ）より大きい場合はＳ５２０６へ進む。
【００５５】
Ｓ５２０５では、ＣＰＵ１００１は、Ｓ５２０１において読み出したＮａｌ＿Ｕｎｉｔ＿Ｈｅａｄｅｒに対応するＮａｌ＿Ｕｎｉｔのデータを復号対象とする。ＣＰＵ１００１は、このＮａｌ＿Ｕｎｉｔのデータを復号するように符号復号処理部１０１６を制御し、復号された画像データを端子制御部１００８に送信し、端子１００９を介してＴＶ２０００に送信させる。なお、復号された画像データは、出力処理部１００６に送信し、表示部１００７に表示させてもよい。また、Ｈ．２６５においては、フレーム間予測符号化されていることもあるので、復号した順番と表示、出力される順番とは必ずしも一致するとは限らない。
【００５６】
一方Ｓ５２０６では、ＣＰＵ１００１は、Ｓ５２０１で読みだしたＮａｌ＿Ｕｎｉｔ＿Ｈｅａｄｅｒに対応するフレームのＮａｌ＿Ｕｎｉｔのデータを復号しないように符号復号処理部１０１６を制御する。なお、Ｎａｌ＿Ｕｎｉｔのデータを記録媒体１０１２から読みだしていない場合には、Ｓ５２０２で読みだしたＮａｌ＿Ｕｎｉｔ＿Ｈｅａｄｅｒに対応するフレームのＮａｌ＿Ｕｎｉｔのデータ読みださないように記録媒体制御部１０１１を制御してもよい。
【００５７】
Ｓ５２０５、Ｓ５２０６の処理が終わると次に、Ｓ５２０７に処理を移す。Ｓ５０２７では、ＣＰＵ１００１は、ＳＳ５２０１で読みだしたＮａｌ＿Ｕｎｉｔ＿Ｈｅａｄｅｒに対応するＮａｌ＿Ｕｎｉｔが最後のＮａｌ＿Ｕｎｉｔである場合、再生処理が終了したと判定しＳ５２０８へ進む。一方、最後のＮａｌ＿Ｕｎｉｔでない場合、処理をＳ５２０１に移し、次のＮａｌ＿Ｕｎｉｔの処理を行う。
【００５８】
最後に、Ｓ５２０８において、ＣＰＵ１００１は再生処理を終了する。
【００５９】
以上のように、本実施例の撮像装置は、階層符号化された動画データを記録媒体から取得し、取得された動画データを復号して、対応する画像データを外部の表示装置に出力させる撮像装置である。そして、本実施例の撮像装置は、動画データの各フレームの対応する階層情報を取得し、外部の表示装置の表示フレームレートに対応する階層よりも上の階層のフレームに対応するデータを復号しないようにする。そのため、本実施例の撮像装置は、外部の表示装置の表示フレームレートに応じて、圧縮された動画データを効率よく処理することができる。また、外部の表示装置に対する出力フレームレートを切り替えないようにすることもできる。
【００６０】
なお、実施例１においては、１つの動画ファイルの再生処理に関する動作を説明したが、再生対象は１ファイルに限らない。複数の動画ファイルをグルーピングしたプレイリスト等でもよいし、再生可能な全映像データ、例えば動画を一覧表示するインデックス画面に表示されている全動画等、を対象としてもよい。その場合、共通ｔｅｍｐｏｒａｌ＿ｉｄの検索処理の範囲を、プレイリストに含まれる全ファイルの動画データ、もしくは、再生可能な全ファイルに含まれる全映像データとする。
【実施例２】
【００６１】
次に、実施例２について説明する。
【００６２】
実施例２においても、撮像装置について説明する。なお、実施例２は、実施例１と同様のブロック構成、システム構成、データ構成であるものとして説明を行う。すなわち、実施例２においても、図１〜図４は共通であるので説明を省略する。
【００６３】
次に、実施例２における撮像装置１０００の動作について説明する。図８、図９、図１０は、撮像装置１０００のＣＰＵ１００１にて実施される処理の手順を説明するフローチャートである。
【００６４】
図８は、動画データの再生前に実施される処理の手順を説明するフローチャートである。なお、再生前処理は、電源投入後に、ユーザの操作が入力されない状態で自動的に開始してもよいし、撮像装置１０００を再生モードに切り替えたときに開始してもよいし、ＴＶ２０００（外部の表示装置）と接続したときに行われてもよい。また、再生モードにおいて、再生対象の動画データが選択されたとき、複数の動画データの再生順序を指定するプレイリストが指定されたときに行われてもよい。電源投入後、再生モードに切り替えたとき、または外部の表示装置に接続したときは、再生対象の動画データは記録媒体１０１２に記録されているすべての動画データであるものとする。また、動画データが選択されたとき、プレイリストが指定されたときは、再生される動画データが再生対象の動画データとなる。
【００６５】
Ｓ６０００において、ＣＰＵ１００１は再生前処理を開始する。
【００６６】
Ｓ６００１において、ＣＰＵ１００１は、記録媒体１０１２に記録されている動画データのｔｅｍｐｏｒａｌ＿ｉｄとフレームレートの対応関係を示したデータを読み出すように記録媒体制御部１０１１を制御する。ｔｅｍｐｏｒａｌ＿ｉｄとフレームレートの対応関係を示した対応データは、たとえばＡＶＣＨＤ規格の定めるメタデータ記録ファイルであるクリップインフォファイルに格納されている。本実施例では、前述したように、レイヤー２  ４０２２が１２０Ｈｚ、レイヤー１  ４０２１が６０Ｈｚ、レイヤー０  ４０２０が３０Ｈｚであるとして説明を行う。
【００６７】
Ｓ６００２において、ＣＰＵ１００１は、再生対象の動画データの全区間のうち、最も階層の深い（フレームレートの高い再生の場合に表示される）レイヤーに対応するｔｅｍｐｏｒａｌ＿ｉｄ（最大ｔｅｍｐｏｒａｌ＿ｉｄ）を取得する。前述したようにｔｅｍｐｏｒａｌ＿ｉｄは、動画データの各フレームに対応するＮａｌ＿Ｕｎｉｔ＿Ｈｅａｄｅｒに格納されているため、本実施例において、ＣＰＵ１００１は、再生対象の動画データのＮａｌ＿Ｕｎｉｔ＿Ｈｅａｄｅｒを解析する。そして、再生対象の動画データの全区間のうち最も階層の深い（フレームレートの高い再生の場合に表示される）レイヤーに対応するｔｅｍｐｏｒａｌ＿ｉｄ（最大ｔｅｍｐｏｒａｌ＿ｉｄ）を判定する。たとえば、図４の例では、再生対象の動画データのｔｅｍｐｏｒａｌ＿ｉｄの最大はレイヤー２に対応するｔｅｍｐｏｒａｌ＿ｉｄである。
【００６８】
なお、最大ｔｅｍｐｏｒａｌ＿ｉｄは全ての動画データを解析して判定するものとしたが、記録時に予めクリップインフォファイルなどのメタデータ記録用の領域に記録しておいてもよい。この場合は、最大ｔｅｍｐｏｒａｌ＿ｉｄは、記録時の設定により決定されるかまたは、記録後に記録されたレイヤーの情報に基づいて判定される。なお、実施例２においても、最大ｔｅｍｐｏｒａｌ＿ｉｄよりも低いレイヤーのｔｅｍｐｏｒａｌ＿ｉｄを候補ｔｅｍｐｏｒａｌ＿ｉｄとする。
【００６９】
次に、Ｓ６００３において、ＣＰＵ１００１は、Ｓ６００１で読み出したｔｅｍｐｏｒａｌ＿ｉｄとフレームレートの対応データとＳ６００２で解析した最大ｔｅｍｐｏｒａｌ＿ｉｄから、最大フレームレート（ｆｍａｘ）を判定する。本実施例では、レイヤー２  ４０２２を最大ｔｅｍｐｏｒａｌ＿ｉｄとするので、最大フレームレート（ｆｍａｘ）は、レイヤー２  ４０２２に対応するフレームレートである１２０Ｈｚとなる。また、候補ｔｅｍｐｏｒａｌ＿ｉｄに対応するフレームレート（候補フレームレート（ｆａｌｔ））も判定する。ここでは、レイヤー１  ４０２１に対応するフレームレートである６０Ｈｚが候補フレームレートとして判定される。また、レイヤー０  ４０２０に対応するフレームレートである３０Ｈｚも候補フレームレートである。なお、最大フレームレート（ｆｍａｘ）、候補フレームレート（ｆａｌｔ）ともにＲＡＭ１００３に記録される。そして、Ｓ６００４において、再生前処理を終了する。
【００７０】
図９は、撮像装置１０００とＴＶ２０００がＨＤＭＩ（登録商標）接続された際の処理の手順を説明するフローチャートである。
【００７１】
Ｓ６１００において、ＣＰＵ１００１は、ＨＤＭＩ（登録商標）接続の処理を開始する。Ｓ６１０１において、ＣＰＵ１００１は、ＴＶ２０００と通信を行いＴＶ２０００のＥＤＩＤ情報を受信し、ＲＡＭ１００３に書き込む。次に、Ｓ６１０２において、ＣＰＵ１００１は、Ｓ６１０１においてＲＡＭ１００３に書き込んだＥＤＩＤ情報を解析し、ＴＶ２０００が表示可能な表示フレームレートの情報を取得する。
【００７２】
次にＳ６１０３において、ＣＰＵ１００１は、Ｓ６１０２において解析したＴＶ２０００の表示フレームレートと最大フレームレート（ｆｍａｘ）を比較する。そして、ＴＶ２０００の表示フレームレートに、最大フレームレートが含まれているか否かを判定する。最大フレームレートが含まれる場合はＳ６１０４へ、含まれない場合はＳ５１０５へ進む。
【００７３】
Ｓ６１０４において、ＣＰＵ１００１は、Ｓ６１０３で判定した最大フレームレート（ｆｍａｘ）で映像信号を出力するようにＴＶ２０００に通知し、ＨＤＭＩ（登録商標）を経由しての接続をする。
【００７４】
一方、Ｓ６１０５において、最大フレームレート（ｆｍａｘ）ではない候補フレームレートのうち、ＥＤＩＤに含まれているか否かを判定していない候補フレームレート（ｆａｌｔ）が存在する場合、ｆａｌｔをｆｍａｘとして、再度Ｓ６１０３の処理を実行する。全ての候補フレームレートがＥＤＩＤと比較済みの場合はＳ６１０６へ進む。
【００７５】
Ｓ６１０６において、ＣＰＵ１００１は、ＴＶと接続可能なフレームレートが存在しないと判定して、ＴＶ２０００とのＨＤＭＩ（登録商標）を経由しての接続を切断する。本ステップが実行された場合、後述するＳ６２００〜Ｓ６２０８において動画データに対応するＨＤＭＩ（登録商標）出力する処理は実行されない。
【００７６】
最後に、Ｓ６１０７において、ＣＰＵ１００１は、ＨＤＭＩ（登録商標）接続処理を終了する。
【００７７】
本実施例では、ＴＶ２０００の表示フレームレートが１２０フレーム／秒であるものとして説明を行う。すなわちｆｍａｘが１２０フレーム／秒である。
【００７８】
図１０は、動画データの再生処理手順を説明するフローチャートである。図１０のフローチャートは、動画データ再生中における処理を示したものである。
【００７９】
Ｓ６２００において、ＣＰＵ１００１は、動画データの再生処理を開始する。ＣＰＵ１００１は、記録媒体１０１２から再生対象の動画データのヘッダ情報を読み出すように記録媒体制御部１０１１を制御する。
【００８０】
次に、Ｓ６２０１において、ＣＰＵ１００１は、まず、最初のフレームに対応するＮａｌ＿Ｕｎｉｔを記録媒体１０１２から読み出すように記録媒体制御部１０１１を制御する。そして、読みだしたＮａｌ＿Ｕｎｉｔのデータを復号するように符号復号処理部１０１６を制御する。ＣＰＵ１００１は、復号した画像データをＲＡＭ１００３に格納するとともに、端子制御部１００８に送信し、端子１００９を経由してＴＶ２０００に送信させる。なお、このとき、ＣＰＵ１００１は、Ｎａｌ＿Ｕｎｉｔ＿Ｈｅａｄｅｒに格納されたｔｅｍｐｏｒａｌ＿ｉｄを読み出して、図８のＳ６００１で読み出したｔｅｍｐｏｒａｌ＿ｉｄとフレームレートの対応データを用いて、対応するフレームレートを判定する。これを直前のフレームのフレームレート（ｆｐｒｅｖ）としてＲＡＭ１００３に格納しておく。
【００８１】
次に、Ｓ６２０２において、次のフレームに対応するＮａｌ＿Ｕｎｉｔを記録媒体１０１２から読み出すように記録媒体制御部１０１１を制御する。そして、読みだした次のフレームのＮａｌ＿Ｕｎｉｔのデータを復号するように符号復号処理部１０１６を制御し、ＣＰＵ１００１は、復号した画像データをＲＡＭ１００３に格納する。
【００８２】
次に、Ｓ６２０３において、Ｓ６２０２で読み出したフレームのＮａｌ＿ＵｎｉｔのＮａｌ＿ＵｎｉｔＨｅａｄｅｒに格納されたｔｅｍｐｏｒａｌ＿ｉｄを読みだす。そして、Ｓ６２０４において、ＣＰＵ１００１は、読み出したｔｅｍｐｏｒａｌ＿ｉｄをＳ６００１で読み出したｔｅｍｐｏｒａｌ＿ｉｄとフレームレートの対応データを用いてｔｅｍｐｏｒａｌ＿ｉｄに対応するフレームレート（ｆ）を判定する。すなわち、この時点で、直前のフレームのフレームレート（ｆｐｒｅｖ）と、現在のフレームのフレームレート（ｆ）が存在する。
【００８３】
次に、Ｓ６２０５において、ＣＰＵ１００１は、まず現在のフレームのフレームレート（ｆ）と、最大フレームレート（ｆｍａｘ）を比較する。そして、現在フレームレート（ｆ）が最大フレームレート（ｆｍａｘ）よりも小さい場合には、処理をＳ６２０６に移し、現在フレームレート（ｆ）が最大フレームレート（ｆｍａｘ）よりも小さくない場合は、処理をＳ６２０９に移す。
【００８４】
Ｓ６２０６において、ＣＰＵ１００１は、直前のフレームのフレームレート（ｆｐｒｅｖ）と、現在のフレームのフレームレート（ｆ）を比較し、出力すべきダミー映像のフレーム数を計算する。実施例２の場合、例えば、画像データ４００２のフレームレート（ｆ）は６０フレーム／秒であり、直前の画像データである４００１のフレームレート（ｆｐｒｅｖ）は３０フレーム／秒である。この場合、図４に示す映像データの階層構造から、１２０フレーム／秒  相当のフレームレートで映像信号を出力するためには、レイヤー２  ４０２２に対応する画像データが１枚不足している事が判定できる。この場合、ダミー繰り返し回数は１となる。
【００８５】
Ｓ６２０７において、ＣＰＵ１００１は、ＲＡＭ１００３に記憶された直前のフレームの画像データをダミーの画像データとしてバス１００１を介して端子制御部１００８へ送信する。端子制御部１００８へ送信された映像データは、端子１００９を介してＴＶ２０００へ送信される。
【００８６】
次に、Ｓ６２０８において、ＣＰＵ１００１は、繰り返し回数を１減算し、減算した結果が０の場合、Ｓ６２１０へ進む。１以上の場合、Ｓ６２０７へ進む。
【００８７】
一方、Ｓ６２０９において、ＣＰＵ１００１は、Ｓ６１０３において判定した最大フレームレート（ｆｍａｘ）とＳ６２０４において読み出したフレームレート（ｆ）を比較し、ｆがｆｍａｘより大きい場合はＳ６２１１へ進み、ｆがｆｍａｘ以下の場合はＳ６２１０へ進む。すなわち、最大フレームレート（ｆｍａｘ）よりも高いフレームレートに対応するフレームの画像データはＴＶ２０００に出力しないようにするのである。なお、このフレームに対応するＮａｌ＿Ｕｎｉｔのデータについては、復号しないようにしてもよいし、記録媒体１０１２から読みださないようにしてもよい。
【００８８】
Ｓ６２１０において、ＣＰＵ１００１は、現画像データをバス１００１を介して端子制御部１００８送信する。端子制御部１００８へ送信されたが図データは、端子１００９を介してＴＶ２０００へ送信される。
【００８９】
Ｓ６２１１において、ＣＰＵ１００１は、ステップ６２０２において読み出したＮａｌ＿Ｕｎｉｔが再生対象のＮａｌ＿Ｕｎｉｔのうち最後のＮａｌ＿Ｕｎｉｔであるか否かを判定する。最後のＮａｌ＿Ｕｎｉｔである場合、再生処理が終了したと判定しＳ６２１２へ進む、最後のＮａｌ＿Ｕｎｉｔでない場合、処理をＳ６２０２に戻し、さらに次のＮａｌ＿Ｕｎｉｔの処理をする。Ｓ６２１１において、ＣＰＵ１００１は、再生処理を終了する。
【００９０】
尚、Ｓ６２０６において求めたダミーフレーム数は現画像データと前画像データの表示間隔から計算してもよい。例えば、実施例２の場合、レイヤー１  ４０２１の再生フレームレートが６０フレーム／秒であるため、画像データ４００１を前画像データ、画像データ４００２を現画像データとすると、２つの画像データの再生間隔は約１６．６ｍｓ（ｔ１）となる。一方、最大フレームレートは１２０フレーム／秒であり、その場合の画像データの表示間隔は約８．３ｍｓ（ｔ２）となるため、式：（ｔ１／ｔ２）−１を用いてダミーフレームの数１を求める事ができる。
【００９１】
以上のように、本実施例によれば、指定されたレイヤーに対応する画像データが存在しない場合、直前の画像データを繰り返しＴＶ２０００へ送信する。このようにすることで、ＴＶ２０００に対する見掛け上のフレームレートを指定されたレイヤーに対応するフレームレートに合わせる事ができる。その結果、ＨＤＭＩ（登録商標）出力される信号のフレームレート変更を抑制し、その結果として動画再生中の予期しないＨＤＭＩ（登録商標）接続の中断を回避可能となる。
【００９２】
また、本実施例の撮像装置は、階層符号化された動画データを記録媒体から取得し、取得された動画データを復号して、対応する画像データを外部の表示装置に出力させる撮像装置である。そして、本実施例の撮像装置は、動画データの各フレームの対応する階層情報を取得し、外部の表示装置の表示フレームレートに対応する階層よりも上の階層のフレームに対応するデータを復号しないようにする。これは、たとえばＳ６２０９の処理に対応する。また、外部の表示装置の表示フレームレートに対して動画データのフレームが不足する場合には、表示フレームレートに合うように動画データのフレーム数を増やして外部の表示装置に出力する。そのため、本実施例の撮像装置は、外部の表示装置の表示フレームレートに応じて、圧縮された動画データを効率よく処理することができる。また、外部の表示装置に対する出力フレームレートを切り替えないようにすることもできる。
【００９３】
なお、実施例２においては、１つの動画ファイルの再生処理に関する動作を説明したが、再生対象は１ファイルに限らない。複数の動画ファイルをグルーピングしたプレイリスト等でもよいし、再生可能な全映像データ、例えば動画を一覧表示するインデックス画面に表示されている全動画等、を対象としてもよい。その場合、最大ｔｅｍｐｏｒａｌ＿ｉｄの検索処理の範囲を、プレイリストに含まれる全ファイルの動画データ、もしくは、再生可能な全ファイルに含まれる全映像データとする。
【００９４】
なお、実施例２の処理と、実施例１の処理を両方に実施できるようにしてもよい。
【００９５】
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００９６】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００９７】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００９８】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図１】
2015080034.tif 000003
【図２】
2015080034.tif 000004
【図３】
2015080034.tif 000005
【図４】
2015080034.tif 000006
【図５】
2015080034.tif 000007
【図６】
2015080034.tif 000008
【図７】
2015080034.tif 000009
【図８】
2015080034.tif 000010
【図９】
2015080034.tif 000011
【図１０】
2015080034.tif 000012