(57)【特許請求の範囲】
【請求項１】
映像データからフレーム画像データを抽出することが可能な映像処理装置であって、
前記映像データには、前記映像データの画角情報が関連付けられ、複数の前記映像データの中には画角情報が異なる映像データが含まれており、
前記複数の映像データに関連付けられた前記画角情報を取得する取得手段と、
前記取得手段により取得した画角情報に基づいて、前記複数の映像データのうち、映像データから抽出するフレーム画像データを指定する指示が入力されたタイミングに表示されている表示映像データの画角情報で示される領域を包含し、且つ当該領域よりも広い領域を示す画角情報が関連付けられた広画角映像データから、前記タイミングに対応するフレーム画像データを抽出する抽出手段とを有することを特徴とする映像処理装置。
【請求項２】
前記映像データには、前記映像データを構成するフレーム画像データの画素数の値を示す画素数情報及び、前記映像データの画角情報が関連付けられており、
前記取得手段は、前記複数の映像データに関連付けられた前記画素数情報及び前記画角情報を取得し、
前記取得手段により取得した画素数情報及び画角情報に基づいて、前記抽出手段は、前記広画角映像データのうち、同じ画角情報が関連付けられた前記広画角映像データが複数存在する場合、前記同じ画角情報が関連付けられた前記広画角映像データの中で、最も前記画素数の値が大きい画素数情報が関連付けられた映像データから、前記タイミングに対応するフレーム画像データを抽出することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
更に、前記抽出手段は、前記表示映像データの画角情報と同じ値の画角情報が関連付けられた映像データの中で最も前記画素数の値が大きい画素数情報が関連付けられた映像データから、前記タイミングに対応するフレーム画像データを抽出することを特徴とする請求項２に記載の映像処理装置。
【請求項４】
前記抽出手段は、前記複数の映像データの画角情報のうち、前記フレーム画像データを抽出した映像データの画角情報とは異なる画角情報を、前記抽出したフレーム画像データの中で、最も広画角のフレーム画像データに、属性情報として付加することを特徴とする請求項１乃至３に記載の映像処理装置。
【請求項５】
前記抽出手段により抽出された前記フレーム画像データを表示部に表示する表示手段を有し、
前記表示手段は、前記複数の映像データのうち、映像データからフレーム画像データを抽出する指示が入力されたタイミングに表示している表示映像データの画角情報で示される領域を包含し、且つ当該領域よりも広い領域を示す画角情報が関連付けられた広画角映像データから抽出した、前記タイミングに対応するフレーム画像データと、
前記表示映像データの画角情報と同じ画角情報が関連付けられた映像データの中で、最も画素数の値が大きい画素数情報が関連付けられた映像データから抽出した、前記タイミングに対応するフレーム画像データとを、並置して表示部に表示することを特徴とする請求項３に記載の映像処理装置。
【請求項６】
前記抽出手段により抽出された前記フレーム画像データを表示部に表示する表示手段を有し、
前記表示手段は、前記最も広画角のフレーム画像データに、前記画角情報に対応した大きさの枠画像を合成し、前記表示手段に前記枠画像を合成した前記フレーム画像データを表示部に表示することを特徴とする請求項４に記載の映像処理装置。
【請求項７】
複数の映像データが階層符号化された符号化映像データを再生することが可能な映像処理装置であって、
前記階層符号化された符号化映像データは、複数の映像データに対応した複数の階層に符号化ストリームデータを保持する構造を有し、各階層の符号化ストリームデータは、各階層に対応した映像データを構成するフレーム画像データの画素数の値を示す画素数情報及び、該映像データの画角情報並びに該映像データを符号化する際に参照する映像データに対応する階層に関する参照階層情報を含んでおり、複数の映像データの中で、映像データを構成するフレーム画像データの解像度が低い映像データは、下位の階層に符号化され、映像データを構成するフレーム画像データの解像度が高い映像データは、上位の階層に符号化されていて、
各階層の前記符号化ストリームデータから、前記映像データの前記画素数情報及び前記画角情報並びに参照階層情報を取得する取得手段と、
前記取得手段により取得された画素数情報及び画角情報並びに参照階層情報に基づいて、各階層に対応した前記映像データの画角情報が、映像データから抽出するフレーム画像データを指定する指示が入力されたタイミングに表示している表示映像データの画角情報と同じ画角情報か否かを判定する判定手段と、
前記判定手段が、前記表示映像データの画角情報と同じ画角情報であると判定した映像データの中で、前記参照階層情報に基づいて、前記表示映像データに対応した階層以上の階層に対応した映像データから、前記タイミングに対応するフレーム画像データを抽出する抽出手段とを有することを特徴とする映像処理装置。
【請求項８】
更に、前記抽出手段は、前記表示映像データと異なる画角情報が関連付けられた映像データのうち、同じ画角情報が関連付けられた映像データの中で、最も画素数の値が大きい画素数情報が関連付けられた映像データから、前記タイミングに対応するフレーム画像データを抽出することを特徴とする請求項７に記載の映像処理装置。
【請求項９】
映像データからフレーム画像データを抽出することが可能な映像処理装置の制御方法であって、
前記映像データには、前記映像データの画角情報が関連付けられ、複数の前記映像データには画角情報が異なる映像データが含まれており、
前記複数の映像データに関連付けられた前記画角情報を取得する取得工程と、
前記取得工程において取得された画角情報に基づいて、前記複数の映像データのうち、映像データから抽出するフレーム画像データを指定する指示が入力されたタイミングに表示されている表示映像データの画角情報で示される領域を包含し、且つ当該領域よりも広い領域を示す画角情報が関連付けられた広画角映像データから、前記タイミングに対応するフレーム画像データを抽出する抽出工程とを有することを特徴とする映像処理装置の制御方法。
【請求項１０】
前記映像データには、前記映像データを構成するフレーム画像データの画素数の値を示す画素数情報及び、前記映像データの画角情報が関連付けられており、
前記取得工程では、前記複数の映像データに関連付けられた前記画素数情報及び前記画角情報を取得し、
前記取得工程において取得された画素数情報及び画角情報に基づいて、前記抽出工程では、前記広画角映像データのうち、同じ画角情報が関連付けられた前記広画角映像データが複数存在する場合、前記同じ画角情報が関連付けられた前記広画角映像データの中で、最も前記画素数の値が大きい画素数情報が関連付けられた映像データから、前記タイミングに対応するフレーム画像データを抽出することを特徴とする請求項９に記載の映像処理装置の制御方法。
【請求項１１】
更に、前記抽出工程では、前記表示映像データの画角情報と同じ値の画角情報が関連付けられた映像データの中で最も前記画素数の値が大きい画素数情報が関連付けられた映像データから、前記タイミングに対応するフレーム画像データを抽出することを特徴とする請求項１０に記載の映像処理装置の制御方法。
【請求項１２】
前記抽出工程では、前記複数の映像データの画角情報のうち、前記フレーム画像データを抽出した映像データの画角情報とは異なる画角情報を、前記抽出したフレーム画像データの中で、最も広画角のフレーム画像データに、属性情報として付加することを特徴とする請求項９乃至１１に記載の映像処理装置の制御方法。
【請求項１３】
前記抽出工程において抽出された前記フレーム画像データを表示部に表示する表示工程を有し、
前記表示工程では、前記複数の映像データのうち、映像データからフレーム画像データを抽出する指示が入力されたタイミングに表示している表示映像データの画角情報で示される領域を包含し、且つ当該領域よりも広い領域を示す画角情報が関連付けられた広画角映像データから抽出した、前記タイミングに対応するフレーム画像データと、
前記表示映像データの画角情報と同じ画角情報が関連付けられた映像データの中で、最も画素数の値が大きい画素数情報が関連付けられた映像データから抽出した、前記タイミングに対応するフレーム画像データとを、並置して表示部に表示することを特徴とする請求項１１に記載の映像処理装置の制御方法。
【請求項１４】
前記抽出工程において抽出された前記フレーム画像データを表示部に表示する表示工程を有し、
前記表示工程では、前記最も広画角のフレーム画像データに、前記画角情報に対応した大きさの枠画像を合成し、前記枠画像が合成された前記フレーム画像データを表示部に表示することを特徴とする請求項１２に記載の映像処理装置の制御方法。
【請求項１５】
複数の映像データが階層符号化された符号化映像データを再生することが可能な映像処理装置の制御方法であって、
前記階層符号化された符号化映像データは、複数の映像データに対応した複数の階層に符号化ストリームデータを保持する構造を有し、各階層の符号化ストリームデータは、各階層に対応した映像データを構成するフレーム画像データの画素数の値を示す画素数情報及び、該映像データの画角情報並びに該映像データを符号化する際に参照する映像データに対応する階層に関する参照階層情報を含んでおり、複数の映像データの中で、映像データを構成するフレーム画像データの解像度が低い映像データは、下位の階層に符号化され、映像データを構成するフレーム画像データの解像度が高い映像データは、上位の階層に符号化されていて、
各階層の前記符号化ストリームデータから、前記映像データの前記画素数情報及び前記画角情報並びに参照階層情報を取得する取得工程と、
前記取得工程において取得された画素数情報及び画角情報並びに参照階層情報に基づいて、各階層に対応した前記映像データの画角情報が、映像データから抽出するフレーム画像データを指定する指示が入力されたタイミングに表示している表示映像データの画角情報と同じ画角情報か否かを判定する判定工程と、
前記判定工程が、前記表示映像データの画角情報と同じ画角情報であると判定した映像データの中で、前記参照階層情報に基づいて、前記表示映像データに対応した階層以上の階層に対応した映像データから、前記タイミングに対応するフレーム画像データを抽出する抽出工程とを有することを特徴とする映像処理装置の制御方法。
【請求項１６】
更に、前記抽出工程では、前記表示映像データと異なる画角情報が関連付けられた映像データのうち、同じ画角情報が関連付けられた映像データの中で、最も画素数の値が大きい画素数情報が関連付けられた映像データから、前記タイミングに対応するフレーム画像データを抽出することを特徴とする請求項１５に記載の映像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データからフレーム画像データを抽出することが可能な映像処理装置及びその制御方法に関するものである。
【背景技術】
【０００２】
映像データの利用方法として、映像を通常再生して表示部に表示するだけでなく、映像データからフレーム画像データを任意のタイミングで抽出し、抽出したフレーム画像データから、表示部に表示したり印刷したりする画像データを生成することがある。
【０００３】
下記の特許文献１には、高解像度の動画から低解像度の動画を生成し、生成された低解像度の動画の視聴中に静止画の切り出しを指定すると、指定されたタイミングの静止画を高解像度の動画から切り出す技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３３３５６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし最近では、画角が異なる複数の映像が配信されるようになってきている。ここで画角とは、映像の被写界を示す表現として用いる。コンピュータグラフィックスやアニメーションなどのような撮影されていない映像についても、同様に被写界に相当する表現として画角という言葉を用いる。よって、画角が大きい映像又は広画角の映像とは、広い領域が収められている又は表現されている映像のことを指す。例えばサッカーの試合において、サッカー場全体を捉えた映像とその映像の一部であるサッカー場内にいる一人のサッカー選手だけを捉えた映像とがある場合を想定する。このケースでは、サッカー場全体を捉えた映像は広画角の映像であり、それに比して、広画角の映像領域に含まれる一人のサッカー選手だけを捉えた映像は狭画角の映像といえる。そして、このような広画角の映像と、狭画角の映像が、同時並行的に配信される場合がある。また、これら複数の映像は画角の違いだけでなく、映像を構成するフレーム画像の画素数も異なる場合がある。
【０００６】
このように、画角が異なる複数の映像が存在する状況において、映像データからフレーム画像データを抽出する場合を想定する。ユーザは、複数種類の画角のうち、任意の１つの画角に対応する映像データを表示しており、その映像データを表示している最中に必要なフレーム画像データの抽出処理を指示する。このとき、ユーザが表示している映像データである表示映像データから抽出されたフレーム画像データよりも、ユーザが表示していない他の画角の映像データから抽出したフレーム画像データの方が、ユーザにとって好適である場合が考えられる。
【０００７】
例えば、サッカー場全体を捉えた広画角の映像データと、この映像データが捉えている画角（領域）の一部に相当する、一人の選手を捉えた狭画角の映像データとの２種類の映像データがあるとする。そして、広画角の映像データよりも狭画角の映像データの方が、フレーム画像１枚あたりの画素数が多く、かつ画素密度も高いケースを仮定する。
【０００８】
ユーザが狭画角の映像データの表示中にフレーム画像データの抽出を行う場合、特許文献１に開示の技術を適用すると、広画角の映像データよりも画素数が多くて画素密度も高い、即ち高解像度の狭画角の映像データからフレーム画像データを抽出することになる。つまり、表示している狭画角の映像データに捉えられていない領域が、表示していない広画角の映像データに包含されているにも関わらず、ユーザは広画角の映像データの画像データを取得することができない。これは、画角の異なる映像データが存在することを特許文献１に開示の技術は想定していないためである。
【０００９】
また、同じ画角の映像データの中でも、フレーム画像１枚あたりの画素数が多い、多画素数の映像データと、画素数の少ない少画素数の映像データが存在するケースで、ユーザが少画素数の映像データを表示しながらフレーム画像の抽出処理を実行する場合を考える。この場合には、表示映像データからフレーム画像データを抽出するよりも、表示していない多画素数の映像データからフレーム画像データを抽出する方がユーザにとって望ましい。なぜなら、多画素数の映像データから抽出したフレーム画像データの方が精細度が高いため、画像データの表示や印刷に適しており、画像データの加工や印刷の選択肢が広がるというメリットを有するからである。
【００１０】
そこで本発明は、画角と画素数のうち少なくとも一方が異なる複数の映像データが存在する場合において、これらの映像データからフレーム画像データを抽出するにあたり、表示映像データの画角や画素数の情報と、表示されていない映像データの画角や画素数の情報とを用いて、ユーザが視聴している表示映像データと同等以上に広画角や画素数の多い映像データからフレーム画像データを抽出することで、ユーザの利便性を向上させることが可能な映像処理装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の映像処理装置は、映像データからフレーム画像データを抽出することが可能な映像処理装置であって、前記映像データには、前記映像データの画角情報が関連付けられ、複数の前記映像データには画角情報が異なる映像データが含まれており、前記複数の映像データに関連付けられた前記画角情報を取得する取得手段と、前記取得手段により取得した画角情報に基づいて、前記複数の映像データのうち、映像データから抽出するフレーム画像データを指定する指示が入力されたタイミングに表示されている表示映像データの画角情報で示される領域を包含し、且つ当該領域よりも広い領域を示す画角情報が関連付けられた広画角映像データから、前記タイミングに対応するフレーム画像データを抽出する抽出手段とを有することを特徴とする。
【発明の効果】
【００１２】
以上説明したように、本発明によれば、画角と画素数のうち少なくとも一方が異なる複数の映像データが存在する場合において、これらの映像データからフレーム画像データを抽出するにあたり、ユーザが視聴している表示映像データよりも広画角や画素数の多い映像データからフレーム画像データを抽出することで、ユーザの利便性を向上させることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】映像データを構成するフレーム画像データの関係図及びＨ．２６４／ＳＶＣのデータ構造を示した概念図である。
【図２】映像処理装置１００の構成を示すブロック図である。
【図３】映像データを構成するレイヤの概念図である。
【図４】映像データの構成情報を示す図である。
【図５】実施例１におけるフレーム画像データの抽出処理時の制御を示したフローチャートである。
【図６】実施例１における代表画像及び付加画像としてフレーム画像データを抽出する映像データのレイヤを示した図である。
【図７】実施例２におけるフレーム画像データの抽出処理時の制御を示したフローチャートである。
【図８】実施例２における、フレーム画像データに付加するグループの映像データの画角情報を、フレーム画像データを抽出した映像データの画素数を基準にした座標系へ換算する具体例を示す概念図である。
【図９】実施例２における代表画像を抽出した映像データのレイヤ、抽出したフレーム画像データに付加した映像データの画角情報を有するグループ及び付加画像を抽出した映像データのレイヤを示した図である。
【図１０】実施例３におけるフレーム画像データ又は／及び映像データの画角情報抽出後の処理を示したフローチャートである。
【図１１】実施例３における画像データの表示例を示す概念図である。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して、本発明の実施例を説明する。
【００１５】
（実施例１）
本実施例の映像処理装置において処理される映像データは、ＭＰＥＧ２  ＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）形式のストリームデータである。このＭＰＥＧ２  ＴＳ形式のストリームデータには、映像データと音声データが多重化されている。映像データは、画角及び／又は画素数の異なる複数の映像データが、Ｈ．２６４／ＳＶＣ規格で階層符号化された符号化映像データである。階層符号化された符号化映像データは、複数の映像データに対応した複数の階層に符号化ストリームデータを保持する構造を有している。ここで、画角とは、映像データの有効画素領域に収められている被写体の領域を示し、画角が大きい映像又は広画角の映像とは、広い領域が収められている映像のことを指す。
【００１６】
階層符号化された符号化映像データをデコードして得られる複数の映像データは、同一の映像データから作成された映像データである。例えば、最も広画角映像から、その映像の一部の領域を切り出すことで作成された部分領域の映像が複数作成され、作成された複数の映像データが符号化映像データとして符号化されている。図１にＨ．２６４／ＳＶＣで符号化された符号化映像データの構成を示した概念図を示す。図１（ａ）は符号化映像データを構成するフレーム画像データの関係図、（ｂ）はＨ．２６４／ＳＶＣのデータ構造を示した概念図である。
【００１７】
複数の映像データは、複数の階層（レイヤ）に対応して符号化されており、複数のレイヤの中で最下位レイヤをベースレイヤ、ベースレイヤより上位のレイヤをエンハンスレイヤと称する。図１（ａ）は、ベースレイヤ１つに対し、エンハンスレイヤが１つ存在する符号化映像データである。なお、エンハンスレイヤは１つに限らず、複数設けることができる。ベースレイヤには、複数の映像データを符号化する際の基礎となる映像が符号化されたデータが保持される。エンハンスレイヤには、符号化する映像データと、ベースレイヤに符号化された映像データとの差分の映像データが符号化されたデータが保持される。このときのベースレイヤを、本明細書では参照レイヤと称する。
【００１８】
図１（ａ）では説明を容易にするために、符号化前または復号後のフレーム画像のイメージに、符号化データを保持する単位であるレイヤを割り当てて図示している。実際には、エンハンスレイヤＸには、３８４０×２１６０ピクセルの映像データのうち、ベースレイヤに符号化された９６０×５４０ピクセルの映像データとの差分データを符号化したデータが保持されている。よって、３８４０×２１６０ピクセルの映像データは、エンハンスレイヤＸ及び参照レイヤであるベースレイヤの符号化データをデコードすることで得られる。このように、エンハンスレイヤＸ及びベースレイヤのデータをデコードすることにより得られる映像データを、便宜上、以後エンハンスレイヤＸの映像データと称する。
【００１９】
Ｈ．２６４／ＳＶＣ規格では、複数のレイヤの中で、上位レイヤに符号化された映像データの解像度（映像データを構成するフレーム画像データの単位面積当たりの画素数）は下位レイヤの映像データの解像度以上となっている。なお、エンハンスレイヤは、複数設けることが可能であり、上位のエンハンスレイヤはベースレイヤと下位のエンハンスレイヤとの差分データを符号化したデータを保持することになる。
【００２０】
続いて図１（ｂ）を参照してＨ．２６４／ＳＶＣのデータ構造の説明を行う。Ｈ．２６４／ＳＶＣ規格で階層符号化された符号化映像データは、映像符号化データ本体と、シーケンス全体の符号化に関する情報をヘッダとして保持するＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）とを含んでいる。映像符号化データ及びＳＰＳは、レイヤの数だけ存在する。
【００２１】
映像符号化データは複数のフレーム画像データの集合からなる映像データを複数符号化したデータである。ベースレイヤの映像符号化データには、ベースレイヤの映像データを構成するフレーム画像データが符号化されている。エンハンスレイヤの映像符号化データには、エンハンスレイヤの映像データを構成するフレーム画像データと、該エンハンスレイヤが参照する参照レイヤの映像データを構成するフレーム画像データとの差分が符号化されている。
【００２２】
ＳＰＳは、各レイヤの符号化に関する情報が含まれたヘッダである。ベースレイヤのＳＰＳには、Ｈ．２６４／ＡＶＣと同様に、プロファイル、レベルやシーケンス全体の符号化モードなど、シーケンス全体の符号化に関わる情報が含まれる。エンハンスレイヤのＳＰＳには、エンハンスレイヤの映像データと該エンハンスレイヤが参照する参照レイヤの映像データとの差分を符号化するための情報が格納される。
【００２３】
具体的には、各レイヤのＳＰＳには、各レイヤの映像データを構成するフレーム画像データ１枚あたりの画素数情報（以後、省略して映像データの画素数情報と称する）及び、各レイヤが参照する参照レイヤに関する参照階層情報が含まれる。更にＳＰＳは、エンハンスレイヤの映像データを構成するフレーム画像データと参照レイヤの映像データを構成するフレーム画像データとの左上端点位置及び右下端点位置の違いを、参照レイヤの映像データの画素数を基準にした座標系で表したオフセット情報を含む。オフセット情報は映像のスライスヘッダに格納されていてもよい。
【００２４】
図２は、実施例１に係る映像処理装置１００の構成を示すブロック図である。映像処理装置１００において入力部１０１は放送や通信、蓄積メディア１からＭＰＥＧ２  ＴＳ形式のストリームデータが入力され、分離部１０２へ出力する。分離部１０２はストリームデータから映像データと音声データを分離する。そして、音声データを音声デコード部１０３へ、映像データを構成情報取得部１０５、映像デコード部１０７、抽出処理部１０９へそれぞれ出力する。
【００２５】
音声デコード部１０３は入力された音声データをデコードし、デコードした音声データを音声出力部１０４へ出力する。音声出力部１０４は、入力された音声データをスピーカ等へ出力する。
【００２６】
構成情報取得部１０５は、入力された符号化映像データをデコードして得られる複数の映像データの画素数情報及び画角情報、並びに参照階層情報からなる構成情報を取得する。各映像データの画素数情報及び参照階層情報は、各映像データに対応するレイヤのＳＰＳやスライスヘッダから取得する。
【００２７】
各映像データの画角情報は、各映像データの画角を示す左上端点位置及び右下端点位置を、ベースレイヤの映像データの画素数を基準にした座標系で表したものである。該座標系は、映像データの１画素を１単位とした平面の座標系であり、例えば、映像データの画素数が１９２０×１０８０ピクセルの場合、左上端点位置（０，０）及び右下端点位置（１９２０，１０８０）とするものである。各映像データ画角情報は、各映像データのオフセット情報をベースレイヤの映像データの画素数を基準にした座標系にそれぞれ換算した値となる。各映像データの画角情報から、ベースレイヤの映像データに対する各エンハンスレイヤの映像データの画角の位置関係が特定できる。
【００２８】
表示レイヤ決定部１０６は、表示する映像データの構成情報を有するレイヤを表示レイヤとして決定する。表示する映像データはユーザ等の選択により決定される。映像デコード部１０７は、表示する映像データを、表示レイヤ決定部１０６で決定された表示レイヤ及び表示レイヤより下位のレイヤの符号化データをデコードすることにより生成する。映像デコード部１０７は、生成した映像データを映像合成出力部１１０へ出力する。
【００２９】
抽出処理決定部１０８は、符号化映像データに含まれるすべてのレイヤの構成情報と、表示レイヤ決定部１０６で決定した表示レイヤの構成情報とに基づいて、フレーム画像データを抽出する映像データが符号化されているレイヤを決定する。フレーム画像データを抽出する映像データが符号化されているレイヤのことを、以後、抽出レイヤと称する。抽出レイヤの決定処理についての詳細は後述する。抽出処理部１０９は、抽出処理決定部１０８で決定した抽出レイヤの映像データから、抽出するフレーム画像データを指定する指示が入力されたタイミングのフレーム画像データを抽出する。抽出されたフレーム画像データは映像合成出力部１１０へ出力され、さらに蓄積データとして蓄積メディア２へ出力される。この蓄積メディア２は、前述した蓄積メディア１と同じメディアでも良く、具体的には、ＤＶＤ、ＢＤ、ＨＤＤ、メモリーカード等である。
【００３０】
映像合成出力部１１０は、デコードされた映像データや抽出したフレーム画像データと、制御部１１１から出力されたグラフィクスデータとを合成し、合成したデータを表示パネルへ出力する。制御部１１１は、信号受信部１１２から入力されるユーザからの指示や、映像処理装置１００の内部状態に応じて、ユーザへ提示するメニューなどのグラフィクスデータを生成し、映像合成出力部１１０へ出力する。また、映像合成出力部１１０が表示パネルに出力したデータを表示パネルに表示する制御を行う。また、ユーザからの映像再生の指示や、フレーム画像抽出の指示を、それぞれ表示レイヤ決定部１０６、抽出処理決定部１０８へ出力する。信号受信部１１２は、ユーザからの入力を受け付け、制御部１１１へ出力する。
【００３１】
構成情報取得部１０５で実行する、符号化映像データを構成するレイヤの構成情報の取得処理について、図３及び図４を用いて具体例を説明する。図３は符号化映像データＡ，符号化映像データＢ，符号化映像データＣの３種類の符号化映像データをそれぞれ構成するレイヤの概念図である。符号化映像データＡは、レイヤＡ１、レイヤＡ２、レイヤＡ３に対応する３種類の映像データを階層符号化した符号化映像データである。符号化映像データＢは、レイヤＢ１、レイヤＢ２、レイヤＢ３に対応する３種類の映像データを階層符号化した符号化映像データである。符号化映像データＣは、レイヤＣ１、レイヤＣ２、レイヤＣ３の映像データを階層符号化した符号化映像データである。符号化映像データＡ，符号化映像データＢ，符号化映像データＣはそれぞれベースレイヤ１つ、エンハンスレイヤ２つを有する。概念図での平行四辺形の大きさは復号された各映像データの画角の大きさを示しており、平行四辺形内の格子の細かさは映像データの画素数を示している。図４に、符号化映像データＡ，符号化映像データＢ，符号化映像データＣを構成する各レイヤの映像データの構成情報を示す。
【００３２】
符号化映像データＡでは、レイヤＡ１がベースレイヤであり、エンハンスレイヤであるレイヤＡ２が参照する参照レイヤはレイヤＡ１、もう一つのエンハンスレイヤであるレイヤＡ３が参照する参照レイヤはレイヤＡ２である。画素数は、レイヤＡ３の映像データが最も多く、続いてレイヤＡ２、レイヤＡ１の映像データとなり、レイヤＡ１の映像データの画素数が最も少ない。図３（ａ）に示すとおり各レイヤの映像データは同じ画角である。レイヤＡ１の映像データの画素数が９６０×５４０ピクセルであるので、レイヤＡ１の映像データの画角情報は、映像データを構成するフレーム画像データの左上端点位置（０，０）及び右下端点位置（９６０，５４０）とする座標系で表されているとする。
【００３３】
このとき、レイヤＡ１の映像データを参照するレイヤＡ２の映像データのオフセット情報は、左上端点位置及び右下端点位置の違いがレイヤＡ１の映像データの画角情報に基づく座標系で記述される。上述した通り、符号化映像データＡでは各レイヤの映像データは全て画角が同じであるのでレイヤＡ２の映像データのオフセット情報は、左上端点位置の違いが（０，０）となり、同じく右下端点位置の違いも（０，０）となる。このオフセット情報は、レイヤＡ２に対応するＳＰＳ又はスライスヘッダに格納されている。レイヤＡ３の映像データのオフセット情報は、左上端点位置及び右下端点位置の違いが、レイヤＡ２の映像データの画角を左上端点位置（０，０）及び右下端点位置（１９２０，１０８０）とする座標系で記述される。よって、レイヤＡ３の映像データのオフセット情報は、左上端点位置の違いが（０，０）となり、右下端点位置の違いも（０，０）となる。
【００３４】
レイヤＡ２の映像データのオフセット情報が左上端点位置の違いが（０，０）、右下端点位置の違いが（０，０）であることから、レイヤＡ２の映像データの画角は、レイヤＡ２の参照レイヤであるレイヤＡ１の映像データの画角と同じであることがわかる。また、レイヤＡ３の映像データのオフセット情報が、左上端点位置の違いが（０，０）、右下端点位置の違いが（０，０）であることから、レイヤＡ３の映像データの画角は、レイヤＡ３の参照レイヤであるレイヤＡ２の映像データの画角と同じであることがわかる。レイヤＡ２の映像データ及びレイヤＡ３の映像データの画角情報は、夫々のオフセット情報をレイヤＡ１の映像データの画素数を基準にした座標系に換算すると、レイヤＡ１の映像データと同じ、左上端点位置（０，０）及び右下端点位置（９６０，５４０）となる。換算した画角情報を含む映像データＡを構成する各レイヤの映像データの構成情報は図４（ａ）のようになる。
【００３５】
符号化映像データＢでは、レイヤＢ１がベースレイヤであり、エンハンスレイヤであるレイヤＢ２の参照レイヤはレイヤＢ１、もう一つのエンハンスレイヤであるレイヤＢ３が参照する参照レイヤはレイヤＢ２である。画素数は、レイヤＢ３の映像データが最も多く、続いてレイヤＢ２、レイヤＢ１の映像データとなり、レイヤＢ１の映像データの画素数が最も少ない。レイヤＢ２の映像データ及びレイヤＢ３の映像データは同じ画角の映像データで、レイヤＢ１の映像データの画角はレイヤＢ２の映像データ及びレイヤＢ３の映像データの画角に比べて狭い。レイヤＢ２の映像データ及びレイヤＢ３の映像データの画角情報は、レイヤＢ２及びレイヤＢ３のオフセット情報を、レイヤＢ１の映像データの画素数を基準にした座標系にそれぞれ換算した値となる。符号化映像データＢを構成する各レイヤの映像データの構成情報は図４（ｂ）のようになる。
【００３６】
符号化映像データＣでは、レイヤＣ１がベースレイヤであり、エンハンスレイヤであるレイヤＣ２の参照レイヤはレイヤＣ１、もう一つのエンハンスレイヤであるレイヤＣ３が参照する参照レイヤはレイヤＣ２である。画素数は、レイヤＣ２の映像データ及びレイヤＣ３の映像データが最も多く、レイヤＣ１の映像データの画素数が最も少ない。レイヤＣ１の映像データ及びレイヤＣ２の映像データは同じ画角で、レイヤＣ３の映像データの画角はレイヤＣ１の映像データ及びレイヤＣ２の映像データの画角に比べて狭い。レイヤＣ２の映像データ及びレイヤＣ３の映像データの画角情報は、レイヤＣ２及びレイヤＣ３のオフセット情報をレイヤＣ１の映像データの画素数を基準にした座標系にそれぞれ換算した値となる。符号化映像データＣを構成する各レイヤの映像データの構成情報は図４（ｃ）のようになる。
【００３７】
次に、抽出処理決定部１０８がフレーム画像データを抽出する映像データが符号化されている抽出レイヤを決定する処理について説明する。抽出処理決定部１０８は、ユーザからのフレーム画像の抽出指示を受信した信号受信部１１２からの信号により、階層符号化された複数の映像データの中から、フレーム画像データを抽出する映像データが符号化されている抽出レイヤを決定する処理を行う。
【００３８】
図５は、実施例１におけるフレーム画像データの抽出処理時の制御を示したフローチャートである。ステップＳ５０１で抽出処理決定部１０８は、映像データに階層符号化されている各レイヤの映像データの構成情報を、構成情報取得部１０５から取得する。ステップＳ５０２で抽出処理決定部１０８は、構成情報取得部１０５から取得した構成情報に基づいて、映像データを構成する全レイヤの映像データが同じ画角か否かを判定する。映像データの画角がすべて同じである場合はステップＳ５０３へ、画角が異なる映像データがある場合はステップＳ５０５へ移行する。つまり、図３で示した３種類の符号化映像データについてステップＳ５０２の判定を行うと、符号化映像データＡはステップＳ５０３へ、符号化映像データＢ及び符号化映像データＣはステップＳ５０５へ移行することになる。
【００３９】
ステップＳ５０３で抽出処理決定部１０８は、最も画素数の多いフレーム画像により構成される映像データが符号化されているレイヤを、フレーム画像を抽出する抽出レイヤとする。例えば、映像データＡの場合にはレイヤＡ３が抽出レイヤとなる。
【００４０】
ステップＳ５０４で抽出処理部１０９は、ユーザから、抽出するフレーム画像データを指定する指示がなされたタイミングに対応するフレーム画像データを抽出レイヤの映像データから抽出し、抽出したフレーム画像データを代表画像とする。代表画像とは、抽出処理部１０９から映像合成出力部１１０へ出力するための画像である。なお、抽出レイヤの映像データからフレーム画像データを抽出するには、デコードした抽出レイヤの映像データを構成するフレーム画像データを取得することになる。このとき、取得するフレーム画像データは、ユーザからフレーム画像の抽出指示が入力されたタイミングで、映像合成出力部１１０が表示パネルに出力していたフレーム画像データと同じ時刻情報（タイムスタンプ）を持つフレーム画像データである。しかし、本発明は、ユーザから指示が入力されたタイミングと厳密に同じ時刻情報を持つフレーム画像データを抽出することまでは要求しない。データ処理で生じるタイムラグにより、入力されたタイミングからわずかな時間（例えば数フレーム分の時間）遅れたフレーム画像データを抽出することになる場合もあるためである。従って、抽出処理決定部１０８が決定する時刻情報は、本発明の課題を解決できるものであれば、ユーザから指示が入力されたタイミングとは若干異なる場合であっても良いこととする。
【００４１】
ステップＳ５０５で抽出処理決定部１０８は、同じ画角の映像データのレイヤをグループ化する。例えば、符号化映像データＢにおいては、レイヤＢ１のグループＢＸと、レイヤＢ２及びレイヤＢ３のグループＢＹとにグループ分けする。符号化映像データＣにおいては、レイヤＣ１及びレイヤＣ２のグループＣＸと、レイヤＣ３のグループＣＹとにグループ分けする。
【００４２】
ステップＳ５０６で抽出処理決定部１０８は、各グループ内で最も画素数の多い映像データが符号化されているレイヤを抽出レイヤとする。上述した例に基づけば、符号化映像データＢではグループＢＸからはレイヤＢ１、グループＢＹからはレイヤＢ３を抽出レイヤとする。符号化映像データＣでは、グループＣＸからはレイヤＣ２、グループＣＹからはレイヤＣ３を抽出レイヤとする。
【００４３】
ステップＳ５０７で抽出処理決定部１０８は、ユーザによってフレーム画像の抽出指示があったタイミングにおける表示レイヤの映像データの構成情報を構成情報取得部１０５から取得する。取得した表示レイヤの映像データの構成情報を用いて、表示レイヤの映像データの画角と、ステップＳ５０６で決定した抽出レイヤのうち、１つの抽出レイヤの映像データの画角が同じであるか否かを判定する。同じ画角である場合はステップＳ５０９へ、異なる画角である場合はステップＳ５１０へ処理を進める。
【００４４】
例えば、符号化映像データＢでの表示レイヤがレイヤＢ１であるとすると、判定する抽出レイヤがグループＢＸの抽出レイヤであるレイヤＢ１の場合、抽出レイヤの映像データの画角は、表示レイヤの映像データの画角と同じであると判定される。また、判定する抽出レイヤが、グループＢＹの抽出レイヤであるレイヤＢ３の場合、抽出レイヤの映像データの画角は、表示レイヤの映像データの画角と異なると判定される。表示レイヤがレイヤＢ２又はレイヤＢ３であるとすると、グループＢＸの抽出レイヤであるレイヤＢ１の映像データの画角は、表示レイヤの映像データの画角と異なると判定される。グループＢＹの抽出レイヤであるレイヤＢ３の映像データの画角は、表示レイヤの映像データの画角と同じであると判定される。
【００４５】
符号化映像データＣの場合には、表示レイヤがレイヤＣ１又はレイヤＣ２であるとすると、グループＣＸの抽出レイヤであるレイヤＣ２の映像データの画角は、表示レイヤの映像データの画角と同じであると判定される。また、グループＣＹの抽出レイヤであるレイヤＣ３の映像データの画角は、表示レイヤの映像データの画角と異なると判定される。表示レイヤがレイヤＣ３であるとすると、グループＣＸの抽出レイヤであるレイヤＣ３の映像データの画角は、表示レイヤの映像データの画角と異なると判定される。グループＣＹの抽出レイヤであるレイヤＣ３の映像データの画角は、表示レイヤの映像データの画角と同じであると判定される。
【００４６】
ステップＳ５０８で抽出処理部１０９は、表示レイヤと同じ画角のグループにおける抽出レイヤの映像データからフレーム画像データを抽出する。例えば、符号化映像データＢにおいて表示レイヤがレイヤＢ１である場合、グループＢＸの抽出レイヤであるレイヤＢ１の映像データの中で、ユーザからフレーム画像の抽出指示が入力されたタイミングに対応するフレーム画像データを抽出する。そして、抽出したフレーム画像データを代表画像として扱うことが可能なように、識別情報を付与する。
【００４７】
一方、ステップＳ５０９で抽出処理部１０９は、表示レイヤと異なる画角のグループにおける抽出レイヤの映像データからフレーム画像データを抽出する。例えば、符号化映像データＢにおいて表示レイヤがレイヤＢ１である場合、グループＢＹの抽出レイヤであるレイヤＢ３の映像データから、ユーザによってフレーム画像の抽出指示があったタイミングに対応したフレーム画像データを抽出する。抽出したフレーム画像データは代表画像に対する付加画像として扱うことが可能なように、識別情報を付与する。付加画像は、代表画像と共に抽出処理部１０９から映像合成出力部１１０又は／及び蓄積部へ出力される。
【００４８】
ステップＳ５１０で抽出処理部１０９は、ステップＳ５０６にて決定した全ての抽出レイヤの映像データから、代表画像または付加画像としてフレーム画像データの抽出を行ったか否かを判定する。全ての抽出レイヤの映像データからフレーム画像データの抽出が行われたと、抽出処理部１０９が判定した場合はステップＳ５１１、まだ全ての抽出レイヤの映像データからフレーム画像データの抽出が行われていないと判定した場合はステップＳ５０７へ移行する。なお、図５のフローチャートには不図示であるが、ステップＳ５１０から再びステップＳ５０７に移行して処理を実行する場合、まだステップＳ５０７での判定が行われていない抽出レイヤを特定し、当該抽出レイヤに対して処理を行うことは言うまでもない。
【００４９】
ステップＳ５１１で抽出処理部１０９は、抽出したフレーム画像データに付与された識別情報に従って、ステップＳ５０８で代表画像として抽出したフレーム画像データを映像合成出力部１１０へ出力する。また、ステップＳ５０９で付加画像として抽出したフレーム画像データは、代表画像として抽出したフレーム画像データに関連付けて、蓄積メディア等に出力され保存される。例えば、代表画像の属性情報として、代表画像のヘッダに付加画像のファイルパスを保持した状態で、代表画像を保存する。なお、代表画像と付加画像を関連付ける方法は、上記のものに限らない。
【００５０】
以上、図３で示した３種の符号化映像データに対する抽出処理を説明したが、図６に、３種の映像データに対して図５の処理を適用した場合に得られる代表画像及び付加画像となるフレーム画像データとレイヤの関係を示した。
【００５１】
なお、本実施例においては、構成情報取得部１０５は符号化映像データ中のＳＰＳやスライスヘッダから構成情報を取得したが、符号化映像データに関するメタデータから取得しても良い。例えば、ＭＰＥＧ２  ＴＳに多重されているセクションデータに画素数や画角の情報を含むように構成された符号化映像データならば、このセクションデータからこれらの値を取得することができる。この場合、分離部１０２では、ＭＰＥＧ２  ＴＳからセクションデータを分離して、構成情報取得部１０５へ出力する。構成情報取得部１０５は入力したセクションデータを解析して構成情報を取得すればよい。
【００５２】
また、本実施例においては、抽出した代表画像を映像合成出力部１１０へ出力しているが、抽出処理において代表画像のほかに付加画像も抽出した場合にはそれをユーザに通知してもよい。さらに、付加画像を蓄積メディア２へ出力すべきか否かをユーザに問い合わせてもよい。
【００５３】
更に、本実施例においては、画角及び／又は画素数の異なる複数の映像データが、Ｈ．２６４／ＳＶＣにより１つの映像データストリームに符号化されている場合について述べた。しかしそれに限られることなく、映像データの画角及び／又は画素数の異なる複数の映像データが、それぞれ異なる映像ストリームデータから成り、複数の映像ストリームデータの画角及び画素数の情報を併せ持つ場合でもよい。
【００５４】
以上本実施例によれば、画角と画素数のうち少なくとも一方が異なる複数の映像データが存在する場合において、これらの映像データからフレーム画像データを抽出するにあたり、ユーザが視聴している表示中の映像データよりも広画角の映像データからフレーム画像データを抽出することで、ユーザの利便性を向上させることが可能となる。更に、画素数の多い映像データからフレーム画像データを抽出することで、抽出した画像データを印刷したり、表示部に拡大表示したりする際には、より高精細な画像を利用できるので、画像データの加工や印刷の選択肢が広がる。
【００５５】
（実施例２）
続いて、本発明における第２の実施例の説明を行う。上述した実施例１では、代表画像及び付加画像については全て抽出レイヤに対応する映像データから抽出し、それぞれ画像データの状態で蓄積する制御を行った。それに対して本実施例では、代表画像や付加画像として画像データを全て抽出するのではなく、画角の広い画像データに含まれる狭画角の画像データの画角情報を抽出する制御を行うものである。以下、本実施例について図を参照して説明を行う。実施例２における映像処理装置の構成は、図２で示した実施例１の映像処理装置１００の構成と同様であるので説明を省略する。また、具体例として図３に示した符号化映像データＡ、符号化映像データＢ、符号化映像データＣを用いて説明を行う。これら３つの符号化映像データのそれぞれを構成する各レイヤの映像データの画角及び画素数並びに参照階層情報は図４を同様であるとする。
【００５６】
図７は、実施例２におけるフレーム画像データの抽出処理時の制御を示したフローチャートである。なお、ステップＳ７０１からステップＳ７０５は上述した実施例１における図５に示したフローチャートのステップＳ５０１からステップＳ５０５と等しい制御であるので説明を省略する。
【００５７】
ステップＳ７０６で抽出処理決定部１０８は、ステップＳ７０５でグループ分けしたグループのうち最も広い画角のグループの中で、最も画素数の多い映像データが符号化されているレイヤを抽出レイヤとする。更に抽出処理部１０９が、抽出レイヤの映像データからフレーム画像データを抽出する。例えば、符号化映像データＢでは最も画角の広いグループＢＹの中のレイヤＢ３、符号化映像データＣでは最も画角の広いグループＣＸの中のレイヤＣ２をそれぞれ抽出レイヤとして、それぞれの抽出レイヤの映像データからフレーム画像データを抽出する。抽出方法は、ステップＳ５０８又はステップＳ５０９と同様に、抽出レイヤの映像データの中で、ユーザからフレーム画像の抽出指示が入力されたタイミングに対応するフレーム画像データを抽出する。
【００５８】
ステップＳ７０７で抽出処理決定部１０８は、ステップＳ７０６で決定した抽出レイヤが、符号化映像データを構成する全レイヤの中で最上位のレイヤであるか否かを判定する。該抽出レイヤが、符号化映像データの中で最上位のレイヤであった場合はステップＳ７０８へ、最上位のレイヤでは無い場合はステップＳ７０９へ処理を進める。最上位のレイヤであるか否かは、そのレイヤを参照する参照レイヤが存在するか否かによって判定できる。例えば、符号化映像データＢの場合、ステップＳ７０６において抽出レイヤであるレイヤＢ３は、符号化映像データＢの中で最上位のレイヤであるので、ステップＳ７０８へ処理を進める。一方、符号化映像データＣの場合、ステップＳ７０６においてレイヤＣ２が抽出レイヤであるが、レイヤＣ２は符号化映像データＣの中で最上位のレイヤではないので、ステップＳ７０９へ処理を進めることになる。
【００５９】
ステップＳ７０８で抽出処理部１０９は、ステップＳ７０６で決定した抽出レイヤが属するグループ以外のグループに属する映像データの画角情報を、ステップＳ７０６で抽出したフレーム画像データにメタデータとして付加する。例えば、符号化映像データＢの場合には、レイヤＢ３の映像データから抽出したフレーム画像データに、グループＢＸに属するレイヤＢ１の映像データの画角情報を付加する。符号化映像データＣの場合には、レイヤＣ２の映像データから抽出したフレーム画像データに、グループＣＹに属するレイヤＣ３の映像データの画角情報を付加する。抽出した画像データへの画角情報の付加方法としては、例えば、画像データの管理テーブルを設け、抽出した画像データに画角情報を関連付けて書き込んでおく。または、抽出した画像データのヘッダに、付加する画角情報を付加する。なお、画像データへの画角情報の付加方法は、上記のものに限られない。
【００６０】
このとき、フレーム画像データに付加する映像データの画角情報は、ステップＳ７０６での抽出レイヤの映像データの画素数を基準にした座標系に換算したものである。具体的に、グループＢＸに属するレイヤＢ１の映像データの画角情報を、レイヤＢ３の映像データから抽出したフレーム画像データに付加する場合を考える。フレーム画像データに付加する画角情報は、レイヤＢ１の映像データの画角情報を、フレーム画像データを抽出した映像データの画素数に基づく座標系に換算したものである。
【００６１】
図８は符号化映像データＢにおいて、レイヤＢ３の映像データの画素数に基づく座標系に換算した、レイヤＢ１の映像データの画角情報を示す概念図である。図４（ｂ）に示したように、レイヤＢ３の映像データの画素数は３８４０×２１６０ピクセルなので、レイヤＢ３の映像データの画角は、左上端点位置（０，０）及び右下端点位置（３８４０，２１６０）となる座標系で表される。レイヤＢ１の映像データの画角情報である、左上端点位置（０，０）及び右下端点位置（９６０，５４０）を、レイヤＢ３の映像データの画素数に基づく座標系に換算する。この座標系において、レイヤＢ１の映像データの画角情報は左上端点位置（９６０，５４０）及び右下端点位置（２８８０，１６２０）となる。レイヤＢ１の映像データの換算後の画角情報を、レイヤＢ３の映像データから抽出したフレーム画像データに付加する。
【００６２】
ステップＳ７０９で抽出処理決定部１０８は、最も広い画角のグループ以外の各グループの中で、最も画素数の多い映像データが符号化されているレイヤを抽出レイヤとし、抽出処理部１０９において抽出レイヤの映像データからフレーム画像データを抽出する。例えば、符号化映像データＣでは、グループＣＹで最も画素数の多い映像データが符号化されているレイヤＣ３を抽出レイヤとし、レイヤＣ３の映像データからフレーム画像データを抽出する。
【００６３】
ステップＳ７１０で抽出処理決定部１０８は、表示レイヤ決定部１０６が決定した表示レイヤの映像データの構成情報を参照し、表示レイヤがどのグループに属するかを判断する。そして、表示レイヤの映像データと同じ画角のグループに属するレイヤの映像データから、ステップＳ７０６もしくはステップＳ７０９の処理によって、フレーム画像データが抽出されたか否かを判断する。表示レイヤと同じ画角のグループに属するレイヤの映像データから、フレーム画像データが抽出されている場合には、ステップＳ７１１へ、フレーム画像データが抽出されていない場合はステップＳ７１２へ移行する。表示レイヤと同じ画角のグループに属するレイヤの映像データから、フレーム画像データが抽出されていない場合には、表示レイヤと同じ画角情報は、ステップＳ７０６の処理で抽出したフレーム画像データに付与されている。
【００６４】
例えば、符号化映像データＢについて、レイヤＢ１が表示レイヤの場合、表示レイヤのレイヤＢ１と同じ画角のグループＢＸに属するレイヤの映像データからフレーム画像データは抽出されていないので、ステップＳ７１２へ処理を進める。レイヤＢ２又はレイヤＢ３が表示レイヤの場合は、レイヤＢ２又はレイヤＢ３と同じ画角のグループＢＹに属するレイヤの映像データから、ステップＳ７０６の処理でフレーム画像データが抽出されているので、ステップＳ７１１へ処理を進める。また、符号化映像データＣの場合には、ステップＳ７０６の処理でグループＣＸに属するレイヤＣ２の映像データからフレーム画像データが抽出され、ステップＳ７０９の処理でグループＣＹに属するレイヤＣ３の映像データからフレーム画像データが抽出される。よって、表示レイヤがレイヤＣ１〜レイヤＣ３のいずれであっても、表示レイヤと同じ画角のグループに属するレイヤの映像データからフレーム画像データが抽出されているので、ステップＳ７１１へ処理を進める。
【００６５】
ステップＳ７１１で抽出処理決定部１０８は、表示レイヤが属するグループのレイヤの映像データから抽出したフレーム画像データを代表画像として、それ以外の抽出したフレーム画像データを付加画像として扱うことが可能なように、識別情報を付与する。ステップＳ７１２で抽出処理決定部１０８は、Ｓ７０６において抽出されたフレーム画像データについては、表示レイヤが属するグループの映像データの画角情報が示す部分を代表画像として扱うことが可能なように識別情報を付与する。
【００６６】
ステップＳ７１３で抽出処理部１０９は、抽出したフレーム画像データに付与された識別情報に従って、代表画像として抽出されたフレーム画像データを映像合成出力部１１０へ出力する。さらに、付加画像として抽出されたフレーム画像データは、代表画像として抽出したフレーム画像データに関連付けて、蓄積メディア等に出力され保存される。例えば、代表画像の属性情報として、代表画像のヘッダに付加画像のファイルパスを保持した状態で、代表画像を保存する。なお、代表画像と付加画像を関連付ける方法は、上記のものに限らない。また、代表画像として抽出された画像情報が付加されているフレーム画像データは、蓄積メディア等へ出力され保存される。
【００６７】
図９に、以上の抽出処理により、符号化映像データＡ、符号化映像データＢ、符号化映像データＣから代表画像を抽出した映像データのレイヤ、抽出したフレーム画像データに画角情報が付加されたグループ及び付加画像を抽出した映像データのレイヤを示す。符号化映像データＢで表示レイヤがレイヤＢ１の場合、代表画像は、レイヤＢ３の映像データから抽出したフレーム画像データを、表示レイヤが属するグループＢＸの映像データの画角情報に基づいて切り出した領域の画像となる。
【００６８】
このように、表示中の映像データと同じ画角の映像データから抽出されたフレーム画像データ、又は抽出されたフレーム画像データに付与された表示中の映像データと同じ画角情報に基づいて切り出した領域の画像データを代表画像として、表示している映像データと同じ画角の画像データをユーザに提示することが出来る。
【００６９】
以上本実施例では、複数の映像データからフレーム画像データを抽出するにあたり、複数の映像データの中で最も広画角の映像データからフレーム画像データを抽出した。ユーザは、表示している映像データ以上の広画角の映像データから抽出したフレーム画像データを得ることができ、ユーザの利便性を向上させることが可能となる。更に、複数の映像データの中で最も広画角の映像データから抽出したフレーム画像データに、該フレーム画像データを抽出した映像データの画角情報と異なる他の映像データの画角情報を付加して、抽出するフレーム画像データのデータ容量を低減することができる。
【００７０】
（実施例３）
続いて、本発明における第３の実施例の説明を行う。上述した実施例１及び実施例２では、代表画像及び付加画像又は代表画像に含まれる狭画角の画像データの画角情報を抽出する制御について説明を行った。本実施例では、抽出後の処理について図１０に示したフローチャートを参照しながら説明する。図１０における処理は、図５のステップＳ５１１及び、図７のステップＳ７１３に相当するものである。実施例３における映像処理装置の構成は、図２で示した映像処理装置１００の構成と同様であるので、説明を省略する。具体例として図３に示した符号化映像データＡ、符号化映像データＢ、符号化映像データＣを用いて説明を行う。なお、これらの符号化映像データを構成する各レイヤの映像データの画角及び画素数並びに参照階層情報は図４と同様である。
【００７１】
フレーム画像データを抽出後、ステップＳ１００１において、抽出処理部１０９は抽出したフレーム画像データの中に付加画像があるか否かを判定する。抽出したフレーム画像データが複数枚あり、代表画像に対する付加画像がある場合にはステップＳ１００２へ移行し、抽出したフレーム画像データが代表画像のみで付加画像がない場合にはステップＳ１００４へ移行する。ステップＳ１００２において抽出処理部１０９は、代表画像に付加画像を関連付けて蓄積メディア２に出力し保存する。例えば、代表画像の属性情報として、代表画像のヘッダに付加画像のファイルパスを保持した状態で、代表画像を保存する。また、ステップＳ１００３において抽出処理部１０９は、代表画像及び付加画像を映像合成出力部１１０に出力し、映像合成出力部１１０は、代表画像及び付加画像と制御部１１１から出力されたグラフィクスデータとを合成し、表示パネルに出力する。このときの表示パネル上での表示例を図１１（ａ）に示す。代表画像表示領域には代表画像を、付加画像表示領域には付加画像を表示する。レイアウトは図１１（ａ）に限らない。また、画像データに加えて、代表画像及び付加画像の画素数をそれぞれ表示してもよい。代表画像と付加画像とを並置して表示する場合には、画素数の違いや画角の違いが一瞥して認識できるよう、表示画像のサイズ比率は実際の代表画像と付加画像のサイズ比率と一致させるのが望ましい。
【００７２】
一方、ステップＳ１００４では、抽出処理部１０９は代表画像に画角情報が付加されているか否かを判定する。例えば、画角情報は、代表画像のヘッダに付加されていたり、画像データの管理テーブルで代表画像に関連付けられたりしている。画角情報が付加されている場合には、ステップＳ１００５へ移行し、付加されていない場合にはステップＳ１００６へ移行する。
【００７３】
ステップＳ１００５において、映像合成出力部１１０は、抽出処理部１０９から入力された代表画像と、制御部１１１から出力されたグラフィクスデータとを合成し、表示パネルに出力する。このとき、制御部１１１は、代表画像に付加された画像情報に対応する枠画像を生成し、代表画像上に、生成した枠画像を重畳する。この場合の表示パネル上での表示例を図１１（ｂ）に示す。代表画像表示領域に表示された代表画像に対して、代表画像の属性情報として付加されていた付加画像の画角情報から生成された枠画像を重畳している。これは、付加画像の画角は代表画像の画角に対して、図示した位置に相当するものであることをユーザにわかりやすく示すために行うものである。ユーザが画像データの保存や印刷などの出力処理を望む場合、ユーザが枠画像に含まれる領域を出力する旨の操作入力を行うことで、制御部１１１は、代表画像から枠画像に含まれる領域をトリミングして、新しい画像データを生成する処理を実行するのが好適である。
【００７４】
ステップＳ１００６は、付加画像も付加画像に対応する画角情報も存在しない場合の表示処理である。構成合成出力部１１０は、抽出処理部１０９から入力された代表画像に、制御部１１１から出力された代表画像の画素数を示すグラフィックスデータを重畳して表示パネルに出力する。この場合の表示パネルにおける表示例を図１１（ｃ）に示す。
【００７５】
以上本実施例によれば、複数の映像データからフレーム画像データを抽出した場合、どのような画角及び画素数のフレーム画像データを抽出したのかを、容易にユーザに提示することができる。これによって、ユーザが表示している映像データの画角及び画素数と異なる映像データからフレーム画像データを抽出した場合において、ユーザの混乱を低減できる。また、複数の映像データの画角を枠画像として、抽出したフレーム画像データに重畳することで、視覚的に複数の映像データの画角をユーザに認識させることができる。
【符号の説明】
【００７６】
１００  映像処理装置
１０５  構成情報取得部
１０８  抽出処理決定部
１０９  抽出処理部
【図１】
0005484132.tif 000002
【図２】
0005484132.tif 000003
【図３】
0005484132.tif 000004
【図４】
0005484132.tif 000005
【図５】
0005484132.tif 000006
【図６】
0005484132.tif 000007
【図７】
0005484132.tif 000008
【図８】
0005484132.tif 000009
【図９】
0005484132.tif 000010
【図１０】
0005484132.tif 000011
【図１１】
0005484132.tif 000012