(57)【要約】      （修正有）【課題】用途に応じた複数の符号化データを同時に生成する。【解決手段】変換部２００は、ＨＤサイズのフレーム画像から構成される動画像の画質を低くするように変換して、ＳＤサイズのフレーム画像から構成される動画像を生成する。符号化部２０２は、ＨＤサイズのフレーム画像から構成される動画像に対してフレーム間予測符号化を行い第１画質符号化データを生成するとともに、符号化部２０２は、ＳＤサイズのフレーム画像から構成される動画像に対してフレーム内予測符号化を行い第２画質符号化データを生成する。【選択図】図２
2011049927.tif 000002
【特許請求の範囲】
【請求項１】
第１の動画像を、前記第１の動画像より低画質な第２の動画像に変換する変換部と、
前記第１の動画像をフレーム間予測符号化して第１画質符号化データを生成するとともに、前記第２の動画像をフレーム内予測符号化して第２画質符号化データを生成する符号化部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１画質符号化データと前記第２画質符号化データを関連付ける関連情報を生成する制御部を、さらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御部は、前記第１画質符号化データに対するサムネイル情報を生成する場合、前記関連情報を参照し、前記第２画質符号化データから前記サムネイル情報を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記制御部は、前記第１画質符号化データに対する編集処理を指示された場合、前記第２画質符号化データを編集操作の対象とし、前記第２画質符号化データに対する編集操作に応じた編集内容を記録し、前記関連情報を参照し、前記第１画質符号化データに対して前記編集内容を反映することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記第１画質符号化データと前記第２画質符号化データとを復号する復号部をさらに備え、
前記制御部は、前記第１画質符号化データに対する特殊再生処理が指示された場合、前記関連情報を参照し、前記第２画質符号化データに対して前記特殊再生処理を実行するように、前記復号部を制御することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
動画像を取得する撮像部と、
前記撮像部により取得される動画像を処理する請求項１から５のいずれかに記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を符号化するための画像処理装置およびそれを用いた撮像装置に関する。
【背景技術】
【０００２】
近年、動画像を撮影することができるデジタルムービーカメラが普及してきている。デジタルムービーカメラは、年々、高画質化しており、フルＨＤ（High Definiton）（１９２０×１０８０ピクセル）画質に対応したものも実用化されている。このようなデジタルムービーカメラで撮像された動画像は、さまざまな用途に利用されている。例えば、テレビやＰＣ（Personal Computer）で鑑賞されたり、動画共有サイトにアップロードされたりする。
【０００３】
特許文献１では、デジタルカメラで撮像した画像を、そのままサーバーにアップロードしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２５２１５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
フルＨＤ画質で撮像された動画像は高画質であり、ハイビジョン対応テレビで鑑賞するには適している。しかしながら、フルＨＤ画質で撮像された動画像の符号化データは大容量であるので、アップロードに要する時間が長くなる。また、動画共有サイトの多くは、アップロードされるデータに対して容量制限を課していることもあり、フルＨＤ画質で撮像された動画像の符号化データは、動画共有サイトにアップロードするには適しているとは言えない。
【０００６】
したがって、フルＨＤ画質で撮像された動画像の符号化データを動画共有サイトにアップロードする場合、この観賞に適した高画質な符号化データを、アップロードに適した低画質の符号化データに変換し、その容量を小さくする必要がある。このような変換処理は利用者の負担を増大させる。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、用途に応じた複数の符号化データを同時に生成することができる画像処理装置およびそれを搭載した撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のある態様は、画像処理装置である。この画像処理装置は、第１の動画像を、前記第１の動画像より低画質な第２の動画像に変換する変換部と、前記第１の動画像をフレーム間予測符号化して第１画質符号化データを生成するとともに、前記第２の動画像をフレーム内予測符号化して第２画質符号化データを生成する符号化部と、を備える画像処理装置である。
【０００９】
また、前記画像処理装置は、前記第１画質符号化データと前記第２画質符号化データを関連付ける関連情報を生成する制御部を、さらに備えることが好ましい。
【００１０】
また、前記制御部は、前記第１画質符号化データに対するサムネイル情報を生成する場合、前記関連情報を参照し、前記第２画質符号化データから前記サムネイル情報を生成することが好ましい。
【００１１】
また、前記制御部は、前記第１画質符号化データに対する編集処理を指示された場合、前記第２画質符号化データを編集操作の対象とし、前記第２画質符号化データに対する編集操作に応じた編集内容を記録し、前記関連情報を参照し、前記第１画質符号化データに対して前記編集内容を反映することが好ましい。
【００１２】
また、前記画像処理装置は、前記第１画質符号化データと前記第２画質符号化データとを復号する復号部をさらに備え、前記制御部は、前記第１画質符号化データに対する特殊再生処理が指示された場合、前記関連情報を参照し、前記第２画質符号化データに対して前記特殊再生処理を実行するように、前記復号部を制御することが好ましい。
【発明の効果】
【００１３】
本発明によれば、用途に応じた複数の符号化データを同時に生成することができる。
【図面の簡単な説明】
【００１４】
【図１】フレーム間予測符号化について説明する図
【図２】本発明の実施の形態における撮像装置１の構成を示す概念図
【図３】記録動作の手順について示すフローチャート
【図４】編集動作の手順について示すフローチャート
【図６】再生動作の手順について示すフローチャート
【発明を実施するための形態】
【００１５】
本発明を具体的に説明する前に概要について述べる。本発明の実施の形態に係る画像処理装置は、ＭＰＥＧシリーズの規格（ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４）またはＨ．２６４シリーズの規格（Ｈ．２６４／ＡＶＣおよびＨ．２６４／ＳＶＣ）に準拠した圧縮符号化を行う。
【００１６】
ＭＰＥＧシリーズの規格では、フレーム内予測符号化を行う画像フレームをＩ（Ｉｎｔｒａ）フレーム、過去のフレームを参照画像として順方向のフレーム間予測符号化を行う画像フレームをＰ（Ｐｒｅｄｉｃｔｉｖｅ）、過去と未来のフレームを参照画像として双方向のフレーム間予測符号化を行う画像フレームをＢ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  ｐｒｅｄｉｃｔｉｏｎ）フレームという。
【００１７】
一方、Ｈ．２６４シリーズの規格では、参照画像として利用できるフレームは、時間の前後を問わず、過去の２枚のフレームを参照画像としてもよく、未来の２枚のフレームを参照画像としてもよい。また、参照画像として利用できるフレームの枚数も問わず、３枚以上のフレームを参照画像として用いることができる。したがって、Ｈ．２６４シリーズの規格では、Ｂフレームは、参照画像の時間の前後は問わないため、双予測（Ｂｉ−ｐｒｅｄｉｃｔｉｖｅ  ｐｒｅｄｉｃｔｉｏｎ）フレームのことをいう。
【００１８】
図１はＭＰＥＧシリーズの規格のフレーム間予測符号化について説明する図である。図１では、符号化対象である動画像を図１（ａ）に示し、フレーム間予測を用いて生成された符号化データを図１（ｂ）に示す。図１において矢印は、フレーム間の参照関係を表し、矢印の始端が参照されるフレームを、終端が参照するフレームを表している。例えば、フレーム＃３は、フレーム＃２とフレーム＃５を参照し、Ｂフレームとして符号化されている。
【００１９】
ここで、図１（ｂ）に示す符号化データを復号することを考えると、参照されたフレームは、参照したフレームが復号される時点で復号されている必要がある。例えば、フレーム＃３を復号するためには、フレーム＃２とフレーム＃５が復号されている必要がある。
【００２０】
このため、フレーム間予測符号化したフレームを特殊再生するためには、そのフレームが参照したフレームをあらかじめ復号しておく必要がある。例えば、図１（ｂ）に示す符号化データに対して、フレーム＃１、フレーム＃４、フレーム＃７、フレーム＃１０と４倍速再生を行う場合、これらフレームを復号する際に参照されるフレーム＃１、フレーム＃５、フレーム＃８、フレーム＃１１などを必要に応じて復号しておかなければならない。このように、フレーム間符号化データに対して特殊再生を行おうとすると、復号処理が複雑化する。
【００２１】
また、フレーム間予測符号化したフレームを編集の対象とした場合も注意が必要である。例えば、図１（ｂ）に示す符号化データに対して、フレーム＃３とフレーム＃９を結合する編集を行うとする。視覚的で分かりやすい編集操作を実現するため、編集画面上に時間軸目盛を表示し、その時間軸目盛に沿って、フレーム＃３とフレーム＃９をインデックス画像として配置することが考えられる。しかし、フレーム＃３とフレーム＃９をインデックス画像として表示するためには、これらフレームを復号する際に参照されるフレーム＃２、フレーム＃５、フレーム＃８、フレーム＃１１を必要に応じて復号しておかなければならない。また、フレーム＃３とフレーム＃９を結合する編集内容は、例えば、フレーム＃３からフレーム＃９へのジャンプ再生で表すことができる。そこで、編集内容を実際の符号化データに反映する前に、フレーム＃３からフレーム＃９へのジャンプ再生を行うことで、編集内容を確認することが考えられる。この場合も、これらフレームをジャンプ再生する際に参照されるフレーム＃２、フレーム＃５、フレーム＃８、フレーム＃１１を必要に応じて復号しておかなければならない。このように、フレーム間符号化データに対して視覚的で分かりやすい編集操作を実現しようとすると、処理が複雑化する。
【００２２】
さらに、フレーム間予測符号化したフレームからサムネイル情報を生成する場合も注意が必要である。例えば、図１（ｂ）に示す符号化データに対して、フレーム＃３からフレーム＃９までの各フレームで構成される動画サムネイル情報を作成した場合、動画サムネイル情報にはフレーム＃３を復号する時点で参照すべきフレーム＃２、フレーム＃５が含まれていないので、動画サムネイル情報それだけでは、フレーム＃３を正しく復号できなくなる。フレーム＃３から静止画サムネイル情報を作成した場合も同様である。
【００２３】
このように、フレーム間予測符号化を行うと、編集、特殊再生を正常に実現するために複雑な処理が必要となる。しかしながら、フレーム間予測符号化は、動画像の時間的な相関性を利用し圧縮率を高くできるので、フルＨＤ画像のような大容量で高画質な観賞用の動画像を圧縮するのに適した圧縮方式とも言える。
【００２４】
一方、フレーム内予測符号化を行うと、動画像の時間的な相関性を利用しないので圧縮率はフレーム間予測符号化ほど高くできないが、フレーム内で符号化処理が完結しているので、編集、特殊再生を単純な処理で実現することができる。
【００２５】
また、低画質なアップロード用の動画像はもともと容量が小さく、高い圧縮率が必要とされないので、フレーム内予測符号化は、アップロード用の動画像を圧縮するのに適している。
【００２６】
そこで、本発明の実施の形態に係る画像処理装置は、大容量で高画質な鑑賞用の動画像の画質を変換し、小容量で低画質なアップロード用の動画像を生成する。そして、観賞用の動画像をフレーム間予測符号化して観賞用の動画像符号化データを生成するとともに、アップロード用の動画像をフレーム内予測符号化してアップロード用の動画像符号化データを生成する。
【００２７】
これにより、大容量で高画質な観賞用の動画像は、圧縮率を優先して符号化データ容量を抑制することができる。また、小容量で低画質なアップロード用の動画像は、編集や特殊再生に適した符号化データとなる。したがって、利用者は用途に応じて二種類の符号化データを使い分けることができるようになり、利用者の利便性を向上させることができる。
【００２８】
図１は、本発明の実施の形態における撮像装置１の構成を示す概念図である。撮像装置１は撮像部１０、画像処理装置２０、操作部３０および表示部４０を含む。
【００２９】
撮像部１０は、動画像を取得し画像処理装置２０に供給する。撮像部１０は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子、固体撮像素子からアナログの三原色信号をデジタルの輝度信号および色差信号に変更する信号処理部を含む。
【００３０】
画像処理装置２０は、撮像部１０から取得した動画像を、ＭＰＥＧシリーズの規格やＨ．２６４／ＡＶＣ規格に従い圧縮符号化して符号化データを生成する。
【００３１】
操作部３０は、例えば、操作ボタンなどであり、ユーザの指示を受け付け、その指示に基づく制御信号を生成して画像処理装置２０に出力する。
【００３２】
表示部４０は、例えば、液晶ディスプレイなどであり、撮像中の動画像や、画像処理装置２０で復号された動画像を表示したり、各種の設定画面や各種のステータス情報などを表示する。
【００３３】
画像処理装置２０は、変換部２００、符号化部２０２、多重化部２０４、記録部２０６、入出力部２０８、復号部２１０、表示画像生成部２１２および制御部２１４を含む。符号化部２０２は、第１符号化部２０２０および第２符号化部２０２２を含む。
【００３４】
変換部２００は、撮像部１０から入力され第１の動画像の画質を変換し、この第１の動画像より低画質な第２の動画像を生成して符号化部２０２に出力する。
【００３５】
変換部２００は、解像度を変換する場合、第１の動画像に含まれるフレーム画像の解像度を低下させる。変換部２００は、フレーム画像の中央領域を抽出し、その周辺領域を削除することで解像度を低下させてもよく、フレーム画像内の画素を間引いて解像度を低下させてもよい。第１の動画像の解像度と第２の動画像の解像度との組み合わせは、様々の組み合わせが可能である。例えば、１９２０×１０８０ピクセルサイズ、１２８０×７２０ピクセルサイズ、６４０×４８０ピクセルサイズ、４４８×３３６ピクセルサイズおよび１９２×１０８ピクセルサイズの任意の二つの組み合わせであってもよい。
【００３６】
変換部２００は、フレームレートを変換する場合、第１の動画像のフレームレートを低下させる。変換部２００は、第１の動画像に含まれるフレーム画像を間引いてフレームレートを低下させてもよい。第１の動画像のフレームレートと第２の動画像のフレームレートとの組み合わせも、様々の組み合わせが可能である。例えば、６０ｆｐｓ、３０ｆｐｓおよび１５ｆｐｓの任意の二つの組み合わせであってもよい。
【００３７】
符号化部２０２は、撮像部１０から入力された第１の動画像を第１符号化部２０２０で符号化して第１画質符号化データを生成する。また、変換部２００から入力された第２の動画像を第２符号化部２０２２で符号化して第２画質符号化データを生成する。そして、これらを多重化部２０４に出力する。さらに、符号化部２０２は、第１画質符号化データに含まれるフレームと、第２画質符号化データに含まれるフレームとの対応関係を示す情報を制御部２１４に出力する。
【００３８】
符号化部２０２は、第１の動画像と第２の動画像に対して、所定の規格に準拠した圧縮符号化を行う。例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣまたはＨ．２６４／ＳＶＣなどの規格に準拠した圧縮符号化を行う。ここで、第１符号化部２０２０は、これらの規格で規定されたフレーム間予測符号化を行う。一方、第１符号化部２０２２は、これらの規格で規定されたフレーム内予測符号化のみを行う。すなわち、第１符号化部２０２０は、Ｉフレーム、ＰフレームおよびＢフレームを含む第１画質符号化データを生成し、第２符号化部２０２２は、Ｉフレームのみを含み、ＰフレームおよびＢフレームを含まない第２画質符号化データを生成する。
【００３９】
符号化部２０２は、１つのハードウェアエンコーダまたはＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｅｒ）によるソフトウェア処理により、第１の動画像と第２の動画像を時分割に符号化してもよい。また、二つのハードウェアエンコーダまたはＤＳＰによるソフトウェア処理により、第１の動画像と第２の動画像を並列的に符号化してもよい。
【００４０】
多重化部２０４は、符号化部２０２から入力された第１画質符号化データ、第２画質符号化データおよび図示しない音声符号化部で生成された音声符号化データを多重化して、一つの動画像ファイルを生成する。例えば、ＭＰ４ファイルフォーマットに準拠したコンテナファイルを生成する。このコンテナファイルには、各符号化データのヘッダ情報、サムネイル情報および制御部２１４から入力される関連情報などが含まれる。再生時にこのコンテナファイルを参照することにより、第１の動画像、第２の動画像および音声の同期をとることや、第１の動画像に対する特殊再生を、第２の動画像に対する特殊再生に置き換えることが可能となる。多重化部２０４は、生成したコンテナファイルを記録部２０６に出力する。
【００４１】
記録部２０６は、多重化部２０４から入力されたコンテナファイルを、例えば、ＨＤＤ（Hard Disk Drive）、光ディスク、フラッシュメモリなどの記録媒体に記録する。
【００４２】
入出力部２０８は、所定のインターフェースを介して外部機器との通信を行う。例えば、ＵＳＢケーブルでＰＣと接続して、記録部２０６に記録されたコンテナファイルをＰＣに転送する。また、Ｄ端子、Ｓ端子またはＨＤＭＩ端子などでテレビと接続し、第１の動画像や第２の動画像をテレビに表示させる。
【００４３】
復号部２１０は、符号化部２０２で符号化された第１画質符号化データまたは第２画質符号化データ、および図示しない音声符号化部で符号化された音声符号化データを復号する。復号部２１０は、復号した第１の動画像または第２の動画像を表示画面生成部２１２に出力し、復号した音声を図示しない音声再生部に出力する。また、これらを制御部２１４および入出力部２０８を介して外部機器に出力する。
【００４４】
表示画像生成部２１２は、制御部２１４から入力された静止画像のサムネイルなどに基づき、サムネイル画面を生成し、表示部４０に出力する。表示画像生成部２１２は、例えば、画面全体を複数の領域に分割し、制御部２１４から入力された複数のサムネイルを、それぞれの領域に対応付けて表示してもよい。表示画像生成部２１２は、制御部２１４から入力されたサムネイルが動画像のサムネイルの場合、当初は動画像のサムネイルを構成する最初のフレーム画像を静止画として表示しておき、操作部３０の指示により一つのサムネイルが指定されると、指定されたサムネイルを動画として表示するようにしてもよい。
【００４５】
また、表示画像生成部２１２は、復号部２１０から入力された第１の動画像または第２の動画像に、制御部２１４から入力された再生経過時間や再生対象の動画像の種別に関する情報を重畳し、表示部４０に出力する。
【００４６】
制御部２１４は、撮像装置１全体の制御を行う。また、制御部２１４は、符号化部２０２から入力された 第１画質符号化データに含まれるフレームと、第２画質符号化データに含まれるフレームとの対応関係を示す情報に基づき、第１画質符号化データと第２画質符号化データを関連付ける関連情報を生成し、多重化部２０４に出力する。制御部２１４は、再生時に、記録部６から入力されたコンテナファイルから関連情報を抽出し、この関連情報を参照することで、第１画質符号化データのフレームに対応する、第２画質符号化データのフレームを知ることができる。
【００４７】
制御部２１４は、第１画質符号化データに対する特殊再生処理が指示された場合、関連情報を参照し、特殊再生処理対象とすべき、第２画質符号化データの対応するフレームを特定する。例えば、特殊再生が、第１画質符号化データに含まれるＡ１フレームからの倍速再生であった場合、倍速再生処理対象とすべき第２画質符号化データのフレームは、第２画質符号化データに含まれ、Ａ１フレームに対応するＡ２フレームから一つ飛びごとに配置されているフレームであるので、これらを復号対象とすべきフレームとして特定していく。
【００４８】
そして、制御部２１４は、特定した第２画質符号化データのフレームを復号するように復号部２１０を制御する。復号部２１０は、復号すべき符号化データを、第１画質符号化データから第２画質符号化データに切り替え、特殊再生処理の対象とされた第２画質符号化データのフレームを復号する。
【００４９】
このとき、復号部２１０は、第１の動画像から第２の動画像へ切り替わる際の違和感を抑制するため、復号した第２の動画像に含まれるフレーム画像に補間処理を行ってもよい。
【００５０】
これまで述べた構成によれば、フレーム間符号化により処理が複雑化する第１画質符号化データに対する特殊再生処理を、フレーム内符号化により処理が単純化できる第２画質符号化データに対する特殊再生処理に置き換えることができ、第１画質符号化データに対する特殊再生処理を簡略化できる。
【００５１】
制御部２１４は、第１画質符号化データに対する編集処理が指示された場合、第２画質符号化データが編集操作の対象となるようにする。そこで、制御部２１４は、第２画質符号化データから第２の動画像を復号するように復号部２１０を制御し、復号した第２の動画像を表示部４０に表示する。利用者は表示された第２の動画像を確認しながら、例えば、シーンのカットやテキストの挿入など、第１画質符号化データに行うべき編集操作を、操作部３０を介して行う。このとき、制御部２１４は、利用者が視覚的な編集操作を行えるように第２画質符号化データに含まれるフレーム画像からインデックス画像を生成し、編集画面上に時間軸目盛とともに表示するように表示画像生成部２１２を制御してもよい。また制御部２１４は、利用者から編集内容の確認の指示があると、編集内容を表す再生制御情報を生成し、その再生制御情報に基づき、第２画質符号化データを復号するように復号部２１０を制御してもよい。
【００５２】
制御部２１４は、第２画質符号化データに対する編集操作に応じた編集内容を記録していく。制御部２１４は、この編集内容と関連情報を参照し、編集処理の対象とすべき、第１画質符号化データの対応するフレームを特定する。
【００５３】
例えば、編集内容が第２画質符号化データに含まれるＮ２フレームとＭ２フレームとを結合する場合、削減処理対象とすべき第１画質符号化データのフレームは、第１画質符号化データに含まれ、Ｎ２フレームに対応するＮ１フレームから、Ｍ２フレームに対応するＭ１フレームとの間に配置されたフレームであるので、これらを削減対象とすべきフレームとして特定していく。
【００５４】
そして、制御部２１４は、第１画質符号化データから第１の動画像を復号するように復号部２１０を制御する。制御部２１４は、復号した第１の動画像から特定したフレームを削除する。制御部２１０は、特定したフレームを削除した第１の動画像を再符号化するように符号化部２０２を制御する。このようにして、制御部２１４は、第１画質符号化データに対する編集処理を実現する。
【００５５】
これまで述べた構成によれば、視覚的に分かりやすい編集操作を容易に実現できる第２画質符号化データを編集操作の対象とし、その編集操作に応じた編集内容を第１画質符号化データに反映させるので、第１画質符号化データに対する編集処理が容易になる。
【００５６】
制御部２１４は、第１画質符号化データに対するサムネイル情報生成処理が指示された場合、第２画質符号化データの対応するフレームからサムネイル情報を生成する。例えば、第１画質符号化データに含まれるＰ１フレームから静止画サムネイル情報を生成する場合は、第２画質符号化データに含まれる、Ｐ１フレームに対応するＰ２フレームから静止画サムネイル情報を生成する。また、第１画質符号化データに含まれる、Ｑ１からＲ１フレームまでの各フレームより動画サムネイル情報を生成する場合、第２画質符号化データに含まれる、Ｑ１フレーム対応するＱ２フレームから、Ｒ１フレームに対応するＲ２までのフレームより動画サムネイル情報を生成する。制御部２１４は、生成したサムネイル情報を対応するコンテナファイルに格納して記録部２０６に記録する。
【００５７】
制御部２１４は、再生時にサムネイル画面の表示が指示されると、記録部２０６に記録されているコンテナファイルからサムネイル情報を抽出して復号部２１０に出力する。復号部２１０から復号された静止画像のサムネイルまたは動画像のサムネイルを受け取ると、これを表示画像生成部２１２に出力する。そして、制御部２１４は、サムネイル画面を生成するように表示画像生成部２１２を制御する。これにより、フレーム間符号化データに対するサムネイル情報生成処理を、フレーム内符号化データに対するサムネイル情報生成処理に置き換えることができ、第１画質符号化データに対するサムネイル情報をそれだけで正しく復号できるようになり、サムネイル情報に関する処理負荷が低減される。
【００５８】
以下、本実施の形態に係る撮像装置１の動作を、第１の動画像がＨＤ（１２８０×７２０ピクセル）サイズのフレーム画像で構成される動画像であり、第２の動画像がＳＤ（６４０×４８０ピクセル）サイズのフレーム画像で構成される動画像である場合を例に説明する。
【００５９】
（記録動作）
まず、撮像した動画像を記録する動作について説明する。図３は記録動作の手順を示すフローチャートである。操作部３０より記録開始の指示があると、撮像部１０は撮像したＨＤサイズのフレーム画像を、変換部２００と符号化部２０２に出力する。変換部２００は、ＨＤサイズのフレーム画像をＳＤサイズのフレーム画像に変換する。ここでは、ＨＤサイズのフレーム画像の中央領域を切り出し、ＳＤサイズのフレーム画像を生成するものとする（Ｓ１００）。
【００６０】
第２符号化部２０２２は、ＳＤサイズのフレーム画像に対してフレーム内予測符号化を行い、第２画質符号化データを生成する（Ｓ１０２）。また、第１符号化部２０２０は、ＨＤサイズのフレーム画像に対してフレーム間予測符号化を行い、第１画質符号化データ生成する（Ｓ１０４）。符号化部２０２は、第１画質符号化データに含まれるフレームと、第２画質符号化データに含まれるフレームとの対応関係を示す情報を制御部２１４に出力する。
【００６１】
制御部２１４は、符号化部２０２から入力された情報に基づき、第１画質符号化データに含まれるフレームと、第２画質符号化データに含まれるフレームとを対応付ける関連情報を作成し、多重化部２０４に出力する（Ｓ１０６）。
【００６２】
多重化部２０４は、符号化部２０２から入力された第１画質符号化データ、第２画質符号化データ、図示しない音声符号化部から入力された音声符号化データおよび制御部２１４から入力された関連情報を多重化してコンテナファイルを作成し記録部２０６に記録する（Ｓ１０８）。
【００６３】
以下、操作部３０より記録終了の指示があるまで上述の処理を繰り返す（Ｓ１１０のＮ）。操作部３０より記録終了の指示があり（Ｓ１１０のＹ）、サムネイル作成の指示があると（Ｓ１１２のＹ）、制御部２１４は、サムネイル情報を生成する（Ｓ１１４）。
【００６４】
制御部２１４は、ＨＤサイズのフレーム画像で構成される動画像に対してサムネイル情報を生成するように指示があると、第１画質符号化データに含まれ、撮像中にサムネイル情報を生成するように指定されたフレームを特定する。
【００６５】
次に制御部２１４は、関連情報を参照し、サムネイル情報を生成するように指定されたフレームに対応する、第２画像符号化データのフレームを特定する。そして、制御部２１４は、サムネイル情報の生成指示に応じて、特定した第２画像符号化データのフレームから、静止画サムネイル情報または動画サムネイル情報を生成し、コンテナファイルに格納する。
【００６６】
（編集動作）
次に、第１画質符号化データを編集する動作について説明する。図４は編集動作の手順について示すフローチャートである。操作部３０より編集開始の指示があると、制御部２１４は、編集対象が第１画質符号化データであるか否かを確認する（Ｓ２００）。編集対象が第１画質符号化データであれば（Ｓ２００のＹ）、制御部２１４は、編集対象である第１画質符号化データを格納するコンテナファイルから関連情報を抽出する（Ｓ２０２）。
【００６７】
制御部２１４は、利用者が第２画質符号化データから復号した第２の動画像を表示部４０で確認しながら編集操作を行えるように、復号部２１０と表示画像生成部２１２を制御する。制御部２１４は、利用者の編集操作に応じた編集内容を記録していく。（Ｓ２０４）。
【００６８】
制御部２１４は、利用者から編集内容の反映の指示があると、第１画質符号化データを復号するように復号部２１０を制御する。制御部２１４は、関連情報を参照し、復号した第１の動画像に編集内容を反映する。制御部２１４は、編集内容を反映した第１の動画像を再符号化するように符号化部２０２を制御する（Ｓ２０６）。
【００６９】
（再生動作）
次に、第１画質符号化データを再生する動作について説明する。図５は再生動作の手順について示すフローチャートである。操作部３０より再生開始の指示があると、制御部２１４は、再生対象が第１画質符号化データであるか否かを確認する（Ｓ３００）。再生対象が第１画質符号化データであれば（Ｓ３００のＹ）、制御部２１４は、第１画質符号化データに対する特殊再生か否か（Ｓ３０２）を確認する。
【００７０】
第１画質符号化データに対する特殊再生であれば（Ｓ３０２のＹ）、制御部２１４は、再生対象である第１画質符号化データを格納するコンテナファイルから抽出した関連情報を参照し、第１画質符号化データに含まれる、特殊再生すべきフレームを直接復号する代わりに、第２画質符号化データに含まれる、対応するフレームを復号する置換再生モードを実行するように復号部２１０を制御する（Ｓ３０４）。
【００７１】
第１画質符号化データに対する特殊再生でなければ（Ｓ３０２Ｎ）、制御部２１４は、第１画質符号化データをそのまま復号する通常再生モードを実行するように復号部２１０を制御する（Ｓ３０６）。
【００７２】
このような本発明の実施の形態によれば、以下のような作用効果を享受することができる。（１）変換部２００は、ＨＤサイズのフレーム画像から構成される動画像の画質を低くするように変換して、ＳＤサイズのフレーム画像から構成される動画像を生成し、符号化部２０２は、ＨＤサイズのフレーム画像から構成される動画像に対してフレーム間予測符号化を行い第１画質符号化データを生成するとともに、符号化部２０２は、ＳＤサイズのフレーム画像から構成される動画像に対してフレーム内予測符号化を行い第２画質符号化データを生成する。これにより、大容量で高画質な鑑賞用のＨＤサイズの動画像は、圧縮率を優先して符号化データ容量を抑制することができる。また、小容量で低画質なアップロード用のＳＤサイズの動画像は、編集や特殊再生に適した符号化データとなる。したがって、利用者は用途に応じて二種類の符号化データを使い分けることができるようになり、利用者の利便性を向上させることができる。
（２）制御部２１４は、第１画質符号化データに含まれるフレーと、第２画質符号化データに含まれるフレームとを対応付ける関連情報を生成するので、関連情報を参照することで、用途に応じた二種類の符号化データの使い分けが容易になり、利用者の利便性をさらに向上させることができる。
（３）制御部２１４は、第１画質符号化データに対するサムネイル情報の生成指示があると、関連情報を参照し、対応する第２画質符号化データのフレームからサムネイル情報を生成するので、サムネイル情報に関する処理負荷を軽減することができる。
（４）制御部２１４は、第１画質符号化データに対する編集処理の指示があると、第１画質符号化データを直接編集する代わりに、第２画質符号化データに対する編集操作に応じた編集内容を記録し、関連情報を参照し、その編集内容を第１画質符号化データに反映するので、簡単な処理で視覚的で分かりやすい編集操作が実現でき、第１画質符号化データの編集処理が容易になる。
（５）制御部２１４は、第１画質符号化データに対する特殊再生処理の指示があると、関連情報を参照し、第１画質符号化データに含まれる特殊再生すべきフレームを直接復号する代わりに、第２画質符号化データに含まれる、対応するフレームを復号するように復号部２１０を制御するので、特殊再生処理を簡略化できる。
【００７３】
以上、本発明を実施するための形態について説明をしてきたが、本発明は、この実施の形態の構成に限定されるものではなく、特許請求の範囲に規定された本発明の適用範囲にあり、上述した実施の形態の構成が備える機能を達成可能であれば、いろいろな変形が可能である。
【００７４】
例えば、本発明の実施の形態において第２符号化部２０２２は、ＭＰＥＧシリーズの規格またはＨ．２６４シリーズの規格で規定されたフレーム内予測符号化を行うとしたが、ＪＰＥＧ、またはＪＰＥＧ２０００などの規格にしたがいフレーム内予測符号化をしてもよい。
【符号の説明】
【００７５】
１０  撮像部、２０  画像処理装置、２００  変換部、２０２  符号化部、２０２０  第１符号化部、２０２２  第２符号化部、２０４  多重化部、２０６  記録部、２０８  入出力部、２１０  復号部、２１２  表示画像生成部、２１４  制御部、３０  操作部、４０  表示部。
【図１】
2011049927.tif 000003
【図２】
2011049927.tif 000004
【図３】
2011049927.tif 000005
【図４】
2011049927.tif 000006
【図５】
2011049927.tif 000007
【手続補正書】
【提出日】平成21年9月25日(2009.9.25)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
【図１】フレーム間予測符号化について説明する図
【図２】本発明の実施の形態における撮像装置１の構成を示す概念図
【図３】記録動作の手順について示すフローチャート
【図４】編集動作の手順について示すフローチャート
【図５】再生動作の手順について示すフローチャート