(57)【要約】【課題】  画像処理や画質調整において扱いやすい動画像データを生成すること。【解決手段】  撮像素子を備え、被写体を撮像してＲＡＷデータを生成する撮像部と、撮像部により生成した複数のＲＡＷデータからなる動画像データと、複数のＲＡＷデータのそれぞれに対応して、そのＲＡＷデータに関する撮影情報およびそのＲＡＷデータの特性情報の少なくとも一方を含む付帯情報データとを含む動画像ファイルを生成する生成部とを備える。【選択図】      図１
2010263520.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子を備え、被写体を撮像してＲＡＷデータを生成する撮像部と、
前記撮像部により生成した複数の前記ＲＡＷデータからなる動画像データと、複数の前記ＲＡＷデータのそれぞれに対応して、そのＲＡＷデータに関する撮影情報およびそのＲＡＷデータの特性情報の少なくとも一方を含む付帯情報データとを含む動画像ファイルを生成する生成部と
を備えたことを特徴とする撮像装置。
【請求項２】
複数のＲＡＷデータと、複数の前記ＲＡＷデータのそれぞれに対応して、そのＲＡＷデータに関する撮影情報およびそのＲＡＷデータの特性情報の少なくとも一方を含む付帯情報データとを取得する取得部と、
前記取得部により取得した複数の前記ＲＡＷデータからなる動画像データと、前記取得部により取得した前記付帯情報データと、動画像全体を統括する統括情報データとを含む動画像ファイルを生成する生成部と
を備えたことを特徴とするデータ生成装置。
【請求項３】
複数のＲＡＷデータと、複数の前記ＲＡＷデータのそれぞれに対応して、そのＲＡＷデータに関する撮影情報およびそのＲＡＷデータの特性情報の少なくとも一方を含む付帯情報データとを取得する取得部と、
前記取得部により取得した複数の前記ＲＡＷデータからなる動画像データと、複数の前記ＲＡＷデータを複数のグループにグルーピングした各グループごとの前記付帯情報データとを含む動画像ファイルを生成する生成部と
を備えたことを特徴とするデータ生成装置。
【請求項４】
撮像素子を備え、被写体を撮像してＲＡＷデータを生成する撮像部と、
請求項２または請求項３に記載のデータ生成装置とを備え、
前記取得部は、前記撮像部から複数の前記ＲＡＷデータを取得し、
前記生成部は、前記撮像部における撮像条件に基づいて前記付帯情報データを生成する
ことを特徴とする撮像装置。
【請求項５】
請求項１または請求項４に記載の撮像装置において、
前記動画像データに対する画像処理に関するユーザ指定を受け付ける受付部と、
前記ユーザ指定に基づいて新たな付帯情報を生成し、生成した新たな付帯情報を前記付帯情報データに追加する情報付加部とをさらに備える
ことを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記特性情報は、画像処理に関するパラメータ情報を含み、
前記情報付加部は、時間的に連続する複数の前記ＲＡＷデータ間において、連続的に変化する前記パラメータ情報を新たな付帯情報として生成する
ことを特徴とする撮像装置。
【請求項７】
請求項１または請求項４に記載の撮像装置において、
前記撮影情報は、レンズ情報と、焦点調節情報と、焦点距離情報との少なくとも１つを含む
ことを特徴とする撮像装置。
【請求項８】
請求項１または請求項４に記載の撮像装置において、
前記特性情報は、画像処理に関するパラメータ情報を含む
ことを特徴とする撮像装置。
【請求項９】
複数のＲＡＷデータからなる動画像データと、
複数の前記ＲＡＷデータのそれぞれに対応して、そのＲＡＷデータに関する撮影情報と、そのＲＡＷデータの特性情報との少なくとも一方を含む付帯情報データと
を含むことを特徴とする動画像ファイルのデータ構造。
【請求項１０】
複数のＲＡＷデータからなる動画像データと、
複数の前記ＲＡＷデータのそれぞれに対応して、そのＲＡＷデータに関する撮影情報と、そのＲＡＷデータの特性情報との少なくとも一方を含む付帯情報データと、
動画像全体を統括する統括情報データと
を含むことを特徴とする動画像ファイルのデータ構造。
【請求項１１】
複数のＲＡＷデータからなる動画像データと、
複数の前記ＲＡＷデータを複数のグループにグルーピングした各グループごとに、そのグループに含まれるＲＡＷデータに関する撮影情報と、そのＲＡＷデータの特性情報との少なくとも一方を含む付帯情報データと
を含むことを特徴とする動画像ファイルのデータ構造。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、データ生成装置、およびデータ構造に関する。
【背景技術】
【０００２】
従来より、電子カメラなどの撮像装置において静止画像を生成する際には、後に行われる画像処理や画質調整などに備えて、画像処理を行う前のいわゆるＲＡＷ画像の画像データを記録することが一般的に行われている。例えば、特許文献１の発明では、静止画像を生成する際にＲＡＷデータを記録しておき、カメラ内で撮影後のＲＡＷデータの現像処理を可能にしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１６６２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、近年、撮像素子や処理回路の高精度化に伴い、動画像に関する様々なニーズが増大している。動画像においても、上述したＲＡＷデータは有用であるが、静止画像と比較して、処理速度の問題や処理負荷の問題が多々ある。
【０００５】
本発明は、上記問題に鑑みてなされたものであり、画像処理や画質調整において扱いやすい動画像データを生成することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、撮像素子を備え、被写体を撮像してＲＡＷデータを生成する撮像部と、前記撮像部により生成した複数の前記ＲＡＷデータからなる動画像データと、複数の前記ＲＡＷデータのそれぞれに対応して、そのＲＡＷデータに関する撮影情報およびそのＲＡＷデータの特性情報の少なくとも一方を含む付帯情報データとを含む動画像ファイルを生成する生成部とを備える。
【０００７】
本発明のデータ生成装置は、複数のＲＡＷデータと、複数の前記ＲＡＷデータのそれぞれに対応して、そのＲＡＷデータに関する撮影情報およびそのＲＡＷデータの特性情報の少なくとも一方を含む付帯情報データとを取得する取得部と、前記取得部により取得した複数の前記ＲＡＷデータからなる動画像データと、前記取得部により取得した前記付帯情報データと、動画像全体を統括する統括情報データとを含む動画像ファイルを生成する生成部とを備える。
【０００８】
本発明の別のデータ生成装置は、複数のＲＡＷデータと、複数の前記ＲＡＷデータのそれぞれに対応して、そのＲＡＷデータに関する撮影情報およびそのＲＡＷデータの特性情報の少なくとも一方を含む付帯情報データとを取得する取得部と、前記取得部により取得した複数の前記ＲＡＷデータからなる動画像データと、複数の前記ＲＡＷデータを複数のグループにグルーピングした各グループごとの前記付帯情報データとを含む動画像ファイルを生成する生成部とを備える。
【０００９】
本発明の別の撮像装置は、撮像素子を備え、被写体を撮像してＲＡＷデータを生成する撮像部と、上述した何れかのデータ生成装置とを備え、前記取得部は、前記撮像部から複数の前記ＲＡＷデータを取得し、前記生成部は、前記撮像部における撮像条件に基づいて前記付帯情報データを生成する。
【００１０】
なお、前記動画像データに対する画像処理に関するユーザ指定を受け付ける受付部と、前記ユーザ指定に基づいて新たな付帯情報を生成し、生成した新たな付帯情報を前記付帯情報データに追加する情報付加部とをさらに備えても良い。
【００１１】
また、前記特性情報は、画像処理に関するパラメータ情報を含み、前記情報付加部は、時間的に連続する複数の前記ＲＡＷデータ間において、連続的に変化する前記パラメータ情報を新たな付帯情報として生成しても良い。
【００１２】
また、前記撮影情報は、レンズ情報と、焦点調節情報と、焦点距離情報との少なくとも１つを含んでも良い。
【００１３】
また、前記特性情報は、画像処理に関するパラメータ情報を含んでも良い。
【発明の効果】
【００１４】
本発明によれば、画像処理や画質調整において扱いやすい動画像データを生成することができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態の電子カメラの概略を示すブロック図である。
【図２】動画像撮影モードのＲＡＷモード時の制御部１３の動作を示すフローチャートである。
【図３】付帯情報について説明する図である。
【図４】付帯情報について説明する別の図である。
【図５】動画像ファイル中の付帯情報の調整時の制御部１３の動作を示すフローチャートである。
【図６】指定画面の例を示す図である。
【図７】パラメータの算出について説明する図である。
【図８】付帯情報について説明する別の図である。
【発明を実施するための形態】
【００１６】
以下、図面を用いて本発明の実施形態について説明する。本実施形態では、電子カメラを例にあげて説明する。
【００１７】
図１は本実施形態の電子カメラの概略を示すブロック図である。電子カメラ１は、図１に示すように、撮影レンズ２、撮像素子３、Ａ／Ｄ変換部４、プリプロセス部５、ＲＡＷデータバッファメモリ６、付帯情報メモリ７、バッファメモリ８、画像処理部９、記録部１０、表示部１１、圧縮部１２の各部を備える。撮影レンズ２は、不図示のズームレンズなどを含む複数のレンズ群から成る。また、撮像素子３は、ＣＣＤやＣＭＯＳなどのイメージセンサを備え、被写体像を撮像してアナログ信号を出力する。Ａ／Ｄ変換部４は、撮像素子３からアナログ信号を取得し、デジタルデータを出力する。プリプロセス部５は、ホワイトバランス評価値や各種センサ評価値を算出するとともに、Ａ／Ｄ変換部４から取得したデジタルデータに欠陥画素補正などの基本的な画像処理を施す。ＲＡＷデータバッファメモリ６、付帯情報メモリ７、バッファメモリ８は画像データなどを一時展開するためのメモリであり、詳細は後述する。画像処理部９は、補間処理、ホワイトバランス調整、色処理、階調補正、ノイズ除去などの画像処理を行う。記録部１０は、不図示のカードインタフェースやメモリカードなどを備え、画像データや各種情報を記録する。表示部１１は、不図示の表示制御部や表示素子を備え、画像や各種メニューなどを表示する。圧縮部１２は、静止画像の画像データに対するＪＰＥＧ圧縮や、動画像の画像データに対するＭＰＥＧ圧縮などを行う。
【００１８】
電子カメラ１は、上述した構成に加えて、各部を制御する制御部１３をさらに備える。制御部１３は、付帯情報生成部１４を備える。付帯情報生成部１４の詳細は後述する。
【００１９】
以上説明した電子カメラ１において、撮影時には、制御部１３は、撮影レンズ２を介した被写体像を撮像素子３により撮像し、Ａ／Ｄ変換部４、プリプロセス部５、ＲＡＷデータバッファメモリ部６、画像処理部９、バッファメモリ８、圧縮部１２等を適宜制御して画像データを生成し、記録部１０に記録するとともに表示部１１に表示する。なお、電子カメラ１は、静止画像を生成する「静止画像撮影モード」と動画像を生成する「動画像撮影モード」とを備える。また、それぞれの撮影モードについて、画像処理部９による画像処理前のＲＡＷデータを生成する「ＲＡＷモード」と、画像処理部９による画像処理および圧縮部１２による圧縮処理が施された画像データを生成する「通常モード」とを備える。
【００２０】
静止画像撮影モードについては、公知技術と同様である。また、動画像撮影モードの通常モードについても、公知技術と同様である。以下、動画像撮影モードのＲＡＷモード時の制御部１３の動作について、図２のフローチャートを参照して説明する。
【００２１】
ステップＳ１において、制御部１３は、撮像開始が指示されたか否かを判定する。制御部１３は、不図示の操作部を介してユーザによる撮像開始指示が行われたと判定するとステップＳ２に進む。
【００２２】
ステップＳ２において、制御部１３は、撮像素子３により被写体像を撮像し、動画像データを生成する。なお、撮像素子３による撮像の時間間隔は予め定められている（例えば、３０〜６０フレーム／秒）。制御部１３は、撮像終了指示が行われるまで、この時間間隔で、撮像素子３による撮像を繰り返し行う。
【００２３】
ステップＳ３において、制御部１３は、付帯情報生成部１４により付帯情報データを生成する。付帯情報とは、動画像に含まれる複数のＲＡＷデータのそれぞれに対応して、そのＲＡＷデータに付帯させる情報である。付帯情報には、撮影情報と特性情報とが含まれる。撮影情報には、レンズ情報、焦点調節情報、焦点距離情報等が含まれ、特性情報には、画像処理に関する各種パラメータ情報等が含まれる。レンズ情報には、倍率色収差情報や歪曲収差情報などがある。また、パラメータ情報には、ホワイトバランス評価値、明るさ評価値（露出評価値）、コントラスト評価値、エッジ評価値、ノイズ評価値、彩度評価値などがある。付帯情報は、図３Ａに示すように、ステップＳ２で開始した撮像により生成した複数のＲＡＷデータ（図３Ａ中ＲＡＷデータ(１)〜(Ｎ)）のそれぞれに対応して生成される（図３Ａ中付帯情報(１)〜(Ｎ)）。
【００２４】
なお、付帯情報として、動画像全体を統括する統括情報をさらに生成しても良い。統括情報には、動画像の撮影日時や第１フレームおよび最終フレームに関する情報（フレーム番号など）が含まれる。図３Ｂに統括情報と上述した付帯情報（図３Ａ中付帯情報(１)〜(Ｎ)）との関係を示す。上述した付帯情報（図３Ａ中付帯情報(１)〜(Ｎ)）のうち、共通する部分を統括情報に統合することにより、全体のデータ量を削減することができる。
【００２５】
さらに、付帯情報のデータ量を削減するために、ステップＳ２で開始した撮像により生成した複数のＲＡＷデータを複数のグループにグルーピングし、各グループごとに付帯情報を生成しても良い。
【００２６】
例えば、図４Ａに例示するように、ＲＡＷデータ(１)およびＲＡＷデータ(２)を１つのグループとし、このグループの付帯情報として付帯情報(１)を生成する。同様に、ＲＡＷデータ(３)およびＲＡＷデータ(４)を１つのグループとし、このグループの付帯情報として付帯情報(２)を生成する。このように、グループごとに付帯情報を生成することにより、全体のデータ量をさらに削減することができる。なお、グルーピングは、動画像の撮影シーンに応じて行うのが好ましい。そのため、例えば、上述した撮影情報や特性情報を適宜解析し、変化が所定の幅内に収まる複数のＲＡＷデータを１つのグループとしてまとめれば良い。
【００２７】
なお、付帯情報に含まれる複数のファクター間でグルーピングの整合が取りにくい場合などには、付帯情報に含まれるファクターごとにグルーピングを行っても良い。例えば、図４Ｂに例示するように、２つのファクター（図４Ｂでは、ホワイトバランス評価値とコントラスト評価値）に関して別々にグルーピングを行っても良い。また、付帯情報に含まれる複数のファクターに適宜優先順位を付けてグルーピングを行っても良い。
【００２８】
ステップＳ４において、制御部１３は、動画像ファイルを生成する。制御部１３は、ステップＳ２で開始した撮像により生成した複数のＲＡＷデータからなる動画像データと、ステップＳ３で生成した付帯情報の付帯情報データとに基づき、動画像ファイルを生成する。
【００２９】
ステップＳ５において、制御部１３は、ステップＳ４で生成した動画像ファイルを記録部１０に記録し、一連の処理を終了する。
【００３０】
以上説明した手順で生成される動画像ファイル中の付帯情報は、ユーザ操作に基づいて調整可能である。以下、動画像ファイル中の付帯情報の調整時の制御部１３の動作について、図５のフローチャートを参照して説明する。
【００３１】
ステップＳ１１において、制御部１３は、ユーザ指示を受け付ける。ユーザは、不図示の操作部を介して、記録部１０に記録された動画像ファイルに対する画像処理に関する指定を行う。制御部１３は、例えば、図６に示す指定画面を表示部１１に表示する。ユーザは、表示部１１を目視して、動画像ファイル中のフレーム番号と調整を行いたいファクターの種類と調整の内容とを指定する。図６の例では、調整を行う動画像ファイルの時間的な範囲を指定するために、フレーム番号を指定する例を示しているが、時間（時刻）で指定する構成としても良い。また、調整を行う動画像ファイルの時間的な範囲の中心を指定し、前後に適当な範囲で調整を行う構成としても良い。また、動画像全体に関するあるファクターを同様に変更したい場合には、動画像全体を一括で指定可能としても良い。
【００３２】
なお、図６の例では、付帯情報に含まれる撮影情報や特性情報の各ファクターごとにスライダーバーを表示し、このスライダーバーを移動することにより調整を行いたいファクターの種類と調整の内容とを指定可能としている。
【００３３】
ステップＳ１２において、制御部１３は、記録された付帯情報を読み出す。制御部１３は、ステップＳ１１において受け付けたユーザ指定に基づいて、調整を行う付帯情報を記録部１０から読み出す。
【００３４】
ステップＳ１３において、制御部１３は、ステップＳ１１において受け付けたユーザ指定に基づいて、付帯情報生成部１４により新たなパラメータを算出する。新たなパラメータとは、画像処理に関する各種パラメータであり、付帯情報生成部１４は、ステップＳ１２で読み出した付帯情報をもとに、ステップＳ１１において受け付けたユーザ指定を満たす新たなパラメータを算出する。ステップＳ１１において、複数のフレーム（ＲＡＷデータ）が指定されている場合には、それらのフレームに対応するパラメータを一括で算出する。
【００３５】
ただし、パラメータが急激に変化すると、そのパラメータを用いて画像処理を行った場合に、不自然な動画像となり、ユーザが違和感を感じるおそれがある。このような問題は、撮影シーンが急激に変わった場合や、上述したユーザ指定が行われたフレームの前後などで発生しやすい。そこで、連続する複数のフレーム間でパラメータが連続的になだらかに変化するようにパラメータの算出を行っても良い。
【００３６】
例えば、対象の動画像において、画像のホワイトバランス評価値が急激に変化する場合を例にあげて説明する。図７Ａの横軸は、ＲＡＷデータのフレーム番号を示し、縦軸は、ホワイトバランス評価値を示す。図７Ａに例示するように、フレーム番号＝Ｎａとフレーム番号＝Ｎｂとの間で、ホワイトバランス評価値がＥａからＥｂに急激に変化している場合、図７Ｂに例示するように、この境界を中心とした適当な範囲Ｄでホワイトバランス評価値を補間し、連続する複数のフレーム間でパラメータが連続的になだらかに変化するようにする。範囲Ｄは、予め定められていても良いし、ユーザにより指定可能であっても良い。
【００３７】
ステップＳ１４において、制御部１３は、算出したパラメータを記録部１０に記録して、一連の処理を終了する。制御部１３は、ステップＳ１３で算出したパラメータを、動画像ファイル中の付帯情報データの該当箇所に記録する。なお、ステップＳ１３で算出したパラメータを追加して記録しても良いし、既にある調整前のパラメータに上書きして記録しても良い。
【００３８】
以上説明した方法で作成され（図２のフローチャート）、調整された（図５のフローチャート）動画像ファイルは、ユーザ操作に応じて画像処理を施すことが可能である。動画像ファイルに含まれる動画像データに対して各種の画像処理を行う場合、制御部１３は、各ＲＡＷデータに対して、そのＲＡＷデータに対応付けられた付帯情報データに基づいて画像処理を行う。すなわち、画像処理部９において、図８の模式図に示すように、ＲＡＷデータ(１)に対しては、付帯情報(１)に基づいて画像処理が施され、ＲＡＷデータ(Ｎ)に対しては、付帯情報(Ｎ)に基づいて画像処理が施される。そして、全てのＲＡＷデータに対する画像処理が終了すると、圧縮部１２により適宜圧縮処理が施される。なお、圧縮部１２による圧縮処理は必要に応じて行われるものとする。また、圧縮形式はどのようなものであっても良い。
【００３９】
以上説明したように、本実施形態によれば、動画像に含まれる複数のＲＡＷデータのそれぞれに対応するように、そのＲＡＷデータに関する撮影情報およびそのＲＡＷデータの特性情報の少なくとも一方を含む付帯情報を生成し、動画像データと付帯情報データとをを含む動画像ファイルを生成する。したがって、画像処理や画質調整において扱いやすい動画像データを生成することができる。
【００４０】
また、本実施形態によれば、動画像データに対する画像処理に関するユーザ指定を受け付け、受け付けたユーザ指定に基づいて新たな付帯情報を生成し、生成した新たな付帯情報を付帯情報データに追加する。したがって、付帯情報のみを調整可能であるため、従来のように、動画像のＲＡＷデータ一枚ごとに確認や処理の指定を行う場合に比べて、処理を簡単にすることができる。例えば、画角の変化などに伴い、人物へのクローズアップが発生した場合などでも、その部分に関してホワイトバランスやコントラストに関する新たな付帯情報を生成することにより、好適な画像処理が可能となる。また、光学系の補正に関して、倍率色収差補正や歪曲収差補正等の処理を行う場合にも同様の効果が得られる。
【００４１】
なお、本実施形態では、撮影モードとして、画像処理前のＲＡＷデータを生成する「ＲＡＷモード」と、圧縮処理が施された画像データを生成する「通常モード」とを備える場合を例にあげて説明したが、本発明はこの例に限定されない。例えば、画像処理前のＲＡＷデータと圧縮処理が施された画像データとの両方を生成し、２つのデータを関連付けて記録する構成としても良い。この場合、動画像の確認時や図５で説明した付帯情報の調整時において、表示部１１への表示には圧縮処理が施された画像データを用い、実際の画像処理にはＲＡＷデータを用いる構成としても良い。
【００４２】
また、本実施形態で説明した付帯情報は一例であり、それ以外の情報を付帯情報として利用しても良い。例えば、電子カメラが姿勢センサなどを備える場合には、そのセンサ出力も付帯情報として利用することができる。
【００４３】
また、本実施形態では、本発明の技術を電子カメラ１において実現する例について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、本実施形態で説明した動画像データおよび付帯情報データに相当するデータを外部から取得し、本実施形態で説明した動画像ファイルを生成するデータ生成装置にも本発明を同様に適用することができる。
【００４４】
また、コンピュータと画像処理プログラムとにより、本実施形態で説明した処理をソフトウェア的に実現しても良い。この場合、図２のフローチャートで説明したステップＳ２に代えて動画像データを外部から取得し、ステップＳ３に代えて付帯情報データを外部から取得する。そして、ステップＳ４およびステップＳ５の処理の一部または全部をコンピュータで実現する構成とすれば良い。また、図５のフローチャートで説明したステップＳ１１からステップＳ１４の処理の一部または全部をコンピュータで実現する構成とすれば良い。このような構成とすることにより、本実施形態と同様の処理を実施することが可能になる。
【００４５】
なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【符号の説明】
【００４６】
１…電子カメラ，２…撮影レンズ，３…撮像素子，９…画像処理部，１０…記録部，１２…圧縮部，１３…制御部，１４…付帯情報生成部
【図１】
2010263520.tif 000003
【図２】
2010263520.tif 000004
【図３】
2010263520.tif 000005
【図４】
2010263520.tif 000006
【図５】
2010263520.tif 000007
【図６】
2010263520.tif 000008
【図７】
2010263520.tif 000009
【図８】
2010263520.tif 000010