(57)【要約】【課題】欠陥画素位置情報を記録できるだけの容量を増やすことなく、再生装置において欠陥画素の補正処理を行うことができる動画像記録再生装置を提供する。【解決手段】動画像記録再生装置１は、撮像装置２と、再生装置４とを備える。撮像装置２は、撮像部１１と、動画像データとメタデータを圧縮して圧縮データを生成する圧縮部１２とを備え、欠陥画素位置を検出する欠陥画素位置記録部１４と、欠陥画素位置のデータをメタデータ形式に変換する位置データ変換部１５とを備え、圧縮部は、欠陥画素位置のデータを動画像データのメタデータに記録する。再生装置３は、圧縮データを動画像データとメタデータとに変換する伸張部２２と、メタデータから、欠陥画素位置のデータを検出する欠陥画素位置検出部２４と、欠陥画素位置のデータに基づき補正データを作成する補正データ作成部２５と、補正データに基づき動画像データを補正する補正部２３とを備える。【選択図】図１
2010010800.tif 000002
【特許請求の範囲】
【請求項１】
複数の光電変換素子を有し、光学像を動画像データに変換する撮像部と、
前記動画像データとメタデータを圧縮して圧縮データを生成する圧縮部と、
前記圧縮データを記録媒体に書き込む書き込み部とを備えた撮像装置において、
前記撮像部の欠陥画素位置を検出する欠陥画素位置記録部と、
前記欠陥画素位置のデータをメタデータ形式に変換する位置データ変換部とを備え、
前記圧縮部は、前記変換された欠陥画素位置のデータを動画像データのメタデータに記録することを特徴とする撮像装置。
【請求項２】
前記検出された欠陥画素位置のデータを保存するメモリを有する請求項１記載の撮像装置。
【請求項３】
欠陥画素位置記録部は、前記欠陥画素位置のデータがメモリに保存されているか否かを判定し、前記欠陥画素位置のデータが保存されている場合に、前記圧縮部において前記欠陥画素位置のデータを前記動画像データのメタデータに記録させる請求項２記載の撮像装置。
【請求項４】
記録媒体から動画像データとメタデータとが圧縮された圧縮データを読み出す読み出し部と、
前記圧縮データを動画像データとメタデータとに変換する伸張部と、
前記メタデータから、前記動画像データが作成された撮像装置の撮像部における欠陥画素の位置を示す欠陥画素位置のデータを検出する欠陥画素位置検出部と、
前記欠陥画素位置のデータに基づき補正データを作成する補正データ作成部と、
前記補正データに基づき前記動画像データを補正する補正部とを備えたことを特徴とする再生装置。
【請求項５】
請求項１〜３のいずれかに記載の撮像装置と、
請求項４に記載の再生装置とを備えた動画像記録再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、業務用の動画像記録再生装置において、動画像を圧縮して保存し、圧縮データを読み込み、伸張した後に、画素欠陥を補正する動画像記録再生装置に関する。
【背景技術】
【０００２】
従来の動画像記録再生装置として、撮像装置と、再生装置とを有するものが提案されている（例えば、特許文献１参照）。図９は、上記動画像記録再生装置の構成を示すブロック図である。
【０００３】
この動画像撮像装置は、撮像データを生成し、圧縮する撮像装置１０１と、圧縮された撮像データ（圧縮データ）を保存する記録媒体１０２と、圧縮データを伸張する再生装置１０３と、撮像データを画像として表示する表示部１０４とを有する。撮像装置１０１は、受光した光を電気信号に変換して撮像データを生成する撮像部１１１と、撮像データを圧縮する圧縮部１１２と、圧縮データを記録媒体１０２に書き込む書き込み部１１３とを有する。記録媒体１０２は、圧縮データを保存する。
【０００４】
再生装置１０３は、読み出し部１２１と、伸張部１２２と、補正部１２３と、メモリ１２４と、欠陥画素位置検出部１２５と、補正データ作成部１２６とを有する。読み出し部１２１は、記録媒体１０２からの圧縮データを読み出す。伸張部１２２は、読み出し部１２１が読み出した圧縮データを伸張して撮像データを復元する。メモリ１２４には、撮像部１１１で発生した欠陥画素位置情報が格納されている。欠陥画素位置検出部１２５は、メモリ１２４から欠陥画素位置情報を取得し、欠陥画素の補正位置を特定する。補正データ作成部１２６は、欠陥画素の補正位置から補正データを作成する。補正部１２３は、撮像データを補正データに基づいて補正する。表示部１０４は、補正された撮像データを動画像として表示する。
【０００５】
このように、上記動画像撮像装置は、記録時に欠陥画素の補正を行わず、再生時にメモリに格納した欠陥画素位置情報を参照し、欠陥画素補正を行う。
【特許文献１】２００５−３１１７４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の動画像撮像装置では、再生装置に欠陥画素位置情報を格納するメモリを備えているので、他の撮像装置で撮像された圧縮データを補正する場合には、メモリに複数の撮像装置についての欠陥画素位置情報を記録できるだけの容量が必要になる。加えて、上記構成の動画像撮像装置では、予め撮像部の欠陥画素位置情報をメモリに記録させておく構成となっているため、未知の撮像装置によって動画像を撮像した場合、記録媒体から動画像を再生する際に、再生装置において欠陥画素の補正処理を行うことができない。
【０００７】
本発明では、上記従来の課題を解決するもので、異なる撮像装置により撮像されたデータを再生する際に、欠陥画素位置情報を記録できるだけの容量を増やすことなく、再生装置において欠陥画素の補正処理を行うことができる動画像記録再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、複数の光電変換素子を有し、光学像を動画像データに変換する撮像部と、前記動画像データとメタデータを圧縮して圧縮データを生成する圧縮部と、前記圧縮データを記録媒体に書き込む書き込み部とを備える。上記課題を解決するために、前記撮像部の欠陥画素位置を検出する欠陥画素位置記録部と、前記欠陥画素位置のデータをメタデータ形式に変換する位置データ変換部とを備え、前記圧縮部は、前記変換された欠陥画素位置のデータを動画像データのメタデータに記録することを特徴とする。
【０００９】
また、本発明の再生装置は、上記課題を解決するために、記録媒体から動画像データとメタデータとが圧縮された圧縮データを読み出す読み出し部と、前記圧縮データを動画像データとメタデータとに変換する伸張部と、前記メタデータから、前記動画像データが作成された撮像装置の撮像部における欠陥画素の位置を示す欠陥画素位置のデータを検出する欠陥画素位置検出部と、前記欠陥画素位置のデータに基づき補正データを作成する補正データ作成部と、前記補正データに基づき前記動画像データを補正する補正部とを備えたことを特徴とする。
【００１０】
また、本発明の動画像記録再生装置は、上記課題を解決するために、上記記載の撮像装置と、上記記載の再生装置とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮像データと共に記録媒体へ記録されるメタデータ上に欠陥画素位置情報を格納することにより、異なる撮像装置により撮像されたデータを再生する際に、欠陥画素位置情報を記録できるだけの容量を増やすことなく、再生装置において欠陥画素の補正処理を行うことができる動画像記録再生装置を提供することができる。
【発明を実施するための最良の形態】
【００１２】
本発明の撮像装置は、上記構成を基本として種々の態様をとることができる。すなわち、前記検出された欠陥画素位置のデータを保存するメモリを有する構成にすることができる。
【００１３】
また、欠陥画素位置記録部は、前記欠陥画素位置のデータがメモリに保存されているか否かを判定し、前記欠陥画素位置のデータが保存されている場合に、前記圧縮部において前記欠陥画素位置のデータを前記動画像データのメタデータに記録させる構成にすることができる。
【００１４】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１５】
（実施の形態）
図１は、本発明の実施の形態に係る動画像記録再生装置１の構成を示すブロック図である。動画像記録再生装置１は、圧縮データを生成する撮像装置２と、圧縮データを保存する記録媒体３と、圧縮データを伸張し処理する再生装置４と、伸張された動画像データを動画像として表示部５とを有する。
【００１６】
撮像装置２は、撮像部１１と、圧縮部１２と、書き込み部１３と、欠陥画素位置記録部１４と、位置データ変換部１５と、メモリ１６とを有する。撮像部１１は、例えばＣＣＤ（ＣＣＤ：Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラユニットなどの受光部を有し、被写体の光学像を電気信号に変換する。受光部は、複数の画素で構成されている。さらに、撮像部１１は、変換された電気信号に対して、アナログ信号処理、Ａ／Ｄ変換、デジタル信号処理して、動画像データを生成する。欠陥画素位置記録部１４は、詳細は後述するが、撮像部１１の受光部に欠陥画素があるかないかを検出し、欠陥画素の位置を示す欠陥画素位置情報を生成し、メモリ１６に保存する。また、欠陥画素位置記録部１４は、詳細は後述するが、メモリ１６から欠陥画素位置情報を取り出し、位置データ変換部１５に送信する。
【００１７】
位置データ変換部１５は、欠陥画素位置情報をメタデータに記録するためのメタデータ形式（例えば、ＸＭＬフォーマット）に変換し、変換された欠陥画素位置情報を圧縮部１２に送信する。圧縮部１２は、位置データ変換部１５からの欠陥画素位置情報をメタデータ内のユーザデータエリアに記録する。また、圧縮部１２は、メタデータとともに動画像データを圧縮して、圧縮データを作成する。書き込み部１３は、圧縮データを記録媒体３に保存する。記録媒体３としては、例えば磁気テープ、半導体メモリ、光ディスクなどがある。
【００１８】
再生装置４は、読み出し部２１と、伸張部２２と、補正部２３と、欠陥画素位置検出部２４と、補正データ作成部２５とを有する。読み出し部２１は、記録媒体３に記録された圧縮データを読み出し、伸張部２２へ送信する。伸張部２２は、圧縮データを動画像データとメタデータとに伸張する。伸張部２２は、動画像データおよびメタデータを補正部２３へ送信し、メタデータを欠陥画素位置検出部２４へ送信する。
【００１９】
欠陥画素位置検出部２４は、メタデータから欠陥画素位置情報を抽出し、欠陥画素位置情報を補正データ作成部２５に送信する。補正データ作成部２５は、詳細は後述するが、欠陥画素位置情報および１フレーム前または後の動画像データと比較して、補正データを生成し、補正部２３へ送信する。補正部２３は、動画像データを補正データにより補正して表示部５に送信する。表示部５は、補正された動画像データを動画像として表示する。
【００２０】
以上のように、動画像データにおけるメタデータに欠陥画素位置情報を記録して記録媒体に保存されるので、再生装置に欠陥画素位置情報が無くても、動画像データにおける欠陥画素を補正することができる。
【００２１】
図２は、欠陥画素位置情報の記録フォーマットを示す図である。記録フォーマットは、例えば２Ｂｙｔｅの欠陥画素Ｘ座標３１と、２Ｂｙｔｅの欠陥画素Ｙ座標３２と、４Ｂｙｔｅの欠陥画素長３３とを有する。欠陥画素Ｘ座標３１と、欠陥画素Ｙ座標３２は、撮像部１１で検出された欠陥画素の位置情報を示す。欠陥画素長３３は、撮像部１１の受光部に欠陥画素が連続して検出された場合に、欠陥画素Ｘ座標３１と、欠陥画素Ｙ座標３２とを始点として、連続した欠陥画素の長さを示す。
【００２２】
図３は、圧縮部１２における圧縮データのフォーマットを示す図である。圧縮データは撮像した動画像データを一つのクリップ４１として、クリップ毎に記録媒体に保存する。クリップ４１は、メタデータ４２と、映像ファイル４６と、音声ファイル４７とで構成されている。撮像した動画像データは映像ファイル４６に記録され、音声は音声ファイル４７に記録される。メタデータ４２は構造データ４３と、詳細データ４４と、ユーザーデータ４５とで構成される。構造データ４３には、撮像した動画像データについての名称、ＩＤ、記録方式などが記録される。詳細データ４４には、撮像日時、撮像場所などが記録される。ユーザーデータ４５は、ユーザーにより自由に使用できるエリアであり、欠陥画素位置情報を記録するエリアとして使用される。
【００２３】
次に、欠陥画素の補正方法について説明する。図４は、動画像データにおける欠陥画素の補正対象フレーム５２およびその前後のフレーム５１、５３を示す図である。図４において、時間が経過するにつれて画像上の木が左から右へ移動している。この場合に、補正対象フレーム５２と前フレーム５１または後フレーム５３から欠陥画素の補正データを作成する。
【００２４】
補正対象フレーム５２における欠陥画素５４の座標を（Ｘ、Ｙ）とする。図１における補正データ作成部２５は、補正対象フレーム５２の欠陥画素の座標（Ｘ、Ｙ）に表示されるべき被写体の動作を予測する。
【００２５】
被写体の動作の予測は、ＭＰＥＧで用いられているフレーム間予測を応用する。図５は、前フレーム５１と、補正対象フレーム５２とを示す図である。各フレームは、８×８画素のブロック（細線に囲まれた領域）に分割されている。補正データ作成部２５は、補正対象フレーム５２における欠陥画素５４を含んだ補正対象ブロック６１について、前フレーム５１を参照して、類似するブロックを検索する。類似する参照ブロック６２を発見した場合、補正対象ブロック６１と、参照ブロック６２の相対位置から、欠陥画素の動きを示す動きベクトルを求める。
【００２６】
動きベクトル（ΔＸ１、０）は、補正データ作成部２５が前フレーム５１と補正対象フレーム５２とを参照して求められる。補正データ作成部２５は、欠陥画素５４の座標（Ｘ、Ｙ）と動きベクトルを用いて、参照画素５５の座標（Ｘ−ΔＸ１、Ｙ）を特定する。補正データ作成部２５は、参照画素５５の座標および欠陥画素５４の座標を用いて補正データを作成する。図１における補正部２３は、補正データ作成部２５から参照画素座標を有する補正データを受信し、欠陥画素５４を参照画素５６に置き換える。以上の工程により欠陥画素を補正することができる。
【００２７】
なお、欠陥画素の補正において、前フレーム５１と補正対象フレーム５２とを比較して、補正データを求めたが、後フレーム５３と補正対象フレーム５２とを比較することにより、参照画素５６を求めることもできる。
【００２８】
次に、本実施の形態に係る動画像記録再生装置１の動作について説明する。まず、動画像記録再生装置１の欠陥画素検出時の動作について説明する。図６は、図１に示す撮像部１１における受光部の欠陥画素検出動作についての流れ図である。欠陥画素検出動作は、先ず、ステップＳ１０１として、欠陥画素位置記録部１４が撮像部１１の欠陥画素が存在するか否かを判定する。欠陥画素が存在するか否かは、撮像部１１からの電気信号がアナログ信号処理、Ａ／Ｄ変換された状態で判定される。
【００２９】
欠陥画素が存在するか否かの判定は、まず撮像部１１のレンズにカバーを掛けるなどして、撮像部１１の受光部を遮光することにより、撮像している動画像を真っ黒にする。加えて、撮像部１１における受光部のサンプリング周波数を通常の１０分の１程度まで落とすことで、受光部上に存在する欠陥画素を、真っ黒な動画像上の例えば白色として目視することができる。操作者は、動画像上に一定水準以上の照度がある点（欠陥画素）が存在するか否かを判定する。
【００３０】
動画像上に欠陥画素が存在しない場合に、操作者は、欠陥画素が存在しないと判断でき、欠陥画素検出動作を終了する。ステップＳ１０１において、動画像上に欠陥画素が存在する場合に、ステップＳ１０２として、操作者は、欠陥画素が存在すると判断して、次に欠陥画素の位置を特定する。撮像部１１が、受光部の各光電変換素子に対して走査線に沿って順次欠陥検査を行うことにより、欠陥画素位置情報として受光部のＸ座標とＹ座標とで欠陥画素の位置を特定することができる。次に、ステップＳ１０３として、欠陥画素位置記録部１４が欠陥画素位置情報をメモリ１６に記録する。以上により、撮像装置２における欠陥画素検出動作が完了する。
【００３１】
次に、動画像記録再生装置１の動画像記録の動作について説明する。図７は、撮像装置２において、撮像した圧縮データを記録媒体３に保存する動作についての流れ図である。まず、ステップＳ１１１として、撮像部１１は、被写体からの光を動画像データに変換し、動画像データを圧縮部１２に送信する。次に、ステップＳ１１２として、欠陥画素位置記録部１４は、メモリ１６に、欠陥画素検出動作により生じた欠陥画素位置情報が存在するか否かを判断する。
【００３２】
メモリ１６に欠陥画素位置情報が存在する場合には、欠陥画素位置記録部１４が欠陥画素位置情報を位置データ変換部１５に送信する。次に、ステップＳ１１３として、位置データ変換部１５は、欠陥画素位置情報をメタデータ形式（例えば、ＸＭＬフォーマット）に変換する。次に、ステップＳ１１４として、位置データ変換部１５は、メタデータ形式に変換された欠陥画素位置情報を動画像データにおけるメタデータ内のユーザデータエリアに記録する。次に、ステップＳ１１５として、圧縮部１２は、動画像データとメタデータとを圧縮データに圧縮する。
【００３３】
ステップＳ１１２において、メモリ１６に欠陥画素位置情報が存在しない場合には、ステップＳ１１５として、欠陥画素位置情報なしのメタデータと動画像データとを圧縮データに圧縮する。最後に、ステップＳ１１６として、書き込み部１３は、圧縮データを記録媒体３に保存する。以上により、撮像装置２における圧縮データを記録媒体３に保存する動作が完了する。
【００３４】
次に、動画像記録再生装置１の動画像再生の動作について説明する。図８は、図１に示す再生装置４において、表示部５に動画像を表示させる動作についての流れ図である。まず、ステップＳ１２１として、読み出し部２１が記録媒体３から圧縮データを読み出し、圧縮データを伸張部２２に送信する。次に、ステップＳ１２２として、伸張部２２は、圧縮データを動画像データとメタデータに伸張し、動画像データを補正部２３へ、メタデータを欠陥画素位置検出部２４へ送信する。次に、ステップＳ１２３として、欠陥画素位置検出部２４は、メタデータに欠陥画素位置情報が存在するか否かを判定する。
【００３５】
メタデータに欠陥画素位置情報が存在する場合に、ステップＳ１２４として、補正データ作成部２５は、欠陥画素位置検出部２４が抽出した欠陥画素位置情報に基づいて、補正データを作成し、補正部２３へ送信する。次に、ステップＳ１２５として、補正部２３は、補正データを用いて、動画像データにおける欠陥画素を補正する。次に、ステップＳ１２６として、補正部２３は、補正された動画像データを表示部５に動画像として表示させる。
【００３６】
ステップＳ１２３において、メタデータに欠陥画素位置情報が存在しない場合に、ステップＳ１２６として、補正部２３は、動画像データを表示部５に動画像として表示させる。以上により、再生装置４における表示部５に動画像を表示させる動作が完了する。
【００３７】
以上のように、本実施の形態に係る動画像記録再生装置１は、再生装置４において、記録媒体３に記録された圧縮データ内のメタデータを読み出すことで、欠陥画素位置情報を取得することが可能となるため、再生装置４にメモリを必要としない。さらに、未知の撮像装置２により記録媒体３に圧縮データが保存された場合においても、再生装置４がメタデータに記録された欠陥画素位置情報を読み出すことで、欠陥画素補正を行うことができる。
【産業上の利用可能性】
【００３８】
本発明は、再生装置において、記録媒体に記録された圧縮データ内のメタデータを読み出すことで、欠陥画素位置情報を取得することが可能となるため、再生装置に欠陥画素位置情報用メモリを必要としない。加えて、未知の記録装置で記録された記録媒体から圧縮データを読み出す場合でも欠陥画素補正が可能になる。このため、業務用の動画像撮像システムにおいて、動画像を圧縮して保存し、圧縮データを読み込み、伸張した後に、欠陥画素を高速かつ適正に補正する動画像記録再生装置として有用である。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施の形態に係る動画像記録再生装置の構成を示すブロック図
【図２】本発明の実施の形態に係る欠陥画素位置情報の記録フォーマットを示す図
【図３】本発明の実施の形態に係る圧縮部における圧縮データのフォーマットを示す図
【図４】本発明の実施の形態に係る動画像データにおける欠陥画素の補正対象フレームおよびその前後のフレームを示す図
【図５】本発明の実施の形態に係る前フレームと、補正対象フレームとを示す図
【図６】本発明の実施の形態に係る動画像記録再生装置の撮像部における受光部の欠陥画素検出動作についての流れ図
【図７】本発明の実施の形態に係る動画像記録再生装置の撮像装置において、撮像した圧縮データを記録媒体に保存する動作についての流れ図
【図８】本発明の実施の形態に係る動画像記録再生装置の再生装置において、表示部に動画像を表示させる動作についての流れ図
【図９】従来の動画像記録再生装置の構成を示すブロック図
【符号の説明】
【００４０】
１  動画像記録再生装置
２  撮像装置
３  記録媒体
４  再生装置
５  表示部
１１  撮像部
１２  圧縮部
１３  書き込み部
１４  欠陥画素位置記録部
１５  位置データ変換部
１６  メモリ
２１  読み出し部
２２  伸張部
２３  補正部
２４  欠陥画素位置検出部
２５  補正データ作成部
３１  欠陥画素Ｘ座標
３２  欠陥画素Ｙ座標
３３  欠陥画素長
４１  クリップ
４２  メタデータ
４３  構造データ
４４  詳細データ
４５  ユーザーデータ
４６  映像ファイル
４７  音声ファイル
５１  前フレーム
５２  補正対象フレーム
５３  後フレーム
５４  欠陥画素
５５、５６  参照画素
６１  補正対象ブロック
６２  参照ブロック
【図１】
2010010800.tif 000003
【図２】
2010010800.tif 000004
【図３】
2010010800.tif 000005
【図４】
2010010800.tif 000006
【図５】
2010010800.tif 000007
【図６】
2010010800.tif 000008
【図７】
2010010800.tif 000009
【図８】
2010010800.tif 000010
【図９】
2010010800.tif 000011