(57)【要約】【課題】高速度撮影を高性能な処理手段を設けることなく実現すること。【解決手段】高速度カメラの出力信号を入力として記録再生を行うデータ処理装置において、前記高速度カメラの出力信号をフレーム単位でｎ（ｎは１以上の整数）フレーム置きに分割し、それぞれ分割されたフレームを一時的に記憶するｎ＋１個のデータ記憶手段と、前記ｎ＋１個のデータ記憶手段から読み出したフレームをそれぞれ個別にストリームデータにエンコードするｎ＋１個のエンコード手段と、前記ｎ＋１個のエンコード手段により圧縮されたストリームデータを記録するｎ＋１個のデータ記録手段とを備え、カメラ出力信号をフレーム単位で分けて処理することで高性能な処理手段が必要でなく、処理性能の低い処理手段を複数用いることでシステムを構成することが可能となる。【選択図】図１
2010278481.tif 000002
【特許請求の範囲】
【請求項１】
高速度カメラの出力信号を入力として記録再生を行うデータ処理装置であって、
前記高速度カメラの出力信号をフレーム単位でｎ（ｎは１以上の整数）フレーム置きに分割し、それぞれ分割されたフレームを一時的に記憶するｎ＋１個の第１のデータ記憶手段と、
前記ｎ＋１個のデータ記憶手段から読み出したフレームをそれぞれ個別にストリームデータにエンコードするｎ＋１個の第１のエンコード手段と、
前記ｎ＋１個のエンコード手段により圧縮されたストリームデータを記録するｎ＋１個の第１のデータ記録手段と
を備えたデータ処理装置。
【請求項２】
前記第１のデータ記憶手段から読み出された個別のストリームデータをそれぞれデコードする第１のデコード手段と、
前記第１のデコード手段により生成されたフレームデータを、前記高速度カメラの出力信号と同じフレームの順番で交互に表示を行う表示制御手段と
を更に備えた請求項１に記載のデータ処理装置。
【請求項３】
前記エンコード手段の性能もしくは表示装置の性能に合わせて、前記データ記憶手段に取り込むフレーム間隔を制御する制御手段を更に備えた請求項１または請求項２記載のデータ処理装置。
【請求項４】
前記高速度カメラの出力信号を表示装置に合わせた通常スピードのフレームになるように間引きし、フレームを一時的に記憶する第２のデータ記憶手段と、
前記第２のデータ記憶手段から読み出したフレームを個別にストリームデータにエンコードする第２のエンコード手段と、
前記第２のエンコード手段により圧縮されたストリームデータを記録する第２のデータ記録手段と
を更に備えた請求項１記載のデータ処理装置。
【請求項５】
前記第１のデータ記憶手段から読み出された個別のストリームデータをそれぞれデコードする第１のデコード手段と、
前記第２のデータ記憶手段から読み出されたストリームデータをデコードする第２のデコード手段と、
前記第１のデコード手段により生成されたフレームデータを、前記高速度カメラの出力信号と同じフレームの順番で交互に表示を行う場合と、
前記第２のデコード手段により生成されたフレームデータを、通常スピードで表示を行う場合とのどちらか一方を選択して表示を行う表示制御手段と
を更に備えた請求項４に記載のデータ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高速度撮影記録とスローモーション再生を行うデータ処理装置に関するものである。
【背景技術】
【０００２】
一般に、家庭用のビデオカメラでは、通常の１秒間に３０枚フレームで撮影しており、高速で動く現象を撮影するには向いていない。そこで高速で動く現象を撮影するために、撮影した映像を高速で取り込み、ＩＣメモリや特殊なＶＴＲに記録し、再生時には標準速度で再生するデータ処理装置が知られている。
【０００３】
しかしながら、従来のデータ処理装置では、高速で画像を取り込む必要があり、そのため低速度でデータを取り込む従来のデータ処理装置としては、高速度で入力される記録データを分離して低速度で伝送される分離データを作成するデータ分離手段と、前記分離データを記録データとして記録し、前記記録データを再生用分離データとして出力する複数のデータ記憶手段と、前記複数のデータ記憶手段から低速度で出力される前記再生用分離データを一時的に保持し、同期させて出力する同期手段と、前記同期手段から出力された再生用分離データを多重化して高速度で出力される再生データを作成し、出力するデータ多重化手段と、を有するものがあった（例えば、特許文献１参照）。
【０００４】
図７は、前記特許文献１に記載された従来のデータ処理装置を示すものである。
【０００５】
図７において、データ分離手段１が、高速で入力される記録データを分離して複数の低速な分離データを作成する。データ記憶手段３ａ〜３ｎは、制御手段２の制御を受けて、データ分離手段１から出力された分離データを記録データとして記録する。また、データ記憶手段３ａ〜３ｎは、制御手段２の制御を受けて、記録データを再生用分離データとして出力する。同期手段４は、データ記憶手段３ａ〜３ｎから低速で出力された再生用分離データを一時的に保持し、同期させて出力する。データ多重化手段５は、同期手段４から出力された再生用分離データを多重化して高速な再生データを作成し、出力する。
【特許文献１】特開平１０−１４９６２５号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記従来の構成を用いて高速度撮影を行う場合にデータ記憶手段はＲＡＷデータを蓄えることになるため大規模は記憶容量が必要になる。さらに、データ分離手段において外部からの高速な入力データは低速な分離データに分離することは可能であるが、一般的なデータ分離手段であり、特に画像コーデックを用いた高速度撮影においては何等工夫もなく、有効になるものではないという課題を有していた。
【０００７】
本発明は、前記従来の課題を解決するもので、高速度撮影を行う際に、高速な入力データを画像コーデックと組み合わせて依存関係を持たない低速な分離データとして、信号処理を行い、個々の作成されたストリームを個別に再生可能とすると共に、高速度撮影を行った後の再生時に依存関係を持たせることでスローモーション再生を可能としたデータ処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記従来の課題を解決するために、第１の発明に係るデータ処理装置は、高速度カメラの出力信号を入力として記録再生を行うデータ処理装置において、前記高速度カメラの出力信号をフレーム単位でｎ（ｎは１以上の整数）フレーム置きに分割し、それぞれ分割されたフレームを一時的に記憶するｎ＋１個のデータ記憶手段と、前記ｎ＋１個のデータ記憶手段から読み出したフレームをそれぞれ個別にストリームデータにエンコードするｎ＋１個のエンコード手段と、前記ｎ＋１個のエンコード手段により圧縮されたストリームデータを記録するｎ＋１個のデータ記録手段を有し、高速度撮影を行う。
【０００９】
また、第２の発明に係るデータ処理装置は、データ記憶手段から読み出された個別のストリームデータをそれぞれデコードするデコード手段と、前記デコード手段により生成されたフレームデータを、前記高速度カメラの出力信号と同じフレームの順番で交互に表示を行う表示制御とを備えている。
【００１０】
さらに第３の発明に係るデータ処理装置は、前記データ記憶手段に、前記エンコード手段の性能もしくは表示装置の性能に合わせて取り込むフレーム間隔を制御することを可能とする制御手段を備える。
【００１１】
さらに第４の発明に係るデータ処理装置は、前記高速度カメラの出力信号を表示装置に合わせた通常スピードのフレームになるように間引きし、フレームを一時的に記憶する前記データ記憶手段と、前記データ記憶手段から読み出したフレームを個別にストリームデータにエンコードするエンコード手段と、前記エンコード手段により圧縮されたストリームデータを記録するデータ記録手段とを高速度撮影用とは別に搭載する。
【００１２】
さらに第５の発明に係るデータ処理装置は、前記データ記憶手段から読み出された個別のストリームデータをそれぞれデコードするデコード手段と、前記デコード手段により生成されたフレームデータを、前記高速度カメラの出力信号と同じフレームの順番で交互に表示を行う場合と、通常スピードのフレームの表示を行う場合とのどちらか一方を選択して表示を行う表示制御とを備える。
【００１３】
本構成によって、カメラ出力信号を独立したフレームで分けて処理することになるためカメラ出力信号を直接受けて一連の処理を行う場合に比較して、高性能な処理手段が必要でなく、処理性能の低い処理手段を複数用いることでシステムを構成することが可能となる。また、フレーム間の依存をなくしてエンコードを行い、それぞれ別のストリームとして記録するため、他のシステムにおいても各記録データは再生することができる。
【発明の効果】
【００１４】
本発明のデータ処理装置によれば、高速度撮影時に高性能な処理手段が必要でなく、さらにデータを圧縮することでメモリ容量を削減でき、個々のストリームを個別に記録することが可能となるため他のシステムにおいてもデコード可能なデータを作成できる。
【発明を実施するための最良の形態】
【００１５】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１６】
（実施の形態１）
図１は、本発明の実施の形態１におけるデータ処理装置の図である。図１において、１０１ａと１０１ｂはカメラ出力信号を入力として、フレーム単位で画像データの記憶を行うデータ記憶手段、１０２ａと１０２ｂは、データ記憶手段１０１ａと１０１ｂで記憶された画像データに対してそれぞれエンコード処理などを実施する信号処理手段、１０３ａと１０３ｂは、信号処理手段１０２ａと１０２ｂでエンコード処理された画像ストリームデータをそれぞれ記録する記録手段、１０４は、記録手段１０３ａと１０３ｂに記録されたそれぞれのストリームデータを信号処理手段１０２ａと１０３ｂでそれぞれデコード処理などを行い、画像として出力されたそれぞれのデータを表示するための表示制御手段、１０５は、全体のシステム制御を行う制御手段で構成している。
【００１７】
また、図２はカメラ出力信号を１０１ａと１０１ｂにフレーム単位で記憶するためのタイミング図である。図２において２０１はフレームの始まりを合わせるための垂直同期信号、２０２はフレーム数を示すカウント信号、２０３と２０４は、前記２０２のカウント信号がそれぞれ奇数、偶数を示す信号である。図３はデータ処理装置の入出力の画像データを示す図である。図３において３０１はカメラ出力信号、３０２は信号処理手段１０２ａのデコード信号、３０３は信号処理手段１０２ｂのデコード信号、３０４は表示制御手段の出力信号である。
【００１８】
図１におけるカメラ出力信号は、図３のカメラ出力信号３０１に示すように１秒間に３００フレームの出力されるものとし、表示に関しては図３の表示制御手段の出力信号３０４で示すように１秒間に３０フレームを表示する装置に繋がるものとする。また、図３のカメラ出力信号３０１の白と斜線で描いた２つのフレームは、それぞれ奇数番目と偶数番目のフレームを示している。
【００１９】
まず、図１のデータ記憶手段１０１ａと１０１ｂへのカメラ出力信号の取り込みについて図２を用いて説明する。
【００２０】
図２において、カウント信号２０２は、垂直同期信号２０１のＨｉｇｈレベルへの立ち上がりをカウントし、３００フレームをカウントした後、次の垂直同期信号２０１のＨｉｇｈレベルになる立ち上がりでカウント信号２０２を１に戻し、この動作を撮影終了まで繰り返す。奇数信号２０３は、カウント信号２０２が奇数の場合にＨｉｇｈレベルを示し、偶数信号２０４は、カウント信号２０２が偶数の場合にＨｇｉｈレベルを示す。
【００２１】
図１のデータ記憶手段１０１ａは、図２の奇数信号２０３がＨｉｇｈレベルの時に１フレーム分のデータを記憶する。また、データ記憶手段１０１ｂは、図２の偶数信号２０４がＨｉｇｈレベルの時に１フレーム分のデータを記憶する。つまり、データ記憶手段１０１ａと１０１ｂはカメラ出力信号を交互に奇数フレーム、偶数フレームと分けて記憶し、後段の信号処理手段１０２ａと１０２ｂに出力する。信号処理手段１０２ａと１０２ｂはそれぞれのフレームのデータに対し、ノイズ除去や傷補正などの処理など行い、更にＭＰＥＧなど動画像圧縮技術によりエンコード処理を行い、１秒間に１５０フレームのデータを圧縮してストリームデータとして記録手段１０３ａと１０３ｂに記録して撮影処理を終了する。
【００２２】
また、撮影終了後にエンコードされた画像データを再生する際は、記憶手段１０３ａからエンコードされた奇数フレームのデータを読み出し、信号処理手段１０２ａでデコード処理やポスト処理などを行い、図３の３０２で示すようにそれぞれ奇数フレームのみ１秒間に１５フレームをデコードし、表示制御手段１０４に出力する。一方、記憶手段１０３ｂからエンコードされた偶数フレームのデータを読み出し、信号処理手段１０２ｂでデコード処理やポスト処理などを行い、図３の３０３で示すようにそれぞれ偶数フレームのみ１秒間に１５フレームをデコードし、表示制御手段１０４に出力する。表示制御手段１０４は、図３の３０４に示すようにデコードされた奇数フレーム、偶数フレームをエンコードの順番と同じように交互になるように制御を行い、表示装置に映像信号を１秒間に３０フレーム出力する。
【００２３】
かかる構成によれば、カメラ出力信号を奇数、偶数フレームで分けて処理することになるためカメラ出力信号を直接受けて一連の処理を行う場合に比較して１／２の処理性能で一連の処理が可能となり、高性能な処理手段が必要でなく、処理性能の低い処理手段を複数用いることでシステムを構成することが可能となる。また、奇数、偶数フレームのフレーム間の依存をなくしてエンコードを行い、それぞれ別のストリームとして記録するため、表示制御手段で偶数、奇数の並び替えを行えない他システムにおいても各記録データは再生可能となる。
【００２４】
なお、これら一連の制御に関しては制御手段１０５の制御信号により制御可能で、制御手段１０５により、データ記憶手段１０１ａ、１０１ｂに取り込む枚数や表示装置に合わせて信号処理手段１０２ａ、１０２ｂのデコード枚数を制御し、さらに表示制御手段において表示枚数を設定することが可能としている。
【００２５】
また、それぞれの手段を個別の部品として記載しているが１つのＬＳＩ上に構成しても良く、記憶手段１０２ａ、１０３ｂは同じ記憶手段として信号処理手段１０２ａ、１０３ａからアクセスすることも可能になる。
【００２６】
さらに今回は偶数フレームと奇数フレームで分割して一連の処理を説明したが信号処理手段の１０２ａ、１０２ｂの性能によっては、信号処手段以降の手段を追加して、分割する数を１フレーム、４フレーム、７フレーム・・・、２フレーム、５フレーム、８フレーム・・・、３フレーム、６フレーム、９フレーム・・・と３フレーム置きに３つのシステムで構成するなど並列度を上げて対応することも可能である。
【００２７】
（実施の形態２）
図４は、本発明の実施の形態２のデータ処理装置の図である。図１と同じ構成要素については同じ符号を用い、説明を省略する。また、図５のタイミング図と図６のデータ処理装置の入出力の画像データを示す図に関しても図２及び図３と同じ構成要素については同じ符号を用い、説明を省略する。
【００２８】
図４において図１との違いは、４０１ｃのデータ記憶手段、４０２ｃの信号処理手段、４０３ｃの記録手段が追加の構成となり、４０４の表示制御手段と４０５の制御手段は機能追加したものになる。
【００２９】
また、図５において図２との違いとして、５０５のカウント信号２０２が１フレーム目、１１フレーム目、２１フレーム目などカウント信号２０２の下一桁が１の場合示す信号を追加している。図６においては図３との違いとして、６０５のカメラ出力信号を１０フレーム置きにエンコードして、３０フレームでデコードした場合における表示制御手段の出力信号を追加している。
【００３０】
図４におけるカメラ出力信号は、図６のカメラ出力信号３０１に示すように１秒間に３００フレームの出力されるものとし、表示に関しては図６の表示制御手段の出力信号３０４もしくは６０５で示すように１秒間に３０フレームを表示する装置に繋がるものとする。また、図６のカメラ出力信号３０１の白と斜線で描いた２つのフレームは、それぞれ奇数番目と偶数番目のフレームを示している。
【００３１】
図４のデータ記憶手段１０１ａと１０１ｂへのカメラ出力信号の取り込みについては実施の形態１と同じであるため説明は省略し、データ記憶手段４０１ｃへのカメラ出力信号の取り込みについて説明する。
【００３２】
カウント信号２０２は、垂直同期信号２０１のＨｉｇｈレベルへの立ち上がりをカウントし、３００フレームをカウントした後、次の垂直同期信号２０１のＨｉｇｈレベルになる立ち上がりでカウント信号２０２を１に戻し、この動作を撮影終了まで繰り返す。下一桁が１を示す信号５０５は、カウント信号２０２が１、１１、２１のように下一桁が１の場合にＨｉｇｈレベルを示す。
【００３３】
図４のデータ記憶手段４０１ｃは、図５の下一桁が１を示す信号５０５がＨｉｇｈレベルの時に１フレーム分のデータを記憶する。つまり、データ記憶手段４０１ｃはカメラ出力信号を１０フレーム飛びで記憶し、後段の信号処理手段４０２ｃに出力する。信号処理手段４０２ｃはフレームのデータに対し、ノイズ除去や傷補正などの処理など行い、更にＭＰＥＧなど動画像圧縮技術によりエンコード処理を行い、１秒間に３０フレームのデータを圧縮してストリームデータとして記録手段４０３ｃに記録して撮影処理を終了する。
【００３４】
また、撮影終了後にエンコードされた画像データを再生する際は、記憶手段４０３ｃからエンコードされたフレームのデータを読み出し、信号処理手段４０２ｃでデコード処理やポスト処理などを行い、図６の６０５で示すように１秒間に３０フレームをデコードし、表示制御手段４０４に出力する。
【００３５】
一方、実施の形態１と同じ構成部分は実施の形態１と同じ動作を行い、記憶手段１０３ａからエンコードされた奇数フレームのデータを読み出し、信号処理手段１０２ａでデコード処理やポスト処理などを行い、図６の３０２で示すようにそれぞれ奇数フレームのみ１秒間に１５フレームをデコードし、表示制御手段１０４に出力する。また、記憶手段１０３ｂからエンコードされた偶数フレームのデータを読み出し、信号処理手段１０２ｂでデコード処理やポスト処理などを行い、図６の３０３で示すようにそれぞれ偶数フレームのみ１秒間に１５フレームをデコードし、表示制御手段１０４に出力する。表示制御手段４０４は、図６の３０４もしくは６０５のどちらか一方を選択して表示装置に映像信号を１秒間に３０フレーム出力する。
【００３６】
かかる構成によれば、カメラ出力信号を奇数、偶数フレームで分けて処理することになるためカメラ出力信号を直接受けて一連の処理を行う場合に比較して高速度撮影は１／２の処理性能で、同時に通常撮影は１／１０で一連の処理が可能となり、高性能な処理手段が必要でなく、処理性能の低い処理手段を複数用いることでシステムを構成することが可能となる。また、奇数、偶数フレームのフレーム間の依存をなくしてエンコードを行い、また、表示と同じフレーム数となる通常速度のエンコードを行い、それぞれ別のストリームとして記録するため、表示制御手段で偶数、奇数の並び替えを行えない他システムや表示と同じフレーム数しかデコードできないシステムにおいても各記録データは再生可能となる。
【００３７】
なお、これら一連の制御に関しては制御手段４０５の制御信号により制御可能で、制御手段４０５により、データ記憶手段１０１ａ、１０１ｂ、４０１ｃに取り込む枚数や表示装置に合わせて信号処理手段１０２ａ、１０２ｂ、４０２ｃのデコード枚数を制御し、さらに表示制御手段において表示枚数を設定することを可能としている。
【００３８】
また、それぞれの手段を個別の部品として記載しているが１つのＬＳＩ上に構成しても良く、記憶手段１０３ａ、１０３ｂ、４０３ｃは同じ記憶手段として信号処理手段１０２ａ、１０２ｂ、４０２ｃからアクセスすることも可能になる。
【産業上の利用可能性】
【００３９】
本発明にかかるデータ処理装置は、高速度撮影を行う実験装置や監視カメラ、ムービー、デジタルスチルカメラなどカメラ及び画像コーデックを搭載した電子機器とその応用分野において利用できる。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施の形態１におけるデータ処理装置の構成図
【図２】本発明の実施の形態１におけるフレーム単位で記憶するためのタイミング図
【図３】本発明の実施の形態１におけるデータ処理装置の入出力の画像データを示す図
【図４】本発明の実施の形態２におけるデータ処理装置の構成図
【図５】本発明の実施の形態２におけるフレーム単位で記憶するためのタイミング図
【図６】本発明の実施の形態２におけるデータ処理装置の入出力の画像データを示す図
【図７】従来のデータ処理装置の図
【符号の説明】
【００４１】
１    データ分離手段
４    同期手段
５    データ多重化手段
３ａ，３ｂ，３ｎ，１０１ａ，１０１ｂ，４０１ｃ    データ記憶手段
１０２ａ，１０２ｂ，４０２ｃ    信号処理手段
１０３ａ，１０３ｂ，４０３ｃ    記録手段
１０４，４０４    表示制御手段
２，１０５，４０５    制御手段
２０１    フレームの始まりを合わせるための垂直同期信号
２０２    フレーム数を示すカウント信号
２０３    カウント信号が奇数を示す信号
２０４    カウント信号が偶数を示す信号
５０５    カウント信号の下一桁が１の場合を示す信号
３０１    カメラ出力信号
３０２，３０３    信号処理手段のデコード信号
３０４，６０５    表示制御手段の出力信号
【図１】
2010278481.tif 000003
【図２】
2010278481.tif 000004
【図３】
2010278481.tif 000005
【図４】
2010278481.tif 000006
【図５】
2010278481.tif 000007
【図６】
2010278481.tif 000008
【図７】
2010278481.tif 000009