(57)【特許請求の範囲】
【請求項１】
画像を毎秒第１の所定数のフレームとして撮影して出力するカメラからの複数の画像フレームを所定の間隔で間引いて、前記第１の所定数よりも数が少ない第２の所定数の画像フレームを毎秒出力する画像撮影装置であって、
前記第２の所定数の有効フレームの各々の直前の間引かれた無効フレームを１フレーム分遅延させる遅延手段と、
この遅延させられた無効フレームと有効フレームとの差分を演算する減算手段と、
該減算手段から出力される前記差分のうち大きな差分のみを取り出すフィルタリング手段と、
該フィルタリング手段で取り出された差分のレベルを１／２に低減する減衰手段と、
この低減された差分レベルを前記有効フレームに加算する加算手段と
を有することを特徴とする画像撮影装置。
【請求項２】
画像を毎秒第１の所定数のフレームとして撮影して出力するカメラからの複数の画像フレームを所定の間隔で間引いて、前記第１の所定数よりも数が少ない第２の所定数の画像フレームを毎秒出力する画像撮影装置であって、
前記第２の所定数の有効フレームの各々の直前の間引かれた無効フレームを１フレーム分遅延させる遅延手段と、
この遅延させられた無効フレームと有効フレームとの差分を演算する減算手段と、
該減算手段から出力される前記差分を２次元低域フィルタリング処理する２次元低域フィルタと、
該２次元低域フィルタで２次元低域フィルタリング処理を受けた前記差分のうち大きな差分のみを取り出すフィルタリング手段と、
該フィルタリング手段で取り出された差分のレベルを１／２に低減する減衰手段と、
この低減された差分レベルを前記有効フレームに加算する加算手段と
を有することを特徴とする画像撮影装置。
【請求項３】
画像を毎秒第１の所定数のフレームとして撮影して出力するカメラからの複数の画像フレームを所定の間隔で間引いて、前記第１の所定数よりも数が少ない第２の所定数の画像フレームを毎秒出力する画像撮影装置であって、
前記第２の所定数の有効フレームの各々の直前の間引かれた無効フレームを１フレーム分遅延させる遅延手段と、
この遅延させられた無効フレームと有効フレームとの差分を演算する減算手段と、
該減算手段から出力される前記差分を２次元低域フィルタリング処理する２次元低域フィルタと、
該２次元低域フィルタで２次元低域フィルタリング処理を受けた前記差分のうち大きな差分のみを取り出すフィルタリング手段と、
該フィルタリング手段で取り出した差分のレベルを０乃至１／２の範囲で低減する減衰手段と、
この低減された差分レベルを前記有効フレームに加算する加算手段と
を有することを特徴とする画像撮影装置。
【請求項４】
画像を毎秒第１の所定数のフレームとして撮影して出力するカメラからの複数の画像フレームを所定の間隔で間引いて、前記第１の所定数よりも数が少ない第２の所定数の画像フレームを毎秒出力する画像撮影装置であって、
前記第２の所定数の有効フレームの各々を１フレーム分遅延させる第１の遅延手段と、
前記有効フレームの各々の直前の間引かれた無効フレームを２フレーム分遅延させる第２の遅延手段と、
前記有効フレームの各々の直後の間引かれた無効フレームと前記第２の遅延手段で２フレーム分遅延させられた前記無効フレームとを加算する加算手段と、
該加算手段から出力される前記２つの無効フレームの和を平均化する平均化手段と、
この平均化された無効フレームと前記第１の遅延手段で１フレーム分遅延させられた有効フレームとの差分を演算する減算手段と、
該減算手段から出力される前記差分を２次元低域フィルタリング処理する２次元低域フィルタと、
該２次元低域フィルタで２次元低域フィルタリング処理を受けた前記差分のうち大きな差分のみを取り出すフィルタリング手段と、
該フィルタリング手段で取り出した差分のレベルを０乃至２／３の範囲で低減する減衰手段と、
この低減された差分レベルを前記有効フレームに加算する加算手段と
を有することを特徴とする画像撮影装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を毎秒第１の所定数のフレームとして撮影して出力するカメラからの複数の画像フレームを所定の間隔で間引いて、第１の所定数よりも数が少ない第２の所定数の画像フレームを毎秒出力する画像撮影装置に関する。
【０００２】
【従来の技術】
米国におけるＤＴＶ（デジタル放送）に想定される各種画像方式のうち、毎秒約３０フレームのインターレース無しの画像となる３０Ｐは、現行放送システムを一部流用できるなどの理由により非常に低コストで実現できるために注目されているが、この３０Ｐ方式はフレーム周波数が低いために、動きの大きな画像ではややぎくしゃくした動きになっている。また最近、実際の画像の取り込みを６０フレームで行う６０Ｐ方式のカメラも開発されつつある。
【０００３】
【発明が解決しようとする課題】
上述したように、３０Ｐ方式では、非常に低コストであるが、フレーム周波数が低いために、動きの大きな画像では、ややぎくしゃくした動きになるという欠点がある。
【０００４】
そこで、動きの大きな画像に対してインターレースがあるときに近い画像を出力するものとして６０Ｐ方式のカメラを使用し、このカメラの出力を利用して３０Ｐ方式を実現することにより動きの大きな画像に対しても動きがスムーズになることが考えられる。
【０００５】
本発明は、上記に鑑みてなされたもので、その目的とするところは、３０Ｐ方式を採用しながら動きの大きな画像に対しても動きがスムーズで自然な画像が得られる画像撮影装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の本発明は、画像を毎秒第１の所定数のフレームとして撮影して出力するカメラからの複数の画像フレームを所定の間隔で間引いて、前記第１の所定数よりも数が少ない第２の所定数の画像フレームを毎秒出力する画像撮影装置であって、前記第２の所定数の有効フレームの各々の直前の間引かれた無効フレームを１フレーム分遅延させる遅延手段と、この遅延させられた無効フレームと有効フレームとの差分を演算する減算手段と、該減算手段から出力される前記差分のうち大きな差分のみを取り出すフィルタリング手段と、該フィルタリング手段で取り出された差分のレベルを１／２に低減する減衰手段と、この低減された差分レベルを前記有効フレームに加算する加算手段とを有することを要旨とする。
【０００７】
請求項１記載の本発明にあっては、有効フレームの直前の間引かれた無効フレームを１フレーム分遅延させ、この遅延した無効フレームと有効フレームとの差分を演算し、この差分のうち大きな差分のみを取り出し、この取り出した差分のレベルを１／２に低減して有効フレームに加算するため、間引かれた直前の無効フレームの画像が３０Ｐの画像に重畳され、大きな動きの画像でもスムーズとなり、自然な画像を得ることができる。
【０００８】
また、請求項２記載の本発明は、画像を毎秒第１の所定数のフレームとして撮影して出力するカメラからの複数の画像フレームを所定の間隔で間引いて、前記第１の所定数よりも数が少ない第２の所定数の画像フレームを毎秒出力する画像撮影装置であって、前記第２の所定数の有効フレームの各々の直前の間引かれた無効フレームを１フレーム分遅延させる遅延手段と、この遅延させられた無効フレームと有効フレームとの差分を演算する減算手段と、該減算手段から出力される前記差分を２次元低域フィルタリング処理する２次元低域フィルタと、該２次元低域フィルタで２次元低域フィルタリング処理を受けた前記差分のうち大きな差分のみを取り出すフィルタリング手段と、該フィルタリング手段で取り出された差分のレベルを１／２に低減する減衰手段と、この低減された差分レベルを前記有効フレームに加算する加算手段とを有することを要旨とする。
【０００９】
請求項２記載の本発明にあっては、有効フレームの直前の間引かれた無効フレームを１フレーム分遅延させ、この遅延した無効フレームと有効フレームとの差分を演算し、この差分を２次元低域フィルタリング処理した後、該差分のうち大きな差分のみを取り出し、この取り出した差分のレベルを１／２に低減して有効フレームに加算するため、間引かれた直前の無効フレームの画像が３０Ｐの画像に重畳され、大きな動きの画像でもスムーズとなり、自然な画像を得ることができる。特に、２次元低域フィルタリング処理により動きの小さな物を検出しないようにしているため、より自然な画像が得られる。
【００１０】
更に、請求項３記載の本発明は、画像を毎秒第１の所定数のフレームとして撮影して出力するカメラからの複数の画像フレームを所定の間隔で間引いて、前記第１の所定数よりも数が少ない第２の所定数の画像フレームを毎秒出力する画像撮影装置であって、前記第２の所定数の有効フレームの各々の直前の間引かれた無効フレームを１フレーム分遅延させる遅延手段と、この遅延させられた無効フレームと有効フレームとの差分を演算する減算手段と、該減算手段から出力される前記差分を２次元低域フィルタリング処理する２次元低域フィルタと、該２次元低域フィルタで２次元低域フィルタリング処理を受けた前記差分のうち大きな差分のみを取り出すフィルタリング手段と、該フィルタリング手段で取り出した差分のレベルを０乃至１／２の範囲で低減する減衰手段と、この低減された差分レベルを前記有効フレームに加算する加算手段とを有することを要旨とする。
【００１１】
請求項３記載の本発明にあっては、有効フレームの直前の間引かれた無効フレームを１フレーム分遅延させ、この遅延した無効フレームと有効フレームとの差分を演算し、この差分を２次元低域フィルタリング処理した後、該差分のうち大きな差分のみを取り出し、この取り出した差分のレベルを０乃至１／２の範囲で低減して有効フレームに加算するため、間引かれた直前の無効フレームの画像が３０Ｐの画像に重畳され、大きな動きの画像でもスムーズとなり、自然な画像を得ることができる。特に、前記差分レベルを０乃至１／２の範囲で低減することにより動いている画像が急に止まったとしても自然な画像が得られる。
【００１２】
請求項４記載の本発明は、画像を毎秒第１の所定数のフレームとして撮影して出力するカメラからの複数の画像フレームを所定の間隔で間引いて、前記第１の所定数よりも数が少ない第２の所定数の画像フレームを毎秒出力する画像撮影装置であって、前記第２の所定数の有効フレームの各々を１フレーム分遅延させる第１の遅延手段と、前記有効フレームの各々の直前の間引かれた無効フレームを２フレーム分遅延させる第２の遅延手段と、前記有効フレームの各々の直後の間引かれた無効フレームと前記第２の遅延手段で２フレーム分遅延させられた前記無効フレームとを加算する加算手段と、該加算手段から出力される前記２つの無効フレームの和を平均化する平均化手段と、この平均化された無効フレームと前記第１の遅延手段で１フレーム分遅延させられた有効フレームとの差分を演算する減算手段と、該減算手段から出力される前記差分を２次元低域フィルタリング処理する２次元低域フィルタと、該２次元低域フィルタで２次元低域フィルタリング処理を受けた前記差分のうち大きな差分のみを取り出すフィルタリング手段と、該フィルタリング手段で取り出した差分のレベルを０乃至２／３の範囲で低減する減衰手段と、この低減された差分レベルを前記有効フレームに加算する加算手段とを有することを要旨とする。
【００１３】
請求項４記載の本発明にあっては、有効フレームを１フレーム分遅延させ、有効フレームの直前の無効フレームを２フレーム分遅延させ、直後の無効フレームと直前の無効フレームとを加算してから平均化し、この平均化無効フレームと有効フレームとの差分を演算し、この差分を２次元低域フィルタリング処理した後、大きな差分のみを取り出し、この取り出した差分のレベルを０乃至２／３の範囲で低減して有効フレームに加算するため、間引かれた直前および直後の無効フレームの平均画像が３０Ｐの画像に重畳され、大きな動きの画像でもスムーズとなり、自然な画像を得ることができる。特に、動いている画像が急に止まったときの不自然さを解消することができる。
【００１４】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について説明する。図１は、本発明の第１の実施形態に係る画像撮影装置の構成を示すブロック図である。同図に示す画像撮影装置は、画像を撮影し、該画像を６０フレームで取り込む６０Ｐカメラヘッド１を有する。この６０Ｐカメラヘッド１は、図２（ａ）に示すような６０Ｐの画像を出力する。この６０Ｐの画像のうち、１つ置きに間引かれて、間に残った３０Ｐの画像が図２（ｂ）に示す有効フレームであり、この有効フレームの間の間引かれた画像が無効フレームである。
【００１５】
このように６０Ｐの画像のうちの間引かれた無効フレームは、１フレームディレイ回路３に入力され、１フレーム分遅延させられて、減算回路５に入力されるとともに、該減算回路５には６０Ｐカメラヘッド１からの有効フレームが直接入力され、減算回路５において該有効フレームと該有効フレームの直前の１フレーム遅延した無効フレームとの差分が演算される。
【００１６】
この演算された有効フレームと無効フレームの差分信号は、大レベルフィルタ７に入力され、該差分信号のうち大きな部分のみが大レベルフィルタ７から出力される。この大きな差分信号は１／２アテネータ９に入力されて、１／２のレベルに低減される。この１／２アテネータ９からの低減された差分信号は、加算器１１において有効フレームの画像信号と加算され、これにより有効フレームに対して直前の無効フレームと有効フレームとの差分の内容を重畳し、直前の間引いた無効フレームの画像の変化を取り入れたスムーズな３０Ｐの画像を出力している。
【００１７】
更に詳しく図２を参照して説明する。図２（ａ）において、時間は上から下に進み、６０Ｐカメラヘッド１からは、Ｉａ，Ｖａ，Ｉｂ，Ｖｂ，Ｉｃ，Ｖｃ，・・・の順で６０Ｐの画像が出力され、１つ置きに間引かれて間に残った３０Ｐの有効フレームの画像Ｖａ，Ｖｂ，Ｖｃ，・・・が図２（ｂ）に示すように得られる。このように間引いて得られる３０Ｐの画像はやや不自然に見えるが、本実施形態ではこのような不自然さを解消するために、このように得られた３０Ｐの有効フレームの画像Ｖｉ（例えば、Ｖｂ）と該画像の直前の１フレーム遅延した無効フレームの画像Ｉｉ（例えば、Ｉｂ）との差分を減算回路５で演算する。
【００１８】
そして、この差分信号のうち大きなもののみが大レベルフィルタ７で取り出され、１／２アテネータ９で１／２に低減され、加算器１１で有効フレームの画像Ｖｉ（例えば、Ｖｂ）と加算されることにより、図２（ｃ）に示す画像Ｏｉ（例えば、Ｏｂ）が出力される。すなわち、画像Ｏｉは、有効フレームの画像Ｖｉに対して直前の無効フレームの画像Ｉｉを考慮した画像となるものである。なお、図２（ｃ）において、画像Ｏａは、有効フレームの画像Ｖａと直前の無効フレームの画像Ｉａとから構成される画像であるが、両画像Ｖａ，Ｉａには変化がないので、図示のように１つの黒丸の画像として表されている。また、画像Ｏｃも同じである。画像Ｏｂの場合のみ、その有効フレームの画像Ｖｂが直前の無効フレームの画像Ｉｂから大きく変化しているので、両画像Ｖｂ，Ｉｂの差分を有効フレームの画像Ｖｂに重畳すると、図示の画像Ｏｂのように有効フレームの画像Ｖｂと直前の画像Ｉｂとが重畳して表示されるが、このように重畳されて構成される画像Ｏｂの全体の画像レベルは他の画像Ｏａ，Ｏｃ等の画像レベルと同じになるように、すなわちトータルの画像レベルが常に一定の値、例えば「１」になり、これにより直後の画像と比較して、明るさに段差が発生しないようにし、自然な画像を構成するようにしている。
【００１９】
図３は、本発明の第２の実施形態に係る画像撮影装置の構成を示すブロック図である。同図に示す画像撮影装置は、図１に示した第１の実施形態において減算回路５の出力に２次元低域フィルタ（以下、２次元ＬＰＦと略称する）１３を設けるとともに、該２次元ＬＰＦ１３の処理時間を補正するように有効フレームが入力される加算器１１の入力側にディレイ回路１５を設けている点が異なるものであり、その他の構成および作用は同じであり、同じ構成要素には同じ符号が付されている。
【００２０】
減算回路５の出力に設けられた２次元ＬＰＦ１３は、減算回路５から出力される有効フレームと直前の無効フレームとの差分のうち動き量の小さいものを検出しにくくするように該動き量の小さい差分信号をフィルタリングしているものであり、これにより一層自然な画像にすることができる。
【００２１】
図４は、本発明の第３の実施形態に係る画像撮影装置の構成を示すブロック図である。同図に示す画像撮影装置は、図３に示した実施形態において１／２アテネータ９の代わりに１／２低減率、すなわち有効フレームに対する動き成分の加算比率αを１／２よりも小さく、０＜α＜１／２に設定しうるアテネータ９１を使用した点が異なるものであり、その他の構成および作用は同じであり、同じ構成要素には同じ符号が付されている。
【００２２】
図４の実施形態は、上述した図１、図３に示した実施形態で動いている画像が急に止まったりした場合において不自然に見える現象を解消し、より自然な画像を得ようとするものである。更に詳しくは、前記第１，２の実施形態では、動いている部分の画像の平均位置は１／１２０秒分だけ前にあるので（１／６０秒前と現在との平均であるから）、動いている画像が急に止まったりすると不自然に見えるが、例えば図４の実施形態における前記加算比率αを０．２５とすると、動いている部分の画像の平均位置が１／２４０秒分だけ前にある（１／６０秒前の画像２５％と現在の画像７５％との加算平均であるから）ことになり不自然さが軽減される。この結果、画像イメージは図５に示すようになる。
【００２３】
なお、図４の大レベルフィルタ７の出力は動き部分の正の成分と負の成分が同じ量含まれているので、その積分値はゼロとなる。従って、最終出力の動き部分の積分値はαの値を任意に変えても処理をしない場合の積分値と同じであり、自然な画像が得られる。
【００２４】
図６は、本発明の第４の実施形態に係る画像撮影装置の構成を示すブロック図である。同図に示す画像撮影装置は、有効フレームの画像に対して直前と直後の無効フレームの平均を使用し、この平均と有効フレームとの差分を有効フレームに重畳するように構成したものである。
【００２５】
図６において、６０Ｐカメラヘッド１からの６０Ｐの画像を１フレームディレイ回路１７で１フレーム分遅延させ、この１フレーム分遅延した６０Ｐの画像のうち有効フレームをディレイ回路１５を介して加算器１１に入力している。また、１フレームディレイ回路１７からの１フレーム分遅延した画像のうち無効フレームを１フレームディレイ回路１９で更に１フレーム分遅延させ、直前の無効フレームとして加算回路２１に入力し、この加算回路２１で該直前の無効フレームと直後の無効フレームとを加算している。
【００２６】
この直前の無効フレームと直後の無効フレームを加算した和信号は平均化回路２３で１／２されて平均化される。この直前および直後の無効フレームの平均信号は、減算回路５に供給されて、１フレームディレイ回路１７からの有効フレームとの差分を演算される。この差分信号は、２次元ＬＰＦ１３で差分信号のうち動きの小さいものをフィルタリングし、大レベルフィルタ７で更に大きな部分のみを取り出し、０＜α≦２／３の加算比率αを有するアテネータ９３に入力され、該加算比率αで画像レベルを低減され、加算器１１において有効フレームに重畳されるようになっている。
【００２７】
上述したように、図６の実施形態において有効フレームに対して直前および直後の無効フレームの平均を重畳された画像は、図７（ｃ）に示すような画像イメージとしてより自然な画像となる。すなわち、図７（ｃ）の中央の画像は有効フレームの画像Ｖｂが真中に表示され、その左側に直前の無効フレームの画像Ｉｂが表示され、右側に直後の無効フレームの画像Ｉｂが表示されている。
【００２８】
すなわち、本実施形態では、直前および直後の２つの無効フレームの平均時間は有効フレームのものと同じであるから、動いている部分の画像の平均位置が前にずれないので、動いている画像が急に止まったりするときの不自然さを解消することができる。また、アテネータ９３における加算比率αを０＜α≦２／３に制限したのは、この値を超えると動いている部分の３つの黒丸の中央が最も薄くなり、不自然になるからである。なお、大レベルフィルタ７の出力も動き部分の正の成分と負の成分が同じ量含まれているので、その積分値はゼロとなる。従って、最終出力の動き部分の積分値は図４の実施形態の場合と同様にαの値を任意に変えても処理をしない場合の積分値と同じであり、自然な画像が得られる。
【００２９】
【発明の効果】
以上説明したように、請求項１記載の本発明によれば、直前の無効フレームと有効フレームとの差分を演算し、大きな差分のみを取り出し、この差分のレベルを１／２に低減して有効フレームに加算するので、間引かれた直前の無効フレームの画像が３０Ｐの画像に重畳され、大きな動きの画像でもスムーズとなり、自然な画像を得ることができる。
【００３０】
また、請求項２記載の本発明によれば、直前の無効フレームと有効フレームとの差分を演算し、この差分を２次元低域フィルタリング処理した後、大きな差分のみを取り出し、この取り出した差分のレベルを１／２に低減して有効フレームに加算するので、大きな動きの画像でもスムーズとなり、自然な画像を得ることができるとともに、２次元低域フィルタリング処理により動きの小さな物を検出しないようにすることにより、より自然な画像が得られる。
【００３１】
更に、請求項３記載の本発明によれば、直前の無効フレームと有効フレームとの差分を演算し、この差分を２次元低域フィルタリング処理した後、大きな差分のみを取り出し、この取り出した差分のレベルを０乃至１／２の範囲で低減して有効フレームに加算するので、大きな動きの画像でもスムーズとなり、自然な画像を得ることができるとともに、差分レベルを０乃至１／２の範囲で低減することにより動いている画像が急に止まったとしても自然な画像が得られる。
【００３２】
請求項４記載の本発明によれば、直後の無効フレームと直前の無効フレームとを加算してから平均化し、この平均化無効フレームと有効フレームとの差分を２次元低域フィルタリング処理した後、大きな差分のみを取り出し、この取り出した差分のレベルを０乃至２／３の範囲で低減して有効フレームに加算するので、直前および直後の無効フレームの平均画像が３０Ｐの画像に重畳され、大きな動きの画像でもスムーズとなり、自然な画像を得ることができるとともに、特に動いている画像が急に止まったときの不自然さを解消することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像撮影装置の構成を示すブロック図である。
【図２】図１の実施形態において得られる各部の画像を示す図である。
【図３】本発明の第２の実施形態に係る画像撮影装置の構成を示すブロック図である。
【図４】本発明の第３の実施形態に係る画像撮影装置の構成を示すブロック図である。
【図５】図４の実施形態において得られる各部の画像を示す図である。
【図６】本発明の第４の実施形態に係る画像撮影装置の構成を示すブロック図である。
【図７】図６の実施形態において得られる各部の画像を示す図である。
【符号の説明】
１  ６０Ｐカメラヘッド
３，１７，１９  １フレームディレイ回路
５  減算回路
７  大レベルフィルタ
９  １／２アテネータ
１１  加算器
１３  ２次元ＬＰＦ
２１  加算回路
２３  平均化回路
９１，９３  アテネータ
【図１】
0003567729.tif 000002
【図２】
0003567729.tif 000003
【図３】
0003567729.tif 000004
【図４】
0003567729.tif 000005
【図５】
0003567729.tif 000006
【図６】
0003567729.tif 000007
【図７】
0003567729.tif 000008