(57)【要約】【課題】  動画像を撮影する撮像装置において、画質の低いフレームを選択的に間引いた、動きの滑らかな固定フレームレートの動画を生成する手段を提供すること。【解決手段】  動画像を撮像する手段と、前記撮像した動画像の各フレームについて、画像の品質が所定の条件を満たしているかどうかを判定する画質判定手段と、前記撮像した動画像のフレームについて、選択した複数のフレーム以外を削除するフレーム間引き手段を有し、前記間引き手段は、前記動画を複数の時間的な区間に分け、区間内で所定の周期ごとに選択したフレーム以外を間引いた間引きパターン候補を複数設定し、各区間において、前記画質判定手段に基づいて、前記間引きパターン候補から採用するパターンを選択する。【選択図】  図１
2019110368.tif 000002
【特許請求の範囲】
【請求項１】
動画像を撮像する手段と、
前記撮像した動画像の各フレームについて、画像の品質が所定の条件を満たしているかどうかを判定する画質判定手段と、
前記撮像した動画像のフレームについて、選択した複数のフレーム以外を削除するフレーム間引き手段を有し、
前記間引き手段は、前記動画を複数の時間的な区間に分け、区間内で所定の周期ごとに選択したフレーム以外を間引いた間引きパターン候補を複数設定し、各区間において、前記画質判定手段に基づいて、前記間引きパターン候補から採用するパターンを選択することを特徴とする撮像装置。
【請求項２】
動画像を撮像する手段と、
前記撮像した動画像の各フレームについて、画像の品質が所定の条件を満たしているかどうかを判定する画質判定手段と、
前記撮像した動画像のフレームについて、選択した複数のフレーム以外を削除するフレーム間引き手段を有し、
前記間引き手段は、所定の周期ごとに抽出フレームを設定し、前記抽出フレームのうち、前記画質判定手段において前記条件を満たしていないと判定されたフレームについて、時間的に隣接する、前記条件を満たしているフレームを用いて補間処理を行うことを特徴とする撮像装置。
【請求項３】
動画像を撮像する手段と、
前記撮像した動画像の各フレームについて、画像の品質が所定の条件を満たしているかどうかを判定する画質判定手段と、
前記撮像した動画像のフレームについて、選択した複数のフレーム以外を削除するフレーム間引き手段を有し、
前記間引き手段は、
前記動画を複数の時間的な区間に分け、区間内で所定の周期ごとに選択したフレーム以外を間引いた間引きパターン候補を複数設定し、区間に跨がって基準となる前記間引きパターン候補を選択し、区間ごとに、前記複数の間引きパターンに含まれる、前記条件を満たしていないフレームの数に応じて、前記基準となる間引きパターン候補を切り替える判定を行う第一の間引き手段と、
前記基準となる間引きパターン内に含まれる前記条件を満たしていないフレームを、時間的に隣接する前記条件を満たしているフレームを用いて補間処理を行う第二の間引き手段とを有し、
前記第一と第二の間引き手段を切り替えて使用することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関する。
【背景技術】
【０００２】
高フレームレートで動画撮影を行い、動画像を構成する画像フレーム（以下フレームと呼ぶ）から、画質の低いフレームを選択的に間引くことにより、画質的に良好な動画を生成する手段を持つ撮像装置が提案されている。
【０００３】
例えば、特許文献１に記載の方法は、所望のフレームレートより高いフレームレートで撮影を行い、画質的に良好なフレームのみを選択して抽出することにより、画質的に良好な動画を生成するものである。
【０００４】
画質的に良好なフレームのみを選択して抽出した場合、抽出されるフレームの周期は不規則なものとなり、動画の再生時に画像の動きの滑らかさを失う恐れがある。そのため、特許文献１の手法では、抽出されたフレームの時間的な位置を再生装置に伝達し、再生装置側で各フレームの時間的位置に応じて、再生フレームレートを逐次更新する等を行うこととしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2008-205693号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、この手法では、再生装置側での適応的な処理方法を選択する必要がある。よって、適応的処理に対応していない再生装置では、依然として画像の動きの滑らかさを失う恐れがあった。
【０００７】
そこで、本発明の目的は、間引き後のフレームの周期性を考慮しつつ画質の低いフレームを選択的に間引くことにより、画質的に良好で、かつ動きの滑らかな固定フレームレートの動画を生成することにある。
【課題を解決するための手段】
【０００８】
動画像を撮像する手段と、前記撮像した動画像の各フレームについて、画像の品質が所定の条件を満たしているかどうかを判定する画質判定手段と、前記撮像した動画像のフレームについて、選択した複数のフレーム以外を削除するフレーム間引き手段を有し、前記間引き手段は、前記動画を複数の時間的な区間に分け、区間内で所定の周期ごとに選択したフレーム以外を間引いた間引きパターン候補を複数設定し、各区間において、前記画質判定手段に基づいて、前記間引きパターン候補から採用するパターンを選択する。
【発明の効果】
【０００９】
本発明によれば、間引き後のフレームの周期性を考慮しつつ画質の低いフレームを選択的に間引くことにより、画質的に良好で、動きの滑らかな固定フレームレートの動画を生成することが出来る。
【図面の簡単な説明】
【００１０】
【図１】デジタルカメラの構成の一例を示すブロック図である。
【図２】撮像及び間引き処理アルゴリズムの一例を示すフローチャートである。
【図３】間引き処理の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。ここでは、本発明の実施形態に係る画像合成装置として、デジタルカメラを取り上げることとするが、本発明はこれに限定されるものではない。
【００１２】
＜デジタルカメラの構成＞
図１は、本発明の実施形態に係るデジタルカメラの構成を示すブロック図である。デジタルカメラ１００は、撮像素子１０１と、ＣＰＵなどで構成されたシステム制御部１０２と、画質判定部１０３と、間引き部１０５、間引きパターン切り替え判定部１０６、補間処理部１０７を備えた間引き処理部１０４と、記録部１０８を備える。
【００１３】
撮像素子１０１は、不図示の光学レンズ等を通して入射した光を受光面に結像し、ＣＣＤ素子あるいはＣＭＯＳ素子などの光電変換手段によって電気信号に変換する。
【００１４】
システム制御部１０２は、撮像素子１０１から送られる電気信号を画像に変換する。撮像素子１０１が順次撮像した信号を、システム制御部１０２が順次画像変換することにより、動画像が生成される。
【００１５】
画質判定部１０３は、システム制御部１０２から送られる動画像の各フレームの画質を判定する。
【００１６】
間引き部１０５は、システム制御部１０２から送られる動画像を複数の時間的な区間に分け、区間内で所定の周期ごとに選択したフレーム以外を間引いた間引きパターン候補を複数設定する。そして、画質判定部１０３から送られる動画像の各フレームの画質の判定結果に応じて、前記各区間について、間引きパターン切り替え判定部１０６による処理と、補間処理部１０７による処理とのいずれかを実行するかを決定し、処理する。この処理により、間引き部１０５は、前記動画像から、選択したフレーム以外を間引く間引き処理を行う。
【００１７】
間引きパターン切り替え判定部１０６は、間引き部１０５から指示された区間について、間引きパターンの切り替え判定処理を行う。補間処理部１０７は、間引き部１０６から指示された区間について、区間内に含まれる、画質判定部１０３にて画質が低いと判定されたフレームの補間処理を行う。これら一連の間引き処理方法については、後述する。
【００１８】
記録部１０８は、間引き処理部１０４にて間引き処理が行われた後の動画像をシステム制御部から受信し、動画ファイルとしてのフォーマット変換処理を経て内部メモリあるいはＳＤカード等外部記憶装置に記録する。
【００１９】
＜間引き処理のフローチャート＞
ここでは、本発明の実施形態としての間引き処理の流れについて、本発明の実施に好適なシーンの動画像として図３を例にとって説明する。
【００２０】
図２は、本発明の実施に掛かる撮像装置における間引き処理の流れを示したフローチャートである。
【００２１】
（ステップＳ２０１）
撮像素子１０１は、記録したい動画よりも高いフレームレートで動画を撮影する。例えば、記録したい動画が３０ｆｐｓである場合、１２０ｆｐｓによる動画撮影を行う。そして、システム制御部１０２により動画像が生成される。
【００２２】
図３に示したシーンでは、合計４８フレームの動画像を撮影した。このシーンでは、動画撮影中に、撮影者本人以外の多数の人物によって、カメラのストロボが照射されたことにより、動画像の一部のフレームのみにストロボ光が映り込み、そのフレームのみの輝度が著しく高くなった。このような動画像をそのまま再生すると、フレームごとに輝度が高くなったり低くなったりを不規則に繰り返すちらつきが発生する見苦しい動画となる。図３には、撮影した動画の欄に撮影動画の各フレームの状態が示されている。灰色のフレームはストロボ光が映り込み輝度が高くなったフレームであり、白色のフレームはストロボ光が映り込んでいない、輝度が適正なフレームである。
【００２３】
（ステップＳ２０２）
間引き部１０５は、システム制御部１０２から送られる動画像を複数の時間的な区間に分ける。図３に示すシーンでは動画を１６フレームごとに３つの区間に分けている。
【００２４】
（ステップＳ２０３）
間引き部１０５は、区間内で所定の周期ごとに選択したフレーム以外を間引いた間引きパターン候補を複数設定する。
【００２５】
図３に示すシーンでは、４フレーム周期ごとに選択したフレーム以外を間引く間引き候補を、パターンＡからパターンＤまでの４パターン設定している。パターンＡは１フレーム目から４フレーム周期で選択したフレーム以外を間引いている。また、パターンＢからパターンＤは、同様に４フレーム周期で、選択を開始するフレームを１フレームずつずらし、選択するフレームが一致しないようなパターン設定をしている。この設定方法は、ｎを整数として、各パターン候補が設定するフレームを以下のように示せる。
パターンＡ：１＋４ｎ
パターンＢ：２＋４ｎ
パターンＣ：３＋４ｎ
パターンＤ：４＋４ｎ
（ステップＳ２０４）
画質判定部１０３は、動画の各フレームについて低画質フレームを判定する。ここでは、前記動画のちらつきの原因となる、ストロボ光が映り込み輝度が高くなったフレームを低画質フレームとして判定する。ストロボ光が映り込んだフレームの判定方法については、例えば、フレーム内の平均輝度と、前後のフレームの平均輝度とを比較し、所定以上の輝度差があり、かつ平均輝度が所定以上となるという条件を用いて判定する。
【００２６】
（ステップＳ２０５）
間引き部１０５は、ステップＳ２０３にて設定した４つの間引きパターン候補について、Ｓ２０４で判定した低画質フレームを含む数を計数する。
【００２７】
図３では、動画全編で低画質フレームを含む数が最も少ないパターンＡを基準間引きパターンと設定する。
【００２８】
（ステップＳ２０６）
このステップの先のステップＳ２０７からステップＳ２１２に掛けて、各区間を順次、間引き処理していくフローに入る。間引き部１０５は、はじめに、動画の時間的に最初の区間を処理対象区間に設定する。
【００２９】
（ステップＳ２０７）
間引き部１０５は、処理対象区間における現在の基準間引きパターンに含まれる低画質フレーム数Ｌｑを計数する。そして、Ｌｑ＜＝Ｔｈ１であれば、ステップＳ２０８に進む。Ｔｈ１＜Ｌｑ＜＝Ｔｈ２であれば、ステップＳ２０９に進む。ｔｈ２＜Ｌｑであれば、ステップＳ２１０に進む。Ｔｈ１、Ｔｈ２はＴｈ１＜Ｔｈ２の範囲で任意に設定してよいが、例えばＴｈ１＝２，Ｔｈ２＝３とする。
【００３０】
図３においては、処理対象である区間１の基準間引きパターンＡに含まれる低画質フレームは１となるため、ステップＳ２０８に進む。
【００３１】
（ステップＳ２０８）
間引き部１０５は、基準間引きパターンに含まれる低画質フレームが十分少ないとみなし、基準間引きパターンをそのまま採用する。このあとはステップＳ２１１に進む。
【００３２】
（ステップＳ２０９）
間引き部１０５は、低画質フレームを画像補間処理する。例えば、図３について、区間２の間引きパターンＡでは、Ｌｑ＝２となり、ステップＳ２０９に到達する。この時、１７フレーム目と、２５フレーム目が低画質フレームである。この場合には、補間処理部１０７によって補間処理を行う。
【００３３】
例えば、１７フレーム目については、１７フレーム目から時間的に隣接した１６フレーム目と１８フレーム目を加算平均合成を行って生成したフレームを、新たな１７フレーム目として置き換える処理を行う。時間的に隣接した前後フレームを使用して補間処理を行うことにより、前後の切り替えが目立たず、かつチラツキの起こらないフレームを生成することが出来る。２５フレーム目も同様に、２４フレーム目と２６フレーム目を使用して補間処理を行う。この後はステップＳ２１１に進む。
【００３４】
（ステップＳ２１０）
間引き部１０５は、基準間引きパターンを切り替える処理を行う。例えば、図３について、区間３の間引きパターンＡでは、Ｌｑ＝３となり、ステップＳ２１０に到達する。この時は、区間３内において、各間引きパターンで低画質フレームを含む数を計数し、最も数の少ない間引きパターンをこの区間の間引きパターンに採用し、さらに新たな基準間引きパターンに設定する。新たな基準間引きパターンは、現在とそれ以降の処理対象区間において有効である。図３のシーンでの区間３は、パターンＤが最も少ないため、パターンＤが採用される。この後はステップＳ２１１に進む。
【００３５】
（ステップＳ２１１）
現在の区間の処理が終わったため、間引き部１０５は、時間的に次の区間に処理対象を変更する。
【００３６】
（ステップＳ２１２）
ステップＳ２１１によって時間的に次の区間に進める際に、動画の終端に達している時は、ステップＳ２１３に進む。達していないときは、ステップＳ２０７に進み、区間処理をループする。
【００３７】
（ステップＳ２１３）
動画の全区間を処理したため、記録部１０８は、各区間で採用された間引きパターン候補によって間引かれたフレームを動画として記録する。この際、この例においては、３０ｆｐｓの固定フレームレート動画として記録する。これによって、通常撮影した動画と同じ再生方法で再生することが可能になる。
【００３８】
以上説明したとおり、動画の周期性を考慮して間引き、固定フレームレートで記録することにより、低画質フレームを低減した上で、通常撮影した動画と同じ様に再生可能な、動きの滑らかな動画の生成が可能となる。本実施例では、その一例として、動画を複数の時間的な区間に分け、区間ごとに、基準間引きパターンを切り替える第一の間引き手段と、基準間引きパターンの低画質フレームに補間処理を行う第二の間引き手段とを、低画質フレームの数に応じて切り替える手法を説明した。この手法あくまで一例であり、前記第一または第二の手段のいずれかのみを用いてもよい。
【００３９】
第一の手段は、画像補間処理が不要な分、処理が簡便であるため、処理時間を短縮しつつ、フレームレートの一定性を保つことができる。一方、第二の手段は、画像補間処理が必要な反面、補間処理によって低画質フレーム数を削減することが出来る。また、第一、第二の手段いずれも、基準間引きパターンの切り替えや、補間フレームでは、部分的に動画の滑らかさが損なわれる恐れがある。そのため、動画の滑らかさ、ちらつきの少なさ、および処理時間などのバランスに応じて、任意に第一および第二の手段の実施可否を調節することが望ましい。
【００４０】
なお、上記の説明における使用用途や手法、各種処理に用いる数値等は、本発明の実施例の一例を示したものであり、この発明の趣旨を変えない範囲で変更が可能である。
【００４１】
例えば、ストロボ光が映り込んだフレームを、低画質フレームとみなして、これを除去するものを例にとって説明したが、この発明の実施例はこれに限定されない。例えば、とある被写体を固定周期で撮影した静止画を連結させて動画を作成する所謂タイムラプス映像において、被写体以外の障害物が映り込んでいるフレームを低画質フレームとみなしてこれを除去する事にも適用可能である。より具体的に例を挙げると、観光地などでランドマークに向けて定点にて３０秒ごとに撮影した静止画を連結させて作成した動画について考える。
【００４２】
ランドマークとカメラの間を通過した観光客が映り込んだフレームが所々に含まれている場合、画像の変化が大きく、ちらついて見えたり、雑然とした印象を与える動画となってしまう。そこで、観光客が映り込んだフレームを低画質フレームと判定し、上記説明した手法により選択的に間引くことで、ちらつきの少ない、動きの滑らかな動画を生成することができる。低画質フレームの判定方法は、例えば被写体が居ると思われる画像の中心付近にエリアを設定し、エリア内の輝度値と、近隣のフレームの同エリアの平均輝度値とを比較し、所定以上差があるフレームを低画質フレームと判定する手法を使用する。
【符号の説明】
【００４３】
１００  デジタルカメラ
１０１  撮像素子
１０２  システム制御部
１０３  画質判定部
【図１】
2019110368.tif 000003
【図２】
2019110368.tif 000004
【図３】
2019110368.tif 000005