(57)【要約】【課題】  撮像装置でのフレームレート変換方法に対応して、再生装置側で適切な再生処理が可能な映像制御システムを提供する。【解決手段】  撮像装置で施されたフレームレート変換方法に係わる変換情報を映像データに付加して再生装置側に受け渡し、変換情報に応じて、再生装置側で最適な画像処理方法を選択する。【選択図】  図１
2008205693.tif 000002
【特許請求の範囲】
【請求項１】
撮像した映像の映像信号のフレームレートを、所定の変換方法で変換するフレームレート変換部と、
フレームレート変換された映像信号に、前記変換方法に対応する変換情報を付加する記録制御部とを有することを特徴とする撮像装置。
【請求項２】
前記所定の変換方法は、所定周期でフレームを間引く間引き処理と、複数フレームの映像信号を平均化する平均化処理と、画質評価にもとづいてフレームを選択するフレーム選択処理と、フレーム間に新たなフレームを補間したのち、複数フレームの映像信号を平均化する補間処理の何れかの方法である請求項１記載の撮影装置。
【請求項３】
フレームレート変換方法に係わる変換情報が付加されている映像信号を入力する入力部と、
前記映像信号と前記変換情報とを分離する映像・情報分離部と、
前記映像信号を再生する再生部と、
再生された映像信号を高画質化する高画質化処理部と、
高画質化処理方法を選択する高画質化処理制御部とを有する映像再生装置であって、
前記変換情報にもとづいて、前記高画質化処理制御部に処理情報を出力する変換方法判断部とを有することを特徴とする映像再生装置。
【請求項４】
フレームレート変換方法に係わる変換情報が付加されている映像信号を入力する入力部と、
前記映像信号と前記変換情報とを分離する映像・情報分離部と、
前記映像信号を再生する再生部と、
再生された映像信号のフレームレートを再生フレームレートに変換する再生フレームレート変換部と、
フレームレート変換方法を選択する再生フレームレート変換制御部とを有する映像再生装置であって、
前記変換情報にもとづいて、前記再生フレームレート変換制御部に処理情報を出力する変換方法判断部とを有することを特徴とする映像再生装置。
【請求項５】
撮像した映像の映像信号のフレームレートを、所定の変換方法で変換するステップと、
フレームレート変換された映像信号に、前記変換方法に対応する変換情報を付加するステップとを有することを特徴とする撮像装置の制御方法。
【請求項６】
フレームレート変換方法に係わる変換情報が付加されている映像信号を入力するステップと、
前記映像信号と前記変換情報とを分離するステップと、
前記映像信号を再生するステップと、
再生された映像信号を所定の処理方法で高画質化するステップと、
前記変換情報にもとづいて前記処理方法を選択するステップとからなることを特徴とする映像再生装置の制御方法。
【請求項７】
フレームレート変換方法に係わる変換情報が付加されている映像信号を入力するステップと、
前記映像信号と前記変換情報とを分離するステップと、
前記映像信号を再生するステップと、
再生された映像信号のフレームレートを、所定の変換方法で再生フレームレートに変換するステップと、
前記変換情報にもとづいて前記変換方法を選択するステップとからなることを特徴とする映像再生装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び映像再生装置からなる映像制御システムに関し、詳しくは、撮影映像の映像信号のフレームレート変換方法にもとづいて、高画質化処理方法または再生フレームレート変換方法を選択する映像制御システムに関する。
【背景技術】
【０００２】
近年は、撮像素子の撮像スピードの向上が目覚しく、例えば横１９２０、縦１４４０画素の画像を一秒間に１８０枚（フレーム）撮像する事が可能な撮像素子が発表されている。（非特許文献１）
しかしながら現時点での放送規格では、ハイビジョン規格であっても、１秒間に６０フレーム、１フレームあたり横１９２０、縦１０８０画素となっている。従って、このような高速な撮像素子を使用して撮影を行ったとしても、規格に沿った再生を行うためには、フレームレート変換処理を行う必要がある。
【０００３】
高フレームレート撮像及び再生に係わる従来技術としては以下のものがある。高フレームレート撮像時に、映像は記録フォーマットに合わせた標準フレームレートで記録し、元フレームレート情報は別領域に記録する。再生時には、その情報に応じてフレームレート変換を行い、モーション再生を行うものである（特許文献１）。
【０００４】
高フレームレート撮像時に、標準フレームレートでの再生に必要となるフレームにフラグを付加し、そのフラグに対応した再生を行うものである（特許文献２）。
【０００５】
これらの技術は、撮影した動画像を適切に再生する為に、元フレームレートに関する情報等が必要となるため、これらの情報を付加的に記録するというものである。
【０００６】
さらに、処理情報を付加する手段に関する技術として、圧縮画像の解像度をさらに減じて再圧縮する際に、失われてしまう高周波領域補完パターンを示すパラメータを付加的に記録して、再圧縮された画像を伸張する際の高画質化に利用するものがある（特許文献３）。
【特許文献１】特開２００２−３２０２０３号公報
【特許文献２】特開２００６−０２５０８０号公報
【特許文献３】特開２００５−２５２８７０号公報
【非特許文献１】日経エレクトロニクス２００６／２／２７号  ５５ページ〜６４ページ
【発明の開示】
【発明が解決しようとする課題】
【０００７】
フレームレート変換により所望のフレームレートを得る方法としては、以下のものがある。複数フレームの平均により一つのフレームを作る方法や、複数フレーム間で補完しながら合成を行い一つのフレームを作る方法、ブレの少ないフレームを選択して所望のフレームレートを得る方法などである。
【０００８】
再生装置は、フレームレート変換された撮像動画像データに対し、独自の高画質化処理を行い、表示器に再生画像を表示させる。この時、表示器が独自のフレームレートを使用する場合には再度表示器側でフレームレート変換を行うことになる。
【０００９】
しかしながら、従来は、撮像装置でどのようなフレームレート変換処理が画像データに施されたかを、再生装置は認知できなかった。そのため、再生装置が、かえって高画質化を妨げる処理あるいは効果の少ない処理を、一連の高画質化処理の中でわざわざ行ってしまう可能性があった。また、再生装置側で、適切なタイミングの再生を行うことが出来なくなる可能性もあった。
【００１０】
本発明は、撮像装置で行ったフレームレート変換処理の変換情報を再生装置に伝達することによって、再生装置で高画質化処理あるいはフレームレート変換処理が効果的に行われることを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決するために、本発明の撮像装置は、
撮像した映像の映像信号のフレームレートを、所定の変換方法で変換するフレームレート変換部と、
フレームレート変換された映像信号に、前記変換方法に対応する変換情報を付加する記録制御部とを有することを特徴とする。
【００１２】
また、本発明の映像再生装置は、フレームレート変換方法に係わる変換情報が付加されている映像信号を入力する入力部と、
前記映像信号と前記変換情報とを分離する映像・情報分離部と、
前記映像信号を再生する再生部と、
再生された映像信号を高画質化する高画質化処理部と、
高画質化処理方法を選択する高画質化処理制御部とを有する映像再生装置であって、
前記変換情報にもとづいて、前記高画質化処理制御部に処理情報を出力する変換方法判断部とを有することを特徴とする。
【００１３】
さらに、本発明の映像再生装置は、フレームレート変換方法に係わる変換情報が付加されている映像信号を入力する入力部と、
前記映像信号と前記変換情報とを分離する映像・情報分離部と、
前記映像信号を再生する再生部と、
再生された映像信号のフレームレートを再生フレームレートに変換する再生フレームレート変換部と、
フレームレート変換方法を選択する再生フレームレート変換制御部とを有する映像再生装置であって、
前記変換情報にもとづいて、前記再生フレーム変換制御部に処理情報を出力する変換方法判断部とを有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、撮像装置で撮影された動画像を再生装置で再生する際、適切な高画質化処理及びフレームレート変換処理が行われるので、より高画質で動きの滑らかな再生動画像を視聴できる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を、図面を用いて説明する。尚、同じ符番のブロックは同じ動作を行う。
【実施例１】
【００１６】
図１は本実施例の撮像装置の構成を示すブロック図である。間引き部記録制御部入力部変換方法判断部レンズを通して撮影された撮像対象の映像は撮像素子１に送られ、撮像素子は映像を第１のフレームレートの映像データに変換する。本実施例ではこの第１のフレームレートを２４０ＦＰＳ（Ｆｒａｍｅ  Ｐｅｒ  Ｓｅｃｏｎｄ）とする。映像データは、フレームレート変換制御部２及びフレームレート変換部３により、第２のフレームレート（本実施例では６０ＦＰＳ）にフレームレート変換される。本実施例の撮像装置は、複数の所定のフレームレート変換方法に対応している。図３はフレームレート変換方法の例を説明した図である。図３（ａ）は間引き部３１にて行われる所定周期でフレームを単純に間引くフレームレート変換処理（間引き処理）について説明した模式図である。間引き部３１では周期的に使用するフレームを選んで結果として所望のフレームレートを得る。本実施例では２４０ＦＰＳを６０ＦＰＳに変換するために、使用するフレームは４フレームごとに単純に選ばれる。図３（ｂ）は平均化部３２にて行われるフレームレート変換処理（平均化処理）について説明した模式図であり、平均化部３２では複数フレームを平均化して一つのフレームを生成し、結果として所望のフレームレートを得る。本実施例では４フレームの平均により１フレームが得られる。
【００１７】
以上のような変換方法の選択は、フレームレート変換制御部２により行われる。また、変換方法の選択は、撮影条件等に応じて自動的に行われても良いし、ユーザー設定により明示的に行われても良い。フレームレート変換された映像データは後段の符号化部４により符号化される。一方フレームレート変換に用いたフレームレート変換方法に係わる情報である変換情報は、記録制御部５の制御のもと符号化された映像データに付加され、記録データとなる。
【００１８】
図２は、再生装置のブロック図である。
【００１９】
映像再生装置はこの記録データを、入力部６を介して受け取る。受け取った記録データは、映像・情報分離部７において映像データとフレームレート変換方法情報に分離される。分離された映像データは、再生部に相当する復号部９に送られ、復号された後高画質化処理部１０に渡される。一方フレームレート変換方法情報は変換方法判断部８に渡され、どのようなフレームレート変換を行ったかの判断し、処理情報を出力する。高画質化処理制御部１１はこの処理情報に基づき、高画質化処理部１０に含まれる、ノイズ除去部１０１及びエッジ強調部１０２の処理を切り替える。
【００２０】
図４（ａ）は本実施例の撮像装置の動作を示すフローチャートである。まず、フレームレート変換制御部２にて、フレームレート変換方法を、設定に応じて選択する（Ｓａ１）。これは先に述べたようにユーザーが明示的に指示した内容を選択するようにしても良いし、撮影条件によって自動的に決定されても良い。次に、フレームレート変換部３にてフレームレート変換され、符号化部４にて符号化された映像データに対し、フレームレート変換制御部２で選択されたフレームレート変換方法が記録制御部５により付加され、記録データとなる。（Ｓａ２）。
【００２１】
図４（ｂ）は本実施例の再生装置側の処理を表すフローチャートである。入力部６を介して受け取られた記録データは、映像・情報分離部７により映像データとフレームレート変換方法に係わる変換情報に分離される。映像データは復号部９を経て高画質化処理部１０に、変換情報は変換方法判断部８にそれぞれ渡される。フレームレート変換方法情報に基づき、変換方法判断部８に於いて、どのような方式でフレームレート変換されたかを判断する（Ｓｂ１）。その判断結果に応じて高画質化処理制御部１１は高画質化処理部１０における高画質化処理を変更・調整する（Ｓｂ２）。フレームレート変換が単純な間引き処理であるならば、高画質化処理は通常通り行い（Ｓｂ３）、フレームレート変換が平均化処理ならば、ノイズ除去作業は弱めに、エッジ強調作業を強めに行うといった制御が行われる（Ｓｂ４）。これは複数フレームを平均化した場合、平均化によりノイズ成分も減少するが、輪郭などがぼやける可能性があることを考慮しての制御である。ここでは考慮すべき高画質化処理のパラメータはノイズ除去とエッジ強調であったが、フレームレートの変換方式が変われば、再生装置での高画質化処理で考慮するパラメータも変わる。
【００２２】
フレームレート変換部の処理は、間引き処理や平均化処理に限ったものではない。フレーム間に新たなフレームを補間したのち、複数フレームの映像信号を平均化して１つのフレームを生成する方法（補間処理）でもよい。補間されるフレームの映像信号は、補間フレームの前後の何れかの元のフレームと同じ映像信号であってもよい。また、補間フレームの前後の元フレームの平均値であってもよい。フレームを補間する処理と、複数フレームを平均化する処理とは、フレームレート変換部の画像プロセッサ内では並列的に実行されてもよい。フレーム補間処理の場合、再生装置の高画質化処理部１０に於いては、フレームの補間処理を行わない画像処理を選択することも出来る。
【００２３】
フレームレート変換情報の、撮像装置から再生装置への伝達方法としては以下のものがある。撮像装置側で、映像データを、一度記憶媒体に記録し、その映像データを再生装置に渡す方式と、映像データを直接、モニターＩ／Ｆを介して再生装置側に渡す方式である。
【００２４】
記憶媒体を用いる場合は、フレームレート変換方法情報を別ファイルで記録することも出来るし、映像データに重畳することも出来る。記憶媒体としては、ＤＶＤやハードディスク、ＳＤカード等を用いることができる。
【００２５】
映像データを直接再生装置に送る場合には、映像データにフレームレート変換方法情報を重畳する方法や、撮像装置と再生装置が接続された際のハンドシェイクのシーケンスの中でフレームレート変換方法情報を送るといった方法がある。
【実施例２】
【００２６】
実施例１は、どのようにフレームレート変換したかという変換情報を、高画質化処理に利用する映像システムであった。実施例２では、変換情報を再生タイミングの調整に利用する映像システムである。もちろん、これらの映像システムを組み合わせたシステムであってもよい。
【００２７】
図５は本実施例における撮像装置の構成を示すブロック図である。フレームレート変換部１２は、単純間引き処理を行う間引き部１２１と、フレーム選択処理を行う最適フレーム選択部１２２とからなる。フレーム選択処理は、画像のブレやピントのズレが少ない等の画質的に良好なフレームを選択する処理である。具体的には、１フレームの画像データの輝度のヒストグラムに対して標準偏差を求める。標準偏差が大きい程、中間輝度の成分が少ないので画像の鮮明度が高い。従って、標準偏差が所定値以上のフレームを選択することによって、画質的に良好なフレームを選択することができる。
【００２８】
図７はフレームレート変換方法の例を説明した図である。図７（ａ）は、単純間引き処理について説明した模式図である。間引き部１２１では元フレームレートと変換後のフレームレートの比率に合わせて周期的に、使用するフレームを選択し、結果所望のフレームレートを得る。図７（ｂ）は、フレーム選択処理について説明した模式図である。最適フレームは、画質評価にもとづいた画質の優劣の判断で選択されるので、選択フレーム間の時間間隔は一定ではない。その結果、再生時に画像の動きの滑らかさが失われる場合がある。本発明では、選択フレームが、元フレームレートの時間軸上のどの位置に対応するのかという情報を再生装置側に伝達することにより、上記問題点を解消する。
【００２９】
図８において、白四角で表されたフレームが最適フレームとして選択された選択フレームを示し、黒四角で表されたフレームは非選択フレームを示している。各フレームの下には、選択／非選択フレームを０／１のビット列データとした例を示している。また、さらにその下には、所望のフレームレートとなるように周期的に選択した場合のフレームに対する、実際に選択されたフレームのズレフレーム数を示す数列を示している。
【００３０】
再生装置では、選択フレームの位置情報にもとづいて、再生フレームレートに一致するように再度フレームレート変換が行われる。即ち、選択フレームの位置情報にもとづいて、選択フレーム間に補間されるフレーム数や、間引きされるフレームを制御して、滑らかな動画像となるように再生フレームを生成する。
【００３１】
次に、撮像装置及び再生装置の動作についてさらに説明する。レンズを通して撮像素子１に送られた映像は、撮像素子１により第１のフレームレートの映像データに変換される。この映像データは、図７に示すような方法を用いて、フレームレート変換部１２においてフレームレート変換制御部２の制御下で第２のフレームレートにフレームレート変換される。変換方法の選択はフレームレート変換制御部２において行われるが、撮影条件等に応じて自動的に行われても良いし、ユーザー設定により明示的に行われても良い。この映像データに対し、選択されたフレームレート変換方式に応じて、図８に示したようなフレームレート変換方法情報が記録制御部５により付加され、記録データとなる。
【００３２】
再生装置の入力部６を介して受け取られた記録データは映像・情報分離部７に送られ、映像データとフレームレート変換方法に係わる変換情報に分離される。この変換情報に基づき、フレームレート変換方法判断部８は、どのような方法でフレームレート変換されたかを判断し、判断結果に応じた処理情報を出力する。処理情報にもとづいて、再生フレームレート変換制御部１４は、フレームレート変換方法を選択する。具体的には、撮像装置でのフレームレート変換が単純間引き処理で、撮像装置から出力された映像データのフレームレート（第２のフレームレート）と再生装置の再生フレームレートが同一のときは、再生フレームレート変換処理は行わない。撮像装置から出力された映像データのフレームレートと再生装置の再生フレームレートが同一で無いときは、再生フレームレート変換処理は撮像装置から出力された映像データのフレームレートと、再生フレームレートの比率に基づいて変換処理を行う。一方、もしフレームレート変換が時間軸を考慮せずに行われたならば、最適フレームが、撮像素子が撮像したフレームレート（第１のフレームレート）の時間軸上のどの位置にあたるのかを考慮して再生を行う。
【００３３】
再生フレームレート変換部１３は、選択された変換方法で、再生された映像信号のフレームレート変換を実行する。
【００３４】
図９（ａ）は撮像装置の動作を示すフローチャートである。まず、フレームレート変換制御部２にて、フレームレート変換方法を、設定に応じて選択する（Ｓａ３）。次に、フレームレート変換部１２にてフレームレート変換され、符号化部４にて符号化された映像データに対し、フレームレート変換制御部２で選択されたフレームレート変換方法が記録制御部５により付加され、記録データとなる。（Ｓａ４）。
【００３５】
図９（ｂ）は再生装置の動作を示すフローチャートである。入力部６を介して受け取られた記録データは、映像・情報分離部７により映像データとフレームレート変換方法情報に分離される。映像データは復号部９を経て再生フレームレート変換部１３に、フレームレート変換方法情報は変換方法判断部８にそれぞれ渡される。フレームレート変換方法情報に基づき、変換方法判断部８に於いて、どのような方式でフレームレート変換されたかを判断する（Ｓｂ５）。その判断結果に応じて、再生フレームレート変換制御部１４は、再生フレームレート変換部１３における再生フレームレート変換処理方法を選択する（Ｓｂ６）。
【図面の簡単な説明】
【００３６】
【図１】実施例１の撮像装置のブロック図
【図２】実施例１の再生装置のブロック図
【図３】実施例１のフレームレート変換方式の模式図
【図４】実施例１のフローチャート
【図５】実施例２の撮像装置のブロック図
【図６】実施例２の再生装置のブロック図
【図７】実施例２のフレームレート変換方式の模式図
【図８】実施例２の選択フレーム位置表現方法の模式図
【図９】実施例２のフローチャート
【符号の説明】
【００３７】
１  撮像素子
２  フレームレート変換制御部
３  フレームレート変換部（実施例１）
３１  単純間引きに部
３２  平均化部
４  符号化部
５  記録制御部
６  入力部
７  映像・情報分離部
８  変換方法判断部
９  復号部
１０  高画質化処理部
１０１  ノイズ除去部
１０２  エッジ強調部
１１  高画質化処理制御部
１２  フレームレート変換部（実施例２）
１２１  間引き部
１２２  最適フレーム選択部
１３  再生フレームレート変換部
１４  再生フレームレート変換制御部
【図１】
2008205693.tif 000003
【図２】
2008205693.tif 000004
【図３】
2008205693.tif 000005
【図４】
2008205693.tif 000006
【図５】
2008205693.tif 000007
【図６】
2008205693.tif 000008
【図７】
2008205693.tif 000009
【図８】
2008205693.tif 000010
【図９】
2008205693.tif 000011