(57)【要約】  入力画像の時刻と出力画像の時刻から、出力画像に対する入力画像のフレームレートの高低を判定し、この判定結果に応じて出力する画像を選択して出力フレーム数を制御する符号化対象画像判定部４を備える。
2008129648.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の時刻と出力画像の時刻から前記出力画像に対する前記入力画像のフレームレートの高低を判定し、この判定結果に応じて前記出力画像として出力する画像を選択して出力フレーム数を制御する判定部を備えたフレームレート変換装置。
【請求項２】
過去に入力された画像を過去画像として記憶する画像記憶部を備え、
判定部は、出力画像に対する入力画像のフレームレートの高低の判定結果に応じて、前記入力画像又は前記過去画像を出力画像として選択して出力フレーム数を制御することを特徴とする請求項１記載のフレームレート変換装置。
【請求項３】
判定部は、出力画像にその時刻情報を追加して出力することを特徴とする請求項１記載のフレームレート変換装置。
【請求項４】
入力画像の時刻と出力画像の時刻から前記出力画像に対する前記入力画像のフレームレートの高低を判定し、この判定結果に応じて前記出力画像として出力する画像を選択して出力フレーム数を制御するフレームレート変換方法。
【請求項５】
入力画像の時刻と出力画像の時刻から前記出力画像に対する前記入力画像のフレームレートの高低を判定し、この判定結果に応じて前記出力画像として出力する画像を選択して出力フレーム数を制御する判定部を有するフレームレート変換装置と、
前記フレームレート変換装置の出力画像を符号化する符号化部とを備えた動画像符号化装置。
【請求項６】
フレームレート変換装置は、
過去に入力された画像を過去画像として記憶する画像記憶部を備え、
判定部は、出力画像に対する入力画像のフレームレートの高低の判定結果に応じて、前記入力画像又は前記過去画像を出力画像として選択して出力フレーム数を制御することを特徴とする請求項５記載の動画像符号化装置。
【請求項７】
判定部は、出力画像にその時刻情報を追加して出力し、
符号化部は、前記出力画像の時刻情報を用いて、再生画像に時刻表示が付加された前記出力画像の符号化データを生成することを特徴とする請求項５記載の動画像符号化装置。
【請求項８】
判定部は、出力画像にその時刻情報を追加して出力し、
符号化部は、前記出力画像の時刻情報を用いて、前記出力画像上の時刻に応じて再生位置を指定する情報が付加された前記出力画像の符号化データを生成することを特徴とする請求項５記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像のフレームレートを変換するフレームレート変換装置、フレームレート変換方法及びこのフレームレート変換装置を用いた動画像符号化装置に関するものである。
【背景技術】
【０００２】
一般に、動画像は複数のフレーム画像を連続して表示することで表現される。一秒間あたりの表示枚数はフレームレートと呼ばれ、ｆｐｓ（Frame Per Second）で表される。このフレームレートは、規格毎に定められている。例えば、アナログのＮＴＳＣ（National Television Standards Committee）方式のカラーテレビジョンでは、２９．９７ｆｐｓである。【０００３】
このフレームレートが高いほど、滑らかな動画像が表現できる一方、記録装置や再生装置、表示装置等に高い性能が求められ、さらに記録装置の容量も大きくなる。また、近年では、コンピュータを用いて動画像を符号化する技術が用いられるようになっている。これらのビットストリーム中においても、フレームレートを示す符号が含まれていることが多い。【０００４】
動画像の符号化方式には様々なものがあり、代表的なものにＭＰＥＧ−２（Moving Picture Expert Group）方式がある。このＭＰＥＧ−２方式は、ＤＶＤ（Digital Veritable Disk）−ＶＩＤＥＯの動画像符号化方式として採用されている。【０００５】
なお、異なる動画像符号化方式の間では、一般的に互換性がない。このため、異なる動画像符号化方式に対応するには、各方式の復号装置を用意するか、符号化方式を変換する装置を用意する必要がある。前者の場合、例えば市販されているＤＶＤプレーヤは、ＭＰＥＧ−２方式しか再生できない。つまり、もともと異なる復号装置に対応するのは困難な場合がある。【０００６】
後者の場合、変換に要する時間及び変換後の画質が問題となる。また、前述のＤＶＤ−ＶＩＤＥＯはテレビの再生能力に合わせるため、フレームレートが２９．９７ｆｐｓと定められている。従って、フレームレートの異なる動画像の符号化方式を変換する場合、フレームレートを変換する必要がある。このようなフレームレートによる制限は、アナログの装置においても同様である。【０００７】
上述の観点から、異なる動画像符号化方式に対応するため、動画像のフレームレートを変換する装置が望まれている。従来のフレームレート変換装置としては、例えば特許文献１に開示されるものがある。特許文献１によるフレームレート変換装置では、予め設定された特定のフレームレートの映像信号（２４フレーム／秒の２４Ｐ映像信号）を入力し、予め設定された特定のフレームレートの映像信号（５０フィールド／秒の５０I映像信号）に変換して出力する。【０００８】
また、特許文献２では、出現時刻の異なるフレームを用いて動画像の動きを推測して、低フレームレートの動画像信号を高フレームレートの動画像に変換する技術が開示されている。例えば、６０フレーム／秒の動画像が１２０フレーム／秒の動画像に変換される。このようにフレームレートを２倍に変換する場合の他、１．５倍や３倍等の異なる倍率に変換することができる。【０００９】
【特許文献１】特開２００６−１９６９５４号公報
【特許文献２】特開２００６−１６５６０２号公報
【００１０】
従来のフレームレート変換装置は、特定のフレームレート間でしか変換できないものであったり、また低フレームレートから高フレームレートへの変換で、かつある程度近いフレームレートでの変換にのみ対応するものであった。【００１１】
近年、動画像符号化方式が多方面に利用されており、フレームレートが変化する場合（可変フレームレート）や、例えば入力された動画像がスチールイメージのように表示される非常に低いフレームレートとなる場合もある。【００１２】
このような場合、従来のフレームレート変換装置は、上述したように入出力画像のフレームレートに制約があり、かつ限定的な変換のみに対応しているため、フレームレート変換を適切に行うことができないという課題があった。【００１３】
この発明は、上記のような課題を解決するためになされたもので、入出力画像のフレームレートに依らず、様々な画像のフレームレート変換が可能なフレームレート変換装置、フレームレート変換方法及びこのフレームレート変換装置を用いた動画像符号化装置を得ることを目的とする。
【発明の開示】
【００１４】
この発明に係るフレームレート変換装置は、入力画像の時刻と出力画像の時刻から出力画像に対する入力画像のフレームレートの高低を判定し、この判定結果に応じて出力画像として出力する画像を選択して出力フレーム数を制御する判定部を備えるものである。このことによって、入出力画像のフレームレートに依らず、様々な画像のフレームレートを変換することができるという効果がある。
【図面の簡単な説明】
【００１５】
【図１】この発明の実施の形態１による動画像符号化装置の構成を示す図である。
【図２】符号化対象画像データを選択する処理の流れを示すフローチャートである。
【図３】出力画像時刻と判定閾値との関係を示す図である。
【図４】符号化対象画像データを選択する他の処理例の流れを示すフローチャートである。
【図５】この発明の実施の形態２によるフレームレート変換装置の符号化対象画像データ選択処理の流れを示すフローチャートである。
【図６】実施の形態２における符号化対象画像データ選択の他の処理例の流れを示すフローチャートである。
【図７】この発明の実施の形態３による動画像符号化装置の構成を示す図である。
【図８】時刻情報を表示した画像例を示す図である。
【図９】この発明の実施の形態４による動画像符号化装置の構成を示す図である。
【発明を実施するための最良の形態】
【００１６】
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１による動画像符号化装置の構成を示す図である。図１に示すように、実施の形態１による動画像符号化装置１は、フレームレート変換装置２及び画像符号化部３を備える。フレームレート変換装置２は、符号化対象画像判定部４及び画像記憶部５を備える。また、フレームレート変換装置２には、監視カメラ等の不図示の撮像手段により撮像された現在画像データｂとこの現在画像データｂにおける動画像上の時刻情報（以下、現在時刻情報ａと称す）とが入力される。【００１７】
符号化対象画像判定部４は、現在画像データｂの現在時刻情報ａと符号化された画像の枚数とに基づいて入力フレームレートと出力フレームレートの高低を判定し、この判定結果に応じて画像符号化部３に出力すべき符号化対象画像データｃを決定する。画像記憶部５は、入力された符号化対象となる画像データを過去画像データｄとして記憶する。この過去画像データｄは、符号化対象画像判定部４により現在画像データｂで更新される。【００１８】
画像符号化部３は、符号化対象画像データｃを符号化し、符号化画像データｅとして出力する。以降では、説明の簡単のため、画像符号化部３による符号化の動画像符号化方式は、符号化データ内のフレーム画像の並び順序と実際に表示するフレーム画像の順序とが同一の符号化方式であるものとする。【００１９】
なお、動画像の符号化方式には、時間方向の圧縮を利用して符号化データ内のフレーム画像の並び順序と実際に表示するフレーム画像の順序とが異なる場合もある。この場合においても、後述する本発明のフレームレート変換を行うことは可能である。【００２０】
また、以降の説明において、入力画像のフレームレートは可変、出力画像のフレームレートは固定であるものとする。但し、これに関しても、説明の簡単のためであり、本発明は、入力画像及び出力画像の時刻情報を利用するため、入力画像及び出力画像のフレームレートが固定であるか、可変であるかは問わない。【００２１】
上述した、符号化対象画像判定部４及び画像記憶部５は、本発明の趣旨に従うフレームレート変換用プログラムをコンピュータに読み込ませてその動作を制御することにより、当該コンピュータ上でソフトウエアとハードウェアが協働した具体的な手段としてフレームレート変換装置２を実現することができる。【００２２】
また、フレームレート変換装置２及び画像符号化部３についても、本発明の趣旨に従うフレームレート変換用プログラム及び動画像符号化用プログラムをコンピュータに読み込ませてその動作を制御することにより、当該コンピュータ上でソフトウエアとハードウェアが協働した具体的な手段として動画像符号化装置１を実現することができる。【００２３】
なお、コンピュータ自体の構成及びその基本的な機能については、本発明の技術分野における技術常識に基づいて当業者が容易に認識できるものであり、本発明の本質に直接関わるものでないので詳細な記載を省略する。【００２４】
次に動作について説明する。
先ず、フレームレート変換装置２の符号化対象画像判定部４は、現在画像データｂ及びこの現在画像データｂの現在時刻情報ａを入力する。以下、説明の便宜上、現在時刻情報ａをＴｉｍｅin（ｉ）で表すこととする。なお、Ｔｉｍｅin（ｉ）のパラメータｉは、現在画像データｂとして入力されたフレーム画像の枚数（以下、入力画像数と称す）である。また、画像符号化部３から出力される符号化後のフレーム画像の枚数（以下、出力画像数と称す）をｊとする。パラメータｉ，ｊは、いずれも初期値として０が設定される。【００２５】
初期状態（ｉ＝ｊ＝０）において、符号化対象画像判定部４は、無条件に現在画像データｂを符号化対象画像データｃとして画像符号化部３に出力する。符号化対象画像判定部４は、符号化対象画像データｃを画像符号化部３に出力した時点でパラメータｊをインクリメントする。このときの現在時刻情報Ｔｉｍｅin（０）を、下記式（１）に示すように入力基準時刻Ｔｉｍｅbase_inとする。また、初期状態における出力基準時刻Ｔｉｍｅbase_outには０を設定する。
Ｔｉｍｅbase_in＝Ｔｉｍｅin（０）  ・・・（１）【００２６】
符号化対象画像判定部４は、パラメータｊをインクリメントし、現在画像データｂ及び現在時刻情報ａを入力すると、ｉ＞０，ｊ＞０となり、２枚目のフレーム画像以降の符号化対象画像データを選択する処理に移行する。図２は、２枚目以降の符号化対象画像データを選択する処理の流れを示すフローチャートであり、この図に沿って説明する。【００２７】
先ず、符号化対象画像判定部４は、現在画像データｂ及びこの現在画像データｂの現在時刻情報ａを入力すると（ステップＳＴ１）、下記式（２）に従い、入力した現在時刻情報Ｔｉｍｅin（ｉ）と入力基準時刻Ｔｉｍｅbase_inの差をとり、差分値Ｔｉｍｅabs_in（ｉ）を算出する（ステップＳＴ２）。このＴｉｍｅabs_in（ｉ）は、入力基準時刻Ｔｉｍｅbase_inを基準とした入力画像（現在画像データｂ）上の絶対的な時刻を示す値である。
Ｔｉｍｅabs_in（ｉ）
＝Ｔｉｍｅin（ｉ）−Ｔｉｍｅbase_in  ・・・（２）【００２８】
次に、符号化対象画像判定部４は、画像符号化部３から出力される符号化画像データｅのフレームレートＲａｔｅout、出力画像数ｊと出力基準時刻Ｔｉｍｅbase_outを下記式（３）に代入し、出力画像の表示時刻（以下、出力画像時刻と称す）Ｔｉｍｅout（ｊ）を求める（ステップＳＴ３）。なお、出力画像時刻Ｔｉｍｅout（ｊ）は、出力基準時刻Ｔｉｍｅbase_outを基準とした出力画像上の絶対的な時刻を表す値である。
Ｔｉｍｅout（ｊ）
＝ｊ／Ｒａｔｅout−Ｔｉｍｅbase_out  ・・・（３）【００２９】
符号化対象画像判定部４は、出力画像時刻Ｔｉｍｅout（ｊ）を用いて、下記式（４）、（５）、（６）から入力画像と出力画像のフレームレートの高低判定に用いる３つの閾値を算出する（ステップＳＴ４）。但し、Ｖａｌhigh，Ｖａｌlow，Ｖａｌvlowは、出力画像のフレームレートＲａｔｅoutが、高いフレームレート、低いフレームレート、非常に低いフレームレートである場合の出力画像時刻Ｔｉｍｅout（ｊ）を規定する所定値である。なお、Ｖａｌhigh，Ｖａｌlow，Ｖａｌvlowは、予め定めた固定値であってもよく、ユーザから指定された値を用いてもよい。
Ｔｉｍｅhigh（ｊ）
＝Ｔｉｍｅout（ｊ）−Ｖａｌhigh  ・・・（４）
Ｔｉｍｅlow（ｊ）
＝Ｔｉｍｅout（ｊ）＋Ｖａｌlow  ・・・（５）
Ｔｉｍｅvlow（ｊ）
＝Ｔｉｍｅout（ｊ）＋Ｖａｌvlow  ・・・（６）【００３０】
符号化対象画像判定部４は、上記式（４）〜（６）による３つの閾値Ｔｉｍｅhigh（ｊ），Ｔｉｍｅlow（ｊ），Ｔｉｍｅvlow（ｊ）と上述のＴｉｍｅabs_in（ｉ）を用い、Ｔｉｍｅabs_in（ｉ）が図３中の（１）〜（４）のうちのいずれの時刻に属するかによって、出力画像に対する入力画像のフレームレートの高低を判定する。【００３１】
先ず、符号化対象画像判定部４は、Ｔｉｍｅabs_in（ｉ）がＴｉｍｅhigh（ｊ）未満であるか否かを判定する（ステップＳＴ５）。このとき、Ｔｉｍｅabs_in（ｉ）がＴｉｍｅhigh（ｊ）未満であると、符号化対象画像判定部４は、このＴｉｍｅabs_in（ｉ）を与える入力画像のフレームレートが出力画像に比べて高いと判定して、ステップＳＴ１１の処理に移行する。なお、Ｔｉｍｅabs_in（ｉ）が、Ｔｉｍｅhigh（ｊ）未満であるとき、図３中の（１）に示す時刻帯に属し、出力画像時刻Ｔｉｍｅout（ｊ）から所定時間（Ｖａｌhigh）前の時刻帯よりもさらに前に入力画像が入力されている状態を表している。つまり、ｊ番目の出力画像は、（ｉ＋１）番目以降のいずれかの入力画像となり、ｉ番目の入力画像が出力されない。【００３２】
ステップＳＴ１１において、符号化対象画像判定部４は、入力画像（現在画像データｂ）によって画像記憶部５の過去画像データｄを更新する。この入力画像は、符号化対象画像データｃとして画像符号化部３に出力されず、次画像の入力まで持ち越される。【００３３】
一方、Ｔｉｍｅabs_in（ｉ）がＴｉｍｅhigh（ｊ）未満でなく、Ｔｉｍｅhigh（ｊ）より大きいと、符号化対象画像判定部４は、ステップＳＴ６に移行する。ステップＳＴ６では、符号化対象画像判定部４が、入力画像（現在画像データｂ）のＴｉｍｅabs_in（ｉ）がＴｉｍｅhigh（ｊ）以上Ｔｉｍｅlow（ｊ）以下であるか否かを判定する。【００３４】
このとき、Ｔｉｍｅabs_in（ｉ）がＴｉｍｅhigh（ｊ）以上Ｔｉｍｅlow（ｊ）以下であると、符号化対象画像判定部４は、このＴｉｍｅabs_in（ｉ）を与える入力画像のフレームレートが出力画像のフレームレートに等しいと判定して、ステップＳＴ１０の処理に移行する。なお、Ｔｉｍｅabs_in（ｉ）が、Ｔｉｍｅhigh（ｊ）以上Ｔｉｍｅlow（ｊ）以下である場合、図３中の（２）に示す時刻帯に属し、出力画像時刻Ｔｉｍｅout（ｊ）の所定時間（Ｖａｌhigh）前から所定時間（Ｖａｌlow）後までの時刻帯に入力画像が入力されている状態を表している。つまり、ｊ番目の出力画像は、ｉ番目の入力画像に相当する。【００３５】
ステップＳＴ１０において、符号化対象画像判定部４は、入力画像である現在画像データｂを符号化対象画像データｃとして画像符号化部３に出力する。この場合、出力画像は、入力画像と同一フレームレートで出力される。この後、符号化対象画像判定部４は、パラメータｊをインクリメントし、この現在画像データｂを画像記憶部５に出力して過去画像データｄを更新する（ステップＳＴ１１）。【００３６】
一方、ステップＳＴ６において、Ｔｉｍｅabs_in（ｉ）がＴｉｍｅhigh（ｊ）以上Ｔｉｍｅlow（ｊ）以下でないと判定すると、符号化対象画像判定部４は、ステップＳＴ７の処理に移行する。【００３７】
ステップＳＴ７において、符号化対象画像判定部４は、入力画像（現在画像データｂ）のＴｉｍｅabs_in（ｉ）がＴｉｍｅlow（ｊ）より大きくＴｉｍｅvlow（ｊ）以下であるか否かを判定する。このとき、Ｔｉｍｅabs_in（ｉ）がＴｉｍｅlow（ｊ）より大きく、Ｔｉｍｅvlow（ｊ）以下である場合、符号化対象画像判定部４は、このＴｉｍｅabs_in（ｉ）を与える入力画像のフレームレートが出力画像のフレームレートより低いと判定し、ステップＳＴ９の処理に移行する。【００３８】
なお、Ｔｉｍｅabs_in（ｉ）は、Ｔｉｍｅlow（ｊ）より大きく、Ｔｉｍｅvlow（ｊ）以下である場合、図３中の（３）に示す時刻帯に属し、出力画像時刻Ｔｉｍｅout（ｊ）の所定時間（Ｖａｌlow）後から出力画像時刻Ｔｉｍｅout（ｊ）所定時間（Ｖａｌvlow）後までの時刻帯に入力画像が入力されている状態を表している。つまり、ｊ番目の出力画像は、（ｉ−１）番目の入力画像に相当する。【００３９】
ステップＳＴ９では、符号化対象画像判定部４が、画像記憶部５に記憶されている過去画像データｄを参照し、過去画像データｄを符号化対象画像データｃとして画像符号化部３へ出力する。このとき、符号化対象画像判定部４は、過去画像データｄを画像符号化部３へ出力した時点でパラメータｊをインクリメントし、ステップＳＴ３の処理に戻り、ステップＳＴ３以降の処理を実行する。【００４０】
この後、符号化対象画像判定部４は、再びステップＳＴ６の処理まで進んで時間判定を行い、Ｔｉｍｅabs_in（ｉ）がＴｉｍｅhigh（ｊ）以上Ｔｉｍｅlow（ｊ）以下となって、現在画像データｂを符号化対象画像データｃとして画像符号化部３に出力するまで、過去画像データｄを画像符号化部３に出力し続ける。このように過去画像データｄを繰り返し符号化することでフレームが挿入され、入力画像が出力画像より低いフレームレートであっても、出力画像に設定されたフレームレートで符号化画像データｅを出力することができる。【００４１】
また、Ｔｉｍｅabs_in（ｉ）がＴｉｍｅvlow（ｊ）より大きい、つまり図３中の（４）に示す時刻帯に属する場合、符号化対象画像判定部４は、このＴｉｍｅabs_in（ｉ）を与える入力画像のフレームレートが出力画像に比べて非常に低いと判定する。なお、Ｔｉｍｅabs_in（ｉ）＞Ｔｉｍｅvlow（ｊ）のとき、ｊ番目の出力画像は、ｉ番目の入力画像に相当する。このとき、符号化対象画像判定部４は、入力基準時刻Ｔｉｍｅbase_inと出力基準時刻Ｔｉｍｅbase_outとを用いた入力画像と出力画像の時間同期を一旦破棄し、新たに現在時刻を基準として時間同期を行う。【００４２】
具体的に説明すると、符号化対象画像判定部４は、フレームレートが非常に低い現在画像データｂを画像符号化部３に出力するにあたり、下記式（７）、（８）に従い、この現在画像データｂを入力した現在時刻Ｔｉｍｅnow（ｉ）で、入力基準時刻Ｔｉｍｅbase_inと出力基準時刻Ｔｉｍｅbase_outとを更新する。
Ｔｉｍｅbase_in＝Ｔｉｍｅnow（ｉ）  ・・・（７）
Ｔｉｍｅbase_out＝Ｔｉｍｅnow（ｉ）  ・・・（８）【００４３】
このように入力基準時刻と出力基準時刻を現在時刻で更新して、入力画像と出力画像を現在時刻で新たに同期させることで、非常に低いフレームレートの入力画像については、低フレームレートの場合のように同一の画像（過去画像データｄ）を繰り返し符号化する処理は行わない。これにより、従来のようにフレーム補間を行う場合と比較して符号化回数を低減でき、またフレーム補間するための中間の画像データが不要なことから画像記憶部５に記憶すべき画像データの容量増大を抑制することができる。【００４４】
上記の処理を行った後、符号化対象画像判定部４は、ステップＳＴ１１において、現在画像データｂを画像記憶部５に出力して過去画像データｄを更新する。【００４５】
画像符号化部３は、上述のようにして符号化対象画像判定部４から符号化対象画像データｃを入力すると、この符号化対象画像データｃを符号化し、符号化画像データｅとして出力する。なお、画像符号化部３による符号化は特定の符号化方式に限定されるものではなく、本装置の適用分野に応じて既存の動画像符号化方式を適宜用いることができる。【００４６】
以上のように、この実施の形態１によれば、入力画像である現在画像データｂの時刻と出力画像となる符号化対象画像データｃの時刻から、出力画像に対する入力画像のフレームレートの高低を判定し、この判定結果に応じて符号化対象画像データｃとして出力する画像を選択して出力フレーム数を制御する符号化対象画像判定部４を備えたので、現在画像データｂの現在時刻情報ａに応じて、入力した現在画像データｂのフレーム挿入又は削減を適応的に実行することができる。これにより、入出力画像のフレームレートに依らず、様々な画像のフレームレート変換が可能である。【００４７】
この実施の形態１によるフレームレート変換装置２は、様々な画像のフレームレート変換が可能であり、特に監視カメラ画像の符号化に有効である。一般的に、監視カメラでは、監視領域における同一地点の映像が撮影し続けられる。【００４８】
ここで、監視カメラに撮影された映像の全てが必要な場合は少なく、例えば不審人物が写っている一部の時間に撮影された映像のみでよい場合が多い。近年の監視カメラシステムには、このような現状を鑑みて、映像に何らかの動きや変化があった場合のみ映像データを記録する機能を有するものがある。【００４９】
所望の映像データのみを選択する場合、画像の記録が細切れになり、このように記録された映像信号を伝送すると、結果的にスチールイメージで表示される非常に低いフレームレートになることがある。【００５０】
上記実施の形態１では、入力画像が非常に低いフレームレートである場合、上述したようにフレーム補間を行わず、入力画像をそのまま画像符号化部３に出力して符号化し出力する。これにより、非常に低いフレームレートの動画像をフレーム補間する際に要する符号化や蓄積すべき画像ファイルの容量を低減することができるという利点がある。【００５１】
また、この実施の形態１では、既に入力されている過去画像データｄを出力画像に挿入するため、一般的なフレーム補間のようにフレーム間に挿入すべき中間の画像を生成する必要がない。これにより、フレーム補間用画像データを生成するための処理が不要であり、処理能力の低いコンピュータであっても、上記実施の形態１によるフレームレート変換装置の構築が可能である。【００５２】
なお、上記実施の形態１では、入力画像のフレームレートが出力画像に比べて非常に低い場合、ｉ番目の入力画像一枚を出力し符号化することで、入出力画像の基準時刻Ｔｉｍｅbase_in及びＴｉｍｅbase_outを更新する例を示したが、ｉ番目の入力画像をｎ枚連続して出力してから基準時刻を更新し、次の（ｉ＋１）番目の入力画像についてのフレームレート判定を行うようにしてもよい。【００５３】
図４は、符号化対象画像データを選択する他の処理例の流れを示すフローチャートであり、ｉ番目の入力画像をｎ枚連続して出力してから基準時刻を更新し、次の（ｉ＋１）番目の入力画像についてのフレームレート判定を行う処理を示したものである。図４において、ステップＳＴ１からステップＳＴ７、ステップＳＴ９からステップＳＴ１１までの処理は、図２に示した処理と同様であるが、ステップＳＴ８の代わりにステップＳＴ８−１及びステップＳＴ８−２の処理を行う。【００５４】
ステップＳＴ８−１では、符号化対象画像判定部４が、入力画像である現在画像データｂを、ｎ枚分の符号化対象画像データｃとして画像符号化部３に出力する。続いて、符号化対象画像判定部４は、フレームレートが非常に低い現在画像データｂを画像符号化部３に出力するにあたり、下記式（９）、（１０）に従い、現在画像データｂを入力した現在時刻Ｔｉｍｅnow（ｉ）からｎ枚分の画像の入出力を考慮して入力基準時刻Ｔｉｍｅbase_inと出力基準時刻Ｔｉｍｅbase_outを更新する（ステップＳＴ８−２）。
Ｔｉｍｅbase_in＝Ｔｉｍｅnow（ｉ）＋ｎ×Ｒａｔｅout  ・・・（９）
Ｔｉｍｅbase_out＝Ｔｉｍｅnow（ｉ）＋ｎ×Ｒａｔｅout  ・・・（１０）【００５５】
このようにｉ番目の入力画像をｎ枚連続して出力してから基準時刻を更新した後、次の（ｉ＋１）番目の入力画像について、ステップＳＴ１からのフレームレート判定処理が行われる。非常に低いフレームレートの画像を１枚だけ出力する場合、出力画像を通常の速度で再生すると、その画像を見逃したり、再生が不自然になったりする可能性がある。このような場合、上述のようにｎ枚連続して同じ画像を出力することにより、画像見逃し等の不具合を抑制することができる。【００５６】
実施の形態２．
この実施の形態２による動画像符号化装置は、上記実施の形態１で示した図１と基本的な構成は同様であるが、符号化対象画像判定部４が、入力画像のフレームレートが出力画像に設定されたフレームレートより高い場合であっても、全てのフレーム画像を符号化対象画像データとして符号化し、時間同期をとるための基準の時刻を更新するものである。【００５７】
次に動作について説明する。
図５は、この発明の実施の形態２によるフレームレート変換装置の符号化対象画像データ選択処理の流れを示すフローチャートである。以降では、この図及び図１を用いて、上記実施の形態１と異なる処理を主に説明する。符号化対象画像判定部４が、現在画像データｂ及びこの現在画像データｂの現在時刻情報ａを入力（ステップＳＴ１）し、上記式（４）〜（６）を用いて判定閾値を算出（ステップＳＴ４）するまでの処理は、上記実施の形態１と同様である。【００５８】
ステップＳＴ５ａにおいて、符号化対象画像判定部４は、入力画像のＴｉｍｅabs_in（ｉ）がＴｉｍｅhigh（ｊ）未満であるか否かを判定する。このとき、Ｔｉｍｅabs_in（ｉ）がＴｉｍｅhigh（ｊ）未満であると、符号化対象画像判定部４は、入力画像（現在画像データｂ）のフレームレートが出力画像（符号化画像データｅ）に設定されたフレームレートより高いと判定し、ステップＳＴ８ａの処理に移行する。【００５９】
ステップＳＴ８ａにおいて、符号化対象画像判定部４は、上記式（７）、（８）に従い、Ｔｉｍｅhigh（ｊ）未満のＴｉｍｅabs_in（ｉ）を与える現在画像データｂを入力した現在時刻Ｔｉｍｅin（ｉ）を用いて、入力基準時刻Ｔｉｍｅbase_in及び出力基準時刻Ｔｉｍｅbase_outを更新する。【００６０】
この後、符号化対象画像判定部４は、Ｔｉｍｅhigh（ｊ）未満のＴｉｍｅabs_in（ｉ）を与える現在画像データｂを符号化対象画像データｃとして画像符号化部３に出力する（ステップＳＴ１０ａ）。これにより、入力画像のフレームレートが出力画像に比べて高い場合であっても、入力画像における全てのフレーム画像が符号化される。【００６１】
上述のようにして、符号化対象画像データｃを画像符号化部３に出力すると、符号化対象画像判定部４は、符号化対象画像データｃとして出力した現在画像データｂで画像記憶部５の過去画像データｄを更新する（ステップＳＴ１１ａ）。これ以外の場合は、上記実施の形態１と同様である。【００６２】
以上のように、この実施の形態２によれば、入力画像が出力画像よりもフレームレートが高い場合であっても、入力画像の全ての画像を符号化対象とし、現在時刻で時間同期をとるための基準の時刻を更新するので、フレーム削除を許可できない画像が高いフレームレートで入力された場合においても確実に符号化し出力することができる。【００６３】
なお、上記実施の形態２では、入力画像のフレームレートが出力画像に比べて非常に低い場合、ｉ番目の入力画像一枚を出力し符号化することで、入出力画像の基準時刻Ｔｉｍｅbase_in及びＴｉｍｅbase_outを更新する例を示したが、ｉ番目の入力画像をｎ枚連続して出力してから基準時刻を更新し、次の（ｉ＋１）番目の入力画像についてのフレームレート判定を行うようにしてもよい。【００６４】
図６は、符号化対象画像データを選択する他の処理例の流れを示すフローチャートであり、ｉ番目の入力画像をｎ枚連続して出力してから基準時刻を更新し、次の（ｉ＋１）番目の入力画像についてのフレームレート判定を行う処理を示したものである。図６において、ステップＳＴ１からステップＳＴ７、ステップＳＴ８ａ、ステップＳＴ９からステップＳＴ１１ａまでの処理は、図５に示した処理と同様であるが、ステップＳＴ８ａ−１及びステップＳＴ８ａ−２の処理が挿入される。【００６５】
ステップＳＴ８ａ−１では、符号化対象画像判定部４が、入力画像である現在画像データｂを、ｎ枚分の符号化対象画像データｃとして画像符号化部３に出力する。続いて、符号化対象画像判定部４は、フレームレートが非常に低い現在画像データｂを画像符号化部３に出力するにあたり、上記式（９）、（１０）に従い、現在画像データｂを入力した現在時刻Ｔｉｍｅnow（ｉ）からｎ枚分の画像の入出力を考慮して入力基準時刻Ｔｉｍｅbase_inと出力基準時刻Ｔｉｍｅbase_outを更新する（ステップＳＴ８ａ−２）。【００６６】
このようにｉ番目の入力画像をｎ枚連続して出力してから基準時刻を更新した後、次の（ｉ＋１）番目の入力画像について、ステップＳＴ１からのフレームレート判定処理が行われる。非常に低いフレームレートの画像を１枚だけ出力する場合、出力画像を通常の速度で再生すると、その画像を見逃したり、再生が不自然になったりする可能性がある。このような場合、上述のようにｎ枚連続して同じ画像を出力することにより、画像見逃し等の不具合を抑制することができる。【００６７】
実施の形態３．
図７は、この発明の実施の形態３による動画像符号化装置の構成を示す図である。図７において、実施の形態３による動画像符号化装置１Ａは、フレームレート変換装置２Ａ及び画像追加／符号化部７を備える。フレームレート変換装置２Ａは、符号化対象画像判定部４ａ及び画像／時刻情報記憶部６を備える。また、フレームレート変換装置２Ａには、監視カメラ等の不図示の撮像手段により撮像された現在画像データｂとこの現在画像データｂの現在時刻情報ａとが入力される。【００６８】
なお、符号化対象画像判定部４ａ及び画像／時刻記憶部６は、本発明の趣旨に従うフレームレート変換用プログラムをコンピュータに読み込ませてその動作を制御することにより、当該コンピュータ上でソフトウエアとハードウェアが協働した具体的な手段としてフレームレート変換装置２Ａを実現することができる。【００６９】
また、フレームレート変換装置２Ａ及び画像追加／符号化部７についても、本発明の趣旨に従うフレームレート変換用プログラム及び動画像符号化用プログラムをコンピュータに読み込ませてその動作を制御することで、当該コンピュータ上でソフトウエアとハードウェアが協働した具体的な手段として動画像符号化装置１Ａを実現することができる。【００７０】
フレームレート変換装置２Ａの符号化対象画像判定部４ａは、上記実施の形態１，２と同様に動作して、入力画像のフレームレートと出力画像のフレームレートの高低の判定結果に応じて、画像符号化部３に出力すべき符号化対象画像データｃを決定する。上記実施の形態１，２と異なる動作としては、符号化対象画像データｃに加え、この符号化対象画像データｃの時刻情報（以下、符号化対象時刻情報ｆと称す）を画像追加／符号化部７に出力する。【００７１】
なお、符号化対象画像判定部４ａは、符号化対象画像データｃに符号化対象時刻情報ｆを常に追加して画像追加／符号化部７に出力してもよく、また一定周期を設定して周期的に符号化対象時刻情報ｆを追加するようにしてもよい。【００７２】
さらに、入力画像のフレームレートと出力画像のフレームレートの高低の判定結果に応じて、符号化対象時刻情報ｆを追加してもよい。例えば、入力画像のフレームレートが出力画像に比べて高い場合や、入力画像のフレームレートが非常に低く、入力基準時刻及び出力基準時刻が更新したときに符号化対象時刻情報ｆを追加する。【００７３】
画像／時刻情報記憶部６は、上記実施の形態１，２における画像記憶部５と同様に、フレームレート変換装置２Ａに入力された符号化対象となる画像データを記憶すると共に、この画像データ上の時刻情報である現在時刻情報ａを、過去画像データｄ及びその時刻情報ｇとして記憶する。この過去画像データｄ及びその時刻情報ｇは、符号化対象画像判定部４ａによって現在画像データｂ及びその時刻情報ａで更新される。【００７４】
画像追加／符号化部７は、上記実施の形態１，２における画像符号化部３と同様に動作して、符号化対象画像データｃを符号化して符号化画像データｅとして出力する。画像符号化部３と異なる動作としては、符号化対象時刻情報ｆにより規定される時刻を符号化対象画像データｃの画像の一部に追加した上で符号化する。【００７５】
図８は、画像追加／符号化部７によって符号化対象時刻情報ｆが追加された符号化画像データｅを再生した画像例を示す図である。画像追加／符号化部７は、符号化対象時刻情報ｆを用いて、符号化画像データｅが再生された際、図８に示すように画像の一部に時刻情報ｆ１が表示されるように符号化対象画像データｃを処理してから符号化する。なお、画像内で時刻情報ｆ１を追加する位置やその表示内容については、図８に示した例以外を用いてもよい。【００７６】
以上のように、この実施の形態３によれば、符号化画像データｅを再生した画面上に時刻情報ｆ１が表示されることから、該画像が撮影された動画像上の時刻を画面上で確認することができるという効果が得られる。例えば、実施の形態３においても、可変フレームレートの入力画像を固定フレームレートに変換して出力するが、出力画像は固定フレームレートに合わせて再生される。このとき、入力画像が非常に低いフレームレートであると、動画像上の時刻が実際の再生時間からずれる場合がある。これに対して、実施の形態３では、時刻情報ｆ１が画面上に表示されることから、正しい時刻情報を画面上で確認することができる。【００７７】
実施の形態４．
図９は、この発明の実施の形態４による動画像符号化装置の構成を示す図である。図９において、実施の形態４による動画像符号化装置１Ｂは、フレームレート変換装置２Ａ及びＤＶＤ−ＶＩＤＥＯ作成部８を備える。フレームレート変換装置２Ａは、上記実施の形態３と同様であるので、その構成の詳細な説明は省略する。【００７８】
ＤＶＤ−ＶＩＤＥＯ作成部８は、符号化対象画像データｃ及び符号化対象時刻情報ｆを入力し、符号化対象画像データｃをＤＶＤ−ＶＩＤＥＯに採用されたＭＰＥＧ−２方式等の動画像符号化方式で符号化する。この符号化画像データは、光学ディスクであるＤＶＤメディアに出力して記録することにより、ＤＶＤ−ＶＩＤＥＯが作成される。【００７９】
なお、フレームレート変換装置２Ａ及びＤＶＤ−ＶＩＤＥＯ作成部８は、本発明の趣旨に従うフレームレート変換用プログラム及び動画像符号化用プログラムをコンピュータに読み込ませてその動作を制御することで、当該コンピュータ上でソフトウエアとハードウェアが協働した具体的な手段として動画像符号化装置１Ｂを実現することができる。【００８０】
次に動作について説明する。
ＤＶＤ−ＶＩＤＥＯ作成部８は、符号化対象画像判定部４ａから符号化対象画像データｃ及びその符号化対象時刻情報ｆを入力すると、符号化対象画像データｃをＤＶＤ−ＶＩＤＥＯに採用されたＭＰＥＧ−２方式等の動画像符号化方式で符号化する。【００８１】
ここで、ＤＶＤ−ＶＩＤＥＯには、チャプタ、と呼ばれる再生の切れ目を設定する情報がある。ＤＶＤ−ＶＩＤＥＯを再生する際、所望のチャプタから符号化画像データを再生したり、チャプタの先頭にスキップをすることができる。【００８２】
ＤＶＤ−ＶＩＤＥＯ作成部８では、ＭＰＥＧ−２方式等の動画像符号化方式で符号化対象画像データｃを符号化するにあたり、その符号化対象時刻情報ｆを用い、符号化画像データ上の時刻に応じて再生位置を指定するチャプタを設定する。例えば、符号化画像データにおいて、入力基準時刻及び出力基準時刻が更新され、新たに時間同期をとり始めた箇所にチャプタを設定することにより、新たに時間同期をとり始めた再生位置を容易に選択することができる。【００８３】
また、上記実施の形態３と同様に、符号化対象時刻情報ｆで符号化対象画像データｃを処理して再生画像の一部に時刻情報ｆ１が表示されるＤＶＤ−ＶＩＤＥＯを作成する機能をＤＶＤ−ＶＩＤＥＯ作成部８に追加してもよい。【００８４】
以上のように、この実施の形態４では、符号化対象画像データｃ及びその符号化対象時刻情報ｆを用いて符号化画像データのＤＶＤ−ＶＩＤＥＯを作成するＤＶＤ−ＶＩＤＥＯ作成部８を備えたので、入力画像の時刻情報と出力画像の時刻情報から適応的に符号化対象のフレーム画像を選択してフレームレート変換を行った符号化画像データを記録したＤＶＤ−ＶＩＤＥＯの作成が可能である。【００８５】
なお、上記実施の形態４では、ＤＶＤ−ＶＩＤＥＯを作成する例を示したが、ＤＶＤ−ＶＩＤＥＯ以外で同様の機能を有する符号化方式や再生メディアを利用する場合であっても、本発明は適用可能である。【００８６】
また、上記実施の形態１〜４では、最終的な出力先がデジタル画像である場合を例に挙げたが、符号化画像データｅとしてアナログ画像を出力してもよい。【００８７】
さらに、上記実施の形態１〜４では、不図示の撮像手段から入力された画像データのフレームレートを変換する場合を説明したが、フレームレートを特定することができれば、入力画像が符号化されていても構わない。この場合、例えば入力画像とは異なる動画像符号化方式で出力画像を符号化するも可能であり、上記実施の形態１〜４による動画像符号化装置を、いわゆる動画像符号化方式の変換装置として利用することができる。
【産業上の利用可能性】
【００８８】
以上のように、この発明に係るフレームレート変換装置は、入出力画像のフレームレートに依らず、様々な画像のフレームレート変換が可能なことから、可変フレームレートの映像信号を扱うフレームレート変換装置に適している。
【図１】
2008129648.tif 000003
【図２】
2008129648.tif 000004
【図３】
2008129648.tif 000005
【図４】
2008129648.tif 000006
【図５】
2008129648.tif 000007
【図６】
2008129648.tif 000008
【図７】
2008129648.tif 000009
【図８】
2008129648.tif 000010
【図９】
2008129648.tif 000011
【国際調査報告】
2008129648.tif 000012
2008129648.tif 000013
2008129648.tif 000014
2008129648.tif 000015