(57)【要約】【課題】  符号化して伝送する映像信号のフレームレートよりも高いフレームレートの映像信号から得られた付加情報をもとに、フレームレート変換をする技術を提供する。【解決手段】  入力される映像信号から付加情報を分離する付加情報分離手段と、前記映像信号と前記付加情報から補間映像を生成する補間映像生成手段とを備えた映像再生装置。また、入力される映像信号から付加情報を分離する付加情報分離工程と、前記映像信号と前記付加情報から補間映像を生成する補間映像生成工程とを含んだ映像再生方法。【選択図】  図３
2013174798.tif 000002
【特許請求の範囲】
【請求項１】
入力される映像信号から付加情報を分離する付加情報分離手段と、
前記映像信号と前記付加情報から補間映像を生成する補間映像生成手段とを
備えた映像再生装置。
【請求項２】
前記付加情報は、前記映像信号よりフレームレートの高い映像信号から得られた結果である請求項１に記載の映像再生装置。
【請求項３】
前記付加情報は、更に前記映像信号よりフレームレートの高い映像信号のフレーム間の動き判定結果である請求項２に記載の映像再生装置。
【請求項４】
更に前記補間映像を出力する映像信号出力手段を備えた請求項１に記載の映像再生装置。  
【請求項５】
入力される映像信号から付加情報を分離する付加情報分離工程と、
前記映像信号と前記付加情報から補間映像を生成する補間映像生成工程とを
含んだ映像再生方法。
【請求項６】
入力される映像信号からフレーム間引きを行い、
前記映像信号から動き判定を行い、
前記フレーム間引きの結果と前記動き判定の結果とを多重化する映像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、映像符号・復号化、再生装置及び方法に関する。
【背景技術】
【０００２】
先行技術として、映像送信側では映像符号化(MPEG2規格準拠,H.264規格準拠)技術、映像の受信側ではFRC(フレームレートコンバータ)技術がある。しかし一般に高いフレームレートで映像符号化、伝送を行うと伝送する符号化データが多くなるという問題がある。符号化データのビットレートが伝送路の帯域を超えてしまうと、映像データとして安定して伝送することができない。そこで、映像のフレームを間引くことでフレームレートを下げて符号化し伝送するということが行われる。
【０００３】
また、復号した映像信号のフレームレートとパネル駆動のフレームレートが異なる場合に、FRC技術を用いて補間をするが、補間する前後のフレームから得られる情報を用いて補間信号を生成するため、送られてくるフレーム間の途中で静止状態から動きが発生する場合などにうまく補間信号を生成することができなかった。
【０００４】
符号化して伝送する映像信号のフレームレートよりも高いフレームレートの映像信号から得られた付加情報をもとに、フレームレート変換をする技術への要望がある。が、かかる要望を実現するための手段は知られていない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００９−５３３００２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施の形態は、符号化して伝送する映像信号のフレームレートよりも高いフレームレートの映像信号から得られた付加情報をもとに、フレームレート変換をする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、実施形態によれば映像再生装置は、入力される映像信号から付加情報を分離する付加情報分離手段と、前記映像信号と前記付加情報から補間映像を生成する補間映像生成手段とを備える。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態におけるＤＴＶの内部構造の一例を示すブロック図。
【図２】同実施形態のフレームレート変換の概略説明図。
【図３】同実施形態の映像復号化、再生装置の構成を示す図。
【図４】同実施形態の動き判定の付加情報の説明図。
【図５】同実施形態に用いられる映像符号化装置の構成を示す図。
【図６】従来例と本実施形態におけるフレーム補間の違いを示す図。
【発明を実施するための形態】
【０００９】
以下、実施形態を図１乃至図６を参照して説明する。
【００１０】
図１は、本実施形態におけるＤ（Ｄｉｇｉｔａｌ）ＴＶ１の内部構造の一例を示すブロック図である。
【００１１】
ＤＴＶ１は、装置各部の動作を制御する制御部１５６を備えている。制御部１５６は、ＣＰＵ（Central Processing Unit）等を内蔵している。制御部１５６は、操作部１１６から入力される操作信号や、リモートコントローラ１１７から送信され受信部１１８を介して受信される操作信号に応じて、ＲＯＭ（Read Only Memory）１５７に予め記憶されたシステム制御プログラム及び各種処理プログラムを起動させる。制御部１５６は、起動したプログラムに従って、ＲＡＭ（Random Access Memory）１５８をワークメモリとして装置各部の動作を制御する。
【００１２】
入力端子１４４は、ＢＳ／ＣＳデジタル放送受信用のアンテナ１４３が受信した衛星デジタルテレビジョン放送信号を衛星デジタル放送用のチューナ１４５に供給する。チューナ１４５は、受信したデジタル放送信号のチューニングを行い、チューニングしたデジタル放送信号をＰＳＫ（Phase Shift Keying）復調器１４６に送信する。PSK復調器１４６は、ＴＳ（Transport Stream）の復調を行い、復調したＴＳをＴＳ復号器１４７ａに供給し、ＴＳ復号器１４７ａは、TSをデジタル映像信信号、デジタル音声信号、およびデータ信号を含むデジタル信号に復号した後、信号処理部１００にこれを出力する。ここでのデジタル映像信号とはＤＴＶ１が出力可能な映像に関するデジタル信号であり、音声信号はＤＴＶ１が出力可能な音声に関するデジタル信号である。またデータ信号とは、例えばＤＴＶ１が電子番組表であるＥＰＧ（Electronic Program Guide）を生成するときに使用する情報である番組関連情報等を含む、放送波の放送番組に関する情報に関するデジタル信号である。この番組関連情報には、放送番組のタイトル、この番組の詳細情報、番組開始時刻、番組終了時刻等の情報が含まれている。
【００１３】
入力端子１４９は、地上波デジタル放送受信用のアンテナ１４８が受信した地上波デジタルテレビジョン放送信号を地上波デジタル放送用のチューナ１５０に供給する。チューナ１５０は、受信したデジタル放送信号のチューニングを行い、チューニングしたデジタル放送信号をそれぞれのＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調器１５１に送信する。ＯＦＤＭ復調器１５１は、ＴＳの復調を行い、復調したＴＳをそれぞれのＴＳ復号器１４７ｂに供給し、ＴＳ復号器１４７ｂは、ＴＳをデジタル映像信号及び音声信号等に復号した後、信号処理部１００にこれを出力する。
【００１４】
アンテナ１４８は、地上波アナログ放送信号も受信可能である。受信された地上波アナログ放送信号は、図示しない分配器によって分配されて、アナログチューナ１６８に供給される。アナログチューナ１６８は、受信したアナログ放送信号のチューニングを行い、チューニングしたアナログ放送信号をアナログ復調器１６９に送信する。アナログ復調器１６９はアナログ放送信号の復調を行い、復調したアナログ放送信号を信号処理部１００に出力する。また、ＤＴＶ１は、一例として、アンテナ１４８が接続される入力端子１４９にＣＡＴＶ（Common Antenna Television）用のチューナを接続することによってＣＡＴＶも視聴することができる。
【００１５】
信号処理部１００は、ＴＳ復号器１４７ａ、１４７ｂ、または制御部１５６から出力されたデジタル信号に、適切な信号処理を施す。より具体的には、信号処理部１００はデジタル信号を映像信号、デジタル音声信号、およびデータ信号に分離する。分離された映像信号はグラフィック処理部１５２に、音声信号は音声処理部１５３に出力される。また信号処理部１００は、アナログ復調器１６９から出力された放送信号を、所定のデジタルフォーマットの映像信号及び音声信号に変換する。デジタルに変換された映像信号はグラフィック処理部１５２に、音声信号は音声処理部１５３に出力される。また信号処理部１００は、ライン入力端子１３７からの入力信号にも所定のデジタル信号処理を施す。
【００１６】
ＯＳＤ（On Screen Display）信号生成部１５４は、制御部１５６の制御に従って、ＵＩ（ユーザ・インタフェース）画面などを表示するためのＯＳＤ信号を生成する。また信号処理部１００においてデジタル放送信号から分離されたデータ信号は、ＯＳＤ信号生成部１５４により適切なフォーマットのＯＳＤ信号に変換され、グラフィック処理部１５２に出力される。
【００１７】
グラフィック処理部１５２は、信号処理部１００から出力されるデジタルの映像信号のデコード処理を行う。デコードされた映像信号は、ＯＳＤ信号生成部１５４から出力されたＯＳＤ信号と重ね合わせて合成され、映像処理部１５５に出力される。グラフィック処理部１５２は、デコードされた映像信号またはＯＳＤ信号を、映像処理部１５５に選択的に出力することもできる。
【００１８】
映像処理部１５５は、グラフィック処理部１５２から出力された信号に対して画質の補正を行った上で、表示部１２０で表示可能なフォーマットのアナログ映像信号に変換する。映像処理部１５５でアナログに変換された映像信号は、表示部１２０に表示される。
【００１９】
表示部１２０はＬＣＤ（Liquid Crystal Display）によって構成されており、液晶によって画像を表示する。バックライト１２１は表示部１２０を後方より照射する。また、バックライト１２１は照射する光の強さまたは照射時間によって、表示する映像の輝度を調整することが可能である。
【００２０】
音声処理部１５３は、入力された音声信号を、スピーカ１１０で再生可能なフォーマットのアナログ音声信号に変換する。アナログに変換された音声信号は、スピーカ１１０に出力されて再生される。
【００２１】
カードホルダ１６１は、カードＩ／Ｆ（Interface）１６０を介して制御部１５６に接続されている。メモリカード１１９は、このカードＩ／Ｆ１６０に装着可能である。メモリカード１１９は、例えばＳＤ（Secure Digital）メモリカード、ＭＭＣ（Multimedia Card）及びＣＦ（Compact Flash(登録商標)）カード等の記憶媒体である。カードホルダ１６１に装着されたメモリカード１１９、及び制御部１５６は、カードＩ／Ｆ１６０を介して情報の書込み／読み出しを行うことができる。
【００２２】
ＵＳＢ（Universal Serial Bus）端子１３３は、ＵＳＢ Ｉ／Ｆ１６６を介して制御部１５６に接続されている。ＵＳＢ端子１３３は、一般的なＵＳＢ対応ポートとして使用される。ＵＳＢ端子１３３には、例えばハブを介して、携帯電話、デジタルカメラ、各種メモリカードに対するカードリーダ／ライタ、ＨＤＤ、キーボード等が接続される。制御部１５６は、ＵＳＢ端子１３３を介して接続される機器との間で、情報の通信（送受信）を行うことができる。
【００２３】
ＨＤＤ１７０はＤＴＶ１に内蔵される磁気記憶媒体であってＤＴＶ１が有する各種情報を記憶する機能を有している。
【００２４】
通信部１６２は、例えば無線ＬＡＮ通信モジュールであり無線によって装置外部のルーターやモデム経由でインターネットとの接続を行うことができる。外部からの映像のＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）配信を受信することができる。このＩＰ配信に関しては後述にて説明を行う。
【００２５】
次に図４を参考とし、図５を用いて本実施形態における映像符号化装置の実施例を説明する。ここでは、撮像手段でのフレームレートが120fps（フレーム・パー・セカンド）、符号化する映像のレートが30fpsの場合について説明する。
【００２６】
映像符号化装置５０は例えば映像のＩＰ配信業者のもとにあり、撮像手段（カメラ）５１、フレーム間引き手段５２、動き判定手段５３、映像信号符号化手段５４、多重化手段５５と映像信号出力手段５６とから構成されている。
【００２７】
撮像手段５１で取得した映像信号(図４(A))に対し動き判定手段５３では、現在のフレームと前フレーム間とで差分を取り、有意差があるか否かを判定する。有意差がある場合は、動きありとして1をセット。差が無い場合は0をセットする。これをフレーム全体(Depth 1bitのフレーム信号が生成される)について判定を行い、得られた結果(図４(B))を符号化し、多重化手段５５に送る。
【００２８】
所謂４ｋ２ｋのフレームでは、画素単位に判定すると１ＭＢ程度の結果が得られ、簡単にはランレングス圧縮などの手段により、更に圧縮を施すとよい。画素単位に判定するかわりに8x8画素単位等のブロックごとに判定してもよい。
【００２９】
またフレーム単位で符号化するかわりに更に時間軸方向で符号化(符号化伝送される映像間隔をまとめる)してもよい。例えば簡単には前後のフレームの差分をとるなどしてもよい。
【００３０】
この動き判定結果を用いた付加情報は、例えば符号化伝送される映像フレームのピクチャレイヤーのUserデータとして多重化することができる。またこの付加情報は、別ストリームとして伝送し、PTS（Presentation Time Stamp）等の時間情報で映像フレームと関連付けを行う形態としてもよい。
【００３１】
フレーム間引き手段５２では、設定された情報に従って撮像手段から得られる信号を間引き(図４(C))、映像信号符号化手段５４で符号化を実施し、多重化手段５５で、先の動き判定結果の付加情報と共に多重化され、映像信号出力手段５６に送られ符号化された映像信号が出力される。
【００３２】
このフレーム間引きは、固定フレームレート設定(例えば30fps)の他に、入力される映像データのフレームレートに応じたレート設定(1/2,1/3,1/4など)とする、伝送路のトラフィック情報をもとに判断(出力バッファの残量をもとに間引く)する、動き判定結果をもとに間引くか否かを判断するなど各種の運用形態を構成できる。
【００３３】
次に、図２を参考とし、図３を用いて本実施形態おける映像復号化、再生装置の実施例を説明する。ここでは、復号して得られる映像信号のフレームレートが30fps、付加情報が120fpsの映像信号をもとに付加されていることを前提に、映像出力するレートを120fpsとした場合について説明する。
【００３４】
この映像復号化、再生装置３０は例えばあらかた映像処理部１５５内にあり、映像信号入力手段３１、付加情報分離手段３２、映像信号復号手段３３、補間映像生成手段３４と映像信号出力手段３５とから構成されている。映像信号出力手段３５は、表示部１２０に相当する。映像信号入力手段３１は、放送やケーブルＴＶ、また場合によりメモリカード１１９などの媒体や、ＨＤＤ１７０またはＵＳＢ端子１３３に接続された記録装置でもよいが、通信部１６２を介するＩＰ配信の受信の例として説明する。
【００３５】
映像信号入力手段３１を経由して得られた信号から、付加情報分離手段３２によって、符号化映像信号と付加情報とに分離する。分離された符号化映像信号は、映像信号復号手段３３で復号化(図２(A))され、映像信号出力手段３５に送られる。一方、分離された付加情報(120fpsでの動き判定結果、(図２(Ｂ)))は、符号化されている場合は復号処理した後、映像信号復号手段３３で復号化された30fpsの映像信号と共に、補間映像生成手段３４に送られ、ここで120fps出力に対して不足する映像信号を生成(図２(Ｃ))、映像信号出力手段３５に送られ、120fpsとなった映像信号が出力される。
【００３６】
次に、付加情報のフレーム枚数と補間映像生成手段３４で補完するフレーム数が異なる場合について説明する。ここでは、復号して得られる映像信号のフレームレートが30fps、付加情報が60fpsの映像をもとに付加されていること前提に、映像出力するレートを120fpsとした場合について説明する。
【００３７】
映像信号入力手段３１を経由して得られた信号から、付加情報分離手段３２によって、符号化映像信号と付加情報とに分離する。分離された符号化映像信号は、映像信号復号手段３３で復号化され、映像信号出力手段３５に送られる。一方、分離された付加情報(60fpsでの動き判定結果)は、符号化されている場合は復号処理した後、映像信号復号手段３３で復号化された30fpsの映像信号と共に、補間映像生成手段３４に送られ、ここで60fps出力に対して不足する映像信号を生成した後、60fpsの映像から120fpsの映像を補間生成して、映像信号出力手段３５に送られ、120fpsとなった映像信号が出力される。
【００３８】
次に、図６を用いて図３の補間映像生成手段３４の動作を説明する。
【００３９】
補間映像生成手段３４に入力される信号は、復号された映像信号(図６(B))と動き判定情報(図６(D))となる。補間映像の各画素の生成においては、動き判定情報を参照し、動き判定情報の結果が0(動きなし)であった場合は、現フレーム(復号された映像信号)を使って補間映像信号を生成する。動き判定情報の結果が１(動きあり)であった場合は、次フレーム(復号された映像信号)の映像信号も用い、利用するフレームレートコンバータのアルゴリズムに従って、補間映像信号を生成する(図６(E))。
【００４０】
このように動き判定情報(図６(D))を用いることで、動き判定情報を使わないでフレームレートコンバートした場合(図６(C))に比べて、より高精度に元信号(撮像手段５１の出力、図６(Ａ))に動きのあるブロックＢＫなどが追従する補間映像信号を生成できる。
【００４１】
以上のように符号化して伝送する映像信号のフレームレートよりも高いフレームレートの映像信号から動き判定を行い、別途、動き判定結果を伝送することで、より高精度なFRC処理を可能とすることができる。結果、映像符号化する際にフレームレートを低く抑えることができ、伝送するデータレートを低く抑えることが可能となる。
【００４２】
（実施形態のまとめ）
（１）符号化された映像データを復号後、フレームレート変換して出力する際に、符号化側から得られた付加情報をもとにフレームレート変換を行う。
【００４３】
（２）符号化装置に入力される映像データの前後するフレーム間で動き判定を行い、判定した結果を復号後のフレームレート変換に用いる付加情報とする。また、符号化装置では判定基準をもとに符号化する映像フレームを間引く。
【００４４】
（３）符号化装置で映像フレームを間引く判断基準は、固定フレームレート設定(例えば30fps)、入力される映像データのフレームレートに応じたレート設定(1/2,1/3,1/4など)、伝送路のトラフィック情報をもとに判断(出力バッファの残量をもとに間引く)、動き判定結果をもとに間引くか否かを判断などである。
【００４５】
（４）動き判定結果は、画素単位に判定、8x8画素単位等のブロックごとに判定などによる。
【００４６】
（５）動き判定結果の符号化方法 (例えば動きあり：１、静止：０の1bit表現) は、フレーム単位で符号化、さらに時間軸方向で符号化(符号化伝送される映像間隔をまとめる)などである。
【００４７】
（６）動き判定結果を用いた付加情報は、符号化伝送される映像フレームのピクチャレイヤーのUserデータとして多重化、あるいは別ストリームとして伝送し、PTS等の時間情報で関連付けを行う。
【００４８】
（７）付加情報を用いたフレームレート変換の処理方法は、動きなしと判定された部分は、前フレームの映像信号で補間する。 動きありと判定された部分は、FRCのアルゴリズムに従って、前後フレーム間の映像信号で補間する(補間フレームが複数枚あるケース、付加情報のフレーム枚数とFRCで補完するフレーム数が異なるケースについては上記実施例を参照) 。
【００４９】
以上説明した実施例によれば先行技術と比べた効果として、符号化して伝送する映像信号のフレームレートよりも高いフレームレートの映像信号から動き判定を行い、別途動き判定結果を伝送することで、より高精度なFRC処理を可能とすることができる。結果、映像符号化する際にフレームレートを低く抑えることができ、伝送するデータレートを低く抑えることが可能となる。
【００５０】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
【００５１】
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００５２】
１…ＤＴＶ、３０…映像復号化、再生装置、３１…映像信号入力手段、３２…付加情報分離手段、３３…映像信号復号手段、３４…補間映像生成手段、３５…映像信号出力手段、５０…映像符号化装置、…５１撮像手段（カメラ）、５２…フレーム間引き手段、５３…動き判定手段、５４…映像信号符号化手段、５５…多重化手段、５６…映像信号出力手段、１１０…スピーカ、１２０…表示部、１２１…バックライト、１００…信号処理部、１１６…操作部、１１７…リモートコントローラ、１１８…受信部、１１９…メモリカード、１３３…ＵＳＢ端子、１４３…アンテナ、１４４…入力端子、１４５…チューナ、１４６…ＰＳＫ復調器、１４７…ＴＳ復号器、１４８…アンテナ、１４９…入力端子、１５０…チューナ、１５１…ＯＦＤＭ復調器、１５２…グラフィック処理部、１５３…音声処理部、１５４…ＯＳＤ信号生成部、１５５…映像処理部、１５６…制御部、１５７…ＲＯＭ、１５８…ＲＡＭ、１６０…カードＩ／Ｆ、１６１…カードホルダ、１６２…通信部、１６６…ＵＳＢ  Ｉ／Ｆ、１６８…アナログチューナ、１６９…アナログ復調器。
【図１】
2013174798.tif 000003
【図２】
2013174798.tif 000004
【図３】
2013174798.tif 000005
【図４】
2013174798.tif 000006
【図５】
2013174798.tif 000007
【図６】
2013174798.tif 000008