(57)【要約】【課題】専用の信号線などを用いることなく、元の映像データにおける内容変更を検知し、フレーム補間動作を制御することにより、低コストで映像品質を向上する映像補間装置および映像補間方法を提供すること。【解決手段】アンテナ１１で受信した、もしくは映像記録媒体から読み出した１５ＦＰＳの元影像データをデコーダ１５によってコードした後、６０Ｈｚの入力映像データとしてフレーム補間部２０に入力する。フレーム補間部２０内では、フレーム比較部２３が前後のフレームの内容が一致する否かを判定し、一致した回数をカウンタ２４でカウントし、４フレーム毎に不一致が発生しているか否かによって補間動作制御部２５が補間処理部２２による補間フレームの作成を制御する。【選択図】        図１
2009239335.tif 000002
【特許請求の範囲】
【請求項１】
第１のフレームレートでフレームが更新される元映像データについて、各フレームを所定回数ずつ繰り返すことで前記第１のフレームレートよりも高い第２のフレームレートで出力された入力映像データを受け付け、前記入力映像データにおける繰り返しフレームの内容を当該フレームの前後に位置するフレームから補間して出力する映像補間装置であって、
前記入力画像データの連続するフレームの内容を比較する比較手段と、
前記フレーム内容が更新されたタイミングを検出する更新タイミング検出手段と、
前記更新タイミング検出手段による検出結果に基づいて前記補間に係る動作を制御する補間動作制御手段と、
を備えたことを特徴とする映像補間装置。
【請求項２】
前記更新タイミング検出手段は、同一内容のフレームが出力された回数を計数し、所定タイミングでフレーム内容が更新されたか否かを検出することを特徴とする請求項１に記載の映像補間装置。
【請求項３】
前記補間動作制御手段は、所定のタイミングでフレーム更新がおこなわれた場合に前記補間処理を開始することを特徴とする請求項１または２に記載の映像補間装置。
【請求項４】
前記補間動作制御手段は、所定のタイミング以外でフレーム更新がおこなわれた場合に前記補間処理を停止することを特徴とする請求項１〜３のいずれか一つに記載の映像補間装置。
【請求項５】
前記補間動作制御手段は、所定のタイミング以外でフレーム更新がおこなわれた場合に、前記補間処理の対象とするフレームおよび前記所定のタイミングを変更することを特徴とする請求項１〜３のいずれか一つに記載の映像補間装置。
【請求項６】
前記比較手段は、フレームの画素値の合計を求め、当該合計値をフレーム間で比較することを特徴とする請求項１〜５のいずれか一つに記載の映像補間装置。
【請求項７】
前記比較手段は、フレームの各画素の値をフレーム間で比較し、全ての画素値がフレーム間で一致した場合に比較したフレームの内容が一致したと判定することを特徴とする請求項１〜６のいずれか一つに記載の映像補間装置。
【請求項８】
第１のフレームレートでフレームが更新される元映像データについて、各フレームを所定回数ずつ繰り返すことで前記第１のフレームレートよりも高い第２のフレームレートで出力された入力映像データを受け付け、前記入力映像データにおける繰り返しフレームの内容を当該フレームの前後に位置するフレームから補間して出力する映像補間方法であって、
前記入力画像データの連続するフレームの内容を比較する比較工程と、
前記フレーム内容が更新されたタイミングを検出する更新タイミング検出工程と、
前記更新タイミング検出工程による検出結果に基づいて前記補間に係る動作を制御する補間動作制御工程と、
を備えたことを特徴とする映像補間方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データのフレームレートを上げ、フレーム間の補間をおこなう映像補間装置および映像補間方法に関するものである。
【背景技術】
【０００２】
近年、映像データのフレームレートを上げる処理を行ったうえで表示する必要が生じている。例えば、テレビ放送のデジタル化に伴って、携帯電話端末などでの表示用にデータ量の小さいデジタル放送、いわゆるワンセグ放送が実施されているが、このワンセグ放送のフレームレートは１５ＦＰＳ（フレーム／秒）である。これに対し、現行のテレビ放送は３０ＦＰＳであるので、ワンセグ放送を滑らかに表示するためには、フレームレートを上げ、フレームの間を補間する必要がある。
【０００３】
このように映像データに対してフレームレートを上げる技術として、例えば特許文献１および特許文献２が開示されている。
【０００４】
【特許文献１】特開２００３−６９９６１号公報
【特許文献２】特開２００１−３１３８９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
フレームの補間をおこなうためには、元の映像データのフレームを繰り返し使用してフレームレートを上げた後、内容が変化したフレームから中間状態の内容を示す補間フレームを作成する必要がある。
【０００６】
このとき、補間フレームの作成に用いる２枚のフレームをどのように選択するかが問題となる。元の映像データからフレームレートを上げる際に、正確に所定回数ずつ繰り返しフレームが作成されるならば所定回数ごとにフレームを選択すればよいが、デコードの所要時間などから繰り返し回数が変動すると、同一内容のフレームから補間フレームを作成したり、間のフレームを飛ばしてフレーム補間を行ってしまうなどの補間エラーが発生し、映像品質が劣化する。
【０００７】
この問題を解決するためには、元の映像データにおける内容変更（フレームの推移）を検知する必要があるが、デコーダなどから内容の変更信号を伝えることとすると、専用の信号線および信号処理系が必要となり、コストアップにつながる。
【０００８】
本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、専用の信号線などを用いることなく、元の映像データにおける内容変更を検知し、フレーム補間動作を制御することにより、低コストで映像品質を向上する映像補間装置および映像補間方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した問題を解決し、目的を達成するため、本発明にかかる映像補間装置および映像補間方法は、元映像データについて各フレームを所定回数ずつ繰り返すことで元のフレームレートより高いフレームレートで出力された入力映像データを受け付け、入力映像データにおける繰り返しフレームの内容を当該フレームの前後に位置するフレームから補間する場合に、入力画像データの連続するフレームの内容を比較して、フレーム内容が更新されたタイミングを検出し、検出結果に基づいて補間に係る動作を制御する。
【発明の効果】
【００１０】
本発明によれば映像補間装置および映像補間方法は、専用の信号線などを用いることなく、入力映像データのフレーム比較によって元の映像データにおける内容変更を検知し、フレーム補間動作を制御するので、低コストで映像品質を向上する映像補間装置および映像補間方法を得ることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１１】
以下図面を参照して、本発明に係る映像補間装置および映像補間方法について説明する。
【００１２】
本発明に係る映像補間装置は、日本の地上デジタルテレビ放送に対応した受信装置の内部などで用いられる。地上デジタルテレビ放送では、１チャンネル分の帯域を１３個のセグメントに分割し、そのうちの１２セグメントを固定サービス（家庭用の一般向け）用とし、残りの１セグメントを携帯サービス（移動体受信端末）用に割り付けている。固定サービスではデータ圧縮方式としてＭＰＥＧ２方式を採用し、携帯サービスではデータ圧縮方式としてＨ．２６４方式（ＭＰＥＧ−４Ｐａｒｔ１０としても知られる映像圧縮方式の一つ）（又はＭＰＥＧ４方式）を採用している。固定サービス向けの符号化デジタルデータは、ＭＰＥＧ２方式で符号化されたものであって、高品質であるが、ビットレートが高いことからノイズ耐性が弱く、放送局からの距離が長くなると、良好な受信が困難となる場合がある。これに対して、携帯サービス向けの符号化デジタルデータ（いわゆるワンセグ放送）は、Ｈ．２６４方式（又はＭＰＥＧ４方式）で符号化されたものであって、ＭＰＥＧ２方式に比べるとビットレートが低いため、ノイズ耐性が強く、放送局からの距離がより長くなっても良好に受信することが可能となる。
【００１３】
このワンセグ放送は、フレームレートを１５ＦＰＳ（フレーム／秒）、現行のテレビ放送の３０ＦＰＳの半分とすることでデータ量を削減している。そのため、ワンセグ放送を滑らかに表示するためには、受信装置側でフレームレートを上げ、フレームの間を補間する。
【実施例】
【００１４】
図１は、本発明の実施例であるワンセグ受信装置１の概要構成を説明する概要構成図である。同図に示したワンセグ受信装置１は、アンテナ１１、チューナ１２、映像記録媒体１３、切り替え部１４、デコーダ１５、フレームメモリ１６、表示部１７に加え、フレーム補間部２０を有する。
【００１５】
ワンセグ放送受信装置１は、アンテナ１１の受信波をチューナ１２が選択する。また、映像記録媒体１３には、任意の映像データ、例えば過去のワンセグ放送の録画データなどが保持されている。
【００１６】
切り替え部１４は、チューナ１２が受信したワンセグ放送とは映像記録媒体１３に保持された映像データのいずれか選択し、デコーダ１５に出力する。デコーダ１５は、切り替え部１４によって選択された映像データをデコードし、フレーム補間部２０に入力する処理を行なう。
【００１７】
ここで、デコーダ１５がフレーム補間部２０に入力する入力映像データは、約６０Ｈｚ、すなわち６０ＦＰＳである。しかしながら、元々の映像データ（受信したワンセグ放送）は、１５ＦＰＳであり、一秒間に１５回しかフレーム内容が更新されない。そこで、デコーダ１５は、元の映像データの各フレームを４回ずつ繰り返して出力することにより、内容更新は実質１５ＦＰＳではあるが、出力のレートについては６０ＦＰＳの入力映像データを作成する。
【００１８】
フレーム補間部２０は、デコーダ１５から入力された入力映像データをフレームメモリに格納し、かつ内容が変化したフレームから中間状態の内容を示す補間フレームを作成することで実質的なフレームレートを向上し、表示部１７に表示する処理を行なう。
【００１９】
このフレーム補間部２０による動作について図２を参照してさらに説明する。図２に示したように、入力映像データは、実質１５ＦＰＳの映像データが６０Ｈｚで入力されるため、正常動作時には４フレームずつ同じデータが入力される。図２においては、入力フレームｆｉ１〜ｆｉ４、ｆｉ５〜ｆｉ８、ｆｉ９〜ｆｉ１２がそれぞれ同一内容のフレームである。
【００２０】
そこで、フレームｆｉ１とフレームｆｉ５を抽出し、フレームｆｉ１とフレームｆｉ５の中間状態を示す補間フレームを作成してフレームｆｉ３とフレームｆｉ４の内容とする。同様に、フレームｆｉ５とフレームｆｉ９の中間状態を示す補間フレームをフレームｆｉ７とフレームｆｉ８の内容とし、フレームｆｉ９とフレームｆｉ１３を抽出し、フレームｆｉ９とフレームｆｉ１３の中間状態を示す補間フレームを作成してフレームｆｉ１１とフレームｆｉ２の内容とする。
【００２１】
このように、４フレームに１枚ずつ画像を抽出し、補間フレームを作成することで、実質的に３０ＦＰＳで内向が更新される、滑らかな映像を得ることができる。
【００２２】
ところが、同図に示したように、デコードの所要時間などから繰り返し回数が変動すると、同一内容のフレームから補間フレームを作成したり、間のフレームを飛ばしてフレーム補間を行ってしまうなどの補間エラーが発生し、映像品質が劣化する。
【００２３】
同図では、エラー発生時に入力フレームｆｉ１〜ｆｉ６、ｆｉ７〜ｆｉ８、ｆｉ９〜ｆｉ１２がそれぞれ同一内容のフレームとなっている。ここで、正常時と同様に４フレームごとに抽出した画像から補間フレームを作成することとすると、フレームｆｉ１とフレームｆｉ５から作成した補間フレームは、元のフレームと同一内容となって補間が機能しない。また、フレームｆｉ５とフレームｆｉ９から作成した補間フレームは、元の映像データの２フレーム目を飛ばして作成されることとなり、映像が劣化する恐れがある。
【００２４】
そこで、フレーム補間部２０は、図３に示したように前後のフレームのデータを比較し、データの不一致、すなわちフレーム内容の更新を検出してフレーム補間の動作を制御する。
【００２５】
フレーム補間部２０は、図１に示したように、その内部にフレーム取り込み部２１、補間処理部２２、フレーム比較部２３、カウンタ２４、補間動作制御部２５を有する。フレーム取り込み部２１は、デコーダ１５から入力された入力映像フレームを受け付け、フレームメモリ１６に格納する処理部であり、補間処理部２２は、フレームメモリ１６に格納されたデータを読み出し、補間を行ったうえで表示部１７に表示させる処理部である。
【００２６】
フレーム比較部２３は、フレーム取り込み部２１が受け付けた入力映像データについて、各フレームを前のフレームと比較し、内容が一致か否かを判定して出力する処理部である。
【００２７】
このフレーム比較部２３による比較には任意の方法を用いることができるが、ここでは、フレームの画素値の合計を比較する方法（チェックサム）と、フレームの各画素の値をフレーム間で比較する方法（ベリファイ）について説明する。
【００２８】
図４は、チェックサムによるフレーム比較について説明する説明図である。まず、偶数フレーム用のバッファメモリと、奇数フレーム用のバッファメモリとを用意しておく。そして、あるフレームについて有効データが得られた場合に、そのデータを加算し、合計値を保持しておく。次のフレームについても同様に有効データを加算し、有効データが終了した場合にデータの合計値を全フレームの合計値と比較する。その結果、合計値が一致すれば、全フレームと内容が同一であると判定し、不一致であればフレーム内容が更新されたと判定する。
【００２９】
ここで、加算対象のデータとしては、例えば輝度情報や、色情報を単独で用いることとしてもよいし、輝度情報と色情報を組み合わせて用いてもよい。
【００３０】
図５は、ベリファイによるフレーム比較について説明する説明図である。同図に示した方法では、最初のフレームについては単純にフレームメモリに記憶し、つぎのフレームを受け付けた場合に各画素（ドット）の値を、前回記憶したフレームの同一位置のドットの値と比較する。そして、全ての画素値が前のフレームと一致した場合にフレーム内容が同一であると判定し、画素値が異なるドットが存在する場合にはフレーム内容が更新されたと判定する。
【００３１】
図１に戻り、カウンタ２４は、フレーム比較部２３の結果として「一致」出力された場合に加算され、「不一致」が出力された場合にリセットされる。補間動作制御部２５は、カウンタ２４がリセットされる時の値、すなわちフレーム内容が更新されたタイミングに基づいて補間処理部２２の動作を制御する。補間動作制御部２５による具体的な制御内容としては、補間動作のオン／オフ制御や、補間に用いるフレームの取り込みタイミングの制御がある。
【００３２】
図６は、補間動作制御部２５が補間動作のオン／オフ制御を行なう場合の制御内容について説明する説明図である。同図に示した例では、フレームｆｉ１からフレームｆｉ５まで一致し、フレームｆｉ６で不一致判定が出力されている（フレームｆｉ６の入力が終了してから判定を出力するため、判定結果の出力タイミングはフレームｆｉ６の最後である）。そのため、不一致検知時のカウンタ値は「５」となっている。
【００３３】
入力映像データが正常に１５ＦＰＳで更新された場合には、不一致を検知した際のカウンタ値は常に４ｎ−１（ｎは自然数）を満たすので、カウンタ値「５」で不一致を検知した補間動作制御部２５は、入力映像データの更新が正常な１５ＦＰＳで行なわれていないと見なして補間動作を停止する。
【００３４】
その後、フレームｆｉ９までは一致判定が出力され、フレームｆｉ１０で不一致判定が出力されている。この時、カウンタ値は「３」であり、４ｎ−１を満たす。そこで補間動作制御部２５は、入力映像データの更新が正常な１５ＦＰＳで行なわれていると見なして補間動作を開始する。
【００３５】
図７は、補間動作制御部２５が補間に用いるフレームの取り込みタイミングの制御を行なう場合の制御内容について説明する説明図である。同図に示した例では、フレームｆｉ１からフレームｆｉ５まで一致し、フレームｆｉ６で不一致判定が出力されている。そのため、不一致検知時のカウンタ値は「５」となっている。
【００３６】
入力映像データが正常に１５ＦＰＳで更新された場合には、不一致を検知した際のカウンタ値は常に４ｎ−１（ｎは自然数）を満たすので、カウンタ値「５」で不一致を検知した補間動作制御部２５は、補間に用いるフレームの取り込みタイミングを変更する。
【００３７】
具体的には、不一致を検知したフレームｆｉ６を基点として４フレーム毎に補間用フレームを取り込むので、フレームｆｉ１０，ｆｉ１４，ｆｉ１８・・・が補間用フレームとして用いられることとなる。なお、フレームｆｉ６については既に入力が終了しており、取り込みが間に合わないので、次のフレームｆｉ７を代用とする。
【００３８】
つぎに図８を参照し、フレーム補間部２０の処理動作について説明する。同図に示したフローチャートは、フレーム補間部２０がデコーダ１５からフレームの入力を受けるごとに実行される。
【００３９】
まず、フレーム比較部２３は、フレーム取り込み部２１に入力されたフレームが１フレーム目であるか否かを判定し（ステップＳ１０１）、１フレーム目であるならば（ステップＳ１０２，Ｙｅｓ）、比較用のデータを格納して（ステップＳ１０２）処理を終了する。
【００４０】
一方、２フレーム目以降であるならば（ステップＳ１０１，Ｎｏ）、フレーム比較部２３は比較データを格納した上で（ステップＳ１０３）前後のフレームを比較し（ステップＳ１０４）、前後のフレームが一致するか否かを判定する（ステップＳ１０５）。
【００４１】
その結果、一致したならば（ステップＳ１０５，Ｙｅｓ）、カウンタ２４をインクリメントして（ステップＳ１０６）処理を終了するが、不一致であったならば（ステップＳ１０５，Ｎｏ）、補間動作制御部２５は、カウンタ２４の値が４ｎ−１を満たすか否かを判定する（ステップＳ１０７）。
【００４２】
カウンタの値が４ｎ−１を満たす場合（ステップＳ１０７，Ｙｅｓ）、補間動作制御部２５は、補間処理を実行中であるか否かを判定し（ステップＳ１０８）、補間処理実行中であれば（ステップＳ１０８，Ｙｅｓ）カウンタをリセットして（ステップＳ１１０）、処理を終了する。また、補間処理実行中でなければ（ステップＳ１０８，Ｎｏ）、補間処理を開始した（ステップＳ１０９）上で、カウンタをリセットして（ステップＳ１１０）処理を終了する。
【００４３】
カウンタの値が４ｎ−１を満さない場合（ステップＳ１０７，Ｎｏ）、補間動作制御部２５は、補間処理を実行中であるか否かを判定し（ステップＳ１１１）、補間処理実行中でなければ（ステップＳ１１１，Ｎｏ）カウンタをリセットして（ステップＳ１１０）、処理を終了する。また、補間処理実行中であれば（ステップＳ１１１，Ｙｅｓ）、補間処理を停止した（ステップＳ１１２）上で、カウンタをリセットして（ステップＳ１１０）処理を終了する。
【００４４】
なお、ここでは、補間動作のオンオフ制御を行なう場合の処理動作を説明したが、同様の処理によって補間用フレームの取り込みタイミング制御を実行することができる。
【００４５】
上述してきたように、本実施例に係るワンセグ受信装置１は、１５ＦＰＳのワンセグ映像データを元に、各フレームを繰り返して６０Ｈｚの入力映像データを作成した後、入力映像データの前後のフレーム内容が一致するか否かを判定してフレーム内容の変更タイミングを取得して補間動作を制御するので、デコーダ１５からフレーム補間部２０に専用の信号線などを設けることなく、低コストで映像品質を向上することができる。
【産業上の利用可能性】
【００４６】
以上のように、本発明にかかる映像補間装置および映像補間方法は、映像データのフレームレートを上げることによる品質向上に有用であり、特に低コストな装置での補間動作制御に適している。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施例であるワンセグ受信装置の概要構成を示す概要構成図である。
【図２】フレーム補間について説明する説明図である。
【図３】フレーム内容の比較に基づく補間動作制御について説明する説明図である。
【図４】チェックサムによるフレーム比較について説明する説明図である。
【図５】ベリファイによるフレーム比較について説明する説明図である。
【図６】フレーム比較結果による補間のオン／オフ制御について説明する説明図である。
【図７】フレーム比較結果による補間用フレームの取り込みタイミング制御について説明する説明図である。
【図８】フレーム補間部の処理同際について説明するフローチャートである。
【符号の説明】
【００４８】
１    ワンセグ受信装置
１１    アンテナ
１２    チューナ
１３    映像記録媒体
１４    切り替え部
１５    デコーダ
１６    フレームメモリ
１７    表示部
２０    フレーム補間部
２１    フレーム取り込み部
２２    補間処理部
２３    フレーム比較部
２４    カウンタ
２５    補間動作制御部
【図１】
2009239335.tif 000003
【図２】
2009239335.tif 000004
【図３】
2009239335.tif 000005
【図４】
2009239335.tif 000006
【図５】
2009239335.tif 000007
【図６】
2009239335.tif 000008
【図７】
2009239335.tif 000009
【図８】
2009239335.tif 000010