(57)【要約】【課題】画質を維持しつつ、低い処理量でフレーム補間を行う画像処理装置を提供する。【解決手段】動き検出部１３１は、時間的に連続する２つのフレームに基づいて、補間フレームFt-0.5を構成する各ブロックの動きベクトルを検出する。動きベクトル平滑化部１３２は、動き検出部１３１で検出した動きベクトルのうち、インパルスノイズ的な動きベクトルを除去する。エッジグループ作成部１３３は、復号フレームFtを参照フレームとしてこれを矩形ブロック単位に分割し、時間的なブロック間のエッジ相関および空間的なブロック間のエッジ相関をそれぞれ求め、相関の高いブロック同士をグループ化する。動きベクトル補正部１３４は、グループ化した結果とに基づいて、上記平滑化動きベクトルを、グループ化したブロックごとに共通する補正を行うようにしたものである。【選択図】図２
2009141614.tif 000002
【特許請求の範囲】
【請求項１】
符号化データを復号して得た動画像フレームを構成するブロック毎に、動きベクトルを検出する動きベクトル検出手段と、
前記ブロックに含まれるエッジを検出するエッジ検出手段と、
このエッジ検出手段が検出したエッジに基づいて、隣接するブロックをグループ化するグループ化手段と、
このグループ化手段がグループ化したグループ毎に、各ブロックの動きベクトルを補正する補正手段と、
この補正手段で補正された動きベクトルに基づいて、補間フレームを生成する信号生成手段と、
前記動画像フレームと前記補間フレームとを選択的に出力する出力手段とを具備することを特徴とする画像処理装置。
【請求項２】
前記信号生成手段は、
前記補正手段で補正された動きベクトルの信頼度を検出する信頼度検出手段と、
前記補正された動きベクトルから補償ブロックを生成する補償ブロック生成手段と、
前記信頼度検出手段が検出した信頼度に基づく割合で、前記補償ブロックと前記動画像フレームのブロックとを合成して補間フレームを生成する補間フレーム生成手段とを備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正手段は、前記グループ化手段がグループ化したグループのうち、属するブロックの数が予め設定した数以上のグループの各ブロックについて動きベクトルを補正することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記補正手段は、前記グループ化手段がグループ化したグループのうち、動きのないグループの各ブロックについて動きベクトルを補正することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記補正手段は、グループ毎にグループに属するブロックの動きベクトルに基づく値を求め、この値と差が予め設定した値を超える動きベクトルについて補正を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記補正手段は、グループ毎にグループに属するブロックの動きベクトルのうち、中間に最も近い動きベクトルを求め、この値と差が予め設定した値を超える動きベクトルについて補正を行うことを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像の品質を改善する画像処理装置に関する。
【背景技術】
【０００２】
周知のように、単位時間当たりの表示フレーム数を増加させる技術として、フレーム補間方法がある。このフレーム補間方法は、入力信号である動画像フレームからそれらフレーム間に存在するであろうフレームを予測・内挿することで、単位時間当たりの表示フレーム数を増加させるものであり、このフレーム補間によってフレーム間のつながりが滑らかになるだけでなく、表示のボケ感がなくなるなどの利点が得られる。
【０００３】
このようなフレーム補間の方法として、特許文献１では、エッジ情報を利用した動き検出を利用してフレーム補間を行っている。これによれば、エッジの微細な動きでのノイズや、補間後の隙間や重なり、ブロック歪みが発生しないという利点がある。しかしながら、携帯端末などに搭載されるプロセッサでは、処理能力の低いために適用は困難である。また、フレーム間のブロック一致領域と不一致領域を検出して、部分的な処理を行っているため補間処理が複雑になるなどの問題があった。
【特許文献１】特開２００４−１１２２２９公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来のフレーム補間方法では、処理能力の低いプロセッサでは適用が困難であったり、補間処理が複雑であるという問題があった。  
この発明は上記の問題を解決すべくなされたもので、画質を維持しつつ、処理量を削減したフレーム補間を行う画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、この発明は、符号化データを復号して得た動画像フレームを構成するブロック毎に、動きベクトルを検出する動きベクトル検出手段と、ブロックに含まれるエッジを検出するエッジ検出手段と、このエッジ検出手段が検出したエッジに基づいて、隣接するブロックをグループ化するグループ化手段と、このグループ化手段がグループ化したグループ毎に、各ブロックの動きベクトルを補正する補正手段と、この補正手段で補正された動きベクトルに基づいて、補間フレームを生成する信号生成手段と、動画像フレームと補間補間フレームとを選択的に出力する出力手段とを具備して構成するようにした。
【発明の効果】
【０００６】
以上述べたように、この発明では、ブロックに含まれるエッジに基づいて、隣接するブロックをグループ化し、このグループ毎に、各ブロックの動きベクトルを補正して補間フレームを生成するようにしている。  
したがって、この発明によれば、プロセッサの処理能力が低いにもかかわらず、エッジに基づくグループ毎に、エッジの微細な動きでのノイズや、補間後の隙間や重なり、ブロック歪みの発生を抑制できるので、画質を維持しつつ、処理量を削減したフレーム補間を行うことが可能な画像処理装置を提供できる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して、この発明の一実施形態について説明する。  
図１は、この発明の一実施形態に係わる画像処理装置を適用した移動無線端末装置の構成を示すブロック図である。この移動無線端末装置は、図１に示すように、主な構成要素として、制御部１００と、無線通信部１０と、表示部２０と、通話部３０と、操作部４０と、記憶部５０と、放送受信部６０とを備え、基地局装置ＢＳおよび移動通信網ＮＷを介した通信と、放送局ＢＣから送信される地上デジタル放送信号を受信する機能を備える。
【０００８】
無線通信部１０は、制御部１００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳと無線通信を行うものであって、音声データや電子メールデータなどの送受信、Ｗｅｂデータやストリーミングデータなどの受信を行う。  
表示部２０は、制御部１００の制御により、画像（静止画像および動画像）や文字情報などを表示して、視覚的にユーザに情報を伝達するものである。
【０００９】
通話部３０は、スピーカ３１やマイクロホン３２を備え、マイクロホン３２を通じて入力されたユーザの音声を音声データに変換して制御部１００に出力したり、通話相手などから受信した音声データを復号してスピーカ３１から出力するものである。  
操作部４０は、複数のキースイッチなどを備え、これを通じてユーザから指示を受け付けるものである。
【００１０】
記憶部５０は、制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。なお、記憶部５０は、ＨＤＤ、ＲＡＭ、ＲＯＭ、ＩＣメモリなどの１つ又は複数の記憶手段を含むものである。
【００１１】
放送受信部６０は、放送局ＢＣから送信される地上デジタル放送信号のうち、ワンセグメントを受信し、映像信号が、例えばH.264などの形式で符号化された放送データ（符号化ストリーム）を得る。
【００１２】
制御部１００は、マイクロプロセッサを備え、記憶部５０が記憶する制御プログラムや制御データにしたがって動作し、当該移動無線端末装置の各部を統括して制御し、音声通信やデータ通信を実現するものである。また制御部１００は、記憶部５０が記憶するアプリケーションソフトウェアにしたがって動作し、電子メールの送受信や、Ｗｅｂブラウジング、ダウンロードしたストリーミングデータに基づいて動画像を表示部２０に表示したり、音声通信を行う通信制御機能を備える。
【００１３】
さらに制御部１００は、放送受信部６０で得られた上記放送データを復号し、この復号結果に画像処理を施して、放送される映像を表示部２０に表示する放送受信機能を備える。この放送受信機能を実現するために、制御部１００は、分離部１１０と、動画像復号部１２０と、フレーム補間部１３０と、表示ドライバ１４０とを備える。この他に、図示しないが、分離部１１０で分離されたオーディオデータを復号するオーディオ復号部も備える。
【００１４】
分離部１１０は、無線通信部１０や放送受信部６０にて受信されたデータを、H.264などの形式で符号化された動画像データ、AACなどの形式でオーディオデータに分離し、そのうち、上記符号化された動画像データを動画像復号部１２０へ出力し、上記符号化されたオーディオデータを上記オーディオ復号部へ出力する。
【００１５】
動画像復号部１２０は、分離部１１０で分離された動画像の符号化データ（Video Elementary Stream）を復号し、これによって複数の動画像フレームFtで構成される動画像データを得る。なお、この時点で得られる動画像データのフレームレートは、１５Ｈｚである。
【００１６】
また動画像復号部１２０は、上記動画像フレームを構成するマクロブロック毎の量子化ステップQPおよび表示タイミングPTS（Presentation Time Stamp）を抽出する。動画像データは、フレーム補間部１３０と表示ドライバ１４０に出力される。
【００１７】
フレーム補間部１３０は、動画像フレームFtと１フレーム前の動画像フレームFt-1との間に存在するであろう補間フレームFt-0.5を生成するものであって、動き検出部１３１と、動きベクトル平滑化部１３２と、エッジグループ作成部１３３と、動きベクトル補正部１３４と、αブレンディング部１３５とを備える。
【００１８】
動き検出部１３１は、動画像復号部１２０にて得られた動画像データを少なくとも２フレーム分だけバッファするメモリを備え、時間的に連続する２つの動画像フレームに基づいて、矩形ブロック単位で補間フレームFt-0.5の動き検出、すなわち補間フレームFt-0.5を構成する各ブロックの動きベクトルを検出する。
【００１９】
具体的には、例えばBackward Searchと言われる手法に基づく場合、図３（ａ）に示すように、動画像フレームFtを参照フレームとしてこれを矩形ブロック単位に分割し、そして左上ブロックからラスタースキャン順に、バッファしておいた過去の動画像フレームFt-1と比較して、上記矩形ブロック単位で補間フレームFt-0.5の動き検出を行う。動き検出の際に用いる評価値は、差分絶対値和でもよいし、左記差分絶対値和に動きベクトルのバラツキ具合などを加えてもよい。
【００２０】
また図３（ｂ）に示すように、補間フレームFt-0.5を矩形ブロック単位に分割し、そして左上ブロックからラスタースキャン順に動き検出を行う。この際、補間フレームFt-0.5を基点とし、バッファしておいた（少なくとも）２枚の動画像フレームFt ，Ft-1への動きが対称となるよう動き検出を行う。
【００２１】
動きベクトル平滑化部１３２は、矩形ブロックごとに平滑化処理を実施して、動き検出部１３１で検出した動きベクトルのうち、インパルスノイズ的な動きベクトルを除去する。具体的な処理の一例としては、当該処理の対象となる矩形ブロック（以下、平滑化対象ブロックと称する）の動きベクトルと、平滑化対象ブロックに隣接している矩形ブロックの動きベクトルとを候補動きベクトル群Ｗ（MV1〜MVN）とし、この候補動きベクトル群Ｗのうち、基点とする動きベクトルMVi(iは1〜Nまで順次変更していく)を定め、このMViから他の候補動きベクトルMVj(MV1〜MVN)までの距離を算出し、それらの和(|MVi-MV1|+|MVi-MV2|+……+|MVi-MVN|)を算出する。そしてMVi(iは1〜Nまで)を変更して距離和が最小となる動きベクトルを求め、平滑化対象ブロックの動きベクトル（以下、平滑化動きベクトルと称する）として出力する。すなわち、下式に基づいて、平滑化動きベクトルを求める。
【数１】
2009141614.tif 000003
【００２２】
なお、上記隣接しているブロックとは、時間方向に隣接したブロックや、空間方向に隣接したブロックであって、このうち、一方のブロックの動きベクトルを参照するようにしてもよいし、両方のブロックの動きベクトルを参照してもよい。
【００２３】
エッジグループ作成部１３３は、動画像フレームFtを参照フレームとしてこれを矩形ブロック単位に分割し、そして左上ブロックからラスタースキャン順にエッジ検出を行って、この検出結果と過去の復号フレームから検出したエッジとに基づいて、時間的なブロック間のエッジ相関および空間的なブロック間のエッジ相関をそれぞれ求め、相関の高いブロック同士をグループ化する。なお、このようなエッジグループ作成は、必ずしも全てのフレームについて行う必要はなく、動き検出部１３１の検出結果に基づいて必要と判定したフレームについてのみ処理を行うようにしてもよい。
【００２４】
図４乃至図６に示すフローチャートを参照して、エッジグループ作成部１３３によるエッジグループ作成処理の一例について説明する。  
ステップ４ａにおいてエッジグループ作成部１３３は、動画像フレームFtを参照フレームとしてこれを矩形ブロック単位に分割し、そして左上ブロックからラスタースキャン順にエッジ検出を行う。そして、エッジグループ作成部１３３は、内部に備えたメモリに、ブロック毎に、検出したエッジの方向を示すタイプ情報を記録し、ステップ４ｂに移行する。なお、各ブロックのタイプ情報は、動画像フレームFtと１フレーム前の動画像フレームFt-1の時間的に連続する少なくとも２フレーム分を記憶する。
【００２５】
ステップ４ｂにおいてエッジグループ作成部１３３は、ステップ４ａの検出結果と、過去の動画像フレームFt-1から検出したエッジとに基づいて、動画像フレームFtの左上ブロックからラスタースキャン順に、２つの動画像フレームの時間的なブロック間のエッジ相関を求め、相関の高いブロック同士をグループ化する処理を実行し、ステップ４ｃに移行する。図５は、ステップ４ｂの処理をより詳細に示すものであって、この図に示す処理をブロックごとに実施する。以下、図５を参照して説明する。なお、以下の説明では、処理の対象となるブロックを対象ブロックと称する。
【００２６】
ステップ５ａにおいてエッジグループ作成部１３３は、対象ブロック内で検出したエッジのタイプ情報と、この対象ブロックに対応する１フレーム前の動画像フレームFt-1のブロック（以下、前時間ブロックと称する）内で検出したエッジのタイプ情報とを比較し、両ブロックのエッジのタイプ情報が同一であるか否かを判定する。ここで、タイプ情報が同一の場合には、ステップ５ｃに移行し、一方、タイプ情報が同一でない場合には、ステップ５ｂに移行する。
【００２７】
ステップ５ｂにおいてエッジグループ作成部１３３は、対象ブロックに対して、前時間ブロックとグループ化を行わない旨を示すフラグ「０」を設定して、当該処理を終了する。なお、当該処理を施していないブロックが存在する場合には、そのブロックを対象ブロックとしてステップ５ａから再び当該処理を実施する。
【００２８】
ステップ５ｃにおいてエッジグループ作成部１３３は、対象ブロックに対して、前時間ブロックとグループ化を行う旨を示すフラグ「１」を設定して、当該処理を終了する。なお、当該処理を施していないブロックが存在する場合には、そのブロックを対象ブロックとしてステップ５ａから再び当該処理を実施する。
【００２９】
再び図４を参照して、ステップ４ｃについて説明する。  
ステップ４ｃにおいてエッジグループ作成部１３３は、ステップ４ａの検出結果に基づいて、動画像フレームFtの左上ブロックからラスタースキャン順に、動画像フレームFtで空間的に隣接するブロック間のエッジ相関を求め、相関の高いブロック同士をグループ化する処理を実行し、当該処理を終了する。図６は、ステップ４ｃの処理をより詳細に示すものであって、この図に示す処理をブロックごとに実施する。以下、図６を参照して説明する。なお、以下の説明では、処理の対象となるブロックを対象ブロックと称する。
【００３０】
ステップ６ａにおいてエッジグループ作成部１３３は、対象ブロック内で検出したエッジのタイプ情報と、この対象ブロックに空間的に隣接するブロック（以下、隣接ブロックと称する）内で検出したエッジのタイプ情報とを比較し、両ブロックのエッジのタイプ情報が同一であるか否かを判定する。ここで、タイプ情報が同一の場合には、ステップ６ｂに移行し、一方、タイプ情報が同一でない場合には、当該処理を終了する。なお、当該処理を施していないブロックが存在する場合には、そのブロックを対象ブロックとしてステップ６ａから再び当該処理を実施する。
【００３１】
ステップ６ｂにおいてエッジグループ作成部１３３は、対象ブロックに対して、エッジのタイプ情報が同一な隣接ブロックとグループ化を行う旨を示すフラグ「１」を設定して、当該処理を終了する。なお、当該処理を施していないブロックが存在する場合には、そのブロックを対象ブロックとしてステップ６ａから再び当該処理を実施する。
【００３２】
動きベクトル補正部１３４は、動きベクトル平滑化部１３２で求めた平滑化動きベクトルと、エッジグループ作成部１３３でグループ化した結果とに基づいて、上記平滑化動きベクトルを、グループ化したブロックごとに共通する補正を行う。なお、細かいエッジについては補正の対象から外すために、グループ化されたブロック数が予め設定した数（閾値THBlock）以上のグループについてのみ上記補正を行う。
【００３３】
より具体的には、図７に示すような処理によって上記平滑化動きベクトルをグループ毎に補正する。以下、図７を参照して説明する。なお、以下の説明では、処理の対象となるグループを対象グループと称する。
【００３４】
まずステップ７ａにおいて動きベクトル補正部１３４は、ステップ４ｃのグループ化処理の結果に基づいて、対象グループが空間的に予め設定した閾値THBlock以上のブロックが連続するグループであるか否か、すなわち閾値THBlock以上のブロックに連続するエッジを有するグループであるか否かを判定する。
【００３５】
ここで、閾値THBlock以上のブロックにエッジが連続するグループである場合には、ステップ７ｂに移行し、一方、閾値THBlock以上のブロックにエッジが連続しないグループである場合には、当該処理を終了する。なお、当該処理を施していないグループが存在する場合には、そのグループを対象グループとしてステップ７ａから再び当該処理を実施する。
【００３６】
ステップ７ｂにおいて動きベクトル補正部１３４は、ステップ４ｂのグループ化処理の結果に基づいて、対象グループが時間的に動きが生じていないグループであるか否か、すなわち後段のステップ７ｃで求めるメディアン値の信頼性が高いグループであるか否かを判定する。
【００３７】
ここで、対象グループが時間的に動きが生じていないグループである場合には、ステップ７ｃに移行し、一方、対象グループが時間的に動きが生じているグループである場合には、当該処理を終了する。なお、当該処理を施していないグループが存在する場合には、そのグループを対象グループとしてステップ７ａから再び当該処理を実施する。
【００３８】
ステップ７ｃにおいて動きベクトル補正部１３４は、対象グループを構成する各ブロックの平滑化動きベクトルに基づいて、ノイズ要素となっている動きベクトルを求めるために、メディアン値となる動きベクトルMVmedianを算出し、ステップ７ｄに移行する。
【００３９】
ステップ７ｄにおいて動きベクトル補正部１３４は、対象グループを構成する各ブロックについて、その平滑化動きベクトルとステップ７ｃで求めた動きベクトルMVmedianの差をそれぞれ求め、ステップ７ｅに移行する。
【００４０】
ステップ７ｅにおいて動きベクトル補正部１３４は、ステップ７ｄで求めた差が予め設定した閾値THMVを超えるブロックについて、その平滑化動きベクトルをMVmedianに補正し、当該処理を終了する。なお、当該処理を施していないグループが存在する場合には、そのグループを対象グループとしてステップ７ａから再び当該処理を実施する。
【００４１】
αブレンディング部１３５は、動きベクトル補正部１３４で補正された平滑化動きベクトルに基づいて、画像の統計量、歪みおよび動きベクトルの各連続性から補正された平滑化動きベクトルの信頼度を算出する。そして、αブレンディング部１３５は、上記補正された平滑化動きベクトルに基づいて、補間フレームを構成する補償ブロックを生成する。そして、これらのブロックを対応するもの同士で合成して、補間フレームFt-0.5を生成する。なお、この合成の際に、上記信頼度に基づく合成比で合成する。
【００４２】
表示ドライバ１４０は、動画像復号部１２０から与えられる動画像フレームFtと、フレーム補間部１２０から与えられる補間フレームFt-0.5とをバッファメモリに記憶し、これらのフレームを交互に表示部２０に出力する。動画像フレームFtおよび補間フレームFt-0.5は、それぞれフレームレートが１５Ｈｚであるが、これらを表示ドライバ１４０が交互に出力することで３０Ｈｚのフレームレートの動画像データを出力することができる。そして、表示部２０は、３０Ｈｚのフレームレートの動画像データを表示する。
【００４３】
以上のように、上記構成の画像処理装置では、フレーム補間部１３０で補間フレームFt-0.5を生成するにあたって、動画像フレームを構成するブロックに含まれるエッジの時間的な相関と空間的な相関を求めてブロックをグループ化し、グループ毎に動きベクトルを補正して補間フレームFt-0.5を生成するようにしている。
【００４４】
したがって、上記構成の画像処理装置によれば、従来の手法に比べてプロセッサに要求される処理能力が低いにもかかわらず、エッジに基づくグループ毎に、エッジの微細な動きでのノイズや、補間後の隙間や重なり、ブロック歪みの発生を抑制できる。すなわち、画質を維持しつつ、処理量を削減したフレーム補間を行うことができる。
【００４５】
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【００４６】
その一例として例えば、上記実施の形態では、図７に示したように、空間的に連続するエッジのブロック数が閾値THBlock以上で、かつ時間的に動きが生じていないエッジを有するブロックに対して、動きベクトルを補正するようにした。これに代わって例えば、空間的に連続するエッジのブロック数が閾値THBlock以上か、あるいは時間的に動きが生じていないエッジを有するブロックに対して、動きベクトルを補正するようにしてもよい。
【００４７】
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
【図面の簡単な説明】
【００４８】
【図１】この発明に係わる画像処理装置の一実施形態を適用した移動無線端末装置の構成を示す回路ブロック図。
【図２】図１に示した画像処理装置の構成を示す回路ブロック図。
【図３】図２に示したフレーム補間部の補間処理を説明するための図。
【図４】図２に示したエッジグループ作成部のグループ作成処理を説明するためのフローチャート。
【図５】図４に示したエッジ時間相関の検出処理を説明するためのフローチャート。
【図６】図４に示したエッジ空間相関の検出処理を説明するためのフローチャート。
【図７】図２に示した動きベクトル補正部の補正処理を説明するためのフローチャート。
【符号の説明】
【００４９】
１０…無線通信部、２０…表示部、３０…通話部、３１…スピーカ、３２…マイクロホン、４０…操作部、５０…記憶部、６０…放送受信部、１００…制御部、１１０…分離部、１２０…動画像復号部、１３０…フレーム補間部、１３１…検出部、１３２…ベクトル平滑化部、１３３…エッジグループ作成部、１３４…ベクトル補正部、１３５…ブレンディング部、１４０…表示ドライバ、ＢＣ…放送局、ＢＳ…基地局装置、ＮＷ…移動通信網。
【図１】
2009141614.tif 000004
【図２】
2009141614.tif 000005
【図３】
2009141614.tif 000006
【図４】
2009141614.tif 000007
【図５】
2009141614.tif 000008
【図６】
2009141614.tif 000009
【図７】
2009141614.tif 000010