(57)【要約】【課題】連続する２フレーム間でフレーム画像中の一部が移動する場合のフレーム補間において、自然な補間フレーム画像を生成可能とする。【解決手段】連続する二つのフレームである前後フレームの間を補う補間フレームを生成するにあたり、前後フレームの間で動きのあるオブジェクトを含む領域を前後フレームの各々から抽出して動きオブジェクト画像を得、前後フレームの各々の領域に基づいて領域の動き方向を判断し、前後フレームの各々から抽出された動きオブジェクト画像における背景の透け度合いである透過度を算出し、前後フレームの各々から抽出された動きオブジェクト画像と透過度と所定の閾値とに基づいて補間オブジェクトを生成する生成手段を決定し、当該決定した生成手段により補間オブジェクトを生成し、前後フレームのいずれかから補間オブジェクトの背景とする背景画像を生成し、補間オブジェクトと背景画像とから補間フレームを生成する。【選択図】図６
2020154732.tif 000002
【特許請求の範囲】
【請求項１】
入力される動画の連続する二つのフレームである前後フレームの間を補う補間フレームを生成する画像処理装置であって、
前記前後フレームの間で動きのあるオブジェクトを含む領域を前記前後フレームの各々から抽出して動きオブジェクト画像を得るオブジェクト抽出部と、
前記前後フレームの各々の前記領域に基づいて、前記領域の動き方向を判断するオブジェクト動き判定部と、
前記前後フレームの各々から抽出された前記動きオブジェクト画像における背景の透け度合いである透過度を算出する透過度算出部と、
前記前後フレームの各々から抽出された前記動きオブジェクト画像と前記透過度と所定の閾値とに基づいて、補間オブジェクトを生成する生成手段を決定する補間オブジェクト生成手段決定部と、
前記補間オブジェクト生成手段決定部が決定した生成手段により前記補間オブジェクトを生成する補間オブジェクト生成部と、
前記前後フレームのいずれかから前記補間オブジェクトの背景とする背景画像を生成するオブジェクト周辺画像抽出部と、
前記補間オブジェクトと前記背景画像とから前記補間フレームを生成する画像合成部と、
を備える画像処理装置。
【請求項２】
前記透過度は、前記動きオブジェクト画像のばらつき度合いを示す標準偏差である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補間オブジェクト生成手段決定部は、前記前後フレームの各々の前記動きオブジェクト画像における前記透過度が前記所定の閾値より高い場合、前記前フレームの前記動きオブジェクト画像と前記後フレームの前記動きオブジェクト画像とのうち、前記透過度がより低い方の前記動きオブジェクト画像を、前記補間オブジェクト生成部における前記補間オブジェクトの生成に用いると決定する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記補間オブジェクト生成手段決定部は、前記前後フレームの各々の前記動きオブジェクト画像における前記透過度が前記所定の閾値より低い場合、前記前フレームの前記動きオブジェクト画像と前記後フレームの前記動きオブジェクト画像とのいずれかを、前記補間オブジェクト生成部における前記補間オブジェクトの生成に用いると決定する
ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
入力される動画の連続する二つのフレームである前後フレームの間を補う補間フレームを生成する画像処理方法であって、
前記前後フレームの間で動きのあるオブジェクトを含む領域を前記前後フレームの各々から抽出して動きオブジェクト画像を得るオブジェクト抽出工程と、
前記前後フレームの各々の前記領域に基づいて、前記領域の動き方向を判断するオブジェクト動き判断工程と、
前記前後フレームの各々から抽出された前記動きオブジェクト画像における背景の透け度合いである透過度を算出する透過度算出工程と、
前記前後フレームの各々から抽出された前記動きオブジェクト画像と前記透過度と所定の閾値とに基づいて、補間オブジェクトを生成する生成手段を決定する補間オブジェクト生成手段決定工程と、
前記補間オブジェクト生成手段決定工程において決定した生成手段により前記補間オブジェクトを生成する補間オブジェクト生成工程と、
前記前後フレームのいずれかから前記補間オブジェクトの背景とする背景画像を生成するオブジェクト周辺画像抽出工程と、
前記補間オブジェクトと前記背景画像とから前記補間フレームを生成する画像合成工程と、
を含む画像処理方法。
【請求項６】
入力される動画の連続する二つのフレームである前後フレームの間を補う補間フレームを生成する画像処理を行うためのプログラムであって、
前記前後フレームの間で動きのあるオブジェクトを含む領域を前記前後フレームの各々から抽出して動きオブジェクト画像を得るオブジェクト抽出手段と、
前記前後フレームの各々の前記領域に基づいて、前記領域の動き方向を判断するオブジェクト動き判断手段と、
前記前後フレームの各々から抽出された前記動きオブジェクト画像における背景の透け度合いである透過度を算出する透過度算出手段と、
前記前後フレームの各々から抽出された前記動きオブジェクト画像と前記透過度と所定の閾値とに基づいて、補間オブジェクトを生成する生成手段を決定する補間オブジェクト生成手段決定手段と、
前記補間オブジェクト生成手段決定手段において決定した生成手段により前記補間オブジェクトを生成する補間オブジェクト生成手段と、
前記前後フレームのいずれかから前記補間オブジェクトの背景とする背景画像を生成するオブジェクト周辺画像抽出手段と、
前記補間オブジェクトと前記背景画像とから前記補間フレームを生成する画像合成手段と、
を含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、動画内の連続する２フレーム間の動きベクトルをブロックごとに検出し、動きベクトルを用いて補間フレームを作成し、元のフレーム間に挿入することで高フレームレート化する、いわゆるフレーム補間技術が知られている。
【０００３】
上記技術としては、例えば、特許文献１に開示された技術がある。当該文献には、２フレーム間の補間フレームを作成する際に、２フレーム間における動きベクトルを算出して、前後フレームそれぞれで動きベクトルを１／２にしたときの画像を作成して平均化することで補間フレームを作成する装置が記載されている。
【０００４】
また、特許文献２には、ある時点のフレーム画像から移動体画像を矩形に切り抜き、切り抜かれたフレーム画像から背景画像を作成し、作成した背景画像に、別な時点の移動体の動きを予測して、切り抜いた移動体画像を上書きすることで、２フレーム間を補う補間フレーム画像を得る画像処理装置が記載されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の文献が開示するような従来の技術によるフレーム補間であると、例えば、離れた場所でＰＣ（Personal  Computer、パソコン）の画面を共有し、送受信データ量を抑えつつ受信側でマウスポインタの動きを滑らかに見せようとする場合に、課題が残る。マウスポインタの動きを滑らかにするには、補間フレーム画像の材料とするフレーム画像からマウスポインタが含まれる部分を切り取ってマウスポインタ画像とし、切り取った残りを背景画像とし、マウスポインタ画像を背景画像に対して移動させて重ねたものを補間フレーム画像にする。この場合、マウスポインタ画像に文字や画像の一部が含まれたり透けて見えたりしていると、それらがマウスポインタとともに一瞬移動して見え、その後に消えるようになり、不自然なフレーム補間となってしまう。
【０００６】
本発明は、上記に鑑みてなされたものであって、連続する２フレーム間でフレーム画像中の一部が移動する場合のフレーム補間において、自然な補間フレーム画像を生成することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、入力される動画の連続する二つのフレームである前後フレームの間を補う補間フレームを生成する画像処理装置であって、前記前後フレームの間で動きのあるオブジェクトを含む領域を前記前後フレームの各々から抽出して動きオブジェクト画像を得るオブジェクト抽出部と、前記前後フレームの各々の前記領域に基づいて、前記領域の動き方向を判断するオブジェクト動き判定部と、前記前後フレームの各々から抽出された前記動きオブジェクト画像における背景の透け度合いである透過度を算出する透過度算出部と、前記前後フレームの各々から抽出された前記動きオブジェクト画像と前記透過度と所定の閾値とに基づいて、補間オブジェクトを生成する生成手段を決定する補間オブジェクト生成手段決定部と、前記補間オブジェクト生成手段決定部が決定した生成手段により前記補間オブジェクトを生成する補間オブジェクト生成部と、前記前後フレームのいずれかから前記補間オブジェクトの背景とする背景画像を生成するオブジェクト周辺画像抽出部と、前記補間オブジェクトと前記背景画像とから前記補間フレームを生成する画像合成部と、を備える。
【発明の効果】
【０００８】
本発明によれば、連続する２フレーム間でフレーム画像中の一部が移動する場合のフレーム補間において、自然な補間フレーム画像を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、第１の実施形態における画像処理システム１０００の構成図である。
【図２−１】図２−１は、前フレームの一例を示す図である。
【図２−２】図２−２は、補間フレームの一例を示す図である。
【図２−３】図２−３は、補間フレームの一例を示す図である。
【図３】図３は、第１の実施形態におけるユーザデバイス１００のハードウェア構成図である。
【図４】図４は、第１の実施の形態におけるユーザデバイス１００の機能ブロック図である。
【図５】図５は、フレーム補間部１２の機能について説明する図である。
【図６】図６は、補間フレームの生成方法の違いについて説明する図である。
【図７】図７は、フレーム補間部１２が補間フレームを生成する処理の流れの一例を示すフローチャートである。
【図８】図８は、フレーム補間部１２が補間オブジェクト生成手段を決定する処理の流れの一例を示すフローチャートである。
【図９】図９は、動きオブジェクト画像（ポインタ切取画像）から標準偏差Ｓ１（或いはＳ１´）を算出する際の具体例について説明する図である。
【発明を実施するための形態】
【００１０】
以下、添付の図面に基づき、本発明の実施形態について説明する。なお、本発明の実施形態を説明するための各図面において、同一の機能もしくは形状を有する部材や構成部品等の構成要素については、判別が可能な限り同一符号を付すことにより一度説明した後ではその説明を省略する。
【００１１】
図１は、第１の実施形態における画像処理システム１０００の構成例を示す図である。図１に示されるように、画像処理システム１０００は、画像処理装置であるユーザデバイス１００ａ〜１００ｅ、サーバ２００、投影装置２０１、及びネットワーク３００を含む。ユーザデバイスは、ネットワーク３００を介して、他のユーザデバイス１００及びサーバ２００と接続されている。
【００１２】
ユーザデバイス１００ａ〜１００ｅは、ネットワーク３００経由で、他のユーザデバイス１００ａ〜１００ｅから動画データを受信して、後述するような画像処理方法でフレーム補間処理を行い、補間処理後の動画を表示可能なデバイスである。また、ユーザデバイス１００ａ〜１００ｅは、サーバ２００から受信した動画データについても、後述するようにフレーム補間処理を行い、補間処理後の動画を表示可能なデバイスである。
【００１３】
ユーザデバイス１００ａおよび１００ｂは、例えば、ＰＣ（Personal  Computer）、タブレットＰＣ又はスマートフォン等である。ユーザデバイス１００ｂには投影装置２０１が接続されている。
【００１４】
投影装置２０１は、例えば、プロジェクタであり、ユーザデバイス１００ｂから出力される信号を受けて、画像を投影する。なお、投影装置２０１は、直接ネットワーク３００と接続されて動画データを受信して、画像を投影してもよい。
【００１５】
ユーザデバイス１００ｃはネットワーク３００経由で受信した動画データを表示可能なディスプレイである。
【００１６】
ユーザデバイス１００ｄは、ディスプレイと音声デバイスとを備え、ネットワーク３００経由で受信した動画データおよび音声データを再生することが可能なネットワーク会議デバイスである。
【００１７】
ユーザデバイス１００ｅは、ネットワーク３００経由で受信した動画データを表示可能なディスプレイを備える電子黒板である。
【００１８】
以降ユーザデバイス１００ａ〜１００ｅをそれぞれ区別しない場合は、ユーザデバイス１００と呼ぶことがある。
【００１９】
サーバ２００は、動画データをネットワーク３００経由でユーザデバイス１００に送信する機能を有する。例えば、テレビ会議の多地点制御装置であり、あるユーザデバイス１００からカメラで撮影した動画データや、オフィス文書等が操作されるＰＣ画面の動画データを受信し、それら動画データを、ネットワーク３００を介して他のユーザデバイス１００に送信可能である。
【００２０】
なおユーザデバイス１００ａ〜１００ｅは前述した通り、少なくともネットワーク３００経由で受信した動画データを表示、再生可能であるが、自らが動画データや音声データをネットワーク３００経由、またはネットワーク３００とサーバ２００経由で配信する機能を有していてもよい。
【００２１】
ここで、本画像処理システム１０００において、ユーザデバイス１００ａおよび１００ｂはＰＣ機能を有しているため、サーバ２００およびネットワーク３００を利用してＰＣで操作している画面を動画データとして他のユーザデバイスに送信することができる。つまりユーザデバイス１００ａおよび１００ｂにおいてＰＣ操作されている画面は動画データとして、他デバイスと共有することができる。この状態を特にＰＣ画面共有モードと呼ぶことがある。
【００２２】
図１においては、ユーザデバイス１００ａおよび１００ｂがＰＣ画面共有モードにおいて共有する画面を提供する側として動作することもでき、また受信する側として動作することもできる。それに対し図１におけるユーザデバイス１００ｃ、１００ｄ、１００ｅは、受信する側として動作する。しかしこれに限られず、ユーザデバイス１００ｃ、１００ｄ、１００ｅであってもそれぞれのＩ／Ｆ（Interface）を用いてＰＣと接続することにより、提供する側および受信する側の両方として動作することが可能となる。
【００２３】
本実施形態は、ＰＣ画面共有モードにおいて、送信側から低フレームレートで送信し、受信側で高フレームレート化する際に、画質異常が発生しないようなフレーム補間を行う場合の画像処理の一例である。本実施形態では、静止した背景に対して動きのあるオブジェクトの一例をマウスポインタとし、マウスポインタを囲む矩形で区切られた領域を抽出して得る画像を、動きオブジェクト画像の一例とする。
【００２４】
本実施形態では、動画内の連続する２フレーム間でマウスポインタの動きを検出し、各フレーム画像から矩形抽出したマウスポインタを含む画像（ポインタ切取画像、動きオブジェクト画像の一例）を用いて、補間フレームを生成する。
【００２５】
図２−１は、前フレームの一例を示す図である。図２−２および図２−３は、補間フレームの一例を示す図である。補間フレーム生成に際し、従来であれば、ポインタ切取画像に背景（文字など）が透けていたり含まれたりしていると（図２−１参照）、それらが補間フレームで違う位置に表示されるので（図２−２および図２−３参照）、不自然なフレーム補間となってしまい（画質異常）、不都合である。本実施形態では上述のような不都合を軽減して自然なフレーム補間とするため、ポインタ切取画像の取得元を複数から選択可能にし、より適する方を補間フレームに採用する。
【００２６】
図３は、第１の実施形態におけるユーザデバイス１００のハードウェア構成図である。ユーザデバイス１００は、それぞれ相互に接続されているＣＰＵ（Central  Processing  Unit）１０１、表示装置１０２、ＲＯＭ（Read  Only  Memory）１０３、ＲＡＭ（Random  Access  Memory）１０４、通信Ｉ／Ｆ１０５、記憶装置１０６及び入出力Ｉ／Ｆ１０７等を備える。
【００２７】
ユーザデバイス１００での処理を実現するプログラムは、ＲＯＭ１０３又は記憶装置１０６に格納される。記憶装置１０６は、一例としてＨＤＤ（Hard  Disc  Drive）等の記憶媒体であり、インストールされたプログラムを格納すると共に、必要なデータを格納する。記憶装置１０６は、その他の例として、外部記憶媒体がユーザデバイス１００に装着されたものであってもよい。
【００２８】
ＲＡＭ１０４は、プログラムの起動指示があった場合に、ＲＯＭ１０３又は記憶装置１０６からプログラムを読み出して格納する。ＣＰＵ１０１は、ＲＡＭ１０４に格納されたプログラムに従ってユーザデバイス１００に係る機能を実現する。
【００２９】
表示装置１０２は、ユーザデバイス１００が備える表示装置であり、例えば、液晶ディスプレイ、タッチパネルディスプレイ、有機ＥＬ（Electro  Luminescence）、またプロジェクタ等の投影装置であってもよい。
【００３０】
通信Ｉ／Ｆ１０５は、他のユーザデバイス１００又はサーバ２００等とネットワーク３００を介して通信を行うための有線又は無線のインタフェースである。
【００３１】
入出力Ｉ／Ｆ１０７は、ＵＳＢ（Universal  Serial  Bus）機器、ハードウェアキー、状態通知用ＬＥＤ、液晶ディスプレイ等の様々な入出力装置との接続を行うためのインタフェースである。
【００３２】
そして、ユーザデバイス１００は、上述のハードウェア構成に加え、カメラ、スキャナ、プリンタ、キーボード、マウス、マイク、スピーカ、電子ペンなどそれぞれのデバイス特有のハードウェア構成を備える。
【００３３】
なお、サーバ２００も図２と同様のハードウェア構成を備えるものであってよい。
【００３４】
図４は、第１の実施形態におけるユーザデバイス１００の機能ブロック図である。ユーザデバイス１００は、蓄積部１１、フレーム補間部１２、画像表示部１３を含む。これら各部は、ユーザデバイス１００にインストールされた１以上のプログラムがＣＰＵ１０１に実行させる処理により実現される。
【００３５】
蓄積部１１は、ネットワーク３００から時系列で順次入力される動画を、最新フレームから連続する過去フレームまで遡って所定のフレーム数分、蓄積する。フレームは、例えば、所定の水平解像度及び垂直解像度を有し、１ドットがＲＧＢの３色で、各色の色深度は８ｂｉｔであるカラー画像データである。色深度のビット数は、８ｂｉｔに限られず１６ｂｉｔ等さらに大きくてもよい。また、フレームは、ＹＵＶ（ＹＣｂＣｒ）のような輝度色差信号のデータ形式で記録されていてもよい。
【００３６】
フレーム補間部１２は、蓄積部１１から読み出した複数の入力フレームに基づいて、最新フレームと１つ前のフレームの間に挿入する補間フレームを生成する。ここで、補間するフレーム数は１枚でも複数枚でもよい。なお、連続するフレームを、Ｎを整数として、Ｎ−１フレーム、Ｎフレーム、Ｎ＋１フレーム…と呼ぶことがある。
【００３７】
また、連続する二つの入力フレーム、一例としてＮ−１フレームとＮフレームを合わせて前後フレームと呼ぶことがある。そして連続する二つの入力フレームのうち最新の方のフレーム、つまりＮフレームを後フレームと呼び、１つ前のフレーム、つまりＮ−１を前フレームと呼ぶことがある。この時連続する二つの入力フレームの間に補間フレームが挿入されている場合は、補間フレームの直前の入力フレームが前フレームであるＮ−１フレームであり、補間フレームの直後の入力フレームが後フレームであるＮフレームである。
【００３８】
画像表示部１３は、入力されたフレーム間に補間フレームが挿入された動画を、ユーザデバイス１００が備える表示装置１０２、又は投影装置２０１に、補間処理後の動画を順次出力又は表示する。
【００３９】
図５は、フレーム補間部１２の機能について説明する図である。フレーム補間部１２は、オブジェクト抽出部１２０、オブジェクト動き判定部１２１、オブジェクト透過度算出部１２２、補間オブジェクト生成手段決定部１２３、補間オブジェクト生成部１２４、オブジェクト周辺画像抽出部１２５、画像合成部１２６を含む。
【００４０】
オブジェクト抽出部１２０は、蓄積部１１から入力される複数のフレームから、動きオブジェクトの位置情報および、動きオブジェクトの画像データ（動きオブジェクト画像、より具体的にはポインタ切取画像）を抽出する。本実施形態では、補間フレームの差込み対象である連続する２フレームを、動きオブジェクト画像の取得元とする。つまり本実施形態では、連続する２フレームの時系列的に前のフレームだけでなく後のフレームからも、マウスポインタを含む画像を切り取る。
【００４１】
オブジェクト動き判定部１２１は、オブジェクト抽出部１２０から得られる動きオブジェクトの位置情報から、フレーム前後で動きオブジェクトの動きがあるか、あればその方向をも、判定する。
【００４２】
オブジェクト透過度算出部１２２は、オブジェクト抽出部１２０から得られる動きオブジェクト画像を解析し、背景透け度合いを算出する。背景透け度合いは、例えば標準偏差といった画像特徴量である。
【００４３】
補間オブジェクト生成手段決定部１２３は、オブジェクト透過度算出部１２２から得られる各動きオブジェクトの背景透け度合いと、所定の閾値とから、補間オブジェクト生成手段を決定する。ここで、補間オブジェクトは、補間フレームの生成に用いる動きオブジェクトである。補間オブジェクト生成手段決定部１２３は、例えば、動きオブジェクトの背景の透け度合いと所定の閾値とを比較して閾値を下回れば背景が透けていないとする。
【００４４】
補間オブジェクト生成部１２４は、オブジェクト動き判定部１２１において判定した動き方向と、補間オブジェクト生成手段決定部１２３が決定した補間オブジェクト生成手段と、オブジェクト抽出部１２０から得られる動きオブジェクト画像を用いて、補間オブジェクト画像を生成する。
【００４５】
より具体的には、補間オブジェクト生成部１２４は、例えば、前フレームと後フレームとのいずれかが背景が透けてない場合には、背景が透けていない方の動きオブジェクト画像を補間オブジェクトとする。また、前フレームと後フレームとの両方とも背景が透けていた場合、補間オブジェクト生成部１２４は、いずれかの動きオブジェクト画像に対して背景が目立たないように修正し、それを補間オブジェクトとする。
【００４６】
ここで図６は、補間フレームの生成方法の違いについて説明する図である。本実施形態では、前フレームおよび後フレームの動きオブジェクト画像（ポインタ切取画像）の様子の組み合わせを、次のＡ〜Ｄの４種類に分けて考える。
Ａ：前フレームおよび後フレームのいずれでも背景が透けていない
Ｂ：前フレームでは背景が透けて見える
Ｃ：後フレームでは背景が透けて見える
Ｄ：前フレームおよび後フレームのいずれでも背景が透けて見える
上記Ａ〜Ｄの４つの場合の補間フレームの生成例は以下の通りである。
【００４７】
Ａの場合（前フレームおよび後フレームのいずれでも背景が透けていない）には、前フレームと後フレームとのいずれの動きオブジェクト画像を用いても、画質異常にならない。
【００４８】
Ｂの場合（前フレームでは背景が透けて見える）には、前フレームと後フレームの背景透け度合いを比較し、透け度合いが低い後フレームを補間フレームの動きオブジェクト（補間オブジェクト）として使用する。したがって、補間オブジェクトにおいて背景が透けず、画質異常にはならない。なお、この場合、従来は常に前フレームから補間オブジェクトを生成していたため、補間オブジェクトにおいて背景が透けてしまい、画質異常となっていた。
【００４９】
Ｃの場合（後フレームでは背景が透けて見える）には、前フレームと後フレームの背景透け度合いを比較し、透け度合いが低い前フレームを補間オブジェクトとして使用する。したがって、補間オブジェクトにおいて背景が透けず、画質異常にはならない。なお、この場合、従来は常に前フレームから補間オブジェクトを生成していたため、補間オブジェクトにおいて背景が透けず、画質異常にはならない。
【００５０】
Ｄの場合（前フレームおよび後フレームのいずれでも背景が透けて見える）には、前フレームも後フレームも所定の閾値を上回る。この場合には、動きオブジェクトの領域を、狭く修正する。これにより、背景が透ける部分を減らす。なお、この場合、従来は常に前フレームから補間オブジェクトを生成していたため、補間オブジェクトにおいて背景が透けて見え、画質異常になっていた。つまり、本実施形態によれば、画質異常を軽減することができる。
【００５１】
図５に戻り、オブジェクト周辺画像抽出部１２５は、蓄積部１１から得られる、補間フレームの直後となるフレーム（後フレーム）における動きオブジェクト周辺の画像（背景）を抽出する。
【００５２】
画像合成部１２６は、蓄積部１１から得られる、補間フレームの直前となるフレーム（前フレーム）と、補間オブジェクト生成部１２４から得られる補間オブジェクトとを合成して、補間フレームを生成する。そして画像合成部１２６は、蓄積部１１から得られたフレーム及び補間フレームを、画像表示部１３に送信する。
【００５３】
図７は、フレーム補間部１２が補間フレームを生成する処理の流れの一例を示すフローチャートである。フレーム補間部１２は、まずオブジェクト抽出部１２０として、蓄積部１１から入力される複数のフレームの各々から、動きオブジェクトの位置情報および動きオブジェクト画像を抽出する（オブジェクト抽出工程）（ステップＳ１）。また、フレーム補間部１２は、オブジェクト周辺画像抽出部１２５として、蓄積部１１から得られる、補間フレームの直後のフレーム（後フレーム）におけるオブジェクト周辺画像を抽出する（オブジェクト周辺画像抽出工程）（ステップＳ２）。
【００５４】
オブジェクト抽出工程（ステップＳ１）を終えると、フレーム補間部１２は、オブジェクト動き判定部１２１として、オブジェクト抽出部１２０から得られる動きオブジェクトの位置情報に基づき、前フレームと後フレームとの間での動きオブジェクトの動き方向を判断する（オブジェクト動き判断工程）（ステップＳ３）。また、フレーム補間部１２は、オブジェクト透過度算出部１２２として、オブジェクト抽出部１２０から得られる動きオブジェクト画像を解析し、動きオブジェクトの背景透け度合いを算出する（オブジェクト背景透け度合い算出工程）（ステップＳ４）。
【００５５】
オブジェクト背景透け度合い算出工程（ステップＳ４）を終えると、フレーム補間部１２は、補間オブジェクト生成手段決定部１２３として、オブジェクト透過度算出部１２２から得られる動きオブジェクトの背景透け度合いと所定の閾値とから、補間オブジェクト生成手段を決定する（補間オブジェクト生成手段決定工程）（ステップＳ５）。
【００５６】
オブジェクト動き判断工程（ステップＳ３）および補間オブジェクト生成手段決定工程（ステップＳ５）を終えると、フレーム補間部１２は、補間オブジェクト生成部１２４として、オブジェクト動き判定部１２１にて判断した動き方向と、補間オブジェクト生成手段決定部１２３にて決定したオブジェクト生成手段に基づき、補間フレームでの動きオブジェクトの位置情報と補間フレームでの動きオブジェクト画像とからなる補間オブジェクトを生成する（補間オブジェクト生成工程）（ステップＳ６）。
【００５７】
補間オブジェクト生成工程（ステップＳ６）およびオブジェクト周辺画像抽出工程（ステップＳ２）を終えると、フレーム補間部１２は、画像合成部１２６として、オブジェクト周辺画像抽出部１２５から得られるオブジェクト周辺画像に、補間オブジェクト生成部１２４から得られる補間オブジェクトを合成して、補間フレームを生成する（画像合成工程）（ステップＳ７）。
【００５８】
そして画像合成部１２６は、蓄積部１１から得られたフレームと補間フレームとを、画像表示部１３に送信する。なお、オブジェクト周辺領域抽出工程では、後フレームを用いる例を説明したが、前フレームを用いてもよいし、これらに限らず他の手法であってもよい。
【００５９】
図８は、フレーム補間部１２が補間オブジェクト生成手段を決定する処理の流れの一例を示すフローチャートである。
【００６０】
まずフレーム補間部１２は、オブジェクト透過度算出部１２２として、前フレームオブジェクトの標準偏差Ｓ１を算出し、当該標準偏差Ｓ１を補間オブジェクト生成手段決定部１２３に渡す（ステップＳ１０１）。
【００６１】
次にフレーム補間部１２は、補間オブジェクト生成手段決定部１２３として、所定の閾値Ｓｔｈと標準偏差Ｓ１とを比較する（ステップＳ１０２）。標準偏差Ｓ１が所定の閾値Ｓｔｈを超えない場合（ステップＳ１０２のＮｏ）、フレーム補間部１２は、前フレームの動きオブジェクトを補間オブジェクトに使用すると決定して、本処理を終了する（ステップＳ１０３）。
【００６２】
ステップＳ１０２において、標準偏差Ｓ１が所定の閾値Ｓｔｈを超える場合（ステップＳ１０２のＹｅｓ）、フレーム補間部１２は、オブジェクト透過度算出部１２２として、後フレームオブジェクトの標準偏差Ｓ２を算出し、当該標準偏差Ｓ２を補間オブジェクト生成手段決定部１２３に渡す（ステップＳ１０４）。
【００６３】
次にフレーム補間部１２は、補間オブジェクト生成手段決定部１２３として、所定の閾値Ｓｔｈと標準偏差Ｓ２とを比較する（ステップＳ１０５）。標準偏差Ｓ２が所定の閾値Ｓｔｈを超えない場合（ステップＳ１０５のＮｏ）、フレーム補間部１２は、後フレームの動きオブジェクトを補間オブジェクトに使用すると決定して、本処理を終了する（ステップＳ１０６）。
【００６４】
ステップＳ１０５において、標準偏差Ｓ２が所定の閾値Ｓｔｈを超える場合（ステップＳ１０５のＹｅｓ）、フレーム補間部１２は、前フレームの動きオブジェクト画像の外枠全周囲から一定幅削る修正を行う（ステップＳ１０７）。このときの削り幅ａ（削る画素数）は、任意に決められるものとする。
【００６５】
次にフレーム補間部１２は、オブジェクト透過度算出部１２２として、ステップＳ１０７で修正した動きオブジェクト画像の標準偏差Ｓ１´を算出し、当該標準偏差Ｓ１´を補間オブジェクト生成手段決定部１２３に渡す（ステップＳ１０８）。
【００６６】
次にフレーム補間部１２は、補間オブジェクト生成手段決定部１２３として、所定の閾値Ｓｔｈと標準偏差Ｓ１´とを比較する（ステップＳ１０９）。標準偏差Ｓ１´が所定の閾値Ｓｔｈを超えない場合（ステップＳ１０９のＮｏ）、フレーム補間部１２は、ステップＳ１０７で修正された前フレームの動きオブジェクト画像を、補間オブジェクトとして使用すると決定して、本処理を終了する（Ｓ１１０）。
【００６７】
ステップＳ１０９において、標準偏差Ｓ１´が所定の閾値Ｓｔｈを超える場合（ステップＳ１０９のＹｅｓ）、フレーム補間部１２は、削り幅ａ（削る画素数）を増やして（Ｓ１１１）、前フレームオブジェクトを修正する（ステップＳ１０７）。フレーム補間部１２は、ステップＳ１０７〜Ｓ１０９，Ｓ１１１の処理ループを、標準偏差Ｓ１´が所定の閾値Ｓｔｈ以下となるまで、繰り返す。
【００６８】
図９は、動きオブジェクト画像（ポインタ切取画像）から標準偏差Ｓ１（或いはＳ１´）を算出する際の具体例について説明する図である。本図は、図８のステップＳ１０７、Ｓ１０８、Ｓ１０９、Ｓ１１１を繰り返し実行し、動きオブジェクト画像の標準偏差Ｓ１´が所定の閾値Ｓｔｈを下回るまで、ポインタ切取画像を修正していく様子を表している。
【００６９】
破線は、標準偏差Ｓ１（或いはＳ１´）を算出する際の画像領域を示す。フレーム補間部１２は、初回の標準偏差Ｓ１が閾値Ｓｔｈを上回った場合、現状の動きオブジェクト画像は補間オブジェクト画像として使用しないこととし、動きオブジェクト画像の外周部を削る修正を行う。
【００７０】
次に、オブジェクトを削り幅ａで削ったのちの標準偏差Ｓ１´が閾値Ｓｔｈを上回った場合、フレーム補間部１２は、現状（初期状態から削り幅ａで削り後）の動きオブジェクト画像は補間オブジェクト画像として使用しないこととし、動きオブジェクト画像の外周をさらに削る修正を行う。フレーム補間部１２は、標準偏差Ｓ１´が閾値Ｓｔｈ以下になるまで、上記修正を繰り返す。
【００７１】
そしてフレーム補間部１２は、Ｎ回修正後の標準偏差Ｓ１´が閾値Ｓｔｈ以下になれば、その時点での動きオブジェクト画像を、補間オブジェクトに使用すると決定する。
【００７２】
以上のように、本実施形態によれば、前フレームと後フレームとのそれぞれから切り取ったマウスポインタの画像（ポインタ切取画像）に対して、背景が透けている度合いを算出し、それぞれの背景透け度合いと、所定の閾値とから、補間フレームに使用するポインタ切取画像を決定するようにしたので、マウスポインタの半透明部分に透けて見える背景がより目立たない補間フレームを作成でき、これにより画質異常を軽減することができる。したがって、連続する２フレーム間でフレーム画像中の一部が移動する場合のフレーム補間において、自然な補間フレーム画像を生成することができる。
【００７３】
本実施の形態の画像処理装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Read  Only  Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００７４】
本実施形態の画像処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００７５】
また、本実施形態の画像処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の画像処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００７６】
また、本実施形態の画像処理を行うためのプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００７７】
本実施の形態の画像処理装置で実行されるプログラムは、上述した各部（オブジェクト抽出部１２０、オブジェクト動き判定部１２１、オブジェクト透過度算出部１２２、補間オブジェクト生成手段決定部１２３、補間オブジェクト生成部１２４、オブジェクト周辺画像抽出部１２５、画像合成部１２６）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から〜プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、オブジェクト抽出部１２０、オブジェクト動き判定部１２１、オブジェクト透過度算出部１２２、補間オブジェクト生成手段決定部１２３、補間オブジェクト生成部１２４、オブジェクト周辺画像抽出部１２５、画像合成部１２６が主記憶装置上に生成されるようになっている。
【符号の説明】
【００７８】
１１  …蓄積部、
１２  …フレーム補間部
１３  …画像表示部
１００，１００ａ〜１００ｅ…ユーザデバイス
１０１…ＣＰＵ、１０２…表示装置、１０３…ＲＯＭ、１０４…ＲＡＭ、
１０５…通信Ｉ／Ｆ、１０６…記憶装置、１０７…入出力Ｉ／Ｆ
１２０…オブジェクト抽出部
１２１…オブジェクト動き判定部
１２２…オブジェクト透過度算出部
１２３…補間オブジェクト生成手段決定部
１２４…補間オブジェクト生成部
１２５…オブジェクト周辺画像抽出部
１２６…画像合成部
２００…サーバ
２０１…投影装置
３００…ネットワーク
１０００…画像処理システム
【先行技術文献】
【特許文献】
【００７９】
【特許文献１】特開平３−２６３９８９号公報
【特許文献２】特開平１０−３３６５９９号公報
【図１】
2020154732.tif 000003
【図２−１】
2020154732.tif 000004
【図２−２】
2020154732.tif 000005
【図２−３】
2020154732.tif 000006
【図３】
2020154732.tif 000007
【図４】
2020154732.tif 000008
【図５】
2020154732.tif 000009
【図６】
2020154732.tif 000010
【図７】
2020154732.tif 000011
【図８】
2020154732.tif 000012
【図９】
2020154732.tif 000013