(57)【要約】【課題】文字及び図表が含まれるオフィス文書が表示画面上でスクロールされるとき、フレーム補間による画質異常の発生を防ぐこと。【解決手段】画像処理装置は、入力される動画に含まれる複数フレームから動きベクトルを検出する検出部と、前記複数フレームに基づいて、シーン種別を判定する判定部と、前記判定部が判定したシーン種別に基づいて、前記動きベクトルを補間フレームの生成のために参照するか否かを決定し、前記動画の補間フレームを生成する生成部とを有し、前記生成部は、前記判定部がシーン種別を画面の一部又は全部が移動するスクロールシーンであると判定した場合、前記動きベクトルを参照せずに前記複数フレームのうちの１つを補間フレームとして生成する。【選択図】図３
2018157299.tif 000002
【特許請求の範囲】
【請求項１】
入力される動画に含まれる複数フレームから動きベクトルを検出する検出部と、
前記複数フレームに基づいて、シーン種別を判定する判定部と、
前記判定部が判定したシーン種別に基づいて、前記動きベクトルを補間フレームの生成のために参照するか否かを決定し、前記動画の補間フレームを生成する生成部とを有し、
前記生成部は、前記判定部がシーン種別を画面の一部又は全部が移動するスクロールシーンであると判定した場合、前記動きベクトルを参照せずに前記複数フレームのうちの１つを補間フレームとして生成する画像処理装置。
【請求項２】
前記判定部は、前記複数フレーム間の差分から動きがある領域の数を計数し、前記動きがある領域の数から算出される面積に基づいて、シーン種別が前記スクロールシーンであるか否かを判定する請求項１記載の画像処理装置。
【請求項３】
前記判定部は、前記複数フレームのうちの１フレームにおいて濃度変化がある領域の数を計数し、前記濃度変化がある領域の数から算出される面積に対する前記動きがある領域の数から算出される面積の比率に基づいて、シーン種別が前記スクロールシーンであるか否かを判定する請求項２記載の画像処理装置。
【請求項４】
前記判定部は、前記複数フレーム間の差分から動きがある領域のグループの数を計数し、前記グループの数が２である場合、シーン種別をマウスカーソルが移動するポインタシーンであると判定する請求項２又は３記載の画像処理装置。
【請求項５】
前記生成部は、前記判定部がシーン種別を前記スクロールシーン又は前記ポインタシーンのいずれでもないと判定した場合、前記複数フレームを重みづけ加算して補間フレームを生成することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記判定部は、前記動きベクトルのうち、上方向への動きを示す動きベクトル又は下方向への動きを示す動きベクトルに基づいて、前記スクロールシーンであるか否かを判定する請求項１記載の画像処理装置。
【請求項７】
前記判定部は、前記複数フレームのうちの１フレームにおいて濃度変化がある領域の数を計数し、前記濃度変化がある領域の数に対する上方向への動きを示す動きベクトルの数の比率、又は前記濃度変化がある領域の数に対する下方向への動きを示す動きベクトルの数の比率に基づいて、前記スクロールシーンであるか否かを判定する請求項６記載の画像処理装置。
【請求項８】
前記判定部は、前記動きベクトルから動きがある領域の数を計数し、前記動きがある領域の数に対する上方向への動きを示す動きベクトルの数の比率、又は前記動きがある領域の数に対する下方向への動きを示す動きベクトルの数の比率に基づいて、前記スクロールシーンであるか否かを判定する請求項６記載の画像処理装置。
【請求項９】
入力される動画に含まれる複数フレームから動きベクトルを検出する検出手順と、
前記複数フレームに基づいて、シーン種別を判定する判定手順と、
前記判定手順により判定したシーン種別に基づいて、前記動きベクトルを補間フレームの生成のために参照するか否かを決定し、前記動画の補間フレームを生成する生成手順とを実行し、
前記生成手順は、前記判定手順によりシーン種別が画面の一部又は全部が移動するスクロールシーンであると判定された場合、前記動きベクトルを参照せずに前記複数フレームのうちの１つを補間フレームとして生成する画像処理方法。
【請求項１０】
サーバと、ネットワークを介して前記サーバと接続される画像処理装置とを含む画像処理システムであって、
前記サーバは、
動画を前記ネットワークを介して前記画像処理装置に送信する送信部を有し、
前記画像処理装置は、
受信された前記動画に含まれる複数フレームから動きベクトルを検出する検出部と、
前記複数フレームに基づいて、シーン種別を判定する判定部と、
前記判定部が判定したシーン種別に基づいて、前記動きベクトルを補間フレームの生成のために参照するか否かを決定し、前記動画の補間フレームを生成する生成部とを有し、
前記生成部は、前記判定部がシーン種別を画面の一部又は全部が移動するスクロールシーンであると判定した場合、前記動きベクトルを参照せずに前記複数フレームのうちの１つを補間フレームとして生成する画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理システムに関する。
【背景技術】
【０００２】
動画内の連続する２フレーム間の動きベクトルをブロックごとに検出し、動きベクトルを用いて補間フレームを生成し、元のフレーム間に挿入することで高フレームレート化するフレーム補間技術が既に知られている。フレーム補間が使われるケースは、例えば、ＰＣディスプレイ表示画像を所定フレームレートで読み出し、ネットワークを介してリアルタイムで遠隔地に送信し、同じ画像を共有しながら会議を行うシステムにおいて、リアルタイムでの送受信を可能にするため低フレームレートの少ないデータ量で送信し、受信側でフレーム補間により高フレームレート化するケースがある。また例えば、ＰＣと接続してＰＣから送られてきた動画をスクリーンに投影するプロジェクタにおいて、動画の動きをより滑らかに見せるために、プロジェクタにてフレーム補間を行い高フレームレート化した画像を表示するケースがある。
【０００３】
動きベクトル検出は、画像内に複数の動きが存在するケース、又は複数の動きが交差するケースで誤検出しやすくなり、補間画像に破綻が生じる恐れがある。そこで、補間画像の破綻を防ぐ１つの方法として、検出された動きベクトルからスクロールシーンであるか否かを判定し、スクロールシーンである場合はブロック毎の動きベクトルからフレーム全体の動きを示すスクロールベクトルを検出してスクロールベクトルを用いて補間フレーム生成するフレーム補間技術が既に知られている（例えば、特許文献１）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のスクロールシーンに対するスクロールベクトルを用いたフレーム補間は、主にカメラで撮影された自然画を対象としており、ＰＣ（Personal Computer）のディスプレイに表示されるようなオフィス文書を対象としたものではないため、ディスプレイ表示上では静止しているはずのマウスカーソル又はアプリケーションウィンドウ画面の外枠が補間フレームでは動いてしまい振動しているように見えるといった画質異常が発生する問題があった。
【０００５】
本発明は、上記の点に鑑みてなされたものであって、文字及び図表が含まれるオフィス文書が表示画面上でスクロールされるとき、フレーム補間による画質異常の発生を防ぐことを目的とする。
【課題を解決するための手段】
【０００６】
そこで上記課題を解決するため、画像処理装置は、入力される動画に含まれる複数フレームから動きベクトルを検出する検出部と、前記複数フレームに基づいて、シーン種別を判定する判定部と、前記判定部が判定したシーン種別に基づいて、前記動きベクトルを補間フレームの生成のために参照するか否かを決定し、前記動画の補間フレームを生成する生成部とを有し、前記生成部は、前記判定部がシーン種別を画面の一部又は全部が移動するスクロールシーンであると判定した場合、前記動きベクトルを参照せずに前記複数フレームのうちの１つを補間フレームとして生成する。
【発明の効果】
【０００７】
文字及び図表が含まれるオフィス文書が表示画面上でスクロールされるとき、フレーム補間による画質異常の発生を防ぐ。
【図面の簡単な説明】
【０００８】
【図１】第１の実施の形態における画像処理システム１０００の構成例を示す図である。
【図２】第１の実施の形態におけるユーザデバイス１００のハードウェア構成例を示す図である。
【図３】第１の実施の形態におけるユーザデバイス１００の機能構成例を示す図である。
【図４】第１の実施の形態におけるシーンを判定する手順の一例を説明するためのフローチャートである。
【図５】第１の実施の形態におけるシーン判定部１３の機能を説明するための図である。
【図６】第１の実施の形態における補間フレームを生成する手順の一例を説明するためのフローチャートである。
【図７】第１の実施の形態における補間フレーム生成部１５の動作例を説明するための図である。
【図８】第２の実施の形態におけるシーンを判定する手順の一例を説明するためのフローチャートである。
【図９】第２の実施の形態におけるシーン判定部１３の機能を説明するための図である。
【図１０】第２の実施の形態における補間フレームを生成する手順の一例を説明するためのフローチャートである。
【図１１】第３の実施の形態におけるシーンを判定する手順の一例を説明するためのフローチャートである。
【図１２】第３の実施の形態における動きベクトル検出部１２の機能を説明するための図である。
【図１３】オフィス文書におけるスクロールの一例を示す図である。
【図１４】第３の実施の形態におけるシーン判定部１３の機能を説明するための図である。
【図１５】第４の実施の形態におけるシーンを判定する手順の一例を説明するためのフローチャートである。
【図１６】第４の実施の形態におけるシーン判定部１３の機能を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、図面に基づいて本発明の実施の形態を説明する。
【００１０】
図１は、第１の実施の形態における画像処理システム１０００の構成例を示す図である。図１に示されるように、画像処理システム１０００は、ユーザデバイス１００ａ、ユーザデバイス１００ｂ、ユーザデバイス１００ｃ、表示デバイス２００、投影装置２０１、サーバ３００及びネットワークを含む。
【００１１】
ユーザデバイス１００ａ、ユーザデバイス１００ｂ、ユーザデバイス１００ｃ（以下、それぞれを区別しない場合「ユーザデバイス１００」という。）は、例えば、ＰＣ（Personal Computer）、タブレット又はスマートフォン等である。ユーザデバイス１００は、ネットワークを介して、他のユーザデバイス１００及びサーバ３００と接続されている。ユーザデバイス１００は、ネットワークを介して、他のユーザデバイス１００及びサーバ３００から動画データを受信して、補間処理を行い（詳細は後述）、表示デバイス２００、投影装置２０１又はユーザデバイス１００に含まれる表示装置において、補間処理後の動画を表示する。
【００１２】
表示デバイス２００は、例えば、大画面液晶表示装置であり、ユーザデバイス１００から出力される信号を受けて、画像を表示する。なお、表示デバイス２００は、直接ネットワークと接続されて、ユーザデバイス１００又はサーバ３００から動画データを受信してもよい。
【００１３】
投影装置２０１は、例えば、プロジェクタであり、ユーザデバイス１００から出力される信号を受けて、画像を表示する。なお、投影装置２０１は、直接ネットワークと接続されて、ユーザデバイス１００又はサーバ３００から動画データを受信してもよい。
【００１４】
サーバ３００は、例えば、テレビ会議の多地点制御装置である。サーバ３００は、カメラ画像及びオフィス文書等が表示されたＰＣ画面の動画データをネットワークを介してユーザデバイス１００に送信する。すなわち、サーバ３００は、動画データを送信する機能を実現する送信部を有する。
【００１５】
図２は、第１の実施の形態におけるユーザデバイス１００のハードウェア構成例を示す図である。図２に示されるように、ユーザデバイス１００は、それぞれ相互に接続されているＣＰＵ（Central Processing Unit）１０１、表示装置１０２、ＲＯＭ（Read Only Memory）１０３、ＲＡＭ（Random Access Memory）１０４、通信Ｉ／Ｆ１０５、記憶装置１０６及び入出力Ｉ／Ｆ１０７等を有する。
【００１６】
ユーザデバイス１００での処理を実現するプログラムは、ＲＯＭ１０３又は記憶装置１０６に格納される。ＲＯＭ１０３又は記憶装置１０６は、インストールされたプログラムを格納すると共に、必要なデータを格納する。記憶装置１０６は、例えば、外部記憶媒体がユーザデバイス１００に装着されたものであってもよい。
【００１７】
ＲＡＭ１０４は、プログラムの起動指示があった場合に、ＲＯＭ１０３又は記憶装置１０６からプログラムを読み出して格納する。ＣＰＵ１０１は、ＲＡＭ１０４に格納されたプログラムに従ってユーザデバイス１００に係る機能を実現する。
【００１８】
表示装置１０２は、ユーザデバイスが有する表示装置であり、例えば、液晶ディスプレイである。
【００１９】
通信Ｉ／Ｆ１０５は、他のＰＣユーザデバイス１００又はサーバ３００等とネットワークを介して通信を行うための有線又は無線のインタフェースである。
【００２０】
入出力Ｉ／Ｆ１０７は、ＵＳＢ（Universal Serial Bus）機器、ハードウェアキー、状態通知用ＬＥＤ、液晶ディスプレイ等の様々な入出力装置との接続を行うためのインタフェースである。
【００２１】
なお、表示デバイス２００、投影装置２０１及びサーバ３００も図２と同様のハードウェア構成を有していてもよい。
【００２２】
図３は、第１の実施の形態におけるユーザデバイス１００の機能構成例を示す図である。図３に示されるように、ユーザデバイス１００は、蓄積部１１、動きベクトル検出部１２、シーン判定部１３、処理モード選択部１４、補間フレーム生成部１５及び画像表示部１６を含む。これら各部は、ユーザデバイス１００にインストールされた１以上のプログラムがＣＰＵ１０１に実行させる処理により実現される。また、蓄積部１１はさらに通信Ｉ／Ｆ１０５、処理モード選択部１４及び画像表示部１６は入出力Ｉ／Ｆ１０７を用いて実現可能である。
【００２３】
蓄積部１１は、ネットワークから時系列で順次入力される動画の最新フレームから連続する過去フレームまで遡って所定のフレーム数分蓄積する。フレームは、例えば、所定の水平解像度及び垂直解像度を有し、１ドットがＲＧＢの３色で、各色の色深度は８ｂｉｔであるカラー画像データである。色深度のビット数は、８ｂｉｔに限られず１６ｂｉｔ等さらに大きくてもよい。また、フレームは、ＹＵＶ（ＹＣｂＣｒ）のような輝度色差信号のデータ形式で記録されていてもよい。
【００２４】
動きベクトル検出部１２は、蓄積部１１から読み出した複数のフレームに基づいて、動きベクトルを検出する。本実施の形態では、最新フレームと１つ前のフレームの２枚から動きベクトルを検出するものとするが、非線形な動きや複数の動きが交差する複雑なケースに対応できるよう３フレーム以上を使って動きベクトルを検出する既存の方法もあり、当該既存の方法を本実施の形態に用いてもよい。
【００２５】
シーン判定部１３は、蓄積部１１から読み出した複数のフレーム及び動きベクトル検出部１２で検出された動きベクトルに基づいて、シーン種別を判定する。本実施の形態において、シーン種別は、画面の一部又は全部が移動する状態に対応するスクロールシーン、スクロールしていない状態でマウスカーソルだけが動いているポインタシーン、スクロールシーン又はポインタシーン以外のシーンが含まれる。
【００２６】
処理モード選択部１４は、文字及び図表が含まれるオフィス文書向けの第１の処理モードと、自然画向けの第２の処理モードを含む、複数処理モードのうちいずれかを選択する。処理モードは、ユーザによって選択されてもよい。
【００２７】
補間フレーム生成部１５は、選択された処理モード及びシーン判定結果に応じた方法で、最新フレームと１つ前のフレームの間に挿入する補間フレームを生成する。
【００２８】
画像表示部１６は、入力されたフレーム間に補間フレームが挿入された動画を、表示デバイス２００、投影装置２０１又はユーザデバイス１００に含まれる表示装置に、補間処理後の動画を順次出力又は表示する。
【００２９】
図４は、第１の実施の形態におけるシーンを判定する手順の一例を説明するためのフローチャートである。図４において、入力される動画のフレームの画素は、ＲＧＢ各８ｂｉｔで構成され、処理モード選択部１４は、文字及び図表が含まれるオフィス文書向けの第１の処理モードが選択されているものとする。なお、ブロック（Ｘｉ，Ｙｉ）に関して、Ｘｉは、フレーム内を構成するブロックの水平方向の座標を示し、Ｙｉは、フレーム内を構成するブロックの垂直方向の座標を示す。ブロックは、例えば、水平方向３２画素、垂直方向３２画素で構成される。なお、フレームの水平方向はＸｎ個のブロック、フレームの垂直方向はＹｎ個のブロックで構成されているものとし、Ｘｉは０からＸｎ−１、Ｙｉは０からＹｎ−１の整数値をとる。
【００３０】
ステップＳ１０１において、シーン判定部１３は、初期化を実行する。シーン判定部１３は、Ｘｉ＝０、Ｙｉ＝０とする。また、シーン判定部１３は、動き有りブロック数Ｓ＝０、濃度差有りブロック数Ｄ＝０とする。動き有りブロック数は、第Ｎ−１フレーム及び第Ｎフレームにおける同一座標（Ｘｉ，Ｙｉ）のブロック内の同一座標の画素を比較して、所定の変化が検出されたブロックの数である。第Ｎフレームは、動画データのうち時系列でＮ番目のフレームであり、第Ｎ−１フレームは、Ｎ番目のフレームの直前のフレームである。濃度差有りブロック数Ｓは、第Ｎ−１フレームにおけるブロック（Ｘｉ，Ｙｉ）内の画素を比較して、所定の変化が検出されたブロックの数である。
【００３１】
続いて、シーン判定部１３は、蓄積部１１から第Ｎフレーム及び第Ｎ−１フレームのブロック（Ｘｉ，Ｙｉ）を読み込む（Ｓ１０２）。
【００３２】
続いて、シーン判定部１３は、代表差分値算出（Ｓ１０３ａ）及び濃度差有りブロック抽出（Ｓ１０３ｂ）を行う。ステップＳ１０３ａ及びＳ１０４ａと、ステップＳ１０３ｂ及びＳ１０４ｂとは、ブロック（Ｘｉ，Ｙｉ）に関する独立した処理であって、並行して行われてもよい。
【００３３】
図５は、第１の実施の形態におけるシーン判定部１３の機能を説明するための図である。図５に示されるように、シーン判定部１３は、フレーム間差分算出部１３０、濃度差有りブロック抽出部１３１、判定部１３２を有する。
【００３４】
フレーム間差分算出部１３０は、第Ｎ−１フレーム及び第Ｎフレームのブロック（Ｘｉ，Ｙｉ）について、画素ごとに第Ｎ−１フレーム及び第Ｎフレーム間の差分絶対値を算出し、ブロック（Ｘｉ，Ｙｉ）内におけるＲの差分絶対値の最大値、Ｇの差分絶対値の最大値及びＢの差分絶対値の最大値の中で、最大の値を代表差分値として算出する。
【００３５】
濃度差有りブロック抽出部１３１は、第Ｎ−１フレームのブロック（Ｘｉ，Ｙｉ）内の画素に関して、Ｒの最大値とＲの最小値の差分が所定の閾値ｔｈ１以上であるか、Ｇの最大値とＧの最小値の差分がｔｈ１以上であるか、Ｂの最大値とＢの最小値の差分がｔｈ１以上であるかのいずれかを満たせば、当該ブロック（Ｘｉ，Ｙｉ）を、濃度差有りブロックとして抽出する。
【００３６】
判定部１３２は、フレーム間差分算出部１３０から出力される代表差分値と所定の閾値ｔｈ２とを比較して、代表差分値がｔｈ２以上であれば、当該ブロック（Ｘｉ，Ｙｉ）を動き有りブロックと判定し、動き有りブロック数Ｓを１増やす。また、判定部１３２は、濃度差有りブロック抽出部１３１から出力される濃度差有りブロック抽出結果に基づいて、濃度差有りブロック数Ｄを１増やす。
【００３７】
図４に戻る。ステップＳ１０４ａにおいて、判定部１３２は、動き有りブロック数Ｓをカウントする。ステップＳ１０４ｂにおいて、判定部１３２は、濃度差有りブロック数Ｄをカウントする。
【００３８】
続いて、シーン判定部１３は、Ｘｉ＝Ｘｎ−１であるか否かを判定し、ＸｉがＸｎ−１に等しい場合（Ｓ１０５のＹＥＳ）、すなわち、フレーム内ラインの水平方向のブロックが既にすべて読み込まれていた場合、ステップＳ１０７に進み、ＸｉがＸｎ−１に等しくない場合（Ｓ１０５のＮＯ）、すなわち、フレーム内ラインの水平方向のブロックがまだすべて読み込まれていない場合、ステップＳ１０６に進む。
【００３９】
ステップＳ１０６において、シーン判定部１３は、Ｘｉ＝Ｘｉ＋１として、ステップＳ１０２に進む。すなわち、シーン判定部１３は、次のステップＳ１０２において、水平方向で次のブロックを読み込む。
【００４０】
ステップＳ１０７において、シーン判定部１３は、Ｙｉ＝Ｙｎ−１であるか否かを判定し、ＹｉがＹｉ−１に等しい場合（Ｓ１０７のＹＥＳ）、すなわち、フレーム内のブロックが既にすべて読み込まれていた場合、ステップＳ１０９に進み、ＹｉがＹｉ−１に等しくない場合（Ｓ１０７のＮＯ）、すなわち、次に読み込むフレーム内ラインが存在する場合、ステップＳ１０８に進む。
【００４１】
ステップＳ１０８において、シーン判定部１３は、Ｘｉ＝０、Ｙｉ＝Ｙｉ＋１として、ステップＳ１０２に進む。すなわち、シーン判定部１３は、次のステップＳ１０２において、垂直方向で次のブロックであって、水平方向で先頭のブロックを読み込む。
【００４２】
ステップＳ１０９において、判定部１３２は、カウントされた動き有りブロック数Ｓ、カウントされた濃度差有りブロック数Ｄについて、Ｓ／Ｄが所定の閾値ｔｈ３以上か否かを判定する。すなわち、判定部１３２は、濃度差有りブロックの面積に対する動き有りブロックの面積から求められる比率に基づく判定を行う。Ｓ／Ｄが所定の閾値ｔｈ３以上である場合（Ｓ１０９のＹＥＳ）、シーン判定部１３は、シーンをスクロールシーンであると判定してフローを完了する。Ｓ／Ｄが所定の閾値ｔｈ３未満である場合（Ｓ１０９のＮＯ）、シーン判定部１３は、シーンを非スクロールシーンであると判定してフローを完了する。
【００４３】
なお、所定の閾値ｔｈ１、ｔｈ２及びｔｈ３は、予め設定される。ｔｈ１及びｔｈ２は、０から２５５の値をとりうるが、いずれも比較的小さな３０前後の値としてもよい。入力されるフレーム画像は、圧縮又は伸長された画像であるケースが多いため、圧縮又は伸長で発生したノイズに反応して誤判定しないように０に対してマージンをとった値としてもよい。ｔｈ３は、０〜１の間で、０．７前後の比較的大きな値に設定してもよい。
【００４４】
図６は、第１の実施の形態における補間フレームを生成する手順の一例を説明するためのフローチャートである。図６において、処理モード選択部１４は、文字及び図表が含まれるオフィス文書向けの第１の処理モードが選択されているものとする。
【００４５】
ステップＳ１２１において、補間フレーム生成部１５は、図４に示されるステップＳ１０９でシーン判定の結果、スクロールシーンと判定された場合（Ｓ１２１のＹＥＳ）、ステップＳ１２２に進み、非スクロールシーンと判定された場合（Ｓ１２１のＮＯ）、ステップＳ１２３に進む。
【００４６】
ステップＳ１２２において、補間フレーム生成部１５は、１つ前のフレームをコピーしたものを補間フレームとして生成し、フローを完了する。
【００４７】
ステップＳ１２３において、補間フレーム生成部１５は、動きベクトルを用いて補間フレームを生成し、フローを完了する。動きベクトルを用いる補間フレームの生成は、従来のフレーム補完技術を用いてよい。
【００４８】
図７は、第１の実施の形態における補間フレーム生成部１５の動作例を説明するための図である。図７において、補間フレーム生成部１５が、オフィス文書の入力フレーム間に１枚ずつ生成した補間フレームを挿入する具体的な動作例が示されている。
【００４９】
順次入力される（ａ）入力画像に対して、（ｂ）従来のフレーム補間後の動画は、補間フレームにおいて、マウスカーソルが背景のスクロールと同様にスクロールベクトルによって上方向に移動されて表示されるため（第１フレームと第２フレームの補間フレーム、第２フレームと第３フレームの補間フレーム）、マウスカーソルが上下に振動して画質異常となる。（ｂ）において、入力された第１フレームに対して、補間フレームである２番目のフレームではマウスカーソルが上に移動している。入力された第２フレームではマウスカーソルが下に戻り、補間フレームである４番目のフレームでは再度マウスカーソルが上に移動している。入力された第３フレームでは再度下に戻る。同様に、図７には図示していないが、アプリケーションウィンドウ画面の外枠も振動する。
【００５０】
一方、（ｃ）第１の実施の形態のフレーム補間後の動画において、補間フレーム生成部１５は、スクロールシーンと判定された第１フレーム、第２フレーム、第３フレームに対して補間フレームを生成する場合、１つ前のフレームをコピーしたものを補間フレームとする（第１フレームと第２フレームの補間フレーム、第２フレームと第３フレームの補間フレーム）。非スクロールシーンと判定された場合は、従来技術と同様に前後のフレームから動きベクトルを用いて補間フレームを生成する（第３フレームと第４フレームの補間フレーム）。したがって、（ｃ）第１の実施の形態のフレーム補間後の動画は、スクロールシーンでマウスカーソルは動かない。したがって、（ｃ）の動画においては、（ｂ）で発生していた画質異常が発生しない。なお、図中のポインタシーンについては第２の実施の形態で説明する。
【００５１】
上述したように、第１の実施の形態によれば、画像処理システム１０００は、フレーム間の差分ブロック数及び濃度差があるブロック数に基づいたシーン判定の結果に基づいて、補間フレームの生成方法を変えることで、従来の補間フレームの生成方法では発生していた画質異常を防ぐことができる。すなわち、文字及び図表が含まれるオフィス文書が表示画面上でスクロールされるとき、フレーム補間による画質異常の発生を防ぐことができる。
【００５２】
図８は、第２の実施の形態におけるシーンを判定する手順の一例を説明するためのフローチャートである。第２の実施の形態では第１の実施の形態と異なる点について説明する。したがって、特に言及されない点については、第１の実施の形態と同様でもよい。
【００５３】
ステップＳ２０１において、シーン判定部１３は、初期化を実行する。図４に示されるステップＳ１０１の初期化に加えて、動き有りブロックのグループ数ｃｎｔ＝０とする。動き有りブロックのグループ数は、フレームにおいて、近接しているブロックの所定の範囲（例えば、２×２ブロック）については、動き有りブロック数が複数検出された場合であっても１としてカウントした数である。
【００５４】
図９は、第２の実施の形態におけるシーン判定部１３の機能を説明するための図である。第２の実施の形態においては、シーン判定部１３の判定部１３２は、１）スクロールシーン、２）マウスカーソルを動かしているポインタシーン、３）その他のシーン、以上の３つのシーンのいずれであるかシーン判定を行う。１）スクロールシーンの判定は第１の実施の形態と同様である。第１の実施の形態で非スクロールシーンと判定されるケースの中から２）ポインタシーンを判定し、ポインタシーン以外のケースを３）その他のシーンと判定する。
【００５５】
判定部１３２にて、２）ポインタシーンを判定する方法を以下説明する。図９に示される斜線網掛けのブロックを動き有りブロックとすると、破線で囲まれる所定ブロック数の範囲内（例えば２×２ブロック以内）で構成される動き有りブロックのグループが、フレーム内に２つ存在する場合に、ポインタシーンであると判定する。第Ｎ−１フレームで左下の２ブロックに係る位置にあったマウスカーソルが、第Ｎフレームで右上の２ブロックに掛かる位置に移動した場合、または、第Ｎ−１フレームで右上の２ブロックに掛かる位置にあったマウスカーソルが第Ｎフレームで左下の２ブロックに掛かる位置に移動した場合に、図９に示されるような動き有りブロックが検出され、動き有りブロックのグループ数は２とカウントされる。
【００５６】
判定部１３２が、近接しているブロックの所定の範囲で構成される動き有りブロックのグループが、フレーム内に２つ存在するか否かを判定する具体的な方法について以下説明する。シーン判定部１３は、動き有りブロックのグループをカウントする変数をｃｎｔとし、ｃｎｔ＝０に初期化する。シーン判定部１３は、（Ｘ，Ｙ）＝（０，０）のブロックからＸ軸方向に１ライン走査し、終わったらＹに１加算して、次のラインを走査する。判定部１３２は、動き有りブロックを検出した場合、ｃｎｔに１加算する。当該動き有りブロックの座標を（Ｘ，Ｙ）＝（ｘ１，ｙ１）とすると、（ｘ１＋１，ｙ１）、（ｘ１，ｙ１＋１）、（ｘ１＋１，ｙ１＋１）の３ブロックに関しては、判定部１３２は、動き有りブロックが検出されてもｃｎｔに１加算する処理をしない。フレームの最後まで走査完了した時点でｃｎｔ＝２であれば、動き有りブロックのグループがフレーム内に２つ存在することが判定できる。
【００５７】
図８に戻る。ステップＳ２０４ｃ及びステップＳ２１０が、第１の実施の形態と異なるため、当該ステップを以下説明する。
【００５８】
ステップＳ２０４ｃにおいて、判定部１３２は、動き有りブロックのグループ数ｃｎｔをカウントする。ステップＳ２０４ａにおいて、動き有りブロック数Ｓがカウントされるため、Ｓに基づいて、ｃｎｔはカウント可能である。また、ステップＳ２０４ｃは、ステップＳ２０３ｂ及びステップＳ２０４ｂと並行して行われてもよい。
【００５９】
ステップＳ２１０において、判定部１３２は、ｃｎｔ＝２であるか否かを判定する。ｃｎｔが２である場合（Ｓ２１０でＹＥＳ）、シーン判定部１３は、シーンをポインタシーンであると判定してフローを完了する。ｃｎｔが２ではない場合、シーン判定部１３は、シーンをその他のシーンであると判定してフローを完了する。
【００６０】
図１０は、第２の実施の形態における補間フレームを生成する手順の一例を説明するためのフローチャートである。ステップＳ２２３〜Ｓ２２５が、第１の実施の形態と異なるため、当該ステップを以下説明する。
【００６１】
ステップＳ２２３において、シーン判定部１３が、シーン判定の結果がポインタシーンであると判定した場合（Ｓ２２３のＹＥＳ）、ステップＳ２２４に進む。シーン判定部１３が、シーン判定の結果がポインタシーンではないと判定した場合（Ｓ２２３のＮＯ）、ステップＳ２２５に進む。
【００６２】
ステップＳ２２４において、補間フレーム生成部１５は、動きベクトルを用いて補間フレームを生成し、フローを完了する。動きベクトルを用いる補間フレームの生成は、従来のフレーム補完技術を用いてよい。
【００６３】
ステップＳ２２５において、補間フレーム生成部１５は、前後のフレームを重みづけ加算した補間フレームを生成し、フローを完了する。重みづけ加算した補間フレームの生成は、従来のフレーム補間技術を用いてよい。例えば、図７に示されるように、入力フレーム間に１フレームを挿入する場合は、前後のフレームにそれぞれ１／２の重みをつけて加算したもの、すなわち平均画像が補間フレームとなる。また、入力フレーム間に２フレームずつ挿入する場合は、１枚目の補間フレームは、前のフレームに２／３の重み、後ろのフレームに１／３の重みを付けて加算した画像となり、２枚目の補間フレームは、前のフレームに１／３の重み、後ろのフレームに２／３の重みを付けて加算した画像となる。その他のシーンとして判定されるケースに、例えば、マウスのドラッグ操作シーンがある。マウスのドラッグ操作シーンは、重みづけ加算による補間フレーム生成により、比較的動きが自然に見え違和感の少ない動画となることが知られている。
【００６４】
上述したように、第２の実施の形態によれば、画像処理システム１０００は、フレーム間の差分ブロック数、フレーム間の差分ブロックのグループ数及び濃度差があるブロック数に基づいたシーン判定の結果に基づいて、補間フレームの生成方法を変えることで、マウスカーソルの表示に適した画面表示を行うことができる。
【００６５】
図１１は、第３の実施の形態におけるシーンを判定する手順の一例を説明するためのフローチャートである。第３の実施の形態では第１の実施の形態と異なる点について説明する。したがって、特に言及されない点については、第１の実施の形態と同様でもよい。
【００６６】
ステップＳ３０１において、シーン判定部１３は、初期化を実行する。図４に示されるステップＳ１０１の初期化と同様に、Ｘｉ＝０、Ｙｉ＝０、Ｄ＝０とする。さらに、上方向への動き有りブロック数Ｍ１＝０、下方向への動き有りブロック数Ｍ２＝０とする。動き有りブロック数は、動きベクトルに基づいて上方向又は下方向への動きを検出されたブロックの数である。
【００６７】
図１２は、第３の実施の形態における動きベクトル検出部１２について説明するための図である。動きベクトル検出に関しては幾つか既存の方法が知られているが、第３の実施の形態では、ブロックマッチングによる方法で行うものとする。第Ｎ−１フレームが最新フレームの１つ前のフレーム、第Ｎフレームが最新フレームとする。ブロックマッチングによる方法は、フレーム内を所定画素数（例えば３２ｘ３２画素）で構成されるブロックに分割し、第Ｎ−１フレームのブロックと相関の高い第Ｎフレームのブロックを探す。図１２に示される斜線で塗りつぶしたブロック同士の相関が高いとすると、動きベクトルは、第Ｎ−１フレームの斜線ブロックの位置から第Ｎフレームの斜線ブロックの位置へと延びた矢印で示される。動きベクトル（Ｖｘ，Ｖｙ）をブロック単位の座標で表すと、（０，−２）となる。すなわち、Ｙ方向に−２ブロック分の動きが検出されている。このようにして、動きベクトル検知を第Ｎフレームの全ブロックに関して行う。
【００６８】
図１３は、オフィス文書におけるスクロールの例を示す図である。図１３に示されるように、ＰＣのディスプレイ表示画像に重ねて、動きベクトルを図示したものである。動きベクトルが表示されている領域には、文字又は図表が描画されているものとする。
【００６９】
図１３に示されるスクロール画面の例１は、オフィス文書がＰＣのディスプレイに全画面表示された場合の例である。アプリケーションのウィンドウの枠及びマウスカーソル以外の画像がスクロールされて、下方向に動いている。また、図１３に示されるスクロール画面の例２は、全画面表示ではない場合の例である。スクロールで下方向に動いているのはウィンドウの枠の内側だけであり、ウィンドウの枠の外側は壁紙又はアイコン画像が静止したままの状態で表示される。オフィス文書のスクロールにおいては、オフィス文書を読み進めるため、下方向へのスクロールが想定される。また、オフィス文書の表示を前の状態に戻すために逆方向である上方向へのスクロールも想定される。
【００７０】
図１４は、第３の実施の形態におけるシーン判定部１３について説明するための図である。第３の実施の形態においては、シーン判定部１３の判定部１３５は、動きベクトルを用いてシーンを判定することにより判定精度を高める。なお、第Ｎ−１フレームが最新フレームの１つ前のフレーム、第Ｎフレームが最新フレームとする。
【００７１】
上方向への動き有りブロック抽出部１３３は、第Ｎ−１フレームの各ブロックの動きベクトルを参照して、動きベクトル（Ｖｘ，Ｖｙ）がＶｘ＝０かつＶｙ＜０ならば、上方向への動き有りブロックとして抽出する。下方向への動き有りブロック抽出部１３４は、第Ｎ−１フレームの各ブロックの動きベクトルを参照して、動きベクトル（Ｖｘ，Ｖｙ）がＶｘ＝０かつＶｙ＞０ならば、下方向への動き有りブロックとして抽出する。したがって、上方向への動き有りブロック数と上方向への動きを示す動きベクトルの数、下方向への動き有りブロック数と下方向への動きを示す動きベクトルの数、はそれぞれ一致する。
【００７２】
濃度差有りブロック抽出部１３１は、シーン判定部１３の第１の実施の形態と同様である。判定部１３５は、上方向への動き有りブロック抽出部１３３が抽出したブロックに基づいて、上方向への動き有りブロック数Ｍ１と、下方向への動き有りブロック抽出部１３４が抽出したブロックに基づいて、下方向への動き有りブロック数Ｍ２をカウントする。濃度差有りブロック数Ｄは、第１の実施の形態同様に濃度差有りブロック抽出部１３１が抽出したブロックに基づいてカウントされる。シーン判定部１３の判定部１３５は、Ｍ１／Ｄ又はＭ２／Ｄが所定の閾値ｔｈ４以上である場合は、スクロールシーンであると判定する。Ｍ１／Ｄ及びＭ２／Ｄが所定の閾値ｔｈ４未満である場合は、非スクロールシーンであると判定する。
【００７３】
図１３に示された例と同様に、ＰＣディスプレイ画面上でのスクロール動作は、主に上方向か下方向への移動であり、例えば、斜め方向へのスクロールは少ない。そこで、濃度差有りブロック数Ｄに対する上方向の動き有りブロック数Ｍ１の比率、又は、濃度差有りブロック数Ｄに対する下方向の動き有りブロック数Ｍ２の比率で判定することにより、スクロールシーンの判定精度を高めている。閾値ｔｈ４は所定の閾値であり、予め設定される。閾値ｔｈ３と同様に、閾値ｔｈ４は、比較的大きな値に設定するのがよい。
【００７４】
図１１に戻る。ステップＳ３０２ａ、ステップＳ３０３ａ、ステップＳ３０３ｃ、ステップＳ３０４ａ、ステップＳ３０４ｃ及びステップＳ３０９が、第１の実施の形態と異なるため、当該ステップを以下説明する。
【００７５】
ステップＳ３０２ａにおいて、シーン判定部１３は、第Ｎ−１フレームの（Ｘｉ，Ｙｉ）ブロックの動きベクトルを動きベクトル検出部１２から読み込む。続いて、上方向への動き有りブロック抽出部１３３は、上方向への動き有りブロックを抽出し（Ｓ３０３ａ）、判定部１３５は、上方向への動き有りブロック数Ｍ１をカウントする（Ｓ３０４ａ）。並行して、下方向への動き有りブロック抽出部１３４は、下方向への動き有りブロックを抽出し（Ｓ３０３ｃ）、判定部１３５は、下方向への動き有りブロック数Ｍ２をカウントする（Ｓ３０４ｃ）。
【００７６】
ステップＳ３０９において、判定部１３５が、Ｍ１／Ｄ又はＭ２／Ｄがｔｈ４以上であると判定した場合は（Ｓ３０９のＹＥＳ）、シーン判定部１３は、シーンをスクロールシーンであると判定してフローを完了する。判定部１３５が、Ｍ１／Ｄ及びＭ２／Ｄがｔｈ４未満であると判定した場合は、シーン判定部１３は、シーンを非スクロールシーンであると判定してフローを完了する。
【００７７】
上述したように、第３の実施の形態によれば、画像処理システム１０００は、動きベクトルによる上方向への動き有りブロック数、動きベクトルによる下方向への動き有りブロック数及び濃度差があるブロック数に基づいてシーン判定をすることで、上下方向のスクロールに対するシーン判定の精度を高めることができる。
【００７８】
図１５は、第４の実施の形態におけるシーンを判定する手順の一例を説明するためのフローチャートである。第第４の実施の形態は、図１３に示されるスクロール画面の２つの例のどちらであっても、精度よくスクロールシーンであると判定できるようことを目的とする。第４の実施の形態では第３の実施の形態と異なる点について説明する。したがって、特に言及されない点については、第３の実施の形態と同様でもよい。
【００７９】
ステップＳ４０１において、図１１に示されるステップＳ３０１での初期化と同様に、Ｘｉ＝０、Ｙｉ＝０、Ｍ１＝０、Ｍ２＝０、Ｄ＝０とし、さらに動きベクトルに基づいた動き有りブロック数Ｍ３＝０とする。動き有りブロック数Ｍ３は、動きベクトルに基づいて、いずれかの方向への動きを検出されたブロックの数である。
【００８０】
図１６は、第４の実施の形態におけるシーン判定部１３について説明するための図である。上方向への動き有りブロック抽出部１３３、下方向への動き有りブロック抽出部１３４、濃度差有りブロック抽出部１３１は、図１４に示される第３の実施の形態と同様である。
【００８１】
動き有りブロック抽出部１３６は、第Ｎ−１フレームの各ブロックの動きベクトル（Ｖｘ，Ｖｙ）のＸ方向又はＹ方向の絶対値について、｜Ｖｘ｜＞０又は｜Ｖｙ｜＞０ならば、動き有りブロックとして抽出する。すなわち、動き有りブロック抽出部１３６は、あるブロックの動きベクトルが非０であれば、当該ブロックを動き有りブロックとして抽出する。
【００８２】
判定部１３７は、上方向への動き有りブロック数Ｍ１、下方向への動き有りブロック数Ｍ２及び動き有りブロック数Ｍ３をカウントし、さらに濃度差有りブロック数Ｄもカウントする。シーン判定部１３の判定部１３７は、Ｍ１／Ｄ又はＭ２／Ｄがｔｈ４以上であり、かつＭ１／Ｍ３又はＭ２／Ｍ３が所定の閾値ｔｈ５以上である場合、スクロールシーンであると判定する。シーン判定部１３の判定部１３７は、Ｍ１／Ｄ及びＭ２／Ｄがｔｈ４未満、又はＭ１／Ｍ３及びＭ２／Ｍ３がｔｈ５未満である場合は非スクロールシーンであると判定する。
【００８３】
閾値ｔｈ５は所定の閾値であり、予め設定される。ｔｈ５は、０〜１の間の値で、１に近い値に設定するとよい。マージンを持たせても０．９５くらいの大きい値でもよい。すなわち、図１３に示されるスクロール画面の例２を想定し、スクロール部分の面積がフレーム内である程度の面積を占め、かつ動き有り部分とスクロール部分がほぼ同一の領域であって、スクロール部分以外で動いている領域はほぼ存在しない場合に、スクロールシーンであると判定することで、スクロールシーンの判定精度を高めている。
【００８４】
なお、上方向への動き有りブロック抽出部１３３、下方向への動き有りブロック抽出部１３４、動き有りブロック抽出部１３６は、全て０を閾値として判定するとしたが、動きベクトル検出精度による誤差が生じる可能性を考慮し、例えば１を閾値として判定する等、マージンを持たせてもよい。
【００８５】
図１５に戻る。ステップＳ４０３ｄ、ステップＳ４０４ｄ、ステップＳ４０９及びステップＳ４１０が、第３の実施の形態と異なるため、当該ステップを以下説明する。
【００８６】
ステップＳ４０３ｄにおいて、動き有りブロック抽出部１３６は、動き有りブロックを抽出し（Ｓ４０３ｄ）、判定部１３７は、動き有りブロック数Ｍ１をカウントする（Ｓ４０４ｄ）。
【００８７】
ステップＳ４０９において、判定部１３７が、Ｍ１／Ｄ又はＭ２／Ｄがｔｈ４以上であると判定した場合は（Ｓ４０９のＹＥＳ）、ステップＳ４１０に進み、Ｍ１／Ｄ及びＭ２／Ｄがｔｈ４未満であると判定した場合は（Ｓ４０９のＮＯ）、シーン判定部１３は、シーンを非スクロールシーンであると判定してフローを完了する。
【００８８】
ステップＳ４１０において、判定部１３７が、Ｍ１／Ｍ３又はＭ２／Ｍ３がｔｈ５以上であると判定した場合は（Ｓ４１０のＹＥＳ）、シーン判定部１３は、シーンをスクロールシーンであると判定してフローを完了する。判定部１３７が、Ｍ１／Ｍ３及びＭ２／Ｍ３がｔｈ５未満と判定した場合は（Ｓ４１０のＮＯ）、シーン判定部１３は、シーンを非スクロールシーンであると判定してフローを完了する。
【００８９】
上述したように、第４の実施の形態によれば、画像処理システム１０００は、動きベクトルによる上方向への動き有りブロック数、動きベクトルによる下方向への動き有りブロック数、動き有りブロック数及び濃度差があるブロック数に基づいてシーン判定をすることで、特にＰＣディスプレイ上でのウィンドウ内のみのスクロールに対するシーン判定の精度を高めることができる。
【００９０】
なお、動画の処理に関して、動画に音声が伴っている場合、即時処理して動画を出力しないと音声と動画に時間的なずれが生じるため、次々と入力される動画のフレームに対して、即時処理してフレーム補間した動画を出力する必要がある。第１の実施の形態から第４の実施の形態のいずれも、シーン判定部１３は、該当ブロックを抽出して当該ブロック数をカウントし閾値判定する構成を有する。当該構成は、ヒストグラムを作成及び分析してシーン判定するといった従来手法に比べて簡易であり、即時性に優れている。
【００９１】
なお、本発明の実施の形態において、動きベクトル検出部１２は、検出部の一例である。シーン判定部１３は、判定部の一例である。補間フレーム生成部１５は、生成部の一例である。ユーザデバイス１００は、画像処理装置の一例である。動き有りブロックは、動きがある領域の一例である。濃度差有りブロックは、濃度変化がある領域の一例である。
【００９２】
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００９３】
１０００      画像処理システム
１００        ユーザデバイス
２００        表示デバイス
２０１        投影装置
３００        サーバ
１０１        ＣＰＵ
１０２        表示装置
１０３        ＲＯＭ
１０４        ＲＡＭ
１０５        通信Ｉ／Ｆ
１０６        記憶装置
１０７        入出力Ｉ／Ｆ
１１          蓄積部
１２          動きベクトル検出部
１３          シーン判定部
１４          処理モード選択部
１５          補間フレーム生成部
１６          画像表示部
１３０        フレーム間差分算出部
１３１        濃度差有りブロック抽出部
１３２        判定部
１３３        上方向への動き有りブロック抽出部
１３４        下方向への動き有りブロック抽出部
１３５        判定部
１３６        動き有りブロック抽出部
１３７        判定部
【先行技術文献】
【特許文献】
【００９４】
【特許文献１】特開２０１１−１３０４０９号公報
【図１】
2018157299.tif 000003
【図２】
2018157299.tif 000004
【図３】
2018157299.tif 000005
【図４】
2018157299.tif 000006
【図５】
2018157299.tif 000007
【図６】
2018157299.tif 000008
【図７】
2018157299.tif 000009
【図８】
2018157299.tif 000010
【図９】
2018157299.tif 000011
【図１０】
2018157299.tif 000012
【図１１】
2018157299.tif 000013
【図１２】
2018157299.tif 000014
【図１３】
2018157299.tif 000015
【図１４】
2018157299.tif 000016
【図１５】
2018157299.tif 000017
【図１６】
2018157299.tif 000018