(57)【要約】【課題】  光過敏性発作を誘発する可能性を低減させるとともに、光過敏性発作に対する抑制効果を損なわず、自然な映像を生成する事ができる画像処理装置及び画像処理方法を提供する。【解決手段】  画像処理装置１は、入力映像から注目フレーム画像を検出するための映像パラメータの検出閾値及び光過敏性発作抑制のための映像パラメータの設定値を設定するパラメータ設定部１１と、検出閾値に基づいて注目フレーム画像を検出する注目フレーム検出部１２と、検出した注目フレーム画像の前後のフレーム画像から注目フレーム画像に対応する予測フレーム画像を補間生成する補間画像生成部１３と、映像パラメータが設定値となる比率で注目フレーム画像と予測フレーム画像を合成する抑制画像合成部１４と、を有する【選択図】      図１
2016219871.tif 000002
【特許請求の範囲】
【請求項１】
入力映像から注目フレーム画像を検出するための映像パラメータの検出閾値及び光過敏性発作抑制のための映像パラメータの設定値を設定するパラメータ設定部と、
前記検出閾値に基づいて注目フレーム画像を検出する検出部と、
検出した注目フレーム画像の前後のフレーム画像から注目フレーム画像に対応する予測フレーム画像を補間生成する補間画像生成部と、
映像パラメータが前記設定値となる比率で注目フレーム画像と予測フレーム画像を合成する画像合成部と、
を有する画像処理装置。
【請求項２】
前記パラメータ設定部は、前記映像パラメータの検出閾値として、輝度変動率と、フレーム総画素数に対し前記輝度変動率を超える画素の占める割合、を設定し、
前記検出部は、前記輝度変動率が設定値を超える画素をカウントし、フレーム総画素数に占める割合が前記割合を超える場合、注目フレームであると判定する請求項１に記載の画像処理装置。
【請求項３】
前記パラメータ設定部は、前記光過敏性発作抑制のための映像パラメータとして、抑制前輝度変動率及び抑制後輝度変動率を設定し、
前記画像合成部は、前記抑制前輝度変動率及び前記抑制後輝度変動率に基づいた比率で注目フレーム画像と予測フレーム画像との合成を行う請求項１又は２に記載の画像処理装置。
【請求項４】
前記パラメータ設定部は、利用者に映像の違和感のレベルの選択を促す画面を提示する請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記パラメータ設定部は、前記映像の違和感のレベルに対応する１以上のパラメータセットを設定したパラメータテーブルを備える請求項４に記載の画像処理装置。
【請求項６】
前記画像合成部は、予測フレーム画像と注目フレーム画像の差を判断して光過敏性発作抑制のための映像パラメータを再設定する画像比較部を備える請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
入力映像から注目フレーム画像を検出するための映像パラメータの検出閾値及び光過敏性発作抑制のための映像パラメータの設定値を設定し、
前記検出閾値に基づいて注目フレーム画像を検出し、
検出した注目フレーム画像の前後のフレーム画像から注目フレーム画像に対応する予測フレーム画像を補間生成し、
映像パラメータが前記設定値となる比率で注目フレーム画像と予測フレーム画像を合成する画像処理方法。
【請求項８】
画像処理装置のコンピュータに、
入力映像から注目フレーム画像を検出するための映像パラメータの検出閾値及び光過敏性発作抑制のための映像パラメータの設定値を設定する処理と、
前記検出閾値に基づいて注目フレーム画像を検出処理と、
検出した注目フレーム画像の前後のフレーム画像から注目フレーム画像に対応する予測フレーム画像を補間生成する処理と、
映像パラメータが前記設定値となる比率で注目フレーム画像と予測フレーム画像を合成処理と、を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
アニメ等の映像中のフラッシュ等の映像効果によって視聴者の光過敏性発作を誘発する可能性があることが知られており、そのような映像に対して、画像処理装置で輝度を上げたりダイナミックレンジを狭めたりするなどの処理を行うことで、光過敏性発作の可能性を低減させる技術が開発されている。
【０００３】
例えば特許文献１には、第ｎフレームと第ｎ＋１フレームのそれぞれの画像データにつきヒストグラムを演算し、ヒストグラムの差分と閾値曲線と比較した結果に応じて、ダイナミックレンジを狭めた補正画像データを生成する画像処理システムが開示されている。
【０００４】
また特許文献２には、２つのフレームの映像の色成分値をそれぞれ算出し、その差分値を算出し、差分値が閾値よりも大きい場合、差分値が小さくなるように一方の映像データを調整する映像処理装置が開示されている。
【０００５】
また特許文献３には、映像を構成するフレーム中の任意の対象フレームとその隣接フレームとの間で同一座標の画素同士の輝度差を算出し、輝度分類に従って分類し、輝度分類ごとの画素数から明滅面積を算出して分類し、輝度分類及び面積分類に従って危険度を多段階に判定する映像分析装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−３５１４８号公報
【特許文献２】特開２０１１−２２８８４３３号公報
【特許文献３】特開２００７−１９３１９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
光過敏性発作を誘発する可能性のある明滅は画面全体だけではなく、映像の一部領域に発生する場合が有る。特許文献１に記載の構成では、画像全体を一律に補正するため、本来補正の必要の無い領域にも補正が行われ、視聴時に違和感を与える結果を生成する場合があった。
【０００８】
本発明は、光過敏性発作を誘発する可能性を低減させるとともに、光過敏性発作に対する抑制効果を損なわず、自然な映像を生成する事ができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、光過敏性発作に関する映像パラメータの検出閾値及び光過敏性発作抑制のための映像パラメータの設定値を設定するパラメータ設定部と、映像パラメータの検出閾値に基づいて注目フレーム画像を検出する検出部と、検出した注目フレーム画像の前後のフレーム画像から注目フレーム相当の画像である予測フレーム画像を補間生成する補間画像生成部と、前記設定値に基づいて注目フレーム画像と予測フレーム画像を合成する抑制画像合成部と、を有する。
【００１０】
本発明の画像処理方法は、光過敏性発作に関する映像パラメータの検出閾値及び光過敏性発作抑制のための映像パラメータの設定値を設定し、映像パラメータの検出閾値に基づいて注目フレーム画像を検出し、検出した注目フレーム画像の前後のフレーム画像から注目フレーム相当の画像である予測フレーム画像を補間生成し、前記設定値に基づいて注目フレーム画像と予測フレーム画像を合成する。
【発明の効果】
【００１１】
本発明によれば、映像が光過敏性発作を誘発する可能性を低減させるとともに、光過敏性発作に対する抑制効果を損なわず、自然な映像を生成することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、第１の実施形態の構成を示すブロック図である。
【図２】図２は、図１の画像処理の動作を示すフローチャートである。
【図３】図３は、図１の第１の変形例の構成を示すブロック図である。
【図４】図４は、図１の第２の変形例の構成を示すブロック図である。
【図５】図５は、図４の画像処理の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
図１は、第１の実施形態の構成を示すブロック図である。画像処理装置１は、図１に示すように、光過敏性発作に関する映像パラメータの検出閾値及び光過敏性発作抑制のための映像パラメータの設定値を設定するパラメータ設定部１１と、映像パラメータの検出閾値に基づいて注目フレーム画像を検出する注目フレーム検出部１２を備えている。また、画像処理装置１は、検出した注目フレーム画像の前後のフレーム画像から注目フレーム相当の画像である予測フレーム画像を補間生成する補間画像生成部１３を備えている。また、画像処理装置１は、光過敏性発作抑制のための映像パラメータの設定値に基づいて注目フレーム画像と予測フレーム画像を合成する抑制画像合成部１４と、を備えている。
【００１４】
画像処理装置１のパラメータ設定部１１には、映像が入力される前に予め光過敏性発作に関する映像パラメータが入力される。映像パラメータは、例えば、検出輝度変動率α、検出面積率β、抑制前輝度変動率ｒ１、抑制後輝度変動率ｒ２を含んでもよい。映像パラメータは、例えば利用者の操作により、光過敏性発作に関する映像パラメータ、例えば、検出輝度変動率α、検出面積率β、抑制前輝度変動率ｒ１、抑制後輝度変動率ｒ２を入力する。パラメータ設定部１１は、利用者から入力された数値に対応して変動率α、面積率β、抑制前輝度変動率ｒ１及び抑制後輝度変動率ｒ２に基づいて注目フレーム検出部１２及び抑制画像合成部１４にパラメータを設定するように構成されていてもよい。
【００１５】
パラメータ設定部１１は、映像が入力される前に予め光過敏性発作の可能性がある注目フレームを検出するため映像パラメータの検出閾値を設定する。パラメータ設定部１１は、注目フレームを検出するためのパラメータ、例えば検出輝度変動率α、検出面積率βを注目フレーム検出部１２に出力する。
【００１６】
注目フレーム検出部１２は、パラメータ設定部１１から入力される映像パラメータの検出閾値に基づいて注目フレーム画像を検出する。例えば、注目フレーム検出部１２は、パラメータ設定部１１から入力される検出輝度変動率αと、検出面積率βに基づいて、ある入力フレーム画像において、輝度変動率がαを超える画素をカウントし、そのフレーム画像の総画素数に占める割合が面積率βを超える場合、フラッシュフレーム画像（注目フレーム画像）であると判定してもよい。
【００１７】
またパラメータ設定部１１は、光過敏性発作抑制のため輝度変動を抑制するための映像パラメータの値、例えば抑制前輝度変動率ｒ１及び抑制後輝度変動率ｒ２を抑制画像合成部１４に出力する。
【００１８】
注目フレーム検出部１２は注目フレーム画像を検出すると、補間画像生成部１３及び抑制画像合成部１４に通知する。なお検出注目フレーム検出部１２に入力されたフレーム画像はすべて抑制画像合成部１４に出力するとしてよい。
【００１９】
補間画像生成部１３は、検出された注目フレーム画像の前後のフレーム画像から注目フレームに対応する画像である予測フレーム画像を補間生成する。予測フレーム画像は、例えば、画像中に移動体の画像が存在しない場合は、前後のフレーム画像における各画素を平均して生成してもよい。また画像中に移動体の画像を含む場合は、移動体の画像の位置を前後のフレーム画像における移動体の位置の中間の位置にした画像を生成してもよい。また補間画像生成部１３は、注目フレーム画像が検出されたときのみ予測フレーム画像を補間生成するとしてもよい。補間画像生成部１３は、生成した補間画像生成部１３を抑制画像合成部１４に出力する。
【００２０】
抑制画像合成部１４は、注目フレーム検出部１２が検出した注目フレーム画像に対応して注目フレーム画像と予測フレーム画像を合成することで光過敏性発作の可能性を抑制した出力フレーム画像を生成する。抑制画像合成部１４は、例えばフラッシュフレーム画像であると判定された注目フレーム画像と、補間画像生成部１３で生成された輝度変動の無い予測フレーム画像とを合成し、輝度変動の抑制された出力フレーム画像を生成する。この時、例えば、パラメータ設定部１１から入力された抑制前輝度変動率ｒ１及び抑制後輝度変動率ｒ２に基づいた比率、すなわち各画素の輝度変動率がｒ２／ｒ１となる比率で注目フレーム画像と予測フレーム画像との合成を行う。このことにより抑制画像合成部１４は、パラメータ設定部１１から入力されたパラメータに基づいて、映像パラメータを抑制したフレーム画像を生成する。抑制画像合成部１４は、注目フレーム検出部１２が検出した注目フレーム画像を、輝度変動が抑制されたフレーム画像に代えて出力する。
【００２１】
図２は、図１の画像処理の動作を示すフローチャートである。まず、パラメータ設定部１１が、映像が入力される前に予め映像パラメータの検出閾値及び輝度変動の抑制のための値を設定する（ステップＳ１）。
【００２２】
映像が入力されると、注目フレーム検出部１２が、パラメータ設定部１１から入力される映像パラメータの検出閾値に基づいて注目フレーム画像を検出する（ステップＳ２）。例えば、上述のように注目フレーム検出部１２は、パラメータ設定部１１から入力される検出輝度変動率αと、検出面積率βに基づいて、ある入力フレーム画像において、輝度変動率がαを超える画素をカウントする。注目フレーム検出部１２は、そのフレーム画像の総画素数に占める割合が面積率βを超える場合、フラッシュフレーム画像（注目フレーム画像）であると判定してもよい。
【００２３】
次に補間画像生成部１３が、検出した注目フレーム画像の前後のフレーム画像から注目フレーム画像に対応する予測フレーム画像を補間生成する（ステップＳ３）。
【００２４】
次に抑制画像合成部１４が、例えばパラメータ設定部１１から入力された抑制前輝度変動率ｒ１及び抑制後輝度変動率ｒ２に基づいた比率、すなわち各画素の輝度変動率がｒ２／ｒ１となる比率で注目フレーム画像と予測フレーム画像との合成を行い、輝度変動が抑制されたフレーム画像を生成する（ステップＳ４）。
【００２５】
以上、説明したように本実施形態の画像処理装置１は、映像パラメータの検出閾値及び抑制値を設定するパラメータ設定部１１を備えることにより、光過敏性発作に対する抑制効果を損なわず、利用者が自然と感じる映像を作成することができる。例えば、変動率αまたは面積率βの引き上げにより、検出対象とするフレームの条件を厳しくすることで、補正対象とするフレーム数を削減し、フラッシュ感を残すことができる。また、変動率αまたは面積率βの引き下げにより、検出対象とするフレームの条件を緩くすることで、補正対象とするフレーム数を追加し、より光過敏性発作の可能性を低減させた映像を作成することができる。また抑制前輝度変動率ｒ１の引き下げ、または、抑制後輝度変動率ｒ２の引き上げで、よりフラッシュ感を残すことができる。また、抑制前輝度変動率ｒ１の引き上げ、または、抑制後輝度変動率ｒ２の引き下げで、よりフラッシュ感を抑えた映像を作成することができる。
【００２６】
なお上述の実施形態では、画像処理装置は不揮発性メモリ（不図示）に記憶されているプログラムを実行することでパラメータ設定処理検出処理、補間画像生成処理、及び画像合成処理等の機能を実現することができる。この場合、画像処理装置が実行するプログラムはコンピュータ読取り可能な記録媒体に記憶してもよく、通信回線を介してサーバからダウンロードするようにしてもよい。また、画像処理装置は内部にコンピュータシステムを有しており、その処理手順はプログラム形式でコンピュータ読取り可能な記録媒体によって記憶されており、コンピュータシステムが当該プログラムを読み出して実行することによりパラメータ設定処理検出処理、補間画像生成処理、及び画像合成処理等を実現することができる。尚、「コンピュータシステム」とはＣＰＵ、メモリ、周辺機器などのハードウェア、オペレーティングシステム（ＯＳ）などのソフトウェアを包含する。また、「コンピュータシステム」はＷＷＷシステムを利用している場合であれば、ホームページ提供環境・表示環境を包含する。
【００２７】
また、上述のフローチャートに表されたパラメータ設定処理検出処理、補間画像生成処理、及び画像合成処理等を実現するプログラムをコンピュータ読取り可能な記録媒体に記録して、当該プログラムをコンピュータシステムに読み込ませて実行するようにしてもよい。「コンピュータ読取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリなどの書込可能な不揮発性メモリ、ＣＤ−ＲＯＭなどの可搬記録媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置を意味する。
【００２８】
また、「コンピュータ読取り記録媒体」とは、インターネットなどのネットワーク、通信回線、電話回線を介してプログラムを送信する場合に用いられるサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えば、ＤＲＡＭ）のように一定時間プログラムを保持しているものを含む。上述のプログラムを記憶装置に格納したコンピュータシステムから伝送媒体を介して、或いは、伝送媒体中の伝送波により他のコンピュータシステムに伝送するようにしてもよい。「プログラムを伝送する伝送媒体」とはインターネットなどのネットワーク（通信網）、電話回線、通信回線のように情報を伝送する機能を有する媒体を意味する。また、上述のプログラムは本発明に係る画像処理及び車両の判定機能の一部を実現するものであってもよい。或いは、上述のプログラムはコンピュータシステムに既に記録されているプログラムとの組合せで本発明の機能を実現するような差分プログラム（又は、差分ファイル）としてもよい。
【００２９】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００３０】
例えば、上述の実施形態では、利用者による映像パラメータの入力は、各値が入力される構成として説明したが、入力パラメータは、実際の利用者には理解が容易でない場合が有る。利用者による入力は比較的理解が容易なものとし、利用者の入力に基づいて複数の映像パラメータを設定するようにしてもよい。
【００３１】
すなわちパラメータ設定部は、利用者に映像パラメータ入力を促す画面上では比較的理解が容易な選択枝を提示し、利用者に提示する映像パラメータ入力の選択枝に対応する１以上のパラメータセットを設定したパラメータテーブルをパラメータ設定部に備える構成としてもよい。
【００３２】
図３は、図１の構成にパラメータテーブル１５１を追加した第１の変形例の構成を示すブロック図である。図３に示すように、本変形例の画像処理装置２のパラメータ設定部１５は、１以上のパラメータセットを設定したパラメータテーブル１５１を備えている。
【００３３】
補間画像生成部１３が、検出した注目フレーム画像の前後のフレーム画像から注目フレーム画像に対応する予測フレーム画像を補間生成するとき、予測が困難で予測フレームと対象フレームに大きな差異が生じた場合、前後のフレーム画像に元々画質劣化を含んでいた場合、などにおいては、視聴時に違和感を与える結果を生成する場合が有る。
【００３４】
例えば、図３に示すようにパラメータ設定部１５は、利用者に映像パラメータ入力を促す画面上では比較的理解が容易な選択枝を提示する画面提示部１５２を有する。例えば、違和感のレベルを選択するように提示する。
【００３５】
パラメータ設定部１５は、利用者の選択操作によって利用者の選択に応じた数値が入力されるよう構成されている。パラメータテーブル１５１には、選択された数値に対応して、変動率α、面積率β、抑制前輝度変動率ｒ１及び抑制後輝度変動率ｒ２を設定しておく。パラメータテーブル１５１には、違和感が大きいほど、変動率αまたは面積率βを引き上げた値を設定し、抑制前輝度変動率ｒ１を引き下げた値、または、抑制後輝度変動率ｒ２を引き上げた値を設定する。
【００３６】
パラメータ設定部１５は、利用者から入力された数値に対応してパラメータテーブル１５１に設定された変動率α、面積率β、抑制前輝度変動率ｒ１及び抑制後輝度変動率ｒ２に基づいて注目フレーム検出部１２及び抑制画像合成部１４にパラメータを設定するように構成されている。
【００３７】
図３に示すような構成とすることにより、画像処理装置２は、利用者が容易に適正なパラメータセットを設定することができる。
【００３８】
また上述の実施形態では、映像パラメータの抑制値は、利用者が入力した値をそのままパラメータ設定部１１が設定するとして説明したが、予測フレーム画像と注目フレーム画像の差を判断して輝度変動の抑制のための値を再設定してもよい。図４は、図１の構成に予測フレーム画像と注目フレーム画像の差を判断して輝度変動の抑制のための値を再設定する画像比較部１６１を追加した第２の変形例の構成を示すブロック図である。
【００３９】
図４に示すように、本変形例の画像処理装置３の抑制画像合成部１６は、予測フレーム画像と注目フレーム画像の差を判断して輝度変動の抑制のための値を再設定する画像比較部１６１を備えている。なお、本変形例は、第１の変形例と組み合わせてパラメータ設定部は、利用者に映像パラメータ入力を促す画面上では比較的理解が容易な選択枝を提示し、利用者に提示する映像パラメータ入力の選択枝に対応する１以上のパラメータセットを設定したパラメータテーブルをパラメータ設定部に備える構成としてもかまわない。
【００４０】
図５は、図４の動作を示すフローチャートである。図５に示すように第１の実施形態と同様にステップＳ１からＳ４の処理後、抑制画像合成部１６の画像比較部１６１は、予測フレーム画像と注目フレーム画像とを比較し、これらの差異が大きいか判断する（ステップＳ５）。
【００４１】
上述のように補間画像生成部１３が注目フレーム画像に対応する予測フレーム画像を補間生成するとき、予測フレーム画像と注目フレーム画像に大きな差異が生じた場合などにおいては、予測フレーム画像の割合を少なくしないと視聴時に違和感を与える場合が有る。
【００４２】
違和感の原因となる差異は、例えば、画像内の物の位置関係の差によることがある。したがって、注目フレーム画像と予測フレーム画像の間で画像内の物の位置がずれると、合成画像でのブレが生じ、動画として違和感を生じる。そのため、例えば、注目フレーム画像と予測フレーム画像の間で、画像内の物の位置ずれが予め定められた値ｄ１より大きい場合、通常の処理では視聴時に違和感を与えるおそれがあると判断することができる。
【００４３】
ステップＳ５においてＹｅｓの場合、さらに、合成前の、元の注目フレーム画像を出力してよいか判断する（ステップＳ６）。例えば注目フレーム画像と予測フレーム画像の間での画像内の物の位置ずれが、ｄ１よりさらに大きい予め定められた値ｄ２より大きい場合には、少しの割合でも予測フレーム画像と合成すると視聴時に違和感を与えると判断し、合成前の、元の注目フレーム画像を出力すると判断してもよい。
【００４４】
元の注目フレーム画像を出力すると判断した場合、元の注目フレーム画像を出力する（ステップＳ７）。この場合、例えば前のフレームとの輝度値の変動がｒ２／ｒ１となるように元の注目フレーム画像の輝度値を調整して出力してもよい。
【００４５】
元の注目フレーム画像ではなく、合成画像を出力する（ステップＳ６でＮｏ）場合、映像パラメータの値を緩め（ステップＳ８）、例えば抑制後輝度変動率を、ｒ２より大きい予め定められた値ｒ３とし、ステップＳ４に戻る。ステップＳ４において、抑制画像合成部１６は、パラメータ設定部１１が設定した値を用いず、ステップＳ８で緩めた値になるような比率で予測フレーム画像と注目フレーム画像を合成する。
【００４６】
このような構成により、補間画像生成部１３が生成する予測フレーム画像と注目フレーム画像に大きな差異が生じる場合などにおいて画像合成処理における視聴時の違和感を軽減することができる。
【符号の説明】
【００４７】
１、２、３    画像処理装置
１１、１５    パラメータ設定部
１２    注目フレーム検出部
１３    補間画像生成部
１４、１６    抑制画像合成部
１５１    パラメータテーブル
１５２    画面提示部
１６１    画像比較部
【図１】
2016219871.tif 000003
【図２】
2016219871.tif 000004
【図３】
2016219871.tif 000005
【図４】
2016219871.tif 000006
【図５】
2016219871.tif 000007