(57)【要約】【課題】少ない計算量で、静止画像の高周波成分にかかわらず動きの印象を与えることができる画像処理装置等を提供する。【解決手段】画像処理装置１０は、静止画像である背景画像の画像情報を取得する画像情報取得部１１と、連続性のない複数のランダム画像を生成するマスク生成部１３と、連続性のない複数のランダム画像のそれぞれと背景画像とを合成する画像合成部１４と、合成された複数の合成画像を時間的に並べて構成される連続画像を生成する連続画像生成部１５と、連続画像を出力する画像情報出力部１６とを備える。【選択図】図２
2017162153.tif 000002
【特許請求の範囲】
【請求項１】
静止画像を取得する取得手段と、
連続性のない複数のランダム画像のそれぞれと前記静止画像とが合成された複数の合成画像を時間的に並べて構成される連続画像を出力する出力手段と、
を備える画像処理装置。
【請求項２】
前記複数のランダム画像は、ランダムノイズを基に生成される画像であること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記静止画像には、複数の領域が予め指定されており、
前記合成画像は、前記静止画像の領域毎にそれぞれ異なる種類の前記複数のランダム画像が合成された画像であること
を特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記複数のランダム画像は、当該複数のランダム画像に含まれる共通の画像が特定の方向に向けて位置を変えることにより、当該特定の方向の方向性を有すること
を特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記複数のランダム画像は、それぞれ異なる画像に対して特定の方向の方向性を有するための画像が合成されることにより、当該特定の方向の方向性を有すること
を特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
前記静止画像内で前記複数のランダム画像が合成される領域をユーザが指定する指示を受け付ける受付手段をさらに備えること
を特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
画像を表示する表示装置と、
前記表示装置に表示される画像の画像情報に対し画像処理を行う画像処理装置とを備え、
前記画像処理装置は、
静止画像を取得する取得手段と、
連続性のない複数のランダム画像のそれぞれと前記静止画像とが合成された複数の合成画像を時間的に並べて構成される連続画像を出力する出力手段と、
を備える画像処理システム。
【請求項８】
コンピュータに、
静止画像を取得する機能と、
連続性のない複数のランダム画像のそれぞれと前記静止画像とが合成された複数の合成画像を時間的に並べて構成される連続画像を出力する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム及びプログラムに関する。
【背景技術】
【０００２】
一般に、複数のＧＩＦ（Graphics Interchange Format）画像をつなげて動きを表現するＧＩＦアニメーションと呼ばれる技術が存在する。また、動画データを利用し、画像の一部にだけ動きを取り入れたＧＩＦアニメーションとして、シネマグラフと呼ばれる技術も知られている。さらに近年、画像に動きの印象を与える変幻灯と呼ばれる技術が提案されている。例えば、特許文献１には、低空間周波数成分を有する複数の異なる歪み分布をそれぞれ用いて原画像が変調された複数の変調画像を生成する変調画像生成部と、複数の変調画像を時間的に並べることで構成される映像を生成する映像生成部とを含む映像生成装置が開示されている。
【０００３】
また、例えば、特許文献２には、Ｌを２以上の整数としてＬ個の要素のそれぞれに、運動ベクトルを隣接する要素に割り当てられた運動ベクトルが滑らかにつながるように割り当てた割当情報を、割り当ての変更を繰り返すことにより生成し、１フレームがＬ個の画像から構成されており、各Ｌ個の画像はブロックに細分化されているとして、各入力されたＬ個の画像の各ブロックを割当情報により定まる各入力されたＬ個の要素に割り当てられた運動ベクトルに従って順次移動させることにより映像を生成する映像生成装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−７８８３号公報
【特許文献２】特開２０１５−１８３５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像に動きの印象を与えるために動画データを利用する場合、動画を撮影する手間を要したり、撮影した動画の高度な編集作業が必要になったりする。また、例えば、低空間周波数成分を有する歪み分布を用いて原画像を変調させる場合、原画像に高周波成分（エッジと呼ばれる画像の濃淡が急峻に変化する部分）が少ないために流動しているように見えづらかったり、原画像と変調させた画像とにずれがあり違和感が生じたりする場合がある。
本発明は、少ない計算量で、静止画像の高周波成分にかかわらず動きの印象を与えることができる画像処理装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、静止画像を取得する取得手段と、連続性のない複数のランダム画像のそれぞれと前記静止画像とが合成された複数の合成画像を時間的に並べて構成される連続画像を出力する出力手段と、を備える画像処理装置である。
請求項２に記載の発明は、前記複数のランダム画像は、ランダムノイズを基に生成される画像であることを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記静止画像には、複数の領域が予め指定されており、前記合成画像は、前記静止画像の領域毎にそれぞれ異なる種類の前記複数のランダム画像が合成された画像であることを特徴とする請求項１または２に記載の画像処理装置である。
請求項４に記載の発明は、前記複数のランダム画像は、当該複数のランダム画像に含まれる共通の画像が特定の方向に向けて位置を変えることにより、当該特定の方向の方向性を有することを特徴とする請求項１または２に記載の画像処理装置である。
請求項５に記載の発明は、前記複数のランダム画像は、それぞれ異なる画像に対して特定の方向の方向性を有するための画像が合成されることにより、当該特定の方向の方向性を有することを特徴とする請求項１または２に記載の画像処理装置である。
請求項６に記載の発明は、前記静止画像内で前記複数のランダム画像が合成される領域をユーザが指定する指示を受け付ける受付手段をさらに備えることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置である。
請求項７に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される画像の画像情報に対し画像処理を行う画像処理装置とを備え、前記画像処理装置は、静止画像を取得する取得手段と、連続性のない複数のランダム画像のそれぞれと前記静止画像とが合成された複数の合成画像を時間的に並べて構成される連続画像を出力する出力手段と、を備える画像処理システムである。
請求項８に記載の発明は、コンピュータに、静止画像を取得する機能と、連続性のない複数のランダム画像のそれぞれと前記静止画像とが合成された複数の合成画像を時間的に並べて構成される連続画像を出力する機能と、を実現させるためのプログラムである。
【発明の効果】
【０００７】
請求項１記載の発明によれば、少ない計算量で、静止画像の高周波成分にかかわらず動きの印象を与えることができる画像処理装置を提供できる。
請求項２記載の発明によれば、ランダム画像の生成がより容易になる。
請求項３記載の発明によれば、静止画像内で指定された複数の領域の領域毎に異なる動きの印象を与えることができる。
請求項４記載の発明によれば、静止画像の動きに方向性があるような印象を与えることができる。
請求項５記載の発明によれば、静止画像の動きに方向性があるような印象を与えることができる。
請求項６記載の発明によれば、静止画像内で動きの印象を与える領域をユーザが指定することができる。
請求項７記載の発明によれば、少ない計算量で、静止画像の高周波成分にかかわらず動きの印象を与えることができる画像処理システムを提供できる。
請求項８記載の発明によれば、少ない計算量で、静止画像の高周波成分にかかわらず動きの印象を与えることができる機能をコンピュータにより実現できる。
【図面の簡単な説明】
【０００８】
【図１】本実施の形態に係る画像処理システムの構成例を示す図である。
【図２】本実施の形態に係る画像処理装置の機能構成例を示すブロック図である。
【図３】画像処理装置による処理手順の一例を示したフローチャートである。
【図４】（ａ）〜（ｃ）は、画像処理装置の処理の具体例を説明するための図である。
【図５】ユーザが背景画像内でマスク画像を合成する領域を指定する処理の一例を説明するための図である。
【図６】周波数を変化させた場合のパーリンノイズの一例を説明するための図である。
【図７】複数の領域に対して各々異なるノイズ変数により生成されたマスク画像を合成する処理の一例を説明するための図である。
【図８】（ａ）〜（ｄ）は、方向性を有するマスク画像の一例を示す図である。
【図９】（ａ）〜（ｃ）は、方向性を有するマスク画像の他の例を示す図である。
【図１０】画像処理装置のハードウェア構成例を示した図である。
【発明を実施するための形態】
【０００９】
＜画像処理システム全体の説明＞
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本実施の形態に係る画像処理システム１の構成例を示す図である。
図示するように、本実施の形態の画像処理システム１は、表示装置２０に表示される画像の画像情報に対し画像処理を行う画像処理装置１０と、画像処理装置１０により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置２０と、画像処理装置１０に対しユーザが種々の情報を入力するための入力装置３０とを備える。
【００１０】
画像処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、画像処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。
【００１１】
表示装置２０は、表示画面２１に画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置２０内に表示画面２１が設けられているが、表示装置２０として例えばプロジェクタを用いる場合、表示画面２１は、表示装置２０の外部に設けられたスクリーン等となる。
【００１２】
入力装置３０は、キーボードやマウス等で構成される。入力装置３０は、画像処理を行うためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行う際に、ユーザが画像処理装置１０に対し画像処理を行うための指示を入力するのに使用する。
【００１３】
画像処理装置１０及び表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。
【００１４】
このような画像処理システム１において、表示装置２０には、まず、画像処理を行う前の原画像として、画像処理の対象である画像（以下、背景画像と称する）が表示される。この背景画像は、静止画像である。そしてユーザが入力装置３０を使用して、画像処理装置１０に対し画像処理を行うための指示を入力すると、画像処理装置１０により背景画像の画像情報に対し画像処理がなされる。この画像処理は、後述するように、背景画像に対してマスク画像を付与する処理、言い換えると、背景画像とマスク画像とを合成する処理である。そして、この画像処理の結果は、表示装置２０に表示される画像に反映され、画像処理後の画像が再描画されて表示装置２０に表示されることになる。この場合、ユーザは、表示装置２０を見ながらインタラクティブに画像処理を行うことができ、より直感的に、またより容易に画像処理の作業を行える。
【００１５】
なお本実施の形態における画像処理システム１は、図１の形態に限られるものではない。例えば、画像処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行うとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置２０及び入力装置３０として機能する。また同様に表示装置２０及び入力装置３０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置２０の表示画面２１としてタッチパネルを使用したものである。この場合、画像処理装置１０により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行うための指示を入力する。
【００１６】
［第１の実施形態］
＜画像処理装置の説明＞
次に、画像処理装置１０の第１の実施形態について説明を行う。図２は、本実施の形態に係る画像処理装置１０の機能構成例を示すブロック図である。図示するように、本実施の形態に係る画像処理装置１０は、画像情報取得部１１と、ユーザ指示受付部１２と、マスク生成部１３と、画像合成部１４と、連続画像生成部１５と、画像情報出力部１６とを備える。
【００１７】
取得手段の一例としての画像情報取得部１１は、画像処理の対象である背景画像の画像情報を取得する。即ち、画像情報取得部１１は、画像処理を行う前の原画像である背景画像を取得する。この画像情報は、表示装置２０で表示を行うための、例えば、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）のビデオデータ（ＲＧＢデータ）である。
【００１８】
ユーザ指示受付部１２は、入力装置３０により入力された画像処理に関するユーザによる指示を受け付ける。
具体的には、ユーザ指示受付部１２は、例えば、表示装置２０で表示している背景画像に対してユーザが行う画像処理の指示をユーザ指示情報として受け付ける。
【００１９】
マスク生成部１３は、背景画像に対して合成される、連続性のない異なる複数のマスク画像の生成を行う。マスク画像は、ランダムノイズを基に生成される画像である。ランダムノイズとしては、一般に用いられるパーリンノイズ（Perlin Noise）を例示することができる。例えば、マスク画像が色の明暗（又は濃淡）を表すランダムノイズ（パーリンノイズ）を基に生成される場合、マスク画像の各画素には、例えば無彩色の２５６階調のうちの何れかの色がランダムに与えられる。より具体的には、例えば、マスク画像の画像情報がＲＧＢデータであれば、マスク画像の各画素の画素値は、ＲＧＢのＲ値、Ｇ値、Ｂ値の３つの値が等しく、０から２５５までの何れかの値を示すように決められる。本実施の形態において、マスク画像は、連続性のないランダム画像の一例として用いられる。言い換えると、マスク画像（ランダム画像）は、これらの画像を集めた集合体として見た場合、各々の画像はランダムノイズを基に生成されるという共通の特徴を有するが、連続性のない画像同士であるものといえる。
【００２０】
画像合成部１４は、背景画像に対して、マスク生成部１３にて生成されたマスク画像を合成する。ここで、マスク生成部１３により複数のマスク画像が生成されており、画像合成部１４は、それぞれのマスク画像毎に、背景画像とマスク画像とを合成した合成画像を生成する。
背景画像とマスク画像とを合成する合成処理は様々な手法を用いることが可能であるが、例えば、以下の数１式により行われる。
【００２１】
数１式において、Ｅｉｊは、背景画像とマスク画像とを合成することにより生成される合成画像を構成する各画素の位置（ｉ，ｊ）における色値である。また、Ｍｉｊは、マスク画像を構成する各画素の位置（ｉ，ｊ）における色値である。さらに、Ｉｉｊは、背景画像を構成する各画素の位置（ｉ，ｊ）における色値である。例えば、背景画像、マスク画像がＲＧＢデータである場合、ＩｉｊとしてＲ値、Ｇ値、Ｂ値の３つが存在し、ＭｉｊとしてＲ値、Ｇ値、Ｂ値の３つが存在する。そして、数１式により、ＥｉｊとしてＲ値、Ｇ値、Ｂ値の３つの値がそれぞれ計算される。
【００２２】
【数１】
2017162153.tif 000003
【００２３】
付言すると、数１式により計算される合成画像の、ある画素の色値は、上に重ねたマスク画像のその位置の画素の色値に、同じ位置の下側にある背景画像の画素の色値を加えたものといえる。また、画素の色値は０〜２５５の範囲に入らなければならないため、計算上、色値が負の値になったら０とし、色値が２５５以上になったら２５５とする。
【００２４】
なお、合成処理としては数１式の手法に限られるものではなく、例えば、オーバーレイと呼ばれる手法や、スクリーンと呼ばれる手法も存在する。
オーバーレイの合成処理は、例えば、以下の数２式により行われる。また、スクリーンの合成処理は、例えば、以下の数３式により行われる。
【００２５】
【数２】
2017162153.tif 000004
【００２６】
【数３】
2017162153.tif 000005
【００２７】
なお、ユーザが、マスク画像を合成する領域として、背景画像内の一部（又は全部）の領域を指定しても良い。この場合には、画像合成部１４は、ユーザ指示受付部１２が受け付けた指示を基に、背景画像内でユーザにより指定された領域に対して、マスク画像の合成を行う。
【００２８】
連続画像生成部１５は、画像合成部１４によりマスク画像毎に合成処理がなされた後の複数の合成画像を時間的に並べて構成される連続画像を生成する。付言すると、この連続画像は、複数の合成画像が予め定められた間隔（例えば１００ミリ秒）で順番に切り替わるものといえる。
【００２９】
出力手段の一例としての画像情報出力部１６は、連続画像生成部１５により生成された連続画像の画像情報を出力する。連続画像の画像情報は、表示装置２０に送られる。そして、表示装置２０にてこの画像情報に基づき連続画像が表示される。即ち、表示装置２０では、複数の合成画像が予め定められた間隔（例えば１００ミリ秒）で順番に切り替わって表示される。
【００３０】
一般に、人間は、規則性（連続性）のないランダムなものに対して規則性（連続性）を見出そうとする視覚特性を有している。本実施の形態は、このような人間の視覚特性を利用するものである。より具体的には、静止画像（背景画像）と複数のマスク画像のそれぞれとを合成することにより、言い換えると、経時的に（時間の流れに伴って）変化するランダムノイズを静止画像に付与することにより、静止画像が連続的に動いているような印象を喚起するものである。
【００３１】
＜画像処理装置の処理手順＞
次に、画像処理装置１０の処理手順について説明する。図３は、画像処理装置１０による処理手順の一例を示したフローチャートである。
【００３２】
まず、画像情報取得部１１は、画像処理の対象である背景画像の画像情報を取得する（Ｓ１０１）。ここでは、例えば、ユーザが表示装置２０に表示された画像の中から、画像処理の対象とする背景画像を選択することにより、画像情報取得部１１が背景画像の画像情報を取得する。次に、マスク生成部１３は、背景画像に付与される複数のマスク画像を生成する（Ｓ１０２）。ここでは、マスク生成部１３は、例えばパーリンノイズに基づいて複数のマスク画像を生成する。
【００３３】
次に、画像合成部１４は、背景画像と複数のマスク画像のそれぞれとを合成する（Ｓ１０３）。ここで、画像合成部１４は、ユーザ指示受付部１２が受け付けた指示を基に、背景画像内で指定された領域に対してマスク画像を合成する処理を、それぞれのマスク画像毎に実行する。そして、画像合成部１４は、複数の合成画像を生成する。
次に、連続画像生成部１５は、複数の合成画像を時間的に並べて構成される連続画像を生成する（Ｓ１０４）。そして、画像情報出力部１６は、生成された連続画像の画像情報を出力する（Ｓ１０５）。出力された画像情報は表示装置２０に送られ、表示装置２０にて連続画像が表示される。そして、本処理フローは終了する。
【００３４】
＜画像処理装置の処理の具体例＞
次に、画像処理装置１０の処理について、具体例を挙げて説明する。図４（ａ）〜（ｃ）は、画像処理装置１０の処理の具体例を説明するための図である。なお、図４（ａ）〜（ｃ）に示す例では、背景画像の全体に対してマスク画像を合成するものとして説明する。
【００３５】
図４（ａ）〜（ｃ）に示す例では、背景画像Ｉとマスク画像Ｍ（図４（ａ）はマスク画像Ｍ１、図４（ｂ）はマスク画像Ｍ２、図４（ｃ）はマスク画像Ｍ３）とを示している。ここで、背景画像Ｉは、ろうそくの芯の先に炎が点った様子を表す静止画像であり、３つの背景画像Ｉは同一の画像である。一方、マスク画像Ｍは、パーリンノイズに基づいて生成された画像であり、マスク画像Ｍ１〜Ｍ３はそれぞれ異なるノイズを示している。なお、図４に示す例ではマスク画像Ｍを３つしか示していないが、４つ以上であっても良い。
【００３６】
そして、画像合成部１４は、背景画像Ｉとマスク画像Ｍ１〜Ｍ３のそれぞれとを合成させて合成画像を生成する。即ち、画像合成部１４は、背景画像Ｉとマスク画像Ｍ１とを合成した合成画像Ｇ１、背景画像Ｉとマスク画像Ｍ２とを合成した合成画像Ｇ２、背景画像Ｉとマスク画像Ｍ３とを合成した合成画像Ｇ３、の合計３つの合成画像を生成する。
次に、連続画像生成部１５は、合成画像Ｇ１〜Ｇ３を時間的に並べることで構成される連続画像を生成する。より具体的には、連続画像生成部１５は、合成画像Ｇ１，Ｇ２，Ｇ３が予め定められた間隔（例えば１００ミリ秒）で順番に切り替わるように、連続画像を生成する。ここでは、連続画像生成部１５は、例えば、合成画像Ｇ１〜Ｇ３の順番に３つの合成画像を並べて、連続画像を生成する。また、連続画像生成部１５は、例えば、合成画像Ｇ１〜Ｇ３の中から４つ以上の合成画像をランダムに選び出して、同じ合成画像が連続しないように時間的に並べて連続画像を生成しても良い。
【００３７】
連続画像生成部１５が連続画像を生成すると、画像情報出力部１６が連続画像の画像情報を出力する。そして、連続画像が表示装置２０にて表示される。表示装置２０では、合成画像Ｇ１〜Ｇ３が例えば１００ミリ秒毎に順番に切り替わって表示される。なお、生成した連続画像を繰り返し表示しても良い。
このように、図４に示す例では、背景画像Ｉに対してマスク画像Ｍ１〜Ｍ３を合成することにより、ろうそくの芯の先に炎が点った様子を表す画像に対して、経時的に変化するランダムノイズが付与される。そして、複数の合成画像Ｇ１〜Ｇ３を順番に切り替えて表示することにより、背景画像に示された炎が連続的に動いているような印象を喚起し、炎の燃えている様子が表現される。      
【００３８】
＜画像処理に関するユーザによる指示の例＞
次に、画像処理に関するユーザによる指示について説明する。上述したように、ユーザは、背景画像内でマスク画像を合成する領域を指定しても良い。図５は、ユーザが背景画像内でマスク画像を合成する領域を指定する処理の一例を説明するための図である。図５において、図中左側に背景画像Ｉを示し、図中右側にマスク画像Ｍを示している。ここで、ユーザは、入力装置３０のマウス等を用いて背景画像Ｉの何れかの箇所を指定し、そのまま矢印で示す方向にドラッグする操作を行う。この操作により、ユーザがマウス等により直接指示した矢印部分から予め定められた範囲の領域Ａ１が指定される。付言すると、ユーザによるこれらの操作は、背景画像Ｉ内でマスク画像Ｍを合成する領域を指定する操作となり、ユーザ指示受付部１２により受け付けられる。
【００３９】
そして、画像合成部１４は、マスク画像Ｍの中で、領域Ａ１と同一の領域（即ち、領域Ａ１と同一の形状・大きさの領域）である領域Ａ２の画像を利用する。言い換えると、画像合成部１４は、背景画像Ｉの領域Ａ１に対して、マスク画像の領域Ａ２のランダムノイズを付与する処理を行う。なお、ランダムノイズを付与する処理は、マスク生成部１３に生成されたマスク画像Ｍ毎に実行される。このようにして画像合成部１４は複数の合成画像を生成する。
【００４０】
ここで、マスク画像Ｍを合成する度合い（比率）（以下、合成率と称する）を変えることとしても良い。例えば、画像合成部１４は、領域Ａ１でユーザが直接指示した矢印部分については１００％合成とし、領域Ａ１内のその他の箇所については、矢印部分からの距離に応じて合成率を変化させる。この合成率をαとすると、合成画像の各画素の色値は、例えば、以下の数４式により算出される。なお、数４式は、上述の数１式の合成処理を行う場合のものである。
【００４１】
数４式において、Ｅｉｊは、合成画像を構成する各画素の位置（ｉ，ｊ）における色値である。また、Ｍｉｊは、マスク画像Ｍを構成する各画素の位置（ｉ，ｊ）における色値である。さらに、Ｉｉｊは、背景画像Ｉを構成する各画素の位置（ｉ，ｊ）における色値である。そして、αは、合成率であり、０〜１の範囲の値である。例えば合成率１００％の画素では、αは１になる。また、例えば合成率５０％の画素では、αは０．５になる。
【００４２】
【数４】
2017162153.tif 000006
【００４３】
以上説明したように、本実施の形態において、画像処理装置１０は、背景画像に対して経時的に変化するランダムノイズを表す複数のマスク画像を合成し、複数の合成画像が順番に切り替わるように連続画像を生成する。そして、連続画像が表示されることにより、静止画像である背景画像が連続的に動いているような印象を喚起する。連続画像の視聴者は、合成画像が順番に切り替わる様子を見ることで、経時的に変化するランダムノイズに規則性を見出そうとするため、静止画像が連続的に動いているような印象を受けることになる。本実施の形態において、ユーザは、動画の撮影や動画の高度な編集作業等をしなくても良い。また、背景画像の高周波成分が少ない場合にも背景画像に動きの印象を与えることができる。
【００４４】
なお、図４に示す例では炎が連続的に動く様子を表現したが、本実施の形態では、ランダムノイズを付与して動きを与える対象としてはどのようなものでも良く、例えば、湯気の動き、波の動き、木の葉が揺れる動きなどが表現される。付言すると、本実施の形態は、輪郭を持った物体自体が移動する動作よりも、流体のように輪郭を持たない物体の動作を表現するのに適している。また、輪郭を持った物体の画像に対して経時的に変化するランダムノイズを合成した場合には、例えば、物体の表面の状態（テクスチャ、模様など）が連続的に変化する様子が表現される。
【００４５】
また、本実施の形態において、ノイズを生成するのに使用される変数（以下、ノイズ変数と称する）をユーザが指定しても良い。例えばパーリンノイズの場合、ノイズ変数としては、周波数、オクターブ数、シード値などが挙げられる。図６は、周波数を変化させた場合のパーリンノイズの一例を説明するための図である。図６に示すように、周波数（frequency）が高いほどノイズの濃淡が急峻に変化し、周波数が低いほどノイズの濃淡が緩やかに変化する。また、オクターブ数は、合成するノイズの階層の数を示す値であり、オクターブ数を増やすほど、より精細なノイズが得られる。さらに、シード値を変えることにより、ノイズの分布が変化する。
【００４６】
また、ノイズ変数として、ノイズが有する明暗情報の階調の幅を変化させることも考えられる。この場合、ユーザは、例えば、明暗情報の２５６階調全てを用いてノイズを生成することを指定したり、２５６階調のうちの０〜１２８までの階調を用いてノイズを生成することを指定したりする。
【００４７】
また、本実施の形態において、ユーザは、連続画像において合成画像を切り替える間隔の値を指定しても良い。ユーザがこの値を指定することにより、静止画像の動きがより自然になるように調整される。付言すると、例えば、合成画像を切り替える間隔が長いと、静止画像として人間に知覚され易くなる。そのため、ユーザは、連続画像が静止画像ではなく動きのある画像として認識可能なように、合成画像を切り替える間隔を調整すれば良い。
なお、ノイズ変数や合成画像を切り替える間隔については、ユーザが指定しない場合には固定で決められている値が用いられる。
【００４８】
さらに、上述した例では、マスク画像は明暗情報を有することとしたが、このような構成に限られるものではない。マスク画像は、無彩色ではなく、例えば赤色などの有彩色を有しても良い。この場合、マスク画像は、例えば、赤色系の色を有するランダムノイズを基に生成され、マスク画像の各画素には、明度や彩度をランダムに振った赤色系の色が与えられる。また、マスク画像としては、ＲＧＢ値などの色空間の色値を表現するものではなく、例えば、透過度（透明度）のような指標をランダムに振ったノイズの画像を用いても良い。
【００４９】
そして、上述した例では、背景画像内でマスク画像を合成する領域をユーザが指定することとしたが、ユーザによらず自動的に指定することとしても良い。例えば、図５に示す例では、ユーザがマウス等をドラッグして領域Ａ１を指定したが、自動的に指定する場合、例えば、背景画像内で予め指定された色値の範囲内の画素の集まり（領域）が領域Ａ１として指定される。また、例えば、背景画像内で領域Ａ１の位置が座標情報により固定で指定されていても良い。
【００５０】
［第２の実施形態］
次に第２の実施形態について説明を行う。
第１の実施形態では、ユーザ等により背景画像内の領域が１つ指定され、指定された領域に対してノイズが合成される。これに対して、本実施の形態では、背景画像内で複数の領域が指定され、指定された複数の領域に対して、各々異なるノイズ変数により生成されたノイズが合成される。
【００５１】
本実施の形態の画像処理装置１０の機能構成例については、図２と同様である。そして、画像情報取得部１１、ユーザ指示受付部１２、連続画像生成部１５、画像情報出力部１６の機能は、第１の実施形態と同様である。よって以下、第１の実施形態と異なる点として、マスク生成部１３、画像合成部１４について説明を行う。
【００５２】
本実施の形態では、ユーザ指示受付部１２が受け付けた指示により、背景画像内で複数の領域が指定される。マスク生成部１３は、指定された複数の領域の領域毎にノイズ変数を変えて、マスク画像を生成する。言い換えると、指定された複数の領域のそれぞれに対応するノイズ変数が設定され、設定されたノイズ変数を基に、複数の領域のそれぞれに対して異なる種類のマスク画像が生成される。
【００５３】
画像合成部１４は、指定された複数の領域の領域毎にそれぞれ異なる種類のマスク画像を合成する。ここで、画像合成部１４は、例えば、指定された複数の領域のうち、狭い領域には、周波数が高く濃淡が急峻に変化するノイズを付与する。周波数が高く濃淡が急峻に変化するノイズを付与することにより、より細かな（急な）動きが表現される。また、例えば、広い領域には、周波数が低く濃淡が緩やかに変化するノイズを付与する。周波数が低く濃淡が緩やかに変化するノイズを付与することにより、より大きな（緩やかな）動きが表現される。
【００５４】
図７は、複数の領域に対して各々異なるノイズ変数により生成されたマスク画像を合成する処理の一例を説明するための図である。図７に示す例では、背景画像内の領域として、ろうそくの芯の先に点った炎を示す領域Ａ３と、その他の領域Ａ４とが指定されている。例えば、領域Ａ３は領域Ａ４よりも狭いため、領域Ａ３には、領域Ａ４に付与されるノイズよりも周波数の高いノイズが付与される。このようにノイズを付与することで、炎の周辺に比べて炎の中心部の方がより細かく動いているような印象が与えられる。
なお、ノイズ変数については、領域の大きさに応じて自動的に設定されても良いし、領域毎にユーザが指定しても良い。
【００５５】
また、他の例として、マスク生成部１３は、ノイズ変数である明暗情報の階調の幅を変えて、マスク画像を生成することも考えられる。この場合、画像合成部１４は、例えば、背景画像内の一の領域には、明暗情報の２５６階調全てを用いたノイズを付与し、背景画像内の他の領域には、明暗情報の２５６階調のうちの０〜１２８までの階調を用いたノイズを付与する。明暗情報の幅が大きいノイズが付与することにより、より細かな（急な）動きが表現される。一方、明暗情報の幅が小さいノイズを付与することにより、より大きな（緩やかな）動きが表現される。
【００５６】
このように、本実施の形態において、画像合成部１４は、背景画像内で指定された複数の領域に対して、異なるノイズ変数を用いて生成されたマスク画像を合成する。領域毎に異なるノイズ変数を用いたマスク画像が合成されることにより、領域毎に異なる動きが表現されることとなる。なお、上述した例では、背景画像内でマスク画像を合成する複数の領域をユーザが指定することとしたが、第１の実施形態と同様に、ユーザによらず色値などを基に自動的に指定しても良い。
【００５７】
［第３の実施形態］
次に第３の実施形態について説明を行う。
第１の実施形態では、複数のマスク画像はランダムノイズに基づいて生成された画像であり、方向性を有するものではない。これに対して、本実施の形態では、複数のマスク画像は、ランダムノイズに基づいて方向性を有するように生成される。
【００５８】
本実施の形態の画像処理装置１０の機能構成例については、図２と同様である。そして、画像情報取得部１１、ユーザ指示受付部１２、画像合成部１４、連続画像生成部１５、画像情報出力部１６の機能は、第１の実施形態と同様である。よって以下、第１の実施形態と異なる点として、マスク生成部１３について説明を行う。
【００５９】
マスク生成部１３は、方向性を有する複数のマスク画像を生成する。図８（ａ）〜（ｄ）は、方向性を有するマスク画像の一例を示す図である。図８（ａ）〜（ｄ）に示す例では、４つのマスク画像（図８（ａ）はマスク画像Ｍ４、図８（ｂ）はマスク画像Ｍ５、図８（ｃ）はマスク画像Ｍ６、図８（ｄ）はマスク画像Ｍ７）を示している。それぞれのマスク画像Ｍ４〜Ｍ７はパーリンノイズを基に生成された画像であり、マスク画像同士で方向性を有している。
【００６０】
より具体的には、マスク画像Ｍ４の中で、領域Ｂ１は、他の領域と比べて白成分が強い領域である。そして、領域Ｂ１内の画像の位置を移動させることにより、マスク画像Ｍ４〜Ｍ７に方向性を持たせる。即ち、マスク画像Ｍ５では、領域Ｂ１内の画像をマスク画像Ｍ４での位置から矢印の方向へ移動させている。さらに、マスク画像Ｍ６では、領域Ｂ１内の画像をマスク画像Ｍ５での位置から矢印の方向へ移動させている。マスク画像Ｍ７でも、領域Ｂ１内の画像をマスク画像Ｍ６での位置から矢印の方向へ移動させている。
【００６１】
このように、マスク画像Ｍ４〜Ｍ７において共通する領域Ｂ１内の画像の位置を矢印の方向に向けて移動させることにより、マスク画像Ｍ１〜Ｍ４に矢印が示す方向の方向性を持たせることができる。なお、図８に示す矢印のような、共通の画像を移動させる方向については、ユーザが指定しても良いし、固定で指定されていても良い。
【００６２】
このように、本実施の形態では、マスク生成部１３は、特定の方向性を有するように複数のマスク画像を生成する。そして、画像合成部１４は、背景画像と特定の方向性を有する複数のマスク画像とを合成する。言い換えると、画像合成部１４は、背景画像に対して特定の方向性を有するランダムノイズを付与する。その結果、静止画像である背景画像が連続的に動いており、その静止画像の動きに特定の方向性があるような印象が喚起される。そのため、例えば波など、動きに方向性のあるものがより自然に表現される。
【００６３】
また、上述した例では、方向性を持たせるために移動させる画像として白成分が強い画像を用いたが、このような構成に限られるものではない。例えば、赤色等の特定の色成分が強い画像を移動させて方向性を持たせても良い。また、例えば、背景画像の中でユーザが強調したい領域があれば、強調したい領域内でノイズを移動させることにより方向性を持たせても良い。この場合、ユーザが強調したい領域については、例えば、図５に示すようにユーザがマウス等を用いて指定する。また、ノイズを移動させる方向については、例えば、ユーザがマウス等を用いてドラッグすることで指定しても良いし、固定で指定されていても良い。
【００６４】
なお、本実施の形態では、第２の実施形態の処理と組み合わせることにより、背景画像内で指定された複数の領域のうち何れかの領域に対して方向性を有するマスク画像を合成したり、指定された複数の領域の領域毎に異なる方向性を有するマスク画像を合成したりしても良い。
【００６５】
［第４の実施形態］
次に、第４の実施形態について説明を行う。
第３の実施形態では、複数のマスク画像で共通の画像を移動させることにより、複数のマスク画像に方向性を持たせる。これに対して、第４の実施形態では、ランダムノイズに対して方向性を持たせる画像を合成することにより、複数のマスク画像に方向性を持たせる。
【００６６】
本実施の形態の画像処理装置１０の機能構成例については、図２と同様である。そして、画像情報取得部１１、ユーザ指示受付部１２、画像合成部１４、連続画像生成部１５、画像情報出力部１６の機能は、第１の実施形態と同様である。よって以下、第１の実施形態と異なる点として、マスク生成部１３について説明を行う。
【００６７】
マスク生成部１３は、方向性を有する複数のマスク画像を生成する。図９（ａ）〜（ｃ）は、方向性を有するマスク画像の他の例を示す図である。図９（ａ）〜（ｃ）に示す例では、３つのマスク画像（図９（ａ）はマスク画像Ｍ８、図９（ｂ）はマスク画像Ｍ９、図９（ｃ）はマスク画像Ｍ１０）を示している。それぞれのマスク画像Ｍ８〜Ｍ１０は、パーリンノイズに対して縦方向の線を一定間隔で並べた模様が合成されたものである。
【００６８】
より具体的には、マスク画像Ｍ８〜Ｍ１０のパーリンノイズはそれぞれ異なる一方で、縦方向の線に重なる画素の明暗（濃淡）をマスク画像Ｍ８〜Ｍ１０毎に変化させる。例えば、パーリンノイズの各画素の明暗を１００％とすると、マスク画像Ｍ８においては、縦方向の線に重なる画素の明暗を８０％にする。また、マスク画像Ｍ９においては、縦方向の線に重なる画素の明暗を５０％にする。さらに、マスク画像Ｍ１０においては、縦方向の線に重なる画素の明暗を２０％にする。このようにして、縦方向の線に重なる画素の明暗をマスク画像Ｍ８〜Ｍ１０毎に変えることにより、マスク画像Ｍ８〜Ｍ１０に縦方向の方向性を持たせることができる。
【００６９】
同様に、パーリンノイズに対して、例えば横方向の線を一定間隔で並べた模様を合成し、横方向の線に重なる画素の明暗（濃淡）をマスク画像毎に変化させる場合には、複数のマスク画像に横方向の方向性を持たせることができる。また、パーリンノイズに対して、例えば斜め方向の線を一定間隔で並べた模様を合成し、斜め方向の線に重なる画素の明暗（濃淡）をマスク画像毎に変化させる場合には、複数のマスク画像に斜め方向の方向性を持たせることができる。
なお、ノイズに対してどのような模様を合成するかについては、例えば、複数のサンプルの模様の中からユーザが指定しても良いし、固定で指定されていても良い。
【００７０】
このように、本実施の形態では、マスク生成部１３は、ランダムノイズに対して、特定の方向性を持たせる画像を合成することにより、マスク画像を生成する。そして、画像合成部１４は、背景画像と特定の方向性を有する複数のマスク画像とを合成する。その結果、静止画像である背景画像が連続的に動いており、その静止画像の動きに特定の方向性があるような印象が喚起される。そのため、例えば波など、動きに方向性のあるものがより自然に表現される。
【００７１】
また、上述した例では、マスク画像に方向性を持たせるために一定間隔で線を並べた模様を用いたが、異なる間隔で線を並べた模様を用いても良い。また、例えば、マスク画像毎に線の間隔を変化させても良い。
さらに、線を並べた模様に限られるものではなく、例えば、円が幾重に広がる波紋の模様を用いても良い。この場合、例えば、円の間隔は一定間隔でも異なる間隔でも良く、また、マスク画像毎に円の間隔を変化させても良い。
【００７２】
なお、本実施の形態では、第２の実施形態の処理と組み合わせることにより、背景画像内で指定された複数の領域のうち何れかの領域に対して方向性を有するマスク画像を合成したり、指定された複数の領域の領域毎に異なる方向性を有するマスク画像を合成したりしても良い。
【００７３】
また、第１の実施形態〜第４の実施形態において、マスク画像（ランダム画像）を、ランダムノイズを基に生成される画像として説明したが、マスク画像はランダムノイズを基に生成される場合に限られない。本実施の形態は、規則性（連続性）のないランダムなものに対して規則性（連続性）を見出そうとする人間の視覚特性を利用するものであるため、マスク画像は、互いに共通する特徴を有するが連続性はなく、ランダムに決められた形式・模様を基に生成される画像であれば、どのようなものでも良い。例えば、マスク画像は、複数の並行するもしくは交差する線で構成された縞模様であって線の太さや線の間隔をランダムに変えることで構成される画像であったり、円が幾重に広がる波紋の模様であって円の太さや円の間隔をランダムに変えることで構成される画像であったりしても良い。
【００７４】
＜画像処理装置のハードウェア構成例＞
次に、画像処理装置１０のハードウェア構成について説明する。
図１０は、画像処理装置１０のハードウェア構成例を示した図である。
画像処理装置１０は、上述したようにパーソナルコンピュータ等により実現される。そして図示するように、画像処理装置１０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２、及びＨＤＤ（Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳやアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリ９２は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤ９３は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置１０は、外部との通信を行なうための通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）９４を備える。
【００７５】
＜プログラムの説明＞
ここで以上説明を行った本実施の形態における画像処理装置１０が行う処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
【００７６】
よって本実施の形態で、画像処理装置１０が行なう処理は、コンピュータに、静止画像を取得する機能と、連続性のない複数のランダム画像のそれぞれと静止画像とが合成された複数の合成画像を時間的に並べて構成される連続画像を出力する機能と、を実現させるためのプログラムとして捉えることもできる。
【００７７】
なお、本発明の実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【００７８】
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【符号の説明】
【００７９】
１…画像処理システム、１０…画像処理装置、１１…画像情報取得部、１２…ユーザ指示受付部、１３…マスク生成部、１４…画像合成部、１５…連続画像生成部、１６…画像情報出力部、２０…表示装置
【図１】
2017162153.tif 000007
【図２】
2017162153.tif 000008
【図３】
2017162153.tif 000009
【図４】
2017162153.tif 000010
【図５】
2017162153.tif 000011
【図６】
2017162153.tif 000012
【図７】
2017162153.tif 000013
【図８】
2017162153.tif 000014
【図９】
2017162153.tif 000015
【図１０】
2017162153.tif 000016