(57)【要約】【課題】任意の動画像を迅速にアニメ化すること。【解決手段】画像処理装置１は、エッジ強調処理部１２２が、入力される元動画像からガウシアンフィルタ像を作成し、元動画像と作成したガウシアンフィルタ像に重みをつけて加算することにより元画像のエッジを強調するようにした。そして、平滑化処理部１２３が、エッジが強調された動画像にドメイントランスフォームフィルタ処理を施して、動画像を平滑化するようにした。【選択図】図３
2020035038.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが、
入力される元動画像からガウシアンフィルタ像を作成し、前記元動画像と作成したガウシアンフィルタ像に重みをつけて加算することにより前記元動画像のエッジを強調し、
エッジが強調された動画像にドメイントランスフォームフィルタ処理を施して、前記動画像を平滑化する、
ことを特徴とする画像処理方法。
【請求項２】
エッジを強調するに先立ち元動画像の明度差を強調する請求項１または２に記載の画像処理方法。
【請求項３】
コンピュータに、
入力される元動画像からガウシアンフィルタ像を作成し、前記元動画像と作成したガウシアンフィルタ像に重みをつけて加算することにより前記元動画像のエッジを強調し、
エッジが強調された動画像にドメイントランスフォームフィルタ処理を施して、前記動画像を平滑化する、
処理を実行させることを特徴とするプログラム。
【請求項４】
入力される元動画像を記憶する記憶部と、
前記元動画像からガウシアンフィルタ像を作成し、前記元動画像と作成したガウシアンフィルタ像に重みをつけて加算することにより前記元動画像のエッジを強調するエッジ強調処理部と、
エッジが強調された動画像にドメイントランスフォームフィルタ処理を施して、前記動画像を平滑化する平滑化処理部と、
を有することを特徴とする情報処理装置。
【請求項５】
コンピュータが、
入力される元動画像の明度差を強調し、
明度差が強調された動画像にドメイントランスフォームフィルタ処理を施して、前記動画像を平滑化する、
ことを特徴とする画像処理方法。
【請求項６】
コンピュータが、
入力される元動画像の明度差を強調し、
入力される元動画像からガウシアンフィルタ像を作成し、前記元動画像と作成したガウシアンフィルタ像に重みをつけて加算することにより前記元動画像のエッジを強調し、
エッジが強調された動画像を平滑化するフィルタ処理を施す、
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
リアルタイムで動画像や静止画像のエッジ処理をする方法が知られている。例えば、ＯｐｅｎＣＶの分野のアニメ化処理として、バイラテラルフィルタ（Bilateral Filter）、エッジプレサービングフィルタ（Edge Preserving Filter）等が知られている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Eduardo S. L. Gastal Manuel M. Oliveira “Domain Transform for Edge-Aware Image and Video Processing” ［online］ ACM Transactions on Graphics. Volume 30 (2011), Number 4, Proceedings of SIGGRAPH 2011, Article 69.、［平成30年8月21日検索］、インターネット<URL：http://www.inf.ufrgs.br/~eslgastal/DomainTransform/Gastal_Oliveira_SIGGRAPH2011_Domain_Transform.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
これらのアニメ化処理に共通する特徴として、通常のＰＣ（Personal Computer）で実行すると時間がかかりすぎて動画映像に適用するのが難しいというものがある。つまり、動画像を同期的にアニメ化することが困難であるという問題がある。
１つの側面では、本発明は、任意の動画像を迅速にアニメ化することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、開示の画像処理方法が提供される。この画像処理方法は、コンピュータが、入力される元動画像からガウシアンフィルタ像を作成し、元動画像と作成したガウシアンフィルタ像に重みをつけて加算することにより元動画像のエッジを強調し、エッジが強調された動画像にドメイントランスフォームフィルタ処理を施して、動画像を平滑化する。
【発明の効果】
【０００６】
１態様では、任意の動画像を迅速にアニメ化することができる。
【図面の簡単な説明】
【０００７】
【図１】実施の形態の画像処理装置の概要を示す図である。
【図２】実施の形態の画像処理装置のハードウェア構成を示す図である。
【図３】実施の形態の画像処理装置の機能を示すブロック図である。
【図４】画像処理装置の記憶部に記憶される情報の一例を示す図である。
【図５】操作画面の一例を示す図である。
【図６】画像処理部の処理を説明するフローチャートである。
【図７】画像変換処理を説明するフローチャートである。
【図８】画像処理の具体例を説明する図である。
【図９】画像処理の具体例を説明する図である。
【図１０】実施の形態の画像処理装置を用いた応用例を説明する図である。
【発明を実施するための形態】
【０００８】
＜実施の形態＞
以下、実施の形態の画像処理装置を、図面を参照して詳細に説明する。
図１は、実施の形態の画像処理装置の概要を示す図である。
【０００９】
実施の形態の画像処理装置１は、任意の処理対象動画像を入力してその動画像の画像に対して画像をぼかすことを回避しながら色を平滑化する処理を適用し変換して見せることでユーザに新しい動画体験を提供することを目的とする。処理対象動画像の種別としては特に限定されないが、例えば、Ｂｌｕ−ｒａｙ（登録商標）、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の各種記憶媒体に記憶されている動画像や、インターネットを介して配信される動画像や、テレビジョンの映像等が挙げられる。
本実施の形態の説明において、以下の用語を定義する。
エッジ：画像の色の変化する境界のことを“エッジ”と表現する。 
アニメ化：画像をぼかすことを回避しながら色を平滑化する処理を“アニメ化“と表現
する。”エッジ”を用いてアニメ化を表現すると“エッジを保持したまま色を平滑化する”ということになる。
よって本実施の形態の画像処理装置の目的を用語で言い変えると、“動画をアニメ化することで ユーザに新しい動画体験を提供すること”となる。
【００１０】
ＬＵＴ：“ルック・アップ・テーブル（Look Up Table）”の略語。Ｗｉｋｉｐｅｄｉａにも記載があるが本実施の形態内での意味は、画像の明るさの変換テーブルを保持することで画像の明るさを変換することを言う。
【００１１】
先鋭化：英語でいうところのシャープネス（Sharpness)。画像の先鋭化とはエッジを際立たせることで画像のボケを回避すること。例えば、画像のエッジの明度を二乗することにより画像を先鋭化することができる。先鋭化の方法は、後に詳述する。
【００１２】
実施の形態の画像処理装置（コンピュータ）１は、画像を処理するために、インテル社（Intel Corporation）が開発・公開したオープンソースのコンピュータビジョン向けライブラリＯｐｅｎＣＶを用いている（二乗・三乗することでさらに映像処理を高速化できる）。ＧＰＵ支援を用いた手段がよく議題に上るが、今回一般的なユーザが保有するＰＣやスマートフォン等の移動端末装置で実行することを念頭においている。また、端末の種別は動画像を表示できるものであれば特に限定されない。例えばテレビジョンであってもよい。
画像処理装置１にて画像処理を実行させる場合は、予め画像処理装置１にインストールされるＷｅｂアプリケーションを動作させる。
【００１３】
Ｗｅｂでアプリケーションを動作させるとき、ＯｐｅｎＣＶを用いた画像処理の負荷を、動画像を配信するサーバ側（配信サーバ側）で行うと、ユーザの数の増加に配信サーバが耐えられなくなる場合があることが考えられる。このため、ＯｐｅｎＣＶを用いた画像処理の負荷を画像処理装置１側（クライアント側（ブラウザー側））で行うことで配信サーバの負荷を軽減させている。
【００１４】
実施の形態のアニメ化処理をＪａｖａｓｃｒｉｐｔにて行うと、変換速度が遅く、リアルタイムにアニメ化すること困難なため、高速化のためにＣ言語で直接ＯｐｅｎＣＶを動作させた。そのための技術としてＷｅｂＡｓｓｅｍｂｌｙを使った。
以下、実施の形態の画像処理装置１の処理を簡単に説明する。
画像処理装置１は、ＬＵＴを用いて処理対象動画像の明度を変換する。
次に、画像処理装置１は、画像のエッジを先鋭化する（エッジ強調処理）。
【００１５】
次に、画像処理装置１は、画像を平滑化する。平滑化に際しては、前述した非特許文献に挙げた論文に記載されたドメイントランスフォームフィルタ（Domain Transform Filter）を用いる。この処理高速化のポイントとしては画像を１Ｄに線形化することで従来の２Ｄ処理の手間を省く処理を実装した。
以下、開示の画像処理装置をより具体的に説明する。
図２は、実施の形態の画像処理装置のハードウェア構成を示す図である。
【００１６】
画像処理装置１は、ＣＰＵ（Central Processing Unit）１０１によって装置全体が制御されている。ＣＰＵ１０１には、バス１０８を介してＲＡＭ（Random Access Memory）１０２と複数の周辺機器が接続されている。
【００１７】
ＲＡＭ１０２は、画像処理装置１の主記憶装置として使用される。ＲＡＭ１０２には、ＣＰＵ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。ＯＳとしては特に限定されないが、例えば、Ｗｉｎｄｏｗｓ（登録商標）やＬｉｎｕｘ（登録商標）やＭＡＣ  ＯＳ（登録商標）等が挙げられる。また、ＲＡＭ１０２には、ＣＰＵ１０１による処理に使用する各種データが格納される。
【００１８】
バス１０８には、ハードディスクドライブ（ＨＤＤ:Hard Disk Drive）１０３、グラフィック処理装置１０４、入力インタフェース１０５、音声処理装置１０６、および通信インタフェース１０７が接続されている。
【００１９】
ハードディスクドライブ１０３は、内蔵したディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ハードディスクドライブ１０３は、画像処理装置１の二次記憶装置として使用される。ハードディスクドライブ１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、二次記憶装置としては、フラッシュメモリ等の半導体記憶装置を使用することもできる。
【００２０】
グラフィック処理装置１０４には、モニタ１０４ａが接続されている。グラフィック処理装置１０４は、ＣＰＵ１０１からの命令に従って、画像をモニタ１０４ａの画面に表示させる。モニタ１０４ａとしては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や、液晶表示装置等が挙げられる。
【００２１】
入力インタフェース１０５には、キーボード１０５ａとマウス１０５ｂとが接続されている。入力インタフェース１０５は、キーボード１０５ａやマウス１０５ｂから送られてくる信号をＣＰＵ１０１に送信する。なお、マウス１０５ｂは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、例えばタッチパネル、タブレット、タッチパッド、トラックボール等が挙げられる。
【００２２】
音声処理装置１０６には、スピーカ１０６ａが接続されている。音声処理装置１０６は、ＣＰＵ１０１からの命令に従って、音声をスピーカ１０６ａから出力させる。
【００２３】
通信インタフェース１０７は、ネットワーク５０に接続されている。通信インタフェース１０７は、ネットワーク５０を介して、他のコンピュータまたは通信機器との間でデータを送受信する。
以上のようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。
図２に示すようなハードウェア構成の画像処理装置１内には、以下のような機能が設けられる。
図３は、実施の形態の画像処理装置の機能を示すブロック図である。
画像処理装置１は、記憶部１１と画像処理部１２とを有している。
図４は、画像処理装置の記憶部に記憶される情報の一例を示す図である。
【００２４】
記憶部１１には、動画像の音量、動画像の再生位置、ＬＵＴ、先鋭化パラメータ、平滑化パラメータおよび動画像データが記憶される記憶領域が設けられている。
これらＬＵＴ、先鋭化パラメータ、平滑化パラメータは、モニタ１０４ａの表示部に表示される操作画面を介してユーザが入力することができる。
再び図３に戻って説明する。
【００２５】
画像処理部１２は、明度変換部１２１と、エッジ強調処理部１２２と、平滑化処理部１２３と、特殊処理部１２４とを有している。明度変換部１２１と、エッジ強調処理部１２２と、平滑化処理部１２３と、特殊処理部１２４は、それぞれ操作画面を介してユーザより入力される値を用いて画像処理を実行する。
図５は、操作画面の一例を示す図である。
【００２６】
モニタ１０４ａの表示部１０４ｂに表示される操作画面２０には、ＬＵＴ操作部２１と、先鋭化パラメータ選択部２２と先鋭化パラメータ操作部２３と平滑化パラメータ操作部２４とが設けられている。ユーザにより操作または選択されたＬＵＴの値やパラメータの値は、記憶部１１に記憶される。
また、図５には、変換処理前の画像（元画像）２５と、画像処理部１２による変換処理後の画像２６とが表示されている。
明度変換部１２１は、ＬＵＴの値に応じて画像の明度を変換する。
【００２７】
ユーザがＬＵＴ操作部２１を操作することにより、ＬＵＴには明るさ（０−２５５）の数値をどの値に変換するかを示す値が設定される。例えば、明るさが０−１０は０を出力する。明るさが２００−２５５は２５５を出力する。その間は明るさに比例した値を出力する等、任意の値に設定できる。例えば、ＬＵＴの値を予め前述の値に設定しておいてもよい。前述の値にＬＵＴを設定すると、１０−２００間の明度差を強調することができる。
【００２８】
古い動画像等、画像が全体として暗いことがある。その画像を明るい方向に変更することにより、画像がより見やすくなる。あるいは野外で取った画像が明るすぎることがある。その画像を暗くする方向に変更することにより、画像がより見やすくなる。
【００２９】
エッジ強調処理部１２２は、先鋭化パラメータ選択部２２に設定されている「先鋭化１」、「先鋭化２」、「先鋭化３」の項目のうち、ユーザにより選択された項目に応じた処理を実行する。具体的には、「先鋭化１」をユーザが選択すると以下に示す先鋭化パターン１の処理を実行する。「先鋭化２」をユーザが選択すると以下に示す先鋭化パターン２の処理を実行する。「先鋭化３」をユーザが選択すると以下に示す先鋭化パターン３の処理を実行する。
また、先鋭化パターン１〜３の処理の実行に際し、エッジ強調処理部１２２は、ユーザにより設定される先鋭化パラメータ操作部２３の値を参照する。
（先鋭化パターン１）
【００３０】
（手順１）エッジ強調処理部１２２は元画像からガウシアンフィルタ像を生成する。このときエッジ強調処理部１２２は、先鋭化パラメータ操作部２３に設定されているノイズ取り強度の値（ガウシアンフィルタ像を平坦化するためのパラメータ）を使う。
【００３１】
（手順２）エッジ強調処理部１２２は元画像とガウシアンフィルタ像の差分が、先鋭化パラメータ操作部２３に設定されているエッジしきい値を超えた場合にマスク像を作成する。
【００３２】
（手順３）エッジ強調処理部１２２は元画像とガウシアンフィルタ像に重みをつけて結合する。このときエッジ強調処理部１２２は、先鋭化パラメータ操作部２３に設定されている正確さの値を使う。
【００３３】
（手順４）上記（手順２）にてマスク像を作成した場合、エッジ強調処理部１２２は、手順３の画像を、マスク像を使って結果をマスクする。これにより、エッジが過剰に強調されることを抑制することができる。
（手順５）エッジ強調処理部１２２は、画像処理後の画像を出力する。
【００３４】
なお、上記（手順３）における重ね合わせは、先鋭化パターン１では、（１＋正確さパラメータ）×元データ−ガウシアンフィルタ像×（正確さパラメータ）にて行う。
（先鋭化パターン２）
（手順１）、（手順２）、（手順４）、（手順５）は、先鋭化パターン１と同じである。
【００３５】
（手順３）重ね合わせが先鋭化パターン１と異なる。先鋭化パターン２の重ね合わせは、（先鋭化パターン１）×元データ−ガウシアンフィルタ像＝（（１＋正確さパラメータ）×元データ−ガウシアンフィルタ像×（正確さパラメータ））×元データ−ガウシアンフィルタ像である。
元データに掛ける値が１違うのは、先鋭化パターン２では先鋭化パターン１に比べて少しだけ元データのエッジを強調したためである。
（先鋭化パターン３）
【００３６】
先鋭化パターン３は、先鋭化パターン１、２とは異なる先鋭化手法である。具体的には、先鋭化パターン３では、エッジ強調処理部１２２は、以下に示す線形フィルタを画像に掛ける。
線形フィルタとして
【数１】
2020035038.tif 000003
の３行３列の行列を掛ける。真ん中だけ変化させることで差分を強調する。
【００３７】
先鋭化パラメータ操作部２３には、ノイズ取り強度、エッジしきい値および正確さの項目が設けられている。ユーザの操作により、ノイズ取り強度、エッジしきい値および正確さの値を変更することができる。
【００３８】
平滑化処理部１２３は、フィルタ関数の定義域（domain）をあらかじめ変換（transform）し，エッジ保存型フィルタを線形のフィルタ処理により実現する。これにより並列化が容易になり処理を高速化できる。具体的には、平滑化処理部１２３は、画像にドメイントランスフォームフィルタ処理を施す。このとき平滑化処理部１２３は、平滑化パラメータ操作部２２に設定された値を使う。画面を滑らかにするために色を均す方法と位置を均す方法と２種類がある。平滑化パラメータ操作部２２は、シグマ（空間）およびシグマ（色）の項目が設けられており、その２個のパラメータを入力できる。
ドメイントランスフォームフィルタ処理を施すことにより、エッジを保持したまま画像をぼかすことができる。
【００３９】
特殊処理部１２４は、ユーザによる操作画面２０内の特殊操作ボタン２７ａ〜２７ｈの選択に応じて特殊処理を実行する。例えば、ユーザにより特殊操作ボタン２７ａが選択されると、画像内の顔部分を変形させる。また、ユーザにより特殊操作ボタン２７ｂが選択されると、画像内の目の部分を覆うように眼鏡画像を付加させる。また、ユーザにより特殊操作ボタン２７ｃが選択されると、画像内の顔部分の明度を白くさせる。また、ユーザにより特殊操作ボタン２７ｄが選択されると、画像内の目の部分を大きく表示させる。
次に、画像処理部１２の処理を、フローチャートを用いて説明する。
図６は、画像処理部の処理を説明するフローチャートである。
【００４０】
［ステップＳ１］  画像処理部１２は、ユーザのパラメータ入力に変化があるか否かを判断する。変化がある場合（ステップＳ１のＹｅｓ）、ステップＳ２に遷移する。変化がない場合（ステップＳ１のＮｏ）、ステップＳ３に遷移する。
［ステップＳ２］  画像処理部１２は、ステップＳ１のパラメータ入力に応じたＬＵＴを作成し、記憶部１１に記憶する。その後、ステップＳ３に遷移する。
［ステップＳ３］  画像処理部１２は、処理対象の動画像データを読み込み、音声と画像とに分離する。音声はスピーカ１０６ａから出力する。
【００４１】
［ステップＳ４］  画像処理部１２は、ＬＵＴのデータおよびユーザ入力値を使用し、画像変換処理を行う。画像変換処理については後述する。その後、ステップＳ５に遷移する。
［ステップＳ５］  画像処理部１２は、画像変換処理が施された画像をモニタ１０４ａに出力する。
次に、ステップＳ４の画像変換処理を説明する。
図７は、画像変換処理を説明するフローチャートである。
［ステップＳ４ａ］  明度変換部１２１は、ＬＵＴを参照し、画像の明度を補正する。その後、ステップＳ４ｂに遷移する。
【００４２】
［ステップＳ４ｂ］エッジ強調処理部１２２は、先鋭化パラメータ選択部２２に設定されている先鋭化１、先鋭化２、先鋭化３の項目のうち、ユーザにより選択された項目に応じた処理を実行する。その後、ステップＳ４ｃに遷移する。
【００４３】
［ステップＳ４ｃ］平滑化処理部１２３は、平滑化パラメータ操作部２４に設定された値を用いて、画像にドメイントランスフォームフィルタ処理を施す。その後、ステップＳ４ｄに遷移する。
【００４４】
［ステップＳ４ｄ］特殊処理部１２４は、ユーザによる操作画面２０内の特殊操作ボタン２７ａ〜２７ｈの選択に応じて特殊処理を実行する。その後、ステップＳ５に遷移する。
＜具体例＞
図８および図９は画像処理の具体例を説明する図である。
図８（ａ）は、処理対象の画像（６４０×３６０ピクセル、２４ビット）を示している。
【００４５】
比較例として、図８（ｂ）、図９（ａ）は、従来公知の方法で画像処理をした例、図９（ｂ）は、実施の形態の画像処理装置１にて画像処理をした例を示す。なお、それぞれの方法にて画像処理を１０回行い、最短の処理時間のものを画像処理時間として採用した。
使用したＰＣのＣＰＵは、Ｉｎｔｅｌ  Ｃｏｒｅ  ｉ３  ２３５０Ｍ、メモリは８Ｍ、ＯＳはＷｉｎｄｏｗｓ７、Ｃ言語で実行した。
【００４６】
図８（ｂ）は、バイラテラルフィルタ（入力，出力，２０，９０，９０）；で画像処理を行った結果得られた画像である。画像処理時間は最短で３０６ミリ秒であった。
図９（ａ）は、エッジプレサービングフィルタ（入力，出力）；で画像処理を行った結果得られた画像である。画像処理時間は、最短で２８８ミリ秒であった。
前述したように、画像処理装置１では、画像を１Ｄに線形化することで従来の２Ｄ処理の手間を省く処理を実装した。
【００４７】
図９（ｂ）は、画像処理装置１のアニメ化処理で画像処理を行った結果得られた画像である。画像処理時間は、最短で８２ミリ秒であった。上記２つの手法に比べ、１／３以上の時間短縮が実現できた。
【００４８】
以上述べたように、画像処理装置１によれば、エッジ強調処理部１２２が、入力される元動画像からガウシアンフィルタ像を作成し、元動画像と作成したガウシアンフィルタ像に重みをつけて加算することによりエッジを強調するようにした。そして、平滑化処理部１２３が、エッジが強調された動画像にドメイントランスフォームフィルタ処理を施して、動画像を平滑化するようにした。従って、人の顔等、エッジが明確でない部分のぼかしを回避しつつ、エッジを保持したまま動画像をリアルタイムにアニメーションに変換し視聴することができる。
【００４９】
すなわち、平滑化処理部１２３にてドメイントランスフォームフィルタ処理を施した。これにより、単に画像をぼかす処理ではなく、エッジを保持したまま画像をぼかすことができる。この処理については前述したバイラテラルフィルタと呼ばれるものが有名だが、遅いという欠点があった。
【００５０】
このようなものをエッジ保存型フィルタと呼ぶが、今回の手法はフィルタ関数の定義域（domain）をあらかじめ変換（transform）し，エッジ保存型フィルタを線形のフィルタ処理により実現するようにした。これにより並列化が容易になり高速化できる。
【００５１】
もちろん実施の形態の画像処理装置１を用いなくてもスーパーコンピュータ等を用いれば画像処理速度は改善するのであるが、そうなると汎用のＰＣで実行するのが難しく、家庭で楽しむ用途としては使えない。
【００５２】
処理時間はパラメータの選び方によっても大幅に変わる。これについては感性も関係するため一概には表現し難いが、色が平滑化（均一化）しているとみなせるようなパラメータを選んだと表現するしかない。
【００５３】
また、今回それでも顔等の、境界がはっきりしない場所においてはエッジが消えてしまう場合があるため、さらなるエッジ強調処理、明度変換処理を組み合わせている。明度差を強調することにより、エッジが見分け易くなる。
【００５４】
エッジ強調処理自体はいくつかの手法を組み合わせているが、元画像からガウシアンフィルタ像を作成し、それと元画像を重みを付けて足し算することで実現している。
なお、エッジ強調処理、明度変換処理を追加しても動画像の変換に明確な負荷はかからないのを確認した。
以上をまとめると、
【００５５】
バイラテラルフィルタ（Bilateral Filter）、エッジプレサービングフィルタ（Edge Preserving Filter）の代替処理（ドメイントランスフォームフィルタを含む）
ＬＵＴの変換処理
画像の先鋭化
【００５６】
上記三つの処理を組み合わせたものをエッジ強調付自動平坦化処理（EEAF：Edge Emphasized Auto Flattening）と名付けることもできる。
この画像処理装置１は、例えば以下の用途で用いることができる。
動画の種類に応じて、機能を選別することができる。
また、アニメーションに変換した動画像の好きな箇所を切り取って、印刷等をすることができる。
また、アニメーションに変換した動画像をＳＮＳにアップロードし、世間の評価を得ることができる。
また、アニメーションに変換した動画像を用いて、新商品紹介等のプロモーションや宣伝を行うこともできる。
また、人の顔には肖像権があるが、アニメ化する際に顔の部分にモザイクや黒い横線を簡単に入れることができる。
また、古い動画像（昔に撮影された動画像）をアニメーションに変換することにより、新しい動画像として見せることができる。
また、動画像の内容としては、結婚式、運動会、パーティ、自撮り画像、等、個人で収録した動画像が挙げられる。
＜応用例＞
図１０は、実施の形態の画像処理装置を用いた応用例を説明する図である。
【００５７】
図１０に示すモニタ１０４ａの表示部１０４ｂには、元動画像を表示する表示部３１および変換された動画像のサムネイルを表示する表示部３２〜３８が設けられている。
【００５８】
表示部３２〜３８には、ユーザが操作画面２０を操作することよりパラメータが変化したアニメーション画像がそれぞれ表示される。例えば、スケッチアニメ風になったアニメーション画像や、平坦化したアニメーション画像や、人物の顔部分が変な顔になったアニメーション画像や、モノクロ化されたアニメーション画像や、より鮮明になったアニメーション画像や、明度を明るくしたアニメーション画像等を表示することができる。
【００５９】
ユーザは、表示部３１に表示される元画像や表示部３２〜３８に表示されるアニメーション画像をドラッグアンドドロップにより表示部３９に表示させることができる。
表示部の右下にはダウンロードボタン４０とキャプチャボタン４１とが設けられている。
【００６０】
ユーザによりダウンロードボタン４０が選択されると、画像処理部１２は、表示部３９に表示されている動画像のダウンロードを開始する。ダウンロードされた動画像は、記憶部１１に記憶される。ユーザによりキャプチャボタン４１が選択されると、画像処理部１２は、表示部３９に表示されている動画像を切り取り記憶部１１に記憶する。
【００６１】
なお、画像処理装置１が行った処理が、複数の装置によって分散処理されるようにしてもよい。例えば、１つの装置が、エッジ強調処理までを行って画像を先鋭化しておき、他の装置が、その画像を用いて画像の平滑化を行うようにしてもよい。
【００６２】
以上、本発明の画像処理方法およびプログラムを、図示の実施の形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物や工程が付加されていてもよい。
また、本発明は、前述した各実施の形態のうちの、任意の２以上の構成（特徴）を組み合わせたものであってもよい。
また、本実施の形態では画像処理装置１を汎用コンピュータとして説明したが、画像処理装置は、画像処理装置１が備える機能を有する基板であってもよい。
【００６３】
また、前述した明度変換およびエッジの先鋭化を用いて、ドメイントランスフォームフィルタ処理以外のフィルタ処理を行い、動画像をアニメーションに変換することも考えられる。
【００６４】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、画像処理装置１が有する機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリ等が挙げられる。磁気記憶装置には、ハードディスクドライブ、フレキシブルディスク（ＦＤ）、磁気テープ等が挙げられる。光ディスクには、Ｂｌｕ−ｒａｙ（登録商標）、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等が挙げられる。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）等が挙げられる。
【００６５】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【００６６】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。
【００６７】
また、上記の処理機能の少なくとも一部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）等の電子回路で実現することもできる。
【符号の説明】
【００６８】
１  画像処理装置
１１  記憶部
１２  画像処理部
１２１  明度変換部
１２２  エッジ強調処理部
１２３  平滑化処理部
１２４  特殊処理部
２０  操作画面
２１  ＬＵＴ操作部
２２  先鋭化パラメータ選択部
２３  先鋭化パラメータ操作部
２４  平滑化パラメータ操作部
【図１】
2020035038.tif 000004
【図２】
2020035038.tif 000005
【図３】
2020035038.tif 000006
【図４】
2020035038.tif 000007
【図５】
2020035038.tif 000008
【図６】
2020035038.tif 000009
【図７】
2020035038.tif 000010
【図８】
2020035038.tif 000011
【図９】
2020035038.tif 000012
【図１０】
2020035038.tif 000013
【手続補正書】
【提出日】平成31年3月5日(2019.3.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータが、
入力される元動画像からガウシアンフィルタ像を作成し、前記元動画像と作成したガウシアンフィルタ像に重みをつけて加算することにより前記元動画像のエッジを強調し、
エッジが強調された動画像にドメイントランスフォームフィルタ処理を施して、前記動画像を平滑化する、
ことを特徴とする画像処理方法。
【請求項２】
エッジを強調するに先立ち元動画像の明度差を強調する請求項１に記載の画像処理方法。
【請求項３】
コンピュータに、
入力される元動画像からガウシアンフィルタ像を作成し、前記元動画像と作成したガウシアンフィルタ像に重みをつけて加算することにより前記元動画像のエッジを強調し、
エッジが強調された動画像にドメイントランスフォームフィルタ処理を施して、前記動画像を平滑化する、
処理を実行させることを特徴とするプログラム。
【請求項４】
入力される元動画像を記憶する記憶部と、
前記元動画像からガウシアンフィルタ像を作成し、前記元動画像と作成したガウシアンフィルタ像に重みをつけて加算することにより前記元動画像のエッジを強調するエッジ強調処理部と、
エッジが強調された動画像にドメイントランスフォームフィルタ処理を施して、前記動画像を平滑化する平滑化処理部と、
を有することを特徴とする情報処理装置。
【請求項５】
コンピュータが、
入力される元動画像の明度差を強調し、
明度差が強調された動画像にドメイントランスフォームフィルタ処理を施して、前記動画像を平滑化する、
ことを特徴とする画像処理方法。
【請求項６】
コンピュータが、
入力される元動画像の明度差を強調し、
入力される元動画像からガウシアンフィルタ像を作成し、前記元動画像と作成したガウシアンフィルタ像に重みをつけて加算することにより前記元動画像のエッジを強調し、
エッジが強調された動画像を平滑化するフィルタ処理を施す、
ことを特徴とする画像処理方法。
【手続補正書】
【提出日】平成31年4月8日(2019.4.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータが、
入力される元動画像からガウシアンフィルタ像を作成し、前記元動画像と作成したガウシアンフィルタ像に重みをつけて加算することにより前記元動画像のエッジを強調し、
エッジが強調された動画像にドメイントランスフォームフィルタ処理を施して、前記動画像を平滑化する、
ことを特徴とする画像処理方法。
【請求項２】
エッジを強調するに先立ち元動画像の明度差を強調する請求項１に記載の画像処理方法。
【請求項３】
コンピュータに、
入力される元動画像からガウシアンフィルタ像を作成し、前記元動画像と作成したガウシアンフィルタ像に重みをつけて加算することにより前記元動画像のエッジを強調し、
エッジが強調された動画像にドメイントランスフォームフィルタ処理を施して、前記動画像を平滑化する、
処理を実行させることを特徴とするプログラム。
【請求項４】
入力される元動画像を記憶する記憶部と、
前記元動画像からガウシアンフィルタ像を作成し、前記元動画像と作成したガウシアンフィルタ像に重みをつけて加算することにより前記元動画像のエッジを強調するエッジ強調処理部と、
エッジが強調された動画像にドメイントランスフォームフィルタ処理を施して、前記動画像を平滑化する平滑化処理部と、
を有することを特徴とする情報処理装置。
【請求項５】
コンピュータが、
入力される元動画像の明度差を強調し、
明度差が強調された動画像にドメイントランスフォームフィルタ処理を施して、前記動画像を平滑化する、
ことを特徴とする画像処理方法。