(57)【特許請求の範囲】
【請求項１】
入力画像における画素のフローベクトルを検出するフローベクトル検出部と、
前記フローベクトルのパターンに基づいて、前記入力画像に対するエフェクトの処理を選択するエフェクト選択部と、
を備え、
前記フローベクトルのパターンは、消失点の有無であり、
前記エフェクト選択部は、
前記エフェクトの処理として、前記消失点の有無に基づいて、前記入力画像にズームエフェクトを適用するか否かを選択し、
前記入力画像にズームエフェクトを適用する場合であって、前記入力画像が直線的なエッジを含む場合には、前記ズームエフェクトとして、エッジ保存ズームを選択する、
画像処理装置。
【請求項２】
前記エフェクト選択部は、前記入力画像にズームエフェクトを適用する場合であって、前記入力画像に顔が含まれる場合には、前記ズームエフェクトとして、エッジ保存ズームを選択する、請求項１に記載の画像処理装置。
【請求項３】
入力画像における画素のフローベクトルを検出するフローベクトル検出部と、
前記フローベクトルのパターンに基づいて、前記入力画像に対するエフェクトの処理を選択するエフェクト選択部と、
を備え、
前記フローベクトルのパターンは、前記フローベクトルのコヒーレンシによって識別され、
前記エフェクト選択部は、前記入力画像にズームエフェクトを適用する場合に、前記コヒーレンシに基づいて、前記ズームエフェクトの種類を選択する、
画像処理装置。
【請求項４】
入力画像における画素のフローベクトルを検出するフローベクトル検出部と、
前記フローベクトルのパターンに基づいて、前記入力画像に対するエフェクトの処理を選択するエフェクト選択部と、
を備え、
前記エフェクト選択部は、
前記エフェクトの処理として、前記フローベクトルのコヒーレンシの強さに基づいて、前記入力画像に対するエフェクトとしてのアートエフェクトの種類を選択し、
前記コヒーレンシが所定の強さを超える場合には、前記アートエフェクトの種類として、前記入力画像に筆跡を表現するアートエフェクトを適用することを選択する、
画像処理装置。
【請求項５】
前記エフェクト選択部は、前記入力画像に含まれる顔の領域が前記入力画像の所定の割合以上を占める場合には、前記筆跡を表現するアートエフェクトとして、水彩調のアートエフェクトを適用することを選択する、請求項４に記載の画像処理装置。
【請求項６】
前記エフェクト選択部は、前記入力画像において特定の色が支配的である場合には、前記筆跡を表現するアートエフェクトとして、油彩調のアートエフェクトを適用することを選択する、請求項４又は５に記載の画像処理装置。
【請求項７】
前記エフェクト選択部は、前記入力画像に含まれる顔が所定のサイズ未満である場合には前記コヒーレンシの強さに関わらず前記入力画像に前記アートエフェクトを適用しないことを選択する、請求項４〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記エフェクト選択部は、前記入力画像に前記アートエフェクトを適用する場合、前記入力画像に含まれる直線的なエッジの度合いに基づいて、前記アートエフェクトとして、イラスト調のアートエフェクトと点描調のアートエフェクトの一方を適用することを選択する、請求項４〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記エフェクト選択部は、前記コヒーレンシの前記入力画像の領域に応じた傾向に基づいて、前記ズームエフェクトとして、ウォークスルーとエッジ保存ズームの一方を選択する、請求項３に記載の画像処理装置。
【請求項１０】
画像処理装置の処理回路が、
入力画像における画素のフローベクトルを検出することと、
前記フローベクトルのパターンに基づいて、前記入力画像に対するエフェクトの処理を選択することと
を含み、
前記フローベクトルのパターンは、消失点の有無であり、
前記エフェクトの処理を選択することは、
前記エフェクトの処理として、前記消失点の有無に基づいて、前記入力画像にズームエフェクトを適用するか否かを選択し、
前記入力画像にズームエフェクトを適用する場合であって、前記入力画像が直線的なエッジを含む場合には、前記ズームエフェクトとして、エッジ保存ズームを選択する、
ことを含む、
画像処理方法。
【請求項１１】
入力画像における画素のフローベクトルを検出する機能と、
前記フローベクトルのパターンに基づいて、前記入力画像に対するエフェクトの処理を選択する機能と
を画像処理装置の処理回路に実現させるためのプログラムであって、
前記フローベクトルのパターンは、消失点の有無であり、
前記エフェクトの処理を選択する機能は、
前記エフェクトの処理として、前記消失点の有無に基づいて、前記入力画像にズームエフェクトを適用するか否かを選択し、
前記入力画像にズームエフェクトを適用する場合であって、前記入力画像が直線的なエッジを含む場合には、前記ズームエフェクトとして、エッジ保存ズームを選択する、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
ユーザが撮影した写真などの画像にエフェクトを加えることは、既に一般的に行われている。例えば、特許文献１には、入力画像のぼけの度合いを検出する検出手段と、入力画像に含まれる情報の量を削減することによって入力画像を加工する複数の画像処理のうちのいずれかを、ぼけの度合いに基づいて選択する選択手段と、選択された画像処理を入力画像に施す画像処理手段とを含む画像処理装置が記載されている。かかる技術によれば、入力画像に施される画像処理が自動的に選択されるため、簡単かつ効果的に画像を表示することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１４６２６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、近年、撮像機能を有する機器のさらなる普及と性能の向上とによって、ユーザは、さまざまな状況で撮像された多種多様かつ高品質な画像を得られるようになった。そのため、上記の特許文献１に記載されたような、画像のスライドショーの単調さを解消したり、手振れなどによってぼけた画像の見苦しさを緩和したりするためのエフェクトにはとどまらず、それぞれの画像の特徴に応じた適切なエフェクトを選択することが求められている。【０００５】
そこで、本開示では、画像の特徴に応じて適切にエフェクトの処理を選択することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、入力画像における画素のフローベクトルを検出するフローベクトル検出部と、上記フローベクトルのパターンに基づいて、上記入力画像に対するエフェクトの処理を選択するエフェクト選択部とを備える画像処理装置が提供される。【０００７】
また、本開示によれば、画像処理装置の処理回路が、入力画像における画素のフローベクトルを検出することと、上記フローベクトルのパターンに基づいて、上記入力画像に対するエフェクトの処理を選択することとを含む画像処理方法が提供される。【０００８】
また、本開示によれば、入力画像における画素のフローベクトルを検出する機能と、上記フローベクトルのパターンに基づいて、上記入力画像に対するエフェクトの処理を選択する機能とを画像処理装置の処理回路に実現させるためのプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、画像の特徴に応じて適切にエフェクトの処理を選択することができる。【００１０】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係るシステムの概略的な構成例を示す図である。
【図２】本開示の一実施形態に係るシステムの第１の機能構成例を示すブロック図である。
【図３】本開示の一実施形態に係るシステムの第２の機能構成例を示すブロック図である。
【図４】本開示の一実施形態におけるエフェクト設定部の構成例を示すブロック図である。
【図５】本開示の一実施形態におけるズームエフェクト選択処理の例を示すフローチャートである。
【図６】本開示の一実施形態におけるアートエフェクト選択処理の例を示すフローチャートである。
【図７】本開示の一実施形態における油彩／水彩選択処理の例を示すフローチャートである。
【図８】本開示の一実施形態におけるイラスト／点描選択処理の例を示すフローチャートである。
【図９】本開示の実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．システム構成例
２．機能構成例
３．エフェクト設定部の構成例
４．処理フローの例
４−１．ズームエフェクト選択処理
４−２．アートエフェクト選択処理
５．ハードウェア構成
６．補足
【００１４】
（１．システム構成例）
図１は、本開示の一実施形態に係るシステムの概略的な構成例を示す図である。図１を参照すると、システム１０は、撮像装置１００、端末装置２００、および／またはサーバ３００を含みうる。本実施形態では、入力画像に対する画像解析の結果に基づいて、当該入力画像に適用されるエフェクトの有無またはエフェクトの種類が選択される（以下、これらの処理は画像解析の処理として総称されうる）。
【００１５】
例えば、入力画像は、撮像装置１００によって撮像された画像でありうる。この場合、システム１０は、少なくとも撮像装置１００を含む。画像解析の処理は、撮像装置１００で実行されてもよい。この場合、システム１０は撮像装置１００だけを含んでもよい。あるいは、画像解析の処理は、撮像装置１００から有線／無線通信によって画像のデータを受信した端末装置２００で実行されてもよい。この場合、システム１０は、撮像装置１００と端末装置２００とを含む。また、画像解析の処理は、端末装置２００から有線／無線通信によって画像のデータを転送されたサーバ３００によって実行されてもよい。この場合、システム１０は、撮像装置１００と、端末装置２００と、サーバ３００とを含む。撮像装置１００が直接的にサーバ３００と通信可能である場合には、システム１０は撮像装置１００およびサーバ３００だけを含んでもよい。
【００１６】
なお、例えば画像解析の処理が撮像装置１００で実行される場合であっても、エフェクトの選択結果や、選択されたエフェクトが適用された入力画像が、撮像装置１００から端末装置２００またはサーバ３００に送信されてもよい。この場合、システム１０は端末装置２００および／またはサーバ３００をさらに含みうる。同様に、画像解析の処理が端末装置２００で実行される場合であっても、エフェクトの選択結果や、選択されたエフェクトが適用された入力画像が、端末装置２００からサーバ３００にアップロードされてもよい。この場合、システム１０はサーバ３００をさらに含みうる。また、サーバ３００における画像解析の結果は、端末装置２００および／または撮像装置１００にフィードバックされうる。同様に、端末装置２００における画像解析の結果は、撮像装置１００にフィードバックされうる。
【００１７】
また、例えば、入力画像は、装置内部またはネットワーク上のストレージに既にデータとして存在する画像であってもよい。この場合、システム１０は、必ずしも撮像装置１００を含まない。画像解析の処理は、端末装置２００で実行されてもよい。この場合、システム１０は端末装置２００だけを含んでもよい。あるいは、画像解析の処理は、サーバ３００で実行されてもよい。この場合、システム１０はサーバ３００だけを含んでもよいし、入力画像を取得してサーバ３００に転送する端末装置２００をさらに含んでもよい。上記の例と同様に、端末装置２００で画像解析の処理が実行される場合であっても、エフェクトの選択結果や、選択されたエフェクトが適用された入力画像が、端末装置２００からサーバ３００にアップロードされてもよい。この場合、システム１０はサーバ３００をさらに含みうる。また、サーバ３００における画像解析の結果は、端末装置２００にフィードバックされてもよい。この場合、システム１０は端末装置２００をさらに含みうる。
【００１８】
以下、撮像装置１００、端末装置２００、およびサーバ３００が、それぞれシステム１０に含まれる場合の構成について、さらに説明する。なお、それぞれの装置のハードウェア構成については、例えば後述する画像処理装置のハードウェア構成を適用することが可能である。
【００１９】
撮像装置１００は、撮像機能を有する装置である。図１では、撮像装置１００の例としてスマートフォン１００ａおよびデジタルカメラ１００ｂが示されているが、撮像装置１００は、他にもタブレットやゲーム機、ウェアラブル装置など、撮像機能を有するあらゆる装置を含みうる。撮像装置１００は、撮像素子と、撮像素子に関連する光学系および駆動系と、画像処理回路とを含む。画像処理回路は、画像データを生成するための基本的な画像処理だけを実行してもよいし、上述した画像解析の処理を実行可能であってもよい。また、撮像装置１００は、端末装置２００またはサーバ３００との間で画像データなどを送受信するための通信装置や、内部的に生成された情報、または端末装置２００もしくはサーバ３００から受信された情報を出力するためのディスプレイやスピーカなどの出力装置、ユーザの操作を受け付けるためのボタンやタッチパネルなどの入力装置などをさらに含んでもよい。
【００２０】
端末装置２００は、画像処理機能を有する装置である。図１では、端末装置２００の例としてパーソナルコンピュータ２００ａおよびテレビ２００ｂが示されているが、端末装置２００は、他にもタブレットやスマートフォン、レコーダ、ゲーム機など、画像処理機能を有するあらゆる装置を含みうる。タブレットやスマートフォンのような撮像機能を有する装置であっても、例えば他の装置が撮像した画像を受信することによって、端末装置２００として機能することが可能である。端末装置２００は、処理回路と、通信装置と、入出力装置とを含みうる。例えば、端末装置２００は、通信装置を用いて撮像装置１００から受信した入力画像、または装置内部もしくはネットワーク上のストレージから取得した入力画像について、処理回路によって画像解析の処理を実行し、処理結果を入出力装置に含まれるディスプレイなどを介して出力してもよい。また、端末装置２００は、処理結果を通信装置を用いて撮像装置１００またはサーバ３００に送信してもよい。
【００２１】
サーバ３００は、ネットワーク上の１または複数の画像処理装置によって構成される。サーバ３００を構成する画像処理装置は、処理回路と、通信装置とを含みうる。例えば、サーバ３００は、通信装置を用いて端末装置２００または撮像装置１００から受信した入力画像、または装置内部もしくはネットワーク上のストレージから取得した入力画像について、処理回路によって画像解析の処理を実行し、処理結果を通信装置を用いて端末装置２００または撮像装置１００に送信してもよい。
【００２２】
（２．機能構成例）
図２は、本開示の一実施形態に係るシステムの第１の機能構成例を示すブロック図である。図２を参照すると、機能構成５００ａは、撮像部／通信部５０１と、画像取得部５０３と、エフェクト設定部５０５と、エフェクト設定ＤＢ５０７と、エフェクト適用部５０９と、画像出力部５１１と、出力部／通信部５１３と、入力部／通信部５１５と、記録制御部５１７と、画像ストレージ５１９とを含む。機能構成５００ａは、上記のシステム１０に含まれる撮像装置１００、端末装置２００、またはサーバ３００のいずれかによって実現される。あるいは、システム１０に含まれる複数の装置が協働することによって機能構成５００ａを実現してもよい。
【００２３】
図示された第１の機能構成例では、入力画像に対する画像解析の結果に基づいてエフェクトが適用された入力画像、またはエフェクトが適用されなかった入力画像がユーザに提示される。ここで、画像は、記録のためのプレビューとして提示されてもよく、また単に閲覧に供するために提示されてもよい。画像をプレビューとして提示する場合、画像を参照したユーザの操作に従って、エフェクトが適用された入力画像、またはエフェクトが適用されなかった入力画像をストレージに格納することが可能でありうる。以下、それぞれの構成要素について説明する。
【００２４】
撮像部／通信部５０１は、画像取得部５０３に入力画像のデータを提供する。システム１０において、撮像部／通信部５０１は、例えば撮像装置１００で画像データを生成する撮像素子によって実現される（撮像部）。あるいは、撮像部／通信部５０１は、端末装置２００またはサーバ３００で撮像装置１００またはネットワーク上のストレージから画像データを受信する通信装置によって実現される（通信部）。
【００２５】
画像取得部５０３は、撮像部／通信部５０１から入力画像のデータを取得するソフトウェア的なインターフェースである。システム１０において、画像取得部５０３は、撮像装置１００、端末装置２００、またはサーバ３００に含まれるＣＰＵ（Central  Processing  Unit）などの処理回路によって実現される。画像取得部５０３は、入力画像をエフェクト設定部５０５における画像解析のために提供する。また、画像取得部５０３は、エフェクト設定部５０５における画像解析の結果に応じてエフェクトを適用した上で、またはそのまま出力するために、入力画像をエフェクト適用部５０９（または画像出力部５１１）に提供する。
【００２６】
エフェクト設定部５０５は、画像取得部５０３によって取得された入力画像に適用されるエフェクトの有無またはエフェクトの種類を選択するための画像解析を実行する。システム１０において、エフェクト設定部５０５は、撮像装置１００、端末装置２００、またはサーバ３００に含まれるＣＰＵなどの処理回路によって実現される。エフェクト設定部５０５は、例えば入力画像における画素のフローベクトルを検出し、当該フローベクトルのパターンに基づいて、入力画像に適用されるエフェクトの有無またはエフェクトの種類を選択する。エフェクト設定部５０５は、エフェクト設定ＤＢ５０７を参照して、適用可能なエフェクトに関する情報を取得してもよい。なお、エフェクト設定部５０５の詳細な構成については後述する。
【００２７】
エフェクト適用部５０９は、エフェクト設定部５０５における画像解析の結果に応じて、画像取得部５０３から提供された入力画像にエフェクトを適用する。エフェクト設定部５０５によって入力画像にエフェクトを適用しないことが選択された場合、エフェクト適用部５０９による処理はスキップされ、画像出力部５１１が入力画像をそのまま出力しうる。エフェクト設定部５０５も、撮像装置１００、端末装置２００、またはサーバ３００に含まれるＣＰＵなどの処理回路によって実現される。
【００２８】
画像出力部５１１は、エフェクト適用部５０９においてエフェクトが適用された入力画像、またはエフェクトが適用されていない入力画像のデータを出力部／通信部５１３に提供するソフトウェア的なインターフェースである。システム１０において、画像出力部５１１は、撮像装置１００、端末装置２００、またはサーバ３００に含まれるＣＰＵなどの処理回路によって実現される。また、画像出力部５１１は、入力部／通信部５１５を介して取得されるユーザ操作に従って、エフェクトが適用された入力画像、またはエフェクトが適用されていない入力画像のデータを記録制御部５１７に提供する。
【００２９】
出力部／通信部５１３は、画像出力部５１１から提供された入力画像のデータを出力する。システム１０において、出力部／通信部５１３は、例えば撮像装置１００または端末装置２００が有するディスプレイなどの出力装置によって実現される（出力部）。あるいは、出力部／通信部５１３は、端末装置２００が撮像装置１００に解析結果を送信するための通信装置、またはサーバ３００が端末装置２００または撮像装置１００に解析結果を送信するための通信装置によって実現される（通信部）。この場合、解析結果は、画像解析処理を実行する装置とは異なる装置によって出力される。
【００３０】
なお、以下の入力部／通信部５１５、記録制御部５１７、および画像ストレージ５１９は、出力部／通信部５１３によって出力される画像が、記録のためのプレビューとしてユーザに提示される場合に設けられる。画像が単に閲覧に供するために提示されるような場合には、機能構成５００ａは入力部／通信部５１５、記録制御部５１７、および画像ストレージ５１９を含まなくてもよい。
【００３１】
入力部／通信部５１５は、出力部／通信部５１３によってプレビューとして出力された入力画像を参照したユーザによる操作入力を取得する。システム１０において、入力部／通信部５１５は、例えば撮像装置１００または端末装置２００が有するボタンやタッチパネルなどの入力装置によって実現される（入力部）。あるいは、入力部／通信部５１５は、端末装置２００が撮像装置１００からデータを受信するための受信装置、またはサーバ３００が端末装置２００または撮像装置１００からデータを受信するための通信装置によって実現される（通信部）。この場合、ユーザ操作は、画像解析処理または画像の保存の処理を実行する装置とは異なる装置において受け付けられる。
【００３２】
記録制御部５１７は、入力部／通信部５１５によって取得されたユーザ操作に従って、エフェクトが適用された入力画像、またはエフェクトが適用されていない入力画像のデータを画像ストレージ５１９に格納する。入力画像のデータは、画像出力部５１１から取得される。システム１０において、記録制御部５１７は、撮像装置１００、端末装置２００、またはサーバ３００に含まれるＣＰＵなどの処理回路によって実現される。
【００３３】
なお、図示していないが、機能構成５００ａは、入力部／通信部５１５によって取得されたユーザ操作に従って、入力画像に適用するエフェクトの種類を変更したり、入力画像に新たにエフェクトを適用したり、入力画像へのエフェクトの適用を解除したりするための構成要素をさらに含んでもよい。このような構成要素については、公知の技術を適用することが可能であるため、詳細な説明は省略する。
【００３４】
図３は、本開示の一実施形態に係るシステムの第２の機能構成例を示すブロック図である。図３を参照すると、機能構成５００ｂは、撮像部／通信部５０１と、画像取得部５０３と、エフェクト設定部５０５と、エフェクト設定ＤＢ５０７と、エフェクト適用部５０９と、記録制御部５１７と、画像ストレージ５１９とを含む。機能構成５００ｂは、上記のシステム１０に含まれる撮像装置１００、端末装置２００、またはサーバ３００のいずれかによって実現される。あるいは、システム１０に含まれる複数の装置が協働することによって機能構成５００ｂを実現してもよい。
【００３５】
図示された第２の機能構成例では、入力画像に対する画像解析の結果に基づいてエフェクトが適用された入力画像、またはエフェクトが適用されなかった入力画像が、自動的にストレージに格納される。従って、図３に示された例では、エフェクト適用部５０９においてエフェクトが適用された入力画像、またはエフェクトが適用されていない入力画像のデータが、そのまま記録制御部５１７に提供される。また、記録制御部５１７は、提供された画像を自動的に画像ストレージ５１９に格納する。なお、それ以外の構成要素については、上記の第１の機能構成例と同様であるため重複した説明は省略する。
【００３６】
上述したような本実施形態の機能構成例では、入力画像に対する画像解析の結果に基づいて、当該入力画像に適用されるエフェクトの有無またはエフェクトの種類を選択する処理が実行される。これらの例では、処理の結果に基づいてエフェクトが適用された入力画像がストレージに格納されてもよいし、エフェクトが適用された画像がプレビューまたは閲覧のために表示されるだけであってもよい。つまり、本実施形態では、入力画像に適用されるエフェクトの有無またはエフェクトの種類が選択する処理が実行されるが、処理結果の用途は特定されない。
【００３７】
（３．エフェクト設定部の構成例）
図４は、本開示の一実施形態におけるエフェクト設定部の構成例を示すブロック図である。図４を参照すると、エフェクト設定部５０５は、画像解析部５０５１と、エフェクト選択部５０５９とを含む。エフェクト選択部５０５９は、ズームエフェクト選択部５０６１と、アートエフェクト選択部５０６３とを含む。なお、上述の通り、システム１０において、エフェクト設定部５０５は、撮像装置１００、端末装置２００、またはサーバ３００に含まれるＣＰＵなどの処理回路によって実現される。以下、それぞれの構成要素について説明する。
【００３８】
画像解析部５０５１は、フローベクトル検出部５０５３と、フローコヒーレンシ検出部５０５５と、顔検出部５０５７とを含み、入力画像の解析を実行する。
【００３９】
フローベクトル検出部５０５３は、入力画像における画素のフローベクトルを検出する。フローベクトルは、各画素が有する方向成分を示すベクトルである。より具体的には、例えば、フローベクトル検出部５０５３は、Ｓｏｂｅｌフィルタを利用して入力画像内での輝度勾配を算出し、輝度勾配に基づいてフローベクトルを検出してもよい。このようなフローベクトルの検出方法は、例えば特開２０１２−２３０５４９号公報に記載されている。あるいは、フローベクトル検出部５０５３は、Jan  Eric  Kyprianidis,  Henry  Kang,  "Image  and  Video  Abstraction  by  Cocherence-Enhancing  Filtering",  EUROGRAPHICS  2011,  Volume  30(2011),  Number  2に記載された「Smoothed  Structure  Tensor」を用いてフローベクトルを検出してもよい。他にも、フローベクトル検出部５０５３は、公知のさまざまな技術を利用してフローベクトルを検出しうる。
【００４０】
フローコヒーレンシ検出部５０５５は、フローベクトル検出部５０５３によって検出されたフローベクトルのコヒーレンシを検出する。コヒーレンシは、フローベクトルの一様性を示す指標であり、フローベクトルの方向および／または大きさに基づいて算出される。例えば、近接する画素間でフローベクトルの方向が一致している割合が高い場合には、コヒーレンシが強いと判定される。逆に、近接する画素間でフローベクトルの方向が一致しない割合が高い場合には、コヒーレンシが弱いと判定される。なお、フローコヒーレンシの検出方法は、例えば特開２０１３−２４６４６０号公報に記載されている。他にも、フローコヒーレンシ検出部５０５５は、公知の様々な技術を利用してフローコヒーレンシを検出しうる。
【００４１】
顔検出部５０５７は、入力画像に含まれる顔を検出する。顔検出部５０５７は、例えばウェーブレット変換やＨａａｒ特徴検出など、公知の様々なアルゴリズムを用いて、入力画像に含まれる顔の領域を算出する。なお、後述するエフェクト選択部５０５９における顔の領域に基づく判定は付加的なものであるため、画像解析部５０５１は必ずしも顔検出部５０５７を含まなくてもよい。また、顔検出部５０５７がなくても、メタデータ等に基づいてエフェクト選択部５０５９が入力画像に含まれる顔の領域に基づく判定を実施することが可能であってもよい。あるいは、画像解析部５０５１は、エフェクト選択部５０５９における判定とは関係なく顔検出部５０５７を含んでもよい。
【００４２】
エフェクト選択部５０５９は、ズームエフェクト選択部５０６１と、アートエフェクト選択部５０６３とを含み、画像解析部５０５１における解析の結果、より具体的には入力画像における画素のフローベクトルのパターンに基づいて、入力画像に対するエフェクトの処理を選択する。より具体的には、エフェクト選択部５０５９は、エフェクトの処理として、入力画像に対するエフェクトの有無を選択してもよい。また、エフェクト選択部５０５９は、エフェクトの処理として、エフェクトの種類を選択してもよい。フローベクトルのパターンは、例えば、消失点の有無であってもよい。また、フローベクトルのパターンは、フローベクトルのコヒーレンシなどによって識別されてもよい。エフェクト選択部５０５９は、エフェクトの処理として、フローベクトルのコヒーレンシに基づいて、入力画像に対するエフェクトの種類を選択してもよい。また、エフェクト選択部５０５９は、エフェクトの処理として、フローベクトルのコヒーレンシに基づいて、入力画像に対するエフェクトの有無を選択してもよい。
【００４３】
ズームエフェクト選択部５０６１は、入力画像にズームエフェクトを適用するか否か、または入力画像に適用されるズームエフェクトの種類を選択する。つまり、エフェクト選択部５０５９に含まれるズームエフェクト選択部５０６１は、エフェクトの処理として、消失点の有無に基づいて、入力画像にズームエフェクトを適用するか否かを選択してもよい。ここで、本明細書において、ズームエフェクトは、画像内のある点を基準にして画角を仮想的に変化させるエフェクトを意味する。ズームエフェクトは、例えば、単純に画像内のある点にズームインする第１のズームエフェクトと、画像内のある点を基準にして空間モデルを再構築し、基準点が最奥部になるように視点を仮想的に移動させた上でズームインする第２のズームエフェクトとを含みうる。第２のズームエフェクトでは、仮想的なウォークスルーのような没入感のある映像効果が得られることから、以下の説明では第２のズームエフェクトを単に「ウォークスルー」ともいう。ウォークスルーでは空間モデルの再構築によって特に画像の周縁部のエッジがぼやけてしまうのに対し、第１のズームエフェクトではエッジがぼやけることなく保存されることから、以下の説明では第１のズームエフェクトを「エッジ保存ズーム」ともいう。ズームエフェクト選択部５０６１は、例えば、入力画像にウォークスルーを適用するか、エッジ保存ズームを適用するか、またはどちらのズームエフェクトも適用しないかを選択する。
【００４４】
アートエフェクト選択部５０６３は、入力画像にアートエフェクトを適用するか否か、または入力画像に適用されるアートエフェクトの種類を選択する。ここで、本明細書において、アートエフェクトは、例えば水彩調、油彩調、イラスト調、または点描調のフィルタを含む。例えば、水彩調のフィルタでは、エッジを保存しつつ平滑化を施すことによって、水彩画のような風合いの画像が得られる。また、油彩調のフィルタでは、筆のストロークに似たパターンを描くことによって、油彩画のような風合いの画像が得られる。イラスト調のフィルタでは、エッジに従って滑らかな線を描くことによって、イラストのような風合いの画像が得られる。点描調のフィルタでは、短い楕円形のパターンを描くことによって、点描画のような風合いの画像が得られる。なお、アートエフェクトについては、例えば特開平８−４４８６７号公報や、特開２０１１−１６０３０６号公報、特開２０１１−１６６２１７号公報、A.Hertzmann,“Painterly  Rendering  with  Curved  Brush  Strokes  of  Multiple  Sizes,”Proc.  Sgigraph  98,ACM  Press,1998,pp.453-460などに記載された公知の技術を利用することができる。アートエフェクト選択部５０６３は、例えば、入力画像に上記のアートエフェクトのうちのいずれかを適用するか、またはアートエフェクトを適用しないかを選択する。
【００４５】
上述の通り、ズームエフェクト選択部５０６１、およびアートエフェクト選択部５０６３は、例えば入力画像における画素のフローベクトルのパターンに基づいて、入力画像に適用されるエフェクトの有無またはエフェクトの種類を選択する。また、ズームエフェクト選択部５０６１、およびアートエフェクト選択部５０６３は、付加的に、入力画像における顔検出の有無もしくは顔の領域の大きさ、または入力画像におけるエッジや色の状態に基づいて、入力画像に適用されるエフェクトの有無またはエフェクトの種類を選択してもよい。このような選択の処理の例について、以下でフローチャートを参照してさらに説明する。
【００４６】
（４．処理フローの例）
（４−１．ズームエフェクト選択処理）
図５は、本開示の一実施形態におけるズームエフェクト選択処理の例を示すフローチャートである。図５を参照すると、まず、ズームエフェクト選択部５０６１は、入力画像にフロー消失点が存在するか否かを判定する（Ｓ１０１）。フロー消失点は、フローベクトル検出部５０５３によって検出されるフローベクトルが形成する消失点である。フロー消失点が存在する場合、入力画像のフローベクトルでは、画像内のある点を中心とする放射状の方向のベクトルが支配的になる。なお、消失点の検出については、例えば米国特許公開第２０１３／００９４７６４号などに記載された公知の技術を利用することができる。
【００４７】
上記のＳ１０１の判定において、入力画像にフロー消失点が存在しないと判定された場合（ＮＯ）、ズームエフェクト選択部５０６１は、入力画像にズームエフェクトを適用しないことを選択し（Ｓ１０３）、処理を終了する。ズームエフェクトは、例えば奥行きのある風景などを含む画像において、消失点を基準にして適用した場合に効果的である。逆に言うと、奥行きがない画像であったり、奥行きがあっても消失点が画像に含まれないような場合には、ズームエフェクトを効果的に使用することは難しい。従って、図示された例において、ズームエフェクト選択部５０６１は、入力画像にフロー消失点が存在しないと判定された場合にはズームエフェクトを適用しないことを選択する。
【００４８】
一方、Ｓ１０１の判定において、入力画像にフロー消失点が存在すると判定された場合（ＹＥＳ）、ズームエフェクト選択部５０６１は、入力画像にズームエフェクトを適用することを選択し、ズームエフェクトの種類を選択するためのＳ１０５〜Ｓ１１３の処理を実行する。なお、図示された例では、エフェクト設定ＤＢ５０７において２種類のズームエフェクト（ウォークスルーおよびエッジ保存ズーム）が定義されているために上記の処理が実行される。他の例において、ズームエフェクトが１種類のみ（例えばエッジ保存ズームのみ）定義されているような場合には、Ｓ１０１の判定において入力画像にフロー消失点が存在すると判定された時点で、当該ズームエフェクトを適用することが決定されてもよい。このような場合、フローベクトルのコヒーレンシを用いた判定は実施されないため、フローコヒーレンシ検出部５０５５は必ずしも設けられなくてもよい。
【００４９】
図示された例では、Ｓ１０１の判定において入力画像にフロー消失点が存在すると判定された場合、ズームエフェクト選択部５０６１が、さらに、入力画像におけるフローベクトルのコヒーレンシが上下で異なるか否かを判定する（Ｓ１０５）。より具体的には、ズームエフェクト選択部５０６１は、フローベクトルのコヒーレンシが、入力画像の上部の領域では弱く、下部の領域では強いという傾向がみられるか否かを判定する。このような傾向は、コヒーレンシの入力画像の領域に応じた傾向の例である。このような傾向がみられる画像は、屋外で撮影された画像でありうる。例えば、屋外で撮像された画像に空と地上の風景とが映っている場合、空の領域ではフローベクトルが様々な方向を向くため、コヒーレンシが弱くなる。一方、地上の風景の領域では、建物や道路などの何らかの被写体が存在するため、空の領域に比べるとコヒーレンシが強くなる。Ｓ１０５の判定は、このような傾向を利用して、入力画像が屋外で撮像された画像であるか否かを判定するものである。
【００５０】
なお、他の例では、上記のＳ１０５の判定に代えて、例えば、入力画像のカラーヒストグラムを取得し、入力画像の上部の方が下部よりも明るいという傾向がみられる場合に入力画像が屋外で撮像された画像であると判定してもよい。
【００５１】
上記のＳ１０５の判定において、入力画像におけるフローベクトルのコヒーレンシが上下で異なると判定されなかった場合（ＮＯ）、ズームエフェクト選択部５０６１は、入力画像にエッジ保存ズームを適用することを選択する（Ｓ１０７）。上記の通り、Ｓ１０５の判定では、入力画像が屋外で撮像された画像であるか否かが判定されうる。従って、フローベクトルのコヒーレンシが上下で異なると判定されなかった場合、入力画像は屋外で撮像された画像ではないと推定される。このような画像には、屋内で撮像された画像が含まれる。屋内で撮像された画像の場合、一般に画像の周縁部まで被写体が存在していることが多い。それゆえ、例えば屋内で撮像された画像にウォークスルーのエフェクトを適用すると、周縁部の被写体のエッジがぼやけてしまうことによる違和感も与えてしまう可能性がある。そこで、図示された例では、入力画像が屋内で撮像された画像である可能性がある場合にはエッジ保存ズームを適用することによって、違和感を与えることを回避している。
【００５２】
一方、Ｓ１０５の判定において、入力画像におけるフローベクトルのコヒーレンシが上下で異なると判定された場合（ＹＥＳ）、ズームエフェクト選択部５０６１は、さらに、入力画像が、強くかつ直線的なエッジを含むか否かを判定する（Ｓ１０９）。ここで、強くかつ直線的なエッジが含まれると判定された場合（ＹＥＳ）、ズームエフェクト選択部５０６１は、入力画像にエッジ保存ズームを適用することを選択する（Ｓ１０７）。つまり、この場合、エフェクト選択部５０５９に含まれるズームエフェクト選択部５０６１は、入力画像にズームエフェクトを適用する場合であって、入力画像が直線的なエッジを含む場合には、ズームエフェクトとしてエッジ保存ズームを選択する。入力画像が、強くかつ直線的なエッジを含む場合、入力画像の被写体には建物や道路などの人工物が含まれる可能性が高い。このような被写体を含む画像にウォークスルーのエフェクトを適用すると、周縁部で人工物の被写体のエッジがぼやけてしまうことによる違和感を与えてしまう可能性がある。そこで、図示された例では、入力画像の被写体に人工物が含まれる可能性が高い場合にはエッジ保存ズームを適用することによって、違和感を与えることを回避している。
【００５３】
なお、エッジを検出する技術としては、sobel  filterやLaplacian  filter等があるが、その結果から得られるエッジ情報からエッジ連続性を算出することができる。その際に、例えば、エッジの連続性が確認されたエッジのみを残し、エッジ直線性の強度を算出する。直線性の強度の算出方法の一例として、連続性を保有する隣接するエッジの角度がある一定の幅以内で連続しているようであれば直線エッジ（Ａ）とみなし、それ以外は非直線エッジ（Ｂ）とみなしカウントする。そして、直線エッジと非直線エッジの比率（Ａ：Ｂ）を確認し、直線エッジ（Ａ）の比率が高い場合は“強い直線エッジ”と判定する。この処理は、具体的にいえば、Ａ／Ａ＋Ｂ＝５０％以上の場合に“強い直線エッジ”と判定するような処理である（比率の数値は一例であり、５０％には限らず任意に設定されうる）。この例における判定は、ウォークスルーの際に建物のような人工物の直線が歪むことを防ぐことを意図している。人工物が多いシーンは比較的直線エッジ（Ａ）が多くなるため、（Ａ）の比率が高い場合はエッジ保存ズームを選択する。
【００５４】
上記のＳ１０９の判定において、入力画像に強くかつ直線的なエッジが含まれないと判定された場合（ＮＯ）、ズームエフェクト選択部５０６１は、さらに、顔検出部５０５７が入力画像に含まれる顔を検出したか否かを判定する（Ｓ１１１）。ここで、入力画像に含まれる顔が検出されていた場合（ＹＥＳ）、ズームエフェクト選択部５０６１は、入力画像にエッジ保存ズームを適用することを選択する（Ｓ１０７）。つまり、この場合、エフェクト選択部５０５９に含まれるズームエフェクト選択部５０６１は、入力画像にズームエフェクトを適用する場合であって、入力画像に顔が含まれる場合には、ズームエフェクトとして、エッジ保存ズームを選択する。被写体として顔を含む画像にウォークスルーのエフェクトを適用すると、周縁部で顔のエッジがぼやけてしまうことによる違和感を与えてしまう可能性がある。そこで、図示された例では、入力画像の被写体に顔が含まれる場合にはエッジ保存ズームを適用することによって、違和感を与えることを回避している。
【００５５】
一方、Ｓ１０９の判定において、入力画像に含まれる顔が検出されていなかった場合（ＮＯ）、ズームエフェクト選択部５０６１は、入力画像にウォークスルーのエフェクトを適用することを選択する（Ｓ１１３）。図示された例では、フロー消失点を有する入力画像において、屋外で撮像された画像であり（Ｓ１０５のＹＥＳ）、被写体として人工物を含まず（Ｓ１０９のＮＯ）、また顔を含まない（Ｓ１１１のＮＯ）場合に、ウォークスルーのエフェクトが適用される。結果として、図示された例では、入力画像が屋外の自然物を主体とする風景画像であるような場合にウォークスルーのエフェクトが適用され（Ｓ１１３）、それ以外の場合にはエッジ保存ズームのエフェクトが適用される（Ｓ１０７）。上記のような処理において、エフェクト選択部５０５９に含まれるズームエフェクト選択部５０６１は、入力画像にズームエフェクトを適用する場合に、フローベクトルのコヒーレンシに基づいて、ズームエフェクトの種類を選択しているといえる。より具体的には、ズームエフェクト選択部５０６１は、フローベクトルのコヒーレンシの入力画像の領域に応じた傾向に基づいて、ズームエフェクトとして、ウォークスルーとエッジ保存ズームの一方を選択している。
【００５６】
以上のようなズームエフェクトの選択処理によって、ズームエフェクトに適した入力画像（例えばフロー消失点を有することによって識別される）に選択的にズームエフェクトを適用することができる。また、周縁部にエッジが位置したり、エッジがぼやけることによる違和感を与えやすかったりする入力画像にはエッジ保存ズームを適用する一方で、そうではない画像についてはウォークスルーのエフェクトを適用することによって、違和感を回避しながら可能な限り没入感のある映像効果を得ることができる。
【００５７】
（４−２．アートエフェクト選択処理）
図６は、本開示の一実施形態におけるアートエフェクト選択処理の例を示すフローチャートである。図６を参照すると、まず、アートエフェクト選択部５０６３は、顔検出部５０５７が入力画像において細かい顔を検出したか否かを判定する（Ｓ２０１）。細かい顔は、例えば個々の顔の領域のサイズが所定の閾値よりも小さい顔である。ここで、細かい顔が検出されていた場合（ＹＥＳ）、アートエフェクト選択部５０６３は、入力画像にアートエフェクトを適用しないことを選択し（Ｓ２０３）、処理を終了する。この場合、フローベクトルのコヒーレンシの強さには関わらず、入力画像にはアートエフェクトが適用されない。つまり、エフェクト選択部５０５９に含まれるエフェクト選択部５０６３は、入力画像に含まれる顔が所定のサイズ未満である場合にはコヒーレンシの強さに関わらず入力画像にアートエフェクトを適用しない。本実施形態におけるアートエフェクトは、入力画像に含まれるエッジの一部を不鮮明にするものでありうるため、細かい被写体は塗りつぶされてしまう可能性がある。その一方で、特に被写体が顔である場合には、エフェクトを適用した後の画像でも顔が視認可能であることが期待されている可能性が高い。従って、図示された例において、アートエフェクト選択部５０６３は、入力画像において細かい顔が検出された場合にはアートエフェクトを適用しないことを選択する。
【００５８】
一方、Ｓ２０１の判定において、入力画像で細かい顔が検出されていなかった場合（ＮＯ）、アートエフェクト選択部５０６３は、入力画像にアートエフェクトを適用することを選択する。図示された例では、続いてさらにＳ２０５〜Ｓ２１１の処理が実行されるが、Ｓ２０１の処理だけが、アートエフェクトの適用の有無を選択するための処理として独立して実施されてもよい。
【００５９】
図示された例では、Ｓ２０１の判定において、入力画像で細かい顔が検出されていなかった場合、アートエフェクト選択部５０６３が、さらに、入力画像におけるフローベクトルのコヒーレンシが無視できる程度に弱いか否かを判定する（Ｓ２０５）。Ｓ２０５以降の処理において、エフェクト選択部５０５９に含まれるアートエフェクト選択部５０６３は、エフェクトの処理として、コヒーレンシの強さに基づいて、エフェクトとしてのアートエフェクトの種類を選択する。より具体的には、ここで、コヒーレンシが無視できる程度に弱いと判定された場合（ＹＥＳ）、アートエフェクト選択部５０６３は、入力画像にアートエフェクトを適用しないことを選択する（Ｓ２０３）。つまり、この場合、エフェクト選択部５０５９に含まれるアートエフェクト選択部５０６３は、コヒーレンシの強さが閾値より小さい場合には入力画像にエフェクトとしてのアートエフェクトを適用しない。例えば、アートエフェクトに含まれる油彩調または水彩調のフィルタは、フローベクトルの方向に沿って筆のストロークを描く。また、イラスト調のフィルタは、エッジの方向に沿って滑らかな線を描く。点描のフィルタは、フローベクトルの方向に応じて楕円形のパターンの角度を変化させる。従って、コヒーレンシが弱い、つまりフローベクトルの方向が全体的に一致していない場合には、上記のようなフィルタの効果が現れづらい。従って、図示された例において、アートエフェクト選択部５０６３は、入力画像におけるフローベクトルのコヒーレンシが無視できる程度に弱いと判定された場合にはアートエフェクトを適用しないことを選択する。
【００６０】
なお、コヒーレンシの強さは、例えば特開２０１３−４６４６０号公報に記載されたベクトルコヒーレンシ検出などの技術を利用して検出される。この場合、例えば特開２０１３−４６４６０号公報の図４に示されたようにベクトル（グラディエント：勾配）を算出し、その周辺ベクトルのコヒーレンシを算出することが可能である。その結果を正規化することによって、特開２０１３−４６４６０号公報の図３に示されるようなベクトルコヒーレンシを算出することができる。ここで、例えば、正規化した結果を、ベクトルコヒーレンシの強弱を０（弱）〜１００（強）として表現した場合、例えば空のようなコヒーレンシの低い領域が０〜２５の区間に固まっているようであれば、０〜２５の区間を“コヒーレンシが弱い区間”と定義してもよい（なお、数値範囲は正規化の度合いやコヒーレンシの強弱を算出するためのアルゴリズムによって変動しうるため、上記の例には限られず任意に設定されうる）。この場合、強さが“コヒーレンシが弱い区間”に含まれるコヒーレンシが支配的なシーンは、アートフィルタの効果があまり得られないためアートフィルタを適用しないことを選択してもよい。
【００６１】
一方、Ｓ２０５の判定において、入力画像におけるフローベクトルのコヒーレンシが無視できる程度に弱くはないと判定された場合（ＮＯ）、アートエフェクト選択部５０６３は、入力画像にアートエフェクトを適用することを選択し、アートエフェクトの種類を選択するためのＳ２０７〜Ｓ２１１の処理を実行する。なお、図示された例では、エフェクト設定ＤＢ５０７において４種類のアートエフェクト（水彩調、油彩調、イラスト調、および点描調のフィルタ）が定義されているために上記の例が実行される。他の例において、アートエフェクトが１種類のみ定義されているような場合には、Ｓ２０５の判定において入力画像におけるフローベクトルのコヒーレンシが無視できる程度に弱くはないと判定された時点で、当該アートエフェクトを適用することが決定されてもよい。また、例えば上記の４種類のアートエフェクトのうちの一部だけが定義されているような場合には、以下で説明する種類を選択するための処理の一部が省略される。
【００６２】
図示された例では、Ｓ２０５の判定において入力画像におけるフローベクトルのコヒーレンシが無視できる程度に弱くはないと判定された場合、アートエフェクト選択部５０６３が、さらに、入力画像におけるフローベクトルのコヒーレンシがある程度を超えて強いか否かを判定する（Ｓ２０７）。ここで、コヒーレンシがある程度を超えて強いと判定された場合（ＹＥＳ）、アートエフェクト選択部５０６３は、入力画像に油彩調、または水彩調のフィルタのエフェクトを適用することを決定し、後述する油彩／水彩選択処理を実行する（Ｓ２０９）。ここで、油彩調、または水彩調のフィルタのエフェクトは、入力画像に筆跡を表現するアートエフェクトである。つまり、この場合、エフェクト選択部５０５９に含まれるアートエフェクト選択部５０６３は、コヒーレンシが所定の強さを超える場合にはアートエフェクトとして、入力画像に筆跡を表現するアートエフェクトを適用する。
【００６３】
一方、コヒーレンシがある程度を超えて強いと判定されなかった場合（ＮＯ）、アートエフェクト選択部５０６３は、入力画像にイラスト調／点描調のフィルタを適用することを決定し、後述するイラスト／点描選択処理を実行する（Ｓ２１１）。上記のＳ２０７での判定は、油彩調／水彩調のフィルタが画像におけるフローベクトルのコヒーレンシが比較的強い場合に適し（筆のストロークの表現が豊かになるため）、イラスト調／点描調のフィルタが画像におけるフローベクトルのコヒーレンシが比較的弱い場合に適することに基づく。
【００６４】
図７は、本開示の一実施形態における油彩／水彩選択処理の例を示すフローチャートである。油彩／水彩選択処理は、上記の図６においてＳ２０９として参照された。図７を参照すると、まず、アートエフェクト選択部５０６３は、顔検出部５０５７が入力画像において検出した顔の領域がある程度を超えて大きいか否かを判定する（Ｓ２２１）。ここで、顔領域がある程度を超えて大きいと判定された場合（ＹＥＳ）、アートエフェクト選択部５０６３は、入力画像に水彩調のフィルタを適用することを選択する（Ｓ２２３）。つまり、この場合、エフェクト選択部５０５９に含まれるアートエフェクト選択部５０６３は、入力画像に含まれる顔の領域が入力画像の所定の割合以上を占める場合には、筆跡を表現するアートエフェクトとして、水彩調のアートエフェクトを適用する。顔の肌や髪の表現には水彩調のフィルタの方が適するためである。
【００６５】
一方、Ｓ２２１の判定において、顔領域がある程度を超えて大きくはないと判定された場合（ＮＯ）アートエフェクト選択部５０６３は、さらに、入力画像において特定色が支配的であるか否かを判定する（Ｓ２２５）。より具体的には、アートエフェクト選択部５０６３は、入力画像のカラーヒストグラムを取得し、黄や赤のような鮮やかな色が支配的であるか否かを判定する。ここで、入力画像において特定色が支配的である場合（ＹＥＳ）、アートエフェクト選択部５０６３は、入力画像に油彩調のフィルタを適用することを選択する（Ｓ２２７）。一方、入力画像において特定色が支配的ではなかった場合（ＮＯ）、アートエフェクト選択部５０６３は、入力画像に水彩調のフィルタを適用することを選択する（Ｓ２２３）。つまり、この場合、エフェクト選択部５０５９に含まれるアートエフェクト選択部５０６３は、前記入力画像において特定の色が支配的である場合には、筆跡を表現するアートエフェクトとして、油彩調のアートエフェクトを適用する。油彩調のフィルタは鮮やかな色の表現に効果的である一方で、そうでない色については水彩調のフィルタの方が適切な結果が得られる場合が多いためである。
【００６６】
図８は、本開示の一実施形態におけるイラスト／点描選択処理の例を示すフローチャートである。イラスト／点描選択処理は、上記の図６においてＳ２１１として参照された。図８を参照すると、まず、アートエフェクト選択部５０６３は、入力画像が、強くかつ直線的なエッジを含むか否かを判定する（Ｓ２４１）。ここで、強くかつ直線的なエッジが含まれると判定された場合（ＹＥＳ）、アートエフェクト選択部５０６３は、入力画像にイラスト調のフィルタを適用することを選択する（Ｓ２４３）。一方、入力画像に強くかつ直線的なエッジが含まれないと判定された場合（ＮＯ）、アートエフェクト選択部５０６３は、入力画像に点描調のフィルタを適用することを選択する（Ｓ２４５）。つまり、この例において、エフェクト選択部５０５９に含まれるアートエフェクト選択部５０６３は、入力画像にアートエフェクトを適用する場合、入力画像に含まれる直線的なエッジの度合いに基づいて、アートエフェクトとして、イラスト調のアートエフェクトと点描調のアートエフェクトの一方を適用する。
【００６７】
上述の通り、イラスト調のフィルタでは、エッジに従って滑らかな線を描くことによって、イラストのような風合いの画像が得られる。従って、イラスト調のフィルタは、強くかつ直線的なエッジを含む画像において特に効果的である。このような画像は、例えば、被写体として建物や道路などの人工物を含む画像でありうる。一方、エッジが弱く、また直線的ではない場合、画像は例えば自然物を主体とする風景画像でありうる。このような場合には、点描調のフィルタが効果的である。
【００６８】
以上のようなアートエフェクトの選択処理によって、入力画像におけるフローベクトルのコヒーレンシや、顔検出、エッジの状態などに応じて、入力画像にアートエフェクトを適用するか否か、適用する場合にはどのような種類のアートエフェクトを適用するかを適切に選択することができる。これによって、さまざまな種類のアートエフェクトを選択的に入力画像に適用し、エフェクトの効果を最大化することができる。
【００６９】
（５．ハードウェア構成）
次に、図９を参照して、本開示の実施形態に係る画像処理装置のハードウェア構成について説明する。図９は、本開示の実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。図示された画像処理装置９００は、例えば、上記の実施形態における撮像装置、端末装置、またはサーバを実現しうる。
【００７０】
画像処理装置９００は、ＣＰＵ（Central  Processing  unit）９０１、ＲＯＭ（Read  Only  Memory）９０３、およびＲＡＭ（Random  Access  Memory）９０５を含む。また、画像処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、画像処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。画像処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital  Signal  Processor）またはＡＳＩＣ（Application  Specific  Integrated  Circuit）と呼ばれるような処理回路を有してもよい。
【００７１】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、画像処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral  Component  Interconnect/Interface）バスなどの外部バス９１１に接続されている。
【００７２】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、画像処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、画像処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
【００７３】
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid  Crystal  Display）、ＰＤＰ（Plasma  Display  Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、画像処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
【００７４】
ストレージ装置９１９は、画像処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard  Disk  Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
【００７５】
ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、画像処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
【００７６】
接続ポート９２３は、機器を画像処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal  Serial  Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small  Computer  System  Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、画像処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。
【００７７】
通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local  Area  Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless  USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric  Digital  Subscriber  Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
【００７８】
撮像装置９３３は、例えば、ＣＣＤ（Charge  Coupled  Device）またはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
【００７９】
センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば画像処理装置９００の筐体の姿勢など、画像処理装置９００自体の状態に関する情報や、画像処理装置９００の周辺の明るさや騒音など、画像処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global  Positioning  System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
【００８０】
以上、画像処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
【００８１】
（６．補足）
本開示の実施形態は、例えば、上記で説明したような画像処理装置（撮像装置、端末装置、またはサーバ）、システム、画像処理装置またはシステムで実行される画像処理方法、画像処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
【００８２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８３】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００８４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）入力画像における画素のフローベクトルを検出するフローベクトル検出部と、
前記フローベクトルのパターンに基づいて、前記入力画像に対するエフェクトの処理を選択するエフェクト選択部と
を備える画像処理装置。
（２）前記エフェクト選択部は、前記エフェクトの処理として、前記入力画像に対するエフェクトの有無を選択する、前記（１）に記載の画像処理装置。
（３）前記エフェクト選択部は、前記エフェクトの処理として、前記エフェクトの種類を選択する、前記（１）または（２）に記載の画像処理装置。
（４）前記フローベクトルのパターンは、消失点の有無である、前記（１）〜（３）のいずれか１項に記載の画像処理装置。
（５）前記エフェクト選択部は、前記エフェクトの処理として、前記消失点の有無に基づいて、前記入力画像にズームエフェクトを適用するか否かを選択する、前記（４）に記載の画像処理装置。
（６）前記エフェクト選択部は、前記入力画像にズームエフェクトを適用する場合であって、前記入力画像が直線的なエッジを含む場合には、前記ズームエフェクトとしてエッジ保存ズームを選択する、前記（５）に記載の画像処理装置。
（７）前記エフェクト選択部は、前記入力画像にズームエフェクトを適用する場合であって、前記入力画像に顔が含まれる場合には、前記ズームエフェクトとして、エッジ保存ズームを選択する、前記（５）または（６）に記載の画像処理装置。
（８）前記フローベクトルのパターンは、前記フローベクトルのコヒーレンシによって識別される、前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（９）前記エフェクト選択部は、前記エフェクトの処理として、前記フローベクトルのコヒーレンシに基づいて、前記入力画像に対するエフェクトの種類を選択する、前記（１）〜（８）のいずれか１項に記載の画像処理装置。
（１０）前記エフェクト選択部は、前記エフェクトの処理として、前記フローベクトルのコヒーレンシに基づいて、前記入力画像に対するエフェクトの有無を選択する、前記（１）〜（９）のいずれか１項に記載の画像処理装置。
（１１）前記エフェクト選択部は、前記エフェクトの処理として、前記コヒーレンシの強さに基づいて、前記エフェクトとしてのアートエフェクトの種類を選択する、前記（９）に記載の画像処理装置。
（１２）前記エフェクト選択部は、前記コヒーレンシの強さが閾値より小さい場合には前記入力画像に前記エフェクトとしてのアートエフェクトを適用しない、前記（１０）に記載の画像処理装置。
（１３）前記エフェクト選択部は、前記コヒーレンシが所定の強さを超える場合には前記アートエフェクトとして、前記入力画像に筆跡を表現するアートエフェクトを適用する、前記（１１）に記載の画像処理装置。
（１４）前記エフェクト選択部は、前記入力画像に含まれる顔の領域が前記入力画像の所定の割合以上を占める場合には、前記筆跡を表現するアートエフェクトとして、水彩調のアートエフェクトを適用する、前記（１３）に記載の画像処理装置。
（１５）前記エフェクト選択部は、前記入力画像において特定の色が支配的である場合には、前記筆跡を表現するアートエフェクトとして、油彩調のアートエフェクトを適用する、前記（１３）または（１４）に記載の画像処理装置。
（１６）前記エフェクト選択部は、前記入力画像に含まれる顔が所定のサイズ未満である場合には前記コヒーレンシの強さに関わらず前記入力画像に前記アートエフェクトを適用しない、前記（１１）〜（１５）のいずれか１項に記載の画像処理装置。
（１７）前記エフェクト選択部は、前記入力画像に前記アートエフェクトを適用する場合、前記入力画像に含まれる直線的なエッジの度合いに基づいて、前記アートエフェクトとして、イラスト調のアートエフェクトと点描調のアートエフェクトの一方を適用する、前記（１１）〜（１６）のいずれか１項に記載の画像処理装置。
（１８）前記エフェクト選択部は、前記入力画像にズームエフェクトを適用する場合に、前記コヒーレンシに基づいて、前記ズームエフェクトの種類を選択する、前記（８）に記載の画像処理装置。
（１９）前記エフェクト選択部は、前記コヒーレンシの前記入力画像の領域に応じた傾向に基づいて、前記ズームエフェクトとして、ウォークスルーとエッジ保存ズームの一方を選択する、前記（１８）に記載の画像処理装置。
（２０）画像処理装置の処理回路が、
入力画像における画素のフローベクトルを検出することと、
前記フローベクトルのパターンに基づいて、前記入力画像に対するエフェクトの処理を選択することと
を含む画像処理方法。
（２１）入力画像における画素のフローベクトルを検出する機能と、
前記フローベクトルのパターンに基づいて、前記入力画像に対するエフェクトの処理を選択する機能と
を画像処理装置の処理回路に実現させるためのプログラム。
【符号の説明】
【００８５】
１０    システム
１００    撮像装置
２００    端末装置
３００    サーバ
５０３    画像取得部
５０５    エフェクト設定部
５０９    エフェクト適用部
５１１    画像出力部
５１７    記録制御部
５０５１    画像解析部
５０５３    フローベクトル検出部
５０５５    フローコヒーレンシ検出部
５０５７    顔検出部
５０５９    エフェクト選択部
５０６１    ズームエフェクト選択部
５０６３    アートエフェクト選択部
【図１】
0006579101.tif 000002
【図２】
0006579101.tif 000003
【図３】
0006579101.tif 000004
【図４】
0006579101.tif 000005
【図５】
0006579101.tif 000006
【図６】
0006579101.tif 000007
【図７】
0006579101.tif 000008
【図８】
0006579101.tif 000009
【図９】
0006579101.tif 000010