(57)【要約】【課題】単に文字情報から文章を作成する場合と比べてより面白みのある装飾を画像に施す。【解決手段】画像装飾モードが設定されている場合、撮像によって画像データが生成されると、画像解析による被写体認識が行われる。被写体が特定されると、それに基づいて装飾データベースから装飾内容が抽出され、抽出された装飾が画像データに施される。装飾後の画像データに基づいて画像ファイルが構成され、記録媒体に記録される。【選択図】図６
2011205296.tif 000002
【特許請求の範囲】
【請求項１】
画像データまたは画像データに対応づけられた情報に基づいて、当該画像データの被写体または撮影状況を推定する推定手段と、
前記推定手段で推定された被写体または撮影状況に適合する画像装飾内容を決定する決定手段と、
前記決定手段で決定された内容の装飾を当該画像データに施して出力する装飾手段とを具備することを特徴とする画像装飾装置。
【請求項２】
前記推定手段は、前記画像データに対して画像解析を行うことで前記被写体または撮影状況を推定することを特徴とする請求項１に記載の画像装飾装置。
【請求項３】
前記推定手段は、前記画像データに対応づけられた撮影位置情報に基づいて前記撮影状況を推定することを特徴とする請求項１に記載の画像装飾装置。
【請求項４】
前記推定手段は、前記画像データに対応づけられた撮影時の音声データに基づいて前記撮影状況を推定することを特徴とする請求項１に記載の画像装飾装置。
【請求項５】
前記決定手段は、前記推定手段の推定結果に基づいてデータベース検索を行うことで前記装飾内容を決定することを特徴とする請求項１〜４のいずれか１項に記載の画像装飾装置。
【請求項６】
前記装飾内容は、被写体に関する擬音語、擬声語、または擬態語であり、前記装飾手段は、前記擬音語、擬声語、または擬態語が画像中に文字列で表示されるように装飾を行うことを特徴とする請求項１〜５のいずれか１項に記載の画像装飾装置。
【請求項７】
撮像を行って前記画像データを生成する撮像手段を更に備えることを特徴とする請求項１〜６のいずれか１項に記載の画像装飾装置。
【請求項８】
コンピュータに、
画像データまたは画像データに対応づけられた情報に基づいて、当該画像データの被写体または撮影状況を推定する処理と、
前記推定された被写体または撮影状況に適合する画像装飾内容を決定する処理と、
前記決定された内容の装飾を当該画像データに対施して出力する処理とを実行させるための画像装飾プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子画像に装飾を施すことが可能な画像装飾装置および画像装飾プログラムに関する。
【背景技術】
【０００２】
画像または音響データに付随する情報（例えば、ユーザ登録メモ、格納フォルダ名、記録時の情報、再生頻度、好感度情報など）を読み出し、読み出された情報に基づいて文を生成し、生成された文を音声合成して出力する音声合成装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２３５９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の装置では、単に画像データに付随する文字情報を抽出して文章を作成するだけなので、作成される文章は面白みを欠く。
【課題を解決するための手段】
【０００５】
本発明に係る画像装飾装置は、画像データまたは画像データに対応づけられた情報に基づいて、当該画像データの被写体または撮影状況を推定する推定手段と、推定手段で推定された被写体または撮影状況に適合する画像装飾内容を決定する決定手段と、決定手段で決定された内容の装飾を当該画像データに施して出力する装飾手段とを具備することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、単に文字情報から文章を作成する場合と比べてより面白みのある装飾を画像に施すことができ、画像鑑賞者に驚きと感動を与えることができるとともに、撮影者自身も今まで以上に楽しみながら撮影を行うことができる。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態におけるデジタルカメラの制御ブロック図。
【図２】画像装飾を施した画像の表示例を示す図。
【図３】画像装飾を施した画像の他の表示例を示す図。
【図４】画像装飾を施した画像の他の表示例を示す図。
【図５】画像装飾を施した画像の他の表示例を示す図。
【図６】第１の実施形態におけるカメラの処理手順を示すフローチャート。
【図７】画像装飾を施した画像の他の表示例を示す図。
【図８】第２の実施形態におけるシステムの構成図。
【図９】画像装飾を施した画像の他の表示例を示す図。
【図１０】第２の実施形態におけるＰＣの処理手順を示すフローチャート。
【発明を実施するための形態】
【０００８】
−第１の実施形態−
図１〜図７により本発明をデジタルカメラに適用した場合の一実施形態を説明する。
図１は本実施形態におけるデジタルカメラのブロック図である。撮影レンズ１を透過した被写体光束は、撮像素子２で撮像され、その撮像信号は画像処理部３に入力される。画像処理部３を構成する画像処理回路３ａは、入力された撮像信号に種々の処理を施して画像データを生成する。画像データは、表示回路３ｂによる処理を経て、カメラ背面などに設けられた液晶モニタ４に表示される。撮影モード設定時には、上記撮像および画像表示が繰り返され、いわゆるライブビュー表示（スルー画表示）が行われる。撮影指示がなされると改めて撮像が行われ、それによって生成された画像データは、コンピュータで扱うことが可能な画像ファイルとして、記録／再生回路３ｃによりメモリカード等の記録媒体５に記録される。
【０００９】
記録される画像ファイルは、画像本体を構成する上記画像データ（必要に応じて圧縮される）と、撮影日時や撮影場所、撮影条件などのメタデータとを組み合わせて構成される。撮影条件としては、絞り値やシャッタ秒時、ＩＳＯ感度の他に、使用したシーンモードなどの情報も含まれる。
【００１０】
再生モードでは、記録媒体５に記録された画像データを記録／再生回路３ｃにて読み出し、画像処理回路３ａおよび表示回路３ｂによる処理を経て液晶モニタ４に表示することができる。
【００１１】
ＣＰＵ６は、操作部７からの入力に応答して画像処理部３や不図示の回路を制御する。操作部７は、電源ボタンやレリーズボタン、再生操作や情報入力等で用いる各種操作部材等を含む。ＧＰＳ受信機８は、カメラの位置情報（緯度、経度情報）を検出し、ＣＰＵ６は、撮影時に検出される位置情報（撮影位置情報）を上記メタデータとして画像ファイルに埋め込むことができる。９はＲＯＭやＲＡＭから成るメモリである。
【００１２】
次に、本実施形態における画像装飾について説明する。
ここでいう画像装飾とは、画像データに擬音語、擬声語、擬態語などを文字で挿入したり、画像に適したマークや線等の非文字を挿入することを指す。装飾内容は、画像データまたはメタデータに基づいてＣＰＵ６が自動的に決定する。
【００１３】
画像データに基づいて画像に装飾を施すには、メモリ９に被写体を認識（推定）する機能が予め組み込まれている必要がある。被写体認識機能は、画像データを解析し、形状や色彩等から被写体を推定する機能であり、例えばテンプレートマッチングなどの手法を用いることができる。テンプレートマッチングを用いる場合は、複数種類の被写体のテンプレートを格納したデータベースを予めメモリ９に記憶させておく。
【００１４】
またメモリ９には、画像に適した装飾内容を抽出するための装飾データベースも格納されている。このデータベースは、種々の被写体と、装飾内容としてその被写体が発する音、鳴き声などを表す文字列を対応づけたもので、例としては、「海」に対して「ざざざざ」、「自動車」に対して「ぶろろろ」、「雷」に対して「ぴか」、「花火」に対して「どかーん」、「猫」に対して「にゃん」、「犬」に対して「わん」、「サッカーの試合」に対して「はいれー！」などが挙げられる。
【００１５】
ＣＰＵ６は、上記被写体認識の結果に基づいて装飾データベースを検索して装飾内容を抽出し、それに基づいて画像データに装飾を施す。装飾済みの画像データに基づく画像は、液晶モニタ４に表示することができる。
【００１６】
図２は「海」を撮影した画像データの表示例である。この場合、ＣＰＵ６は、例えば画像の下部分にブルー系の占める割合が大きいことで、被写体が「海」であると推定し、「海」をキーワードとして装飾データベースを検索する。検索の結果、「ザザァ」という文字列が抽出され、この文字列を元の画像データに挿入する。被写体が「山」であると判断した場合は、図３に示すように「ヤッホー」などの文字列を挿入する。
【００１７】
図４は「猫」を撮影した画像データの表示例である。この場合、ＣＰＵ６は、被写体の形状と色彩とに基づいて被写体が「猫」であると推定し、「猫」」をキーワードとして装飾データベースを検索する。検索の結果、「にゃーん」という文字列が抽出され、この文字列を元の画像データに挿入する。
【００１８】
同様に図５は「レースカー」を撮影した画像データの表示例である。この場合、ＣＰＵ６は、テンプレートマッチング等によって被写体が「レースカー」であると推定し、「レースカー」をキーワードとして装飾データベースを検索する。検索の結果、「ヴォオオオン」という文字列が抽出され、この文字列を元の画像データに挿入する。
【００１９】
また図５の例では、文字列だけでなく、主要被写体として認識された「レースカー」を中心として放射状の複数の直線を挿入している。このような視覚効果も文字列と同時に装飾データベースから抽出される。文字列以外の視覚効果を施すことで、主要被写体を際だたせたり、被写体の動きを強調することができる。
主要被写体の認識については後述する。
【００２０】
ここで、公知の動体予測機能を備えたカメラでは、その予測結果に基づいて画像装飾（視覚効果）を施すことができる。動体予測は、本来は焦点調節に用いられるものであるが、動体予測によってＣＰＵ６は被写体の移動方向を認識できるので、その移動方向が分かるような流線（例えば、主要被写体から移動方向と逆方向に延びる複数の線）を画像に挿入することが考えられる。この場合は、上述したようなデータベース検索を行うことなく装飾を施すことが可能である。
【００２１】
被写体認識の手法として、公知の顔認識技術や表情認識技術を用いてもよい。まず画像データに対して顔認識を行い、顔が認識された場合は表情認識を行う。例えば「笑顔」であることが認識された場合は「にっこり」や「にやにや」、「泣き顔」であることが認識された場合は「しくしく」などの文字列が装飾データベースから抽出され、画像データに挿入される。表情認識については、例えば、特開２００１−５１３３８号公報等に記載されているような手法を用いることができる。
【００２２】
ここで、装飾を施すときには、装飾（文字列等）が主要被写体に被らないようにする必要がある。そのためＣＰＵ６は、ピントを合わせた箇所（フォーカスエリア）や、画像データの輝度分布や色情報、あるいは上述した被写体認識結果等に基づいて撮影者の意図する主要被写体を認識し、主要被写体から外れた位置に文字列を配置する。
【００２３】
また装飾を目立たせるために、装飾を施す部分の色に基づいて文字列の色を決定したり、文字列の内容によってフォントや文字サイズ、平仮名か片仮名かローマ字かなどを決定したり、装飾を施す部分の大きさや形状に応じて文字の大きさや、横書きか縦書きかなどを決定するようにすることが望ましい。
さらに、ＧＰＳ受信機８を備えたカメラでは、上記撮影位置情報に基づき、撮影が行われた国や地域の言語や方言で装飾としての文字列を構成してもよい。例えば、英語圏で撮影された画像データに対しては、文字列を英語で挿入したり、あるいは英語の表現を日本語の文字列で挿入するなどが考えられる。
【００２４】
図６は画像装飾を含む撮影時の処理手順例を示すフローチャートであり、これは、撮影直後に画像装飾を施す例である。
レリーズボタンの操作に応答してＣＰＵ６がこのプログラムを起動し、ステップＳ１で撮像を行って画像データを得る。ステップＳ２では、画像装飾モードの設定の有無を判定する。画像装飾モードは、例えばメニュー画面等でその設定／解除を切換えることができる。
【００２５】
画像装飾モードが設定されていない場合はステップＳ７に進み、上記画像データに基づく画像を液晶モニタ４に表示する。ステップＳ８では、上記画像データの圧縮やメタデータの付加等を行って画像ファイルを構成し、ステップＳ９で画像ファイルを記録媒体５に記録して終了する。なお、ステップＳ７で表示された画像は所定時間（数秒）後に消灯する。
【００２６】
一方、ステップＳ２で画像装飾モードが設定されていると判定された場合はステップＳ３に進み、上述した被写体認識を行う。ステップＳ４では、ステップＳ３において被写体が特定できたか否かを判定する。例えば被写体認識のためのデータベースに登録されていない被写体は特定することができず、また登録されていても何らかの理由で被写体を特定できないことがあり得る。被写体が特定できない場合はステップＳ１０に進み、液晶モニタ４に画像装飾を行えない旨の表示を行ってステップＳ７に進む。
【００２７】
被写体が特定できた場合はステップＳ５に進み、上述した装飾データベース検索を行って装飾として使用すべき内容（文字列）を抽出する。この際、文字列の色やフォントなども決定する。ステップＳ６では、抽出した装飾内容を画像データに対して施し、上記ステップＳ７に進む。この場合は、装飾済みの画像データに基づく画像が液晶モニタ４に表示され（ステップＳ７）、また装飾済みの画像データを用いて画像ファイルが構成され、記録される（ステップＳ８，Ｓ９）。なお、装飾済み画像ファイルと、装飾が施されていない画像ファイルの双方を記録するようにしてもよい。
【００２８】
以上は装飾として文字列を画像に挿入するようにしたが、文字列に変えてマークや絵柄を挿入してもよい。例えば、上述した表情認識の結果に基づき、認識された表情に適したマークや絵柄を画像に挿入することが考えられる。図７はその一例を示し、被写体人物の「怒り」の表情が検出されたので、ＣＰＵ６が「怒り」をキーワードとしてデータベース検索を行い、怒りマークＭＫ１を抽出して画像に挿入したものである。「笑顔」が検出された場合は、例えば「花」の絵柄を挿入するようにする。
【００２９】
また以上では、撮影時に画像装飾を施し、装飾済みの画像データを記録するようにしたが、撮影時には装飾を行わず、記録媒体５に既に記録されている画像ファイルを読み出し、読み出した画像ファイルの画像データに装飾を施し、装飾後に改めて記録するようにしてもよい。
なお、デジタルカメラにて説明したが、例えばカメラ機能付き携帯電話機などにも本発明を適用可能である。
【００３０】
−第２の実施形態−
図８〜図１０により本発明の第２の実施形態を説明する。
本実施形態は、パーソナルコンピュータ（以下、ＰＣ）で画像装飾を施す点、および画像装飾を画像ファイルのメタデータや音声データに基づいて行う点が先の実施形態と異なる。なお、本実施形態の機能を上述したようなデジタルカメラに持たせてもよいし、逆に先の実施形態の機能をＰＣに持たせてもよい。
【００３１】
図８は本実施形態におけるシステム構成図である。ＰＣ２０は、ＣＰＵ２１と、ＲＡＭやハードディスク等から成る記憶部２２と、液晶ディスプレイ等の表示部２３と、マウスやキーボード等の操作部２４と、ネットワーク通信を行うための通信部２５とを有している。ハードディスクには、デジタルカメラから画像ファイルを取り込むための転送ソフトウェアや、取り込んだ画像ファイルを加工したり再生するための画像加工ソフトウェア、通信回線網３０を介して外部のサーバ（４０，５０など）にアクセスするための通信ソフトウェアが予め記憶されている。サーバ４０は、各地の気象情報を提供するサービスを行っており、またサーバ５０は、各地で行われるイベント（スポーツ大会や花火大会等）に関する情報を提供するサービスを行っている。
【００３２】
ここで、デジタルカメラには、撮影時に周囲の音声を録音して音声データを作成し、画像ファイルに対応づけて記録可能なものがある。ＣＰＵ２１は、上記転送ソフトウェアを用いてデジタルカメラから画像ファイルを取り込むが、画像ファイルに対応づけられた音声データが存在する場合は、その音声データも同時に取り込む。
【００３３】
本実施形態における画像装飾について説明する。
ＣＰＵ２１は、対象となる画像ファイルがメタデータとして撮影位置情報（緯度、経度情報）を有している場合、その撮影位置情報と撮影日時情報とに基づいて、撮影時の気象を推定する。これは、撮影位置情報および撮影日時情報を通信回線網３０を介してサーバ４０に送り、撮影位置情報が含まれる地域の撮影日時における気象情報を取得することで行う。そして、取得した気象情報に基づいて装飾内容を装飾データベースから抽出し、当該画像ファイル内の画像データに施す。
【００３４】
図９は気象情報に基づいて装飾が施された画像の表示例を示し、この画像には、気温および湿度が高いときの不快なさまを表す「ジメジメ」という文字列が装飾として施されている。またこの例では、不快感をより強めるフォントが使用されている。気温がより高いときは、例えば「暑いー」などの文字列が挿入される。
【００３５】
同様にＣＰＵ２１は、上記撮影位置情報と撮影日時情報とをサーバ５０に送り、その撮影日時にその撮影場所で行われたイベント情報を取得することで、何を撮影した画像であるかを推定することができる。そして、その推定結果に基づいて装飾内容を装飾データベースから抽出し、当該画像ファイル内の画像データに施す。例えば野球の試合が行われていたことが判明した場合は、当該画像データに「カキーン」などの文字列が挿入され、花火大会が行われていたことが判明した場合は、当該画像データに「どーん」または「たまやー  かぎやー」などの文字列が挿入される。
【００３６】
また、メタデータとしてのシーンモード情報に基づいて画像装飾を施すこともできる。デジタルカメラの多くは、複数のシーンモードを備えており、撮影者が撮りたいシーンに応じていずれかのシーンモードを選択すると、そのシーンに適した露出値等の撮影条件をカメラが自動的に設定して撮影を行う。シーンモードには、「風景モード」、「ポートレートモード」、「スポーツモード」、「夜景モード」、「夕焼けモード」などがあり、これらのモードを使用して撮影を行った場合には、その使用モードの情報（シーンモード情報）が上記メタデータとして画像ファイルに埋め込まれる。
【００３７】
ＣＰＵ２１は、画像ファイルからシーンモード情報を読み出すことで、被写体や撮影状況を推定でき、それに基づいて装飾内容を装飾データベースから抽出し、画像データに施す。例えば、「スポーツモード」で撮影した画像の場合は、図４で説明したような放射状の直線を挿入したり、「夕焼けモード」で撮影した画像の場合は、カラスの鳴き声である「かーかー」などの文字列を挿入することが考えられる。
【００３８】
さらに、音声データが対応づけられている画像データに対しては、その音声データを解析し、音量などに基づいて装飾を施すことができる。例えば、音が小さい場合は「シーン」などの文字列を挿入し、音が大きい場合は「ワイワイ」または「ガヤガヤ」などの文字列を挿入する。
【００３９】
図１０はＣＰＵ２１による画像装飾の処理手順例を示すフローチャートである。この処理は、例えば上記画像加工ソフトウェアの一機能として組み込むことができる。ユーザが画像装飾を行うべき画像ファイルを選択すると、ＣＰＵ２１はその画像ファイルの画像データに基づく画像を表示部２３に表示し、その後にユーザが所定操作を行うと、ＣＰＵ２１が図１０の処理を起動する。
【００４０】
ＣＰＵ２１は、まずステップＳ２１で当該画像ファイルからメタデータを読み出し、ステップＳ２２でメタデータに撮影位置情報が含まれるか否かを判定する。ステップＳ２２が否定されるとステップＳ２８に進み、肯定されるとステップＳ２３において、メタデータである撮影位置情報および撮影日時情報を通信回線網３０を介してサーバ４０に送り、撮影日時における撮影場所の気象情報を取得する。ステップＳ２４では、取得した気象情報に基づいて装飾データベース検索を行い、装飾内容を取得する。
【００４１】
ステップＳ２４では、当該画像ファイルのメタデータである撮影位置情報および撮影日時情報を通信回線網３０を介してサーバ５０に送り、その撮影日時にその撮影場所で行われたイベント情報の取得を試みる。ステップＳ２６ではイベント情報が取得できたか否かを判定し、否定されるとステップＳ２８に進み、肯定されるとステップＳ２７において、取得したイベント情報に基づいて装飾データベース検索を行い、装飾内容を取得する。
【００４２】
ステップＳ２８では、当該画像ファイルのメータデータとしてシーンモード情報が存在するか否かを判定し、否定されるとステップＳ３０に進む。ステップＳ２８が肯定されるとステップＳ２９に進み、シーンモード情報に基づいて装飾データベース検索を行い、装飾内容を抽出する。
【００４３】
ステップＳ３０では、当該画像ファイルに上記音声ファイルが対応づけられているか否かを判定し、否定されるとステップＳ３２に進む。ステップＳ３０が肯定されるとステップＳ３１に進み、音声データに基づいて装飾データベース検索を行い、装飾内容を抽出する。
【００４４】
ステップＳ３２では、少なくとも一つの装飾内容が抽出されているか否かを判定し、否定されるとステップＳ３８に進み、画像装飾を行えない旨の表示を表示部２３に行って処理を終了させる。例えば、メタデータに撮影位置情報もシーンモード情報もなく、音声データも対応づけられていない場合は、ステップＳ３２は否定されることになる。
【００４５】
ステップＳ３２が肯定された場合はステップＳ３３に進み、画像装飾内容を決定する。複数の画像装飾内容が抽出されている場合（ステップＳ２４，Ｓ２７，Ｓ２９，Ｓ３１のうち２以上のステップで装飾内容が抽出されている場合）は、その中からＣＰＵ２１が何らかのアルゴリズムによっていずれかを選択する。全装飾内容を表示し、ユーザが選択できるようにしてもよい。あるいは、抽出されている全ての装飾を施すようにしてもよい。
【００４６】
ステップＳ３４では、ステップＳ３３で決定された装飾内容を当該画像ファイルの画像データに施し、ステップＳ３５装飾後の画像を表示部２３表示する。ステップＳ３６では、装飾後の画像を保存するか否かをユーザに問い、「ＹＥＳ」の操作がなされると画像ファイルを保存し、「ＮＯ」の操作がなされると保存せずに終了する。
【符号の説明】
【００４７】
２  撮像素子
３  画像処理部
６  ＣＰＵ（カメラ）
２０  ＰＣ（パーソナルコンピュータ）
２１  ＣＰＵ（ＰＣ）
【図１】
2011205296.tif 000003
【図２】
2011205296.tif 000004
【図３】
2011205296.tif 000005
【図４】
2011205296.tif 000006
【図５】
2011205296.tif 000007
【図６】
2011205296.tif 000008
【図７】
2011205296.tif 000009
【図８】
2011205296.tif 000010
【図９】
2011205296.tif 000011
【図１０】
2011205296.tif 000012