(57)【要約】【課題】撮像画像に対し、より柔軟な文字情報を付与することができる技術を提供する。【解決手段】画像処理装置１は、撮像画像を入力する画像入力部１０と、所定の空欄部に単語を挿入して文章を完成させる文章テンプレートとして、人物が被写体である人物画像に対する文章の作成に用いられる人物画像用テンプレートと、風景が被写体である風景画像に対する文章の作成に用いられる風景画像用テンプレートとを記憶する記憶部９０と、撮像画像が、人物画像であるか風景画像であるかを判定する判定部２０と、撮像画像に対する判定部２０による判定結果に応じて、人物画像用テンプレート又は風景画像用テンプレートの何れかの文章テンプレートを記憶部９０から読み出し、空欄部に撮像画像の特徴量又は撮像条件に応じた単語を挿入して当該撮像画像に対する文章を作成する文章作成部３０とを備える。【選択図】図１
2013140559.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像を入力する画像入力部と、
所定の空欄部に単語を挿入して文章を完成させる文章テンプレートとして、人物が被写体である人物画像に対する文章の作成に用いられる人物画像用テンプレートと、風景が被写体である風景画像に対する文章の作成に用いられる風景画像用テンプレートとを記憶する記憶部と、
前記撮像画像が、前記人物画像であるか前記風景画像であるかを判定する判定部と、
前記撮像画像に対する前記判定部による判定結果に応じて、前記人物画像用テンプレート又は前記風景画像用テンプレートの何れかの前記文章テンプレートを前記記憶部から読み出し、読み出した前記文章テンプレートの前記空欄部に前記撮像画像の特徴量又は撮像条件に応じた単語を挿入して当該撮像画像に対する文章を作成する文章作成部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記記憶部は、
被写体として撮像された人物の視点による文章に前記空欄部を設定した前記文章テンプレートを前記人物画像用テンプレートとして記憶し、
被写体を撮像した撮像者の視点による文章に前記空欄部を設定した前記文章テンプレートを前記風景画像用テンプレートとして記憶することを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
前記判定部は、
前記人物画像において、更に、前記特徴量として被写体の人数を判定し、
前記文章作成部は、
前記人物画像に対し、被写体の人数に応じた単語を前記空欄部に挿入して文章を作成することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記判定部は、
前記撮像画像内に複数の顔領域を認識した場合において、
当該撮像画像の大きさに対する最大の顔領域の大きさの割合が第１の閾値以上であり、前記第１の閾値以上の値である第２閾値未満であって、かつ、複数の顔領域の割合の標準偏差若しくは分散又は複数の顔領域の大きさの標準偏差若しくは分散が第３の閾値未満であるとき、
又は、前記最大の顔領域の大きさの割合が前記第２閾値以上であるときは、
当該撮像画像は前記人物画像であると判定するとともに、前記第１の閾値以上の割合である顔領域の数に基づいて被写体の人数を判定することを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４の何れか１項に記載の画像処理装置において、
前記文章作成部は、
前記撮像画像の特徴量に応じた単語として、前記撮像画像の配色パターンに応じた形容詞を前記空欄部に挿入して文章を作成することを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記文章作成部は、
前記撮像画像が前記人物画像であるか前記風景画像であるかに応じて決定する前記撮像画像上の所定領域の配色パターンに応じた形容詞を前記空欄部に挿入して文章を作成することを特徴とする画像処理装置。
【請求項７】
撮像画像が入力される画像入力部と、
前記撮像画像の特徴量、及び、前記撮像画像の撮像条件の少なくとも一方に対応するテキストを決定する決定部と、
前記撮像画像が第１種別の画像であるか、前記第１種別とは異なる第２種別の画像であるかを判定する判定部と、
前記第１種別に用いられる文章の構文である第１構文と、前記第２種別に用いられる文章の構文である第２構文とを記憶する記憶部と、
前記撮像画像が前記第１種別の画像であると前記判定部により判定されたとき、前記決定部が決定した前記テキストを用いて前記第１構文の文章を作成し、前記撮像画像が前記第２種別の画像であると前記判定部により判定されたとき、前記決定部が決定した前記テキストを用いて前記第２構文の文章を作成する文章作成部と
を含むことを特徴とする画像処理装置。
【請求項８】
請求項７に記載された画像処理装置であって、
前記第１種別は、ポートレートであり、前記第２種別は、風景であることを特徴とする画像処理装置。
【請求項９】
被写体を撮像して撮像画像を生成する撮像部と、
所定の空欄部に単語を挿入して文章を完成させる文章テンプレートとして、人物が被写体である人物画像に対する文章の作成に用いられる人物画像用テンプレートと、風景が被写体である風景画像に対する文章の作成に用いられる風景画像用テンプレートとを記憶する記憶部と、
前記撮像画像が、前記人物画像であるか前記風景画像であるかを判定する判定部と、
前記撮像画像に対する前記判定部による判定結果に応じて、前記人物画像用テンプレート又は前記風景画像用テンプレートの何れかの前記文章テンプレートを前記記憶部から読み出し、読み出した前記文章テンプレートの前記空欄部に前記撮像画像の特徴量又は撮像条件に応じた単語を挿入して当該撮像画像に対する文章を作成する文章作成部と
を備えることを特徴とする撮像装置。
【請求項１０】
所定の空欄部に単語を挿入して文章を完成させる文章テンプレートとして、人物が被写体である人物画像に対する文章の作成に用いられる人物画像用テンプレートと、風景が被写体である風景画像に対する文章の作成に用いられる風景画像用テンプレートとを記憶する記憶部を備える画像処理装置のコンピュータに、
撮像画像を入力する画像入力ステップと、
前記撮像画像が、前記人物画像であるか前記風景画像であるかを判定する判定ステップと、
前記撮像画像に対する前記判定ステップによる判定結果に応じて、前記人物画像用テンプレート又は前記風景画像用テンプレートの何れかの前記文章テンプレートを前記記憶部から読み出し、読み出した前記文章テンプレートの前記空欄部に前記撮像画像の特徴量又は撮像条件に応じた単語を挿入して当該撮像画像に対する文章を作成する文章作成ステップと
を実行させることを特徴とするプログラム。
【請求項１１】
撮像画像から所定の意味を有する文字を決定する決定部と、
前記撮像画像が人物画像であるか、前記人物画像とは異なる画像であるかを判定する判定部と、
前記人物画像に用いられる文章の構文である第１構文と、前記人物画像とは異なる画像に用いられる文章の構文である第２構文とを記憶する記憶部と、
前記撮像画像が前記人物画像であると前記判定部により判定されたとき、前記所定の意味を有する文字を用いて前記第１構文の文章を出力し、前記撮像画像が前記人物画像とは異なる画像であると前記判定部により判定されたとき、前記所定の意味を有する文字を用いて前記第２構文の文章を出力する出力部とを有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、及び、プログラムに関するものである。
【背景技術】
【０００２】
従来、特定の人物の誕生日、イベントの日時などを予め登録しておくことによって、撮像日時に対応する誕生日の人物名、撮像日時に対応するイベント名などの文字情報を撮像画像に付与する技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平２−３０３２８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術は、ユーザが事前に登録した文字情報しか撮像画像に付与することができないという問題がある。従来技術が有する問題に鑑み、本発明の目的は、撮像画像に対し、より柔軟な文字情報を付与することができる技術を提供することにある。
【課題を解決するための手段】
【０００５】
上記問題を解決するために、本発明の一態様である画像処理装置は、撮像画像を入力する画像入力部と、所定の空欄部に単語を挿入して文章を完成させる文章テンプレートとして、人物が被写体である人物画像に対する文章の作成に用いられる人物画像用テンプレートと、風景が被写体である風景画像に対する文章の作成に用いられる風景画像用テンプレートとを記憶する記憶部と、前記撮像画像が、前記人物画像であるか前記風景画像であるかを判定する判定部と、前記撮像画像に対する前記判定部による判定結果に応じて、前記人物画像用テンプレート又は前記風景画像用テンプレートの何れかの前記文章テンプレートを前記記憶部から読み出し、読み出した前記文章テンプレートの前記空欄部に前記撮像画像の特徴量又は撮像条件に応じた単語を挿入して当該撮像画像に対する文章を作成する文章作成部とを備えることを特徴とする。
【０００６】
上記問題を解決するために、本発明の他の態様である画像処理装置は、撮像画像が入力される画像入力部と、前記撮像画像の特徴量、及び、前記撮像画像の撮像条件の少なくとも一方に対応するテキストを決定する決定部と、前記撮像画像が第１種別の画像であるか、前記第１種別とは異なる第２種別の画像であるかを判定する判定部と、前記第１種別に用いられる文章の構文である第１構文と、前記第２種別に用いられる文章の構文である第２構文とを記憶する記憶部と、前記撮像画像が前記第１種別の画像であると前記判定部により判定されたとき、前記決定部が決定した前記テキストを用いて前記第１構文の文章を作成し、前記撮像画像が前記第２種別の画像であると前記判定部により判定されたとき、前記決定部が決定した前記テキストを用いて前記第２構文の文章を作成する文章作成部とを含むことを特徴とする。
【０００７】
また、本発明の他の態様である撮像装置は、被写体を撮像して撮像画像を生成する撮像部と、所定の空欄部に単語を挿入して文章を完成させる文章テンプレートとして、人物が被写体である人物画像に対する文章の作成に用いられる人物画像用テンプレートと、風景が被写体である風景画像に対する文章の作成に用いられる風景画像用テンプレートとを記憶する記憶部と、前記撮像画像が、前記人物画像であるか前記風景画像であるかを判定する判定部と、前記撮像画像に対する前記判定部による判定結果に応じて、前記人物画像用テンプレート又は前記風景画像用テンプレートの何れかの前記文章テンプレートを前記記憶部から読み出し、読み出した前記文章テンプレートの前記空欄部に前記撮像画像の特徴量又は撮像条件に応じた単語を挿入して当該撮像画像に対する文章を作成する文章作成部とを備えることを特徴とする。
【０００８】
また、本発明の他の態様であるプログラムは、所定の空欄部に単語を挿入して文章を完成させる文章テンプレートとして、人物が被写体である人物画像に対する文章の作成に用いられる人物画像用テンプレートと、風景が被写体である風景画像に対する文章の作成に用いられる風景画像用テンプレートとを記憶する記憶部を備える画像処理装置のコンピュータに、撮像画像を入力する画像入力ステップと、前記撮像画像が、前記人物画像であるか前記風景画像であるかを判定する判定ステップと、前記撮像画像に対する前記判定ステップによる判定結果に応じて、前記人物画像用テンプレート又は前記風景画像用テンプレートの何れかの前記文章テンプレートを前記記憶部から読み出し、読み出した前記文章テンプレートの前記空欄部に前記撮像画像の特徴量又は撮像条件に応じた単語を挿入して当該撮像画像に対する文章を作成する文章作成ステップとを実行させることを特徴とする。
【０００９】
また、本発明の一態様である画像処理装置は、撮像画像から所定の意味を有する文字を決定する決定部と、前記撮像画像が人物画像であるか、前記人物画像とは異なる画像であるかを判定する判定部と、前記人物画像に用いられる文章の構文である第１構文と、前記人物画像とは異なる画像に用いられる文章の構文である第２構文とを記憶する記憶部と、前記撮像画像が前記人物画像であると前記判定部により判定されたとき、前記所定の意味を有する文字を用いて前記第１構文の文章を出力し、前記撮像画像が前記人物画像とは異なる画像であると前記判定部により判定されたとき、前記所定の意味を有する文字を用いて前記第２構文の文章を出力する出力部とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮像画像に対し、より柔軟な文字情報を付与することができるようになる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態による画像処理装置１の機能ブロック図の一例である。
【図２】記憶部９０に記憶される文章テンプレートの一例である。
【図３】記憶部９０に記憶される単語の一例である。
【図４】撮像画像の配色パターンの抽出について説明するための説明図である。
【図５】画像処理装置１の動作の一例を示すフローチャートである。
【図６】画像処理装置１の動作の一例を示すフローチャートである。
【図７】文章付加部４０によって文章を付加された撮像画像の一例である。
【図８】本発明の第２の実施形態による撮像装置１００の機能ブロック図の一例である。
【図９】撮像画像の特徴量を抽出するプロセスの一例を模式的に示す図である。
【図１０】撮像画像の特徴量を抽出するプロセスの別の一例を模式的に示す図である。
【図１１】笑顔レベルの判定方法を模式的に示すフローチャートである。
【図１２Ａ】画像処理装置からの出力画像の一例を示す図である。
【図１２Ｂ】画像処理装置からの出力画像の別の例を示す図である。
【図１３】撮像装置の画像処理部の内部構成を表す概略ブロック図である。
【図１４】代表色の決定の流れを示すフローチャートである。
【図１５】画像処理部における処理の一例を示す概念図である。
【図１６】画像処理部における処理の一例を示す概念図である。
【図１７】図１６に示す主要領域に対して実施されたクラスタリングの結果を示す概念図である。
【図１８】文章付加部によって文章を付加された画像の一例である。
【図１９】文章付加部によって文章を付加された画像の別の一例である。
【図２０】色と単語との対応テーブルの一例を示す図である。
【図２１】遠景画像（第２シーン画像）用の対応テーブルの一例を示す図である。
【図２２】その他の画像（第３シーン画像）用の対応テーブルの一例を示す図である。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態による画像処理装置１の機能ブロック図の一例である。図２は、記憶部９０に記憶される文章テンプレートの一例である。図３は、記憶部９０に記憶される単語の一例である。図４は、撮像画像の配色パターンの抽出について説明するための説明図である。
【００１３】
画像処理装置１は、図１に示すように、画像入力部１０、判定部２０、文章作成部３０、文章付加部４０及び記憶部９０を備える。画像入力部１０は、例えば、ネットワーク又は記憶媒体を介して、撮像画像を入力する。画像入力部１０は、撮像画像を判定部２０に出力する。
【００１４】
記憶部９０は、所定の空欄部に単語を挿入して文章を完成させる文章テンプレートを記憶する。具体的には、記憶部９０は、文章テンプレートとして、人物が被写体である画像（以下、人物画像という）に対する文章の作成に用いられる人物画像用テンプレートと、風景（第２種別とも称する）が被写体である画像（以下、風景画像という）に対する文章の作成に用いられる風景画像用テンプレートとを記憶する。なお、人物画像の一例は、ポートレート（第１種別とも称する）である。
【００１５】
例えば、記憶部９０は、図２（ａ）（ｂ）に示すような２種類の人物画像用テンプレートを記憶する。なお、図２（ａ）（ｂ）に示す人物画像用テンプレートは、被写体の人数に応じた単語を挿入する空欄部（空欄部｛人数｝と表記）、及び、撮像画像の配色パターンに応じた単語を挿入する空欄部（空欄部｛形容詞｝と表記）を有している。
【００１６】
また例えば、記憶部９０は、図２（ｃ）（ｄ）に示すような２種類の風景画像用テンプレートを記憶する。なお、図２（ｃ）に示す風景画像用テンプレートは、撮像画像の撮像条件（日時）に応じた単語を挿入する空欄部（空欄部｛日時｝）、及び、撮像画像の配色パターンに応じた単語を挿入する空欄部を有している。また、図２（ｄ）に示す風景画像用テンプレートは、撮像画像の撮像条件（場所）に応じた単語を挿入する空欄部（空欄部｛場所｝と表記）、及び、撮像画像の配色パターンに応じた単語を挿入する空欄部を有している。
【００１７】
なお、上述の人物画像用テンプレートは、被写体として撮像された人物に焦点をあててイメージされるような文章テンプレート、つまり、被写体として撮像された人物の視点による文章に空欄部を設定した文章テンプレートである。例えば、図２（ａ）の人物画像用テンプレートの文言「過ごした」、図２（ｂ）の人物画像用テンプレートの文言「ポーズ」は撮像された人物の視点を表現している。また、上述の風景画像用テンプレートは、撮像画像全体からイメージされるような文章テンプレート、つまり、被写体を撮像した撮影者の視点による文章に空欄部を設定した文章テンプレートである。例えば、図２（ｃ）の風景画像用テンプレートの文言「一枚」、図２（ｄ）の風景画像用テンプレートの文言「景色」は撮影者の視点を表現している。
【００１８】
さらに、記憶部９０は、文章テンプレート（人物画像用テンプレート、風景画像用テンプレート）に加え、文章テンプレートの各空欄部に挿入する単語を記憶する。例えば、記憶部９０は、図３（ａ）に示すように、撮像画像の被写体の人数に対応付けて、空欄部｛人数｝に挿入する単語として人数に関連する単語を記憶する。
【００１９】
例えば、人物画像用テンプレートを使用する場合に、被写体の人数が「１」であったときは、人物画像用テンプレートの空欄部｛人数｝には単語「ひとり」が挿入される。なお、文章作成部３０が、使用する文章テンプレートを記憶部９０から読み出して、空欄部に単語を挿入する（後述）。
【００２０】
また、記憶部９０は、図３（ｂ）に示すように、撮像画像の配色パターンに対応付けて、人物画像用テンプレートの空欄部｛形容詞｝又は風景画像用テンプレートの空欄部｛形容詞｝に挿入する単語として人物画像用の形容詞及び風景画像用の形容詞を記憶する。
【００２１】
例えば、人物画像用テンプレートを使用する場合に、撮像画像の全領域の配色パターンが、図４（ａ）に示す、第１色「色１」、第２色「色２」、第３色「色３」であったときは、人物画像用テンプレートの空欄部｛形容詞｝には単語「クールな」が挿入される。また、風景画像用テンプレートを使用する場合に、撮像画像の全領域の配色パターンが、図４（ｂ）に示す、第１色「色２」、第２色「色１」、第３色「色４」であったときは、風景画像用テンプレートの空欄部｛形容詞｝には単語「賑やかな」が挿入される。
【００２２】
上述の色１〜色５は、撮像画像において実際に表現されている個々の色を、例えば、暖色系／寒色系などの基準によって５色（５つの代表色）に分類したものである。換言すれば、撮像画像の各画素の画素値を、例えば、暖色系／寒色系などの基準によって５色に分類したものが、上述の色１〜色５である。
また、配色パターンを構成する、第１色は色１〜色５のうち当該撮像画像において最も多く表現されている色、第２色は色１〜色５のうち当該撮像画像において２番目に多く表現されている色、第３色は色１〜色５のうち当該撮像画像において３番目に多く表現されている色である。換言すれば、色１〜色５に画素値を分類したときに分類された画素数が最も多い色が第１色、色１〜色５に画素値を分類したときに分類された画素数が２番目に多い色が第２色、色１〜色５に画素値を分類したときに分類された画素数が３番目に多い色が第３色である。
なお、文章作成部３０が、撮像画像から配色パターンを抽出する。
【００２３】
なお、撮像画像の全領域の配色パターンに代えて、撮像画像上の一部の領域における配色パターンを用いてもよい。つまり、文章作成部３０は、撮像画像上の一部の領域の配色パターンに応じた形容詞を空欄部に挿入してもよい。具体的には、文章作成部３０は、撮像画像が人物画像であるか風景画像であるかに応じて撮像画像上の所定領域を決定し、決定した撮像画像上の所定領域の配色パターンに応じた形容詞を空欄部に挿入してもよい。
例えば、文章作成部３０は、図４（ｃ）に示すように撮像画像が人物画像であるときは、当該人物画像の中央部の領域を所定領域として決定し、中央部の領域の配色パターンを抽出し、抽出した配色パターンに応じた形容詞を空欄部に挿入してもよい。また、文章作成部３０は、図４（ｄ）に示すように撮像画像が風景画像であるときは、当該風景画像の上部の領域を所定領域として決定し、上記の領域の配色パターンを抽出し、抽出した配色パターンに応じた形容詞を空欄部に挿入してもよい。
【００２４】
また、図示は省略したが、記憶部９０は、撮像日時に対応付けて、空欄部｛日時｝に挿入する単語として日時に関連する単語（例えば、時刻、“おはよう”、“夕暮れ”、“真夏！!”、…）を記憶する。また、記憶部９０は、撮影場所に対応付けて、空欄部｛場所｝に挿入する単語として場所に関連する単語（例えば、“北国”、“古都”“富士山”、“雷門”、…）を記憶する。
【００２５】
判定部２０は、画像入力部１０から撮像画像を取得する。判定部２０は、取得した撮像画像が人物画像であるか風景画像であるかを判定する。以下、判定部２０による人物画像／風景画像の判定について詳細に説明する。なお、第１の閾値（Ｆlowとも称する）は、第２の閾値（Ｆhighとも称する）よりも小さい値である。
【００２６】
判定部２０は、撮像画像内の顔領域の認識を試みる。
（顔領域＝０の場合）
判定部２０は、撮像画像内に１つも顔領域を認識しなかった場合、当該撮像画像は風景画像であると判定する。
【００２７】
（顔領域＝１の場合）
判定部２０は、撮像画像内に１つの顔領域を認識した場合、下記式（１）に従って、撮像画像の大きさに対する顔領域の大きさの割合Ｒを算出する。
Ｒ＝Ｓｆ／Ｓｐ…（１）
上記式（１）のＳｐは、撮像画像の大きさであって、具体的には、撮像画像の長手方向の長さを用いる。上記式（１）のＳｆは、顔領域の大きさであって、具体的には、顔領域に外接する矩形の長手方向の長さ（若しくは、顔領域を囲む楕円の長軸の長さ（長径））を用いる。
【００２８】
割合Ｒを算出した判定部２０は、割合Ｒと第１の閾値Ｆlowとを比較する。判定部２０は、割合Ｒが第１の閾値Ｆlow未満であると判定した場合、当該撮像画像は風景画像であると判定する。一方、判定部２０は、割合Ｒが第１の閾値Ｆlow以上であると判定した場合、割合Ｒと第２の閾値Ｆhighとを比較する。
【００２９】
判定部２０は、割合Ｒが第２の閾値Ｆhigh以上であると判定した場合、当該撮像画像は人物画像であると判定する。一方、判定部２０は、割合Ｒが第２の閾値Ｆhigh未満であると判定した場合、当該撮像画像は風景画像であると判定する。
【００３０】
（顔領域≧２の場合）
判定部２０は、撮像画像内に複数の顔領域を認識した場合、下記式（２）に従って、撮像画像の大きさに対する各顔領域の大きさの割合Ｒ（ｉ）を算出する。
Ｒ（ｉ）＝Ｓｆ（ｉ）／Ｓｐ…（２）
上記式（２）のＳｐは、上記式（１）と同様である。上記式（２）のＳｆ（ｉ）は、ｉ番目の顔領域の大きさであって、具体的には、ｉ番目の顔領域に外接する矩形の長手方向の長さ（若しくは、顔領域を囲む楕円の長軸の長さ（長径））を用いる。
【００３１】
Ｒ（ｉ）を算出した判定部２０は、Ｒ（ｉ）の最大値（Ｒmax）を算出する。即ち、判定部２０は、撮像画像の大きさに対する最大の顔領域の大きさの割合Ｒmaxを算出する。
【００３２】
割合Ｒmaxを算出した判定部２０は、割合Ｒmaxと第１の閾値Ｆlowとを比較する。判定部２０は、割合Ｒmaxが第１の閾値Ｆlow未満であると判定した場合、当該撮像画像は風景画像であると判定する。一方、判定部２０は、割合Ｒmaxが第１の閾値Ｆlow以上であると判定した場合、割合Ｒmaxと第２の閾値Ｆhighとを比較する。
【００３３】
判定部２０は、割合Ｒmaxが第２の閾値Ｆhigh以上であると判定した場合、当該撮像画像は人物画像であると判定する。一方、判定部２０は、割合Ｒmaxが第２の閾値Ｆhigh未満であると判定した場合、Ｒ（ｉ）の標準偏差σを算出する。下記式（３）は、標準偏差σの算出式である。
【００３４】
【数１】
2013140559.tif 000003
【００３５】
標準偏差σを算出した判定部２０は、標準偏差σと第３の閾値（Ｆstdevとも称する）とを比較する。判定部２０は、標準偏差σが第３の閾値Ｆstdev未満であると判定した場合、当該撮像画像は人物画像であると判定する。一方、判定部２０は、標準偏差σが第３の閾値Ｆstdev以上であると判定した場合、当該撮像画像は風景画像であると判定する。
【００３６】
以上のように、判定部２０は、撮像画像内に複数の顔領域を認識した場合、当該撮像画像の大きさに対する最大の顔領域の大きさの割合Ｒmaxが第２の閾値Ｆhigh以上であるときは、当該撮像画像は人物画像であると判定する。また、判定部２０は、割合Ｒmaxが第２の閾値Ｆhigh未満であっても、割合Ｒmaxが第１の閾値Ｆlow以上であるときは、複数の顔領域の割合Ｒ（ｉ）の標準偏差σが第３の閾値Ｆstdev未満であるときは、当該撮像画像は人物画像であると判定する。
【００３７】
なお、判定部２０は、複数の顔領域の割合Ｒ（ｉ）の標準偏差σと第３の閾値Ｆstdevによる判定に代えて、複数の顔領域の割合Ｒ（ｉ）の分散λと、分散λ用の閾値とを用いて判定をしてもよい。また、判定部２０は、複数の顔領域の割合Ｒ（ｉ）の標準偏差（若しくは分散）に代えて、複数の顔領域Ｓｆ（ｉ）の標準偏差（若しくは分散）を使用してもよい（当該場合、顔領域Ｓｆ（ｉ）用の閾値を用いる）。
【００３８】
また、判定部２０は、撮像画像を人物画像と判定した場合には、第１の閾値Ｆlow以上の割合Ｒ（ｉ）である顔領域の数に基づいて被写体の人数を判定（計数）する。つまり、判定部２０は、第１の閾値Ｆlow以上の割合Ｒ（ｉ）である顔領域の１つひとつを被写体一人ひとりと判定し、第１の閾値Ｆlow以上の顔領域の数を被写体の人数とする。
【００３９】
判定部２０は、判定結果を文章作成部３０に出力する。具体的には、判定部２０は、撮像画像を人物画像と判定した場合には、人物画像である旨の判定結果を示す画像判定結果情報、及び、被写体人数の判定結果を示す人数判定結果情報を文章作成部３０に出力する。一方、判定部２０は、撮像画像を風景画像と判定した場合には、風景画像である旨の判定結果を示す画像判定結果情報を文章作成部３０に出力する。
また、判定部２０は画像入力部１０から取得した当該撮像画像を文章作成部３０に出力する。
【００４０】
文章作成部３０は、判定部２０から判定結果及び撮像画像を取得する。文章作成部３０は、取得した判定結果に応じて、人物画像用テンプレート又は風景画像用テンプレートの何れかの文章テンプレートを記憶部９０から読み出す。具体的には、文章作成部３０は、人物画像である旨の判定結果を示す画像判定結果情報を取得した場合には、記憶部９０に記憶されている２種類の人物画像用テンプレートの中からランダムに選択された一方の人物画像用テンプレートを読み出す。また、文章作成部３０は、風景画像である旨の判定結果を示す画像判定結果情報を取得した場合には、記憶部９０に記憶されている２種類の風景画像用テンプレートの中からランダムに選択された一方の人物画像用テンプレートを読み出す。
【００４１】
文章作成部３０は、読み出した文章テンプレート（人物画像用テンプレート又は風景画像用テンプレート）の空欄部に撮像画像の特徴量又は撮像条件に応じた単語を挿入して当該撮像画像に対する文章を作成する。特徴量に応じた単語とは、撮像画像の配色パターンに応じた形容詞、又は、被写体の人数に応じた単語（人数に関連する単語）である。また、撮像画像の撮像条件に応じた単語とは、撮像日時に応じた単語（日時に関連する単語）、又は、撮像場所に応じた単語（場所に関連する単語）である。
【００４２】
一例として、文章作成部３０は、図２（ａ）に示す人物画像用テンプレートを読み出した場合には、人数判定結果情報から当該撮像画像の被写体の人数を取得し、当該人数に対応付けて記憶されている単語（人数に関連する単語）を記憶部９０から読み出して空欄部｛人数｝に挿入し、当該撮像画像の配色パターンを抽出し、抽出した配色パターンに対応付けて記憶されている単語（人物画像用の形容詞）を記憶部９０から読み出して空欄部｛形容詞｝に挿入し、当該撮像画像に対する文章を作成する。具体的には、被写体の人数が「１」、配色パターンが第１色「色１」、第２色「色２」、第３色「色３」であるならば、文章作成部３０は、文章『ひとりですごしたクールな思い出』を作成する。
【００４３】
他の例として、文章作成部３０は、図２（ｂ）に示す人物画像用テンプレートを読み出した場合には、図２（ａ）の場合と同様、記憶部９０から人数に関連する単語を読み出して空欄部｛人数｝に挿入し、記憶部９０から人物画像用の形容詞を読み出して空欄部｛形容詞｝に挿入し、当該撮像画像に対する文章を作成する。具体的には、被写体の人数が「１０」、配色パターンが第１色「色５」、第２色「色４」、第３色「色２」であるならば、文章作成部３０は、文章『熱い感じで？大勢でポーズ！！』を作成する。
【００４４】
他の例として、文章作成部３０は、図２（ｃ）に示す風景画像用テンプレートを読み出した場合には、当該撮像画像の付加情報（例えばＥｘｉｆ）から撮像日時を取得し、取得した撮像日時に対応付けて記憶されている単語（日時に関連する単語）を記憶部９０から読み出して空欄部｛日時｝に挿入し、当該撮像画像の配色パターンを抽出し、抽出した配色パターンに対応付けて記憶されている単語（風景画像用の形容詞）を記憶部９０から読み出して空欄部｛形容詞｝に挿入し、当該撮像画像に対する文章を作成する。
具体的には、記憶部９０に８月に対応付けて単語「真夏！！」が記憶されている場合に、撮像日時が２０１１年８月１０日、配色パターンが第１色「色５」、第２色「色４」、第３色「色２」であるならば、文章作成部３０は、文章『真夏！！。暑い感じの一枚』を作成する。
【００４５】
他の例として、文章作成部３０は、図２（ｄ）に示す風景画像用テンプレートを読み出した場合には、当該撮像画像の付加情報から撮像場所を取得し、取得した撮像場所に対応付けて記憶されている単語（場所に関連する単語）を記憶部９０から読み出して空欄部｛場所｝に挿入し、当該撮像画像の配色パターンを抽出し、抽出した配色パターンに対応付けて記憶されている単語（風景画像用の形容詞）を記憶部９０から読み出して空欄部｛形容詞｝に挿入し、当該撮像画像に対する文章を作成する。
具体的には、記憶部９０に京都駅に対応付けて単語「古都」が記憶されている場合に、撮像場所が京都駅前、配色パターンが第１色「色１」、第２色「色２」、第３色「色５」であるならば、文章作成部３０は、文章『古都。あのときの柔らかい景色！』を作成する。
【００４６】
文章を作成した文章作成部３０は、作成した文章、及び、撮像画像を文章付加部４０に出力する。文章付加部４０は、文章作成部３０から文章及び撮像画像を取得する。文章付加部４０は、当該撮像画像に当該文章を付加（合成）する。
【００４７】
続いて、画像処理装置１の動作を説明する。図５及び図６は、画像処理装置１の動作の一例を示すフローチャートである。
【００４８】
図５において、画像入力部１０は、撮像画像を入力する（ステップＳ１０）。画像入力部１０は、撮像画像を判定部２０に出力する。判定部２０は、撮像画像内に顔領域が１つ以上あるか否かを判定する（ステップＳ１２）。判定部２０は、撮像画像内に顔領域が１つ以上あると判定した場合（ステップＳ１２：Ｙｅｓ）、撮像画像の大きさに対する顔領域の大きさの割合を顔領域毎に算出し（ステップＳ１４）、当該割合の最大値を算出する（ステップＳ１６）。
【００４９】
ステップＳ１６に続いて、判定部２０は、ステップＳ１６にて算出した最大値が第１の閾値以上であるか否かを判定する（ステップＳ２０）。判定部２０は、ステップＳ１６にて算出した最大値が第１の閾値以上であると判定した場合（ステップＳ２０：Ｙｅｓ）、当該最大値が第２の閾値以上であるか否かを判定する（ステップＳ２２）。判定部２０は、当該最大値が第２の閾値以上であると判定した場合（ステップＳ２２：Ｙｅｓ）、撮像画像は人物画像であると判定する（ステップＳ３０）。ステップＳ３０に続いて、判定部２０は、第１の閾値以上の割合である顔領域の数を被写体の人数として計数する（ステップ３２）。ステップＳ３２に続いて、判定部２０は、判定結果（人物画像である旨の判定結果を示す画像判定結果情報、及び、被写体人数の判定結果を示す人数判定結果情報）、及び、撮像画像を文章作成部３０に出力する。
【００５０】
一方、ステップＳ２２において、最大値が第２の閾値未満であると判定した場合（ステップＳ２２：Ｎｏ）、判定部２０は、撮像画像内に顔領域が２つ以上あるか否かを判定する（ステップＳ４０）。判定部２０は、撮像画像内に顔領域が２つ以上あると判定した場合（ステップＳ４０：Ｙｅｓ）、ステップＳ１４にて算出した割合の標準偏差を算出し（ステップＳ４２）、当該標準偏差が第３の閾値未満であるか否かを判定する（ステップＳ４４）。判定部２０は、当該標準偏差が第３の閾値未満であると判定した場合（ステップＳ４４：Ｙｅｓ）、処理をステップＳ３０に進める。
【００５１】
一方、ステップＳ１２において、撮像画像内に顔領域が１つもないと判定した場合（ステップＳ１２：Ｎｏ）、又は、ステップＳ２０において、最大値が第１の閾値未満であると判定した場合（ステップＳ２０：Ｎｏ）、又は、ステップＳ４０において、撮像画像内に顔領域が１つしかないと判定した場合（ステップＳ４０：Ｎｏ）、判定部２０は、撮像画像は風景画像であると判定する（ステップＳ５０）。ステップＳ５０に続いて、判定部２０は、判定結果（風景画像である旨の判定結果を示す画像判定結果情報）を文章作成部３０に出力する。
【００５２】
なお、上述のステップＳ４０は、顔領域が１つである撮像画像が、人物画像であると常に判定されるのを防止するための処理である。また、上述のステップＳ４０では、撮像画像内に、撮像画像の大きさに対する顔領域の大きさの割合が最大の顔領域の他に、大きさが揃った非常に小さい顔領域が非常に多数存在していれば、標準偏差は小さくなるため、人物画像であると判定される可能性がある。従って、上述のような判定をなるべく減らすために、判定部２０は、所定の大きさの顔領域が２以上あるか否かを判定してもよい。例えば、判定部２０は、上述の割合が第１の閾値以上である顔領域が２つ以上あるか否かを判定してもよい。
【００５３】
ステップＳ３２又はステップＳ５０に続いて、文章作成部３０は、判定部２０から取得した判定結果に応じて、人物画像用テンプレート又は風景画像用テンプレートの何れかの文章テンプレートを記憶部９０から読み出して、読み出した文章テンプレートの空欄部に撮像画像の特徴量又は撮像条件に応じた単語を挿入して当該撮像画像に対する文章を作成する（ステップＳ１００）。
【００５４】
図６は、ステップＳ１００の詳細である。図６において、文章作成部３０は、撮像画像が人物画像であるか否かを判断する（ステップＳ１０２）。具体的には、文章作成部３０は、判定部２０から判定結果として、人物画像である旨の判定結果を示す画像判定結果情報を取得していた場合には、撮像画像が人物画像であると判断し、風景画像である旨の判定結果を示す画像判定結果情報を取得していた場合には、撮像画像が人物画像でないと判断する。
【００５５】
文章作成部３０は、撮像画像が人物画像であると判断した場合（ステップＳ１０２：Ｙｅｓ）、記憶部９０から人物画像用テンプレートを読み出す（ステップＳ１０４）。具体的には、文章作成部３０は、記憶部９０に記憶されている２種類の人物画像用テンプレートの中からランダムに選択された一方の人物画像用テンプレートを読み出す。
【００５６】
ステップＳ１０４に続いて、文章作成部３０は、被写体の人数に応じた単語を人物画像用テンプレートの空欄部｛人数｝に挿入する（ステップＳ１１０）。具体的には、文章作成部３０は、人数判定結果情報から被写体の人数を取得し、当該人数に対応付けて記憶されている単語（人数に関連する単語）を記憶部９０から読み出して人物画像用テンプレートの空欄部｛人数｝に挿入する。
【００５７】
ステップＳ１１０に続いて、文章作成部３０は、撮像画像（人物画像）の配色パターンに応じた単語を人物画像用テンプレートの空欄部｛形容詞｝に挿入する（ステップＳ１２０）。具体的には、文章作成部３０は、撮像画像（人物画像）の中央部の領域の配色パターンを抽出し、当該配色パターンに対応付けて記憶されている単語（人物画像用の形容詞）を記憶部９０から読み出して人物画像用テンプレートの空欄部｛形容詞｝に挿入する。
【００５８】
一方、ステップＳ１０２において、文章作成部３０は、撮像画像が風景画像であると判断した場合（ステップＳ１０２：Ｎｏ）、記憶部９０から風景画像用テンプレートを読み出す（ステップＳ１０６）。具体的には、文章作成部３０は、記憶部９０に記憶されている２種類の風景画像用テンプレートの中からランダムに選択された一方の風景画像用テンプレートを読み出す。
【００５９】
ステップＳ１０６に続いて、文章作成部３０は、撮像画像（風景画像）の配色パターンに応じた単語を風景画像用テンプレートの空欄部｛形容詞｝に挿入する（ステップＳ１３０）。具体的には、文章作成部３０は、撮像画像（風景画像）の上部の領域の配色パターンを抽出し、当該配色パターンに対応付けて記憶されている単語（風景画像用の形容詞）を記憶部９０から読み出して風景画像用テンプレートの空欄部｛形容詞｝に挿入する。
【００６０】
ステップＳ１２０又はステップＳ１３０に続いて、文章作成部３０は、読み出した文章テンプレートに空欄部｛日時｝が存在するか否かを判断する（ステップＳ１３２）。本実施例の場合、図２に示したように、図２（ｃ）の風景画像用テンプレートには空欄部｛日時｝が存在するが、図２（ａ）（ｂ）の人物画像用テンプレート及び図２（ｄ）の風景画像用テンプレートには空欄部｛日時｝が存在しない。従って、文章作成部３０は、ステップＳ１０６にて図２（ｃ）の風景画像用テンプレートを読み出していた場合には、空欄部｛日時｝が存在すると判断し、ステップＳ１０４にて図２（ａ）若しくは図２（ｂ）の人物画像用テンプレートを読み出していた場合、又は、ステップＳ１０６にて図２（ｄ）の風景画像用テンプレートを読み出していた場合には、空欄部｛日時｝が存在しないと判断する。
【００６１】
文章作成部３０は、読み出した文章テンプレートに空欄部｛日時｝が存在すると判断した場合（ステップＳ１３２：Ｙｅｓ）、撮像画像の撮像条件（日時）に応じた単語を文章テンプレートの空欄部｛日時｝に挿入する（ステップＳ１４０）。具体的には、文章作成部３０は、撮像画像（風景画像）の付加情報から撮像日時を取得し、当該撮像日時に対応付けて記憶されている単語（日時に関連する単語）を記憶部９０から読み出して風景画像用テンプレートの空欄部｛日時｝に挿入する。一方、文章作成部３０は、読み出した文章テンプレートに空欄部｛日時｝が存在しないと判断した場合（ステップＳ１３２：Ｎｏ）、ステップＳ１４０を飛ばして処理をステップＳ１４２に進める。
【００６２】
ステップＳ１３２（Ｎｏ）又はステップＳ１４０に続いて、文章作成部３０は、読み出した文章テンプレートに空欄部｛場所｝が存在するか否かを判断する（ステップＳ１４２）。本実施例の場合、図２に示したように、図２（ｄ）の風景画像用テンプレートには空欄部｛場所｝が存在するが、図２（ａ）（ｂ）の人物画像用テンプレート及び図２（ｃ）の風景画像用テンプレートには空欄部｛場所｝が存在しない。従って、文章作成部３０は、ステップＳ１０６にて図２（ｄ）の風景画像用テンプレートを読み出していた場合には、空欄部｛場所｝が存在すると判断し、ステップＳ１０４にて図２（ａ）若しくは図２（ｂ）の人物画像用テンプレートを読み出していた場合、又は、ステップＳ１０６にて図２（ｃ）の風景画像用テンプレートを読み出していた場合には、空欄部｛場所｝が存在しないと判断する。
【００６３】
文章作成部３０は、読み出した文章テンプレートに空欄部｛場所｝が存在すると判断した場合（ステップＳ１４２：Ｙｅｓ）、撮像画像の撮像条件（場所）に応じた単語を文章テンプレートの空欄部｛場所｝に挿入する（ステップＳ１５０）。具体的には、文章作成部３０は、撮像画像（風景画像）の付加情報から撮像場所を取得し、当該撮像場所に対応付けて記憶されている単語（場所に関連する単語）を記憶部９０から読み出して風景画像用テンプレートの空欄部｛場所｝に挿入する。そして、図６に示すフローチャートは終了し、図５に示すフローチャートに戻る。一方、文章作成部３０は、読み出した文章テンプレートに空欄部｛場所｝が存在しないと判断した場合（ステップＳ１４２：Ｎｏ）、ステップＳ１５０は飛ばして、図５に示すフローチャートに戻る。
【００６４】
図５に戻って、文章を作成した文章作成部３０は、作成した文章、及び、撮像画像を文章付加部４０に出力する。文章付加部４０は、文章作成部３０から文章及び撮像画像を取得する。文章付加部４０は、文章作成部３０から取得した撮像画像に、文章作成部３０から取得した文章を付加（合成）する。そして、図５に示すフローチャートは終了する。
【００６５】
図７は、文章付加部４０によって文章を付加された撮像画像の一例である。図７（ａ）の撮像画像は、１人の顔が大きく写っているので人物画像であると判定されている。即ち、当該撮像画像は、撮像画像の大きさに対する顔領域の大きさの割合の最大値（当該１つの顔領域の割合）が第２の閾値以上であると判定されている（ステップＳ２２（Ｙｅｓ））。図７（ｂ）の撮像画像は、２人の顔が大きく写っているので人物画像であると判定されている。即ち、当該撮像画像は、撮像画像の大きさに対する顔領域の大きさの割合の最大値が第２の閾値以上であると判定されている（ステップＳ２２（Ｙｅｓ））。
【００６６】
図７（ｃ）の撮像画像は、ある程度の大きさの顔が写っていて、かつ、大きさも揃っているので、人物画像であると判定されている。即ち、当該撮像画像は、撮像画像の大きさに対する顔領域の大きさの割合の最大値が、第１の閾値以上かつ第２の閾値未満であるが（ステップＳ２２（Ｎｏ））、標準偏差が第３の閾値未満であると判定されている（ステップＳ４４（Ｙｅｓ））。
【００６７】
図７（ｄ）の撮像画像は、ある程度の大きさの顔が写っているが、大きさが揃っていないので、風景画像であると判定されている。即ち、当該撮像画像は、撮像画像の大きさに対する顔領域の大きさの割合の最大値が、第１の閾値以上かつ第２の閾値未満であるが（ステップＳ２２（Ｎｏ））、標準偏差が第３の閾値以上であると判定されている（ステップＳ４４（Ｎｏ））。図７（ｅ）の撮像画像は、顔が何も写っていないので、風景画像であると判定されている（ステップＳ１２（Ｎｏ））。
【００６８】
以上、画像処理装置１によれば、撮像画像に対し、より柔軟な文字情報を付与することができる。即ち、画像処理装置１は、撮像画像を人物画像と風景画像とに分類し、人物画像に対しては、予め記憶している人物画像用テンプレートを使用して人物画像用の文章を作成し、風景画像に対しては、予め記憶している風景画像用テンプレートを使用して風景画像用の文章を作成するため、撮像内容に応じて、より柔軟な文字情報を付与することができる。
【００６９】
なお、上記実施例では、画像入力部１０は、撮像画像の入力時に当該撮像画像を判定部２０に出力する例を説明したが、判定部２０が撮像画像を取得する態様はこれに限定されない。例えば、画像入力部１０は撮像画像の入力時に当該撮像画像を記憶部９０に記憶し、判定部２０は必要時に記憶部９０から所望の撮像画像を読み出して取得してもよい。
【００７０】
なお、上記実施例では、配色パターンを構成する第１色の色数は、色１〜色５の５色を用いる例を説明したが、説明の便宜上であって、６色以上であってもよい。第２色、第３色についても同様である。また、上記実施例では、第１色〜第３色の３色から構成される配色パターンを用いる例を説明したが、配色パターンを構成する色数はこれに限定されない。例えば、２色又は４色以上から構成される配色パターンを用いてもよい。
【００７１】
なお、上記実施例では、文章作成部３０は、撮像画像が人物画像である場合に、記憶部９０に記憶されている２種類の中からランダムに選択された一方の人物画像用テンプレートを読み出す例を説明したが、２種類の人物画像用テンプレートの中から読み出す一方を選択する態様はこれに限定されない。例えば、文章作成部３０は、操作部（非図示）を介してユーザが指定した一方の人物画像テンプレートを選択してもよい。同様に、文章作成部３０は、指定受付部を介してユーザが指定した一方の風景画像テンプレートを選択してもよい。
【００７２】
また、上記実施例では、選択したテンプレートの空欄部に挿入するべき単語を記憶部９０から常に得られる例を説明したが、選択したテンプレートの空欄部に挿入するべき単語が記憶部９０から得られないときは、他のテンプレートを選択し直してもよい。例えば、ある撮像画像の文章を作成用に、空欄部｛場所｝を有する図２（ｄ）の風景画像用テンプレートを選択したが、当該撮像画像の付加情報から撮像場所を取得できなかったときは、空欄部｛場所｝を有しない図２（ｃ）に風景画像用テンプレートを選択しなおしてもよい。
【００７３】
また、上記実施例では、画像処理装置１は、空欄部｛人数｝及び空欄部｛形容詞｝を有する人物画像用テンプレートを記憶部９０に記憶する例を説明したが、人物画像用テンプレートが有する空欄部の数、種類はこれに限定されない。例えば、人物画像用テンプレートは、空欄部｛人数｝及び空欄部｛形容詞｝に加え、空欄部｛日時｝又は空欄部｛場所｝の何れか一方又は両方を有していてもよい。また、画像処理装置１が各種センサを備える場合、人物画像用テンプレートは、撮像画像の撮像条件（照度）に応じた単語を挿入する空欄部｛空欄部｛照度｝）、撮像画像の撮像条件（温度）に応じた単語を挿入する空欄部｛空欄部｛温度｝）などを有していてもよい。
【００７４】
また、人物画像用テンプレートは、必ずしも空欄部｛人数｝を有していなくてもよい。人物画像用テンプレートが空欄部｛人数｝を有しない場合の一例は、人物画像に対し、被写体の人数に応じた単語を含む文章を作成しない場合である。人物画像に対し、被写体の人数に応じた単語を含む文章を作成しない場合には、当然に、画像処理装置１は、空欄部｛人数｝を有する人物画像用テンプレートを記憶部９０に記憶する必要はない。
人物画像用テンプレートが空欄部｛人数｝を有しない場合の他の例は、被写体の人数に応じた複数の人物画像用テンプレートを記憶部９０に記憶する場合である。被写体の人数に応じた複数の人物画像用テンプレートを記憶部９０に記憶する場合には、画像処理装置１は、人物画像に対し、被写体の人数に応じた単語を空欄部｛人数｝に挿入して、被写体の人数に応じた単語を含む文章を作成するのではなく、被写体の人数に応じた人物画像用テンプレートを記憶部９０から読み出して、被写体の人数に応じた単語を含む文章を作成する。
【００７５】
また、上記実施例では、画像処理装置１は、空欄部｛日時｝及び空欄部｛形容詞｝を有する風景画像用テンプレート、及び、空欄部｛場所｝及び空欄部｛形容詞｝を有する風景画像用テンプレートを記憶部９０に記憶する例を説明したが、風景画像用テンプレートが有する空欄部の数、種類はこれに限定されない。例えば、画像処理装置１が各種センサを備える場合、上述の空欄部｛照度｝、空欄部｛温度｝などを有していてもよい。
【００７６】
また、上記実施例では、画像処理装置１は、２種類の人物画像用テンプレートを記憶部９０に記憶する例を説明したが、１種類又は３種類以上の人物画像テンプレートを記憶部９０に記憶してもよい。同様に、画像処理装置１は、１種類又は３種類以上の風景画像テンプレートを記憶部９０に記憶してもよい。
【００７７】
また、上記実施例では、画像処理装置１は、撮像画像に対する文章を作成した場合に当該文章を当該撮像画像に付加する例を説明したが、撮像画像に対する文章を作成した場合に当該文章を当該撮像画像と対応付けて記憶部９０に記憶してもよい。
【００７８】
また、記憶部９０は、第１種別（例えば、ポートレート）の画像に用いられる文章の構文である第１構文と、第２種別（例えば、風景）の画像に用いられる文章の構文である第２構文とを記憶してもよい。
【００７９】
文章作成部３０は、記憶部９０内に第１構文及び第２構文が記憶されている場合、撮像画像が第１種別の画像であると判定部２０により判定されたときは（即ち、判定部２０が人物画像であると判定したときは）、所定のテキストを用いて第１構文の文章を作成し、撮像画像が第２種別の画像であると判定部２０により判定されたときは（即ち、判定部２０が風景画像であると判定したときは）、所定のテキストを用いて第２構文の文章を作成してもよい。
【００８０】
また、画像処理装置１は、撮像画像の特徴量及び撮像条件の少なくとも一方に対応するテキスト（撮像画像の特徴量又は／及び撮像条件に応じたテキスト）を決定する決定部（非図示）を備えるようにしてもよい。例えば、決定部は、画像入力部１０が撮像画像を入力（取得）した場合に、文書作成に用いる所定のテキストとして、当該撮像画像の特徴量又は／及び撮像条件に応じたテキストを決定する。より詳細には、例えば、特徴量及び撮像条件に対応付けて複数のテキストを記憶部９０に予め記憶しておき、決定部は、記憶部９０内の複数のテキストのなかから、特徴量又は／及び撮像条件に応じたテキストを選択する。
【００８１】
つまり、文章作成部３０は、撮像画像が第１種別の画像であると判定部２０により判定されたときは、決定部が上述の如く決定したテキストを用いて第１構文の文章を作成し、撮像画像が第２種別の画像であると判定部２０により判定されたとき、決定部が上述の如く決定したテキストを用いて第２構文の文章を作成する。
【００８２】
（第２の実施形態）
続いて、図面を参照しながら本発明の第２の実施形態について説明する。図８は、本発明の第２の実施形態による撮像装置１００の機能ブロック図の一例である。
【００８３】
撮像装置１００は、図８に示すように、撮像部１１０、バッファメモリ部１３０、画像処理部１４０、表示部１５０、記憶部１６０、通信部１７０、操作部１８０及びＣＰＵ（Central processing unit）１９０を備える。
なお、撮像装置１００の画像処理部１４０は、第１の実施形態による画像処理装置１の判定部２０、文章作成部３０及び文章付加部４０に相当する。また、撮像装置１００の記憶部１６０は、第１の実施形態による画像処理装置１の記憶部９０に相当する。
【００８４】
撮像部１１０は、光学系１１１、撮像素子１１９及びＡ/Ｄ変換部１２０を備える。光学系１１１は、１又は２以上のレンズを備える。
【００８５】
撮像素子１１９は、例えば、受光面に結像した光学像を電気信号に変換して、Ａ/Ｄ変換部１２０に出力する。
【００８６】
また、撮像素子１１９は、操作部１８０を介して撮像指示を受け付けた際に得られる画像データを、撮像された静止画の撮像画像データとして、Ａ/Ｄ変換部１２０や画像処理部１４０を介して、記憶媒体２００に記憶させる。
【００８７】
また、撮像素子１１９は、例えば、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データ（撮像画像）として、Ａ/Ｄ変換部１２０や画像処理部１４０を介して、表示部１５０に連続的に出力する。
【００８８】
なお、光学系１１１は、撮像装置１００に取り付けられて一体とされていてもよいし、撮像装置１００に着脱可能に取り付けられてもよい。
【００８９】
Ａ/Ｄ変換部１２０は、撮像素子１１９によって変換された電子信号をアナログ／デジタル変換し、この変換したデジタル信号である撮像画像データ（撮像画像）を出力する。
【００９０】
即ち、撮像部１１０は、設定された撮像条件（例えば絞り値、露出値等）に基づいてＣＰＵ１９０により制御され、光学系１１１を介した光学像を撮像素子１１９に結像させ、Ａ/Ｄ変換部１２０によりデジタル信号に変換された当該光学像に基づく撮像画像を生成する。
【００９１】
操作部１８０は、例えば、電源スイッチ、シャッターボタン、十字キー、確定ボタン、および、その他の操作キーを含み、ユーザによって操作されることでユーザの操作入力を受け付け、ＣＰＵ１９０に出力する。
【００９２】
画像処理部１４０は、記憶部１６０に記憶されている画像処理条件に基づいて、バッファメモリ部１３０に記憶されている画像データに対して画像処理を実行する。例えば、画像処理部１４０は、第１の実施形態による画像処理装置１の判定部２０、文章作成部３０及び文章付加部４０の処理を実行する。なお、バッファメモリ部１３０に記憶されている画像データとは、画像処理部１４０に入力される画像データのことであり、例えば、上述した撮像画像データ、スルー画データ、または、記憶媒体２００から読み出された撮像画像データのことである。
【００９３】
表示部１５０は、例えば液晶ディスプレイであって、画像データ、操作画面などを表示する。例えば、表示部１５０は、画像処理部１４０によって文章が付加された撮像画像を表示する。
【００９４】
記憶部１６０は、種々の情報を記憶する。具体的には、記憶部１６０は、少なくとも、第１の実施形態による画像処理装置１の記憶部９０が記憶する情報を記憶する。
【００９５】
バッファメモリ部１３０は、撮像部１１０によって撮像された画像データを、一時的に記憶する。通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への撮影画像データの書込み、読み出し、または消去を行う。
【００９６】
記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であり、例えば、撮像部１１０によって生成された撮影画像データを記憶する。ＣＰＵ１９０は、撮像装置１００が備える各構成を制御する。バス３００は、撮像部１１０と、ＣＰＵ１９０と、操作部１８０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、バッファメモリ部１３０と、通信部１７０とに接続され、各部から出力された画像データや制御信号等を転送する。
【００９７】
なお、上記第１の実施形態による画像処理装置１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上記画像処理装置１の各処理に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００９８】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００９９】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【０１００】
図９は、画像上に配置される文章を決定するために用いられる撮像画像の特徴量を抽出するプロセスの一例を模式的に示す図である。図９の例において、画像処理装置の判定部は、撮像画像のシーンを人物画像又は風景画像に分類する。次に、画像処理装置は、そのシーンに応じて、撮像画像の特徴量を抽出する。特徴量は、人物画像の場合には、顔の数（被写体の人数）及び平均色（配色パターン）とすることができ、風景画像の場合には、平均色（配色パターン）とすることができる。これらの特徴量を基に、人物画像用テンプレート又は風景画像用テンプレートに挿入される単語（形容詞等）が決定される。
【０１０１】
ここで、図９の例では、配色パターンは、撮像画像を構成する代表的な複数の色の組み合わせで構成されている。したがって、配色パターンは、撮像画像の平均的な色（平均色）を表すことができる。一例において、配色パターンとして、「第１色」、「第２色」、「第３色」を規定し、これら３種類の色の組み合わせ、すなわち３種類の平均的な色に基づいて、人物画像用、又は風景画像用の文章テンプレートに挿入される単語（形容詞）を決定することができる。
【０１０２】
図９の例において、撮像画像のシーンは２種類（人物画像及び風景画像）に分類される。他の例において、撮像画像のシーンは、３種類以上（３、４、５、６、７、８、９、又は１０種類以上）に分類することができる。
【０１０３】
図１０は、画像上に配置される文章を決定するために用いられる撮像画像の特徴量を抽出するプロセスの別の一例を模式的に示す図である。図１０の例において、撮像画像のシーンを３種類以上に分類することができる。
【０１０４】
図１０の例において、画像処理装置の判定部は、撮像画像が人物画像（第１モード画像）、遠景画像（第２モード画像）、又はその他の画像（第３モード画像）いずれであるかを判定する。まず、判定部は、図９の例と同様に、撮像画像が人物画像であるか、人物画像とは異なる画像であるかを判定する。
【０１０５】
次に、撮像画像が人物画像とは異なる画像である場合、判定部は、撮像画像が遠景画像（第２モード画像）又はその他の画像（第３モード画像）のうちいずれであるか、を判定する。この判定は、例えば、撮像画像に付与された画像識別情報の一部を用いて行うことができる。
【０１０６】
具体的には、撮像画像が遠景画像かどうかを判定するために、画像識別情報の一部である焦点距離を用いることができる。判定部は、焦点距離が、あらかじめ設定された基準距離以上である場合、撮像画像を遠景画像と判定し、焦点距離が基準距離未満である場合、撮像画像をその他の画像と判定する。以上により、撮像画像が、人物画像（第１モード画像）、遠景画像（第２モード画像）、又はその他の画像（第３モード画像）の３種類にシーン分類される。なお、遠景画像（第２モード画像）の例は、海や山などの風景画像等を含み、その他の画像（第３モード画像）の例は、花及びペット等を含む。
【０１０７】
図１０の例においても、撮像画像のシーンが分類された後、画像処理装置は、そのシーンに応じて、撮像画像の特徴量を抽出する。
【０１０８】
図１０の例において、撮像画像が人物画像（第１シーン画像）の場合、画像上に配置される文章を決定するために用いられる撮像画像の特徴量として、顔の数（被写体の人数）及び／又は笑顔レベルを用いることができる。すなわち、撮像画像が人物画像の場合、顔の数（被写体の人数）の判定結果に加え、又は代えて笑顔レベルの判定結果に基づいて、人物画像用テンプレートに挿入される単語を決定することができる。以下、笑顔レベルの判定方法の一例について、図１１を用いて説明する。
【０１０９】
図１１の例において、画像処理装置の判定部は、人物画像に対して、顔認識などの方法により顔領域を検出する（ステップＳ５００１）。一例において、口角部分の上り具合を数値化することにより、人物画像の笑顔度が算出される。なお、笑顔度の算出には例えば、顔認識にかかる公知の様々な技術を用いることができる。
【０１１０】
次に、判定部は、あらかじめ設定された第１の笑顔閾値αと、笑顔度を比較する（ステップＳ５００２）。笑顔度がα以上と判定された場合、判定部は、この人物画像の笑顔レベルは、「笑顔：大」であると判定する。
【０１１１】
一方、笑顔度がα未満と判定された場合、判定部は、あらかじめ設定された第２の笑顔閾値βと笑顔度を比較する（ステップＳ５００３）。笑顔度がβ以上と判定された場合、判定部は、この人物画像の笑顔レベルは、「笑顔：中」であると判定する。さらに、笑顔度がβ未満と判定された場合、判定部は、この人物画像の笑顔レベルは、「笑顔：小」であると判定する。
【０１１２】
人物画像の笑顔レベルの判定結果に基づき、人物画像用テンプレートに挿入される単語が決定される。ここで、「笑顔：大」の笑顔レベルに対応する単語の例としては、「喜びいっぱいの」、「とてもいい」等が挙げられる。「笑顔：中」の笑顔レベルに対応する単語の例としては、「嬉しそうな」、「いい穏やかな」等が挙げられる。「笑顔：小」の笑顔レベルに対応する単語の例としては、「真剣そうな」、「クールな」等が挙げられる。
【０１１３】
なお、上記では、人物画像用テンプレートに挿入される単語が、連体形である場合について説明したが、これに限ることはなく、例えば終止形であってもよい。この場合、「笑顔：大」の笑顔レベルに対応する単語の例としては、「笑顔が素敵」、「すごくいい笑顔だね」等が挙げられる。「笑顔：中」の笑顔レベルに対応する単語の例としては、「にこやかだね」、「いい表情」等が挙げられる。「笑顔：小」の笑顔レベルに対応する単語の例としては、「真剣そうです」、「真面目そうです」等が挙げられる。
【０１１４】
図１２Ａは、画像処理装置の動作結果を示す出力画像の一例であり、この出力画像は、図９の例に基づいて決定された文章を有する。図１２Ａの例において、撮像画像は人物画像であると判定され、特徴量としては被写体の人数、及び配色パターン（平均色）が抽出されている。また、配色パターンに応じて、人物画像用テンプレートに挿入される単語が、「重厚な」と決定されている。その結果、図１２Ａに示す出力結果が得られている。すなわち、図１２Ａの例では、撮像画像の平均色に基づいて、「重厚な」の単語（形容詞、連体形）が決定されている。
【０１１５】
図１２Ｂは、画像処理装置の動作結果を示す出力画像の別一例であり、この出力画像は、図１０の例に基づいて決定された文章を有する。図１２Ｂの例において、撮像画像は人物画像であると判定され、特徴量としては被写体の人数、及び笑顔レベルが抽出されている。また、笑顔レベルに応じて、人物画像用テンプレートに挿入される単語が、「いい表情」と決定されている。その結果、図１２Ｂに示す出力結果が得られている。すなわち、図１２Ｂの例では、撮像画像における人物の笑顔レベルに基づいて、「いい表情」の単語（終止形）が決定されている。図１２Ｂの出力結果のように、人物画像に対して笑顔レベルを用いた単語出力を用いることで、画像から受ける印象に比較的近い文字情報を添付することができる。
【０１１６】
図１０に戻り、撮像画像が風景画像（第２シーン画像）又はその他の画像（第３シーン画像）の場合、画像上に配置される文章を決定するために用いられる撮像画像の特徴量として、平均色に代えて、代表色を用いることができる。代表色としては、配色パターンにおける「第１色」、すなわち撮像画像において最も頻度の多い色を用いることができる。あるいは、代表色は、以下に説明するように、クラスタリングを用いて決定することができる。
【０１１７】
図１３は、撮像装置に含まれる画像処理部の内部構成を表す概略ブロック図である。図１３の例において、画像処理装置の画像処理部５０４０は、画像データ入力部５０４２と、解析部５０４４と、文章作成部５０５２と、文章付加部５０５４とを有する。画像処理部５０４０は、撮像部等で生成された画像データについて、各種の解析処理を行うことにより、画像データの内容に関する各種の情報を取得し、画像データの内容と整合性の高いテキストを作成し、画像データにテキストを付加することができる。
【０１１８】
解析部５０４４は、色情報抽出部５０４６、領域抽出部５０４８、クラスタリング部５０５０を有しており、画像データに対して解析処理を行う。色情報抽出部５０４６は、画像データから、画像データに含まれる各画素の色情報に関する第１情報を抽出する。典型的には、第１情報は、画像データに含まれる全ての画素のＨＳＶ値を、集計したものである。ただし、第１情報は、類似性が関連づけられた（例えば所定の色空間に関連付けされた）所定の色について、この所定の色が画像中に表れる頻度（画素単位での頻度、面積割合等）を示す情報であればよく、色の解像度や、色空間の種類は限定されない。
【０１１９】
例えば、第１情報は、ＨＳＶ空間ベクトル（ＨＳＶ値）やＲＧＢ値で表されるそれぞれの色について、それぞれの色の画素が、画像データに幾つずつ含まれるか、を表す情報であっても良い。ただし、第１情報における色解像度は、演算処理の負担等を考慮して適宜変更すれば良く、また、色空間の種類もＨＳＶやＲＧＢに限られず、ＣＭＹ、ＣＭＹＫ等であっても良い。
【０１２０】
図１４は、解析部５０４４において行われる代表色の決定の流れを表すフローチャートである。図１４のステップＳ５１０１では、画像処理装置が、具体的な画像データ５０６０（撮像画像、図１５参照）の代表色の算出を開始する。
【０１２１】
ステップＳ５１０２では、画像処理装置の画像データ入力部５０４２が、画像データを解析部５０４４に出力する。次に、解析部５０４４の色情報抽出部５０４６は、画像データに含まれる各画素の色情報に関する第１情報５０６２を算出する（図１５参照）。
【０１２２】
図１５は、ステップＳ５１０２において色情報抽出部５０４６が実施する第１情報５０６２の算出処理を表す概念図である。色情報抽出部５０４６は、画像データ５０６０に含まれる色情報を、各色毎（例えば２５６階調の各階調毎）に集計し、第１情報５０６２を得る。図１５の下図に示すヒストグラムは、色情報抽出部５０４６によって算出された第１情報５０６２のイメージを表している。図１５のヒストグラムの横軸は色であり、縦軸は、画像データ５０６０中に、所定の色の画素がいくつ含まれるかを表している。
【０１２３】
図１４のステップＳ５１０３では、解析部５０４４の領域抽出部５０４８が、画像データ５０６０における主要領域を抽出する。例えば、領域抽出部５０４８は、図１５に示す画像データ５０６０の中からピントが合っている領域を抽出し、画像データ５０６０の中央部分を主要領域であると認定する（図１６における主要領域５０６４参照）。
【０１２４】
図１４のステップＳ５１０４では、解析部５０４４の領域抽出部５０４８が、ステップＳ５１０５で実施されるクラスタリングの対象領域を決定する。例えば、領域抽出部５０４８は、図１６の上部に示すように、ステップＳ５１０３において画像データ５０６０の一部を主要領域５０６４であると認識し、主要領域５０６４を抽出した場合、クラスタリングの対象を、主要領域５０６４に対応する第１情報５０６２（主要第１情報５０６６）とする。図１６の下図に示すヒストグラムは、主要第１情報５０６６のイメージを表している。
【０１２５】
一方、領域抽出部５０４８が、ステップS５１０３において画像データ５０６０における主要領域５０６４を抽出しなかった場合、領域抽出部５０４８は、図１５に示すように、画像データ５０６０の全領域に対応する第１情報５０６２を、クラスタリングの対象に決定する。なお、クラスタリングの対象領域が異なることを除き、主要領域５０６４が抽出された場合と抽出されなかった場合とで、その後の処理に違いはないため、以下では、主要領域が抽出された場合を例に説明を行う。
【０１２６】
図１４のステップＳ５１０５では、解析部５０４４のクラスタリング部５０５０が、ステップＳ５１０４で決定された領域の第１情報５０６２である主要第１情報５０６６に対して、クラスタリングを実施する。図１７は、図１６に示す主要領域５０６４の主要第１情報５０６６について、クラスタリング部５０５０が実施したクラスタリングの結果を表す概念図である。
【０１２７】
クラスタリング部５０５０は、例えば、２５６階調の主要第１情報５０６６（図１６参照）を、ｋ−ｍｅａｎｓ法によって複数のクラスタに分類する。なお、クラスタリングは、ｋ−ｍｅａｎｓ法（ｋ平均法）に限定されない。他の例において、最短距離法等の他の方法を用いることができる。
【０１２８】
図１７の上部は、各画素がどのクラスタに分類されたかを表しており、図１７の下部に示すヒストグラムは、各クラスタに属する画素の数を示したものである。クラスタリング部５０５０によるクラスタリングによって、２５６階調の主要第１情報５０６６（図１６）は、２５６より少ない（図１７に示す例では３つの）クラスタに分類されている。クラスタリングの結果は、各クラスタの大きさに関する情報と、各クラスタの色（クラスタの色空間上の位置）に関する情報とを含むことができる。
【０１２９】
ステップＳ５１０６は、解析部５０４４のクラスタリング部５０５０が、クラスタリングの結果に基づき、画像データ５０６０の代表色を決定する。一例において、クラスタリング部５０５０は、図１７に示すようなクラスタリング結果を得た場合、算出された複数のクラスタのうち最も多くの画素を含む最大クラスタ５０７４に属する色を、画像データ５０６０の代表色とする。
【０１３０】
代表色の算出が終了すると、文章作成部５０５２は、代表色に関する情報を用いてテキストを作成し、画像データ５０６０に付与する。
【０１３１】
文章作成部５０５２は、例えば風景画像用の文章テンプレートを読み出し、文章テンプレートの｛日時｝に、画像データ５０６０の生成日時に対応する単語（例えば「２０１２／０３／１０」）を適用する。この場合、解析部５０４４は、画像データ５０６０の生成日時に関する情報を記憶媒体等から検索し、文章作成部５０５２に出力することができる。
【０１３２】
また、文章作成部５０５２は、文章テンプレートの｛形容詞｝に、画像データ５０６０の代表色に対応する単語を適用する。文章作成部５０５２は、記憶部５０２８から対応情報を読み出して、文章テンプレートに適用する。一例において、記憶部５０２８には、シーン毎に色と単語とが関連付けられたテーブルが保存されている。文章作成部５０５２は、そのテーブルから読み出した単語を用いて文章（例えば「とてもきれいなものを見つけた」）を作成することができる。
【０１３３】
図１８は、上述した一連の処理によってテキストを付与された画像データ５０８０を表示したものである。
【０１３４】
図１９は、シーンが遠景画像の場合に、上述と同様の一連の処理によってテキストを付与された画像データの例を示したものである。この場合、シーンが遠景画像に分類され、かつ代表色は青と判定されている。例えば、シーン毎に色と単語とが関連付けられたテーブルにおいて、代表色の「青」に対して単語「爽やかな」等が対応付けられている。
【０１３５】
図２０は、色と単語との対応情報を有するテーブルの一例を示す図である。図２０のテーブルにおいて、人物画像（第１シーン画像）、遠景画像（第２シーン画像）、及びその他の画像（第３シーン画像）、のシーンごとに、色と単語とが関連付けられている。一例において、画像データの代表色が「青」であり、シーンがその他の画像（第３シーン画像）であるとき、文章作成部５０５２は、テーブルの対応情報から、代表色に対応する単語（例えば「上品な」）を選択し、文章テンプレートの｛形容詞｝に適用する。
【０１３６】
色と単語との対応テーブルは、例えば、ＰＣＣＳ表色系、ＣＩＣＣ表色系、又はＮＣＳ表色系などのカラーチャートに基づき設定することができる。
【０１３７】
図２１は、ＣＣＩＣ表示系のカラーチャートを用いた、遠景画像（第２シーン画像）用の対応テーブルの一例を示す。図２２は、ＣＣＩＣ表示系のカラーチャートを用いた、その他の画像（第３シーン画像）用の対応テーブルの一例を示す。
【０１３８】
図２１において、横軸は、代表色の色相に、縦軸は代表色のトーンに対応している。単語の決定に図２１のテーブルを用いることにより、代表色の色相の情報だけでなく、代表色のトーンの情報も併せて単語を決定し、人間が生じる感性に比較的近いテキストを付与することが可能となる。以下、図２１のテーブルを用いた、遠景画像（第２シーン画像）の場合の具体的なテキストの設定例を説明する。なお、その他の画像（第３シーン画像）の場合、図２２のテーブルを用いて同様に設定することができる。
【０１３９】
図２１において、代表色が領域Ａ５００１と判定された場合、その代表色の呼称（赤、橙、黄、青など）がそのままテキスト中の単語に適用される。例えば、代表色の色相が「赤（Ｒ）」、トーンが「ビビッド・トーン（Ｖ）」の場合、その色を表す形容詞「真っ赤な」等が選択される。
【０１４０】
また、代表色が領域Ａ５００２、Ａ５００３、Ａ５００４又はＡ５００５の色と判定された場合、その色から連想する形容詞が、テキスト中の単語に適用される。例えば、代表色が領域Ａ５００３の色（緑）と判定された場合、緑から連想する形容詞である「心地良い」、「さわやかな」等が適用される。
【０１４１】
なお、代表色が領域Ａ５００１〜Ａ５００５の色と判定され、且つそのトーンがビビッド・トーン（Ｖ）、ストロング・トーン（Ｓ）、ブライト・トーン（Ｂ）、又はペール・トーン（ＬＴ）の場合には、形容詞の前に程度を表す副詞（例：とても、かなり等）が適用される。
【０１４２】
代表色が領域Ａ５００６、すなわち「ホワイト・トーン（白）」と判定された場合、白から連想される単語である「清らかな」、「澄んだ」等が選択される。また、代表色が領域Ａ５００７、すなわちグレー系の色（ライト・グレイ・トーン：ｌｔＧＹ、ミディアム・グレイ・トーン：ｍＧＹ、又はダーク・グレイ・トーン：ｄｋＧＹ）と判定された場合、無難な形容詞である「きれいな」、「すてきな」等が選択される。白、又はグレー系の色、すなわち無彩色が代表色となる画像においては、さまざまな色が画像全体に含まれる場合が多い。したがって、色とは関連性の少ない単語を用いることで、的外れな意味のテキストが付与されるのを防止し、画像から受けるイメージに比較的近いテキストを付与することができる。
【０１４３】
また、代表色が領域Ａ５００１〜Ａ５００７のいずれの領域にも属さない場合、すなわち代表色が低トーン（ダーク・グレイッシュ・トーン）、又は黒（ブラック・トーン）である場合、所定の意味を有する文字（単語、又は文章）をテキストとして選択することができる。所定の意味を有する文字は、例えば、「ここはどこ」、「あっ」等を含む。これらの単語や文章は、「つぶやき辞書」として画像処理装置の記憶部に保存しておくことができる。
【０１４４】
すなわち、代表色が低トーン、又は黒と判定されたとき、画像全体の色相の判定が困難なことがあるが、このような場合においても上記のように色とは関連性の少ない文字を用いることで、的外れな意味のテキストが付与されるのを防止し、画像から受けるイメージに近いテキストを付与することができる。
【０１４５】
また、上記の例では、シーンと代表色に応じて文章と単語が一義的に決定される場合について説明したが、これに限らず、文章と単語の選択において、時々、例外処理を行うこともできる。例えば、複数回に１回（例えば１０回に１回）は、上記の「つぶやき辞書」からテキストを抽出してもよい。これにより、テキストの表示内容が必ずしもパターン化されることがないので、ユーザが表示内容に飽きるのを防止することができる。
【０１４６】
なお、上記の例において、文章付加部は、文章作成部によって生成されたテキストを画像の上部、又は下部に配置する場合について説明したが、これに限らず、例えばテキストを画像の外（枠外）に配置することもできる。
【０１４７】
また、上記の例において、テキストの位置が画像内で固定されている場合について説明したが、これに限らず、例えば画像処理装置の表示部において、テキストを流れるように表示させることができる。これにより、入力画像がテキストにより影響を受けにくい、又はテキストの視認性が向上される。
【０１４８】
なお、上記の例において、テキストが画像に必ず貼り付けられる場合について説明したが、これに限らず、例えば人物画像の場合には、テキストは貼り付けず、遠景画像又はその他の画像の場合にはテキストを貼り付けるようにしてもよい。
【０１４９】
また、上記の例において、文章付加部は、文章作成部によって生成されたテキストの表示方法（フォント、色、表示位置など）を所定の方法で決定する場合について説明したが、これに限らず、テキストの表示方法は、多種多様に決定することができる。以下、これらの方法について、いくつかの例を示す。
【０１５０】
一例においては、ユーザが画像処理装置の操作部を介して、テキストの表示方法（フォント、色、表示位置）を修正することができる。或いは、ユーザは、テキストの内容（単語）を変更、又は削除することができる。また、ユーザは、テキスト全体を表示させないように設定する、すなわちテキストの表示／非表示を選択することができる。
【０１５１】
また、一例においては、入力画像のシーンに応じてテキストの大きさを変更することができる。例えば、入力画像のシーンが人物画像の場合、テキストを小さくし、入力画像のシーンが遠景画像又はその他の画像の場合、テキストを大きくすることができる。
【０１５２】
また、一例においては、テキストを強調表示して画像データに合成することもできる。例えば、入力画像が人物画像の場合、人物に吹き出しを付与し、その吹き出し中にテキストを配置することができる。
【０１５３】
また、一例においては、テキストの表示色は、入力画像の代表色を基準として設定することできる。具体的には、入力画像の代表色と色相は同じであり、且つトーンが異なる色を、テキストの表示色として用いることができる。これにより、テキストが過度に主張されることなく、入力画像とほどよく調和したテキストを付与することができる。
【０１５４】
また、特に、入力画像の代表色が白の場合、テキストの表示色の決定において、例外処理を行ってもよい。ここで、例外処理では例えば、テキストの色を白とし、そのテキストの周辺部を黒に設定することができる。
【符号の説明】
【０１５５】
１…画像処理装置  １０…画像入力部  ２０…判定部  ３０…文章作成部  ４０…文章付加部  ９０…記憶部  １００…撮像装置  １１０…撮像部  １１１…光学系  １１９…撮像素子  １２０  ＡＤ変換部  １３０…バッファメモリ部  １４０…画像処理部  １５０…表示部  １６０…記憶部  １７０…通信部  １８０…操作部  １９０…ＣＰＵ  ２００…記憶媒体  ３００…バス  
【図１】
2013140559.tif 000004
【図２】
2013140559.tif 000005
【図３】
2013140559.tif 000006
【図４】
2013140559.tif 000007
【図５】
2013140559.tif 000008
【図６】
2013140559.tif 000009
【図７】
2013140559.tif 000010
【図８】
2013140559.tif 000011
【図９】
2013140559.tif 000012
【図１０】
2013140559.tif 000013
【図１１】
2013140559.tif 000014
【図１２Ａ】
2013140559.tif 000015
【図１２Ｂ】
2013140559.tif 000016
【図１３】
2013140559.tif 000017
【図１４】
2013140559.tif 000018
【図１５】
2013140559.tif 000019
【図１６】
2013140559.tif 000020
【図１７】
2013140559.tif 000021
【図１８】
2013140559.tif 000022
【図１９】
2013140559.tif 000023
【図２０】
2013140559.tif 000024
【図２１】
2013140559.tif 000025
【図２２】
2013140559.tif 000026