(57)【要約】【課題】画像データを見た際に人間が生じる感性に対して良好な整合性を有するテキストを生成し得る画像処理装置を提供する。【解決手段】  画像データに関する情報を取得する情報取得部（４３）と、取得した前記情報からテキストを生成するテキスト生成部（５０）と、を有する画像処理装置であって、前記情報取得部は、前記画像データの撮影現場の天気に関する天気情報を取得する天気情報取得部（４４）を有し、前記テキスト生成部は、前記天気情報に基づき前記撮影現場の天気に関連する前記テキストである天気テキストを生成する天気テキスト生成部（５１）を有することを特徴とする画像処理装置。【選択図】図２
2014165876.tif 000002
【特許請求の範囲】
【請求項１】
画像データに関する情報を取得する情報取得部と、取得した前記情報からテキストを生成するテキスト生成部と、を有する画像処理装置であって、
前記情報取得部は、前記画像データの撮影現場の天気に関する天気情報を取得する天気情報取得部を有し、
前記テキスト生成部は、前記天気情報に基づき前記撮影現場の天気に関連する前記テキストである天気テキストを生成する天気テキスト生成部を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載された画像処理装置であって、
前記情報取得部は、前記画像データに含まれる人物の像に関する人物情報を取得する人物情報取得部をさらに有し、
前記テキスト生成部は、前記人物情報に基づき前記人物の像に関連する前記テキストである人物テキストを生成する人物テキスト生成部と、前記天気テキストと前記人物テキストとを組み合わせた前記テキストである複合テキストを生成する複合テキスト生成部と、をさらに有することを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載された画像処理装置であって、
前記情報取得部は、前記画像データに含まれる人工物の像に関する人工物情報を取得する人工物情報取得部をさらに有し、
前記テキスト生成部は、前記人工物情報に基づき、前記人工物の像に関連する前記テキストである人工物テキストを生成する人工物テキスト生成部をさらに有し、
前記テキスト生成部は、前記情報取得部が取得した前記情報に基づき、前記天気テキスト生成部と前記人工物テキスト生成部のいずれか一方を用いて前記テキストを生成することを特徴とする画像処理装置。
【請求項４】
請求項１から請求項３までのいずれか１項に記載された画像処理装置であって、
前記天気情報取得部は、前記画像データに含まれる空の像の全体に対する比率に関する空比率情報をさらに取得し、
前記テキスト生成部は、前記空比率情報に応じて前記テキストを変更することを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４までのいずれか１項に記載された画像処理装置であって、
前記天気テキスト生成部は、前記撮影現場の天気が晴れである場合には、前記撮影現場の天気が曇り又は雨の場合と比較して、前記撮影現場の天気をより肯定的に表現する前記天気テキストを生成することを特徴とする画像処理装置。
【請求項６】
請求項１から請求項５までのいずれか１項に記載された画像処理装置であって、
前記情報取得部は、前記画像データの色に関する色情報を取得する色情報取得部を有し、
前記テキスト生成部は、前記色情報に基づき前記画像データの色が持つイメージに関連する前記テキストである色形容テキストを生成する色形容テキスト生成部を有し、
前記テキスト生成部は、前記天気情報取得部が前記天気情報を取得できない場合に、前記色形容テキスト生成部を用いて前記テキストを生成することを特徴とする画像処理装置。
【請求項７】
請求項１から請求項６までのいずれか１項に記載された画像処理装置と、
被写体を撮像して前記画像データを生成する撮像部と、を有する撮像装置。
【請求項８】
コンピュータに、画像データに関する情報を取得する情報取得処理と、取得した前記情報からテキストを生成するテキスト生成処理と、を実行させる画像処理プログラムであって、
前記情報取得処理では、前記画像データの撮影現場の天気に関する天気情報を取得することができ、
前記テキスト生成処理では、前記天気情報に基づき前記撮影現場の天気に関連する前記テキストである天気テキストを生成することができる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データからテキストを生成する画像処理装置、撮像装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像データを解析した解析結果と、画像データに含まれる撮像情報等に基づいて、画像データに対するテキストを作成する技術が提案されている（特許文献１等参照）。また、近年では、複数のバリエーションを有するコメントリストを用意するなどして、ユーザーの感覚と整合性の高いテキストを作成する技術が提案されている。
【０００３】
また、テキスト作成のために有用と考えられる画像データの解析手法としては、例えば顔認識や色情報の抽出等が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２０６２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
色情報の解析結果からテキストを生成する技術は、撮影者及び画像の観察者の感性に近いテキストを自動で付与するために有効な手段ではあるものの、色情報の抽出のみでは、撮影者等の感性に近いテキストを作成することが困難な場合もある。
【０００６】
そこで本発明の目的は、画像データから、当該画像データを見た際に人間が生じる感性に対して良好な整合性を有するテキストを生成し得る画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る画像処理装置は、
画像データに関する情報を取得する情報取得部と、取得した前記情報からテキストを生成するテキスト生成部と、を有する画像処理装置であって、
前記情報取得部は、前記画像データの撮影現場の天気に関する天気情報を取得する天気情報取得部を有し、
前記テキスト生成部は、前記天気情報に基づき前記撮影現場の天気に関連する前記テキストである天気テキストを生成する天気テキスト生成部を有することを特徴とする。
【０００８】
また、例えば、前記情報取得部は、前記画像データに含まれる人物の像に関する人物情報を取得する人物情報取得部をさらに有しても良く、
前記テキスト生成部は、前記人物情報に基づき前記人物の像に関連する前記テキストである人物テキストを生成する人物テキスト生成部と、前記天気テキストと前記人物テキストとを組み合わせた前記テキストである複合テキストを生成する複合テキスト生成部と、をさらに有しても良い。
【０００９】
また、例えば、前記情報取得部は、前記画像データに含まれる人工物の像に関する人工物情報を取得する人工物情報取得部をさらに有しても良く、
前記テキスト生成部は、前記人工物情報に基づき、前記人工物の像に関連する前記テキストである人工物テキストを生成する人工物テキスト生成部をさらに有しても良く、
前記テキスト生成部は、情報取得部が取得した前記情報に基づき、前記天気テキスト生成部と前記人工物テキスト生成部のいずれか一方を用いて前記テキストを生成しても良い。
【００１０】
また、例えば、前記天気情報取得部は、前記画像データに含まれる空の像の全体に対する比率に関する空比率情報をさらに取得しても良く、
前記テキスト生成部は、前記空比率情報に応じて前記テキストを変更しても良い。
【００１１】
また、例えば、前記天気テキスト生成部は、前記撮影現場の天気が晴れである場合には、前記撮影現場の天気が曇り又は雨の場合と比較して、前記撮影現場の天気をより肯定的に表現する前記天気テキストを生成しても良い。
【００１２】
また、例えば、前記情報取得部は、前記画像データの色に関する色情報を取得する色情報取得部を有しても良く、
前記テキスト生成部は、前記色情報に基づき前記画像データの色が持つイメージに関連する前記テキストである色形容テキストを生成する色形容テキスト生成部を有しても良く、
前記テキスト生成部は、前記天気情報取得部が前記天気情報を取得できない場合に、前記色形容テキスト生成部を用いて前記テキストを生成しても良い。
【００１３】
本発明に係る撮像装置は、上記のうちいずれかの画像処理装置と、被写体を撮像して前記画像データを生成する撮像部と、を有する。
【００１４】
本発明に係る画像処理プログラムは、コンピュータに、画像データに関する情報を取得する情報取得処理と、取得した前記情報からテキストを生成するテキスト生成処理と、を実行させる画像処理プログラムであって、
前記情報取得処理では、前記画像データの撮影現場の天気に関する天気情報を取得することができ、
前記テキスト生成処理では、前記天気情報に基づき前記撮影現場の天気に関連する前記テキストである天気テキストを生成することができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の一実施形態に係る撮像装置の概略ブロック図である。
【図２】図２は、図１に示す撮像装置に含まれる画像処理部の内部構成を表す概略ブロック図である。
【図３】図３は、図２に示す画像処理部において行われるテキスト生成処理を表すフローチャートである。
【図４】図４は、第１実施例に係る画像処理を表す概念図である。
【図５】図５は、第２実施例に係る画像処理を表す概念図である。
【図６】図６は、第３実施例に係る画像処理を表す概念図である。
【図７】図７は、第４実施例に係る画像処理を表す概念図である。
【図８】図８は、第５実施例に係る画像処理を表す概念図である。
【図９】図９は、図３のフローチャートに含まれる判定処理の内容を示す概念図である。
【図１０】図１０は、図２に示す天気情報取得部による天気の推定処理の内容を示す概念図である。
【図１１】図１１は、図２に示す記憶部に保存された辞書の内容の一例を示す概念図である。
【発明を実施するための形態】
【００１６】
図１は、本発明の一実施形態に係る撮像装置１０の概略ブロック図である。撮像装置１０は、撮像部１２、カメラ制御部２０、操作部２２、画像処理部４０、表示部２６、記憶部２８、バッファメモリ部３０、通信部３２、メモリカード（記憶媒体）３４等を有しており、各部分は、バス２４を介して相互に通信することができる。
【００１７】
撮像部１２は、光学系１４、撮像素子１６、Ａ／Ｄ変換部１８等を有しており、画像データを生成する。光学系１４は、１又は２以上のレンズを備え、レンズに入射した光の像を、撮像素子１６の受光面に形成する。
【００１８】
撮像素子１６は、例えばＣＣＤやＣＭＯＳ等の固体撮像素子によって構成され、光学系１４を介して受光面に結像した光学像を、電気信号に変換する。撮像素子１６は、生成した電気信号を、Ａ／Ｄ変換部１８に出力する。Ａ／Ｄ変換部１８は、撮像素子１６によって生成された電気信号に対して、アナログ／デジタル変換等を行い、カメラ制御部２０及び画像処理部４０等で処理可能な画像データを生成する。
【００１９】
撮像部１２による画像データの生成動作は、カメラ制御部２０によって制御される。例えば、撮像部１２は、カメラ制御部２０による制御により、操作部２２等を介して撮影信号が入力されたタイミングで撮像素子１６による光電変換を行い、いわゆる静止画の画像データを生成することができる。また、撮像部１２は、カメラ制御部２０による制御により、操作部２２等を介して動画撮影開始信号が入力されたタイミングで、連続的な光電変換を行い、いわゆる動画の画像データを生成することができる。
【００２０】
撮像部１２で生成された画像データは、カメラ制御部２０の制御により、バッファメモリ部３０及び画像処理部４０を介して、メモリカード３４に保存される。なお、撮像部１２は、操作部２２等からの操作信号が入力されていない状態で、自動的に画像データの生成を行い、いわゆるスルー画の画像データを生成することもできる。この場合、撮像部１２で生成されたスルー画の画像データは、カメラ制御部２０の制御により、表示部２６に表示される。
【００２１】
画像処理部４０は、メモリカード３４又はバッファメモリ部３０に記憶されている画像データに対して、各種の画像処理を実行する。画像処理部４０は、撮像部１２で生成された静止画、動画、スルー画等について画像処理を行う他、メモリカード３４等に保存されている撮像部１２以外で生成された画像データについても、画像処理を行うことができる。画像処理部４０は、各種補正処理や、データの圧縮及び変換、顔認識や色の抽出などを行うことができるが、画像処理部４０の詳細については、後ほど述べる。
【００２２】
表示部２６は、液晶ディスプレイ等で構成されており、カメラ制御部２０の制御に従って、画像データや、操作メニュー等を表示する。また、表示部は、画像処理部４０によるテキスト生成処理によって生成されたテキストを、画像データに重ねて表示することができる。記憶部２８には、撮像装置１０の制御に用いる撮影条件、画像処理条件、再生制御条件、表示制御条件、記録制御条件、入出力制御条件や、テキストの生成に用いる辞書（テキスト集）など、各種の情報が記憶されている。カメラ制御部２０や画像処理部４０は、必要に応じて、記憶部２８に記憶されている情報を読み出し、演算処理に利用することができる。記憶部２８は、ＲＯＭ等によって構成される。
【００２３】
バッファメモリ部３０は、カメラ制御部２０及び画像処理部４０が演算処理を実施する際の作業領域として利用される。例えば、画像処理部４０が画像データに対して画像処理を行う場合、処理の対象となる画像データは、記憶媒体から読み出され、バッファメモリ部３０に一次的に格納される。バッファメモリ部３０は、ＲＡＭ等によって構成される。
【００２４】
操作部２２は、操作者が撮像装置１０に対して情報を入力するためのスイッチ等を有している。操作部２２は、電源スイッチ、レリーズスイッチ、モードスイッチ、メニュースイッチ、選択キー等を備えており、操作者の操作に対応した信号を、カメラ制御部２０に出力する。
【００２５】
通信部３２は、メモリカード３４を取り付けるスロットや、他の情報機器と通信を行うための送受信部等を有しており、撮像装置１０は、通信部３２を介して、メモリカード３４や他の情報機器から情報を取得できる。また、カメラ制御部２０は、通信部３２を介してメモリカード３４に画像データを出力し、メモリカード３４に画像データを保存することができる。
【００２６】
メモリカード３４は、通信部３２を介して着脱自在に接続される記憶媒体であり、撮像部１２で生成された画像データ等を記憶することができる。メモリカード３４に保存される画像データの形式は特に限定されないが、例えば画像データは、イグジフ（Ｅｘｉｆ）形式のファイルとして、メモリカード３４に保存される。
【００２７】
カメラ制御部２０は、撮像装置１０が備えている各部分の制御を行う。例えば、カメラ制御部２０には、電源部（不図示）が接続されており、カメラ制御部２０は、撮像装置１０内の各部分に対して適切に電力が供給されるように、制御を行う。カメラ制御部２０は、例えばマイクロプロセッサ等によって構成される。なお、カメラ制御部２０と画像処理部４０の演算処理は、共通のマイクロプロセッサで行われても良く、また別個の電子回路で行われても良い。
【００２８】
図２は、図１に示す画像処理部４０に含まれる処理部を、ブロック図で表したものである。画像処理部４０は、画像データ入力部４１と、情報取得部４３と、テキスト生成部５０と、文章付加部５６とを有する。画像処理部４０は、図１に示す撮像部１２等で生成された画像データについて、各種の解析処理を行うことにより、画像データに関する各種の情報を取得し、取得した情報から画像データの内容と整合性の高いテキストを作成し、画像データにテキストを付加することができる。
【００２９】
図２に示す画像データ入力部４１は、メモリカード３４又はバッファメモリ部３０に格納されている画像データを読み出し、情報取得部４３に出力する。
【００３０】
情報取得部４３は、天気情報取得部４４、人物情報取得部４５、人工物情報取得部４６及び色情報取得部４７を有しており、画像データから情報を取得する。また、情報取得部４３は、Ｅｘｉｆファイル等の形式で画像データに関連付けて保存されている撮影情報を取得することができる。情報取得部４３がＥｘｉｆファイル等から取得可能な撮影情報は、画像データの撮影状況を示すデータであれば特に限定されないが、画像データの生成年、生成月日、生成時間に関する情報や、画像データの生成場所（ＧＰＳデータ）、撮影者等に関する情報が含まれる。情報取得部４３で取得された画像データに関する情報は、テキスト生成部５０に出力され、テキスト生成部５０は、その情報をテキストの生成等に利用することができる。
【００３１】
天気情報取得部４４は、空領域抽出部４４ａ、空代表色抽出部４４ｂ及び天気推定部４４ｃを有し、画像データの撮影現場の天気に関する天気情報を取得する。空領域抽出部４４ａは、画像データに含まれる各画素の色及び明るさに関する情報や、各画素のエッジ情報（空間周波数などを含む）を用いて、画像データに含まれる空の像の領域（空領域）を抽出することができるが、具体的な手法は特に限定されない。また、空領域抽出部４４ａは、抽出した空領域の画像データ全体に対する比率である空比率情報を算出することができる。空代表色抽出部４４ｂは、空領域抽出部４４ａで抽出された空領域の代表色を抽出する。空代表色抽出部４４ｂによる代表色の算出方法は特に限定されず、例えば空領域に含まれる画素の平均色を代表色としても良く、また、空領域における色別の頻度分布に対してＫ−ｍｅａｎｓ法などの手法を用いてクラスタリングを行うことにより、代表色を算出しても良い。
【００３２】
天気推定部４４ｃは、算出された空領域の代表色を用いて、画像データの撮影現場の天気を推定する。たとえば図１０に示すように、天気推定部４４ｃは、空領域の代表色が青系の色の場合は撮影現場の天気を「晴れ」であると推定し、空領域の代表色がグレー系の色の場合は撮影現場の天気を「くもり」又は「雨」であると推定することができる。また、天気推定部４４ｃは、空領域の代表色から、撮影現場の時間帯（「夕方」、「夜」、「早朝」）などを推定しても良い。さらに、天気推定部４４ｃは、撮影現場の天気や時間帯を推定する場合に、Ｅｘｉｆファイル等から取得された画像データの生成月日、生成時間に関する情報を、空領域の代表色と併せて用いてもよく、これにより推定精度を高めることができる。またさらに、天気推定部４４ｃは、Ｅｘｉｆファイル等から取得された画像データの生成場所、生成年月日の情報を用いて、Ｗｅｂ等を介して画像データの撮影現場の気象情報を取得し、これを利用して撮影現場の天気を推定しても良い。
【００３３】
人物情報取得部４５は、画像データに含まれる人物の像に関する人物情報を取得する。人物情報取得部４５は、人物の像が写っている領域を、テンプレートマッチングなどの顔認識に関する技術を用いて画像データから抽出したり、被写体である人物の笑顔レベルを、顔における口角部分の上がり具合を数値化するなどして画像データから抽出することが可能である。また、人物情報取得部４５は、画像データに含まれる人物の像の数や、抽出した人物の像の画像データ全体に対する比率（大きさ）や、人物の像の性別や年齢を抽出しても良い。
【００３４】
人工物情報取得部４６は、画像データに含まれる人工物の像に関する人工物情報を取得する。人工物情報取得部４６は、画像データからエッジ情報を抽出し、さらに抽出したエッジの幾何学的特性を分析することにより、画像データに含まれる被写体が建築物や乗り物等の人工物であるか、樹木や草花、動物等の自然物であるかを推定し、画像データを分類することができる。例えば、人工物情報取得部４６は、直線、円、楕円など特定の規則性を持ったエッジが多い場合は被写体が人工物であると推定し、ランダムな形状性が高い場合は被写体が自然物であると推定する。また、人工物情報取得部４６は、被写体が人工物であるか自然物であるかの分析を、画像データ全体に対して行うことも可能であるが、画像データの一部の領域（例えばピントが合っている領域など）に対して行うことも可能である。
【００３５】
色情報取得部４７は、画像データの色（色相以外の要素を含む）に関する情報を抽出し、または、抽出した情報を元に更に演算処理を行うことにより、色情報を得ることができる。色情報取得部４７による色情報の種別、算出方法等は特に限定されないが、画像データに含まれる各画素のＨＳＶ値を集計したものや、集計したＨＳＶ値から算出された代表色などが、色情報に含まれる。ただし、色情報取得部４７が色情報を算出する際における解像度は、演算処理の負担等を考慮して適宜変更すれば良く、また、色空間の種類もＨＳＶに限られず、ＲＧＢ、ＣＭＹ、ＣＭＹＫ等であっても良い。また、色情報取得部４７による色情報の抽出処理も、人工物情報取得部４６と同様に、画像データ全体に対してだけでなく、画像データの一部の領域に対して行うことも可能である。さらに、色情報取得部４７による代表色の算出方法も特に限定されないが、例えば画像データ若しくはその領域に含まれる画素の平均色を代表色としても良く、また、色別の頻度分布に対してＫ−ｍｅａｎｓ法などの手法を用いてクラスタリングを行うことにより、代表色を算出しても良い。なお、色情報取得部４７による代表色の抽出処理は、空代表色抽出部４４ｂと共通であっても良く、異なっていても良い。
【００３６】
テキスト生成部５０は、情報取得部４３等から送信された情報を用いてテキストを生成し、生成したテキストと画像データとを関連づける。テキスト生成部５０は、天気テキスト生成部５１、人物テキスト生成部５２、人工物テキスト生成部５３、色形容テキスト生成部５４、複合テキスト生成部５５を有している。テキスト生成部５０は、情報取得部４３からの情報を用いて、これらの各テキスト生成部５１〜５５のうち１つ又は複数を選択して、テキストを生成することが可能である。例えば、テキスト生成部５０は、空領域抽出部４４ａで算出された空比率が所定の閾値以上である場合には、天気テキスト生成部５１を用いてテキストを生成し、空比率が所定の閾値未満である場合は、色形容テキスト生成部５４等を用いてテキストを生成することができる。なお、テキスト生成部５０は、記憶部２８に記憶された各辞書（図１１）を用いて、テキストを生成することができる。
【００３７】
天気テキスト生成部５１は、天気情報取得部４４で取得された天気情報に基づき撮影現場の天気に関連するテキストである天気テキストを生成することができる。例えば天気テキスト生成部５１は、図１１（Ａ）に示すように天気に関連するテキストが保存されている「天気」辞書を用いて、取得された天気情報に対応するテキストのうち１つを選択することにより、天気テキストを生成することができる。また、天気テキスト生成部５１は、撮影現場の天気が「晴れ」である場合には、撮影現場の天気が「曇り」又は「雨」の場合と比較して、撮影現場の天気をより肯定的に表現する天気テキストを生成することができる。例えば、図１１（Ａ）に示すように、天気テキスト生成部５１が使用する「天気」辞書のうち、「晴れ（１）」、「晴れ（２）」に対応する項目には、「快晴！」、「さわやかに晴れた」などのように「晴れ」という天気をストレートに記述するテキストが保存されている。これに対して、「曇り」又は「雨」の項目には、「曇っていたが・・・」「雨だったけど・・・」のように、天気を表す後に逆説の接続詞を付加するなど、撮影現場の天気を否定的に記述するテキストが保存されている。これにより、天気テキスト生成部５１は、推定された天気が曇りや雨の場合において、「曇り」や「雨」といった言葉を使用したテキストでありながら、「曇り」や「雨」といった言葉が有するネガティブなイメージを抑制したテキストを、生成することができる。
【００３８】
人物テキスト生成部５２は、人物情報取得部４５で取得された人物情報に基づき、人物の像に関連するテキストである人物テキストを生成する。例えば人物テキスト生成部５２は、図１１（Ｂ）に示すように、笑顔レベルから推定される人物の感情を表すテキストなど、人物に関連するテキストが保存されている「人物」辞書を用いて、人物テキストを生成することができる。
【００３９】
人工物テキスト生成部５３は、人工物情報取得部４６で取得された人工物情報に基づき、人工物の像に関連するテキストである人工物テキストを生成する。例えば、人工物テキスト生成部５３は、図１１（Ｂ）に示すように、人工物の大きさや形状を表すテキストなど、人工物に関連するテキストが保存されている「人工物」辞書を用いて、人工物テキストを生成することができる。また、人工物テキスト生成部５３は、人工物の大きさや形状などを人工物情報から認識できない場合には、撮影日時など被写体の印象に依存しない情報に基づいたテキストを生成できる。
【００４０】
色形容テキスト生成部５４は、色情報取得部４７で取得された色情報に基づき、画像データの色が持つイメージに関連するテキストである色形容テキストを生成する。例えば、色形容テキスト生成部５４は、図１１（Ｂ）に示すように、「ピンク」や「青」のように色から直接イメージできる単語や、「すがすがしい」、「穏やか」のように色から連想されるイメージに関連する単語を含む色形容テキストを、「色形容」辞書を用いて生成することができる。
【００４１】
複合テキスト生成部５５は、天気テキスト生成部５１で生成された天気テキストと人物テキスト生成部５２で生成された人物テキストのように、異なるテキスト生成部５１〜５４で生成されたテキストを組み合わせて、複合テキストを生成する。例えば、テキスト生成部５０は、空領域抽出部４４ａで算出された空比率が所定の閾値未満である場合に、複合テキスト生成部５５を用いて、天気テキスト単独ではなくこれと色形容テキストを組み合わせた複合テキストを生成しても良い。
【００４２】
テキスト生成部５０及びこれに含まれる天気テキスト生成部５１、人物テキスト生成部５２、人工物テキスト生成部５３、色形容テキスト生成部５４及び複合テキスト生成部５５は、画像データを表示部２６（図１参照）に表示させる際に、カメラ制御部２０が当該画像データに対応するテキストを読み出せるように、画像データと関連づけて、生成したテキストをメモリカード３４等に保存できる。また、テキスト生成部５０は、生成したテキストを文章付加部５６に出力する。
【００４３】
文章付加部５６は、テキスト生成部５０によって生成されたテキストを、画像データに付与する。具体的には、文章付加部５６は、テキストのフォント、色、表示位置などを決定し、画像データとテキストを合成した表示内容に関する情報を生成する。文章付加部５６は、画像データとテキストを合成した新たな画像データを生成してもよく、合成画像を表示する際に画像データに追加される表示情報及び画像データとの関連付け情報を含むファイルを生成しても良い。文章付加部５６は、必要に応じて、画像データとテキストを合成した表示内容を表示部２６に表示させても良く、生成した新たな画像データ及び情報ファイルを、メモリカード３４に記憶させても良い。
【００４４】
以下に、画像処理部４０において行われる処理の具体例を説明するが、本発明はこれに限定されない。
【００４５】
実施例１
画像処理部４０におけるテキスト生成処理は、操作部２２等を介して操作者の入力信号を検知したカメラ制御部２０等が、画像処理部４０に対してテキスト生成処理の開始信号を送信することにより開始される（図１参照）。テキスト生成処理が開始されると、画像処理部４０の画像データ入力部４１は、操作部２２及び表示部２６の表示内容を介して取得した操作者の選択内容に従い、メモリカード３４に格納されている画像データを読み出し、情報取得部４３に出力する。実施例１では、図４（Ａ）に示すような画像データ６０が、テキスト生成処理の対象となった場合を例に説明を行う。また、画像データ入力部４１は、画像データ６０とともにＥｘｉｆファイル等に保存されている撮影情報を読み出し、情報取得部４３に出力しても良い。
【００４６】
図３は、図２に示す画像処理部４０において行われるテキスト生成処理の流れを表すフローチャートである。画像データ入力部４１から処理の対象となる画像データ６０を取得した情報取得部４３は、図３のステップＳ００１へ進み、画像データ６０が人物写真であるか否かを判断する。具体的には、情報取得部４３は、人物情報取得部４５を用いて画像データ６０の中に人物の像が所定の態様で含まれるか否かを抽出し、人物の像の抽出に成功した場合は対象画像を人物画像であると判定し、人物の像の抽出に失敗した場合は対象画像を人物画像でないと判定する。実施例１では、情報取得部４３及び人物情報取得部４５は、画像データ６０を人物画像ではないと判定し、ステップＳ００５へ進む。なお、ステップＳ００１において対象画像が人物画像であると判定された場合の処理については、実施例２及び実施例３で説明する。
【００４７】
図３のステップＳ００５では、情報取得部４３が、対象画像である画像データ６０が風景写真であるか否かを判断する。ステップＳ００５では、まず、情報取得部４３は、天気情報取得部４４の空領域抽出部４４ａを用いて、画像データ６０から空領域の抽出を試みる。より具体的には、図４（Ｂ）に示すように、空領域抽出部４４ａは、地平線若しくは水平線より上方の領域である空領域６０ａと下方の領域である地上領域６０ｂに、画像データ６０を分割することを試みる。例えば、図９における風景判定の項目に示すように、空領域抽出部４４ａは、画像上部と画像下部の輝度差が所定値α以上であって、かつエッジ量差がβ以上である場合に、画像上部を空領域として抽出し、対象画像を風景画像であると認定する。実施例１では、空領域抽出部４４ａが画像データ６０から空領域６０ａを抽出することに成功し、情報取得部４３は画像データ６０を風景写真であると判断してステップＳ００６に進む。なお、ステップＳ００５において対象画像が風景画像でないと判定された場合の処理については、実施例４及び実施例５で説明する。
【００４８】
図３に示すステップＳ００６では、天気情報取得部４４の空代表色抽出部４４ｂが、空領域抽出部４４ａで抽出された空領域の代表色を抽出する。空代表色抽出部４４ｂは、画像データ６０の空領域６０ａに対してクラスタリングを行い、空領域６０ａの代表色を抽出する。
【００４９】
ステップＳ００６において空領域の代表色を抽出すると、画像処理部４０は、ステップＳ００７の処理へ進む。ステップＳ００７では、情報取得部４３若しくは天気情報取得部４４が、空領域抽出部４４ａや空代表色抽出部４４ｂで取得された天気情報に基づき、対象画像から天気を推定することが可能か否かを判断する。例えば、天気情報取得部４４の天気推定部４４ｃは、図１０に示すような対応関係を参照して、空代表色抽出部４４ｂで取得された空領域の代表色が、対応表におけるいずれかの「天気」の「代表色」に該当する場合は、対象画像から天気を推定することが可能であると判断する。実施例１では、空代表色抽出部４４ｂが画像データ６０における空領域６０ａの代表色として「あざやかな青」に含まれる色を抽出し、天気情報取得部４４は、画像データ６０から天気を推定することが可能であると判断して、ステップＳ００８へ進む。
【００５０】
ステップＳ００８では、テキスト生成部５０における天気テキスト生成部５１が、天気情報取得部４４で抽出された天気情報に基づき撮影現場の天気に関する天気テキストを生成する。より具体的には、天気テキスト生成部５１は、天気推定部４４ｃによって推定された「晴れ（１）」、「曇り」などの天気情報を情報取得部４３から取得し、記憶部２８に記憶された天気辞書（図１１（Ａ））に含まれる単語又は文書のうち１つを選択し、それを対象画像に対応するテキストであると決定する。実施例１では、天気推定部４４ｃが画像データ６０の天気を「晴れ（１）」であると判断し、その情報を得た天気テキスト生成部５１は、天気辞書（図１１（Ａ））における晴れ（１）の項目から文書を選択することにより、画像データ６０のテキストを生成する。さらに、天気テキスト生成部５１で生成したテキストは、文章付加部５６に出力され、テキストの表示方法（表示位置、フォント等）が決定された後、画像データ６０と関連づけてメモリカード３４等に保存される。その後、画像処理部４０は、一連の画像テキスト生成処理を終了する。
【００５１】
なお、天気情報取得部４４が対象画像の天気を推定できないと判断した場合は、ステップＳ００９へ進む。ステップＳ００９では、テキスト生成部５０における色形容テキスト生成部５４が、図１１（Ｂ）に示すような「色形容」辞書を用いて、色情報取得部４７で取得された色情報に基づき、対象画像のテキストを生成する。テキスト生成後の処理は、ステップＳ００８と同様である。
【００５２】
図４（Ｃ）は、上述した実施例１に係るテキスト生成処理で生成されたテキスト「さわやかに晴れた」が、画像データ６０と伴に表示部２６に表示された状態を表している。このように、画像処理部４０は、天気情報取得部４４が抽出した天気情報を用いて、天気テキスト生成部が撮影現場の天気に関する天気テキストを生成することにより、より抽象的な情報である色情報から直接テキストを生成する技術に比べて、撮影者や観察者の感性に適合するテキストを生成することができ、生成されたテキストと画像データとのマッチング感が向上する。また、画像データから天気を推定できない場合には、画像データの色情報に基づきテキストを生成できるため、空領域の代表色が想定外であったような場合にでも、テキストを生成できずに処理を終了してしまう問題を回避できる。
【００５３】
実施例２・実施例３
実施例２及び実施例３では、図５（Ａ）に示すような画像データ６５（実施例２）と図６（Ａ）に示すような画像データ７０（実施例３）がテキスト生成処理の対象となる場合を例に、説明を行う。なお、実施例２及び実施例３の説明では、実施例１との相違点のみを説明し、実施例１と同様の処理が行われる部分については説明を省略する。画像データ６５，７０が対象画像である場合、ステップＳ００１において、図２に示す人物情報取得部４５は、画像データ６５，７０の中から人物の像を抽出し、対象画像が人物画像であると判断してステップＳ００２へ進む。
【００５４】
ステップＳ００２では、情報取得部４３が、対象画像である画像データ６５,７０の背景から空領域が抽出されるか否かを判断する。実施例３を用いて具体的に説明すると、図６（Ｂ）に示すように、画像データ７０のうち人物情報取得部４５が人物の像が写っていると認定した領域７０ｃ以外の領域を背景であると認定し、当該背景について、天気情報取得部４４の空領域抽出部４４ａが、空領域の抽出を実施する。図９に示すように、空領域抽出部４４ａは、対象領域が背景であるか画像全体であるかが異なることを除き、ステップＳ００５における風景写真判定と同様の手法により、対象領域を空領域７０ｄと地上領域７０ｅに分割することを試みる。実施例３に係る画像データ７０が処理対象である場合、情報取得部４３は画像データ７０の背景から空領域７０ｄを抽出し（図６（Ｂ）参照）、ステップＳ００３へ進む。これに対して、実施例２に係る画像データ６５が処理対象である場合、情報取得部４３は画像データ６５（図５（Ａ）参照）の背景から空領域を抽出できず、ステップＳ００４へ進む。
【００５５】
ステップＳ００４では、テキスト生成部５０の人物テキスト生成部５２が、図１１（Ｂ）に示すような「人物」辞書を用いて、人物情報取得部４５で取得された人物情報に基づき、対象画像のテキストを生成する。画像データ６５が対象画像である実施例２の場合、まず、人物情報取得部４５が、画像データ６５に複数の人物の像が写っていることや、被写体である人物の笑顔レベルが高い旨の人物情報を取得し、人物テキスト生成部５２に出力する。人物テキスト生成部５２は、人物情報取得部４５からの人物情報に基づき、被写体が複数である旨の情報から導かれる「みんな」等の単語や、笑顔レベルが高いことから導かれる「笑顔」等の単語が含まれる人物テキストを生成する。テキスト生成後の処理は、実施例１で説明したステップＳ００８と同様である。図５（Ｂ）は、上述した実施例２に係るテキスト生成処理で生成されたテキスト「みんないい表情！」が、画像データ６５と伴に表示部２６に表示された状態を表している。
【００５６】
ステップＳ００３では、天気情報取得部４４が、対象画像の背景における空領域の代表色を決定した後、対象画像の天気を推定可能か否かについて判断する。対象画像の天気を推定可能である場合、天気テキスト生成部５１及び人物テキスト生成部５２が、それぞれ天気情報と人物情報に基づき、天気テキストと人物テキストを生成し、さらに複合テキスト生成部５５が、天気テキストと人物テキストを組み合わせたテキストである複合テキストを生成する。また、対象画像の天気を推定できない場合は、人物テキスト生成部５２及び色形容テキスト生成部５４が、それぞれ人物情報と色情報に基づき、人物テキストと色形容テキストを生成し、さらに複合テキスト生成部５５が、人物テキストと色形容テキストを組み合わせた複合テキストを生成する。なお、天気テキスト生成部５１による天気テキストの生成、人物テキスト生成部５２による人物テキストの生成及び色形容テキスト生成部５４による色形容テキストの生成は、ステップＳ００８、ステップＳ００４及びステップＳ００９で説明した処理と同様の方法で行うことができる。また、テキスト生成後の処理は、実施例１で説明したステップＳ００８と同様である。
【００５７】
実施例３に係る画像データ７０が対象画像である場合、まず天気情報取得部４４が、図６（Ｂ）に示す空領域７０ｄの代表色（「あざやかな青」）を算出して、画像データ７０の天気を推定可能であると判断する。次に、天気テキスト生成部５１及び人物テキスト生成部５２が、それぞれ天気情報と人物情報に基づき、天気テキスト「青空の下」と人物テキスト「いい笑顔！」を生成し、さらに複合テキスト生成部５５が、天気テキストと人物テキストを組み合わせて、「青空の下、いい笑顔！」を生成する。図６（Ｃ）は、上述した実施例３に係るテキスト生成処理で生成されたテキストが、画像データ７５と伴に表示部２６に表示された状態を表している。
【００５８】
このように、画像処理部４０は、室内撮影のように空が写っていない画像データに対しては、人物テキスト生成部が人物情報に基づきテキストを生成することにより、撮影者や観察者の感性に適合するテキストを生成することができる。また、天気情報と人物情報、人物情報と色情報のように、互いに種類の異なる情報から生成されたテキストを組み合わせる複合テキスト生成部５５を有するため、画像処理部４０は、多様で画像とのマッチング感の高いテキストを生成することができる。
【００５９】
実施例４・実施例５
実施例４及び実施例５では、図７（Ａ）に示すような画像データ７５（実施例４）と図８（Ａ）に示すような画像データ８０がテキスト生成処理の対象となる場合を例に、説明を行う。なお、実施例４及び実施例５の説明では、実施例１〜３との相違点のみを説明し、実施例１〜３と同様の処理が行われる部分については説明を省略する。画像データ７５，８０が対象画像である場合、ステップＳ００１では、実施例１の場合と同様に、情報取得部４３が対象画像を人物画像でないと判定し、ステップＳ００５へ進む。また、ステップＳ００５では、天気情報取得部４４の空領域抽出部４４ａが、画像データ７５，８０から空領域を抽出できず、これらの対象画像を風景画像でないと判断し、ステップＳ０１０へ進む。
【００６０】
図３のステップＳ０１０では、情報取得部４３が、対象画像である画像データ７５，８０が自然物を撮影した自然物写真であるか否かを判断する。具体的には、情報取得部４３における人工物情報取得部４６が、画像データ７５，８０からエッジ情報を抽出した後、抽出したエッジの幾何学的特性に基づき、対象画像である画像データ７５，８０が自然物写真であるか人工物写真であるかを判断する。
【００６１】
画像データ７５が対象画像である実施例４（図７参照）では、人工物情報取得部４６が、画像データ７５から抽出されたエッジについて、ランダムな形状性が高いと認定し、画像データ７５を自然物写真であると判断する。この場合、ステップＳ０１１へ進み、テキスト生成部５０における色形容テキスト生成部５４が、画像データ７５の色情報に基づき、色形容テキストを生成する。ステップＳ０１１での処理は、ステップＳ００９での処理と同様である。図７（Ｂ）は、実施例４に係るテキスト生成処理で生成されたテキスト「綺麗なピンクだね。」が、画像データ７５と伴に表示部２６に表示された状態を表している。
【００６２】
また、画像データ８０が対象画像である実施例５（図８参照）では、人工物情報取得部４６が、画像データ８０から抽出されたエッジについて、規則的な形状性が高いと認定し、画像データ８０を人工物が写っている人工物写真であると判断する。この場合、ステップＳ０１２へ進み、テキスト生成部５０における人工物テキスト生成部５３が、画像データ８０の人工物情報に基づき、人工物テキストを生成する。図８（Ｂ）は、実施例５に係るテキスト生成処理で生成されたテキスト「何の形かな？」が、画像データ８０と伴に表示部２６に表示された状態を表している。
【００６３】
このように、画像処理部４０は、空が映っていない画像データや、空が画像の観察者に対して強い印象を与えない画像データについては、色形容テキスト生成部５４や人工物テキスト生成部５３が、色情報や人工物情報に基づきテキストを生成することにより、撮影者や観察者の感性と整合しないテキストが生成される頻度を低減し、生成されるテキストと画像とのマッチングを高めることができる。また、画像処理部４０は、画像情報に応じて天気テキスト生成部５１、人物テキスト生成部５２、人工物テキスト生成部５３及び色形容テキスト生成部５４を選択的に用いてテキストを生成することにより、画像データの雰囲気を支配している要素にマッチしたテキストを生成することが可能である。
【００６４】
上述の実施形態及び実施例では、画像処理部４０を備える撮像装置１０を例に挙げて、画像処理装置の説明を行ったが、画像処理部４０を備える画像処理装置はこれに限定されず、パーソナルコンビュータ、携帯電話等、撮像部を必ずしも有しない装置であっても良い。また、画像データからテキストを生成するプログラムは、撮像装置１０だけでなく、画像処理を実施するその他の情報機器にも、実装することができる。
【符号の説明】
【００６５】
１０…撮像装置
１２…撮像部
１４…光学系
１６…撮像素子
１８…Ａ／Ｄ変換部
２０…カメラ制御部
２２…操作部
２４…バス
２６…表示部
２８…記憶部
３０…バッファメモリ部
３２…通信部
３４…メモリカード
４０…画像処理部
４１…画像データ入力部
４３…情報取得部
４４…天気情報取得部
４４ａ…空領域抽出部
４４ｂ…空代表色抽出部
４４ｃ…天気推定部
４５…人物情報取得部
４６…人工物情報取得部
４７…色情報取得部
５０…テキスト生成部
５１…天気テキスト生成部
５２…人物テキスト生成部
５３…人工物テキスト生成部
５４…色形容テキスト生成部
５５…複合テキスト生成部
５６…文章付加部
６０，６５，７０，７５，８０…画像データ
６０ａ，７０ｄ…空領域
【図１】
2014165876.tif 000003
【図２】
2014165876.tif 000004
【図３】
2014165876.tif 000005
【図４】
2014165876.tif 000006
【図５】
2014165876.tif 000007
【図６】
2014165876.tif 000008
【図７】
2014165876.tif 000009
【図８】
2014165876.tif 000010
【図９】
2014165876.tif 000011
【図１０】
2014165876.tif 000012
【図１１】
2014165876.tif 000013