(57)【要約】      （修正有）【課題】画像データから、当該画像データを見た際に人間が生じる感性に近い色情報を抽出し、当該色情報を用いてテキストを生成し得る画像処理装置を提供する。【解決手段】画像データに含まれる各画素の色情報に関する第１情報を得る色情報抽出部４６と、前記第１情報に対してクラスタリングを実施し、前記クラスタリングの結果から前記画像データを代表する色に関する第２情報を算出するクラスタリング部５０と、前記第２情報を用いて文章を作成し、前記画像データと関連付ける文章付加部５４と、を有する画像処理装置。【選択図】図２
2014035699.tif 000002
【特許請求の範囲】
【請求項１】
画像データに含まれる各画素の色情報に関する第１情報を得る色情報抽出部と、
前記第１情報に対してクラスタリングを実施し、前記クラスタリングの結果から前記画像データを代表する色に関する第２情報を算出するクラスタリング部と、
前記第２情報を用いてテキストを生成し、前記画像データと関連付けるテキスト生成部と、を有する画像処理装置。
【請求項２】
請求項１に記載された画像処理装置であって、
前記画像データから、前記画像データの一部である主要領域を抽出する領域抽出部を、さらに有し、
前記領域抽出部が前記主要領域の抽出に成功した場合、前記クラスタリング部は、前記主要領域に対応する前記第１情報である主要第１情報に対して、前記クラスタリングを実施して、前記第２情報を算出することを特徴とする画像処理装置。
【請求項３】
請求項２に記載された画像処理装置であって、
前記領域抽出部が前記主要領域の抽出に失敗した場合、前記クラスタリング部は、前記画像データの全領域に対応する前記第１情報に対して、前記クラスタリングを実施して、前記第２情報を算出することを特徴とする画像処理装置。
【請求項４】
請求項１から請求項３までのいずれか１項に記載された画像処理装置であって、
前記クラスタリング部が算出する前記第２情報は、第１代表色と第２代表色に関する情報を含み、前記第１代表色と前記第２代表色は、前記クラスタリングによって算出される複数のクラスタのうち、互いに異なるクラスタに属することを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４までのいずれか１項に記載された画像処理装置であって、
前記クラスタリング部が算出する前記第２情報は、第１代表色に関する情報を含み、前記第１代表色は、前記クラスタリングによって算出される複数のクラスタのうち、最も多くの前記画素を含む最大クラスタに属することを特徴とする画像処理装置。
【請求項６】
請求項１から請求項５までのいずれか１項に記載された画像処理装置と、
被写体を撮像して前記画像データを生成する撮像部と、を有する撮像装置。
【請求項７】
コンピュータに、
画像データに含まれる各画素の色情報に関する第１情報を得る処理と、
前記第１情報に対してクラスタリングを実施し、前記クラスタリングの結果から前記画像データを代表する色に関する第２情報を算出する処理と、
前記第２情報を用いてテキストを生成し、画像と関連付ける処理と、を実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データからテキストを生成する画像処理装置、撮像装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像データを解析した解析結果と、画像データに含まれる撮像情報等に基づいて、画像データに対するテキストを作成する技術が提案されている（特許文献１等参照）。また、近年では、複数のバリエーションを有するコメントリストを用意するなどして、ユーザーの感覚と整合性の高いテキストを作成する技術が提案されている。
【０００３】
また、テキスト作成のために有用と考えられる画像データの解析手法としては、例えば顔認識や色情報の抽出等が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２０６２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来技術で行われている色情報の解析は、青、緑、赤等の大まかな基準に従って分類を行っているため、得られる情報が画一的、機械的になりやすく、画像データの違いに応じて多様性を持った情報を得られないという問題を有している。また、このような解析手法とは別に、画像データが有する色情報の平均値を算出する手法も考えられるが、人物や風景を撮影した画像データにおける色情報の平均値は、グレー系の色になりやすく、撮影者の感覚に合った色情報を得ることは難しい。
【０００６】
そこで本発明の目的は、画像データから、当該画像データを見た際に人間が生じる感性に近い色情報を抽出し、当該色情報を用いてテキストを生成し得る画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る画像処理装置は、
画像データ（６０）に含まれる各画素の色情報に関する第１情報（６２）を得る色情報抽出部（４６）と、
前記第１情報に対してクラスタリングを実施し、前記クラスタリングの結果から前記画像データを代表する色に関する第２情報（７５，７７）を算出するクラスタリング部（５０）と、
前記第２情報を用いてテキストを生成し、前記画像データと関連付けるテキスト生成部（５２）と、を有する。
【０００８】
また、例えば、本発明に係る画像処理装置は、前記画像データから、前記画像データの一部である主要領域（６４）を抽出する領域抽出部（４８）を、さらに有しても良く、
前記領域抽出部が前記主要領域の抽出に成功した場合、前記クラスタリング部は、前記主要領域に対応する前記第１情報である主要第１情報（６６）に対して、前記クラスタリングを実施して、前記第２情報を算出しても良い。
【０００９】
また、例えば、前記領域抽出部が前記主要領域の抽出に失敗した場合、前記クラスタリング部は、前記画像データの全領域に対応する前記第１情報に対して、前記クラスタリングを実施して、前記第２情報を算出しても良い。
【００１０】
また、例えば、前記クラスタリング部が算出する前記第２情報は、第１代表色（７５）と第２代表色（７７）に関する情報を含み、前記第１代表色と前記第２代表色は、前記クラスタリングによって算出される複数のクラスタ（７４，７６）のうち、互いに異なるクラスタに属しても良い。
【００１１】
また、例えば、前記クラスタリング部が算出する前記第２情報は、第１代表色（７５）に関する情報を含み、前記第１代表色は、前記クラスタリングによって算出される複数のクラスタのうち、最も多くの前記画素を含む最大クラスタ（７４）に属しても良い。
【００１２】
本発明に係る撮像装置は、上記のうちいずれかの画像処理装置と、被写体を撮像して前記画像データを生成する撮像部（１２）と、を有する。
【００１３】
本発明に係る画像処理プログラムは、コンピュータに、
画像データに含まれる各画素の色情報に関する第１情報を得る処理と、
前記第１情報に対してクラスタリングを実施し、前記クラスタリングの結果から前記画像データを代表する色に関する第２情報を算出する処理と、
前記第２情報を用いてテキストを生成し、画像と関連付ける処理と、を実行させる。
【００１４】
なお上述の説明では、本発明をわかりやすく説明するために実施形態を示す図面の符号に対応づけて説明したが、本発明は、これに限定されるものでない。後述の実施形態の構成を適宜改良してもよく、また、少なくとも一部を他の構成物に代替させてもよい。さらに、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の一実施形態に係る撮像装置の概略ブロック図である。
【図２】図２は、図１に示す撮像装置に含まれる画像処理部の内部構成を表す概略ブロック図である。
【図３】図３は、図２に示す画像処理部において行われる代表色の決定の流れを表すフローチャートである。
【図４】図４は、図２に示す画像処理装置で解析が行われる画像データの一例を表示したものである。
【図５】図５は、画像データの第１情報を表す概念図である。
【図６】図６は、画像データにおける主要領域の第１情報を表す概念図である。
【図７】図７は、図６に示す主要領域に対して実施されたクラスタリングの結果を表す概念図である。
【図８】図８は、代表色と単語との対応表の一例を表したものである。
【図９】図９は、文章作成部が使用する文章テンプレートの一例を表したものである。
【図１０】図１０は、画像データ及び当該画像データから作成されたテキストの表示例を表したものである。
【発明を実施するための形態】
【００１６】
図１は、本発明の一実施形態に係る撮像装置１０の概略ブロック図である。撮像装置１０は、撮像部１２、カメラ制御部２０、操作部２２、画像処理部４０、表示部２６、記憶部２８、バッファメモリ部３０、通信部３２、メモリカード（記憶媒体）３４等を有しており、各部分は、バス２４を介して相互に通信することができる。
【００１７】
撮像部１２は、光学系１４、撮像素子１６、Ａ／Ｄ変換部１８等を有しており、画像データを生成する。光学系１４は、１又は２以上のレンズを備え、レンズに入射した光の像を、撮像素子１６の受光面に形成する。
【００１８】
撮像素子１６は、例えばＣＣＤやＣＭＯＳ等の固体撮像素子によって構成され、光学系１４を介して受光面に結像した光学像を、電気信号に変換する。撮像素子１６は、生成した電気信号を、Ａ／Ｄ変換部１８に出力する。Ａ／Ｄ変換部１８は、撮像素子１６によって生成された電気信号に対して、アナログ／デジタル変換等を行い、カメラ制御部２０及び画像処理部４０等で処理可能な画像データを生成する。
【００１９】
撮像部１２による画像データの生成動作は、カメラ制御部２０によって制御される。例えば、撮像部１２は、カメラ制御部２０による制御により、操作部２２等を介して撮影信号が入力されたタイミングで撮像素子１６による光電変換を行い、いわゆる静止画の画像データを生成することができる。また、撮像部１２は、カメラ制御部２０による制御により、操作部２２等を介して動画撮影開始信号が入力されたタイミングで、連続的な光電変換を行い、いわゆる動画の画像データを生成することができる。
【００２０】
撮像部１２で生成された画像データは、カメラ制御部２０の制御により、バッファメモリ部３０及び画像処理部４０を介して、メモリカード３４に保存される。なお、撮像部１２は、操作部２２等からの操作信号が入力されていない状態で、自動的に画像データの生成を行い、いわゆるスルー画の画像データを生成することもできる。この場合、撮像部１２で生成されたスルー画の画像データは、カメラ制御部２０の制御により、表示部２６に表示される。
【００２１】
画像処理部４０は、メモリカード３４又はバッファメモリ部３０に記憶されている画像データに対して、各種の画像処理を実行する。画像処理部４０は、撮像部で生成された静止画、動画、スルー画等について画像処理を行う他、メモリカード３４等に保存されている撮像部１２以外で生成された画像データについても、画像処理を行うことができる。画像処理部４０は、各種補正処理や、データの圧縮及び変換、顔認識や色の抽出などを行うことができるが、画像処理部４０の詳細については、後ほど述べる。
【００２２】
表示部２６は、液晶ディスプレイ等で構成されており、カメラ制御部２０の制御に従って、画像データや、操作メニュー等を表示する。記憶部２８には、撮像装置１０の制御に用いる撮影条件、画像処理条件、再生制御条件、表示制御条件、記録制御条件、入出力制御条件など、各種の情報が記憶されている。カメラ制御部２０や画像処理部４０は、必要に応じて、記憶部２８に記憶されている情報を読み出し、演算処理に利用することができる。記憶部２８は、ＲＯＭ等によって構成される。
【００２３】
バッファメモリ部３０は、カメラ制御部２０及び画像処理部４０が演算処理を実施する際の作業領域として利用される。例えば、画像処理部４０が画像データに対して画像処理を行う場合、処理の対象となる画像データは、記憶媒体から読み出され、バッファメモリ部３０に一次的に格納される。バッファメモリ部３０は、ＲＡＭ等によって構成される。
【００２４】
操作部２２は、操作者が撮像装置１０に対して情報を入力するためのスイッチ等を有している。操作部２２は、電源スイッチ、レリーズスイッチ、モードスイッチ、メニュースイッチ、選択キー等を備えており、操作者の操作に対応した信号を、カメラ制御部２０に出力する。
【００２５】
通信部３２は、メモリカード３４を取り付けるスロットや、他の情報機器と通信を行うための送受信部等を有しており、撮像装置１０は、通信部３２を介して、メモリカード３４や他の情報機器から情報を取得できる。また、カメラ制御部２０は、通信部３２を介してメモリカード３４に画像データを出力し、メモリカード３４に画像データを保存することができる。
【００２６】
メモリカード３４は、通信部３２を介して着脱自在に接続される記憶媒体であり、撮像部１２で生成された画像データ等を記憶することができる。メモリカード３４に保存される画像データの形式は特に限定されないが、例えば画像データは、イグジフ（Ｅｘｉｆ）形式のファイルとして、メモリカード３４に保存される。
【００２７】
カメラ制御部２０は、撮像装置１０が備えている各部分の制御を行う。例えば、カメラ制御部２０には、電源部（不図示）が接続されており、カメラ制御部２０は、撮像装置１０内の各部分に対して適切に電力が供給されるように、制御を行う。カメラ制御部２０は、例えばマイクロプロセッサ等によって構成される。なお、カメラ制御部２０と画像処理部４０の演算処理は、共通のマイクロプロセッサで行われても良く、また別個の電子回路で行われても良い。
【００２８】
図２は、図１に示す画像処理部４０に含まれる処理部を、ブロック図で表したものである。画像処理部４０は、画像データ入力部４２と、解析部４４と、文章作成部５２と、文章付加部５４とを有する。画像処理部４０は、図１に示す撮像部１２等で生成された画像データについて、各種の解析処理を行うことにより、画像データの内容に関する各種の情報を取得し、画像データの内容と整合性の高いテキストを作成し、画像データにテキストを付加することができる。
【００２９】
図２に示す画像データ入力部４２は、メモリカード３４又はバッファメモリ部３０に格納されている画像データを読み出し、解析部４４に出力する。
【００３０】
解析部４４は、色情報抽出部４６、領域抽出部４８、クラスタリング部５０を有しており、画像データに対して解析処理を行う。色情報抽出部４６は、画像データから、画像データに含まれる各画素の色情報に関する第１情報を抽出する。典型的には、第１情報は、画像データに含まれる全ての画素のＨＳＶ値を、集計したものである。ただし、第１情報は、類似性が関連づけられた（例えば所定の色空間に関連付けされた）所定の色について、当該所定の色が画像中に表れる頻度（画素単位での頻度、面積割合等）を示す情報であればよく、色の解像度や、色空間の種類は限定されない。
【００３１】
例えば、第１情報は、ＨＳＶ空間ベクトル（ＨＳＶ値）やＲＧＢ値で表されるそれぞれの色について、それぞれの色の画素が、画像データに幾つずつ含まれるか、を表す情報であっても良い。ただし、第１情報における色解像度は、演算処理の負担等を考慮して適宜変更すれば良く、また、色空間の種類もＨＳＶやＲＧＢに限られず、ＣＭＹ、ＣＭＹＫ等であっても良い。
【００３２】
領域抽出部４８は、画像データから、当該画像データの一部である主要領域を抽出する。領域抽出部４８によって抽出される主要領域は、撮影者が注目したか、若しくは画像の鑑賞者が注目する可能性が高いと推認される表示部分に対応する領域であることが好ましい。例えば、領域抽出部４８は、画像データから人物の顔が表示される領域を抽出し、その領域を主要領域とすることができる。また、例えば、領域抽出部４８は、画像中のどの部分にピントが合っているかを検出し、ピントが合っている被写体の表示部分に対応する領域を、主要領域とすることができる。なお、領域抽出部４８は、画像データが主要領域を含まない旨の判断を行うこともできる。
【００３３】
クラスタリング部５０は、色情報抽出部４６によって得られた第１情報に対してクラスタリング（クラスタ分析）を実施し、クラスタリングの結果に基づき画像データの代表色を算出し、当該代表色に関する情報を、第２情報として出力する。例えば、クラスタリング部５０は、画像データに含まれる各画素の色情報に関する第１情報に対してクラスタリングを実施し、色の類似性に基づき、各画素を複数のクラスタに分類する。
【００３４】
クラスタリング部５０が実施するクラスタリングとしては、k-means法（ｋ平均法）や、最短距離法等が挙げられるが、特に限定されない。例えば、クラスタリング部５０がk-means法によるクラスタリングを実施する場合、クラスタリング部５０は、下記の評価式（１）を最小化するように、クラスタを決定する。
【００３５】
【数１】
2014035699.tif 000003
【００３６】
ここで、Ｃはクラスタ、ｘは所定の画素の（色空間上の）位置、ｃはクラスタの（色空間上の）重心点、ｄ（ｘ，ｃ）は、画素の位置とクラスタの重心点の距離である。クラスタリング部５０は、各画素の色情報を集計した第１情報に対して、上記のようなクラスタリングを実施することにより、クラスタに含まれる画素数等で表される各クラスタの大きさに関する情報や、クラスタの重心位置等で表される各クラスタの色に関する情報を、得ることができる。なお、クラスタリングにおけるクラスタの数は、算出したい代表色の数を上回る数とすることが好ましいが、特に限定されない。
【００３７】
さらに、クラスタリング部５０は、クラスタリングによって得られた情報に基づき、画像データの代表色を算出する。例えば、クラスタリング部５０は、クラスタリングによって算出される複数のクラスタのうち、最も多くの画素を含む最大クラスタの重心位置に対応する色を、画像データの代表色とすることができる。また、クラスタリング部５０は、最大クラスタに属する他の色を代表色としても良く、例えば、最大クラスタに属する色の中で、クラスタリング前の第１情報の分類基準で考えて画素数が最大である色を、代表色としても良い。
【００３８】
クラスタリング部５０は、画像データから１つの代表色を算出しても良いが、例えば、第１代表色と第２代表色として表されるような、複数の代表色を算出しても良い。クラスタリング部５０が、クラスタリングによって得られた情報に基づき、第１代表色と第２代表色を算出する場合、第１代表色と第２代表色は、クラスタリングによって算出される複数のクラスタのうち、互いに異なるクラスタに属することが好ましい。例えば、クラスタリング部５０は、最大クラスタの重心点に対応する色を画像データの第１代表色とし、２番目に多くの画素を含むクラスタの重心点に対応する色を、第２代表色とすることができる。
【００３９】
また、クラスタリング部５０は、画像データの全領域に対応する第１情報についてクラスタリングを行っても良いが、領域抽出部４８が主要領域の抽出に成功した場合は、主要領域に対応する第１情報である主要第１情報についてクラスタリングを行い、その結果に基づいて代表色を算出しても良い。クラスタリング部５０は、算出した代表色に関する情報を、第２情報として文章作成部５２に出力する。
【００４０】
なお、解析部４４は、クラスタリング部５０が算出する第２情報以外にも、画像データを生成した日時に関する情報や、画像データが生成された場所に関する情報を、イグジフファイル等から取得し、文章作成部５２に出力することができる。
【００４１】
文章作成部５２は、第２情報など、解析部４４から送信された情報を用いてテキストを生成し、生成したテキストと画像データとを関連づける。図８に示すように、記憶部２８には、それぞれの代表色と特定の単語とが対応づけられた対応情報が記憶されており、文章作成部５２は、記憶部２８の対応情報から、クラスタリング部で算出された代表色に対応する単語を読み出し、テキストを生成することができる。
【００４２】
また、文章作成部５２は、図９に示すような文章テンプレートを使用して、テキストを生成しても良い。文章作成部５２は、解析部４４から送信された情報を用いて、文章テンプレートの空欄を埋め、テキストを生成することができる。例えば、文章作成部５２は、文章テンプレートにおける｛日時｝の部分に、画像データを生成した日時に応じた単語を当てはめ、｛場所｝の部分に、画像データを生成した場所に応じた単語（「東京」「浅草」等）を当てはめ、｛形容詞｝の部分に、代表色に対応する単語（「すがすがしい」「明るい」等）を当てはめることにより、テキストを生成することができる。
【００４３】
文章作成部５２は、画像データを表示部２６（図１参照）に表示させる際に、カメラ制御部２０が当該画像データに対応するテキストを読み出せるように、画像データと関連づけて、生成したテキストをメモリカード３４等に保存できる。また、文章作成部５２は、生成したテキストを文章付加部５４に出力する。
【００４４】
文章付加部５４は、文章作成部５２によって生成されたテキストを、画像データに付与する。具体的には、文章付加部５４は、テキストのフォント、色、表示位置などを決定し、画像データとテキストを合成した表示内容に関する情報を生成する。文章付加部５４は、画像データとテキストを合成した新たな画像データを生成してもよく、合成画像を表示する際に画像データに追加される表示情報及び画像データとの関連付け情報を含むファイルを生成しても良い。文章付加部５４は、必要に応じて、画像データとテキストを合成した表示内容を表示部２６に表示させても良く、生成した新たな画像データ及び情報ファイルを、メモリカード３４に記憶させても良い。
【００４５】
以下に、図１〜図１０を用いて、画像処理部４０において行われる処理の具体例を説明する。図４に示すような表示内容の画像データ６０にテキストを付加する場合、まず、図２に示す画像処理部４０は、画像データ６０の代表色を算出する。
【００４６】
図３は、図２に示す画像処理部４０において行われる代表色の決定の流れを表すフローチャートである。図３のステップＳ００１では、図２に示す画像処理部４０が、具体的な画像データ６０の代表色の算出を開始する。例えば、カメラの操作者が、操作部２２を介してメモリカード３４に保存された画像データ６０を選択し、画像データ６０にテキストを付加するように指示した際に、画像処理部４０は、画像データ６０の代表色の算出を開始する。なお、ステップＳ００１若しくはステップＳ００１前の段階で、カメラ制御部２０は、画像処理の対象となる画像データ６０を、メモリカード３４からバッファメモリ部３０に格納させる。
【００４７】
図３のステップＳ００２では、まず、画像処理部４０の画像データ入力部４２が、バッファメモリ部３０に格納されている画像データを読み出し、解析部４４に出力する。次に、解析部４４の色情報抽出部４６は、画像データ６０に含まれる各画素の色情報に関する第１情報６２を算出する（図５参照）。
【００４８】
図５は、ステップＳ００２において色情報抽出部４６が実施する第１情報６２の算出処理を表す概念図である。色情報抽出部４６は、画像データ６０に含まれる色情報を、各色毎（例えば２５６階調の各階調毎）に集計し、第１情報６２を得る。図５の下図に示すヒストグラムは、色情報抽出部４６によって算出された第１情報６２のイメージを表している。図５のヒストグラムの横軸は色であり、縦軸は、画像データ６０中に、所定の色の画素がいくつ含まれるかを表している。
【００４９】
図３のステップＳ００３では、解析部４４の領域抽出部４８が、画像データ６０における主要領域を抽出する。例えば、領域抽出部４８は、図４に示す画像データ６０の中からピントが合っている領域を抽出し、画像データ６０の中央部分を主要領域であると認定する（図６における主要領域６４参照）。
【００５０】
図３のステップＳ００４では、解析部４４の領域抽出部４８が、ステップＳ００５で実施されるクラスタリングの対象領域を決定する。例えば、領域抽出部４８は、図６の上部に示すように、ステップＳ００３において画像データ６０の一部を主要領域６４であると認識し、主要領域６４の抽出に成功した場合、クラスタリングの対象を、主要領域６４に対応する第１情報６２（主要第１情報６６）とする。図６の下図に示すヒストグラムは、主要第１情報６６のイメージを表している。
【００５１】
これに対して、ステップＳ００３において画像データ６０における主要領域６４を抽出できず、主要領域の抽出に失敗した場合は、領域抽出部４８は、図５に示すように、画像データ６０の全領域に対応する第１情報６２を、クラスタリングの対象に決定する。なお、クラスタリングの対象領域が異なることを除き、主要領域の抽出に成功した場合と失敗した場合とで、その後の処理に違いはないため、以下では、主要領域の抽出に成功した場合を例に説明を行う。
【００５２】
図３のステップＳ００５では、解析部４４のクラスタリング部５０が、ステップＳ００４で決定された領域の第１情報６２である主要第１情報６６に対して、クラスタリングを実施する。図７は、図６に示す主要領域６４の主要第１情報６６について、クラスタリング部５０が実施したクラスタリングの結果を表す概念図である。
【００５３】
クラスタリング部５０は、例えば、２５６階調の主要第１情報６６（図６参照）を、k-means法によって複数のクラスタに分類する。図７の上部は、各画素がどのクラスタに分類されたかを表しており、図７の下部に示すヒストグラムは、各クラスタに属する画素の数を示したものである。クラスタリング部５０によるクラスタリングによって、２５６階調の主要第１情報６６（図６）は、２５６より少ない（図７に示す例では３つの）クラスタに分類されている（図７）。クラスタリングの結果には、各クラスタの大きさに関する情報と、各クラスタの色（クラスタの色空間上の位置）に関する情報が含まれる。
【００５４】
ステップＳ００６では、解析部４４のクラスタリング部５０が、クラスタリングの結果に基づき、画像データ６０の代表色を決定する。クラスタリング部５０は、予め設定された数の代表色を、決定することができるが、最初に、画像データ６０から１つの代表色を決定する場合を例に説明を行う。
【００５５】
クラスタリング部５０は、クラスタリングによって図７に示すような結果を得た場合、算出された複数のクラスタのうち最も多くの画素を含む最大クラスタ７４に属する色を、画像データ６０の代表色（第１代表色）とする。例えば、クラスタリング部５０は、最大クラスタ７４の重心点（評価式（１）参照）に対応する色を、第１代表色７５とする。
【００５６】
また、画像データ６０から第１代表色と第２代表色を決定する場合、クラスタリング部５０は、最大クラスタ７４の重心点に対応する色を第１代表色７５とし、２番目に多くの画素を含む第２クラスタ７６の重心点に対応する色を、第２代表色７７とすることができる。
【００５７】
ステップＳ００７では、クラスタリング部５０は、ステップＳ００６で決定された第１代表色７５及び第２代表色７７に関する情報を、第２情報として文章作成部５２に出力した後、一連の代表色抽出処理を終了する。
【００５８】
代表色の算出が終了すると、図２に示す画像処理部４０は、代表色に関する第２情報を用いてテキストを作成し、画像データ６０に付与する。
【００５９】
例えば、文章作成部５２は、記憶部２８から図９（ａ）に示す文章テンプレートを読み出し、文章テンプレートの｛日時｝に、画像データ６０の生成日時に対応する単語（例えば「２０１２年３月１０日」）を適用する。この場合、解析部４４は、画像データ６０の生成日時に関する情報をメモリカード３４等から検索し、文章作成部５２に出力することができる。
【００６０】
また、文章作成部５２は、図９（ａ）に示す文章テンプレートの｛形容詞｝に、画像データ６０の代表色に対応する単語を適用する。文章作成部５２は、記憶部２８から図８に示す対応情報を読み出して、文章テンプレートに適用する。例えば、クラスタリング部５０によって算出された第２情報が第１代表色（例えば「色００３」）のみである場合、文章作成部５２は、図８（ａ）に示す対応情報から、第１代表色に対応する単語（例えば「可憐な」）を選択し、文章テンプレートの｛形容詞｝に適用する。また、クラスタリング部５０によって算出された第２情報が第１代表色と第２代表色を含む場合、文章作成部５２は、図８（ｂ）に示す対応情報から、第１代表色と第２代表色の組合せに対応する単語を選択し、文章テンプレートの｛形容詞｝に適用する。
【００６１】
図２に示す文章作成部５２は、テキストを作成した後、テキストと画像データ６０を関連づけて、文章付加部５４に出力する。文章付加部５４は、文章作成部によって生成されたテキストの表示方法（フォント、色、表示位置）を決定し、画像データとテキストを合成した新たな画像データを生成し、必要に応じて表示部２６に表示させる。図１０は、一連の処理によってテキストを付与された画像データ８０を表示したものである。
【００６２】
以上のように、本実施形態に係る撮像装置１０及びこれに備えられる画像処理部４０は、クラスタリングを実施して画像データの代表色を決定し、代表色に関する第２情報を用いてテキストを生成する。画像処理部４０は、クラスタリングの手法を用いることにより、代表色のバリエーションを維持したままで、類似色の広がり（ヒストグラムの裾野）を考慮して代表色を決定することができる。すなわち、予め定められたカテゴリーに分類するような手法とは異なり、クラスタリングを用いる画像処理部４０は、分類基準（分け方）自体が画像データに応じて最適化されるため、画像データの違いに応じて多様性を持った代表色（第２情報）を決定できる。したがって、クラスタリングによって決定された代表色を用いてテキストを生成することにより、画像処理部４０は、撮影者又は画像の鑑賞者の感性に、より好適に適合するテキストを生成することができる。
【００６３】
また、画像処理部４０は、複数のクラスタに分類して代表色を求めるため、画像データにおける色情報の平均値から代表色を求める手法とは異なり、代表色がグレー系の色に集中してしまう問題を回避し、撮影者の感覚に合った代表色を、画像データから算出することができる。例えば、図７に示すように、最大クラスタ７４の重心点を代表色とすることにより、画像において最も印象が強い色を、代表色とすることができる。
【００６４】
また、クラスタリングを用いる画像処理部４０によれば、クラスタの数を調整することにより、複数の代表色を好適に算出することが可能である。例えば、図７に示すように、最大クラスタ７４の重心点を第１代表色７５とし、第２クラスタ７６の重心点を第２代表色７７とすることにより、画像中で印象が強く、かつ、適度に異なる２つの代表色を決定することができる。
【００６５】
さらに、画像処理部４０は、領域抽出部４８が抽出した主要領域に対してクラスタリングを実施し、そのクラスタリングの結果から代表色を求めることができる。撮影者又は画像の鑑賞者は、画像の全体ではなく、一部分から強い印象を受ける場合があるため、主要領域から代表色を求めることにより、画像処理部４０は、撮影者等の感性により適合するテキストを生成できる。また、撮影者又は画像の鑑賞者は、画像の全体からイメージを形成する場合もあるので、画像処理部４０は、主要領域の抽出に失敗した場合は画像データ全体から代表色を求めることにより、撮影者等の感性に適合するテキストを生成できる。
【００６６】
上述の実施形態では、画像処理部４０を備える撮像装置１０を例に挙げて、画像処理装置の説明を行ったが、画像処理部４０を備える画像処理装置はこれに限定されず、パーソナルコンビュータ、携帯電話等、撮像部を必ずしも有しない装置であっても良い。また、画像データから第１情報を抽出し、第１情報に対してクラスタリングを実施し、クラスタリングの結果を用いてテキストを生成するプログラムは、撮像装置１０だけでなく、画像処理を実施するその他の情報機器にも、実装することができる。
【符号の説明】
【００６７】
１０…撮像装置
１２…撮像部
１４…光学系
１６…撮像素子
１８…Ａ／Ｄ変換部
２０…カメラ制御部
２２…操作部
２４…バス
２６…表示部
２８…記憶部
３０…バッファメモリ部
３２…通信部
３４…メモリカード
４０…画像処理部
４２…画像データ入力部
４４…解析部
４６…色情報抽出部
４８…領域抽出部
５０…クラスタリング部
５２…文章作成部
５４…文章付加部
６０，８０…画像データ
６２…第１情報
６４…主要領域
６６…主要第１情報
７４…最大クラスタ
７５…第１代表色
７６…第２クラスタ
７７…第２代表色
【図１】
2014035699.tif 000004
【図２】
2014035699.tif 000005
【図３】
2014035699.tif 000006
【図４】
2014035699.tif 000007
【図５】
2014035699.tif 000008
【図６】
2014035699.tif 000009
【図７】
2014035699.tif 000010
【図８】
2014035699.tif 000011
【図９】
2014035699.tif 000012
【図１０】
2014035699.tif 000013