(57)【要約】      （修正有）【課題】複数の画像から抽出された色（代表色）を表示することで、色を起点とした新しい画像の楽しみ方を提供する。【解決手段】本発明の画像処理装置１は、画像入力部１１により入力された画像３毎に、各画像内において中心的に用いられている色である特徴色を抽出する特徴色抽出部１２と、特徴色抽出部１２により抽出された全ての画像３の特徴色から、それらを代表する色である代表色を抽出する代表色抽出部１３と、代表色抽出部１３により抽出された代表色を表示部に表示する表示制御部１４と、を備える。【選択図】図１
2019139488.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を入力する画像入力手段と、
入力された画像毎に、当該画像において中心的に用いられている色を、特徴色として抽出する特徴色抽出手段と、
抽出された全ての画像の特徴色から、それらを代表する色である代表色を抽出する代表色抽出手段と、
前記代表色を表示する表示手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記表示手段は、前記代表色とともに、当該代表色と同一または類似の色を多く含む前記画像を表示することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記代表色抽出手段は、
各画像の特徴色の色相に基づいて、各画像を色相区分に分類分けする手段と、
分類分けされた画像数が多い１又は複数の色相区分を決定する手段と、
決定した色相区分毎に、当該色相区分に属する画像の特徴色に基づいて代表色を算出する手段と、
を備えることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
コンピュータにより実行される画像処理方法であって、
複数の画像を入力する画像入力ステップと、
入力された画像毎に、当該画像において中心的に用いられている色を、特徴色として抽出する特徴色抽出ステップと、
抽出された全ての画像の特徴色から、それらを代表する色である代表色を抽出する代表色抽出ステップと、
前記代表色を表示する表示ステップと、
を含むことを特徴とする画像処理方法。
【請求項５】
コンピュータを、
複数の画像を入力する画像入力手段、
入力された画像毎に、当該画像において中心的に用いられている色を、特徴色として抽出する特徴色抽出手段、
抽出された全ての画像の特徴色から、それらを代表する色である代表色を抽出する代表色抽出手段、
前記代表色を表示する表示手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、詳細には、画像から特徴色を抽出する技術に関する。
【背景技術】
【０００２】
従来から、画像において中心的に用いられている色（例えば、画像内に最も多く含まれる色）である特徴色を抽出し、活用することが行われている。例えば、画像を装飾（画像の背景や枠線などの設定）する際に、装飾の色として画像から抽出した特徴色や特徴色と相性の良い色を用いることで、画像に対して違和感のない装飾を施すことが行われている。
【０００３】
また特許文献１には、入力画像を解析することによって入力画像の特徴色を取得し、特徴色に応じた装飾画像を選択し、選択した装飾画像を入力画像に付加する画像処理装置、が開示されており、個々の入力画像の特徴色に基づいて、個々の入力画像に付加する装飾画像を容易に選ぶことを可能としている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１０８１３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら従来、特許文献１のように、画像から抽出した特徴色の情報は、画像の装飾等に補助的に活用されることがほとんどであり、抽出した特徴色それ自体を見て楽しむようなアプリケーションは存在しない。また、特許文献１のように、１つの画像に対してその画像の特徴色を抽出するものは存在するが、複数の画像（画像群）を対象として特徴色を抽出する技術は存在しない。
【０００６】
本発明は、前述した問題点に鑑みてなされたものであり、複数の画像から抽出された色（代表色）を表示することで、色を起点とした新しい画像の楽しみ方をユーザに提供することを目的とする。
【課題を解決するための手段】
【０００７】
前述した目的を達成するための第１の発明は、複数の画像を入力する画像入力手段と、入力された画像毎に、当該画像において中心的に用いられている色を、特徴色として抽出する特徴色抽出手段と、抽出された全ての画像の特徴色から、それらを代表する色である代表色を抽出する代表色抽出手段と、前記代表色を表示する表示手段と、を備えることを特徴とする画像処理装置である。
【０００８】
第１の発明によれば、複数の画像を、複数の画像から抽出された色（代表色）の表示によって楽しむことができ、色を起点とした新しい画像の楽しみ方をユーザに提供できる。また、抽出された代表色を、画像の整理・分類に役立てたり、統一感のあるコラージュ画像の作成に役立てたりすることができる。また、入力された複数の画像に基づいてフォトブック等を作成する場合において、画像に合ったデザインの選定（例えば表紙や見開きページの背景色の選定）を、抽出された代表色を参考に行うことなどができる。
【０００９】
また、前記表示手段は、前記代表色とともに、当該代表色と同一または類似の色を多く含む前記画像を表示するようにしてもよい。これにより、代表色とともに、代表色を主要な色として含む画像を表示させることができ、色を起点とした新しい画像の見せ方が実現される。
【００１０】
また、前記代表色抽出手段は、各画像の特徴色の色相に基づいて、各画像を色相区分に分類分けする手段と、分類分けされた画像数が多い１又は複数の色相区分を決定する手段と、決定した色相区分毎に、当該色相区分に属する画像の特徴色に基づいて代表色を算出する手段と、を備えるように構成してもよい。これにより、画像群の代表色を好適に抽出することができる。
【００１１】
第２の発明は、コンピュータにより実行される画像処理方法であって、複数の画像を入力する画像入力ステップと、入力された画像毎に、当該画像において中心的に用いられている色を、特徴色として抽出する特徴色抽出ステップと、抽出された全ての画像の特徴色から、それらを代表する色である代表色を抽出する代表色抽出ステップと、前記代表色を表示する表示ステップと、を含むことを特徴とする画像処理方法である。
【００１２】
第２の発明によれば、複数の画像を、複数の画像から抽出された色（代表色）の表示によって楽しむことができ、色を起点とした新しい画像の楽しみ方をユーザに提供できる。また、抽出された代表色を、画像の整理・分類に役立てたり、統一感のあるコラージュ画像の作成に役立てたりすることができる。また、入力された複数の画像に基づいてフォトブック等を作成する場合において、画像に合ったデザインの選定（例えば表紙や見開きページの背景色の選定）を、抽出された代表色を参考に行うことなどができる。
【００１３】
第３の発明は、コンピュータを、複数の画像を入力する画像入力手段、入力された画像毎に、当該画像において中心的に用いられている色を、特徴色として抽出する特徴色抽出手段、抽出された全ての画像の特徴色から、それらを代表する色である代表色を抽出する代表色抽出手段、前記代表色を表示する表示手段、として機能させることを特徴とするプログラムである。第３の発明のプログラムを汎用のコンピュータにインストールすることによって、第１の発明の画像処理装置を得ることができる。
【発明の効果】
【００１４】
本発明によれば、複数の画像を、複数の画像から抽出された色（代表色）の表示によって楽しむことができ、色を起点とした新しい画像の楽しみ方をユーザに提供できる。
【図面の簡単な説明】
【００１５】
【図１】画像処理装置１の機能構成の例を示す図
【図２】画像処理装置１のハードウェア構成の例を示す図
【図３】画像処理装置１の処理の流れを示すフローチャート
【図４】特徴色の抽出の例を示す図
【図５】代表色抽出処理の流れを示すフローチャート
【図６】ＨＳＶ変換の例を示す図
【図７】色相を複数の色相区分に分割した図
【図８】色相区分に画像を分類分けした例を示す図
【図９】分類分けされた画像数が多い色相区分を決定する例を示す図
【図１０】代表色を算出する例を示す図
【図１１】代表色を表示する表示例を示す図
【図１２】代表色を表示する他の表示例を示す図
【発明を実施するための形態】
【００１６】
以下図面に基づいて、本発明の実施形態を詳細に説明する。
【００１７】
（画像処理装置１の機能構成）
図１は、本実施形態に係る画像処理装置１の機能構成の例を示す図である。図１に示すように、画像処理装置１は、画像入力部１１、特徴色抽出部１２、代表色抽出部１３、表示制御部１４等の機能を備える。
【００１８】
画像入力部１１は、図１に示すように、複数の画像３（３−１、３−２、・・・）を入力する。入力される画像３は、画像処理装置１の記憶部２２に予め記憶されている画像、画像処理装置１が備えるカメラ等で撮影し記憶部２２に記憶されている画像、或いは、外部のコンピュータ等からネットワークまたは記憶媒体を介して取得した画像など、どのような画像でもよい。
【００１９】
特徴色抽出部１２は、画像入力部１１により入力された画像３毎に、各画像内において中心的に用いられている色（以下、「特徴色５」と表記）を抽出する。本実施形態では、１つの画像に対して１つの色（特徴色５）を抽出するものとする。
【００２０】
代表色抽出部１３は、特徴色抽出部１２により抽出された全ての画像３の特徴色５から、さらにそれらを代表（象徴）する色（以下、「代表色７」と表記）を１又は複数色抽出する。代表色７は、全ての画像３の特徴色５を統計解析することで得られる。代表色７を抽出する処理の詳細は、図５において後述する。
【００２１】
表示制御部１４は、代表色抽出部１３により抽出された１又は複数の代表色７を表示部２６（表示画面）に表示する（図１０参照）。この際、代表色７とともに、代表色７と同一又は類似の色を多く含む画像３を表示してもよい（図１１参照）。
【００２２】
（画像処理装置１のハードウェア構成）
図２は、画像処理装置１のハードウェア構成の例を示す図である。画像処理装置１は、例えば、デスクトップＰＣ、ノートＰＣ、スマートフォン、タブレット端末等の汎用のコンピュータであるが、用途、目的に応じて様々な構成を採ることが可能である。
【００２３】
図２に示すように、画像処理装置１は、制御部２１、記憶部２２、メディア入出力部２３、通信制御部２４、入力部２５、表示部２６、周辺機器Ｉ／Ｆ部２７等が、バス２８を介して接続される。
【００２４】
制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成される。ＣＰＵは、記憶部２２、ＲＯＭ、記憶媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス２８を介して接続された各装置を駆動制御し、画像処理装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、揮発性メモリであり、ロードしたプログラムや、データ等を一時的に保持すると共に、制御部２１が各処理を行うために使用するワークエリアを備える。
【００２５】
記憶部２２は、ＨＤＤ（Hard Disk Drive）等であり、制御部２１が実行するプログラムや、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納されている。これらのプログラムコードは、制御部２１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。
【００２６】
メディア入出力部２３は、例えば、ＣＤドライブ、ＤＶＤドライブ、ＭＯドライブ、フロッピー（登録商標）ディスクドライブ、等のメディア入出力装置であり、画像等のデータの入出力を行う。
通信制御部２４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インターフェースであり、ネットワークを介して、他の装置間との通信制御を行う。
【００２７】
入力部２５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部２５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。表示部２６は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。尚、入力部２５及び表示部２６は、タッチパネルディスプレイのように、一体となっていても良い。
【００２８】
周辺機器Ｉ／Ｆ（Interface）部２７は、コンピュータと周辺機器とのデータ送受信を行うためのポートやアンテナ等であり、コンピュータは周辺機器Ｉ／Ｆ部２７を介して周辺機器とのデータの送受信を行う。周辺機器との接続形態は、有線（例えば、ＵＳＢ（Universal Serial Bus）等）、無線（例えば、Bluetooth（登録商標）等）を問わない。バス２８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。その他、図示は省略するが、カメラ、スピーカ等のデバイスを備える。
【００２９】
（画像処理装置１の動作）
次に、図３〜図１２を参照して、画像処理装置１の動作の流れを説明する。
【００３０】
図３は、画像処理装置１の動作の流れを示すフローチャートである。
まず、画像処理装置１の制御部２１は、複数の画像３を入力する（図３のステップＳ１）。入力される画像３は、画像処理装置１の記憶部２２に予め記憶されている画像、画像処理装置１が備えるカメラ等で撮影し記憶部２２に記憶されている画像、或いは、外部のコンピュータ等からネットワークまたは記憶媒体を介して取得した画像など、どのような画像でもよい。
【００３１】
続いて、画像処理装置１の制御部２１は、ステップＳ１において入力された画像３毎に、各画像の特徴色５を抽出する（図３のステップＳ２）。特徴色を抽出する処理は、特に限定されず、どのような手法を用いてもよい。例えば、画像に含まれる全画素を端から走査し、それぞれの色の画素数をカウントし、最もカウント数の多い色を特徴色として抽出することができる。この場合、人の見え方に配慮し、画像中央の所定領域の画素をそれ以外の領域の画素より重みを大きくしてカウントしたり、或いは、画像中央の所定領域の画素のみをカウントの対象としてもよい。また、計算数削減のために、画像を走査する際、画素を所定数飛ばしながら走査するようにしてもよい。また、類似する色同士を１つの色と見なしてカウントしてもよい。
【００３２】
図４は、特徴色の抽出の例を示す図である。図４に示すように、入力された各画像３（３−１、３−２、３−３、・・・）に対して、それぞれ、特徴色５（５−１、５−２、５−３、・・・）が１色抽出される。
【００３３】
続いて、画像処理装置１の制御部２１は、ステップＳ２により抽出された全ての画像３の特徴色５から、それらを代表（象徴）する色である代表色７を１又は複数色抽出する（図３のステップＳ３）。代表色７は、以下のように、特徴色５を統計解析することで得られる。なお、統計解析の方法は以下の例に限定されるものではない。
【００３４】
（代表色抽出処理）
図５のフローチャートを参照して、代表色を抽出する処理の流れを説明する。
まず、画像処理装置１の制御部２１は、抽出された全ての画像３（３−１、３−２、・・・）の特徴色５（５−１、５−２、・・・）を、ＲＧＢ色空間からＨＳＶ色空間に変換する（図５のステップＳ１１）。ＨＳＶ色空間に変換すると、色相Ｈ・彩度Ｓ・明度Ｖの３要素で色が表現されるようになる。例えば、図４の特徴色５−１（カラーコード「＃９ｅ６ｄ１８」）をＨＳＶ色空間に変換すると、図６に示すように、特徴色５−１は「色相Ｈ＝３８、彩度Ｓ＝８５、明度Ｖ＝６２」と表されるようになる。
【００３５】
続いて、画像処理装置１の制御部２１は、０〜３６０の値で表される色相を複数の色相区分に分割する（図５のステップＳ１２）。図７は、０〜３６０で表される色相を２０刻みで分割した例を示す図である。図の例では、色相が１８の色相区分に分割されている。
【００３６】
そして、画像処理装置１の制御部２１は、各画像３の特徴色５の色相Ｈに基づいて、各画像３を色相区分に分類分けする（図５のステップＳ１３）。例えば、ある画像３の特徴色５の色相Ｈが「３８」の場合には、制御部２１は、この画像３を、図７の色相区分２（色相２０〜４０）に分類する。また、ある画像３の特徴色５の色相Ｈが「１９０」の場合には、制御部２１は、この画像３を、図７の色相区分１０（色相１８０〜２００）に分類する。このようにして、制御部２１は、全ての画像３を色相区分に分類分けする。
【００３７】
図８は、色相区分に画像を分類分けした例を示す図である。図の例では、色相区分２（色相２０〜４０）、色相区分５（色相８０〜１００）、色相区分６（色相１００〜１２０）、色相区分７（色相１２０〜１４０）、色相区分９（１６０〜１８０）、色相区分１０（１８０〜２００）、色相区分１８（色相３４０〜３６０）に、それぞれ、画像群３Ａ、３Ｂ、３Ｃ、３Ｄ、３Ｅ、３Ｆ、３Ｇの各画像が分類分けされている。
【００３８】
続いて、画像処理装置１の制御部２１は、分類分けされた画像数が多い１又は複数の色相区分を決定する（図５のステップＳ１４）。例えば図８のように画像３が分類分けされた場合において、３つの色相区分を決定するとする。この場合、制御部２１は、図９に示すように、分類分けされた画像数が最も多い色相区分６（画像数＝４）と、次に画像数が多い色相区分２（画像数＝３）、色相区分５（画像数＝３）の計３つの色相区分を決定する。
【００３９】
そして、画像処理装置１の制御部２１は、ステップＳ１４において決定した色相区分毎に、各色相区分に属する画像３に基づき代表色７を算出する（図５のステップＳ１５）。具体的には、色相区分に属する全ての画像３の特徴色５の色相Ｈ、彩度Ｓ、明度Ｖの平均を算出し、ＲＧＢ色空間に変換して代表色７を求める。
【００４０】
図１０は、ステップＳ１４において決定された色相区分６（図８、９参照）を対象として、代表色を算出する例を示す図である。図に示すように、色相区分６に属する４つの画像３Ｃ−１、３Ｃ−２、３Ｃ−３、３Ｃ−４の特徴色５Ｃ−１、５Ｃ−２、５Ｃ−３、５Ｃ−４の色相Ｈ・彩度Ｓ・明度Ｖの平均値を算出し（図の例では「色相Ｈ＝１１２、彩度Ｓ＝３４、明度Ｖ＝３６」）、ＲＧＢ色空間に変換して代表色７（カラーコード「＃４０５ｂ３ｃ」）を求める。ステップＳ１４において決定された色相区分２、６についても同様の処理を行い、代表色をそれぞれ算出する。なお、色相については区分内中央の値を用いて、代表色を算出してもよい。
【００４１】
以上、図５のフローチャートを参照しながら、代表色抽出処理について説明した。図３のフローチャートの説明に戻る。
画像処理装置１の制御部２１は、図３のステップＳ３（図５のステップＳ１１〜Ｓ１５）において抽出した１又は複数の代表色７を表示部２６（表示画面）に表示する（図３のステップＳ４）。
【００４２】
またこの際、制御部２１は、代表色７とともに、代表色７と同一又は類似の色を多く含む画像３を表示部２６に表示してもよい。例えば、制御部２１は、全ての画像３について、代表色７と同一又は類似の色の画素数をカウントし、カウント数が多い順に所定の枚数の画像３を選択し、表示部２６に表示する。なお、代表色７と同一又は類似の色とは、例えば、ＲＧＢ空間（３次元空間）における代表色７とのユークリッド距離が所定の距離未満の色のことをいう。
【００４３】
或いは、制御部２１は、代表色７を算出した色相区分に属する画像（図９の例では、画像群３Ａ、３Ｂ、３Ｃ）から全部または一部の画像を選択し、代表色７とともに表示部２６に表示してもよい。
【００４４】
図１１は、代表色７を表示する表示例を示す図である。図に示すように、表示部２６にステップＳ２において抽出した代表色７が表示される。図の例では、抽出した３つの代表色７−１、７−２、７−３（代表色で塗りつぶした矩形画像）がカラーコード（「＃６ｃ７ｆ２５」「＃８８ｃ４ｆ８」「＃ａｃａｅ４３」）とともに表示されている。
【００４５】
図１２は、代表色７とともに画像３を表示する表示例を示す図である。図の例では、代表色表示エリア２６Ａに、抽出した３つの代表色７−１、７−２、７−３（代表色で塗りつぶした矩形画像）が表示され、画像表示エリア２６Ｂに、代表色７−１、７−２、７−３と同一又は類似の色を多く含む画像３が９枚ランダムに選択され表示されている。なお、図示は省略するが、制御部２１は、画像３を表示する際に、代表色７に応じた装飾を施してもよい。例えば、予め設定されている代表色７と相性の良い色の飾り枠を用いて画像３に装飾を施すなどしてもよい。
【００４６】
以上、画像処理装置１の処理について説明した。本実施形態によれば、複数の画像３を入力し（ステップＳ１）、入力された画像３毎に、各画像の特徴色５を抽出し（ステップＳ２）、抽出された全ての画像３の特徴色５から、それらを代表する代表色７を抽出し（ステップＳ３）、抽出された代表色７を表示部２６（表示画面）に表示する（ステップＳ４）。これにより、複数の画像を、複数の画像から抽出された色（代表色）の表示によって楽しむことができ、色を起点とした新しい画像の楽しみ方をユーザに提供できる。また、抽出された代表色を、画像の整理・分類に役立てたり、統一感のあるコラージュ画像の作成に役立てたりすることができる。また、入力された複数の画像に基づいてフォトブック等を作成する場合において、画像に合ったデザインの選定（例えば表紙や見開きページの背景色の選定）を、抽出された代表色を参考に行うことなどができる。
【００４７】
以上、添付図面を参照しながら、本発明に係る画像処理装置１等の好適な実施形態について説明したが、本発明はかかる例に限定されない。その他、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００４８】
１：画像処理装置
３：画像
５：特徴色
７：代表色
１１：画像入力部
１２：特徴色抽出部
１３：代表色抽出部
１４：表示制御部
２６：表示部（表示画面）
２６Ａ：代表色表示エリア
２６Ｂ：画像表示エリア
【図１】
2019139488.tif 000003
【図２】
2019139488.tif 000004
【図３】
2019139488.tif 000005
【図４】
2019139488.tif 000006
【図５】
2019139488.tif 000007
【図６】
2019139488.tif 000008
【図７】
2019139488.tif 000009
【図８】
2019139488.tif 000010
【図９】
2019139488.tif 000011
【図１０】
2019139488.tif 000012
【図１１】
2019139488.tif 000013
【図１２】
2019139488.tif 000014