(57)【要約】【課題】元の撮影画像に含まれていた光の具合などを反映させて、自然にとけ込んだリアルな合成画像を得る。【解決手段】青色のカーテン５２をデジタルカメラ１にて撮影し、その撮影画像のカーテン部分に別のカーテンの画像を嵌め込んで合成する場合において、前記撮影画像の中から青色情報を有する部分が合成対象部分として抽出され、その合成対象部分に別のカーテン画像が嵌め込まれて合成画像が作成される。その際に、前記撮影画像の合成対象物部分からは輝度成分が抽出され、前記別の画像からは色差成分が抽出されて合成画像が作成される。これにより、元の撮影画像に含まれていた光の具合などを反映させることができ、自然にとけ込んだリアルな合成画像を得ることができる。【選択図】      図４
2005210500.tif 000002
【特許請求の範囲】
【請求項１】
特定の色を有する合成対象を撮影する撮影手段と、
この撮影手段によって撮影された画像の中から前記合成対象に対応した部分を前記特定色の情報に基づいて抽出する合成対象抽出手段と、
この合成対象抽出手段によって抽出された前記撮影画像の合成対象部分に別の画像を嵌め込んで合成画像を作成する際に、前記撮影画像の合成対象物部分から抽出された輝度成分と前記別の画像から抽出された色差成分とを画素単位で組み合わせて合成画像を作成する画像合成手段と、
この画像合成手段によって作成された合成画像を表示する表示手段と
を具備したことを特徴とする撮像装置。
【請求項２】
特定の色を有する合成対象を撮影する撮影手段と、
この撮影手段によって撮影された画像の中から前記合成対象に対応した部分を前記特定色の情報に基づいて抽出する合成対象抽出手段と、
各種パターン画像を記憶した記憶手段と、
この記憶手段に記憶された各種パターン画像のうちの任意の１つを選択する選択手段と、
前記合成対象抽出手段によって抽出された前記撮影画像の合成対象部分に前記選択手段によって選択されたパターン画像を所定単位で並べて合成画像を作成する際に、前記撮影画像の合成対象物部分から抽出された輝度成分と前記パターン画像から抽出された色差成分とを画素単位で組み合わせて合成画像を作成する画像合成手段と、
この画像合成手段によって作成された合成画像を表示する表示手段と
を具備したことを特徴とする撮像装置。
【請求項３】
特定の色を有する合成対象を撮影する撮影手段と、
この撮影手段によって撮影された画像の中から前記合成対象に対応した部分を前記特定色の情報に基づいて抽出する合成対象抽出手段と、
この合成対象抽出手段によって抽出された前記撮影画像の合成対象部分に別の画像を嵌め込んで合成画像を作成する際に、前記撮影画像の各画素の情報を特定の色空間における表色系の情報に変換し、前記撮影画像の合成対象部分から抽出された輝度成分に相当する情報と前記別の画像から抽出された色差成分に相当する情報とを画素単位で組み合わせて合成画像を作成する画像合成手段と、
この画像合成手段によって作成された合成画像を表示する表示手段と
を具備したことを特徴とする撮像装置。
【請求項４】
前記特定の色空間における表色系とは、Ｌ＊ａ＊ｂ＊表色系またはＬ＊Ｃ＊ｈ表色系であることを特徴とする請求項３記載の撮像装置。
【請求項５】
特定の色を有する合成対象を撮影する撮影手段と、
この撮影手段によって撮影された画像の中から前記合成対象に対応した部分を前記特定色の情報に基づいて抽出する合成対象抽出手段と、
前記撮影画像の合成対象部分に別の画像を嵌め込んで合成画像を作成する際に、前記撮影画像の合成対象部分から抽出された特定の色空間における表色系の情報とその合成対象部分の原素材色としての表色系の情報との差分を求め、その差分を前記特定の色空間の変位量として前記別の画像に画素単位で反映させて合成画像を作成する画像合成手段と、
この画像合成手段によって作成された合成画像を表示する表示手段と
を具備したことを特徴とする撮像装置。
【請求項６】
前記特定の色空間における表色系とは、Ｌ＊ａ＊ｂ＊表色系またはＬ＊Ｃ＊ｈ表色系であることを特徴とする請求項５記載の撮像装置。
【請求項７】
撮影画像の中の所定の部分に別の画像を合成するための画像合成方法であって、
特定の色を有する合成対象を撮影した画像の中から前記合成対象に対応した部分を前記特定色の情報に基づいて抽出し、
この抽出された合成対象部分に別の画像を嵌め込で合成画像を作成する際に、前記撮影画像の合成対象物部分から抽出された輝度成分と前記別の画像から抽出された色差成分とを画素単位で組み合わせて合成画像を作成することを特徴とする画像合成方法。
【請求項８】
撮影画像の中の所定の部分に別の画像を合成するための画像合成方法であって、
特定の色を有する合成対象を撮影した画像の中から前記合成対象に対応した部分を前記特定色の情報に基づいて抽出し、
予め用意された各種パターン画像の中の１つを選択し、
前記抽出された合成対象部分に前記選択されたパターン画像を所定単位で並べて合成画像を作成する際に、前記撮影画像の合成対象物部分から抽出された輝度成分と前記パターン画像から抽出された色差成分とを画素単位で組み合わせて合成画像を作成することを特徴とする画像合成方法。
【請求項９】
撮影画像の中の所定の部分に別の画像を合成するための画像合成方法であって、
特定の色を有する合成対象を撮影した画像の中から前記合成対象に対応した部分を前記特定色の情報に基づいて抽出し、
この抽出された合成対象部分に別の画像を嵌め込で合成画像を作成する際に、前記撮影画像の各画素の情報を特定の色空間における表色系の情報に変換し、前記撮影画像の合成対象部分から抽出された輝度成分に相当する情報と前記別の画像から抽出された色差成分に相当する情報とを画素単位で組み合わせて合成画像を作成することを特徴とする画像合成方法。
【請求項１０】
前記特定の色空間における表色系とは、Ｌ＊ａ＊ｂ＊表色系またはＬ＊Ｃ＊ｈ表色系であることを特徴とする請求項９記載の画像合成方法。
【請求項１１】
撮影画像の中の所定の部分に別の画像を合成するための画像合成方法であって、
特定の色を有する合成対象を撮影した画像の中から前記合成対象に対応した部分を前記特定色の情報に基づいて抽出し、
この抽出された合成対象部分に別の画像を嵌め込んで合成画像を作成する際に、前記撮影画像の合成対象部分から抽出された特定の色空間における表色系の情報とその合成対象部分の原素材色としての表色系の情報との差分を求め、その差分を前記特定の色空間の変位量として前記別の画像に画素単位で反映させて合成画像を作成することを特徴とする画像合成方法。
【請求項１２】
前記特定の色空間における表色系とは、Ｌ＊ａ＊ｂ＊表色系またはＬ＊Ｃ＊ｈ表色系であることを特徴とする請求項１１記載の画像合成方法。
【請求項１３】
撮像装置に搭載されたコンピュータによって実行されるプログラムであって、
前記コンピュータに、
特定の色を有する合成対象を撮影する機能と、
その撮影画像の中から前記合成対象に対応した部分を前記特定色の情報に基づいて抽出する機能と、
この抽出された合成対象部分に別の画像を嵌め込で合成画像を作成する際に、前記撮影画像の合成対象物部分から抽出された輝度成分と前記別の画像から抽出された色差成分とを画素単位で組み合わせて合成画像を作成する機能と、
この作成された合成画像を表示する機能と
を実現させることを特徴とするプログラム。
【請求項１４】
撮像装置に搭載されたコンピュータによって実行されるプログラムであって、
前記コンピュータに、
特定の色を有する合成対象を撮影する機能と、
その撮影画像の中から前記合成対象に対応した部分を前記特定色の情報に基づいて抽出する機能と、
各種パターン画像を記憶したメモリから任意に選択された１つのパターン画像を読み出す機能と、
前記撮影画像の合成対象部分に前記選択されたパターン画像を所定単位で並べて合成画像を作成する際に、前記撮影画像の合成対象物部分から抽出された輝度成分と前記パターン画像から抽出された色差成分とを画素単位で組み合わせて合成画像を作成する機能と、
この作成された合成画像を表示する機能と
を実現させることを特徴とするプログラム。
【請求項１５】
撮像装置に搭載されたコンピュータによって実行されるプログラムであって、
前記コンピュータに、
特定の色を有する合成対象を撮影する機能と、
その撮影画像の中から前記合成対象に対応した部分を前記特定色の情報に基づいて抽出する機能と、
この抽出された合成対象部分に別の画像を嵌め込んで合成画像を作成する際に、前記撮影画像の各画素の情報を特定の色空間における表色系の情報に変換し、前記撮影画像の合成対象部分から抽出された輝度成分に相当する情報と前記別の画像から抽出された色差成分に相当する情報とを画素単位で組み合わせて合成画像を作成する機能と、
この作成された合成画像を表示する機能と
を実現させることを特徴とするプログラム。
【請求項１６】
前記特定の色空間における表色系とは、Ｌ＊ａ＊ｂ＊表色系またはＬ＊Ｃ＊ｈ表色系であることを特徴とする請求項１５記載のプログラム。
【請求項１７】
撮像装置に搭載されたコンピュータによって実行されるプログラムであって、
前記コンピュータに、
特定の色を有する合成対象を撮影する機能と、
その撮影画像の中から前記合成対象に対応した部分を前記特定色の情報に基づいて抽出する機能と、
この抽出された合成対象部分に別の画像を嵌め込んで合成画像を作成する際に、前記撮影画像の合成対象部分から抽出された特定の色空間における表色系の情報とその合成対象部分の原素材色としての表色系の情報との差分を求め、その差分を前記特定の色空間の変位量として前記別の画像に画素単位で反映させて合成画像を作成する機能と、
この作成された合成画像を表示する機能と
を実現させることを特徴とするプログラム。
【請求項１８】
前記特定の色空間における表色系とは、Ｌ＊ａ＊ｂ＊表色系またはＬ＊Ｃ＊ｈ表色系であることを特徴とする請求項１７記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデシタルカメラ等の撮像装置に係り、特に撮影画像の中に別の画像を嵌め込んで合成画像の作成を行う場合に用いて好適な撮像装置と、この撮像装置に用いられる画像合成方法及びプログラムに関する。
【背景技術】
【０００２】
画像合成の手法の一つとして、クロマキーと呼ばれるものがある。クロマキーは、被写体と背景の色相（クロミナンス）の差から作成したキー信号を使用してビデオ画像の合成などを行うものである。
【０００３】
例えば、人物を被写体とした画像であれば、その画像から前記キー信号により人物を除く背景部分を切り取り、そこに別の背景画像を嵌め込んで合成画像を作成する場合などに利用される。このクロマキーでは、一般的に人間の肌色の補色である青色を背景（ブルーバックと呼ばれる）としている。
【０００４】
従来、このようなクロマキーを利用した画像合成に関する種々の提案がなされている。例えば、特許文献１では、特定色のスクリーンを背景にした被写体をビデオカメラで撮影し、その撮影画像とユーザが任意に選択した背景画像とをクロマキー処理により合成し、その合成画像をビデオテープに記録することが開示されている。
【特許文献１】特開平８−７９７９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記特許文献１などで知られている一般的な画像合成方法では、撮影画像の合成対象部分に別の画像を単純に嵌め込むだけの合成である。このため、例えば部屋の窓に掛けられたカーテンをカメラで撮影し、その撮影画像に別のカーテン画像を合成した場合に、部屋の光の具合などがまったく反映されず、前記別のカーテン画像が浮かび上がったような不自然な合成画像しか得られない。
【０００６】
本発明は前記のような点に鑑みなされたもので、元の撮影画像に含まれていた光の具合などを反映させて、自然にとけ込んだリアルな合成画像を得ることのできる撮像装置、画像合成方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
（１）  本発明の撮像装置は、特定の色を有する合成対象を撮影する撮影手段と、この撮影手段によって撮影された画像の中から前記合成対象に対応した部分を前記特定色の情報に基づいて抽出する合成対象抽出手段と、この合成対象抽出手段によって抽出された前記撮影画像の合成対象部分に別の画像を嵌め込で合成画像を作成する際に、前記撮影画像の合成対象物部分から抽出された輝度成分と前記別の画像から抽出された色差成分とを画素単位で組み合わせて合成画像を作成する画像合成手段と、この画像合成手段によって作成された合成画像を表示する表示手段とを具備して構成される。
【０００８】
このような構成によれば、特定の色を有する合成対象を撮影することで、その特定色の情報に基づいて前記撮影画像の中から前記合成対象に対応した部分が抽出され、その合成対象部分に別の画像が嵌め込まれて合成画像が作成される。
【０００９】
その際に、前記撮影画像の合成対象物部分からは輝度成分が抽出され、前記別の画像からは色差成分が抽出されて合成画像が作成される。これにより、元の撮影画像に含まれていた光の具合などを反映させることができ、自然にとけ込んだリアルな合成画像を得ることができる。
【００１０】
（２）  本発明の撮像装置は、特定の色を有する合成対象を撮影する撮影手段と、この撮影手段によって撮影された画像の中から前記合成対象に対応した部分を前記特定色の情報に基づいて抽出する合成対象抽出手段と、各種パターン画像を記憶した記憶手段と、この記憶手段に記憶された各種パターン画像のうちの任意の１つを選択する選択手段と、前記合成対象抽出手段によって抽出された前記撮影画像の合成対象部分に前記選択手段によって選択されたパターン画像を所定単位で並べて合成画像を作成する際に、前記撮影画像の合成対象物部分から抽出された輝度成分と前記パターン画像から抽出された色差成分とを画素単位で組み合わせて合成画像を作成する画像合成手段と、この画像合成手段によって作成された合成画像を表示する表示手段とを具備して構成される。
【００１１】
このような構成によれば、特定の色を有する合成対象を撮影することで、その特定色の情報に基づいて前記撮影画像の中から前記合成対象に対応した部分が抽出され、その合成対象部分に予め用意された各種パターン画像の中で選択されたパターン画像が所定単位で並べられて合成画像が作成される。
【００１２】
その際に、前記撮影画像の合成対象物部分からは各画素の輝度成分を抽出され、前記パターン画像からは各画素の色差成分が抽出されて合成画像が作成される。これにより、元の撮影画像に含まれていた光の具合などを反映させることができ、自然にとけ込んだリアルな合成画像を得ることができる。
【００１３】
（３）  本発明の撮像装置は、特定の色を有する合成対象を撮影する撮影手段と、この撮影手段によって撮影された画像の中から前記合成対象に対応した部分を前記特定色の情報に基づいて抽出する合成対象抽出手段と、この合成対象抽出手段によって抽出された前記撮影画像の合成対象部分に別の画像を嵌め込んで合成画像を作成する際に、前記撮影画像の各画素の情報を特定の色空間における表色系の情報に変換し、前記撮影画像の合成対象部分から抽出された輝度成分に相当する情報と前記別の画像から抽出された色差成分に相当する情報とを画素単位で組み合わせて合成画像を作成する画像合成手段と、この画像合成手段によって作成された合成画像を表示する表示手段とを具備して構成される。
【００１４】
このような構成によれば、特定の色を有する合成対象を撮影することで、その特定色の情報に基づいて前記撮影画像の中から前記合成対象に対応した部分が抽出され、その合成対象部分に別の画像が嵌め込まれて合成画像が作成される。
【００１５】
その際に、前記撮影画像の各画素の情報が特定の色空間における表色系の情報に変換され、前記撮影画像の合成対象部分からは輝度成分に相当する情報が抽出され、前記別の画像からは色差成分に相当する情報が抽出されて合成画像が作成される。これにより、元の撮影画像に含まれていた光の具合などを反映させることができ、自然にとけ込んだリアルな合成画像を得ることができる。
【００１６】
前記特定の色空間における表色系とは、Ｌ＊ａ＊ｂ＊表色系またはＬ＊Ｃ＊ｈ表色系である。
【００１７】
（４）  本発明の撮像装置は、特定の色を有する合成対象を撮影する撮影手段と、この撮影手段によって撮影された画像の中から前記合成対象に対応した部分を前記特定色の情報に基づいて抽出する合成対象抽出手段と、前記撮影画像の合成対象部分に別の画像を嵌め込んで合成画像を作成する際に、前記撮影画像の合成対象部分から抽出された特定の色空間における表色系の情報とその合成対象部分の原素材色としての表色系の情報との差分を求め、その差分を前記特定の色空間の変位量として前記別の画像に画素単位で反映させて合成画像を作成する画像合成手段と、この画像合成手段によって作成された合成画像を表示する表示手段とを具備して構成される。
【００１８】
このような構成によれば、特定の色を有する合成対象を撮影することで、その特定色の情報に基づいて前記撮影画像の中から前記合成対象に対応した部分が抽出され、その合成対象部分に別の画像が嵌め込まれて合成画像が作成される。
【００１９】
その際に、前記撮影画像の合成対象部分から得られる特定の色空間における表色系の情報とその合成対象部分の原素材色としての表色系の情報との差分が求められ、その差分を前記特定の色空間における変位量として前記別の画像に画素単位で反映させて合成画像が作成される。これにより、元の撮影画像に含まれていた光の具合などを反映させることずでき、自然にとけ込んだリアルな合成画像を得ることができる。
【００２０】
前記特定の色空間における表色系とは、Ｌ＊ａ＊ｂ＊表色系またはＬ＊Ｃ＊ｈ表色系である。
【発明の効果】
【００２１】
本発明によれば、撮影画像の合成対象物部に別の画像を嵌め込んで合成画像を作成する際に、前記撮影画像の合成対象物部分から各画素の輝度成分、前記別の画像から各画素の色差成分をそれぞれ抽出し、これらを画素単位で組み合わせて合成画像を作成するようにしたことで、元の撮影画像に含まれていた光の具合などを反映させて、自然にとけ込んだリアルな合成画像を得ることができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して本発明の実施形態を説明する。
【００２３】
（第１の実施形態）
図１は本発明の第１の実施形態における撮像装置としてデジタルカメラを例にした場合の外観構成を示すものであり、図１（Ａ）が主に前面の、図１（Ｂ）が主に背面の構成を示す斜視図である。
【００２４】
このデジタルカメラ１は、略矩形の薄板状ボディの前面に、撮影レンズ２、セルフタイマランプ３、光学ファインダ窓４、マイクロホン部５、ストロボ発光部６、及びラバーグリップ７を配設し、上面の（ユーザにとって）右端側には電源キー８及びシャッタキー９を配する。
【００２５】
ラバーグリップ７は、ユーザが撮影時にデジタルカメラ１を右手で筐体右側面側から把持した場合に右手中指、薬指、及び小指が確実に該筐体を把持できるように配設されたゴム製の帯状突起である。
【００２６】
また、電源キー８は、電源のオン／オフ毎に操作するためのキーである。シャッタキー９は、撮影タイミングを指示するためのキーである。
【００２７】
また、デジタルカメラ１の背面には、モードスイッチ（ＳＷ）１０、スピーカ部１１、メニューキー１２、十字キー１３、セットキー１４、光学ファインダ１５、ストロボチャージランプ１６、及び表示部１７を配する。
【００２８】
モードスイッチ１０は、例えばスライドキースイッチにより構成され、基本モードである記録モード「Ｒ」と再生モード「Ｐ」を切り換えるためのものである。前記記録モード「Ｒ」には、静止画モード「Ｒ１」、動画モード「Ｒ２」が含まれる。静止画モード「Ｒ１」は静止画の撮影を行うためのモード、動画モード「Ｒ２」は動画の撮影を行うためのモードである。
【００２９】
前記シャッタキー９は、これらのモード「Ｒ１」、「Ｒ２」に共通に使用される。すなわち、静止画モード「Ｒ１」では、シャッタキー９が押下されたときのタイミングで静止画の撮影が行われる。動画モード「Ｒ２」では、シャッタキー９が押下されたときのタイミングで動画の撮影が開始され、シャッタキー９が再度押下されたときにその動画の撮影が終了する。
【００３０】
メニューキー１２は、各種メニュー項目等を選択させる際に操作する。十字キー１３は、上下左右各方向へのカーソル移動用のキーが一体に形成されたものであり、表示されているメニュー項目等を移動させる際に操作する。セットキー１４は、前記十字キー１３の中心位置に配置され、その時点で選択されているメニュー項目内容等を設定するために操作する。
【００３１】
ストロボチャージランプ１６は、光学ファインダ１５に近接して配設されたＬＥＤランプでなり、このデジタルカメラ１のユーザが光学ファインダ１５を覗いている場合と表示部１７を見ている場合のいずれであってもストロボのチャージ状態等をユーザに視認させる。
【００３２】
表示部１７は、バックライト付きのカラー液晶パネルで構成されるもので、撮影時には電子ファインダとしてスルー画像のモニタ表示を行う一方で、再生時には再生対象として選択された画像等を表示する。
【００３３】
なお、図示はしないがデジタルカメラ１の底面には、記録媒体として用いられるメモリカードを着脱するためのメモリカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインタフェースコネクタとして、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）コネクタ等が設けられる。
【００３４】
図２はデジタルカメラ１の電子回路構成を示すブロック図である。
【００３５】
このデジタルカメラ１には、前記撮影レンズ２を構成するレンズ光学系２２がモータ２１の駆動により光軸方向に所定の範囲内で移動可能に設けられており、その光軸後方に撮像素子であるＣＣＤ２３が配設されている。このＣＣＤ２３は、撮影レンズ２を通過する光を受光し、その受光量に応じた画像データを取得する。
【００３６】
基本モードである記録モード時において、ＣＣＤ２３がタイミング発生器（ＴＧ）２４、垂直ドライバ２５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。
【００３７】
このＣＣＤ２３の光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路２６でサンプルホールドされ、Ａ／Ｄ変換器２７でデジタルデータに変換される。そして、カラープロセス回路２８において、画素補間処理及びγ補正処理を含むカラープロセス処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成され、ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）コントローラ２９に出力される。
【００３８】
ＤＭＡコントローラ２９は、カラープロセス回路２８の出力する輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、同じくカラープロセス回路２８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ２９内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）３０を介してバッファメモリとして使用されるＤＲＡＭ３１にＤＭＡ転送を行う。
【００３９】
制御部３２は、ＣＰＵと、このＣＰＵで実行される動作プログラムを記憶したＲＯＭ、及びワークメモリとして使用されるＲＡＭなどを含むマイクロコンピュータにより構成される。この制御部３２は、デジタルカメラ１全体の制御動作を司り、前記輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース３０を介してＤＲＡＭ３１より読出し、ＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に書込む。
【００４０】
デジタルビデオエンコーダ３５は、前記輝度及び色差信号をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４より定期的に読出し、これらのデータを元にビデオ信号を発生して表示部１７に出力する。
【００４１】
この表示部１７は、上述した如く撮影時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ３５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ３３から取込んでいる画像情報に基づく画像をリアルタイムに表示することとなる。
【００４２】
このように、表示部１７にその時点での画像がモニタ画像としてリアルタイムに表示されている状態で、例えば静止画撮影を行いたいタイミングでシャッタキー９を押下操作すると、トリガ信号が発生する。
【００４３】
制御部３２は、このトリガ信号に応じて、その時点でＣＣＤ２３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送の終了後、直ちにＣＣＤ２３からのＤＲＡＭ３１への経路を停止し、記録保存の状態に遷移する。
【００４４】
この記録保存の状態では、制御部３２がＤＲＡＭ３１に書込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインタフェース３０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読み出して、画像処理部３７の内部に存在するＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）処理ブロックに書込み、この画像処理部３７でＡＤＣＴ（Ａｄａｐｔｉｖｅ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。
【００４５】
そして、得た符号データを１画像のデータファイルとして該画像処理部３７から読出して記録用のメモリ３８に書き込む。このメモリ３８としては、予め本体に内蔵されたメモリの他に、記録媒体として着脱自在に装着されるメモリカードなどを含む。１フレーム分の輝度及び色差信号の圧縮処理及びメモリ３８への全圧縮データの書込み終了に伴なって、制御部３２はＣＣＤ２３からＤＲＡＭ３１への経路を再び起動する。
【００４６】
また、制御部３２には、さらにＵＳＢインタフェース（Ｉ／Ｆ）３９、ストロボ駆動部４０が接続される。
【００４７】
ＵＳＢインタフェース３９は、ＵＳＢコネクタを介して有線接続されるパーソナルコンピュータ等の他の情報端末装置との間で画像データその他の送受を行う場合の通信制御を行う。ストロボ駆動部４０は、撮影時時図示せぬストロボ用の大容量コンデンサを充電した上で、制御部３２からの制御に基づいて前記ストロボ発光部６を閃光駆動する。
【００４８】
なお、前記キー入力部３６は、上述したシャッタキー９の他に、前記電源キー８、モードスイッチ１０、メニューキー１２、十字キー１３及びセットキー１４等から構成され、それらのキー操作に伴なう信号は直接制御部３２へ送出される。
【００４９】
また、静止画像ではなく動画像の撮影時においては、シャッタキー９が押下操作されたときに、上述した画像処理部３７の内部に存在する動画処理ブロックで、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）やｍｏｔｉｏｎ−ＪＰＥＧなどの手法により撮影動画をデータ圧縮し、この撮影動画データをメモリ３８へ記録する。そして、再度シャッタキー９が操作されると、動画データの記録を終了する。
【００５０】
一方、基本モードである再生モード時には、制御部３２がメモリ３８に記録されている画像データを選択的に読出し、画像処理部３７で記録モード時にデータ圧縮した手順と全く逆の手順で圧縮されている画像データを伸長する。そして、この伸長した画像データをＤＲＡＭインタフェース３０を介してＤＲＡＭ３１に保持させた上で、このＤＲＡＭ３１の保持内容をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に記憶させ、このＶＲＡＭ３４より定期的に画像データを読出してビデオ信号を発生し、表示部１７で再生出力させる。
【００５１】
選択した画像データが静止画像ではなく動画像であった場合には、その選択した動画像ファイルを構成するＭＰＥＧ動画データの再生を実行し、すべての動画像データの再生を終了した時点で、例えば、次に再生の指示がなされるまで先頭に位置する静止画像データを表示するなどを行う。
【００５２】
この他に、特に図示しないが、例えば携帯時の電源として用いられるバッテリとそのバッテリの電圧供給制御部や、マイク５およびスピーカ１１に対する音声データの処理を行うための音声処理部などが備えられている。
【００５３】
次に、前記のように構成されたデジタルカメラ１を用いて合成画像を作成する場合について説明する。
【００５４】
なお、以下のフローチャートで示される処理は、デジタルカメラ１に搭載されたマイクロプロセッサである制御部３２がプログラムを読み込むことにより実行される。後述する他の実施形態の処理についても同様であり、制御部３２がこれらの処理を実現するためのプログラムを読み込むことで実行される。
【００５５】
図３は第１の実施形態におけるデジタルカメラ１の画像合成処理を示すフローチャートである。
【００５６】
今、図４に示すように、部屋の窓５１に掛けられた特定色（ここでは青色とする）のカーテン５２をデジタルカメラ１にて撮影し、その撮影画像の中のカーテン部分を合成対象として抽出し、そこに別のカーテンのパターン画像を合成処理する場合を想定して説明する。
【００５７】
デジタルカメラ１にて青色のカーテン５２が撮影されると、そのときに得られた撮影画像（静止画）がメモリ３８に記録される（ステップＡ１１）。なお、撮影時の処理動作については図２で既に説明しているため、ここでは省略する。
【００５８】
図５にメモリ３８に記録された撮影画像の一例を示す。この撮影画像には、カーテン５２とその周りの窓５１などが含まれている。この場合、カーテン５２以外に青色の物体はないものとする。
【００５９】
ここで、合成画像を作成するに際し、制御部３２は、前記メモリ３８に記録された撮影画像を構成する各画素のＲＧＢ信号から以下のような演算式に従って輝度信号Ｙと色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）を求める（ステップＡ１２）。
【００６０】
以後、この輝度信号Ｙと色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）の組み合わせを「Ｙ色差信号」と称する。
【００６１】
Ｙ    ＝０．２９９・Ｒ＋０．５８７・Ｇ＋０．１１４・Ｂ
Ｒ−Ｙ＝０．７０１・Ｒ−０．５８７・Ｇ−０．１１４・Ｂ
Ｂ−Ｙ＝０．２９９・Ｒ−０．５８７・Ｇ＋０．８８６・Ｂ
次に、制御部３２は、撮影画像からＲＧＢまたはＹ色差信号が所定範囲の値を有する領域を合成対象部分として抽出する（ステップＡ１３）。前記所定範囲の値とは、ここでは青色の範囲のことであり、この青色範囲内の値を有する領域を抽出することで、前記撮影画像の中のカーテン部分の画像を得ることができる。
【００６２】
次に、制御部３２は、図示せぬカーテンのサンプル画面を表示部１７に表示して、その中でユーザが望むカーテンを選択させる（ステップＡ１４）。ユーザが前記サンプル画面にて所望のカーテンを選択すると（ステップＡ１５のＹｅｓ）、制御部３２はその選択されたカーテンに対応したパターン画像をパターンメモリ３２ａから読み出す（ステップＡ１６）。
【００６３】
図６に示すように、パターンメモリ３２ａには、色や図柄などが異なる各種カーテンのパターン画像Ｐ１，Ｐ２，Ｐ３…が記憶されている。カーテンの画像は同じパターンの画像を繰り返すことで表現できる。パターンメモリ３２ａには、その繰り返し用の最小単位（例えば３×３画素）の画像データがパターン画像Ｐ１，Ｐ２，Ｐ３…として記憶されている。
【００６４】
ユーザによって選択されたカーテンのパターン画像が前記パターンメモリ３２ａから読み出されると、制御部３２は、そのパターン画像の色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）を抽出する（ステップＡ１７）。
【００６５】
そして、制御部３２は、パターン画像を撮影画像の合成対象部分（カーテン部分）にタイル状に並べるようにして合成画像を作成する。その際、撮影画像の合成対象部分から抽出した輝度信号Ｙと、パターン画像から抽出した色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）を用いて合成画像の各画素のデータ（Ｙ色差信号）を生成する（ステップＡ１８）。
【００６６】
この様子を図８に示す。図８（ａ）は撮影画像の合成対象部分（カーテン部分）、同図（ｂ）はその合成対象部分に嵌め込まれるパターン画像、同図（ｃ）は合成画像のそれぞれのデータ構成を示している。図中の１マスが１画素分を表している。
【００６７】
今、撮影画像の合成対象部分（カーテン部分）のある画素の輝度信号（輝度成分）を「Ｙ00」、色差信号（色差成分）を「ＲＹ00」，「ＢＹ00」とし、パターン画像のある画素の輝度信号（輝度成分）を「ＭＹ00」、色差信号（色差成分）を「ＭＲＹ00」，「ＭＢＹ00」とする。なお、パターン画像は所定サイズであり、撮影画像の合成対象部分に対して同じものが繰り返し用いられる。
【００６８】
ここで、撮影画像の合成対象部分にパターン画像をタイル状に並べて合成画像を作成する際に、撮影画像の合成対象部分からは輝度信号「Ｙ00」、パターン画像からは色差信号「ＭＲＹ00，ＭＢＹ00」をそれぞれ抽出することにより、輝度信号「Ｙ00」、色差信号「ＭＲＹ00」，「ＭＢＹ00」の組み合わせからなる１画素分のデータつまりＹ色差信号を生成する。
【００６９】
以下同様にして、撮影画像の合成対象部分（カーテン部分）に所定単位で並べられた各パターン画像について、これらの画素毎に撮影画像の合成対象部分から抽出した輝度信号、パターン画像から抽出した色差信号を組み合わせて合成画像を作成する。
【００７０】
このようにして合成画像を作成すると、制御部３２はこの合成画像を表示部１７に表示する（ステップＡ１９）。
【００７１】
図７は合成画像の一例を示す図であり、図中の５３はユーザの選択したカーテンを示している。このカーテン５３の画像の各画像のデータを構成する輝度信号と色差信号のうち、色差信号はパターン画像のものであるが、輝度信号については元画像である撮影画像中のカーテン５２の部分から抽出したものが利用されている。
【００７２】
このように、合成画像を作成する際に、元画像である撮影画像の輝度信号を利用することで、その撮影画像中のカーテン５２の光や影の状態を合成画像に反映させることができる。これにより、ユーザがサンプル画面で選んだカーテン５３を実際に部屋の窓５１に掛けて撮影したかのような自然な感じで合成画像を得ることができ、その合成画像から自分の部屋に合ったカーテンを選ぶことができる。
【００７３】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００７４】
色の表し方を表色系といい、カメラなどに一般的に用いられるＲＧＢ表色系の他に、Ｌ＊ａ＊ｂ＊表色系、Ｌ＊Ｃ＊ｈ表色系などの様々な表色系が存在する。これらの中でＬ＊ａ＊ｂ＊表色系やＬ＊Ｃ＊ｈ表色系では、色空間での距離が色同士の違いを表わすため、適切に色差を求めることができるといった利点がある。以下では、Ｌ＊ａ＊ｂ＊表色系を用いて合成画像を作成する場合について説明する。
【００７５】
図９はＬ＊ａ＊ｂ＊表色系の色空間を立体的に示した図である。図１０はＬ＊ａ＊ｂ＊表色系の色空間を平面的に示した図であり、図９の色空間を水平方向（緑方向−赤方向）に切った断面図に相当する。
【００７６】
Ｌ＊ａ＊ｂ＊表色系では、明度をＬ＊、色度をａ＊とｂ＊で表わす。図１０から分かるように、ａ＊とｂ＊は色の方向を示しており、＋ａ＊は赤方向、−ａ＊は緑方向、＋ｂ＊は黄方向、−ｂ＊は青方向を示す。数値が大きくなるに従って色鮮やかになり、中心になるに従ってくすんだ色になる。
【００７７】
また、図９に示すように、Ｌ＊は垂直方向で明るさを表しており、＋方向にいくほど明るくなり（白）、−方向にいくほど暗くなる（黒）。
【００７８】
図１１は本発明の第２の実施形態におけるデジタルカメラ１の画像合成処理を示すフローチャートであり、Ｌ＊ａ＊ｂ＊表色系を用いて合成画像を作成する場合の手順が示されている。
【００７９】
基本的な処理の流れは、前記第１の実施形態の図３に示したフローチャートと同様である。ただし、ここではＲＧＢ表色系における輝度信号Ｙと色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）の代わりに、Ｌ＊ａ＊ｂ＊表色系における明度Ｌ＊と色度ａ＊，ｂ＊を用いる。
【００８０】
今、前記第１の実施形態と同様に、図４に示すように、部屋の窓５１に掛けられた特定色（ここでは青色とする）のカーテン５２をデジタルカメラ１にて撮影し、その撮影画像の中のカーテン部分を合成対象として抽出し、そこに別のカーテンのパターン画像を合成処理する場合を想定する。
【００８１】
デジタルカメラ１にて青色のカーテン５２が撮影されると、そのときに得られた撮影画像（静止画）がメモリ３８に記録される（ステップＢ１１）。なお、撮影時の処理動作については図２で既に説明しているため、ここでは省略する。
【００８２】
図５にメモリ３８に記録された撮影画像の一例を示す。この撮影画像には、カーテン５２とその周りの窓５１などが含まれている。この場合、カーテン５２以外に青色の物体はないものとする。
【００８３】
ここで、合成画像を作成するに際し、制御部３２は、前記メモリ３８に記録された撮影画像を構成する各画素のＲＧＢ信号を所定の演算式に従ってＬ＊ａ＊ｂ＊表色系の信号に変換する（ステップＢ１２）。
【００８４】
なお、ＲＧＢ表色系からＬ＊ａ＊ｂ＊表色系への変換方法については公知であり、例えば「Ｌ＊ａ＊ｂ＊表色系を利用した静止画像からのメタデータ自動抽出方式」（電子情報通信学会第１４回データ工学ワークショップ（ＤＥＷＳ２００３)  Ｓｅｓｓｉｏｎ  ３−Ａ（マルチメディア検索，意味検索）−Ｎｏ．２  小屋夕介，中西崇文，北川高嗣（筑波大）著）に記載されているため、ここでは詳しい説明を省略する。
【００８５】
次に、制御部３２は、撮影画像からＲＧＢまたはＬａｂ信号が所定範囲の値を有する領域を合成対象部分として抽出する（ステップＢ１３）。前記所定範囲の値とは、ここでは青色の範囲のことであり、この青色範囲内の値を有する領域を抽出することで、前記撮影画像の中のカーテン部分の画像を得ることができる。
【００８６】
次に、制御部３２は、図示せぬカーテンのサンプル画面を表示部１７に表示して、その中でユーザが望むカーテンを選択させる（ステップＢ１４）。ユーザが前記サンプル画面にて所望のカーテンを選択すると（ステップＢ１５のＹｅｓ）、制御部３２はその選択されたカーテンに対応したパターン画像をパターンメモリ３２ａから読み出す（ステップＢ１６）。
【００８７】
図６に示すように、パターンメモリ３２ａには、色や図柄などが異なる各種カーテンのパターン画像Ｐ１，Ｐ２，Ｐ３…が記憶されている。カーテンの画像は同じパターンの画像を繰り返すことで表現できる。パターンメモリ３２ａには、その繰り返し用の最小単位（例えば３×３画素）の画像データがパターン画像Ｐ１，Ｐ２，Ｐ３…として記憶されている。また、ここではパターン画像Ｐ１，Ｐ２，Ｐ３…が上述したＬ＊ａ＊ｂ＊表色系で構成されているものとする。
【００８８】
ユーザによって選択されたカーテンのパターン画像が前記パターンメモリ３２ａから読み出されると、制御部３２は、そのパターン画像の色度ａ＊，ｂ＊を抽出する（ステップＢ１７）。
【００８９】
そして、制御部３２は、パターン画像を撮影画像の合成対象部分（カーテン部分）にタイル状に並べるようにして合成する。その際、撮影画像の合成対象部分から抽出した明度Ｌ＊と、パターン画像から抽出した色度ａ＊，ｂ＊を用いて合成画像の各画素のデータ（Ｌ＊ａ＊ｂ＊成分）を生成する（ステップＢ１８）。
【００９０】
このように、明度Ｌ＊は元画像である青カーテンの撮影画像から抽出したものを用い、色度ａ＊，ｂ＊についてはユーザが選択したカーテンのパターン画像から抽出したものを各画素毎に組み合わせて合成画像を作成する。
【００９１】
すなわち、パターン画像のＬ＊ａ＊ｂ＊値を（Ｌｍ＊，ａｍ＊，ｂｍ＊）、元画像である青カーテンの撮影画像のＬ＊ａ＊ｂ＊値を（Ｌ０＊，ａ０＊，ｂ０＊）とすると、合成画像のＬ＊ａ＊ｂ＊値は、
（Ｌ０＊，ａｍ＊，ｂｍ＊）
となる。
【００９２】
なお、実際には図９に示すように、Ｌ＊ａ＊ｂ＊表色系では、明度Ｌ＊の値によって色度ａ＊，ｂ＊平面（円）の広さが異なるので、色度ａ＊，ｂ＊については以下のように補正することが望ましい。
【００９３】
まず、図１２に示すような半径比テーブル３２ｂを用いて、パターン画像と撮影画像のａ＊，ｂ＊の半径比をそれぞれ求める。この半径比テーブル３２ｂは、明度Ｌ＊の値に対する色度ａ＊，ｂ＊の半径比を定めたテーブルであり、例えば制御部３２内のＲＯＭ等に保存されている。この例では、明度Ｌ＊が０〜２５５の値を取り、その真ん中の値「１２８」のときの色度ａ＊，ｂ＊の半径比を「１．００」として定めている。
【００９４】
ここで、Ｌ＊＝Ｌｍ＊のときの半径比ｒｍ、Ｌ＊＝Ｌ０＊のときの半径比ｒ０を前記半径比テーブル３２ｂから読み出すことにより、前記合成画像の画素データである（Ｌ０＊，ａｍ＊，ｂｍ＊）を以下のように求める。
【００９５】
（Ｌ０＊，ａｍ＊×ｒ０／ｒｍ，ｂｍ＊×ｒ０／ｒｍ）
こうすることで、パターン画像のときの明度（Ｌ＊ｍ）から元画像の青カーテンの撮影画像の明度（Ｌ＊０）にはめ込んだときの補正を行う。これにより、例えばパターン画像の明度（Ｌ＊ｍ）に対して、実際に撮影した青カーテンの画像の明度（Ｌ＊０）が異なっているような場合であっても、それぞれの明度（Ｌ＊ｍ）（Ｌ＊０）に合わせた、自然な色合いでの合成を行うことができる。
【００９６】
また、実際に撮影した青カーテンの画像の明度（Ｌ＊０）が、パターン画像として記憶されているａｍ＊，ｂｍ＊の値をとり得ないような値の明度（Ｌ＊０）になってしまっているような場合であっても、オーバーフローすることなく適切な色彩の合成画像を得ることができる。
【００９７】
このようにして合成画像を作成すると、制御部３２はその合成画像を構成するＬ＊ａ＊ｂ＊表色系の信号を必要に応じてＲＧＢ信号に変換するなどして表示部１７に表示する（ステップＢ１９）。
【００９８】
このように、Ｌ＊ａ＊ｂ＊表色系において、元画像である撮影画像からは明度Ｌ＊を抽出し、ユーザが選択したカーテンのパターン画像からは色度ａ＊，ｂ＊を抽出して合成画像を作成することでも、前記第１の実施形態と同様に、その撮影画像中のカーテン５２の光や影の状態を合成画像に反映させることができる。
【００９９】
これにより、実際にユーザの選んだカーテン５３を窓５１に掛けて撮影したかのような自然な感じで合成画像を得ることができ、その合成画像から自分の部屋に合った最適なカーテンを選ぶことができる。
【０１００】
なお、ここではＲＢＧ表色系とは別の表色系として、Ｌ＊ａ＊ｂ＊表色系を用いる場合を想定して説明したが、Ｌ＊Ｃ＊ｈ表色系でも同様に適用可能である。
【０１０１】
Ｌ＊Ｃ＊ｈ表色系は、上述したＬ＊ａ＊ｂ＊表色系をベースにした表色系であって、Ｌ＊は明度を表している。また、Ｃ＊は彩度を表しており、図１３に示すように、Ｃ＊の値が大きいと円の外側に位置するので、鮮やかさが増し、Ｃ＊の値が小さいと円の中心に近づくため、くすんだ色となる。
【０１０２】
ｈは色相角度を表しており、ａ＊の赤方向の軸を０度として、ここから反時計方向の色相に対して移動した角度で、色の位置が分かるようになっている。例えば、９０度であれば黄色方向、１８０度であれば緑方向になる。
【０１０３】
このようなＬ＊Ｃ＊ｈ表色系を用いる場合にも処理的には同様である。すなわち、撮影画像のＲＧＢ信号をＬ＊Ｃ＊ｈ表色系の信号に変換した後、撮影画像からは明度Ｌ＊を抽出し、そして、ユーザが選択したカーテンのパターン画像からは彩度Ｃ＊と色相角度ｈを抽出して合成画像を作成することになる。
【０１０４】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
【０１０５】
上述したＬ＊ａ＊ｂ＊表色系やＬ＊Ｃ＊ｈ表色系において、画像合成に利用される青色のカーテンを撮影した場合に、そのときの部屋の光線などの具合によって当該カーテンの色空間の値（ベクトル位置）が変化する。第３の実施形態では、このような青色カーテンの原素材色の値と実際の撮影時に得られたカーテンの色の値との変位分を求めて、ユーザが選択したカーテンのパターン画像の値を前記変位分だけ変化させて、よりリアルなカーテンの画像を合成画像として得るものである。
【０１０６】
ここで、第３の実施形態における具体的な処理動作を説明する前に、その概要についてＬ＊Ｃ＊ｈ表色系を例にして説明する。図１４はその説明図である。
【０１０７】
今、Ｌ＊Ｃ＊ｈ表色系において、図１４（ａ）に示すように、青色カーテンの色空間の基準位置をＸ０とし、その値を（ＬＳ＊，ＣＳ＊，ｈＳ）とする。この基準位置Ｘ０での値（ＬＳ＊，ＣＳ＊，ｈＳ）は、青色カーテンとしての原素材色の値であり、場所によらず一定である。
【０１０８】
図１４（ｂ）に示すように、この青色カーテンを部屋の窓に掛けて撮影した場合、部屋の光線の具合などによって、当該カーテンの色空間の位置が変化する。このときの色空間の位置をＸ１とし、Ｘ０→Ｘ１に変化したときの変位量を（ΔＬ＊，ΔＣ＊，Δｈ）とすると、ユーザが選択したカーテンの画像の空間位置を求める場合に、この変位量（ΔＬ＊，ΔＣ＊，Δｈ）だけ影響を受けると考えられる。
【０１０９】
したがって、図１４（ｃ）に示すように、ユーザが選択したカーテンの画像のある画素の位置をＺ０とすれば、前記変位量（ΔＬ＊，ΔＣ＊，Δｈ）だけ移動させたＺ１の位置の値を求めることで、よりリアルなカーテンの画像を得ることができる。
【０１１０】
以下に、具体的な処理について説明する。ここでは、（１）Ｌ＊ａ＊ｂ＊表色系を用いる場合と、（２）Ｌ＊Ｃ＊ｈ表色系を用いる場合とで分けて説明する。
【０１１１】
（１）Ｌ＊ａ＊ｂ＊表色系を用いる場合
図１５は本発明の第３の実施形態におけるデジタルカメラ１の画像合成処理を示すフローチャートであり、Ｌ＊ａ＊ｂ＊表色系を用いて合成画像を作成する場合の手順が示されている。
【０１１２】
今、前記第１の実施形態と同様に、図４に示すように、部屋の窓５１に掛けられた特定色（ここでは青色とする）のカーテン５２をデジタルカメラ１にて撮影し、その撮影画像の中のカーテン部分を合成対象として抽出し、そこに別のカーテンのパターン画像を合成処理する場合を想定する。
【０１１３】
まず、制御部３２は、Ｌ＊ａ＊ｂ＊表色系の色空間におけるカーテン５２の原素材色としてのＬａｂ値を例えばＲＡＭ等から取得する（ステップＣ１１）。なお、このカーテン５２の原素材色のＬａｂ値は、場所によらず一定であるとする。このときの原素材色のＬａｂ値を（ＬＳ＊，ａＳ＊，ｂＳ＊）とする。
【０１１４】
次に、デジタルカメラ１にて青色のカーテン５２が撮影されると、そのときに得られた撮影画像（静止画）がメモリ３８に記録される（ステップＣ１２）。なお、撮影時の処理動作については図２で既に説明しているため、ここでは省略する。
【０１１５】
図５にメモリ３８に記録された撮影画像の一例を示す。この撮影画像には、カーテン５２とその周りの窓５１などが含まれている。この場合、カーテン５２以外に青色の物体はないものとする。
【０１１６】
ここで、合成画像を作成するに際し、制御部３２は、前記メモリ３８に記録された撮影画像を構成する各画素のＲＧＢ信号を所定の演算式に従ってＬ＊ａ＊ｂ＊表色系の信号に変換する（ステップＣ１３）。
【０１１７】
次に、制御部３２は、撮影画像からＲＧＢまたはＬａｂ信号が所定範囲の値を有する領域を合成対象部分として抽出する（ステップＣ１４）。前記所定範囲の値とは、ここでは青色の範囲のことであり、この青色範囲内の値を有する領域を抽出することで、前記撮影画像の中のカーテン部分の画像を得ることができる。
【０１１８】
次に、制御部３２は、図示せぬカーテンのサンプル画面を表示部１７に表示して、その中でユーザが望むカーテンを選択させる（ステップＣ１５）。ユーザが前記サンプル画面にて所望のカーテンを選択すると（ステップＣ１６のＹｅｓ）、制御部３２はその選択されたカーテンに対応したパターン画像をパターンメモリ３２ａから読み出す（ステップＣ１７）。
【０１１９】
図６に示すように、パターンメモリ３２ａには、色や図柄などが異なる各種カーテンのパターン画像Ｐ１，Ｐ２，Ｐ３…が記憶されている。カーテンの画像は同じパターンの画像を繰り返すことで表現できる。パターンメモリ３２ａには、その繰り返し用の最小単位（例えば３×３画素）の画像データがパターン画像Ｐ１，Ｐ２，Ｐ３…として記憶されている。ここでは、これらのパターン画像Ｐ１，Ｐ２，Ｐ３…が上述したＬ＊ａ＊ｂ＊表色系で構成されているものとする。
【０１２０】
ここで、前記選択されたカーテンに対応したパターン画像を前記撮影画像の合成対象部分に所定単位で並べて合成する際に、制御部３２は以下のような処理を行う。
【０１２１】
すなわち、まず、制御部３２は、前記撮影画像の合成対象部分のある１つの画素を処理対象として選択する（ステップＣ１８）、このときの撮影画像内の画素のＬａｂ値を（Ｌｂ＊，ａｂ＊，ｂｂ＊）とする。
【０１２２】
次に、制御部３２は、ユーザが選択したカーテンのパターン画像の中で前記選択された処理対象画素に嵌め込むべき画素のＬａｂ値を取得する（ステップＣ１９）。このときのパターン画像内の画素のＬａｂ値を（Ｌｐｒｆ＊，ａｐｒｆ＊，ｂｐｒｆ＊）とする。
【０１２３】
次に、制御部３２は、前記撮影画像内の画素のＬａｂ値（Ｌｂ＊，ａｂ＊，ｂｂ＊）と前記カーテン５２の原素材色のＬａｂ値（ＬＳ＊，ａＳ＊，ｂＳ＊）との差分を変位量（ΔＬ＊，Δａ＊，Δｂ＊）として求める（ステップＣ２０）
ΔＬ＊＝Ｌｂ＊−ＬＳ＊
Δａ＊＝ａｂ＊−ａＳ＊
Δｂ＊＝ｂｂ＊−ｂＳ＊
このようにして、変位量（ΔＬ＊，Δａ＊，Δｂ＊）が得られると、制御部３２はこの変位量を用いて前記ユーザが選択したカーテンのパターン画像内の画素のＬａｂ値（Ｌｐｒｆ＊，ａｐｒｆ＊，ｂｐｒｆ＊）を変換する（ステップＣ２１）。この変換後のＬａｂ値を（Ｌｇ＊，ａｇ＊，ｂｇ＊）とすると、以下のように表わせる。
【０１２４】
Ｌｇ＊＝Ｌｐｒｆ＊＋ΔＬ＊
ａｇ＊＝ａｐｒｆ＊＋Δａ＊
ｂｇ＊＝ｂｐｒｆ＊＋Δｂ＊
以下同様にして、前記撮影画像の合成対象部分における各画素について、カーテン５２の原素材色のＬａｂ値からの変位量を求め、その変位量だけユーザが選択したカーテンに対応したパターン画像のＬａｂ値を変化させて、これを前記合成対象部分に嵌め込んで合成画像を作成する（ステップＣ２２）。
【０１２５】
このような手法にて合成画像を作成すると、制御部３２はその合成画像を構成するＬ＊ａ＊ｂ＊表色系の信号を必要に応じてＲＧＢ信号に変換するなどして表示部１７に表示する（ステップＣ２３）。
【０１２６】
（２）Ｌ＊Ｃ＊ｈ表色系を用いる場合
図１６は本発明の第３の実施形態におけるデジタルカメラ１の画像合成処理を示すフローチャートであり、Ｌ＊Ｃ＊ｈ表色系を用いて合成画像を作成する場合の手順が示されている。
【０１２７】
今、前記第１の実施形態と同様に、図４に示すように、部屋の窓５１に掛けられた特定色（ここでは青色とする）のカーテン５２をデジタルカメラ１にて撮影し、その撮影画像の中のカーテン部分を合成対象として抽出し、そこに別のカーテンのパターン画像を合成処理する場合を想定する。
【０１２８】
まず、制御部３２は、Ｌ＊Ｃ＊ｈ表色系の色空間におけるカーテン５２の原素材色としてのＬＣｈ値を例えばＲＡＭ等から取得する（ステップＤ１１）。なお、このカーテン５２の原素材色のＬＣｈ値は、場所によらず一定であるとする。このときの原素材色のＬａｂ値を（ＬＳ＊，ＣＳ＊，ｈＳ）とする。
【０１２９】
次に、デジタルカメラ１にて青色のカーテン５２が撮影されると、そのときに得られた撮影画像（静止画）がメモリ３８に記録される（ステップＤ１２）。なお、撮影時の処理動作については図２で既に説明しているため、ここでは省略する。
【０１３０】
図５にメモリ３８に記録された撮影画像の一例を示す。この撮影画像には、カーテン５２とその周りの窓５１などが含まれている。この場合、カーテン５２以外に青色の物体はないものとする。
【０１３１】
ここで、合成画像を作成するに際し、制御部３２は、前記メモリ３８に記録された撮影画像を構成する各画素のＲＧＢ信号を所定の演算式に従ってＬ＊Ｃ＊ｈ表色系の信号に変換する（ステップＤ１３）。
【０１３２】
次に、制御部３２は、撮影画像からＲＧＢまたはＬＣｈ信号が所定範囲の値を有する領域を合成対象部分として抽出する（ステップＤ１４）。前記所定範囲の値とは、ここでは青色の範囲のことであり、この青色範囲内の値を有する領域を抽出することで、前記撮影画像の中のカーテン部分の画像を得ることができる。
【０１３３】
次に、制御部３２は、図示せぬカーテンのサンプル画面を表示部１７に表示して、その中でユーザが望むカーテンを選択させる（ステップＤ１５）。ユーザが前記サンプル画面にて所望のカーテンを選択すると（ステップＤ１６のＹｅｓ）、制御部３２はその選択されたカーテンに対応したパターン画像をパターンメモリ３２ａから読み出す（ステップＤ１７）。
【０１３４】
図６に示すように、パターンメモリ３２ａには、色や図柄などが異なる各種カーテンのパターン画像Ｐ１，Ｐ２，Ｐ３…が記憶されている。カーテンの画像は同じパターンの画像を繰り返すことで表現できる。パターンメモリ３２ａには、その繰り返し用の最小単位（例えば３×３画素）の画像データがパターン画像Ｐ１，Ｐ２，Ｐ３…として記憶されている。ここでは、これらのパターン画像Ｐ１，Ｐ２，Ｐ３…が上述したＬ＊Ｃ＊ｈ表色系で構成されているものとする。
【０１３５】
ここで、前記選択されたカーテンに対応したパターン画像を前記撮影画像の合成対象部分に所定単位で並べて合成する際に、制御部３２は以下のような処理を行う。
【０１３６】
すなわち、まず、制御部３２は、前記撮影画像の合成対象部分のある１つの画素を処理対象として選択する（ステップＤ１８）、このときの撮影画像内の画素のＬＣｈ値を（Ｌｂ＊，Ｃｂ＊，ｈｂ）とする。
【０１３７】
次に、制御部３２は、ユーザが選択したカーテンのパターン画像の中で前記選択された処理対象画素に嵌め込むべき画素のＬＣｈ値を取得する（ステップＤ１９）。このときのパターン画像内の画素のＬＣｈ値を（Ｌｐｒｆ＊，Ｃｐｒｆ＊，ｈｐｒｆ）とする。
【０１３８】
次に、制御部３２は、前記撮影画像内の画素のＬＣｈ値（Ｌｂ＊，Ｃｂ＊，ｈｂ）と前記カーテン５２の原素材色のＬＣｈ値（ＬＳ＊，ＣＳ＊，ｈＳ）との差分を変位量（ΔＬ＊，ΔＣ＊，Δｈ）として求める（ステップＤ２０）
ΔＬ＊＝Ｌｂ＊−ＬＳ＊
ΔＣ＊＝Ｃｂ＊−ＣＳ＊
Δｈ ＝ｈｂ −ｈＳ
このようにして、変位量（ΔＬ＊，ΔＣ＊，Δｈ＊）が得られると、制御部３２はこの変位量を用いて前記ユーザが選択したカーテンのパターン画像内の画素のＬＣｈ値（Ｌｐｒｆ＊，Ｃｐｒｆ＊，ｈｐｒｆ）を変換する（ステップＤ２１）。この変換後のＬＣｈ値を（Ｌｇ＊，Ｃｇ＊，ｈｇ）とすると、以下のように表わせる。
【０１３９】
Ｌｇ＊＝Ｌｐｒｆ＊＋ΔＬ＊
Ｃｇ＊＝Ｃｐｒｆ＊＋ΔＣ＊
ｈｇ  ＝ｈｐｒｆ ＋Δｈ
以下同様にして、前記撮影画像の合成対象部分における各画素について、カーテン５２の原素材色のＬＣｈ値からの変位量を求め、その変位量だけユーザが選択したカーテンに対応したパターン画像のＬＣｈ値を変化させて、これを前記合成対象部分に嵌め込んで合成画像を作成する（ステップＤ２２）。
【０１４０】
このような手法にて合成画像を作成すると、制御部３２はその合成画像を構成するＬ＊Ｃ＊ｈ表色系の信号を必要に応じてＲＧＢ信号に変換するなどして表示部１７に表示する（ステップＤ２３）。
【０１４１】
このように、Ｌ＊ａ＊ｂ＊表色系やＬ＊Ｃ＊ｈ表色系において、画像合成に利用される青色のカーテンの原素材色の値と実際の撮影時に得られたカーテンの色の値との変位分を求めて、ユーザが選択したカーテンのパターン画像の値を前記変位分だけ変化させることで、よりリアルなカーテンの画像を合成画像として得ることが可能となる。
【０１４２】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
【０１４３】
前記第１乃至第３の実施形態では、デジタルカメラ１に予め各種カーテンのパターン画像が内蔵されており、これらの中でユーザが任意に選択したカーテンのパターン画像を撮影画像の合成対象部分（カーテン部分）に嵌め込んで合成し、その合成画像を表示するだけであったが、第４の実施形態では、実際にユーザが合成画像を見てカーテン業者に所望のカーテンを注文することを想定している。
【０１４４】
図１７は本発明の第４の実施形態におけるネットワークシステムの構成の一例を示す図であり、図４と同様にユーザがデジタルカメラ１を用いてカーテン５２を撮影する場合の状態が示されている。カーテン５２は、特定の色（ここでは青色）を有し、部屋の窓５１に掛けられている。
【０１４５】
ここで、第４の実施形態において、デジタルカメラ１はＵＳＢケーブル６１を介して端末装置６２に接続されている。この端末装置６２は、例えばパーソナルコンピュータからなり、ネットワーク６３への接続機能を備える。デジタルカメラ１は、この端末装置６２を利用してネットワーク６３上のサーバ６４にアクセスすることになる。
【０１４６】
サーバ６４は、例えばカーテン業者のコンピュータであり、各種カーテンのパターン画像を持ち、顧客の要求に応じてそのパターン画像を配信すると共に、その中で選択されたカーテンの注文を受け付けるなどの処理を行う。
【０１４７】
以下に、このようなネットワーク構成におけるデジタルカメラ１の処理動作について説明する。
【０１４８】
図１８は本発明の第４の実施形態におけるデジタルカメラ１の処理動作を示すフローチャートである。
【０１４９】
まず、デジタルカメラ１から端末装置６２を利用してサーバ６４にアクセスすることにより（ステップＥ１１）、そのサーバ６４が持つ各種カーテンのパターン画像を取得して、図６に示したように制御部３２内のパターンメモリ３２ａに保存しておく（ステップＥ１２）。
【０１５０】
前記第１の実施形態と同様に、ユーザがデジタルカメラ１にて部屋の窓５１に掛けた青色のカーテン５２を撮影した後（ステップＥ１３）、図示せぬカーテンのサンプル画面から所望のカーテンを選択する（ステップＥ１４）。これにより、選択されたカーテンに対応したパターン画像が前記パターンメモリ３２ａから読み出され、そのパターン画像が前記青色カーテン５２の撮影画像の合成対象部分（カーテン部分）に嵌め込まれて合成される（ステップＥ１５）。
【０１５１】
なお、このときの画像合成処理については、前記第１乃至の第３の実施形態のいずれかの方法を用いるものとし、ここではその詳しい説明は省略する。
【０１５２】
このようにして所望のカーテンを撮影画像に嵌め込んだ合成画像（図７参照）が得られると、その合成画像がデジタルカメラ１の表示部１７に表示される（ステップＥ１６）。この場合、ユーザがサンプル画面で選んだカーテンが実際に部屋の窓５１に掛けられているかのように合成画像が表示されることは既に述べた通りである。
【０１５３】
ここで、合成画像が表示された際に、所定の操作によりデジタルカメラ１からＯＫ指示を出すと（ステップＥ１７のＹｅｓ）、当該合成画像に用いられたカーテンつまりユーザが選択したカーテンの注文データがデジタルカメラ１に接続された端末装置６２からネットワーク６３を介してサーバ６４に送られる（ステップＥ１８）。サーバ６４では、そのカーテンの注文を受け付けることにより、カーテンの配送手続きを行うことになる。
【０１５４】
このように、サーバ６４から各種カーテンのパターン画像をもらい、その中で選んだパターン画像を青色カーテン５２の撮影画像の中に嵌め込んで確認することで、自分の部屋に合ったカーテンを簡単に選ぶことができ、そのカーテンを部屋に居ながらにして注文することができる。
【０１５５】
なお、前記各実施形態では、青色のカーテンを撮影し、その撮影画像の中に所望のカーテンのパターン画像を嵌め込んで合成するものとしたが、合成画像の元になるカーテンは青色に限るものではなく、他の色であっても良い。
【０１５６】
また、合成対象とする被写体はカーテンに限るものではなく、例えばジュータンや服などであっても良く、要は、その被写体部分を合成対象として他の画像に置き換えることがものであれば、そのすべてに適用可能である。
【０１５７】
また、前記各実施形態では、デジタルカメラを例にして説明したが、例えばカメラ付き携帯電話など、カメラ機能を備えた電子機器であれば、その全てに本発明を適用することができる。この場合、カメラ付き携帯電話であれば、前記第４の実施形態において、図１７に示すような端末装置６２の接続は不要であり、カメラ付き携帯電話から直接ネットワーク６３を介してサーバ６４にアクセスすることができる。
【０１５８】
また、表示手段としても種々のものが考えられる。例えば、カメラ本体の表示部を用いる以外にも、カメラと接続されたコンピュータの表示モニタや、これらのカメラやコンピュータとさらに接続されたサーバコンピュータのモニタや、ネットワーク上の表示デバイスなどを用いることが可能である。
【０１５９】
また、カメラと接続されたプロジェクタによって、壁面や、実際の対象となっているカーテン等に直接投影するようにしてもよい。
【０１６０】
また、カメラと直接接続されていなくとも、種々の機器を通じて、間接的にネットワークで接続されている装置を用いても差し支えない。
【０１６１】
要するに、本発明は前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態で示される全構成要件から幾つかの構成要件が削除されても、「発明が解決しようとする課題」で述べた効果が解決でき、「発明の効果」の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【０１６２】
また、上述した各実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【０１６３】
また、前述したＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体の他にも、例えば、Ｂｌｕ−ｒａｙ  Ｄｉｓｃ（Ｒ）やＡＯＤ(Advanced Optical Disc)などの青色レーザを用いた次世代光ディスク、赤色レーザを用いるＨＤ−ＤＶＤ９、青紫色レーザを用いるＢｌｕｅ  Ｌａｓｅｒ  ＤＶＤなど、今後開発される種々の大容量記録媒体を用いて本発明を実施することが可能である。
【図面の簡単な説明】
【０１６４】
【図１】本発明の第１の実施形態における撮像装置としてデジタルカメラを例にした場合の外観構成を示す図。
【図２】同実施形態におけるデジタルカメラに備えられた電子回路の構成を示すブロック図
【図３】同実施形態におけるデジタルカメラの画像合成処理の流れを説明するためのフローチャート。
【図４】同実施形態におけるデジタルカメラにて合成画像の元となるカーテンを撮影する場合の状態を示す図。
【図５】同実施形態におけるデジタルカメラによって得られるカーテンの撮影画像の一例を示す図。
【図６】同実施形態におけるデジタルカメラに備えられた各種カーテンのパターンメモリの一例を示す図。
【図７】同実施形態におけるデジタルカメラによって得られる合成画像の一例を示す図。
【図８】同実施形態におけるデジタルカメラの撮影画像とパターン画像の合成方法を説明するための図。
【図９】本発明の第２の実施形態におけるＬ＊ａ＊ｂ＊表色系の色空間を立体的に示した図。
【図１０】同実施形態におけるＬ＊ａ＊ｂ＊表色系の色空間を平面的に示した図であり、図９の色空間を水平方向（緑方向−赤方向）に切った断面図。
【図１１】同実施形態におけるデジタルカメラの画像合成処理を示すフローチャートであり、Ｌ＊ａ＊ｂ＊表色系を用いて合成画像を作成する場合の手順を説明するためのフローチャート。
【図１２】同実施形態におけるデジタルカメラに備えられた半経比テーブルの一例を示す図。
【図１３】同実施形態におけるＬ＊Ｃ＊ｈ表色系の色空間を説明するための図。
【図１４】本発明の第３の実施形態における画像合成の概要についてＬ＊Ｃ＊ｈ表色系を例にして説明するための図。
【図１５】同実施形態におけるデジタルカメラの画像合成処理を示すフローチャートであり、Ｌ＊ａ＊ｂ＊表色系を用いて合成画像を作成する場合の手順を説明するためのフローチャート。
【図１６】同実施形態におけるデジタルカメラの画像合成処理を示すフローチャートであり、Ｌ＊Ｃ＊ｈ表色系を用いて合成画像を作成する場合の手順を説明するためのフローチャート。
【図１７】本発明の第４の実施形態におけるネットワークシステムの構成の一例を示す図。
【図１８】同実施形態におけるデジタルカメラの処理動作を説明するためのフローチャート。
【符号の説明】
【０１６５】
１…デジタルカメラ、２…撮影レンズ、３…セルフタイマランプ、４…光学ファインダ窓、５…マイクロホン部（ＭＩＣ）、６…ストロボ発光部、７…ラバーグリップ、８…電源キー、９…シャッタキー、１０…モードスイッチ（ＳＷ）、１１…スピーカ部（ＳＰ）、１２…メニューキー、１３…十字キー、１４…セットキー、１５…光学ファインダ、１６…ストロボチャージランプ、１７…表示部、２１…モータ、２２…レンズ光学系、２３…ＣＣＤ、２４…タイミング発生器（ＴＧ）、２５…垂直ドライバ、２６…サンプルホールド回路（Ｓ／Ｈ）、２７…Ａ／Ｄ変換器、２８…カラープロセス回路、２９…ＤＭＡコントローラ、３０…ＤＲＡＭインタフェース（Ｉ／Ｆ）、３１…ＤＲＡＭ、３２…制御部、３２ａ…パターンメモリ、３２ｂ…半径比テーブル、３３…ＶＲＡＭコントローラ、３４…ＶＲＡＭ、３５…デジタルビデオエンコーダ、３６…キー入力部、３７…画像処理部、３８…メモリ、３９…ＵＳＢインタフェース（Ｉ／Ｆ）、４０…ストロボ駆動部、５１…部屋の窓、５２…合成画像の元となるカーテン、５３…ユーザの選択したカーテン、６１…ＵＳＢケーブル、６２…端末装置、６３…ネットワーク、６４…サーバ。
【図１】
2005210500.tif 000003
【図２】
2005210500.tif 000004
【図３】
2005210500.tif 000005
【図４】
2005210500.tif 000006
【図５】
2005210500.tif 000007
【図６】
2005210500.tif 000008
【図７】
2005210500.tif 000009
【図８】
2005210500.tif 000010
【図９】
2005210500.tif 000011
【図１０】
2005210500.tif 000012
【図１１】
2005210500.tif 000013
【図１２】
2005210500.tif 000014
【図１３】
2005210500.tif 000015
【図１４】
2005210500.tif 000016
【図１５】
2005210500.tif 000017
【図１６】
2005210500.tif 000018
【図１７】
2005210500.tif 000019
【図１８】
2005210500.tif 000020