(57)【要約】【課題】所望の照明条件下で被写体が撮影された撮影画像を容易に取得することができる撮影システム、画像合成装置、および画像合成プログラムを提供することを目的とする。【解決手段】互いに照明方向が異なる複数の照明光それぞれで被写体を照らす照明部と、環境光と照明部による照明光との双方に照らされた被写体を、複数の照明光それぞれの下で撮影して複数の撮影画像を得る撮影部と、複数の撮影画像に基づいて、撮影画像中の被写体を照らしている光に含まれた環境光の成分及び又は照明光の成分を求める光成分算出部と、被写体を照らす光の各方位における目標の光量が指定され、その指定された光量と同等な光量の光に照らされた被写体の画像を、光成分算出部によって算出された成分と複数の撮影画像とに基づいた画像合成によって作成する画像合成部とを備えた。【選択図】        図８
2007281937.tif 000002
【特許請求の範囲】
【請求項１】
互いに照明方向が異なる複数の照明光それぞれで被写体を照らす照明部と、
環境光と前記照明部による照明光との双方に照らされた被写体を、前記複数の照明光それぞれの下で撮影して複数の撮影画像を得る撮影部と、
前記複数の撮影画像に基づいて、該撮影画像中の被写体を照らしている光に含まれた前記環境光の成分及び又は前記照明光の成分を求める光成分算出部と、
被写体を照らす光の各方位における目標の光量が指定され、その指定された光量と同等な光量の光に照らされた被写体の画像を、前記光成分算出部によって算出された成分と前記複数の撮影画像とに基づいた画像合成によって作成する画像合成部とを備えたことを特徴とする撮影システム。
【請求項２】
画像を空間周波数に基づいて高周波成分と低周波成分とに分解する画像分解部を備え、
前記画像合成部が、画像を合成するに当たり、前記撮影画像の低周波成分を用いることで、指定された光の状態を再現するものであることを特徴とする請求項１記載の撮影システム。
【請求項３】
前記画像合成部による画像合成に先立って前記複数の撮影画像それぞれに、被写体を照らす光の状態に関わる所定の画像処理を施す画像処理部を備えたことを特徴とする請求項１記載の撮影システム。
【請求項４】
前記画像合成部による画像合成に先立って前記複数の撮影画像それぞれに、被写体を照らす光の階調を調整する画像処理を施す画像処理部を備えたことを特徴とする請求項１記載の撮影システム。
【請求項５】
前記画像合成部による画像合成に先立って前記複数の撮影画像それぞれに、被写体を照らす光の光質を調整する画像処理を施す画像処理部を備えたことを特徴とする請求項１記載の撮影システム。
【請求項６】
前記画像合成部による画像合成に先立って前記複数の撮影画像それぞれに、被写体を照らす光の色温度を調整する画像処理を施す画像処理部を備えたことを特徴とする請求項１記載の撮影システム。
【請求項７】
環境光と照明光との双方に照らされた被写体が、互いに照明方向が異なる複数の照明光それぞれの下で撮影されて得られる複数の撮影画像を取得し、それら複数の撮影画像に基づいて、該撮影画像中の被写体を照らしている光に含まれた該環境光の成分及び又は該照明光の成分を求める光成分算出部と、
被写体を照らす光の各方位における目標の光量が指定され、その指定された光量と同等な光量の光に照らされた被写体の画像を、前記光成分算出部によって算出された成分と前記複数の撮影画像とに基づいた画像合成によって作成する画像合成部とを備えたことを特徴とする画像合成装置。
【請求項８】
コンピュータ内で実行され、該コンピュータ上に、環境光と照明光との双方に照らされた被写体が、互いに照明方向が異なる複数の照明光それぞれの下で撮影されて得られる複数の撮影画像を取得し、それら複数の撮影画像に基づいて、該撮影画像中の被写体を照らしている光に含まれた該環境光の成分及び又は該照明光の成分を求める光成分算出部と、
被写体を照らす光の各方位における目標の光量が指定され、その指定された光量と同等な光量の光に照らされた被写体の画像を、前記光成分算出部によって算出された成分と前記複数の撮影画像とに基づいた画像合成によって作成する画像合成部とを構築することを特徴とする画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮影する撮影システム、複数の撮影画像を合成する画像合成装置、および画像合成プログラムに関する。
【背景技術】
【０００２】
従来から、スタジオで照明写真や記念写真などを撮影する際には、被写体となる人物等の左右、正面、上下などに複数の照明装置を配置し、被写体に多方向から光を照射して撮影を行う多灯撮影が行われている。多灯撮影では、複数の照明装置それぞれの照射光量を調整することによって被写体の陰影を細かく調整することができ、被写体の質感や立体感が表現された商品価値の高い撮影画像を得ることができる。
【０００３】
しかし、被写体や照明装置の種類、およびそれらの配置位置などによって陰影バランスが変化してしまうため、複数の照明装置それぞれの照射光量を調整して陰影バランスを整える作業は熟練した技術を要し、経験が浅い撮影者には多灯撮影の利点を十分に活かすことが困難である。また、せっかく陰影バランスを調整しても、被写体が動いてしまった場合などには、被写体の位置や照明装置の照射光量などを再調整しなおす必要があり、撮影者にとっては大変煩雑であり、被写体となる人物にとっては忍耐が必要であるという問題がある。
【０００４】
この点に関し、特許文献１には、複数方向それぞれから光を照射する複数の照明装置を１つずつ点灯した状態で被写体を撮影し、生成された複数の撮影画像を重みを付けて合成することによって、複数の照明装置を仮定の照明条件で発光させて被写体を撮影した場合のシミュレーション画像を生成する技術が記載されている。例えば、撮影者がパーソナルコンピュータの画面などでシミュレーション画像を確認しながら、複数の撮影画像それぞれを合成する重みを指定することによって、被写体の陰影バランスを撮影後に容易に調整することができ、撮影時における煩雑な作業を軽減することができる。
【特許文献１】特開２００２−２７３１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載された技術を適用して、複数の撮影画像を重みを付けて単純に合成すると、シミュレーション画像が実際のスタジオの照明よりも明るくなってしまって、撮影時に想像していた撮影画像とイメージが変わってしまうという問題がある。このようなシミュレーション画像を、照明条件を決定するための一時的な画像ではなく、最終的な撮影画像として利用するためには、シミュレーション画像の画質を向上させることが必要となる。
【０００６】
本発明は、上記事情に鑑み、所望の照明条件下で被写体が撮影された高画質な撮影画像を容易に取得することができる撮影システム、画像合成装置、および画像合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成する本発明の撮影システムは、互いに照明方向が異なる複数の照明光それぞれで被写体を照らす照明部と、
環境光と照明部による照明光との双方に照らされた被写体を、複数の照明光それぞれの下で撮影して複数の撮影画像を得る撮影部と、
複数の撮影画像に基づいて、撮影画像中の被写体を照らしている光に含まれた環境光の成分及び又は照明光の成分を求める光成分算出部と、
被写体を照らす光の各方位における目標の光量が指定され、その指定された光量と同等な光量の光に照らされた被写体の画像を、光成分算出部によって算出された成分と複数の撮影画像とに基づいた画像合成によって作成する画像合成部とを備えたことを特徴とする。
【０００８】
従来、複数方向それぞれから光を１つずつ照射して被写体を撮影し、複数の撮影画像を重みを付けて合成してシミュレーション画像を生成する技術が提案されている。しかし、被写体には、被写体に光を照射するための照射装置の光と、スタジオに取り付けられている蛍光灯やスタジオに射し込む日光などといった環境光との両方が照射されているため、複数の撮影画像をそのまま合成してしまうと、環境光の成分が重複して含まれてしまって、シミュレーション画像の明るさが実際のスタジオの明るさよりも明るくなってしまうという問題がある。本発明の撮影システムによると、複数の照明光それぞれと環境光との双方に照らされた被写体が撮影されると、取得された複数の撮影画像に基づいて被写体を照らしている光に含まれた環境光の成分及び又は照明光の成分が算出され、算出された成分に基づいて画像合成が行われる。例えば、照明光の成分が所望の重みで合成され、さらに、環境光の成分が合成されることによって、環境光の成分が重複して何度も加算されてしまう不具合を回避することができ、所望の照明条件下で被写体が撮影された高画質な撮影画像を容易に取得することができる。
【０００９】
また、本発明の撮影システムは、画像を空間周波数に基づいて高周波成分と低周波成分とに分解する画像分解部を備え、
上記画像合成部が、画像を合成するに当たり、撮影画像の低周波成分を用いることで、指定された光の状態を再現するものであることが好ましい。
【００１０】
撮影画像の低周波成分は、撮影画像から被写体の構成成分が除かれ、光の明暗状態が抽出されたぼかし画像である。画像を合成する際に、撮影画像の低周波成分が利用されることによって、複数の撮影画像相互間で被写体が多少ぶれてしまっていても、確実に高画質な画像を得ることができる。
【００１１】
また、本発明の撮影システムにおいて、上記画像合成部による画像合成に先立って複数の撮影画像それぞれに、被写体を照らす光の状態に関わる所定の画像処理を施す画像処理部を備えたことが好適である。
【００１２】
本発明の好適な撮影システムによると、画像処理によって高画質な画像を得ることができる。
【００１３】
また、本発明の撮影システムにおいて、上記画像合成部による画像合成に先立って複数の撮影画像それぞれに、被写体を照らす光の階調を調整する画像処理を施す画像処理部を備えたことも好ましい。
【００１４】
光の階調を調整することによって、所望のコントラストを有する画像を得ることができる。
【００１５】
また、本発明の撮影システムにおいて、上記画像合成部による画像合成に先立って複数の撮影画像それぞれに、被写体を照らす光の光質を調整する画像処理を施す画像処理部を備えたことも好ましい。
【００１６】
光の光質を調整することによって、蛍光灯の下のような硬い直進光や、レフ板を使ったときのような柔らかい拡散光などを表現することができる。
【００１７】
また、本発明の撮影システムにおいて、上記画像合成部による画像合成に先立って複数の撮影画像それぞれに、被写体を照らす光の色温度を調整する画像処理を施す画像処理部を備えたことを特徴とする。
【００１８】
複数の撮影画像相互間で色温度を合わせることによって、例えば、人物の肌の色が見た目に美しい色で表現された画像等というような高品質な画像を取得することができる。
【００１９】
また、上記目的を達成する本発明の画像合成装置は、環境光と照明光との双方に照らされた被写体が、互いに照明方向が異なる複数の照明光それぞれの下で撮影されて得られる複数の撮影画像を取得し、それら複数の撮影画像に基づいて、撮影画像中の被写体を照らしている光に含まれた環境光の成分及び又は照明光の成分を求める光成分算出部と、
被写体を照らす光の各方位における目標の光量が指定され、その指定された光量と同等な光量の光に照らされた被写体の画像を、光成分算出部によって算出された成分と複数の撮影画像とに基づいた画像合成によって作成する画像合成部とを備えたことを特徴とする。
【００２０】
本発明の画像合成装置によると、所望の照明条件下で被写体が撮影された高画質な撮影画像を容易に取得することができる。
【００２１】
尚、画像合成装置については、ここではその基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう画像合成装置には、上記の基本形態のみではなく、前述した撮影システムの各形態に対応する各種の形態が含まれる。
【００２２】
また、上記目的を達成する本発明の画像合成プログラムは、コンピュータ内で実行され、コンピュータ上に、環境光と照明光との双方に照らされた被写体が、互いに照明方向が異なる複数の照明光それぞれの下で撮影されて得られる複数の撮影画像を取得し、それら複数の撮影画像に基づいて、撮影画像中の被写体を照らしている光に含まれた環境光の成分及び又は照明光の成分を求める光成分算出部と、
被写体を照らす光の各方位における目標の光量が指定され、その指定された光量と同等な光量の光に照らされた被写体の画像を、光成分算出部によって算出された成分と複数の撮影画像とに基づいた画像合成によって作成する画像合成部とを構築することを特徴とする。
【００２３】
尚、画像合成プログラムについても、ここではその基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう画像合成プログラムには、上記の基本形態のみではなく、前述した撮影システムの各形態に対応する各種の形態が含まれる。
【００２４】
さらに、本発明の画像合成プログラムがコンピュータシステム上に構築する光成分算出部などといった要素は、１つの要素が１つのプログラム部品によって構築されるものであってもよく、複数の要素が１つのプログラム部品によって構築されるものであってもよい。また、これらの要素は、そのような作用を自分自身で実行するものとして構築されてもよく、あるいはコンピュータシステムに組み込まれている他のプログラムやプログラム部品に指示を与えて実行するものとして構築されてもよい。
【発明の効果】
【００２５】
本発明によれば、所望の照明条件下で被写体が撮影された高画質な撮影画像を容易に取得することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施形態について説明する。
【００２７】
図１は、本発明の一実施形態が適用された撮影システムの全体構成図である。
【００２８】
この撮影システム１は、多方向から光を照射して被写体Ｐを撮影する多灯撮影を行うシステムであり、被写体Ｐに、上、正面、右、左それぞれから光を照射する複数の照明装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌと、被写体を撮影するデジタルカメラ２０と、撮影画像に画像処理を施すパーソナルコンピュータ３０とで構成されている。複数の照明装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌを合わせたものは、本発明にいう照明部の一例にあたり、デジタルカメラ２０は、本発明にいう撮影部の一例に相当する。
【００２９】
デジタルカメラ２０は、被写体Ｐを連続的に撮影する連写機能が搭載されたものであり、所定のタイミング毎に同期信号が発せられ、その同期信号に合わせてシャッタが切られる。デジタルカメラ２０で撮影された複数の撮影画像は、輝度を調整するガンマ補正処理などが施された後、パーソナルコンピュータ３０に送られる。
【００３０】
照明装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌには、照明装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌを所定のタイミングで発光させる発光制御装置が内蔵されている。照明装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌは、パーソナルコンピュータ３０およびデジタルカメラ２０に接続されており、デジタルカメラ２０から発せられる同期信号を受信し、パーソナルコンピュータ３０によって指示された回数だけ同期信号が受信された時点で発光する。
【００３１】
パーソナルコンピュータ３０は、照明装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌの発光を制御したり、デジタルカメラ２０から送られてきた複数の撮影画像を合成して合成画像を生成したりする。
【００３２】
本実施形態においては、照明装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌが１つずつ発光された状態で連続的に被写体が撮影される。
【００３３】
撮影システム１における一連の処理の流れの説明に先立って、まず、パーソナルコンピュータ３０の構成と、パーソナルコンピュータ３０内に構築される本発明の画像合成装置の一実施形態である画像合成装置４００（図４参照）について説明する。
【００３４】
パーソナルコンピュータ３０には、外観構成上、本体装置３１、その本体装置３１からの指示に応じて表示画面３２ａ上に画像を表示する画像表示装置３２、本体装置３１にキー操作に応じた各種の情報を入力するキーボード３３、および、表示画面３２ａ上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス３４などが備えられている。
【００３５】
図２は、パーソナルコンピュータ３０のハードウェア構成図である。
【００３６】
本体装置３１の内部には、図２に示すように、各種プログラムを実行するＣＰＵ１０１、ハードディスク装置１０３に格納されたプログラムが読み出されＣＰＵ１０１での実行のために展開される主メモリ１０２、各種プログラム等が保存されたハードディスク装置１０３、ＣＤ−ＲＯＭ２１０やＤＶＤが装填され、その装填されたＣＤ−ＲＯＭ２１０やＤＶＤをアクセスするＣＤ／ＤＶＤドライブ１０４、ＦＤ２２０が装填され、装填されたＦＤ２２０をアクセスするＦＤドライブ１０５、図１に示すデジタルカメラ２０から撮影画像を入力する入力インタフェース１０６、および図１に示す照明装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌに指示を送る出力インタフェース１０７などが内蔵されており、これらの各種要素と、さらに図１にも示す画像表示装置３２、キーボード３３、およびマウス３４は、バス３５を介して相互に接続されている。
【００３７】
ここで、ＣＤ−ＲＯＭ２１０には、本発明の画像合成プログラムの一実施形態である画像合成プログラムが記憶されている。そのＣＤ−ＲＯＭ２１０はＣＤ／ＤＶＤドライブ１０４に装填され、そのＣＤ−ＲＯＭ２１０に記憶された画像合成プログラムがこのパーソナルコンピュータ３０にアップロードされてハードディスク装置１０３に記憶される。そして、この画像合成プログラムが起動されて実行されることにより、パーソナルコンピュータ３０内に、本発明の画像合成装置の一実施形態である画像合成装置４００が構築される。
【００３８】
尚、上記では、画像合成プログラムを記憶する記憶媒体としてＣＤ−ＲＯＭ２１０が例示されているが、画像合成プログラムを記憶する記憶媒体はＣＤ−ＲＯＭに限られるものではなく、それ以外の光ディスク、ＭＯ、ＦＤ、磁気テープなどの記憶媒体であってもよい。また、本発明の画像合成プログラムは、記憶媒体を介さずに、入力インタフェース１０６を介して直接にパーソナルコンピュータ３０に供給されるものであってもよい。
【００３９】
図３は、画像合成プログラムが記憶されたＣＤ−ＲＯＭ２１０を示す概念図である。
【００４０】
図３に示すように、ＣＤ−ＲＯＭ２１０に記憶された画像合成プログラム３００は、撮影画像取得部３１１、画像処理部３１２、照明画像生成部３１３、画像分解部３１４、被写体検出部３１５、位置ズレ補正部３１６、画像合成部３１７、色空間逆変換部３１８、指定部３１９、および撮影制御部３２０で構成されている。
【００４１】
画像合成プログラム３００の各部の詳細については、画像合成装置４００の各部の作用と一緒に説明する。
【００４２】
図４は、画像合成装置４００の機能ブロック図である。
【００４３】
画像合成装置４００は、撮影画像取得部４１１と、画像処理部４１２と、照明画像生成部４１３と、画像分解部４１４と、被写体検出部４１５と、位置ズレ補正部４１６と、画像合成部４１７と、色空間逆変換部４１８と、指定部４１９と、撮影制御部４２０とを有しており、さらに、画像処理部４１２は、色空間変換部４１２Ａと、光調整部４１２Ｂとを有している。光調整部４１２Ｂは、本発明にいう画像処理部の一例にあたり、照明画像生成部４１３は、本発明にいう光成分算出部の一例にあたり、画像分解部４１４は、本発明にいう画像分解部の一例にあたり、画像合成部４１７は、本発明にいう画像合成部の一例に相当する。
【００４４】
画像合成装置４００を構成する、撮影画像取得部４１１と、画像処理部４１２と、照明画像生成部４１３と、画像分解部４１４と、被写体検出部４１５と、位置ズレ補正部４１６と、画像合成部４１７と、色空間逆変換部４１８と、指定部４１９と、撮影制御部４２０は、図３に示す画像合成プログラム３００を構成する、撮影画像取得部３１１、画像処理部３１２、照明画像生成部３１３、画像分解部３１４、被写体検出部３１５、位置ズレ補正部３１６、画像合成部３１７、色空間逆変換部３１８、指定部３１９、および撮影制御部３２０にそれぞれ対応する。
【００４５】
図４の各要素は、コンピュータのハードウェアとそのコンピュータで実行されるＯＳやアプリケーションプログラムとの組合せで構成されているのに対し、図３に示す画像合成プログラム３００の各要素はそれらのうちのアプリケーションプログラムのみにより構成されている点が異なる。
【００４６】
続いて、画像合成装置４００の各部の作用と、撮影システム１における一連の処理の流れについて説明する。
【００４７】
図５は、デジタルカメラ２０で被写体Ｐが連写され、生成された複数の撮影画像が合成される一連の処理の流れを示すフローチャートである。
【００４８】
パーソナルコンピュータ３０には、照明装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌの発光タイミングを指定するための発光設定画面が予め用意されている。被写体Ｐを撮影するに当たり、撮影者によって、照明装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌの発光タイミングが設定される。
【００４９】
図６は、発光設定画面の一例を示す図である。
【００５０】
発光設定画面５１０には、現在、発光可能な照射装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌが示されており、それら照射装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌそれぞれに対して、デジタルカメラ２０から送られてくる同期信号を何回受信したタイミングで発光させるかを設定するための発光設定部５１１が備えられている。この例では、照明装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌが、同期信号が受信される毎に、被写体を上方から照射する照明装置１０Ｕ、被写体を左側から照射する照明装置１０Ｌ、被写体を正面から照射する照明装置１０Ｆ、および被写体を右側から照射する照明装置１０Ｒの順に１つずつ発光されることが設定されている。撮影者が、パーソナルコンピュータ３０のキーボード３３やマウス３４を使って発光タイミングを指定すると、指定内容が図４に示す指定部４１９から撮影制御部４２０に伝えられる。
【００５１】
撮影制御部４２０は、上方から光を照射する照明装置１０Ｕには、デジタルカメラ２０から発せられる同期信号を「１回」受信したら発光する指示を伝え、左側から光を照射する照明装置１０Ｌには、同期信号を「２回」受信したら発光する指示を伝え、正面から光を照射する照明装置１０Ｆには、同期信号を「３回」受信したら発光する指示を伝え、右側から光を照射する照明装置１０Ｒには、同期信号を「４回」受信したら発光する指示を伝える。
【００５２】
撮影者が、デジタルカメラ２０で連写枚数を設定し（図５のステップＳ１）、デジタルカメラ２０に設けられたシャッタスイッチを押すと、被写体Ｐの撮影が開始される。デジタルカメラ２０では、シャッタスイッチが押されると、所定のタイミングごとに同期信号が発せられ、その同期信号が発せられる毎に１回ずつ連続してシャッタが切られる。この例では、被写体Ｐが４回連写されるものとして説明する。
【００５３】
デジタルカメラ２０から発せられた同期信号は、照明装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌで受信される。
【００５４】
上側の照明装置１０Ｕは、同期信号が１回受信されると発光する（図５のステップＳ２）。
【００５５】
デジタルカメラ２０では、上側の照明装置１０Ｕが発光された状態でシャッタが切られることにより、上方からの照射光の下で被写体Ｐが撮影される（図５のステップＳ３）。
【００５６】
続いて、左側の照明装置１０Ｌは、同期信号が２回受信されると発光され（図５のステップＳ２）、デジタルカメラ２０では、左からの照射光の下で被写体Ｐが撮影される（図５のステップＳ３）。
【００５７】
以下、同様に、同期信号が３回受信されると正面の照明装置１０Ｆが発光され（図５のステップＳ２）、正面からの照射光の下で被写体Ｐが撮影され（図５のステップＳ３）、同期信号が４回受信されると右側の照明装置１０Ｒが発光され（図５のステップＳ２）、右からの照射光の下で被写体Ｐが撮影される（図５のステップＳ３）。
【００５８】
デジタルカメラ２０で撮影された撮影画像は、デジタルカメラ２０内において、ガンマ補正処理などが施された後で、パーソナルコンピュータ３０に送られる。
【００５９】
図４に示す撮影画像取得部４１１では、図２に示す入力インタフェース１０６を介して、デジタルカメラ２０から送られてきた複数（この例では、４枚）の撮影画像が取得される。取得された複数の撮影画像は、図２に示す画像表示装置３２に伝えられ、表示画面３２ａ上に表示される。
【００６０】
図７は、表示画面３２ａ上に表示された複数の撮影画像を示す図である。
【００６１】
パーソナルコンピュータ３０には、複数の撮影画像を表示し、それら複数の撮影画像を合成するときの重みを設定するための合成設定画面５２０が用意されている。合成設定画面５２０には、デジタルカメラ２０から送られてきた複数の撮影画像５２１が表示されており、複数の撮影画像５２１それぞれを合成するときの重みを設定するための重み設定部５２２と、重み設定部５２２で設定された重みを確定するための決定ボタン５２３と、重み設定部５２２で設定された重みを取り消すためのキャンセルボタン５２４と、決定ボタン５２３が押されて確定された重みで複数の撮影画像５２１が合成された合成画像を表示するための合成画像表示部５２５とが備えられている。
【００６２】
撮影者は、複数の撮影画像５２１を確認し、複数の撮影画像５２１それぞれを合成するときの重みをを入力することによって、照明装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌそれぞれから照射される照射光の光量を撮影後に容易に指定することができる。
【００６３】
しかし、撮影者が複数の撮影画像５２１を確認して所望の陰影バランスなどをイメージし、複数の撮影画像５２１それぞれを合成するときの重みを指定しても、実際に複数の撮影画像５２１が指定された重みで合成された合成画像は、撮影者がイメージしていた合成画像よりも明るくなってしまうことが多い。これは、複数の撮影画像５２１それぞれには、照明装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌそれぞれからの照射光に加えて、スタジオに取り付けられている蛍光灯や、スタジオに射し込む日光などといった環境光が含まれており、複数の撮影画像５２１を単純に合成してしまうと、環境光が重複して加算されてしまうためである。本実施形態の画像合成装置４００は、このような不具合の回避が図られたものである。
【００６４】
図８は、画像合成装置４００で撮影画像に施される各種処理を説明するための図である。
【００６５】
画像合成装置４００では、図８のステップＴ１に示すように、環境光のみが照射された状態で被写体Ｐが撮影された画像（以下では、この画像を環境光画像と称する）と、照明装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌそれぞれのみが照射された状態で被写体Ｐが撮影された複数の画像（以下では、この画像を照明画像と称する）とが生成され、それら環境光画像と複数の照明画像とを使って後段の処理が行われる。しかし、通常、デジタルカメラでは、撮影画像に輝度を補正するガンマ補正処理が施されることが一般的であり、デジタルカメラ２０から送られてくる撮影画像は、輝度が不連続な色空間（例えば、ｓＲＧＢ色空間）で表現されていることが多い。図４に示す撮影画像取得部４１１で取得された複数の撮影画像は、画像処理部４１２にも伝えられる。
【００６６】
画像処理部４１２の色空間変換部４１２Ａは、後段で行われる各種処理のために、撮影画像にデジタルカメラ２０で使用されたγカーブの逆関数を掛けることによって、撮影画像の色空間を輝度リニアな色空間（例えば、ＲＧＢ色空間）に変換する。
【００６７】
また、パーソナルコンピュータ３０には、画像処理に利用される複数の階調補正カーブの中から所望の階調補正カーブを選択する階調選択部、合成画像中の被写体を照らす照明の種類を選択する照明選択部、被写体である人物の肌の色味を選択する色味選択部などが備えられた設定用画面（図示しない）が予め用意されている。撮影者がマウス３４などを使ってそれら階調補正カーブ、照明の種類、および色味を選択すると、画像処理部４１２の光調整部４１２Ｂにおいて、複数の撮影画像それぞれに各種画像処理が施される。まずは、複数の撮影画像それぞれに、選択された階調補正カーブを使って階調補正処理が施される。撮影画像に階調補正処理が施されることによって、画像のコントラストを調整することができる。続いて、光調整部４１２Ｂでは、選択された照明の種類に合わせて、複数の撮影画像相互間の光の光質を整える処理が施される。複数の撮影画像相互間の光の光質が整えられることによって、レフ板を使った柔らかい光や、蛍光灯の硬い光といった光の種類などを精度良く表現することができる。さらに、光調整部４１２Ｂでは、選択された色味に合わせて、複数の撮影画像相互間の光の色温度を整える処理が施される。複数の撮影画像相互間の光の色温度が整えられることによって、被写体である人物の肌の色などを見た目に美しい色で表現することができる。画像処理が施された撮影画像は、照明画像生成部４１３に伝えられる。
【００６８】
照明画像生成部４１３は、複数の撮影画像を画素ごとに比較し、それらの画素から最も暗い画素を抽出することによって環境光画像を生成し、複数の撮影画像それぞれから環境光画像を減算することにより、照明装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌそれぞれのみが照射された状態で被写体Ｐが撮影された複数の照明画像を生成する（図５のステップＳ５）。生成された環境光画像と複数の照明画像（図８のステップＴ１）は、画像分解部４１４に伝えられる。
【００６９】
画像分解部４１４は、環境光画像と複数の照明画像それぞれを、空間周波数に基づいて高周波成分と低周波成分とに分解する。各画像の高周波成分は、画像中の被写体の構成成分が抽出されたものであり、各画像の低周波成分は、画像中の光の明暗状態が抽出されたものである。各照明画像の高周波成分（図８のステップＴ２）は、被写体検出部４１５に伝えられ、環境光画像と各照明画像の低周波成分（図８のステップＴ３）は、位置ズレ補正部４１６に伝えられる。
【００７０】
被写体検出部４１５は、複数の照明画像それぞれの高周波成分（図８のステップＴ２）に基づいて、各画像中の被写体の位置を検出する（図５のステップＳ６）。画像の高周波成分を用いることによって、被写体を精度良く検出することができる。
【００７１】
本実施形態においては、まず、被写体の顔が検出され、検出された顔に基づいて人物が検出される。この検出方法は、特開２００４−２２０５５５の特許文献などにも記載されており、従来から広く知られている技術であるため、本明細書では詳細な説明を省略する。検出結果は、位置ズレ補正部４１６に伝えられる。
【００７２】
位置ズレ補正部４１６では、被写体検出部４１５から伝えられた検出結果に基づいて、画像分解部４１４から伝えられた複数の照明画像それぞれの低周波成分（図８のステップＴ３）の位置ズレが補正される（図５のステップＳ７）。本実施形態においては、まず、陰影バランスが最も整っている、正面からの照射光下で被写体Ｐが撮影された状態に相当する照明画像の被写体の位置が基準位置に決定され、その他の３つの照明画像それぞれの被写体の位置と、基準位置とのズレ量が算出される。続いて、基準となる照明画像以外の３つの照明画像それぞれの低周波成分が算出されたズレ量だけ移動されて位置ズレが補正される。尚、本実施形態では、複数の照明画像それぞれの被写体の位置を検出し、検出した位置に基づいて位置ズレを補正したが、例えば、複数の照明画像それぞれのエッジや濃度パターンなどを比較して、比較結果に基づいて、被写体の位置を検出せずに位置ズレを補正してもよい。また、環境光画像は、位置ズレが補正される前の複数の撮影画像に基づいて生成されているため、ぼけてしまっていて被写体の位置を確定できないことが多い。このため、本実施形態では、環境光画像については、被写体の位置検出や位置ズレの補正を行わない。基準となる照明画像の低周波成分と高周波成分、位置ズレが補正された照明画像の低周波成分、および環境光画像の低周波成分は、画像合成部４１７に伝えられる。
【００７３】
図９は、重みが指定された合成設定画面５２０の一例を示す図である。
【００７４】
撮影者が、パーソナルコンピュータ３０のマウス３４やキーボード３３を使って、図９に示す合成設定画面５２０の重み設定部５２２に、複数の撮影画像５２１それぞれを合成するときの重みを指定し（図５のステップＳ８）、決定ボタン５２３を選択すると、入力された重みが指定部４１９から画像合成部４１７に伝えられる。この例では、一番上の撮影画像５２１（上からの照明光が照射された撮影画像）に７５％の重みを付し、２番目の撮影画像５２１（左からの照明光が照射された撮影画像）に６０％の重みを付し、３番目の撮影画像５２１（正面からの照明光が照射された撮影画像）に２０％の重みを付し、一番下の撮影画像５２１（右からの照明光が照射された撮影画像）に２０％の重みを付して合成することが指定されている。
【００７５】
画像合成部４１７では、指定された重みに従った画像合成が行われるが、図９に示す複数の撮影画像５２１そのものが合成されるのではなく、それら複数の撮影画像５２１に基づいて生成された複数の照明画像が合成される（図５のステップＳ９）。
【００７６】
本実施形態においては、まず、位置ズレ補正部４１６から伝えられた４つの照明画像の低周波成分それぞれが指定部４１９から伝えられた重みを付して合成され、位置ズレ補正部４１６から伝えられた環境光画像の低周波成分が合成されて（図８のステップＴ３）、低周波合成画像が生成される。続いて、低周波合成画像に、位置ズレ補正部４１６から伝えられた基準の照明画像の高周波成分が合成されて、最終的な合成画像が生成される（図８のステップＴ４）。画像の低周波成分のみを指定された重みを付して合成することによって、位置ズレ補正だけでは補正しきれないほどに被写体がぶれてしまっている場合であっても、所望の照射状態で撮影された撮影画像を精度良く再現することができる。生成された合成画像は、色空間逆変換部４１８に伝えられる。
【００７７】
色空間逆変換部４１８では、合成画像にガンマ補正処理が施されることによって輝度が調整され、合成画像の色空間が、輝度が不連続な色空間（例えば、ｓＲＧＢ色空間）に変換される。変換後の合成画像は、図２に示す画像表示装置３２に伝えられる。
【００７８】
画像表示装置３２は、図９に示す合成設定画面５２０の合成画像表示部５２５に、伝えられた合成画像を表示させる（図５のステップＳ１０）。
【００７９】
合成画像表示部５２５に表示された合成画像は、４枚の撮影画像５２１が単純に合成されたものではなく、それら４枚の撮影画像５２１それぞれから環境光画像を減算した照明画像が合成され、環境光画像が１つだけ加算されたものである。このため、本実施形態によると、環境光の成分が何度も重複して加算されてしまって、合成画像がイメージしていた画像よりも明るくなってしまう不具合などが回避され、スタジオで照明装置１０Ｕ，１０Ｆ，１０Ｒ，１０Ｌそれぞれから指定された光量で光を照射した状態で被写体Ｐを撮影した撮影画像を精度良く再現することができる。また、相互間の被写体の位置ずれが補正された後で環境光画像や複数の照明画像が合成されることによって、ぼけなどが生じていない高画質な合成画像を得ることができる。
【００８０】
撮影者が、パーソナルコンピュータ３０のマウス３４やキーボード３３を使って、図９に示す合成設定画面５２０の決定ボタン５２３を再度選択すると、合成画像表示部５２５に表示された合成画像が最終的な撮影画像として決定される（図５のステップＳ１１：Ｙｅｓ）。決定された撮影画像は、ハードディスク装置１０３に伝えられて保存されたり、ＣＤ／ＤＶＤドライブ１０４に伝えられてＤＶＤなどに記録される。
【００８１】
このように、本実施形態の撮影システム１によると、所望の照明条件下で被写体が撮影された高画質な撮影画像を容易に取得することができる。
【００８２】
以上で、本発明の第１実施形態の説明を終了し、本発明の第２実施形態について説明する。以下では、第１実施形態と第２実施形態とで同じ構成要素については同じ符号を付して説明を省略し、第１実施形態および第２実施形態の相違点に注目して説明する。
【００８３】
図１０は、本発明の第２実施形態が適用された撮影システム１´の概略構成図である。
【００８４】
本実施形態の撮影システム１´では、図１に示す第１実施形態の撮影システム１とは異なり、パーソナルコンピュータ３０が照明装置１０Ｕ´，１０Ｆ´，１０Ｒ´，１０Ｌ´と接続されておらず、照明装置１０Ｕ´，１０Ｆ´，１０Ｒ´，１０Ｌ´、およびデジタルカメラ２０には、撮影を制御する撮影制御装置４０が接続されている。照明装置１０Ｕ´，１０Ｆ´，１０Ｒ´，１０Ｌ´は、発光制御装置を備えておらず、同期信号を受信して発光する単純な構成の照明装置である。
【００８５】
撮影制御装置４０は、デジタルカメラ２０から同期信号を受信し、照明装置１０Ｕ´，１０Ｆ´，１０Ｒ´，１０Ｌ´それぞれに同期信号を分配するものである。撮影制御装置４０には、図６に示す発光設定画面５１０での設定と同様の設定を行うための操作子群が設けられている。撮影者が操作子群を使って照明装置１０Ｕ´，１０Ｆ´，１０Ｒ´，１０Ｌ´それぞれと発光タイミングとを設定すると、撮影制御装置４０では、デジタルカメラ２０から送られてきた同期信号が設定された発光タイミングに達した照明装置のみに同期信号が伝えられる。このように、撮影制御装置４０が備えられることによって、撮影システムの配線を簡略化することができ、発光制御装置が備えられていない単純な照明装置１０Ｕ´，１０Ｆ´，１０Ｒ´，１０Ｌ´の発光順序を容易に制御することができる。
【００８６】
照明装置１０Ｕ´，１０Ｆ´，１０Ｒ´，１０Ｌ´が順次に照射され、各照明装置１０Ｕ´，１０Ｆ´，１０Ｒ´，１０Ｌ´からの照射光下で被写体Ｐが撮影された複数の撮影画像は、パーソナルコンピュータ３０に伝えられる。
【００８７】
デジタルカメラ２０から送られてきた複数の撮影画像は、入力インタフェース１０６を介して、図４に示す画像合成装置４００で取得される。
【００８８】
本実施形態の画像合成装置４００は、第１実施形態の画像合成装置４００と同じ構成を有しているが、被写体検出部４１５で行われる処理が第１実施形態とは異なっている。
【００８９】
本実施形態においては、図２に示すハードディスク装置１０３に、被写体の候補の形状や色などといった図形的な特徴が予め登録されている。被写体検出部４１５は、画像分解部４１４から送られてきた高周波画像中から、登録されている特徴が含まれている領域を検索し、検索された領域を被写体の位置と決定する。
【００９０】
このように、被写体の候補の形状や色などを予め登録しておき、その特徴に基づいて被写体の位置を検出することによって、人物以外の被写体の位置も確実に検出することができる。
【００９１】
ここで、上記では、複数の撮影画像に基づいて環境光画像を算出する例について説明したが、本発明の画像合成装置は、予め環境光のみの状態で被写体を撮影しておき、その撮影された環境光画像を使って照明画像を生成するものであってもよい。
【００９２】
また、上記では、環境光画像に基づいて照明画像を生成し、それら照明画像を合成する例について説明したが、本発明の画像合成装置は、複数の撮影画像を合成し、合成された画像から重複されて加算された環境光画像を減算するものであってもよい。
【００９３】
また、上記では、環境光画像に基づいて照明画像を生成する例について説明したが、本発明の画像合成装置は、照明画像のみを生成するものであってもよく、撮影画像中の、環境光に相当する光の割合のみを算出するものであってもよい。
【００９４】
また、上記では、位置ズレが補正された照明画像の低周波成分を用いて画像合成を行う例について説明したが、本発明にいう画像合成部は、位置ズレが補正されていない照明画像の低周波成分を用いて画像合成を行うものであってもよい。
【００９５】
また、上記では、環境光画像や照明画像を周波数分解し、それらの低周波成分のみを合成する例について説明したが、本発明にいう画像合成部は、環境光画像や照明画像を合成してもよい。
【００９６】
また、上記では、複数の照明画像それぞれを指定された重みで合成し、さらに環境光画像を１つ分だけ合成する例について説明したが、本発明にいう画像合成部は、環境光画像も指定された重みで合成するものであってもよい。環境光画像を所望の重みで合成することによって、合成画像の明るさを抑えることができる。
【００９７】
また、上記では、単独の照明装置を複数備えた例について説明したが、本発明にいう照明部は、デジタルカメラと一体化した複数の閃光発光装置などであってもよく、レフ板などであってもよい。
【００９８】
また、上記では、複数の照明装置それぞれを単独で発光させる例について説明したが、本発明にいう照明部は、複数の照明装置を複合的に発光させるものであってもよい。
【００９９】
また、上記では、撮影者が複数の撮影画像それぞれを合成するときの重みを指定する例について説明したが、本発明にいう「指定」は、照明装置から照射される照明光の方向とは異なる方向における目標の光量の指示であってもよく、目標の画像から各方位における目標の光量を分析する分析装置によって分析された結果であってもよい。
【図面の簡単な説明】
【０１００】
【図１】本発明の一実施形態が適用された撮影システムの全体構成図である。
【図２】パーソナルコンピュータのハードウェア構成図である。
【図３】画像合成プログラムが記憶されたＣＤ−ＲＯＭを示す概念図である。
【図４】画像合成装置の機能ブロック図である。
【図５】デジタルカメラで被写体Ｐが連写され、生成された複数の撮影画像が合成される一連の処理の流れを示すフローチャートである。
【図６】発光設定画面の一例を示す図である。
【図７】表示画面上に表示された複数の撮影画像を示す図である。
【図８】画像合成装置で撮影画像に施される各種処理を説明するための図である。
【図９】重みが指定された合成設定画面の一例を示す図である。
【図１０】本発明の第２実施形態が適用された撮影システムの概略構成図である。
【符号の説明】
【０１０１】
１，１´    撮影システム
１０Ｕ，１０Ｒ，１０Ｌ，１０Ｆ    照明装置
２０    デジタルカメラ
３０    パーソナルコンピュータ
３１    本体装置
３２ａ    表示画面
３２    画像表示装置
３３    キーボード
３４    マウス
３５    バス
１０１    ＣＰＵ
１０２    主メモリ
１０３    ハードディスク装置
１０４    ＦＤドライブ
１０５    ＣＤ−ＲＯＭドライブ
１０６    入力インタフェース
１０７    出力インタフェース
３００    画像合成プログラム
３１１    撮影画像取得部
３１２    画像処理部
３１３    照明画像生成部
３１４    画像分解部
３１５    被写体検出部
３１６    位置ズレ補正部
３１７    画像合成部
３１８    色空間逆変換部
３１９    指定部
３２０    撮影制御部
４００    画像合成装置
４１１    撮影画像取得部
４１２    画像処理部
４１３    照明画像生成部
４１４    画像分解部
４１５    被写体検出部
４１６    位置ズレ補正部
４１７    画像合成部
４１８    色空間逆変換部
４１９    指定部
４２０    撮影制御部
【図１】
2007281937.tif 000003
【図２】
2007281937.tif 000004
【図３】
2007281937.tif 000005
【図４】
2007281937.tif 000006
【図５】
2007281937.tif 000007
【図６】
2007281937.tif 000008
【図７】
2007281937.tif 000009
【図８】
2007281937.tif 000010
【図９】
2007281937.tif 000011
【図１０】
2007281937.tif 000012