(57)【特許請求の範囲】
【請求項１】
写真画像を取得する手段と、
背景画像を取得する手段と、
前記写真画像の背景合成領域を認識するとともに、該背景合成領域に係るピクセルの座標をリストに記憶する手段と、
認識される前記写真画像の前記背景合成領域に前記背景画像を合成して背景付き写真画像を生成する手段と、
前記背景付き写真画像を表示する手段と、
前記背景付き写真画像のピクセルをユーザが指示する手段と、
指示される前記背景付き写真画像のピクセルの座標が、前記リストに含まれるかを判断し、含まれる場合、該ピクセルの色データを前記写真画像の対応ピクセルの色データに差し替え、前記背景付き写真画像を更新する手段と、
を含むことを特徴とする画像処理装置。
【請求項２】
写真画像を取得するステップと、
背景画像を取得するステップと、
前記写真画像の背景合成領域を認識するとともに、該背景合成領域に係るピクセルの座標をリストに記憶するステップと、
認識される前記写真画像の前記背景合成領域に前記背景画像を合成して背景付き写真画像を生成するステップと、
前記背景付き写真画像を表示するステップと、
前記背景付き写真画像のピクセルをユーザが指示するステップと、
指示される前記背景付き写真画像のピクセルの座標が、前記リストに含まれるかを判断し、含まれる場合、該ピクセルの色データを前記写真画像の対応ピクセルの色データに差し替え、前記背景付き写真画像を更新するステップと、
を含むことを特徴とする画像処理方法。
【請求項３】
写真画像を取得するステップと、
背景画像を取得するステップと、
前記写真画像の背景合成領域を認識するとともに、該背景合成領域に係るピクセルの座標をリストに記憶するステップと、
認識される前記写真画像の前記背景合成領域に前記背景画像を合成して背景付き写真画像を生成するステップと、
前記背景付き写真画像を表示するステップと、
前記背景付き写真画像のピクセルをユーザが指示するステップと、
指示される前記背景付き写真画像のピクセルの座標が、前記リストに含まれるかを判断し、含まれる場合、該ピクセルの色データを前記写真画像の対応ピクセルの色データに差し替え、前記背景付き写真画像を更新するステップと、
をコンピュータに実行させるためのプログラム。
【請求項４】
ユーザの写真画像を取得する手段と、
ユーザの選択に応じて背景画像を取得する手段と、
前記写真画像の背景合成領域を認識するとともに、該背景合成領域に係るピクセルの座標をリストに記憶する手段と、
認識される前記写真画像の前記背景合成領域に前記背景画像を合成して背景付き写真画像を生成する手段と、
前記背景付き写真画像を表示する手段と、
前記背景付き写真画像のピクセルをユーザが指示する手段と、
指示される前記背景付き写真画像のピクセルの座標が、前記リストに含まれるかを判断し、含まれる場合、該ピクセルの色データを前記写真画像の対応ピクセルの色データに差し替え、前記背景付き写真画像を更新する手段と、
更新後の前記背景付き写真画像を出力する手段と、
を含むことを特徴とする自動写真撮影装置。
【請求項５】
ユーザの写真画像を取得するステップと、
ユーザの選択に応じて背景画像を取得するステップと、
前記写真画像の背景合成領域を認識するとともに、該背景合成領域に係るピクセルの座標をリストに記憶するステップと、
認識される前記写真画像の前記背景合成領域に前記背景画像を合成して背景付き写真画像を生成するステップと、
前記背景付き写真画像を表示するステップと、
前記背景付き写真画像のピクセルをユーザが指示するステップと、
指示される前記背景付き写真画像のピクセルの座標が、前記リストに含まれるかを判断し、含まれる場合、該ピクセルの色データを前記写真画像の対応ピクセルの色データに差し替え、前記背景付き写真画像を更新するステップと、
更新後の前記背景付き写真画像を出力するステップと、
を含むことを特徴とする自動写真撮影方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理装置、画像処理方法、プログラム、自動写真撮影装置及び自動写真撮影方法に関し、特に写真画像に含まれる背景領域に別の背景画像を合成する技術、すなわちクロマキー合成技術に関する。
【０００２】
【従来の技術】
自動写真撮影装置の一種として、ユーザが撮影ブースに入り、自らが被写体となって写真撮影を行うと、ユーザの顔写真等がシール上に印刷され、出力される写真シール作製機があり、多くの遊戯施設に設置され、人気を博している。
【０００３】
かかる写真シール作製機では、ユーザの写真画像のうち背景領域が別の背景画像に差し替えられ、背景付き写真がシールに印刷されるようになっているものが多い。具体的には、公知のクロマキー合成技術を適用して、写真画像において撮影ブースの背景パネル又は背景カーテンと同色領域を認識し、その領域を別途用意されている背景画像に置き換えるようになっている。こうすれば、ユーザの顔写真等の背景に様々な画像を配することができ、写真シール作製機の魅力をさらに高めることができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、クロマキー合成技術を適用して写真画像の一部に別の背景画像を合成しても、背景領域の認識精度には限界があり、背景領域でない部分まで写真画像に背景画像が合成されてしまうことがある。例えばユーザが背景パネル又は背景カーテンと同色の洋服を着ている場合には、洋服部分にまで背景画像が合成されてしまう場合がある。
【０００５】
本発明は上記課題に鑑みてなされたものであって、その目的は、写真画像の背景領域以外に背景画像が合成されないようにできる画像処理装置、画像処理方法、プログラム、自動写真撮影装置及び自動写真撮影方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る画像処理装置は、写真画像を取得する手段と、背景画像を取得する手段と、前記写真画像の背景合成領域を認識する手段と、認識される前記写真画像の前記背景合成領域に前記背景画像を合成して背景付き写真画像を生成する手段と、前記背景付き写真画像を表示する手段と、前記背景付き写真画像の一部をユーザが指示する手段と、指示される前記背景付き写真画像の一部が、前記背景合成領域に含まれる部分である場合、少なくとも該一部を前記写真画像の対応部分に差し替え、前記背景付き写真画像を更新する手段と、を含むことを特徴とする。
【０００７】
また、本発明に係る画像処理方法は、写真画像を取得するステップと、背景画像を取得するステップと、前記写真画像の背景合成領域を認識するステップと、認識される前記写真画像の前記背景合成領域に前記背景画像を合成して背景付き写真画像を生成するステップと、前記背景付き写真画像を表示するステップと、前記背景付き写真画像の一部をユーザが指示するステップと、指示される前記背景付き写真画像の一部が、前記背景合成領域に含まれる部分である場合、少なくとも該一部を前記写真画像の対応部分に差し替え、前記背景付き写真画像を更新するステップと、を含むことを特徴とする。
【０００８】
また、本発明に係るプログラムは、写真画像を取得するステップと、背景画像を取得するステップと、前記写真画像の背景合成領域を認識するステップと、認識される前記写真画像の前記背景合成領域に前記背景画像を合成して背景付き写真画像を生成するステップと、前記背景付き写真画像を表示するステップと、前記背景付き写真画像の一部をユーザが指示するステップと、指示される前記背景付き写真画像の一部が、前記背景合成領域に含まれる部分である場合、少なくとも該一部を前記写真画像の対応部分に差し替え、前記背景付き写真画像を更新するステップと、をコンピュータに実行させるためのものである。
【０００９】
本発明によれば、写真画像の背景画像が認識されると、そこに背景画像が合成され、背景付き写真画像が生成される。この背景付き写真画像は表示される。背景付き写真画像を見ながらユーザがその一部を指示すると、その部分が背景領域に含まれるか否かが判断される。そして、背景画像に含まれる場合、その部分が元の写真画像に差し替えられ、背景付き写真画像が更新される。こうすれば、写真画像の背景領域以外に背景画像が合成されないようにできる。
【００１０】
また、本発明に係る自動写真撮影装置は、ユーザの写真画像を取得する手段と、ユーザの選択に応じて背景画像を取得する手段と、前記写真画像の背景合成領域を認識する手段と、認識される前記写真画像の前記背景合成領域に前記背景画像を合成して背景付き写真画像を生成する手段と、前記背景付き写真画像を表示する手段と、前記背景付き写真画像の一部をユーザが指示する手段と、指示される前記背景付き写真画像の一部が、前記背景合成領域に含まれる部分である場合、少なくとも該一部を前記写真画像の対応部分に差し替え、前記背景付き写真画像を更新する手段と、更新後の前記背景付き写真画像を出力する手段と、を含むことを特徴とする。
【００１１】
また、本発明に係る自動写真撮影方法は、ユーザの写真画像を取得するステップと、ユーザの選択に応じて背景画像を取得するステップと、前記写真画像の背景合成領域を認識するステップと、認識される前記写真画像の前記背景合成領域に前記背景画像を合成して背景付き写真画像を生成するステップと、前記背景付き写真画像を表示するステップと、前記背景付き写真画像の一部をユーザが指示するステップと、指示される前記背景付き写真画像の一部が、前記背景合成領域に含まれる部分である場合、少なくとも該一部を前記写真画像の対応部分に差し替え、前記背景付き写真画像を更新するステップと、更新後の前記背景付き写真画像を出力するステップと、を含むことを特徴とする。
【００１２】
本発明によれば、写真画像の背景画像が認識されると、そこに背景画像が合成され、背景付き写真画像が生成される。背景画像はユーザの選択に応じて取得されるものである。そして、この背景付き写真画像は表示される。背景付き写真画像を見ながらユーザがその一部を指示すると、その部分が背景領域に含まれるか否かが判断される。背景画像に含まれる場合、その部分が元の写真画像に差し替えられ、背景付き写真画像が更新される。こうすれば、写真画像の背景領域以外に背景画像が合成されないようにできる。
【００１３】
【発明の実施の形態】
以下、本発明の好適な実施の形態について図面に基づき詳細に説明する。
【００１４】
図１は、本発明の実施の形態に係る写真シール作製機の構成を示す図である。この写真シール作製機１０は、本発明に係る画像処理装置、プログラム及び自動写真撮影装置の一実施の形態であり、その動作は本発明に係る画像処理方法の一実施の形態である。
【００１５】
同図に示すように、この写真シール作製機１０は、パーソナルコンピュータ（ＰＣ）１２を中心に構成されており、該パーソナルコンピュータ１２には、パーソナルコンピュータ１２と、モニタ１４と、タッチパネル１６と、シールプリンタ１８と、デジタルカメラ２０と、が接続されている。これらの構成は撮影ブースに併設されるボックス内に配置される。
【００１６】
パーソナルコンピュータ１２は、ＣＰＵ（中央処理装置）に各種記憶デバイス等をバスにより接続してなる公知のコンピュータシステムであり、ＣＤ−ＲＯＭ（商標）やＤＶＤ（商標）等の情報記憶媒体に格納されているプログラムに従って写真シール作製機１０の各部を制御する。なお、通信ネットワーク経由でパーソナルコンピュータ１２にプログラムを供給するようにしてもよい。
【００１７】
シールプリンタ１８は昇華型プリンタを含んで構成されており、背景合成を施した写真画像をシール（ロール紙）に印刷し、撮影ブースの外側に設けられたシール排出口から排出する。モニタ１４はＣＲＴ（ブラウン管）又はＬＣＤ（液晶表示装置）を含んで構成されており、デジタルカメラ２０で撮影される写真画像や該写真画像に各種編集を施した画像を表示する。このモニタ１４には表示面にタッチパネル１６が取り付けられている。タッチパネル１６は公知の構成を有するものであり、ユーザが手指又はスタイラスペン等で触れると、その触れた位置を表すデータがパーソナルコンピュータ１２に入力されるようになっている。また、デジタルカメラ２０は撮影ブースに入ったユーザを撮影する公知の電子撮像手段であり、ユーザの写真画像をパーソナルコンピュータ１２に入力するようになっている。
【００１８】
以下、かかる構成を有する写真シール作製機１０により、ユーザの写真画像の背景領域に背景画像を合成する技術について説明する。
【００１９】
図２は、デジタルカメラ２０によって撮影されるユーザの写真画像の一例を示す図である。同図に示すように、写真画像２２には中央に人物領域２６が形成されており、その周囲に背景領域２４が形成されている。
【００２０】
また、図３は、パーソナルコンピュータ１２に備えられた記憶デバイス（例えばハードディスク記憶装置）に格納されている複数の背景画像のうちユーザが選択指示したものを示す図である。すなわち、パーソナルコンピュータ１２は、複数の背景画像をモニタ１４に表示し、ユーザにどれを自分の写真画像の背景として用いるかを選択させるよう案内している。同図には、この案内に応じてタッチパネル１６を用い、ユーザが選択した背景画像２８が示されている。なお、パーソナルコンピュータ１２に予め記憶されている上記複数の背景画像は、いずれもデジタルカメラ２０から出力される写真画像と同一サイズを有する。
【００２１】
図４は、写真シール作製機１０による仮生成背景付き写真画像を示す図である。同図に示す仮生成背景付き写真画像３０は、図２に示す写真画像２２と図３に示す背景画像２８とを写真シール作製機１０（パーソナルコンピュータ１２）が仮合成してできるものである。この仮生成背景付き写真画像３０は、パーソナルコンピュータ１２が写真画像２２の背景領域２４を認識し、その認識した領域に背景画像において同じ場所に位置する画像を埋め込んでなるものであり、モニタ１４に表示される。このとき、例えばユーザが背景と同色の洋服を着ていて人物領域２６に背景と同色のピクセルが含まれる場合等、パーソナルコンピュータ１２が写真画像２２の背景領域２４を正しく認識できない場合があり、こうした場合、同図に示すように、人物領域２６の内部に背景合成領域（認識背景領域）３２が入り込んでしまう。
【００２２】
そこで、この写真シール作製機１０では、タッチパネル１６を備えたモニタ１４に表示された仮生成背景付き写真画像３０にユーザが指先又はスタイラスペンで触れると、その触れた位置が背景合成領域３２の内部であれば、その部分が元の写真画像２２におけて同じ場所に位置する画像に戻されるようになっている。図５は、修正中の背景付き写真画像を示す図である。同図に示す修正中背景付き写真画像３４では、ユーザが人物領域２６の内部に入り込んだ背景合成領域３２に触れると、直ちにその触れた部分が元の写真画像２２の画像に差し替えられる様子が示されている。
【００２３】
図６は、こうして背景合成領域３２のうち人物領域２６の内部に入り込んだ部分をユーザが全て触れ終わり、修正を終えた状態の背景付き写真画像を示している。この修正済み背景写真画像３８に含まれる人物領域２６は写真画像２２に含まれる人物領域２６と同じ画像になっている。
【００２４】
図７及び図８は、写真シール作製機１０の画像処理（背景合成処理）を説明するフロー図である。同図に示される画像処理は、パーソナルコンピュータ１２に画像処理プログラムをインストールし、該画像処理プログラムをパーソナルコンピュータ１２が実行することにより実現される。
【００２５】
この画像処理では、まず注目ピクセル座標を写真画像２２の左上隅に設定する（Ｓ１０１）。そして、写真画像２２から注目ピクセル座標のピクセル（注目ピクセル）に付与されているデータＣｐを取得する（Ｓ１０２）。そして、背景色データＣｄと色データＣｐとの絶対距離Ｌ＝｜Ｃｄ−Ｃｐ｜が微小色差ΔＣ１以内であるかを判断する（Ｓ１０３）。
【００２６】
そして、Ｓ１０３でＹＥＳであれば、絶対距離Ｌ及び注目ピクセル座標（Ｓ１０１又はＳ１０６で設定されるもの）を背景領域ピクセルリストに追加する（Ｓ１０４）。一方、Ｓ１０３でＮＯであれば、Ｓ１０４をスキップする。そして、注目ピクセル座標が写真画像２２の右下隅に達するまで（Ｓ１０５）、注目ピクセル座標を右隣或いは次行左端に移しながら（Ｓ１０６）、Ｓ１０２乃至Ｓ１０４の処理を繰り返す。
【００２７】
こうして背景領域ピクセルリストを生成すると、次に注目ピクセル座標に同背景領域ピクセルリストの先頭に記録されている座標を設定する（Ｓ１０７）。そして、写真画像２２から注目ピクセルに付与されている色データＣｐを取得する（Ｓ１０８）。次に、写真画像２２における注目ピクセルの周囲８ピクセル（周辺ピクセル）に付与されている色データＣｐ’を取得し、それぞれ色データＣｐと色データＣｐ’との絶対距離｜Ｃｐ’−Ｃｐ｜が微小色差ΔＣ２以内でるとの条件を満足するものがあるかを判断する（Ｓ１０９）。そして、かかる条件を満足する周辺ピクセルが存在すれば、その周辺ピクセルの色データＣＰ’と背景色データＣｄとの絶対距離Ｌ＝｜Ｃｄ−Ｃｐ’｜を算出する（Ｓ１１０）。さらに、絶対距離Ｌ及びその周辺ピクセルのピクセル座標とを背景領域ピクセルリストに追加する（Ｓ１１１）。一方、Ｓ１０９でＮＯであれば、Ｓ１１０及びＳ１１１をスキップする。
【００２８】
そして、注目ピクセル座標が背景領域ピクセルリストの最後尾に記録されている座標に達するまで（Ｓ１１２）、注目ピクセル座標を背景領域ピクセルリストの次行に記録されている座標に移しながら（Ｓ１１３）、Ｓ１０８乃至Ｓ１１１の処理を繰り返す。
【００２９】
こうして背景領域ピクセルリストを拡張すると、次に写真画像２２を背景付き写真画像用にメモリ上にコピーする（Ｓ１１４）。そして、注目ピクセル座標に背景領域ピクセルリストの先頭に記録されている座標を設定するとともに（Ｓ１１５）、その注目ピクセルについてパラメータαを算出する（Ｓ１１６）。パラメータαは、注目ピクセルの絶対距離Ｌを背景領域ピクセルリストから読み出し、それを所定関数ｆに代入することにより得られる。所定関数ｆは、絶対距離Ｌが零のときに関数ｆの値が０となり、絶対距離Ｌが最大色差のときに関数ｆの値が１となる、絶対距離Ｌの増加関数である。そして、このパラメータαを次式（１）に代入することにより、背景付き写真画像の注目ピクセル座標における色データＣｐ’’を算出する（Ｓ１１７）。
【００３０】
【数１】
Ｃｐ’’＝α×Ｃｐ＋（１−α）×Ｃｂ      …（１）
【００３１】
ここで、Ｃｐは写真画像２２（又はそのコピー）の注目ピクセル座標における色データであり、Ｃｂは背景画像２８の注目ピクセル座標における色データである。同式（１）により、絶対距離Ｌが大きければ大きいほど、背景付き写真画像の色データに写真画像２２の色データの成分が多く含まれるようになり、絶対距離Ｌが小さければ小さいほど、背景付き写真画像の色データに背景画像２８の色データの成分が多く含まれるようになる。
【００３２】
こうして色データＣｐ’’を算出すると、その値をＳ１１４で用意した写真画像のコピーにおいて注目ピクセル座標に対応づけて記憶し、色データＣｐをＣｐ’’に更新する（Ｓ１１８）。
【００３３】
そして、注目ピクセル座標が背景領域ピクセルリストの最後尾に記録されている座標に達するまで（Ｓ１１９）、注目ピクセル座標を背景領域ピクセルリストの次行に記録されている座標に移しながら（Ｓ１２０）、Ｓ１１６乃至Ｓ１１８の処理を繰り返す。
【００３４】
その後、こうして色データを更新した写真画像２２のコピーを、タッチパネル１６を備えたモニタ１４に表示する。そして、ユーザが指先で、或いはスタイラスペンでタッチパネル１６に触れたかどうかを監視する（Ｓ１１２）。そして、タッチパネル１６にユーザが触れると、その触れた位置の背景付き写真画像のピクセル座標（指示座標）を取得し（Ｓ１２３）、そのピクセル座標が背景領域ピクセルリストに含まれる座標であるかを判断する（Ｓ１２４）。そして、背景領域ピクセルリストに含まれる座標であれば、写真画像２２の指示座標における色データＣｐを取得し（Ｓ１２５）、写真画像のコピーの指示座標における色データＣｐ’’を該色データＣｐに戻す（Ｓ１２６）。こうして、ユーザが指示した画像位置に元の写真画像２２を復活させることができる。一方、背景領域ピクセルリストに含まれる座標でなければ、Ｓ１２５及びＳ１２６をスキップする。そして、例えば編集（修正）修了ボタンが押下される等して、編集修了してよいと判断されるまで（Ｓ１２７）、Ｓ１２２乃至Ｓ１２６の処理を繰り返す。
【００３５】
こうして背景領域に背景画像２８を合成し、さらにユーザの指示に従って必要な修正を施した写真画像２２のコピーは、修正済み背景付き写真画像３８として出力される。この修正済み背景付き写真画像３８はパーソナルコンピュータ１２からシールプリンタ１８に出力され、そこでシール上に印刷される。
【００３６】
以上説明した写真シール作製機１０によれば、写真画像２２の背景合成領域３２を認識して、そこに背景画像２８を合成することにより仮生成背景付き写真画像３０を生成し、それをモニタ１４に表示することができる。そして、この仮生成背景付き写真画像３０を見ながらユーザがその一部を指示すると、その部分が背景合成領域３２に含まれる場合には、元の写真画像２２に差し替えて、修正済み背景付き写真画像３８を出力するようにしている。この結果、比較的簡単に写真画像２２の背景領域２４以外に背景画像２８が合成されないようにできる。
【００３７】
なお、本発明は上記実施の形態に限定されるものではない。
【００３８】
例えば、以上の説明では本発明を写真シール作製機１０に適用する例を取り上げたが、もちろん他の装置に適用してもよい。また、仮生成背景画像３０を生成する処理は、図７及び図８に示される処理に限定されるものではなく、他の処理を採用するようにしてもよい。また、以上の説明では写真画像２２と背景画像２８とを同一サイズとしたが、異なるサイズとしてもよい。
【００３９】
【発明の効果】
以上説明したように、本発明によれば、写真画像の背景合成領域を認識して、そこに背景画像を合成して背景付き写真画像を生成・表示するとともに、この背景付き写真画像を見ながらユーザがその一部を指示すると、その部分が背景合成領域に含まれる場合には、元の写真画像に差し替えて背景付き写真画像を更新するようにしたので、写真画像の背景領域以外に背景画像が合成されないようにできる。
【図面の簡単な説明】
【図１】  本発明の実施の形態に係る自動写真撮影装置の構成を示す図である。
【図２】  写真画像の一例を模式的に示す図である。
【図３】  背景画像の一例を模式的に示す図である。
【図４】  仮生成された背景付き写真画像の一例を模式的に示す図である。
【図５】  修正途中の背景付き写真画像の一例を模式的に示す図である。
【図６】  修正済みの背景付き写真画像の一例を模式的に示す図である。
【図７】  本発明の実施の形態に係る自動写真撮影装置の背景合成処理を説明するフロー図である。
【図８】  本発明の実施の形態に係る自動写真撮影装置の背景合成処理を説明するフロー図である。
【符号の説明】
１０  写真シール作製機、１２  パーソナルコンピュータ（ＰＣ）、１４  モニタ、１６  タッチパネル、１８  シールプリンタ、２０  デジタルカメラ、２２  写真画像、２４  背景領域、２６  人物領域、２８  背景画像、３０  仮生成背景付き写真画像、３２  背景合成領域、３４  修正中背景付き写真画像、３８  修正済み背景付き写真画像。
【図１】
0004005322.tif 000002
【図２】
0004005322.tif 000003
【図３】
0004005322.tif 000004
【図４】
0004005322.tif 000005
【図５】
0004005322.tif 000006
【図６】
0004005322.tif 000007
【図７】
0004005322.tif 000008
【図８】
0004005322.tif 000009