(57)【要約】      （修正有）【課題】撮影条件の調整を容易にし、被写体の領域を精度よく抽出でき、ユーザに空虚さを感じさせにくくする画像処理方法を提供する。【解決手段】画像合成装置２１２は、撮影部２０１、合成部２０３、入力部２０４、生成部２０６、調整終了指示部２０８、表示部２１１から構成され、撮影部で被写体の画像が撮影され、入力部では予め定められた情報提供図形が生成され、合成部では、被写体が入って撮影された対象画像と背景領域のみが撮影された参照画像から被写体を精度よく抽出して、情報提供図形に合成され、表示部２１１に表示される。この時、被写体の足の位置が情報提供図形の足の位置よりも高くなっていて、情報提供図形と被写体の画像の大きさがあっていなくて、被写体が傾いていることが確認されると、合成画像に基づき被写体が移動したりすることにより目的の合成画像が表示される。【選択図】図２
2008217812.tif 000002
【特許請求の範囲】
【請求項１】
背景領域に被写体が入って撮影された対象画像から前記被写体以外の背景領域である推定背景領域を算出する画像処理方法において、
前記背景領域のみが撮影された参照画像と、前記対象画像を入力する入力ステップと、
前記対象画像から所定の領域である初期推定背景領域を指定する初期領域指定ステップと、
前記初期推定背景領域と対応する前記参照画像における領域に含まれる各画素値の出現頻度を参照画像ヒストグラムとして算出する第１算出ステップと、
前記対象画像の初期推定背景領域に含まれる各画素値の出現頻度を対象画像ヒストグラムとして算出する第２算出ステップと、
前記対象画像ヒストグラムと前記参照画像ヒストグラムを用いて画素値の集合から画素値の集合への写像である画素値写像を算出する写像算出ステップと、
前記参照画像と前記対象画像と前記画素値写像を用いて推定背景領域を算出する背景領域推定ステップと、
を有する画像処理方法。
【請求項２】
前記画素値写像は、
前記参照画像と前記対象画像のうちの一方の画素値の累積頻度を他方の画素値の累積頻度に近づける写像である、
請求項１記載の画像処理方法。
【請求項３】
前記推定背景領域は、
前記参照画像と前記対象画像のうちの一方の画像の各画素の画素値に前記画素値写像を適用した画像と他方の画像との距離が別途定めた閾値以下である画素の集合である、
請求項１記載の画像処理方法。
【請求項４】
定常的変化状態にある定常的変化画像を用いて対象画像の注目領域における非定常的変化の有無を判定する画像処理方法であって、
前記定常的変化画像における前記対象画像の注目領域に対応する対応注目領域の特徴量を算出する第１の特徴量算出ステップと、
前記算出された特徴量から前記対応注目領域の特徴量の生起確率分布を推定する第１の確率分布推定ステップと、
前記対応注目領域の周囲領域の特徴量を算出する第２の特徴量算出ステップと、
前記算出された周囲領域の特徴量から前記周囲領域の特徴量の生起確率分布を推定する第２の確率分布推定ステップと、
前記対象画像の注目領域の特徴量を算出する対象特徴量算出ステップと、
前記算出した対象画像の注目領域の特徴量と前記推定した対応注目領域の生起確率分布と前記推定した周囲領域の生起確率分布に基づいて、前記注目領域に非定常的変化があるか否かを判定する判定ステップと、
を有する画像処理方法。
【請求項５】
背景領域に被写体が入って撮影された対象画像から前記被写体以外の背景領域である推定背景領域を算出する画像処理装置において、
前記背景領域のみが撮影された参照画像と、前記対象画像を入力する入力部と、
前記対象画像から所定の領域である初期推定背景領域を指定する初期領域指定部と、
前記初期推定背景領域と対応する前記参照画像における領域に含まれる各画素値の出現頻度を参照画像ヒストグラムとして算出する第１算出部と、
前記対象画像の初期推定背景領域に含まれる各画素値の出現頻度を対象画像ヒストグラムとして算出する第２算出部と、
前記対象画像ヒストグラムと前記参照画像ヒストグラムを用いて画素値の集合から画素値の集合への写像である画素値写像を算出する写像算出部と、
前記参照画像と前記対象画像と前記画素値写像を用いて推定背景領域を算出する背景領域推定部と、
を有する画像処理装置。
【請求項６】
定常的変化状態にある定常的変化画像を用いて対象画像の注目領域における非定常的変化の有無を判定する画像処理装置であって、
前記定常的変化画像における前記対象画像の注目領域に対応する対応注目領域の特徴量を算出する第１の特徴量算出部と、
前記算出された特徴量から前記対応注目領域の特徴量の生起確率分布を推定する第１の確率分布推定部と、
前記対応注目領域の周囲領域の特徴量を算出する第２の特徴量算出部と、
前記算出された周囲領域の特徴量から前記周囲領域の特徴量の生起確率分布を推定する第２の確率分布推定部と、
前記対象画像の注目領域の特徴量を算出する対象特徴量算出部と、
前記算出した対象画像の注目領域の特徴量と前記推定した対応注目領域の生起確率分布と前記推定した周囲領域の生起確率分布に基づいて、前記注目領域に非定常的変化があるか否かを判定する判定部と、
を有する画像処理装置。
【請求項７】
背景領域に被写体が入って撮影された対象画像から前記被写体以外の背景領域である推定背景領域を算出する画像処理プログラムにおいて、
前記背景領域のみが撮影された参照画像と、前記対象画像を入力する入力機能と、
前記対象画像から所定の領域である初期推定背景領域を指定する初期領域指定機能と、
前記初期推定背景領域と対応する前記参照画像における領域に含まれる各画素値の出現頻度を参照画像ヒストグラムとして算出する第１算出機能と、
前記対象画像の初期推定背景領域に含まれる各画素値の出現頻度を対象画像ヒストグラムとして算出する第２算出機能と、
前記対象画像ヒストグラムと前記参照画像ヒストグラムを用いて画素値の集合から画素値の集合への写像である画素値写像を算出する写像算出機能と、
前記参照画像と前記対象画像と前記画素値写像を用いて推定背景領域を算出する背景領域推定機能と、
をコンピュータによって実現する画像処理プログラム。
【請求項８】
定常的変化状態にある定常的変化画像を用いて対象画像の注目領域における非定常的変化の有無を判定する画像処理プログラムであって、
前記定常的変化画像における前記対象画像の注目領域に対応する対応注目領域の特徴量を算出する第１の特徴量算出機能と、
前記算出された特徴量から前記対応注目領域の特徴量の生起確率分布を推定する第１の確率分布推定機能と、
前記対応注目領域の周囲領域の特徴量を算出する第２の特徴量算出機能と、
前記算出された周囲領域の特徴量から前記周囲領域の特徴量の生起確率分布を推定する第２の確率分布推定機能と、
前記対象画像の注目領域の特徴量を算出する対象特徴量算出機能と、
前記算出した対象画像の注目領域の特徴量と前記推定した対応注目領域の生起確率分布と前記推定した周囲領域の生起確率分布に基づいて、前記注目領域に非定常的変化があるか否かを判定する判定機能と、
をコンピュータによって実現する画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数地点で撮影された画像を合成する画像処理方法及びその装置に関する。
【背景技術】
【０００２】
複数地点にいる被写体が撮影された画像を合成して表示する画像処理方法が知られている（非特許文献１）。この画像処理方法では、例えば離れた２地点で撮影された画像を合成する場合、一方の地点で撮影された例えば図４１の画像から被写体の領域を抽出し、もう一方の地点で撮影された例えば図４２の画像に重ね合わせて合成する。
【０００３】
画像から被写体の領域を抽出するには、背景差分法と呼ばれる技術が利用される。背景差分法では、照度変化があった場合、カメラの補正がかかった場合、被写体の背後に写っている物体が振動した場合（例えば木の葉が揺れる場合）などに被写体の領域の抽出が困難である。
【０００４】
照度変化があった場合やカメラの補正がかかった場合にも精度よく被写体の領域を抽出するために、従来は例えば、非特許文献２に記載の正規化距離が利用されている。正規化距離を利用すれば、画像がブロックに区切られ、各ブロック内画素の画素値が線形に変化した場合に被写体の領域がブロック単位で精度よく抽出されることが知られている。
【０００５】
また、被写体の背後に写っている物体が振動している場合にも精度よく被写体が抽出されるようにするために、従来は例えば、特許文献１の技術が利用されている。この技術では、被写体が写っていない画像の時系列から、画像の各領域の特徴量のヒストグラムから計算される事後確率を利用し、被写体の領域を抽出する。被写体が写っていない画像が長時間あれば被写体の領域が精度よく抽出されることが知られている。
【０００６】
このようにして従来の技術により、現実世界では離れた地点にいる被写体同士が同一世界にいるかのような例えば図４３の合成画像が表示され、合成画像の世界と現実世界との差異が楽しまれる。
【特許文献１】特開平８−４４８７４号
【非特許文献１】森川治，「超鏡：魅力あるビデオ対話方式をめざして」，情報処理学会論文誌，Vol.41-3，pp.815-822，2000．
【非特許文献２】長屋茂喜，宮武孝文，藤田武洋，伊藤渡，上田博唯，「時間相関型背景判定法による移動物体検出」，電子情報通信学会論文誌，D-II，Vol.J79-D-II，No.4，pp.568-576，1994．
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、従来の技術では、ユーザが望む合成画像が表示されるまで、ユーザが合成画像を眺めながら手間と時間をかけて撮影条件を調整しなければならないという問題点がある。例えば、複数地点にいる被写体同士の合成画像における足の位置の高さが合わない図４４のような画像は、望まれない場合が多い。
【０００８】
また、画像から被写体の領域を抽出する精度が低く、合成画像の品質が十分でないという問題点がある。例えば、照度変化やカメラの補正により、画素の画素値が線形でない変化をした場合に被写体の領域が精度よく抽出されないという問題点や、被写体の写っていない画像が短時間しかない場合に被写体の領域が精度よく抽出されないという問題点がある。
【０００９】
さらに、画像が合成されて表示され終わった後に、撮影画像や特定の画像の表示に急に切り替わるため、ユーザに空虚さを感じさせてしまうという問題点がある。
【００１０】
そこで、本発明では、撮影条件の調整を容易にし、被写体の領域を精度よく抽出でき、ユーザに空虚さを感じさせにくくする画像処理方法、画像合成装置、及び画像処理プログラムを提供する。
【課題を解決するための手段】
【００１１】
本発明は、背景領域に被写体が入って撮影された対象画像から前記被写体以外の背景領域である推定背景領域を算出する画像処理方法において、前記背景領域のみが撮影された参照画像と、前記対象画像を入力する入力ステップと、前記対象画像から所定の領域である初期推定背景領域を指定する初期領域指定ステップと、前記初期推定背景領域と対応する前記参照画像における領域に含まれる各画素値の出現頻度を参照画像ヒストグラムとして算出する第１算出ステップと、前記対象画像の初期推定背景領域に含まれる各画素値の出現頻度を対象画像ヒストグラムとして算出する第２算出ステップと、前記対象画像ヒストグラムと前記参照画像ヒストグラムを用いて画素値の集合から画素値の集合への写像である画素値写像を算出する写像算出ステップと、前記参照画像と前記対象画像と前記画素値写像を用いて推定背景領域を算出する背景領域推定ステップと、を有することを特徴とする画像処理方法である。
【００１２】
また、本発明は、定常的変化状態にある定常的変化画像を用いて対象画像の注目領域における非定常的変化の有無を判定する画像処理方法であって、前記定常的変化画像における前記対象画像の注目領域に対応する対応注目領域の特徴量を算出する第１の特徴量算出ステップと、前記算出された特徴量から前記対応注目領域の特徴量の生起確率分布を推定する第１の確率分布推定ステップと、前記対応注目領域の周囲領域の特徴量を算出する第２の特徴量算出ステップと、前記算出された周囲領域の特徴量から前記周囲領域の特徴量の生起確率分布を推定する第２の確率分布推定ステップと、前記対象画像の注目領域の特徴量を算出する対象特徴量算出ステップと、前記算出した対象画像の注目領域の特徴量と前記推定した対応注目領域の生起確率分布と前記推定した周囲領域の生起確率分布に基づいて、前記注目領域に非定常的変化があるか否かを判定する判定ステップと、を有することを特徴とする画像処理方法である。
【発明の効果】
【００１３】
本発明により、初期推定背景領域から参照画像と対象画像のヒストグラムが生成され、それらのヒストグラムから画素値写像が算出され、その画素値写像により参照画像と対象画像のうちの一方の各画素の画素値が写像されて他方との差分が所定の閾値以下である画素の集合が推定背景領域として推定されるので、その推定背景領域の補集合が被写体の領域として精度よく推定される。
【００１４】
また、本発明により、注目領域だけでなく周囲の領域の特徴量が考慮され、非定常的変化の有無が精度よく判定される。被写体の領域の抽出のために利用されれば、被写体の領域を精度よく抽出できる。
【発明を実施するための最良の形態】
【００１５】
（第１の実施形態）
本発明の第１の実施形態の画像処理装置は、画像処理の一つの画像合成を行う画像合成装置２１２に関し、撮影された画像に情報提供図形を合成して表示するものであり、図１〜図９を利用して説明する。
【００１６】
なお、画像は各画素に画素値を持つものとする。「画素値」とは、画素に対応する、実数値を要素に持つベクトルである。ベクトルは１次元ベクトル、すなわち、スカラーであってもよい。濃淡画像では、画素値として、０から２５５までの整数値が利用される場合が多い。また、０と１という整数値が利用される場合もある。以下の説明では、画素値が１次元ベクトル、すなわち、スカラーである場合、画素値を「濃度値」と呼ぶ。カラー画像では、画素値として、０から２５５までの整数値の組からなる３次元のベクトルが利用される場合が多い。
【００１７】
ベクトルの各要素は、ＲＧＢ表色系の値を０から２５５までの整数値にあてはめられて利用される場合が多い。他にも、マンセル表色系、ＸＹＺ表色系、その他の表色系が利用される。表色系については、非特許文献３（高木幹雄，下田陽久監修，「画像解析ハンドブック」，東京大学出版会，1991年1月17日初版，ISBN 4-13-061107-0 C3050 P25750E．）の基礎編の5においていくつか紹介されている。また、距離の定義については、非特許文献４（リプシュッツ著，大矢建正，花沢正純訳，「一般位相」，マグロウヒル出版株式会社，昭和62年6月25日初版発行，平成5年3月20日第2刷発行，ISBN4-89501-539-4 C3041 P2400E．）の第８章の８．１において述べられている。例えば、濃度値ａと濃度値ｂの距離のひとつに、（ａ−ｂ）の絶対値がある。
【００１８】
画像合成装置２１２は、撮影部２０１、合成部２０２、入力部２０４、生成部２０６、調整終了指示部２０８、表示部２１１から構成される。
【００１９】
（１）画像合成装置２１２の処理手順
図１は、画像合成装置２１２の処理の流れを表すフローチャートである。図１に基づき、その処理の流れを説明する。
【００２０】
まず、Ｓ１０１０では、例えば図６のような、被写体の画像が撮影される。
【００２１】
次に、Ｓ１０２０では、例えば図７のような、予め定められた情報提供図形が生成される。Ｓ１０２０の情報提供図形において、毎回同じ画像を生成（つまり、静止画を生成）してもよいし、毎回違う画像を生成（つまり、動画を生成）しても良い。動画を生成する場合には、例えば別途フレーム番号を記録しておき、Ｓ１０２０の処理では前記フレーム番号に対応した画像を生成し、Ｓ１０２０の処理が行われるたびに前記フレーム番号を加算すれば良い。
【００２２】
次に、Ｓ１０３０では、Ｓ１０１０で撮影された画像にＳ１０２０で生成された情報提供図形が合成され、表示部２１１に表示される。例えば図８のような合成画像が表示される。
【００２３】
次に、Ｓ１０４０では、Ｓ１０３０で合成された画像が表示される。Ｓ１０４０で図８が表示された場合、被写体の足の位置が情報提供図形の足の位置よりも高く、情報提供図形と被写体の画像の大きさがあっておらず、被写体が傾いていることが確認される。表示された合成画像に基づき、Ｓ１０１０で撮影に利用された手段が移動されたり、被写体が移動したりすることにより撮影条件が調整されることにより、被写体が位置合わせされ、例えば図９の合成画像が表示されるようになる。
【００２４】
次に、Ｓ１０５０では、撮影条件の調整の終了の指示、すなわち、位置合わせが終了の指示により条件分岐する。指示がなかった場合、Ｓ１０１０へ戻る。指示があった場合、処理を終了する。
【００２５】
（２）画像合成装置２１２の構成
図２は、本実施形態による画像合成装置２１２の概略構成を表す説明図である。図２に基づき、画像合成装置２１２の概略構成を説明する。
【００２６】
画像合成装置２１２の外部からは、外部画像２１３が入力され、入力部２０４に送られる。また、ユーザが調整終了指示部２０８を操作することによる調整終了操作２１４がなされる。
【００２７】
画像合成装置２１２の内部では、撮影部２０１で被写体の画像が撮影され、撮影画像２０２として合成部２０３に送られる。
【００２８】
入力部２０４では、外部画像２１３が入力画像２０５として合成部２０３に送られる。
【００２９】
生成部２０６では、撮影画像２０２の被写体の足の位置の高さを指定する、例えば図９のような、画像が生成され、情報提供図形２０７として合成部２０３に送られる。
【００３０】
調整終了指示部２０８では、調整終了操作２１４により、撮影条件の調整が終了したかどうかが調整終了指示２０９として合成部２０３に送られる。
【００３１】
合成部２０３は、図３のような構成になっており、合成画像２１０を出力して表示部２１１に送る。合成部２０３については、図３に基づき後で説明する。
【００３２】
表示部２１１では、合成画像２１０が表示される。
【００３３】
なお、撮影部２０１は、例えば画像の電子信号を出力できるＣＣＤカメラやＣＭＯＳカメラであり、合成部２０３、入力部２０４、生成部２０６は例えば電子回路やＲＯＭやＲＡＭの組み合わせであり、調整終了指示部２０８は例えば排他的なスイッチであり、表示部２１１は例えばプロジェクタとその投影面、テレビ、ディスプレイである。
【００３４】
（２−１）合成部２０３の構成
図３に基づき、合成部２０３の構成を説明する。
【００３５】
合成部２０３には、撮影画像２０２、入力画像２０５、情報提供図形２０７、調整終了指示２０９が入力される。すなわち、撮影画像２０２は、情報提供図形合成部３０１と入力画像合成部３０４に入力される。入力画像２０５は、入力画像合成部３０４に入力される。情報提供図形２０７は、情報提供図形合成部３０１に入力される。調整終了指示２０９は、選択部３０３、入力画像合成部３０４に入力される。
【００３６】
情報提供図形合成部３０１では、撮影画像２０２に情報提供図形２０７が重ね合わされて合成され、情報提供合成画像３０２として選択部３０３に送られる。
【００３７】
入力画像合成部３０４は、図４のような構成になっており、入力合成画像３０５を出力して選択部３０３に送る。入力画像合成部３０４については、図４に基づき後で説明する。
【００３８】
選択部３０３では、調整終了指示２０９が撮影条件の調整終了（すなわち、位置合わせの終了）を示していない場合、情報提供合成画像３０２が合成画像２１０として選択されて出力され、調整終了指示２０９が撮影条件の調整終了（すなわち、位置合わせの終了）を示している場合、入力合成画像３０５が合成画像２１０として選択されて出力される。
【００３９】
（２−２）入力画像合成部３０４の構成
図４に基づき、入力画像合成部３０４の構成を説明する。
【００４０】
入力画像合成部３０４には、撮影画像２０２、入力画像２０５、調整終了指示２０９が入力される。すなわち、撮影画像２０２は、参照画像記憶部４０１、抽出部４０３、重ね合わせ部４０５に入力される。入力画像２０５は、重ね合わせ部４０５に入力される。調整終了指示部２０９は、参照画像記憶部４０１に入力される。
【００４１】
参照画像記憶部４０１では、調整終了指示２０９が調整終了を示してから所定の時間が経過するまでは、撮影画像２０２が記憶され、所定の時間が経過してからは、記憶された画像が参照画像４０２として抽出部４０３に送られる。
【００４２】
抽出部４０３では、参照画像４０２が送られていないときは、何もせず、参照画像４０２が送られているときは、撮影画像２０２と参照画像４０２の平均画像との各画素における画素値の差分が所定の閾値よりも大きな画素の集合が推定被写体領域４０４として重ね合わせ部４０５に送られる。なお、推定被写体領域４０４の生成のために、後で説明する第３の実施形態や第４の実施形態が利用されてもよい。
【００４３】
重ね合わせ部４０５では、推定被写体領域４０４が送られていないときは、撮影画像２０２が入力合成画像３０５として出力され、推定被写体領域４０４が送られているときは、推定被写体領域４０４が示す画素に撮影画像２０２が埋め込まれ、残りの画素に入力画像２０５が埋め込まれた画像が生成され、入力合成画像３０５として出力される。推定被写体領域４０４が送られているときの入力合成画像３０５は、入力画像２０５に撮影画像２０２の被写体の領域が重ね合わされた画像になる。
【００４４】
（３）画像合成装置２１２の接続例
図５は、図２の画像合成装置２１２から撮影画像２０２が出力されるようにして接続した例である。
【００４５】
図５の上側の画像合成装置２１２の撮影部２０１から出力された撮影画像２０２が下側の画像合成装置２１２の入力部２０４に外部画像２１３として入力される。また、下側の画像合成装置２１２の撮影部２０１から出力された撮影画像２０２が上側の画像合成装置２１２の入力部２０４に外部画像２１３として入力される。
【００４６】
（４）第１の実施形態の効果
第１の実施形態によれば、ユーザは撮影画像と情報提供図形の合成画像を眺めながら、撮影条件を容易に調整できる。また、ユーザは撮影画像と入力画像の合成画像を眺めながら撮影条件を調整しないので、入力画像が入力される前に撮影条件の調整ができる。
【００４７】
（第１の実施形態の変形例）
以下、第１の実施形態の変形例を説明する。説明のため、外部画像２１３が送られる元を「相手」と呼ぶ。
【００４８】
（１）変形例１
第１の実施形態では、図１の処理の流れで、Ｓ１０１の処理の後にＳ１０２の処理がなさるようになっているが、Ｓ１０１とＳ１０２の処理の順が逆でも構わない。
【００４９】
すると、図１と全く同じ合成がなされるので、第１の実施形態と同様の効果が得られる。
【００５０】
（２）変形例２
第１の実施形態では、図５の接続例で、画像合成装置２１２同士が直接接続されていたが、図１０のように直接接続せずにネットワークを介して接続しても構わない。
【００５１】
その場合、不特定の相手と画像が合成されるようにすることもできるし、特定の条件を満たした相手と画像が合成されるようにすることもできる。この変形により、様々な相手と画像が合成される。
【００５２】
（３）変形例３
第１の実施形態では、図５の接続例で、１つの画像合成装置２１２に１つの画像合成装置２１２が接続されていたが、１つの画像合成装置２１２に２つ以上の画像合成装置２１２が接続されても構わない。
【００５３】
その場合、画像合成装置２１２に入力部２０４を増やせばよい。入力部２０４が増えると、合成部２０３に入力される入力画像２０５が増える。調整終了指示２０８が撮影条件の調整が終了していることを示している場合の撮影画像２０２と入力画像２０５との合成方法は次の通りである。
【００５４】
まず、撮影画像２０２と２つ以上の入力画像２０５の中から１つの画像が選択され、それ以外の画像から被写体の領域が抽出される。次に、その領域を選択された画像に重ね合わせて合成すればよい。画像から被写体の領域を抽出する方法は、第１の実施形態と同じでよい。
【００５５】
接続する画像合成装置２１２の数が増えると撮影条件の調整がより煩雑になるが、情報提供図形２０７が生成されて表示部２１１に表示されるので、撮影画像と情報提供図形の合成画像が見られながら、撮影条件が容易に調整される。
【００５６】
（４）変形例４
第１の実施形態では、図３の接続例で、画像合成装置２１２同士が接続されていたが、必ずしもそうする必要はない。画像合成装置２１２には外部画像２１３さえ入力されればよいので、外部画像２１３の入力元は画像を合成できない装置であっても構わない。
【００５７】
画像合成装置２１２では、情報提供図形２０７が生成されて表示部２１１に表示され、撮影条件が容易に調整される。この変形により、画像合成装置２１２側では、第１の実施形態と同様の効果が得られる。
【００５８】
（５）変形例５
図１１のように、図１の第１の実施形態の処理の流れのＳ１０４０とＳ１０５０の処理の間にＳ１０４５の処理を挿入してもよい。
【００５９】
Ｓ１０４５では、ユーザの指示によりＳ１０１０で撮影に利用された手段のズーム、シャッタースピード、ホワイトバランスなどの調整のためのパラメータが調整される。
【００６０】
なお、Ｓ１０４５の処理の挿入位置は、Ｓ１０５０の処理よりも前であればどこでも構わない。但し、Ｓ１０１０の処理よりも前に挿入するときだけは、Ｓ１０５０の処理の条件分岐でNOの場合にＳ１０１０の処理に戻るようにする必要がある。
【００６１】
このように変形すると、Ｓ１０１０で撮影に利用された手段の移動やＳ１０１０で撮影される被写体の移動以外にも撮影条件が調整されるようになり、撮影条件の調整がより容易になる。
【００６２】
（６）変形例６
第１の実施形態では、図２の画像合成装置２１２で、ユーザの操作により撮影部２０１のパラメータが変更されなかったが、それがなされるようにしてもよい。
【００６３】
例えば、図１２のように図２に調整指示部２１６が追加されればよい。調整指示部２１６では、ユーザが調整指示部２１６を操作することによるユーザ調整操作２１７がなされる。ユーザ調整操作２１４により、撮影部２０１のパラメータの調整のための指示が出され、調整指示２１７として撮影部２０１に送られる。撮影部２０１では、調整指示２１７に基づき、撮影部２０１のパラメータが変更される。
【００６４】
なお、調整指示部２１６は例えばボタンやダイヤルやリモコンである。調整指示部２１６が利用され、例えば撮影部２０１のズーム、シャッタースピード、ホワイトバランスなどの調整のためのパラメータが調整される。
【００６５】
このように変形すると、調整指示部２１６の操作者が表示部２１１を眺めながら、調整指示部２１６によりユーザ調整操作２１７をすることができるようになり、撮影条件の調整がより容易になる。
【００６６】
調整指示部２１６がリモコンであれば、撮影部２０１の被写体自身が調整指示部２１６の操作者の操作者として表示部２１１を眺めながら、かつ、調整指示部２１６を手に持ちながらユーザ調整操作２１７をすることができる。
【００６７】
この変形により、撮影条件の調整がさらに容易になる。
【００６８】
（７）変形例７
第１の実施形態では、図１の処理の流れで、Ｓ１０２０において生成される情報提供図形は予め定められていたが、複数の候補の中から選択されるようにしてもよい。
【００６９】
また、情報提供図形がネットワークを介してダウンロードできるようにしてもよい。様々な情報を提供できる情報提供図形ダウンロードされれば、撮影条件の調整がより容易になる。
【００７０】
（８）変形例８
第１の実施形態では、図１の処理の流れで、Ｓ１０２０において図７の情報提供図形が生成される例を挙げたが、情報提供図形が図７のような図形である必要はない。
【００７１】
情報提供図形が他の図形、文字、アニメ画像、CG画像、実写画像などでもよい。例えば、図１３が生成されるようにすれば、シャッタースピードの調整が容易になる。また、実写画像やカラーバーが生成されるようにすれば、色調やホワイトバランスが調整されやすい。この変形により、撮影条件の調整がより容易になる。
【００７２】
（９）変形例９
第１の実施形態では、情報提供図形の表示において、情報提供のために、音や音声を利用してもよい。
【００７３】
この変形により、撮影条件の調整がより容易になる。
【００７４】
（１０）変形例１０
第１の実施形態では、図１の処理の流れからわかるように、情報提供図形は撮影条件の調整の終了の指示の前にしか合成されて表示されなかったが、いつでも合成されて表示されるようにして構わない。
【００７５】
例えば、図４の参照画像記憶部４０１に画像が記憶されるときに被写体がうつらないように移動してもらうために、情報提供図形が利用されてユーザに指示を出すようにするとよい。
【００７６】
この変形により、いつでもユーザに情報が提供できる。
【００７７】
（１１）変形例１１
第１の実施形態の変形例９や変形例１０をさらに変形し、時刻、経過時間、画像から算出される特徴量などにより、情報提供図形の出現消滅やその他の動作が決定されるようにするとよい。
【００７８】
この変形により、状況に応じた情報がユーザに提供できる。
【００７９】
（１２）変形例１２
第１の実施形態では、図３の接続例で、撮影画像２０２がそのまま相手に送られたが、撮影画像２０２から被写体の領域が抽出され、その領域のみが送られるようにしてもよい。
【００８０】
そのためには例えば、合成部２０３で被写体の領域が抽出され、その領域が合成画像２１０とは別にさらに出力されて相手に送られるようにすればよい。すると、撮影画像２０２が相手に送られる必要がなくなり、通信負荷と通信により発生する遅延が軽減される。
【００８１】
（１３）変形例１３
第１の実施形態の変形例７では、複数の候補から情報提供図形が選択されるようになっていたが、ユーザ側の画像合成装置と相手側の画像合成装置とで情報提供図形の同期がとられていなかったので、それができるようにしてもよい。
【００８２】
同期がとられる第１の方法として、ユーザ側で相手側の情報提供図形を決定できるようにするとよい。
【００８３】
同期がとられる第２の方法として、ユーザ側で情報提供図形が選択されると、相手側で選択できる情報提供図形が限定されるようにしてもよい。例えば、ユーザがユーザ側の被写体が相手側の被写体よりも大きくなるように画像を合成したい場合のために、ユーザ側で図７の情報提供図形が選択された場合に相手側では図１４の情報提供図形しか選択できなくなるようにする。ユーザ側と相手側のそれぞれで情報提供図形に基づき撮影条件が調整されれば、図１５が合成される。
【００８４】
同期がとられる第３の方法として、合成画像のサンプルが提示され、そのサンプルのような画像が合成されるように情報提供図形が限定されるようにしてもよい。例えば、図１６のような大きい人物と小さい人物の合成画像のサンプルが提示され、そのように合成されるように、ユーザ側での情報提供図形が図７に限定され、相手側での情報提供図形が図１４に限定されるようにするとよい。他の合成画像のサンプルとして、図１７のような太った人物とやせた人物の合成画像のサンプルや、図１８のような回転した人物と回転していない人物の合成画像のサンプル、図１９のような分身した人物と分身していない人物の合成画像のサンプルなどが提示されるようにしてもよい。
【００８５】
この変形により、様々な合成がなされるための撮影条件の調整が容易になる。
【００８６】
（１４）変形例１４
第１の実施形態では、図２の画像合成装置２１２で、撮影画像２０２や入力画像２０５に画像処理が施されなかったが、それが施されるようにしても構わない。
【００８７】
例えば、拡大、縮小、回転などの画像処理を施すとよい。この変形により、様々な画像が合成されるようになる。
【００８８】
（１５）変形例１５
第１の実施形態では、図１の処理の流れで、Ｓ１０３０において撮影画像と情報提供図形が合成され、その合成画像がＳ１０４０において表示されているが、ユーザ指示により情報提供図形が合成された画像でなく撮影画像が表示されるようにできるようにしてもよい。
【００８９】
この変形により、合成されていない撮影画像が確認されるので、撮影条件がより容易に調整できるようになる。
【００９０】
（１６）変形例１６
第１の実施形態では、図２の画像合成装置２１２で、撮影画像２０２から被写体の領域が抽出され、入力画像２０５に重ね合わせて合成されたが、抽出された被写体の領域に影をつける画像処理が施されてもよい。
【００９１】
この変形により、違和感なく見られる画像が合成されるようになる。
【００９２】
（１７）変形例１７
第１の実施形態では、図２の画像合成装置２１２で、撮影画像２０２から被写体の領域が抽出され、入力画像２０５に重ね合わせて合成されたが、入力画像２０５から被写体の領域が抽出され、撮影画像２０２に重ね合わせて合成されるようにしてもよい。
【００９３】
そのためには、図４の入力画像合成部３０４において、撮影画像２０２と入力画像２０５を逆にすればよい。すると、第１の実施形態とは異なる画像が合成されるようになる。
【００９４】
（１８）変形例１８
第１の実施形態では、撮影画像２０２の参照画像記憶部４０１での記憶は調整終了指示２０９に基づいていたが、その記憶を指示する手段が設けられてもよい。すると、ユーザが好きなときに記憶させることができるようになる。
【００９５】
（１９）変形例１９
第１の実施形態では、撮影画像２０２に情報提供図形２０７が合成されたが、図３を変形し、撮影画像２０２と入力画像２０５とが合成された画像にも情報提供図形２０７が合成されるようにするとよい。
【００９６】
この変形により、合成画像の世界においても情報を提供できるようになる。
【００９７】
（２０）変形例２０
第１の実施形態では、調整終了指示２０９により表示される画像が決定されたが、別のユーザ指示があったときにいつでも撮影画像２０２と入力画像２０５とが表示されるようにしてもよい。すると、合成画像の世界と現実の世界との差異が確認しやすくなる。
【００９８】
（第２の実施形態）
合成画像を記憶し、合成画像の表示を停止した後に記憶した画像を表示する本発明の第２の実施形態について、図２０、図２１に基づき説明する。
【００９９】
（１）画像合成装置２１２の構成
図２０は、本実施形態による画像合成装置２１２の概略構成を表す説明図である。図２と異なる部分を説明する。
【０１００】
ユーザが合成画像表示終了指示部２００２を操作することによる合成画像表示終了操作２００１がなされる。合成画像表示終了指示部２００２では、合成画像表示終了操作２００１がなされた直前までは、合成画像の表示を終了しないという指示が合成画像表示終了指示２００３として記憶部２００４と表示部２１１に送られ、合成画像表示終了操作２００１がなされた直後からは、合成画像の表示を終了するという指示が合成画像表示終了指示２００３として記憶部２００４と表示部２１１に送られる。
【０１０１】
合成部２０３では、第１の実施形態の構成と接続例を説明したときと同様にして合成された画像が合成画像２１０として表示部２１１と記憶部２００４に送られる。記憶部２００４では、合成画像表示終了指示２００３が合成画像の表示を終了しないという指示の場合、合成画像２１０が記憶され、合成画像の表示を終了するという指示の場合、記憶してある画像が所定の時間間隔で切り替えられながら記憶画像２００５として表示部２１１に送られる。
【０１０２】
表示部２１１では、合成画像表示終了指示２００３が合成画像の表示を終了しないという指示の場合、合成画像２１０が表示され、合成画像の表示を終了するという指示の場合、記憶画像２００５が表示される。なお、合成画像表示終了指示部２００２は例えば排他的なスイッチであり、記憶部２００４は例えばＲＡＭやＨＤＤである。
【０１０３】
（２）画像合成装置２１２の処理手順
図２１は、本実施形態における画像合成装置２１２の処理の流れを表すフローチャートである。図２０の画像合成装置２１２の構成と関連づけながら説明する。
【０１０４】
まず、Ｓ２１０１０では、撮影画像２０２と入力画像２０５との合成画像２１０が合成される。
【０１０５】
次に、Ｓ２１０２０では、合成画像２１０が記憶部２００４に記憶される。
【０１０６】
次に、Ｓ２１０３０では、合成画像２１０が表示部２１１に表示される。
【０１０７】
次に、Ｓ２１０４０では、合成画像表示終了指示２００３により条件分岐する。合成画像表示終了指示２００３が合成画像２１０の表示の終了を指示していない場合は、Ｓ２１０１０に戻る。終了を指示している場合は、Ｓ２１０５０へ進む。
【０１０８】
最後に、Ｓ２１０５０では、Ｓ２１０２０で記憶された記憶画像２００４が所定の時間間隔で表示部２１１に表示される。
【０１０９】
（３）第２の実施形態の効果
第２の実施形態によれば、合成画像２１０が表示され終わった後に撮影画像２０２や特定の画像が表示されるのでなく、合成画像２１０が記憶された画像である記憶画像２００５が表示されるので、ユーザに空虚さを感じさせにくくなる。
【０１１０】
（第２の実施形態の変形例）
以下、第２の実施形態の変形例を説明する。
【０１１１】
（１）変形例１
第２の実施形態では、記憶画像２００５に画像処理が施されることなく表示されたが、それが施されるようにしてもよい。
【０１１２】
例えば、１つ以上の記憶画像２００５が回転、拡大、縮小してあたかも本に貼り付けられたような画像が表示されるようにするとよい。
【０１１３】
また、セピア調になるように画像処理が施されてもよい。
【０１１４】
また、合成画像２１０から記憶画像２００５の表示への切り替え時や、記憶画像２００５同士の表示の切り替え時に、画像効果が用いられるようにしてもよい。画像効果として、カットつなぎ、フェードアウト、オーバーラップ、ワイプ、スライドアウトなどが用いられるとよい。
【０１１５】
この変形により、記憶画像２００５が効果的に提示される。
【０１１６】
（２）変形例２
第２の実施形態では、合成画像表示終了指示２００３の後に記憶画像２００５が表示されたが、それ以外のときにも表示できるようにするとよい。
【０１１７】
そのとき、記憶画像２００５に日付や時刻も一緒に表示されるようにしてもよい。日付や時刻は、記憶部２００４に合成画像２１０が記憶されるときに合成画像２１０と一緒に記憶されるようにすればよい。
【０１１８】
また、コメントが表示されるようにしてもよい。コメントは、ユーザ指示に従って記憶されるようにすればよい。
【０１１９】
さらに、記憶画像２００５が印刷されるようにしてもよい。
【０１２０】
この変形により、ユーザが記憶画像２００５をいつでも眺められるようになる。
【０１２１】
（３）変形例３
第２の実施形態では、Ｓ２１０２０において合成画像２１０が記憶部２００４に記憶されたが、ユーザ指示により記憶されるようにするとよい。
【０１２２】
そのために例えば図２２のように、図２０に記憶指示部２２０２が増設されるとよい。
【０１２３】
ユーザにより合成画像２１０を記憶する指示を出すための記憶指示操作２２０１がなされると、記憶指示部２２０２では、合成画像２１０を記憶する記憶指示２２０３が記憶部２００４に送られ、記憶部２００４では、記憶指示２２０３を受け取ったときのみ合成画像２１０が記憶されるようにするとよい。なお、記憶指示部２２０２は例えばボタンやリモコンのボタンである。
【０１２４】
この変形により、ユーザが望む合成画像２１０が記憶画像２００５として記憶され、記憶画像２００５が効果的に提示されるようになる。
【０１２５】
（４）変形例４
第２の実施形態では、Ｓ２１０２０において合成画像２１０が記憶部２００４に記憶されたが、所定の時間間隔で記憶されるようにしてもよい。すると、時間の間隔をあけた合成画像２１０が記憶画像２００５として記憶され、記憶画像２００５が効果的に提示されるようになる。
【０１２６】
（５）変形例５
第２の実施形態では、Ｓ２１０２０において合成画像２１０が記憶部２００４に記憶されたが、画像の変化を表す特徴量が所定の値よりも大きく変化したときに記憶されるようにしてもよい。
【０１２７】
例えば、合成画像２１０の各画素においてフレーム間での画素値の差分が計算され、その差分の全ての画素に関する和が所定の値よりも大きい場合に記憶されるようにするとよい。
【０１２８】
フレーム間での差分が計算されるのは、合成画像２１０でなく、撮影画像２０２や入力画像２０５でも構わない。但しその場合、撮影画像２０２や入力画像２０５が記憶部２００４に送られるように結線しなければならない。すると、差分が計算された画像に変化があったときの合成画像２０５が記憶画像２００５として記憶され、記憶画像２００５が効果的に提示されるようになる。
【０１２９】
（第３の実施形態）
対象画像の画素値に合わせて参照画像を変換する本発明の第３の実施形態について、図２３〜図２８を利用して説明する。
【０１３０】
本実施形態の処理の目的は、背景のみが撮影された参照画像と、その背景画像の中に被写体がある対象画像とを比較して、対象画像から背景領域のみを切り出すときに、参照画像と対象画像の画素値（例えば、濃度値）が異なっているために、単に比較して背景領域を切り出すと図２７のように失敗することになる。そこで、参照領域の各画素の画素値を対象画像の背景領域の画素値に合わせた後に、その合わせた参照画像と対象画像とを比較して背景領域を図２８のように切り出すものである。
【０１３１】
なお、第１の実施形態で説明した推定被写体領域４０４の生成のために、本実施形態が利用されれば、推定被写体領域４０４が精度よく推定される。
【０１３２】
（１）処理手順
図２３は、本実施形態における処理の流れを表すフローチャートである。
【０１３３】
Ｓ２３０１０では、参照画像が入力される。参照画像は、例えば、図２４の２４０１０の画像である。すなわち、背景領域のみが撮影された画像である。
【０１３４】
Ｓ２３０２０では、対象画像が入力される。対象画像は、例えば、図２４の２４０２０の画像である。すなわち、参照画像と同一の背景領域に被写体である人物が撮影された画像である。但し、この対象画像と参照画像を比較した場合に、被写体の背景に写っている内容（例えば、建物や木）は同じであるが、太陽の日射や天気や時刻によりその画素値（例えば、濃度値）が異なっている。
【０１３５】
Ｓ２３０３０では、画像における画素の集合である初期推定背景領域が入力される。初期推定背景領域は、例えば、図２４の２４０３０の白色領域が人手により指定されて入力される。すなわち、対象画像中の被写体以外の部分が初期推定背景領域となる。ここで、この処理の目的は、対象画像中の被写体以外の背景領域を求めるのが目的であり、この初期推定背景領域を求めるのと同じ処理のように思われるが、その実体は異なり、このステップにおける処理は、被写体以外の背景領域を求めるための初期値を予め決定するためのものであり、最終目的の背景領域とは異なり初期推定背景領域は正確に被写体以外の領域を指定する必要はない。
【０１３６】
Ｓ２３０４０では、参照画像の初期推定背景領域に含まれる画素の画素値の出現頻度である参照画像ヒストグラムが算出される。算出される参照画像ヒストグラムは、例えば、図２４の２４０４０のヒストグラムである。このヒストグラムの横軸は画素値（例えば、濃度値）であり、縦軸は頻度である。すなわち、このヒストグラムには、各画素値の画素の数が示されている。
【０１３７】
Ｓ２３０５０では、対象画像の初期推定背景領域に含まれる画素の画素値の出現頻度である対象画像ヒストグラムが算出される。算出される対象画像ヒストグラムは、例えば、図２４の２４０５０のヒストグラムである。このヒストグラムは、横軸が画素値（例えば、濃度値）であり、縦軸が頻度であって、例えば、その濃度値に含まれる画素の数が示されている。
【０１３８】
Ｓ２３０６０では、参照画像の初期推定背景領域に含まれる各画素の濃度値に写像を施した後の濃度値の累積頻度が対象画像の濃度値の累積頻度に近づく写像が、画素値写像として算出される。なお、画素値として濃度値で説明する。
【０１３９】
例えば、以下の(1-1)〜(1-6)の処理により、画素値写像が算出される。
【０１４０】
(1-1) 参照画像ヒストグラムの濃度値の頻度が０でない最小の濃度値を探す。その濃度値をｕとする。
【０１４１】
(1-2) 対象画像ヒストグラムの濃度値の頻度が０でない最小の濃度値を探す。その濃度値をvとする。
【０１４２】
(1-3) 参照画像ヒストグラムの濃度値ｕの頻度と対象画像ヒストグラムの濃度値ｖの頻度をそれぞれ１ずつ減算し、ｖを記憶する。
【０１４３】
(1-4) もし、参照画像ヒストグラムの濃度値ｕの頻度が０になっていなければ、(1-5) へ進む。それ以外の場合は、(1-3) で記憶した濃度値の代表値を求め、それを濃度値ｕの変換先とし、参照画像ヒストグラムの頻度が０でない次の濃度値を探し、その濃度値をｖとし、(1-3) に戻る。ここで、参照画像ヒストグラムの頻度が０でない次の濃度値が存在しない場合、(1-6) へ進む。
【０１４４】
(1-5) もし、対象画像ヒストグラムの濃度値ｖの頻度が０になっていなければ、(1-3) に戻る。それ以外の場合は、対象画像ヒストグラムの頻度が０でない次の濃度値を探し、その濃度値をｖとし、(1-3) に戻る。
【０１４５】
(1-6) 変換先が決まっていない濃度値からの変換を補間し、処理を終了する。
【０１４６】
以上の(1-1) 〜(1-6) の処理以外の画素値写像の算出方法が採用されても構わない。
【０１４７】
そして、算出される画素値写像は、例えば、図２５のような写像である。
【０１４８】
Ｓ２３０７０では、参照画像の各画素の画素値にＳ２３０６０で算出された画素値写像が施された画像と対象画像との各画素での画素値の差分が予め定めた閾値以下である画素が推定背景領域として算出される。例えば、２４０１０の参照画像の各画素の画素値に、図２５の画素値写像が施されると、図２６の２６０１０の画像が生成される。２６０１０の画像は、２４０２０の対象画像の人物以外の領域の画素値が近くなっている。
【０１４９】
そして、２６０１０の画像と２４０２０の対象画像との各画素の画素値の差分が予め定めた閾値以下である画素の集合が推定背景領域として算出される。
【０１５０】
なお、このＳ２３０７０において、後で説明する第４の実施形態が適用されると、推定被写体領域４０４が精度よく推定される。
【０１５１】
（２）第１の実施形態における推定被写体領域４０４の生成に第３の実施形態を適用した場合の処理手順
第１の実施形態で説明した推定被写体領域４０４を生成するために、本実施形態を適用した場合の処理手順を説明する。
【０１５２】
なお、抽出部４０３は、画素の集合である領域を記憶する手段である領域記憶部を備えているものとし、その領域記憶部には、新たな撮影画像２０２が抽出部４０３に送られる直前に抽出部４０３から送り出された推定被写体領域４０４が記憶被写体領域として記憶されるものとして説明する。
【０１５３】
また、初めて撮影画像２０２が抽出部４０３に送られてきたときには、画像の全ての画素の集合を表す領域が記憶被写体領域として記憶されているものとする。
【０１５４】
Ｓ２３０１０では、参照画像４０２の平均画像が参照画像として入力される。
【０１５５】
Ｓ２３０２０では、撮影画像２０２が対象画像として入力される。
【０１５６】
Ｓ２３０３０では、抽出部４０３に記憶されている記憶被写体領域の補集合が初期推定背景領域として入力される。
【０１５７】
Ｓ２３０４０、Ｓ２３０５０、Ｓ２３０６０では、前述の通りに処理される。
【０１５８】
Ｓ２３０７０では、前述の通りに推定背景領域が算出され、その推定背景領域の補集合が推定被写体領域４０４として生成される。
【０１５９】
（３）第３の実施形態の効果
もし、本実施形態のＳ２３０３０、Ｓ２３０４０、Ｓ２３０５０、Ｓ２３０６０を省略し、Ｓ２３０１０、Ｓ２３０２０、Ｓ２３０７０の処理のみを行うと、例えば、図２７の２７０１０の白色領域（存在しない）が推定背景領域として推定され、推定に失敗する。
【０１６０】
一方、本実施形態の全ての処理を行えば、図２８の２８０１０の白色領域が推定背景領域として推定され、推定が成功する。
【０１６１】
本実施形態によれば、照度変化やカメラの補正により、画素の画素値が線形でない変化をした場合にも背景領域が精度よく推定される。すなわち、背景領域の補集合である被写体の領域が精度よく抽出される。
【０１６２】
（第３の実施形態の変形例）
以下、第３の実施形態の変形例を説明する。
【０１６３】
（１）変形例１
第３の実施形態では、人手により指定された領域が初期推定背景領域として入力されたが、必ずしもそのようにする必要はない。
【０１６４】
動画像の各フレーム画像から、逐次的に背景領域を推定する場合は、第１の実施形態における推定被写体領域４０４の生成に第３の実施形態を適用した場合の処理手順に示した初期推定背景領域の入力方法と同様に、直前に算出された推定背景領域が初期推定背景領域として入力されるようにしてもよい。
【０１６５】
また、推定背景領域に誤った小領域が混入した場合への対策として、直前に算出された推定背景領域に膨張処理を施して小領域を除去した領域を初期推定背景領域として入力されるようにしてもよい。
【０１６６】
但し、動画像の最初のフレームを処理する場合には、画像の全ての画素の集合である領域が初期推定画像として入力されるようにする。
【０１６７】
この変形により、人手により初期推定背景領域を入力する手間が省ける。
【０１６８】
（２）変形例２
第３の実施形態では、Ｓ２３０６０において、参照画像の初期推定背景領域に含まれる各画素の画素値に写像を施した後の画素値の累積頻度が対象画像の画素値の累積頻度に近づく写像を、画素値写像として算出したが、必ずしもそうする必要はない。
【０１６９】
対象画像の初期推定背景領域に含まれる各画素の画素値に写像を施した後の画素値の累積頻度が参照画像の画素値の累積頻度に近づく写像を、画素値写像として算出してもよい。
【０１７０】
そのように変形した場合、Ｓ２３０７０では、対象画像の各画素の画素値に画素値写像が施された画像と参照画像との各画素での画素値の差分が所定の閾値以下である画素を推定背景領域として算出するようにさらに変形するとよい。この変形により、参照画像と対象画像のどちらに画素値写像を施してもよくなる。
【０１７１】
（３）変形例３
第３の実施形態では、Ｓ２３０７０において、各画素での画素値の差分が所定の閾値以下である画素の集合を推定背景領域として推定するという背景差分法を利用したが、他の背景差分法を用いて推定背景領域を推定してもよい。
【０１７２】
例えば、後で説明する第４の実施形態を利用してもよい。この変形により、背景領域が精度よく推定されるようになる。
【０１７３】
（第４の実施形態）
対象画像の注目画素に非定常的変化があるかどうかを判定する本発明の第４の実施形態について、図２９〜図３８を利用して説明する。
【０１７４】
本実施形態は、特許文献１の技術を、定常的変化状態にある画像の時系列である定常的変化画像が短時間しかなくても非定常的変化の有無を精度よく判定できるように改良した技術である。
【０１７５】
「定常的変化状態」とは、木の葉が周期的に揺れていたり、水面が揺らいでいたり、手ぶれにより画像中の全ての物体が揺れたりする状態のことである。ここでは、画素値がベクトルではなく、スカラーとして説明する。なお、画素値は特徴量の下位概念であり、「特徴量」については下記の変形例１で説明する。
【０１７６】
なお、第１の実施形態で説明した推定被写体領域４０４の生成のために本実施形態を利用することができる。また、第１の実施形態で説明した推定被写体領域４０４の生成のために第３の実施形態が利用され、Ｓ２３０７０において本実施形態が利用されてもよい。
【０１７７】
（１）処理手順
図２９は、本実施形態における処理の流れを表すフローチャートである。
【０１７８】
まず、定常的変化が撮影された時系列の定常的変化画像と、比較対象となる対象画像を準備する。なお、この定常的変化画像が、第３の実施形態における参照画像であり、定常的変化画像と対象画像は同じ範囲が撮影されている必要がある。そして、Ｓ２９０１０からＳ２９０４０では定常的変化画像の処理を示している。
【０１７９】
Ｓ２９０１０では、定常的変化画像における前記対象画像の注目領域の対応する対応注目画素の画素値の時系列が算出される。例えば、木の葉が揺れていれば、対応注目画素には、木の葉とその背後にある物体が代わる代わる写る。なお、図３０は、定常的変化がなく、静止状態にある画素における画素値の時系列の例を表す説明図である。図３１は、定常的変化があり、静止状態にない画素における画素値の時系列の例を表す説明図である。
【０１８０】
Ｓ２９０２０では、Ｓ２９０１０で求められた対応注目画素の画素値の時系列から、画素値に関するヒストグラムが作成され、全ての画素値に対する度数の和で各画素値に対する度数を割ることにより生起確率分布が生成される。なお、図３２は、定常的変化がなく、静止状態にある画素において、画素値の時系列から生成された生起確率分布の例を表す説明図である。図３３は、定常的変化があり、静止状態にない画素において、画素値の時系列から生成された生起確率分布の例を表す説明図である。
【０１８１】
Ｓ２９０３０では、対応注目画素の周囲の画素のそれぞれにおいて、前記定常的変化画像の画素値の時系列が算出される。なお、図３４は、対応注目画素の周囲の画素の例を表す説明図である。右下がりの斜線部分の画素が前記対応注目画素であるとき、対応注目画素の周囲の画素は、右上がりの斜線部分の画素である。周囲の画素の集合の大きさや形状が図３４と同一である必要はなく、対象画像に現れる定常的変化に応じて設定される。
【０１８２】
Ｓ２９０４０では、対応注目画素の周囲の画素のそれぞれにおいて、まず、Ｓ２９０３０で求められた画素値の時系列から、Ｓ２９０２０と同様にして生起確率分布が生成される。
【０１８３】
Ｓ２９０５０では、対象画像の注目画素（ｘ，ｙ）の画素値ｆ（ｘ，ｙ）を算出する。
【０１８４】
Ｓ２９０６０では、対象画像の注目画素（ｘ，ｙ）が数１を用いて非定常的変化であるか否かを判定する。
【０１８５】
注目画素（ｘ，ｙ）の周辺の画素の集合をＲ（ｘ，ｙ）とし、予め定めた所定の確率値をＴとする。また、Ｓ２９０２０とＳ２９０４０において作成された生起確率分布の、画素値ｖに関する値がＰ（ｘ’，ｙ’）（ｖ）で表わされたする。
【０１８６】
そして、
【数１】
2008217812.tif 000003
【０１８７】
が満たされれば、注目画素（ｘ，ｙ）において非定常的変化があったと判定され、満たされなければ非定常的変化がなかったと判定される。
【０１８８】
（２）第１の実施形態における推定被写体領域４０４の生成に第４の実施形態を適用した場合の処理手順
第１の実施形態で説明した推定被写体領域４０４を生成するために、本実施形態を適用した場合の処理手順を説明する。
【０１８９】
なお、第３の実施形態が適用された後に本実施形態が適用されてもよい。図３５は、処理手順を表すフローチャートである。
【０１９０】
Ｓ３５０１０では、参照画像４０２から、全画素における画素値の時系列が算出される。なお、参照画像４０２は、被写体が写っていない画像である。参照画像４０２の場面では、例えば、手ぶれにより揺れたり、木の葉が揺れたりしている。参照画像４０２のあるフレーム画像は、例えば図３６の画像である。
【０１９１】
Ｓ３５０２０では、各画素において、Ｓ３５０１０で算出された前記画素の画素値の時系列から、生起確率分布が生成される。
【０１９２】
Ｓ３５０３０では、撮影画像２０２から、全画素における画素値が算出される。なお、撮影画像２０２は、図３６が撮影されたときから撮影部２０１が動かされずに被写体が撮影される。但し、撮影部２０１が手ぶれにより動く程度であれば、動いても構わない。撮影画像２０２は、例えば図３７の画像である。図３７は手ぶれにより図３６からずれており、木の葉の揺れにより木の葉の位置がずれている。
【０１９３】
Ｓ３５０４０では、各画素が注目画素とされ、数１が満たされれば、前記注目画素が被写体領域の一部であると判定し、それ以外の場合、当前記画素が被写体領域の一部でないと判定する。すると、例えば、図３８の斜線部分が被写体でない領域として判定され、残りの領域が被写体領域として判定され、推定被写体領域４０４が生成される。
【０１９４】
（３）第４の実施形態の効果
本実施形態によれば、定常的変化画像が短時間しかなくても、注目画素における非定常的変化を精度よく検出できる。
【０１９５】
なお、被写体の写っていない画像の時系列が定常的変化画像とされ、被写体の写っている画像が対象画像とされ、本実施形態が第１の実施形態における被写体の抽出のために適用されれば、被写体の背後で木の葉が揺れたり、水面が揺らいだり、手ぶれにより画像中の全ての物体が揺れたりしていても、短時間の被写体の写っていない画像から、被写体の領域が精度よく抽出される。
【０１９６】
（第４の実施形態の変形例）
以下、第４の実施形態の変形例を説明する。
【０１９７】
（１）変形例１
第４の実施形態では、特徴量として画素値が用いられ、画素値がスカラーである場合を説明したがベクトルであってもよい。
【０１９８】
また、特徴量として画素値に演算が施された結果を要素に持つ値やベクトルが利用されてもよい。演算としては、空間的な微分、時間的な微分、空間的な積分、時間的な積分などがある。
【０１９９】
特徴量がＮ次元ベクトルであり、各要素がＭ階調である場合、ある画素のヒストグラム生成のためにＭＮ種類の特徴量それぞれに度数を記憶できるだけの記憶領域が確保される必要がある。ＭＮが大きな数であれば、それだけ大きな記憶領域を確保しなければならない。記憶領域を削減するために、ヒストグラム生成の際には特徴量の各要素に関するヒストグラムが生成されるようにし、各要素に関する生起確率分布が生成され、その生起確率分布が利用されて非定常的変化の有無が
【数２】
2008217812.tif 000004
【０２００】
により判定されるようにするとよい。
【０２０１】
ここで、ｆｎ（ｘ’，ｙ’）は画素（ｘ’，ｙ’）の特徴量の第ｎ（ｎ＝０，１，・・・，Ｎ−１）要素を表し、Ｐ（ｘ’，ｙ’），ｎ（ｖｎ）は画素（ｘ’，ｙ’）の特徴量の第ｎ要素の時系列から生成された生起確率分布の要素値ｖｎに関する値を表す。
【０２０２】
また、記憶領域を削減するには以下の方法もある。特徴量が高次の（Ｎが大きい）ベクトルである場合、度数がゼロとなる要素が多くなりやすいため、ゼロでない｛ベクトル、度数｝の組（ヒストグラム要素）のリストを記憶すると多くの場合、記憶領域を削減できる。しかし単純にリストを使うと、速度は大幅に低下する。そこで、例えば特徴量のベクトルを０〜１０２３の整数などのスカラー（ハッシュ値）に射影する関数（ハッシュ関数）を定義し、ハッシュ値ごとにヒストグラム要素のリストを記憶すれば、リストを記憶する方法を使うことによる速度低下は少なくてすむ。
【０２０３】
この変形により、注目画素における非定常的変化をより精度よく検出できる。また、特徴量がベクトルである場合に、ヒストグラム生成のための記憶領域を削減できる。
【０２０４】
（２）変形例２
第４の実施形態では、画素単位で処理されたが、領域単位で処理されてもよい。
【０２０５】
すると、注目画素でなく注目領域における非定常的変化が判定されるようになる。特徴量は画素値でなく、領域内の画素の画素値を並べたベクトルが用いられるとよい。領域単位で処理されれば、処理速度が向上する。
【０２０６】
（３）変形例３
第４の実施形態では、生起確率分布が、定常的変化画像における画素値の出現頻度により生成されたため、定常的変化画像が１フレームしかない場合などの極端に短い時間の場合、非定常的変化があるかどうかを精度よく判定できない場合がある。
【０２０７】
そのような場合にも、精度よく判定できる変形例の処理の流れを、図２９を利用して説明する。この場合には、対象画像と時系列の定常的変化画像と静止状態画像を準備する。対象画像は、上記と同様に注目領域における定常的変化があるか否かが判定される画像である。時系列の定常的変化画像は、対象画像は同じ範囲が撮影されている必要はなく、定常的変化状態が時系列で撮影されている必要がある。静止状態画像は、対象画像は同じ範囲が撮影されているものである。
【０２０８】
Ｓ２９０１０では、まず、定常的変化画像から、定常的変化状態の画素である注目画素の画素値の時系列が算出される。次に、静止状態画像から、対象画像の注目画素に対応する対応注目画素の画素値の時系列が算出される。
【０２０９】
Ｓ２９０２０では、まず、Ｓ２９０１０で算出された定常的変化画像の画素値の時系列から、代表値が計算される。代表値としては、最頻値が利用されるとよい。中央値や平均値でも構わない。次に、Ｓ２９０１０で算出された静止状態画像の画素値の時系列から、分散あるいは不偏分散が計算される。次に、前記代表値を平均に持ち、前記分散あるいは不偏分散を分散に持つ正規分布が生成される。図３９は、前記正規分布を表す説明図である。曲線が正規分布を表す。
【０２１０】
Ｓ２９０３０では、前記注目画素の周囲の画素のそれぞれにおいて、まず、前記定常的変化画像の画素値の時系列が算出される。次に、静止状態画像の画素値の時系列が算出される。
【０２１１】
Ｓ２９０４０では、対応注目画素の周囲の画素のそれぞれにおいて、まず、Ｓ２９０３０で求められた定常的変化画像の画素値の時系列から、代表値が計算される。次に、Ｓ２９０３０で求められた静止状態画像の画素値の時系列から、分散あるいは不偏分散が計算される。次に、注目画素の周囲の画素のそれぞれにおいて、前記代表値を平均に持ち、前記分散あるいは不偏分散を分散に持つ正規分布が生成される。Ｓ２９０５０では、第４の実施形態での処理と同様に処理される。
【０２１２】
Ｓ２９０６０では、Ｓ２９０２０とＳ２９０４０において作成された画素（ｘ’，ｙ’）の正規分布の、画素値ｖに関する値がＦ（ｘ’，ｙ’）（ｖ）により表される場合に、
【数３】
2008217812.tif 000005
【０２１３】
が満たされれば、注目画素において非定常的変化があったと判定され、満たされなければ、非定常的変化がなかったと判定される。
【０２１４】
この変形により、定常的変化画像の時間が極端に短い場合にも、非定常的変化の有無を精度よく判定できるようになる。
【０２１５】
（４）変形例４
第４の実施形態では、画像が縮小されずに処理されたが、縮小されてから処理されてもよい。
【０２１６】
なお、縮小とは、例えば図４１の画像を図４０の画像に変換する画像処理のことである。この変形により、処理速度が速くなる。
【０２１７】
（５）変形例５
第４の実施形態では、数１により注目画素における非定常的変化の有無が判定されたが、
【数４】
2008217812.tif 000006
【０２１８】
が満たされれば非定常的変化があったと判定し、満たされなければ非定常的変化がなかったとみなされるようにしてもよい。但し、ｗ（ｘ’，ｙ’）は、
【数５】
2008217812.tif 000007
【０２１９】
を満たす重みであり、対象画像に現れる定常的変化に応じた設定が可能である。
【０２２０】
この変形により、非定常的変化の有無がさらに精度よく判定できるようになる。
【０２２１】
（６）変形例６
第４の実施形態の変形例３では、数３により注目画素における非定常的変化の有無が判定されたが、
【数６】
2008217812.tif 000008
【０２２２】
が満たされれば非定常的変化があったと判定し、満たされなければ非定常的変化がなかったとみなされるようにしてもよい。
【０２２３】
但し、数６中のｗ（ｘ’，ｙ’）は、数５を満たす重みであり、対象画像に現れる定常的変化に応じた設定が可能である。この変形により、非定常的変化の有無がさらに精度よく判定できるようになる。
【０２２４】
（７）変形例７
第４の実施形態の変形例３や変形例６では、各画素において異なる正規分布を生成したが、各画素で求めた分散あるいは不偏分散の平均を分散に持つ正規分布を各画素で生成するようにしてもよい。
【０２２５】
そうすると、平均が異なり分散が共通の正規分布が各画素で生成されるので、数３や数６の計算が高速化される。
【０２２６】
（８）変形例８
第４の実施形態では、数３により非定常的変化の有無を判定したが、特許文献１のように、事後確率を考慮して判定してもよい。
【０２２７】
この変形により、非定常的変化の有無がさらに精度よく判定できるようになる。
【産業上の利用可能性】
【０２２８】
本発明は、複数地点で撮影された画像を合成するコミュニケーションシステムに対して特に好適に適用できる。
【図面の簡単な説明】
【０２２９】
【図１】第１の実施形態における処理の流れを表すフローチャートである。
【図２】第１の実施形態による画像合成装置の概略構成を表す説明図である。
【図３】合成部２０３の構成を表す説明図である。
【図４】入力画像合成部３０４の構成を表す説明図である。
【図５】第１の実施形態による画像合成装置同士を直接接続した例を表す説明図である。
【図６】撮影条件が調整される前に撮影された被写体の画像を表す説明図である。
【図７】予め定められた情報提供図形を表す説明図である。
【図８】図４の撮影画像と図５の情報提供図形の合成画像を表す説明図である。
【図９】撮影条件が調整された後に撮影された被写体の画像と図５の情報提供図形の合成画像を表す説明図である。
【図１０】第１の実施形態による画像合成装置同士を、ネットワークを介して接続した例を表す説明図である。
【図１１】図１のフローチャートに、ユーザ調整指示による調整のステップが挿入されたフローチャートである。
【図１２】図２の第１の実施形態による画像合成装置に、調整指示部２１６が追加された概略構成を表す説明図である。
【図１３】シャッタースピードの調整が容易になる情報提供図形の例を表す説明図である。
【図１４】ユーザがユーザ側の被写体が相手側の被写体よりも大きくなるように画像を合成したい場合のために限定された、相手側で選択されうる情報提供図形を表す説明図である。
【図１５】一方の被写体がもう一方の被写体よりも大きく合成された画像を表す説明図である。
【図１６】大きい人物と小さい人物の合成画像のサンプルを表す説明図である。
【図１７】太った人物とやせた人物の合成画像のサンプルを表す説明図である。
【図１８】回転した人物と回転していない人物の合成画像のサンプルを表す説明図である。
【図１９】分身した人物と分身していない人物の合成画像のサンプルを表す説明図である。
【図２０】第２の実施形態による画像合成装置の概略構成を表す説明図である。
【図２１】第２の実施形態における処理の流れを表すフローチャートである。
【図２２】図２０の第２の実施形態による画像合成装置に、記憶指示部２２０２が増設された画像合成装置の概略構成を表す説明図である。
【図２３】第３の実施形態における処理の流れを表すフローチャートである。
【図２４】第３の実施形態における各処理を説明するための図である。
【図２５】算出される画素値写像を表す説明図である。
【図２６】参照画像の各画素の画素値に画素値写像を施した例を表す説明図である。
【図２７】背景領域の推定の失敗例を表す説明図である。
【図２８】背景領域の推定の成功例を表す説明図である。
【図２９】第４の実施形態における処理の流れを表すフローチャートである。
【図３０】静止状態にある画素の画素値の時系列を表す説明図である。
【図３１】定常的変化状態にある画素の画素値の時系列を表す説明図である。
【図３２】静止状態にある画素において作成されたヒストグラムの例を表す説明図である。
【図３３】定常的変化状態にある画素において作成されたヒストグラムの例を表す説明図である。
【図３４】注目画素とその周囲の画素の例を表す説明図である。
【図３５】第１の実施形態における推定被写体領域４０４の生成に第４の実施形態を適用した場合の処理手順を表すフローチャートである。
【図３６】参照画像４０２のフレーム画像の例を表す説明図である。
【図３７】手ぶれにより図３６からずれ、木の葉の揺れにより木の葉の位置がずれた撮影画像２０２の例を表す説明図である。
【図３８】第３の実施形態により図３７から被写体と被写体でない領域が判定された例を表す説明図である。
【図３９】正規分布の例を表す説明図である。
【図４０】図４１が縮小された画像を表す説明図である。
【図４１】一方の地点で撮影された画像の例を表す説明図である。
【図４２】もう一方の地点で撮影された画像の例を表す説明図である。
【図４３】合成画像の例を表す説明図である。
【図４４】複数地点にいる被写体同士の合成画像における足の位置の高さが合わない画像の例を表す説明図である。
【符号の説明】
【０２３０】
２０１    撮影部
２０３    合成部
２０４    入力部
２０６    生成部
２０７    情報提供図形
２０８    調整終了指示部
２１１    表示部
２１２    画像合成装置
【図１】
2008217812.tif 000009
【図２】
2008217812.tif 000010
【図３】
2008217812.tif 000011
【図４】
2008217812.tif 000012
【図５】
2008217812.tif 000013
【図６】
2008217812.tif 000014
【図７】
2008217812.tif 000015
【図８】
2008217812.tif 000016
【図９】
2008217812.tif 000017
【図１０】
2008217812.tif 000018
【図１１】
2008217812.tif 000019
【図１２】
2008217812.tif 000020
【図１３】
2008217812.tif 000021
【図１４】
2008217812.tif 000022
【図１５】
2008217812.tif 000023
【図１６】
2008217812.tif 000024
【図１７】
2008217812.tif 000025
【図１８】
2008217812.tif 000026
【図１９】
2008217812.tif 000027
【図２０】
2008217812.tif 000028
【図２１】
2008217812.tif 000029
【図２２】
2008217812.tif 000030
【図２３】
2008217812.tif 000031
【図２４】
2008217812.tif 000032
【図２５】
2008217812.tif 000033
【図２６】
2008217812.tif 000034
【図２７】
2008217812.tif 000035
【図２８】
2008217812.tif 000036
【図２９】
2008217812.tif 000037
【図３０】
2008217812.tif 000038
【図３１】
2008217812.tif 000039
【図３２】
2008217812.tif 000040
【図３３】
2008217812.tif 000041
【図３４】
2008217812.tif 000042
【図３５】
2008217812.tif 000043
【図３６】
2008217812.tif 000044
【図３７】
2008217812.tif 000045
【図３８】
2008217812.tif 000046
【図３９】
2008217812.tif 000047
【図４０】
2008217812.tif 000048
【図４１】
2008217812.tif 000049
【図４２】
2008217812.tif 000050
【図４３】
2008217812.tif 000051
【図４４】
2008217812.tif 000052