(57)【要約】【課題】撮影画像の一部に他の画像を嵌め込んで合成した際に、撮影画像の輝度や色調を反映させて違和感のない合成画像を得る。【解決手段】携帯端末装置１１に画像処理部２７が設けられる。画像処理部２７は、被写体の撮影画像から合成位置を表わす特定のマーカを検出するマーカ検出部２７ａ、マーカの位置に基づいて上書き領域を設定する上書き領域設定部２７ｂ、上書き領域に嵌め込む被写体の元画像の画素値を撮影画像の画素値に合わせて変換する画素値変換部２７ｄ、画素値変換された元画像を撮影画像の上書き領域に嵌め込んで合成する合成処理部２７ｅを備える。【選択図】図２
2014060667.tif 000002
【特許請求の範囲】
【請求項１】
被写体の撮影画像から合成位置を表わす特定のマーカを検出するマーカ検出手段と、
このマーカ検出手段によって検出された上記マーカの位置に基づき上書き領域を設定する上書き領域設定手段と、
この上書き領域設定手段によって設定された上書き領域に嵌め込む上記被写体の元画像の画素値を上記撮影画像の画素値に合わせて変換する画素値変換手段と、
この画素値変換手段によって画素値変換された上記元画像を上記撮影画像の上記上書き領域に嵌め込んで合成する合成処理手段と
を具備したことを特徴とする画像処理装置。
【請求項２】
上記撮影画像を矩形状に射影変換する射影変換手段を備え、
上記画素値変換手段は、
上記射影変換手段によって矩形状に射影変換された上記撮影画像の画素値に基づいて上記元画像の画素値を変換することを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記合成処理手段は、
上記被写体の２枚目以降の撮影画像に上記元画像を合成する際に、１枚目の撮影画像のときに上記画素値変換手段によって得られた画素値を上記元画像に適用することを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
上記合成処理手段は、
上記撮像手段によって得られた上記被写体の２枚目以降の撮影画像に上記元画像を合成する際に、上記元画像に対する画素値変換の要否を判定する要否判定手段を有し、
この要否判定手段によって画素値変換が必要であると判定された場合には、上記画素値変換手段に今回の撮影画像に合わせて上記元画像の画素値を変換させることを特徴とする請求項１または２記載の画像処理装置。
【請求項５】
上記要否判定手段は、
前回の撮影画像と今回の撮影画像との間で予め設定された比較対象領域内の各画素のデータを比較し、両者の差が閾値を超えている場合に今回の撮影画像に合わせて上記元画像の画素値を変換する必要があると判定することを特徴とする請求項４記載の画像処理装置。
【請求項６】
上記要否判定手段は、
前回の撮影画像と今回の撮影画像との間で上記マーカの外側の領域、上記マーカの周囲１画素分あるいは所定画素分の領域のいずれかを比較対象領域とし、その比較対象領域内の各画素の輝度の平均値を比較することを特徴とする請求項４または５記載の画像処理装置。
【請求項７】
上記合成処理手段は、
上記撮影画像と上記元画像との境界領域の画素値を拘束条件にしてポアソン方程式により上記撮影画像の画素値に近づけるように上記元画像の画素値を変換することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
上記合成処理手段は、
上記撮影画像と上記元画像との境界付近の画素値を周波数分解して得られる低域成分を両画像間でブレンドすることを特徴とする請求項１から６のいずれかに記載の画像処理装置。
【請求項９】
端末装置とこの端末装置にネットワークを介して接続されるサーバとで構成される画像処理システムにおいて、
上記端末装置は、
被写体の撮影画像から合成位置を表わす特定のマーカを検出するマーカ検出手段と、
このマーカ検出手段によって検出された上記マーカの位置に基づき上書き領域を設定する上書き領域設定手段と、
この上書き領域設定手段によって設定された上書き領域に嵌め込む上記被写体の元画像を上記サーバに要求する元画像要求手段と、
この元画像要求手段による画像要求に応答して上記サーバから送られて来た上記被写体の元画像の画素値を上記撮影画像の画素値に合わせて変換する画素値変換手段と、
この画素値変換手段によって画素値変換された上記元画像を上記撮影画像の上記上書き領域に嵌め込んで合成する合成処理手段とを具備し、
上記サーバは、
上記被写体の元画像を記憶する記憶手段と、
上記端末装置からの要求に応答して、上記記憶手段から上記被写体の元画像を読み出して上記端末装置に送信する画像提供手段と
を具備したことを特徴とする画像処理システム。
【請求項１０】
端末装置とこの端末装置にネットワークを介して接続されるサーバとで構成される画像処理システムにおいて、
上記端末装置は、
被写体の撮影画像から合成位置を表わす特定のマーカを検出するマーカ検出手段と、
このマーカ検出手段によって検出された上記マーカの位置に基づき上書き領域を設定する上書き領域設定手段と、
この上書き領域設定手段によって設定された上書き領域の画像を切り抜き、当該画像に対応した元画像の画素値変換の依頼と共に上記サーバに送る画素値変換依頼手段と、
この画素値変換依頼手段による画素値変換の依頼に応答して上記サーバから送られて来た画素値変換された上記元画像を上記撮影画像の上記上書き領域に嵌め込んで合成する合成処理手段とを具備し、
上記サーバは、
上記被写体の元画像を記憶する記憶手段と、
上記端末装置からの画素値変換の依頼に応答して、上記記憶手段から上記被写体の元画像を読み出し、その元画像の画素値を上記撮影画像の画素値に合わせて変換する画素値変換手段と、
この画素値変換手段によって画素値変換された上記元画像を上記端末装置に送信する画像提供手段と
を具備したことを特徴とする画像処理システム。
【請求項１１】
被写体の撮影画像の一部に上記被写体の元画像を合成するための画像処理方法であって、
上記被写体の撮影画像から合成位置を表わす特定のマーカを検出するマーカ検出ステップと、
このマーカ検出ステップによって検出された上記マーカの位置に基づき上書き領域を設定する上書き領域設定ステップと、
この上書き領域設定ステップによって設定された上書き領域に嵌め込む上記被写体の元画像の画素値を上記撮影画像の画素値に合わせて変換する画素値変換ステップと、
この画素値変換ステップによって画素値変換された上記元画像を上記撮影画像の上記上書き領域に嵌め込んで合成する合成処理ステップと
を備えたことを特徴とする画像処理方法。
【請求項１２】
コンピュータによって実行され、被写体の撮影画像の一部に上記被写体の元画像を合成するためのプログラムであって、
上記コンピュータに、
上記被写体の撮影画像から合成位置を表わす特定のマーカを検出するマーカ検出ステップと、
このマーカ検出ステップによって検出された上記マーカの位置に基づき上書き領域を設定する上書き領域設定ステップと、
この上書き領域設定ステップによって設定された上書き領域に嵌め込む上記被写体の元画像の画素値を上記撮影画像の画素値に合わせて変換する画素値変換ステップと、
この画素値変換ステップによって画素値変換された上記元画像を上記撮影画像の上記上書き領域に嵌め込んで合成する合成処理ステップと
を実行させるためのコンピュータ読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像の一部に他の画像を合成する画像処理装置と、画像処理システム、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルな画像処理は、テレビ、医療などの様々な分野で広く扱われている。また、ネットワーク環境の発達やデジタルカメラ、カメラ付きの携帯電話、スマートフォン等の携帯端末装置の普及により、各分野で画像処理、特に画像合成の需要が高まっている。例えば、医療の分野では、患者の診断用に撮影した画像の一部にマスク画像を重ねて表示することで、情報の秘匿化を図っている（例えば、特許文献１参照）。
【０００３】
また、近年のスマートフォンに代表される携帯端末装置では、加速度センサや地磁気センサ、ＧＰＳ（Global Positioning System）などの各種センサを搭載しており、これらのセンサから得られる撮影の位置と向きに合わせて、撮影画像の一部にＣＧ（Computer Graphics）画像を重ねて表示するＡＲ（Augmented Reality）技術が普及している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３２０４８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した携帯端末装置に備えられている一般的な画像合成機能では、撮影画像の中に他の画像を単純に嵌め込んで合成するだけである。このため、１枚の画像として見たときに合成部分だけが浮いた感じになり、違和感が生じる。特に、撮影画像の中に嵌め込む画像が同じ被写体の部分画像であるような場合にはその違和感が強くなる。
【０００６】
本発明は上記のような点に鑑みなされたもので、撮影画像の一部に他の画像を嵌め込んで合成した際に、撮影画像の輝度や色調を反映させて違和感のない合成画像を得ることのできる画像処理装置、画像処理システム、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、被写体の撮影画像から合成位置を表わす特定のマーカを検出するマーカ検出手段と、このマーカ検出手段によって検出された上記マーカの位置に基づき上書き領域を設定する上書き領域設定手段と、この上書き領域設定手段によって設定された上書き領域に嵌め込む上記被写体の元画像の画素値を上記撮影画像の画素値に合わせて変換する画素値変換手段と、この画素値変換手段によって画素値変換された上記元画像を上記撮影画像の上記上書き領域に嵌め込んで合成する合成処理手段とを具備する。
【０００８】
本発明に係る画像処理システムは、端末装置とこの端末装置にネットワークを介して接続されるサーバとで構成される画像処理システムにおいて、上記端末装置は、被写体の撮影画像から合成位置を表わす特定のマーカを検出するマーカ検出手段と、このマーカ検出手段によって検出された上記マーカの位置に基づき上書き領域を設定する上書き領域設定手段と、この上書き領域設定手段によって設定された上書き領域に嵌め込む上記被写体の元画像を上記サーバに要求する元画像要求手段と、この元画像要求手段による画像要求に応答して上記サーバから送られて来た上記被写体の元画像の画素値を上記撮影画像の画素値に合わせて変換する画素値変換手段と、この画素値変換手段によって画素値変換された上記元画像を上記撮影画像の上記上書き領域に嵌め込んで合成する合成処理手段とを具備し、上記サーバは、上記被写体の元画像を記憶する記憶手段と、上記端末装置からの要求に応答して、上記記憶手段から上記被写体の元画像を読み出して上記端末装置に送信する画像提供手段とを具備する。
【０００９】
本発明に係る画像処理システムは、端末装置とこの端末装置にネットワークを介して接続されるサーバとで構成される画像処理システムにおいて、上記端末装置は、被写体の撮影画像から合成位置を表わす特定のマーカを検出するマーカ検出手段と、このマーカ検出手段によって検出された上記マーカの位置に基づき上書き領域を設定する上書き領域設定手段と、この上書き領域設定手段によって設定された上書き領域の画像を切り抜き、当該画像に対応した元画像の画素値変換の依頼と共に上記サーバに送る画素値変換依頼手段と、この画素値変換依頼手段による画素値変換の依頼に応答して上記サーバから送られて来た画素値変換された上記元画像を上記撮影画像の上記上書き領域に嵌め込んで合成する合成処理手段とを具備し、上記サーバは、上記被写体の元画像を記憶する記憶手段と、上記端末装置からの画素値変換の依頼に応答して、上記記憶手段から上記被写体の元画像を読み出し、その元画像の画素値を上記撮影画像の画素値に合わせて変換する画素値変換手段と、この画素値変換手段によって画素値変換された上記元画像を上記端末装置に送信する画像提供手段とを具備する。
【００１０】
本発明に係る画像処理方法は、被写体の撮影画像の一部に上記被写体の元画像を合成するための画像処理方法であって、上記被写体の撮影画像から合成位置を表わす特定のマーカを検出するマーカ検出ステップと、このマーカ検出ステップによって検出された上記マーカの位置に基づき上書き領域を設定する上書き領域設定ステップと、この上書き領域設定ステップによって設定された上書き領域に嵌め込む上記被写体の元画像の画素値を上記撮影画像の画素値に合わせて変換する画素値変換ステップと、この画素値変換ステップによって画素値変換された上記元画像を上記撮影画像の上記上書き領域に嵌め込んで合成する合成処理ステップとを備える。
【００１１】
本発明に係るプログラムは、コンピュータによって実行され、被写体の撮影画像の一部に上記被写体の元画像を合成するためのプログラムであって、上記コンピュータに、上記被写体の撮影画像から合成位置を表わす特定のマーカを検出するマーカ検出ステップと、このマーカ検出ステップによって検出された上記マーカの位置に基づき上書き領域を設定する上書き領域設定ステップと、この上書き領域設定ステップによって設定された上書き領域に嵌め込む上記被写体の元画像の画素値を上記撮影画像の画素値に合わせて変換する画素値変換ステップと、この画素値変換ステップによって画素値変換された上記元画像を上記撮影画像の上記上書き領域に嵌め込んで合成する合成処理ステップとを実行させるためのコンピュータ読み取り可能なプログラムである。
【発明の効果】
【００１２】
本発明によれば、撮影画像の一部に他の画像を嵌め込んで合成した際に、撮影画像の輝度や色調を反映させて違和感のない合成画像を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】図１は本発明の第１の実施形態に係る画像処理システムの構成を示す図である。
【図２】図２は同実施形態における画像処理システムに用いられる携帯端末装置の構成を示すブロック図である。
【図３】図３は同実施形態における撮影画像の一例を示す図である。
【図４】図４は同実施形態における撮影画像の一部に元画像を嵌め込んだ合成した場合の一例を示す図である。
【図５】図５は同実施形態におけるポアソン画像合成技術を説明するための図であり、図５（ａ）はポアソン画像合成技術を適用する前の合成画像例、同図（ｂ）はポアソン画像合成技術を適用した後の合成画像例である。
【図６】図６は同実施形態における撮影画像の射影変換とポアソン偏微分方程式との関係を説明するための図である。
【図７】図７は同実施形態におけるサーバが介在しない場合の携帯端末装置の処理手順を示すフローチャートである。
【図８】図８は同実施形態における携帯端末装置の処理手順を模式的に表した図である。
【図９】図９は同実施形態における画素の低域成分をブレンドする方法を説明するための図である。
【図１０】図１０は同実施形態における撮影画像と元画像との境界領域とその内側と外側の画素の周波数を説明するための図であり、図１０（ａ）は各画像の領域、同図（ｂ）は各画像の領域と画素の周波数との関係を示す図である。
【図１１】図１１は同実施形態におけるサーバ側で元画像を管理している場合の携帯端末装置とサーバの処理手順を示すフローチャートである。
【図１２】図１２は同実施形態におけるサーバ側で元画像の画素値変換を行う場合の携帯端末装置とサーバの処理手順を示すフローチャートである。
【図１３】図１３は第２の実施形態におけるサーバが介在しない場合の携帯端末装置の処理手順を示すフローチャートである。
【図１４】図１４は同実施形態における撮影画像に設定される比較対象領域の一例を示す図である。
【図１５】図１５は同実施形態における撮影画像に設定される比較対象領域の他の例を示す図である。
【図１６】図１６は同実施形態における画素値変換の要否判定処理を示すフローチャートである。
【図１７】図１７は同実施形態におけるサーバ側で元画像を管理している場合の携帯端末装置とサーバの処理手順を示すフローチャートである。
【図１８】図１８は同実施形態におけるサーバ側で元画像の画素値変換を行う場合の携帯端末装置とサーバの処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施形態について説明する。
【００１５】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理システムの構成を示す図である。
【００１６】
この画像処理システムは、携帯端末装置１１と、この携帯端末装置１１にネットワーク１２を介して接続されるサーバ１３とを備える。
【００１７】
携帯端末装置１１は、例えばスマートフォンなどの高精度な機能を備えたカメラ付き通信端末であり、本発明の画像処理装置として用いられる。この携帯端末装置１１の装置本体には操作部２１、表示部２２、撮像部（カメラ）２３が設けられている。
【００１８】
操作部２１は、各種機能を起動するための操作ボタンを有する。表示部２２は、カラー液晶パネルからなり、各種メニューやデータなどを表示する。また、この表示部２２は、カメラ起動時には電子ファインダとしてスルー画像をモニタ表示すると共に撮影画像を表示する。撮像部２３は、所定の解像度を有するデジタルカメラからなり、装置本体に設けられたレンズ２３ａを通して被写体を撮影する。なお、図１の例では、便宜的に本体正面にレンズ２３ａを設けているが、実際には本体裏面に設けられるか、あるいは、本体正面と裏面の両方に設けられる。
【００１９】
ここで、ユーザが携帯端末装置１１を操作して、ＡＲマーカ１５が印刷されたポスタ１４を撮影すると、ＡＲマーカ１５に記録された接続情報に基づいてネットワーク１２上のサーバ１３に接続される。
【００２０】
サーバ１３は、Ｗｅｂサイトとしてネットワーク１２上に存在するコンピュータである。このサーバ１３は、ＣＰＵ１３ａ、メモリ１３ｂ、通信部１３ｃなどを備える。ＣＰＵ１３ａは、所定のプログラムの起動によりポスタ１４の元画像１６の配信処理などを含む各種処理を実行する。メモリ１３ｂは、プログラムやポスタ１４の元画像１６などを記憶している。通信部１３ｃは、ネットワーク１２を介して外部との間でデータの通信処理を行う。
【００２１】
サーバ１３は、携帯端末装置１１からＡＲマーカ１５の接続情報に基づくアクセス要求を受けると、ポスタ１４の元画像１６からＡＲマーカ１５に対応した部分の画像を抽出して携帯端末装置１１に送信する。携帯端末装置１１では、サーバ１３から送られて来た元画像１６を撮影画像のマーカ位置に嵌め込んで合成表示する。
【００２２】
図２は本システムに用いられる携帯端末装置１１の構成を示すブロック図である。
【００２３】
携帯端末装置１１は、制御部２０と、この制御部２０に接続される操作部２１、表示部２２、撮像部２３、センサ部２４、通信部２５、記憶部２６、画像処理部２７、記録媒体制御部２８を備える。
【００２４】
制御部２０は、本装置１１の全体の制御を行うＣＰＵである。この制御部２０は、操作部２１の入力操作に伴うプログラムの起動により、携帯端末装置１１に備えられた各種機能を実行するものであり、ここでは画像処理部２７の起動により撮影画像と元画像の合成処理を実行する。
【００２５】
操作部２１は複数の操作ボタンを有する入力デバイス、表示部２２は画像を含む各種データの表示を行う表示デバイスからなる。なお、操作部２１として透明のタッチパネルを用い、表示部２２の表示画面に一体化させた構成であっても良い。操作部２１と表示部２２を一体化させた構成では、表示部２２の表示画面上に表示された各種アイコンをユーザが指でタッチして操作を行うことになる。
【００２６】
撮像部２３は、所定画素数分のＣＣＤ(charge coupled device)を有し、操作部２１の入力操作に連動して被写体をカラー撮影する。この撮像部２３で撮影される被写体は表示部２２の表示画面上でスルー画像として確認でき、また、撮影画像も同画面上で確認できる。
【００２７】
センサ部２４は、加速度センサ、地磁気センサ、ＧＰＳなどの各種センサを用いる事ができ、これらの信号は制御部２０に入力されると共に通信部２５を通じて外部に送信される。通信部２５は、所定の通信方式に従ってネットワーク１２を介して外部との間で通信を行う。外部とは、ここでは図１に示したサーバ１３である。
【００２８】
記憶部２６は、ＲＯＭ、ＲＡＭなどのメモリデバイスからなる。この記憶部２６には、プログラム記憶領域２６ａ、画像記憶領域２６ｂなどが設けられている。プログラム記憶領域２６ａには、本発明を実現するためのプログラムを含む各種プログラムが記憶される。画像記憶領域２６ｂには、撮像部２３によって得られた撮影画像や予め用意された画像、さらに画素値変換された画像などを含む各種画像が記憶される。
【００２９】
画像処理部２７は、制御部２０の制御の下で撮影画像と元画像の合成処理を行う。この画像処理部２７は、マーカ検出部２７ａ、上書き領域設定部２７ｂ、射影変換部２７ｃ、画素値変換部２７ｄ、合成処理部２７ｅを備える。
【００３０】
マーカ検出部２７ａは、撮像部２３によって得られた被写体の撮影画像から合成位置を表わす特定のマーカを検出する。上書き領域設定部２７ｂは、マーカ検出部２７ａによって検出されたマーカの位置に基づいて上書き領域を設定する。具体的には、上書き領域設定部２７ｂは、マーカ検出部２７ａによって検出されたマーカの位置に基づいて、マーカ範囲あるいはマーカ範囲に所定の幅の枠範囲を加えた範囲を上書き領域として設定する。射影変換部２７ｃは、撮影画像を矩形状に射影変換する。
【００３１】
画素値変換部２７ｄは、上書き領域設定部２７ｂによって設定された上書き領域に嵌め込む被写体の元画像の画素値を撮影画像の画素値に合わせて変換する。また、射影変換部２７ｃによって撮影画像が矩形状に射影変換されている場合には、画素値変換部２７ｄは、その射影変換された撮影画像の画素値に基づいて元画像の画素値を変換する。
【００３２】
合成処理部２７ｅは、画素値変換部２７ｄによって画素値変換された元画像を撮影画像の上書き領域に嵌め込んで合成する。また、被写体の２枚目以降の撮影画像に元画像を合成する際に、合成処理部２７ｅは、１枚目の撮影画像のときに画素値変換部２７ｄによって得られた画素値を元画像に適用する。
【００３３】
合成処理部２７ｅは、要否判定部２７ｆを有する。要否判定部２７ｆは、撮像部２３によって得られた被写体の２枚目以降の撮影画像に元画像を合成する際に、元画像に対する画素値変換の要否を判定する。この要否判定部２７ｆによって画素値変換が必要であると判定された場合には、合成処理部２７ｅは、画素値変換部２７ｄに今回の撮影画像に合わせて元画像の画素値を変換させる。
【００３４】
また、画像処理部２７には、さらに元画像要求部２７ｇと画素値変換依頼部２７ｈが備えられている。これらは、サーバ１３側で元画像を管理している場合、あるいは、サーバ１３側で画素値変換を行う場合に用いられる。
【００３５】
すなわち、元画像要求部２７ｇは、サーバ１３側で元画像を管理している場合に、上書き領域設定部２７ｂによって設定された上書き領域に嵌め込む被写体の元画像をサーバ１３に要求する。また、画素値変換依頼部２７ｈは、サーバ１３側で画素値変換を行う場合に、上書き領域設定部２７ｂによって設定された上書き領域の画像を切り抜き、当該画像に対応した元画像の画素値変換の依頼と共にサーバ１３に送る。
【００３６】
なお、図１の例では制御部２０と画像処理部２７とを分けているが、画像処理部２７の機能を制御部２０に持たすことでも良い。
【００３７】
記録媒体制御部２８は、記録媒体２８ａに記録されたデータの読取り、あるいは、記録媒体２８ａへのデータの記録を行う。なお、記録媒体２８ａとしては、例えばＳＤカードなどのメモリカードが用いられる。
【００３８】
ここで、本システムの動作を説明する前に、撮影画像の一部に元画像を嵌め込んで合成したときの問題点とその解決方法について説明する。
【００３９】
いま、ユーザが携帯端末装置１１のカメラ機能を操作して、図３に示すようなポスタを撮影した場合を想定する。３１はポスタの撮影画像である。３２はポスタに印刷されていた人物の画像であり、その人物３２の一部（手首の部分）に合成位置を表す特定のマーカ（ここではＡＲマーカ）３３が付されている。
【００４０】
ポスタを撮影したとき、ＡＲマーカ３３の情報が読み取れられ、図１に示したサーバ１３にアクセスされる。これにより、サーバ１３からポスタの元画像３４のマーカ部分に相当する画像が送られてきて、撮影画像３１のマーカ位置に嵌め込まれて合成表示されることになる。この例では、元画像３４のマーカ部分に相当する画像として「時計」の画像が合成表示されている。
【００４１】
ここで、同じ被写体を撮影した画像であっても、予め用意されている元画像３４には照明等の撮影条件が反映されない。このため、実際の撮影画像３１の中に元画像３４を嵌め込んだときに元画像３４の部分だけが浮いた感じになる。
【００４２】
このような画像合成の問題を解消する方法として、ポアソン画像合成（Poisson Image Editing）技術が知られている。これは、合成対象となる画像内に嵌め込まれる置換画像の領域の境界条件（画素値）を保ちながら、その領域内部は置換画像の勾配に最も近い値を取るように、ポアソン型偏微分方程式を利用して領域全体の画素値を最適化する技術である。
【００４３】
図５はポアソン画像合成技術を説明するための図であり、図５（ａ）はポアソン画像合成技術を適用する前の合成画像例、同図（ｂ）はポアソン画像合成技術を適用した後の合成画像例である。図中の４１が合成対象となる画像であり、この例では砂漠を撮影した画像を表している。４２は画像４１内に嵌め込まれる画像（置換画像）であり、この例では海に浮かぶ船を撮影した画像を表している。
【００４４】
ポアソン画像合成技術を適用した場合、画像４１と画像４２との境界領域４３において、その境界領域４３の一画素外側の画素値を拘束条件にして、境界領域４３の内側の画像４２の画素値を元の勾配にできるだけ近づけるように最適化する。このように、境界領域４３の画素値を絶対的な拘束条件にして境界領域４３内の画像４２の各画素の勾配を極力保つ解を求めることを「ポアソン偏微分方程式をディリクレ型境界条件で解く」と言う。このような画素値変換により、画像４１に嵌め込まれる画像４２の各画素の勾配をより自然に変化させた合成画像を生成することができる。
【００４５】
なお、ポアソン画像合成技術については、例えば特開２００９−１６３６１６号公報や、外国文献の「Poisson Image Editing,Perez,2003(ACM SIGGRAPH)」などでも公知であるため、ここでは詳しい説明は省略するものとする。
【００４６】
ところで、ポアソン偏微分方程式をディリクレ型境界条件で解く場合に、射影歪みのない座標系において、境界領域内の画像の画素値を計算する方が効率的である。これは、境界領域が矩形であれば、離散サイン変換による高速解法を適用でき、計算量を大幅に削減できるからである。
【００４７】
そこで、図６に示すように、撮影画像３１を矩形状に射影変換してからポアソン偏微分方程式を利用して、撮影画像３１の中の元画像３４が嵌め込まれる部分の画素値を撮影画像３１の輝度や色調に合わせて変換するものとする。この場合、実際の計算に必要なのは、撮影画像３１と元画像３４との境界領域の一画素外側の画素だけである。計算後、撮影画像３１を再度射影変換（逆変換）して元の形状に戻す。
【００４８】
以下に、本システムの動作について、（ａ）サーバ１３が介在しない場合、（ｂ）サーバ１３側で元画像を管理している場合、（ｃ）サーバ１３側で元画像３４の画素値変換を行う場合に分けて説明する。
【００４９】
（ａ）サーバ１３が介在しない場合
まず、サーバ１３が介在しない場合の動作について、図７および図８を参照して説明する。
【００５０】
図７はサーバ１３が介在しない場合の携帯端末装置１１の処理手順を示すフローチャートである。図８は携帯端末装置１１の処理手順を模式的に表した図である。図中の括弧で示した記号は図７のステップ番号と対応している。また、３１ａは１枚目の撮影画像、３１ｂは２枚目以降の撮影画像を示している。
【００５１】
ユーザが携帯端末装置１１のカメラ機能を操作して、図３に示したＡＲマーカ３３で一部が隠されたポスタを撮影したとする（ステップＡ１１のＹｅｓ）。これにより、携帯端末装置１１に備えられた制御部２０は、画像処理部２７を起動して以下のような処理を実行する。
【００５２】
すなわち、画像処理部２７は、撮像部２３を通じて上記ポスタの１枚目の撮影画像３１ａを取得すると（ステップＡ１２）、その撮影画像３１ａからＡＲマーカ３３を検出する（ステップＡ１３）。ＡＲマーカ３３は、矩形の黒枠の中に白黒のパターンを有する。そこで、画像処理部２７は、撮影画像３１ａから四角形状の枠とその内部を切り出し、予め用意されたパターンファイルのデータとマッテングすることにより、一致率の高いものをＡＲマーカ３３として認識する。
【００５３】
画像処理部２７は、このＡＲマーカ３３の位置に上書き領域３５を設定する（ステップＡ１４）。なお、上書き領域３５は矩形が好ましい。また、上書き領域３５の設定方法として、以下のような方法がある。
【００５４】
（１）上書き領域３５の座標等が予め定められている。
【００５５】
（２）ユーザが上書き領域３５の座標等を任意に設定する。
【００５６】
（３）予め定められているパターンが、ＡＲマーカの各角の部分に配置されており、撮影画像３１ａから、この各角のパターンを検出して、検出されたパターンの位置を各角とするような領域を上書き領域３５とする。また、各角の代わりに、ＡＲマーカ領域の境界の辺が所定のパターンで構成されていて、その所定の辺パターンを撮影画像３１ａの中から検出して、その辺を上書き領域３５の辺とする事も可能である。
【００５７】
（４）エッジ抽出などにより撮影画像の中から上書き領域３５の辺に相当する直線を検出し、検出された直線を境界として、上書き領域３５を認識抽出する。
【００５８】
次に、画像処理部２７は、ＡＲマーカ３３を矩形状に射影変換するためのパラメータ（変換係数）を算出し（ステップＡ１５）、そのパラメータを用いて撮影画像３１ａを矩形状に射影変換する（ステップＡ１６）。詳しくは、矩形状に変換された撮影画像３１ａのＸ，Ｙ座標値とパラメータ（変換係数）を所定の変換式に代入して、変換前の撮影画像３１ａのＸ，Ｙ座標値を算出し、矩形状に変換された撮影画像３１ａの画素値を得るといった処理を行う。
【００５９】
画像処理部２７は、この射影変換後の撮影画像３１ａから上書き領域３５を抽出し、そこに元画像３４を嵌め込む。その際、上書き領域３５における元画像３４の画素値を撮影画像３１ａの輝度と色調に合わせて変換する（ステップＡ１７）。このときの画像値変換処理として、ポアソン偏微分方程式を用いる。
【００６０】
すなわち、図５で説明したように、撮影画像３１ａとその撮影画像３１ａの上書き領域３５に嵌め込まれる元画像３４との境界領域の一画素外側の画素値を拘束条件にして、上書き領域３５内における元画像３４の各画素値を撮影画像３１ａの勾配にできるだけ近づけるように最小二乗誤差法（最小二乗法）を用いて最適化していく。
【００６１】
続いて、画像処理部２７は、ＡＲマーカ３３を矩形状に射影変換したときのＸ，Ｙ座標値と元の形状のＸ，Ｙ座標値と基づいて逆変換のパラメータ（逆変換係数）を算出することにより（ステップＡ１８）、そのパラメータを用いて当該元画像３４（画素値変換された元画像３４）を射影逆変換する（ステップＡ１９）。
【００６２】
画像処理部２７は、この射影逆変換された元画像３４を元の撮影画像３１ａの上書き領域３５に上書きすることで合成画像を完成させる（ステップＡ２０）。この場合、既に画素値変化により元画像３４の輝度と色調を撮影画像３１ａに合わせてあるので、元画像３４の部分だけが浮いてしまうことはなく、撮影画像３１ａの中に元画像３４を同化させて、違和感のない自然な合成画像を得ることができる。
【００６３】
また、同じ被写体（ここでは図３のポスタ）に対して再び撮影が行われた場合には（ステップＡ２１のＮｏ）、以下のような処理が実行される。
【００６４】
すなわち、画像処理部２７は、撮像部２３を通じて上記ポスタの２枚目の撮影画像３１ｂを取得すると（ステップＡ２２）、１枚目の撮影画像３１ａと同様に当該撮影画像３１ｂからＡＲマーカ３３を検出する（ステップＡ２３）。そして、画像処理部２７は、このＡＲマーカ３３の位置に上書き領域３５を設定する（ステップＡ２４）。
【００６５】
ここで、照明等の撮影条件が変わらないことを前提にすれば、１枚目の撮影画像３１ａのときに画素値変換した元画像３４を２枚目の撮影画像３１ｂにそのまま適用することができる。ただし、撮影の向きが前回とは変わっている可能性があるので、元画像３４に対する射影変換（逆変換）は必要である。なお、１枚目の撮影画像３１ａのときに画素値変換した元画像３４は、図２に示した記憶部２６の画像記憶領域２６ｂに記憶されているものとする。
【００６６】
画像処理部２７は、まず、撮影画像３１ｂのＡＲマーカ３３の現在のＸ，Ｙ座標値と矩形状に射影変換したときのＸ，Ｙ座標値とに基づいて逆変換のパラメータ（逆変換係数）を算出する（ステップＡ１８）。そして、画像処理部２７は、記憶部２６の画像記憶領域２６ｂから画素値変換済みの元画像３４を取り出し、その元画像３４を上記パラメータ（逆変換係数）で射影逆変換して撮影画像３１ｂ内の上書き領域３５の形状に合わせる（ステップＡ１９）。
【００６７】
画像処理部２７は、この射影逆変換された元画像３４を元の撮影画像３１ｂの上書き領域３５に上書きすることで２枚目の合成画像を完成させる（ステップＡ２０）。２枚目以降の撮影画像３１ｂについても同様であり、元画像３４の画素値変換処理（ステップＡ１７に相当する処理）を省略することができる。
【００６８】
このように、実際に撮影された画像のマーカ位置に予め用意された別の画像を嵌め込んで合成表示する際に、その別の画像の画素値を元の画像の輝度と色調に合わせて変換することで、違和感のない自然な合成画像を得ることができる。これにより、図３および図４の例のように、例えばポスタのマーカ部分に新製品の画像などを合成表示しても、不自然さを与えることはない。
【００６９】
また、撮影画像を矩形状に射影変換することで、そこに嵌め込む画像の色調合わせのための処理つまり画素値変換処理に要する時間を短縮化できる。特に、計算量を多く必要とするポアソン偏微分方程式を利用して画素値を最適化する場合には射影変換による時間短縮の効果は大きい。
【００７０】
（画素値変換の別の方法）
上記実施形態では、ポアソン偏微分方程式を利用して画素値を変換する方法について説明したが、別の方法として、撮影画像に元画像を嵌め込む領域に応じて、撮影画像と元画像の各画素のＤＣ（Direct Current）成分、低域成分、高域成分を使い分ける方法がある。特に、撮影画像と元画像との境界領域では両画像の各画素の低域成分をブレンドする方法を適用できる。
【００７１】
「低域成分をブレンドする」とは、撮影画像の画素の低域成分と元画像の画素の低域成分を所定のブレンド比で合わせることを言う。この場合、撮影画像と元画像との距離に応じてブレンド比を徐々に変化させる。つまり、図９に示すように、撮影画像と元画像との境界領域において、撮影画像に近いほど、撮影画像の画素の低域成分の割合を大きくし、逆に元画像に近いほど、元画像の低域成分の割合を大きくてブレンドする。図９の例では、撮影画像の割合をα、元画像の割合をβとし、α＋β＝１の範囲でブレンド比を変えた場合の様子が示されている。
【００７２】
なお、ブレンドについては、外国文献の「A multiresolution spline with application to image mosaics, Burt and Adelson,1983」などにも記載されている。
【００７３】
また、高域成分については、撮影画像と元画像との間でブレンドすると、両画像の微妙な位置ずれなどによりボケや二重写り状の画質低下が発生する可能性がある。そこで、高域成分については、ある位置でどちらか一方の高域成分に切り替えることが好ましい。例えば、撮影画像と元画像との境界領域の中間を切り替え点とすると、撮影画像から中間までの画素は撮影画像の画素の高域成分を使い、元画像から中間までの画素は元画像の画素の高域成分を使うように切り替える。
【００７４】
図１０に具体例を示す。  
今、図１０（ａ）に示すように、元画像３４と撮影画像３１があり、元画像３４の一部を撮影画像３１に付されたＡＲマーカ３３の位置に嵌め込んで合成画像４０を作成する場合を想定する。
【００７５】
元画像３４、撮影画像３１、合成画像４０のそれぞれに対応した領域をＡ１−Ａ３、Ｂ１−Ｂ３、Ｃ１−Ｃ３とする。領域Ａ２，Ｂ２，Ｃ２は元画像３４と撮影画像３１との境界領域であり、所定の画素数分の幅を有する。
【００７６】
携帯端末装置１１に備えられた画像処理部２７は、元画像３４、撮影画像３１を周波数分解することにより、それぞれの画素の成分をＤＣ成分、低域成分、高域成分に分け、元画像３４と撮影画像３１との合成画像４０における領域Ｃ１−Ｃ３の画素値を同図（ｂ）のように決定する。
【００７７】
・領域Ｃ１
領域Ｃ１内における画素の低域成分と高域成分は、元画像３４の領域Ａ１内における画素の値をそのまま使う。
【００７８】
ＤＣ成分については、元画像３４の領域Ａ１内における画素のＤＣ成分に、元画像３４と撮影画像３１との境界領域周辺のＤＣ成分の差を加えることで明るさを補正する。
【００７９】
すなわち、元画像３４の領域Ａ２内における画素のＤＣ成分をＤＣＡ２、撮影画像３１の領域Ｂ２内における画素のＤＣ成分をＤＣＢ２とすると、その差分ΔＤＣは以下のように表せる。
【００８０】
ΔＤＣ＝（ＤＣＢ２−ＤＣＡ２）
ここで、領域Ａ１内における画素のＤＣ成分をＤＣＡ１とすると、領域Ｃ１内における画素のＤＣ成分ＤＣＣ１は、下記のように表せる。
【００８１】
ＤＣＣ１＝ＤＣＡ１＋ΔＤＣ
このように、領域Ｃ１内の画素については明るさを補正することで、例えば撮影画像３１が元画像３４よりも明るい環境で撮影されている場合に、その明るさの差分を反映させて、違和感のない自然な合成画像４０を得ることができる。
【００８２】
・領域Ｃ２
領域Ｃ２内における画素のＤＣ成分は、撮影画像３１の領域Ｂ２内における画素のＤＣ成分をそのまま使う。
【００８３】
低域成分については、図９で説明した低域ブレンドを適用する。つまり、元画像３４の領域Ａ２における画素の低域成分と撮影画像３１の領域Ｂ２における画素の低域成分を所定のブレンド比で合わせた値を用いる。
【００８４】
高域成分については、撮影画像３１の外側（Ｂ３）の部分から所定の位置までは撮影画像３１の画素の高域成分を使い、元画像３４の内側（Ａ１）の部分から所定の位置までは元画像３４の画素の高域成分を使うように切り替える。例えば、領域Ｃ２の幅方向の中間の位置を基準として、Ｃ２の幅方向の外側部分に撮影画像３１の外側（Ｂ３）部分の高域成分を使い、領域Ｃ２の幅方向の内側部分に元画像３４の内側（Ａ１）部分の高域成分を使って、合成画像４０の領域Ｃ２の部分を合成する。
【００８５】
・領域Ｃ３
領域Ｃ３内は撮影画像３１をそのまま用いる領域である。したがって、ＤＣ成分、低域成分、高域成分について、撮影画像３１の領域Ｂ３内における画素の値をそのまま使う。
【００８６】
このように、撮影画像３１に元画像３４を嵌め込む領域に応じて、ＤＣ成分、低域成分、高域成分を適宜使い分けつつ合成を行うことで、元画像３４の各画素の値をできるだけ撮影画像３１の輝度と色調に近づけて違和感のない自然な合成画像４０を得ることができる。なお、この方法は、ポアソンに比べると適応能力は劣るが、処理時間が短くて済む。
【００８７】
（ｂ）サーバ１３側で元画像を管理している場合
次に、サーバ１３側で元画像３４を管理している場合の動作について説明する。
【００８８】
サーバ１３のメモリ１３ｂには、携帯端末装置１１が撮影対象としている被写体の元画像３４が予め記憶されているものとする。また、サーバ１３のＣＰＵ１３ａは、携帯端末装置１１からの要求に応答して、メモリ１３ｂから上記被写体の元画像３４を読み出して携帯端末装置１１に送信する画像提供手段として機能する。
【００８９】
図１１はサーバ１３側で元画像３４を管理している場合の携帯端末装置１１とサーバ１３の処理手順を示すフローチャートである。なお、図７のフローチャートと同じ処理には同じステップ番号を付してある。
【００９０】
ユーザが携帯端末装置１１のカメラ機能を操作して、図３に示したＡＲマーカ３３で一部が隠されたポスタを撮影すると（ステップＡ１１のＹｅｓ）、携帯端末装置１１の制御部２０によって画像処理部２７が起動される。画像処理部２７は、撮像部２３を通じて上記ポスタの１枚目の撮影画像３１ａを取得すると（ステップＡ１２）、その撮影画像３１ａからＡＲマーカ３３を検出し（ステップＡ１３）、そのマーカ位置に上書き領域３５を設定する（ステップＡ１４）。
【００９１】
また、画像処理部２７は、ＡＲマーカ３３を矩形状に射影変換するためのパラメータ（変換係数）を算出し（ステップＡ１５）、そのパラメータを用いて撮影画像３１ａを矩形状に射影変換する（ステップＡ１６）。
【００９２】
ここで、携帯端末装置１１の制御部２０は、通信部２５を起動してネットワーク１２上のサーバ１３にアクセスする。サーバ１３への接続情報は、ＡＲマーカ３３にコード化されて記録されている。制御部２０は、このサーバ１３に対して上書き領域３５の元画像３４を要求する（ステップＢ１１）。
【００９３】
サーバ１３側では、ＣＰＵ１３ａが携帯端末装置１１からの画像要求を受け付け、メモリ１３ｂに記憶された元画像３４のデータを読み出す（ステップＢ１２）。ＣＰＵ１３ａは、その元画像３４のデータから上書き領域３５に対応した部分を抽出して携帯端末装置１１に返信する（ステップＢ１３）。なお、この際、上書き領域３５の周囲の部分についても、所定数画素の幅で上書き領域３５に付加して返信するようにしても良い。
【００９４】
携帯端末装置１１の制御部２０は、サーバ１３から送られてきた画像つまり上書き領域３５の元画像３４を受信することにより、記憶部２６の画像記憶領域２６ｂに記憶保持すると共に画像処理部２７に与える（ステップＢ１４）。
【００９５】
以後の処理は、図７のステップＡ１７〜Ａ２０と同様である。この場合、ステップＡ１７の画素値変換処理として、上述したポアソン偏微分方程式を利用して画素値を変換する方法の他に、境界領域における画素値の低域成分をブレンドする方法などがある。
【００９６】
この画素値変換処理により上書き領域３５内における元画像３４の画素値を最適化した後、射影逆変換のパラメータ（逆変換係数）を求めて当該元画像３４を射影逆変換し、元の撮影画像３１ａの上書き領域３５に上書きして合成画像を完成させれば良い。なお、１枚目の撮影画像３１ａのときに画素値変換した元画像３４は、図２に示した記憶部２６の画像記憶領域２６ｂに記憶される。
【００９７】
また、２枚目以降の撮影画像３１ｂについては、記憶部２６の画像記憶領域２６ｂから画素値変換後の元画像３４を読み出して同様の処理を行えば良い（ステップＡ２１〜２４→Ａ１８〜Ａ２０）。
【００９８】
このように、サーバ１３側で元画像３４を管理し、携帯端末装置１１側での撮影に伴い、その撮影画像３１に元画像３４を合成するときでも画素値変換により違和感のない合成画像を得ることができる。
【００９９】
また、サーバ１３側で元画像３４を管理しておけば、サーバ１３からの画像提供という形態で利用できる。すなわち、図３および図４の例のように、ポスタの一部をＡＲマーカ３３で隠しておき、撮影時にＡＲマーカ３３に対応した元画像３４をサーバ１３から送って撮影画像に合成表示すれば、新製品の発表などに利用できる。
【０１００】
（ｃ）サーバ１３側で元画像３４の画素値変換を行う場合
次に、サーバ１３側で元画像３４の画素値変換を行う場合の動作について説明する。
【０１０１】
サーバ１３のメモリ１３ｂには、携帯端末装置１１が撮影対象としている被写体の元画像３４が予め記憶されているものとする。また、サーバ１３のＣＰＵ１３ａは、携帯端末装置１１からの画素値変換の依頼に応答して、メモリ１３ｂから上記被写体の元画像３４を読み出し、その元画像３４の画素値を撮影画像３１の画素値に合わせて変換する画素値変換手段と、この画素値変換された元画像３４を携帯端末装置１１に送信する画像提供手段として機能する。
【０１０２】
図１２はサーバ１３側で元画像３４の画素値変換を行う場合の携帯端末装置１１とサーバ１３の処理手順を示すフローチャートである。なお、図７のフローチャートと同じ処理には同じステップ番号を付してある。
【０１０３】
ユーザが携帯端末装置１１のカメラ機能を操作して、図３に示したＡＲマーカ３３で一部が隠されたポスタを撮影すると（ステップＡ１１のＹｅｓ）、携帯端末装置１１の制御部２０によって画像処理部２７が起動される。画像処理部２７は、撮像部２３を通じて上記ポスタの１枚目の撮影画像３１ａを取得すると（ステップＡ１２）、その撮影画像３１ａからＡＲマーカ３３を検出し（ステップＡ１３）、そのマーカ位置に上書き領域３５を設定する（ステップＡ１４）。
【０１０４】
また、画像処理部２７は、ＡＲマーカ３３を矩形状に射影変換するためのパラメータ（変換係数）を算出し（ステップＡ１５）、そのパラメータを用いて撮影画像３１ａを矩形状に射影変換する（ステップＡ１６）。
【０１０５】
ここで、携帯端末装置１１の制御部２０は、通信部２５を起動してネットワーク１２上のサーバ１３にアクセスする。サーバ１３への接続情報は、ＡＲマーカ３３にコード化されて記録されている。制御部２０は、撮影画像３１の中の上書き領域３５の画像を切り抜き、画素値変換の依頼と共にサーバ１３に送信する（ステップＣ１１）。なお、この際、上書き領域３５の周囲の部分についても、所定数画素の幅で上書き領域３５に付加して返信するようにしても良い。
【０１０６】
サーバ１３側では、ＣＰＵ１３ａが携帯端末装置１１から送られてきた上書き領域３５の画像を受信すると（ステップＣ１２）、メモリ１３ｂから当該画像に対応した元画像３４のデータを読み出す（ステップＣ１３）。そして、ＣＰＵ１３ａは、この元画像３４の画素値を撮影画像３１ａの輝度と色調に合わせて変換する（ステップＣ１４）。
【０１０７】
このときの画素値変換の方法として、上述したポアソン偏微分方程式を利用して画素値を変換する方法の他に、境界領域における画素値の低域成分をブレンドする方法などがある。ＣＰＵ１３ａは、画素値変換された元画像３４を携帯端末装置１１に返す（ステップＣ１５）。
【０１０８】
携帯端末装置１１の制御部２０は、サーバ１３から送られてきた画像つまり上書き領域３５内における元画像３４を受信することにより、記憶部２６の画像記憶領域２６ｂに記憶保持すると共に画像処理部２７に与える（ステップＣ１６）。
【０１０９】
以後は、図７のステップＡ１８〜Ａ２０と同様である。この場合、既に上書き領域３５内における元画像３４の画素値は最適化されているので、携帯端末装置１１側での画素値変換処理（図７のステップＡ１７）は不要であり、逆変換のパラメータ（逆変換係数）を求めて当該元画像３４を射影逆変換し、元の撮影画像３１ａの上書き領域３５に上書きして合成画像を完成させれば良い。
【０１１０】
また、２枚目以降の撮影画像３１ｂについては、記憶部２６の画像記憶領域２６ｂから画素値変換後の元画像３４を読み出して同様の処理を行えば良い（ステップＡ２１〜２４→Ａ１８〜Ａ２０）。
【０１１１】
このように、サーバ１３側で元画像３４の画素値変換を行って携帯端末装置１１に送る構成とすれば、携帯端末装置１１側での画素値変換が不要となるので、携帯端末装置１１側での処理負担が大幅に軽減される。
【０１１２】
（第２の実施形態）
次に、第２の実施形態について説明する。
【０１１３】
上記第１の実施形態では、１枚目の撮影画像３１ａと２枚目以降の撮影画像３１ｂとで照明等の撮影条件が変わらないことを前提にした。しかしながら、実際には照明機器の位置と撮影の向き等の関係で撮影条件が大きく変わることもあり、また、日中の日差しの入り方などでも撮影条件は変わる。第２の実施形態では、このような撮影条件の変化を考慮して、２枚目以降の撮影画像３１ｂに対する画素値変換の要否を判定するようにしたものである。
【０１１４】
なお、システム構成や携帯端末装置１１やサーバ１３の装置構成については上記第１の実施形態と同様である。以下では、第２の実施形態の動作について、（ａ）サーバ１３が介在しない場合、（ｂ）サーバ１３側で元画像を管理している場合、（ｃ）サーバ１３側で元画像３４の画素値変換を行う場合に分けて説明する。
【０１１５】
（ａ）サーバ１３が介在しない場合
まず、サーバ１３が介在しない場合の動作について、図１３を参照して説明する。
【０１１６】
図１３は第２の実施形態におけるサーバ１３が介在しない場合の携帯端末装置１１の処理手順を示すフローチャートである。なお、上記第１の実施形態における図７のフローチャートと同じ処理には同じステップ番号を付してある。
【０１１７】
ユーザが携帯端末装置１１のカメラ機能を操作して、図３に示したＡＲマーカ３３で一部が隠されたポスタを撮影すると（ステップＡ１１のＹｅｓ）、携帯端末装置１１の制御部２０によって画像処理部２７が起動される。画像処理部２７は、撮像部２３を通じて上記ポスタの１枚目の撮影画像３１ａを取得すると（ステップＡ１２）、その撮影画像３１ａからＡＲマーカ３３を検出し（ステップＡ１３）、そのマーカ位置に上書き領域３５を設定する（ステップＡ１４）。
【０１１８】
ここで、第２の実施形態では、画像処理部２７は、１枚目の撮影画像３１ａを用いて次回以降の比較用パラメータを計算する（ステップＤ１１）。この比較用パラメータは、撮影画像３１ａの所定の領域を比較対象領域とし、その比較対象領域内の各画素の輝度の平均値とする。この場合、図１４の例のように、ＡＲマーカ３３の外側の領域を比較対象領域４１としても良いし、図１５の例のように、ＡＲマーカ３３の周囲１画素分あるいは所定画素分の領域を比較対象領域４１としても良い。この比較対象領域４１内の各画素の輝度平均値をＬ１とする。
【０１１９】
制御部２０は、画像処理部２７によって求められた比較用パラメータ（輝度平均値Ｌ１）を記憶部２６内の所定の領域に記憶しておく（ステップＤ１２）。
【０１２０】
なお、白黒パターンのＡＲマーカ３３に代えて、例えばカラーのマーカやグレースケールのマーカなどを用いた場合には、そのマーカ内を含めて比較対象領域を設定しても良いし、あるいは、マーカ内のみを比較対象領域として設定することでも良い。また、その際に用いる比較用パラメータとしては、輝度値に限らず、画素値そのものや、ＲＧＢの値、ＲＧＢの一部の値などを用いても良い。
【０１２１】
上記ステップＡ１４の上書き領域の設定後に行う射影変換や画素値変換等の処理については（ステップＡ１５〜Ａ２０）、上記第１の実施形態と同様であるため、その説明を省略する。
【０１２２】
今、同じ被写体（ここでは図３のポスタ）に対して再び撮影が行われたものとする（ステップＡ２１のＮｏ）。
【０１２３】
画像処理部２７は、撮像部２３を通じて上記ポスタの２枚目の撮影画像３１ｂを取得すると（ステップＡ２２）、１枚目の撮影画像３１ａと同様に当該撮影画像３１ｂからＡＲマーカ３３を検出する（ステップＡ２３）。そして、画像処理部２７は、このＡＲマーカ３３の位置に上書き領域３５を設定する（ステップＡ２４）。
【０１２４】
ここで、画像処理部２７は、当該撮影画像３１ｂの所定の領域から比較用パラメータを計算する（ステップＤ１３）。これは上記ステップＤ１１と同様であり、例えばＡＲマーカ３３の外側の領域やＡＲマーカ３３の周囲１画素分あるいは所定画素分の領域を比較対象領域４１とし、その比較対象領域４１内の各画素の輝度の平均値を比較用パラメータとして求める。このときに得られた輝度平均値をＬ２とする。
【０１２５】
画像処理部２７は、１枚目の撮影画像３１ａの所定の領域から求めた比較用パラメータと２枚目の撮影画像３１ｂの所定の領域から求めた比較用パラメータとを比較して再度の画素値変換が必要であるか否かを判定する（ステップＤ１４）。
【０１２６】
詳しくは、図１６のフローチャートに示すように、画像処理部２７は、前回の比較用パラメータである輝度平均値Ｌ１を記憶部２６から読み出す（ステップＥ１１）。そして、画像処理部２７は、今回の比較用パラメータである輝度平均値Ｌ２を参照して（ステップＥ１２）、前回の輝度平均値Ｌ１との差分の絶対値ΔＬを求める（ステップＥ１３）。ΔＬ＝|Ｌ１−Ｌ２|である。
【０１２７】
ここで、差分ΔＬが予め要否判定用に設定された閾値より大きかった場合に（ステップＥ１４のＹｅｓ）、画像処理部２７は、再度の画素値変換が必要であると判定する（ステップＥ１５）。一方、差分ΔＬが予め設定された閾値以下であった場合には（ステップＥ１４のＮｏ）、画像処理部２７は、再度の画素値変換が不要であると判定する（ステップＥ１６）。即ち、輝度平均値の差分の絶対値が所定値以下であった場合、前回の比較用パラメータＬ１を記憶したときと現在とで、撮影環境が大きく変わっていないと判断していることになる。
【０１２８】
図１３に戻って、再度の画素値変換が不要の場合には（ステップＤ１５のＮｏ）、上記第１の実施形態と同様に、画像処理部２７は、記憶部２６の画像記憶領域２６ｂから画素値変換済みの元画像３４を取り出し、その元画像３４を射影逆変換して撮影画像３１ｂの上書き領域３５に上書きすることで２枚目の合成画像を完成させる（ステップＡ１８〜Ａ２０）。
【０１２９】
一方、再度の画素値変換が必要であった場合には（ステップＤ１５のＹｅｓ）、画像処理部２７は、当該撮影画像１３ｂの画素値に基づいて上書き領域３５内における元画像３４の再度画素値変換した上で合成することになる（ステップＡ１５〜Ａ１７）。
【０１３０】
その際、次回以降の撮影に備えて、今回の撮影画像１３ｂから求めたパラメータ値を記憶部２６の所定の領域に記憶しておく（ステップＤ１２）。この場合、２枚目の撮影画像３１ｂの輝度平均値Ｌ２はＬ１として記憶されて、次回以降の処理に用いられることになる。
【０１３１】
このように、２枚目以降の撮影画像３１に対して元画像３４を合成する際には、その都度、撮影画像から算出された輝度平均値等の比較用パラメータの値を、以前の値と今回の値とで比較することにより画素値変換の要否を判定し、必要に応じて適宜画素値変換を行うことで、照明等の撮影条件が変わった場合でも適切に対応できるとともに必要の無い場合には処理負担を軽減することができ、違和感のない自然な合成画像を得ることができる。
【０１３２】
（ｂ）サーバ１３側で元画像を管理している場合
次に、サーバ１３側で元画像３４を管理している場合の動作について説明する。
【０１３３】
サーバ１３のメモリ１３ｂには、携帯端末装置１１が撮影対象としている被写体の元画像３４が予め記憶されているものとする。また、サーバ１３のＣＰＵ１３ａは、携帯端末装置１１からの要求に応答して、メモリ１３ｂから上記被写体の元画像３４を読み出して携帯端末装置１１に送信する画像提供手段として機能する。
【０１３４】
図１７はサーバ１３側で元画像３４を管理している場合の携帯端末装置１１とサーバ１３の処理手順を示すフローチャートである。なお、図１３のフローチャートと同じ処理には同じステップ番号を付してある。
【０１３５】
基本的な処理の流れは図１３の処理と同様である。異なる点は、携帯端末装置１１側で撮影画像３１ａのマーカ位置に設定された上書き領域の元画像３４をネットワーク１２上のサーバ１３に要求し、サーバ１３側でその要求に応答して元画像３４を返すといった処理を行うことである（ステップＦ１１〜Ｆ１４）。なお、このステップＦ１１〜Ｆ１４の処理については、上記図１１のフローチャートのステップＢ１１〜Ｂ１４と同様であるため、その詳しい説明は省略するものとする。
【０１３６】
ここで、サーバ１３側で元画像３４を管理している場合でも、携帯端末装置１１側の処理にステップＤ１１〜Ｄ１５の処理を追加しておくことで、２枚目以降の撮影画像３１ｂに対し、その都度、撮影画像から算出された輝度平均値等の比較用パラメータの値を、以前の値と今回の値とで比較することにより画素値変換の要否を判定し、必要に応じて適宜画素値変換を行うことができる。これにより、照明等の撮影条件が変わった場合でも適切に対応できるとともに必要の無い場合には処理負担を軽減することができ、違和感のない自然な合成画像を得ることができる。
【０１３７】
（ｃ）サーバ１３側で元画像３４の画素値変換を行う場合
次に、サーバ１３側で元画像３４の画素値変換を行う場合の動作について説明する。
【０１３８】
サーバ１３のメモリ１３ｂには、携帯端末装置１１が撮影対象としている被写体の元画像３４が予め記憶されているものとする。また、サーバ１３のＣＰＵ１３ａは、携帯端末装置１１からの画素値変換の依頼に応答して、メモリ１３ｂから上記被写体の元画像３４を読み出し、その元画像３４の画素値を撮影画像３１の画素値に合わせて変換する画素値変換手段と、この画素値変換された元画像３４を携帯端末装置１１に送信する画像提供手段として機能する。
【０１３９】
図１８はサーバ１３側で元画像３４の画素値変換を行う場合の携帯端末装置１１とサーバ１３の処理手順を示すフローチャートである。なお、図１３のフローチャートと同じ処理には同じステップ番号を付してある。
【０１４０】
基本的な処理の流れは図１３の処理と同様である。異なる点は、携帯端末装置１１側で撮影画像３１ａのマーカ位置に設定された上書き領域の画像を切り抜いて画素値変換の依頼と共にネットワーク１２上のサーバ１３に送り、サーバ１３側で当該画像に対応した元画像３４を読み出し、画素値変換して携帯端末装置１１に送るといった処理を行うことである（ステップＧ１１〜Ｇ１６）。なお、このステップＧ１１〜Ｇ１６の処理については、上記図１２のフローチャートのステップＣ１１〜Ｃ１６と同様であるため、その詳しい説明は省略するものとする。
【０１４１】
ここで、サーバ１３側で元画像３４の画素値変換を行う場合でも、携帯端末装置１１側の処理にステップＤ１１〜Ｄ１５の処理を追加しておくことで、２枚目以降の撮影画像３１ｂに対し、その都度、撮影画像から算出された輝度平均値等の比較用パラメータの値を、以前の値と今回の値とで比較することにより画素値変換の要否を判定し、必要な場合にはサーバ１３に上書き領域の画像を送って画素値変換を行うことができる。これにより、照明等の撮影条件が変わった場合でも適切に対応できるとともに必要の無い場合には処理負担を軽減することができ、違和感のない自然な合成画像を得ることができる。
【０１４２】
なお、上記各実施形態では、撮影画像３１の中のＡＲマーカ３３の位置に元画像３４を嵌め込んで合成表示する場合を想定して説明したが、ＡＲマーカ３３に限らず、撮影画像３１に対して合成位置を特定できるものであれば、他のマーカであっても良い。
【０１４３】
また、携帯端末装置１１がネットワーク１２上のサーバ１３に接続する際の接続情報は、ＡＲマーカ１５に記録されている例に限られず、ＡＲマーカに記録されていなくても、予め所定の接続先が携帯端末装置１１の記憶部２６に記憶されていても良いし、あるいは撮影画像３１の中のＡＲマーカと別の部分に接続先の情報が記録されていて、それを読み取る形で取得するようにしても良い。
【０１４４】
また、撮影画像３１の射影変換は必ずしも必要ではなく、撮影画像３１が歪んでいなければ射影変換する必要はない。
【０１４５】
要するに、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１４６】
また、上述した各実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、通信媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【０１４７】
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。  
［１］
被写体の撮影画像から合成位置を表わす特定のマーカを検出するマーカ検出手段と、
このマーカ検出手段によって検出された上記マーカの位置に基づき上書き領域を設定する上書き領域設定手段と、
この上書き領域設定手段によって設定された上書き領域に嵌め込む上記被写体の元画像の画素値を上記撮影画像の画素値に合わせて変換する画素値変換手段と、
この画素値変換手段によって画素値変換された上記元画像を上記撮影画像の上記上書き領域に嵌め込んで合成する合成処理手段と
を具備したことを特徴とする画像処理装置。
【０１４８】
［２］
上記撮影画像を矩形状に射影変換する射影変換手段を備え、
上記画素値変換手段は、
上記射影変換手段によって矩形状に射影変換された上記撮影画像の画素値に基づいて上記元画像の画素値を変換することを特徴とする［１］記載の画像処理装置。
【０１４９】
［３］
上記合成処理手段は、
上記被写体の２枚目以降の撮影画像に上記元画像を合成する際に、１枚目の撮影画像のときに上記画素値変換手段によって得られた画素値を上記元画像に適用することを特徴とする［１］または［２］記載の画像処理装置。
【０１５０】
［４］
上記合成処理手段は、
上記撮像手段によって得られた上記被写体の２枚目以降の撮影画像に上記元画像を合成する際に、上記元画像に対する画素値変換の要否を判定する要否判定手段を有し、
この要否判定手段によって画素値変換が必要であると判定された場合には、上記画素値変換手段に今回の撮影画像に合わせて上記元画像の画素値を変換させることを特徴とする［１］または［２］記載の画像処理装置。
【０１５１】
［５］
上記要否判定手段は、
前回の撮影画像と今回の撮影画像との間で予め設定された比較対象領域内の各画素のデータを比較し、両者の差が閾値を超えている場合に今回の撮影画像に合わせて上記元画像の画素値を変換する必要があると判定することを特徴とする［４］記載の画像処理装置。
【０１５２】
［６］
上記要否判定手段は、
前回の撮影画像と今回の撮影画像との間で上記マーカの外側の領域、上記マーカの周囲１画素分あるいは所定画素分の領域のいずれかを比較対象領域とし、その比較対象領域内の各画素の輝度の平均値を比較することを特徴とする［４］または［５］記載の画像処理装置。
【０１５３】
［７］
上記合成処理手段は、
上記撮影画像と上記元画像との境界領域の画素値を拘束条件にしてポアソン方程式により上記撮影画像の画素値に近づけるように上記元画像の画素値を変換することを特徴とする［１］から［６］のいずれかに記載の画像処理装置。
【０１５４】
［８］
上記合成処理手段は、
上記撮影画像と上記元画像との境界付近の画素値を周波数分解して得られる低域成分を両画像間でブレンドすることを特徴とする［１］から［６］のいずれかに記載の画像処理装置。
【０１５５】
［９］
端末装置とこの端末装置にネットワークを介して接続されるサーバとで構成される画像処理システムにおいて、
上記端末装置は、
被写体の撮影画像から合成位置を表わす特定のマーカを検出するマーカ検出手段と、
このマーカ検出手段によって検出された上記マーカの位置に基づき上書き領域を設定する上書き領域設定手段と、
この上書き領域設定手段によって設定された上書き領域に嵌め込む上記被写体の元画像を上記サーバに要求する元画像要求手段と、
この元画像要求手段による画像要求に応答して上記サーバから送られて来た上記被写体の元画像の画素値を上記撮影画像の画素値に合わせて変換する画素値変換手段と、
この画素値変換手段によって画素値変換された上記元画像を上記撮影画像の上記上書き領域に嵌め込んで合成する合成処理手段とを具備し、
上記サーバは、
上記被写体の元画像を記憶する記憶手段と、
上記端末装置からの要求に応答して、上記記憶手段から上記被写体の元画像を読み出して上記端末装置に送信する画像提供手段と
を具備したことを特徴とする画像処理システム。
【０１５６】
［１０］
端末装置とこの端末装置にネットワークを介して接続されるサーバとで構成される画像処理システムにおいて、
上記端末装置は、
被写体の撮影画像から合成位置を表わす特定のマーカを検出するマーカ検出手段と、
このマーカ検出手段によって検出された上記マーカの位置に基づき上書き領域を設定する上書き領域設定手段と、
この上書き領域設定手段によって設定された上書き領域の画像を切り抜き、当該画像に対応した元画像の画素値変換の依頼と共に上記サーバに送る画素値変換依頼手段と、
この画素値変換依頼手段による画素値変換の依頼に応答して上記サーバから送られて来た画素値変換された上記元画像を上記撮影画像の上記上書き領域に嵌め込んで合成する合成処理手段とを具備し、
上記サーバは、
上記被写体の元画像を記憶する記憶手段と、
上記端末装置からの画素値変換の依頼に応答して、上記記憶手段から上記被写体の元画像を読み出し、その元画像の画素値を上記撮影画像の画素値に合わせて変換する画素値変換手段と、
この画素値変換手段によって画素値変換された上記元画像を上記端末装置に送信する画像提供手段と
を具備したことを特徴とする画像処理システム。
【０１５７】
［１１］
被写体の撮影画像の一部に上記被写体の元画像を合成するための画像処理方法であって、
上記被写体の撮影画像から合成位置を表わす特定のマーカを検出するマーカ検出ステップと、
このマーカ検出ステップによって検出された上記マーカの位置に基づき上書き領域を設定する上書き領域設定ステップと、
この上書き領域設定ステップによって設定された上書き領域に嵌め込む上記被写体の元画像の画素値を上記撮影画像の画素値に合わせて変換する画素値変換ステップと、
この画素値変換ステップによって画素値変換された上記元画像を上記撮影画像の上記上書き領域に嵌め込んで合成する合成処理ステップと
を備えたことを特徴とする画像処理方法。
【０１５８】
［１２］
コンピュータによって実行され、被写体の撮影画像の一部に上記被写体の元画像を合成するためのプログラムであって、
上記コンピュータに、
上記被写体の撮影画像から合成位置を表わす特定のマーカを検出するマーカ検出手段と、
このマーカ検出手段によって検出された上記マーカの位置に基づき上書き領域を設定する上書き領域設定手段と、
この上書き領域設定手段によって設定された上書き領域に嵌め込む上記被写体の元画像の画素値を上記撮影画像の画素値に合わせて変換する画素値変換手段と、
この画素値変換手段によって画素値変換された上記元画像を上記撮影画像の上記上書き領域に嵌め込んで合成する合成処理手段と
を実行させるためのコンピュータ読み取り可能なプログラム。
【符号の説明】
【０１５９】
１１…携帯端末装置、１２…ネットワーク、１３…サーバ、１３ａ…ＣＰＵ、１３ｂ…メモリ、１３ｃ…通信部、１４…ポスタ、１５…ＡＲマーカ、１６…元画像、２０…制御部、２１…操作部、２２…表示部、２３…撮像部、２４…センサ部、２５…通信部、２６…記憶部、２６ａ…プログラム記憶領域、２６ｂ…画像記憶領域、２７…画像処理部、２７ａ…マーカ検出部、２７ｂ…上書き領域設定部、２７ｃ…射影変換部、２７ｄ…画素値変換部、２７ｅ…合成処理部、２７ｆ…要否判定部、２７ｇ…元画像要求部、２７ｈ…画素値変換依頼部、２８…記録媒体制御部、２８ａ…記録媒体、３１，３１ａ，３１ｂ…撮影画像、３２…人物、３３…ＡＲマーカ、３４…元画像、３５…上書き領域、４１，４２…画像、４３…境界領域。
【図１】
2014060667.tif 000003
【図２】
2014060667.tif 000004
【図３】
2014060667.tif 000005
【図４】
2014060667.tif 000006
【図５】
2014060667.tif 000007
【図６】
2014060667.tif 000008
【図７】
2014060667.tif 000009
【図８】
2014060667.tif 000010
【図９】
2014060667.tif 000011
【図１０】
2014060667.tif 000012
【図１１】
2014060667.tif 000013
【図１２】
2014060667.tif 000014
【図１３】
2014060667.tif 000015
【図１４】
2014060667.tif 000016
【図１５】
2014060667.tif 000017
【図１６】
2014060667.tif 000018
【図１７】
2014060667.tif 000019
【図１８】
2014060667.tif 000020