(57)【要約】【課題】画像合成を行う際に、合成用画像の作成を自動的に行い、ユーザが事前に情報の作成を行う事なく合成処理を実現する事。【解決手段】第１画像と、前記第１画像の各領域における被写体距離を算出する被写体距離算出手段と、前記第１画像と、前記被写体距離算出手段が示す距離情報を記憶する記憶手段と、前記第１画像を表示する表示手段と、前記表示手段に表示された前記第１画像の一部の領域をユーザに指定させる指定手段と、前記指定手段によって指定された指定領域の形状と、当該指定領域における被写体距離を用いて、記憶手段から取得した第２画像を射影変換し、射影変換された第２画像を指定領域に合成する画像処理手段とを備える構成とした。【選択図】図１
2019133210.tif 000002
【特許請求の範囲】
【請求項１】
第１画像と、前記第１画像の各領域における被写体距離を算出する被写体距離算出手段と、
前記第１画像と、前記被写体距離算出手段が示す距離情報を記憶する記憶手段と、
前記第１画像を表示する表示手段と、
前記表示手段に表示された前記第１画像の一部の領域をユーザに指定させる指定手段と、
前記指定手段によって指定された指定領域の形状と、当該指定領域における被写体距離を用いて、記憶手段から取得した第２画像を射影変換し、射影変換された第２画像を指定領域に合成する画像処理手段
を備える事を特徴とする画像処理装置。
【請求項２】
前記画像処理手段が、前記指定手段によって指定された指定領域における被写体距離を取得できない場合は、前記表示手段は画像合成処理が出来ない事を示す表示を行う事を特徴とする
請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段が、前記指定手段によって指定された指定領域における平坦度合いを算出し、平坦度合いが一定値以下の場合は、前記表示手段は画像合成処理が出来ない事を示す表示を行う事を特徴とする
請求項１に記載の画像処理装置。
【請求項４】
前記画像処理手段は、前記指定手段によって指定された指定領域における鏡面反射率を取得し、画像合成処理を行う際の合成比率を調整することを特徴とする
請求項１に記載の画像処理装置。
【請求項５】
前記画像処理手段は、前記指定手段によって指定された指定領域における鏡面反射率を取得し、鏡面反射率に応じて、前記射影変換後の画像の色情報を調整することを特徴とする
請求項１に記載の画像処理装置。
【請求項６】
前記画像処理手段は、前記第２画像の光源位置の推定を行い、前記第２画像に対してリライティング処理を行う事を特徴とする
請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、過去に撮影した画像を現在撮影中の画像に対して合成処理を行うものに関するものである。
【背景技術】
【０００２】
現在撮影中の画像に対して、過去に撮影した画像を合成して表示することにより、あたかもその撮影中の画像の中に、過去に撮影した画像が埋め込まれているように見せる技術がある。
【０００３】
例えば、特許文献１では、衣服の画像を試着対象者の体型情報に応じて変形をしてから合成処理を行っている。
また、特許文献２では、ARマーカーを使用して、その情報から撮影されている角度を認識し、3D情報として保持している家具データを変形させてから合成処理を行っている。
このように、撮影中の画像の情報に応じて、合成用の画像を変形してから合成処理を行う事により、馴染んだ画像合成を実現することが出来る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平9-44556号公報
【特許文献２】特開2010-287174号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の方法では、合成処理を行うためには、合成するための試着対象者の体型情報を事前に作成して保持しておく必要がある。また、特許文献２の方法でも、合成処理を行う領域に対して、ARマーカーの情報を事前に作成して用意しておく必要があり、合成処理を行うためには、ユーザが事前に合成で必要な情報を作成しなければならないという問題がある。
【０００６】
本発明は上記問題点を鑑みてなされたものであり、合成用画像の作成を自動的に行い、ユーザが事前に情報の作成を行う事なく合成処理を実現することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、
第１画像と、前記第１画像の各領域における被写体距離を算出する被写体距離算出手段と、
前記第１画像と、前記被写体距離算出手段が示す距離情報を記憶する記憶手段と、
前記第１画像を表示する表示手段と、
前記表示手段に表示された前記第１画像の一部の領域をユーザに指定させる指定手段と、
前記指定手段によって指定された指定領域の形状と、当該指定領域における被写体距離を用いて、記憶手段から取得した第２画像を射影変換し、射影変換された第２画像を指定領域に合成する画像処理手段
とを備える構成とした。
【発明の効果】
【０００８】
本発明によれば、撮影中の画像に対して、他の画像を合成する際に、事前に合成用画像に対しての情報を別途作成する必要なく、自然な画像合成処理を行う事が出来る。
【図面の簡単な説明】
【０００９】
【図１】第１の実施例の適用図
【図２】画像合成の処理過程画像
【図３】合成領域決定手段のフローチャート
【図４】射影変換用領域のイメージ図
【図５】第２の実施例の適用図
【図６】第３の実施例の適用図
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１１】
［実施例１］
本発明の第１の実施例の適用図を第１図に示す。
【００１２】
１０１はフォーカスレンズを含み、さらにはズームレンズ、絞りなどで構成される光学系、１０２は被写体像を光電変換により電気信号に変換して、画像信号として出力するセンサである。
【００１３】
１０３は撮影された画像および、撮影時の距離マップ情報を記録するためのメモリである。１０４はセンサ１０２から出力された画像信号に対し、色変換、ホワイトバランス、ガンマ補正などの画像処理を行う画像処理手段である。１０５はセンサ１０２から出力された画像信号に対し、撮影されている各被写体までの距離情報を算出する距離マップ算出手段である。
【００１４】
１０６は画像処理手段１０４から出力された画像と、射影変換手段１１０から出力されたマッピング画像を、合成領域決定手段１０９から出力される合成比率に応じて画像合成処理を行う画像合成手段である。１０７は画像処理手段１０４から出力された画像および、距離マップ算出手段１０５から出力された距離マップ情報および、画像合成手段１０６から出力された合成後画像に対して符号化処理などを行い、メモリ１０３に出力して記録処理を行う画像記録手段である。
【００１５】
１０８はユーザからの操作を受け取り、各処理手段およびメモリに対して制御信号を送り、かつ後述する合成領域決定手段１０９からの出力信号に応じて、ユーザに対してメッセージを通知するための動作を行うCPUである。１０９は、画像処理手段１０４から出力された画像および、距離マップ算出手段１０５から出力された距離マップ情報および、CPU１０８から出力された合成領域情報に応じて、画像合成を行う領域を決定する、合成領域決定手段である。
【００１６】
１１０は、合成領域決定手段１０９から出力された、合成領域情報と距離マップ情報および、メモリ１０３から出力された合成用画像およびその距離マップ情報を使用して、射影変換処理を行い、マッピング用の画像を作成する射影変換手段である。
【００１７】
距離マップ算出手段１０５では、センサ１０２から出力された画像信号から、撮影された画像信号の画角内の各被写体までの距離情報を算出して、距離マップ情報として出力を行う。距離情報の算出は、例えば、センサ１０２が位相差検出可能なセンサであった場合は、その位相差情報から算出する。または、距離情報を算出するための図示していない別のセンサを使用して距離情報の算出を行っても良い。また、領域によって距離マップが算出出来ない領域が含まれている場合は、距離マップが算出できていないことが判別できる制御信号がその領域の情報として保持されている。
【００１８】
次に、第２図、第３図を用いて、合成領域決定手段１０９における処理の内容について説明する。第３図は、合成領域決定手段１０９の処理内容のフローチャートである。
【００１９】
ステップS１０１：CPU１０８からの合成領域情報を取得する。現在センサ１０２で撮影されている画像の例を第２図(a)に示す。CPU１０８では、図示していないユーザ入力装置によって、第２図(b)の網掛け部に示すように、ユーザが合成処理を行いたい領域の座標および矩形情報を受け取り、ステップS１０２へ進む。
【００２０】
ステップS１０２：ステップS１０１で取得した領域内の距離マップ情報を、距離マップ算出手段１０５から出力された距離マップ情報を参照することによって取得し、その取得した情報から、距離マップが算出出来ている事が確認出来た場合は、ステップS１０５へ進む。ステップS１０１で取得した領域内で距離マップ情報が算出できていない場合は、ステップS１０３へ進む。
【００２１】
ステップS１０３：ステップS１０２で、ユーザが指定した領域に距離マップ情報が含まれていないと判断されたため、合成処理を行う事が出来ない。したがって、CPU１０８に対して、距離マップが取得できないため、合成処理ができない事を合成可否情報として送信し、ステップS１０４へ進む。
【００２２】
ステップS１０４：CPU１０８がユーザに対して、距離マップが取得できないため、合成処理が出来ない旨を通知する。通知する手段は、図示していない表示装置にエラーメッセージとして表示しても、音声などで通知しても良い。ユーザへの通知が完了した後、処理は終了となる。
【００２３】
ステップS１０５：ステップS１０２で、ユーザが指定された領域内に距離マップ情報があることが分かったので、その領域内の距離マップ情報の解析を行う。解析とは、領域内の距離マップ情報の変動を解析し、変動が少ない、または特定の方向に一様に変化しているかどうかを判断し、S１０６へ進む。
【００２４】
ステップS１０６：ステップS１０５で変動が少ない、または特定の方向に変化していると判断された場合は、ユーザが指定した合成用領域は平坦部であると判断することができ、合成に適した領域であるため、S１０９に進んで合成処理を進める。ステップS１０５で変動も多くかつ、変化の方向も様々になっている場合は、合成用領域が平坦部では無いと判断し、S１０７へ進む。
【００２５】
ステップS１０７：ステップS１０６で、ユーザが指定した領域が合成処理に適さないと判断されたため、CPU１０８に対して、合成領域が平坦でないので合成処理が出来ない事を合成可否情報として送信し、ステップS１０８へ進む。
【００２６】
ステップS１０８：CPU１０８がユーザに対して、指定された領域が平坦部ではないため、合成処理が出来ない旨を通知する。通知する手段は、図示していない表示装置にエラーメッセージとして表示しても、音声などで通知しても良い。ユーザへの通知が完了した後、処理は終了となる。
【００２７】
ステップS１０９：合成処理を行うための合成比率の情報を作成し、画像合成手段１０６に対して出力する。合成比率は、撮影された画像信号の全ての座標に対して設定され、合成用領域以外は0が設定される。合成用領域には、予め決められた合成比率を設定し、画面全体の合成比率情報を画像合成手段１０６に対して出力する。なお、合成用領域の合成比率は、ユーザから設定した比率を使用するなどしても良い。
【００２８】
ステップS１１０：合成用画像を合成領域に合わせて射影変換するために必要な情報として、合成領域の座標情報と距離マップ情報を、射影変換手段１１０に出力する。その後処理は完了となる。
【００２９】
次に、射影変換手段１１０の動作について説明する。まず、合成領域決定手段109から出力される合成領域情報および、距離マップ情報から射影変換で使用するための変換用の領域を決定する。これは、CPU108によってユーザから指定された領域をそのまま射影変換で使用する領域の座標として使用した場合、奥行き情報と元々の画像の形状との関係から、変換後の画像が歪んでしまう可能性がある。そのため、第４図（a）に示したユーザ用の合成用領域を、第４図（b）に示すように射影変換用の領域として補正する。
【００３０】
この補正処理は、合成領域決定手段109から出力される距離マップ情報を使用して、距離が一番近い点を基準点（第4図（b）では点A）として、投影変換を行った場合に、CPU108から読み出した画像のアスペクトが崩れないようにかつ、CPU108によってユーザが指定した領域を全て包含する形状になるように、領域の大きさの調整を行い、射影変換用の領域を決定する。
【００３１】
なお、第4図（b）で示した基準点Aを射影変換用の領域の基準点とした場合に、CPU108によってユーザが指定した領域を全て包含することが出来ない場合は、第4図（c）に示すように、基準点Aの位置をA’の位置に調整し、ユーザが指定した領域を全て包含できるように調整を行う。射影変換用の領域を、ユーザが指定した領域よりも広くとることにより、射影変換は歪むことなく実行することができ、さらに合成後のトリミングも、合成比率自体が合成領域決定手段１０９内でユーザが指定した領域にのみ割り当てられているため、自動的に行う事が出来る。
【００３２】
射影変換の式は、変換前の座標を（x,y）、変換後の座標を（u,v）とすると、以下のように定義する事が出来る。
2019133210.tif 000003
【００３３】
メモリ１０３から読み出した画像の４点の頂点の座標と、射影変換用の領域の４点の頂点の座標を使用することによって、上記変換式の変数である（a,b,c,d,e,f,g,h）を求める事ができ、これが射影変換行列の係数となる。この射影変換行列の係数を使用して射影変換処理を行う事により、第２図（c）に示した合成処理を行う画像を、第２図（d）で示した合成用画像に変換する事が出来る。
【００３４】
次に、画像合成手段１０６の動作について説明する。画像合成手段１０６では、画像処理手段１０４から出力される撮影中の画像である基準画像と、射影変換手段１１０から出力される合成用のマッピング画像と、合成領域決定手段１０９から出力される合成比率を使用して、２つの画像を合成した画像信号を出力する。射影変換手段１１０から出力される合成用のマッピング画像は、画像処理手段１０４から出力される基準画像と画角は揃っており、合成領域決定手段１０９から出力される合成比率も基準画像と画角が揃っているため、画素単位で線形合成処理を行い、合成後画像として出力を行う。この合成処理を行う事により、第２図（e）で示した合成後画像を取得する事が出来る。
【００３５】
以上、これまで説明した制御により、距離マップ情報を使用することによって、合成する領域の形状を判定し、さらにその領域の情報に応じて、合成用画像を射影変換して合成処理を行う事により、撮影中の画像に対して、過去に撮影した画像を自然に合成した画像を取得することが出来る。
【００３６】
［実施例２］
本発明の第２の実施例の適用図を第５図に示す。本発明の第２の実施例では、第１の実施例と共通の部分に関しては説明を割愛し、第２の実施例の特徴である、質感検出手段２０１および、質感調整手段２０２、合成領域決定手段２０９についてのみ説明を行う。
【００３７】
質感検出手段２０１では、画像処理手段１０４の出力信号である撮影中の画像信号と、CPU１０８の出力である合成領域情報から、合成領域の質感を検出し、合成比率を合成領域決定手段２０９に、質感調整情報を質感調整手段２０２に対して出力する。質感とは例えば光沢感である。CPU１０８で指定された領域内の輝度の分布を算出し、その変化度合が大きい場合は、鏡面反射成分が多いと推定されるため、光沢感が高いと判定される。逆に変化度合が小さい場合は、鏡面反射成分が少ないと推定されるため、光沢感が低いと判定される。
【００３８】
光沢感が高いと判定された場合は、高い合成比率を合成領域決定手段２０９に出力し、さらに色を薄くするような質感調整情報を質感調整手段２０２に対して出力する。光沢感が低いと判定された場合は、低い合成比率を合成領域決定手段２０９に出力し、さらに色の調整は行わないような質感調整情報を質感調整手段２０２に対して出力する。
【００３９】
光沢感が高い場合に、合成比率を高めることで、合成用画像が使われる割合が高くなり、合成用画像がより鮮明に合成されるようになる。また同様に光沢感が高い場合に、合成用画像の色を薄くするような制御を行う事により、調整しない場合と比較して、より反射しているような見栄えに調整することが出来る。
【００４０】
質感調整手段２０２では、質感検出手段２０１の出力信号である質感調整情報に応じて、メモリ１０３から出力された合成用画像の質感を調整し、質感調整した後の画像を射影変換手段１１０に出力し、合成用画像として使用する。質感調整手段２０２では、質感調整情報によって色を薄くするように設定された割合に応じて、色を薄くし、質感調整画像として出力する。
【００４１】
合成領域決定手段２０９では、合成領域に対して設定する合成比率を質感検出手段２０１から出力された合成比率を使用して出力を行う。それ以外の合成領域の判定処理等は実施例１に記載した合成領域決定手段１０９と動作は同じであるため、説明は割愛する。
【００４２】
以上これまで説明した制御により、撮影された画像の合成領域の質感を検出した上で、合成用画像の画質を調整し、合成比率を調整して合成処理を行う事により、合成後の画像が撮影された画像に対してより馴染んだ状態で合成処理を行う事が出来る。
【００４３】
［実施例３］
本発明の第３の実施例の適用図を第６図に示す。本発明の第３の実施例では、第１の実施例と共通の部分に関しては説明を割愛し、第３の実施例の特徴である、光源位置推定手段３０１、リライティング手段３０２についてのみ説明を行う。
【００４４】
光源位置推定手段３０１では、メモリ１０３から出力された合成用画像から、光源位置の推定を行い、推定した光源位置情報をリライティング手段３０２に対して出力する。光源位置の推定方法は、入力画像の画面内の輝度分布を参照し、最も明るい部分がある方向を光源位置として推定し、その座標を光源位置情報として出力する。明るい領域が複数測定された場合は、光源位置推定が出来ないと判断し、エラー情報をリライティング手段３０２に対して出力する。
【００４５】
リライティング手段３０２では、メモリ１０３から出力された合成用画像と、メモリ１０３から出力された合成用画像の距離マップ情報と、光源位置推定手段３０１から出力された光源位置情報から、合成用画像に対してリライティング処理を行った画像を射影変換手段１１０に対して出力する。リライティング手段３０２では、合成用画像のライティングの方向として、正面からライティングを行ったようになるように、距離マップ情報と光源位置情報から陰影となる部分を推測し、輝度レベルの調整を行った画像を出力する。
【００４６】
なお、本実施例では正面からのライティングに変更するようにしているが、ユーザからの指示に従ってライティングの方向を調整したり、撮影画像の光源位置の推定を行った上で、合成後に同じ方向からライティングされたように光源位置を調整して、リライティング処理を行っても良い。
【００４７】
以上これまで説明した制御により、合成用画像のライティングの方向が、撮影画像の方向と不一致することによる違和感が低減できるため、合成後の画像が撮影画像に対してより馴染んだ状態で合成処理を行う事が出来る。
【符号の説明】
【００４８】
１０１：光学系
１０２：センサ
１０３：メモリ
１０４：画像処理手段
１０５：距離マップ算出手段
１０６：画像合成手段
１０７：画像記録手段
１０８：CPU
１０９：合成領域決定手段
１１０：射影変換手段
【図１】
2019133210.tif 000004
【図２】
2019133210.tif 000005
【図３】
2019133210.tif 000006
【図４】
2019133210.tif 000007
【図５】
2019133210.tif 000008
【図６】
2019133210.tif 000009