(57)【要約】      （修正有）【課題】合成用領域の抽出や合成用画像の選択を自動的に行い、ユーザが事前に情報の作成等の操作を行う事なく合成処理を実現する。【解決手段】センサ１０２と、センサから取得される第１の画像の各領域における距離情報を算出する距離マップ算出手段１０５と、合成領域決定手段１０８と、記憶手段１０７と、記憶手段から画像合成で使用する第２の画像信号を決定する画像選択手段１０９と、画像選択手段で選択された画像に対して、画像合成に適した調整処理を行う画質調整手段１１０と、合成領域決定手段の情報によって、第１の画像信号と、画質調整手段から出力される画像信号とを合成する画像合成手段１０６を有する。合成領域決定手段は、第１の画像信号および距離情報から、画像内の特徴量を評価することによって合成用の領域を決定し、画像選択手段は、合成領域決定手段で抽出された特徴量と類似する特徴量を持つ画像を第２の画像信号として選択する。【選択図】図１
2019134207.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を形成する結像光学系と、
前記結像光学系を通る光束を受講する光電変換部を備えた画素部から構成される撮像素子と、
前記撮像素子から取得される画像の各領域における被写体距離を算出する被写体距離算出手段と、
前記撮像素子から取得される第１の画像信号および、前記被写体距離算出手段から取得される距離情報を使用して、画像合成を行う合成領域を決定する合成領域決定手段と、
前記撮像素子から取得される第１の画像信号および、前記被写体距離算出手段から取得される距離情報を記録する記憶手段と、
前記記憶手段から画像合成で使用する第２の画像信号を決定する画像選択手段と、
前記画像選択手段で選択された画像に対して、画像合成に適した調整処理を行う画質調整手段と、
前記合成領域決定手段の情報によって、前記撮像素子から取得される第１の画像信号と、画質調整手段から出力される画像信号との合成処理を行って出力する撮像装置に置いて、
前記合成領域決定手段は、第１の画像の画像信号および距離情報から、画像内の特徴量を評価することによって、合成用の領域を決定し、
前記画像選択手段は、前記合成領域決定手段で抽出された特徴量と類似する特徴量を持つ画像を第２の画像信号として選択すること
を特徴する撮像装置。
【請求項２】
前記画像選択手段は、前記記憶手段に記録された複数の画像の中から、１つの第２の画像を選択した上で、前記合成領域決定手段で抽出された特徴量と類似する領域をもつ画像を第2の画像として選択し、前記記憶手段の中に類似する特徴量を持つ領域が無い場合は、合成処理が出来ない事を通知することを特徴とする
請求項１に記載の撮像装置。
【請求項３】
前記合成領域決定手段は、特徴量を、合成領域内の画像信号の変動および、距離情報の変動、合成領域の面積から算出することを特徴とする
請求項１に記載の撮像装置。
【請求項４】
前記合成領域決定手段は、合成領域内の画像信号の変動および距離情報の変動が少なく、合成領域の面積が大きい領域を優先的に選択することを特徴とする
請求項１に記載の撮像装置。
【請求項５】
前記合成領域決定手段は、前記被写体距離算出手段から出力される距離情報が一定の距離以上になっている場合は、その領域を合成領域として使用しない事を特徴とする
請求項１に記載の撮像装置。
【請求項６】
前記合成領域決定手段は、特徴量を算出した複数の領域に対して、評価値の高い複数の領域をユーザに対して提示し、ユーザがその領域を選択することを特徴とする
請求項１に記載の撮像装置。
【請求項７】
前記画像選択手段は、特徴量を比較した複数の領域に対して、評価値の高い複数の領域をユーザに対して提示し、ユーザがその領域を選択することを特徴とする
請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、過去に撮影した画像を現在撮影中の画像に対して合成処理を行うものに関するものである。
【背景技術】
【０００２】
現在撮影中の画像に対して、過去に撮影した画像を合成して表示することにより、あたかもその撮影中の画像の中に、過去に撮影した画像が埋め込まれているように見せる技術がある。
【０００３】
例えば、特許文献１では、衣服の画像を試着対象者の体型情報に応じて変形をしてから合成処理を行っている。
【０００４】
また、特許文献２では、ARマーカーを使用して、その情報から撮影されている角度を認識し、3D情報として保持している家具データを変形させてから合成処理を行っている。
このように、撮影中の画像の情報に応じて、合成用の画像を変形してから合成処理を行う事により、馴染んだ画像合成を実現する事が出来る。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平9-44556号公報
【特許文献２】特開2010-287174号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の方法では、合成処理を行うためには、合成するための試着対象者を決定し、その体型情報を事前に作成して保持しておく必要がある。
【０００７】
また、特許文献２の方法でも、合成処理を行う領域を予め決定し、その領域に対してARマーカーの情報を事前に作成して用意しておく必要があり、合成処理を行うためには、ユーザが事前に合成用の画像や領域に対しての指定を行わなければならないという問題がある。
【０００８】
本発明は上記問題点を鑑みてなされたものであり、合成用の画像の選択および領域決定を自動的に行う事により、ユーザが容易に合成処理を実現することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、
被写体像を形成する結像光学系と、
前記結像光学系を通る光束を受講する光電変換部を備えた画素部から構成される撮像素子と、
前記撮像素子から取得される画像の各領域における被写体距離を算出する被写体距離算出手段と、
前記撮像素子から取得される第１の画像信号および、前記被写体距離算出手段から取得される距離情報を使用して、画像合成を行う合成領域を決定する合成領域決定手段と、
前記撮像素子から取得される第１の画像信号および、前記被写体距離算出手段から取得される距離情報を記録する記憶手段と、
前記記憶手段から画像合成で使用する第２の画像信号を決定する画像選択手段と、
前記画像選択手段で選択された画像に対して、画像合成に適した調整処理を行う画質調整手段と、
前記合成領域決定手段の情報によって、前記撮像素子から取得される第１の画像信号と、画質調整手段から出力される画像信号との合成処理を行って出力する撮像装置に置いて、
前記合成領域決定手段は、第１の画像の画像信号および距離情報から、画像内の特徴量を評価することによって、合成用の領域を決定し、
前記画像選択手段は、前記合成領域決定手段で抽出された特徴量と類似する特徴量を持つ画像を第２の画像信号として選択すること
を特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮影中の画像に対して、他の画像を合成する際に、ユーザが領域指定などの細かい操作を行う事なく、容易な画像合成処理を行う事が出来る。
【図面の簡単な説明】
【００１１】
【図１】第１の実施例の適用図
【図２】合成領域決定手段のフローチャート
【図３】距離マップ変動値算出のイメージ図
【図４】距離マップ変動値算出のイメージ図
【図５】テンプレート変形のイメージ図
【図６】合成比率算出のイメージ図
【図７】画像選択手段のフローチャート
【図８】画像合成処理のイメージ図
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１３】
［実施例１］
本発明の第１の実施例の適用図を第１図に示す。１０１はフォーカスレンズを含み、さらにはズームレンズ、絞りなどで構成される光学系、１０２は被写体像を光電変換により電気信号に変換して、画像信号として出力するセンサである。１０３は撮影された画像および、撮影時の距離マップ情報を記録するためのメモリである。１０４はセンサ１０２から出力された画像信号に対し、色変換、ホワイトバランス、ガンマ補正などの画像処理を行う画像処理手段である。
【００１４】
１０５はセンサ１０２から出力された画像信号に対し、撮影されている被写体までの距離情報を算出する距離マップ算出手段である。１０６は画像処理手段１０４から出力された画像と、画質調整手段１１０から出力されたマッピング画像を、合成領域決定手段１０８から出力される合成比率に応じて画像合成処理を行う画像合成手段である。
【００１５】
１０７は画像処理手段１０４から出力された画像および、距離マップ算出手段１０５から出力された距離マップ情報および、画像合成手段１０６から出力された合成後画像に対して符号化処理などを行い、メモリ１０３に出力して記録処理を行う画像記録手段である。１０８は、画像処理手段１０４から出力された画像および、距離マップ算出手段１０５から出力された距離マップ情報から、画像合成を行う領域を決定する、合成領域決定手段である。１０９は、合成領域決定手段１０８から出力された合成領域情報と距離マップ情報に応じて、メモリ１０３から読み出した画像の中から、合成処理を行う画像を決定する画像選択手段である。
【００１６】
１１０は、合成領域決定手段１０８から出力された合成領域情報と距離マップ情報に応じて、画像選択手段１０９から出力された選択画像に対して合成に適した状態に調整する画質調整手段である。
【００１７】
距離マップ算出手段１０５では、センサ１０２から出力された画像信号から、撮影された画像信号の画角内の各被写体までの距離情報を算出して、距離マップ情報として出力を行う。距離情報の算出は、例えば、センサ１０２が位相差検出可能なセンサであった場合は、その位相差情報から算出する。または、距離情報を算出するための図示していない別のセンサを使用して距離情報の算出を行っても良い。また、領域によって距離マップが算出出来ない領域が含まれている場合は、距離マップが算出できていないことが判別できる制御信号がその領域の情報として保持されている。
【００１８】
次に、第２図から第６図を用いて、合成領域決定手段１０８における処理の内容について説明する。合成領域決定手段１０８では、画像処理手段１０４から出力された画像の中から、合成に適した領域の抽出を行い、画像合成するための合成比率を設定する。
【００１９】
第２図は、合成領域決定手段１０８の処理内容のフローチャートである。
【００２０】
ステップS１０１：画面内で合成領域を決定する際に、画面内をサーチするためのテンプレートを選択し、ステップS１０２へ進む。このテンプレートは長方形などの矩形であり、複数の大きさのものが含まれている。また、テンプレートの大きさに応じて算出する評価値も変わるため、テンプレート毎にテンプレート係数を保持している。
【００２１】
ステップS１０２：ステップS１０１で選択したテンプレートを画面全体に動かして、各テンプレート位置で領域評価値を算出するため、まだ領域評価値を算出していない位置にテンプレートを動かし、ステップS１０３へ進む。
【００２２】
ステップS１０３：距離マップ算出手段１０５から出力された距離マップ情報から、ステップS１０２で設定されたテンプレート位置における距離マップ情報を取得し、ステップS１０４へ進む。
【００２３】
ステップS１０４：ステップS１０３で取得したテンプレート位置の距離マップ情報が、距離マップが算出できていない事を判別する制御信号が含まれているかを確認する。もし含まれている場合は、その領域には距離マップ情報が無いと言う事になるので、これ以降の領域評価値の算出処理は行わず、ステップS１０７へ進む。距離マップ情報が含まれている場合は、領域評価値の算出処理を継続するため、ステップS１０５へ進む。
【００２４】
ステップS１０５：ステップS１０３で取得したテンプレート位置の距離マップ情報が、無限遠であるかどうかを確認する。無限遠である場合は、空等の合成領域として除外したい領域であるということになるので、これ以降の領域評価値の算出処理は行わず、ステップS１０７へ進む。無限遠ではない場合は、領域評価値の算出処理を継続するため、ステップS１０６へ進む。
【００２５】
ステップS１０６：ステップS１０２で決定したテンプレート位置における領域評価値の算出処理を行い、ステップS１０８へ進む。領域評価値の算出処理の詳細については、後述する。
【００２６】
ステップS１０７：ステップS１０２で決定したテンプレート位置では合成処理ができないため、領域評価値の取りうる最大値を、この領域の評価値として設定し、ステップS１０８へ進む。最大値を設定することにより、このテンプレート位置が合成対象の領域として選択されることは無くなる。
【００２７】
ステップS１０８：ステップS１０２で決定したテンプレート位置での領域評価値の算出が完了したため、画面全体での領域評価値の算出が完了したかを判断し、完了しているのであればステップS１０９へ進む。完了していない場合は、テンプレート位置を移動させて領域評価値取得の処理を繰り返すため、ステップS１０２へ進む。
【００２８】
ステップS１０９：ステップS１０１で選択したテンプレートでの領域評価値取得が完了したため、他のテンプレートでの領域評価値取得が残っているかの判断を行う。残っている場合は、別のテンプレートを選択して、領域評価値取得の処理を繰り返すため、ステップS１０１へ進む。残っていない場合は、領域評価値取得の処理が全て完了したことになるので、ステップS１１０へ進む。
【００２９】
ステップS１１０：これまでに算出した全テンプレートの全領域に対して、領域評価値が最小となる領域を合成処理を行う領域として選択し、ステップS１１１へ進む。なお、ここでは最小となる領域を１つに決定しているが、領域評価値が小さい複数の領域をユーザに対して通知し、そのうちの１つをユーザから選択させるような処理を行っても良い。
【００３０】
ステップS１１１：ステップS１１０で決定した合成領域の情報を元に、合成用の領域への変形処理および、画像合成手段１０６で使用する合成比率情報の作成を行い、処理は終了となる。
【００３１】
次に、ステップS１０６で行っている領域評価値の算出処理について説明する。ここでは、テンプレート位置の領域内で、「画素値の分散値」と「距離マップ変動評価値」の２つの評価値を算出し、使用しているテンプレートの「テンプレート係数」を使用することによって、領域評価値を算出する。
【００３２】
画素値の分散値は、領域内の画素値の平均値との差分絶対値和から算出する。距離マップ変動評価値は、領域内の距離マップ情報から以下の処理を行ったものを算出する。領域評価値で抽出したい領域は、距離マップの変動が少ない、または一定の変化を行っている領域である。そのため、垂直方向に領域内の距離マップを加算平均したデータの分散値と、水平方向に領域内の距離マップを加算平均したデータの分散値の積を距離マップ変動評価値として算出する。
【００３３】
第３図、第４図は、テンプレート位置の領域内で距離マップの変動を示したもので、明るい所ほど距離が撮像装置に近く、暗くなるほど遠くなることを意味している。つまり、第３図（a）は距離マップが右から左へ遠くなっている事を意味し、第４図（a）は距離マップが下から上へと遠くなっている事を意味している。
【００３４】
このような領域でも低い評価値を得られるようにするために、第３図の場合は、垂直方向に加算平均すると第３図（b）のようになり、この分散値を求めることにより、分散値が大きく出るため、水平方向に距離マップが変動していることが分かる。さらに第３図（c）のように水平方向に加算平均すると、この分散値は小さい値になる事から、垂直方向の変動が小さいことが検出できる。
【００３５】
同様に、第４図の場合は、垂直方向に加算平均すると第４図（b）のようになり、この分散値を求めると分散値が小さくなることから、水平方向の変動が小さいことが検出でき、水平方向に加算平均すると第４図（c）のようになり、分散値が大きく出るため、垂直方向に距離マップが変動していることが分かる。
【００３６】
この水平に加算平均後の分散と、垂直に加算平均後の分散をそれぞれ算出し、乗算することによって、距離マップの変動が大きい場合でも、単調な変化をしているものは距離マップ変動評価値としては小さい値として算出する事が出来る。テンプレート係数は、テンプレート毎に予め設定されている係数で、テンプレートの面積が大きいほど、小さな値になるように設定されている。領域評価値はこれらの値を使用して、以下の式によって算出する。
【００３７】
領域評価値 = （画素値の分散値）*（距離マップ変動評価値）*（テンプレート係数）
【００３８】
検出を行いたい領域は、画素値の分散値が小さく、距離マップ変動評価値も小さく、面積が大きい領域であるため、領域評価値が小さい領域という事になる。
【００３９】
次に、ステップS１１１の処理の詳細について説明する。まずは、評価値算出を行っていたテンプレートを、合成領域として適した形状になるように、第５図に示したようなテンプレート形状の変形を行い、合成領域情報として使用する。
【００４０】
テンプレート形状の変形は、ステップS１１０で選択された領域を決定したときのテンプレートに対して、その領域の距離情報を使用して射影変換によって、例えば第５図（a）から第５図（b）に示すような形状の変更を行い、テンプレートの座標情報と合わせて、合成領域情報として出力する。この射影変換処理は、テンプレート内の距離情報および、その変化の方向を検出した上で、テンプレートの中で距離情報が一番近い点を基準点として投影変換を行った場合に、テンプレートのアスペクトが崩れないように、大きさの調整を行い、変形処理を行っている。合成比率の算出は、ここで変形されたテンプレート形状に従って行う。
【００４１】
変形されたテンプレートを使用して、合成比率の算出を行うまでを第６図を使用して説明する。第６図（a）は撮影中の画像を示し、第６図（b）は撮影中の画像の距離マップを示した図である。距離マップは明るい所ほど近くを意味している。第６図（c）の網掛け部分は、ステップS１１０で決定された領域に対して、テンプレート形状を変形させて当てはめた合成領域を示している。
【００４２】
第６図（d）は、合成比率を示した図であり、暗い部分は合成比率が0、明るい部分は予め決められた合成比率を示している。合成比率は、撮影された画像信号の全ての座標に対して設定され、合成用領域以外は0が設定される。合成用領域には、予め決められた合成比率を設定し、画面全体の合成比率情報を画像合成手段１０６に対して出力する。なお、合成用領域の合成比率は、ユーザから設定された比率を使用するなどしても良い。
【００４３】
次に画像選択手段１０９の動作について、第７図に示したフローチャートを使用して説明する。
【００４４】
ステップS２０１：メモリ１０３から、合成用の画像およびその距離マップ情報を取得し、ステップS２０２へ進む。この画像に対して、合成に適した領域が含まれているかを判定した上で、画像の選択を行う。
【００４５】
ステップS２０２：ステップS２０１で読み出した画像に対して、画面全体を走査して距離マップ差分情報を取得するために、合成領域決定手段１０８で決定したテンプレート形状を、距離マップ差分情報を取得していない位置に移動させ、ステップS２０３へ進む。
【００４６】
ステップS２０３：ステップS２０２で決定したテンプレート位置についての、距離マップ情報を取得し、ステップS２０４へ進む。
【００４７】
ステップS２０４：ステップS２０３で取得した距離マップ情報と、合成領域決定手段１０８から出力された距離マップ情報から、距離マップ差分情報を取得し、ステップS２０５へ進む。距離マップ差分情報は、テンプレート内の同じ位置で距離マップ情報の差分絶対値を取得し、そのテンプレート内の合計値を距離マップ差分情報として算出する。
【００４８】
ステップS２０５：ステップS２０２で決定したテンプレート位置での距離マップ差分情報の算出が完了したので、画面内を全て走査したかどうかの判断を行う。全てを走査していない場合は、テンプレート位置を変更してから距離マップ差分情報を取得する必要があるため、ステップS２０２へと進む。全てを走査した場合は、合成で使用する領域を決定するために、ステップS２０６へ進む。
【００４９】
ステップS２０６：画面内の距離マップ差分情報の中で、合成に適している領域は、距離マップ差分情報が最小となる領域であるため、距離マップ差分情報が最小となる領域を抽出し、その座標位置と距離マップ差分情報の最小値を保持して、ステップS２０７へ進む。
【００５０】
ステップS２０７：ステップS２０６で取得した距離マップ差分情報の最小値が、予め決められた閾値よりも小さいかどうかの判断を行う。閾値よりも大きい場合は、ステップS２０１で読み出した画像内に、合成処理に適した領域が無いと言う事になるので、再度メモリ１０３から画像を読み出して、合成に適した画像を探すために、判定信号としてメモリ１０３に対して別画像を読み出す信号を出力し、ステップS２０１へ進む。
【００５１】
閾値よりも小さい場合は、ステップS２０６で決定された領域が合成処理に適しているということになるので、ステップS２０８へ進む。なお、ステップS２０６、S２０７に置いて、距離マップ差分情報が小さい領域を複数保持しておき、閾値条件を満たしている領域が複数あった場合には、ユーザに対してその領域を提示し、選択させ、ユーザが領域を最終的に決定しても良い。
【００５２】
ステップS２０８：合成用画像および、合成用領域が決定したので、これらの情報を画質調整手段１１０へ出力し、処理は終了となる。
【００５３】
次に画質調整手段１１０の動作について第8図を使用して説明する。第８図（a）は、画像選択手段１０９によって合成に適しているとして選択された画像を示し、第８図（b）の白い領域は、その中の合成用領域を示している。画質調整手段では、第８図（b）の合成用領域に対して、第８図（c）に示すように合成用領域の画像情報の切り出しをまず行う。次に、合成領域決定手段１０８から出力された合成領域情報を使用して、合成領域の座標のずれを補正し、合成用のマッピング画像として画像合成手段１０６へ出力する。
【００５４】
この座標のずれを補正したものを第８図（d）に示している。画質調整手段１１０で、合成画像での合成位置の補正を行う事によって、画像合成手段１０６内で単純な線形合成での合成処理が可能となる。ただし、第８図（c）に示したような画像情報の切り出し処理は必須ではなく、合成用領域の座標の補正が正しく行われていれば、合成用領域外のデータはどのようになっていても良い。
【００５５】
次に、画像合成手段１０６の動作について説明する。画像合成手段１０６では、画像処理手段１０４から出力される撮影中の画像である基準画像と、画質調整手段１１０から出力される合成用のマッピング画像と、合成領域決定手段１０８から出力される合成比率を使用して、２つの画像を合成した画像信号を出力する。画質調整手段１１０から出力される合成用のマッピング画像は、画像処理手段１０４から出力される基準画像と画角は揃っており、合成領域決定手段１０８から出力される合成比率も基準画像と画角が揃っているため、画素単位で線形合成処理を行い、合成後画像として出力を行う。この合成処理を行う事により、第８図(e)で示した合成後画像を取得する事が出来る。
【００５６】
以上、これまで説明した制御により、距離マップ情報を使用し、合成を行う領域および合成用画像を自動的に決定することにより、ユーザは操作を行う事なく、撮影中の画像に対して、過去に撮影した画像を自然に合成した画像を取得する事が出来る。
【符号の説明】
【００５７】
１０１：光学系
１０２：センサ
１０３：メモリ
１０４：画像処理手段
１０５：距離マップ算出手段
１０６：画像合成手段
１０７：画像記録手段
１０８：合成領域決定手段
１０９：画像選択手段
１１０：画質調整手段
【図１】
2019134207.tif 000003
【図２】
2019134207.tif 000004
【図３】
2019134207.tif 000005
【図４】
2019134207.tif 000006
【図５】
2019134207.tif 000007
【図６】
2019134207.tif 000008
【図７】
2019134207.tif 000009
【図８】
2019134207.tif 000010