(57)【特許請求の範囲】
【請求項１】
複数の画像データの重複部分を検出する検出手段と、
前記検出された重複部分に含まれる互いに異なる被写体を検出する被写体検出手段と、
前記検出された被写体のうちいずれかまたは双方を選択する指示を受け付ける受付手段と、
前記選択された被写体を含むようにして前記複数の画像データを合成する合成手段と、
を備える画像合成装置。
【請求項２】
複数の画像データの重複部分を検出する検出手段と、
前記検出された重複部分に含まれる互いに異なる被写体を検出する被写体検出手段と、
前記検出された被写体が、前記検出された被写体が含まれる画像データの前記検出された重複部分とそれ以外の部分とで連続性を有しているか否かを判別する判別手段と、
前記連続性を有していると判別された被写体を含むようにして前記複数の画像データを合成する合成手段と、
を備える画像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パノラマ画像のような連続した横長の画像、あるいは縦長や斜め方向などの任意の方向に連続した画像を作成可能な画像合成装置に関するものである。
【背景技術】
【０００２】
従来、撮影装置を水平に回しながら全景を撮影する、いわゆるパノラマ撮影が知られている。このパノラマ撮影において、例えば、カメラを三脚等に据え付けて、水平状態を保った状態で撮影方向を変化させながら複数の画角の画像を撮影し、これらの画像を結合することによって、パノラマ画像を得ていた。
【０００３】
しかしながら、従来の撮影方法では、複数の画像が自然な繋ぎ目を持つような適切な撮影方向を、撮影者が判断するのは困難であった。
【０００４】
そこで、パノラマ撮影を行う際に、撮影者が適切な撮影方向を知り得る技術が考えられている。特許文献１において開示されている技術では、カメラ本体にある表示部に、カメラ本体が移動する前の被写体画像と現在の被写体画像のオーバーラップ部分を表示することによって、撮影者は、被写体画像間の連続性を確認しながら撮影することが可能である。
【０００５】
また、特許文献２において開示されている技術では、撮影済み画像における左端もしくは右端の何れか一方の端部部分の画像データを記憶し、所定割合以上、前記端部部分に一致している領域を検出した場合には、それを表示部に示す。そして、その領域が現在の被写体画像の左端もしくは右端に一致した場合には自動的にシャッタを切ることにより、撮影者の技量によらずに適切な撮影が可能である。
【特許文献１】特開平９−２６６５６１号公報
【特許文献２】特開２００５−７２９５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このように特許文献１、２に開示されている技術によれば、撮影者が表示部で被写体画像間の連続性を確認しながら、もしくは自動的に撮影することが可能である。
【０００７】
しかしながら、実際に被写体画像同士を結合し、１枚のパノラマ画像の作成をする手段に関して、例えば、特許文献１においては、オーバーラップ部を重ねて結合するという方法を用いており、特許文献２においては、結合方法について特に言及していない。また、オーバーラップ部に関しては、ほとんど同じ被写体画像であるということが前提であった。
【０００８】
そこで、本発明は、仮に被合成画像間のオーバーラップ部に相違があった場合においても、撮影者の意図通りの結合画像を生成できる画像合成装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の画像合成装置は、複数の画像データを取得する取得手段と、取得された複数の画像データに互いに重複する部分がある場合、その重複する部分について優先する画像データを指定する指定手段と、互いに重複する部分を有する複数の画像データを、重複する部分が指定された画像データを用いて構成されるようにして、合成する合成手段と、を備える。
【発明の効果】
【００１０】
以上の構成により、本発明によれば、仮に被合成画像間のオーバーラップ部に相違があった場合においても、撮影者の意図通りの結合画像を生成できる。
【発明を実施するための最良の形態】
【００１１】
（実施形態１）
以下、本発明の一例を、図を用いて詳述する。なお、ここでは、本発明を画像処理装置であるデジタルスチルカメラに適用し、パノラマ撮影を行う際に、直前に撮影された被写体画像と移動後の被写体画像を結合する場合について説明するが、本発明の適用がこれに限定されるものではない。
【００１２】
図１は、本実施の形態におけるデジタルスチルカメラの回路構成を示すブロック図である。同図によれば、レンズ１によって集められた光は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）駆動回路３により駆動されるＣＣＤ２に入り、電気的信号である画像データに変換される。ＣＣＤ２は、撮像タイミングをずらすことにより、複数の画像データを取得可能である。ＣＣＤ２で生成された画像データは、Ａ／Ｄ変換回路４によって、デジタル信号へと変換される。そして、その信号は、レンズが取り込んだ画像データとして、ＳＤＲＡＭ５に格納される。また、ＳＤＲＡＭ５からの画像データは、画像処理回路６とＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）７によって表示画像に変換され、ＬＣＤ８に出力される。撮影を行う際には、ユーザがシャッタ釦９を押下すると、ＣＰＵ７がそれを判断し、ＣＣＤ駆動回路３に撮影動作を指示する。撮影駆動でＣＣＤ２が取り込んだ画像はＳＤＲＡＭ５に保存される。
【００１３】
なお、ここでは光センサとしてＣＣＤを用いた場合について説明するが、より低消費電力であるＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やその他の撮像素子でもよい。
【００１４】
また、記憶素子としてＳＤＲＡＭを用いた場合について説明するが、より高速に動作するＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）や、ＳＤＲＡＭの倍の転送速度が実現できるＤＤＲ  ＳＤＲＡＭ（Ｄｏｕｂｌｅ  Ｄａｔａ  Ｒａｔｅ  ＳＤＲＡＭ）、またその他の記憶素子でもよい。
【００１５】
また、ディスプレイとしてＬＣＤを用いた場合について説明するが、より低消費電力である有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイやより高輝度なＣＲＴ（Ｃａｔｈｏｄｅ  ｒａｙ  Ｔｕｂｅ）ディスプレイ、またその他のディスプレイを用いてもよい。
【００１６】
また、記憶装置としてメモリカードを用いた場合について説明するが、フロッピー（登録商標）ディスクやＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｋ）、ハードディスクなどの磁気記録媒体、またその他の記憶装置を用いてもよい。
【００１７】
次に、パノラマ画像を作成する手順について説明するが、もちろん縦方向や斜め方向（例えば、図２のように）に画像を結合する場合においても同様である。また、本実施形態では、画像を結合する際に、オーバーラップ部の重ね順を選択できることが特徴である。
【００１８】
撮影する画像を、図３のように列車を被写体とした場合について、連続画像を得る際の使用例を以下に示す。連続画像の作成手順は、図５のフローチャートに示される。
【００１９】
まず、図３ａを撮影する。撮影は、レンズ１が集めた光を、ＣＣＤ駆動回路３によって駆動されたＣＣＤ２によって取り込み、その取り込まれた光の強さをＡ／Ｄ変換回路４によってデジタル画像データに変換し、その画像データをＳＤＲＡＭ５に記録することによって、行う。画像データは、必要に応じてメモリカード１０に記録してもよい。このようにして過去に撮影された画像（以後、過去撮影画像と呼ぶ）の中から、これから撮る画像と結合させる画像を選択する（Ｓ１１）。選択方法については、ユーザが任意の画像を選択してもよいし、また、予めパノラマ撮影を行うことを、ユーザがカメラに通知しておくことによって、その後撮影した画像を結合させる画像とするようにしてもよい。次に、カメラ本体を移動して図３ｂを撮影する（Ｓ１６）。その際、ＣＰＵ７に、シャッタ釦が押されたと判定される（Ｓ１２）までの間、ＬＣＤ８には、図３ａにて撮影したＳＤＲＡＭ５に記憶されている画像と、現在取り込んでいる（Ｓ１３）ファインダ画像との間に、オーバーラップ部が存在していると画像信号処理回路６が判断した（Ｓ１４）場合は、そのオーバーラップ部を表示する（Ｓ１５）。
【００２０】
次に、オーバーラップ部の検出（Ｓ１４）について、以下に説明する。図１２ａに示すようにオーバーラップ部が横方向のみの場合、オーバーラップ部の面積を横方向に変化させ、その変化点ごとにオーバーラップ部から、オーバーラップ部同士がどれくらい一致しているかを示す一致度を抽出する。なお、一致度としては、オーバーラップ部間の差分平均値や、相関係数、またそれ以外の画像間の相関性を示す指標でもよい。その抽出された一致度によって、最も一致していると判定されたオーバーラップ部を、検出対象とする。なお、オーバーラップ部が縦方向のみであれば、図１２ｂに示すように、オーバーラップ部分の面積を縦方向に変化させればよく、また、図１２ｃのように斜め方向を許容する場合、つまり、方向を制限しない場合は、オーバーラップ部の面積を、縦方向と横方向の両方に変化させればよい。また、検出の高速化のために、面積の変化量を大きくして、一旦検出した後に、その周辺に対して細かく面積を変化させて調べる方法を繰り返して、最終的な検出を行うようにしてもよい。また、オーバーラップ部をさらに細分割して、それぞれの一致度を抽出することで、分割されたあるオーバーラップ部の一致度は低くても、その他の一致度が高い場合は、そのオーバーラップ部を採用するようにしてもよい。
【００２１】
なお、これらの検出方法は一例であり、その他のオーバーラップ部検出手法を用いてもよいし、また、オーバーラップ部は自動検出せずに、予め任意の範囲がオーバーラップするとして、ユーザがオーバーラップ部を指定するようにしてもよい。
【００２２】
次に、撮影者は、ＬＣＤ８に示されたオーバーラップ部を見て、結合部分を確認しながら撮影（Ｓ１６）を行うことができる。このようにして図３ｂが撮影され（以後、撮影された画像を現在撮影画像と呼ぶ）、オーバーラップ部が図３ｂ中にあると判断した（Ｓ１７）場合には、図３ａ、図３ｂの結合が行われる。画像を結合する際に、結合画像に反映されるオーバーラップ部が図３ａ、図３ｂのどちらのものにするかの選択（Ｓ１８）を行う。ここで図３ａを選択した場合は図４ａのような結合を行い（Ｓ２０）、図３ｂを選択した場合は図４ｂのような結合を行う（Ｓ１９）。結合は、画像信号処理回路６によって行われ、結合画像はＳＤＲＡＭ５に保存される。
【００２３】
なお、ＳＤＲＡＭ５に保存されている結合画像や過去画像、現在画像を必要に応じてメモリカード１０に記録してもよい。
【００２４】
このようにして、パノラマ画像が完成する。必要であれば、結合した画像を過去撮影画像として、さらに図３ｃを撮影・結合できることは言うまでもない。
【００２５】
なお、オーバーラップ部の重ね順をユーザがその都度、選択するのが煩わしい場合には、予めどちらを反映するのかを決定しておいてもよい。その時、図６に示すように、図６ａ、図６ｂを結合して図６ｄのような画像ができあがらないように、画像結合後の継ぎ目の連続性が、より保たれている方を自動的に選択（例えば、継ぎ目に対して垂直方向に微分を行い、傾きの大きさを判定基準とする）し、図６ｃが選ばれるようにしてもよい。
【００２６】
ＣＣＤ２は本発明の取得手段の一例である。ＬＣＤ８は本発明の表示手段の一例である。また、メモリカード１０は本発明における二次記憶媒体の一例である。
【００２７】
（実施形態２）
次に、第２実施形態について説明する。ここでも、パノラマ画像を作成する手順について説明するが、もちろん縦方向や斜め方向に画像を結合する場合においても同様である。また、本実施形態では、画像を結合する際に、オーバーラップ部の差分を抽出して、各部分単位で反映するのかしないのかを選択できるのが特徴である。
【００２８】
撮影する画像を、図７のようにアパートを被写体とした場合について、連続画像を得る際の使用例を示す。また、連続画像の作成手順は、図８のフローチャートに示される。
【００２９】
まず、図７ａを撮影しておく。撮影された画像データはＳＤＲＡＭ５に取り込まれる。画像データは、必要に応じてメモリカード１０に記録してもよい。そして、過去撮影画像の中から、これから撮る画像と結合させる画像を選択する（Ｓ１１）。
【００３０】
次に、カメラ本体を移動して図７ｂを撮影する（Ｓ１６）。その際、ＣＰＵ７に、シャッタ釦が押されたと判定される（Ｓ１２）までの間、ＬＣＤ８には、図７ａにて撮影したＳＤＲＡＭ５に記憶されている画像と、現在取り込んでいる（Ｓ１３）ファインダ画像との間に、オーバーラップ部が存在していると画像信号処理回路６が判断した（Ｓ１４）場合は、そのオーバーラップ部を表示する（Ｓ１５）。撮影者は、ＬＣＤ８に示されたオーバーラップ部を見て、結合部分を確認しながら撮影（Ｓ１６）を行うことができる。
【００３１】
このようにして図７ｂが撮影され、オーバーラップ部が図７ｂ中にあると判断した（Ｓ１７）場合には、そのオーバーラップ部から、図７ｃ、図７ｄのような両画像の異なる部分を抽出し、どの部分を結合画像に反映させるかを選択（Ｓ２１）する。
【００３２】
その処理を詳しく示したのが、図９である。まず、オーバーラップ部の両画像から異なる部分の連結成分を抜き出す（Ｓ２２）。その方法は様々考えられるが、例えば、それぞれのオーバーラップ部が図１０ａ、図１０ｂであった場合、両者の差分画像を生成し、その画像を２値化処理した後に、ラベリング処理を行うことにより、図１０ｃのように異なる部分の連結成分を抽出できる。もちろん、差分処理、２値化、ラベリング処理の順番を変更したり、その他の手法（例えば、特開２０００−５７３２３号公報に開示されている手法など）を用いたりしてもよい。
【００３３】
このようにして抽出した各部分を、結合画像に反映するのかしないのかを各部分ごとに選択（Ｓ２３）する。それぞれ現在画像中の連結成分を採用するか（Ｓ２４）、過去画像中の連結成分を採用するか（Ｓ２５）どうかを、ユーザが判断する。その判断結果は、ラベリング処理を元に結合リスト１１（例えば、図１１のようなもの）を作成し、ＳＤＲＡＭ５に保存される。全ての部分について選択を完了したら（Ｓ２６）、保存された結合リスト１１を踏まえた上で、結合が行われる（Ｓ２７）。
【００３４】
例えば、図７ａ、図７ｂを結合しようとした場合、上記処理によって、異なる部分として抽出された図７ｃ、図７ｄを、両方反映させると選択した場合は図７ｅのようになり、図７ｃ、図７ｄを両方反映させないと選択した場合は図７ｆのようになる。もちろん、図７ｃ、図７ｄの片方だけを反映させることもできることは言うまでもない。このようにして完成した結合画像は、ＳＤＲＡＭ５に保存される。なお、ＳＤＲＡＭ５に保存されている結合画像や過去撮影画像、現在撮影画像、結合リスト１１を必要に応じてメモリカード１０に記録してもよい。 
【００３５】
なお、異なる部分を反映させるのかどうかについて、ユーザがその都度、選択するのが煩わしい場合には、予め何らかの指標を用意した上で、自動的に決定しておいてもよい。例えば、異なる部分として抽出された部分と、その周囲との色成分にギャップがある場合のみ反映させるとか、その他の手法を用いてもよい。
【００３６】
また、異なる部分として抽出されなかった部分については、どちらのオーバーラップ部を用いて結合しても、ほとんど同じ画像ができあがるはずであるが、異なる部分との連続性を考慮し、異なる部分として選択された領域の数や面積などの指標によって、どちらのオーバーラップ部を用いるかを選択するようにしてもよい。例えば、採用する連結成分の数が、過去撮影画像から抽出されたものの方が多い場合には、現在撮影画像から抽出された連結成分以外は過去撮影画像を採用する、というようにしてもよい。
【産業上の利用可能性】
【００３７】
本発明の画像処理装置及び画像処理方法によれば、画像処理装置が移動前の被写体画像と、画像処理装置が移動後の被写体画像のオーバーラップしている部分を検出・表示するとともに、オーバーラップ部内に存在する両者の異なる部分を検出し、それを結合画像に反映させるか反映させないかを撮影者が選択することができる。それによって、撮影者が意図通りの結合画像を作ることができ、これまで撮影できなかったような画角での撮影ができるという点で有用である。
【図面の簡単な説明】
【００３８】
【図１】画像処理装置のブロック図
【図２】画像を斜めに結合した場合の概略図
【図３】列車を被写体とした連続画像撮影の概略図
【図４】列車を被写体とした連続画像結合後の概略図
【図５】第１実施形態のフローチャート
【図６】列車を被写体とした連続画像結合失敗時の概略図
【図７】アパートを被写体とした連続画像撮影・結合の概略図
【図８】第２実施形態のフローチャート
【図９】オーバーラップ部から異なる部分を検出・選択する処理のフローチャート
【図１０】オーバーラップ部から異なる部分を検出する処理の概略図
【図１１】結合リストの概略図
【図１２】オーバーラップ部検出時の探索範囲の概念図
【符号の説明】
【００３９】
１    レンズ
２    ＣＣＤ
３    ＣＣＤ制御回路
４    Ａ／Ｄ変換回路
５    ＳＤＲＡＭ
６    画像信号処理回路
７    ＣＰＵ
８    ＬＣＤ
９    シャッタ釦
１０    メモリカード
１１    結合リスト
【図１】
0004622797.tif 000002
【図２】
0004622797.tif 000003
【図３】
0004622797.tif 000004
【図４】
0004622797.tif 000005
【図５】
0004622797.tif 000006
【図６】
0004622797.tif 000007
【図７】
0004622797.tif 000008
【図８】
0004622797.tif 000009
【図９】
0004622797.tif 000010
【図１０】
0004622797.tif 000011
【図１１】
0004622797.tif 000012
【図１２】
0004622797.tif 000013