(57)【要約】【課題】関心のあるオブジェクトのある優先フレームに継ぎ目が生じない画像接合を実現すること。【解決手段】画像接合装置１は、撮像された複数の画像の中から、優先フレームを決定する優先フレーム決定部１３と、優先フレームまでは、後から上書き処理する画像が前面になるように上書きし、優先フレームより後では、先に上書き処理された画像が前面になるように上書きする画像上書き部１４と、を備える。【選択図】図１
2016163089.tif 000002
【特許請求の範囲】
【請求項１】
撮像された複数の画像の中から、優先フレームを決定する優先フレーム決定部と、
前記優先フレームまでは、後から上書き処理する画像が前面になるように上書きし、前記優先フレームより後では、先に上書き処理された画像が前面になるように上書きする画像上書き部と、
を備えることを特徴とする画像接合装置。
【請求項２】
前記優先フレーム決定部は、複数の優先フレームを決定し、
前記画像上書き部は、複数の優先フレームの２つを第１優先フレームと、第２優先フレームとし、前記第１優先フレームと前記第２優先フレームの間にある所定のフレームから、前記第２優先フレームの直前のフレームまで、後から上書き処理する画像が前面になるように上書きし、前記第２優先フレームより後では、先に上書き処理された画像が前面になるように上書きする
ことを特徴とする請求項１に記載の画像接合装置。
【請求項３】
前記優先フレーム決定部は、前記撮像された複数の画像における対象物に基づいて、優先フレームを決定することを特徴とする請求項１または請求項２に記載の画像接合装置。
【請求項４】
請求項１または請求項２に記載の画像接合装置と、
画像を撮像する動画撮像部と、
画像を表示する表示部と、を備え、
前記画像接合装置は、前記動画撮像部が撮像した複数の画像を接合し、
前記表示部は、前記動画撮像部が撮像した画像、または前記画像接合装置が接合した画像を表示することを特徴とする撮像装置。
【請求項５】
優先フレームを決定するタイミングを入力する入力部を備え、
前記優先フレーム決定部は、前記入力部において入力されたタイミングにおいて、前記動画撮像部が撮像しているフレームを優先フレームに決定することを特徴とする請求項４に記載の撮像装置。
【請求項６】
優先フレームを決定するタイミングを入力する入力部を備え、
前記表示部は、前記動画撮像部が撮像した画像を表示し、
前記優先フレーム決定部は、前記入力部において入力されたタイミングにおいて、前記表示部が表示しているフレームを優先フレームに決定することを特徴とする請求項４に記載の撮像装置。
【請求項７】
撮像された複数の画像の中から、優先フレームを決定する優先フレーム決定行程と、
前記優先フレームまでは、後から上書き処理する画像が前面になるように上書きし、前記優先フレームより後では、先に上書き処理された画像が前面になるように上書きする画像上書き行程と、
を備えることを特徴とする画像接合方法。
【請求項８】
撮像された複数の画像の中から、優先フレームを決定する優先フレーム決定ステップと、
前記優先フレームまでは、後から上書き処理する画像が前面になるように上書きし、前記優先フレームより後では、先に上書き処理された画像が前面になるように上書きする画像上書きステップと、
を備えることを特徴とする画像接合プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像接合装置、撮像装置、画像接合方法、及び画像接合プログラムに関し、例えば複数の静止画もしくは動画シーケンスを接合して静止画像を作成する画像接合装置、撮像装置、画像接合方法、及び画像接合プログラムに関する。
【背景技術】
【０００２】
近年、長大な被写体をカバーするように手動でカメラを動かして動画を撮影し、その動画を構成する複数のフレームを接合して静止画パノラマを作成する手法が実用化されている。例えば、このパノラマ作成手法は、デジタルカメラの付加機能などの形で一般化している。また、このパノラマ作成手法では特許文献１に記されているように、パンニング撮影における動きベクトルを導出して、それに基づいて画像をつなぎ合わせる幅を制御することを基本としている。
【０００３】
一方、それ以前にも複数の静止画像もしくは動画シーケンスを接続してより大きな画像を構成する技術は古くから存在し、この技術はパノラマのほかフォトモザイキングなどと呼ばれて一般的に広く知られている。特にデジタルカメラの普及以降、このような画像処理を自動もしくは半自動で行うソフトウェアも普及している。そして、上記の特許文献１は基本的に直線的なカメラ軌跡を前提としているが、原理的に２次元的に自由なカメラ軌跡で撮影された動画を接合する技術として、特許文献２に開示されたものがある。
【０００４】
これらの画像接合技術においては、コンテンツ内容によらず、逐次的に入力されるフレームを位置決めしながら接続するため、ユーザーの意図と無関係に画像の継ぎ目が発生することがある。
【０００５】
特許文献３は、この問題を解決するものである。特許文献３では、予め接合したパノラマ画像に、関心領域を含むフレームを選択し再度位置合わせ・上書きする（実施例１、３）もしくは関心領域を含むフレームの部分画像を選択し上書きする（実施例４）ことが記載されている。特許文献３の実施例１、３に示す前者については位置合わせの計算工数、実施例４に示す後者については部分画像が、動きベクトル依存で決定される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平６−３２６９６５号公報
【特許文献２】特開２００６−１３５３８６号公報
【特許文献３】特開２００８−１７６４３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の画像接合では、正しく関心領域を包含する部分画像の選択を行うことが難しく、関心のあるオブジェクトを含むフレームの画像において、継ぎ目が発生することを回避するのが難しいという問題があった。
【０００８】
本発明はこうした状況に鑑みてなされたものであり、関心のあるオブジェクトに対する優先フレームに継ぎ目が生じない画像接合を実現することができる画像接合装置、撮像装置、画像接合方法、及び画像接合プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００９】
そこで、本発明は、撮像された複数の画像の中から、優先フレームを決定する優先フレーム決定部と、前記優先フレームまでは、後から上書き処理する画像が前面になるように上書きし、前記優先フレームより後では、先に上書き処理された画像が前面になるように上書きする画像上書き部とを備える画像接合装置を提供する。
【００１０】
そこで、本発明は、撮像された複数の画像の中から、優先フレームを決定する優先フレーム決定行程と、前記優先フレームまでは、後から上書き処理する画像が前面になるように上書きし、前記優先フレームより後では、先に上書き処理された画像が前面になるように上書きする画像上書き行程とを備える画像接合方法を提供する。
【００１１】
そこで、本発明は、撮像された複数の画像の中から、優先フレームを決定する優先フレーム決定ステップと、前記優先フレームまでは、後から上書き処理する画像が前面になるように上書きし、前記優先フレームより後では、先に上書き処理された画像が前面になるように上書きする画像上書きステップとを備える画像接合プログラムを提供する。
【発明の効果】
【００１２】
本発明によれば、関心のあるオブジェクトに対する優先フレームに継ぎ目が生じない画像接合を実現することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態にかかる画像接合装置の構成を示すブロック図である。
【図２】本発明の実施の形態にかかる画像接合装置の動作を示すフローチャートである。
【図３】本発明の実施の形態にかかる画像接合装置の画像処理の例を示す図である。
【図４】本発明の実施の形態にかかる画像接合装置の画像処理の例を示す図である。
【図５】本発明の実施の形態にかかる画像接合装置の画像処理の例を示す図である。
【図６】本発明の実施の形態にかかる画像接合装置の画像上書き部の構成を示すブロック図である。
【図７】本発明の実施の形態にかかる画像接合装置の動作を示すフローチャートである。
【図８】本発明の実施の形態にかかる撮像装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
実施の形態
以下、図面を参照して本発明の実施の形態について説明する。
【００１５】
図１は、本発明の実施の形態にかかる画像接合装置の構成を示すブロック図である。図１において、画像接合装置１は、動きベクトル検出部１１と、動き補償部１２と、優先フレーム決定部１３と、画像上書き部１４とを有する。そして、画像接合装置１は、時間間隔をあけて入力された複数の画像フレームを接合する処理を行う。なお、一例として、画像フレームは撮像された順にフレーム番号が付与される。まず、画像接合装置１は、入力された画像を動きベクトル検出部１１、動き補償部１２、画像上書き部１４においてそれぞれ処理する。なお、動きベクトル検出部１１と、動き補償部１２と、優先フレーム決定部１３と、画像上書き部１４とは、例えばＣＰＵやプロセッサである。
【００１６】
動きベクトル検出部１１は、マッチング評価手法を用いて動きベクトルの検出を行う。例えば、動きベクトル検出部１１は、複数の画像を比較し、画像間で共通するオブジェクトが画像データ中の座標上で移動した移動量と移動方向を求める。そして、動きベクトル検出部１１は、移動量と移動方向を示す動きベクトルを動き補償部１２に出力する。
【００１７】
得られた動きベクトルは事実上画像フレーム間のオブジェクト（テクスチャ）の位置ずれであるので、これに従って相互の位置合わせを行って時間的に後の画像フレームのオブジェクト（テクスチャ）の上書きを繰り返すことにより接合画像が生成される。
【００１８】
動き補償部１２は、画像データの各画素に対して、動きベクトル分の移動量を減算した座標に移動する。すなわち動き補償部１２は、複数の画像データ間で、共通するオブジェクトが同じ座標に存在するように画像データの各画素の移動を行うことにより、複数の画像間での位置の差を補償する。そして、動き補償部１２は、補償後の画像データを画像上書き部１４に出力する。
【００１９】
優先フレーム決定部１３は、優先フレーム番号入力においては、最終的な接合画像において、継ぎ目のない状態にしたいオブジェクト、すなわち関心のあるオブジェクトを含むフレームを単数もしくは複数決定する。具体的には優先フレーム決定部１３は、優先フレームとして選択されるフレームのフレーム番号を決定する。例えば、優先フレームは、関心のあるオブジェクトが最もよく撮れている１枚のフレームを選択する。また、優先フレームの選択方法としては、接合対象となるフレーム群を予め照査して決定する、または撮像時にボタンまたはシャッターボタンの押下を検知する、音声の入力を検知する、などの検知方法により、優先フレームを決定するトリガーを画像接合装置１に与えて決定するなど種々の決定方法が適用できる。
【００２０】
さらには、優先フレーム決定部は、撮像されたフレーム内で人物を検出する人物検出や、建築物を検出する建築物検出を行い、人物や建築物などの対象物が検出されたフレームを優先フレームとして自動的に決定してもよい。例えば、優先フレーム決定部１３は、各フレームに対して、その検出された対象物の位置に基づいて、フレーム内でもっとも中央に対象物が撮像されているフレームを優先フレームとして自動的に決定してもよい。
【００２１】
また、優先フレーム決定部１３は、フレーム内における対象物が占める割合がもっとも大きいフレームを優先フレームとして自動的に決定してもよい。また、優先フレーム決定部１３は、対象物が鮮明に撮れていることに基づいて、自動的に優先フレームを決定してもよい。要するに、優先フレームの決定がなされればよく、手動であっても自動であってもかまわない。なお、対象物を検出する方法は、パターンマッチングを用いた方法などの様々な方法を用いることができる。
【００２２】
そして、優先フレーム決定部１３は、決定した優先フレームを画像上書き部１４に通知する。具体的には優先フレーム決定部１３は、優先フレームのフレーム番号を画像上書き部１４に出力する。
【００２３】
画像上書き部１４は、上書き処理において、優先フレームが最前面となるように、画像フレームを順に上書きし、上書き後の画像フレームを所定のサイズに切り出して出力する。具体的には、画像フレームのフレーム番号の順に上書きを行う場合、画像上書き部１４は、優先フレームのフレーム番号までは、後から上書き処理する画像フレームを前面とし、先に上書き処理された画像フレームを背面として、上書きする。また、画像上書き部１４は、優先フレームのフレーム番号より後では、先に上書き処理された画像フレームを前面とし、後から上書き処理する画像フレームを背面として、上書きする。そして、画像上書き部１４は、画像フレームを上書きすることにより複数の画像フレームを接合した画像データを所定の画像サイズで切り出す。
【００２４】
なお、ここで画像フレームを順に上書きするとしたが、上書きの対象となる画像フレームは、１フレームおきや２フレームおきなど複数フレームおきでもよい。例えば、画像フレームのフレーム番号が１、２、３、４、５とすると、上書きの対象となる画像フレームのフレーム番号は１、３、５であってもよい。また、上書きの対象となる画像フレームを複数フレームおきにした場合、動きベクトルの検出は、その上書きの対象となる画像フレーム間で検出すればよい。このように動きベクトルを検出することで、処理速度を向上させることができる。
【００２５】
以上の構成により、画像接合装置１は画像フレームを接合する。次に図１の画像接合装置１の動作について説明する。図２は、本発明の実施の形態にかかる画像接合装置の動作を示すフローチャートである。
【００２６】
ステップＳ２０において、画像接合装置１は、画像データの入力を受け付け、ステップＳ２１に進む。ステップＳ２１において、画像接合装置１は、入力を受け付けた画像データが２枚以上であるか否か判断する。そして、入力を受け付けた画像データが２枚未満である場合には、ステップＳ２０に戻り、入力を受け付けた画像データが２枚以上である場合には、ステップＳ２２に進む。
【００２７】
ステップＳ２２において、動きベクトル検出部１１は、複数の画像間の動きベクトルを検出して、ステップＳ２３に進む。ステップＳ２３において、動き補償部１２は、動きベクトルに基づいて画像の位置を補償する補正を行い、ステップＳ２４に進む。
【００２８】
ステップＳ２４において、優先フレーム決定部１３は、優先フレームの選択、指示の入力を受け付け、優先フレームを決定し、優先フレームのフレーム番号を画像上書き部１４に出力した後、ステップＳ２５に進む。
【００２９】
ステップＳ２５において、画像上書き部１４は、上書き処理する画像フレームのフレーム番号と、優先フレームのフレーム番号とを比較する。そして、上書き処理する画像フレームのフレーム番号が優先フレームのフレーム番号より小さい場合、ステップＳ２６に進み、上書き処理する画像フレームのフレーム番号が優先フレームのフレーム番号以上の場合、ステップＳ２７に進む。
【００３０】
ステップＳ２６において、画像上書き部１４は、後から上書き処理する画像フレームを前面とし、先に上書き処理された画像フレームを背面として、上書きし、ステップ２８に進む。なおステップＳ２６は、図２では、前面上書きとの記載として示す。
【００３１】
ステップＳ２７において、画像上書き部１４は、先に上書き処理された画像フレームを前面とし、後から上書き処理する画像フレームを背面として、上書きし、ステップ２８に進む。なおステップＳ２７は、図２では、背面上書きとの記載として示す。
【００３２】
ステップＳ２８において、画像接合装置１は、次に処理する画像フレームがあるか否か判断する。次に処理する画像フレームがある場合には、ステップＳ２０に戻り、次に処理する画像データがない場合には、ステップＳ２９に進む。
【００３３】
ステップＳ２９において、画像上書き部１４は、上書きした画像フレームを所定の画像サイズで切り出し、処理を終了する。
【００３４】
次に画像接合装置１における画像処理の詳細について説明する。図３−５は、本発明の実施の形態にかかる画像接合装置の画像処理の例を示す図である。図３−５において、オブジェクト３０は、画像フレーム３３−３７に共通するオブジェクトである。また、画像フレーム３３−３７は、フレーム番号が昇順で画像接合される画像フレームである。そして画像フレーム３５は、優先フレームである。
【００３５】
図３に示すように、画像フレーム３３−３５は、動きベクトルに対応して座標を補償することにより、画像フレーム３３−３５の間でオブジェクト３０が共通の位置に存在している。画像接合装置１は、このオブジェクト３０が共通の位置に存在している座標関係で、画像フレーム３３−３５の上書き処理を行う。
【００３６】
ここで、優先フレームは画像フレーム３５であり、画像フレーム３３及び３４は、優先フレームである画像フレーム３５より先に上書き処理を行う画像フレームである。
【００３７】
したがって、画像フレーム３３の前面に画像フレーム３４が位置する上書き処理を行う。そして、画像フレーム３３及び３４の前面に画像フレーム３５が位置する上書き処理を行う。
【００３８】
この結果、画像フレーム３３−３５に共通する座標の領域３５１は、画像フレーム３５のデータで上書きされる。同様に画像フレーム３４と３５に共通する座標の領域３５２も画像フレーム３５のデータで上書きされる。
【００３９】
続いて、優先フレームより後に上書きする場合について説明する。
【００４０】
図４に示すように画像フレーム３５−３７は、図３と同様に動きベクトルに対応して座標を補償することにより、画像フレーム３５−３７の間でオブジェクト３０が共通の位置に存在している。図３の画像処理に続いて、画像接合装置１は、このオブジェクト３０が共通の位置に存在している座標関係で、画像フレーム３５−３７の上書き処理を行う。
【００４１】
ここで、優先フレームは画像フレーム３５であり、画像フレーム３６及び３７は、優先フレームである画像フレーム３５より後に上書き処理を行う画像フレームである。
【００４２】
したがって、画像フレーム３６の前面に画像フレーム３５が位置する上書き処理を行う。そして、画像フレーム３７の前面に画像フレーム３５及び３６が位置する上書き処理を行う。
【００４３】
この結果、画像フレーム３５と３６に共通する座標の領域３５３は、画像フレーム３５のデータで上書きされる。同様に画像フレーム３５−３７に共通する座標の領域３５４も画像フレーム３５のデータで上書きされる。
【００４４】
一連の画像処理による上書きの結果を図５に示す。図５に示すように、優先フレームである画像フレーム３５と、画像フレーム３３、３４、３６、３７に共通する座標の領域はすべて画像フレーム３５のデータを上書きすることになるので、座標が重複する領域の画像は優先フレームである画像フレーム３５の画像となる。
【００４５】
このように本発明の実施の形態にかかる画像接合装置は、優先フレームのフレーム番号までは、後から上書き処理する画像フレームを前面とし、先に上書き処理された画像フレームを背面として、上書きし、優先フレームのフレーム番号より後では、先に上書き処理された画像フレームを前面とし、後から上書き処理する画像フレームを背面として、上書きすることにより、複数の画像を上書きした接合画像において、優先フレームの画像が最前面となる画像が合成されるので、関心のあるオブジェクトのある優先フレームに継ぎ目が生じない画像接合を実現することができる。
【００４６】
次に本発明の実施の形態にかかる画像接合装置の画像上書き部の詳細について説明する。図６は、本発明の実施の形態にかかる画像接合装置の画像上書き部１４の構成を示すブロック図である。画像上書き部１４は、上書きフレーム決定部１４１と、テクスチャ追加部１４２と、画像切り出し部１４３とを有する。
【００４７】
上書きフレーム決定部１４１は、上書き処理を行う対象の画像フレームのフレーム番号と、優先フレームのフレーム番号とを比較し、上書き処理の方法を決定する。
【００４８】
具体的には、優先フレーム決定部１３から、優先フレームのフレーム番号が上書きフレーム決定部１４１に入力される。上書きフレーム決定部１４１は、画像フレームのフレーム番号の順に上書きを行う場合、優先フレームのフレーム番号までは、後から上書き処理する画像フレームを前面とし、先に上書き処理された画像フレームを背面として、上書きすることをテクスチャ追加部１４２に指示する。また、上書きフレーム決定部１４１は、優先フレームのフレーム番号より後では、先に上書き処理された画像フレームを前面とし、後から上書き処理する画像フレームを背面として、上書きすることをテクスチャ追加部１４２に指示する。
【００４９】
テクスチャ追加部１４２は、上書きフレーム決定部１４１の指示に従い、画像フレームの上書き処理を行う。そして、処理すべき画像フレームの上書き処理が完了した後、上書き処理した画像データを画像切り出し部１４３に出力する。
【００５０】
画像切り出し部１４３は、画像フレームを上書きすることにより複数の画像フレームを接合した画像データを所定の画像サイズで切り出す。
以上の構成により、画像接合装置の画像上書き部が実現される。
【００５１】
なお、上記説明では優先フレームが１つである場合について説明しているが、優先フレームを複数設定することもできる。例えば、優先フレームを複数設定する場合、複数の優先フレーム間の上書き処理を、途中で変更する。
【００５２】
すなわち、第１の優先フレームから第２優先フレームの間で、先に上書き処理された画像フレームを前面に上書きから、後から上書き処理する画像フレームを前面に上書きに変更する。そして、第２の優先フレームの後は、再び先に上書き処理された画像フレームを前面に上書きする。
【００５３】
上書き方法を変更するフレームは、優先フレームの間にある任意のフレームで良い。例えば、優先フレームの中間点にあるフレームで上書き方法を変更しても良い。
【００５４】
以下、優先フレームがｋ個存在する例について、優先フレームのフレーム番号をｎ１〜ｎｋとして説明する。図７は、本発明の実施の形態にかかる画像接合装置の動作を示すフローチャートである。図２と同じ動作については、図２と同じ符番を付し、説明を省略する。図７では、複数の優先フレームの中間点で上書き方法を変更する例について説明する。
【００５５】
具体的には、優先フレームのフレーム番号がｎｐであった場合（ｐ＝１〜ｋ−１）、ｎｐまで前面上書き、すなわち後から上書き処理する画像フレームを前面に上書きし、ｎｐ＋１、以降背面書き、すなわち先に上書き処理された画像フレームを前面に上書きすることにより最終接合画像においてフレーム番号ｎｐの優先フレームが最前面になり継ぎ目が生じない。続いてフレーム番号ｎｐ＋１の優先フレームも同様の処理を行うために、フレーム番号ｎｐとフレーム番号ｎｐ＋１の途中で上書き方法に切り換える必要がある。
【００５６】
ステップＳ７０において、画像上書き部１４は、現在入力されているフレームの番号と優先フレーム番号とを比較し、現在入力されている画像フレームが前面に上書きされるべきか背面に書かれるべきかを決定する。具体的には、画像上書き部１４は、入力された画像フレームのフレーム番号が、優先フレームの番号ｎｐより大きく、且つ（ｎｐ＋ｎｐ＋１）／２より小さい場合、Ｓ２７に進む。また、画像上書き部１４は、入力された画像フレームのフレーム番号が、優先フレームの番号ｎｐ以下、または（ｎｐ＋ｎｐ＋１）／２以上である場合、Ｓ２６に進む。
【００５７】
上記判定の動作により、優先フレームまでは後から上書き処理する画像フレームを前面に上書きし、優先フレームから、次の優先フレームまでの中間点までは、先に上書き処理された画像フレームを前面に上書きし、中間点から次の優先フレームまでは、優先フレームまでは後から上書き処理する画像フレームを前面に上書きすることになる。
【００５８】
例えば、優先フレームは２つあるとして、第１の優先フレームｎ１を第２３フレームとして、第２の優先フレームｎ２を第１６９フレームとしたとき、第２３フレームまで前面に上書きを行って第２４フレーム以降背面書きにすることにより、最終接合画像において第２３フレームが最前面になり継ぎ目が生じない。また、第２４フレーム以降背面書きになっていてかつ第１６９より前に前面上書きに切り換えなければならないので、中間の第９６フレームで切り換えることになる。
【００５９】
このように、本実施の形態の撮像装置によれば、関心のあるフレームが複数ある場合でも、継ぎ目が生じない画像接合を実現することができる。
【００６０】
次に、本発明の実施の形態にかかる画像接合装置を用いた撮像装置について説明する。図８は、本発明の実施の形態にかかる撮像装置の構成を示すブロック図である。図８において、撮像装置８は、画像接合装置１と、撮像部８１と、表示部８２と、入力部８３と、記憶部８４とを有する。
【００６１】
撮像部８１は、被写体を複数のタイミングで連続的に撮像し、撮像した画像データを画像接合装置１及び表示部８２に出力する。撮像部８１は、ＣＣＤ素子またはＣＭＯＳ素子、及びレンズを備える構成が好適である。また撮像部８１は画像接合装置１と異なる場所に配置し、有線または無線通信等により撮像データを画像接合装置１に送信する構成であっても良い。
【００６２】
表示部８２は、撮像部８１、画像接合装置１または記憶部８４から出力された画像を表示する。表示部８２は、例えば、液晶ディスプレイ、有機ＥＬディスプレイまたはプラズマディスプレイで構成するのが好適である。
【００６３】
入力部８３は、優先フレームの指定を受け付け、画像フレームのいずれが優先フレームであるかの情報を画像接合装置１に出力する。具体的には、入力部８３は、ボタン、シャッターボタン、またはマイク等の音声入力手段のいずれかまたは組み合わせにより構成される。例えば、入力部８３は、入力されたフレーム番号または入力を受け付けたタイミングを画像接合装置１に出力する。
【００６４】
画像接合装置１は、入力部８３で指定されたフレーム番号の画像フレームを優先フレームとして、撮像した画像データを接合し、接合した画像データを記憶部８４及び表示部８２に出力する。なお、フレーム番号の代わりに、入力部８３が入力を受け付けたタイミングで表示されている画像フレームを優先フレームとしても良い。
【００６５】
記憶部８４は、画像接合装置１において接合された画像データを記憶する。また、記憶部８４は、記憶した画像データを表示部８２に出力する。記憶部８４は、ＲＡＭなどの半導体メモリであっても良いし、ハードディスク等の磁気記録媒体、ＤＶＤ等の光磁気記録媒体であっても良い。
【００６６】
表示部８２は、画像接合装置１または記憶部８４から出力された画像を表示する。表示部８２は、例えば、液晶ディスプレイ、有機ＥＬディスプレイまたはプラズマディスプレイで構成するのが好適である。
【００６７】
このように本実施の形態の撮像装置によれば、優先フレームのフレーム番号までは、後から上書き処理する画像フレームを前面とし、先に上書き処理された画像フレームを背面として、上書きし、優先フレームのフレーム番号より後では、先に上書き処理された画像フレームを前面とし、後から上書き処理する画像フレームを背面として、上書きすることにより、複数の画像を上書きした接合画像において、優先フレームの画像が最前面となる画像が合成されるので、関心のあるオブジェクトのある優先フレームに継ぎ目が生じない画像接合を実現することができる。
【００６８】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００６９】
例えば、優先フレームの決定において、撮像部８１で撮像した画像を記憶部８４に記憶し、記憶部８４に記憶した画像を表示部８２に表示しつつ、入力部８３が入力を受け付けたタイミングで表示されている画像フレームを優先フレームとしても良い。
【００７０】
また例えば、動きベクトル検出部１１は、具体的な動きベクトルの検出方法として、２つのフレーム内のブロック間でブロックマッチングを実行して、輝度値の絶対値誤差または二乗誤差が最小となるブロックのペアを探索し、このペア同士を結ぶベクトルを動きベクトルとして採用するという手順で行われても良い。また、隣接ブロック間での動きベクトルの相関性を利用してより正確な動きベクトルを選択しても良い。例えば、入力される映像信号の現在フレームの基準ブロックの位置が、動作量が少ない映像領域と隣接した事物の境界領域であるか否かに基づき、基準ブロックの動作ベクトルをメディアンフィルタリングすることもできる。
【００７１】
また、画像接合装置の各構成における処理については、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアまたはソフトウェアで実施できる。また、処理の一部をソフトウェアで実施し、それ以外をハードウェアで実施することをしても良い。ソフトウェアで実施する際には、マイクロプロセッサ等の１つあるいは複数のＣＰＵ（Central Processing Unit）を有するコンピュータシステムに機能ブロックの処理に関するプログラムを実行させればよい。これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、ＤＶＤ−Ｒ（DVD Recordable）、ＤＶＤ−Ｒ  ＤＬ（DVD-R Dual Layer)、ＤＶＤ−ＲＷ（DVD ReWritable）、ＤＶＤ−ＲＡＭ、ＤＶＤ＋Ｒ、ＤＶＲ＋Ｒ  ＤＬ、ＤＶＤ＋ＲＷ、ＢＤ−Ｒ（Blu-ray（登録商標） Disc Recordable）、ＢＤ−ＲＥ（Blu-ray Disc Rewritable）、ＢＤ−ＲＯＭ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【００７２】
１            画像接合装置
８            撮像装置
１１            ベクトル検出部
１２            補償部
１３            優先フレーム決定部
１４            画像上書き部
８１            撮像部
８２            表示部
８３            入力部
８４            記憶部
１４１            上書きフレーム決定部
１４２            テクスチャ追加部
１４３            画像切り出し部
【図１】
2016163089.tif 000003
【図２】
2016163089.tif 000004
【図３】
2016163089.tif 000005
【図４】
2016163089.tif 000006
【図５】
2016163089.tif 000007
【図６】
2016163089.tif 000008
【図７】
2016163089.tif 000009
【図８】
2016163089.tif 000010