(57)【要約】【課題】記憶容量および演算量が増大することなく、複数の画像を合成処理する。【解決手段】カメラ１００は連続的な撮影の結果得られた複数の画像を合成して合成画像を生成する際、複数の画像の各々について所定の領域を抽出領域として抽出して、抽出領域を外部装置であるＰＣに送信する。ＰＣは抽出領域に基づいて複数の画像を合成する際に用いられる合成情報を生成してカメラに送る。カメラはＰＣから受けた合成情報に応じて複数の画像を合成処理して合成画像を得る。【選択図】図１
2016082477.tif 000002
【特許請求の範囲】
【請求項１】
連続的な撮影の結果得られた複数の画像を合成して合成画像を得る画像処理装置であって、
前記複数の画像の各々について所定の領域を抽出領域として抽出する抽出手段と、
前記抽出領域を外部装置に送信する送信手段と、
前記外部装置において前記抽出領域に基づいて求められ前記複数の画像を合成する際に用いられる合成情報を前記外部装置から受けて、前記合成情報に応じて前記複数の画像を合成処理して合成画像を得る合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記抽出手段は、互いに隣接する画像において共通する領域であるのりしろ領域を前記所定の領域として抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記外部装置は、前記のりしろ領域を複数のブロックに分割して、前記互いに隣接する画像において当該ブロック毎の動きベクトルを求めて、当該動きベクトルに応じて射影変換処理で用いられる射影変換係数を前記合成情報として求めることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記合成手段は、前記複数の画像のうちの一つを、前記射影変換処理における変換先となる基準画像として、前記射影変換係数に応じて前記複数の画像を繋ぎ合わせて前記合成画像を生成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記抽出手段は、前記複数の画像のうちの一つを基準画像として当該基準画像において指定された指定範囲を前記所定の領域である邪魔もの領域として抽出するとともに、前記基準画像を除く他の画像において前記指定範囲に対応する領域を邪魔もの領域として抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記外部装置は、前記基準画像の邪魔もの領域に基づいて、前記基準画像を除く他の画像の邪魔もの領域について射影変換を行って、前記邪魔もの領域に存在する被写体を除去して前記合成情報を生成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記合成手段は、前記基準画像についてその邪魔もの領域を前記合成情報で置き換えて前記合成画像を生成することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記複数の画像を撮像する撮像手段と、
請求項１〜７のいずれか１項に記載の画像処理装置と、
前記合成画像を記録媒体に記録する記録手段と、
を有することを特徴とする撮像装置。
【請求項９】
連続的な撮影の結果得られた複数の画像を合成して合成画像を得る画像処理装置での制御方法あって、
前記複数の画像の各々について所定の領域を抽出領域として抽出する抽出ステップと、
前記抽出領域を外部装置に送信する送信ステップと、
前記外部装置において前記抽出領域に基づいて求められ前記複数の画像を合成する際に用いられる合成情報を前記外部装置から受けて、前記合成情報に応じて前記複数の画像を合成処理して合成画像を得る合成ステップと、
を有することを特徴とする制御方法。
【請求項１０】
連続的な撮影の結果得られた複数の画像を合成して合成画像を得る画像処理装置で用いられる制御プログラムあって、
前記画像処理装置が備えるコンピュータに、
前記複数の画像の各々について所定の領域を抽出領域として抽出する抽出ステップと、
前記抽出領域を外部装置に送信する送信ステップと、
前記外部装置において前記抽出領域に基づいて求められ前記複数の画像を合成する際に用いられる合成情報を前記外部装置から受けて、前記合成情報に応じて前記複数の画像を合成処理して合成画像を得る合成ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、複数の画像データを合成処理するための画像処理装置に関する。
【背景技術】
【０００２】
一般に、撮影の結果得られた複数の画像データを合成処理して１枚の画像データでは得られない画角を有する合成画像データを得る手法が知られている。例えば、撮像装置を動かして画角を変化させつつ連続的に撮影を行って得られた画像データを繋ぎ合わせる処理を行って広角の画像データを生成するパノラマ合成処理がある。さらには、連続的に撮影を行って得られた画像データを合成処理して画角内に存在する邪魔な移動被写体を除去する手法がある。
【０００３】
ところが、上述の手法においては、撮影の結果得られた複数の画像データの全てを撮像装置又は外部処理装置に記憶して合成処理を行っており、この結果、撮影枚数が多くなるに伴って必要とする記録容量および処理に要する演算時間が増大してしまう。
【０００４】
例えば、撮像装置による連続的な撮影の結果得られた画像データを、主記憶装置を用いて合成処理して移動被写体を除去してパノラマ画像を生成するようにしたものがある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−８８６７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の特許文献１に記載の手法においては、複数の画像データを、主記憶装置を用いて合成処理する結果、撮影枚数が多くなるに従って、主記憶装置で必要な記憶容量および合成処理の際の演算量が増大してしまうことになる。
【０００７】
従って、本発明の目的は、記憶容量および演算量が増大することなく、複数の画像データを合成処理することのできる画像処理装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、本発明による画像処理装置は、連続的な撮影の結果得られた複数の画像を合成して合成画像を得る画像処理装置であって、前記複数の画像の各々について所定の領域を抽出領域として抽出する抽出手段と、前記抽出領域を外部装置に送信する送信手段と、前記外部装置において前記抽出領域に基づいて求められ前記複数の画像を合成する際に用いられる合成情報を前記外部装置から受けて、前記合成情報に応じて前記複数の画像を合成処理して合成画像を得る合成手段と、を有することを特徴とする。
【０００９】
本発明による撮像装置は、複数の画像を撮像する撮像手段と、上記の画像処理装置と、前記合成画像を記録媒体に記録する記録手段と、を有することを特徴とする。
【００１０】
本発明による制御方法は、連続的な撮影の結果得られた複数の画像を合成して合成画像を得る画像処理装置での制御方法あって、前記複数の画像の各々について所定の領域を抽出領域として抽出する抽出ステップと、前記抽出領域を外部装置に送信する送信ステップと、前記外部装置において前記抽出領域に基づいて求められ前記複数の画像を合成する際に用いられる合成情報を前記外部装置から受けて、前記合成情報に応じて前記複数の画像を合成処理して合成画像を得る合成ステップと、を有することを特徴とする。
【００１１】
本発明による制御プログラムは、連続的な撮影の結果得られた複数の画像を合成して合成画像を得る画像処理装置で用いられる制御プログラムあって、前記画像処理装置が備えるコンピュータに、前記複数の画像の各々について所定の領域を抽出領域として抽出する抽出ステップと、前記抽出領域を外部装置に送信する送信ステップと、前記外部装置において前記抽出領域に基づいて求められ前記複数の画像を合成する際に用いられる合成情報を前記外部装置から受けて、前記合成情報に応じて前記複数の画像を合成処理して合成画像を得る合成ステップと、を実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、画像合成を行う際に、外部装置から画像合成を行うための合成情報を得て、当該合成情報によって複数の画像を合成する。これによって、画像処理装置においては記憶容量および演算量が増大することなく、複数の画像を合成処理することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。
【図２】本発明の第１の実施形態による画像処理装置とともに用いられる外部装置の一例であるＰＣについてその構成を示すブロック図である。
【図３】図１に示すカメラによる連続的な撮影の結果得られた画像データの一例を示す図である。
【図４】図１に示すカメラで行われる画像合成処理の一例を説明するためのフローチャートである。
【図５】図１に示すカメラで行われるのりしろ領域の抽出を示す図である。
【図６】図１に示すカメラで行われる画像の合成処理を説明するための図であり、（Ａ）は基準画像を示す図、（Ｂ）は基準画像以外の画像を示す図、（Ｃ）は２つの画像を合成した合成画像を示す図、（Ｄ）は全ての画像を合成した合成画像を示す図である。
【図７】図２に示すＰＣで行われる射影変換係数の算出についてその一例を説明するためのフローチャートである。
【図８】図２に示すＰＣで行われる動きベクトルの算出を説明するための図であり、（Ａ）は基準画像とそののりしろ領域を示す図、（Ｂ）は基準画像以外の画像を示す図である。
【図９】図２に示すＰＣで行われる射影変換係数の算出についてその一例を説明するための図である。
【図１０】図１に示すカメラで行われる射影変換係数を用いた画像合成処理の一例を説明するためのフローチャートである。
【図１１】図１に示すカメラで行われる射影変換係数を用いた画像合成処理の得られた最終的な合成画像の一例を示す図である。
【図１２】本発明の第２の実施形態によるカメラで行われる邪魔もの領域抽出処理の一例を説明するためのフローチャートである。
【図１３】本発明の第２の実施形態によるカメラで連続的な撮影を行った結果得られた画像データの一例を示す図である。
【図１４】本発明の第２の実施形態によるカメラで抽出された邪魔もの領域の一例を示す図である。
【図１５】本発明の第２の実施形態によるカメラとともに用いられるＰＣで行われる画像合成処理の一例を説明するためのフローチャートである。
【図１６】本発明の第２の実施形態によるカメラで行われる画像合成処理を説明するためのフローチャートである。
【図１７】本発明の第２の実施形態によるカメラで得られる合成画像の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。
［第１の実施形態］
【００１５】
図１は、本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。なお、以下の説明では、撮像装置としてデジタルカメラ（以下単にカメラと呼ぶ）を例に挙げ、当該カメラと通信を行う外部装置としてパーソナルコンピュータ（ＰＣ）を例に挙げて説明する。
【００１６】
カメラ１００は制御部１０１を有しており、この制御部１０１は、例えば、ＣＰＵである。制御部１０１はＲＯＭ１０２から制御プログラム（動作プログラムともいう）を読み出して、当該制御プログラムをＲＡＭ１０３に展開して実行する。これによって、制御部１０１はカメラ１００全体の制御を行う。
【００１７】
ＲＯＭ１０２は、例えば、書き換え可能な不揮発性メモリであって、ＲＯＭ１０２にはカメラ１００の動作プログラムに加えて、カメラ１００の動作に必要なパラメータなどが記憶される。ＲＡＭ１０３は、書き換え可能な揮発性メモリであって、ＲＡＭ１０３はカメラ１００の動作によって得られた画像データなどのデータを一時的に記憶する記憶領域として用いられる。
【００１８】
光学系１０４は光学像（被写体像）を撮像部１０５に結像する。なお、光学系１０４はカメラ１００の動きを検出して、当該動きの方向および大きさを出力する。
【００１９】
撮像部１０５は、例えば、ＣＣＤ又はＣＭＯＳイメージセンサなどの撮像素子であり、光学系１０４によって結像した光学像を光電変換してアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、アナログ画像信号をＡ／Ｄ変換してデジタル画像信号を画像データとしてＲＡＭ１０３に出力する。
【００２０】
画像処理部１０７は、ＲＡＭ１０３に記憶された画像データに対して所定の画像処理を行って、処理済み画像データとしてＲＡＭ１０３に記録する。記録媒体１０８はカメラ１００に対して着脱可能なメモリカードなどである。記録媒体１０８には、ＲＡＭ１０３に記憶された処理済み画像データ又はＡ／Ｄ変換部１０６でＡ／Ｄ変換された画像データなどが記録画像データとして記録される。
【００２１】
通信部１０９は、無線ＬＡＮなどの公衆モバイル通信網を用いて、記録媒体１０８に記録された画像データなどを外部装置（図示せず）に送信する。さらに、通信部１０９は外部装置から各種データを受信する。
【００２２】
図２は、本発明の第１の実施形態による画像処理装置とともに用いられる外部装置の一例であるＰＣについてその構成を示すブロック図である。
【００２３】
ＰＣ２００は、制御部２０１を有しており、この制御部２０１は、例えば、ＣＰＵである。制御部２０１はＲＯＭ２０２から制御プログラム（動作プログラムともいう）を読み出して、当該制御プログラムをＲＡＭ２０３に展開して実行する。これによって、制御部２０１はＰＣ２００全体の制御を行う。
【００２４】
ＲＯＭ２０２は、例えば、書き換え可能な不揮発性メモリであって、ＲＯＭ２０２にはＰＣ２００の動作プログラムに加えて、ＰＣ２００の動作に必要なパラメータなどが記憶される。ＲＡＭ２０３は、書き換え可能な揮発性メモリであって、ＲＡＭ１０３はＰＣ２００の動作によって得られたデータを一時的に記憶する記憶領域として用いられる。
【００２５】
通信部２０４は、無線ＬＡＮなどの公衆モバイル通信網を用いて、外部機器からデータを受信するとともに、外部機器に対してデータを送信する。例えば、通信部２０４は、図１に示すカメラ１００から画像データを受信する。
【００２６】
記録媒体２０５は、例えば、内蔵ハードディスク装置であり、記録媒体２０５には、通信部２０４で受信した画像データなどが保存される。そして、記録媒体２０５に保存された画像データはＲＡＭ２０３に展開されて、画像処理部２０６によって所定の画像処理（例えば、合成処理）が行われる。
【００２７】
図３は、図１に示すカメラ１００による連続的な撮影の結果得られた画像データの一例を示す図である。
【００２８】
いま、カメラ１００を用いて被写体を連続的に撮影して複数枚の画像データを得たとする。ここでは、図３に示す画像３００〜３０３の順に画像を得るものとする。
【００２９】
図４は、図１に示すカメラ１００で行われる画像合成処理の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、制御部１０１の制御下で行われる。
【００３０】
カメラ１００では、連続的な撮影の結果得られた画像データに対して所定の画像処理を行って、図３に示す複数枚の画像データ（以下単に画像とも呼ぶ）３００〜３０３を得る（ステップＳ４００）。そして、制御部１０１はこれら画像３００〜３０３を記録媒体１０８に保存する。
【００３１】
続いて、制御部１０１は画像３００〜３０３から基準画像を選択する（ステップＳ４０１）。ここで、基準画像とは、後述する射影変換処理において変換先となる画像をいい、図示の例では、制御部１０１は最初に撮影した画像３００を基準画像として選択するものとする。なお、画像３００以外の画像３０１〜３０３のいずれかを基準画像として選択するようにしてもよい。以下射影変換処理された画像３０１〜３０３をそれぞれ変換画像３０１〜３０３とする。
【００３２】
続いて、制御部１０１は、基準画像以外の画像３０１〜３０３の全てについて画像処理部１０７による後述する所定の画像処理が終了したか否かを判定する（ステップＳ４０２）。画像３０１〜３０３の全てについて画像処理が終了していないと（ステップＳ４０２において、ＮＯ）、制御部１０１は画像処理部１０７によって基準画像３００および画像３０１〜３０３の各々からのりしろ領域を抽出領域として抽出して、ＰＣ２００に送信する（ステップＳ４０３）。ここで、のりしろ領域とは互いに隣接する２つの画像において互いに共通する画角の画像領域をいう。
【００３３】
以下の説明では、基準画像３００と画像３０１とを例に挙げて説明する。例えば、制御部１０１は、光学系１０４の動き検出結果に応じて、基準画像３００を撮影したカメラ１００の位置からカメラ１００が水平右方向に動いて画像３０１を撮影したことを判定する。そして、制御部１０１は画像処理部１０７によって基準画像３００の右端の領域と画像３０１の左端の領域とを共通するのりしろ領域として抽出する。
【００３４】
図５は、図１に示すカメラ１００で行われるのりしろ領域の抽出を示す図である。
【００３５】
図５に示す例では、基準画像３００および画像３０１はそれぞれ破線で示す複数のブロック単位５００および５０３に分割されている（ここでは、画像３００および３０１におけるブロック単位５００および５０３の数および大きさは同一である）。そして、実線で示すブロック単位は５０１および５０４はそれぞれ基準画像３００および画像３０１におけるのりしろ領域を示す。
【００３６】
図５においては、全てのブロック単位のうち３分の１をのりしろ領域として抽出しているが、カメラ１００の水平右方向の動きに応じてのりしろ領域を変更するようにしてもよい。例えば、水平右方向の動きの大きさが所定の値以上であると、制御部１０１はのりしろ範囲を大きくする（例えば、全てのブロック単位の２分の１）。また、水平右方向の動きの大きさが所定の値未満であると、制御部１０１はのりしろ領域を小さくする（例えば、全てのブロック単位の４分の１）。そして、制御部１０１は通信部１０９によって実線で示すのりしろ領域をＰＣ２００に送信する。
【００３７】
続いて、制御部１０１は画像処理部１０７によって画像３００および３０１を光学系１０４の動き検出結果に基づいて加重加算合成処理する（ステップＳ４０４：画像連結）。ここでは、制御部１０１は動き検出結果に基づいて基準画像３００および画像３０１における合成領域を決定する。
【００３８】
図６は、図１に示すカメラで行われる画像の合成処理を説明するための図である。そして、図６（Ａ）は基準画像を示す図であり、図６（Ｂ）は基準画像以外の画像を示す図である。また、図６（Ｃ）は２つの画像を合成した合成画像を示す図であり、図６（Ｄ）は全ての画像を合成した合成画像を示す図である。
【００３９】
図６（Ａ）および図６（Ｂ）に示す画像３００および３０１において、のりしろ領域６００および６０１を除く画像領域がそれぞれおおよその合成領域６０２および６０３とされる。ここでは、２つの合成領域６０２および６０３の境界は必ずしも高精度に一致する必要はない。そして、制御部１０１は画像処理部１０７によって２つの合成領域６０２および６０３を加重平均して繋ぎ合わせて、図６（Ｃ）に示す簡易合成画像６１０を得る。この簡易合成画像６１０はカメラ１００において確認用に用いられる確認用合成画像であり、記録用の合成画像は後述するようにして生成される。
【００４０】
その後、制御部１０１はステップＳ４０２の処理に戻る。つまり、制御部１０１は全ての画像３００〜３０３を繋ぎ合わせた簡易合成画像を得るまで、ステップＳ４０２〜４０４の処理を行う。つまり、画像３００と画像３０１とを繋ぎ合わせた後、制御部１０１は、ステップＳ４０３で画像３０１および３０２についてのりしろ領域を抽出して当該のりしろ領域をＰＣ２００に送信する。そして、制御部１０１は前述のようにして、ステップＳ４０４において画像３０１および３０２を加算平均して合成処理を行う。
【００４１】
同様にして、制御部１０１は画像３０２および３０４についてステップＳ４０３およびＳ４０４の処理を行い、続いて、制御部１０１は３つの合成画像について、同様にして合成処理を行う。これによって、全ての画像３００〜３０３が合成処理されて図６（Ｄ）に示す合成画像６２０が得られる。
【００４２】
画像３０１〜３０３の全てについて画像処理部１０７による画像処理が終了すると（ステップＳ４０２において、ＹＥＳ）、つまり、画像３００〜３０３の合成処理が終了すると、制御部１０１は合成画像６２０を記録媒体１０８に記録する（ステップＳ４０５）。そして、制御部１０１は画像処理を終了する。
【００４３】
図７は、図２に示すＰＣ２００で行われる射影変換係数の算出についてその一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、制御部２０１の制御下で行われる。
【００４４】
まず、制御部２０１は通信部２０４によって画像３００〜３０３ののりしろ領域を受信する（ステップＳ４１０）。続いて、制御部２０１は基準画像３００ののりしろ領域に関してその動きベクトルを後述するブロック単位毎に算出する（ステップＳ４１１）。
【００４５】
図８は、図２に示すＰＣ２００で行われる動きベクトルの算出を説明するための図である。そして、図８（Ａ）は基準画像とそののりしろ領域を示す図であり、図８（Ｂ）は基準画像以外の画像を示す図である。
【００４６】
基準画像３００において、のりしろ領域７０１は太線の領域で示されている。制御部２０１は基準画像３００においてのりしろ領域７０１を複数のブロック単位に分割して、これら分割ブロック毎に画像３０１ののりしろ領域とパターンマッチングを行って、ブロック単位毎の動きベクトルを算出する。つまり、制御部２０１は分割ブロック単位毎にその差分絶対値の総和（ＳＡＤ）が最小となる位置をブロック単位の移動先座標とする。
【００４７】
但し、ブロック単位によっては信頼性が低い動きベクトルが算出されることがあるので、これらの信頼性の低い動きベクトルを除く必要がある。例えば、エッジを含まない低コントラスト領域ではＳＡＤが最小となる位置が多数出現することがある。このため、既知のようにエッジ信号の積分値が所定の値よりも小さい場合には、当該動きベクトルを除くようにする。
【００４８】
さらには、基準画像３００には基準画像３０１に存在しない領域が含まれているので、当該存在しない領域に動きベクトルを除く必要がある。ここでは、制御部２０１はブロック単位毎のＳＡＤについてその値が小さいものから順に所定の数の動きベクトルを選択して、移動先座標を有しないブロックに係る動きベクトルを除くようにする。
【００４９】
再び図７を参照して、制御部２０１は動きベクトルに基づいて射影変換係数（合成情報）を求めて、当該射影変換係数をカメラ１００に送信する（ステップＳ４１２）。同様にして、制御部２０１は画像３０１〜３０２について、のりしろ領域のブロック単位毎にその動きベクトルを算出して、当該動きベクトルに応じた射影変換係数をカメラ１００に送信する。そして、ＰＣは射影変換係数の算出を終了する。
【００５０】
ここで、図２に示すＰＣ２００で行われる射影変換係数の算出手法について説明する。
【００５１】
図９は、図２に示すＰＣ２００で行われる射影変換係数の算出についてその一例を説明するための図である。
【００５２】
いま、図８（Ａ）に示す基準画像３００の中心位置を（０，０）とし、のりしろ領域７０１におけるブロック単位の中心位置を（ｘ’、ｙ’）とする。図示の例では、のりしろ領域７０１は７２個のブロック単位に分割されており、左上隅に位置するブロック単位の中心位置を（ｘ０’，ｙ０’）で表され、右上隅に位置するブロック単位の中心位置を（ｘ５’，ｙ０’）で表される。また、左下隅に位置するブロック単位の中心位置を（ｘ０’，ｙ１１’）で表され、右下隅に位置するブロック単位の中心位置を（ｘ１１’，ｙ１１’）で表される。
【００５３】
画像３０１において移動先座標（ｘ、ｙ）に対応する基準画像３００（つまり、のりしろ領域７０１）の座標（ｘ’、ｙ’）は次の（１）及び式（２）で示す射影変換で表される。
【００５４】
【数１】
2016082477.tif 000003
【００５５】
式（１）および式（２）において、ａ０〜ａ７は射影変換係数を示し、射影変換係数ａ７〜ａ０は次の式（３）および式（４）で表される。
【００５６】
【数２】
2016082477.tif 000004
【００５７】
式（３）および式（４）において、ｈ０、ｈｋ、Ｘ、およびｂ０〜ｂ７は次の式（５）〜式（１５）で表される。
【００５８】
【数３】
2016082477.tif 000005
【００５９】
【数４】
2016082477.tif 000006
【００６０】
【数５】
2016082477.tif 000007
【００６１】
【数６】
2016082477.tif 000008
【００６２】
【数７】
2016082477.tif 000009
【００６３】
【数８】
2016082477.tif 000010
【００６４】
【数９】
2016082477.tif 000011
【００６５】
【数１０】
2016082477.tif 000012
【００６６】
【数１１】
2016082477.tif 000013
【００６７】
【数１２】
2016082477.tif 000014
【００６８】
ここで、Ｎは動きベクトルを算出する要素数を示し、図示の例では、Ｎ＝５とする。上述の式を用いて、制御部２０１は基準画像３００に対する画像３０１の射影変換係数を第１の射影変換係数として算出する。同様にして、制御部２０１は画像３０１および画像３０２と画像３０２および画像３０３とについてその射影変換係数を求めて、それぞれ第２および第３の射影変換係数とする。そして、制御部２１０は通信部２０４によって第１〜第３の射影変換係数をカメラ１００に送信する。
【００６９】
図１０は、図１に示すカメラ１００で行われる射影変換係数を用いた画像合成処理の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、制御部１０１の制御下で行われる。
【００７０】
カメラ１００では、制御部１０１は通信部１０９によって第１〜第３の射影変換係数を受信する（ステップＳ４２０）。続いて、制御部１０１は、基準画像以外の画像３０１〜３０３の全てについて画像処理部１０７による射影変換処理が終了したか否かを判定する（ステップＳ４２１）。画像３０１〜３０３の全てについて射影変換処理が終了していないと（ステップＳ４２１において、ＮＯ）、制御部１０１は第１〜第３の射影変換係数を用いて画像３０１〜３０３について射影変換処理を行う（ステップＳ４２２）。
【００７１】
ここでは、制御部１０１はまず第３の射影変換係数を用いて画像３０３について射影変換処理を行う。これによって、制御部１０１は画像３０３ののりしろ領域が画像３０２ののりしろ領域と位置が合うように変換して、変換画像３０３を生成する。
【００７２】
続いて、制御部１０１は画像処理部１０７によって変換画像３０３と画像３０２とを合成処理して連結する（ステップＳ４２３）。例えば、制御部１０１はのりしろ領域を加算平均して画像３０２と変換画像３０３とを繋ぎ合わせて、第１の合成画像を得る。
【００７３】
その後、制御部１０１はステップＳ４２１の処理に戻る。つまり、制御部１０１は基準画像３００に対して全ての変換画像３０１〜３０３を繋ぎ合わせるまで、ステップＳ４２１〜４２３の処理を行う。
【００７４】
ここでは、制御部１０１は第１の合成画像について第２の射影変換係数を用いて射影変換処理を行って、当該変換処理後の合成画像を画像３０１と繋ぎ合わせて、第２の合成画像を得る。そして、制御部１０１は第２の合成画像を第１の射影変換係数を用いて射影変換処理を行って、当該変換処理後の合成画像を基準画像３０１と繋ぎ合わせて、最終的な合成画像を得る。
【００７５】
図１１は、図１に示すカメラ１００で行われる射影変換係数を用いた画像合成処理の得られた最終的な合成画像の一例を示す図である。
【００７６】
図１１に示すように、最終的な合成画像７１０はのりしろ領域にずれが生じることなく、画像３０１〜３０３が繋ぎ合わされていることが分かる。
【００７７】
画像３０１〜３０３の全てについて射影変換処理が終了すると（ステップＳ４２１において、ＹＥＳ）、つまり、最終的な合成画像が生成されると、制御部１０１は当該最終的な合成画像（つまり、パノラマ画像）によって記録媒体１０８に記録された簡易合成画像６２０を更新する（ステップＳ４２４）。そして、制御部１０１は画像合成処理を終了する。
【００７８】
このように、本発明の第１の実施形態では、カメラにおいて複数の画像を合成してパノラマ画像などの合成画像を生成する際に合成処理の際に必要な射影変換係数をＰＣなどの外部装置で算出するようにしたので、合成枚数が増加してもカメラで合成処理を行う際の記憶容量および演算量の増大を防止することができる。
【００７９】
さらには、カメラ１００においては、射影変換係数を用いて合成処理を行う前に、のりしろ領域に応じて複数の画像を繋ぎ合わせて簡易合成画像を生成するようにしたので、ユーザは簡易合成画像によって合成結果を予め確認することができる。
【００８０】
さらには、カメラ１００は射影変換係数の算出に必要なのりしろ領域をＰＣなどの外部装置に送信するようにしたので、カメラ１００と外部装置との通信データ量の増大を抑えることができる。
【００８１】
なお、上述の第１の実施形態では、カメラ１００を水平方向にスイングして４枚の画像を連続的に撮影する例について説明したが、水平方向に限らず垂直又は水平および垂直方向にカメラ１００を動かした場合についても同様にして合成画像を生成するようにすればよい。
［第２の実施形態］
【００８２】
続いて、本発明の第２の実施形態による画像処理装置であるＰＣおよびカメラの一例について説明する。なお、第２の実施形態によるカメラおよびＰＣの構成はそれぞれ図１および図２に示すカメラおよびＰＣと同様である。
【００８３】
第２の実施形態においては、カメラを動かすことなく連続的な撮影を行って、ユーザが意図しない邪魔な移動被写体を合成処理によって除く処理について説明する。
【００８４】
図１２は、本発明の第２の実施形態によるカメラ１００で行われる邪魔もの領域抽出処理の一例を説明するためのフローチャートである。
【００８５】
カメラ１００では、連続的な撮影の結果得られた画像データに対して所定の画像処理を行って複数枚の画像データを得る（ステップＳ８００）。
【００８６】
図１３は、本発明の第２の実施形態によるカメラ１００で連続的な撮影を行った結果得られた画像データの一例を示す図である。
【００８７】
図示の例では、画像９００〜９０３の順に撮影が行われたものとし、ユーザはカメラ１００を動かすことなく、連続的に撮影を行ったものとする。
【００８８】
続いて、制御部１０１は、画像９００〜９０３から、後述する邪魔もの除去処理において基準となる画像である基準画像を選択する（ステップＳ８０１）。基準画像の選択の際には、例えば、制御部１０１はユーザの選択に応じて基準画像を選択する。なお、制御部１０１は一枚目の画像を基準画像として選択するようにしてもよい。ここでは、制御部１０１は画像９００を基準画像として選択したものとする。
【００８９】
次に、制御部１０１は基準画像および他の画像において邪魔もの領域を抽出して、当該邪魔もの領域を、通信部１０９によってＰＣ２００に送信する（ステップＳ８０２）。邪魔もの領域を抽出する際には、例えば、ユーザはカメラ１００に備えられたＬＣＤなどに基準画像を表示して、矩形枠で少なくとも１つの範囲を指定する。制御部１０１は当該指定範囲に基づいて基準画像９００およびそれ以外の画像９０１〜９０３から指定範囲に応じた領域を邪魔もの領域として抽出する。
【００９０】
図１４は、本発明の第２の実施形態によるカメラ１００で抽出された邪魔もの領域の一例を示す図である。
【００９１】
図示の例では、自動車を含む邪魔もの領域１０００と人を含む邪魔もの領域１００１とが基準画像９００から抽出されており、制御部１０１は画像９０１〜９０３の各々において、邪魔もの領域１０００および１００１と同一の位置で対応する領域を抽出する。そして、前述のように、制御部１０１は邪魔もの領域１０００および１００１と抽出した全ての領域をＰＣ２００に送信する。
【００９２】
その後、制御部１０１は基準画像９００を記録媒体１０８に記録して（ステップＳ８０３）、邪魔もの領域抽出処理を終了する。
【００９３】
図１５は、本発明の第２の実施形態によるカメラとともに用いられるＰＣで行われる画像合成処理の一例を説明するためのフローチャートである。
【００９４】
まず、制御部２０１は通信部２０４によって画像９００〜９０３における邪魔もの領域を受信する（ステップＳ８１０）。続いて、制御部２０１は基準画像９００以外の全ての画像９０１〜９０３における邪魔もの領域について画像処理が完了したか否かを判定する（ステップＳ８１１）。画像処理が完了していないと（ステップＳ８１１において、ＮＯ）、制御部２０１は、基準画像９００の邪魔もの領域に基づいて、画像９０１の邪魔もの領域について射影変換を行う（ステップＳ８１２）。なお、射影変換係数の算出の際には、第１の実施形態で説明した手法と同様の手法が用いられる。
【００９５】
続いて、制御部２０１は基準画像９００および射影変換済みの画像（変換画像）９０１に基づいて移動している被写体領域（つまり、自動車および人）を除去して合成する処理を行う（ステップＳ８１３：移動体除去合成）。
【００９６】
なお、ここで用いられる合成手法として、例えば、特開２０１２−１１９８１７号公報に記載の手法が用いられる。例えば、制御部２０１は基準画像９００を複数のブロックに分割して、ブロック毎に他の画像９０１とブロックマッチングを行う。これによって、制御部２０１はブロック毎に動きベクトルを算出して、移動している被写体の輪郭を検出する。
【００９７】
次に、制御部２０１は基準画像９００の移動被写体と画像９０１の邪魔もの領域とをパターンマッチング処理して、画像９０１の邪魔もの領域に移動被写体が存在するか否かを判定する。そして、その判定結果に応じて、制御部２０１は基準画像９００の移動被写体領域（つまり、邪魔もの領域）を移動被写体が存在しない領域で置き換えて移動被写体を除去する。この結果、基準画像以外の画像の枚数が多い程、移動被写体が存在しない領域が存在する可能性が高くなって、邪魔ものを除去できる確率が向上することになる。
【００９８】
再び図１５を参照して、ステップＳ８１３の処理の後、制御部１０１はステップＳ８１１の処理に戻る。つまり、制御部１０１は画像９０１〜９０３の邪魔もの領域について射影変換および移動体除去合成を行うまで、ステップＳ８１１〜８１３の処理を行う。画像９０１〜９０３の邪魔もの領域の全てについて画像処理が終了すると（ステップＳ８１１において、ＹＥＳ）、制御部２０１は、ステップＳ８１３の処理で生成した合成画像（邪魔もの領域合成画像）を通信部２０４によってカメラ１００に送信する（ステップＳ８１４）。そして、制御部２０１は画像合成処理を終了する。
【００９９】
図１６は、本発明の第２の実施形態によるカメラ１００で行われる画像合成処理を説明するためのフローチャートである。
【０１００】
まず、制御部１０１は通信部１０９によってＰＣ２００から邪魔もの領域合成画像を受信する（ステップＳ８２０）。続いて、制御部１０１は、記録媒体１０８から記録済みの基準画像９００を読み出して、画像処理部１０７によって前述のステップＳ８０２で抽出した邪魔もの領域を受信した邪魔もの領域合成画像に置き換えて、邪魔ものが除去された合成画像を得る（ステップＳ８２１）。
【０１０１】
図１７は、本発明の第２の実施形態によるカメラ１００で得られる合成画像の一例を示す図である。
【０１０２】
図示のように、この合成画像においては、邪魔ものである移動する被写体（つまり、自動車および人）が除去されていることが分かる。
【０１０３】
続いて、制御部１０１は上述のようにして得られた合成画像を記録媒体１０８に保存画像として記録して、記録済みの画像を更新する（ステップＳ８２２）。そして、制御部１０１は画像合成処理を終了する。
【０１０４】
このように、本発明の第２の実施形態では、複数の画像を用いて邪魔もの領域を除去して合成画像を生成する際に必要な射影変換係数をＰＣなどの外部装置で算出して射影変換を行うようにしたので、カメラにおいては基準画像のみを保持すればよい。この結果、合成枚数が増加してもカメラの記憶容量および演算量の増大を防止することができる。
【０１０５】
さらには、カメラ１００は射影変換係数の算出に必要な邪魔もの領域をＰＣなどの外部装置に送信するようにしたので、カメラ１００と外部装置との通信データ量の増大を抑えることができる。
【０１０６】
上述の説明から明らかなように、図１に示す例では、少なくとも制御部１０１、画像処理部１０７、および通信部（送信手段）１０９が画像処理装置を構成する。また、制御部１０１および画像処理部１０７は抽出手段および合成手段として機能し、制御部１０１は記録手段として機能する。さらに、光学系１０４、撮像部１０５、およびＡ／Ｄ変換部１０６は撮像手段として機能する。
【０１０７】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１０８】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【符号の説明】
【０１０９】
１００  カメラ
１０１，２０１  制御部
１０２，２０２  ＲＯＭ
１０３，２０３  ＲＡＭ
１０４  光学系
１０５  撮像部
１０７，２０６  画像処理部
１０８，２０５  記録媒体
１０９，２０４  通信部
２００  パーソナルコンピュータ（ＰＣ）
【図１】
2016082477.tif 000015
【図２】
2016082477.tif 000016
【図３】
2016082477.tif 000017
【図４】
2016082477.tif 000018
【図５】
2016082477.tif 000019
【図６】
2016082477.tif 000020
【図７】
2016082477.tif 000021
【図８】
2016082477.tif 000022
【図９】
2016082477.tif 000023
【図１０】
2016082477.tif 000024
【図１１】
2016082477.tif 000025
【図１２】
2016082477.tif 000026
【図１３】
2016082477.tif 000027
【図１４】
2016082477.tif 000028
【図１５】
2016082477.tif 000029
【図１６】
2016082477.tif 000030
【図１７】
2016082477.tif 000031