(57)【要約】【課題】オクルージョン領域を持つ被写体を抽出し合成する際に、それを自動的に判別し、不自然な画像が作成されてしまうことを防ぐことが可能な画像処理装置を提供すること。【解決手段】画像から領域を抽出する領域抽出手段と、抽出領域の境界を、抽出領域より近い被写体との境界と、抽出領域より遠い被写体との境界に分類分けする境界分類分け手段と、抽出領域を別の画像に合成する合成手段と、画像内の特定の大きさのエリアごとに、距離算出を行う距離算出手段と、を有し、抽出領域を別の画像に合成する際、前記抽出領域より近い被写体との境界が、抽出画像と合成画像の境界において、抽出領域より近い被写体との境界になるようユーザにアシストすることを特徴とする。【選択図】図１
2017220768.tif 000002
【特許請求の範囲】
【請求項１】
画像から領域を抽出する領域抽出手段と、
抽出領域の境界を、抽出領域より近い被写体との境界と、抽出領域より遠い被写体との境界に分類分けする境界分類分け手段と、
抽出領域を別の画像に合成する合成手段と、
画像内の特定の大きさのエリアごとに、距離算出を行う距離算出手段と、
を有し、
抽出領域を別の画像に合成する際、前記抽出領域より近い被写体との境界が、抽出画像と合成画像の境界において、抽出領域より近い被写体との境界になるようユーザにアシストすることを特徴とする画像処理装置。
【請求項２】
アシスト機能は、前記抽出領域を別の画像に合成する際、前記抽出領域より近い被写体との境界が、抽出画像と合成画像の境界において、抽出領域より遠い被写体との境界になっていた場合に、境界を強調表示することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
強調表示は、特定色での表示であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
強調表示は、点滅させて表示することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
アシスト機能は、前記抽出領域を別の画像に合成する際、前記抽出領域より近い被写体との境界を、抽出画像と合成画像の境界においても抽出領域より近い被写体との境界になるよう、自動的に移動させて合成画像を生成することを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関し、特に複数の画像を合成して新しい画像を作成する画像処理装置に関する。
【背景技術】
【０００２】
従来より、画像中の一部分を抽出し、他の画像に貼り付けることで新しい画像を生成する画像合成が広く知られている。
【０００３】
特許文献１には、撮影者も含んだ画像を生成するために、一度撮影者が被写体を撮影した後に、今度は被写体が撮影者を撮影し、２枚目画像から自動的に撮影者を抽出して、１枚目の画像に合成する技術が開示されている。  
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１０９６９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示された従来技術では、抽出される被写体が他の物体の背後にいる場合のことが考慮されていない。そのため、他の物体の背後にいる被写体を抽出し合成すると、オクルージョン領域の情報がないため、被写体がちぎれたような不自然な画像が作成されてしまう。
【０００６】
そこで、本発明の目的は、オクルージョン領域を持つ被写体を抽出し合成する際に、それを自動的に判別し、不自然な画像が作成されないようにユーザにアシストすることが可能な画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明に係る画像処理装置は、
画像から領域を抽出する領域抽出手段と、抽出領域の境界を、抽出領域より近い被写体との境界と、抽出領域より遠い被写体との境界に分類分けする境界分類分け手段と、抽出領域を別の画像に合成する合成手段と、画像内の特定の大きさのエリアごとに、距離算出を行う距離算出手段と、を有し、抽出領域を別の画像に合成する際、前記抽出領域より近い被写体との境界が、抽出画像と合成画像の境界において、抽出領域より近い被写体との境界になるようユーザにアシストすることを特徴とする。
【発明の効果】
【０００８】
本発明に係る画像処理装置によれば、オクルージョン領域を持つ被写体を抽出し合成する際に、それを自動的に判別し、不自然な画像が作成されないようにユーザにアシストすることが出来る。
【図面の簡単な説明】
【０００９】
【図１】実施例における、デジタルカメラの構成図である。
【図２】実施例１における、フローチャートである。
【図３】オクルージョン境界・非オクルージョン境界の説明図である。
【図４】実施例２における、フローチャートである。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１１】
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されても良い。また、各実施の形態を適宜組み合わせることも可能である。
【００１２】
［実施例１］
本発明の一例として、デジタルカメラを用いて説明するが、これに限定されるものではない。
【００１３】
図１はデジタルカメラ全体の構成を示すブロック図である。
【００１４】
１０１は撮影レンズ、１０２は撮像素子、１０３は画像処理部である。撮影レンズ１０１を介して入射した光は、撮像素子１０２で画像信号に変換され、画像処理部１０３へ送られる。また、撮像素子１０２は像面位相差方式による距離情報を画素毎に検出できる構成を持っているものとする。
【００１５】
画像処理部１０３は、画像信号を受け取り、画像処理を施して画像データを生成する。また、画像からの領域抽出や、新規画像への合成等の各種処理も行う機能を有する。表示部１０４はＬＣＤ表示装置であり、画像の表示を行う機能を有する。また、タッチパネルの機能を有していても良い。操作部１０５はユーザからの操作・指示を受け付けるためのインターフェースである。
【００１６】
ＣＰＵ１０６は一般的なＣＰＵであり、ＲＯＭ１０７に記録されているプログラムを実行する機能を有する。ＲＯＭ１０７は、デジタルカメラの処理プログラムや設定データを保持している。ＲＡＭ１０８は、処理中の一時的なデータを保持する機能を有する。メモリスロット１０９は記録データをメモリカード１１０に読み書きするためのインターフェースである。メモリカード１１０はメモリスロット１０９を通じて画像情報を記録されるものである。画像処理部１０３〜メモリスロット１０９はバス１１１を介して指令、情報のやり取りが可能である。
【００１７】
次に、図２のフローチャートを参照して、本発明の実施例１による、オクルージョン領域を持つ被写体を抽出し合成する際に、それを自動的に判別し、表示装置上に強調表示する例を説明する。
【００１８】
なお、図２（ａ）は被写体抽出時のフローであり、図２（ｂ）は前記抽出領域を他の画像に合成する際のフローを示している。
【００１９】
まず、ステップＳ２０１において、画像処理部１０３が画像内から被写体の領域を抽出し、ＲＡＭ１０８に記録する。なお、前記画像に関しては、撮像光学系１０１からの入射光を画像データに変換したものであり、撮像素子Ｓ２０２の像面位相差による距離情報が各画素に関連付けられているものとして説明するが、これに限定されるものではない。例えば、メモリカード１１０に保存されている画像データでも良い。また、抽出する被写体に関しては、ユーザが操作部１０５によって指定しても良いし、抽出する被写体を自動的にデジタルカメラが判別しても良く限定されない。
【００２０】
次に、ステップＳ２０２において、ＣＰＵ１０６がＲＡＭ１０８に記録された前記抽出領域の境界の判定を行う。境界の判定には、境界画素に関連付けられている距離情報を用い、抽出領域内の境界画素と抽出領域外の境界画素の距離関係によって分類分けを行う。抽出領域内の境界画素が抽出領域外の境界画素よりも距離が大きければ、それは抽出領域が他の物体の背後におり、オクルージョン領域が生じていることを示している。（以下、上記境界のことをオクルージョン境界と呼ぶ）。
【００２１】
また抽出領域内の境界画素が抽出領域外の境界画素よりも距離が小さければ、それは抽出領域よりも背後にある物体、もしくは背景との境界を示している（以下、上記境界のことを非オクルージョン境界と呼ぶ）。
【００２２】
図３（ａ）に示す画像において、点線の被写体が抽出領域を示しており、図３（ｂ）は前記抽出領域の境界におけるオクルージョン境界(実線)と非オクルージョン境界(点線)を表している。
【００２３】
以上のように、抽出領域の境界をオクルージョン境界と非オクルージョン境界に分類分けを行う。オクルージョン境界と判定された場合はステップＳ２０３へ進み、非オクルージョン境界と判定された場合はステップＳ２０４へ進む。
【００２４】
次に、ステップＳ２０３において、ＣＰＵ１０６が境界画素にオクルージョン境界という情報を関連付けし、ＲＡＭ１０８に記録する。
【００２５】
一方、ステップＳ２０４では、ＣＰＵ１０６が境界画素に非オクルージョン境界という情報を関連付けし、ＲＡＭ１０８に記録する。
【００２６】
次に、ステップＳ２０５において、ＣＰＵ１０６が抽出領域の全ての境界画素をチェックしたかを判定し、全ての境界画素をチェックしていなければ、ステップＳ２０２に戻り処理を繰り返す。そして、全ての境界画素をチェックしていた場合は、被写体抽出フローを終了する。
【００２７】
次に、図２（ｂ）を参照して、他の画像に抽出領域を合成する際のフローを説明する。      
【００２８】
まず、ステップＳ２１０において、図２（ａ）で抽出し、ＲＡＭ１０８に記録した抽出領域と合成される画像の領域の境界を判定する。ここでオクルージョン境界と判定された場合はステップＳ２１３へ進み、非オクルージョン境界と判定された場合はＳ２１１へ進む。なお、判定方法はステップＳ２０２で説明した方法と同様のため割愛する。
【００２９】
合成される画像に関しては、撮像光学系１０１からの入射光を画像データに変換したものでも良いし、メモリカード１１０に保存されている画像データでも良い。ただし、撮像素子Ｓ２０２の像面位相差による距離情報が各画素に関連付けられているものとする。また、合成位置に関しては、ユーザが操作部１０５によって指定しても良いし、合成位置を自動的にデジタルカメラが判別しても良く限定されない。
【００３０】
次に、ステップＳ２１１において、ＲＡＭ１０８に記録されている抽出領域の境界画素に関連付けられている境界情報を判定する。ここで抽出領域の境界画素にオクルージョン境界情報が関連付けられている場合は、ステップＳ２１２へ進み、非オクルージョン境界情報が関連付けられている場合はステップＳ２１３へ進む。
【００３１】
次に、ステップＳ２１２において、ＣＰＵ１０６が境界画素に不一致境界だと分かるように情報を関連付ける。
【００３２】
次に、ステップＳ２１３において、ＣＰＵ１０６が抽出領域の全ての境界画素をチェックしたかを判定し、全ての境界画素をチェックしていなければ、ステップＳ２１０に戻り処理を繰り返す。そして、全ての境界画素をチェックしていた場合は、ステップＳ２１４へ進む。
【００３３】
最後に、ステップＳ２１４において、不一致境界情報が関連付けられた画素を赤に変更して表示部１０４に表示する。ここでは、不一致境界情報を赤いラインで表示することで、ユーザに分かりやすいように強調表示させたが、他の色や、点滅させるなど、様々な手法が考えられ限定されない。
【００３４】
以上で、図２のフローチャートの説明を終了する。なお、本実施例はデジタルカメラを用いて図３（ａ）のような集合写真を撮影する際、整列中に被写体を自動的に抽出しておくことで、該被写体が画角から抜けてしまったとしても、該被写体を含んだ写真を合成できるというユースケースを想定している。そのため、例としてデジタルカメラを挙げたが、これに限定されるものではない。
【００３５】
以上説明したように、オクルージョン領域を持つ被写体を抽出し合成する際に、それを自動的に判別し表示装置上に強調表示することで、不自然な画像が作成されないようにユーザにアシストすることができる。
【００３６】
［実施例２］
以下、図４を参照して、本発明の実施例２による、不一致境界がなくなるよう自動的に合成位置を調整する処理について説明する。
【００３７】
なお、抽出フローに関しては図２（ａ）と同一なため、説明を割愛し、合成フローの説明を行う。
【００３８】
まず、ステップＳ４１０〜ステップＳ４１３は、実施例１のフローチャート図２（ｂ）における、ステップＳ２１０〜ステップＳ２１３と同様の処理を行うため、説明は省略する。
【００３９】
次にステップＳ４１４において、ＣＰＵ１０６が不一致境界情報が抽出領域の境界画素に関連づいているか否かを判定する。不一致境界情報があると判定されるとステップＳ４１５へ進み、不一致境界情報がないと判定されるとステップＳ４２０へ進む。
【００４０】
次にステップＳ４１５において、抽出領域のオクルージョン境界情報が関連付けされている画素をＸ方向・Ｙ方向に移動させる。ここで、移動方法は１画素ずつずらしても良いし、数画素ずつずらしても良く限定されない。
【００４１】
次にステップＳ４１６において、ＣＰＵ１０６が閾値以上抽出領域のオクルージョン境界座標を移動させたかを判定する。移動させていればステップＳ４１７へ進み、移動させていなければステップＳ４１４へ戻り、新たな座標に置いて不一致境界がなくなったか否かを判定する処理を繰り返す。
【００４２】
次にステップＳ４１７において、表示部１０４に「合成位置を指定して下さい」と表示し、ユーザに処理を委ねる。
【００４３】
次にステップＳ４１８において、操作部１０５を用いてユーザが合成位置を指定する。ここで、表示部１０４にタッチパネルが付属している場合は、ユーザはそれを用いて指定しても良く限定されない。
【００４４】
次にステップＳ４１９において、ステップＳ４１８で表示部１０４上のユーザが指定した場所に抽出領域を表示し、処理を終了する。
【００４５】
次にステップＳ４１４において、不一致境界がなくなったと判定された場合は、ステップＳ４２０において、抽出した領域を表示部１０４に表示し、処理を終了する。
【００４６】
以上で、図４のフローチャートの説明を終了する。以上説明したように、抽出領域のオクルージョン境界の座標を移動させて、逐次不一致境界がなくなったか否かを判定することで、自動的に合成位置を調整することができる。
【００４７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４８】
１０１  撮像光学系、１０２  撮像素子、１０３  画像処理部、１０４  表示部、
１０５  操作部、１０６  ＣＰＵ、１０７  ＲＯＭ、１０８  ＲＡＭ、
１０９  メモリスロット、１１０  メモリカード、１１１  バス
【図１】
2017220768.tif 000003
【図２】
2017220768.tif 000004
【図３】
2017220768.tif 000005
【図４】
2017220768.tif 000006