(57)【要約】【課題】２つのカメラ装置でそれぞれ撮影した画像データを合成して同一画面上に表示させるための合成画像を生成する際に、それぞれの画像データに含まれる被写体間の注目方向を把握しやすいように各画像データの配置位置を決定する画像配置位置決定装置を提供する。【解決手段】画像配置位置決定装置は、第１の被写体の第１の画像上における向きと、第２の被写体の第２の画像上における向きとに基づき、前記第１の画像の上に前記第２の画像を重ねた合成画像を生成する場合の前記第１の画像上における前記第２の画像の配置位置を決定する。【選択図】図１
2019057885.tif 000002
【特許請求の範囲】
【請求項１】
第１の被写体の第１の画像上における向きと、第２の被写体の第２の画像上における向きとに基づき、前記第１の画像の上に前記第２の画像を重ねた合成画像を生成する場合の前記第１の画像上における前記第２の画像の配置位置を決定する配置位置決定部を有する
ことを特徴とする画像配置位置決定装置。
【請求項２】
前記配置位置決定部は、前記第１の被写体の前記第１の画像上における向きと前記第２の被写体の前記第２の画像上における向きとが向かい合うように、必要に応じて前記第２の画像を反転させる
ことを特徴とする請求項１に記載の画像配置位置決定装置。
【請求項３】
前記配置位置決定部は、前記第２の被写体が、前記第１の被写体の方を向いているか否かを示す対向情報を取得し、前記第１の被写体の前記第１の画像上における向きと、前記第２の被写体の前記第２の画像上における向きと、前記取得した対向情報とに基づいて、前記第１の画像上における前記第２の画像の配置位置を決定する
ことを特徴とする請求項１または請求項２に記載の画像配置位置決定装置。
【請求項４】
前記配置位置決定部は、前記第１の被写体が前記第２の被写体の方を向いていないことを示す対向情報が取得されたときには、前記第１の被写体の前記第１の画像上における向きと前記第２の被写体の前記第２の画像上における向きとが向かい合わないように、前記第１の画像上における前記第２の画像の配置位置を決定する
ことを特徴とする請求項３に記載の画像配置位置決定装置。
【請求項５】
第１の被写体を撮影する第１カメラ装置と、
第２の被写体を撮影する第２カメラ装置と、
前記第１カメラ装置で撮影した前記第１の被写体の第１の画像上における向きを判定する第１画像判定部と、
前記第２カメラ装置で撮影した前記第２の被写体の第２の画像上における向きを判定する第２画像判定部と、
前記第２の画像を反転させた第３の画像を生成する画像反転部と、
前記第１画像判定部で判定された前記第１の被写体の前記第１の画像上における向きと、前記第２画像判定部で判定された前記第２の被写体の前記第２の画像上における向きとに基づき、前記第１の被写体の前記第１の画像上における向きと前記第２の被写体の前記第２の画像上における向きとが向かい合うように前記第１の画像上における前記第２の画像の配置位置を決定する配置位置決定部と、
前記配置位置決定部で前記第１の画像上における前記第２の画像の配置位置が決定されたときには、当該配置位置に基づき、前記第１の画像の上に前記第２の画像を重ねた合成画像を生成し、前記第１の画像上における前記第３の画像の配置位置が決定されたときには、当該配置位置に基づき、前記第１の画像の上に前記第３の画像を重ねた合成画像を生成する画像合成部と、
を備え、
前記配置位置決定部は、前記第１の被写体の前記第１の画像上における向きと前記第２の被写体の前記第２の画像上における向きとが向かい合わない場合には、前記第２の画像を反転させた第３の画像を生成し、前記第１の被写体の前記第１の画像上における向きと前記第２の被写体の前記第３の画像上における向きとが向かい合うように前記第１の画像上における前記第３の画像の配置位置を決定することを特徴とする画像処理装置。
【請求項６】
画像処理装置が、
第１の被写体の第１の画像上における向きと、第２の被写体の第２の画像上における向きとに基づき、前記第１の画像上における前記第２の画像の配置位置を決定し、決定した配置位置に基づいて、前記第１の画像の上に前記第２の画像を重ねた合成画像を生成する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つのカメラ装置でそれぞれ撮影した画像を合成して、同一画面上に表示させるための画像配置位置決定装置、画像処理装置、および画像処理方法に関する。
【背景技術】
【０００２】
従来、メインカメラ装置とサブカメラ装置とを備えた画像処理装置において、メインカメラ装置で撮影した画像データ上に、サブカメラ装置で撮影した画像データを子画面として重ね合わせた合成画像データを生成する技術（Picture In Picture : ＰＩＰ）がある。この画像処理装置を用いることにより、例えば、スポーツをする子供を撮影した映像上に、この子供を応援する親を撮影した映像を子画面として表示させて楽しむことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−７３１５５公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した画像処理装置において、通常は、メインカメラ装置で撮影している被写体を見ている人を、サブカメラ装置で撮影することを前提としている。しかし、従来のＰＩＰ技術で合成画像を生成する際には、それぞれの画像に含まれる被写体が持つ方向性を考慮して画像の配置位置を決定していない。そのため、合成画像の構図が撮影者にとって好ましいものではない場合があるという問題があった。
【０００５】
本発明は、好ましい構図の合成画像が生成されるように各画像の配置位置を決定する画像配置位置決定装置、画像処理装置、および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するための本発明の画像配置位置決定装置は、第１の被写体の第１の画像上における向きと、第２の被写体の第２の画像上における向きとに基づき、前記第１の画像の上に前記第２の画像を重ねた合成画像を生成する場合の前記第１の画像上における前記第２の画像の配置位置を決定する配置位置決定部を有することを特徴とする。
【０００７】
また、本発明の画像処理装置は、第１の被写体を撮影する第１カメラ装置と、第２の被写体を撮影する第２カメラ装置と、前記第１カメラ装置で撮影した前記第１の被写体の第１の画像上における向きを判定する第１画像判定部と、前記第２カメラ装置で撮影した前記第２の被写体の第２の画像上における向きを判定する第２画像判定部と、前記第２の画像を反転させた第３の画像を生成する画像反転部と、前記第１画像判定部で判定された前記第１の被写体の前記第１の画像上における向きと、前記第２画像判定部で判定された前記第２の被写体の前記第２の画像上における向きとに基づき、前記第１の被写体の前記第１の画像上における向きと前記第２の被写体の前記第２の画像上における向きとが向かい合うように前記第１の画像上における前記第２の画像の配置位置を決定する配置位置決定部と、前記配置位置決定部で前記第１の画像上における前記第２の画像の配置位置が決定されたときには、当該配置位置に基づき、前記第１の画像の上に前記第２の画像を重ねた合成画像を生成し、前記第１の画像上における前記第３の画像の配置位置が決定されたときには、当該配置位置に基づき、前記第１の画像の上に前記第３の画像を重ねた合成画像を生成する画像合成部とを備え、前記配置位置決定部は、前記第１の被写体の前記第１の画像上における向きと前記第２の被写体の前記第２の画像上における向きとが向かい合わない場合には、前記第２の画像を反転させた第３の画像を生成し、前記第１の被写体の前記第１の画像上における向きと前記第２の被写体の前記第３の画像上における向きとが向かい合うように前記第１の画像上における前記第３の画像の配置位置を決定することを特徴とする。
【０００８】
また、本発明の画像処理方法は、画像処理装置が、第１の被写体の第１の画像上における向きと、第２の被写体の第２の画像上における向きとに基づき、前記第１の画像上における前記第２の画像の配置位置を決定し、決定した配置位置に基づいて、前記第１の画像の上に前記第２の画像を重ねた合成画像を生成することを特徴とする。
【発明の効果】
【０００９】
本発明の画像配置位置決定装置、画像処理装置、および画像処理方法によれば、好ましい構図の合成画像が生成されるように各画像データの配置位置が決定される。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態による画像処理装置の構成を示すブロック図である。
【図２】本発明の第1実施形態による画像処理装置の動作を示すフローチャートである。
【図３】本発明の第1実施形態による画像処理装置の配置ルール情報記憶部に記憶される配置ルール情報(1)を示す表である。
【図４】（ａ）〜（ｄ）はそれぞれ、本発明の第１実施形態による画像処理装置で生成される合成画像の例である。
【図５】本発明の第１実施形態による画像処理装置の配置ルール情報記憶部に記憶される配置ルール情報(2)を示す表である。
【図６】本発明の第１実施形態による画像処理装置の画像表示部に表示される選択メニューの一例である。
【図７】本発明の第１実施形態による画像処理装置の配置ルール情報記憶部に記憶される配置ルール情報(3)を示す表である。
【図８】本発明の第１実施形態による画像処理装置で生成される合成画像の例である。
【図９】本発明の第２実施形態による画像処理装置の構成を示すブロック図である。
【図１０】本発明の第２実施形態による画像処理装置の動作を示すフローチャートである。
【図１１】本発明の第２実施形態による画像処理装置の配置ルール情報記憶部に記憶される配置ルール情報(4)を示す表である。
【図１２】（ａ）〜（ｄ）はそれぞれ、本発明の第２実施形態による画像処理装置で生成される合成画像の例である。
【発明を実施するための形態】
【００１１】
以下に、本発明の第１および第２実施形態について説明する。第１および第２実施形態では、メインカメラ部とサブカメラ部とを備えた画像処理装置において、メインカメラ部で被写体ｘを撮影した画像データＸ上に、サブカメラ部で被写体ｙを撮影した画像データＹを子画面として重ね合わせて、合成画像を生成する場合について説明する。
【００１２】
《第１実施形態》
〈第１実施形態による画像処理装置の構成〉
本発明の第１実施形態による画像処理装置の構成について、図１を参照して説明する。本実施形態による画像処理装置１Ａは、例えば表示モニタを備えたビデオカメラ装置であり、操作部１１と、メインカメラ部１２と、サブカメラ部１３と、制御部１４Ａと、配置ルール情報記憶部１５と、画像表示部１６と、画像記録部１７とを有する。
【００１３】
操作部１１は、当該画像処理装置１Ａに搭載された機能に関するユーザの操作を検知し、該当する操作情報を入力する。メインカメラ部１２は、レンズおよび撮像素子（図示せず）を有し、操作部１１から入力される操作情報に基づいて第１の被写体である被写体ｘを撮影して第１画像データＸを生成する。サブカメラ部１３は、レンズおよび撮像素子（図示せず）を有し、操作部１１から入力される操作情報に基づいて第２の被写体である被写体ｙを撮影して第２画像データＹを生成する。本実施形態において、被写体ｘおよび被写体ｙは人物である。
【００１４】
制御部１４Ａは、第１画像判定部１４１と、第２画像判定部１４２と、判定情報取得部１４３Ａと、配置位置決定部１４４Ａと、画像反転部１４５と、画像合成部１４６とを有する。
【００１５】
第１画像判定部１４１は、メインカメラ部１２で生成された第１画像データＸを取得し、第１画像データＸ上における被写体ｘの向きを判定する。この判定処理では、例えば、既知の技術、例えば、特許文献１に記載の技術を用いて第１画像データＸを解析することにより被写体ｘの視線方向または顔の向きを認識し、認識した情報に基づいて当該第１画像データＸ内で被写体ｘが右向きであるか、左向きであるかを判定する。第２画像判定部１４２は、サブカメラ部１３で生成された第２画像データＹを取得し、同様に、第２画像データＹ上における被写体ｙの向きを判定する。判定情報取得部１４３Ａは、第１画像判定部１４１で判定された被写体ｘの向きの情報、および第２画像判定部１４２で判定された被写体ｙの向きの情報を取得する。
【００１６】
配置位置決定部１４４Ａは、判定情報取得部１４３Ａで取得された被写体ｘの向きの情報および被写体ｙの向きの情報と、後述する配置ルール情報記憶部１５に記憶された情報とに基づいて、第１画像データＸ上における第２画像データＹの配置位置を決定する。画像反転部１４５は、サブカメラ部１３で生成された第２画像データＹを左右方向に反転させた第３の画像データＺを生成する。画像合成部１４６は、配置位置決定部１４４Ａで決定された配置位置に基づいて、第１画像データＸ上に、第２画像データＹまたは第３画像データＺを子画面として重ね合わせた合成画像を生成する。
【００１７】
配置ルール情報記憶部１５は、第１画像データＸと第２画像データＹとの合成画像を生成する際の、第１画像データＸ上における第２画像データＹの配置位置を決定するための配置ルール情報を記憶する。
【００１８】
画像表示部１６は例えば液晶モニタで構成され、画像合成部１４６で生成された合成画像を表示する。画像記録部１７は例えばハードディスクまたはＳＤメモリカード等で構成され、画像合成部１４６で生成された合成画像を記録する。
【００１９】
〈第１実施形態による画像処理装置の動作〉
次に、本実施形態による画像処理装置１Ａの動作について、図２のフローチャートを参照して説明する。本実施形態においては、被写体ｘがメインの被写体「子供」であり、被写体ｙは被写体ｘ「子供」を見ているサブの被写体「父親」である場合を例に説明する。
【００２０】
まず、ユーザが操作部１１で通常の撮影を指示するための操作を行うと（Ｓ１の「YES」）、当該操作情報がメインカメラ部１２および制御部１４Ａに入力される。メインカメラ部１２は、操作部１１から通常の撮影を指示する操作情報を取得すると、被写体ｘ「子供」の撮影を開始する（Ｓ２）。メインカメラ部１２は、撮影により第１画像データＸを生成し、画像合成部１４６に送出する。画像合成部１４６は、取得した第１画像データＸの画像合成処理は行わずそのまま画像表示部１６および画像記録部１７に送出する。画像表示部１６は、取得した第１画像データＸを表示する。また、画像記録部１７は、取得した第１画像データＸを記録する（Ｓ３）。
【００２１】
次に、ユーザが操作部１１で、１つの画像データ上の一部エリアに他の画像データを子画面として重ね合わせるＰＩＰによる合成画像の生成を指示する操作を行うと（Ｓ４の「YES」）、当該操作情報がメインカメラ部１２、サブカメラ部１３、および制御部１４Ａに入力される。操作部１１からＰＩＰによる合成画像の生成を指示する操作情報が入力されると、メインカメラ部１２で被写体ｘ「子供」の撮影が継続されつつ、サブカメラ部１３で被写体ｙ「父親」の撮影が開始される（Ｓ５）。
【００２２】
次に、制御部１４Ａの第１画像判定部１４１が、メインカメラ部１２で生成された第１画像データＸを取得し、第１画像データＸ上における被写体ｘ「子供」の向きを判定する。また、第２画像判定部１４２が、サブカメラ部１３で生成された第２画像データＹを取得し、同様に、第２画像データＹ上における被写体ｙ「父親」の向きを判定する（Ｓ６）。
【００２３】
第１画像判定部１４１で判定された被写体ｘ「子供」の向きの情報、および第２画像判定部１４２で判定された被写体ｙ「父親」の向きの情報は、判定情報取得部１４３Ａで取得された後、配置位置決定部１４４Ａに送出される。
【００２４】
配置位置決定部１４４Ａは、判定情報取得部１４３Ａから取得した被写体ｘ「子供」の向きの情報および被写体ｙ「父親」の向きの情報と、配置ルール情報記憶部１５に記憶された情報とに基づいて、第１画像データＸ上における第２画像データＹの配置位置を決定する（Ｓ７）。
【００２５】
第２画像データＹの配置位置が決定されると、画像合成部１４６は、配置位置決定部１４４Ａで決定された配置位置に基づいて、第１画像データＸ上に第２画像データＹを子画面として重ね合わせた合成画像を生成する。
【００２６】
配置ルール情報記憶部１５に記憶される配置ルール情報の例、および当該配置ルール情報により決定された配置位置に基づいて生成される合成画像の例について、以下の３つのパターンで説明する。
【００２７】
［パターン１；配置ルール情報(1)およびこれに基づいて生成される合成画像例］
配置ルール情報記憶部１５に記憶される配置ルール情報(1)の例を図３に示し、この配置ルール情報(1)に基づいて生成される合成画像の例を、図４（ａ）〜（ｄ）に示す。
【００２８】
図３の配置ルール情報(1)では、被写体ｘが左向きであり被写体ｙが左向きの場合は、第２画像データＹを第１画像データＸ上の右側に配置することが決められている。この場合、図４（ａ）に示すように、第２画像データＹを第１画像データＸ上の被写体ｘの右側に配置した合成画像が生成される。
【００２９】
また、被写体ｘが左向きであり被写体ｙが右向きの場合は、第２画像データＹを第１画像データＸ上の左側に配置することが決められている。この場合、図４（ｂ）に示すように、第２画像データＹを第１画像データＸ上の被写体ｘの左側に配置した合成画像が生成される。
【００３０】
被写体ｘが右向きであり被写体ｙが左向きの場合は、第２画像データＹを第１画像データＸ上の右側に配置することが決められている。この場合、図４（ｃ）に示すように、第２画像データＹを第１画像データＸ上の被写体ｘの右側に配置した合成画像が生成される。
【００３１】
また、配置ルール情報(1)では、被写体ｘが右向きであり被写体ｙが右向きの場合は、第２画像データＹを第１画像データＸ上の左側に配置することが決められている。この場合、図４（ｄ）に示すように、第２画像データＹを第１画像データＸ上の被写体ｘの左側に配置した合成画像が生成される。
【００３２】
このように、配置ルール情報(1)に基づいて合成画像が生成されることにより、サブカメラ部１３で撮影した被写体ｙが、メインカメラ部１２で撮影した被写体ｘを注目しているように画像データが配置される。
【００３３】
［パターン２；配置ルール情報(2)およびこれに基づいて生成される合成画像例］
配置ルール情報記憶部１５に記憶される配置ルール情報(2)の例を、図５に示す。図５の配置ルール情報(2)では、被写体ｘと被写体ｙとの双方が左向きの場合、または被写体ｘと被写体ｙとの双方が右向きの場合、つまり第２画像データＹを第１画像データＸ上の左右どちら側に配置しても画像上で被写体ｘと被写体ｙとが向かい合わない場合は、第１画像データＸ上のユーザにより選択された位置に第２画像データＹを配置することが決められている。
【００３４】
ここで、ユーザに選択された位置に第２画像データＹを配置させる際には、図６に示すような選択メニューＭを画像表示部１６に表示させることにより、子画面（第２画像データＹ）の配置位置（画面の左上、左下、右上、または右下）をユーザに選択操作させる。
【００３５】
また、被写体ｘが左向きであり被写体ｙが右向きの場合は、パターン１の場合と同様に、第２画像データＹを第１画像データＸ上の左側に配置することが決められており、図４（ｂ）に示すように合成画像が生成される。
【００３６】
また、被写体ｘが右向きであり被写体ｙが左向きの場合は、パターン１の場合と同様に、第２画像データＹを第１画像データＸ上の右側に配置することが決められており、図４（ｃ）に示すように合成画像が生成される。
【００３７】
このような配置ルール情報(2)に基づいて合成画像が生成されることにより、サブカメラ部１３で撮影した被写体ｙとメインカメラ部１２で撮影した被写体ｘとが向かい合わないときには、ユーザに配置位置を選択させることで、ユーザにとって好ましいＰＩＰの合成画像を生成することができる。
【００３８】
［パターン３；配置ルール情報(3)およびこれに基づいて生成される合成画像例］
配置ルール情報記憶部１５に記憶される配置ルール情報(3)の例を、図７に示す。図７の配置ルール情報(3)では、被写体ｘと被写体ｙとの双方が左向きの場合は、第２画像データＹを左右方向に反転させた上で、第１画像データＸ上の左側に配置することが決められている。理由としては、第２画像データＹを第１画像データＸ上の左右どちら側に並べても画像上で被写体ｘと被写体ｙとが向かい合わないからである。
【００３９】
この情報に基づいて配置位置決定部１４４Ａで画像データの配置位置が決定された際には、画像反転部１４５により、サブカメラ部１３で生成された第２画像データＹが左右方向に反転された第３の画像データＺが生成され、画像合成部１４６に送出される。画像合成部１４６は、配置位置決定部１４４Ａで決定された配置位置に基づいて、第２画像データＹに換えて第３画像データＺを用いて、図４（ｂ）と同様の合成画像を生成する。
【００４０】
同様の理由で、被写体ｘと被写体ｙとの双方が右向きの場合は、第２画像データＹを左右方向に反転させた上で、第１画像データＸ上の右側に配置することが決められている。
【００４１】
これらの情報に基づいて配置位置決定部１４４Ａで画像データの配置位置が決定された際にも、同様に画像反転部１４５で第３の画像データＺが生成され、画像合成部１４６に送出される。画像合成部１４６は、配置位置決定部１４４Ａで決定された配置位置に基づいて、第２画像データＹに換えて第３画像データＺを用いて、図４（ｃ）と同様の合成画像を生成する。
【００４２】
また、被写体ｘが左向きであり被写体ｙが右向きの場合は、パターン１の場合と同様に、第２画像データＹを第１画像データＸ上の左側に配置することが決められており、図４（ｂ）に示すように合成画像が生成される。
【００４３】
また、被写体ｘが右向きであり被写体ｙが左向きの場合は、パターン１の場合と同様に、第２画像データＹを第１画像データＸ上の右側に配置することが決められており、図４（ｃ）に示すように合成画像が生成される。
【００４４】
このような配置ルール情報(3)に基づいて上述したように合成画像を生成することにより、サブカメラ部１３で撮影した被写体とメインカメラ部１２で撮影した被写体とが常に向かい合うような構図で、ＰＩＰによる合成画像を生成することができる。
【００４５】
また、図７の配置ルール情報(3)に基づいて画像データの配置位置を決定する際に、サブカメラ部１３で撮影した被写体とメインカメラ部１２で撮影した被写体とが向かい合わないときに、図８に示すように、第２画像データＹを１８０°回転させた上で、第１画像データＸ上の上側の被写体ｘと被写体ｙとが向かい合う位置に配置するようにしてもよい。
【００４６】
生成された合成画像は、画像表示部１６に表示され、また、画像記録部１７に記録される（Ｓ８）。
【００４７】
以上の第１実施形態によれば、ユーザがＰＩＰによる撮影を指示する操作を行ったときに、被写体ｙが被写体ｘを注目していることが見ている人に伝わるような構図で、ＰＩＰによる合成画像が生成されるため、例えば「父親が子供を応援している」様子が見ている人に伝わるような画像を表示させることができる。
【００４８】
《第２実施形態》
〈第２実施形態による画像処理装置の構成〉
本発明の第２実施形態による画像処理装置１Ｂの構成について、図９を参照して説明する。本実施形態による画像処理装置１Ｂは、パン・チルト機構部１８を備え、また、制御部１４Ｂ内に対向判定部１４７を備える他は、第１実施形態で説明した画像処理装置１Ａの構成と同様であるため、同一機能を有する部分の詳細な説明は省略する。
【００４９】
パン・チルト機構部１８は、操作部１１から入力されるパン・チルト制御に関する操作情報に基づいて、サブカメラ部１３のレンズの向きを制御する。
【００５０】
対向判定部１４７は、パン・チルト機構部１８の制御状態より、メインカメラ部１２の撮像方向に対するサブカメラ部１３の撮像方向の相対的な角度を取得する。また対向判定部１４７は、第１画像判定部１４１で判定された第１画像データＸ上における被写体ｘの向きの情報、および第２画像判定ｂ１４２で判定された第２画像データＹ上における被写体ｙの向きの情報を取得する。対向判定部１４７は、上記取得した角度と被写体ｘ、ｙの向きより、サブカメラ部１３で撮像した被写体ｙがメインカメラ部１２で撮像した被写体ｘの方に向いているか否かを判定する。
【００５１】
判定情報取得部１４３Ｂは、第１画像判定部１４１で判定された被写体ｘの向きの情報、第２画像判定部１４２で判定された被写体ｙの向きの情報、および対向判定部１４７で判定された被写体ｙが被写体ｘの方を向いているか否かを示す情報を取得する。
【００５２】
配置位置決定部１４４Ｂは、判定情報取得部１４３Ｂで取得された被写体ｘの向きの情報および被写体ｙとの向きの情報と、被写体ｙが被写体ｘの方を向いているか否かを示す情報と、配置ルール情報記憶部１５に記憶された情報とに基づいて、第１画像データＸ上に第２画像データＹを重ね合わせた合成画像データを生成する場合の第１画像データＸ上における第２画像データＹの配置位置を決定する。
【００５３】
〈第２実施形態による画像処理装置の動作〉
次に、本実施形態による画像処理装置１Ｂの動作について、図１０のフローチャートを参照して説明する。本実施形態において、ステップＳ１〜Ｓ６で実行される処理は、第１実施形態で説明した処理と同様であるため、詳細な説明は省略する。
【００５４】
ステップＳ６において判定された被写体ｘ「子供」の向きの情報および被写体ｙ「父親」の向きの情報は、対向判定部１４７で取得される。また、対向判定部１４７は、メインカメラ部１２の位置情報、サブカメラ部１３の位置情報、メインカメラ部１２から被写体ｘまでの距離の情報、およびサブカメラ部１３から被写体ｙまでの距離の情報を取得する。また、対向判定部１４７は、パン・チルト機構部１８により制御されたサブカメラ部１３のレンズの向きの情報に基づいて、メインカメラ部１２の固定された撮像方向に対するサブカメラ部１３の撮像方向の相対的な角度を取得する。
【００５５】
そして、取得したこれらの情報に基づいて、対向判定部１４７は、被写体ｙ「父親」が被写体ｘ「子供」の方を向いているか否かを判定する（Ｓ９）。
【００５６】
第１画像判定部１４１で判定された被写体ｘの向きの情報、第２画像判定部１４２で判定された被写体ｙの向きの情報、および被写体ｙが被写体ｘの方を向いているか否かを示す情報は、判定情報取得部１４３Ｂで取得され、配置位置決定部１４４Ｂに送出される。
【００５７】
配置位置決定部１４４Ｂは、判定情報取得部１４３Ｂから取得した被写体ｘ「子供」の向きの情報および被写体ｙ「父親」の向きの情報と、被写体ｙが被写体ｘの方を向いているか否かを示す情報と、配置ルール情報記憶部１５に記憶された情報とに基づいて、第１画像データＸ上に第２画像データＹを重ね合わせた合成画像データを生成する場合の第１画像データＸ上における第２画像データＹの配置位置を決定する（Ｓ１０）。
【００５８】
第２画像データＹの配置位置が決定されると、画像合成部１４６は、配置位置決定部１４４Ｂで決定された配置位置に基づいて、第１画像データＸ上に第２画像データＹを子画面として重ね合わせた合成画像を生成する。
【００５９】
配置ルール情報記憶部１５に記憶される配置ルール情報の例、および当該配置ルール情報から決定された配置位置に基づいて生成される合成画像の例について説明する。
【００６０】
本実施形態において配置ルール情報記憶部１５に記憶された配置ルール情報(4)の例を、図１１に示す。図１１の配置ルール情報(4)では、被写体ｘが左向きであり、被写体ｙが左向きであり、被写体ｙが被写体ｘの方を向いている場合は、第２画像データＹを第１画像データＸ上の右側に配置することが決められている。この場合、図４（ａ）に示すように、第２画像データＹを第１画像データＸ上の被写体ｘの右側に配置した合成画像が生成される。
【００６１】
また、被写体ｘが左向きであり、被写体ｙが左向きであり、被写体ｙが被写体ｘの方を向いていない場合は、第２画像データＹを第１画像データＸ上の左側に配置することが決められている。この場合、図１２（ａ）に示すように、第２画像データＹを第１画像データＸ上の被写体ｘの左側に配置した合成画像が生成される。
【００６２】
被写体ｘが左向きであり、被写体ｙが右向きであり、被写体ｙが被写体ｘの方を向いている場合は、第２画像データＹを第１画像データＸ上の左側に配置することが決められている。この場合、図４（ｂ）に示すように、第２画像データＹを第１画像データＸ上の被写体ｘの左側に配置した合成画像が生成される。
【００６３】
被写体ｘが左向きであり、被写体ｙが右向きであり、被写体ｙが被写体ｘの方を向いていない場合は、第２画像データＹを第１画像データＸ上の右側に配置することが決められている。この場合、図１２（ｂ）に示すように、第２画像データＹを第１画像データＸ上の被写体ｘの右側に配置した合成画像が生成される。
【００６４】
被写体ｘが右向きであり、被写体ｙが左向きであり、被写体ｙが被写体ｘの方を向いている場合は、第２画像データＹを第１画像データＸ上の右側に配置することが決められている。この場合、図４（ｃ）に示すように、第２画像データＹを第１画像データＸ上の被写体ｘの右側に配置した合成画像が生成される。
【００６５】
被写体ｘが右向きであり、被写体ｙが左向きであり、被写体ｙが被写体ｘの方を向いていない場合は、第２画像データＹを第１画像データＸ上の左側に配置することが決められている。この場合、図１２（ｃ）に示すように、第２画像データＹを第１画像データＸ上の被写体ｘの左側に配置した合成画像が生成される。
【００６６】
被写体ｘが右向きであり、被写体ｙが右向きであり、被写体ｙが被写体ｘの方を向いている場合は、第２画像データＹを第１画像データＸ上の左側に配置することが決められている。この場合、図４（ｄ）に示すように、第２画像データＹを第１画像データＸ上の被写体ｘの左側に配置した合成画像が生成される。
【００６７】
被写体ｘが右向きであり、被写体ｙが右向きであり、被写体ｙが被写体ｘの方を向いていない場合は、第２画像データＹを第１画像データＸ上の右側に配置することが決められている。この場合、図１２（ｄ）に示すように、第２画像データＹを第１画像データＸ上の被写体ｘの右側に配置した合成画像が生成される。
【００６８】
このように合成画像が生成されることにより、サブカメラ部１３で撮影した被写体ｙがメインカメラ部１２で撮影した被写体ｘの方を実際に向いている場合には、被写体ｙの向きと被写体ｘの向きとが向かい合うように合成画像が生成され、被写体ｙが被写体ｘの方を実際には向いていない場合には、被写体ｙの向きと被写体ｘの向きとが向かい合わないように合成画像が生成される。
【００６９】
生成された合成画像は、画像表示部１６に表示され、また、画像記録部１７に記録される（Ｓ１１）。
【００７０】
以上の第２実施形態によれば、ユーザがＰＩＰによる合成画像の生成を指示する操作を行ったときに、被写体ｙが実際に被写体ｘの方を向いているか否かが見ている人に伝わるような構図で、ＰＩＰによる合成画像を生成することができる。
【００７１】
上述した第１および第２実施形態では、画像処理装置１Ａ、１Ｂ内にメインカメラ部１２およびサブカメラ部１３が内蔵された場合について説明したが、いずれか一方または双方のカメラ部が画像処理装置１Ａ、１Ｂの外部に設置されていてもよい。この場合、外部に設置されたカメラ部と画像処理装置１Ａ、１Ｂとは信号線で接続され、カメラ部で撮影された画像データが画像処理装置１Ａ、１Ｂで取得されて合成画像の生成処理に用いられる。
【符号の説明】
【００７２】
１Ａ，１Ｂ  画像処理装置
１１  操作部
１２  メインカメラ部
１３  サブカメラ部
１４Ａ，１４Ｂ  制御部
１５  配置ルール情報記憶部
１６  画像表示部
１７  画像記録部
１８  パン・チルト機構部
１４１  第１画像判定部
１４２  第２画像判定部
１４３Ａ，１４３Ｂ  判定情報取得部
１４４Ａ，１４４Ｂ  配置位置決定部
１４５  画像反転部
１４６  画像合成部
１４７  対向判定部
【図１】
2019057885.tif 000003
【図２】
2019057885.tif 000004
【図３】
2019057885.tif 000005
【図４】
2019057885.tif 000006
【図５】
2019057885.tif 000007
【図６】
2019057885.tif 000008
【図７】
2019057885.tif 000009
【図８】
2019057885.tif 000010
【図９】
2019057885.tif 000011
【図１０】
2019057885.tif 000012
【図１１】
2019057885.tif 000013
【図１２】
2019057885.tif 000014
【手続補正書】
【提出日】平成30年5月31日(2018.5.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の被写体の第１の画像上における第１の向きと、第２の被写体の第２の画像上における第２の向きとに基づき、前記第１の画像の上に前記第２の画像を重ねた合成画像を生成する場合の前記第１の画像上における前記第２の画像の配置位置を決定する配置位置決定部を有することを特徴とする画像配置位置決定装置。
【請求項２】
前記配置位置決定部は、必要に応じて、前記第２の向きを反転させた第３の向きと前記第１の向きとに基づき、前記第１の画像の上に前記第２の画像を反転させた第３の画像を重ねた合成画像を生成する場合の前記第１の画像上における前記第３の画像の配置位置を決定することを特徴とする請求項１に記載の画像配置位置決定装置。
【請求項３】
前記配置位置決定部は、前記第２の被写体が、前記第１の被写体の方を向いているか否かを示す対向情報を取得し、前記第１の被写体の前記第１の画像上における向きと、前記第２の被写体の前記第２の画像上における向きと、前記取得した対向情報とに基づいて、前記第１の画像上における前記第２の画像の配置位置を決定することを特徴とする請求項１または請求項２に記載の画像配置位置決定装置。
【請求項４】
前記配置位置決定部は、前記第２の被写体が前記第１の被写体の方を向いていないことを示す対向情報が取得されたときには、前記第１の被写体の前記第１の画像上における向きと前記第２の被写体の前記第２の画像上における向きとが向かい合わないように、前記第１の画像上における前記第２の画像の配置位置を決定することを特徴とする請求項３に記載の画像配置位置決定装置。
【請求項５】
第１の被写体を撮影する第１カメラ装置と、
第２の被写体を撮影する第２カメラ装置と、
前記第１カメラ装置で撮影した前記第１の被写体の第１の画像上における向きを判定する第１画像判定部と、
前記第２カメラ装置で撮影した前記第２の被写体の第２の画像上における向きを判定する第２画像判定部と、
前記第２の画像を反転させた第３の画像を生成する画像反転部と、
前記第１画像判定部で判定された前記第１の被写体の前記第１の画像上における第１の向きと、前記第２画像判定部で判定された前記第２の被写体の前記第２の画像上における第２の向きとに基づき、前記第１の被写体の前記第１の画像上における向きと前記第２の被写体の前記第２の画像上における向きとが向かい合うように前記第１の画像上における前記第２の画像の配置位置を決定する配置位置決定部と、
前記配置位置決定部で前記第１の画像上における前記第２の画像の配置位置が決定されたときには、当該配置位置に基づき、前記第１の画像の上に前記第２の画像を重ねた合成画像を生成し、前記第１の画像上における前記第３の画像の配置位置が決定されたときには、当該配置位置に基づき、前記第１の画像の上に前記第３の画像を重ねた合成画像を生成する画像合成部と、
を備え、
前記配置位置決定部は、必要に応じて、前記第２の向きを反転させた第３の向きと前記第１の向きとに基づき、前記第１の画像の上に前記第２の画像を反転させた第３の画像を重ねた合成画像を生成する場合の前記第１の画像上における前記第３の画像の配置位置を決定することを特徴とする画像処理装置。
【請求項６】
画像処理装置が、
第１の被写体の第１の画像上における第１の向きと、第２の被写体の第２の画像上における第２の向きとに基づき、前記第１の画像上における前記第２の画像の配置位置を決定し、決定した配置位置に基づいて、前記第１の画像の上に前記第２の画像を重ねた合成画像を生成することを特徴とする画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記目的を達成するための本発明の画像配置位置決定装置は、第１の被写体の第１の画像上における第１の向きと、第２の被写体の第２の画像上における第２の向きとに基づき、前記第１の画像の上に前記第２の画像を重ねた合成画像を生成する場合の前記第１の画像上における前記第２の画像の配置位置を決定する配置位置決定部を有することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
また、本発明の画像処理装置は、第１の被写体を撮影する第１カメラ装置と、第２の被写体を撮影する第２カメラ装置と、前記第１カメラ装置で撮影した前記第１の被写体の第１の画像上における向きを判定する第１画像判定部と、前記第２カメラ装置で撮影した前記第２の被写体の第２の画像上における向きを判定する第２画像判定部と、前記第２の画像を反転させた第３の画像を生成する画像反転部と、前記第１画像判定部で判定された前記第１の被写体の前記第１の画像上における第１の向きと、前記第２画像判定部で判定された前記第２の被写体の前記第２の画像上における第２の向きとに基づき、前記第１の被写体の前記第１の画像上における向きと前記第２の被写体の前記第２の画像上における向きとが向かい合うように前記第１の画像上における前記第２の画像の配置位置を決定する配置位置決定部と、前記配置位置決定部で前記第１の画像上における前記第２の画像の配置位置が決定されたときには、当該配置位置に基づき、前記第１の画像の上に前記第２の画像を重ねた合成画像を生成し、前記第１の画像上における前記第３の画像の配置位置が決定されたときには、当該配置位置に基づき、前記第１の画像の上に前記第３の画像を重ねた合成画像を生成する画像合成部とを備え、前記配置位置決定部は、必要に応じて、前記第２の向きを反転させた第３の向きと前記第１の向きとに基づき、前記第１の画像の上に前記第２の画像を反転させた第３の画像を重ねた合成画像を生成する場合の前記第１の画像上における前記第３の画像の配置位置を決定することを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
また、本発明の画像処理方法は、画像処理装置が、第１の被写体の第１の画像上における第１の向きと、第２の被写体の第２の画像上における第２の向きとに基づき、前記第１の画像上における前記第２の画像の配置位置を決定し、決定した配置位置に基づいて、前記第１の画像の上に前記第２の画像を重ねた合成画像を生成することを特徴とする。