(57)【要約】【課題】画像の３次元情報に基づいてライティング効果を適用するにあたり、メインカメラの被写体にライティング効果を設定するだけで、サブカメラの被写体にも自動適用できる画像処理装置を提供すること。【解決手段】メインカメラで撮影した第一の撮影画像とサブカメラで撮影した第二の撮影画像を出力する画像処理装置であって、第一の撮影画像内の被写体に設定されたライティングと、メインカメラとサブカメラの撮影方向に基づいて、第二の撮影画像に適用するライティングを決定する。【選択図】図１
2017117029.tif 000002
【特許請求の範囲】
【請求項１】
メインカメラで撮影した第一の撮影画像とサブカメラで撮影した第二の撮影画像を出力する画像処理装置であって、
第一の撮影画像内の被写体を指定する被写体指定手段と、
指定された被写体に対してライティング効果を設定する手段と、
第一および第二の撮影画像にライティング効果を適用する手段を具備し、
第一の撮影画像内の被写体に設定されたライティング効果と、メインカメラとサブカメラの撮影方向に基づいて、第二の撮影画像に適用するライティング効果を決定することを特徴とする画像処理装置。
【請求項２】
第二の撮影画像に適用するライティング効果を提示する手段と、提示したライティング効果から所定のものを選択する手段と具備することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
第一の撮影画像に対する光源を提示する手段と、前記光源を所定の位置に設定する手段と、第二の撮影画像に適用するライティング効果に合致する光源を表示することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
メインカメラとサブカメラの撮影方向に基づいて、第二の撮影画像に適用するライティング効果を変更することを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。
【請求項５】
メインカメラとサブカメラの撮影方向が逆方向であるときに、第二の撮影画像に適用するライティング効果を第一の撮影画像に設定されたライティングの左右逆にすることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
複数のサブカメラを具備し、メインカメラと各々のサブカメラの撮影方向に基づいて、各々のサブカメラの第二の撮影画像に適用するライティング効果を変更することを特徴とする請求項４又は請求項５に記載の画像処理装置。
【請求項７】
第一の撮影画像または第二の撮影画像に付加された回転情報にしたがって、第二の撮影画像に適用するライティング効果を決定することを特徴とする請求項１乃至請求項６の何れか一項に記載の画像処理装置。
【請求項８】
第二の撮影画像に適用するライティングは、被写体人物の顔形状に基づいて規定のライティング効果を適用することを特徴とする請求項１乃至請求項７の何れか一項に記載の画像処理装置。
【請求項９】
前記第一の撮影画像と前記第二の撮影画像を合成し出力することを特徴とする請求項１乃至請求項８の何れか一項に記載の画像処理装置。
【請求項１０】
請求項１乃至請求項９の何れか一項に記載された画像処理装置を実現するためのプログラム、プログラムを記載したコンピュータ読み取り可能な記憶媒体、および方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびプログラムおよび記憶媒体および方法に関する。
【背景技術】
【０００２】
被写体を複数の視点方向から撮影し、その２次元撮影画像情報を再構成して被写体の３次元形状を認識するシステムが開示されている（特許文献１参照）。こうした３次元形状認識システムで得られる３次元形状を用いることで、撮影画像のレンダリングにあたり、任意の方向から被写体に光を当てるライティング効果を付加することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特公平５−６４３９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年の携帯電話のようにメインカメラとサブカメラで同時撮影して両方の撮影画像を使用する場合には、それぞれの撮影画像に適切なライティング効果が設定されることが望ましい。
【０００５】
本発明は、上述した事情に鑑みてなされてものであって、メインカメラの被写体に所望のライティング効果を設定すれば、サブカメラの被写体にも自動適用できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明に係る画像処理装置は、
メインカメラで撮影した第一の撮影画像とサブカメラで撮影した第二の撮影画像を出力する画像処理装置であって、
第一の撮影画像内の被写体を指定する被写体指定手段と、
指定された被写体に対してライティング効果を設定する手段と、
第一および第二の撮影画像にライティング効果を適用する手段を具備し、
第一の撮影画像内の被写体に設定されたライティング効果と、メインカメラとサブカメラの撮影方向に基づいて、第二の撮影画像に適用するライティング効果を決定することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、メインカメラの被写体に所望のライティング効果を設定すれば、サブカメラの被写体にも自動適用できる画像処理装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施例に係る画像処理装置の動作を示すフローチャートである。
【図２】本発明の実施例に係る画像処理装置の構成を示すブロック図である。
【図３】本発明の一実施例に係る画像処理装置の画面表示内容を示す図である。
【図４】本発明の一実施例に係る画像処理装置の画面表示内容を示す図である。
【図５】本発明の一実施例に係る画像処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、図面を参照して、本発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。
【実施例１】
【００１０】
以下、本発明の実施形態のひとつを添付画面にしたがい詳細に説明する。
【００１１】
本実施例における画像処理装置の構成は図２のとおりである。
【００１２】
図２において、２０１は画像処理装置２００の全体を制御する制御部であり、例えばCentral Processing Unit(CPU)である。２０２は変更を必要としないプログラムやパラメータを格納するRead Only Memory(ROM)である。２０３は外部装置などから供給されるプログラムやデータを一時記憶するRandom Access Memory(RAM)である。２０４は画像処理装置２００に固定して設置されたハードディスクやメモリカード、あるいは画像処理装置２００から着脱可能なフロッピー（登録商標）ディスク(FD)やCompact Disk(CD)等の光ディスク、磁気や光カード、ＩＣカードなどを含む外部記憶装置である。
【００１３】
２０５は操作者の操作を受け、データを入力するポインティングデバイスやキーボード２０９などの入力デバイスとのインターフェイスである。２０６はコンピュータ装置２００の保持するデータや供給されたデータを表示するためのディスプレイ２１０とのインターフェイスである。２０７はインターネットなどのネットワーク回線２１１に接続するためのネットワークインタフェイスである。２０８は、撮像装置などの他デバイス２１２と通信するためのインターフェイスである。２１３は２０１〜２０８の各ユニットを通信可能に接続するシステムバスである。
【００１４】
本実施例における画像処理装置で扱うデータについて説明する。
【００１５】
本実施例における画像処理装置では、撮像装置のメインカメラとサブカメラで同時撮影した画像を扱う。このメインカメラの撮影画像を第一の撮影画像とし、サブカメラの撮影画像を第二の撮影画像とする。また、第一および第二の撮影画像には、それぞれ３次元形状情報が付加されている。また、本実施例における画像処理装置には、撮像装置のメインカメラとサブカメラの撮影方向の差異があらかじめ登録されている。
【００１６】
本実施例において、ディスプレイ２１０に表示する画面構成を図３に示す。操作者は入力装置２０９を介し、この画面に表示された構成要素を操作することで第一および第二の撮影画像にライティング効果を設定する。
【００１７】
図３（Ａ）はライティング効果設定前の画面構成であり、図３（Ｂ）はライティング効果設定中の画面構成である。本実施例では、この図に示す通り、第一および第二の撮影画像にライティング効果を設定することで操作者が所望する陰影を付与する動作を説明する。
【００１８】
図３（Ａ）において、３００は第一の撮影画像を表示する領域であり、内部に第二の撮影画像３０１を重ねて表示する領域を含む。３０２は第一の撮影画像の被写体であり、３０３は第二の撮影画像の被写体である。３０４は第一の画像の被写体にライティング効果を適用したプレビューを表示する領域であるが、操作者が被写体を選択していないため何も表示されていない。３０５はライティング効果の強さを変更するスライダコントロールであり、操作者が入力装置２０９を介してバーを左右に移動することでライティング効果の強さを変更することができる。
【００１９】
操作者が入力装置２０９を介して第一の撮影画像の任意座標を指定すると、画面の表示内容は図３（Ａ）から図３（Ｂ）に切り替わる。図３（Ｂ）において、被写体３０２がライティング対象として選択されていることを示す枠線３０６表示される。また、プレビュー領域３０４には、被写体３０２に複数パターンのライティング効果を反映したプレビューが表示される。また、第二の画像の被写体３０３にもライティング効果が適用されている。
【００２０】
図３（Ｂ）の画面構成の表示にあたり、制御部２０１は、操作者の指定座標と第一の撮影画像の内容または３次元形状情報に基づき、被写体３０２をライティング適用対象に決定する。また、制御部２０１は、第二の撮影画像の内容または３次元形状情報に基づき被写体３０３をライティング適用対象に決定する。
【００２１】
図３（Ｂ）の画面構成において、操作者はプレビュー領域３０４から任意のプレビューを選択できる。制御部２０１はプレビューの選択対象が変更されたことを検知し、第一の画像の被写体３０２と第二の画像の被写体３０３のライティング効果を変更し再表示する。このときの処理の流れを、図１を用いて説明する。
【００２２】
操作者がプレビュー領域３０４から任意のプレビューを選択すると、制御部２０１は以下の流れでライティング効果を変更する。
【００２３】
まずステップＳ１０１において、制御部２０１は撮像装置のメインカメラとサブカメラの撮影方向の差異を取得する。これは既に述べたとおり画像処理装置にあらかじめ登録された情報である。
【００２４】
次にステップＳ１０２において、制御部２０１は第一または第二の撮影画像の付加情報から撮影時の回転情報を取得する。
【００２５】
次にステップＳ１０３において、制御部２０１は第一の撮影画像の３次元形状情報に基づいて顔領域３０２に複数パターンのライティング効果を適用し、その結果をプレビュー領域３０４に表示する。
【００２６】
次にステップＳ１０４において、制御部２０１はプレビュー領域３０４から操作者が選択した対象を判定する。
【００２７】
次に、ステップＳ１０５において、制御部２０１はスライダコントロール３０５のバー位置に基づいてライティング効果の強さを取得する。
【００２８】
次に、ステップＳ１０６において、制御部２０１はステップ１０４で判定した新たな選択対象にしたがって同じライティング効果を被写体３０２に反映する。また、制御部２０１はステップＳ１０１、ステップＳ１０２、ステップ１０４で取得および判定した情報に基づいて、被写体３０３にもライティング効果を適用する。このとき、メインカメラの被写体とサブカメラの被写体に同一光源からライティングがおこなわれたように見えるライティング効果を被写体３０３に適用する。たとえばサブカメラがメインカメラの背面に配置された撮像装置で撮影され、かつ撮影時の回転情報がない場合には、メインカメラの被写体に適用されたライティング効果を左右反転させたものをサブカメラの被写体に適用する。ここで被写体３０２と３０３に適用するライティング効果の強さはステップＳ１０５で取得した強さとする。
【００２９】
最後に、ステップＳ１０７において、制御部２０１はライティング効果を反映した結果をディスプレイ２１０に表示する。
【００３０】
以上で説明した処理の流れにより、第一の画像の被写体３０２と第二の画像の被写体３０３のライティング効果が変更される。
【００３１】
この後、操作者が図示されてない確定指示手段を操作すれば、制御部２０１はライティング効果を第一の画像と第二の画像に適用したうえで合成し、外部記憶装置２０４に記憶する。
【００３２】
以上で説明した構成により、本実施例の画像処理装置では、メインカメラの被写体に所望のライティング効果を設定すれば、サブカメラの被写体にも自動適用できる。
【００３３】
なお、本実施例では、サブカメラがメインカメラの背面に配置されている撮像装置を例示したが、サブカメラの撮影方向がメインカメラの逆でない構成であっても、同一光源からライティングがおこなわれたように見えるライティング効果を適用する。
【００３４】
また、本実施例では１つのサブカメラを具備する構成としたが、サブカメラを複数具備する構成であっても本発明は適用される。その場合、個々のサブカメラとメインカメラの撮影方向に基づいて、各々のサブカメラの撮影画像にライティング効果を設定する。
【００３５】
また、本実施例では第一および第二の撮影画像に３次元形状情報が付加されている構成としたが、撮影画像に３次元形状情報が付加されていない場合であっても、被写体が人物であれば撮影画像から顔領域または人体領域を検出して既定のモデルに基づいたライティング効果を適用する構成とすることで本発明は適用される。
【００３６】
また本実施例では、撮像装置のメインカメラとサブカメラの撮影方向の差異があらかじめ画像処理装置に登録されている構成としたが、画像処理装置が撮像装置から差異情報を受信する構成であっても本発明は適用される。この構成では、サブカメラの撮影方向をメインカメラの撮影方向と独立して変更可能な撮像装置であっても、画像ごとに差異情報を受信することで各画像に適したライティング効果を適用することができる。
【実施例２】
【００３７】
以下、本発明の別の実施形態を添付画面にしたがい詳細に説明する。
【００３８】
本実施例における画像処理装置の構成は実施例１で述べたものと同じで、図２で示すものである。また、本実施例における画像処理装置で扱うデータも、実施例１で述べたものと同じで撮像装置のメインカメラとサブカメラで同時撮影した画像を扱う。
【００３９】
本実施例において、ディスプレイ２１０に表示する画面構成を図４に示す。操作者は入力装置２０９を介し、この画面に表示された構成要素を操作することで第一および第二の撮影画像にライティング効果を設定する。
【００４０】
図４は（Ａ）はライティング効果設定前の画面構成であり、図３（Ｂ）はライティング効果設定中の画面構成である。本実施例では、この図に示す通り、もともと陰影のついている第一および第二の撮影画像にライティング効果を設定することで不要な陰影を緩和する動作を説明する。
【００４１】
図４（Ａ）において、４００は第一の撮影画像を表示する領域であり、内部に第二の撮影画像４０１を重ねて表示する領域を含む。４０２は第一の撮影画像の被写体であり、４０３は第二の撮影画像の被写体である。４０４は第一の画像の被写体にライティング効果を設定するための領域であるが、操作者が被写体を選択していないため何も表示されていない。
【００４２】
操作者が入力装置２０９を介して第一の撮影画像の任意座標を指定すると、画面の表示内容は図４（Ａ）から図４（Ｂ）に切り替わる。
【００４３】
図４（Ｂ）において、被写体４０２がライティング対象として選択されていることを示す枠線４０５が表示される。また、設定領域４０４には、光源方向を指定するためのコントロール４０７と、ライティング効果を反映した被写体のプレビュー４０６を表示する。また、第二の画像の被写体４０３にもライティング効果が適用されている。
【００４４】
図４（Ｂ）の画面構成の表示にあたり、制御部２０１は、操作者の指定座標と第一の撮影画像の内容または３次元形状情報に基づき、被写体４０２をライティング適用対象に決定する。また、制御部２０１は、第二の撮影画像の内容または３次元形状情報に基づき被写体４０３をライティング適用対象に決定する。
【００４５】
図４（Ｂ）の画面構成において、コントロール４０７はプレビュー４０６の周囲を移動できる構成になっており、操作者は光源方向を任意に指定できる。操作者が光源方向を変更すると、制御部２０１は変更を検知し第一の画像の被写体４０２およびプレビュー４０６および第二の画像の被写体４０３のライティング効果を変更し再表示する。４０８は第二の画像の適用するライティング効果の光源方向を示すものであり、コントロール４０７と連動して自動的に移動する。このときの処理の流れを、図５を用いて説明する。
【００４６】
操作者がコントロール４０７を操作して被写体４０２の光源方向を指定すると、制御部２０１は以下の流れでライティング効果を変更する。
【００４７】
まずステップＳ５０１において、制御部２０１は撮像装置のメインカメラとサブカメラの撮影方向の差異を取得する。これは既に述べたとおり画像処理装置にあらかじめ登録された情報である。
【００４８】
次にステップＳ５０２において、制御部２０１は第一または第二の撮影画像の付加情報から撮影時の回転情報を取得する。
【００４９】
次にステップＳ５０３において、制御部２０１は第一の撮影画像の３次元形状情報に基づいて顔領域４０２にライティング効果を適用し、その結果を設定領域４０４に表示する。
【００５０】
次にステップＳ５０４において、制御部２０１は操作者がコントロール４０７を操作して指定した光源方向を取得する。
【００５１】
次に、ステップＳ５０５において、制御部２０１はステップＳ５０１、ステップＳ５０２、ステップ５０４で取得した情報に基づいて、第二の撮影画像に設定する光源方向を算出する。このとき、メインカメラの被写体とサブカメラの被写体に同一光源からライティングがおこなわれたように見える光源方向を算出する。たとえばサブカメラがメインカメラの背面に配置された撮像装置で撮影され、かつ撮影時の回転情報がない場合には、メインカメラの被写体に設定されたライティング効果の光源を左右反転させた方向がサブカメラのライティング効果の光源となる。ただしサブカメラのライティング効果の光源方向を算出した結果、被写体４０３の背面に位置する場合には、光源の位置を前後反転して被写体４０３の前面からライティング効果がかかるように調整する。これは、サブカメラのライティング効果が逆光のような状態になることを防ぐためである。
【００５２】
次に、ステップＳ５０６において、制御部２０１は、ステップ５０４で取得した新たな光源方向にしたがってライティング効果をプレビュー４０６および被写体４０２に反映する。また、制御部２０１は、ステップ５０５で算出したサブカメラの光源方向にしたがってライティング効果を被写体４０３に反映するとともに、光源方向４０８の位置を変更する。
【００５３】
最後に、ステップＳ５０７において、制御部２０１はライティング効果を反映した結果を表示する。
【００５４】
以上で説明した処理の流れにより、第一の画像の被写体４０２と第二の画像の被写体４０３のライティング効果が変更される。
【００５５】
この後、操作者は図示されてない確定指示手段を操作すれば、制御部２０１は選択されているライティング効果を第一の画像と第二の画像に適用したうえで合成し、外部記憶装置２０４に記憶する。
【００５６】
以上で説明した構成により、本実施例の画像処理装置では、メインカメラの被写体に所望のライティング効果を設定すれば、サブカメラの被写体にも自動適用できる。
【００５７】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００５８】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【００５９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００６０】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００６１】
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
【００６２】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【００６３】
２００  画像処理全体、２０１  制御部、２０２  ＲＯＭ、２０３  ＲＡＭ、
２０４  外部記憶装置、２０５  操作入力ＩＦ、２０６  表示ＩＦ、
２０７  ネットワークＩＦ、２０８  デバイスＩＦ、２０９  入力デバイス、
２１０  ディスプレイ、２１１  ネットワーク回線、２１２  他デバイス
【図１】
2017117029.tif 000003
【図２】
2017117029.tif 000004
【図３】
2017117029.tif 000005
【図４】
2017117029.tif 000006
【図５】
2017117029.tif 000007