(57)【特許請求の範囲】
【請求項１】
携帯型のデジタル画像取込装置であって、
デジタル画像を捕捉するためのレンズ及び画像捕捉コンポーネントと、
前記デジタル画像を表示スクリーンに表示するように構成された表示ユニットと、
前記画像捕捉コンポーネントに、当該画像取込装置の前方の視野を決定させ、該画像取込装置の前方の視野の特有のオブジェクトを検知させ、該特有のオブジェクトの表現を含む第１の画像を捕捉させること；
前記表示ユニットに、前記表示スクリーン上の前記第１の画像を表示させ、第１の画像中の特有のオブジェクトの表現を描出するオブジェクトデリミターを前記表示スクリーン上に生成させること；
前記表示ユニットに、前記オブジェクトデリミターを前記表示スクリーンに表示させること；
前記画像捕捉コンポーネントに、当該画像取込装置が前記特有のオブジェクトの方向に向く画像取込装置の光軸で予め定められた凹形の経路に沿って再配置されるかを監視させること；
画像取込装置が特有のオブジェクトの方向に向く画像取込装置の光軸で予め定められた凹形の経路に沿って再配置されるとの検知に応答して、前記画像捕捉コンポーネントに、第２の画像を捕捉させ、該第２の画像を記憶装置に格納させる
ように構成されたプロセッサーと、
を含む装置。
【請求項２】
前記画像取込装置が前記予め定められた凹形の経路から予め定められた量よりも大きい距離で外れる場合に、使用者に警告を出すように構成された請求項１に記載の装置。
【請求項３】
顔画像のサイズが初期のサイズから予め定められた量を越える場合に、使用者に警告を出すように構成された請求項１に記載の装置。
【請求項４】
顔画像が前記オブジェクトデリミターから予め定められた量を越えて出る場合に、使用者に警告を出すように構成された請求項１に記載の装置。
【請求項５】
単一の顔が前記画像取込装置によって検知される場合、前記オブジェクトデリミターは、前記予め定められた凹形の経路に沿った移動の間、前記表示スクリーン上でサイズと位置が固定されることを特徴とする請求項１に記載の装置。
【請求項６】
前記凹形の経路に沿って前記画像取込装置が移動するにつれて、前記オブジェクトデリミターは、前記表示スクリーン上のサイズが動的に変化することを特徴とする請求項１に記載の装置。
【請求項７】
前記装置は、前記予め定められた凹形の経路に沿った移動の速度が予め定められた範囲を外れる場合に、使用者に警告を出すように構成されたことを特徴とする請求項１に記載の装置。
【請求項８】
前記記憶装置に格納された画像は、少なくとも１組の立体写真のペアを含むことを特徴とする請求項１に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、携帯型のデジタル画像取込装置上で捕捉される少なくとも２つの画像からの強化された肖像画像の合成に関する。
【発明の概要】
【０００２】
本発明によれば、表示スクリーン及び使用者選択可能なモードを備えた携帯型のデジタル画像取込装置が提供され、かかる装置は、前記モードと連動して、装置の視野中の顔を検知し、前記スクリーン上の顔の画像の初期の位置を取り囲む顔デリミターを前記スクリーン上に生成し、前記顔の方向に向く装置の光軸で予め定められた凹形の経路に沿った移動から前記装置が外れる場合、その後、前記デリミターに対する顔の画像の移動によってなされる指示を示すように使用者に対して指示し、前記経路に沿った逐次の位置で複数の画像を捕捉し格納する。
【図面の簡単な説明】
【０００３】
本発明の実施の形態は、以下の添付図面を参照して実施例を通じて記述される。
【図１】本発明を具体化するデジタルカメラのブロック図である。
【図２】カメラの作動を説明する概略図である。
【図３】カメラの作動を説明する概略図である。
【図４】カメラの作動を説明する概略図である。
【図５】カメラの作動を説明する概略図である。
【図６】カメラの作動を説明する概略図である。
【発明を実施するための形態】
【０００４】
図１は、携帯型のデジタル画像取得装置２０のブロックダイヤグラムである。本実施の形態では、装置２０は、それ自体として携帯型のデジタルカメラであるが、デジタルカメラ機能を組み込んだ携帯電話機あるいは他の携帯端末のカメラ部であってもよい。そのような全ての装置は、それが主機能であるか否かにかかわらず、説明の便宜のためにここではカメラと称する。
【０００５】
カメラ２０は、デジタルプロセッサー１２０を含む。良く知られたものとして、デジタルカメラ内で、またはデジタルカメラによって遂行される処理の多くは、ユーザインタフェース機能及びボタンや表示部のような周辺の構成要素の制御を含み、実装され或いはプロセッサー１２０内で作動するソフトウェアによって制御されることができる。
【０００６】
プロセッサー１２０は、シャッターボタンを半押しする（プレキャプチャーモード３２）ような１２２での使用者入力に応答して、デジタル撮影の処理を開始して制御する。フラッシュが使用されるべきか否かを自動的に判定するために、光センサー４０を使用して周辺光露光量がモニターされる。被写体への距離は、さらに画像捕捉コンポーネント６０に画像の焦点を合わせる焦点コンポーネント５０を使用して判定される。フラッシュが使用されるべき場合、プロセッサー１２０は、シャッターボタンの完全な降下時に画像捕捉コンポーネント６０による高解像度画像の記録に実質的に一致する撮影フラッシュを、フラッシュ７０に生成させる。画像捕捉コンポーネント６０は、デジタル処理で当該画像をカラーで記録する。かかる画像捕捉コンポーネントは、好ましくは、デジタルレコーディングを促進するために、ＣＣＤ（電荷結合素子）あるいはＣＭＯＳを含む。フラッシュは、光センサー４０に応答して或いはカメラの使用者からの手動入力７２のいずれかにより選択的に生成されることができる。画像捕捉コンポーネント６０によって記録された高解像度画像は、ランダムアクセスメモリ或いは不揮発性メモリのようなコンピュータメモリを含み得る画像格納部８０に格納される。カメラは、画像のプレビュー及びポストビューのために、ＬＣＤのようなデジタル表示画面１００を装備している。表示部スクリーン１００は、電子ファインダースクリーン或いは、カメラ本体の後部に通常配置される外部スクリーンとすることができる。
【０００７】
主（高解像度）画像が捕捉される前に、画像の構成時にユーザを支援するために、プレキャプチャーモードで焦点調節及び露光量を決定するために用いられるのと同様に、継続的なプレビュー画像が生成されスクリーン１００上で表示される。一時的記憶装置８２は、プレビュー画像の１つ以上を格納するために使用されることができ、画像格納部８０あるいは個別のコンポーネントの一部とされることができる。プレビュー画像は、画像捕捉コンポーネント６０によって好ましく生成される。速度及び記憶効率上の理由から、プレビュー画像は、好ましくは、シャッターボタンが完全に押し込まれた場合に得られる主画像よりも低い画素解像度を有し、また、一般的なプロセッサー１２０の一部または専用ハードウェア或いはこれらの組み合わせであり得るソフトウェア１２４を使用して、捕捉された未処理画像をサブサンプリングすることによって生成される。
【０００８】
使用者がプレビュー画像に満足する場合、当該使用者はシャッターボタンを完全に押し下げて、高解像度の主画像を捕捉する。
【０００９】
上述された標準的な機能に加えて、カメラ２０は、ユーザ選択が可能な「強化された肖像（Ｅｎｈａｎｃｅｄ  ｐｏｒｔｒａｉｔ）」モードを備える。このモードにおいて、シャッターボタンが完全に押し下げられる場合、使用者が撮像されるべき人の被写体らのうちの１人の顔を中心とした凹形の経路を動き回る間、当該カメラは、一連の画像を自動的に捕捉し格納する。当該捕捉された画像は、続いて、強化された肖像画像を合成するために処理される。
【００１０】
図２乃至図６を参照すると、被写体の強化された肖像画像を生成するためのカメラ２０の使用法及び動作は、以下の通りである。
【００１１】
１．  カメラ使用者２００は、特定のボタンをカメラ本体に押し込むこと、ダイヤルを特定の位置に回転させること、等によって、当該カメラを３Ｄ肖像モード３０のために準備する。
【００１２】
２．  カメラ使用者２００は、撮影される人２０４の頭部２０２の斜め前から見た像に対する位置Ａ（図２）で、自分の位置を合わせる。カメラレンズ系の光軸２０６は、被写体の頭部２０２、特に被写体の顔２０３に対して直接向いており、また、当該カメラは、これらに対してオートフォーカスされる。
【００１３】
特定の実施の形態では、焦点がずれた背景を投じるために、浅い被写界深度が選択されることができる。しかしながら、間もなく説明されるように、これは通常必要ではない。
【００１４】
３．  プレビュー画像で見られるような構図に使用者２００が満足する場合、シャッターボタンが半押しされる。この応答として、カメラ２０は、標準的な顔検知技術を用いてプレビュー画像における被写体２０４の顔２０３を検知し、かかるカメラは、続いて、図３の表示スクリーン１００上に、検知された顔２０３の画像２１０を緊密に囲む顔デリミター（ｄｅｌｉｍｉｔｅｒ）２０８を生成し表示する。顔デリミター２０８は、この例では長方形の箱として示されるが、他の連続的または不連続的な（例えば破線の）多角形及び／又は曲線形状とされ得る。この段階では、焦点は固定される。
【００１５】
４．  ここで使用者２００はシャッターボタンを完全に押し、視覚的或いは始動の信号音のような可聴の指示がカメラによって発せられる。これは、シャッターボタンを下げておき続ける間、彼が、予め定められた（この事例では被写体の顔２０３を中心として略一定の半径ｒを有する）凹形の経路Ｐ（図２）に沿って、被写体２０４の周りでカメラ２０を直ちに移動させるべきであること、カメラの光軸２０６が当該人の顔を直接指し続けることを使用者が確保すべきであること、を使用者に指示する。
【００１６】
そのような凹形の経路に沿った運動は、使用者が追随する自然な運動ではないかもしれない。そのような経路を通って携帯型の装置を正確にスイープすることは、経験を積んだ研究者でさえ困難であり得る。したがって、そのような移動は、顔デリミター２０８を使用して、次の方法で支援される。
【００１７】
ステップ３で最初に確立されるような顔デリミター２０８のサイズ及び位置は、経路Ｐに沿った移動の初めから終わりまで、表示スクリーン上で固定される。この固定顔デリミター２０８は、使用者が顔画像２１０を常にデリミター２０８の最大幅及び高さ内で占領することを維持するように試みることを可能にすることによって、使用者がカメラ２０を経路Ｐ上に維持することを支援する。
【００１８】
例えば、図４ａ，４ｂ及び４ｃは、カメラ２０が顔に向かって直接に指し示す光軸と共に、経路Ｐ上のＡ，Ｂ，及びＣ点（図２）に各々正確に位置される場合の顔デリミター２０８及び顔画像２１０を示す。各場合において、顔画像２１０は、実質的にデリミター２０８を満たし、その外部に伸びていない。
【００１９】
他方では、光軸が中心から外れて、例えば図５中の２０６ａ及び２０６ｂで示されるように、顔の左または右側を指し示す場合、画像スクリーン上の結果は、各々図６（ａ）及び図６（ｂ）中に示される。この場合、デリミター２０８に顔画像２１０を再度中心に配置するために、彼がカメラを僅かに回転させなければならないことを使用者に示すであろう。
【００２０】
図６（ｃ）及び６（ｄ）は、被写体２０４からカメラが、それぞれ過度に遠く離れた、及び過度に近付いた場合の結果を示す。ここでは、デリミター２０８中の顔画像２１０を適切に満たし且つ中心に配置させるために、使用者に対して、彼がカメラを被写体２０４により近付ける又は被写体２０４からより遠ざけるようにしなければならないことを指示するであろう。代替的に、これは遠近法の影響により、距離における総計の偏差を十分に補わなかったが、カメラレンズを適切に自動的にズーミングさせることによって、顔画像２０８は、デリミター２０８を適切に満たして維持されることが可能となる。
【００２１】
５．  経路Ｐに沿った移動中に、顔画像２１０がデリミター２０８に比べて大き過ぎ又は小さ過ぎて得られている場合、カメラは、使用者２００に視覚的に及び／又は聞こえるように警告して、カメラが被写体の顔に向かって又は該顔から遠方に移動していることを指し示し、或いは当該顔画像がデリミターから横向きに移動している場合、カメラの光軸２０６が被写体の顔の中心にないことを指し示す。特に、カメラ２０が移動し始めて、顔デリミター２０８の外側に特定の少量を越えると、或いは顔画像２１０が最初のサイズから５％を超えて大きくなる又は小さくなると、直ぐに、カメラ２０は、使用者に対して警告を提供するように構成される。１つ或いは２つの一般的な警報音または他の伝達手段、或いはより特化された警告があり得る。当該特化された警告は、「右に寄り過ぎです」、「左に寄り過ぎです」、「低過ぎます」及び「近過ぎます」、などのような言葉を含むことさえあり得る。代替の実施の形態では、グラフィカルな警告指標が使用されることができ、或いは、エラーの性質を示すために、顔デリミター２０８の境界が、一以上の側部で断続的に閃光する、または代替的に、変化するものとされることができる。
【００２２】
６．  経路Ｐに沿った移動中に、カメラ２０は、背後の風景を含む被写体２０２の逐次的な高解像度画像を捕捉して格納する。これらの画像は、カメラ中の慣性センサーによって決定されるように、或いは連続する画像のフレーム毎の変位に由来して、経路Ｐに沿って予め定義された角度の位置で捕捉されることができる。或いは、それらは、予め定められた時間間隔で捕捉されることができ、経路に沿った移動は、ほぼ幾らかの既知の割合で生じることが仮定される。後の場合では、慣性センサーからの読み取りに基づいて決定されるように、使用者が最適な速度範囲内でカメラを移動させなければ、警告も提供され得る。過度に速く移動することは、捕捉されるべき十分な数の「良い」画像を実現しないことがあり得、他方、過度にゆっくり移動することは、使用者が滑らかで連続的なスイープ運動を達成することを困難にする傾向があり得る。
【００２３】
本実施の形態では、最適な立体視（ｓｔｅｒｅｏｓｃｏｐｉｃ）の変位で、少なくとも２つの画像が必要である。当該立体写真の変位は、（顔サイズからの十分な精度で測定することができる）顔への距離に依存し、また、３Ｄの立体視の肖像の最も現実的な生成のために、理想的には人間の目の間隔と等しい。しかしながら、３Ｄ肖像を強調するために、より大きな間隔で捕捉することが望ましいかもしれない。さらに、被写体が１ペアの一方の画像中ではまばたきし他方の画像中ではまばたきしていない場合、複数の立体視のペアを捕捉することが、通常望ましい。
【００２４】
７．  経路Ｐに沿った凹形の肖像スイープは、（良い）立体視の画像ペアが十分な数だけ得られると、或いは、顔の領域が受理可能なスイープ経路の外側の過度の遠くに移動すると、使用者によって手動で或いはカメラ２０によって自動的に終了することができる。可聴音またはカメラ表示部上のメッセージのいずれかによる適切な指示は、当該スイープが成功したかどうかを使用者に通知し、或いは適切なエラーメッセージを提供する。
【００２５】
スイープが使用者によって終了するところで、位置Ａへの反対側から頭部２０２の斜め前に見てカメラが位置Ｃ（図２）に達する場合、或いは以前に、成功したスイープの表示が与えられる場合、使用者２００は、シャッターボタンを放す。当該シャッターリリースは、強化された肖像モードの画像捕捉機能を終了させる。代替の実施の形態では、経路Ｐに沿った全スイープ中にシャッタを保持する代わりに、シャッタは、開始時に一時的に押し下げられ、スイープの終了を示すために当該終了で再度一時的に押し下げられることができる。
【００２６】
８．  ステップ７の後に、カメラ２０は、少なくとも１つの「良い」立体視のペア（すなわち、使用者に警告がなされなかった場合の期間中に捕捉される画像）を選択する。特定の実施形態では、使用者は、選択するための多数のペアを提示されることができる。
【００２７】
背景が、主要な立体視の顔のペアに対するぼかしの異なる程度で再構築されるように、各画像ペアに関連した少なくとも１つの追加の画像を捕捉することも望ましいかもしれない。肖像がクローズアップである場合、これは特に必要であり得る。そのような場合、前景の顔に必要な立体視の間隔は、肖像シーンの背景上の遠近感に、見る人にとって不快となり得る過度の差異を導入する。したがって、主要な立体視の画像ペアの左手側及び右手側の画像間で捕捉される画像フレームから得られる背景を使用することが望ましい。この追加的な画像は、立体視のペアの左手側及び右手側画像の間に位置するので、中間画像（ｉｎｔｅｒｍｅｄｉａｔｅ  ｉｍａｇｅ）と称される。例示的な実施の形態では、左手側画像が保持されるが、右手側画像からの顔領域は、背景から分離されて、中間画像の顔の領域上に合成される。
【００２８】
この３番目の画像が利用可能でない代替の実施の形態では、背景のぼかしは、それぞれの背景から、立体視のペアでの各画像の顔画像及び前景領域を分離することによって、改善され得る。当該２つの背景は、その後、最初に整列され、また、近い及び遠い背景領域をより選択的に判定するために、視差及び深度マップ計算が使用され得る。両方の背景領域は、その後、より説得力のある３Ｄぼけ味（Ｂｏｋｅｈ）効果を提供するために、判定された画素の視差及び／又は深度マップに基づいて、選択的に非整列とされ又は選択的にぼかされ、或いはこれら両方がなされる。その後、オリジナルの顔の画像は、より説得力のある３Ｄ肖像を提供するために、それぞれの背景上に再合成される。修正された背景の１つ或いは両方が、オリジナルの顔の画像及び前景領域と正確に一致しないところでは、続いて、他の背景画像の適合する部分は、そのような空隙を満たすために合成され得る。
【００２９】
代替の実施形態では、装置は、前景物体を保持する一方で、深度マップを使用して背景をぼかすために、同一の処理を遂行し、深度マップを作成し、静止画像を１つだけ選択することによって、強化されたぼけ味効果２Ｄ肖像を単に捕捉することができる。
【００３０】
代替の実施形態では、カメラが凹形の経路をトレースするにつれて、多数のステレオペアが捕捉されることができ、作成される被写体の擬似３Ｄのスライドショーが実現する。かかるペアは、多重画像の静止画フォーマット或いは動画３Ｄフォーマットのいずれかの形式で格納されることができる。特定の実施の形態では、このスライドショーは、人の高度な３Ｄモデルを生成するために、或いは高度な疑似３Ｄ顔の認識を遂行するために、追加的な後処理に従うかもしれない。
【００３１】
代替の実施形態では、３Ｄ肖像スイープスライドショーが準備されることを可能にするために、複数の適合する立体写真のペアが、保持され得る。これは、追加的な後処理が必要となり得るが、カメラが十分に強力なＣＰＵを持っていれば、カメラ内で準備されて見られることができる。
【００３２】
捕捉装置がオートステレオスコピックの３Ｄ表示部を備えている特定の実施の形態（例えば、任天堂３ＤＳ）では、当該撮像装置を移動させ、内部センサー或いは他の方法を用いて当該運動を検知することによって、３Ｄスイープ肖像についての使用者の遠近感を変化させることができる。当該撮像装置が移動されるにつれて、その表示部は、当該装置の運動に従ったスライドショーにおける多数の立体写真のペアによって、前方または後方に循環する。注目すべきは、ここでは、オートステレオスコピックディスプレイに対する位置を維持するために、装置と一緒に彼らの頭部を移動させることが要求される点である。
【００３３】
格納された画像の後処理は、上述されたように、強化された肖像モードプロセッサー９０内で遂行される。プロセッサー９０は、カメラ２０に対して不可欠となり得（例えば、適切なプログラミングを備えたプロセッサー１２０）、或いはデスクトップコンピュータのような外部制御演算装置１０の一部になり得る。プロセッサー９０がカメラ２０に不可欠なところでは、最終的に処理された画像は、画像表示スクリーン１００に表示され、内部の或いはＣＦカード、ＳＤカードまたは同種のもののようなリムーバブルの記憶装置をされ得る永続記憶装置１１２に保存され、或いは画像出力手段１１０によって別の装置にダウンロードされることができる。プロセッサー９０が外部装置１０中に実装される実施形態では、最終的に処理された画像は、上述したような記憶及び表示のためにカメラ２０に返送されることができ、或いは当該カメラの外部から格納され表示されることができる。
【００３４】
カメラ２０の視野が１つより多くの顔を含んでいるところで、当該カメラは、最初に、例えば顔優先基盤の機構を使用して、或いは使用者によって選択され得る顔について、被写体の内の１つの顔に向けられ、及び経路Ｐに沿った移動の間に当該顔に向けられることが維持される。その個々の顔は、結果としての深度マップを作成する際に最小の視差を有するために、評価基準として使用されるであろう。追加の顔が検知されることができ、また、そのような追加で検知された顔からの情報（例えば、サイズ、視点、及び顔の向き）は、深度マップの正確さを向上することを支援する。
【００３５】
より明確には、カメラがその制御された経路を通って移動するにつれて、追加の顔のサイズが増加／減少するであろうし、目及び他の顔の特徴の位置は、これらの追加の顔の向きの変化に関する情報を提供する。この情報は、主要な被写体に対するそのような追加の顔の相対深度を示し、シーン背景からのこれらの顔の分離を促進する。
【００３６】
そのような多重顔の実施形態では、最終的に最適化された立体的な画像の生成を促進するために、２つより多くの画像が捕捉され得る。特に、個々の追加の顔に対して最適化されたステレオ画像ペアは、主要な顔に対するステレオ画像ペアに加えて獲得され得る。これらは、主要な顔に関連のある個々の追加の顔の相対深度に基づいて獲得されるであろう。
【００３７】
先の実施の形態（図２）は、被写体の顔を中心として一定の半径の予め定められた凹形の経路に沿って移動するカメラを有するが、凹形の経路の回転の中心は、必ずしも被写体の顔である必要はない。実際、かかる経路は、顔からのカメラの距離によって修正され得る。顔がカメラからより遠く離れている場合、その後、これがステレオペア間の（より大きな距離で縮小される）視差を誇張するにつれて、顔への実際の距離よりも短い曲率半径が使用されてもよい；顔がクローズアップにある場合、その後、（増加させられる）視差を縮小し、かつより多くの最適のステレオペアを得るために、より長い曲率半径が使用され得る。各顔にふさわしいステレオペアの取得を最適化する多数の顔がある場合、より長い曲率半径がスイープに使用されることができる。そのような実施の形態では使用者は曲率半径を意識していないが、図３に示されるような顔デリミター２０８内の顔２１０の位置を使用して、正確な半径でスイープするように指示され、顔に関する使用者の初期位置に基づいて使用者が取ると予想される所望の経路に従って、当該デリミターのサイズがカメラによって動的に調節される。
【００３８】
本発明の実施の形態は、シーンの前景及び背景領域を容易かつ正確に分離し、シーンの詳細で正確な深度マップを決定し、シーンの前景物体（ら）の少なくとも１つの立体視の画像ペアを追加的に捕捉するための手段を提供する。さらに、実施の形態は、強化された肖像画像を作成するために、それらの相対深度に従って背景領域を選択的にぼかし、それらを抽出された前景領域で或いは代替的に前景の立体視のペアで再構成する手段を提供する。
【００３９】
本発明は、ここに記載された実施の形態に限定されるものではなく、本発明の範囲を逸脱せずに、修正され、変形されることができる。
【図１】
0005547854.tif 000002
【図２】
0005547854.tif 000003
【図３】
0005547854.tif 000004
【図４】
0005547854.tif 000005
【図５】
0005547854.tif 000006
【図６】
0005547854.tif 000007