(57)【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段からの撮像信号に基づいた画像を表示可能な表示手段と、
前記撮像手段による撮像範囲内においていずれかの被写体を指定可能な被写体指定手段と、
前記撮像手段による１回目の撮像の際に、前記被写体指定手段により指定された被写体の輪郭を認識する被写体認識手段と、
前記被写体認識手段により認識された輪郭を前記表示手段に表示させる表示制御手段と、
前記撮像手段による１回目の撮像画像と２回目の撮像画像とに基づいて、前記被写体指定手段により指定された被写体の画像を抽出する被写体抽出手段と、
前記撮像手段による撮像範囲内において移動した被写体を判別可能な被写体判別手段と、
を備え、
前記被写体判別手段は、
前記２回目の撮像画像中の特徴点を抽出する特徴量演算部と、
前記特徴点が前記１回目の撮像画像内のどこに対応するかを探索することにより、前記１回目の撮像画像と前記２回目の撮像画像とを位置合わせし、位置合わせした前記１回目の撮像画像と前記２回目の撮像画像との差分から、移動した被写体を判別するブロックマッチング部と、を有し、
前記被写体指定手段は、前記被写体判別手段により移動したと判別された被写体を指定する、
ことを特徴とする電子機器。
【請求項２】
前記１回目の撮像による画像は動画像であることを特徴とする請求項１に記載の電子機器。
【請求項３】
前記被写体抽出手段により抽出された被写体画像と選択された背景画像とを合成した合成画像を生成する画像合成手段をさらに備えることを特徴とする請求項１または２に記載の電子機器。
【請求項４】
撮像手段と表示手段を備える電子機器における画像処理方法であって、
前記撮像手段による撮像範囲内においていずれかの被写体を指定する被写体指定ステップと、
前記撮像手段による１回目の撮像の際に、前記被写体指定ステップにより指定された被写体の輪郭を認識する被写体認識ステップと、
前記被写体認識ステップにより認識された輪郭を前記表示手段に表示させる被写体輪郭表示ステップと、
前記撮像手段による１回目の撮像画像と２回目の撮像画像とに基づいて、前記被写体指定ステップにより指定された被写体の画像を抽出する被写体抽出ステップと、
前記撮像手段による撮像範囲内において移動した被写体を判別する被写体判別ステップと、
を含み、
前記被写体判別ステップでは、前記２回目の撮像画像中の特徴点を抽出し、抽出した特徴点が前記１回目の撮像画像内のどこに対応するかを探索することにより、前記１回目の撮像画像と前記２回目の撮像画像とを位置合わせし、位置合わせした前記１回目の撮像画像と前記２回目の撮像画像との差分から、移動した被写体を判別し、
前記被写体指定ステップでは、前記被写体判別ステップで移動したと判別された被写体を指定する、
ことを特徴とする画像処理方法。
【請求項５】
撮像手段と表示手段とを制御するマイクロプロセッサを、
前記撮像手段による撮像範囲内においていずれかの被写体を入力手段からの信号に基づいて指定可能な被写体指定手段、
前記撮像手段による１回目の撮像の際に、前記被写体指定手段により指定された被写体の輪郭を認識する被写体認識手段、
前記被写体認識手段により認識された輪郭を前記表示手段に表示させる表示制御手段、
前記撮像手段による１回目の撮像画像と２回目の撮像画像とに基づいて、前記被写体指定手段により指定された被写体の画像を抽出する被写体抽出手段、
前記撮像手段による撮像範囲内において移動した被写体を判別可能な被写体判別手段、
として機能させ、さらに、
前記被写体判別手段として、前記２回目の撮像画像から特徴点を抽出させ、抽出した前記特徴点が前記１回目の撮像画像内のどこに対応するかを探索することにより、前記１回目の撮像画像と前記２回目の撮像画像とを位置合わせし、位置合わせした前記１回目の撮像画像と前記２回目の撮像画像との差分から、移動した被写体を判別させ、
前記被写体指定手段として、前記被写体判別手段により移動したと判別された被写体を指定させる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影機能を有する電子機器、撮像された画像データを処理する画像処理方法および画像処理のためのプログラムに関する。
【背景技術】
【０００２】
従来、静止画を撮影する電子撮像装置（デジタルカメラ）を用いて撮影した画像を処理ないしは加工する技術が種々存在する。例えばデジタルカメラを用いて背景内に被写体が存在する画像を撮影し、その後に背景内に被写体が存在しない背景画像を撮影して、背景画像と被写体が存在する画像から差分情報を生成し、被写体のみを切り抜くようにした画像処理技術に関する発明もその一つである（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２１４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前記特許文献１に開示されている技術を適用したデジタルカメラにあっては、撮影の主対象である物や人物等の被写体を背景画像から切り抜くには、被写体が入った画像を撮影した後、カメラを動かさないようにしたまま被写体を移動させて被写体が存在しない画像を撮影するという操作が必要である。しかし、コントラストの点で背景画像が不適切であったり１回目に撮影した画像に逆光による不鮮明などがあったりすると、被写体の切り抜きが失敗に終わることがあり、ユーザは再度１回目の撮影からやり直さなければならないため面倒であるという課題がある。
【０００５】
この発明の目的は、被写体の切り抜き画像を１回のトライで確実に得ることができる電子機器、画像処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため請求項１に記載の発明は、
撮像手段と、
前記撮像手段からの撮像信号に基づいた画像を表示可能な表示手段と、
前記撮像手段による撮像範囲内においていずれかの被写体を指定可能な被写体指定手段と、
前記撮像手段による１回目の撮像の際に、前記被写体指定手段により指定された被写体の輪郭を認識する被写体認識手段と、
前記被写体認識手段により認識された輪郭を前記表示手段に表示させる表示制御手段と、
前記撮像手段による１回目の撮像画像と２回目の撮像画像とに基づいて、前記被写体指定手段により指定された被写体の画像を抽出する被写体抽出手段と、
前記撮像手段による撮像範囲内において移動した被写体を判別可能な被写体判別手段と、
を備え、
前記被写体判別手段は、
前記２回目の撮像画像中の特徴点を抽出する特徴量演算部と、
前記特徴点が前記１回目の撮像画像内のどこに対応するかを探索することにより、前記１回目の撮像画像と前記２回目の撮像画像とを位置合わせし、位置合わせした前記１回目の撮像画像と前記２回目の撮像画像との差分から、移動した被写体を判別するブロックマッチング部と、を有し、
前記被写体指定手段は、前記被写体判別手段により移動したと判別された被写体を指定する、
ことを特徴としている。
【００１０】
請求項２に記載の発明は、請求項１に記載の発明において、
前記１回目の撮像による画像は動画像であることを特徴としている。
【００１１】
請求項３に記載の発明は、請求項１または２に記載の発明において、
前記被写体抽出手段により抽出された被写体画像と選択された背景画像とを合成した合成画像を生成する画像合成手段をさらに備えることを特徴としている。
【００１２】
請求項４に記載の発明は、
撮像手段と表示手段を備える電子機器における画像処理方法であって、
前記撮像手段による撮像範囲内においていずれかの被写体を指定する被写体指定ステップと、
前記撮像手段による１回目の撮像の際に、前記被写体指定ステップにより指定された被写体の輪郭を認識する被写体認識ステップと、
前記被写体認識ステップにより認識された輪郭を前記表示手段に表示させる被写体輪郭表示ステップと、
前記撮像手段による１回目の撮像画像と２回目の撮像画像とに基づいて、前記被写体指定ステップにより指定された被写体の画像を抽出する被写体抽出ステップと、
前記撮像手段による撮像範囲内において移動した被写体を判別可能な被写体判別ステップと、
を含み、
前記被写体判別ステップでは、前記２回目の撮像画像中の特徴点を抽出し、抽出した特徴点が前記１回目の撮像画像内のどこに対応するかを探索することにより、前記１回目の撮像画像と前記２回目の撮像画像とを位置合わせし、位置合わせした前記１回目の撮像画像と前記２回目の撮像画像との差分から、移動した被写体を判別し、
前記被写体指定ステップでは、前記被写体判別ステップで移動したと判別された被写体を指定する、
ことを特徴としている。
【００１３】
請求項５に記載の発明は、
撮像手段と表示手段とを制御するマイクロプロセッサを、
前記撮像手段による撮像範囲内においていずれかの被写体を入力手段からの信号に基づいて指定可能な被写体指定手段、
前記撮像手段による１回目の撮像の際に、前記被写体指定手段により指定された被写体の輪郭を認識する被写体認識手段、
前記被写体認識手段により認識された輪郭を前記表示手段に表示させる表示制御手段、
前記撮像手段による１回目の撮像画像と２回目の撮像画像とに基づいて、前記被写体指定手段により指定された被写体の画像を抽出する被写体抽出手段、
前記撮像手段による撮像範囲内において移動した被写体を判別可能な被写体判別手段、
として機能させ、さらに、
前記被写体判別手段として、前記２回目の撮像画像から特徴点を抽出させ、抽出した前記特徴点が前記１回目の撮像画像内のどこに対応するかを探索することにより、前記１回目の撮像画像と前記２回目の撮像画像とを位置合わせし、位置合わせした前記１回目の撮像画像と前記２回目の撮像画像との差分から、移動した被写体を判別させ、
前記被写体指定手段として、前記被写体判別手段により移動したと判別された被写体を指定させる、
ことを特徴としている。
【発明の効果】
【００１４】
本発明によれば、撮影機能および切り抜き画像を生成する機能を有する電子機器において、被写体の切り抜きが成功するか否かをユーザが予測することが可能となり、それによって１回のトライで被写体の切り抜き画像を確実に得ることができるという効果がある。
【図面の簡単な説明】
【００１５】
【図１】本発明を適用した電子機器の一例としての携帯電話機の一実施形態を示すブロック図である。
【図２】実施形態の携帯電話機の制御部に設けられるフラグの構成例を示す説明図である。
【図３】撮像手段により撮影された画像および切り抜かれた画像の一例を示す画像説明図である。
【図４】図１の携帯電話機の撮像部および画像認識部の概略構成を示すブロック図である。
【図５】本発明を適用した実施形態の携帯電話機において行う画像処理のための制御の前半部分を示すフローチャートである。
【図６】本発明を適用した実施形態の携帯電話機において行う画像処理のための制御の後半部分を示すフローチャートである。
【図７】図５のフローチャート内の抽出被写体指定処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の好適な実施の形態を図面に基づいて説明する。
【００１７】
図１は、本発明を適用した撮像機能を有する電子機器の一例としての携帯電話機の一実施形態のブロック図を示す。
【００１８】
図１に示すように、本実施形態の携帯電話機１０は、プログラムに従って機器全体を制御するとともに画像処理を行うＣＰＵ（マイクロプロセッサ）、ＣＰＵ（１１）が実行するプログラムや固定データを記憶する読み出し専用のＲＯＭ（リードオンリメモリ）、ＣＰＵ（１１）の作業領域やデータの一時的な記憶領域を提供する随時書き込み読み出し可能なＲＡＭ（ランダムアクセスメモリ）などからなる制御部１１と、テンキーやファンクションキーなどからなる操作部１２と、液晶パネル１３１および入力のためのタッチパネル１３２を備えたタッチパネル式の表示部１３と、機器内部の電子部品に直流電源電圧を供給する電源部１４を備える。
【００１９】
また、携帯電話機１０は、スピーカ１２１を駆動したりマイクロフォン１２２からの音声信号を増幅してデジタル信号に変換したりする電話部１５と、フィルタやパワーアンプなどを備え送受信信号の変復調処理や無線通信で基地局との間の音声やデータの通信を行う通信部１６と、アドレス帳のデータや撮影した画像などを記憶する書込み可能な不揮発性メモリなどからなる記憶部１７と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサやレンズなどの光学系を有する撮像部１８と、撮像部１８により撮影された画像データを処理する画像認識部１９等を備え、これらがシステムバス２０を介して互いに接続されている。
【００２０】
図４には、撮像部１８と、撮像部１８により撮影された画像データを処理する画像認識部１９の概略構成が示されている。
撮像部１８は、複数のズームレンズやフォーカスレンズやレンズを光軸方向に移動させるレンズ駆動部からなるレンズ部１８１と、光電変換用のイメージセンサと該センサを走査駆動する駆動回路やタイミング発生回路などからなる電子撮像部１８２と、レンズ駆動部やイメージセンサを制御して画像信号を読み出す撮像制御部１８３とからなる。なお、撮像制御部１８３は、ＡＥ（自動露出処理）、ＡＦ（自動合焦処理）、ＡＷＢ（自動ホワイトバランス）等の撮像条件の調整制御も行う。
【００２１】
画像認識部１９は、電子撮像部１８２から出力された画像信号から１画面分ずつ画像フレームを生成する画像データ生成部１９１と、画像データ生成部１９１により生成された画像フレームを記憶する画像メモリ１９２と、特徴量演算部１９３、ブロックマッチング部１９４、画像処理部１９５、記録制御部１９６、タッチパネル式の表示部１３の液晶パネル１３１を駆動制御する表示制御部１９７、表示部１３のタッチパネル１３２からの入力を検出する入力検出部１９８などを備えている。図４には、前記入力操作部１２を構成する各種入力キーのうち、シャッタボタン１２１と選択決定ボタン１２２が示されている。
【００２２】
上記画像データ生成部１９１は、電子撮像部１８２から出力されたアナログ値の画像信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号データＣｂ，Ｃｒ（ＹＵＶデータ）を生成する。
【００２３】
生成された輝度信号Ｙ及び色差信号データＣｂ，Ｃｒは、図示しないＤＭＡコントローラによって、バッファメモリとして使用される画像メモリ１９２へＤＭＡ転送される。画像メモリ１９２は、例えばＤＲＡＭ等により構成され、特徴量演算部１９３と、ブロックマッチング部１９４と、画像処理部１９５と、制御部（ＣＰＵ）１１等によって処理されるデータ等を一時記憶する。特徴量演算部１９３は、背景画像を基準として、当該背景画像から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部１９３は、例えば、背景画像のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。
【００２４】
ブロックマッチング部１９４は、被写体切り抜き画像を生成する際に、図３（ａ）のような目的とする被写体Ｂが存在する画像ｆ１と図３（ｃ）のような被写体Ｂが同じ位置に存在しない画像（以下、背景画像と称する）ｆ３との位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部１９４は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像ｆ１内のどこに対応するか、つまり、被写体存在画像ｆ１内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。
【００２５】
画像処理部１９５は、画像メモリ１９２に記憶された複数の画像フレーム（動画像を含む）に基づいて、背景内に被写体Ｂが存在するか否かを判定する判定機能を具備している。また、画像処理部１９５は、画像メモリ１９２に記憶された画像フレームの中から被写体Ｂが存在する画像ｆ１（図３（ａ））と被写体Ｂが同じ位置に存在しない背景画像ｆ３（図３（ｃ））とに基づいて、ブロックマッチング部１９４により抽出されたテンプレートを用いて位置合わせを行い、背景画像ｆ３と被写体存在画像ｆ１との間で対応する各画素の差分情報に基づいて、被写体存在画像ｆ１から被写体Ｂを切り抜いた画像ｆ４（図３（ｄ））を生成する機能を有する。画像制御部１９６は、上記のようにして生成された切り抜き画像ｆ４を記録部１７に記憶する。
【００２６】
表示制御部１９７は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備え、画像メモリ１９２に一時的に記憶されている表示用画像データを読み出して表示部１３に表示させる制御を行う。具体的には、デジタルビデオエンコーダは、画像メモリ１９２から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１３に出力する。表示部１３は、表示制御部１９７から供給されるビデオ信号に基づいて、ライブビュー画像や撮像された画像、切り抜き画像など加工された画像を液晶パネル１３１の表示画面に表示する。入力検出部１９８は、タッチパネル１３２からの入力を検出して制御部（ＣＰＵ）１１へ対応する信号を入力する。
【００２７】
本実施形態においては、画像認識部１９が、撮像部１８から撮像信号により液晶パネル１３１の画面にプレビュー表示されている図３（ａ）のような画像フレームｆ１で切り抜きをしたい被写体をタッチして指定すると、指定された被写体がその後の処理で切り抜き可能なものであれば、図３（ｂ）の画像ｆ２のようにその輪郭を正しく表示する。そこで、ユーザはその画像を確認してから１回目の撮影操作を行い、その後の被写体が撮影範囲から移動した状態で２回目の撮影を行うと、画像認識部１９が、１回目と２回目に撮像された画像ｆ１とｆ３（図３（ａ）と（ｃ）参照）から画像間で対応する各画素の差分情報に基づいて、被写体存在画像ｆ１から被写体画像Ｂを抽出して切り抜き画像ｆ４（図３（ｄ）参照）を生成できるようにするものである。
【００２８】
次に、本発明を適用した撮像機能を有する携帯電話機の第１の実施形態における画像処理のための制御手順について、図５から図７のフローチャートを用いて説明する。
図５に示すように、制御部（ＣＰＵ）１１は、電源が投入されると初期設定で先ず指定フラグを「０」にクリアする（ステップＳ１）。指定フラグは、図２に示すように、「０」は抽出対象の被写体が指定されていない状態を表し、「１」は抽出対象の被写体が指定されている状態を表す。その後、携帯電話機の通常状態である待ち受け状態に移行する（ステップＳ２）。そして、着信があるか否かを判定する（ステップＳ３）。着信があったときはオフフック操作があったか否かを判定する（ステップＳ４）。ステップＳ４でオフフック操作がない（＝ＮＯ）と判定したときはステップＳ３へ戻り、ステップＳ４でオフフック操作があった（＝ＹＥＳ）と判定したときは通話処理（ステップＳ５）を実行する。その後、オンフック操作があったか否かを判定する（ステップＳ６）。ステップＳ６でオンフック操作がない（＝ＮＯ）と判定したときはオンフック操作がなされるのを待ち、ステップＳ６でオンフック操作があった（＝ＹＥＳ）と判定したときは終話処理（ステップＳ７）を実行した後、ステップＳ３へ戻る。
【００２９】
一方、ステップＳ３で着信なし（＝ＮＯ）と判定したときは、抽出画像撮影操作が設定されたか否か判定する（ステップＳ８）。ここで、撮影操作設定なし（＝ＮＯ）と判定したときは、符号「１」に従って図６のステップＳ２２へ移行する。また、ステップＳ８で、撮影操作設定があった（＝ＹＥＳ）と判定したときは、タッチパネル１３２により抽出したい被写体の指定がなされたか否かを判定する（ステップＳ９）。この抽出被写体指定処理Ｓ９の詳しい手順は、後に図７を用いて説明する。
【００３０】
その後、指定フラグが「１」になっているか否か判定する（ステップＳ１０）。被写体の指定がなされていれば、抽出被写体指定処理Ｓ９の中で指定フラグが「１」にセットされる。ここで、指定フラグが「０」（＝ＮＯ）ならばステップＳ１３へジャンプし、指定フラグが「１」（＝ＹＥＳ）ならば指定された被写体の輪郭を認識する処理（ステップＳ１１）を行い、図３（ｂ）のように、認識した輪郭を液晶パネル１３１の画面に表示する（ステップＳ１２）。従って、表示された輪郭が誤ったものであれば、ユーザはこのエラーメッセージによって被写体抽出ができないことを早い段階で知ることができる。なお、ステップＳ１１での被写体の輪郭を認識する処理については、従来より、画像データにおいて撮影物体の輪郭を抽出する画像処理方法が知られており、本発明においても従来と同様な輪郭抽出処理方法を利用することができるので、詳しい説明は省略する。
【００３１】
ステップＳ１２の次には、１回目の撮影操作（シャッターボタンのオン操作）がなされたか否か判定する（ステップＳ１３）。ここで、１回目の撮影操作がなされていない（＝ＮＯ）と判定したときは１回目の撮影操作がなされるのを待つ。そして、１回目の撮影操作がなされると（＝ＹＥＳ）、次のステップＳ１４で、動画像撮影が設定されているか否か判定し、動画像撮影でない（＝ＮＯ）と判定したときは、静止画像撮影処理を実行する（ステップＳ１５）。一方、ステップＳ１０で動画像撮影が設定されている（＝ＹＥＳ）と判定したときは、所定時間動画像撮影処理を実行する（ステップＳ１６）。続いて、ユーザによる２回目の撮影操作がなされたか否か判定する（ステップＳ１７）。
【００３２】
ここで、２回目の撮影操作がなされていない（＝ＮＯ）と判定したときは、２回目の撮影操作がなされるのを待つ。そして、ステップＳ１４で２回目の撮影操作がなされた（＝ＹＥＳ）と判定したときは、２回目の撮影処理を実行する（ステップＳ１８）。次に、１回目に撮影した画像と２回目に撮影した画像とから被写体画像を抽出する抽出処理（ステップＳ１９）を実行し、抽出された被写体画像からキャラクタを生成して、記憶部１７へ記憶（ステップＳ２０）し、指定フラグを「０」にクリアする（ステップＳ２１）。
【００３３】
さらに、本実施形態では、ステップＳ２１で指定フラグを「０」にクリアした後にステップＳ３へ戻るようにされており、ステップＳ３で着信なしと判定してステップＳ８へ移行して抽出画像の撮影操作なし（＝ＮＯ）と判定すると、符号「１」に従って図６のステップＳ２２へジャンプする。そして、このステップで合成操作がなされたか否か判定し、合成操作がなされた（＝ＹＥＳ）と判定した場合には、ユーザ操作で、記憶部１７内に予め記憶されている背景画像の中から１つが選択され（ステップＳ２３）、さらにキャラクタの選択（ステップＳ２４）がなされた後、背景画像に対するキャラクタの位置調整（ステップＳ２５）がなされると、背景画像とキャラクタとの合成し合成画像を記憶部１７に記憶する処理（ステップＳ２６）を行ってステップＳ３へ戻る。
なお、ステップＳ２２で合成操作がなされていない（＝ＮＯ）と判定した場合には、ステップＳ２７へ移行して、発信操作や背景画像撮影操作などその他の操作がなされたか否か判定し、操作がなされていない（＝ＮＯ）と判定した場合にはステップＳ３へ戻り、その他の操作がなされた（＝ＹＥＳ）と判定した場合にはその操作に対応する処理（ステップＳ２８）を実行してステップＳ３へ戻る。
【００３４】
前記ステップＳ９の抽出被写体指定処理では、図７に示すように、先ず表示画面（タッチパネル）へのタッチ操作がなされたか否か判定する（ステップＳ４１）。ここで、画面へのタッチ操作がなされた（＝ＹＥＳ）と判定すると、タッチ位置に認識可能な被写体が存在するか否か判定する（ステップＳ４２）。そして、認識可能な被写体が存在していれば（＝ＹＥＳ）ステップＳ４３でこの認識した被写体を抽出対象として指定してから、指定フラグを「１」にセットして当該抽出被写体指定処理を終了して戻る（ステップＳ４４）。また、ステップＳ４２でタッチ位置に認識可能な被写体が存在していない（＝ＮＯ）と判定すると、ステップＳ４５で、「抽出対象として指定可能な被写体が存在しない」旨のエラーメッセージを出力して抽出被写体指定処理を終了する。従って、ユーザはこのエラーメッセージによって被写体抽出ができないことを早い段階で知ることができる。
【００３５】
一方、ステップＳ４１で画面へのタッチ操作がなされていない（＝ＮＯ）と判定すると、十字キーと決定キーによる操作つまりカーソルの移動と選択操作があったか否か判定する（ステップＳ４６）。ここで十字キーと決定キーによる操作があった（＝ＹＥＳ）と判定すると、選択位置に認識可能な被写体が存在するか否か判定する（ステップＳ４７）。そして、認識可能な被写体が存在していれば（＝ＹＥＳ）ステップＳ４８でこの選択された被写体を抽出対象として指定してから、指定フラグを「１」にセットして当該抽出被写体指定処理を終了して戻る（ステップＳ４９）。また、ステップＳ４７で選択位置に認識可能な被写体が存在していない（＝ＮＯ）と判定すると、前記ステップＳ４５へ進んでエラーメッセージを出力して抽出被写体指定処理を終了する。
【００３６】
また、ステップＳ４６で十字キーと決定キーによる操作がなかった（＝ＮＯ）と判定すると、撮影範囲内に移動した被写体があるか否か判定する（ステップＳ５０）。つまり、ステップＳ５０は、撮像手段による撮像範囲内において移動した被写体を判別可能な被写体判別手段として機能する。そして、移動した被写体があれば（＝ＹＥＳ）ステップＳ５１でこの移動した被写体を抽出対象として指定してから、指定フラグを「１」にセットして当該抽出被写体指定処理を終了して戻る（ステップＳ５２）。ステップＳ５０で移動した被写体がない（＝ＮＯ）と判定すると、ステップＳ５１，Ｓ５２をスキップして元に戻る。
【００３７】
以上のように、この実施形態においては、被写体の抽出撮影モードの際に、タッチパネルもしくは十字キーと決定キーによる被写体の指定、または撮影範囲内での被写体の移動があった判定されると、選択された被写体の輪郭が表示された後、撮影範囲から被写体が外れた状態で２回の撮影操作が行われると、１回目の撮影画像と２回目の撮影画像とから、指定された被写体の抽出が行われる。そのため、撮影操作を行う前に表示される被写体の輪郭またはエラーメッセージによって切り抜きが成功するか否か予測することができ、２回目の撮影操作が終わってから切り抜きが失敗したことが分かるというようなことがなくなり、１回のトライで被写体の切り抜き画像を確実に得ることができるようになるという利点がある。
【００３８】
また、この実施形態では、被写体が撮影範囲内で移動するだけで抽出対象の被写体を指定することができるため、被写体切り抜き画像を生成する際のユーザの操作が簡単になるという利点がある。さらに、１回目の撮影を動画像撮影とすることで、被写体画像の抽出が容易に行える。また、抽出された被写体画像と任意の背景画像とを合成した合成画像を生成する機能を有することにより、コラージュ写真や動画を容易に作成して楽しむことができるようになる。
【００３９】
以上本発明者によってなされた発明を実施形態に基づき具体的に説明したが、本発明は前記実施形態に限定されるものではない。例えば、前記実施形態においては、被写体の抽出撮影モードの際に、タッチパネルによる被写体の指定もしくは、十字キーと決定キーによる被写体の指定、または撮影範囲内での被写体の移動があった判定されると移動した被写体を抽出対象として指定し、指定もしくは選択された被写体の輪郭が表示された後、２回の撮影を経て被写体の抽出が行われると説明したが、必ずしも３種類の被写体の指定方法を具備する必要はなく、いずれか２種類あるいは１種類の被写体指定方法を具備していればよい。
ただし、タッチパネルによる被写体の指定方法によれば、簡便かつ確実に被写体を指定することができる。また、十字キーと決定キーによる被写体の指定方法によれば、表示部にタッチパネルを設ける必要がないので、コストアップを抑制することができる。さらに、撮影範囲内での被写体の移動があった判定されると移動した被写体を抽出対象として指定する方法によれば、十字キーと決定キーを備えていない電子機器にも適用することがより安価に実現することができる。
【００４０】
また、前記実施形態においては、２回の撮影をそれぞれユーザによる撮影操作で実行するとしたが、１回目の撮影のみユーザによる撮影操作で実行し、被写体が撮影範囲から外れるなどの変化があった場合に２回目の撮影を行い、２つの撮影画像から被写体画像を切り抜くようにしてもよい。また、前記実施形態においては、指定された被写体の輪郭を表示するようにしているが、輪郭を表示する代わりに、指定された被写体の明るさを変えたり、カラーフィルタをかけたような表示を行うようにしてもよい。
【００４１】
さらに、前記実施形態においては、本発明を適用して有効な電子機器の一例としての携帯電話機を例にとって説明したが、本発明は携帯電話機に限定されず、撮像機能を有する電子機器であれば例えばデジタルカメラはもちろんＰＤＡ（パーソナルデジタルアシスタンツ）やノートパソコンなどにも利用することができる。
【符号の説明】
【００４２】
１０  携帯電話機
１１  制御部（ＣＰＵ；マイクロプロセッサ）
１２  操作部
１３  表示部
１４  電源部
１５  電話部
１６  通信部
１７  記憶部
１８  撮像部
１９  画像認識部
１３１  液晶パネル（表示手段）
１３２  タッチパネル（入力手段）
１８１  レンズ部
１８２  電子撮像部（撮像手段）
１８３  撮像制御部
１９１  画像データ生成部
１９２  画像メモリ
１９３  特徴量演算部
１９４  ブロックマッチング部
１９５  画像処理部
１９６  記録制御部
１９７  表示制御部
１９８  入力検出部
【図１】
0005517192.tif 000002
【図２】
0005517192.tif 000003
【図４】
0005517192.tif 000004
【図５】
0005517192.tif 000005
【図６】
0005517192.tif 000006
【図７】
0005517192.tif 000007
【図３】
0005517192.tif 000008