(57)【要約】【課題】手ぶれの惧れが少なく、良好な撮影ができ、且つ、撮影者が望み得るシーンの撮影を円滑に行うことができるカメラ付き携帯端末を提供する。【解決手段】携帯電話機は、撮像画像を画像情報として出力するアウトカメラ１３およびインカメラ２４と、前記アウトカメラ１３からの前記画像情報を記憶するメモリ１０７と、前記インカメラ２４による前記撮像画像に含まれる顔画像の表情を判別する表情判別エンジン１０３と、前記表情判別エンジン１０３からの判別情報に基づいて前記アウトカメラ１３からの前記画像情報を前記メモリ１０７に記憶させるＣＰＵ１００とを備える。【選択図】図２
2010148052.tif 000002
【特許請求の範囲】
【請求項１】
第１のカメラ部と、
前記第１のカメラ部を用いて撮影を行う際に撮影者に向けられるように配置された第２のカメラ部と、
前記第１のカメラ部からの画像情報を記憶する記憶部と、
前記第２のカメラ部からの画像情報に基づいて前記第１のカメラ部からの前記画像情報を前記記憶部に記憶させる制御部と、を備える、
ことを特徴とするカメラ付き携帯端末。
【請求項２】
請求項１に記載のカメラ付き携帯端末において、
前記制御部は、前記第２のカメラ部により撮影された画像中に含まれる顔画像の状態に基づいて、前記第１のカメラ部からの前記画像情報を前記記憶部に記憶させる、
ことを特徴とするカメラ付き携帯端末。
【請求項３】
請求項２に記載のカメラ付き携帯端末において、
前記制御部は、前記顔画像の表情が予め設定された表情にあるかに基づいて、前記第１のカメラ部からの前記画像情報を前記記憶部に記憶させる、
ことを特徴とするカメラ付き携帯端末。
【請求項４】
請求項３に記載のカメラ付き携帯端末において、
前記制御部は、特定の表情における前記顔画像の表情のレベルが閾値を超えたことに基づいて、前記第１のカメラ部からの前記画像情報を前記記憶部に記憶させる、
ことを特徴とするカメラ付き携帯端末。
【請求項５】
請求項２ないし４の何れか一項に記載のカメラ付き携帯端末において、
前記制御部は、前記第１のカメラ部からの前記画像情報を前記記憶部に記憶させる際に、前記顔画像の状態に関する顔状態情報を当該画像情報に関連付ける、
ことを特徴とするカメラ付き携帯端末。
【請求項６】
請求項２ないし５の何れか一項に記載のカメラ付き携帯端末において、
前記制御部は、外部操作に基づいて、前記顔画像の状態の判定基準となる基準顔画像を設定し、設定した基準顔画像に基づいて、前記第２のカメラ部により撮影された画像中に含まれる顔画像の状態を判定する、
ことを特徴とするカメラ付き携帯端末。
【請求項７】
請求項６に記載のカメラ付き携帯端末において、
前記制御部は、前記基準顔画像の選択候補となり得る顔画像を、前記第１のカメラ部を用いた撮影の際に前記第２のカメラ部によって撮影された画像から取得する、
ことを特徴とするカメラ付き携帯端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ付き携帯電話機、カメラ付きＰＤＡ（Personal Digital Assistant）等のカメラ付き携帯端末に関するものである。
【背景技術】
【０００２】
近年、ほとんどの携帯電話機にカメラ機能が搭載されている。ユーザは、カメラモードを起動することにより、携帯電話機を用いて手軽に撮影を行うことができる。撮影時には、通常、シャッターボタンに割り当てられたボタンがユーザによって操作される。これにより、シャッターが切られ、撮影された画像が携帯電話機内のメモリに保存される。
【０００３】
ところが、このようにシャッターボタンが操作されると、手ぶれにより撮影画像が暈ける惧れがある。また、撮影対象者の笑顔や面白い動作を撮影しようとする場合には、所望のシーンが現れたタイミングからシャッターボタンを押すタイミングが遅れてしまい、所望のシーンを撮影できないとの事態がしばしば起こり得る。
【０００４】
近年、撮影対象者の顔やその顔の表情を検出し、顔の表情や動きに応じて自動的にシャッターが切られるカメラが開発されている（たとえば、特許文献１）。このような自動撮影技術をカメラ付き携帯電話機に適用すれば、ユーザは、撮影対象者の笑顔などを逃さずに撮影することが可能となる。
【特許文献１】特開２００８−４２３１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記カメラにあっては、必ずしも撮影者が望むような撮影対象者の表情や動作が撮影されるとは限らない。
【０００６】
また、撮影対象者やその人数、カメラから撮影対象者までの距離、撮影対象者の顔の向きなどは、撮影を行う度に変わってくるため、笑顔などの表情を常に高精度で検出するのは難しく、撮影状況によっては適正な撮影が行えない惧れもある。
【０００７】
本発明は、このような課題を解消するためになされたものであり、手ぶれの惧れが少なく、良好な撮影ができるカメラ付き携帯端末を提供することを目的とする。さらに、撮影者が撮影を望み得るシーンを逃さず円滑に撮影できるカメラ付き携帯端末を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のカメラ付き携帯端末は、第１のカメラ部と、前記第１のカメラ部を用いて撮影を行う際に撮影者に向けられるように配置された第２のカメラ部と、前記第１のカメラ部からの画像情報を記憶する記憶部と、前記第２のカメラ部からの画像情報に基づいて前記第１のカメラ部からの前記画像情報を前記記憶部に記憶させる制御部とを備えている。
【０００９】
本発明のカメラ付き携帯端末によれば、第２のカメラが捉えた撮影者の画像に基づいて、シャッター動作（画像記憶）が行われるので、撮影者は、シャッターボタンを操作しなくても、写真撮影を行うことができる。したがって、手ぶれの惧れが少ない、良好な撮影を行うことができる。
【００１０】
本発明のカメラ付き携帯端末において、前記制御部は、前記第２のカメラ部により撮影された画像中に含まれる顔画像の状態に基づいて、前記第１のカメラ部からの前記画像情報を前記記憶部に記憶させるような構成とされ得る。より望ましくは、前記顔画像の表情が予め設定された表情にあるかに基づいて、たとえば、特定の表情における前記顔画像の表情のレベルが閾値を超えたことに基づいて、前記第１のカメラ部からの前記画像情報を前記記憶部に記憶させるような構成とされ得る。
【００１１】
このような構成とすれば、撮影者の顔の状態、特に表情に基づいてシャッター動作が行われるので、たとえば、撮影者が自然と笑顔となってしまうシーンなど、撮影者にとって撮影を望み得るタイミングでシャッター動作（画像記憶）を行うことができる。したがって、撮影者が望み得るシーンを写真に収めることが可能となる。
【００１２】
本発明のカメラ付き携帯端末においては、さらに、前前記制御部は、前記第１のカメラ部からの前記画像情報を前記記憶部に記憶させる際に、前記顔画像の状態に関する顔状態情報を当該画像情報に関連付けるような構成とされ得る。
【００１３】
このような構成とすれば、撮影した画像を、表情別に分類してサムネイル表示させるなどすることが可能となり、ユーザによって利便性が高まる。
【００１４】
また、本発明のカメラ付き携帯端末において、前記制御部は、外部操作に基づいて、前記顔画像の状態の判定基準となる基準顔画像を設定し、設定した基準顔画像に基づいて、前記第２のカメラ部により撮影された画像中に含まれる顔画像の状態を判定するような構成とされ得る。
【００１５】
この場合さらに、前記制御部は、前記基準顔画像の選択候補となり得る顔画像を、前記第１のカメラ部を用いた撮影の際に前記第２のカメラ部によって撮影された画像から取得するような構成とされ得る。なお、ここでの「第１のカメラ部を用いた撮影」とは、顔画像の状態に基づいて撮影を行う場合に限られるものではなく、たとえば、シャッターボタンの操作により撮影を行うものも含まれる。要は、撮影方法の如何を問わず、第１のカメラ部が用いられた撮影であればよい。
【００１６】
このような構成とすれば、撮影者自身の顔画像（表情）の判定が行えるので、判定精度を高めることができる。しかも、第２のカメラで撮影された撮影者の自然な表情の顔画像を判定基準として用いることが可能となるため、さらに判定精度を高めることができる。
【発明の効果】
【００１７】
以上のとおり、本発明によれば、手ぶれの惧れが少なく、良好な撮影ができるカメラ付き携帯端末を提供することができる。また、撮影者が撮影を望み得るシーンを逃さず円滑に撮影できるカメラ付き携帯端末を提供することができる。
【００１８】
本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態に記載されたものに何ら制限されるものではない。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態につき図面を参照して説明する。図１は携帯電話機の外観構成を示す図であり、同図（ａ）は、第２キャビネットが開放した状態の携帯電話機の正面図、同図（ｂ）は同じ状態での側面図である。同図（ｃ）は同図（ｂ）のＡ−Ａ´断面図である。
【００２０】
携帯電話機は、第１キャビネット１と第２キャビネット２を備えている。第１キャビネット１の正面側には、テンキー部１１が配されている。テンキー部１１には、複数個の番号・文字入力キーや通話開始キー、通話終了キーなどが備えられている。テンキー部１１の背後には、バックライト装置１２（以下、「キーバックライト」という）が配されている。キーバックライト１２は、光源となるＬＥＤを備え、テンキー部１１に光を供給する。これにより、ユーザは、周囲が暗くても各キーに付された表示を見ることができる。
【００２１】
第１キャビネット１の内部には、アウトカメラ１３が配されている。アウトカメラ１３は、たとえば、数百万画素のカメラモジュールである。アウトカメラ１３のレンズ窓（図示せず）は、第１キャビネット１の背面に臨んでおり、このレンズ窓から被写体の像がアウトカメラ１３に取り込まれる。
【００２２】
第２キャビネット２の正面側には、縦長の矩形状を有するディスプレイ２１が配されており、その表示面が正面に臨んでいる。このディスプレイ２１は、たとえば、液晶パネルや有機ＥＬなどを用いて構成することができる。ディスプレイ２１の背後には、バックライト装置２２（以下、「パネルバックライト」という）が配されている。パネルバックライト２２は、光源となるＬＥＤを備え、ディスプレイ２１に光を供給する。
【００２３】
第２キャビネット２の正面側には、さらに、メインキー部２３が配されている。メインキー部２３には、各種の機能モード（カメラモード、メールモード、インターネットモード、電話帳モード）を起動するための４つのモードキー、画面をスクロールしたりハイライトフォーカスを移動させたりするための移動キー、各種の決定動作を行うための決定キーなどが配されている。
【００２４】
なお、テンキー部１１やメインキー部２３は、タッチパネルやタッチセンサを用いて実現することもできる。
【００２５】
第２キャビネット１の内部には、インカメラ２４が配されている。インカメラ２４は、アウトカメラ１３に比べて低画素、たとえば、数十万画素のカメラモジュールである。インカメラ２４のレンズ窓（図示せず）は、第２キャビネット１の正面に臨んでおり、このレンズ窓から被写体の像がインカメラ２４に取り込まれる。
【００２６】
アウトカメラ１３は、カメラモードにおいて、通常の写真撮影に用いられる。一方、インカメラ２４は、主に、テレビ電話において通話を行う際、ユーザ（通話者）の画像を撮影するために用いられる。また、インカメラ２４は、カメラモードの一つの機能である自動撮影モードにおいて、ユーザ（撮影者）の顔を撮影するために用いられる。この自動撮影モードについては、後に詳しく説明する。
【００２７】
第２キャビネット２は、スライド機構部３によって、第１キャビネット１に対し図１のＸ軸方向にスライド可能に連結されている。図１（ｃ）に示すように、スライド機構３は、ガイド板３１とガイド溝３２によって構成されている。ガイド板３１は、第２キャビネット２の背面の左右両端部に設けられており、その下端に突条３１ａを有する。ガイド溝３２は、第１キャビネット１の側面に、スライド方向（図１のＸ軸方向）に沿って形成されている。ガイド板３１の突条３１ａは、ガイド溝３２に係合されている。
【００２８】
携帯電話機を閉じた状態では、図１（ｂ）に一点鎖線で示すように、第２キャビネット２が第１キャビネット１の上に略完全に重なっている。この状態（閉じた状態）では、第２キャビネット２の背後にテンキー部１１の全てのキーが隠れた状態となる。第２キャビネット２は、ガイド板３１がガイド溝３２の終端位置に達するまでスライドする（開いた状態とする）ことができる。第２キャビネット２が完全に開くと、図１（ａ）に示すように、テンキー部１１の全てのキーが外部に露出する。
【００２９】
図２は、携帯電話機の全体構成を示すブロック図である。本実施の形態の携帯電話機は、上述した各構成要素の他、ＣＰＵ１００、２つの映像エンコーダ１０１、１０２、表情判別エンジン１０３、マイク１０４、音声エンコーダ１０５、通信モジュール１０６、メモリ１０７、バックライト駆動回路１０８、映像デコーダ１０９、音声デコーダ１１０、スピーカ１１１を備えている。
【００３０】
アウトカメラ１３は、撮像レンズ１３ａ、撮像素子１３ｂなどから構成されている。撮像レンズ１３ａは、被写体の像を撮像素子１３ｂ上に結像させる。撮像素子１３ｂは、例えばＣＣＤからなり、取り込んだ画像に応じた画像信号を生成し、映像エンコーダ１０１へ出力する。映像エンコーダ１０１は、撮像素子１３ｂからの画像信号を、ＣＰＵ１００が処理できるディジタルの画像信号に変換してＣＰＵ１００へ出力する。
【００３１】
インカメラ２４は、アウトカメラ１３と同様、撮像レンズ２４ａ、撮像素子２４ｂなどから構成され、撮像画像２４ｂに取り込まれた画像に応じた画像信号を映像エンコーダ１０２へ出力する。映像エンコーダ１０２は、映像エンコーダ１０１と同様、ディジタル化した画像信号をＣＰＵ１００に出力する。また、映像エンコーダ１０２は、画像信号を表情判別エンジン１０３に出力する。
【００３２】
表情判別エンジン１０３は、画像信号に基づいて、インカメラ２４で撮影された画像の中から顔画像を抽出し、さらに抽出した顔画像から特定の表情に対する適合度、たとえば、笑顔度（笑顔の評価値）を算出してＣＰＵ１００へ出力する。
【００３３】
表情判別エンジン１０３には、笑顔、驚き顔など特定の表情のサンプル画像が予め多数記憶されている。たとえば、顔全体や口、目、鼻等の各パーツのサンプル画像が記憶されている。表情判別エンジン１０３は、抽出した顔画像を、所定の評価方法を用いてサンプル画像との間で評価し、その表情に対する適合度（評価値）を出力する。
【００３４】
各種の評価方法を用いた表情の判別手法が既に公知となっており、表情判別エンジン１０３には、これら公知の判別手法を適用することができる。たとえば、特開２００８−４２３１９号公報に記載されているように、「フィッシャーの線形判別分析」の方法を用いることにより、抽出した顔画像をサンプル画像との間で評価し、適合度を求めることができる。また、特開２００４−２７２９３３号公報に記載されているように、「正準判別分析」の方法を用いて評価を行い、適合度を求めることもできる。あるいは、特開平６−６７６０１号公報や特開２００８−１３１４０５号公報に記載されているように、テンプレートマッチングの方法を用いて評価を行い、適合度を求めることもできる。
【００３５】
マイク１０４は、音声信号を電気信号に変換して音声エンコーダ１０５へ出力する。音声エンコーダ１０５は、マイク１０４からの音声信号を、ＣＰＵ１００が処理できるディジタルの音声信号に変換してＣＰＵ１００へ出力する。
【００３６】
通信モジュール１０６は、ＣＰＵ１００からの音声信号や画像信号、テキスト信号などを無線信号に変換し、アンテナ１０６ａを介して基地局へ送信する。また、アンテナ１０６ａを介して受信した無線信号を音声信号や画像信号、テキスト信号などに変換してＣＰＵ１００へ出力する。
【００３７】
メモリ１０７は、ＲＯＭおよびＲＡＭを含む。メモリ１０７には、ＣＰＵ１００に制御機能を付与するための制御プログラムが記憶されている。また、メモリ１０７には、アウトカメラ１３で撮影した画像データや通信モジュール１０６を介して外部から取り込んだ画像データ、テキストデータ（メールデータ）などが所定のファイル形式で保存される。
【００３８】
バックライト駆動回路１０８は、ＣＰＵ１００からの制御信号に応じた電圧信号をパネルバックライト２２、キーバックライト１２に供給する。
【００３９】
映像デコーダ１０９は、ＣＰＵ１００からの映像信号をディスプレイ２１で表示できるアナログの映像信号に変換し、ディスプレイ２１に出力する。
【００４０】
音声デコーダ１１０は、ＣＰＵ１００からの音声信号をスピーカ１１１で出力できるアナログの音声信号に変換し、スピーカ１１１に出力する。スピーカ１１１は、音声デコーダ１１０からの音声信号を音声として再生する。
【００４１】
ＣＰＵ１００は、アウトカメラ１３、インカメラ２４、マイク１０４、メインキー部２３、テンキー部１１など各部からの入力信号に基づいて、通信モジュール１０６、映像デコーダ１０９、音声デコーダ１１０などの各部に制御信号を出力することにより、種々の機能モードの処理を行う。
【００４２】
たとえば、ＣＰＵ１００は、カメラモードのモードキーが押されると、アウトカメラ１３を起動する。そして、このカメラモードにおいて、アウトカメラ１３から送られてきた画像をプレビュー画像としてディスプレイ２１に表示させる。アウトカメラ１３からは毎秒数十コマの画像が送られてくるため、ディスプレイ２１には、ほぼ動画状態で画像が表示される。
【００４３】
ユーザによってシャッターボタン（たとえば、決定キーが割り当てられている）が押されると、ＣＰＵ１００は、そのタイミングで撮影された画像を、ＪＰＥＧ等など所定のファイル形式によってメモリ１０７に記憶させる。
【００４４】
さて、本実施の形態の携帯電話機では、カメラモードの中の１つの機能として、自動撮影モードの機能が備えられている。ユーザは、シャッターボタンの操作だけでなく、自らの顔の表情により自動撮影を行わせたい場合に、所定のキー操作を行って自動撮影モードに設定することができる。
【００４５】
自動撮影モードが設定されている場合、ＣＰＵ１００は、カメラモードが起動すると、表情判別エンジン１０３から出力される特定の表情に対する適合度（たとえば、笑顔度）を取得する。そして、取得した適合度（笑顔度）に基づいてシャッター動作を行い、そのときにアウトカメラ１３で撮影した画像の画像データをメモリ１０７に記憶させる。
【００４６】
図３は、自動撮影モードにおける撮影処理の処理フローを示す図である。以下、同図を参照して、その制御動作について説明する。ここでは、顔の表情として、笑顔を用いた場合を例にとって説明する。
【００４７】
自動撮影モードが設定された状態において、カメラモードが起動されると、ＣＰＵ１００は、アウトカメラ１３およびインカメラ２４を起動する（Ｓ１０１）。これにより、アウトカメラ１３およびインカメラ２４から、それぞれが撮影した画像の画像信号が出力される。
【００４８】
次に、ＣＰＵ１００は、撮影フラグ、最高笑顔度および判定時間をリセットする（Ｓ１０２）。撮影フラグは、シャッター動作が既に行われたか否かの判定のために用いられるフラグである。判定時間は、シャッター動作が行われたときの撮影者の笑顔度を判定するための時間であり、たとえば数秒程度の時間とされている。最高笑顔度は、笑顔度の最高値である。
【００４９】
撮影者によって撮影対象者の撮影が開始されると、アウトカメラ１３では撮影対象者が撮影され、撮影された画像がディスプレイ２１にプレビュー画像として表示される。一方、撮影の際、撮影者はプレビュー画像を見るために携帯電話機に顔を近づけるため、インカメラ２４では撮影者の顔が撮影される。
【００５０】
インカメラ２４で撮影された撮影者の顔画像の画像信号は表情判別エンジン１０３に入力され、表情判別エンジン１０３からは撮影者の顔の笑顔度が出力される。
【００５１】
ＣＰＵ１００は、表情判別エンジン１０３から笑顔度を取得し（Ｓ１０３）、取得した笑顔度が最高であるか否かを判定する（Ｓ１０４）。即ち、ＣＰＵ１００は、取得した笑顔度が、現在設定されている最高笑顔度より大きければ、その笑顔度が最高笑顔度であると判定する。なお、最初に笑顔度が検出されたときは、それが最高笑顔度となる。ＣＰＵ１００は、取得した笑顔度が最高であると判定すれば（Ｓ１０４：ＹＥＳ）、その笑顔度を最高笑顔度として設定する（Ｓ１０５）。
【００５２】
次に、ＣＰＵ１００は、撮影フラグがセットされているか否かを判定する（Ｓ１０６）。未だシャッター動作が行われていなければ、撮影フラグはリセットされた状態であるので（Ｓ１０６：ＮＯ）、ＣＰＵ１００は、取得した笑顔度が閾値を超えたか否かを判定する（Ｓ１０７）。
【００５３】
ＣＰＵ１００は、取得した笑顔度が閾値を超えていないと判定すると（Ｓ１０７：ＮＯ）、シャッターボタンの操作があったか否かを判定し（Ｓ１０８）、シャッターボタンの操作がなければ（Ｓ１０８：ＮＯ）、ステップＳ１０３の処理に戻って、新たな笑顔度を取得する。こうして、ＣＰＵ１００は、取得した笑顔度が閾値を超えるか（Ｓ１０７：ＹＥＳ）、シャッターボタンが操作される（Ｓ１０８：ＹＥＳ）まで、ステップＳ１０３からＳ１０８の処理を繰り返す。この間、取得した笑顔度が最高値を超えれば（Ｓ１０４：ＹＥＳ）、その都度、最高笑顔度を更新設定していく（Ｓ１０５）。
【００５４】
撮影対象者、たとえば、赤ちゃんやペットが面白い動作や可愛らしい動作を行った場合には、撮影者は自然と笑顔になってしまう。そして、赤ちゃんやペットの動作が面白かったり可愛らしかったりするほど撮影者の笑顔が大きくなる。このような微笑ましい動作が、撮影者が望む撮影シーンとなり得る。
【００５５】
撮影対象者が微笑ましい動作を行うことよって撮影者の顔が笑顔になると、笑顔度が高くなって閾値を超える状態となる。ＣＰＵ１００は、取得した笑顔度が閾値を超えたと判定すると（Ｓ１０７：ＹＥＳ）、シャッター動作を行い、そのときにアウトカメラ１３により撮影された写真画像の画像データを、メモリ１０７の一時記憶領域に記憶する（Ｓ１０９）。
【００５６】
次に、ＣＰＵ１００は、撮影フラグをセットし（Ｓ１１０）、さらに判定時間の計測を開始して（Ｓ１１１）、ステップＳ１０３の処理に戻る。この後は、撮影フラグがセットされているので（Ｓ１０６：ＹＥＳ）、ＣＰＵ１００は、判定時間が経過すると判定する（Ｓ１１２：ＹＥＳ）まで、笑顔度を取得し（Ｓ１０３）、最高笑顔度を更新していく（Ｓ１０５）。
【００５７】
図４に示すように、通常の場合、笑顔度が閾値を超えることによりシャッター動作が行われた後も、笑顔度はしばらくの間上昇する。本実施の形態では、シャッター動作を行った後、しばらくの間、撮影者の笑顔度が測定される。これにより、そのときに撮った写真画像に対する撮影者の最高の笑顔の度合いが取得できる。
【００５８】
ＣＰＵ１００は、判定時間が経過したと判定すると（Ｓ１１２：ＹＥＳ）、そのとき設定されている最高笑顔度を取得し、この最高笑顔度に対応付けて、一時記憶しておいた画像データを、正式にメモリ１０７に記憶する（Ｓ１１３）。なお、画像データには、最高笑顔度の他、ファイル名、撮影日時、撮影場所などの付加情報が付けられる。
【００５９】
なお、撮影者が、自分の好みのタイミングでシャッターボタンを操作する場合もある。この場合、ＣＰＵ１００は、シャッターボタンが操作されたと判定し（Ｓ１０８：ＹＥＳ）、シャッター動作を行って、そのときにアウトカメラ１３により撮影された写真画像の画像データを、メモリ１０７に正式に記憶する（Ｓ１１４）。
【００６０】
このようにして１回の写真撮影が完了すると（Ｓ１１２、Ｓ１１４）、ＣＰＵ１００は、再び、ステップＳ１０２の処理に戻って、撮影フラグ、最高笑顔度および判定時間をリセットし、新たに、ステップＳ１０３からの処理を始める。こうして、カメラモードが停止されるまで、上記自動撮影モードの処理が行われる。
【００６１】
なお、シャッター動作のトリガーとなる表情は、上記のように笑顔でなくても良く、たとえば、驚き顔であっても良い。この場合、表情判別エンジン１０３からは驚き度が出力されるので、撮影者が驚いたタイミングでシャッターが切られ、画像データが記憶されることとなる。また、ウインクであっても良く、その場合、表情判別エンジン１０３からはウインクの表情に対する適合度が出力されるので、撮影者がウインクをしたタイミングでシャッターが切られ、画像データが記憶されることとなる。なお、これらの表情を適用した場合における撮影処理の処理フローも図３の処理フローと同様なものとなる。
【００６２】
さらに、ユーザが、上記複数の表情からトリガーとなる表情を予め設定できる（複数の設定も可能）ようにすると、なお望ましい。なお、複数の表情が設定された場合には、それぞれの表情に対応する撮影処理（図３の処理フロー）が並列的に実行される。
【００６３】
さて、本実施の形態では、撮影された画像のサムネイルの一覧をディスプレイ２１に表示することができる。特に、本実施の形態では、撮影者の表情に基づいて撮影された写真画像が、笑顔度や驚き度など、特定の表情の度合いに対応付けられてメモリ１０７に記憶されており、サムネイルの一つの表示形態として、撮影者の表情や表情の度合いにより分類されたサムネイルの表示を行うことができる。
【００６４】
図５は、自動撮影モードで撮影した写真画像のサムネイル画面の画面表示例を示す図である。
【００６５】
ユーザ(撮影者)によって、上記のサムネイル表示のための操作がされると、ＣＰＵ１００は、図５に示すように、各表情度合いに対応する見出し画像、たとえば、顔の表情と表情度数（パーセンテージ）が描かれた画像を表示させ、各見出し画像の横に、その見出し画像に分類される写真画像のサムネイルを表示させる。
【００６６】
図５の表示例では、笑顔度に応じて３つの分類がなされており、「笑顔１００％」の見出し画像の位置には、笑顔度が１００％の画像のサムネイルが表示され、「笑顔７０％」の見出し画像の位置には、笑顔度が７０％以上で１００％未満の画像のサムネイルが表示され、「笑顔５０％」の見出し画像の位置には、笑顔度が５０％以上で７０％未満の画像のサムネイルが表示される。また、驚き度についても同様な分類がなされているが、同図においては、「驚き度１００％」の見出し画像とそれに対応する画像のサムネイルのみが示されている。スクロールバーを用いてさらに一覧画面を下方にスクロールさせると、他の驚き度に対応する画像のサムネイルが表示される。
【００６７】
以上、本実施の形態によれば、インカメラ２４を用いて撮影者の顔を撮影し、撮影者の顔の表情に基づいてシャッター動作（画像記憶）を行うようにしているので、手ぶれの心配なく、写真撮影を行うことができる。また、撮影対象者の振る舞いによって撮影者の表情が変化する、たとえば笑顔や驚き顔になるタイミングが、撮影者にとって撮影を行いたいタイミングとなり得ることが多いと考えられるが、そのタイミングを逃すことなく写真撮影が行えるので、撮影者にとって望ましい写真を撮ることができる。
【００６８】
また、本実施の形態によれば、撮影する際の撮影者の表情を判別するため、判別対象となる顔の数や顔の位置（顔までの距離）あるいは顔の向きなどがその時々によって変化しにくい。したがって、精度のよい表情判別が可能となる。
【００６９】
さらに、本実施の形態によれば、撮影した写真画像を、撮影時の撮影者の表情に対応付けて記憶するようにしているので、その画像のサムネイルを一覧表示させるときに、表情別に分類して表示させることができ、ユーザにとって利便性が高まる。
【００７０】
さらに、本実施の形態によれば、撮影者を撮影するカメラとして、テレビ電話等に用いるインカメラ２３を利用するようにしているので、別途専用のカメラを具備する必要がなく、大きなコストアップとならない。
【００７１】
＜変更例＞
上記実施の形態では、表情判別の基準となる顔画像は、顔判別エンジン１０３内に予め用意された複数の一般的な顔画像である。一般的な顔画像を用いた場合には、表情判別の対象となる顔画像がその都度異なることが多くても、適度の判別精度を得ることができる。また、汎用の表情認識エンジンを用いて簡易に装置を構成することができる。
【００７２】
しかしながら、上記実施の形態では、撮影者の表情が判別される構成であるため、その携帯電話機の持ち主など、判別対象者が限られた者となる。このため、撮影者の顔画像を判別基準となる顔画像に設定し、その顔画像を用いて表情判別を行った方が、より高い判別精度が得られやすい。
【００７３】
そこで、本変更例では、アウトカメラ１３による写真撮影の際にインカメラ２４により撮影者の顔を撮影し、その顔画像を用いて表情判別を行うような構成されている。
【００７４】
図６は、変更例に係る携帯電話機の全体構成を示すブロック図である。また、図７は、変更例に係る自動撮影モードを実現するための機能ブロック図である。
【００７５】
本変更例では、アウトカメラ１３およびインカメラ２４により撮影された画像の画像データを記憶するために、外部メモリ１１２（たとえば、ＳＤカード）が設けられている。また、表情判別エンジン１０３が設けられておらず、ＣＰＵ１００が表情判別処理を行う構成とされている。その他の構成は、上記実施の形態と同様である。
【００７６】
図７に示すように、ＣＰＵ１００およびメモリ１０５は、自動撮影モードを実現するため、顔抽出部５０１と、顔切出部５０２と、設定制御部５０３と、顔登録部５０４と、表情判別部５０５と、撮影制御部５０６とを備えている。
【００７７】
顔抽出部５０１、顔切出部５０２、設定制御部５０３、表情判別部５０５および撮影制御部５０６は、ＣＰＵ１００によって実行されるソフトウェアの機能として実現される。また、顔登録部５０４には、メモリ１０５の一部の記憶領域が割り当てられる。
【００７８】
インカメラ２４から出力された画像データは、映像エンコーダ１０２を介して、ＣＰＵ１００に入力され、この画像データが顔抽出部５０１や顔切出部５０２によって取得される。
【００７９】
顔抽出部５０１は、１コマ毎あるいは数コマ毎に、１画面分（１フレーム分）の画像データを取得し、この画像データを基にその画像の中に含まれる顔画像の領域（顔領域）を抽出する。たとえば、顔抽出部５０１は、画像中の肌色を検出し、さらに、目、鼻、口などの特徴部分を画像の濃淡等に基づいて検出することにより、顔領域の抽出を行う。そして、顔領域を特定するための情報、たとえば顔の輪郭の位置情報（以下、「顔領域情報」という）を顔切出部５０２に出力する。なお、インカメラ２４で撮影されるのは撮影者の顔であり、通常の場合、１画面中において１つの顔領域が抽出される。
【００８０】
顔切出部５０２は、顔抽出部５０１と同じタイミングで、１画面分の画像データを取得し、顔抽出部５０１から送られてきた顔領域情報を基に、１画面分の画像全体から顔領域を含む所定領域の画像を切り出す。そして、切り出した顔画像の画像データを表情判別部５０５へ出力する。
【００８１】
また、顔切出部５０２は、撮影制御部５０６からの記憶指示があると、そのときに切り出した顔画像の画像データを、画素数を落としてデータ量を小さくした後に外部メモリ１１２に出力する。出力された顔画像の画像データは、その顔画像を特定するためのファイル情報とともに外部メモリ１１２に記憶される。
【００８２】
設定制御部５０３は、後述する表情設定登録の制御処理を実行する。そして、この制御処理において、ユーザによる登録操作入力に応じて、顔登録部５０４へ登録する顔画像のファイル情報を外部メモリ１１２に出力するとともに、表情種別情報を顔登録部５０４に出力する。なお、表情種別情報は、顔画像が、笑顔、驚き顔など、どの表情に属するかを識別するための情報であり、ユーザの登録操作に応じて顔画像に付加される。
【００８３】
外部メモリ１１２は、設定制御部５０３からファイル情報を受け取ると、そのファイル情報に対応する顔画像の画像データを顔登録部５０４へ出力する。顔登録部５０４は、外部メモリ１１２から出力された顔画像の画像データを、設定制御部５０３から出力された表情種別情報に対応付けて登録する。以下、顔登録部５０４に登録された顔画像を、「登録顔画像」という。
【００８４】
表情判別部５０５は、顔切出部５０２から顔画像の画像データが送られてくると、顔登録部５０４から全ての登録顔画像の画像データを表情識別情報とともに読み出す。そして、送られてきた顔画像の表情を、各登録顔画像の表情と順次照合し、登録された顔画像の表情との適合度を算出する。たとえば、双方の顔画像から目、眉、口など表情によって変化しやすいパーツの形状を抽出し、パーツ毎の適合度を算出した後に、それらの適合度を総合的に判断して最終的な表情の適合度を算出する。
【００８５】
こうして、表情判別部５０５は、全ての登録顔画像に対する適合度を算出すると、適合度が最も高い登録顔画像の表情種別情報とそのときの適合度とを撮影制御部５０６へ出力する。
【００８６】
撮影制御部５０６は、表情判別部５０５から取得した適合度を、予め設定された閾値と比較することにより、画像中の撮影者の表情が、設定された特定の表情となったか否かを判定し、この判定結果に基づいて撮影処理を行う。
【００８７】
さて、本変更例においては、まず、撮影者となるユーザの色々な表情をした顔画像を収集する必要がある。このため、表情収集モードが設けられており、ユーザの所定操作によってこのモードが設定されると、表情を収集するための撮影処理が実行される。
【００８８】
図８（ａ）は、変更例に係る情報収集モードにおける撮影処理の処理フローを示す図である。以下、同図（ａ）を参照して、その制御動作について説明する。
【００８９】
情報収集モードが設定された状態において、カメラモードが起動されると、撮影制御部５０６は、アウトカメラ１３およびインカメラ２４を起動する（Ｓ２０１）。これにより、アウトカメラ１３およびインカメラ２４から、それぞれが撮影した画像の画像信号が出力される。
【００９０】
次に、撮影制御部５０６は、シャッターボタンが操作されたか否かを判定する（Ｓ２０２）。撮影者（ユーザ）によってシャッターボタンが操作されると（Ｓ２０３：ＹＥＳ）、撮影制御部５０６は、上述したように、顔切出部５０２に記憶指示を出し、そのときにインカメラ２４で撮影された撮影者の顔画像の画像データを外部メモリ１１２に記憶させる（Ｓ２０３）。さらに、アウトカメラ１３で撮影された被撮影者等の写真画像の画像データを、そのときの顔画像のファイル情報に対応付けて外部メモリ１１２に記憶させる（Ｓ２０４）。
【００９１】
こうして、撮影者が被撮影者等の撮影を行う度に、その写真画像の画像データとともに、その写真を撮ったときの撮影者の顔画像が外部メモリ１１２に記憶され、外部メモリ１１２には、色々な表情をした顔画像の画像データが保管される。
【００９２】
次に、多数の顔画像が収集されると、ユーザによって、収集した顔画像の中から所望のものを判別基準となる顔画像として設定登録する作業が行われる。
【００９３】
図８（ｂ）は、変更例に係る表情設定登録の処理の処理フローを示す図である。また、図９は、変更例に係る設定登録のための操作画面を示す図であり、同図（ａ）は設定登録画面、同図（ｂ）は登録確認画面をそれぞれ示す図である。以下、これらの図を参照して、その制御動作について説明する。
【００９４】
ユーザによって設定登録を開始するための操作がなされると、設定制御部５０３により表情設定登録の制御処理が実行される。
【００９５】
設定制御部５０３は、まず、図９（ａ）に示すような、設定登録画面をディスプレイ２１に表示させる（Ｓ３０１）。このとき、設定制御部５０３は、顔画像のファイル情報が付加された写真画像とそのファイル情報の顔画像の画像データを外部メモリ１１２から読み出して、小さな顔画像が一部に載せられた写真画像の一覧を設定登録画面中に表示させる。さらに、設定制御部５０３は、設定登録に用いるキー、たとえば、顔画像を表情毎に区分けして登録するための「笑顔」、「驚き」、「その他」の３つの登録キーと送りキーとして、図１に示すメインキー部２３の４つのモードキーを割り当てる。そして、どのモードキーがどのキーに割り当てられているかを示すため、設定登録画面に、「笑顔」、「驚き」、「その他」の３つの登録キーと送りキーの並びを示す表示を行う。
【００９６】
ユーザは、メインキー部にある移動キーを用いて登録したい顔画像までハイライトフォーカスを移動させ、３つの登録キーのうち、登録したい表情のキーを操作する。その際、ユーザは、顔画像とともに表示された写真画像を参照することができる。
【００９７】
設定制御部５０３は、何れかの登録キーが操作されたと判定すると（Ｓ３０２：ＹＥＳ）、図９（ｂ）に示すような、登録確認画面をディスプレイ２１に表示させる（Ｓ３０３）。
【００９８】
登録確認画面には、たとえば、登録される顔画像が拡大表示され、その顔画像の横に、先に操作された登録キーに対応する表情種別の表示がなされる。さらに、登録を確定させるための確定キーと、登録をキャンセルするためのキャンセルキーの並びを示す表示がなされる。この場合、メインキー２３における、表示された並びに対応する２つのモードキーが、それぞれ確定キーおよびキャンセルキーとして割り当てられる。
【００９９】
なお、設定制御部５０３は、図９（ａ）の状態において、メインキー部にある移動キーが操作されると（Ｓ３０４：ＹＥＳ）、移動キーの操作に応じてハイライトフォーカスを後続の画像へ移動させる（Ｓ３０５）。また、送りキーが操作されれば（Ｓ３０６：ＹＥＳ）、現在表示されている複数の写真画像の次に外部メモリ１１２に記憶されている複数の写真画像を表示させる（Ｓ３０７）。
【０１００】
図９（ｂ）に示す登録確認画面が表示されると、ユーザは、この画面にて顔画像の表情を詳細に確認し、この顔画像で良ければ確定キーを操作する。一方、詳細に確認した結果、登録を取りやめることになれば、キャンセルキーを操作する。
【０１０１】
設定制御部５０３は、確定キーが操作されたと判定すると（Ｓ３０８：ＹＥＳ）、上述のように、選ばれた顔画像のファイル情報を外部メモリ１１２に出力するとともに、その顔画像が属する表情種別情報を顔登録部５０４に出力する。これにより、顔登録部５０４に、選ばれた顔画像の画像データが、表情種別情報に対応付けられて登録される（Ｓ３０９）。
【０１０２】
こうして、１つの顔画像の登録が終了すると、設定制御部５０３は、登録確認画面を閉じてステップＳ３０１の処理に戻り、設定登録画面をディスプレイ２１に表示させ、新たな登録操作を待つ。なお、設定登録部５０３は、キャンセルキーが操作されたと判定した場合にも（Ｓ３１０：ＹＥＳ）、登録確認画面を閉じてステップＳ３０１の処理に戻り、設定登録画面をディスプレイ２１に表示させる。
【０１０３】
ユーザにより設定登録を終了するための操作がなされると、設定登録画面が閉じられて設定登録処理が終了する。
【０１０４】
このようにして、ユーザは、所望の顔画像を表情毎に判別基準となる顔画像として登録することができる。こうして、判別基準となる顔画像が登録されると、ユーザは自己の顔画像を用いて、自動撮影モードを行うことができるようになる。
【０１０５】
図１０は、変更例に係る自動撮影モードにおける撮影処理の処理フローを示す図である。以下、同図を参照して、その制御動作について説明する。
【０１０６】
自動撮影モードが設定された状態において、カメラモードが起動されると、撮影制御部５０６は、アウトカメラ１３およびインカメラ２４を起動する（Ｓ４０１）。これにより、アウトカメラ１３およびインカメラ２４から、それぞれが撮影した画像の画像信号が出力される。
【０１０７】
インカメラ２４では、撮影者（ユーザ）の顔が撮影されるので、上述の通り、１コマ毎あるいは数コマ毎に、そのときの撮影者の顔画像の表情に対する最も高い適合度が、その対象となった登録顔画像の表情種別情報とともに、表情判別部５０５から撮影制御部５０６に送られてくる。
【０１０８】
撮影制御部５０６は、適合度と表情種別情報とを取得すると（Ｓ４０２）、取得した適合度が閾値を超えているか否かを判定する（Ｓ４０３）。
【０１０９】
たとえば、撮影者の笑顔の顔画像が登録されている場合に、撮影対象者が微笑ましい動作を行うことより撮影者の顔が笑顔になると、笑顔の登録顔画像に対する適合度が高くなって閾値を超える状態となる。
【０１１０】
撮影制御部５０６は、取得した適合度が閾値を超えたと判定すると（Ｓ４０３：ＹＥＳ）、シャッター動作を行い、そのときにアウトカメラ１３により撮影された写真画像の画像データを、表情種別情報に対応づけて外部メモリ１１２に記憶させる（Ｓ４０４）。
【０１１１】
一方、撮影者が、自分の好みのタイミングでシャッターボタンを操作する場合もある。この場合、撮影制御部５０６は、シャッターボタンが操作されたと判定し（Ｓ４０５：ＹＥＳ）、シャッター動作を行って、そのときにアウトカメラ１３により撮影された写真画像の画像データを、外部メモリ１１２に記憶させる（Ｓ４０６）。
【０１１２】
なお、表情による自動撮影（Ｓ４０４）およびシャッターボタンによる手動撮影（Ｓ４０６）を実行する際、さらに、撮影制御部５０６は、インカメラ２４により撮影された顔画像の画像データを外部メモリ１１２に記憶させても良い。この場合、アウトカメラ１３で撮影された写真画像の画像データには、顔画像のファイル情報も付加されることとなる。このようにすれば、自動撮影モードで撮影した顔画像も、判別基準となる顔画像として登録することが可能となる。
【０１１３】
本変更例では、撮影された写真画像が、笑顔や驚き顔などの表情種別情報に対応付けられて外部メモリ１１２に記憶されており、上記実施の形態と同様、撮影者の表情により分類されたサムネイルの表示を行うことができる。
【０１１４】
図１１は、変更例に係る自動撮影モードで撮影した写真画像のサムネイル画面の画面表示例を示す図である。
【０１１５】
ユーザ(撮影者)によって、上記のサムネイル表示のための操作がされると、撮影制御部５０６は、同図に示すように、各表情（たとえば、「笑顔」、「驚き」、「その他」）に対応する見出し画像（たとえば、各表情をした顔画像と表情名からなる）を表示させ、各見出し画像の横に、その見出し画像に分類される写真画像のサムネイルを表示させる。
なお、見出し画像として、各表情の表情種別に属する登録顔画像の１つを利用することができる。
【０１１６】
以上、本変更例の構成によれば、撮影者（ユーザ）自身の顔画像を用いて、表情判別が行えるので、一般的な顔画像を用いる場合に比べて、精度の高い表情判別が可能となる。
【０１１７】
また、本変更例の構成によれば、アウトカメラ１３による写真撮影時（画像記憶時）にインカメラ２４で撮影された顔画像を判別基準となる顔画像として利用するようにしているので、自然な表情の顔画像を判別基準となる顔画像として設定することができ、作った表情を撮影してこれを判別基準とする場合に比べて、判別精度を高めることができる。
【０１１８】
なお、本変更例の構成に、さらに、表情判別エンジン１０３を付加することにより、上記実施の構成と同様に、表情識別エンジン１０３からの出力に基づいて自動撮影を行うこともできるような構成としても良い。こうすれば、顔画像が登録されていない者が撮影者となっても、その者の表情による自動撮影を行うことが可能となる。
【０１１９】
また、上記のようにインカメラ２４で撮影された顔画像だけでなく、アウトカメラ１３で撮影されたり、通信回線など他の方法で取得されたりした顔画像を顔登録部５０４に登録できる構成としても良い。
【０１２０】
＜その他＞
本発明の実施形態は、上記以外にさらに種々の変更が可能である。
【０１２１】
たとえば、上記実施の形態では、シャッター動作が行われると、アウトカメラ１３からの画像データがメモリ１０７の一時記憶領域に一時的に記憶され、判別時間が経過すると直ちにメモリ１０７に正式に記憶される構成とされている。しかしながら、このような構成に限らず、判定時間が経過した後に、ユーザ等によって所定の保存操作がなされると、メモリ１０７に正式に記憶される構成とされても良い。
【０１２２】
また、変更例では、シャッター動作が行われると、アウトカメラ１３からの画像データが直ちに外部メモリ１１２に正式に記憶される構成とされている。しかしながら、このような構成に限らず、画像データがメモリ１０７等に設けられた一時記憶領域に一時的に記憶され、その後に、ユーザ等により所定の保存操作がなされると、外部メモリ１１２に正式に記憶される構成とされても良い。なお、この場合は、一時記憶領域が本発明の記憶部に相当することになる。
【０１２３】
さらに、上記実施の形態では、カメラ付き携帯電話機を例示したが、本発明のカメラ付き機器は、携帯電話機に限られず、カメラ付きＰＤＡ（Personal Digital Assistant）とすることができる。
【０１２４】
この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
【図面の簡単な説明】
【０１２５】
【図１】実施の形態に係る携帯電話機の外観構成を示す図
【図２】実施の形態に係る携帯電話機の全体構成を示すブロック図
【図３】実施の形態に係る自動撮影モードにおける撮影処理の処理フローを示す図
【図４】実施の形態に係る撮影時における撮影者の笑顔度の推移を示す図
【図５】実施の形態に係る自動撮影モードで撮影した写真画像のサムネイル画面の画面表示例を示す図
【図６】変更例に係る携帯電話機の全体構成を示すブロック図
【図７】変更例に係る自動撮影モードを実現するための機能ブロック図
【図８】変更例に係る情報収集モードにおける撮影処理の処理フローおよび表情設定登録の処理の処理フローを示す図
【図９】変更例に係る設定登録のための操作画面を示す図
【図１０】変更例に係る自動撮影モードにおける撮影処理の処理フローを示す図
【図１１】変更例に係る自動撮影モードで撮影した写真画像のサムネイル画面の画面表示例を示す図
【符号の説明】
【０１２６】
１３      アウトカメラ（第１のカメラ部）
２４      インカメラ（第２のカメラ部）
１００    ＣＰＵ（制御部）
１０３    表情判別エンジン（制御部）
１０７    メモリ（記憶部）
５０３    設定制御部（制御部）
５０５    表情判別部（制御部）
５０６    撮影制御部（制御部）
【図１】
2010148052.tif 000003
【図２】
2010148052.tif 000004
【図３】
2010148052.tif 000005
【図４】
2010148052.tif 000006
【図５】
2010148052.tif 000007
【図６】
2010148052.tif 000008
【図７】
2010148052.tif 000009
【図８】
2010148052.tif 000010
【図９】
2010148052.tif 000011
【図１０】
2010148052.tif 000012
【図１１】
2010148052.tif 000013