(57)【要約】【課題】より多様な環境条件下において適切に笑顔検出を行うことができるようにする。【解決手段】判定部１０１は、快適度情報に基づいて、撮像時に被写体が快適であったか否かを判定する。補正部１１１は、判定部１０１により不快だったと判定された場合、撮影時の快適度と快適範囲の乖離の大きさに応じて笑顔検出の感度を高くするように笑顔検出の基準値を補正する。このように補正部１１１により基準値が補正された場合、検出部１１２は、その補正された値を用いて笑顔の検出を行う。本発明は、例えば、笑顔検出装置に適用することができる。【選択図】図１
2009129389.tif 000002
【特許請求の範囲】
【請求項１】
画像データを処理する情報処理装置において、
処理対象の画像データに対応する、被写体を撮像した時の快適さを示す指標である快適度に応じて、前記画像データの画像に対する笑顔の検出処理の感度を制御するように、前記笑顔の検出処理に使用される値の補正を行う補正手段と、
補正された値を用いて前記画像データの画像に対して前記笑顔の検出処理を行う検出手段と
を備える情報処理装置。
【請求項２】
前記補正手段は、前記笑顔の検出処理において、前記画像データに基づいて求められたパラメータが特徴を示す画像が笑顔であるか否かを判定する基準とされる基準値を補正する
請求項１に記載の情報処理装置。
【請求項３】
前記補正手段は、前記画像データに基づいて求められた、画像の特徴を示すパラメータを補正する
請求項１に記載の情報処理装置。
【請求項４】
前記快適度が、快適とされる、予め定められた所定の範囲である快適範囲内であるか否かを判定する判定手段をさらに備え、
前記補正手段は、前記快適度が前記快適範囲外であると判定された場合、前記笑顔の検出処理の感度を高めるように、前記笑顔の検出処理に使用される値の補正を行う
請求項１に記載の情報処理装置。
【請求項５】
前記被写体を撮像した時の、前記被写体の周囲の環境条件に基づいて前記快適度を算出する快適度算出手段をさらに備える
請求項１に記載の情報処理装置。
【請求項６】
前記環境条件を測定する測定手段をさらに備え、
前記快適度算出手段は、測定された前記環境条件に基づいて前記快適度を算出する
請求項５に記載の情報処理装置。
【請求項７】
前記被写体を撮像する撮像手段と、
前記撮像手段により取り込まれた前記被写体の画像から前記笑顔が検出された場合、前記撮像手段を制御して、前記被写体を撮像させて撮像画像を取得させる撮像制御手段と
をさらに備える請求項１に記載の情報処理装置。
【請求項８】
画像データを処理する情報処理装置の情報処理方法において、
補正手段が、処理対象の画像データに対応する、被写体を撮像した時の快適さを示す指標である快適度に応じて、前記画像データの画像に対する笑顔の検出処理の感度を制御するように、前記笑顔の検出処理に使用される値の補正を行い、
検出手段が、補正された値を用いて前記画像データの画像に対して前記笑顔の検出処理を行う
情報処理方法。
【請求項９】
画像データを処理するプログラムにおいて、
処理対象の画像データに対応する、被写体を撮像した時の快適さを示す指標である快適度に応じて、前記画像データの画像に対する笑顔の検出処理の感度を制御するように、前記笑顔の検出処理に使用される値の補正を行う補正ステップと、
補正された値を用いて前記画像データの画像に対して前記笑顔の検出処理を行う検出ステップと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、より多様な環境条件下において適切に笑顔検出を行うことができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、画像を解析して人物の表情を特定する方法があった（例えば、特許文献１および特許文献２参照）。
【０００３】
例えば、特許文献１に記載の方法では、まず、肌色検出により画像から顔領域が特定され、その顔領域内の特徴に基づいて唇領域や歯領域（口領域）が特定される。そして、その唇領域に外接する矩形の高さが唇領域の外径ｄ1として、唇領域に内接する矩形の高さが唇領域の内径ｄ2として、それぞれ求められ、さらに、口領域の面積ｓ1と歯領域の面積ｓ2が求められる。
【０００４】
次に、ｄ2をｄ1で除することにより、口の開き具合を示すパラメータＡが求められ、ｓ2をｓ1で除することにより、歯の見え具合を示すパラメータＢが求められる。
【０００５】
そして、そのパラメータＡおよびパラメータＢの各値が、それぞれ、所定の閾値ThA、閾値ThBと比較され、笑顔指数テーブルに基づいて、笑顔の判定が行われる。例えば、パラメータＡが閾値ThA以下の場合、または、パラメータＢが閾値ThB以下の場合、笑顔ではないと判定され、パラメータＡが閾値ThAより大きく、かつ、パラメータＢが閾値ThBより大きい場合、各パラメータの値によって、笑顔らしさ大、または、笑顔らしさ小と判定される。
【０００６】
また、例えば、特許文献２に記載の方法では、まず、取り込んだ画像から顔画像中の目と口が検出され、さらに目尻の位置（外眼角点）ａ、ｂと唇の両端の位置（口角点）ｃ、ｄが検出される。
【０００７】
次に、外眼角点を結ぶ線分ａｂが作図され、線分ａｂに並行で、口角点ｃ、ｄを通る直線が作図される。但し、線分ａｂに平行な直線が口角点ｃ、ｄのどちらか一方の点しか通せない場合には、線分ｃｄの中点を通る直線が作図される。そして、外眼角点ａ、ｂから垂線が下ろされ、直線との交点ｆとｅとが求められ、矩形ａｂｅｆが作図される。
【０００８】
次に、その矩形ａｂｅｆの長辺（線分ａｂ、及び線分ｅｆ）の長さ（ｘ）と、短辺（線分ａｆ、及び線分ｂｅ）の長さ（ｙ）の比Ｒ（Ｒ＝ｘ／ｙ）が求められ、予め定められた所定の閾値Ｒ１および閾値Ｒ２と比較される。
【０００９】
もし、Ｒの値が、Ｒ１＜Ｒ＜Ｒ２であれば、笑顔の顔画像であると判定され、そうでなければ（Ｒ≦Ｒ１、または、Ｒ≧Ｒ２であれば）、笑顔でないと判定される。
【００１０】
このように画像から笑顔を検出することにより、その検出結果を用いて様々な制御を行うことができる。例えば、デジタルスチルカメラにおいて、被写体を撮像して取り込まれた取り込み画像に対して被写体の笑顔の検出を行い、笑顔が検出された場合に、シャッタを切り、その瞬間に取り込まれたフレーム画像を静止画として抽出し、その静止画像データをメモリに保存するといった一連の静止画撮像動作を行うようにすることができる。このような制御によりデジタルスチルカメラは、ユーザの指示なしに静止画撮像動作を行い、被写体の笑顔を撮像することができる。
【００１１】
【特許文献１】特開２００５−２３４６８６号公報
【特許文献２】特開２００５−２６６９８４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
人間の表情は、常に感情を正確に表わすものではなく、例えば、気温や湿度等の環境条件等、多様な要因に影響される。従って、感情が同じであっても表情が同じになるとは限らない。例えば、温度や湿度が高く、所謂不快指数が高いような気候条件下においては、その不快感から笑顔の度合いが低くなる恐れがある。
【００１３】
しかしながら、上述した特許文献１や特許文献２に記載の方法では、画像内容のみで笑顔検出を行うため、環境条件等によっては、必ずしもその笑顔検出の感度が適切でない恐れがあった。例えば、不快指数が高すぎたり低すぎたりするときに静止画撮像された画像では、その環境条件の影響により、被写体の笑顔が通常の場合よりも小さくなることが多く、上述した特許文献１や特許文献２に記載の方法では、笑顔検出の感度が低すぎてしまい、その笑顔を検出することができない恐れがあった。
【００１４】
本発明は、このような状況に鑑みて提案されたものであり、環境条件に応じて笑顔検出の感度を制御することにより、より多様な環境条件下において適切に笑顔検出を行うことができるようにするものである。
【課題を解決するための手段】
【００１５】
本発明の一側面は、画像データを処理する情報処理装置において、処理対象の画像データに対応する、被写体を撮像した時の快適さを示す指標である快適度に応じて、前記画像データの画像に対する笑顔の検出処理の感度を制御するように、前記笑顔の検出処理に使用される値の補正を行う補正手段と、補正された値を用いて前記画像データの画像に対して前記笑顔の検出処理を行う検出手段とを備える情報処理装置である。
【００１６】
前記補正手段は、前記笑顔の検出処理において、前記画像データに基づいて求められたパラメータが特徴を示す画像が笑顔であるか否かを判定する基準とされる基準値を補正することができる。
【００１７】
前記補正手段は、前記画像データに基づいて求められた、画像の特徴を示すパラメータを補正することができる。
【００１８】
前記快適度が、快適とされる、予め定められた所定の範囲である快適範囲内であるか否かを判定する判定手段をさらに備え、前記補正手段は、前記快適度が前記快適範囲外であると判定された場合、前記笑顔の検出処理の感度を高めるように、前記笑顔の検出処理に使用される値の補正を行うことができる。
【００１９】
前記被写体を撮像した時の、前記被写体の周囲の環境条件に基づいて前記快適度を算出する快適度算出手段をさらに備えることができる。
【００２０】
前記環境条件を測定する測定手段をさらに備え、前記快適度算出手段は、測定された前記環境条件に基づいて前記快適度を算出することができる。
【００２１】
前記被写体を撮像する撮像手段と、前記撮像手段により取り込まれた前記被写体の画像から前記笑顔が検出された場合、前記撮像手段を制御して、前記被写体を撮像させて撮像画像を取得させる撮像制御手段とをさらに備えることができる。
【００２２】
本発明の一側面は、画像データを処理する情報処理装置の情報処理方法において、補正手段が、処理対象の画像データに対応する、被写体を撮像した時の快適さを示す指標である快適度に応じて、前記画像データの画像に対する笑顔の検出処理の感度を制御するように、前記笑顔の検出処理に使用される値の補正を行い、検出手段が、補正された値を用いて前記画像データの画像に対して前記笑顔の検出処理を行う情報処理方法である。
【００２３】
本発明の一側面は、画像データを処理するプログラムにおいて、処理対象の画像データに対応する、被写体を撮像した時の快適さを示す指標である快適度に応じて、前記画像データの画像に対する笑顔の検出処理の感度を制御するように、前記笑顔の検出処理に使用される値の補正を行う補正ステップと、補正された値を用いて前記画像データの画像に対して前記笑顔の検出処理を行う検出ステップとをコンピュータに実行させるプログラムである。
【００２４】
本発明の一側面においては、処理対象の画像データに対応する、被写体を撮像した時の快適さを示す指標である快適度に応じて、画像データの画像に対する笑顔の検出処理の感度を制御するように、笑顔の検出処理に使用される値の補正が行われ、補正された値を用いて画像データの画像に対して笑顔の検出処理が行われる。
【００２５】
ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。
【００２６】
また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。
【発明の効果】
【００２７】
本発明によれば、笑顔を検出することができる。特に、より多様な環境条件下において適切に笑顔検出を行うことができる。
【発明を実施するための最良の形態】
【００２８】
図１は、本発明を適用した笑顔検出装置の主な構成例を示すブロック図である。
【００２９】
図１に示される笑顔検出装置１００は、被写体を撮像して得られた画像の画像データを処理対象とし、その画像に含まれる被写体の笑顔を検出する情報処理装置である。なお、笑顔検出装置１００が笑顔を検出する画像は、静止画像であってもよいし、動画像であってもよい。笑顔検出装置１００は、主な構成として、判定部１０１および笑顔検出処理部１０２を有する。
【００３０】
判定部１０１は、処理対象の画像データに対応する、被写体を撮像した時の快適度を示す情報である快適度情報に基づいて、撮像時に被写体が快適であったか否かを判定し、その判定結果を笑顔検出処理部１０２に供給する。
【００３１】
快適度とは、被写体を撮像した時の快適さを示す指標であり、例えば、温度や湿度に基づいて算出される、蒸し暑さの度合いを示す不快指数がある。この不快指数は、例えば、乾球温度をTd(℃)とし、湿度をH(％)として、以下の式（１）または式（２）により算出される。
【００３２】
不快指数＝0.81Td + 0.01H(0.99Td - 14.3) + 46.3  ・・・（１）
不快指数＝1.8Td - 0.55(1-H/100)(1.8Td-26) + 32  ・・・（２）
【００３３】
また、乾球温度をTd(℃)とし、湿球温度をTw(℃)として、以下の式（３）のように算出する方法もある。
【００３４】
不快指数＝0.72(Td + Tw) + 40.6  ・・・（３）
【００３５】
例えば、式（２）の算出方法の場合、気温27℃ 湿度55%で不快指数75であり、気温29℃ 湿度70%で不快指数80である。体感には個人差があるので不快指数と体感の関係を具体的に関数化することはできないが、一般的に、不快指数が75を越えると人口の一割が不快になり、80を越えると全員が不快になると言われている。また、日本人の場合、不快指数が77になると不快に感じる人が出はじめ、85になると93%の人が暑さによる不快を感じると言われている。
【００３６】
不快指数の区分方法は任意であるが、例えば、不快指数が55以下程度のときの体感を「寒い」とし、不快指数が55乃至60程度のときの体感を「肌寒い」と感し、不快指数が60乃至65程度のときの体感を「何も感じない」とし、不快指数が65乃至70程度のときの体感を「快い」とし、不快指数が70乃至75程度のときの体感を「暑くない」とし、不快指数が75乃至80のときの体感を「やや暑い」とし、不快指数が80乃至85のときの体感を「暑くて汗が出る」とし、不快指数が85以上のときの体感を「暑くてたまらない」とすることができる。
【００３７】
笑顔検出処理部１０２は、判定部１０１の判定結果に応じて感度を調整しながら処理対象の画像データの画像に含まれる被写体の笑顔を検出する検出処理を行う。笑顔検出処理部１０２は、補正部１１１および検出部１１２を有する。
【００３８】
補正部１１１は、判定部１０１による判定結果に応じて検出部１１２による笑顔検出の感度を補正する。例えば、撮影時の被写体が快適でなかった場合、補正部１１１は、笑顔検出の感度を高くするように、処理対象の画像データに基づいて求められたパラメータが特徴を示す画像が笑顔であるか否かを判定する基準とされる基準値を、撮影時の快適度に応じて補正する。
【００３９】
検出部１１２は、処理対象の画像データが表わす画像に含まれる笑顔を検出する。このとき、補正部１１１により基準値が補正された場合、検出部１１２は、その補正された値を用いて笑顔の検出を行う。
【００４０】
このような笑顔検出装置１００が実行する笑顔検出処理の流れの例を図２のフローチャートを参照して説明する。
【００４１】
笑顔検出処理が開始されると、判定部１０１は、ステップＳ１０１において、画像データに対応する快適度情報が示す撮像時の快適度が、快適とされる、予め定められた所定の範囲である快適範囲内であるか否かを判定する。例えば、快適度として不快指数を用い、60乃至75を快適範囲とする場合、判定部１０１は、撮影時の不快指数が60以上かつ75以下であるか否かを判定する。
【００４２】
快適度が快適範囲内である、すなわち、撮影時の環境条件が被写体にとって快適と感じる程度であったと判定した場合、判定部１０１は、処理をステップＳ１０２に進める。この場合、補正部１１１は基準値の補正を行わない。ステップＳ１０２において、検出部１１２は、処理対象の画像データに対して、初期値のままの基準値を用いて所定のアルゴリズムで笑顔の検出を行う。笑顔の検出が終了すると、検出部１１２は、笑顔検出処理を終了する。
【００４３】
また、ステップＳ１０１において、快適度が快適範囲内でない、すなわち、撮影時の環境条件が被写体にとって不快に感じる程度であったと判定した場合、判定部１０１は、処理をステップＳ１０３に進める。ステップＳ１０３において、補正部１１１は、検出部１１２が行う笑顔検出の基準値を、快適度と快適範囲との乖離幅に応じて笑顔検出条件を緩和させる方向に、すなわち、笑顔検出の感度を高くする方向に補正する。
【００４４】
ステップＳ１０４において、検出部１１２は、処理対象のデータに対して、補正された基準値を使用して所定のアルゴリズムで笑顔を検出する。笑顔の検出が終了すると、検出部１１２は、笑顔検出処理を終了する。
【００４５】
ステップＳ１０２およびステップＳ１０４において行われる笑顔検出処理のアルゴリズムは任意であるが、例えば、特許文献１（特開２００５−２３４６８６号公報）や特許文献２（特開２００５−２６６９８４号公報）に記載の方法を用いてもよい。
【００４６】
まず、快適度として不快指数Ｄを用い、判定部１０１が、快適範囲をD1L≦Ｄ≦D1Hとして判定を行い、検出部１１２が特許文献１に記載の方法で笑顔を検出する場合の例について説明する。
【００４７】
判定部１０１によって不快指数Ｄが閾値D1Hより大きいと判定された場合、補正部１１１は、パラメータＡに対する閾値ThA、および、パラメータＢに対する閾値ThBを以下の式（４）および式（５）のように補正し、補正後の閾値ThA’および補正後の閾値ThB’を算出する。
【００４８】
ThA’＝ThA−a1×（Ｄ−D1H）  ・・・（４）
ThB’＝ThB−b1×（Ｄ−D1H）  ・・・（５）
ただし、a1およびb1は、ともに正の定数。
【００４９】
また、判定部１０１によって不快指数Ｄが閾値D1Lより小さいと判定された場合、補正部１１１は、閾値ThAおよび閾値ThBを以下の式（６）および式（７）のように補正し、補正後の閾値ThA’および補正後の閾値ThB’を算出する。
【００５０】
ThA’＝ThA−a2×（D1L−Ｄ）  ・・・（６）
ThB’＝ThB−b2×（D1L−Ｄ）  ・・・（７）
ただし、a2およびb2は、ともに正の定数。
【００５１】
つまり、補正部１１１は、不快指数Ｄが快適範囲から離れれば離れる程、笑顔検出の感度を高くするように、笑顔検出の基準値である閾値ThAおよび閾値ThBを小さくする。検出部１１２は、このように算出された補正後の閾値ThA’および補正後の閾値ThB’を用いて、特許文献１に記載の方法で笑顔の検出を行う（ステップＳ１０４）。
【００５２】
なお、判定部１０１によって不快指数Ｄが快適範囲内である（D1L≦Ｄ≦D1H）と判定された場合、補正部１１１は、閾値ThAおよび閾値ThBを補正しない。検出部１１２は、初期値のままの閾値ThAおよび閾値ThBを用いて特許文献１に記載の方法で笑顔の検出を行う（ステップＳ１０２）。
【００５３】
次に、快適度として不快指数Ｄを用い、判定部１０１が、快適範囲をD1L≦Ｄ≦D1Hとして判定を行い、検出部１１２が特許文献２に記載の方法で笑顔を検出する場合の例について説明する。
【００５４】
判定部１０１によって不快指数Ｄが閾値D1Hより大きいと判定された場合、補正部１１１は、矩形abefの長辺（ｘ）と短辺（ｙ）の比Ｒに対する閾値R1および閾値R2を以下の式（８）および式（９）のように補正し、補正後の閾値R1’および補正後の閾値R2’を算出する。
【００５５】
R1’＝R1−a1×（Ｄ−D1H）  ・・・（８）
R2’＝R2＋b1×（Ｄ−D1H）  ・・・（９）
ただし、a1およびb1は、ともに正の定数。
【００５６】
また、判定部１０１によって不快指数Ｄが閾値D1Lより小さいと判定された場合、補正部１１１は、閾値R1および閾値R2を以下の式（１０）および式（１１）のように補正し、補正後の閾値R1’および補正後の閾値R2’を算出する。
【００５７】
R1’＝R1−a2×（D1L−Ｄ）  ・・・（１０）
R2’＝R2＋b2×（D1L−Ｄ）  ・・・（１１）
ただし、a2およびb2は、ともに正の定数。
【００５８】
つまり、補正部１１１は、不快指数Ｄが快適範囲から離れれば離れる程、笑顔検出の感度を高くするように、笑顔検出の基準値である閾値R1を小さくし、閾値R2を大きくする（閾値R1から閾値R2までの範囲を広くする）。検出部１１２は、このように算出された補正後の閾値R1’および補正後の閾値R2’を用いて、特許文献２に記載の方法で笑顔の検出を行う（ステップＳ１０４）。なお、閾値R2は、主にパラメータＲの異常値を除外するためのものであるので、撮影時の快適度との関係が薄い。従って、この閾値R2に対する補正は省略するようにしてもよい。
【００５９】
なお、判定部１０１によって不快指数Ｄが快適範囲内である（D1L≦Ｄ≦D1H）と判定された場合、補正部１１１は、閾値R1および閾値R2を補正しない。検出部１１２は、初期値のままの閾値R1および閾値R2を用いて特許文献２に記載の方法で笑顔の検出を行う（ステップＳ１０２）。
【００６０】
以上のように笑顔検出処理を行うことにより、検出部１１２は、撮影時の環境条件に応じて適切な感度で笑顔検出処理を行うことができる。つまり、笑顔検出装置１００は、より多様な環境条件下において撮影された画像より、適切に笑顔検出を行うことができる。
【００６１】
なお、笑顔検出のアルゴリズムは、閾値を用いてパラメータを判定することにより笑顔を検出する方法であれば、どのようなものであってもよく、上述した２つの例以外の方法であってもよい。
【００６２】
また、以上においては、判定部１０１が、撮影時の環境が不快である（快適度が快適範囲外である）と判定した場合、補正部１１１が、笑顔検出の基準値（閾値）を補正するように説明したが、笑顔検出の感度を高くする（笑顔が検出されやすくする）ようにするのであればこれ以外の方法を用いてもよく、例えば、笑顔検出の際に画像データに基づいて求められる、画像の特徴を示すパラメータを補正するようにしてもよい。
【００６３】
その場合の笑顔検出処理部１０２による笑顔検出処理の流れの例を図３のフローチャートを参照して説明する。このフローチャートは、図２のフローチャートに対応するものである。
【００６４】
判定部１０１は、ステップＳ１２１において、ステップＳ１０１の場合と同様に、撮像時の快適度が快適範囲内であるか否かを判定し、快適範囲内であると判定した場合、処理をステップＳ１２２に進める。ステップＳ１０２において、検出部１１２は、ステップＳ１０２の場合と同様に、処理対象の画像データに対して、所定のアルゴリズムで笑顔の検出を行う。このときパラメータの補正は行われない。笑顔の検出が終了すると、検出部１１２は、笑顔検出処理を終了する。また、ステップＳ１２１において、快適度が快適範囲内でないと判定した場合、判定部１０１は、処理をステップＳ１２３に進める。
【００６５】
ステップＳ１２３において、検出部１１２は、所定のアルゴリズムで、被写体の笑顔の度合いである笑顔度を示すパラメータの値を求める。ステップＳ１２４において、補正部１１１は、検出部１１２により求められたパラメータの値を、快適度と快適範囲との乖離幅に応じて笑顔度が高くなる（笑顔の評価を高くする）方向に、すなわち、笑顔が検出されやすくするように補正する。
【００６６】
ステップＳ１２５において、検出部１１２は、処理対象のデータに対して、補正されたパラメータを使用して笑顔の判定を行う。ステップＳ１２５の処理が終了すると、検出部１１２は、笑顔検出処理を終了する。
【００６７】
ステップＳ１２２、並びに、ステップＳ１２３およびステップＳ１２５において行われる笑顔検出処理のアルゴリズムは任意であるが、例えば、特許文献１（特開２００５−２３４６８６号公報）や特許文献２（特開２００５−２６６９８４号公報）に記載の方法を用いてもよい。
【００６８】
まず、快適度として不快指数Ｄを用い、判定部１０１が、快適範囲をD1L≦Ｄ≦D1Hとして判定を行い、検出部１１２が特許文献１に記載の方法で笑顔を検出する場合の例について説明する。
【００６９】
判定部１０１によって不快指数Ｄが閾値D1Hより大きいと判定された場合、補正部１１１は、パラメータＡおよびパラメータＢを以下の式（１２）および式（１３）のように補正し、補正後のパラメータＡ’および補正後のパラメータＢ’を算出する。
【００７０】
Ａ’＝Ａ＋c1×（Ｄ−D1H）  ・・・（１２）
Ｂ’＝Ｂ＋d1×（Ｄ−D1H）  ・・・（１３）
ただし、c1およびd1は、ともに正の定数。
【００７１】
また、判定部１０１によって不快指数Ｄが閾値D1Lより小さいと判定された場合、補正部１１１は、パラメータＡおよびパラメータＢを以下の式（１４）および式（１５）のように補正し、補正後のパラメータＡ’および補正後のパラメータＢ’を算出する。
【００７２】
Ａ’＝Ａ＋c2×（D1L−Ｄ）  ・・・（１４）
Ｂ’＝Ｂ＋d2×（D1L−Ｄ）  ・・・（１５）
ただし、c2およびd2は、ともに正の定数。
【００７３】
つまり、補正部１１１は、不快指数Ｄが快適範囲から離れれば離れる程、笑顔度を表わすパラメータＡおよびパラメータＢを大きくし、被写体の表情が笑顔として検出されやすくする。つまり、補正部１１１は、相対的に笑顔検出の感度を高くするように補正を行う。検出部１１２は、このように算出された補正後のパラメータＡ’および補正後のパラメータＢ’を用いて、特許文献１に記載の方法で笑顔であるか否かの判定を行う（ステップＳ１２５）。
【００７４】
なお、判定部１０１によって不快指数Ｄが快適範囲内である（D1L≦Ｄ≦D1H）と判定された場合、補正部１１１は、パラメータＡおよびパラメータＢを補正しない。検出部１１２は、初期値のままのパラメータＡおよびパラメータＢを用いて特許文献１に記載の方法で笑顔の検出を行う（ステップＳ１２２）。
【００７５】
次に、快適度として不快指数Ｄを用い、判定部１０１が、快適範囲をD1L≦Ｄ≦D1Hとして判定を行い、検出部１１２が特許文献２に記載の方法で笑顔を検出する場合の例について説明する。
【００７６】
判定部１０１によって不快指数Ｄが閾値D1Hより大きいと判定された場合、補正部１１１は、矩形abefの長辺（ｘ）と短辺（ｙ）の比（矩形abefのアスペクト比）Ｒを以下の式（１６）のように補正し、補正後のアスペクト比Ｒ’を算出する。
【００７７】
Ｒ’＝Ｒ＋c1×（Ｄ−D1H）  ・・・（１６）
ただし、c1は正の定数。
【００７８】
また、判定部１０１によって不快指数Ｄが閾値D1Lより小さいと判定された場合、補正部１１１は、笑顔度を表わすパラメータであるアスペクト比Ｒを以下の式（１７）のように補正し、補正後のアスペクト比Ｒ’を算出する。
【００７９】
Ｒ’＝Ｒ＋c2×（D1L−Ｄ）  ・・・（１７）
ただし、c2は正の定数。
【００８０】
つまり、補正部１１１は、不快指数Ｄが快適範囲から離れれば離れる程、笑顔度を表わすパラメータであるアスペクト比Ｒを大きくし、被写体の表情が笑顔として検出されやすくする。つまり、補正部１１１は、相対的に笑顔検出の感度を高くするように補正を行う。検出部１１２は、このように算出された補正後のアスペクト比Ｒ’を用いて、特許文献２に記載の方法で笑顔であるか否かの判定を行う（ステップＳ１２５）。
【００８１】
なお、この補正により補正後のアスペクト比Ｒ’の値が異常値とされる場合（閾値R2より大きくなる場合）、この補正を省略するようにしてもよい。
【００８２】
以上のように、補正部１１１がパラメータを補正することにより、結果的に笑顔検出の感度が高くなる。つまり、この場合も、補正部１１１が基準値を補正する場合と同様に、検出部１１２は、撮影時の環境条件に応じて適切な感度で笑顔検出処理を行うことができ、笑顔検出装置１００は、より多様な環境条件下において撮影された画像より、適切に笑顔検出を行うことができる。
【００８３】
以上においては快適度として不快指数を用いる場合について説明したが、快適度は、気温や温度などによる被写体の感情を示すような指標であればどのようなものを適用してもよい。
【００８４】
例えば、温湿指数（Temperature-humidity Index）を用いても良いし、快適指数（PMV（Predicted Mean Vote））（温熱環境評価指数とも称する）を用いても良いし、そのPMVより算出される予測不満足率（PPD（predicted percentage of dissatisfied））を用いても良い。
【００８５】
PMVとは、温度、湿度、輻（ふく）射温度、気流速度、人の活動量、衣服の着衣量や熱抵抗などの要素を加味してFangerの開発した、人体と環境との熱交換量に基づいて熱的中立温度を予測する快適方程式を用いて計算した、人間が感じる暑さや寒さを示す指標である。一般的に、PMV＝0で95％の人が快適であるとされる。PMVは、プラスマイナス３の範囲の７段階（−３，−２，−１，０，１，２，３）で表わされる。基本的に、PMVの値がプラスになると暑くなり、マイナスになると寒く感じる。
【００８６】
笑顔検出装置１００の構成例を図１に示したが、笑顔検出装置がそれ以外の構成を有するようにしてももちろんよい。例えば、笑顔検出装置が気温や湿度等の環境条件を示す情報（環境条件情報）に基づいて、笑顔検出に利用する快適度を算出するようにしてもよい。
【００８７】
その場合の笑顔検出装置１００の構成例を図４に示す。図４の笑顔検出装置１３０は、基本的に図１に示される笑顔検出装置１００の構成と同様であるが、笑顔検出装置１００の構成に加えて、環境条件情報より快適度を算出する快適度算出部１３１を有する。つまり、笑顔検出装置１３０は、快適度算出部１３１と、笑顔検出装置１００の構成よりなる笑顔検出部１３２を有する。
【００８８】
快適度算出部１３１は、処理対象の画像データに対応する環境条件情報に基づいて快適度を算出し、処理対象の画像データに対応する快適度情報として笑顔検出部１３２に供給する。処理対象の画像データに対応する環境条件情報とは、処理対象の画像データの作成時、すなわち、撮影時における被写体の周囲の、例えば気温や湿度等の環境条件を示す情報である。この環境条件は気温や湿度だけでなく、例えば、風速、高度、位置情報、照度、音量、および方位等、被写体周囲の環境に関するもの（被写体の体感に影響を及ぼすもの）であればどのようなパラメータを含むようにしてもよい。
【００８９】
快適度情報を供給された笑顔検出器１３２は、図１の笑顔検出装置と同様に、快適度情報に基づいて基準値やパラメータを制御しながら、処理対象の画像データの画像より笑顔の検出を行う。
【００９０】
この場合の笑顔検出処理の流れの例を図５のフローチャートを参照して説明する。
【００９１】
図５において、笑顔検出処理が開始されると、快適度算出部１３１は、ステップＳ１４１において、処理対象の画像データに対応する環境条件情報から、撮影時の環境条件に基づいて快適度を求める。環境条件から快適度を求める方法は任意であり、環境条件や快適度の仕様によって予め定められている方法で行う。例えば、環境条件として気温や湿度が用いられ、快適度として不快指数が用いられる場合、快適度算出部１３１は、撮影時の気温や湿度の情報に基づいて、上述した所定の関数を用いて不快指数を算出する。もちろん、関数を用いて算出する以外にも、対応表等のテーブル情報を用いて環境条件から快適度を求めるようにしてもよい。
【００９２】
快適度が求められると、笑顔検出部１３２は、ステップＳ１４２において、求められた快適度に基づいて、画像データの画像から笑顔の検出を行う。なお、このステップＳ１４２において実行される笑顔検出処理の詳細は、図２や図３のフローチャートを参照して説明した場合と同様であるので、その説明を省略する。
【００９３】
笑顔検出処理が終了すると、笑顔検出装置１３０は、笑顔検出処理を終了する。
【００９４】
以上のようにして、笑顔検出装置１３０は、画像データに対応する環境条件情報に基づいて、笑顔検出の感度を制御することができる。すなわち、笑顔検出装置１３０は、より多様な環境条件下において適切に笑顔検出を行うことができる。
【００９５】
以上においては、笑顔検出装置について説明したが、本発明は、上述した笑顔検出装置と同様の笑顔検出機能を有するものであれば、例えばデジタルスチルカメラ等、どのような装置にも適用可能である。
【００９６】
図６は、本発明を適用したデジタルスチルカメラの主な構成例を示すブロック図である。図６に示されるデジタルスチルカメラ１５０は、取り込み画像に対して笑顔検出を行い、笑顔が検出された場合、シャッタを切ったり、静止画像を抽出したりする静止画の撮像処理を行い、撮像画像データを得る装置である。
【００９７】
図６に示されるように、デジタルスチルカメラ１５０は、システム制御部１５１、撮像部１５２、LSI（Large Scale Integration）１５３、入力部１６１、出力部１６２、記憶部１６３、計時部１６４、環境条件測定部１６５、GPS（Global Positioning System）１６６、LED（Light Emitting Diode）１６７、およびバイブレータ１６８を有する。
【００９８】
システム制御部１５１は、デジタルスチルカメラ１５０のシステム全体に関する制御を行い、例えば各部の動作を制御する。
【００９９】
撮像部１５２は、例えばCCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）センサ等の、光電変換素子を用いて光を電気信号に変換して画像データを得る。撮像部１５２は、得られた画像データをLSI１５３に供給する。例えば、撮像部１５２は、被写体を撮像し、動画像の取り込み画像として、その被写体の画像を取り込み、その取り込み画像の画像データ（動画像データ）をLSI１５３に供給する。また、撮像部１５２は、ユーザのレリーズボタンの操作等を受けたシステム制御部１５１の指示や、取り込み画像において笑顔を検出したLSI１５３の指示等に基づいて、被写体を撮像し、静止画像の撮像画像として、その被写体の画像を取り込み、得られた撮像画像データ（静止画像データ）をLSI１５３に供給する。
【０１００】
LSI１５３は、撮像部１５２や入力部１６１乃至バイブレータ１６８と接続され、制御処理や笑顔検出処理等の各種処理を行う。LSI１５３は、機能ブロックとして、撮像制御部１８１、情報取得部１８２、快適度算出部１８３、快適度出力部１８４、および笑顔検出部１８５を有する。撮像制御部１８１は、撮像部１５２による撮像処理を制御する。情報取得部１８２は、計時部１６４、環境条件測定部１６５、およびGPS１６６等より必要な情報を適宜取得する。快適度算出部１８３は、環境条件測定部１６５より得られた環境条件情報に基づいて快適度を求める。快適度出力部１８４は、例えば快適度に応じてLED１６７を発光させたり、バイブレータ１６８を振動させたり、または快適度を画像情報としてモニタに表示したりして、快適度をユーザに通知する。笑顔検出部１８５は、快適度に従って感度を調整しながら、撮像部１５２より供給される画像データの画像に対して笑顔の検出を行う。
【０１０１】
入力部１６１は、例えば、レリーズボタン等の各種制御ボタンやタッチパネル等により構成され、デジタルスチルカメラ１５０のユーザからの指示を受け付け、LSI１５３に供給する入力インタフェースである。また、入力部１６１には、外部からの信号を受け付ける各種信号の入力端子も含まれる。出力部１６２は、例えば、モニタやスピーカ等の出力デバイスよりなり、LSI１５３より供給される情報を出力する。記憶部１６３は、例えばハードディスクや半導体メモリ等の記憶デバイスよりなり、LSI１５３より供給される画像データ等を記憶する。
【０１０２】
計時部１６４は、時間を計測し、LSI１５３の要求に応じて時刻情報を供給する。環境条件測定部１６５は、温度測定部１９１および湿度測定部１９２を有しており、それらを用いて温度や湿度等の環境条件を測定し、測定結果を環境条件情報としてLSI１５３に供給する。GPS１６６は、位置を計測し、位置情報をLSI１５３に供給する。LED１６７は、LSI１５３に制御されて動作し、光により快適度をユーザに通知する。例えば、LED１６７は、快適度が快適範囲外である（不快である）場合に点灯し、快適範囲内である（快適である）場合に消灯することにより、現在の環境条件が快適であるか、または不快であるかをユーザに通知する。バイブレータ１６８は、LSI１５３に制御されて動作し、振動により快適度をユーザに通知する。例えば、バイブレータ１６８は、快適度が快適範囲外である（不快である）場合に振動し、快適範囲内である（快適である）場合に停止することにより、現在の環境条件が快適であるか、または不快であるかを、他人に知られないようにユーザに通知する。
【０１０３】
このようなデジタルスチルカメラ１５０により実行される撮像処理の流れの例を図７のフローチャートを参照して説明する。
【０１０４】
撮像処理が開始されると、LSI１５３の撮像制御部１８１は、ステップＳ１６１において、撮像部１５２を制御して、画像データを取り込む（取り込み画像を取得する）。ステップＳ１６２において、情報取得部１８２は、環境条件測定部１６５を制御し、例えば、画像データを取り込むタイミングで温度や湿度等の環境条件を測定させ、環境条件情報を取得する。ステップＳ１６３において、快適度算出部１８３は、取得された環境条件情報に基づいて快適度を算出する。快適度出力部１８４は、ステップＳ１６４において、算出された快適度を出力部１６２のモニタに表示させる。
【０１０５】
図８は、快適度の表示例を示す模式図である。図８に示されるように、デジタルスチルカメラ１５０にはモニタ２０１が設けられている。快適度出力部１８４は、算出された快適度を、図８に示されるように、撮像画像や他の環境情報等とともに、数値２１１、アイコン２１２、およびメッセージ２１３等により表示する。図８においては、快適度として不快指数が用いられている。なお、アイコン２１２やメッセージ２１３は、数値と図９に示される表のように予め対応付けられており、モニタ２０１には、快適度の数値２１１に応じたアイコン２１２やメッセージ２１３が表示される。例えば、図８の例の場合、不快指数の数値２１１が「８８」であるので、図９の左側に示されるように、数値「８５以上」に対応する、人物が大量に汗をかいているアイコン２１２と「暑くてたまらない」というメッセージ２１３が表示されている。なお、図９の左側と右側に示されるように、数値２１１、アイコン２１２、およびメッセージ２１３の関係は任意である。
【０１０６】
なお、快適度出力部１８４は、さらに、LED１６７やバイブレータ１６８を用いて、快適であるか、若しくは不快であるかをユーザに通知してもよい。
【０１０７】
図７に戻り、ステップＳ１６５において、笑顔検出部１８５は、快適度に基づいて感度を制御しながら笑顔検出処理を行い、取り込み画像より笑顔を検出する。この笑顔検出処理の詳細は、図２や図３のフローチャートを参照して説明した場合と同様であるので、その説明を省略する。
【０１０８】
撮像制御部１８１は、ステップＳ１６６において、笑顔検出部１８５により取り込み画像から笑顔が検出されたか否かを判定し、検出されたと判定した場合、ステップＳ１６７において、撮影部１５２を制御して静止画撮像を行い、静止画の撮像画像データを取得し、ステップＳ１６８において、撮像画像データと快適度を記憶部１６３に保存し（または、出力部１６２より出力し）、処理をステップＳ１６９に進める。
【０１０９】
また、ステップＳ１６６において、笑顔が検出されていないと判定した場合、撮像制御部１８１は、処理をステップＳ１６９に進める。ステップＳ１６９において、撮像制御部１８１は、撮像処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップＳ１６１に戻し、それ以降の処理を繰り返す。また、ステップＳ１６９において、撮像処理を終了すると判定した場合、撮像制御部１８１は、撮像処理を終了する。
【０１１０】
以上のように撮像処理を行うことにより、デジタルスチルカメラ１５０は、温度や湿度等の環境条件に応じて適切な感度で笑顔検出を行うことができるので、より多様な環境条件下において適切に静止画撮像の制御を行うことができる。これにより、環境条件の悪化により、笑顔が検出されにくくなり静止画撮像が行われにくくなることを抑制することができる。
【０１１１】
また、快適度を画像データと関連付けて保存することにより、例えば快適度に応じて画像データを整列させることなどが可能になり、快適度を画像の検索に利用することも可能になる。
【０１１２】
また、GPS１６６により測定される位置情報等、温度や湿度以外のその他の情報に基づいて快適度を補正するようにしてもよい。例えば、ユーザの住む地域が異なれば普段の気候も異なる場合があり、同じ環境条件に対する体感が異なる場合がある。そこで、位置情報（緯度や経度）等に基づいて快適度を補正することにより、より多様な条件下で適切な笑顔検出を行うことができるようになる。同様に、高度、照度、音声等の任意の環境条件に基づいて快適度を補正する（或いは快適度の算出に利用する）ようにしてもよい。
【０１１３】
以上においては、本発明を、静止画撮像を行うデジタルスチルカメラに適用する場合について説明したが、これに限らず、例えば、動画を撮像するビデオカメラ等に適用することも可能である。
【０１１４】
例えば、ビデオカメラにおいて、撮像中に、その取り込み画像から笑顔の検出を行い、笑顔が検出された場合のみ、所定の期間の動画像データを記憶媒体に保存するようにしてもよいし、また、笑顔が検出されたフレーム画像を静止画像として抽出し、その静止画像データを保存するようにしてもよい。
【０１１５】
例えば、被写体が子供であるような場合、撮影者が笑顔のシーンを記録したいと思っても、撮影者の思惑通りに被写体が行動しないことが多く、撮影者の所望するような画像を得ることが困難であることも多い。しかしながら、撮像し損なうことを嫌って、記録を長時間に渡って続けることは、記録媒体の容量やバッテリの等の制限により困難である場合が多い。そこで、笑顔検出により自動的に記録を行うようにすることは有効な手段の一つと考えられる。しかしながら、特に被写体が子供である場合、環境条件の影響も受けやすく、環境条件の悪化により笑顔度が低くなり、笑顔の検出が困難になる恐れがある。そこで、上述したように環境条件に応じて笑顔検出の感度を調整することにより、本発明を適用したビデオカメラは、より多様な環境条件下において適切に笑顔のシーンの記録を行うことができる。
【０１１６】
また、例えば、本発明を会議システムのカメラに適用するようにしてもよい。例えば、会議システムのカメラで、取り込み画像から笑顔を認識して、静止画として抽出し、その静止画像を先方に送信する。このような機能により、会議システムは、和やかな雰囲気を演出することができる。これにより、双方が打ち解けて、意見を出し合えて、密度の濃い会議となることを期待することができる。このような会議システムにおいて、本発明を適用し、環境条件に応じて笑顔検出の感度を調整することにより、より多様な環境条件下において適切に笑顔を認識することができるので、環境条件の悪化により静止画が送信されにくくなることを抑制することができる。
【０１１７】
さらに、本発明は、例えば再生装置や編集装置のような、記憶媒体より画像データを読み出して処理するような装置にも適用することができる。つまり、他の装置において撮像された画像データであっても、その撮像時の環境条件情報（または快適度情報）が関連付けられていればよい。
【０１１８】
図１０は、本発明を適用した再生装置の構成例を示すブロック図である。
【０１１９】
図１０に示される再生装置３００は、記憶部３０１に記憶された画像データ３１１を読み出して再生する装置である。図１０に示されるように再生装置３００は、記憶部３０１、データ読み出し部３０２、快適度算出部１３１、笑顔検出部１３２、および再生制御部３０３を有している。
【０１２０】
記憶部３０１は、例えばハードディスクや半導体メモリ等の記憶デバイスであり、撮像画像の画像データ３１１およびその撮像時の環境条件情報３１２を互いに関連付けて記憶している。データ読み出し部３０２は、その記憶部３０１より画像データ３１１およびその環境条件情報３１２を読み出し、環境条件情報３１２を快適度算出部１３１に供給し、画像データ３１１を笑顔検出部１３２や再生制御部３０３に供給する。快適度算出部１３１は、データ読み出し部３０２が読み出した環境条件情報から快適度を算出し、笑顔検出部１３２に供給する。笑顔検出部１３２は、快適度算出部１３１より供給された快適度に基づいて感度を調整しながら、データ読み出し部３０２により読み出された画像データの画像に対して笑顔の検出を行い、その検出結果を再生制御部３０３に通知する。
【０１２１】
再生制御部３０３は、笑顔検出部１３２より供給された検出結果（笑顔が検出されたか否か）に基づいて、データ読み出し部３０２により読み出された画像データの再生制御を行う。例えば、再生制御部３０３は、笑顔が検出されたフレーム画像や区間のみ画像データを再生したり、笑顔が検出されたフレーム画像を補正して明るくしたり、笑顔の部分を特定して拡大したりすることができる。もちろん、これ以外の処理を行うようにしても良い。
【０１２２】
このような、再生装置３００による再生制御処理の流れの例を図１１のフローチャートを参照して説明する。
【０１２３】
再生制御処理が開始されると、ステップＳ３０１において、データ読み出し部３０２は、記憶部３０１に記憶されている環境条件情報３１２を読み出す。ステップＳ３０２において、快適度算出部１３１は、読み出された環境条件情報３１２に基づいて所定の方法で快適度を求める。ステップＳ３０３において、データ読み出し部３０２は、ステップＳ３０１において読み出した環境条件情報３１２に対応する画像データを読み出す。ステップＳ３０４において、笑顔検出部１３２は、ステップＳ３０２において求められた快適度に基づいて画像データの画像に対して笑顔の検出を行う。この笑顔検出処理の詳細は、図２や図３のフローチャートを参照して説明した場合と同様であるので、その説明を省略する。
【０１２４】
ステップＳ３０５において、再生制御部３０３は、笑顔の検出結果に基づいて、例えば上述したように、画像データ３１１の再生を制御する。画像データの再生が終了すると、再生装置３００は、再生制御処理を終了する。
【０１２５】
このように再生制御処理を行うことにより、再生装置３００は、より多様な環境条件下において適切に笑顔を検出し、その検出結果に基づいた再生制御を適切に行うことができる。
【０１２６】
図１２は、本発明を適用した編集装置の構成例を示すブロック図である。
【０１２７】
図１２に示される編集装置４００は、記憶部３０１に記憶された画像データ３１１を読み出して編集し、その編集結果を記憶部３０１に保存する装置である。図１２に示されるように編集装置４００は、記憶部３０１、データ読み出し部３０２、快適度算出部１３１、笑顔検出部１３２、編集処理部４０３、およびデータ書き込み部４０４を有している。
【０１２８】
記憶部３０１は、撮像画像の画像データ３１１およびその撮像時の環境条件情報３１２を互いに関連付けて記憶している。データ読み出し部３０２は、その記憶部３０１より画像データ３１１およびその環境条件情報３１２を読み出し、環境条件情報３１２を快適度算出部１３１に供給し、画像データ３１１を笑顔検出部１３２や編集処理部４０３に供給する。快適度算出部１３１は、データ読み出し部３０２が読み出した環境条件情報から快適度を算出し、笑顔検出部１３２に供給する。笑顔検出部１３２は、快適度算出部１３１より供給された快適度に基づいて感度を調整しながら、データ読み出し部３０２により読み出された画像データの画像に対して笑顔の検出を行い、その検出結果を編集処理部４０３に通知する。
【０１２９】
編集処理部４０３は、笑顔検出部１３２より供給された検出結果（笑顔が検出されたか否か）に基づいて、データ読み出し部３０２により読み出された画像データの編集処理を行う。例えば、編集処理部４０３は、笑顔が検出されたフレーム画像や区間のみを抽出したり、笑顔が検出されたフレーム画像に対してのみ笑顔を強調するような効果を施す画像処理を施したり、笑顔の部分を特定し、フレーム画像をその部分の拡大画像に置き換えたりすることができる。もちろん、これ以外の処理を行うようにしても良い。編集処理部４０３は、編集結果の画像データをデータ書き込み部４０４に供給する。データ書き込み部４０４は、編集処理部４０３より供給された画像データを記憶部３０１に書き込み保存させる。
【０１３０】
このような、編集装置４００による編集処理の流れの例を図１３のフローチャートを参照して説明する。
【０１３１】
編集処理が開始されると、ステップＳ４０１において、データ読み出し部３０２は、記憶部３０１に記憶されている環境条件情報３１２を読み出す。ステップＳ４０２において、快適度算出部１３１は、読み出された環境条件情報３１２に基づいて所定の方法で快適度を求める。ステップＳ４０３において、データ読み出し部３０２は、ステップＳ４０１において読み出した環境条件情報３１２に対応する画像データを読み出す。ステップＳ４０４において、笑顔検出部１３２は、ステップＳ４０２において求められた快適度に基づいて画像データの画像に対して笑顔の検出を行う。この笑顔検出処理の詳細は、図２や図３のフローチャートを参照して説明した場合と同様であるので、その説明を省略する。
【０１３２】
ステップＳ４０５において、編集処理部４０３は、笑顔の検出結果に基づいて、例えば上述したように、画像データ３１１の編集を行う。データ書き込み部４０４は、その編集結果の画像データ３１１を記憶部３０１の記憶領域に書き込み、保存させる。画像データ３１１の書き込みが終了すると、編集装置４００は、編集処理を終了する。
【０１３３】
このように編集処理を行うことにより、編集装置４００は、より多様な環境条件下において適切に笑顔を検出し、その検出結果に基づいた再生制御を適切に行うことができる。
【０１３４】
以上のように、本発明を適用した装置であれば、記憶部より読み出された画像データであっても、環境条件に基づいた笑顔の検出等の処理を行うことができる。つまり、撮像して得られた画像データを環境条件情報とともに一時記憶媒体等に保存し、別の機会、または他の装置において、撮影時の環境条件情報に基づいた笑顔検出処理を行うことができる。
【０１３５】
なお、以上の再生装置３００および編集装置４００においては、記憶部３０１に画像データ３１１とともに環境条件情報３１２を記憶させるように説明したが、環境条件情報３１２の代わりに、その環境条件情報３１２より求められる快適度を記憶部３０１に記憶させるようにしてもよい。その場合、快適度算出部１３１は省略することができる。
【０１３６】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図１４に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０１３７】
図１４において、パーソナルコンピュータ５００のCPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１３８】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。
【０１３９】
入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０１４０】
入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。
【０１４１】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１４２】
この記録媒体は、例えば、図１４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。
【０１４３】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４４】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表わすものである。
【０１４５】
なお、以上において、１つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて１つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１４６】
【図１】本発明を適用した笑顔検出装置の構成例を示すブロック図である。
【図２】笑顔検出処理の流れの例を説明するフローチャートである。
【図３】笑顔検出処理の流れの、他の例を説明するフローチャートである。
【図４】本発明を適用した笑顔検出装置の、他の構成例を示すブロック図である。
【図５】笑顔検出処理の流れの、さらに他の例を説明するフローチャートである。
【図６】本発明を適用したデジタルスチルカメラの構成例を示すブロック図である。
【図７】撮像処理の流れの例を説明するフローチャートである。
【図８】モニタの表示例を示す模式図である。
【図９】快適度の数値、アイコン、およびメッセージの関係を説明する図である。
【図１０】本発明を適用した再生装置の構成例を示すブロック図である。
【図１１】再生制御処理の流れの例を説明するフローチャートである。
【図１２】本発明を適用した編集装置の構成例を示すブロック図である。
【図１３】編集処理の流れの例を説明するフローチャートである。
【図１４】本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１４７】
１００  笑顔検出装置，  １０１  判定部，  １０２  笑顔検出処理部，  １１１  補正部，  １１２  検出部，  １３１  快適度算出部，  １３２  笑顔検出部，  １５０  デジタルスチルカメラ，  １５３  LSI，  １８１  撮影制御部，  １８２  情報取得部，  １８３  快適度算出部，  １８４  快適度出力部，  １８５  笑顔検出部，  １６５  環境条件測定部，  １９１  温度測定部，  １９２  湿度測定部，  ３００  再生装置，  ３０１  記憶部，  ４００  編集装置
【図１】
2009129389.tif 000003
【図２】
2009129389.tif 000004
【図３】
2009129389.tif 000005
【図４】
2009129389.tif 000006
【図５】
2009129389.tif 000007
【図６】
2009129389.tif 000008
【図７】
2009129389.tif 000009
【図８】
2009129389.tif 000010
【図９】
2009129389.tif 000011
【図１０】
2009129389.tif 000012
【図１１】
2009129389.tif 000013
【図１２】
2009129389.tif 000014
【図１３】
2009129389.tif 000015
【図１４】
2009129389.tif 000016