(57)【特許請求の範囲】
【請求項１】
被写界の画像情報を検出する被写界像検出手段と、該被写界像検出手段からの画像情報を基に被写体の顔の表情を認識する表情認識手段と、該表情認識手段からの情報により、該顔の表情を判定する判定手段と、該判定手段の判定結果に応じて記録画面の明るさを変化させる画面明るさ変化手段と、該画面明るさ変化手段により変化された明るさの画面での被写体を記録する記録動作を行わせる制御手段とを有することを特徴とするカメラ。
【請求項２】
被写界の画像情報を検出する被写界像検出手段と、該被写界像検出手段からの画像情報を基に被写体の顔の表情を認識する表情認識手段と、該表情認識手段からの情報により、該顔の表情を判定する判定手段と、該判定手段の判定結果に応じて記録画面の色を変化させる画面色変化手段と、該画面色変化手段により変化された画面色での被写体を記録する記録動作を行わせる制御手段とを有することを特徴とするカメラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、被写体の状況を画像認識できるカメラに関するものである。
【０００２】
【従来の技術】
１）従来、特開平７−１２８７１１号に示されているように、被写体となる人が撮影されていることを意識して不自然な表情にならないよう、該被写体である人に悟られず良好な撮影をするために、カメラのファインダを覗かなくともカメラの撮影レンズを正しく被写体に向けたときは、撮影者は音や光等で感知し撮影できる。或はカメラが被写体の方に向いたとき自動的に撮影を行うというものはあった。
【０００３】
２）従来、特開平３−２５２７７５号，特開平８−２４９４４７号，特開平８−２４９４５３号，特開平１０−２５５０４３等、顔の表情を認識する技術はいくつかあったが、カメラの機能に結び付けたものはなかった。
【０００４】
３）野生動物撮影等で、カメラのファインダ視野内の特定位置に被写体が入ったときにカメラの撮影動作を行わせるために、この特定位置を挟むように赤外線投・受光装置を設置し、赤外線投・受光装置の間を被写体が横切った際に撮影指令をリモコン信号として発するというものはあった。
【０００５】
４）また、特開昭５７−１１５５２４号に示されるように、予め設定された距離位置へ、移動する被写体が到達したとき、これを自動的に合焦検出してシャッタレリーズ機構を作動させるというものはあった。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記１）の従来の技術では、被写体を撮影画面内に捉えることはできても、被写体となる人がしっかりカメラの方を向いているかどうか、また目を閉じていないか、更には目線がカメラの方を向いているかを、カメラの位置からかなりの距離離れた撮影者の目で判断しなくてはならず、直接カメラのファインダを覗いている場合に比べて失敗の確率が高くなってしまうという不都合があった。
【０００７】
上記（２）の従来の顔の表情を認識する技術は、カメラの機能に応用されていないため、依然として撮影者が被写体となる人の表情を見て撮影するか否かを判断しなければならず、なるべく手間をかけず自動で撮影したいという人にとっては、煩わしいという不都合があった。また、良い表情を無人撮影したいという要望に答えられないという不都合もあった。更には、顔の表情に合った雰囲気を盛上げる効果を狙った演出も考えられてはいなかった。
【０００８】
上記（３）の従来の技術では、赤外線投・受光装置を設置した場所でのみ、自動撮影が可能であり、撮影の自由度が無く、装置が大型化してしまうという不都合があった。
【０００９】
上記（４）の従来の技術では、狙った被写体の近く或は急に飛び込んで別の被写体が存在した場合に、別の被写体が先に予め設定された距離位置へ到達してしまうと、狙った被写体にピントが合わず、別の被写体にピントが合った状態で撮影されてしまうという不都合があった。
【００１５】
（発明の目的）
本発明の第１の目的は、被写体の顔の表情を認識し、顔の表情の判定結果に応じて、記録画面の明るさを変化させることのできるカメラを提供しようとするものである。
【００１７】
本発明の第２の目的は、被写体の顔の表情を認識し、顔の表情の判定結果に応じて、表情に合った色に記録画面を変化させることのできるカメラを提供しようとするものである。
【００１８】
【課題を解決するための手段】
上記第１の目的を達成するために、請求項１に記載の発明は、被写界の画像情報を検出する被写界像検出手段と、該被写界像検出手段からの画像情報を基に被写体の顔の表情を認識する表情認識手段と、該表情認識手段からの情報により、該顔の表情を判定する判定手段と、該判定手段の判定結果に応じて記録画面の明るさを変化させる画面明るさ変化手段と、該画面明るさ変化手段により変化された明るさの画面での被写体を記録する記録動作を行わせる制御手段とを有するカメラとするものである。
【００１９】
また、上記第２の目的を達成するために、請求項２に記載の発明は、被写界の画像情報を検出する被写界像検出手段と、該被写界像検出手段からの画像情報を基に被写体の顔の表情を認識する表情認識手段と、該表情認識手段からの情報により、該顔の表情を判定する判定手段と、該判定手段の判定結果に応じて記録画面の色を変化させる画面色変化手段と、該画面色変化手段により変化された画面色での被写体を記録する記録動作を行わせる制御手段とを有するカメラとするものである。
【００２６】
【発明の実施の形態】
以下、本発明を図面を参照しながら以下の実施の形態に基づいて詳細に説明する。
【００２７】
図１は本発明の実施の各形態に共通なカメラを示す中央縦断面図であり、図２は本発明の実施の第１の形態に係る主要部分の構成を示すブロック図である。
【００２８】
これらの図において、１はカメラボディ、２は撮影レンズである。３は撮影光軸付近をハーフミラーとした主ミラーであり、主ミラー受板４（撮影光軸付近に開口を設けてある）に接着固定され、主ミラー受板４に設けられた軸４ａを中心に図１のミラーダウンした観察状態から不図示のミラーアップした撮影光路外退避状態へ回動可能となっている。ミラーダウンした観察状態では、撮影レンズを通った被写体光は主ミラーで４５度上へ反射され、ピント板５に像を結び、ペンタダハプリズム６で正立正像になり接眼レンズ７を通して撮影者に観察される。８はＣＣＤ（固体撮像素子）からなる被写界像検出手段であり、測光センサとしての役目もする。９は被写界像検出レンズであり、ピント板５に結ばれた像を被写界像検出手段８のセンサ面に結像させる。
【００２９】
１０はサブミラーであり、サブミラー受板１１に接着支持され、サブミラー受板１１の軸１１ａにより回動自在に支持される。サブミラー１０は図１のミラーダウンした観察状態で主ミラー３の撮影光軸付近のハーフミラー部を通過した被写体光をカメラ下方に配置した焦点検出部へ導き、サブミラー受板４は不図示のミラーアップした撮影光路外退避状態で主ミラー受板４の撮影光軸付近の開口を塞ぐように作用する。１２は焦点検出光学系のフィールドレンズ、１３は反射ミラー、１４は焦点検出光学系の二次結像レンズ、１５は公知のパッシブオートフォーカス用位相差検出方式の焦点検出センサ、１６はフォーカルプレーンシャッタ、１７はレンズの絞り、１８はフィルムである。
【００３０】
図２に示す１９は被写界像であり、１９ａは被写体である人物が正面を向いている状態を、１９ｂは被写体である人物が横を向いている（正面を向いていない）状態を、それぞれ示している。２０はカメラ全体を制御するＣＰＵであり、その中に被写界像検出手段８からの画像情報を基に被写体の顔を認識する顔認識手段２１や、該顔認識手段２１からの情報により、顔が所定方向に向いているかを判定する判定手段２２、更には該判定手段２２の判定結果に応じて被写体記録動作を行う被写体記録動作制御手段２３を有する。２４はカメラ露光機能部であり、レンズの絞り１７やフォーカルプレーンシャッタ１６からなる。
【００３１】
図１に示す２５は、撮影光学系光軸近傍に設けられ、撮影光軸と同方向に近赤外光を投射するｉＲＥＤ、２６は前記ｉＲＥＤ２５の投射に同期して不図示の進退機構によりＣＣＤからなる被写界像検出手段８の前面に進入する近赤外光透過可視光カットフィルタ、２７は日付やキャプションをフィルム背面より写し込ませるための公知のデートモジュールである。２８は効果フィルタであり、不図示のアクチュエータと不図示の進退機構により撮影レンズの光束内への進入及び光束外への退避が可能に設けられ、少なくとも異なる２種類のフィルタが選択可能になっている。
【００３２】
次に、上記構成におけるカメラの主要部分の動作について、図３のフローチャートにしたがって説明する。
【００３３】
ステップ１にて不図示のメインスイッチがＯＮされると、カメラに電源が供給され、撮影準備初期状態となる。そして、ステップ２において、ＣＰＵ２０はカメラの不図示のレリーズボタンが第１ストロークまで押されてスイッチＳＷ−１がＯＮしたかを判定し、ＯＮであればステップ３へ進む。また、スイッチＳＷ−１がＯＦＦであればステップ１０まで飛ぶ。
【００３４】
ステップ３においては、ＣＰＵ２０はＣＣＤからなる被写界像検出手段８よりの測光出力を取り込み、測光演算を行い、露光制御値を決定する。そして、次のステップ４において、公知の位相差検知方式のパッシブオートフォーカス装置の焦点検出センサ１５の出力から焦点検出演算を行い、焦点合わせのための撮影レンズ駆動量を決定する。続くステップ５においては、上記ステップ４にて得られた撮影レンズ駆動量に基づいて撮影レンズ２の焦点調節用レンズ２ａを駆動し、焦点調節する。そして、次のステップ６において、ＣＰＵ２０は撮影者が狙ったであろう被写体に焦点が合った被写界像を、ＣＣＤよりなる被写界像検出手段８に１フレームを１／３０秒のビデオレートで順次取込ませる。
【００３５】
次のステップ７においては、顔認識手段２１が、取込まれた被写界像から人の顔を認識し、判定手段２２により、認識された人の顔が正面を向いているかを判定する。図２の１９ａのように被写界像の被写体人物が正面を向いているのであればステップ８へ進み、１９ｂのように正面を向いていなければステップ２へ戻る。
【００３６】
なお、被写界像の中から正面を向いている人物像を抽出する方法（顔認識手段２１と判定手段２２によって行われる）は、以下に示す（ａ）〜（ｃ）の手法が公知となっており、この実施の第１の形態ではそのうちの何れかの手法を用いるものとする。
【００３７】
（ａ）テレビジョン学会誌Vol.４９,No.６,pp.７８７−７９７（１９９５) の「顔領域抽出に有効な修正ＨＳＶ表色系の提案」に示されるように、カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する手法。
【００３８】
（ｂ）電子情報通信学会誌Vol.Ｊ７４−Ｄ−II,No.１１,pp.１６２５−１６２7(１９９１) の「静止濃淡情景画像からの顔領域を抽出する手法」に示されるように、髪や目や口など正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物像の頭部領域を抽出する手法。
【００３９】
（ｃ）画像ラボ  １９９１−１１( １９９１) の「テレビ電話用顔領域検出とその効果」に示されるように、動画像の場合、フレーム間の人物の微妙な動きによって発生する人物像の輪郭エッジを利用して正面人物像を抽出する手法。
【００４０】
ステップ８へ進むと、ここでは上記ステップ３にて決定された露出制御値に基づいて被写体記録動作制御手段２３は、絞り１７の開口径とフォーカルプレーンシャッタ１６のシャッタ秒時を制御し、フィルム１８への露光を行う。そして、次のステップ９において、フィルムを１駒巻上げ、次の撮影に備え、前記フィルムの巻上げが終了するとステップ２へ戻る。
【００４１】
上記ステップ２にてスイッチＳＷ−１がＯＦＦであるとしてステップ１０へ進むと、ここではＣＰＵ２０は所定時間を計時する測光タイマ（レリーズボタンを押してスイッチＳＷ−１のＯＮを保持せずとも露出設定変更できるよう、測光可能状態を所定時間保持するタイマ）の状態を見に行き、作動中であればステップ２へ戻る。また、所定時間が経過し不作動であればステップ１１へ進み、ここでは不図示のメインスイッチの状態を見に行き、ＯＮであればステップ２へ戻り、以下繰り返す。一方、ＯＦＦであればステップ１２へ進み、カメラへの電源供給を遮断する。
【００４２】
上記の実施の第１の形態によれば、被写体の顔の向きを認識し、顔が所定の方向、特に正面を向いた場合に被写体記録動作を行うので、撮影者に負担をかけず、被写体である人物がきちんとカメラの方を向いていないという失敗写真を防ぐ効果がある。
【００４３】
（実施の第２の形態）
図４は本発明の実施の第２の形態に係るカメラの主要部分の回路構成を示すブロック図、図５は本発明の実施の第２の形態における主要部分の動作を示すフローチャートである。
【００４４】
なお、これらの図において、上記実施の第１の形態と同じ部分はそのままの番号で示し、対応する部分に関しては上記実施の第１の形態の数字に２００を加えた番号で示す。そして、ここでは上記実施の第１の形態と異なる個所のみを説明する。
【００４５】
図４において、２１９は被写界像であり、２１９ａは被写体である人物が目を開けてカメラの方に目線を向けている状態を、２１９ｂは被写体である人物が目を閉じている状態を、２１９ｃは被写体である人物は目を開けてはいるがカメラの方に目線を向けていない状態を、それぞれ示している。２２０はカメラ全体を制御するＣＰＵであり、その中に被写界像検出手段８からの画像情報を基に被写体の目を認識する目認識手段２２１や、該目認識手段２２１からの情報により、目が特定の状態になっているか（例えば、目が開いているか、目線がカメラの方を向いているか）を判定する判定手段２２２、更には該判定手段２２２の判定結果に応じて被写体記録動作を行う制御手段２２３を有する。
【００４６】
次に、上記構成におけるカメラの主要部分の動作について、図５のフローチャートにしたがって説明する。
【００４７】
ステップ２０１からステップ２０５までは、上記実施の第１の形態における図３のステップ１からステップ５までと同じであり、その説明は省略する。
【００４８】
ステップ２０６においては、ＣＰＵ２００は撮影者が狙ったであろう被写体に焦点が合った被写界像を、ＣＣＤからなる被写界像検出手段８に１フレームを１／３０秒のビデオレートで順次取込ませる。また、瞳孔は入射した光を略同方向に反射する性質を持っており、顔の他の部分に比べて同軸照明状態の輝度が際立って大きく、弱い近赤外光を用いても瞳孔だけは明るく撮像される。従って、ｉＲＥＤ２５により近赤外光を被写体に投射し、近赤外光透過可視光カットフィルタ２６を透過した被写界像を、被写界像検出手段８が１フレームを１／３０秒のビデオレートで順次取込むようにさせると、より効果的に目の像が得られる。
【００４９】
次のステップ２０７においては、目認識手段２２１が、取込まれた被写界像から人の目を認識し、判定手段２２２により、認識された人の目が開いているか、更には目線がカメラの方を向いているかを判定する。図４の２１９ａ或は２１９ｃのように、被写界像の被写体である人物の目が開いているのであればステップ２０８へ進み、２１９ｂのように目が閉じていればステップ２０２へ戻る。または、図４の２１９ａのように被写界像の被写体である人物の目が開いて、しかも目線がカメラの方を向いているのであればステップ２０８へ進み、２１９ｃのように目を開けてはいるが、カメラの方に目線を向けていなかったり、２１９ｂのように目が閉じていればステップ２０２へ戻るようにしてもよい。
【００５０】
なお、被写界像の中から人物の目（及び目線（視線）方向）を抽出する方法（目認識手段２２１と判定手段２２２によって行われる）は、以下に示す（ｄ）〜（ｈ）の手法が公知となっており、この実施の第２の形態ではそのうちの何れかの手法を用いるものとする。
【００５１】
（ｄ）特開平３−１７６９６号に示されるように、目の領域を瞳孔中心を通る垂直線と水平線で分割し、分けられた領域の面積比を特徴量として視点位置を算出する手法。
【００５２】
（ｅ）特開平４−２５５０１５号に示されるように、視線の相対的な移動量を瞳の輪郭データを抽出し、瞳の中心座標の変化から求める手法。
【００５３】
（ｆ）特開平５−３００６０１号に示されるように、赤外光を顔に投射し、特に反射率の高い眼球を抽出する手法。
【００５４】
（ｇ）特開平９−２１６１１号に示されるように、近赤外光を撮影レンズと略同軸に被写体である人物に照射し、瞳孔の高輝度反射を検出し目を抽出する手法。
【００５５】
（ｈ）特開平９−２５１３４２号に示されるように、取得画像に対し領域分割を行い、各領域の色相、彩度の情報から顔領域を見つける。次に色相画像の２値化により、肌色部分とは異なる色属性を持つ目部分と口部分の候補を出し、目や口の濃淡パターンとの照合を行い、目領域と口領域を決める。そして検出した目、口に対してエッジ画像を生成し、エッジ画像を１次元の軸方向に垂直に写像し、目頭と左右の口元を検出する。更に目の切り出し画像を２値化し、黒画素の重心を瞳の重心とし、目頭点とから瞳のベクトルを求める。最後に顔の向きにおける目の位置より注視点を求める。という手法。
【００５６】
ステップ２０８からステップ２１２までは、上記実施の第１の形態における図３のステップ８からステップ１２までと同じであり、その説明は省略する。
【００５７】
上記実施の第２の形態によれば、被写体の目の状態を認識し、目が所定の状態になった場合、特に目をしっかり開けて、カメラに目線が向いている場合に被写体記録動作を行うので、撮影者に負担をかけず、被写体である人物が目を閉じていたり、きちんとカメラの方を見ていないという失敗写真を防ぐ効果がある。
【００５８】
（実施の第３の形態）
図６は本発明の実施の第３の形態に係るカメラの主要部分の回路構成を示すブロック図、図７は本発明の実施の第３の形態における主要部分の動作を示すフローチャートである。
【００５９】
なお、これらの図において、上記実施の第１の形態と同じ部分はそのままの番号で示し、対応する部分に関しては上記実施の第１の形態の数字に３００を加えた番号で示す。そして、ここでは上記実施の第１の形態と異なる個所のみを説明する。
【００６０】
図６において、３１９は被写界像であり、３１９ａは被写体である人物が無表情の状態を、３１９ｂは被写体である人物が笑っている喜びの状態を、３１９ｃは被写体である人物が泣いている悲しみの状態を、３１９ｄは被写体である人物の怒りの状態を、３１９ｅは被写体である人物の驚きの状態を、それぞれ示している。３２０はカメラ全体を制御するＣＰＵであり、その中に被写界像検出手段８からの画像情報を基に被写体の表情を認識する表情認識手段３２１や、該表情認識手段３２１からの情報により、表情が特定の状態（例えば、喜び、悲しみ、怒り、驚きの状態）になっているかを判定する判定手段３２２、更には該判定手段３２２の判定結果に応じて被写体記録動作を行う制御手段３２３を有する。
【００６１】
次に、上記構成におけるカメラの主要部分の動作について、図７のフローチャートにしたがって説明する。
【００６２】
ステップ３０１からステップ３０６までは、上記実施の第１の形態における図３のステップ１からステップ６までと同様であり、その説明は省略する。
【００６３】
ステップ３０７においては、表情認識手段３２１が、取込まれた被写界像から人の表情を認識し、判定手段３２２により、認識された人の表情が特定の状態（例えば、喜び、悲しみ、怒り、驚きの状態）になっているかを判定する。図６の３１９ｂ〜３１９ｅのように、被写界像の被写体である人物の表情が喜び、悲しみ、怒り、驚きのいずれかの状態になっているのであればステップ３０８へ進み、そうでなければステップ３０２へ戻る。
【００６４】
なお、被写界像の中から人物の表情を認識する方法（表情認識手段３２１と判定手段３２２によって行われる）は、以下に示す（ｉ）〜（ｋ）の手法が公知となっており、この実施の第３の形態ではそのうちの何れかの手法を用いるものとする。
【００６５】
（ｉ）特開平３−２５２７７５号に示されるように、筋肉の動きを測定するモジュールを備えており、このモジュールによって、顔の筋肉の動きの時間的変化のパターンに基づいて、学習モードでは標準表情パターンを学習記憶し、認識モードでは取込んだ画像による表情パターンと学習した標準表情パターンと比較し表情認識をするという手法。
【００６６】
（ｊ）特開平８−２４９４４７号に示されるように、顔の映像信号をウェーブレット変換し、それにより得られた空間周波数の平均電力を無表情のときの平均電力と比較し表情認識をするという手法。
【００６７】
（ｋ）特開平８−２４９４５３号，特開平１０−２５５０４３号に示されるように、表情カテゴリとして、怒り、嫌悪、恐れ、悲しみ、幸福、驚きの合計６種類の基本表情を考え、無表情から各基本表情への時系列画像の処理を行う。例えば、人が相手の表情を読取るときに最も注目している領域である右目と口をそれぞれ含む２つの領域について、人の顔の動画像中の連続する２枚の画像からオプティカルフローアルゴリズムを用いて速度ベクトルを得る。この速度ベクトルの各成分に離散フーリエ変換を施し、フーリエ変換係数の低周波成分を特徴ベクトルとして抽出する。次に、ＨＭＭ（隠れマルコフモデル）を用いて特徴ベクトルの生成確率を算出し、認識処理を行うという手法。
【００６８】
ステップ３０８からステップ３１２までは、上記実施の第１の形態における図３のステップ８からステップ１２までと同じであり、その説明は省略する。
【００６９】
上記実施の第３の形態によれば、被写体の顔の表情を認識し、顔が所定の表情になった場合、特に喜び、悲しみ、怒り、驚きといった写真として面白い特徴的な表情になったときに被写体記録動作を行うので、撮影者に負担をかけず、無表情に近い平凡な写真を撮ることがなくなり、傑作写真が撮れる確率が高くなる効果がある。
【００７０】
（実施の第４の形態）
図８は本発明の実施の第４の形態に係るカメラの主要部分の回路構成を示すブロック図、図９は本発明の実施の第２の形態における主要部分の動作を示すフローチャートである。
【００７１】
なお、これらの図において、上記実施の第１の形態と同じ部分はそのままの番号で示し、対応する部分に関しては上記実施の第１の形態の数字に４００を加えた番号で示す。そして、ここでは上記実施の第１の形態と異なる個所のみを説明する。
【００７２】
図８において、４１９は被写界像であり、４１９ａは被写体である人物が棒立ちの状態を、４１９ｂは被写体である人物が頬杖を突いて座っている状態を、４１９ｃは被写体である人物が片腕を上げる状態を、それぞれ示している。４２０はカメラ全体を制御するＣＰＵであり、その中に被写界像検出手段８からの画像情報を基に被写体のポーズを認識するポーズ認識手段４２１や、該ポーズ認識手段４２１からの情報により、ポーズが特定の状態（例えば、頬杖を突いて座る、片腕を上げる等の状態）になっているかを判定する判定手段４２２、更には該判定手段４２２の判定結果に応じて被写体記録動作を行う制御手段４２３を有する。
【００７３】
次に、上記構成におけるカメラの主要部分の動作について、図９のフローチャートにしたがって説明する。
【００７４】
ステップ４０１からステップ４０６までは、上記実施の第１の形態における図３のステップ１からステップ６までと同じであり、その説明は省略する。
【００７５】
ステップ４０７においては、ポーズ認識手段４２１が、取込まれた被写界像から人のポーズを認識し、判定手段４２２により、認識された人のポーズが特定の状態（例えば、頬杖を突いて座る、片腕を上げる等の状態）になっているかを判別する。図８の４１９ｂ，４１９ｃのように、被写界像の被写体である人物のポーズが頬杖を突いて座る、片腕を上げる等の状態になっているのであればステップ４０８へ進み、そうでなければステップ４０２へ戻る。
【００７６】
なお、被写界像の中からポーズを認識する方法（ポーズ認識手段４２１と判定手段４２２によって行われる）は、以下の（ｍ）の手法が公知となっており、この実施の第４の形態では該手法を用いるものとする。
【００７７】
（ｍ）特開平７−５７１０３号に示されるように、撮像された被写体の特定部位の輪郭を抽出し、記憶されたパターンと比較しポーズ認識をするという手法。
【００７８】
ステップ４０８からステップ４１２までは、上記実施の第１の形態における図３のステップ８からステップ１２までと同じであり、その説明は省略する。
【００７９】
上記の実施の第４の形態によれば、被写体の姿勢（ポーズ）を認識し、被写体が所定の姿勢（ポーズ）になった場合、特に写真として面白い特徴的なポーズになったときに被写体記録動作を行うので、撮影者に負担をかけず、棒立ちのようなつまらないポーズの写真を撮ることがなくなり、傑作写真が撮れる確率が高くなる効果がある。
【００８０】
（実施の第５の形態）
図１０は本発明の実施の第５の形態に係るカメラの主要部分の回路構成を示すブロック図、図１１は本発明の実施の第５の形態における主要部分の動作を示すフローチャートである。
【００８１】
なお、これらの図において、上記実施の第１の形態と同じ部分はそのままの番号で示し、対応する部分に関しては上記実施の第１の形態の数字に５００を加えた番号で示す。そして、ここでは上記実施の第１の形態と異なる個所のみを説明する。
【００８２】
図１０において、５１９は被写界像であり、５１９ａは被写体である人物が棒立ちで静止している状態を、５１９ｂは被写体である人物が走り出した状態を、それぞれ示している。５２０はカメラ全体を制御するＣＰＵであり、その中に被写界像検出手段８からの画像情報を基に被写体の動作を認識する動作認識手段５２１や、該動作認識手段５２１からの情報により、動作が特定の状態（例えば、走り出した状態）になっているかを判定する判定手段５２２、更には該判定手段５２２の判定結果に応じて被写体記録動作を行う制御手段５２３を有する。
【００８３】
次に、上記構成におけるカメラの主要部分の動作について、図１１のフローチャートにしたがって説明する。
【００８４】
ステップ５０１からステップ５０６までは、上記実施の第１の形態における図３のステップ１からステップ６までと同じであり、その説明は省略する。
【００８５】
ステップ５０７においては、動作認識手段５２１が、取込まれた被写界像から人の動作を認識し、判定手段５２２により、認識された人の動作が特定の状態（例えば、走り出した状態）になっているかを判別する。５１９ｂのように被写界像の被写体である人物の動作が走り出した状態になっているのであればステップ５０８へ進み、そうでなければステップ５０２へ戻る。
【００８６】
なお、被写界像の中から動作を認識する方法（動作認識手段５２１と判定手段５２２によって行われる）は、以下に示す（ｎ）の手法が公知となっており、この実施の第５の形態では該手法を用いるものとする。
【００８７】
（ｎ）特開平７−５７１０３号に示されるように、撮像された被写体の特定部位の輪郭を抽出し、記憶されたパターンと比較し動作認識をするという手法。
【００８８】
ステップ５０８からステップ５１２までは、上記実施の第１の形態における図３のステップ８からステップ１２までと同じであり、その説明は省略する。
【００８９】
上記実施の第５の形態によれば、被写体の動作を認識し、被写体が所定の動作を行った場合、特に写真として面白い特徴的な動作を行ったときに被写体記録動作を行うので、撮影者に負担をかけず、棒立ちに近いつまらない動作の写真を撮ることがなくなり、傑作写真が撮れる確率が高くなる効果がある。
【００９０】
（実施の第６の形態）
図１２は本発明の実施の第６の形態に係るカメラの主要部分の回路構成を示すブロック図、図１３は本発明の実施の第６の形態における主要部分の動作を示すフローチャートである。
【００９１】
なお、これらの図において、上記実施の第１の形態と同じ部分はそのままの番号で示し、対応する部分に関しては上記実施の第１の形態の数字に６００を加えた番号で示す。そして、ここでは上記実施の第１の形態と異なる個所のみを説明する。
【００９２】
図１２において、６１９は被写界像であり、６１９ａは被写体である人物が無表情の状態を、６１９ｂは被写体である人物が笑っている喜びの状態を、６１９ｃは被写体である人物が泣いている悲しみの状態を、６１９ｄは被写体である人物の怒りの状態を、６１９ｅは被写体である人物の驚きの状態を、それぞれ示している。６２０はカメラ全体を制御するＣＰＵであり、その中に被写界像検出手段８からの画像情報を基に被写体の表情を認識する表情認識手段６２１や、該表情認識手段６２１からの情報により、表情が特定の状態（例えば、喜び、悲しみの状態）になっているかを判定する判定手段６２２、更には該判定手段６２２の判定結果に応じて被写体記録動作を行う制御手段６２３を有する。
【００９３】
次に、上記構成におけるカメラの主要部分の動作について、図１３のフローチャートにしたがって説明する。
【００９４】
ステップ６０１からステップ６０６までは、上記実施の第１の形態における図３のステップ１からステップ６とまでと同じであり、その説明は省略する。
【００９５】
ステップ６０７においては、表情認識手段６２１が、取込まれた被写界像から人の表情を認識し、判定手段６２２により、認識された人の表情が特定の状態（例えば、喜びの状態）になっているかを判別する。６１９ｂのように被写界像の被写体である人物の表情が喜びの状態になっているのであればステップ６０８へ進む。そうでなければステップ６０９へ進む。
【００９６】
なお、被写界像の中から人物の表情を認識する方法（表情認識手段６２１と判定手段６２２によって行われる）は、上記実施の第３の形態と同じ公知の手法のように行われる。
【００９７】
ステップ６０８においては、上記ステップ６０３にて決定された露出制御値に対し、撮影画面が明るくなるように（明るい雰囲気を出すように）プラスの露出補正をする。そして、次のステップ６０９において、表情認識手段６２１が、取込まれた被写界像から人の表情を認識し、判定手段６２２により、認識された人の表情が特定の状態（例えば、悲しみの状態）になっているかを判定する。図１２の６１９ｃのように、被写界像の被写体である人物の表情が悲しみの状態になっているのであればステップ６１０へ進み、そうでなければステップ６０２へ戻る。
【００９８】
なお、被写界像の中から人物の表情を認識する方法（表情認識手段６２１と判定手段６２２によって行われる）は、上記ステップ６０７での説明と同じく、前述した実施の第３の形態と同じ公知の手法により行うものとする。
【００９９】
ステップ６１０においては、上記ステップ６０３にて決定された露出制御値に対し、撮影画面が暗くなるように（暗い雰囲気を出すように）マイナスの露出補正をする。
【０１００】
ステップ６１１からステップ６１５までは、上記実施の第１の形態における図３のステップ８からステップ１２とまでと同じであり、その説明は省略する。
【０１０１】
上記実施の第６の形態によれば、被写体の顔の表情を認識し、顔が所定の表情になった場合、特に喜び、悲しみといった写真の雰囲気として明るい・暗いがはっきりした特徴的な表情になったときに雰囲気に合わせて被写体記録画面の明るさを変化させるので、撮影者に負担をかけず、表情により醸し出される雰囲気を盛上げる効果がある。
【０１０２】
（実施の第７の形態）
図１４は本発明の実施の第７の形態に係るカメラの主要部分の回路構成を示すブロック図、図１５は本発明の実施の第７の形態における主要部分の動作を示すフローチャートである。
【０１０３】
なお、これらの図において、上記実施の第１の形態と同じ部分はそのままの番号で示し、対応する部分に関しては上記実施の第１の形態の数字に７００を加えた番号で示す。そして、ここでは上記実施の第１の形態と異なる個所のみを説明する。
【０１０４】
図１４において、７１９は被写界像であり、７１９ａは被写体である人物が無表情の状態を、７１９ｂは被写体である人物が笑っている喜びの状態を、７１９ｃは被写体である人物が泣いている悲しみの状態を、７１９ｄは被写体である人物の怒りの状態を、７１９e は被写体である人物の驚きの状態を、それぞれ示している。７２０はカメラ全体を制御するＣＰＵであり、その中に被写界像検出手段８からの画像情報を基に被写体の表情を認識する表情認識手段７２１や、表情認識手段７２１からの情報により、表情が特定の状態（例えば、喜び、悲しみ、怒りの状態）になっているかを判定する判定手段７２２、更には判定手段７２２の判定結果に応じて被写体記録動作とテキスト・キャラクタの記録動作を行う制御手段７２３を有する。２７はテキスト・キャラクタ発生手段で日付やキャプションをフィルム背面より写し込ませるための公知のデートモジュールに相当する。７２９は撮影された被写体記録画像である。
【０１０５】
次に、上記構成におけるカメラの主要部分の動作について、図１５のフローチャートにしたがって説明する。
【０１０６】
ステップ７０１からステップ７０６までは、上記実施の第１の形態における図３のステップ１からステップ６とまでと同じであり、その説明は省略する。
【０１０７】
ステップ７０７においては、表情認識手段７２１が、取込まれた被写界像から人の表情を認識し、判定手段７２２により、認識された人の表情が特定の状態（例えば、喜びの状態）になっているかを判定する。図１４の７１９ｂのように、被写界像の被写体である人物の表情が喜びの状態になっているのであればステップ７０８へ進み、そうでなければステップ７０９へ進む。
【０１０８】
なお、被写界像の中から人物の表情を認識する方法（表情認識手段７２１と判定手段７２２によって行われる）は、上記実施の第３の形態と同じ公知の手法により行うものとする。
【０１０９】
ステップ７０８においては、テキスト・キャラクタ発生手段である日付やキャプションをフィルム背面より写し込ませるための公知のデートモジュール２７を駆動し、図１４の７２９ｂに示す「♪ＨＡＰＰＹ♪」のような明るいイメージのテキストやキャラクタをフィルム１８に写し込む。
【０１１０】
ステップ７０９においては、表情認識手段７２１が、取込まれた被写界像から人の表情を認識し、判定手段７２２により、認識された人の表情が特定の状態（例えば、悲しみの状態）になっているかを判定する。図１４の７１９ｃのように、被写界像の被写体である人物の表情が悲しみの状態になっているのであればステップ７１０へ進み、そうでなければステップ７１１へ進む。
【０１１１】
なお、被写界像の中から人物の表情を認識する方法（表情認識手段７２１と判定手段７２２によって行われる）は、上記ステップ７０７での説明と同じく、実施の第３の形態と同じ公知の手法のように行われる。
【０１１２】
ステップ７１０においては、テキスト・キャラクタ発生手段である日付やキャプションをフィルム背面より写し込ませるための公知のデートモジュール２７を駆動し、図１４の７２９ｃに示す「★泣かないで★」のような慰めのテキストや、「…寂しいな…」「悲しいよー」といった悲しげなイメージのテキストやキャラクタをフィルム１８に写し込む。
【０１１３】
ステップ７１１においては、表情認識手段７２１が、取込まれた被写界像から人の表情を認識し、判定手段７２２により、認識された人の表情が特定の状態（例えば、怒りの状態）になっているかを判定する。図１４の７１９ｄのように、被写界像の被写体である人物の表情が怒りの状態になっているのであればステップ７１２へ進み、そうでなければステップ７０２へ戻る。
【０１１４】
なお、被写界像の中から人物の表情を認識する方法（表情認識手段７２１と判定手段７２２によって行われる）は、上記ステップ７０７での説明と同じく、実施の第３の形態と同じ公知の手法により行うものとする。
【０１１５】
ステップ７１２においては、テキスト・キャラクタ発生手段である日付やキャプションをフィルム背面より写し込ませるための公知のデートモジュール２７を駆動し、「そんなに怒らないで」のような宥めるテキストや、図１４の７２９ｄに示す「▲怒ったぞ！▲」といった怒りをイメージするテキストやキャラクタをフィルム１８に写し込む。
【０１１６】
ステップ７１３からステップ７１７までは、上記実施の第１の形態における図３のステップ８からステップ１２とまでと同じであり、その説明は省略する。
【０１１７】
上記実施の第７の形態によれば、被写体の顔の表情を認識し、顔が所定の表情になった場合、特に喜び、悲しみ、怒りといった写真の雰囲気がはっきりとした特徴を持った表情になったときに雰囲気に合わせたテキストやキャラクタを被写体と共に記録するので、撮影者に負担をかけず、表情により醸し出される雰囲気を盛上げる効果がある。
【０１１８】
（実施の第８の形態）
図１６は本発明の実施の第８の形態に係るカメラの主要部分の回路構成を示すブロック図、図１７は本発明の実施の第８の形態における主要部分の動作を示すフローチャートである。
【０１１９】
なお、これらの図において、上記実施の第１の形態と同じ部分はそのままの番号で示し、対応する部分に関しては上記実施の第１の形態の数字に８００を加えた番号で示す。そして、ここでは上記実施の第１の形態と異なる個所のみを説明する。
【０１２０】
図１６において、８１９は被写界像であり、８１９ａは被写体である人物が無表情の状態を、８１９ｂは被写体である人物が笑っている喜びの状態を、８１９ｃは被写体である人物が泣いている悲しみの状態を、８１９ｄは被写体である人物の怒りの状態を、８１９e は被写体である人物の驚きの状態を、それぞれ示している。８２０はカメラ全体を制御するＣＰＵであり、その中に被写界像検出手段８からの画像情報を基に被写体の表情を認識する表情認識手段８２１や、該表情認識手段８２１からの情報により、表情が特定の状態（例えば、喜び、悲しみ、怒りの状態）になっているかを判定する判定手段８２２、更には該判定手段８２２の判定結果に応じて被写体記録動作と画面色の記録動作を行う制御手段８２３を有する。２８は画面色変化手段であり、効果フィルタが不図示のアクチュエータと不図示の進退機構により撮影レンズの光束内への進入及び光束外への退避が可能に設けられ、それぞれ黄・青・赤等の異なる色をベースとし、被写体の雰囲気に合った効果を出せるフィルタが選択可能になっている。８２９は撮影された被写体記録画像である。
【０１２１】
次に、上記構成におけるカメラの主要部分の動作について、図１７のフローチャートにしたがって説明する。
【０１２２】
ステップ８０１からステップ８０６までは、上記実施の第１の形態における図３のステップ１からステップ６とまでと同じであり、その説明は省略する。
【０１２３】
ステップ８０７においては、表情認識手段８２１が、取込まれた被写界像から人の表情を認識し、判定手段８２２により、認識された人の表情が特定の状態（例えば、喜びの状態）になっているかを判定する。図１６の８１９ｂのように、被写界像の被写体である人物の表情が喜びの状態になっているのであればステップ８０８へ進み、そうでなければステップ８０９へ進む。
【０１２４】
なお、被写界像の中から人物の表情を認識する方法（表情認識手段８２１と判定手段８２２によって行われる）は、上記実施の第３の形態と同じ公知の手法により行うものとする。
【０１２５】
ステップ８０８においては、画面色変化手段２８の黄色をベースとした効果フィルタを撮影レンズの光束内へ進入させ、図１６の８２９ｂに示すような太陽が燦燦と降り注ぐような明るいイメージの画面色をフィルム１８に写し込む。
【０１２６】
ステップ８０９においては、表情認識手段８２１が、取込まれた被写界像から人の表情を認識し、判定手段８２２により、認識された人の表情が特定の状態（例えば、悲しみの状態）になっているかを判定する。図１６の８１９ｃのように、被写界像の被写体である人物の表情が悲しみの状態になっているのであればステップ８１０へ進み、そうでなければステップ８１１へ進む。
【０１２７】
なお、被写界像の中から人物の表情を認識する方法（表情認識手段８２１と判定手段８２２によって行われる）は、上記ステップ８０７での説明と同じく、前述した実施の第３の形態と同じ公知の手法のように行われる。
【０１２８】
ステップ８１０においては、画面色変化手段２８の青色をベースとした効果フィルタを撮影レンズの光束内へ進入させ、図１６の８２９ｃに示すような、悲しげでブルーなイメージの画面色をフィルム１８に写し込む。
【０１２９】
ステップ８１１においては、表情認識手段８２１が、取込まれた被写界像から人の表情を認識し、判定手段８２２により、認識された人の表情が特定の状態（例えば、怒りの状態）になっているかを判定する。図１６の８１９ｄのように、被写界像の被写体である人物の表情が怒りの状態になっているのであればステップ８１２へ進み、そうでなければステップ８０２へ戻る。
【０１３０】
なお、被写界像の中から人物の表情を認識する方法（表情認識手段８２１と判定手段８２２によって行われる）は、上記ステップ８０７での説明と同じく、前述した実施の第３の形態と同じ公知の手法により行うものとする。
【０１３１】
ステップ８１２においては、画面色変化手段２８の赤色をベースとした効果フィルタを撮影レンズの光束内へ進入させ、図１６の８２９ｄに示すような、激しく燃え盛る炎の如き怒りをイメージする画面色をフィルム１８に写し込む。
【０１３２】
ステップ８１３においては、上記ステップ８０３にて決定された露出制御値に基づいて被写体記録動作と画面色の記録動作を行う制御手段８２３は、絞り１７の開口径とフォーカルプレーンシャッタ１６のシャッタ秒時を制御し、フィルム１８への露光を行う。そして、次のステップ８１４において、効果フィルタを撮影レンズの光束外へ退避させた後、フィルムを１駒巻上げ、次の撮影に備える。フィルムの巻上げ終了後はステップ８０２へ戻る。
【０１３３】
ステップ８１５からステップ８１７までは、上記実施の第１の形態における図３のステップ１０からステップ１２とまでと同じであり、その説明は省略する。
【０１３４】
なお、上記実施の第８の形態においては、画面色を変化させたが、同様に表情に合った雰囲気を画面に記録するため、画面を軟調効果にするソフトフォーカスや、霧のかかったようにするフォギーに代表されるような公知の光学フィルタで行われている特殊効果を出すことや、画面に模様を付けたりしても良い。
【０１３５】
以上の実施の第８の形態によれば、被写体の顔の表情を認識し、顔が所定の表情になった場合、特に喜び、悲しみ、怒りといった写真の雰囲気がはっきりとした特徴を持った表情になったときに雰囲気に合わせて変化させた画面色を被写体と共に記録するので、撮影者に負担をかけず、表情により醸し出される雰囲気を盛上げる効果がある。
【０１３６】
（変形例）
上記実施の各形態において、フィルム１８の代わりにＣＣＤ（固体撮像素子）を設け、撮像素子駆動回路やディジタル画像処理回路、更には画像記憶手段等の公知の所謂ディジタルカメラの構成要素を設けることにより、銀塩カメラだけでなく、電子スチルカメラにも適応できる。例えば、上記実施の第６の形態の、被写体記録画面の明るさを変化させる手段として、絞りとシャッタにより露出を変化させる方法以外に、フィルムに代わるＣＣＤ（固体撮像素子）のゲインを変化させる方法もある。
【０１３７】
また、上記実施の第７の形態の、テキスト・キャラクタ発生手段として、テキスト・キャラクタのＲＯＭを有し、ディジタル画像処理の間に、公知の画像合成によりROM から読み出したテキストやキャラクタを被写体に重ね合わせて記録動作を行うことが考えられる。
【０１３８】
同様に、上記実施の第８の形態の、画面色変化手段として、ディジタル画像処理の間に、公知の色調整により画面色を変化させて被写体と共に記録することが考えられる。更には、公知の画像合成により特殊効果を出したり、模様を付けたりすることも可能である。
【０１３９】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、被写体の顔の表情を認識し、顔の表情の判定結果に応じて、記録画面の明るさを変化させることができるカメラを提供できるものである。
【０１４０】
また、請求項２に記載の発明によれば、被写体の顔の表情を認識し、顔の表情の判定結果に応じて、表情に合った色に記録画面を変化させることができるカメラを提供できるものである。
【図面の簡単な説明】
【図１】本発明の実施の各形態に共通なカメラを示す中央縦断面図である。
【図２】本発明の実施の第１の形態におけるカメラの主要部分の回路構成を示すブロック図である。
【図３】本発明の実施の第１の形態におけるカメラの主要部分の動作を示すフローチャートである。
【図４】本発明の実施の第２の形態におけるカメラの主要部分の回路構成を示すブロック図である。
【図５】本発明の実施の第２の形態におけるカメラの主要部分の動作を示すフローチャートである。
【図６】本発明の実施の第３の形態におけるカメラの主要部分の回路構成を示すブロック図である。
【図７】本発明の実施の第３の形態におけるカメラの主要部分の動作を示すフローチャートである。
【図８】本発明の実施の第４の形態におけるカメラの主要部分の回路構成を示すブロック図である。
【図９】本発明の実施の第４の形態におけるカメラの主要部分の動作を示すフローチャートである。
【図１０】本発明の実施の第５の形態におけるカメラの主要部分の回路構成を示すブロック図である。
【図１１】本発明の実施の第５の形態におけるカメラの主要部分の動作を示すフローチャートである。
【図１２】本発明の実施の第６の形態におけるカメラの主要部分の回路構成を示すブロック図である。
【図１３】本発明の実施の第６の形態におけるカメラの主要部分の動作を示すフローチャートである。
【図１４】本発明の実施の第７の形態におけるカメラの主要部分の回路構成を示すブロック図である。
【図１５】本発明の実施の第７の形態におけるカメラの主要部分の動作を示すフローチャートである。
【図１６】本発明の実施の第８の形態におけるカメラの主要部分の回路構成を示すブロック図である。
【図１７】本発明の実施の第８の形態におけるカメラの主要部分の動作を示すフローチャートである。
【符号の説明】
８                              ＣＣＤからなる被写界像検出手段
２０，２２０，３２０，４２０    ＣＰＵ
２１                            顔認識手段
２２，２２２，３２２，４２２    判定手段
２３，２２３，３２３，４２３    被写体記録動作制御手段
２４                            カメラ露光機能部
２７                テキスト・キャラクタ発生手段（デートモジュール）
２８                            画面色変化手段（効果フィルタ）
２２１                          目認識手段
３２１，６２１，７２１，８２１  表情認識手段
４２１                          ポーズ認識手段
５２０，６２０，７２０，８２０  ＣＰＵ
５２１                          動作認識手段、
５２２，６２２，７２２，８２２  判定手段
５２３，６２３                  被写体記録動作制御手段
７２３                  被写体＆テキスト・キャラクタ記録動作制御手段
８２３                  被写体＆画面色記録動作制御手段
【図１】
0004227257.tif 000002
【図２】
0004227257.tif 000003
【図３】
0004227257.tif 000004
【図４】
0004227257.tif 000005
【図５】
0004227257.tif 000006
【図６】
0004227257.tif 000007
【図７】
0004227257.tif 000008
【図８】
0004227257.tif 000009
【図９】
0004227257.tif 000010
【図１０】
0004227257.tif 000011
【図１１】
0004227257.tif 000012
【図１２】
0004227257.tif 000013
【図１３】
0004227257.tif 000014
【図１４】
0004227257.tif 000015
【図１５】
0004227257.tif 000016
【図１６】
0004227257.tif 000017
【図１７】
0004227257.tif 000018