(57)【要約】【課題】本発明は、撮影者の発した言葉通りに被写体が反応したか否かを判定して正しい反応時に動作する撮像装置及びカメラを提供することである。【解決手段】カメラ１０は、予め所定のキーワード及び被写体の行動状態を記録部２０に記録している。そして、後方音声取得部１６で取得した音声が記録部２０に記録されているキーワードに該当するか否かをパターン判定部１８ａで判定する。ここで、該当するキーワードであると判定された場合に、被写体の行動状態が記録部２０に記録されている行動状態に従った行動をしたか否かを動き判定部１３が判定し、上記キーワードに従った行動をしたと判定した場合には、撮像部１２による撮影を開始するように信号処理及び制御部１１が制御する。【選択図】      図１
2010219692.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して画像を得る撮像部と、
予め所定のキーワード及び上記被写体の行動状態を記録している記録部と、
少なくとも操作者の発する音声を取得する音声取得部と、
上記音声取得部で取得した音声が上記記録部に記録されているキーワードに該当するか否かを判定するキーワード判定部と、
上記キーワード判定部で該当するキーワードであると判定された場合に、上記被写体の行動状態が上記記録部に記録されている行動状態に従った行動をしたか否かを判定する動き判定部と、
上記動き判定部で上記被写体が上記キーワードに従った行動をしたと判定された場合に上記撮像部による撮影を開始するように制御する制御部と、
を具備することを特徴とする撮像装置。
【請求項２】
上記制御部は、上記キーワードをテキスト化して上記撮像部で撮影された画像と共に出力することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記記録部は、上記制御部の制御により撮影された上記被写体の画像と共に上記キーワードを記録することを特徴とする請求項１に記載の撮像装置。
【請求項４】
上記動き判定部は、上記被写体の顔の状態を含めて、上記被写体が上記キーワードに従った行動をしたか否かを判定することを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記音声取得部は、該装置の後方の音声を取得することを特徴とする請求項１に記載の撮像装置。
【請求項６】
上記音声取得部は、少なくとも該装置の後方の音声を取得することを特徴とする請求項１に記載の撮像装置。
【請求項７】
被写体を撮影して画像を得る第１の撮像部と、
予め所定のキーワード及び上記被写体の行動状態を記録している第１の記録部と、
上記第１の記録部に記録されている上記キーワードに対応した表現を記録している第２の記録部と、
少なくとも操作者の発する第１の音声を取得する音声取得部と、
上記音声取得部で取得した第１の音声が上記第１の記録部に記録されているキーワードに該当するか否かを判定するキーワード判定部と、
上記音声取得部で取得された上記第１の音声が上記キーワードに該当する場合に、対応するキーワードを上記第２の記録部より読み出して第２の音声で出力する音声処理部と、
上記キーワード判定部で該当するキーワードであると判定された場合に、上記被写体の行動状態が上記第１の記録部に記録されている行動状態に従った行動をしたか否かを判定する動き判定部と、
上記動き判定部で上記被写体が上記キーワードに従った行動をしていないと判定された場合には上記第２の音声で上記キーワードを出力し、上記動き判定部で上記被写体が上記キーワードに従った行動をしたと判定した場合に上記第１の撮像部による撮影を開始するように制御する制御部と、
を具備することを特徴とする撮像装置。
【請求項８】
上記第２の音声を出力するスピーカを更に具備することを特徴とする請求項７に記載の撮像装置。
【請求項９】
上記第２の音声は上記第１の音声と異なる音声であることを特徴とする請求項７に記載の撮像装置。
【請求項１０】
撮影者の表情を撮影する第２の撮像部を更に具備し、
上記制御部は、上記動き判定部で上記被写体が上記キーワードに従った行動をしていないと判定された場合でも、上記第２の撮像部で撮影された上記撮影者の表情が笑顔であれば、上記第１の撮像部による撮影を開始するように制御する
ことを特徴とする請求項７に記載の撮像装置。
【請求項１１】
上記制御部は、上記キーワードをテキスト化して上記撮像部で撮影された画像と共に出力することを特徴とする請求項７に記載の撮像装置。
【請求項１２】
上記第１の記録部は、上記制御部の制御により撮影された上記被写体の画像と共に上記キーワードを記録することを特徴とする請求項７に記載の撮像装置。
【請求項１３】
上記音声取得部は、該装置の後方の音声を取得することを特徴とする請求項７に記載の撮像装置。
【請求項１４】
上記音声取得部は、少なくとも該装置の後方の音声を取得することを特徴とする請求項７に記載の撮像装置。
【請求項１５】
撮像部によって被写体を撮影して画像を得るカメラに於いて、
予め所定のキーワード及び上記被写体の行動状態を記録している記録部と、
少なくとも操作者の発する音声を取得する音声取得部と、
上記音声取得部で取得した音声が上記記録部に記録されているキーワードに該当するか否かを判定するキーワード判定部と、
上記キーワード判定部で該当するキーワードであると判定された場合に、上記被写体の行動状態が上記記録部に記録されている行動状態に従った行動をしたか否かを判定する動き判定部と、
上記動き判定部で上記被写体が上記キーワードに従った行動をしたと判定された場合に上記撮像部による撮影を開始するように制御する制御部と、
を具備することを特徴とするカメラ。
【請求項１６】
上記キーワードをテキスト化して上記撮像部で撮影された画像と共に表示する表示部を更に具備することを特徴とする請求項１５に記載のカメラ。
【請求項１７】
上記記録部は、上記制御部の制御により撮影された上記被写体の画像と共に上記キーワードを記録することを特徴とする請求項１５に記載のカメラ。
【請求項１８】
上記動き判定部は、上記被写体の顔の状態を含めて、上記被写体が上記キーワードに従った行動をしたか否かを判定することを特徴とする請求項１５に記載のカメラ。
【請求項１９】
上記音声取得部は、該カメラの後方の音声を取得することを特徴とする請求項１５に記載のカメラ。
【請求項２０】
上記音声取得部は、少なくとも該カメラの後方の音声を取得することを特徴とする請求項１５に記載のカメラ。
【請求項２１】
撮像部によって被写体を撮影して画像を得るカメラに於いて、
予め所定のキーワード及び上記被写体の行動状態を記録している第１の記録部と、
上記第１の記録部に記録されている上記キーワードに対応した表現を記録している第２の記録部と、
少なくとも操作者の発する第１の音声を取得する音声取得部と、
上記音声取得部で取得した第１の音声が上記第１の記録部に記録されているキーワードに該当するか否かを判定するキーワード判定部と、
上記音声取得部で取得された上記第１の音声が上記キーワードに該当する場合に、対応するキーワードを上記第２の記録部より読み出して第２の音声で出力する音声処理部と、
上記キーワード判定部で該当するキーワードであると判定された場合に、上記被写体の行動状態が上記第１の記録部に記録されている行動状態に従った行動をしたか否かを判定する動き判定部と、
上記動き判定部で上記被写体が上記キーワードに従った行動をしていないと判定された場合には上記第２の音声で上記キーワードを出力し、上記動き判定部で上記被写体が上記キーワードに従った行動をしたと判定した場合に上記第１の撮像部による撮影を開始するように制御する制御部と、
を具備することを特徴とするカメラ。
【請求項２２】
上記キーワードをテキスト化して上記撮像部で撮影された画像と共に表示する表示部を更に具備することを特徴とする請求項２１に記載のカメラ。
【請求項２３】
上記第２の音声を出力するスピーカを更に具備することを特徴とする請求項２１に記載のカメラ。
【請求項２４】
上記第２の音声は上記第１の音声と異なる音声であることを特徴とする請求項２１に記載のカメラ。
【請求項２５】
撮影者の表情を撮影する後方撮像部を更に具備し、
上記制御部は、上記動き判定部で上記被写体が上記キーワードに従った行動をしていないと判定された場合でも、上記後方撮像部で撮影された上記撮影者の表情が笑顔であれば、上記第１の撮像部による撮影を開始するように制御する
ことを特徴とする請求項２１に記載のカメラ。
【請求項２６】
上記制御部は、上記キーワードをテキスト化して上記撮像部で撮影された画像と共に出力することを特徴とする請求項２１に記載のカメラ。
【請求項２７】
上記第１の記録部は、上記制御部の制御により撮影された上記被写体の画像と共に上記キーワードを記録することを特徴とする請求項２１に記載のカメラ。
【請求項２８】
上記音声取得部は、該装置の後方の音声を取得することを特徴とする請求項２１に記載のカメラ。
【請求項２９】
上記音声取得部は、少なくとも該装置の後方の音声を取得することを特徴とする請求項２１に記載のカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及びカメラ並びに電子機器に関し、より詳細には、所謂、デジタルカメラやカメラ付携帯電話などの撮影、表示機器の改良に関するものである。
【背景技術】
【０００２】
人物を被写体として写真を撮影する場合、例えば、スナップ写真の撮影をする場合等、撮影者が当該被写体に対して声をかけることがある。特に、被写体が子供である場合、撮影者である親が命令して撮影することがある。
【０００３】
また、例えば、下記特許文献１には、マイクロホンに入力された音声の意味が、予め登録された命令に一致しているか否かを音声認識手段で判定し、音声の意味が命令に一致していると判定すれば、当該命令を操作手段に出力する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１２１５７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１には、被写体と撮影者との関係が不明確であり、被写体が撮影者の命令を理解しているかどうかを確かめることはできないものであった。
【０００６】
このように、これまではカメラ等の機器を使用している撮影者等が他の人に命令したことを、その他の人が聞き入れたかどうかを判定する機器は存在しないものであった。
【０００７】
したがって、本発明は上記実情に鑑みてなされたものであり、その目的は、撮影者の発した言葉通りに被写体が反応したか否かを判定して正しい反応時に動作する撮像装置及びカメラを提供することである。
【課題を解決するための手段】
【０００８】
すなわち本発明は、被写体を撮影して画像を得る撮像部と、予め所定のキーワード及び上記被写体の行動状態を記録している記録部と、少なくとも操作者の発する音声を取得する音声取得部と、上記音声取得部で取得した音声が上記記録部に記録されているキーワードに該当するか否かを判定するキーワード判定部と、上記キーワード判定部で該当するキーワードであると判定された場合に、上記被写体の行動状態が上記記録部に記録されている行動状態に従った行動をしたか否かを判定する動き判定部と、上記動き判定部で上記被写体が上記キーワードに従った行動をしたと判定された場合に上記撮像部による撮影を開始するように制御する制御部と、を具備することを特徴とする。
【０００９】
また、本発明は、被写体を撮影して画像を得る第１の撮像部と、予め所定のキーワード及び上記被写体の行動状態を記録している第１の記録部と、上記第１の記録部に記録されている上記キーワードに対応した表現を記録している第２の記録部と、少なくとも操作者の発する第１の音声を取得する音声取得部と、上記音声取得部で取得した第１の音声が上記第１の記録部に記録されているキーワードに該当するか否かを判定するキーワード判定部と、上記音声取得部で取得された上記第１の音声が上記キーワードに該当する場合に、対応するキーワードを上記第２の記録部より読み出して第２の音声で出力する音声処理部と、上記キーワード判定部で該当するキーワードであると判定された場合に、上記被写体の行動状態が上記第１の記録部に記録されている行動状態に従った行動をしたか否かを判定する動き判定部と、上記動き判定部で上記被写体が上記キーワードに従った行動をしていないと判定された場合には上記第２の音声で上記キーワードを出力し、上記動き判定部で上記被写体が上記キーワードに従った行動をしたと判定した場合に上記第１の撮像部による撮影を開始するように制御する制御部と、を具備することを特徴とする。
【００１０】
更に本発明は、撮像部によって被写体を撮影して画像を得るカメラに於いて、予め所定のキーワード及び上記被写体の行動状態を記録している記録部と、少なくとも操作者の発する音声を取得する音声取得部と、上記音声取得部で取得した音声が上記記録部に記録されているキーワードに該当するか否かを判定するキーワード判定部と、上記キーワード判定部で該当するキーワードであると判定された場合に、上記被写体の行動状態が上記記録部に記録されている行動状態に従った行動をしたか否かを判定する動き判定部と、上記動き判定部で上記被写体が上記キーワードに従った行動をしたと判定された場合に上記撮像部による撮影を開始するように制御する制御部と、を具備することを特徴とする。
【００１１】
本発明は、撮像部によって被写体を撮影して画像を得るカメラに於いて、予め所定のキーワード及び上記被写体の行動状態を記録している第１の記録部と、上記第１の記録部に記録されている上記キーワードに対応した表現を記録している第２の記録部と、少なくとも操作者の発する第１の音声を取得する音声取得部と、上記音声取得部で取得した第１の音声が上記第１の記録部に記録されているキーワードに該当するか否かを判定するキーワード判定部と、上記音声取得部で取得された上記第１の音声が上記キーワードに該当する場合に、対応するキーワードを上記第２の記録部より読み出して第２の音声で出力する音声処理部と、上記キーワード判定部で該当するキーワードであると判定された場合に、上記被写体の行動状態が上記第１の記録部に記録されている行動状態に従った行動をしたか否かを判定する動き判定部と、上記動き判定部で上記被写体が上記キーワードに従った行動をしていないと判定された場合には上記第２の音声で上記キーワードを出力し、上記動き判定部で上記被写体が上記キーワードに従った行動をしたと判定した場合に上記第１の撮像部による撮影を開始するように制御する制御部と、を具備することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、撮影者の発した言葉通りに被写体が反応したか否かを判定して正しい反応時に動作する撮像装置及びカメラを提供することである。
【図面の簡単な説明】
【００１３】
【図１】本発明の撮像装置の第１の実施形態に係るカメラの概略構成を示したブロック図である。
【図２】図１のように構成されたカメラ１０の使用例とその効果によるイメージを示したものである。
【図３】本発明の第１の実施形態に於けるカメラ１０の制御動作を説明するためのフローチャートである。
【図４】本発明の第１の実施形態に於けるカメラ１０の音声に含まれるキーワードと動作の対照表である。
【図５】本発明の第１の実施形態の変形例に於けるカメラ１０の使用例を説明するための図である。
【図６】本発明の撮像装置の第２の実施形態に係るカメラの概略構成を示したブロック図である。
【図７】本発明の第２の実施形態に於けるカメラ１０1 の制御動作を説明するためのフローチャートである。
【図８】本発明の第２の実施形態に於けるカメラ１０1 の音声に含まれるキーワードと再生音声の対照表である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、本発明の実施形態について説明する。
【００１５】
（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態に係るカメラの概略構成を示したブロック図である。
【００１６】
図１に於いて、本発明の第１の実施形態に係るカメラ１０は、信号処理及び制御部１１と、撮像部１２と、動き判定部１３と、顔検出部１４と、前方音声収録部１５と、後方音声収録部１６と、音声処理部１８と、記録部２０と、操作判定部２２と、表示部２３と、時計部２４と、通信部２５と、を有して構成される。
【００１７】
上記信号処理及び制御部１１は、上記撮像部１２から出力される撮影画像を画像処理すると共に、このカメラ１０全体のシーケンスを制御する。更に、信号処理及び制御部１１は、後述する音声パターン記録部２０ａより読出されたテキストを撮影画像に合成して表示するためのテキスト合成部１１ａを有している。
【００１８】
上記撮像部１２は、図示されない撮影用のレンズや撮像素子、並びにその駆動、読み出し回路等から構成されるもので、図示されない対象物である被写体を撮影して撮影画像を得るための撮影手段である。動き判定部１３は、カメラの画面内に於ける被写体の割合、距離や撮影時の画角等から、被写体の動きを判定する。顔検出部１４は、周知の顔画像認識処理等により、撮像部に取り込まれた画像中の顔画像を検出するためのものである。
【００１９】
前方音声収録部１５は、上記撮像部１２で得られた画像に対応する方向である前方からの音声を収音するもので、マイク等により構成される。また、後方音声収録部１６は、撮影者の声を収音するもので、マイク等により構成される。上記前方音声収録部１５及び後方音声収録部１６は、同一のマイクで構成し、声によって声の主を判別するようにしてもよい。尚、これら前方音声収録部１５及び後方音声収録部１６は、音声取得部として構成されている。
【００２０】
音声処理部１８は、これらのマイクから得られた音声を処理してテキスト化し、撮影画像と一緒に表示できるようにするためのものである。そのため、音声処理部１８は、後述する音声パターン記録部２０ａ内に記録された音声パターンと、前方音声収録部１５、後方音声収録部１６で収録された音声とを比較して一致度を判定する機能を有したパターン判定部（キーワード判定部）１８ａを有して構成される。
【００２１】
記録部２０は、撮影画像等を記録するための記録手段である。この記録部２０は、撮影画像を記録する機能の他、音声パターンの情報を記録する音声パターン記録部２０ａと、被写体の行動パターン等が記録されている行動データベース（ＤＢ）２０ｂ等を有している。
【００２２】
操作判定部２２は、ユーザが撮影操作を行う際に操作するレリーズスイッチ等の操作の有無を判定するためのものである。この操作判定部２２でカメラ１０の操作が検出されると、信号処理及び制御部１１によってこれらが制御されて、これらのブロックから取得された画像やテキスト等が、記録部２０内に記録される。
【００２３】
表示部２３は、液晶等から構成される表示パネルを有するもので、上述した撮影画像を表示したり、撮影した結果が見られるようにしている。尚、この表示部２３には、撮影前にも、撮像部１２で得られた画像が表示されて、構図や撮影タイミングの確認等ができるようになっている。
【００２４】
更に、時計部２４は、撮影画像に撮影時刻が関連付けられるようにするためのものである。通信部２５は、撮影画像に撮影位置が関連付けられて記憶されるようにするために設けられている。こうした画像並びに付随した情報は、通信部２５によって外部に出力することができる。これは、無線では赤外通信や無線ＬＡＮ等、有線でもＵＳＢ等を想定している。
【００２５】
図２は、このようなカメラ１０の使用例とその効果によるイメージを示したものである。
【００２６】
図２に示されるように、撮影者４０である母親が、被写体４１である子供の写真を撮る場合、「止まって」等の声をかけながら撮影することが多い。しかしながら、それほど多くの語彙の言葉が費やされるわけではなく、通常、「止まって」、「こっち見て」とか、名前を呼ぶだけである。したがって、カメラ１０は、そうした言葉に含まれるキーワードを検出することができればよい。
【００２７】
尚、詳細は後述するが、この時に撮影者の声を利用してキーワードを抽出し、テキストを画像に合成して表示、記録すれば、そのときの状態を画像に写し込むことができる。
【００２８】
また、被写体４１が子供である場合、撮影者４０が発した言葉に対して、必ずしも期待される行動を取るとは限らない場合が考えられる。図２に示される例の場合、「止まって」という言葉に対して期待されている行動は「止まる」ことであるが、その言葉に対して尚も止まらずに動くことも考えられる。
【００２９】
こうした場合、被写体４１の状態が「移動」している状態から「停止」した状態に変化すれば、「止まって」という言葉に反応して期待された行動となる「止まった」状態であると判定される。したがって、カメラ１０は、撮影者が被写体に言葉をかけた時の状態と言葉をかけた後の状態を検出して、両者が所定の状態変化と一致したか否かを判定することができればよい。これによって、上記状態変化が一致したときにのみレリーズ操作がなされれば、撮影者が期待した被写体を撮影することが可能となる。
【００３０】
次に、図３のフローチャートを参照して、第１の実施形態に於けるカメラ１０の動作について説明する。
【００３１】
尚、以下に説明するカメラ１０の動作は、主に信号処理及び制御部１１によって行われる。
【００３２】
図３は、本発明の第１の実施形態に於けるカメラ１０の制御動作を説明するためのフローチャートである。
【００３３】
本シーケンスが開始されると、先ず、ステップＳ１に於いて、撮影モードか否かが判定される。ここで、撮影モードである場合はステップＳ２へ移行し、再生モードである場合は後述するステップＳ１６へ移行する。
【００３４】
ステップＳ２では、いわゆるライブビュー用の画像として、撮像部１２からの画像の取り込みが行われる。ここで得られた画像が、続くステップＳ３にて、適正なコントラスト、露出になるように画像処理等が行われる。ここでは、取り込み画像内の動きのある部分や同じ色の部分などを被写体として、動きベクトル等によって該被写体の動きを判定する画像判定のような処理も行われる。
【００３５】
更に、ステップＳ４にて、表示に適切な処理が表示部２３に表示される。そして、ステップＳ５にて、カメラ１０の前方、後方の音声（被写体４１、撮影者４０の音声）が、前方音声収録部１５、後方音声収録部１６で取り込まれて、音声処理部１８を介して記録部２０内に記録される。この音声取り込みは、少なくとも後方音声だけであってもよい。
【００３６】
ステップＳ６では、上記ステップＳ５で取り込まれた後方音声に、音声パターン記録部２０ｂに記録されているもので、後述する図４の対照表と同様のキーワードが入っているか否かが判定される。この判定は、パターン判定部１８ａにて、取り込まれた音声のパターンが、音声パターン記録部２０ａに記録されている音声パターンと比較されることによりなされる。この音声パターンとは、後述する呼びかけの言葉である。この判定でキーワードがある、すなわち該当する呼びかけの言葉があると判定された場合はステップＳ７に移行し、そうでない場合はステップＳ１１に移行する。
【００３７】
ステップＳ７では、キーワード・テキスト化の処理が実行される。
【００３８】
上述したように、被写体が小さい子供のように、なかなか撮影者の意図を汲んでくれないような場合、撮影者は被写体に声をかけながら撮影を行うことが多い。そのような状況下に於いて、被写体が撮影者の意図した通りに行動したとカメラが判定したならば撮影が開始されるようにするというのが、本発明の目的である。
【００３９】
こうした状況下に於ける被写体への呼びかけの言葉というのは、限られたものであり、通常の辞書のような大がかりなデータベースを有したり、詳細な音声認識の機能を有したりする必要はない。
【００４０】
したがって、ここでは、撮影者が被写体に呼びかける代表的な言葉（キーワード）としては、「止まって」、「こっち来て」、「こっち見て」、「笑って」または「チーズ」、「ポーズ」、「寄って」の呼びかけなどで、かなりの範囲をカバーすることができる。これらの言葉は、予め記録部２０内の音声パターン記録部２０ａに記録されている。
【００４１】
尚、これらのキーワードは、その言葉のみに限定されるものではなく、例えば、「○○ちゃん止まって」や「みんな笑って」という、キーワード以外の言葉を含んでいてもよい。
【００４２】
キーワードが、上述したような呼びかけの言葉であった場合は、それぞれの言葉が選択されてテキスト化される。そして、ステップＳ８にて、このテキスト化された言葉が、表示部２３に表示される。尚、このテキスト表示はしなくともよい。
【００４３】
また、上述したキーワードとなる言葉は、例えば、図４の音声に含まれるキーワードと動作の対照表に示されるように、被写体の動作、及び被写体の顔の状態、と参照される。
【００４４】
例えば、キーワードが「止まって」の場合、被写体の動作は「あり」から「なし」に変化したならばこのキーワードに該当する。この場合顔の変化はない。また、キーワードが「こっち見て」の場合は、被写体の動作は「あり」から「なし」に変化し、且つ、顔の状態は顔が「なし（顔が写っていない）」の状態から「あり（顔が写っている）」の状態に変化する。これらの動作の変化パターン等は、記録部２０内の行動データベース２０ｂに記録されている。
【００４５】
ステップＳ９では、このような対照表が参照されて、キーワードに対する画像の変化が、顔検出部１４及び動き判定部１３にて検出されて判定される。すなわち、キーワードに対する、被写体の動作、及び被写体の顔の状態の変化が判定される。その結果、ステップＳ１０に於いて、キーワードに対して、被写体の動作、及び被写体の顔の状態が何れも一致していれば、撮影が可能な状態と判定されてステップＳ１２へ移行する。一方、キーワードに対して、被写体の動作、及び被写体の顔の状態の何れかが一致していなければ、撮影には不適切であると判定されてステップＳ１１へ移行する。
【００４６】
そして、ステップＳ１１に於いては、撮影操作が行われるか否かが操作判定部２２、及び信号処理及び制御部１１によって判定される。ここで、操作判定部２２内のレリーズボタンが操作された場合は、撮影が実行されるとして、ステップＳ１２に移行して撮影処理が行われる。これは、上記ステップＳ１０にて被写体の動作及び顔の状態が図４の対照表と一致していないが、撮影を行うような場合が相当する。例えば、撮影者が被写体に対して何度呼びかけても反応せず、ベストショットではないものの撮影をしておくような場合等が考えられる。
【００４７】
また、上記ステップＳ１０にて被写体の動作及び顔の状態が図４の対照表と一致している場合は、操作判定はされず、ステップＳ１２にて撮影処理が実行される。
【００４８】
次いで、ステップＳ１３では、上記ステップＳ５の音声取り込みの際に、前方音声収録部１５によってカメラ１０より前方の音声があったか否かが判定される。ここで、前方の音声があった場合は、ステップＳ１４に移行して、その言葉がテキスト化される。一方、前方の音声が無い場合は、ステップＳ１４はスキップされる。そして、ステップＳ１５にて、先に得られたテキストと共に記録部２０への画像記録が行われる。尚、ここで記録された前方の音声は、例えば、信号処理及び制御部１１内でテキスト化しておけば、画像の再生時に表示画像と共にテキストとして表示することも可能である。勿論、画像と共にこうしたテキストを記録部２０内に記録するようにしてもよい。こうして、本シーケンスが終了する。
【００４９】
尚、ステップＳ１５にて記録する前に、確認用表示のステップを入れてもよい。
【００５０】
また、ステップＳ８では、撮影しなくてもテキストを表示するようにしてもよい。
【００５１】
一方、上記ステップＳ１５に於いて、撮影が行われない場合は、上記ステップＳ１に移行する。
【００５２】
上記ステップＳ１に於いて撮影モードでない場合は、ステップＳ１６に移行して再生モードであるか否かが判定される。ここで、カメラ操作で再生モードが設定されると、ステップＳ１７に移行して画像の再生が行われる。ここでは、画像をサムネイル表示したり、スライドショー切換えをしたり、日付情報や、本発明の特徴たるテキスト情報によって、検索して見たい画像を鑑賞したりすることもできる。表示部２３に表示される画像とテキストは、テキスト合成部１１ａにて合成される。
【００５３】
外部機器にこの再生の結果を送信したい場合は、ステップＳ１８にてその旨が判定される。ここで、送信する場合はステップＳ１９に移行してその操作が行われ、表示画像の送信がなされる。こうして、本シーケンスが終了する。
【００５４】
上記ステップＳ１８にて送信されない場合は、上記ステップＳ１６に移行する。
【００５５】
また、上記ステップＳ１６にて、再生モードでない場合は、上記ステップＳ１に移行する。
【００５６】
このように、本実施形態のカメラ１０によれば、撮影者の発した言葉通りに被写体が反応したか否かを判定して正しい反応時に写真撮影を行うことができる。
【００５７】
尚、キーワードとなる呼びかけの言葉をテキスト表示する場合に、テキストのフォントや色、大きさなどを変更してもよく、絵文字などを追加できるようにしてもよい。更に、被写体の音声である前方の音声をテキスト化する際に、当該被写体の表情に応じてテキストのフォントや色、大きさなどが決定されてもよく、絵文字などを追加できるようにしてもよい。
【００５８】
また、図４の音声に含まれるキーワードと動作の対照表は、これに限られるものではなく、キーワードを追加できるようにしてもよい。
【００５９】
更に、本実施形態では、被写体が子供の場合を例として説明したが、これに限られるものではない。
【００６０】
（変形例）
上述した第１の実施形態では、撮影者の声を後方音声収録部１６で取り込み、音声のキーワードと被写体との条件が一致したときに撮影が実行されるようにしている。しかしながら、撮影者が実際にカメラを構えていない場合にも、本発明は適用が可能である。
【００６１】
例えば、図５に示されるように、被写体４１となる人物が複数存在し、三脚等を使用してセルフタイマによるカメラ１０の撮影を行う場合等にも適用が可能である。この場合、この場合、例えば撮影者がキーワードである音声の「ポーズ」と呼びかけ、セルフタイマが動作した後に、被写体４１となる撮影者を含む人物が該当する動きをしたときに撮影されるようにする。画像変化判定や動作一致、その他の処理動作は、上述した第１の実施形態と同様であるので説明は省略する。
【００６２】
このようにすれば、セルフタイマを使用した撮影の場合も、撮影者の意図した写真撮影を容易に行うことができる。
【００６３】
更に、セルフタイマを使用しなくとも、同様の撮影を行うことができる。この場合、後方音声収録部１６ではなく、前方音声収録部１５によって呼びかけの音声、例えば「ポーズ」を取り込むようにする。そして、このキーワードに基づいて、図４の対照表を参照すればよい。カメラ前方の音声を取り込む動作以外は、上述した第２の実施形態と同様であるので説明は省略する。
【００６４】
このようにすれば、セルフタイマ等を使用しなくとも、撮影者の意図した写真撮影を行うことができる。
【００６５】
尚、この変形例では、三脚を使用した撮影について説明したが、これに限られるものではなく、ハンズフリーの状態で撮影を行う場合等にも適用が可能である。
【００６６】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００６７】
上述した第１の実施形態では撮影者が被写体に対してキーワードとなる言葉を発し、該キーワードに対応した動きであれば撮影するものであった。これに対し、第２の実施形態では、撮影者に代わってカメラから被写体に対してキーワードとなる言葉を発し、該キーワードに対応した動きであれば撮影するようにする。
【００６８】
図６は、本発明の撮像装置の第２の実施形態に係るカメラの概略構成を示したブロック図である。
【００６９】
尚、以下に述べる第２の実施形態に於いて、カメラの基本的な構成及び動作は、図１乃至図５に示された第１の実施形態と同様であるので、異なる構成及び動作についてのみ説明し、その他の同一の部分には同一の参照番号を付して、その図示及び説明は省略する。
【００７０】
図６に於いて、本発明の第２の実施形態に係るカメラ１０1 は、信号処理及び制御部１１1 と、撮像部１２と、動き判定部１３と、顔検出部１４と、前方音声収録部１５と、後方音声収録部１６と、音声処理部１８1 と、記録部２０1 と、操作判定部２２と、表示部２３と、時計部２４と、通信部２５と、スピーカ３１と、後方撮像部３２と、を有して構成される。
【００７１】
上記信号処理及び制御部１１は、テキスト合成部１１ａと、後述するかけ声データベース２０ｃより読出されるかけ声（呼びかけの声）を検索するためのかけ声検索部１１ｂと、を有している。音声処理部１８は、パターン判定部１８ａと、後述するかけ声データベース２０ｃより読み出されたかけ声を再生するためのかけ声再生部１８ｂと、を有して構成される。
【００７２】
また、記録部２０は、音声パターン記録部２０ａと、行動データベース（ＤＢ）２０ｂと、予めカメラ１０1 内に記録されているかけ声のデータベースであるかけ声データベース（ＤＢ）２０ｃ等を有している。このかけ声データベース２０ｃに記録されているかけ声の例としては、撮影者自身の声、撮影者以外の声、或いは電子的に作成された声等である。
【００７３】
前記スピーカ３１は、前記かけ声再生部１８ｂによって再生されたかけ声を、カメラ１０1 外部に出力するためのものである。かけ声再生部１８ｂで再生されるかけ声は、前記かけ声データベース２０ｃに記録されているかけ声の中から、かけ声検索部１１ｂによって検索されたものが該当する。
【００７４】
更に、後方撮像部３２は、カメラ１０1 の後方に設けられているもので、撮影者の表情を撮影するためのものである。この後方撮像部３２で撮影された撮影者の表情に基づいて、撮影者の意図した画像になっているか否かを判定することができる。
【００７５】
次に、図７のフローチャートを参照して、第２の実施形態に於けるカメラ１０1 の動作について説明する。
【００７６】
尚、以下に説明するカメラ１０1 の動作は、主に信号処理及び制御部１１によって行われる。
【００７７】
図７は、本発明の第２の実施形態に於けるカメラ１０1 の制御動作を説明するためのフローチャートである。
【００７８】
また、この図７のフローチャートのステップＳ２１〜Ｓ２５、及びステップＳ３８〜Ｓ４６の処理動作は、上述した図３のフローチャートのステップＳ１〜Ｓ５、及びステップＳ１１〜Ｓ１９と同様の動作であるので、対応するステップ番号を参照してここでの説明は省略する。
【００７９】
本シーケンスが開始されると、先ず、ステップＳ２１に於いて、撮影モードか否かが判定される。ここで、撮影モードである場合はステップＳ２２へ移行し、再生モードである場合はステップＳ４３へ移行し、ステップＳ４３〜Ｓ４６にて再生処理が実行される。
【００８０】
撮影モードの場合は、ステップＳ２２〜Ｓ２５に於いて、いわゆるライブビュー用の画像の取り込みと、前方及び後方の音声取り込みが行われる。
【００８１】
そして、ステップＳ２６に於いて、上記ステップＳ２５で取り込まれた後方音声に、かけ声データベース２０ｃに記録されているもので、後述する図８の対照表と同様のキーワードが入っているか否かが判定される。すなわち、取り込まれた音声のパターンに対して、かけ声検索部１１ｂによってかけ声データベース２０ｃに記録されている音声パターンが比較されることにより、パターン判定部１８ａで判定される。この判定でキーワードがあるとされた場合はステップＳ２７に移行し、そうでない場合はステップＳ３８に移行する。
【００８２】
ステップＳ２７では、音声変換の有無が判定される。例えば、撮影者が内向的な性格の人物の場合は、音声を変換して出力するようにする。そのため、カメラ１０1 の操作判定部２２内に音声変換モード用のスイッチを設けて、このスイッチのオン、オフに従って音声変換の有無を判定するようにする。音声変換がある場合はステップＳ２８に移行し、無い場合はステップＳ３８に移行する。
【００８３】
尚、この音声変換の有無は、上述したスイッチのオン、オフに限定されるものではない。例えば、予め撮影者の顔が、音声変換の要、不要の情報と共に記録部２０1 内に記録されていて、後方撮像部３２により撮影された撮影者の顔が、音声変換の要、不要の何れに属しているかで切り替えを判定するようにしてもよい。また、かけ声の大きさを判定して、音声変換が必要か、不要かを切り替えるようにしてもよい。このような場合、上記ステップＳ２５の音声取り込み時に音声変換の有無を判定するようにしてもよい。
【００８４】
次いで、ステップＳ２８では、キーワードから再生される音声が選択される。
【００８５】
上述したように、被写体がなかなか撮影者の意図を汲んでくれないような場合、撮影者は被写体に声をかけながら撮影を行うことが多い。そして、例えば撮影者が内向的な性格の人物の場合は、声を変換して発生するようにする。
【００８６】
こうした状況下に於ける被写体への呼びかけの音声というのは、限られたものであり、通常の辞書のような大がかりなデータベースを有したり、詳細な音声認識の機能を有したりする必要はない。
【００８７】
したがって、ここでは、撮影者が被写体に呼びかける代表的な再生音声として、上述した第１の実施形態と同様に、「止まって」、「こっち来て」、「こっち見て」、「笑って」または「チーズ」、「ポーズ」、「寄って」の呼びかけなどで、かなりの範囲をカバーすることができる。これらの再生音声は、記録部２０内のかけ声データベース２０ｃに記録されている。
【００８８】
上記キーワードとなる言葉は、例えば、図８の音声に含まれるキーワードと再生音声の対照表に示されるように、変換される。例えば、キーワードが「止まって」の場合、再生音声は「止まって下さい」に変換される。また、キーワードが「ポーズ」の場合は、再生音声は「ポーズを取って下さい」に変換される。
【００８９】
キーワードが、上述したような再生音声であった場合は、ステップＳ２９に移行して、それぞれのキーワードの音声が選択されてテキスト化される。
【００９０】
次に、ステップＳ３０に於いて、被写体が子供であるか否かが判定される。この判定には、例えば顔検出部１４による検出結果や、被写体の顔と体の比率、大きさ等から行われる。また、予め子供の顔を記録部２０1 内の図示されない画像記録部に登録しておき、この登録画像と比較して判定するようにしてもよい。ここで、被写体が子供である場合はステップＳ３１に移行し、そうでない場合はステップＳ３１がスキップされる。ステップＳ３１では、上記ステップＳ２８でキーワードから選択された変換後の音声が、かけ声再生部１８ｂによって再生される。
【００９１】
つまり、これらのステップＳ３０〜Ｓ３１では、被写体が子供以外の場合に、例えば撮影者が内向的な性格の人物である場合、撮影者に代わってカメラ１０1 に記録されている音声によって、被写体にかけ声がかけられるようになっている。
【００９２】
次いで、ステップＳ３２では、図８に示されるような対照表が参照されて、キーワードに対する画像の変化が判定される。すなわち、キーワードに対して、被写体の動作の変化が判定される。その結果、ステップＳ３３に於いて、キーワードに対して被写体の動作が一致していれば、撮影が可能な状態と判定されてステップＳ３９へ移行する。一方、キーワードに対して、被写体の動作が一致していなければステップＳ３４へ移行する。尚、この被写体の動作が一致したか否かは、上述した第１の実施形態の図４の対照表に基いて行われるが、それ以外の判定によるものであってもよい。
【００９３】
ステップＳ３４では、後方撮像部（後方カメラ）３２によって撮影された撮影者の表情が判定される。この判定は、顔検出部１４で検出された顔に基づいて判定される。ここで、撮影者の表情が笑顔であれば、キーワードに対する被写体の動作が一致していなくとも撮影が可能であると判定される。この場合、ステップＳ３９に移行する。一方、上記ステップＳ３４にて撮影者の表情が笑顔でないと判定された場合は、ステップＳ３５に移行する。
【００９４】
ステップＳ３５では、再び上記ステップＳ２８でキーワードから選択された変換後の音声が、かけ声再生部１８ｂによって再生される。但し、ここで再生される音声は、上記ステップＳ３１で再生された音声とは異なる声である。例えば、ステップＳ３１で再生された音声よりも高い音声や、撮影者以外の第３者の音声等である。ここでは、これらの音声変換を拡大再生音声と称するものとする。
【００９５】
これは、被写体に対して呼びかけをしても撮影者の意図した状態にならない場合、撮影者の表情を見て（笑顔であるか否か）、被写体の注意を引くような異なる音声で呼びかけるようにしたものである。例えば、被写体が子供であった場合でも、２回目の呼びかけには拡大再生音声により異なる音声によって注意を引くことができる。
【００９６】
そして、続くステップＳ３６では、再び図８に示されるような対照表が参照されて、キーワードに対する画像の変化が判定される。すなわち、キーワードに対して、被写体の動作の変化が判定される。その結果、ステップＳ３７に於いて、キーワードに対して被写体の動作が一致していれば、撮影が可能な状態と判定されてステップＳ３９へ移行する。一方、キーワードに対して、被写体の動作が一致していなければ、撮影には不適切であると判定されてステップＳ３８へ移行する。
【００９７】
ステップＳ３８に於いては、撮影操作が行われるか否かが操作判定部２２によって判定される。ここで、操作判定部２２内のレリーズボタンが操作された場合は、撮影が実行されるとして、ステップＳ３９に移行して撮影処理が行われる。これは、上記ステップＳ３３またはＳ３７にて被写体の動作が図８の対照表と一致していないが、撮影を行うような場合が相当する。
【００９８】
また、上記ステップＳ３３またはＳ３７にて被写体の動作が図８の対照表と一致している場合は、操作判定はされず、ステップＳ３９にて撮影処理が実行される。このステップＳ３９〜Ｓ４２の動作、及び再生モードのステップＳ４３〜Ｓ４６の動作は、上述した第１の実施形態と同様である。
【００９９】
尚、ステップＳ４２にて記録する前に、確認用表示のステップを入れてもよい。
【０１００】
このように、第２の実施形態のカメラ１０1 によれば、撮影者の発した言葉通りに被写体が反応したか否かを判定して正しい反応時に写真撮影を行うことができる。
【０１０１】
また、撮影者の呼びかけの声（かけ声）がキーワードとして検索されるので、このときのかけ声をテキストとして写真と一緒に記録することも可能である。このようにすれば、想い出の写真の補助として使用することができる。
【０１０２】
尚、キーワードとなる呼びかけの言葉をテキスト表示する場合に、テキストのフォントや色、大きさなどを変更してもよく、絵文字などを追加できるようにしてもよい。更に、被写体の音声である前方の音声をテキスト化する際に、当該被写体の表情に応じてテキストのフォントや色、大きさなどが決定されてもよく、絵文字などを追加できるようにしてもよい。
【０１０３】
また、図８の再生音声に含まれるキーワードと動作の対照表は、これに限られるものではなく、キーワードを追加できるようにしてもよい。
【０１０４】
また、上述した第１及び第２の実施形態では、撮像装置をカメラに適用した例について説明したが、これに限られるものではない。例えば、携帯電話機等、カメラ以外に適用してもよい。
【０１０５】
更に、本発明は静止画だけに限られず動画に於いても適用可能である。
【０１０６】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態以外にも、本発明の要旨を逸脱しない範囲で種々の変形実施が可能である。
【０１０７】
更に、上述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【産業上の利用可能性】
【０１０８】
本発明によれば、撮影者の発した言葉通りに被写体が反応したか否かを判定して正しい反応時に動作する撮像装置及びカメラが得られる。
【符号の説明】
【０１０９】
１０、１０1 …カメラ、１１…信号処理及び制御部、１１ａ…テキスト合成部、１１ｂ…テキスト合成部、１１ｂ…かけ声検索部、１２…撮像部、１３…動き判定部、１４…顔検出部、１５…前方音声収録部、１６…後方音声収録部、１８、１８1 …音声処理部、１８ａ…パターン判定部、１８ｂ…かけ声再生部、２０、２０1 …記録部、２０ａ…音声パターン記録部、２０ｂ…行動データベース（ＤＢ）、２０ｃ…かけ声データベース（ＤＢ）、２２…操作判定部、２３…表示部、２４…時計部、２５…通信部、３１…スピーカ、３２…後方撮像部、４０…撮影者、４１…被写体。
【図１】
2010219692.tif 000003
【図２】
2010219692.tif 000004
【図３】
2010219692.tif 000005
【図４】
2010219692.tif 000006
【図５】
2010219692.tif 000007
【図６】
2010219692.tif 000008
【図７】
2010219692.tif 000009
【図８】
2010219692.tif 000010