(57)【要約】【課題】被写体と撮影者の間のコミュニケーションによる感情の動きを検知することが可能となり、感情変化の評価値を利用することで画像の検索や動画のチャプタージャンプを容易にすることが可能となる撮像装置を提供すること。【解決手段】被写体を撮像して映像信号を得る第１の撮像手段と、第１の撮像手段と独立した第２の撮像手段と、音声を録音するための録音手段を備え、さらに、前記第１及び第２の撮像手段で得られた映像信号から表情を評価する表情評価手段と、前記第１及び第２の撮像手段で得られた映像信号から視線を評価する視線評価手段と、前記録音手段から得られた音声信号を用いて音声を評価する音声評価手段を備え、前記表情評価手段による表情評価値と前記表情評価手段による表情評価値と前記音声評価手段による音声評価値の少なくともいずれかを行って評価値を求め、前記第１の撮像手段における前記評価値と、前記第２の撮像手段における前記評価値の相関に応じて、感情評価値を算出することを特徴とする。【選択図】図１
2016122945.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して映像信号を得る第１の撮像手段と、第１の撮像手段と独立した第２の撮像手段と、音声を録音するための録音手段を備え、
さらに、前記第１及び第２の撮像手段で得られた映像信号から表情を評価する表情評価手段と、前記第１及び第２の撮像手段で得られた映像信号から視線を評価する視線評価手段と、前記録音手段から得られた音声信号を用いて音声を評価する音声評価手段を備え、
前記表情評価手段による表情評価値と前記表情評価手段による表情評価値と前記音声評価手段による音声評価値の少なくともいずれかを行って評価値を求め、
前記第１の撮像手段における前記評価値と、前記第２の撮像手段における前記評価値の相関に応じて、感情評価値を算出することを特徴とする撮像装置。
【請求項２】
前記表情評価手段は、笑顔或いはウィンクの検出を行いさらに時間方向の変化を評価することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記視線評価手段は、前記第１及び第２の撮像手段で得られた映像信号から視線検出をおこなうことで注目する方向或いは箇所を推測することで、前記第１及び第２の撮像手段で撮像している被写体が互いを注目しているか否かを評価することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記音声評価手段は、前記録音手段で得られた音声信号の時間方向の変化を評価することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記第１及び第２の撮像手段による映像信号と、前記表情評価手段による表情評価値を用いて得られた２つの表情評価値の相関が高い場合に前記感情評価値を高くすることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記視線評価手段による視線評価値が高い場合に前記感情評価値を高くすることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記第１及び第２の撮像手段による映像信号と、前記音声評価手段による音声評価値を用いて得られた２つの音声評価値の相関が高い場合に前記感情評価値を高くすることを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記視線評価手段による視線評価において互いが注目しているか否かは、視線が直接合っている場合及び視線が共に撮像装置に合う場合の何れでもよいことを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
【請求項９】
前記視線評価手段による視線評価方法において、視線検出を行って注目する方向或いは箇所を推測する際に撮像装置の姿勢を考慮して視線の評価を行うことを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置。
【請求項１０】
前記感情評価値は、前記撮像装置が記録する映像の付帯情報として付加し、さらに動画のチャプター区切りや圧縮の参考情報として用いることを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記録音手段は少なくとも１つのマイクを備え、さらに前記撮像手段の数に応じた複数のマイクを備えてもよいことを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
被写体と被写体以外（撮影者等）の双方を記録することで撮影時により多くの情報を残すことができるカメラが提案されている。こうしたカメラは、１つのカメラの中に複数の撮像素子等を搭載するものや、複数のカメラを組み合わせて実現するものなどがある。
【０００３】
特許文献１では、複数のカメラを用いて、一方のカメラを人物に向けて人物の視線を検出し、他方のカメラを人物の視線方向に向けることで、人物の注目対象も撮影可能としたカメラについて説明している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２１７２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来、被写体と被写体以外の両方を記録するようなカメラにおいて、特に被写体と撮影者の両方を記録することで、被写体と撮影者の間のコミュニケーションを残すことが可能になっている。
【０００６】
ところが、このようなカメラでは２つの撮像素子を搭載して被写体と撮影者を同時に記録するものの、記録する映像を各々別に保管するために、ある時刻における被写体或いは撮影者の様子がわからないという問題があった。
【０００７】
そこで、被写体及び撮影者の映像を別々に保管するのではなく、２つの映像を画面内で合成することで、被写体及び撮影者の映像を同時に閲覧可能としたカメラや画像処理方法が提案されている。
【０００８】
しかしながら、こうした従来のカメラ及び画像処理方法では、被写体及び撮影者の映像の撮影時刻についてのみ着目し、関連付けを行っているために、肝心の被写体と撮影者の間のコミュニケーションの記録について、十分に考慮されていない面があった。具体的には、被写体及び撮影者の同時刻の映像を単に合成しただけでは、そもそもの目的である被写体と撮影者のコミュニケーションが行われているシーンを探すために、映像をユーザー自身が探さなくてはならない。静止画であれば複数の画像の中から目的の画像を目視で探す必要があり、一方動画であれば再生して目的のシーンまで手動で頭出しをしなければならないという問題があった。
【０００９】
つまり、被写体及び撮影者の映像の中身に注目した映像の保管方法が考慮されていないために、被写体及び撮影者が同時に記録された映像を有効に活用できていないという問題があった。
【００１０】
本発明の目的は、被写体と撮影者の間のコミュニケーションによる感情の動きを検知することが可能となり、感情変化の評価値を利用することで画像の検索や動画のチャプタージャンプを容易にすることが可能となる撮像装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明の撮影装置は、
被写体を撮像して映像信号を得る第１の撮像手段と、第１の撮像手段と独立した第２の撮像手段と、音声を録音するための録音手段を備え、さらに、前記第１及び第２の撮像手段で得られた映像信号から表情を評価する表情評価手段と、前記第１及び第２の撮像手段で得られた映像信号から視線を評価する視線評価手段と、前記録音手段から得られた音声信号を用いて音声を評価する音声評価手段を備え、前記表情評価手段による表情評価値と前記表情評価手段による表情評価値と前記音声評価手段による音声評価値の少なくともいずれかを行って評価値を求め、前記第１の撮像手段における前記評価値と、前記第２の撮像手段における前記評価値の相関に応じて、感情評価値を算出することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、被写体と撮影者の間のコミュニケーションによる感情の動きを検知することが可能となり、感情変化の評価値を利用することで画像の検索や動画のチャプタージャンプを容易にすることが可能となる撮像装置の提供を実現できる。
【図面の簡単な説明】
【００１３】
【図１】本実施の形態における撮像装置のブロック図
【図２】本実施の形態における撮像装置の側面図
【図３】本実施の形態における撮像装置の動作処理フローチャート
【図４】本実施の形態における撮像装置の動作処理フローチャート
【図５】表情評価値と時間の関係を示した図
【図６】音声評価値と時間の関係を示した図
【図７】視線評価値と時間の関係を示した図
【図８】アウトカメラ映像を示した図
【図９】インカメラ映像を示した図
【図１０】アウトカメラ映像とインカメラ映像を合成した映像を示した図
【図１１】注目点一致検出における一例を示した図
【図１２】注目点一致検出における一例を示した図
【図１３】注目点一致検出における一例を示した図
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施例を説明する。
【００１５】
［実施例１］
図１は本発明の実施例の構成を示す図である。図１において、１０１はＣＣＤやＣＭＯＳ等からなる固体撮像素子であり、その表面は例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。ＣＰＵ１１４は画像全体が明るくなるようなシャッター速度、絞り値を計算すると共に、合焦領域内にある被写体に合焦するようにフォーカスレンズの駆動量を計算する。ＣＰＵ１１４で計算された露出値（シャッター速度、絞り値）およびフォーカスレンズの駆動量は制御回路１１３に送られ、各値に基づいてそれぞれ制御される。
【００１６】
１０３はホワイトバランス（ＷＢ）制御部であり、メモリ１０２に記憶された画像信号からの情報に基づいてＷＢ補正値を算出し、算出したＷＢ補正値を用いて、メモリ１０２に記憶された画像信号に対してＷＢ補正を行う。１０４はＷＢ制御部１０３によりＷＢ補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する色マトリックス回路、１０５は色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するローパスフィルタ（ＬＰＦ）回路、１０６はＬＰＦ回路１０５で帯域制限された画像信号の内、飽和部分の偽色信号を抑圧するＣＳＵＰ（Ｃｈｒｏｍａ  Ｓｕｐｒｅｓｓ）回路である。
【００１７】
一方、ＷＢ制御部１０３によりＷＢ補正された画像信号は輝度信号（Ｙ）生成回路１１１にも出力されて輝度信号Ｙが生成され、生成された輝度信号Ｙに対してエッジ強調回路１１２にてエッジ強調処理が施される。
【００１８】
ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路３１２から出力される輝度信号Ｙは、ＲＧＢ変換回路１０７にてＲＧＢ信号に変換され、ガンマ補正回路１０８にて階調補正が施される。その後、色輝度変換回路１０９にてＹＵＶ信号に変換され、さらに圧縮回路１１０にて圧縮されて、外部記録媒体または内部記録媒体に画像信号として記録される。
【００１９】
１１６は固体撮像素子であり、１０１とは別の独立した第２の撮像素子を備える。また、制御回路１１３は、固体撮像素子１０１及び１１６を同時に独立した制御が可能である。１１７はマイクであり、外部の音声を記録するためのデバイスである。固体撮像素子の数に合わせて２つ備えるか、あるいは、ステレオ用の左右チャネルを固体撮像素子１０１と１１６に１チャネルずつ割り当ててもよい。
【００２０】
図２は外観を示す図である。図２は撮像装置を側面から見た図になっており、２０１は撮像装置の本体であり、２０２は固体撮像素子３０１を含むレンズユニットであり、２０３は固体撮像素子１１６を含むレンズユニットである。
【００２１】
本実施例では２０２をアウトカメラ、２０３をインカメラと呼称し、被写体と撮影者の両方を同時に撮影することが可能な構成としている。
【００２２】
図８乃至図１０は映像信号の例を示したものである。図８はアウトカメラの映像を示しており被写体を撮影している。図９はインカメラの映像を示しており撮影者を撮影している。図１０はインカメラとアウトカメラの映像を合成した場合の例であり、アウトカメラの被写体映像を基にして、インカメラの撮影者の映像を縮小して重ねることで、被写体と撮影者の様子を同時に捉えることができる。
【００２３】
図３は感情評価値を求める動作について説明している。Ｓ３０１は表情評価値の取得処理を実行する。固体撮像素子１０１及び１１６から得られた映像信号がメモリ１０２に保存されており、メモリ１０２から２つの映像信号を取り出し、画像処理回路１１５において表情評価値を算出する。画像処理回路１１５において映像信号の中から顔領域を検出し、顔領域を表情検出を行う。表情検出では笑顔とウィンクの評価を行い、笑顔及びウィンクの度合いを表情評価値として記憶する。表情の評価は２つの映像信号夫々について実行し、表情評価値は映像信号と関連付けてメモリ１０２に保存する。
【００２４】
Ｓ３０２は音声評価値の取得処理を実行する。マイク１１７から得られた音声信号がメモリ１０２に保存されており、メモリ１０２から２つの音声信号を取り出し、音の高さを音声評価値とする。音声評価値は、ステップＳ３０１の表情評価値と同様に映像信号と関連付けてメモリ１０２に保存する。Ｓ３０３は視線評価値の取得処理を実行する。視線評価値の取得方法は図４を用いて後述する。
【００２５】
ステップＳ３０４はステップＳ３０１乃至Ｓ３０３の処理において、各評価値が十分蓄積されたか否かをみるステップで、各評価値が十分蓄積されている場合にはステップＳ３０５に進む。
【００２６】
ステップＳ３０５では、評価値の選択をおこなう。表情評価値、音声評価値、視線評価値の各評価値の中から不要な評価値を削除する。メモリ１０２に保存されている２つの映像信号のどちらにおいても顔が検出されていない場合には、表情評価値と視線評価値は使用することができないためメモリ１０２から削除する。一方、メモリ１０２に保存されている音声信号が無音か無音に近い雑音しか記録されていない場合や、信号飽和レベル付近の大きな音ばかりが記録されているような場合は、音声評価値の信頼性は極めて低いためにメモリ１０２から音声評価値を削除する。こうして不要な評価値を削除したのち、次のステップに進む。
【００２７】
ステップＳ３０６では、Ｓ３０５において表情評価値を削除しなかった場合にはＳ３０７に進む。続くステップＳ３０７では、表情評価値の相関を求める処理を実行する。図５は表情評価値と時間の関係を示したものである。横軸が時間、縦軸が表情評価値の度合いを表しており、表情評価値が高い場合には笑顔或いはウィンクの表情変化が強く発生したことを示している。実線はアウトカメラによる被写体の表情変化、点線はインカメラによる撮影者の表情変化を示している。ここで、被写体の表情変化のピークと、撮影者の表情変化のピークに着目し、図中においてＴで示したピークからピークの期間は被写体と撮影者の表情変化が最も強く起こった期間であると言える。従って、Ｔで示した期間における表情評価値には相関があったとして、映像信号と関連付けて保存している表情評価値について、相関がある旨のフラグを付与する。
【００２８】
続いてステップＳ３０８では、Ｓ３０５において音声評価値を削除しなかった場合にＳ３０９に進む。ステップＳ３０９では、音声評価値の相関を求める処理を実行する。図６は音声評価値と時間の関係を示したものである。横軸は時間、縦軸は音声評価値すなわち音の高さを示している。実線は被写体の音の変化を、点線は撮影者の音の変化を示している。ここでもＳ３０７同様に、音の変化のピークに着目し、ピークからピークの期間は被写体と撮影者の間に強い相関があったとみなすことができる。従って、映像信号と関連付けて保存している音声評価値について、相関がある旨のフラグを付与して次のステップに進む。
【００２９】
ステップＳ３１０では、視線評価値の相関を求める。Ｓ３０３で求めた視線評価値は図７に示すように、注目点が一致しているか否かであるため、２値で示される。従って、注目点が一致している場合には相関があるため、映像信号と関連付けて保存している視線評価値について、相関がある旨のフラグを付与して次のステップに進む。
【００３０】
ステップＳ３１１は、これまでのステップで得た表情及び音声及び視線の相関に基づき、感情評価値を求める。ここでは一例として、表情の相関と、音声の相関と、視線の相関を加算することで感情評価値とする。すなわち、相関フラグを１として、表情及び音声及び視線に夫々相関がみられた場合には３点として、感情評価値を求めることができる。もちろん単純加算以外の様々な方法を用いてもよく、３つの相関値を乗算して求める方法や、視線など特定の評価に重みを持たせる方法などもある。ここで求めた感情評価値をメモリ１０２に映像信号と関連付けて保存して、感情評価値の生成処理を終了する。
【００３１】
図４は図３のステップＳ３０３における視線評価値の取得処理の詳細を説明するフローチャートである。視線評価値は図７で示したように被写体と撮影者の注目点が一致しているかどうかを検出する処理によって求める。
【００３２】
ステップＳ４０１及び４０３では、アウトカメラすなわち固体撮像素子１０１及びインカメラすなわち固体撮像素子１１６において人物が検出されたかどうか判定するもので、人物が検出されない場合はＳ４１０に進んで注目点は不一致であると判定して終了する。
【００３３】
ステップＳ４０２及び４０４では、アウトカメラ及びインカメラにおいて検出した人物の顔画像を取得する。顔画像はメモリ１０２に保存する。
【００３４】
ステップＳ４０５では、Ｓ４０２及びＳ４０４で取得した顔画像から瞳の位置を検出する。顔画像を画像処理回路１１５に入力し、眼の中における瞳の位置を検出する。検出した瞳位置は、顔画像と共にメモリ１０２に保存する。
【００３５】
ステップＳ４０６は、Ｓ４０５で検出した瞳位置を基にアウトカメラ及びインカメラの画像がどちらもカメラ目線であるか判定し、両者ともにカメラ目線である場合には、カメラ上で注目点が一致するため、Ｓ４１１に進んで注目点一致として終了する。ここで、注目点がカメラ上で一致する様子を示したのが図１１である。図１１では、被写体と撮影者が共にカメラレンズに注目しており、カメラ上が注目点の一致ポイントとなる。
【００３６】
ステップＳ４０７では、アウトカメラ或いはインカメラのどちらかの画像がカメラ目線である場合の判定であり、どちらか一方だけがカメラ目線ということは注目点は一致しないため、Ｓ４１１に進んで注目点不一致として終了する。これを図で示したのが図１３である。
【００３７】
図１３では撮影者がカメラ目線でありカメラレンズを通して被写体を見ているのに対し、被写体の注目点は上方に向いているため、両者の目線は一致していないと推測することができる。
【００３８】
ステップＳ４０９は、カメラ目線以外で注目点の一致を検出する処理である。カメラ目線以外で注目点の一致を示したのが図１２である。図１２では、被写体はカメラ目線でなく上方を見ており、一方の撮影者もカメラ目線でなく下方を見ている様子を示している。このように被写体と撮影者が共にカメラ目線ではないが、カメラを中心に被写体が見ている方向と撮影者が見ている方向が一致するため、注目点が一致するものと推測する。注目点が一致すると推測した場合にはＳ４１１に進み、一致しない場合にはＳ４１０に進む。
【００３９】
Ｓ４１０は注目点が一致しない場合の処理であり、視線評価値は注目点が一致しない場合には相関が無いとし、映像信号と関連付けて保存している視線評価値について、相関が無い旨のフラグを付与して終了する。
【００４０】
Ｓ４１１は注目点が一致する場合の処理であり、視線評価値は注目点が一致している場合には相関があるため、映像信号と関連付けて保存している視線評価値について、相関がある旨のフラグを付与して終了する。
【００４１】
以上、表情評価値と音声評価値と視線評価値を用いて感情評価値を求める方法について説明した。
【００４２】
このように本発明によれば、被写体と撮影者の両方を記録するようなカメラにおいて、被写体と撮影者の間のコミュニケーションによる感情の動きを検知することが可能となる。感情変化の評価値を利用することで画像の検索や動画のチャプタージャンプを容易にすることが可能となる。
【００４３】
なお、本実施例の説明に於いては、感情評価値の算出にあたっては表情評価値と音声評価値と視線評価値の各評価値における被写体と撮影者の相関を求めて単純加算としていたが、表情評価値を基本の感情評価値としながら、視線評価値によってゲインを適用するような方法も可能である。つまり、表情評価値と音声評価値と視線評価値の３つの評価値の少なくともいずれか１つを用いて感情評価値を生成することが可能であるため、１種類の評価値しか得られないような場合であっても適用可能である。
【００４４】
また、本実施例の説明では音声評価値は被写体と撮影者に夫々独立した音声評価値が得られる場合について説明したが、１つのステレオマイクを備え、ＬＲのチャネルを被写体と撮影者に夫々振り分ける方法や、１つのマイクを時分割で用いる方法や外部接続でマイクを増設する方法なども適用可能である。或いは、１つだけマイクを備え、単一の音声評価値の傾きが大きい場合に被写体と撮影者の相関があるとみなす方法を採用することも可能である。
【００４５】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００４６】
本明細書では、デジタルスチルカメラに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。例えば、携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｔａｎｔ）、あるいはその他のカメラ機能を備えた様々な情報機器に対して本発明を同様に適用することが出来る。
【００４７】
また、本明細書では、笑顔シャッター機能において笑顔の誤判定を減らすためにオートフォーカス処理と連動して制御する方法についてのみ説明したが、勿論、笑顔のシーンで自動的に動画中静止画を撮影する笑顔スチルインムービー機能や、或いは笑顔のシーンにチャプター（しおり）を付加する笑顔チャプター機能など、笑顔検出制御とオートフォーカス制御を並行して動作させる場合において同様に適用することが可能である。
【００４８】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を斟酌するべきである。
【符号の説明】
【００４９】
１０１  固体撮像素子、１０２  メモリ、１０３  ＷＢ回路、
１０４  色変換ＭＴＸ回路、１０５  ＬＰＦ回路、１０６  ＣＳＵＰ回路、
１０７  ＲＧＢ変換回路、１０８  ガンマ補正回路、１０９  色輝度変換回路、
１１０  圧縮回路、１１１  Ｙ生成回路、１１２  エッジ強調回路、１１３  制御回路、
１１４  ＣＰＵ、１１５  画像処理回路、１１６  固体撮像素子、１１７  マイク
【図１】
2016122945.tif 000003
【図２】
2016122945.tif 000004
【図３】
2016122945.tif 000005
【図４】
2016122945.tif 000006
【図５】
2016122945.tif 000007
【図６】
2016122945.tif 000008
【図７】
2016122945.tif 000009
【図８】
2016122945.tif 000010
【図９】
2016122945.tif 000011
【図１０】
2016122945.tif 000012
【図１１】
2016122945.tif 000013
【図１２】
2016122945.tif 000014
【図１３】
2016122945.tif 000015