(57)【要約】  カメラによる瞬きおよび逸視回避の方法は、カメラシャッターを作動させるための入力を受信することに応答して、被写体の逸視、および／あるいは被写体の１つまたは複数の閉眼を検出することを含む。本方法はまた、被写体の視線方向がカメラの中央に置かれたとき、および／または被写体の両目が開いているときに被写体の画像をキャプチャするために、カメラシャッターの作動を将来の推定時間期間にスケジューリングすることを含む。
2017517165.tif 000002
【特許請求の範囲】
【請求項１】
カメラによる瞬きおよび逸視回避の方法であって、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼を検出することと、
前記被写体の視線方向が前記カメラの中央に置かれたとき、および／または前記被写体の両目が開いているときに前記被写体の画像をキャプチャするために、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングすることと、
を備える、方法。
【請求項２】
前記検出することが、
前記被写体の顔の位置を決定することと、
前記顔の位置を決定することに応答して、前記被写体の少なくとも１つの虹彩を検出することと、
前記顔の位置と前記少なくともオン虹彩とに少なくとも部分的に基づいて、前記被写体の前記視線方向を決定することと、
前記被写体の少なくとも前記視線方向が前記カメラの中央に置かれている、および／または前記被写体の両目が開いている前記将来の時間期間を推定することと、
を備える、請求項１に記載の方法。
【請求項３】
前記将来の推定時間期間の間に前記被写体の少なくとも１つの閉眼が検出されたときに、前記将来の推定時間期間の間にあらかじめ定められた時間の期間にわたって前記カメラシャッターの前記作動を遅延させることをさらに備える、請求項２に記載の方法。
【請求項４】
前記あらかじめ定められた時間の期間が平均瞬き長よりも長い、請求項３に記載の方法。
【請求項５】
前記検出することが、
前記被写体の顔の動きが検出されたときに、前記被写体の顔認識と虹彩検出とを起動することと、
前記顔の動きが、前記検出された顔の動きの速度と方向とに従って、前記被写体の前記視線方向を前記カメラの中央に置く前記将来の時間期間を推定することと、
前記将来の推定時間期間の間に、前記カメラシャッターを作動させる前に、前記被写体の前記視線方向が前記カメラの中央に置かれていること、および／または前記被写体の両目が開いていることを確認するために前記顔認識と前記虹彩検出とを起動することと
を備える、請求項１に記載の方法。
【請求項６】
前記入力が、前記将来の時間期間の開始を示すタイマであり、顔認識が、前記被写体の前記視線方向が前記カメラの中央に置かれていると確認する、および／または虹彩検出が前記被写体の両目が開いていると確認するときに前記カメラシャッターを作動させることをさらに備える、請求項１に記載の方法。
【請求項７】
瞬きおよび逸視回避のために構成された装置であって、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサが、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼を検出して、
前記被写体の視線方向がカメラの中央に置かれたとき、および／または前記被写体の両目が開いているときに前記被写体の画像をキャプチャするために、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングする
ように構成される、装置。
【請求項８】
前記少なくとも１つのプロセッサが、
前記被写体の顔の位置を決定して、
前記顔の位置を決定することに応答して、前記被写体の少なくとも１つの虹彩を検出して、
前記顔の位置と前記少なくともオン虹彩とに少なくとも部分的に基づいて、前記被写体の前記視線方向を決定して、
前記被写体の少なくとも前記視線方向が前記カメラの中央に置かれている、および／または前記被写体の両目が開いている前記将来の時間期間を推定する
ようにさらに構成される、請求項７に記載の装置。
【請求項９】
前記少なくとも１つのプロセッサが、前記将来の推定時間期間の間に前記被写体の少なくとも１つの閉眼が検出されたときに、前記将来の推定時間期間の間にあらかじめ定められた時間の期間にわたって前記カメラシャッターの前記作動を遅延させるようにさらに構成される、請求項７に記載の装置。
【請求項１０】
前記あらかじめ定められた時間の期間が平均瞬き長よりも長い、請求項９に記載の装置。
【請求項１１】
前記少なくとも１つのプロセッサが、
前記被写体の顔の動きが検出されたときに、前記被写体の顔認識と虹彩検出とを起動して、
前記顔の動きが、前記検出された顔の動きの速度と方向とに従って、前記被写体の前記視線方向をカメラの中央に置く前記将来の時間期間を推定して、
前記将来の推定時間期間の間に、前記カメラシャッターを作動させる前に、前記被写体の前記視線方向が前記カメラの中央に置かれていること、および／または前記被写体の両目が開いていることを確認するために前記顔認識と前記虹彩検出とを起動する
ようにさらに構成される、請求項７に記載の装置。
【請求項１２】
前記入力が、前記将来の時間期間の開始を示すタイマであり、
前記少なくとも１つのプロセッサが、顔認識が、前記被写体の前記視線方向がカメラの中央に置かれていると確認する、および／または虹彩検出が前記被写体の両目が開いていると確認するときに前記カメラシャッターを作動させるようにさらに構成される、請求項７に記載の装置。
【請求項１３】
瞬きおよび逸視回避のために構成された装置であって、前記装置が備え、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼を検出するための手段と、
前記被写体の視線方向がカメラの中央に置かれたとき、および／または前記被写体の両目が開いているときに前記被写体の画像をキャプチャするために、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングするための手段と
を備える、装置。
【請求項１４】
瞬きおよび逸視回避のためのコンピュータプログラム製品であって、
プログラムコードを記録した非一時的コンピュータ可読媒体のためのコードを備えるコンピュータ可読媒体を備え、前記プログラムコードがプロセッサによって実行され、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼を検出するためのプログラムコードと、
前記被写体の視線方向がカメラの中央に置かれたとき、および／または前記被写体の両目が開いているときに前記被写体の画像をキャプチャするために、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングするためのプログラムコードと
を備える、コンピュータプログラム製品。
【請求項１５】
カメラによる瞬きおよび逸視回避の方法であって、
前記カメラシャッターを作動させるための入力を受信した後、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼が検出されたときに、画像のバーストをキャプチャするためにカメラのシャッターを作動させることと、
前記被写体の視線方向が前記カメラの中央に置かれ、および／または前記被写体の両目が開いている画像の前記バーストから少なくとも１つの画像を記憶することと、
を備える、方法。
【請求項１６】
前記被写体の前記視線方向が前記カメラの中央に置かれたとき、および／または前記被写体の両目が開いているときに、前記被写体の画像をキャプチャして記憶するために前記カメラシャッターを作動させることをさらに備える、請求項１５に記載の方法。
【請求項１７】
前記逸視および／または前記少なくとも１つの閉眼を有する画像の前記バーストから各画像を削除することをさらに備える、請求項１５に記載の方法。
【請求項１８】
瞬きおよび逸視回避のために構成された装置であって、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサが、
前記カメラシャッターを作動させるための入力を受信した後、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼が検出されたときに、画像のバーストをキャプチャするためにカメラのシャッターを作動させて、
前記被写体の視線方向がカメラの中央に置かれ、および／または前記被写体の両目が開いている画像の前記バーストから少なくとも１つの画像を記憶する
ように構成される、装置。
【請求項１９】
前記少なくとも１つのプロセッサが、前記被写体の前記視線方向が前記カメラの中央に置かれたとき、および／または前記被写体の両目が開いているときに、前記被写体の画像をキャプチャして記憶するために前記カメラシャッターを作動させるようにさらに構成される、請求項１８に記載の装置。
【請求項２０】
前記少なくとも１つのプロセッサが、前記逸視および／または前記少なくとも１つの閉眼を有する画像の前記バーストから各画像を削除するようにさらに構成される、請求項１８に記載の装置。
【請求項２１】
瞬きおよび逸視回避のために構成された装置であって、前記装置が備え、
前記カメラシャッターを作動させるための入力を受信した後、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼が検出されたときに、画像のバーストをキャプチャするためにカメラのシャッターを作動させるための手段と、
前記被写体の視線方向がカメラの中央に置かれ、および／または前記被写体の両目が開いている画像の前記バーストから少なくとも１つの画像を記憶するための手段と
を備える、装置。
【請求項２２】
瞬きおよび逸視回避のためのコンピュータプログラム製品であって、
プログラムコードを記録した非一時的コンピュータ可読媒体のためのコードを備えるコンピュータ可読媒体を備え、前記プログラムコードがプロセッサによって実行され、
前記カメラシャッターを作動させるための入力を受信した後、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼が検出されたときに、画像のバーストをキャプチャするためにカメラのシャッターを作動させるためのプログラムコードと、
前記被写体の視線方向がカメラの中央に置かれ、および／または前記被写体の両目が開いている画像の前記バーストから少なくとも１つの画像を記憶するためのプログラムコードと
を備える、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
[0001]本出願は、２０１４年３月１０日に出願された「ＢＬＩＮＫ  ＡＮＤ  ＡＶＥＲＴＥＤ  ＧＡＺＥ  ＡＶＯＩＤＡＮＣＥ  ＩＮ  ＰＨＯＴＯＧＲＡＰＨＩＣ  ＩＭＡＧＥＳ」と題する米国仮特許出願第６１／９５０，６４１号の利益を主張し、その開示は、参照によりその全体が本明細書に明示的に組み込まれる。
【０００２】
[0002]本開示のいくつかの態様は、一般にニューラルシステムエンジニアリングに関し、より詳細には、写真画像内の瞬き(blink)および逸視回避(averted gaze avoidance)のためのシステムおよび方法に関する。
【背景技術】
【０００３】
[0003]人工ニューロン（すなわち、ニューロンモデル）の相互結合されたグループを備え得る人工ニューラルネットワークは、計算デバイスであるか、または計算デバイスによって実行される方法を表す。人工ニューラルネットワークは、生物学的ニューラルネットワークにおける対応する構造および／または機能を有し得る。しかしながら、人工ニューラルネットワークは、従来の計算技法が厄介、実行不可能または不適切であるいくつかの適用例に革新的で有用な計算技法を提供することができる。人工ニューラルネットワークは観測から関数を推測することができるので、そのようなネットワークは、タスクまたはデータの複雑さが従来の技法による関数の設計を煩わしくする用途において、特に有用である。
【０００４】
[0004]場合によっては、写真は、瞬きをしている、および／またはカメラを見ていない被写体を含み得る。したがって、各被写体がカメラを見ており、また瞬きをしていない画像をキャプチャすることが望ましい。それでも、画像が個人の大きなグループ、注意散漫な個人、幼児、および／または積極的にカメラを避けている個人を含む場合、所望の画像をキャプチャすることは困難であり得る。ニューラルネットワーキング技法は、これらの問題に対処するために用いられ得る。
【発明の概要】
【０００５】
[0005]本開示の一態様では、カメラによる瞬きおよび逸視回避の方法が開示される。本方法は、カメラシャッターを作動させるための入力を受信することに応答して、被写体の逸視、および／あるいは被写体の１つまたは複数の閉眼(closed eyes)を検出することを含む。本方法はまた、被写体の視線方向がカメラの中央に置かれたとき、および／または被写体の両目が開いているときに被写体の画像をキャプチャするために、カメラシャッターの作動を将来の推定時間期間にスケジューリングすることを含む。
【０００６】
[0006]本開示の別の態様は、カメラシャッターを作動させるための入力を受信することに応答して、被写体の逸視、および／あるいは被写体の１つまたは複数の閉眼を検出するための手段を含む装置を対象とする。本装置はまた、被写体の視線方向がカメラの中央に置かれたとき、および／または被写体の両目が開いているときに被写体の画像をキャプチャするために、カメラシャッターの作動を将来の推定時間期間にスケジューリングするための手段を含む。
【０００７】
[0007]本開示の別の態様では、カメラによる瞬きおよび逸視回避のためのコンピュータプログラム製品が開示される。本コンピュータプログラム製品は、非一時的プログラムコードを記録した非一時的コンピュータ可読媒体を有する。本プログラムコードは、カメラシャッターを作動させるための入力を受信することに応答して、被写体の逸視、および／あるいは被写体の１つまたは複数の閉眼を検出するためのプログラムコードを含む。本プログラムコードはまた、被写体の視線方向がカメラの中央に置かれたとき、および／または被写体の両目が開いているときに被写体の画像をキャプチャするために、カメラシャッターの作動を将来の推定時間期間にスケジューリングするためのプログラムコードを含む。
【０００８】
[0008]本開示の別の態様は、メモリと、メモリに結合された１つまたは複数のプロセッサとを有する、瞬きおよび逸視回避のために構成された装置を対象とする。本プロセッサは、カメラシャッターを作動させるための入力を受信することに応答して、被写体の逸視、および／あるいは被写体の１つまたは複数の閉眼を検出するように構成される。本プロセッサはまた、被写体の視線方向がカメラの中央に置かれたとき、および／または被写体の両目が開いているときに被写体の画像をキャプチャするために、カメラシャッターの作動を将来の推定時間期間にスケジューリングするように構成される。
【０００９】
[0009]本開示の一態様では、カメラによる瞬きおよび逸視回避の方法が開示される。本方法は、カメラシャッターを作動させるための入力を受信した後、被写体の逸視、および／あるいは被写体の１つまたは複数の閉眼が検出されたときに、画像のバーストをキャプチャするためにカメラシャッターを作動させることを含む。本方法はまた、被写体の視線方向がカメラの中央に置かれ、被写体の両目が開いている画像のバーストから１つまたは複数の画像を記憶することを含む。
【００１０】
[0010]本開示の別の態様は、カメラシャッターを作動させるための入力を受信した後、被写体の逸視、および／あるいは被写体の１つまたは複数の閉眼が検出されたときに、画像のバーストをキャプチャするためにカメラシャッターを作動させるための手段を含む装置を対象とする。本装置はまた、被写体の視線方向がカメラの中央に置かれ、被写体の両目が開いている画像のバーストから１つまたは複数の画像を記憶するための手段を含む。
【００１１】
[0011]本開示の別の態様では、カメラによる瞬きおよび逸視回避のためのコンピュータプログラム製品が開示される。本コンピュータプログラム製品は、非一時的プログラムコードを記録した非一時的コンピュータ可読媒体を有する。本プログラムコードは、カメラシャッターを作動させるための入力を受信した後、被写体の逸視、および／あるいは被写体の１つまたは複数の閉眼が検出されたときに、画像のバーストをキャプチャするためにカメラシャッターを作動させるためのプログラムコードを含む。本プログラムコードはまた、被写体の視線方向がカメラの中央に置かれ、被写体の両目が開いている画像のバーストから１つまたは複数の画像を記憶するためのプログラムコードを含む。
【００１２】
[0012]本開示の別の態様は、メモリと、メモリに結合された１つまたは複数のプロセッサとを有する、瞬きおよび逸視回避のために構成された装置を対象とする。本プロセッサは、カメラシャッターを作動させるための入力を受信した後、被写体の逸視、および／あるいは被写体の１つまたは複数の閉眼が検出されたときに、画像のバーストをキャプチャするためにカメラシャッターを作動させるように構成される。本プロセッサはまた、被写体の視線方向がカメラの中央に置かれ、被写体の両目が開いている画像のバーストから１つまたは複数の画像を記憶するように構成される。
【００１３】
[0013]開示の追加の特徴および利点は、以下で説明される。この開示は、本開示と同じ目的を実行するための他の構造を修正または設計するための基礎として容易に変更され得ることが、当業者によって理解されるべきである。また、添付の特許請求の範囲に記載されるように、そのような等価な構成は本開示の教示から逸脱しないことが、当業者によって理解されるべきである。本開示の特徴と考えられる新規な特徴は、その構成と動作の方法との両方に関して、さらなる目的および利点とともに、添付の図面と関連して考慮されるとき以下の説明からより良く理解されるであろう。しかしながら、図面の各々は単に例示および説明の目的のために提供されているにすぎず、本開示の制限の定義として意図されていないことが、明確には理解されるべきである。
【００１４】
[0014]本開示の特徴、性質、および利点は、同様の参照文字が全体を通して相応して識別する図面を考慮した場合、以下に示される詳細な説明から、より明らかになるだろう。
【図面の簡単な説明】
【００１５】
【図１】[0015]本開示のいくつかの態様によるニューロンの例示的なネットワークを示す図。
【図２】[0016]本開示のいくつかの態様による、計算ネットワーク（ニューラルシステムまたはニューラルネットワーク）の処理ユニット（ニューロン）の一例を示す図。
【図３】[0017]本開示のいくつかの態様によるスパイクタイミング依存可塑性（ＳＴＤＰ）曲線の一例を示す図。
【図４】[0018]本開示のいくつかの態様による、ニューロンモデルの挙動を定義するための正レジームおよび負レジームの一例を示す図。
【図５】[0019]本開示の態様による、瞬きおよび逸視回避の方法をさらに示す流れ図。
【図６】[0020]本開示の態様による、画像内の瞬きおよび逸視回避の方法をさらに示す流れ図。
【図７】[0021]本開示の態様による、画像内の瞬きおよび逸視回避の方法をさらに示すブロック図。
【図８】[0022]本開示のある態様による、汎用プロセッサを使用してニューラルネットワークを設計することの例示的な実装形態を示す図。
【図９】[0023]本開示のいくつかの態様による、メモリが個々の分散処理ユニットとインターフェースされ得るニューラルネットワークを設計する例示的な実装形態を示す図。
【図１０】[0024]本開示のいくつかの態様による、分散メモリおよび分散処理ユニットに基づいてニューラルネットワークを設計する例示的な実装形態を示す図。
【図１１】[0025]本開示のいくつかの態様による、ニューラルネットワークの例示的な実装形態を示す図。
【図１２】[0026]本開示の態様による、瞬きおよび逸視回避の方法を示す流れ図。
【図１３】本開示の態様による、瞬きおよび逸視回避の方法を示す流れ図。
【発明を実施するための形態】
【００１６】
[0027]添付の図面に関連して以下に示される詳細な説明は、様々な構成の説明として意図されたものであり、本明細書において説明される概念が実現され得る唯一の構成を表すことを意図されるものではない。詳細な説明は、様々な概念の完全な理解を提供する目的で、具体的な詳細を含む。しかしながら、これらの概念がこれらの具体的な詳細なしで実施され得ることは、当業者にとっては明らかであろう。いくつかの事例では、よく知られている構造および構成要素が、そのような概念を曖昧にするのを避けるために、ブロック図形式で示される。
【００１７】
[0028]本教示に基づいて、本開示の範囲は、本開示の任意の他の態様とは無関係に実装されるにせよ、本開示の任意の他の態様と組み合わされるにせよ、本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、記載される態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、記載される本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。開示する本開示のいずれの態様も、請求項の１つまたは複数の要素によって実施され得ることを理解されたい。
【００１８】
[0029]「例示的」という単語は、本明細書では「例、事例、または例示の働きをすること」を意味するために使用される。「例示的」として本明細書で説明するいかなる態様も、必ずしも他の態様よりも好ましいまたは有利であると解釈されるべきであるとは限らない。
【００１９】
[0030]本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点が説明されるが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。
例示的なニューラルシステム、トレーニングおよび動作
[0031]図１は、本開示のいくつかの態様による、複数のレベルのニューロンをもつ人工ニューラルシステム１００を示す。ニューラルシステム１００は、シナプス結合のネットワーク１０４（すなわち、フィードフォワード結合）を介してニューロンの別のレベル１０６に結合されたニューロンのあるレベル１０２を有し得る。簡単のために、図１には２つのレベルのニューロンのみが示されているが、ニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。ニューロンのいくつかは、ラテラル結合を介して同じ層の他のニューロンに結合し得ることに留意されたい。さらに、ニューロンのいくつかは、フィードバック結合を介して前の層のニューロンに戻る形で結合し得る。
【００２０】
[0032]図１に示すように、レベル１０２における各ニューロンは、前のレベル（図１に図示せず）のニューロンによって生成される入力信号１０８を受信し得る。信号１０８は、レベル１０２のニューロンの入力電流を表し得る。この電流は、膜電位を充電するためにニューロン膜上に蓄積され得る。膜電位がそれのしきい値に達すると、ニューロンは、発火し、ニューロンの次のレベル（たとえば、レベル１０６）に転送される出力スパイクを生成し得る。いくつかのモデリング手法では、ニューロンは、信号をニューロンの次のレベルに継続的に転送し得る。この信号は、典型的には膜電位の関数である。そのような挙動は、以下で説明するものなどのアナログおよびデジタル実装形態を含むハードウェアおよび／またはソフトウェアでシミュレートされ得る。
【００２１】
[0033]生物学的ニューロンでは、活動電位は、ニューロンが発火するときに生成される出力スパイクである。電気信号は、約１００ｍＶの振幅と約１ｍｓの持続時間とを有する比較的急速で、一時的な神経インパルスである。一連の結合されたニューロンを有するニューラルシステムの一構成（たとえば、図１におけるあるレベルのニューロンから別のレベルのニューロンへのスパイクの転送）では、あらゆる活動電位が基本的に同じ振幅と持続時間とを有するので、信号における情報は、振幅によってではなく、スパイクの周波数および数、またはスパイクの時間によってのみ表され得る。活動電位によって搬送される情報は、スパイク、スパイクしたニューロン、およびオン他の１つまたは複数のスパイクに対するスパイクの時間によって決定され得る。以下で説明するように、スパイクの重要性は、ニューロン間の接続に適用される重みによって決定され得る。
【００２２】
[0034]図１に示されるように、ニューロンのあるレベルから別のレベルへのスパイクの移動は、シナプス結合（または、単純に「シナプス」）１０４のネットワークを介して達成され得る。シナプス１０４に関して、レベル１０２のニューロンはシナプス前ニューロンと考えられ得、レベル１０６のニューロンはシナプス後ニューロンと考えられ得る。シナプス１０４は、レベル１０２のニューロンから出力信号（すなわち、スパイク）を受信して、調整可能なシナプスの重み
【００２３】
【数１】
2017517165.tif 000003
【００２４】
に応じてそれらの信号をスケーリングすることができ、上式で、Ｐはレベル１０２のニューロンとレベル１０６のニューロンとの間のシナプス結合の総数であり、ｉはニューロンレベルの指標である。図１の例では、ｉはニューロンレベル１０２を表し、ｉ＋１は、ニューロンレベル１０６を表す。さらに、スケーリングされた信号は、レベル１０６における各ニューロンの入力信号として合成され得る。ニューロンレベル１０６におけるあらゆるニューロンは、対応する合成された入力信号に基づいて、出力スパイク１１０を生成し得る。出力スパイク１１０は、シナプス結合の別のネットワーク（図１には図示せず）を使用して、別のレベルのニューロンに転送され得る。
【００２５】
[0035]生物学的シナプスは、シナプス後ニューロンにおける興奮性(excitatory)活動または抑制性(inhibitory)（過分極化(hyperpolarizing)）活動のいずれかを調停することができ、ニューロン信号を増幅する役目を果たすことができる。興奮性信号は、膜電位を脱分極する(depolarize)（すなわち、静止電位に対して膜電位を増加させる）。しきい値を超えて膜電位を脱分極するために十分な興奮性信号が一定の時間期間内に受信された場合、シナプス後ニューロンに活動電位が生じる。対照的に、抑制性信号は一般に、膜電位を過分極する（たとえば、低下させる）。抑制性信号は、十分に強い場合、興奮性信号のすべてを相殺し、膜電位がしきい値に達するのを防止することができる。シナプス興奮を相殺することに加えて、シナプス抑制は、自然に活発なニューロンに対して強力な制御を行うことができる。自然に活発なニューロンは、たとえば、それのダイナミクスまたはフィードバックに起因するさらなる入力なしにスパイクするニューロンを指す。これらのニューロンにおける活動電位の自然な生成を抑圧することによって、シナプス抑制は、一般にスカルプチャリングと呼ばれる、ニューロンの発火のパターンを形成することができる。様々なシナプス１０４は、望まれる挙動に応じて、興奮性シナプスまたは抑制性シナプスの任意の組合せとして働き得る。
【００２６】
[0036]ニューラルシステム１００は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、プロセッサによって実行されるソフトウェアモジュール、またはそれらの任意の組合せによってシミュレートされ得る。ニューラルシステム１００は、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用され得る。ニューラルシステム１００における各ニューロンは、ニューロン回路として実装され得る。出力スパイクを開始するしきい値まで充電されるニューロン膜は、たとえば、そこを通って流れる電流を積分するキャパシタとして実装され得る。
【００２７】
[0037]一態様では、キャパシタは、ニューロン回路の電流積分デバイスとして除去され得、その代わりにより小さいメモリレジスタ（メモリスタ（memristor））要素が使用され得る。この手法は、ニューロン回路において、ならびにかさばるキャパシタが電流積分器として利用される様々な他の適用例において適用され得る。さらに、シナプス１０４の各々は、メモリスタ要素に基づいて実装され得、シナプス重みの変化は、メモリスタ抵抗の変化に関係し得る。ナノメートルの特徴サイズのメモリスタを用いると、ニューロン回路およびシナプスの面積が大幅に低減され得、それによって、大規模なニューラルシステムハードウェア実装形態の実装がより実用的になり得る。
【００２８】
[0038]ニューラルシステム１００をエミュレートするニューラルプロセッサの機能は、ニューロン間の結合の強さを制御し得る、シナプス結合の重みに依存し得る。シナプス重みは、パワーダウン後にプロセッサの機能を維持するために、不揮発性メモリに記憶され得る。一態様では、シナプス重みメモリは、主たるニューラルプロセッサチップとは別個の外部チップ上に実装され得る。シナプス重みメモリは、交換可能メモリカードとしてニューラルプロセッサチップとは別個にパッケージ化され得る。これは、ニューラルプロセッサに多様な機能を提供することができ、特定の機能は、ニューラルプロセッサに現在取り付けられているメモリカードに記憶されたシナプス重みに基づき得る。
【００２９】
[0039]図２は、本開示のいくつかの態様による、計算ネットワーク（たとえば、ニューラルシステムまたはニューラルネットワーク）の処理ユニット（たとえば、ニューロンまたはニューロン回路）２０２の例示的な図２００を示す。たとえば、ニューロン２０２は、図１のレベル１０２のニューロンおよび１０６のニューロンのうちのいずれかに対応し得る。ニューロン２０２は、ニューラルシステムの外部にある信号、または同じニューラルシステムの他のニューロンによって生成された信号、またはその両方であり得る、複数の入力信号２０４1〜２０４Nを受信し得る。入力信号は、電流、コンダクタンス、電圧、実数値および／または複素数値であり得る。入力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。これらの入力信号は、調整可能なシナプス重み２０６1〜２０６N（ｗ1〜ｗN）に従って信号をスケーリングするシナプス結合を通してニューロン２０２に伝えられ得、Ｎはニューロン２０２の入力接続の総数であり得る。
【００３０】
[0040]ニューロン２０２は、スケーリングされた入力信号を合成し、合成された、スケーリングされた入力を使用して、出力信号２０８（すなわち、信号ｙ）を生成し得る。出力信号２０８は、電流、コンダクタンス、電圧、実数値および／または複素数値であり得る。出力信号は、固定小数点表現または浮動小数点表現をもつ数値であり得る。出力信号２０８は、次いで、同じニューラルシステムの他のニューロンへの入力信号として、または同じニューロン２０２への入力信号として、またはニューラルシステムの出力として伝達され得る。
【００３１】
[0041]処理ユニット（ニューロン）２０２は電気回路によってエミュレートされ得、それの入力接続および出力接続は、シナプス回路をもつ電気接続によってエミュレートされ得る。処理ユニット２０２ならびにそれの入力接続および出力接続はまた、ソフトウェアコードによってエミュレートされ得る。処理ユニット２０２はまた、電気回路によってエミュレートされ得るが、それの入力接続および出力接続はソフトウェアコードによってエミュレートされ得る。一態様では、計算ネットワーク中の処理ユニット２０２はアナログ電気回路であり得る。別の態様では、処理ユニット２０２はデジタル電気回路であり得る。さらに別の態様では、処理ユニット２０２は、アナログ構成要素とデジタル構成要素の両方をもつ混合信号電気回路であり得る。計算ネットワークは、上述の形態のいずれかにおける処理ユニットを含み得る。そのような処理ユニットを使用した計算ネットワーク（ニューラルシステムまたはニューラルネットワーク）は、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用され得る。
【００３２】
[0042]ニューラルネットワークをトレーニングする過程で、シナプス重み（たとえば、図１の重み
【００３３】
【数２】
2017517165.tif 000004
【００３４】
および／または図２の重み２０６1〜２０６N）がランダム値により初期化され得、学習ルールに従って増加または減少し得る。学習ルールの例は、これに限定されないが、スパイクタイミング依存可塑性（ＳＴＤＰ）学習ルール、Ｈｅｂｂ則、Ｏｊａ則、Ｂｉｅｎｅｎｓｔｏｃｋ−Ｃｏｐｐｅｒ−Ｍｕｎｒｏ（ＢＣＭ）則等を含むことを当業者は理解するだろう。いくつかの態様では、重みは、２つの値のうちの１つに安定または収束し得る（すなわち、重みの双峰分布）。この効果が利用されて、シナプス重みごとのビット数を低減し、シナプス重みを記憶するメモリとの間の読取りおよび書込みの速度を上げ、シナプスメモリの電力および／またはプロセッサ消費量を低減し得る。
シナプスタイプ
[0043]ニューラルネットワークのハードウェアおよびソフトウェアモデルでは、シナプス関係機能の処理がシナプスタイプに基づき得る。シナプスタイプは、非塑性シナプス（non-plastic synapse）（重みおよび遅延の変化がない）、可塑性シナプス（重みが変化し得る）、構造遅延可塑性シナプス（重みおよび遅延が変化し得る）、完全可塑性シナプス（重み、遅延および結合性が変化し得る）、およびそれの変形（たとえば、遅延は変化し得るが、重みまたは結合性の変化はない）であり得る。複数のタイプの利点は、処理が再分割され得ることである。たとえば、非塑性シナプスは、可塑性機能を使用しないで実行される場合がある（またはそのような機能が完了するのを待つ）。同様に、遅延および重み可塑性は、一緒にまたは別々に、順にまたは並列に動作し得る動作に再分割され得る。異なるタイプのシナプスは、適用される異なる可塑性タイプの各々の異なるルックアップテーブルまたは式およびパラメータを有し得る。したがって、本方法は、シナプスのタイプについての関連する表、式、またはパラメータにアクセスする。
【００３５】
[0044]スパイクタイミング依存構造可塑性がシナプス可塑性とは無関係に実行され得るという事実のさらなる含意がある。構造可塑性は、重みの大きさに変化がない場合（たとえば、重みが最小値または最大値に達したか、あるいはそれが何らかの他の理由により変更されない場合）ｓ構造可塑性（すなわち、遅延量の変化）は前後スパイク時間差（pre-post spike time difference）の直接関数であり得ても実行され得る。代替的に、構造可塑性は、重み変化量に応じて、または重みもしくは重み変化の限界に関係する条件に基づいて設定され得る。たとえば、重み変化が生じたとき、または重みが最大値になるのではなく、重みがゼロに達した場合のみ、シナプス遅延が変化し得る。しかしながら、これらのプロセスが並列化され、メモリアクセスの数および重複を低減し得るように、独立した機能を有することが有利であり得る。
シナプス可塑性の決定
[0045]神経可塑性（または単に「可塑性」）は、脳内のニューロンおよびニューラルネットワークがそれらのシナプス結合と挙動とを新しい情報、感覚上の刺激、発展、損傷または機能不全に応答して変える能力である。可塑性は、生物学における学習および記憶にとって、また計算論的神経科学およびニューラルネットワークにとって重要である。（たとえば、Ｈｅｂｂ則理論による）シナプス可塑性、スパイクタイミング依存可塑性（ＳＴＤＰ）、非シナプス可塑性、活性依存可塑性、構造可塑性および恒常的可塑性など、様々な形の可塑性が研究されている。
【００３６】
[0046]ＳＴＤＰは、ニューロン間のシナプス結合の強さを調整する学習プロセスである。結合強度は、特定のニューロンの出力スパイクおよび受信入力スパイク（すなわち、活動電位）の相対的タイミングに基づいて調整される。ＳＴＤＰプロセスの下で、あるニューロンに対する入力スパイクが、平均して、そのニューロンの出力スパイクの直前に生じる傾向がある場合、長期増強（ＬＴＰ）が生じ得る。その場合、その特定の入力はいくらか強くなる。一方、入力スパイクが、平均して、出力スパイクの直後に生じる傾向がある場合、長期抑圧（ＬＴＤ）が生じ得る。その場合、その特定の入力はいくらか弱くなるので、「スパイクタイミング依存可塑性」と呼ばれる。したがって、シナプス後ニューロンの興奮の原因であり得る入力は、将来的に寄与する可能性がさらに高くなる一方、シナプス後スパイクの原因ではない入力は、将来的に寄与する可能性が低くなる。結合の初期セットのサブセットが残る一方で、その他の部分の影響がわずかなレベルまで低減されるまで、このプロセスは続く。
【００３７】
[0047]図３は、ＳＴＤＰによる、シナプス前スパイクおよびシナプス後スパイクの相対的タイミングに応じたシナプス重み変化の例示的な図３００を示す。シナプス前ニューロンがシナプス後ニューロンの前に発火する場合、グラフ３００の部分３０２に示すように、対応するシナプス重みは増加し得る。この重み増加は、シナプスのＬＴＰと呼ばれ得る。グラフ部分３０２から、シナプス前スパイク時間とシナプス後スパイク時間との間の時間差に応じて、ＬＴＰの量がほぼ指数関数的に減少し得ることが観測され得る。グラフ３００の部分３０４に示すように、発火の逆の順序は、シナプス重みを減少させ、シナプスのＬＴＤをもたらし得る。
【００３８】
[0048]図３のグラフ３００に示すように、ＳＴＤＰグラフのＬＴＰ（原因）部分３０２に負のオフセットμが適用され得る。ｘ軸の交差３０６のポイント（ｙ＝０）は、層ｉ−１からの原因入力の相関を考慮して、最大タイムラグと一致するように構成され得る。フレームベースの入力（すなわち、スパイクまたはパルスを備える特定の持続時間のフレームの形態である入力）の場合、オフセット値μは、フレーム境界を反映するように計算され得る。直接的にシナプス後電位によってモデル化されるように、またはニューラル状態に対する影響の点で、フレームにおける第１の入力スパイク（パルス）が経時的に減衰することが考慮され得る。フレームにおける第２の入力スパイク（パルス）が特定の時間フレームの相関したまたは関連したものと考えられる場合、フレームの前および後の関連する時間は、その時間フレーム境界で分離され、関連する時間の値が異なり得る（たとえば、１つのフレームよりも大きい場合は負、１つのフレームよりも小さい場合は正）ように、ＳＴＤＰ曲線の１つまたは複数の部分をオフセットすることによって、可塑性の点で別様に扱われ得る。たとえば、曲線が、フレーム時間よりも大きい前後の時間で実際にゼロよりも下になり、結果的にＬＴＰの代わりにＬＴＤの一部であるようにＬＴＰをオフセットするために負のオフセットμが設定され得る。
ニューロンモデルおよび演算
[0049]有用なスパイキングニューロンモデルを設計するための一般的原理がいくつかある。良いニューロンモデルは、２つの計算レジーム、すなわち、一致検出および関数計算の点で豊かな潜在的挙動を有し得る。その上、良いニューロンモデルは、時間コーディングを可能にするための２つの要素を有する必要がある：入力の到着時間は出力時間に影響を与え、一致検出は狭い時間ウィンドウを有し得る。最終的に、計算上魅力的であるために、良いニューロンモデルは、連続時間に閉形式解と、ニアアトラクター（near attractor）と鞍点とを含む安定した挙動とを有し得る。言い換えれば、有用なニューロンモデルは、実用的なニューロンモデルであり、豊かで、現実的で、生物学的に一貫した挙動をモデル化するために使用され得、神経回路のエンジニアリングとリバースエンジニアリングの両方を行うために使用され得るニューロンモデルである。
【００３９】
[0050]図４に示すように、モデル４００のダイナミクスは２つの（またはそれよりも多くの）レジームに分割され得る。これらのレジームは、負のレジーム（ｎｅｇａｔｉｖｅ  ｒｅｇｉｍｅ）４０２（ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅ（ＬＩＦ）ニューロンモデルと混同されないように、交換可能にＬＩＦレジームとも呼ばれる）、および正のレジーム（ｐｏｓｉｔｉｖｅ  ｒｅｇｉｍｅ）４０４（ａｎｔｉ−ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅ（ＡＬＩＦ）ニューロンモデルと混同されないように、交換可能にＡＬＩＦレジームとも呼ばれる）と呼ばれ得る。負レジーム４０２では、状態は将来の事象の時点における静止（ｖ-）の傾向がある。この負レジームでは、モデルは一般に、時間的入力検出特性と他のしきい値下挙動とを示す。正レジーム４０４では、状態はスパイキング事象（ｖs）の傾向がある。この正レジームでは、モデルは、後続の入力事象に応じてスパイクにレイテンシを生じさせるなどの計算特性を示す。事象の点からのダイナミクスの公式化およびこれら２つのレジームへのダイナミクスの分離は、モデルの基本的特性である。
【００４０】
[0051]Ｃｏｌｄモデルの、適時にシミュレーション、エミュレーションまたはモデルを実行するいくつかの可能な実装形態がある。これは、たとえば、事象更新モード、ステップ事象更新モード、およびステップ更新モードを含む。事象更新は、（特定の瞬間における）事象または「事象更新」に基づいて状態が更新される更新である。ステップ更新は、間隔（たとえば、１ｍｓ）をおいてモデルが更新される更新である。これは必ずしも、反復的技法または数値解法を利用するとは限らない。また、事象がステップもしくはステップ間で生じる場合または「ステップ事象」更新によってモデルを更新するのみによって、ステップベースのシミュレータにおいて限られた時間分解能で事象ベースの実装形態が可能である。
瞬きおよび逸視回避
[0052]本開示の態様は、キャプチャされた画像内の瞬きおよび逸視を軽減することを対象とする。そのような処理は、ニューラルネットワークを用いて実装され得る。
【００４１】
[0053]場合によっては、写真は、瞬きをしている、および／またはカメラを見ていない被写体を含み得る。したがって、各被写体がカメラを見ており、また瞬きをしていない画像をキャプチャすることが望ましい。それでも、画像が個人の大きなグループ、注意散漫な個人、幼児、および／または積極的にカメラを避けている個人を含む場合、所望の画像をキャプチャすることは困難であり得る。
【００４２】
[0054]本出願では、所望の画像は、瞬きをしておらず、またカメラを見ている、１人または複数の被写体の画像を指す。もちろん、本出願の態様は、すべての被写体が瞬きをしておらず、カメラを見ている画像に限定されない。態様はまた、何人かの被写体が瞬きをしておらず、またカメラを見ている画像をキャプチャするために、しきい値のために企図される。たとえば、グループ写真において、画像内のしきい値パーセンテージ、たとえば８０パーセントの被写体がカメラを見ており、瞬きをしていないときに、画像がキャプチャされ得る。
【００４３】
[0055]場合によっては、カメラマンが複数の画像をキャプチャして、各被写体がカメラの方を見ており、また瞬きをしていない１つまたは複数の画像を検索するために、キャプチャされた画像を手動で検索する。追加的または代替的に、瞬きをしている被写体を有する画像は、後処理アプリケーションで補正され得る。さらに、いくつかのカメラは、短時間に複数の画像をキャプチャするためのバーストモードを含む。それでも、従来のカメラでは、バーストモードの間にキャプチャされたすべての画像が、後処理またはユーザ選択のためにメモリに記憶される。すなわち、従来のカメラは、瞬きをしておらず、逸視を有しない被写体を含む所望の画像を取得するために後処理される、および／または手動で選択される複数の画像をキャプチャする。
【００４４】
[0056]したがって、本開示の態様は、被写体が瞬きをしているか、および／または逸視を有するかどうかを自動的に決定することと、被写体が瞬きをせずにカメラを見ているときに画像をキャプチャするためにカメラシャッターのタイミングを調整することとを対象とする。一構成では、瞬きまたは逸視の決定はリアルタイムに処理される。さらに、一構成では、時間調整は、被写体が瞬きをせずにカメラを見ている推定時間に基づく。
【００４５】
[0057]ニューラルネットワークは、機械学習とオブジェクト認識とを実行し得る。具体的には、ニューラルネットワークは、被写体がカメラ中心の視線を有し、また瞬きをしていないときを決定するために、顔の特徴を認識して、虹彩検出を実行し得る。ニューラルネットワークは、キャプチャされた画像内の瞬きおよび逸視回避を可能にするために、学習層に続いて１つまたは複数の特徴抽出層を含み得る。一例では、各層内のニューロンなどのノードは、特徴を時間的特徴パターンの形態で符号化し得る。
【００４６】
[0058]本開示の態様は、写真画像内の瞬き回避および逸視回避を対象とする。一構成では、瞬き検出分析および視線方向分析は、写真内で１人および複数の被写体の瞬きのない、およびカメラ中心の視線がキャプチャされるように、カメラのシャッターをスケジューリングするための時間を推定する。カメラ中心の視線は、カメラの方を見ている被写体の視線を指す。
【００４７】
[0059]場合によっては、顔検出は、虹彩検出を開始するために顔の存在および／または位置を決定し得る。瞬き検出は虹彩検出に基づき得、１つの顔の中に２つの虹彩が検出されたかどうかを決定し得る。一構成では、視線方向は、顔の位置と虹彩の位置とを同時登録することによって決定される。本開示のある態様によれば、瞬きが検出されず、視線がカメラに向かっているときにシャッターが作動する。あるいは、瞬きおよび／または逸視が検出されると、シャッターは、画像をキャプチャするために将来の推定時間に作動するようにスケジューリングされ得る。推定時間は、平均瞬きについて決定された時間、および／またはそらされた視線（diverted gaze）の平均時間に基づき得る。一構成では、カメラは、推定時間が経過した後、画像をキャプチャする前に、瞬きおよび／または逸視が存在するかどうかを決定する。すなわち、シャッターが開くようにスケジューリングされる前に、瞬きおよび／または逸視がもう存在しないことを決定するために瞬き検出が実行され得る。
【００４８】
[0060]上述のように、カメラは定期的に視線方向を確認し得る。追加的または代替的に、視線がカメラに向かう推定時間にシャッターがスケジューリングされるように、将来の視線方向が以前の視線位置情報に基づいて予測され得る。さらに、場合によっては、時間遅延は望ましくない場合がある。したがって、カメラは、瞬きおよび／または逸視が検出されるときに、時間期間内にバーストモードなどで複数の画像をキャプチャするように構成され得る。一構成では、バーストモードは、時間期間内に複数の画像をキャプチャするために、ユーザ入力なしに自動的に起動される。さらに、一構成では、瞬きおよび／または逸視を有する一時的に記憶された画像を自動的に削除するために、キャプチャされた画像に対して自動顔および虹彩検出が実行される。すなわち、カメラは、瞬きのない、およびカメラ中心の視線の画像だけを保存し得る。
【００４９】
[0061]上述のように、本開示の態様は、リアルタイム瞬き検出および／または視線検出に基づいて、瞬きのない、および／またはカメラ中心の視線の画像をキャプチャおよび／または記憶するように指定され得る。したがって、本開示の態様は、冗長な画像の保存を軽減して、スマートフォンなどのデバイスの保存領域を改善する。
【００５０】
[0062]図５は、本開示の態様による、瞬き回避および逸視回避の方法５００を示す流れ図である。図５に示されるように、ブロック５１０で、カメラのシャッターを作動させるために入力が受信される。入力は、ユーザ入力などの外部入力でもよく、カメラタイマなどの内部入力でもよい。さらに、ブロック５１２で、ブロック５１０で受信された入力に応答して、顔検出および／または虹彩検出が開始される。たとえば、カメラのビュー内の被写体の顔の位置を決定するために、顔検出がトリガされ得る。さらに、虹彩検出は、顔の位置の検出に応答して実行され得る。ブロック５１４で、デバイスは、瞬きおよび／または逸視が検出されたかどうかを決定する。瞬きおよび／または逸視は、虹彩検出に基づいて検出され得る。さらに、瞬きおよび／または逸視が検出されると、ブロック５１４で、カメラシャッターがブロック５１６で将来の時間に作動するようにスケジューリングされる。たとえば、将来の時間は、被写体の視線方向がカメラに向かっており、各被写体の両目が開いている推定時間に基づく推定時間期間であり得る。
【００５１】
[0063]さらに、ブロック５１６で将来の時間に作動するようにシャッターをスケジューリングした後、被写体が瞬きをしておらず、および／またはカメラの方を見るまで、ブロック５１２の顔検出および虹彩検出、ならびに／あるいはブロック５１４の瞬きおよび／または逸視検出が実行される。すなわち、ブロック５１２、５１４、および５１６の処理は、所望の画像がキャプチャされるまで実行される。したがって、瞬きおよび逸視が検出されない場合、ブロック５２０で、被写体の画像をキャプチャするためにカメラシャッターが作動される。さらに、ブロック５２２で、画像が記憶される。この構成では、被写体が瞬きをせずにカメラをじっと見ている瞬間をキャプチャするために、シャッター作動のタイミングはリアルタイムに調整される。
【００５２】
[0064]本開示の別の態様によれば、ブロック５１６で将来の推定時間をスケジューリングした後、将来の推定時間に達すると、ブロック５２０で、画像をキャプチャするためにカメラのシャッターが起動され得る。すなわち、この構成では、カメラは、画像をキャプチャする前に後続の顔検出および虹彩検出を実行しない。さらに、ブロック５２２で画像が記憶される。
【００５３】
[0065]上述のように、被写体は、彼らの視線がカメラに向かっていても、瞬きをしている場合がある。したがって、カメラシャッターの作動は、被写体が瞬きをしていないときに画像がキャプチャされるように、推定時間期間に遅れる場合がある。推定時間期間は、推定瞬き時間および／または逸視時間に基づき得る。さらに、推定時間は、瞬きおよび／または逸視の学習されたタイミングに基づき得る。たとえば、平均瞬き長は８００ミリ秒であり得る。したがって、この例では、推定時間期間は１０００ミリ秒などの８００ミリ秒よりも長い時間に設定され得る。
【００５４】
[0066]図６は、本開示のある態様による、写真画像内の瞬きおよび逸視回避の方法６００を示す。図６に示されるように、ブロック６１０で、画像キャプチャデバイスが、１人または複数の被写体の瞬きおよび／または逸視が検出されるかどうかを決定する。さらに、ブロック６１２で、被写体が瞬きをせずにカメラをじっと見ているときに被写体の画像がキャプチャされる。あるいは、ブロック６１４で、被写体の複数の画像をキャプチャするためにカメラシャッターが作動される。さらに、ブロック６１６で、キャプチャされた画像から所望の画像が識別される。所望の画像は、１人または複数の被写体が瞬きをせずにカメラをじっと見ている画像であり得る。たとえば、ニューラルネットワークは、被写体が瞬きをせずにカメラをじっと見ている画像を識別するために、逸視の特徴を認識するだけでなく、虹彩検出を実行するようにトレーニングされ得る。最後に、ブロック６１８で、所望の画像が記憶される。さらに、望ましくない画像の保存を減らすために、被写体が逸視を有する、および／または瞬きをしている画像が削除される。
【００５５】
[0067]図７は、本開示のある態様による、記憶された画像内の瞬きおよび逸視軽減の方法７００を示す。図７に示されるように、ブロック７１０で、カメラのシャッターを作動させるために入力が受信される。入力は、ユーザ入力などの外部入力でもよく、カメラタイマなどの内部入力でもよい。さらに、ブロック７１２で、ブロック７１０で受信された入力に応答して、顔検出および／または虹彩検出が開始される。たとえば、カメラのビュー内の被写体の顔の位置を決定するために、顔検出がトリガされ得る。さらに、虹彩検出は、顔の位置の検出に応答して実行され得る。追加的または代替的に、被写体の顔の動きが検出されたときに、顔認識と虹彩検出とが起動され得る。ブロック７１４で、カメラは、瞬きおよび／または逸視が検出されたかどうかを決定する。瞬きおよび／または逸視は、虹彩検出に基づいて検出され得る。ブロック７１４で瞬きまたは逸視が検出されると、ブロック７２０で、被写体の画像のバーストをキャプチャするために、カメラシャッターがＮ回作動される。さらに、ブロック７２４でキャプチャされた画像のバーストから所望の画像が識別され得るように、画像を破棄するためにブロック７２２で顔および虹彩検出が実行される。所望の画像は、１人または複数の被写体が瞬きをせずにカメラをじっと見ている画像であり得る。最後に、ブロック７１８で、所望の画像が記憶される。あるいは、瞬きおよび逸視が検出されない場合、ブロック７１６で、画像をキャプチャするためにカメラシャッターが作動される。さらに、画像をキャプチャした後、ブロック７１８で画像が記憶される。
【００５６】
[0068]図８は、本開示のいくつかの態様による、汎用プロセッサ８０２を用いる上述の写真画像内の瞬きおよび逸視回避の例示的な実装形態８００を示す。計算ネットワーク（ニューラルネットワーク）、遅延、周波数ビン情報、スパイクレイテンシ情報、およびヒストグラム情報に関連付けられる、変数（ニューラル信号）、シナプス重み、システムパラメータは、メモリブロック８０４に記憶され得、汎用プロセッサ８０２で実行される命令はプログラムメモリ８０６からロードされ得る。本開示のある態様では、汎用プロセッサ８０２にロードされた命令は、瞬きおよび逸視回避のためのコードを備え得る。
【００５７】
[0069]図９は、本開示のいくつかの態様による、メモリ９０２が相互接続ネットワーク９０４を介して計算ネットワーク（ニューラルネットワーク）の個々の（分散型）処理ユニット（ニューラルプロセッサ）９０９とインターフェースされ得る、上述の写真画像内の瞬きおよび逸視回避の例示的な実装形態９００を示している。計算ネットワーク（ニューラルネットワーク）遅延、周波数ビン情報、およびヒストグラム情報に関連付けられる、変数（ニューラル信号）、シナプス重み、システムパラメータはメモリ９０２に記憶され得、相互接続ネットワーク９０４の接続を介してメモリ９０２から各処理ユニット（ニューラルプロセッサ）９０９にロードされ得る。本開示のある態様では、処理ユニット９０９は、写真画像内の瞬きおよび逸視回避を提供するように構成され得る。
【００５８】
[0070]図１０は、上述の写真画像内の瞬きおよび逸視回避の例示的な実装形態１０００を示している。図１０に示されるように、１つのメモリバンク１００２は、計算ネットワーク（ニューラルネットワーク）の１つの処理ユニット１００４に直接インターフェースされ得る。各メモリバンク１００２は、対応する処理ユニット（ニューラルプロセッサ）１００４遅延、周波数ビン情報、およびヒストグラム情報に関連付けられる、変数（ニューラル信号）、シナプス重み、および／またはシナプスパラメータを記憶し得る。本開示のある態様では、処理ユニット１００４は、被写体の顔認識および虹彩検出を提供する、および／または基準特徴に基づいて被写体表示を正則形式に変換するように構成され得る。
【００５９】
[0071]図１１は、本開示のいくつかの態様による、写真画像内の瞬きおよび逸視回避を提供するように構成されたニューラルネットワーク１１００の例示的な実装形態を示す。図１１に示すように、ニューラルネットワーク１１００は、本明細書で説明する方法の様々な動作を実行し得る複数のローカル処理ユニット１１０２を有することができる。各ローカル処理ユニット１１０２は、ニューラルネットワークのパラメータを記憶する、ローカルステートメモリ１１０４およびローカルパラメータメモリ１１０６を備え得る。また、ローカル処理ユニット１１０２は、ローカルモデルプログラムを記憶するためのローカル（ニューロン）モデルプログラム（ＬＭＰ）メモリ１１０８、ローカル学習プログラムを記憶するためのローカル学習プログラム（ＬＬＰ）メモリ１１１０、およびローカル接続メモリ１１１２を有し得る。さらに、図１１に示されるように、各ローカル処理ユニット１１０２は、ローカル処理ユニットのローカルメモリの構成を提供するための構成プロセッサユニット１１１４と、またローカル処理ユニット１１０２間のルーティングを提供するルーティング接続処理ユニット１１１６とインターフェースされ得る。
【００６０】
[0072]一構成では、ニューロンモデルは、写真画像内の瞬きおよび逸視回避のために構成される。ニューロンモデルは、検出手段とスケジューリング手段とを含む。一態様では、検出手段、および／またはスケジューリング手段は、記載される機能を実行するように構成された汎用プロセッサ８０２、プログラムメモリ８０６、メモリブロック８０４、メモリ９０２、相互接続ネットワーク９０４、処理ユニット９０９、処理ユニット１００４、ローカル処理ユニット１１０２、およびまたはルーティング接続処理ユニット１１１６であり得る。別の構成では、上述の手段は、上記の手段によって記載された機能を実行するように構成された任意のモジュールまたは任意の装置であり得る。
【００６１】
[0073]別の構成では、ニューロンモデルは、写真画像内の瞬きおよび逸視回避のために構成されている。ニューロンモデルは起動手段および記憶手段を含む。一態様では、起動手段および／または記憶手段は、記載される機能を実行するように構成された汎用プロセッサ８０２、プログラムメモリ８０６、メモリブロック８０４、メモリ９０２、相互接続ネットワーク９０４、処理ユニット９０９、処理ユニット１００４、ローカル処理ユニット１１０２、およびまたはルーティング接続処理ユニット１１１６であり得る。別の構成では、上述の手段は、上記の手段によって記載された機能を実行するように構成された任意のモジュールまたは任意の装置であり得る。
【００６２】
[0074]本開示のいくつかの態様によれば、各ローカル処理ユニット１３０２は、ニューラルネットワークの所望の１つまたは複数の機能的特徴に基づいて、ニューラルネットワークのパラメータを決定して、決定されたパラメータがさらに適応され、同調され、更新されるにつれて、所望の機能的特徴に向けて１つまたは複数の機能的特徴を開発するように構成され得る。
【００６３】
[0075]図１２は、本開示の態様による、瞬き回避および逸視回避の方法１２００を示す流れ図である。図１２に示されるように、ブロック１２１０で、カメラは、カメラシャッターを作動させるための入力を受信することに応答して、被写体の逸視、および／あるいは１つまたは複数の閉眼を検出する。たとえば、ニューラルネットワークは、瞬きおよび逸視を識別するために、顔認識および虹彩検出を提供するようにトレーニングされ得る。さらに、ブロック１２１２で、カメラは、被写体の視線方向が中央に置かれたとき、および／または被写体の両目が開いているときに被写体の画像をキャプチャするために、カメラシャッターの作動を将来の推定時間期間にスケジューリングする。たとえば、ニューラルネットワークは、被写体の視線方向がカメラに向かっている将来の時間期間を推定するようにトレーニングされ得る。ニューラルネットワークは、カメラシャッターを、おおよそ将来の時間期間の間に作動させるようにスケジューリングし得る。追加的または代替的に、ニューラルネットワークは、将来の推定時間が経過したときに、画像をキャプチャする前に、追加の瞬きおよび／または視線確認を実行し得る。さらに、将来の推定時間期間の間に遅延することは、将来の推定時間期間の間に後続の瞬きおよび／または逸視が検出される場合は遅延されてもよく、調整されてもよい。
【００６４】
[0076]図１３は、本開示の態様による、瞬き回避および逸視回避の方法１３００を示す流れ図である。図１３に示されるように、ブロック１３１０で、被写体の逸視が検出されるとき、および／または被写体の片方または両方の目が閉じられているときに、画像のバーストをキャプチャするためにカメラはシャッターを作動させる。逸視および／または閉眼検出は、カメラシャッターを作動させるための入力を受信した後、および画像をキャプチャする前に実行され得る。さらに、ブック１３１２で、カメラは被写体の視線方向がカメラの中央に置かれ、被写体の両目が開いている画像のバーストから１つまたは複数の１つの画像を記憶する。
【００６５】
[0077]上述した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々なハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含み得る。概して、図に示されている動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。
【００６６】
[0078]本明細書で使用する「決定」という用語は、多種多様なアクションを包含する。たとえば、「決定」は、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること（たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること）、確認することなどを含み得る。さらに、「決定」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含み得る。さらに、「決定」は、解決すること、選択すること、選定すること、確立することなどを含み得る。
【００６７】
[0079]本明細書で使用する、項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃを包含するものとする。
【００６８】
[0080]本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラまたは状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
【００６９】
[0081]本開示に関連して説明した方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形式の記憶媒体で存在し得る。使用され得る記憶媒体のいくつかの例は、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどを含む。ソフトウェアモジュールは、単一の命令、または多数の命令を備えることができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサと一体化され得る。
【００７０】
[0082]本明細書で開示する方法は、説明した方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲から逸脱することなく変更され得る。
【００７１】
[0083]説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ハードウェアで実装される場合、例示的なハードウェア構成はデバイス中に処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実装され得る。バスは、処理システムの特定の適用例および全体的な設計制約に応じて、任意の数の相互接続バスとブリッジとを含み得る。バスは、プロセッサと、機械可読媒体と、バスインターフェースとを含む様々な回路を互いにリンクし得る。バスインターフェースは、ネットワークアダプタを、特に、バスを介して処理システムに接続するために使用され得る。ネットワークアダプタは、信号処理機能を実装するために使用され得る。いくつかの態様では、ユーザインターフェース（たとえば、キーパッド、ディスプレイ、マウス、ジョイスティックなど）もバスに接続され得る。バスはまた、タイミングソース、周辺機器、電圧調整器、電力管理回路などの様々な他の回路にリンクし得るが、それらは当技術分野でよく知られており、したがってこれ以上は説明されない。
【００７２】
[0084]プロセッサは、機械可読媒体に記憶されたソフトウェアの実行を含む、バスおよび一般的な処理を管理することを担当し得る。プロセッサは、１つまたは複数の汎用および／または専用プロセッサを用いて実装され得る。例としては、マイクロプロセッサ、マイクロコントローラ、ＤＳＰプロセッサ、およびソフトウェアを実行し得る他の回路を含む。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、データ、またはそれらの任意の組合せを意味すると広く解釈されたい。機械可読媒体は、一例として、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読出し専用メモリ（ＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読出し専用メモリ（ＥＥＰＲＯＭ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または他の任意の適切な記憶媒体、あるいはそれらの任意の組合せを含み得る。機械可読媒体はコンピュータプログラム製品において実施され得る。コンピュータプログラム製品はパッケージング材料を備え得る。
【００７３】
[0085]ハードウェア実装形態では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者なら容易に理解するように、機械可読媒体またはその任意の部分は処理システムの外部にあり得る。例として、機械可読媒体は、すべてバスインターフェースを介してプロセッサによってアクセスされ得る、伝送線路、データによって変調された搬送波、および／またはデバイスとは別個のコンピュータ製品を含み得る。代替的に、または追加で、機械可読媒体またはその任意の部分は、キャッシュおよび／または汎用レジスタファイルがそうであり得るように、プロセッサに統合され得る。論じた様々な構成要素は、ローカル構成要素などの特定の位置を有するものとして説明され得るが、それらはまた、分散コンピューティングシステムの一部として構成されているいくつかの構成要素などの様々な方法で構成され得る。
【００７４】
[0086]処理システムは、すべて外部バスアーキテクチャを介して他のサポート回路と互いにリンクされる、プロセッサ機能を提供する１つまたは複数のマイクロプロセッサと、機械可読媒体の少なくとも一部分を提供する外部メモリとをもつ汎用処理システムとして構成され得る。あるいは、処理システムは、本明細書に記載のニューロンモデルとニューラルシステムのモデルとを実装するための１つまたは複数のニューロモルフィックプロセッサを備え得る。別の代替として、処理システムは、プロセッサを有する特定用途向け集積回路（ＡＳＩＣ）と、バスインターフェースと、ユーザインターフェースと、サポート回路と、単一のチップに統合された機械可読媒体の少なくとも一部とを用いて、あるいは１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、または他の任意の適切な回路、あるいは本開示全体を通じて説明した様々な機能を実行し得る回路の任意の組合せを用いて実装され得る。当業者なら、特定の適用例と、全体的なシステムに課される全体的な設計制約とに応じて、どのようにしたら処理システムについて説明した機能を最も良く実装し得るかを理解されよう。
【００７５】
[0087]機械可読媒体はいくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されたときに、処理システムに様々な機能を実行させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス中に常駐するか、または複数の記憶デバイスにわたって分散され得る。例として、トリガイベントが発生したとき、ソフトウェアモジュールがハードドライブからＲＡＭにロードされ得る。ソフトウェアモジュールの実行中、プロセッサは、アクセス速度を高めるために、命令のいくつかをキャッシュにロードし得る。次いで、１つまたは複数のキャッシュラインが、プロセッサによる実行のために汎用レジスタファイルにロードされ得る。以下でソフトウェアモジュールの機能に言及する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行したときにプロセッサによって実装されることが理解されよう。
【００７６】
[0088]ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。さらに、いかなる接続もコンピュータ可読媒体を適切に名づけられる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体（たとえば、有形媒体）を備え得る。さらに、他の態様では、コンピュータ可読媒体は一時的コンピュータ可読媒体（たとえば、信号）を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【００７７】
[0089]したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実行するために１つまたは複数のプロセッサによって実行可能である命令を記憶した（および／または符号化した）コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。
【００７８】
[0090]さらに、本明細書で説明した方法および技法を実行するためのモジュールおよび／または他の適切な手段は、適用可能な場合にユーザ端末および／または基地局によってダウンロードされ、および／または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明した方法を実施するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明した様々な方法は、ユーザ端末および／または基地局が記憶手段をデバイスに結合または提供すると様々な方法を得ることができるように、記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）によって提供され得る。その上、本明細書で説明した方法および技法をデバイスに与えるための任意の他の好適な技法が利用され得る。
【００７９】
[0091]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
【図１】
2017517165.tif 000005
【図２】
2017517165.tif 000006
【図３】
2017517165.tif 000007
【図４】
2017517165.tif 000008
【図５】
2017517165.tif 000009
【図６】
2017517165.tif 000010
【図７】
2017517165.tif 000011
【図８】
2017517165.tif 000012
【図９】
2017517165.tif 000013
【図１０】
2017517165.tif 000014
【図１１】
2017517165.tif 000015
【図１２】
2017517165.tif 000016
【図１３】
2017517165.tif 000017
【手続補正書】
【提出日】平成28年11月24日(2016.11.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラによる瞬きおよび逸視回避の方法であって、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼を検出することと、
前記被写体の視線方向が前記カメラの中央に置かれたとき、および／または前記被写体の両目が開いているときに前記被写体の画像をキャプチャするために、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングすることと、
前記将来の推定時間期間の間に前記被写体の少なくとも１つの閉眼が検出されたときに、前記将来の推定時間期間の間にあらかじめ定められた時間の期間にわたって前記カメラシャッターの前記作動を遅延させることと、を備える、方法。
【請求項２】
前記検出することが、
前記被写体の顔の位置を決定することと、
前記顔の位置を決定することに応答して、前記被写体の少なくとも１つの虹彩を検出することと、
前記顔の位置と前記少なくとも１つの虹彩とに少なくとも部分的に基づいて、前記被写体の前記視線方向を決定することと、
前記被写体の少なくとも前記視線方向が前記カメラの中央に置かれている、および／または前記被写体の両目が開いている前記将来の時間期間を推定することと、を備える、請求項１に記載の方法。
【請求項３】
前記あらかじめ定められた時間の期間が平均瞬き長よりも長い、請求項１に記載の方法。
【請求項４】
前記検出することが、
前記被写体の顔の動きが検出されたときに、前記被写体の顔認識と虹彩検出とを起動することと、
前記顔の動きが、前記検出された顔の動きの速度と方向とに従って、前記被写体の前記視線方向を前記カメラの中央に置く前記将来の時間期間を推定することと、
前記将来の推定時間期間の間に、前記カメラシャッターを作動させる前に、前記被写体の前記視線方向が前記カメラの中央に置かれていること、および／または前記被写体の両目が開いていることを確認するために前記顔認識と前記虹彩検出とを起動することとを備える、請求項１に記載の方法。
【請求項５】
前記入力が、前記将来の時間期間の開始を示すタイマであり、顔認識が、前記被写体の前記視線方向が前記カメラの中央に置かれていると確認する、および／または虹彩検出が前記被写体の両目が開いていると確認するときに前記カメラシャッターを作動させることをさらに備える、請求項１に記載の方法。
【請求項６】
瞬きおよび逸視回避のために構成された装置であって、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサが、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼を検出して、
前記被写体の視線方向がカメラの中央に置かれたとき、および／または前記被写体の両目が開いているときに前記被写体の画像をキャプチャするために、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングして、
前記将来の推定時間期間の間に前記被写体の少なくとも１つの閉眼が検出されたときに、前記将来の推定時間期間の間にあらかじめ定められた時間の期間にわたって前記カメラシャッターの前記作動を遅延させるように構成される、装置。
【請求項７】
前記少なくとも１つのプロセッサが、
前記被写体の顔の位置を決定して、
前記顔の位置を決定することに応答して、前記被写体の少なくとも１つの虹彩を検出して、
前記顔の位置と前記少なくとも１つの虹彩とに少なくとも部分的に基づいて、前記被写体の前記視線方向を決定して、
前記被写体の少なくとも前記視線方向が前記カメラの中央に置かれている、および／または前記被写体の両目が開いている前記将来の時間期間を推定するようにさらに構成される、請求項６に記載の装置。
【請求項８】
前記あらかじめ定められた時間の期間が平均瞬き長よりも長い、請求項６に記載の装置。
【請求項９】
前記少なくとも１つのプロセッサが、
前記被写体の顔の動きが検出されたときに、前記被写体の顔認識と虹彩検出とを起動して、
前記顔の動きが、前記検出された顔の動きの速度と方向とに従って、前記被写体の前記視線方向をカメラの中央に置く前記将来の時間期間を推定して、
前記将来の推定時間期間の間に、前記カメラシャッターを作動させる前に、前記被写体の前記視線方向が前記カメラの中央に置かれていること、および／または前記被写体の両目が開いていることを確認するために前記顔認識と前記虹彩検出とを起動するようにさらに構成される、請求項６に記載の装置。
【請求項１０】
前記入力が、前記将来の時間期間の開始を示すタイマであり、
前記少なくとも１つのプロセッサが、顔認識が、前記被写体の前記視線方向がカメラの中央に置かれていると確認する、および／または虹彩検出が前記被写体の両目が開いていると確認するときに前記カメラシャッターを作動させるようにさらに構成される、請求項６に記載の装置。
【請求項１１】
瞬きおよび逸視回避のために構成された装置であって、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼を検出するための手段と、
前記被写体の視線方向がカメラの中央に置かれたとき、および／または前記被写体の両目が開いているときに前記被写体の画像をキャプチャするために、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングするための手段と、
前記将来の推定時間期間の間に前記被写体の少なくとも１つの閉眼が検出されたときに、前記将来の推定時間期間の間にあらかじめ定められた時間の期間にわたって前記カメラシャッターの前記作動を遅延させるための手段とを備える、装置。
【請求項１２】
瞬きおよび逸視回避のためのコンピュータプログラム製品であって、
プログラムコードを記録した非一時的コンピュータ可読媒体のためのコードを備えるコンピュータ可読媒体を備え、前記プログラムコードがプロセッサによって実行され、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼を検出するためのプログラムコードと、
前記被写体の視線方向がカメラの中央に置かれたとき、および／または前記被写体の両目が開いているときに前記被写体の画像をキャプチャするために、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングするためのプログラムコードと、
前記将来の推定時間期間の間に前記被写体の少なくとも１つの閉眼が検出されたときに、前記将来の推定時間期間の間にあらかじめ定められた時間の期間にわたって前記カメラシャッターの前記作動を遅延させるためのプログラムコードとを備える、コンピュータプログラム製品。
【請求項１３】
カメラによる瞬きおよび逸視回避の方法であって、
前記カメラシャッターを作動させるための入力を受信した後、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼が検出されたときに、画像のバーストをキャプチャするためにカメラシャッターを作動させることと、
画像の前記バーストから前記被写体の視線方向が前記カメラの中央に置かれ、および／または前記被写体の両目が開いている少なくとも１つの画像を記憶することと、を備える、方法。
【請求項１４】
前記被写体の前記視線方向が前記カメラの中央に置かれたとき、および／または前記被写体の両目が開いているときに、前記被写体の画像をキャプチャして記憶するために前記カメラシャッターを作動させることをさらに備える、請求項１３に記載の方法。
【請求項１５】
画像の前記バーストから前記逸視および／または前記少なくとも１つの閉眼を有する各画像を削除することをさらに備える、請求項１３に記載の方法。
【請求項１６】
瞬きおよび逸視回避のために構成された装置であって、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサが、
前記カメラシャッターを作動させるための入力を受信した後、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼が検出されたときに、画像のバーストをキャプチャするためにカメラシャッターを作動させて、
画像の前記バーストから前記被写体の視線方向がカメラの中央に置かれ、および／または前記被写体の両目が開いている少なくとも１つの画像を記憶するように構成される、装置。
【請求項１７】
前記少なくとも１つのプロセッサが、前記被写体の前記視線方向が前記カメラの中央に置かれたとき、および／または前記被写体の両目が開いているときに、前記被写体の画像をキャプチャして記憶するために前記カメラシャッターを作動させるようにさらに構成される、請求項１６に記載の装置。
【請求項１８】
前記少なくとも１つのプロセッサが、画像の前記バーストから前記逸視および／または前記少なくとも１つの閉眼を有する各画像を削除するようにさらに構成される、請求項１６に記載の装置。
【請求項１９】
瞬きおよび逸視回避のために構成された装置であって、
前記カメラシャッターを作動させるための入力を受信した後、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼が検出されたときに、画像のバーストをキャプチャするためにカメラシャッターを作動させるための手段と、
画像の前記バーストから前記被写体の視線方向がカメラの中央に置かれ、および／または前記被写体の両目が開いている少なくとも１つの画像を記憶するための手段とを備える、装置。
【請求項２０】
瞬きおよび逸視回避のためのコンピュータプログラム製品であって、
プログラムコードを記録した非一時的コンピュータ可読媒体のためのコードを備えるコンピュータ可読媒体を備え、前記プログラムコードがプロセッサによって実行され、
前記カメラシャッターを作動させるための入力を受信した後、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼が検出されたときに、画像のバーストをキャプチャするためにカメラシャッターを作動させるためのプログラムコードと、
画像の前記バーストから前記被写体の視線方向がカメラの中央に置かれ、および／または前記被写体の両目が開いている少なくとも１つの画像を記憶するためのプログラムコードとを備える、コンピュータプログラム製品。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
[0091]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
カメラによる瞬きおよび逸視回避の方法であって、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼を検出することと、
前記被写体の視線方向が前記カメラの中央に置かれたとき、および／または前記被写体の両目が開いているときに前記被写体の画像をキャプチャするために、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングすることと、を備える、方法。
［Ｃ２］
前記検出することが、
前記被写体の顔の位置を決定することと、
前記顔の位置を決定することに応答して、前記被写体の少なくとも１つの虹彩を検出することと、
前記顔の位置と前記少なくともオン虹彩とに少なくとも部分的に基づいて、前記被写体の前記視線方向を決定することと、
前記被写体の少なくとも前記視線方向が前記カメラの中央に置かれている、および／または前記被写体の両目が開いている前記将来の時間期間を推定することと、を備える、Ｃ１に記載の方法。
［Ｃ３］
前記将来の推定時間期間の間に前記被写体の少なくとも１つの閉眼が検出されたときに、前記将来の推定時間期間の間にあらかじめ定められた時間の期間にわたって前記カメラシャッターの前記作動を遅延させることをさらに備える、Ｃ２に記載の方法。
［Ｃ４］
前記あらかじめ定められた時間の期間が平均瞬き長よりも長い、Ｃ３に記載の方法。
［Ｃ５］
前記検出することが、
前記被写体の顔の動きが検出されたときに、前記被写体の顔認識と虹彩検出とを起動することと、
前記顔の動きが、前記検出された顔の動きの速度と方向とに従って、前記被写体の前記視線方向を前記カメラの中央に置く前記将来の時間期間を推定することと、
前記将来の推定時間期間の間に、前記カメラシャッターを作動させる前に、前記被写体の前記視線方向が前記カメラの中央に置かれていること、および／または前記被写体の両目が開いていることを確認するために前記顔認識と前記虹彩検出とを起動することとを備える、Ｃ１に記載の方法。
［Ｃ６］
前記入力が、前記将来の時間期間の開始を示すタイマであり、顔認識が、前記被写体の前記視線方向が前記カメラの中央に置かれていると確認する、および／または虹彩検出が前記被写体の両目が開いていると確認するときに前記カメラシャッターを作動させることをさらに備える、Ｃ１に記載の方法。
［Ｃ７］
瞬きおよび逸視回避のために構成された装置であって、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサが、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼を検出して、
前記被写体の視線方向がカメラの中央に置かれたとき、および／または前記被写体の両目が開いているときに前記被写体の画像をキャプチャするために、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングするように構成される、装置。
［Ｃ８］
前記少なくとも１つのプロセッサが、
前記被写体の顔の位置を決定して、
前記顔の位置を決定することに応答して、前記被写体の少なくとも１つの虹彩を検出して、
前記顔の位置と前記少なくともオン虹彩とに少なくとも部分的に基づいて、前記被写体の前記視線方向を決定して、
前記被写体の少なくとも前記視線方向が前記カメラの中央に置かれている、および／または前記被写体の両目が開いている前記将来の時間期間を推定するようにさらに構成される、Ｃ７に記載の装置。
［Ｃ９］
前記少なくとも１つのプロセッサが、前記将来の推定時間期間の間に前記被写体の少なくとも１つの閉眼が検出されたときに、前記将来の推定時間期間の間にあらかじめ定められた時間の期間にわたって前記カメラシャッターの前記作動を遅延させるようにさらに構成される、Ｃ７に記載の装置。
［Ｃ１０］
前記あらかじめ定められた時間の期間が平均瞬き長よりも長い、Ｃ９に記載の装置。
［Ｃ１１］
前記少なくとも１つのプロセッサが、
前記被写体の顔の動きが検出されたときに、前記被写体の顔認識と虹彩検出とを起動して、
前記顔の動きが、前記検出された顔の動きの速度と方向とに従って、前記被写体の前記視線方向をカメラの中央に置く前記将来の時間期間を推定して、
前記将来の推定時間期間の間に、前記カメラシャッターを作動させる前に、前記被写体の前記視線方向が前記カメラの中央に置かれていること、および／または前記被写体の両目が開いていることを確認するために前記顔認識と前記虹彩検出とを起動するようにさらに構成される、Ｃ７に記載の装置。
［Ｃ１２］
前記入力が、前記将来の時間期間の開始を示すタイマであり、
前記少なくとも１つのプロセッサが、顔認識が、前記被写体の前記視線方向がカメラの中央に置かれていると確認する、および／または虹彩検出が前記被写体の両目が開いていると確認するときに前記カメラシャッターを作動させるようにさらに構成される、Ｃ７に記載の装置。
［Ｃ１３］
瞬きおよび逸視回避のために構成された装置であって、前記装置が備え、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼を検出するための手段と、
前記被写体の視線方向がカメラの中央に置かれたとき、および／または前記被写体の両目が開いているときに前記被写体の画像をキャプチャするために、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングするための手段とを備える、装置。
［Ｃ１４］
瞬きおよび逸視回避のためのコンピュータプログラム製品であって、
プログラムコードを記録した非一時的コンピュータ可読媒体のためのコードを備えるコンピュータ可読媒体を備え、前記プログラムコードがプロセッサによって実行され、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼を検出するためのプログラムコードと、
前記被写体の視線方向がカメラの中央に置かれたとき、および／または前記被写体の両目が開いているときに前記被写体の画像をキャプチャするために、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングするためのプログラムコードとを備える、コンピュータプログラム製品。
［Ｃ１５］
カメラによる瞬きおよび逸視回避の方法であって、
前記カメラシャッターを作動させるための入力を受信した後、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼が検出されたときに、画像のバーストをキャプチャするためにカメラのシャッターを作動させることと、
前記被写体の視線方向が前記カメラの中央に置かれ、および／または前記被写体の両目が開いている画像の前記バーストから少なくとも１つの画像を記憶することと、を備える、方法。
［Ｃ１６］
前記被写体の前記視線方向が前記カメラの中央に置かれたとき、および／または前記被写体の両目が開いているときに、前記被写体の画像をキャプチャして記憶するために前記カメラシャッターを作動させることをさらに備える、Ｃ１５に記載の方法。
［Ｃ１７］
前記逸視および／または前記少なくとも１つの閉眼を有する画像の前記バーストから各画像を削除することをさらに備える、Ｃ１５に記載の方法。
［Ｃ１８］
瞬きおよび逸視回避のために構成された装置であって、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサが、
前記カメラシャッターを作動させるための入力を受信した後、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼が検出されたときに、画像のバーストをキャプチャするためにカメラのシャッターを作動させて、
前記被写体の視線方向がカメラの中央に置かれ、および／または前記被写体の両目が開いている画像の前記バーストから少なくとも１つの画像を記憶するように構成される、装置。
［Ｃ１９］
前記少なくとも１つのプロセッサが、前記被写体の前記視線方向が前記カメラの中央に置かれたとき、および／または前記被写体の両目が開いているときに、前記被写体の画像をキャプチャして記憶するために前記カメラシャッターを作動させるようにさらに構成される、Ｃ１８に記載の装置。
［Ｃ２０］
前記少なくとも１つのプロセッサが、前記逸視および／または前記少なくとも１つの閉眼を有する画像の前記バーストから各画像を削除するようにさらに構成される、Ｃ１８に記載の装置。
［Ｃ２１］
瞬きおよび逸視回避のために構成された装置であって、前記装置が備え、
前記カメラシャッターを作動させるための入力を受信した後、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼が検出されたときに、画像のバーストをキャプチャするためにカメラのシャッターを作動させるための手段と、
前記被写体の視線方向がカメラの中央に置かれ、および／または前記被写体の両目が開いている画像の前記バーストから少なくとも１つの画像を記憶するための手段とを備える、装置。
［Ｃ２２］
瞬きおよび逸視回避のためのコンピュータプログラム製品であって、
プログラムコードを記録した非一時的コンピュータ可読媒体のためのコードを備えるコンピュータ可読媒体を備え、前記プログラムコードがプロセッサによって実行され、
前記カメラシャッターを作動させるための入力を受信した後、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼が検出されたときに、画像のバーストをキャプチャするためにカメラのシャッターを作動させるためのプログラムコードと、
前記被写体の視線方向がカメラの中央に置かれ、および／または前記被写体の両目が開いている画像の前記バーストから少なくとも１つの画像を記憶するためのプログラムコードとを備える、コンピュータプログラム製品。
【手続補正書】
【提出日】平成28年11月25日(2016.11.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラによる瞬きおよび逸視回避の方法であって、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼を検出することと、
いつ前記被写体の視線方向が前記カメラの中央に置かれるか、および／またはいつ前記被写体の両目が開いているかの推定に基づいて、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングすることと、
前記将来の推定時間期間に、前記被写体が少なくとも１つの閉眼を有するかどうかを決定することと、
前記被写体が少なくとも１つの閉眼を有するときに、前記将来の推定時間期間にあらかじめ定められた時間の期間にわたって前記カメラシャッターの前記作動を遅延させることと、を備える、方法。
【請求項２】
前記検出することが、
前記被写体の顔の位置を決定することと、
前記顔の位置を決定することに応答して、前記被写体の少なくとも１つの虹彩を検出することと、
前記顔の位置と前記少なくとも１つの虹彩とに少なくとも部分的に基づいて、前記被写体の前記視線方向を決定することと、
前記被写体の少なくとも前記視線方向が前記カメラの中央に置かれている、および／または前記被写体の両目が開いている前記将来の時間期間を推定することと、を備える、請求項１に記載の方法。
【請求項３】
前記あらかじめ定められた時間の期間が平均瞬き長よりも長い、請求項１に記載の方法。
【請求項４】
前記検出することが、
前記被写体の顔の動きが検出されたときに、前記被写体の顔認識と虹彩検出とを起動することと、
前記顔の動きが、前記検出された顔の動きの速度と方向とに従って、前記被写体の前記視線方向を前記カメラの中央に置く前記将来の時間期間を推定することと、
前記将来の推定時間期間の間に、前記カメラシャッターを作動させる前に、前記被写体の前記視線方向が前記カメラの中央に置かれていること、および／または前記被写体の両目が開いていることを確認するために前記顔認識と前記虹彩検出とを起動することとを備える、請求項１に記載の方法。
【請求項５】
前記入力が、前記将来の時間期間の開始を示すタイマであり、顔認識が、前記被写体の前記視線方向が前記カメラの中央に置かれていると確認する、および／または虹彩検出が前記被写体の両目が開いていると確認するときに前記カメラシャッターを作動させることをさらに備える、請求項１に記載の方法。
【請求項６】
瞬きおよび逸視回避のために構成された装置であって、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサが、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼を検出して、
いつ前記被写体の視線方向がカメラの中央に置かれるか、および／またはいつ前記被写体の両目が開いているかの推定に基づいて、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングして、
前記将来の推定時間期間に、前記被写体が少なくとも１つの閉眼を有するかどうかを決定して、
前記被写体が少なくとも１つの閉眼を有するときに、前記将来の推定時間期間にあらかじめ定められた時間の期間にわたって前記カメラシャッターの前記作動を遅延させるように構成される、装置。
【請求項７】
前記少なくとも１つのプロセッサが、
前記被写体の顔の位置を決定して、
前記顔の位置を決定することに応答して、前記被写体の少なくとも１つの虹彩を検出して、
前記顔の位置と前記少なくとも１つの虹彩とに少なくとも部分的に基づいて、前記被写体の前記視線方向を決定して、
前記被写体の少なくとも前記視線方向が前記カメラの中央に置かれている、および／または前記被写体の両目が開いている前記将来の時間期間を推定するようにさらに構成される、請求項６に記載の装置。
【請求項８】
前記あらかじめ定められた時間の期間が平均瞬き長よりも長い、請求項６に記載の装置。
【請求項９】
前記少なくとも１つのプロセッサが、
前記被写体の顔の動きが検出されたときに、前記被写体の顔認識と虹彩検出とを起動して、
前記顔の動きが、前記検出された顔の動きの速度と方向とに従って、前記被写体の前記視線方向をカメラの中央に置く前記将来の時間期間を推定して、
前記将来の推定時間期間の間に、前記カメラシャッターを作動させる前に、前記被写体の前記視線方向が前記カメラの中央に置かれていること、および／または前記被写体の両目が開いていることを確認するために前記顔認識と前記虹彩検出とを起動するようにさらに構成される、請求項６に記載の装置。
【請求項１０】
前記入力が、前記将来の時間期間の開始を示すタイマであり、
前記少なくとも１つのプロセッサが、顔認識が、前記被写体の前記視線方向がカメラの中央に置かれていると確認する、および／または虹彩検出が前記被写体の両目が開いていると確認するときに前記カメラシャッターを作動させるようにさらに構成される、請求項６に記載の装置。
【請求項１１】
瞬きおよび逸視回避のために構成された装置であって、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼を検出するための手段と、
いつ前記被写体の視線方向がカメラの中央に置かれるか、および／またはいつ前記被写体の両目が開いているかの推定に基づいて、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングするための手段と、
前記将来の推定時間期間に、前記被写体が少なくとも１つの閉眼を有するかどうかを決定するための手段と、
前記被写体が少なくとも１つの閉眼を有するときに、前記将来の推定時間期間にあらかじめ定められた時間の期間にわたって前記カメラシャッターの前記作動を遅延させるための手段とを備える、装置。
【請求項１２】
瞬きおよび逸視回避のためのプログラムコードを記録した非一時的コンピュータ可読媒体であって、前記プログラムコードがプロセッサによって実行され、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の前記逸視、および／または前記被写体の少なくとも１つの閉眼を検出するためのプログラムコードと、
いつ前記被写体の視線方向がカメラの中央に置かれるか、および／またはいつ前記被写体の両目が開いているかの推定に基づいて、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングするためのプログラムコードと、
前記将来の推定時間期間に、前記被写体が少なくとも１つの閉眼を有するかどうかを決定するためのプログラムコードと、
前記被写体が少なくとも１つの閉眼を有するときに、前記将来の推定時間期間にあらかじめ定められた時間の期間にわたって前記カメラシャッターの前記作動を遅延させるためのプログラムコードとを備える、非一時的コンピュータ可読媒体。
【請求項１３】
カメラによる瞬きおよび逸視回避の方法であって、
被写体の画像をキャプチャするためにカメラシャッターを作動させるための入力を受信することと、
前記入力に応答して、被写体が前記逸視および／または少なくとも１つの閉眼を有するかどうかを決定することと、
前記被写体が前記逸視および／または前記少なくとも１つの閉眼を有すると決定することに応答して、時間期間にわたって複数の画像をキャプチャするためにカメラシャッターを作動させることと、
前記時間期間の後、前記複数の画像から前記被写体の視線方向が前記カメラの中央に置かれ、および／または前記被写体の両目が開いている画像を識別することと、
前記識別された画像を記憶することと、を備える、方法。
【請求項１４】
前記時間期間の後、前記複数の画像から前記逸視および／または前記少なくとも１つの閉眼を有する各画像を削除することをさらに備える、請求項１３に記載の方法。
【請求項１５】
瞬きおよび逸視回避のために構成された装置であって、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサが、
被写体の画像をキャプチャするためにカメラシャッターを作動させるための入力を受信して、
前記入力に応答して、被写体が前記逸視および／または少なくとも１つの閉眼を有するかどうかを決定して、
前記被写体が前記逸視、および／または前記少なくとも１つの閉眼を有すると決定することに応答して、時間期間をわたって複数の画像をキャプチャするためにカメラシャッターを作動させて、
前記時間期間の後、前記複数の画像から前記被写体の視線方向がカメラの中央に置かれ、および／または前記被写体の両目が開いている画像を識別して、
前記識別された画像を記憶するように構成される、装置。
【請求項１６】
前記少なくとも１つのプロセッサが、前記複数の画像から前記逸視および／または前記少なくとも１つの閉眼を有する各画像を削除するようにさらに構成される、請求項１５に記載の装置。
【請求項１７】
瞬きおよび逸視回避のために構成された装置であって、
被写体の画像をキャプチャするためにカメラシャッターを作動させるための入力を受信するための手段と、
前記入力に応答して、被写体が前記逸視および／または少なくとも１つの閉眼を有するかどうかを決定するための手段と、
前記被写体が前記逸視、および／または前記少なくとも１つの閉眼を有すると決定することに応答して、時間期間にわたって複数の画像をキャプチャするためにカメラシャッターを作動させるための手段と、
前記時間期間の後、前記複数の画像から前記被写体の視線方向がカメラの中央に置かれ、および／または前記被写体の両目が開いている画像を識別するための手段と、
前記識別された画像を記憶するための手段とを備える、装置。
【請求項１８】
瞬きおよび逸視回避のためのプログラムコードを記録した非一時的コンピュータ可読媒体であって、前記プログラムコードがプロセッサによって実行され、
被写体の画像をキャプチャするためにカメラシャッターを作動させるための入力を受信するためのプログラムコードと、
前記入力に応答して、被写体が前記逸視および／または少なくとも１つの閉眼を有するかどうかを決定するためのプログラムコードと、
前記被写体が前記逸視、および／または前記少なくとも１つの閉眼を有すると決定することに応答して、時間期間にわたって複数の画像をキャプチャするためにカメラシャッターを作動させるためのプログラムコードと、
前記時間期間の後、前記複数の画像から前記被写体の視線方向がカメラの中央に置かれ、および／または前記被写体の両目が開いている画像を識別するためのプログラムコード、
前記識別された画像を記憶するためのプログラムコードとを備える、非一時的コンピュータ可読媒体。
【手続補正書】
【提出日】平成29年2月28日(2017.2.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラによる瞬きおよび逸視回避の方法であって、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の逸視、および／または前記被写体の少なくとも１つの閉眼を検出することと、
いつ前記被写体の視線方向が前記カメラの中央に置かれるか、および／またはいつ前記被写体の両目が開いているかの推定に基づいて、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングすることと、前記将来の推定時間時間が、瞬きのタイミングおよび／または逸視のタイミングでトレーニングされた人工ニューラルネットワークによって提供される、
前記将来の推定時間期間に、前記被写体が少なくとも１つの閉眼を有するかどうかを決定することと、
前記被写体が前記少なくとも１つの閉眼を有するときに、前記将来の推定時間期間にあらかじめ定められた時間の期間にわたって前記カメラシャッターの前記作動を遅延させることと、
を備える、方法。
【請求項２】
前記検出することが、
前記被写体の顔の位置を決定することと、
前記顔の位置を決定することに応答して、前記被写体の少なくとも１つの虹彩を検出することと、
前記顔の位置と前記少なくとも１つの虹彩とに少なくとも部分的に基づいて、前記被写体の前記視線方向を決定することと、
前記被写体の少なくとも前記視線方向が前記カメラの中央に置かれている、および／または前記被写体の両目が開いている前記将来の推定時間期間を推定することと、
を備える、請求項１に記載の方法。
【請求項３】
前記あらかじめ定められた時間の期間が平均瞬き長よりも長い、請求項１に記載の方法。
【請求項４】
前記検出することが、
前記被写体の顔の動きが検出されたときに、前記被写体の顔認識と虹彩検出とを起動することと、
前記顔の動きが、前記検出された顔の動きの速度と方向とに従って、前記被写体の前記視線方向を前記カメラの中央に置く前記将来の推定時間期間を推定することと、
前記将来の推定時間期間の間に、前記カメラシャッターを作動させる前に、前記被写体の前記視線方向が前記カメラの中央に置かれていること、および／または前記被写体の両目が開いていることを確認するために前記顔認識と前記虹彩検出とを起動することと
を備える、請求項１に記載の方法。
【請求項５】
前記入力が、前記将来の推定時間期間の開始を示すタイマであり、顔認識が、前記被写体の前記視線方向が前記カメラの中央に置かれていると確認する、および／または虹彩検出が前記被写体の両目が開いていると確認するときに前記カメラシャッターを作動させることをさらに備える、請求項１に記載の方法。
【請求項６】
瞬きおよび逸視回避のために構成されたカメラであって、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサと
を備え、前記少なくとも１つのプロセッサが、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の逸視、および／または前記被写体の少なくとも１つの閉眼を検出して、
いつ前記被写体の視線方向が前記カメラの中央に置かれるか、および／またはいつ前記被写体の両目が開いているかの推定に基づいて、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングして、前記将来の推定時間時間が、瞬きのタイミングおよび／または逸視のタイミングでトレーニングされた人工ニューラルネットワークによって提供され、
前記将来の推定時間期間に、前記被写体が少なくとも１つの閉眼を有するかどうかを決定して、
前記被写体が前記少なくとも１つの閉眼を有するときに、前記将来の推定時間期間にあらかじめ定められた時間の期間にわたって前記カメラシャッターの前記作動を遅延させる
ように構成される、カメラ。
【請求項７】
前記少なくとも１つのプロセッサが、
前記被写体の顔の位置を決定して、
前記顔の位置を決定することに応答して、前記被写体の少なくとも１つの虹彩を検出して、
前記顔の位置と前記少なくとも１つの虹彩とに少なくとも部分的に基づいて、前記被写体の前記視線方向を決定して、
前記被写体の少なくとも前記視線方向が前記カメラの中央に置かれている、および／または前記被写体の両目が開いている前記将来の推定時間期間を推定する
ようにさらに構成される、請求項６に記載のカメラ。
【請求項８】
前記あらかじめ定められた時間の期間が平均瞬き長よりも長い、請求項６に記載のカメラ。
【請求項９】
前記少なくとも１つのプロセッサが、
前記被写体の顔の動きが検出されたときに、前記被写体の顔認識と虹彩検出とを起動して、
前記顔の動きが、前記検出された顔の動きの速度と方向とに従って、前記被写体の前記視線方向を前記カメラの中央に置く前記将来の推定時間期間を推定して、
前記将来の推定時間期間の間に、前記カメラシャッターを作動させる前に、前記被写体の前記視線方向が前記カメラの中央に置かれていること、および／または前記被写体の両目が開いていることを確認するために前記顔認識と前記虹彩検出とを起動する
ようにさらに構成される、請求項６に記載のカメラ。
【請求項１０】
前記入力が、前記将来の時間期間の開始を示すタイマであり、
前記少なくとも１つのプロセッサが、顔認識が、前記被写体の前記視線方向が前記カメラの中央に置かれていると確認する、および／または虹彩検出が前記被写体の両目が開いていると確認するときに前記カメラシャッターを作動させるようにさらに構成される、請求項６に記載のカメラ。
【請求項１１】
瞬きおよび逸視回避のために構成された装置であって、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の逸視、および／または前記被写体の少なくとも１つの閉眼を検出するための手段と、
いつ前記被写体の視線方向がカメラの中央に置かれるか、および／またはいつ前記被写体の両目が開いているかの推定に基づいて、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングするための手段と、前記将来の推定時間時間が、瞬きのタイミングおよび／または逸視のタイミングでトレーニングされた人工ニューラルネットワークによって提供される、
前記将来の推定時間期間に、前記被写体が少なくとも１つの閉眼を有するかどうかを決定するための手段と、
前記被写体が前記少なくとも１つの閉眼を有するときに、前記将来の推定時間期間にあらかじめ定められた時間の期間にわたって前記カメラシャッターの前記作動を遅延させるための手段と
を備える、装置。
【請求項１２】
カメラによる瞬きおよび逸視回避のための非一時的プログラムコードを記録した非一時的コンピュータ可読媒体であって、前記非一時的プログラムコードがプロセッサによって実行され、
カメラシャッターを作動させるための入力を受信することに応答して、被写体の逸視、および／または前記被写体の少なくとも１つの閉眼を検出するためのプログラムコードと、
いつ前記被写体の視線方向が前記カメラの中央に置かれるか、および／またはいつ前記被写体の両目が開いているかの推定に基づいて、前記カメラシャッターの作動を将来の推定時間期間にスケジューリングするためのプログラムコードと、前記将来の推定時間時間が、瞬きのタイミングおよび／または逸視のタイミングでトレーニングされた人工ニューラルネットワークによって提供される、
前記将来の推定時間期間に、前記被写体が少なくとも１つの閉眼を有するかどうかを決定するためのプログラムコードと、
前記被写体が前記少なくとも１つの閉眼を有するときに、前記将来の推定時間期間にあらかじめ定められた時間の期間にわたって前記カメラシャッターの前記作動を遅延させるためのプログラムコードと
を備える、非一時的コンピュータ可読媒体。
【請求項１３】
カメラによる瞬きおよび逸視回避の方法であって、
被写体の画像をキャプチャするためにカメラシャッターを作動させるための入力を受信することと、
前記入力に応答して、前記被写体が逸視および／または少なくとも１つの閉眼を有するかどうかを決定することと、
前記被写体が前記逸視および／または前記少なくとも１つの閉眼を有すると決定することに応答して、時間期間にわたって複数の画像をキャプチャするために前記カメラシャッターを作動させることと、
前記時間期間の後、前記複数の画像から前記被写体の視線方向が前記カメラの中央に置かれ、および前記被写体の両目が開いている画像を識別することと、前記複数の画像のうちの前記画像が、逸視認識および虹彩検出のためにトレーニングされた人工ニューラルネットワークによって識別される、
前記識別された画像を記憶することと、
を備える、方法。
【請求項１４】
前記被写体の前記逸視が前記カメラの中央におかれ、および／または前記被写体の両目が開いているときに、前記被写体の前記画像をキャプチャおよび記憶するために、前記カメラシャッターを作動させることをさらに備える、請求項１３に記載の方法。
【請求項１５】
前記複数の画像から前記逸視および／または前記少なくとも１つの閉眼を有する各画像を削除することをさらに備える、請求項１３に記載の方法。
【請求項１６】
瞬きおよび逸視回避のために構成されたカメラであって、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサと
を備え、前記少なくとも１つのプロセッサが、
被写体の画像をキャプチャするためにカメラシャッターを作動させるための入力を受信して、
前記入力に応答して、前記被写体が逸視および／または少なくとも１つの閉眼を有するかどうかを決定して、
前記被写体が前記逸視、および／または前記少なくとも１つの閉眼を有すると決定することに応答して、時間期間をわたって複数の画像をキャプチャするために前記カメラシャッターを作動させて、
前記時間期間の後、前記複数の画像から前記被写体の視線方向が前記カメラの中央に置かれ、および前記被写体の両目が開いている画像を識別して、前記複数の画像のうちの前記画像が、逸視認識および虹彩検出のためにトレーニングされた人工ニューラルネットワークによって識別され、
前記識別された画像を記憶する
ように構成される、カメラ。
【請求項１７】
前記少なくとも１つのプロセッサが、前記被写体の前記逸視が前記カメラの中央におかれ、および／または前記被写体の両目が開いているときに、前記被写体の前記画像をキャプチャおよび記憶するために、前記カメラシャッターを作動させるようにさらに構成される、請求項１６に記載のカメラ。
【請求項１８】
前記少なくとも１つのプロセッサが、前記複数の画像から前記逸視および／または前記少なくとも１つの閉眼を有する各画像を削除するようにさらに構成される、請求項１６に記載のカメラ。
【請求項１９】
瞬きおよび逸視回避のために構成された装置であって、
被写体の画像をキャプチャするためにカメラシャッターを作動させるための入力を受信するための手段と、
前記入力に応答して、前記被写体が逸視および／または少なくとも１つの閉眼を有するかどうかを決定するための手段と、
前記被写体が前記逸視、および／または前記少なくとも１つの閉眼を有すると決定することに応答して、時間期間にわたって複数の画像をキャプチャするために前記カメラシャッターを作動させるための手段と、
前記時間期間の後、前記複数の画像から前記被写体の視線方向がカメラの中央に置かれ、および前記被写体の両目が開いている画像を識別するための手段と、前記複数の画像のうちの前記画像が、逸視認識および虹彩検出のためにトレーニングされた人工ニューラルネットワークによって識別される、
前記識別された画像を記憶するための手段と
を備える、装置。
【請求項２０】
カメラによる瞬きおよび逸視回避のための非一時的プログラムコードを記録した非一時的コンピュータ可読媒体であって、前記非一時的プログラムコードがプロセッサによって実行され、
被写体の画像をキャプチャするためにカメラシャッターを作動させるための入力を受信するためのプログラムコードと、
前記入力に応答して、前記被写体が逸視および／または少なくとも１つの閉眼を有するかどうかを決定するためのプログラムコードと、
前記被写体が前記逸視、および／または前記少なくとも１つの閉眼を有すると決定することに応答して、時間期間にわたって複数の画像をキャプチャするために前記カメラシャッターを作動させるためのプログラムコードと、
前記時間期間の後、前記複数の画像から前記被写体の視線方向が前記カメラの中央に置かれ、および前記被写体の両目が開いている画像を識別するためのプログラムコードと、前記複数の画像のうちの前記画像が、逸視認識および虹彩検出のためにトレーニングされた人工ニューラルネットワークによって識別される、
前記識別された画像を記憶するためのプログラムコードと
を備える、非一時的コンピュータ可読媒体。
【国際調査報告】
2017517165.tif 000018
2017517165.tif 000019
2017517165.tif 000020