(57)【要約】【課題】解決が必要な技術問題は最も好い撮影の時刻を選べるデジタル撮影装置を提供することであり、該デジタル撮影装置は典型的なデジタル撮影装置が備えている機能を保持しているだけではなく、瞬間的に最も好い撮影の時刻を確定できて、撮影を行う。【解決手段】該問題を解決する技術にはカメラヘッド、メモリ回路、信号処理機が含まれるが、信号処理機には相互接続された人顔検出モデル、目口の位置測定モデル、瞬き判断口開き判断モデルが含まれ、その中で人顔検出モデルはメモリ回路が出力するデジタル影像を読み取って人顔を測定してから、その結果を目口測定モデルに伝送する。目口測定モデルは目口の位置を測定した後、その結果を瞬き判断口開き判断モデルへ伝送し、瞬き判断口開き判断モデルはその判断結果を伝送するが、制御回路は瞬き判断口開き判断モデルの判断結果が最も好い時刻である時に撮影制御命令を発する。【選択図】    図１
2006191526.tif 000002
【特許請求の範囲】
【請求項１】
撮影カメラヘッド（1）一つ、メモリ回路一つ（2）が含まれ、且つ下記の信号処理機（3）及び制御回路（4）が含まれてなることを特徴とする最も好い時刻を選択できるデジタル撮影装置。
信号処理機（3）には相互接続した人顔検出モデル（3-1）、目口測定モデル（3-2）、瞬き判断口開き判断モデル（3-3）を含まれるが、その中で人顔検出モデル（3-1）はメモリ回路が出力するデジタル影像を読み取り、人顔を測定してから、その結果を目口測定モデル（3-2）に伝送し、さらに目口測定モデル（3-2）は目口の位置を測定した後、その結果を瞬き判断口開き判断モデル（3-3）へ伝送する，瞬き判断口開き判断モデル（3-3）がその判断結果を出力する；
制御回路（4）は瞬き判断口開き判断モデルに用いられる判断結果が最も好い時刻である時には撮影制御命令を発するが、判断結果が最も好い時刻ではない場合には撮影制御命令を発しない。
【請求項２】
前記人顔検出モデル（3-1）には多尺度モデル（3-1-1）、撮影待機影像（3-1-2）、モデルマッチング演算単元（3-1-3）が含まれ、モデルマッチング演算単元はメモリ（2）から多尺度モデル（3-1-1）と撮影待機影像（3-1-2）を受信して、その演算結果を人顔影像位置（3-1-4）に伝送し、該多尺度モデル（3-1-1）、撮影待機影像（3-1-2）、人顔影像位置（3-1-4）は夫々メモリ（2）の中の異なるアドレスに保存されていることを特徴とする請求項１記載の最も好い時刻を選択できるデジタル撮影装置。
【請求項３】
前記目口測定モデル（3-2）には撮影待機影像（3-1-2）、人顔影像位置（3-1-4）、水平投影垂直投影単元（3-2-1）が含まれ、水平投影垂直投影単元はメモリ（2）から撮影待機影像（3-1-2）と人顔影像位置（3-1-4）を受信して、演算結果を目口位置（3-2-2）に伝送し、該撮影待機影像（3-1-2）、人顔影像位置（3-1-4）、目口位置（3-2-2）は夫々メモリ（2）の中の異なるアドレスに保存されていることを特徴とする請求項１記載の最も好い時刻を選択できるデジタル撮影装置。
【請求項４】
前記瞬き判断口開き判断モデル（3-3）には撮影待機影像（3-1-2）、人顔影像位置（3-1-4）、目口位置（3-2-2）、瞬き判断口開き判断単元が含まれ、瞬き判断口開き判断単元はメモリ（2）から撮影待機影像（3-1-2）と目口位置（3-2-2）を受信して、人顔毎の瞬き判断及び口開き判断結果を得て、制御回路（4）に指令を発し、該撮影待機影像（3-1-2）と目口位置（3-2-2）は夫々メモリ（2）の中の異なるアドレスに保存されていることを特徴とする請求項１記載の最も好い時刻を選択できるデジタル撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一種の最も好い時刻を選択できるデジタル撮影装置に関するものであって、特に、人の表情を読み取って、そこから撮影の時刻を確定するデジタル撮影装置である。ベテランとアマチュアの撮影愛好者、或いは普通の使用者にも適用できる。
【背景技術】
【０００２】
従来、典型的なデジタル撮影装置には撮影者のために最も好い時刻を選択させる機能が無い。典型的なデジタル撮影装置は撮影完成後で撮影した映像を振り返って見ることができる機能を備えている。例えば、使用者が撮影を完成した後、顕示装置を通じて撮影した影像を表せる。但し、特に多くの人を撮影した場合、撮影済みの数多くの写真は、被写者の瞬間的な瞬き、機嫌の変化等の影響で撮影の質を保証できなくなる。伝統的な撮影用のデジタル撮影装置は撮影時刻、被写者夫々の目の瞬き、顔表情の嬉しさと端正の可否等を見分けられないので、撮影者の撮影時刻への選択が非常に難しくなり撮影の質も保証できなくなる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は上記の問題を解決するために提出したものであり、その目的は最も好い時刻を選択できるデジタル撮影装置を提供するものであり、該デジタル撮影装置は典型的なデジタル撮影装置が持つ機能を保持した上で、瞬間的に最も好い撮影時刻を確定でき、撮影を完成できるものである。
【課題を解決するための手段】
【０００４】
本発明が採用した技術は、撮影カメラヘッド（1）一つ、メモリ回路一つ（2）が含まれ、且つ下記の信号処理機（3）及び制御回路（4）が含まれてなることを特徴とする最も好い時刻を選択できるデジタル撮影装置である。
信号処理機は相互接続した人顔検出モデル、目口測定モデル、瞬き判断口開き判断モデルを含むが、その中には：
人顔検出モデルはメモリ回路が出力するデジタル影像を読み取って、人顔を測定してから、その結果を目口測定モデルに伝送する。
目口測定モデルは目口の位置を測定してから、その結果を瞬き判断口開き判断モデルに伝送する。
瞬き判断口開き判断モデルはその判断結果を出力する。
制御回路は該瞬き判断口開き判断モデルの判断結果が最も好い撮影の時刻である場合、撮影の制御命令を発し、逆に判断結果が最も好い時刻ではない場合には撮影制御命令を発しないのである。
該人顔検出モデルには多尺度モデル、撮影待機影像、モデルマッチング演算単元が含まれるが、モデルマッチング演算単元はメモリから多尺度モデルと撮影待機影像を受信して、その演算結果を人顔影像位置に伝送する。該多尺度モデル、撮影待機影像、人顔影像位置は夫々メモリの中の異なるアドレスに保存されている。
該目口測定モデルには撮影待機影像、人顔影像位置、水平投影垂直投影単元が含まれるが、該水平投影垂直投影単元はメモリから撮影待機影像と人顔影像位置を受信して、その演算結果を目口位置に伝送する。該撮影待機影像、人顔影像位置、目口位置は夫々メモリの中の異なるアドレスに保存されている。
該瞬き判断口開き判断モデルには、撮影待機影像、目口位置、瞬き判断口開き判断単元が含まれるが、瞬き判断口開き判断単元はメモリから撮影待機影像と目口位置受信し、人毎の顔の瞬き判断と口開き判断結果を得て、制御回路に指令を発する。該撮影待機影像と目口位置は夫々メモリの中の異なるアドレスに保存されている。
【発明の効果】
【０００５】
本発明のデジタル撮影装置は下記の効果を奏する。
撮影と同時に、撮影時刻での人毎の顔の表情を容易に見分けられる。例えば、人の目が自然に開けられているか、人の顔が嬉しい表情を表しているかを確定して、最も好い撮影の時刻を選択して、撮影が完成できるが、これは人像撮影の質を最大限に高める。
【発明が実施するための最良の形態】
【０００６】
図1のように、本実施例にはカメラヘッド1、メモリ回路2、 信号処理機3及び制御回路4が含まれるが，カメラヘッド1は採集して転換した数字信号をメモリ回路2に入力し、信号処理機3はメモリ回路2に保存された数字影像に対して処理を行い、この時刻での数字影像の中の人が目を瞬いているか、表情は嬉しいかと言う判断を得て、最も好い撮影の時刻であるかを確定するが、若し、最も好い撮影の時刻であると確定した場合には、信号処理機3が制御回路4を通じて撮影制御命令を発する。
【０００７】
図2のように、信号処理機3には相互接続した人顔検出モデル3-1、目口測定モデル3-2、瞬き判断口開き判断モデル3-3が含まれるが、人顔検出モデル3-1はメモリ回路が出力した数字影像を読み取って人顔を測定した後、その結果を目口測定モデル3-2に伝送し、目口測定モデル3-2は目と口の位置を測定した後、その結果を瞬き判断口開き判断モデル3-3に伝送し、瞬き判断口開き判断モデル3-3は制御回路4にその判断結果を出力する。この場合、制御回路4が受信した判断結果が最も好い撮影の時刻であれば、撮影制御命令を発し、その判断結果が最も好い撮影の時刻でなければ、撮影制御命令を発しないのである。
【０００８】
図3のように、該人顔検出モデル3-1には多尺度モデル3-1-1、撮影待機影像3-1-2、モデルマッチング演算単元3-1-3が含まれるが、モデルマッチング演算単元はメモリ2から多尺度モデル3-1-1と撮影待機影像3-1-2を受信して、その演算結果を人顔位置3-1-4に伝送する。該多尺度モデル3-1-1、撮影待機影像3-1-2、人顔影像位置3-1-4は夫々メモリ2の中の異なるアドレスに保存されている。多尺度モデルはサイズの異なる12個の平均人顔モデルであり、該モデルは大量の人顔影像分析訓練を経て得たものである。
【０００９】
図4のように、該目口測定モデル3-2には撮影待機影像3-1-2、人顔影像位置3-1-4、水平投影垂直投影単元3-2-1が含まれるが、水平投影垂直投影単元はメモリ2の中から撮影待機影像3-1-2と人顔影像位置3-1-4を受信して、その演算結果を目口位置3-2-2に出力する。該撮影待機影像3-1-2、人顔影像位置3-1-4、目口位置3-2-2は夫々メモリ2の中の異なるアドレスに保存されている。
【００１０】
図5のように、該瞬き判断口開き判断モデル3-3には撮影待機影像3-1-2、目口位置3-2-2、瞬き判断口開き判断単元3-3-1が含まれるが、瞬き判断口開き判断単元はメモリ2の中から撮影待機影像3-1-2と目口位置3-2-2を受信して、人毎の顔の瞬き判断と口開き判断結果を得てから、制御回路4に指令を発する。該撮影待機影像3-1-2と目口位置3-2-2は夫々メモリ2の中の異なるアドレスに保存されている。
【００１１】
図6のように示したのは目口測定モデルと瞬き判断口開き判断モデルの原理図であり、水平と垂直方向から投影して便利に目口位置への確定が完成できる。瞬き判断は垂直方向投影図の中から対応する位置に三つのピークが有るかを見るが、若し、両眼が閉じられた場合に水平方向投影は一つのピークだけになる。口開き判断は口の中心位置から垂直方向の口の上辺線と下辺線に至れるが、観察を経た点に連続した非唇色点があるかを見る。
【００１２】
図7は口開き判断だけに対する原理図であるが、図6に基づいて得た口の中心位置が垂直方向に沿って上に向かって口部の上辺線yUpを探し出し、再び垂直方向に沿って下に向かって口部の下辺線yDnを探し出した後、口部の開閉程度(yUp-yDn)を得てから、それと統計から得た経験閾値の比較を通じて、口の開閉可否判断を得る。
【００１３】
図8は人顔検出モデル3-1の中のモデルマッチングの作業プロセスを表す：
S801で人顔検出のモデルマッチングを開始する
S802で賦値K=1で、Kはモデルの索引である。
S803で某モデルMkを取り出す。
S804でモデルMkをN個のミニブロックに分ける。
S805で各ミニブロックに対して小波変換を行う。
S806で各ミニブロックから最大の1/4元素を取って、一つのベクトルA(k)を構成する。
S807で全てのモデルを遍歴したかを判断するが、そうである場合にはS808処理に入り、そうではない場合にはS803処理に入る。
S808で賦値K=1で、Kはモデルの索引である。
【００１４】
S809でXとYを初期化してImageに対する索引に使う。
S810で撮影待機影像Imageを読み取る。
S811でモデルと同じ大きさのブロックSを取り出す。
S812でSをN個のミニブロックに分ける。
S813で各ミニブロックに対して小波変換を行う。
S814で各ミニブロックから最大の1/4元素を取り出して一つのベクトルB(k)を構
成する。
【００１５】
S815でXとYの偏移を増加して、それを次の画素に向かわせる。若し、Xが影像幅より小さい場合、Xだけに画素幅を増加させ、Xが影像の幅に達した場合にはXを０に設置するが、Yはその画素を増加する。
S816で影像の辺に達したかを見るが、若し、そうである場合にはS817処理に入り、そうではない場合にはS815処理に入る。
【００１６】
S817でベクトルA(k)と ベクトルB(k)の間の距離Dist  AB(k)を求める。
S818でDist  AB(k)が人顔検出の閾値Dist  Threold  Kを超えたかを見るが、若し、そうである場合にはS819処理に入り、そうではない場合にはS820処理に入る。
S819で人顔位置を記録する。
S820で全てのモデルを処理したかを見るが、若し、そうである場合にはS821処理に入り、そうではない場合にはS809処理に入る。
S822で処理が終わる。
【００１７】
図9では瞬き判断口開き判断モデル3-3の作業プロセスを表している：
Ｓ901で人顔検出モデルから得た人顔区域影像を水平方向に向けて投影する。
Ｓ902で前のステップで得た影像に二つのピークがあるかを判断するが、若し、そうである場合にはS904処理に入り、そうではない場合にはS903処理に入る。
S904でS902から計算して得た水平ピークの座標位置(y1、y2)を記録するが、実際上、y1は口の中心が水平方向上沿った投影位置であり、y2は目の中心が水平方向に沿った投影位置である。
【００１８】
S903で人顔の両目開閉状態に対した結論を得る。
S905でS902から計算して得て、水平方向に沿って投影して得たピークの座標位置(y1)を記録するが、実際上、y1は口の中心が水平方向に沿った投影位置である。
S906で人顔検出モデルから得た人顔区域影像を垂直方向に沿って投影する。
S907で前のステップで得た影像に三つのピークがあるかを判断するが、若し、そうである場合にはS909処理に入り、そうではない場合にはS908処理に入る。
S909でS907から計算して得て、垂直方向に沿って投影して得たピークの座標位置(x1、 x2、 x3)を記録するが、実際上、x1、x2、x3は夫々右目、口、左目の中心が垂直方向に沿った投影位置である。
【００１９】
S910で中心座標(x2、y1)を記録する。
S911でyUp、yDnを口の垂直座標に初期化する。
S912で(x2、yUp)に於かれている画素値が唇の色範囲内にあるかを見るが、若し、そうである場合にはS914処理に入り、そうではない場合にはS913処理に入る。
S913でyUpを１まで逓増するが、実際は垂直座標を１画素の位置まで加えることである。
S912、S913で唇の上辺線を探す時に水平座標x2は変えずに、y2を増加する同時に、増加したy2をyUpに記録し、座標(x2、yUp)に於かれている画素値が唇の色範囲内に有るかを見る。
【００２０】
S914で座標(x2,yDn)に於かれている画素値が唇の色範囲内に有るかを見る。若し、そうである場合にはS916処理に入り、そうではない場合にはS915処理に入る。
S915でyDnを１まで逓増するが、実際は垂直座標を１画素の位置まで加えることである。実際は垂直座標を１画素を減少した位置まで移動することである。
S914、S915で唇の下辺線を探す場合に、水平座標x2hは変わらなく、y2を逓減し、同時に逓減したy2をyDnにして記録するが、座標(x2,yDn)の画素値が唇の色範囲内に於かれているかを見る。
【００２１】
S916でyUpからyDnを差し引いて、又、そこから口の開閉判断閾値を差し引く。若し、口開きの閾値より大きい場合にはS918処理に入り、そうではない場合にはS917処理に入る。 
S917でこの人の顔区域影像が閉口であることを判定する。
S918でこの人の顔区域影像が開口であることを判定する。
S919で処理を完成する。
【００２２】
図10は本発明の信号処理機3の作業プロセス図を示している：
S1001で計算を始める
S1002で賦値X=1で、Xは採用しょうとする影像のフレーム数であるが、それは撮影された影像の中でどのフレームの効果が最も好いのかを決定する時に使うのである。
Ｓ1003でデジタル影像のImageXを採集する。
Ｓ1004でモデルマッチングを行う。
S1005で一人一人の顔位置FA1、FA2・・・、FaN及び全員の顔数Nを記録する。
【００２３】
S1006で賦値K=1であり、Kは一人一人の顔位置の技術であるが、其々のマッチングした人顔ベクトル使われる。
S1007でImageXからFak位置の影像ベクトルを読み取る。
S1008でImageXに対して投影を行う。
S1009で投影図の中から目の投影が存在するかを決定するが、若し、そうである場合にはS1010処理に入り、そうではない場合にはS1014処理に入る。
【００２４】
S1010で投影図の中から口部の投影が存在するかを決定するが、若し、そうである場合にはS1011処理に入り、そうではない場合にはS1014処理に入る。
S1011で口を開いているかの判断を行う必要の可否を見るが、若し、そうである場合にはS1012処理に入り、そうではない場合にはS1013処理に入る。
S1012で口を開いたかを判断するが、若し、そうである場合にはS1013処理に入り、そうではない場合にはS1014処理に入る。
【００２５】
S1013で目下比較的に好い人顔数を1に増加する。
S1014で目下採集した影像に正常ポーズに置かれた人顔が前に検出した時より多いかを判断するが、若し、そうである場合にはS1015処理に入り、そうではない場合にはS1016処理に入る。
S1016で影像中の全員の顔が既に全部処理完成されたかを見るが、若し、そうである場合にはS1017処理に入り、そうではない場合にはS1018処理に入る。
S1017で既に十分なフレーム数を処理し終えたかを判断するが、若し、そうである場合にはS1020処理に入り、そうではない場合にはS1019処理に入る。
S1020でメモリから最も好い人顔影像フレームを保存する。
S1021から撮影制御命令を発するが、完成後の処理と撮影状態設定への指示を下ろす。
【産業上の利用可能性】
【００２６】
本発明のデジタル撮影装置は撮影カメラに好適に用いられる。
デジタル撮影装置。
【図面の簡単な説明】
【００２７】
【図１】本発明の系統構造図である。
【図２】図1の信号処理機の構造概略図である。
【図３】図2の人顔検出中モデルの構造概略図である。
【図４】図2の目口測定モデルの構造概略図である。
【図５】図2の瞬き口開き判断モデルの構造概略図である。
【図６】目口測定モデルと瞬き判断口開き判断モデルの原理図である。
【図７】瞬き判断口開き判断モデルの中で口開き判断だけに関する原理図である。
【図８】本発明のモデルとマッチングした作業プロセス図である。
【図９】本発明の瞬き判断口開き判断モデルの作業プロセス図である。
【図１０】本発明の信号処理器の作業プロセス図である。
【図１】
2006191526.tif 000003
【図２】
2006191526.tif 000004
【図３】
2006191526.tif 000005
【図４】
2006191526.tif 000006
【図５】
2006191526.tif 000007
【図６】
2006191526.tif 000008
【図７】
2006191526.tif 000009
【図８】
2006191526.tif 000010
【図９】
2006191526.tif 000011
【図１０】
2006191526.tif 000012