(57)【特許請求の範囲】
【請求項１】
被写体からの画像光を集光する対物レンズ(30)と、
該対物レンズ(30)により合焦された被写体画像の輝度レベルに基づいて、電気信号を出力する撮像素子と、デジタル変換された画像信号を複数枚格納可能な画像メモリ(４)と、画像メモリ(４)に繋がった制御回路(２)とを具えたデジタルカメラに於いて、
画像メモリ(４)は、被写体である人間の顔の特徴部分を抽出する顔特徴点抽出回路(70)に繋がると共に、複数のブロックに区分けされて、各ブロックにデジタル画像が格納され、
制御回路(２)は、顔特徴点抽出回路(70)が抽出した被写体画像の輝度信号に含まれる顔の特徴部分の高域成分を検索して、一定レベル以上の高域成分を有するデジタル画像を探す判別回路(５)に接続され、
制御回路(２)は、判別回路(５)により高域成分が一定レベル未満と判断されたデジタル画像を消去し、一定レベル以上の高域成分を有する画像を画像メモリ(４)に保存することを特徴とするデジタルカメラ。
【請求項２】
制御回路(２)は、一定レベル以上の高域成分を有する画像のうち最も高いレベルの高域成分を有する画像のみを格納する請求項１に記載のデジタルカメラ。
【請求項３】
被写体を撮影するモードは、連写である請求項２に記載のデジタルカメラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ及びその画像処理方法に関する。
【０００２】
【従来の技術】
図８は、従来のデジタルカメラの内部ブロック図である(特開２００１−３１３６８０号参照)。被写体に反射された光は対物レンズ(30)によって撮像素子であるＣＣＤ(33)の受光面に合焦する。ＣＣＤ(33)は駆動回路(35)によって露光及び出力タイミングを制御されて、入射光をアナログ電気信号に変換して出力する。即ち、入射光の輝度レベルが高いと、電気信号のレベルも高くなる。ＣＣＤ(33)からの出力信号はアナログ信号処理回路(34)に入力されて、サンプリングホールドやゲイン調整が施された後に、Ａ／Ｄコンバータ(38)によりデジタル信号に変換されて、制御回路(２)を介して、画像メモリ(４)又はメモリカード(９)に格納される。画像メモリ(４)又はメモリカード(９)内の画像は、制御回路(２)を介してＤ／Ａコンバータ(80)によりアナログ画像に変換された後に、液晶パネル(８)に表示される。
【０００３】
被写体の静止画像を連続して撮影した場合に、撮影者の手振れや被写体の動きにより、ぶれた画像を撮ってしまうことがある。このように、ぶれて解像度の低い画像は、見映えが悪いから、撮影者は被写体の撮影の後に、メモリカード(９)から連写した画像を１枚ずつチェックし、ぶれた画像を見つけると、操作釦(図示せず)を操作して制御回路(２)を介して消去していた。また、被写体の動きを撮影した動画の場合は、動画を一旦全てメモリカード(９)に保存した後に、ぶれた動画部分を消去していた。
【０００４】
【発明が解決しようとする課題】
従来のデジタルカメラでは、ぶれた画像を撮ってしまった場合は、その都度該画像を手動で消去する必要があった。
この点に鑑みて、特開平１０−１７４０２７号には、図８に一点鎖線で示す構成が開示されている。これは制御回路(２)にＡ／Ｄコンバータ(15)を介して手振れ検出センサ(16)を設け、該手振れ検出センサ(16)が手振れを検出した時は、制御回路(２)にその旨の信号を送り、制御回路(２)は画像メモリ(４)又はメモリカード(９)内に格納されたぶれた画像に、ぶれている旨の表示を重ねて記録する。しかし、これではぶれた画像を検索することは便利になっても、依然として手動でぶれた画像を消去しなければならない。出願人は手振れ等により、被写体画像がＣＣＤ(33)の受光面に合焦しないと、輝度レベルが低下して、ビデオ信号中の高周波成分である高域成分のレベルが低下することに鑑みて、該高域成分のレベルからぶれた画像を自動的に検出することを着想した。
本発明の目的は、ぶれた画像を自動的に消去するデジタルカメラを提供することにある。
【０００５】
【課題を解決する為の手段】
画像メモリ(４)は、被写体である人間の顔の特徴部分を抽出する顔特徴点抽出回路(70)に繋がると共に、複数のブロックに区分けされて、各ブロックにデジタル画像が格納され、
制御回路(２)は、顔特徴点抽出回路(70)が抽出した被写体画像の輝度信号に含まれる顔の特徴部分の高域成分を検索して、一定レベル以上の高域成分を有するデジタル画像を探す判別回路(５)に接続され、
制御回路(２)は、判別回路(５)により高域成分が一定レベル未満と判断されたデジタル画像を消去し、一定レベル以上の高域成分を有する画像を画像メモリ(４)に保存する。
【０００６】
【作用及び効果】
判別回路(５)は顔特徴点抽出回路(70)が抽出した被写体画像の輝度信号に含まれる顔の特徴部分の高域成分を検索して、一定レベル以上の高域成分を有するデジタル画像を探す。従って、誤って顔がぶれた画像を撮ってしまっても、判別回路(５)によって画像の高域成分が一定レベル未満と判断されれば、制御回路(２)は該画像を消去するから、高域成分が一定レベル以上のデジタル画像のみが画像メモリ(４)に格納され続ける。即ち、ぶれた画像は自動的に消去されるから、手動でぶれた画像を消去する必要がなく、使い勝手が良くなる。
【０００７】
【発明の実施の形態】
以下、本発明の一例を図を用いて詳述する。
図１(a)は、カメラ本体(１)の斜視図、図１(b)は、図１(a)を背後から見た斜視図である。カメラ本体(１)上には、シャッタ釦(10)、ストロボ(70)の他に、後記の自動保存及び消去モードに設定するときに操作される切換スイッチ(ＳＷ)が設けられている。カメラ本体(１)には、デジタル画像を格納可能なメモリカード(９)が挿入される開口(11)が設けられている。撮った画像は、カメラ本体(１)の背面に設けられた液晶パネル(８)にて確認できる。本例にあっては、ぶれた画像を自動的に消去する点に特徴がある。
【０００８】
図２は、本例のデジタルカメラの内部ブロック図である。対物レンズ(30)を含むオートフォーカス機構(３)からはデジタル画像信号が出力され、該デジタル画像信号はデジタル信号処理回路(６)にて輝度信号と色差信号に分離変換されるとともに、色補正やガンマ補正等の処理が行われた後に、制御回路(２)に入力される。
制御回路(２)には、プログラムが格納されたＲＯＭ(20)、液晶パネル(８)に表示する文字やキャラクタが格納されたＲＡＭ(21)、デジタル画像が格納される画像メモリ(４)が接続されている。制御回路(２)には、またＤ／Ａコンバータ(80)を介して前記液晶パネル(８)、圧縮伸長回路(90)を介してメモリカード(９)が接続される。画像メモリ(４)には、制御回路(２)に繋がった判別回路(５)が接続され、判別回路(５)には高域成分の一定レベル値が予め格納されており、カメラ本体(１)が自動保存及び消去モードに設定されたときは、判別回路(５)は画像メモリ(４)内の画像の輝度信号に含まれる高域成分の積分値が一定レベル以上であるか否かを判別する。
【０００９】
図３は、オートフォーカス機構(３)の内部構成を示すブロック図である(特開平４−８４５７２号参照)。被写体を向く対物レンズ(30)には、ラック(31)が設けられ、該ラック(31)はギア列(32)を介して、モータ(Ｍ)により、被写体に接近離間可能に設けられている。モータ(Ｍ)には駆動回路(35)から給電される。対物レンズ(30)からの光は、ＣＣＤ(33)にて電気信号に変換され、アナログ信号処理回路(34)にてサンプリングホールドやゲイン調整が施された後に、ハイパスフィルタ(ＨＰＦ)(36)にて高周波成分である高域成分が取り出され、積分回路(37)で積分された後に、Ａ／Ｄコンバータ(38)にてデジタル信号に変換される。該デジタル化された積分値は制御回路(２)、コンパレータ(69)の一方の端子、及びメモリ(39)に入力される。アナログ信号処理回路(34)からの画像信号は、Ａ／Ｄコンバータ(68)にてデジタル変換されて、前記デジタル信号処理回路(６)にも供給される。
【００１０】
コンパレータ(69)の他方の端子には、メモリ(39)によって前回の撮像時に撮られた高域成分の積分値であるレベルが入力されている。コンパレータ(69)は今回のレベルの方が大きい場合はハイの信号を駆動回路(35)に出力し、今回のレベルの方が小さい場合はローの信号を駆動回路(35)に出力する。駆動回路(35)は、ＣＣＤ(33)にシャッタパルスを供給するとともに、コンパレータ(69)の出力信号に応じてモータ(Ｍ)に通電し、対物レンズ(30)を光軸Ｌに沿って動かす。
図４は、高域成分の積分値であるレベルと対物レンズ(30)の光軸上の位置の関係を示すグラフである。当初の対物レンズ(30)の位置を、図４の１の位置とする。メモリ(39)にはこのときのレベルが格納されている。駆動回路(35)は対物レンズ(30)を光軸Ｌに沿って２の位置に動かす。このときの高域成分のレベルは、１の位置のときのレベルよりも大きいから、コンパレータ(69)はハイの信号を駆動回路(35)に出力し、メモリ(39)には２の位置に於けるレベルが格納される。駆動回路(35)は更に対物レンズ(30)を同じ方向に動かし、コンパレータ(69)はデジタル値を比較し続ける。
【００１１】
対物レンズ(30)が図４の４の位置に達すると、前の３の位置に於ける高域成分のレベルの方が大きいから、コンパレータ(69)はローの信号を出力する。駆動回路(35)は対物レンズ(30)を３の位置に戻し、該３の位置にてモータ(Ｍ)への通電を止める。これにより、高域成分のレベルが最も大きな位置にて、対物レンズ(30)が停止し、被写体の画像がＣＣＤ(33)上に合焦する。
当初の対物レンズ(30)の位置が、図４の４の位置であれば、対物レンズ(30)を５の位置に向かって動かすと、コンパレータ(69)はローの信号を出力するから、駆動回路(35)はモータ(Ｍ)を逆転させて対物レンズ(30)を３の位置に動かす。このようにして被写体画像をＣＣＤ(33)上に合焦させる方式は、山登り方式とも呼ばれる。尚、ＣＣＤ(33)はオートアイリス機能を有しており、高域成分のレベルはオートアイリス機能により制限された一定レベル内で検索される。
【００１２】
画像メモリ(４)は、図５に示すように、複数のブロック(40)(40)に区分けされており、各ブロック(40)に１枚、即ち１フレームの画像及び該画像に含まれていた高域成分の積分値が格納される。
制御回路(２)は画像メモリ(４)の各ブロック(40)に繋がっており、ブロック毎にデジタル画像を消去する。尚、図５ではブロック(40)の数を８つに記載しているが、これは説明の便宜上の為であり、この数に限定されない。
画像メモリ(４)は、例えばＤＲＡＭから形成されており、ＤＲＡＭは周知の如く、メモリセルがコンデンサとＭＯＳ型トランジスタから構成されている。画像メモリ(４)にデジタル画像を格納し続ける場合はリフレッシュ電圧を給電し続け、電荷を保持する。デジタル画像を消去する場合は、リフレッシュ電圧の給電を止めればコンデンサが放電して、デジタル画像が消去される。
【００１３】
(自動保存及び消去モード)
使用者が切換スイッチ(ＳＷ)を操作すると、ＲＯＭ(20)からプログラムが読み出され、カメラ本体(１)は自動保存及び消去モードに設定される。該モードでは、ぶれた画像は自動的に消去される。尚、液晶パネル(８)の画面にメニューを表示させ、該メニューから自動保存及び消去モードに設定してもよい。以下に、自動保存及び消去モードの動作手順を、図６のフローチャートを用いて説明する。切換スイッチ(ＳＷ)がＯＮになった状態で(Ｓ1)、撮影者がシャッタ釦(10)を押すと、被写体画像が、デジタル信号処理回路(６)によってデジタル画像に変換されて、制御回路(２)に入力される。制御回路(２)は、該デジタル画像をオートフォーカス機構(３)から供給される高域成分の積分値とともに、画像メモリ(４)の各ブロック(40)に格納する(Ｓ2)。
【００１４】
判別回路(５)は、各ブロック(40)にデジタル画像とともに格納された高域成分の値が一定レベル以上であるか否かを判断する(Ｓ3)。一定レベル以上であれば、制御回路(２)にその旨を伝え、制御回路(２)は該ブロック(40)に給電し続けて、該デジタル画像を画像メモリ(４)にそのまま保存する(Ｓ4)。画像メモリ(４)に保存された画像は、液晶パネル(８)に表示され、又は圧縮伸長回路(90)により圧縮されてメモリカード(９)に格納される。
高域成分の値が一定レベル未満であれば、判別回路(５)は制御回路(２)にその旨を伝え、制御回路(２)は該ブロック(40)への通電を遮断して該デジタル画像を消去する(Ｓ5)。
【００１５】
画像メモリ(４)内には、高域成分の値が一定レベル以上のデジタル画像のみが格納される。即ち、ぶれて解像度が低下し、輝度レベルの低い画像は自動的に消去されるから、手動でぶれた画像を消去する必要がなく、使い勝手が良くなる。高域成分の値が一定レベル以上のデジタル画像が複数枚存在する場合は、最も高域成分のレベルが高いデジタル画像のみを残していてもよい。即ち、同じ被写体の静止画像を複数枚残していても、撮影者は最も解像度の高い１枚しか欲しないことがあり、この場合は最も高域成分のレベルが高いデジタル画像のみを残す。
特に、この最も高域成分のレベルが高いデジタル画像のみを残す機能は、同じ被写体のデジタル画像を自動的に連続して撮影する連写モードの場合、有効である。即ち、異なる被写体画像を撮った場合に、最も高域成分のレベルが高いデジタル画像のみを残せば、撮影者が欲する画像を消去してしまう虞れがある。これに比して、連写モードの場合には、最もぶれが少ない被写体の画像を欲するのが常であるから、最も高域成分のレベルが高いデジタル画像のみを残せば、実用性が高い。
【００１６】
上記例では、被写体画像の輝度信号から、ハイパスフィルタ(36)にて高域成分を取り出し、該高域成分の積分値が一定レベル以上か否かを判別回路(５)にて判断していた。然るに、前記圧縮伸長回路(90)はＪＰＥＧ(joint photographic experts group)と呼ばれる画像圧縮方式で静止画像を圧縮することがある。このＪＰＥＧは、視覚的に重要でない要素を切り捨てる非可逆圧縮を用いることが多く、離散コサイン変換(ＤＣＴ)と呼ばれる符号化方式を利用する。
このＤＣＴは、平面的な輝度変化の分布をそれを構成する周波数成分にて表すものであり、この周波数の高域成分が一定レベル以上か否かを判別回路(５)にて判断してもよい。換言すれば、高域成分の値を、オートフォーカス機構(３)からではなく、圧縮伸長回路(90)から得てもよい。
また、画像内に高域成分が多いと、画像メモリ(４)内に格納するファイルサイズが大きくなるから、このファイルサイズから消去すべき画像と残すべき画像を選択してもよい。
【００１７】
オートフォーカス機構(３)は、一般に対物レンズ(30)の中心付近に焦点を合わせる。従って、自動保存及び消去モードにて、判別回路(５)は画像の中心部がぶれているか否かを判断する。尚、画像認識する領域を自動又は手動で制限し、中心部を重点的に画像認識するようにしてもよい。また、オートフォーカス機構(３)は、輝度信号に含まれる高域成分のレベルから被写体画像をＣＣＤ(33)上に合焦させるとしたが、これに代えて、カメラ本体(１)から赤外線を被写体に照射し、測距する方式でもよい。この場合、前記の如く、高域成分の値を圧縮伸長回路(90)から得る。
尚、オートフォーカス機構(３)を設けていなくとも、マニュアル操作にて、画像の中心部に焦点を合わせてもよい。また、本願の内容は、対物レンズ(30)の絞りを小さくして被写界深度を深くしたパンフォーカス機にも使用できる。
【００１８】
(顔の特徴点検出)
被写体が人間の顔である場合は、顔のぶれを小さくするのが好ましい。この場合、顔の肌色から顔領域を特定し、顔領域内の特徴部分である目、鼻のぶれを重点的に検出することによりぶれを小さくすることが考えられる。顔の肌色から顔領域を特定し、顔領域内の目、鼻を検出する技術は、出願人が特開平１１−２８１６６１号で開示している。また、顔領域内の目、鼻のぶれを重点的に検出するモードを選択するか否かは、液晶パネル(８)のメニュー画面から選択できる。
図２に一点鎖線で示すのは、出願人が特開平１−２８１６６１号で開示した構成を本例に加えたものであり、図７のフローチャートにその動作を示す。画像メモリ(４)には肌色抽出回路(７)を介して顔特徴点抽出回路(70)が接続され、顔特徴点抽出回路(70)は判別回路(５)に繋がっている。
肌色抽出回路(７)は、人間の色覚に比較的近い表色系として定義されているＨＳＶ表色系を用いて画像メモリ(４)から読み込んだ画像をヒストグラム化し、肌色領域内のピーク値を基準肌色色相値とする。この基準肌色色相値と画像メモリ(４)の画素との差を求めて、ヒストグラムを作成し、所定のスレッショルドレベルで２値化して肌色領域を決定する。このＨＳＶ表色系はＨ(色相)、Ｓ(彩度)、Ｖ(明度)の３要素にて構成され、ＨとＶとが独立している。
肌色抽出回路(７)は、画像メモリ(４)からデジタル画像を読み込み(Ｓ10)、決定した肌色領域を顔領域とする(Ｓ11)。肌色領域が決定されなければ、再度画像メモリ(４)から画像を読み込む。
【００１９】
顔領域のデータは、顔特徴点抽出回路(70)に送られる。顔特徴点抽出回路(70)には目及び鼻穴の大凡の形状がテンプレートとして予め格納されている。顔特徴点抽出回路(70)は、肌色抽出回路(７)によって決定された顔領域内にテンプレートに似た形状の要素があるか否かを検索する(Ｓ12)。テンプレートに似た形状の要素が見つかれば、該要素の位置を判別回路(５)に伝え(Ｓ13)、見つからなければ再度画像メモリ(４)から画像を読み込む。判別回路(５)は該要素の位置に於ける高域成分を重点的に観察して、一定レベル以上か否かを判断する。これによって、顔のぶれを小さくできる。
【００２０】
上記実施例の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定し、或は範囲を減縮する様に解すべきではない。又、本発明の各部構成は上記実施例に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。
【図面の簡単な説明】
【図１】(a)は、カメラ本体の斜視図、(b)は、(a)を背後から見た斜視図である。
【図２】本例のデジタルカメラの内部ブロック図である。
【図３】オートフォーカス機構の内部構成を示すブロック図である。
【図４】高域成分の積分値であるレベルと対物レンズの光軸上の位置との関係を示すグラフである。
【図５】画像メモリ内のブロックを示す図である。
【図６】自動保存及び消去モードの動作手順を示すフローチャートである。
【図７】顔の特徴点を検出する手順を示すフローチャートである。
【図８】従来のデジタルカメラの内部ブロック図である。
【符号の説明】
(２)  制御回路
(４)  画像メモリ
(５)  判別回路
(30)  対物レンズ
(70)  顔特徴点抽出回路
【図１】
0004063592.tif 000002
【図２】
0004063592.tif 000003
【図３】
0004063592.tif 000004
【図４】
0004063592.tif 000005
【図５】
0004063592.tif 000006
【図６】
0004063592.tif 000007
【図７】
0004063592.tif 000008
【図８】
0004063592.tif 000009