(57)【要約】【課題】注目する被写体について、より精度のよい高解像度の画像を生成する。【解決手段】複数の画像中の注目被写体を認識する被写体検出部11と、被写体検出部11で認識した注目被写体の画像領域とは異なる画像領域に対して画像の評価を行なう背景評価部12と、上記複数の画像中から一部複数の画像を選択する画像選択部13と、被写体検出部11で認識した注目被写体と背景評価部12での評価結果、及び画像選択部13で選択した画像によって上記複数の画像より解像度の高いあらたな画像を構成する画像構成部14とを備える。【選択図】      図１
2009205283.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を取得する画像取得手段と、
上記画像取得手段で取得した複数の画像中の注目被写体を認識する被写体認識手段と、
上記被写体認識手段で認識した注目被写体を含む画像領域とは異なる画像領域に対して画像の評価を行なう背景評価手段と、
上記背景評価手段での評価結果に基づいて上記複数の画像中から複数の画像を選択する画像選択手段と、
上記画像選択手段で選択した複数の画像を用いて新たな画像を構成する画像構成手段と
を具備したことを特徴とする画像処理装置。
【請求項２】
上記被写体認識手段で認識した注目被写体を含む画像領域に対して画像の評価を行なう被写体評価手段をさらに具備し、
上記画像選択手段は、上記背景評価手段及び上記被写体評価手段双方の評価結果に基づいて上記複数の画像中から複数の画像を選択する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記画像構成手段は、上記背景評価手段での評価結果に応じ、上記画像選択手段で選択した画像を含む複数枚の画像を用いてより解像度の高いあらたな１つの静止画像を作成する高解像度化手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項４】
上記背景評価手段は、連続する複数フレームの画像からフレーム間での周辺部画像領域の違いを評価するフレーム間評価手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項５】
上記背景評価手段は、１つの画像から画像を評価するフレーム内評価手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項６】
上記背景評価手段は、
連続する複数フレームの画像からフレーム間での周辺部画像領域の違いを評価するフレーム間評価手段と、
１つの画像から画像を評価するフレーム内評価手段と
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項７】
上記フレーム間評価手段は、複数フレームの画像間のオプティカルフローを算出し、算出したすべての速度ベクトルとその周囲の速度ベクトルとの比較によって評価することを特徴とする請求項４または６記載の画像処理装置。
【請求項８】
上記フレーム間評価手段は、複数フレームの画像間の差分により評価を行なうことを特徴とする請求項４または６記載の画像処理装置。
【請求項９】
上記フレーム間評価手段は、複数フレームの画像間の差分画像を算出し、特定の閾値で差分のより大きい画素数を算出し、算出した上記差分の画素数と元画像サイズの画素数との割合によって評価することを特徴とする請求項８記載の画像処理装置。
【請求項１０】
上記フレーム内評価手段は、画像中の濃淡の割合によって評価することを特徴とする請求項５または６記載の画像処理装置。
【請求項１１】
上記画像構成手段は、上記画像選択手段で選択した複数の画像により、上記画像入力手段で入力した複数の画像より高い解像度の新たな画像を構成することを特徴とする請求項１記載の画像処理装置。
【請求項１２】
上記画像取得手段は、時系列に沿った複数の画像を取得し、
上記画像選択手段は、上記被写体評価手段で所定の評価を得た画像と、該所定の評価を得た画像に対して時系列上で隣接した画像とを選択する
ことを特徴とする請求項１記載の画像処理装置。
【請求項１３】
上記被写体評価手段は、上記複数の画像の少なくとも一部の領域の解像度を上げる処理を行ない、該解像度を上げた領域の画像に対して評価を行なうことを特徴とする請求項２記載の画像処理装置。
【請求項１４】
上記被写体認識手段は、上記注目被写体として人物の顔を含む領域を認識し、
上記被写体評価手段は、上記人物の顔の認識度合を示す指標を算出し、算出した指標に基づいて評価を行なう
ことを特徴とする請求項２記載の画像処理装置。
【請求項１５】
複数の画像を取得する画像取得ステップと、
上記画像取得ステップで取得した複数の画像中の注目被写体を認識する被写体認識ステップと、
上記被写体認識ステップで認識した注目被写体を含む画像領域とは異なる画像領域に対して画像の評価を行なう背景評価ステップと、
上記背景評価ステップでの評価結果に基づいて上記複数の画像中から複数の画像を選択する画像選択ステップと、
上記画像選択ステップで選択した画像を用いて新たな画像を構成する画像構成ステップと
を有したことを特徴とする画像処理方法。
【請求項１６】
上記画像構成ステップは、上記画像選択手段で選択した複数の画像により、上記画像入力ステップで入力した複数の画像より高い解像度の新たな画像を構成することを特徴とする請求項１５記載の画像処理方法。
【請求項１７】
上記背景評価ステップは、連続する複数フレームの画像からフレーム間での周辺部画像領域の違いを評価するフレーム間評価ステップを有したことを特徴とする請求項１５記載の画像処理方法。
【請求項１８】
上記背景評価ステップは、複数フレームの画像に対し、１つの画像から画像を評価するフレーム内評価ステップを有したことを特徴とする請求項１５記載の画像処理方法。
【請求項１９】
上記背景評価ステップは、連続する複数フレームの画像に対し、
フレーム間での周辺部画像領域の違いを評価するフレーム間評価ステップと、
１つの画像から画像を評価するフレーム内評価ステップと
を有したことを特徴とする請求項１５記載の画像処理方法。
【請求項２０】
上記フレーム間評価ステップは、複数フレームの画像間のオプティカルフローを算出し、算出したすべての速度ベクトルとその周囲の速度ベクトルとの比較によって評価することを特徴とする請求項１７または１９記載の画像処理方法。
【請求項２１】
上記フレーム間評価ステップは、複数フレームの画像間の差分画像により評価を行なうことを特徴とする請求項１７または１９記載の画像処理方法。
【請求項２２】
上記フレーム間評価ステップは、複数フレームの画像間の差分画像を算出し、特定の閾値で差分のより大きい画素数を算出し、算出した上記差分の画素数と元画像サイズの画素数との割合によって評価することを特徴とする請求項２１記載の画像処理方法。
【請求項２３】
上記被写体認識ステップで認識した注目被写体を含む画像領域に対して画像の評価を行なう被写体評価手段をさらに有したことを特徴とする請求項１５記載の画像処理方法。
【請求項２４】
上記画像選択ステップは、上記背景評価ステップ及び上記被写体評価ステップ双方の評価結果に基づいて上記複数の画像中から一部複数の画像を選択することを特徴とする請求項２３記載の画像処理方法。
【請求項２５】
電子的に記録された複数の画像から新しい画像を生成する画像処理プログラムであって、
コンピュータに、
複数の画像を取得する画像取得手順と、
上記画像取得手順で取得した複数の画像中の注目被写体を認識する被写体認識手順と、
上記被写体認識手順で認識した注目被写体を含む画像領域とは異なる画像領域に対して画像の評価を行なう背景評価手順と、
上記背景評価手順での評価結果に基づいて上記複数の画像中から複数の画像を選択する画像選択手順と、
上記画像選択手順で選択した画像を用いて新たな画像を構成する画像構成手順と
を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚の画像を用いて新たな画像を生成する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には、高画質な静止画と連続して撮像される低画質の動画とを同時に撮影することができ、動画撮影に影響を及ぼさずに、画像中の被写体である人物の表情などの情報を用いて、シャッタチャンスを逃さずに高精細な静止画を撮像する技術が開示されている。しかしながら、動画像を撮影するための装置と静止画像を撮影するための装置を１台のカメラに纏めるものとすると、コストが増大し、カメラの大型化にも繋がるという不具合を生じる。
【０００３】
それに対して特許文献２では、撮像装置により複数枚のフレーム画像を取得した場合に、フレーム間の相対的なずれを検出し、そのずれ情報を用いてより高解像度の画像を取得する技術を提案している。
【０００４】
また、特許文献３では、撮像条件の悪いときに連写撮影に切り替え、複数枚のフレーム画像から低ノイズで高画質な画像を取得する技術を提案している。
【０００５】
さらに特許文献４では、撮像条件の悪いときに画素混合撮影に切り替え、撮影画像の感度を撮影状況に応じて変化させることで、低ノイズで高画質な画像を取得する技術を提案している。
【０００６】
一方、特許文献５では、顔領域と顔器官中心の位置関係によって顔の方向を推定する技術や、視線方向を推定する技術を開示している。
【０００７】
また、特許文献６では、被写体の表情を識別する手法を開示し、被写体が望ましいと思われる表情及びポーズになったときに撮影する技術を提案している。
【特許文献１】特開２００７−０３６５８６号公報
【特許文献２】特許第２８２８１３８号公報
【特許文献３】特開２００７−０１３２６９号公報
【特許文献４】特開２００７−０１３２７０号公報
【特許文献５】特開２００７−００６４２７号公報
【特許文献６】特開２００４−２９４４９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献２乃至４に開示されている技術を、人物の顔などの特定の動きのある被写体の撮影に適用する場合、顔が正対していない、視線が動く、目をつぶる、表情が適切でない、等の適切でない画像が含まれると、結果として精度のよい画像が得られないことが考えられる。
【０００９】
加えて、上記特許文献５及び特許文献６のいずれにも検討されていないが、注目していない動体が撮影途中から撮像範囲内に入ると、あらたに生成される画像中では、背景または注目する被写体と、注目していない動体とが混入した状態のきわめて不自然な画像が生成されるという不具合を生じる場合があるためである。
【００１０】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、複数の画像を用いてあらたな画像を構成するときに、注目する被写体以外の背景が考慮された、できるだけ自然な画像を生成することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明の一態様に係る画像処理装置は、複数の画像を取得する画像取得手段と、上記画像取得手段で取得した複数の画像中の注目被写体を認識する被写体認識手段と、上記被写体認識手段で認識した注目被写体を含む画像領域とは異なる画像領域に対して画像の評価を行なう背景評価手段と、上記背景評価手段での評価結果に基づいて上記複数の画像中から複数の画像を選択する画像選択手段と、上記画像選択手段で選択した複数の画像を用いて新たな画像を構成する画像構成手段とを具備したことを特徴とする。
【００１２】
また、本発明の他の一態様に係る画像処理方法は、複数の画像を取得する画像取得ステップと、上記画像取得ステップで取得した複数の画像中の注目被写体を認識する被写体認識ステップと、上記被写体認識ステップで認識した注目被写体を含む画像領域とは異なる画像領域に対して画像の評価を行なう背景評価ステップと、上記背景評価ステップでの評価結果に基づいて上記複数の画像中から複数の画像を選択する画像選択ステップと、上記画像選択ステップで選択した画像を用いて新たな画像を構成する画像構成ステップとを有したことを特徴とする。
【００１３】
また、本発明の他の一態様に係る画像処理プログラムは、電子的に記録された複数の画像から新しい画像を生成する画像処理プログラムであって、コンピュータに、複数の画像を取得する画像取得手順と、上記画像取得手順で取得した複数の画像中の注目被写体を認識する被写体認識手順と、上記被写体認識手順で認識した注目被写体を含む画像領域とは異なる画像領域に対して画像の評価を行なう背景評価手順と、上記背景評価手順での評価結果に基づいて上記複数の画像中から複数の画像を選択する画像選択手順と、上記画像選択手順で選択した画像を用いて新たな画像を構成する画像構成手順とを実行させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、複数の画像を用いてあらたな画像を構成するときに、注目する被写体以外の背景を考慮して、できるだけ自然な画像を生成することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を実施するための最良の形態を図面を参照して説明する。  
［第１実施形態］  
図１は、本発明の第１実施形態に係る画像処理装置１０の構成を示す図である。同図に示す如くこの画像処理装置１０は、被写体検出部１１、被写体評価部１２、背景評価部１３、画像選択部１４、及び画像構成部１５から構成される。
【００１６】
被写体検出部１１は、外部の図示しない撮像装置、例えばデジタルカメラから取得した複数フレーム分の画像から特定の被写体を検出する。
【００１７】
被写体評価部１２は、上記被写体検出部１１で検出した特定の被写体に対する評価を行なう。この輪２は、正対評価部１２Ａ、視線評価部１２Ｂ、及び表情評価部１２Ｃを含む。
【００１８】
背景評価部１３は、上記被写体検出部１１で検出した画像領域とは異なる画像領域に対して評価を行なう。この背景評価部１３は、１フレーム分の画像内で評価するフレーム内評価部１３Ａと、他のフレームとの関係を用いた複数フレーム分の画像で評価を行なうフレーム間評価部１３Ｂを含む。
【００１９】
画像選択部１４は、上記背景評価部１３でより高い評価を得た画像を選択する。
【００２０】
画像構成部１５は、上記画像選択部１４で選択した画像を少なくとも含む複数枚の画像を用いて複数枚利用画像を得る。  
この画像構成部１５を、複数枚の画像を用いて高精細な画像を生成する高解像度化処理を行なう高解像度化装置で構成する場合には、複数枚の画像の画像信号を用いて各画像（フレーム）におけるフレーム間の動き推定を行なうモーション推定部と、上記特許文献２に開示したような複数枚の位置ずれを持つ低解像度画像を用いて高解像度画像を生成する高解像度化処理を実施する高解像度化処理部とを含む。
【００２１】
本実施形態では、画像構成部１５で高解像度化処理を行なう場合を説明するが、画像構成部で複数枚の画像の画像信号を用いた一般的なノイズ除去処理や広ダイナミックレンジ画像化処理を行なうこともできる。
【００２２】
次に本実施形態の動作を説明する。  
図２は、本画像処理装置１０でのメインルーチンを示すフローチャートである。
【００２３】
まず、外部の撮像装置から複数フレームの画像を取得し、被写体検出部１１によって特定の被写体を検出する被写体認識処理を実行する（ステップＳ１０１）。
【００２４】
以下、上記特定の被写体が例えば顔である場合について、詳細に説明する。  
この場合、被写体検出装置１が検出する被写体は顔であり、被写体検出部１１は複数フレームの画像から顔の部分を抽出する。なお、顔の抽出は公知の顔検出方法のいずれかで行なわれる。例えば、P. Viola and M. Jones, "Rapid object detection using a boosted cascade of simple features," Proc. of CVPR, 2001に開示されているような、Viola-Jonesの顔検出方法である。Viola-Jonesの顔検出方法は、Adaboostの学習によって選択された顔検出に最適な矩形フィルターを顔検出対象画像に照合させ、顔を検出する方法である。
【００２５】
被写体評価部１２は、被写体検出部１１で検出した被写体に対する評価について以下に説明する。  
図３（Ａ）は、被写体評価部１２が実行する被写体評価に関する処理内容を示すフローチャートである。
【００２６】
まず、正対評価部１２Ａで、画像中の顔が撮影装置の方を向いているかを評価する正対評価処理を実施する（ステップＳ２０１）。この正対評価処理の詳細については後述する。そして、この正対評価処理による合否の判断を行ない（ステップＳ２０２）、結果が合格でなければ当該フレーム画像は、被写体評価不合格と決定する（ステップＳ２０３）。
【００２７】
これに対して、上記ステップＳ２０２で正対評価処理による合否判断の結果が合格である場合には、さらに、視線評価部１２Ｂで当該画像において視線が適切であるかを評価する視線評価処理を実施する（ステップＳ２０４）。この視線評価処理の詳細については後述する。
【００２８】
そして、この視線評価処理による合否を判断し（ステップＳ２０５）、結果が合格でなければ、当該フレーム画像は、被写体評価不合格と決定する（ステップＳ２０３）。
【００２９】
これに対して、上記ステップＳ２０５での視線評価処理による合否判断の結果が合格である場合には、さらに表情評価部１２Ｃで当該画像において表情が適切であるか評価する表情評価処理を実施する（ステップＳ２０６）。この表情評価処理の詳細については後述する。
【００３０】
そして、この表情評価処理による合否を判断し（ステップＳ２０７）、結果が合格でなければ、当該フレーム画像は、被写体評価不合格と決定する（ステップＳ２０３）。
【００３１】
これに対して、上記ステップＳ２０７での表情評価処理による合否判断の結果が合格である場合、すなわち、上記ステップＳ２０２，Ｓ２０４，Ｓ２０６で正対評価、視線評価、及び表情評価のいずれも合格した場合には、当該画像を最終的に被写体評価合格と決定して、次に高解像度化処理を用いる。
【００３２】
次に、上記ステップＳ２０１での正対評価処理について説明する。  
この正対評価処理に関しては、例えば、上記特許文献５に開示された顔器官中心位置検出処理により、顔の向きを推定する。それにより、顔の向きが正対している画像を選抜することができる。
【００３３】
以下、上記特許文献５で提案されている顔の向きの計算方法を説明する。これは、被写体検出部１１で顔を含む画像を検出してその顔方向を計測し、そこから顔方向情報を算出する。
【００３４】
図３（Ｂ）はこの正対評価処理の処理内容を示すフローチャートである。  
まず、上記被写体検出装置１で検出されたフレーム画像１０中の顔と思われる部分の画像（顔画像）を取得し（ステップＳ３０１）、次に、該取得した顔画像に対して差分背景や肌色領域抽出によって顔領域ＦＡをより正確に検出する（ステップＳ３０２）。なお、顔領域ＦＡとは、図３（Ｃ）において頭部に外接する四角形の領域のことである。
【００３５】
次に、この検出した顔領域ＦＡより、その中心（顔領域中心ＡＣ）を検出し（ステップＳ３０３）、さらに、眉、目尻、鼻などの顔器官の位置を検出することにより顔器官中心位置ＯＣを決定する（ステップＳ３０４）。
【００３６】
ここで、図３（Ｃ）に示すように、上記顔領域中心ＡＣは顔領域ＦＡの中心の位置のことであり、上記顔器官中心位置ＯＣは両眉の中心、鼻筋、唇のくぼみ部分を通る直線の位置のことである。
【００３７】
そして、これら検出した顔領域中心ＡＣと顔器官中心位置ＯＣとから、顔方向を計算する（ステップＳ３０５）。
【００３８】
これはすなわち、まず、水平方向の顔方向を計算する。ここで、顔方向は、図４の顔楕円モデルを基に計算される。図４は水平方向右向きΦｆａｃｅを向いたときの頭を真上から見下ろしたものである。
【００３９】
なお、図５は、被写体検出部１１に入力される画像を撮影する撮影装置ＤＣに対する水平方向の角度Φ、撮影装置１５に対する垂直方向の角度Ψ、及び撮影装置ＤＣに対する向きθの関係を示す図である。
【００４０】
撮影装置ＤＣに対する水平方向の顔角度Φｆａｃｅは、以下の（１）式によって算出される。なお、式中のｋは楕円比であり、上記特許文献５では楕円比ｋ＝１．２５となっている。
【数１】
2009205283.tif 000003
【００４１】
また、撮影装置ＤＣに対する垂直方向の顔角度Ψｆａｃｅの推定に関しては、既存の方法を用いる。
【００４２】
そして、水平方向の顔角度Φｆａｃｅと垂直方向の顔角度Ψｆａｃｅとから、顔が撮影装置ＤＣの方向を向いているか否かを計算する。顔の向きと撮影装置ＤＣの向きの角度をθｆａｃｅとすると、θｆａｃｅは次の（２）式で表される。すなわち、
【数２】
2009205283.tif 000004
【００４３】
こうして顔方向が計算されると、次に被写体である顔が撮影装置ＤＣに正対しているか否かを、その計算結果に基づいて判定する合否判定処理を実施する（ステップＳ３０６）。ここでは、θｆａｃｅ≦３０°のときに、被写体である顔が撮影装置ＤＣに正対していると判断し、正対評価を合格とする。
【００４４】
次に、上記ステップＳ２０２の正対評価判断で合格した画像に対して上記ステップＳ２０４で実施する視線評価処理について説明する。  
この視線評価処理も、上記特許文献５に開示された手法に基づいて行なうもので、上記正対評価処理で算出した値も用いる。
【００４５】
図６はこの視線評価処理の内容を示すフローチャートである。  
すなわち、まず、上記正対評価で合格した画像中から顔画像を取得し（ステップＳ４０１）、その顔画像から瞳を検出する（ステップＳ４０２）。ここで、瞳が検出できたか否かを判断し（ステップＳ４０３）、検出できなかった場合は視線方向の特定が失敗したと判定する（ステップＳ４０４）。
【００４６】
これに対して、ステップＳ４０３で瞳を検出できたと判断した場合は、次に目の領域を検出する（ステップＳ４０５）。そして、両目とも検出されたか、片目だけ検出されたか、両目とも検出できなかったかを判別する（ステップＳ４０６）。
【００４７】
ここで両目が検出されたと判別した場合、両目の視線方向を計算し（ステップＳ４０７）、さらに両目の視線方向を重み付けて足し合わせて（ステップＳ４０８）、視線方向を決定する（ステップＳ４０９）。
【００４８】
また、上記ステップＳ４０６で片目だけ検出されたと判別した場合、その片目の視線方向を計算し（ステップＳ４１０）、それによって視線方向を決定する（ステップＳ４０９）。
【００４９】
なお、上記ステップＳ４０６で両目とも検出されなかったと判別した場合には、視線方向の検出は失敗とする（ステップＳ４０４）。
【００５０】
但し、この図６の視線評価処理自体は、上記ステップＳ２０１での正対評価処理に合格した画像のみを用いるものであるため、顔がきちんと撮影装置ＤＣに正対していると判断すれば、上記ステップＳ４０６で片目のみ検出されたと判断したとは考えにくい。したがって、上記ステップＳ４０６で片目のみ検出されていると判断した場合も、視線評価を失敗としてもよい。
【００５１】
ここで図７により、上記ステップＳ４０７及びステップＳ４１０で行なわれる視線方向計算の具体的な方法を眼球モデルに基づいて説明する。
【００５２】
眼球は皮膚に覆われているため、実際に画像中に現れるのは、図７における弧Ｅ１’Ｅ２’であり、これは角膜部分を表す。また、図７において、Ｏｅｙｅ，Ｉがそれぞれ画像中での目の中心、瞳の中心を表し、Ｏｅｙｅ’は実際の眼球の中心を現している。Φｆａｃｅは上記正対評価処理で計算したときの顔方向の角度、Φｅｙｅが視線方向の角度、Ｗｅｙｅは画像中における目領域の幅、Ｃｅｙｅは画像中での眼球中心位置と瞳中心位置の長さとする。
【００５３】
このとき、視線方向Φｅｙｅを以下の（３）式で表す。ただし、式中のαは眼球の隠れ部分の角度であり、規定値である。
【数３】
2009205283.tif 000005
【００５４】
また、両目とも検出できた場合には、それぞれの目についてこの視線方向を検出する。そこで、両目とも検出できた場合には、上記ステップＳ４０８において両目の視線方向に重み付けを行なって足し合わせることで、最終的な視線方向を決定する。
【００５５】
この重みは、顔方向によって決定される。顔が右を向いている場合は、右目は画像中に殆ど見られないため、左目の重みを重くする。また、顔が正面を向いているときは、視線方向は両目の平均とする。ただし、この手法を本実施形態に係る画像処理装置に適用するに当たっては、上記正対評価処理で合格したもののみ該視線評価処理を実施するため、両目の平均としてしまってもよい。
【００５６】
また、両目の視線方向の決定は、垂直方向、水平方向それぞれに関して別々に行なう。
【００５７】
ここで、撮影装置ＤＣに視線があっているもののみを抽出したいため、垂直方向、水平方向ともに、±５°以内に入っているもののみを合格とする。
【００５８】
このようにして正対評価及び視線評価が合格した画像に対し、上記ステップＳ２０６の表情評価処理を実施する。この表情評価処理の手法としては、例えば上記特許文献６にＳｎａｋｅｓ法を用いた形状抽出法を用いて、顔の輪郭、目、口の形状から表情を判定する手法が開示されている。本実施形態においても、その手法により表情を判定するものとする。
【００５９】
なお、どのような表情を用いるかは写真の用途によって異なるが、記念写真では笑顔、証明写真用であれば無表情なものと判断された画像を合格とする。
【００６０】
こうして画像中の被写体評価を行なうことにより、特にその画像の特徴が現れていると思われる注目被写体の評価が高い画像が選択される可能性が高くなり、後の画像構成処理によってユーザが所望する画像を取得できる可能性が向上する。
【００６１】
また、特に注目被写体として人物の顔を含む領域を検出してその領域に対する評価を行なうものとしたので、撮影の被写体として選択される可能性が高く、且つ目、鼻、口等その構成器官の配置パターン等に応じた評価技術がある程度確立されている人物の顔に対する評価を行なうことで、後の画像構成処理によってユーザが所望する画像を取得できる可能性がより大幅に向上する。
【００６２】
次に図２のメインルーチンに戻って、上記被写体評価を行なった領域の他の領域に対して評価する背景評価を実施する（ステップＳ１０２）。以下にこの背景評価の詳細を示す。  
上記被写体評価は画像中の被写体が存在する領域に対しての評価を行なったが、背景評価は被写体領域以外に対しての評価である。上記図１でも説明した如く、背景評価部１３はフレーム内評価部１３Ａとフレーム間評価部１３Ｂとを備える。
【００６３】
フレーム内評価部１３Ａは、背景のテクスチャを評価する。テクスチャを持たない画像は高解像度化には不向きなため、フレーム内評価部１３Ａはテクスチャを持つ画像を合格とする。
【００６４】
一方のフレーム間評価部１３Ｂは、連続フレームの中で背景が著しく変化しているものを除去する。背景が著しく変化しているものの例としては、注目被写体でない車の移動、照明環境の変化等が挙げられる。
【００６５】
まずフレーム内評価部１３Ａでの動作について説明する。フレーム内評価部１３Ａは、図８に示す如く輪郭評価部１３Ａ１と濃淡評価部１３Ａ２とを有する。
【００６６】
輪郭評価部１３Ａ１は、図９（Ａ）のように輪郭がはっきりしているか否かを評価する、一方の濃淡評価部１３Ａ２は、図９（Ｂ）のように画像の輝度が一定でなく濃淡があるか否かを評価する。
【００６７】
輪郭評価部１３Ａ１では、輪郭がはっきりしている画像をエッジの強度で評価する。濃淡評価部１３Ａ２では、画像の輝度が一定でなく濃淡がある画像を、画像内の輝度分布の分散を求めることで評価する。輪郭評価部１３Ａ１と濃淡評価部１３Ａ２によって、多様な背景パターンにも容易に対応して正確な評価を下すことができる。
【００６８】
したがって、単独の画像に対しても上述したような特徴のテクスチャを有するものであれば容易に高い評価とし、後述する高解像度化に寄与することができる。
【００６９】
次にフレーム間評価について説明する。  
図１０（Ａ−１）〜図１０（Ａ−４）に示す如く、被写体と背景領域に動体とがある複数フレームに渡る画像を考える。
【００７０】
図１０（Ｂ−１）〜図１０（Ｂ−４）は、上記各画像から注目被写体領域ＡＡを抽出した例である。また、図１０（Ｃ−１）〜図１０（Ｃ−４））は、注目被写体領域ＡＡを除いた部分を示しており、ここにフレーム間評価を適用する。
【００７１】
左から１番目の図１０（Ｃ−１）の画像には背景に自動車ＢＢが写っていないが、２番目の図１０（Ｃ−２）の画像には自動車ＢＢが写っている。
【００７２】
また、３番目の図１０（Ｃ−３）の画像には、２番目とは異なる位置に自動車ＢＢが写っている。これは、自動車ＢＢが速度をもって移動しているからである。左から４番目の図１０（Ｃ−４）の画像は、自動車ＢＢが撮像範囲を通り過ぎた後であり、画像に自動車ＢＢが写っていない。
【００７３】
この例では、左から１番目の図１０（Ｃ−１）の画像と、４番目の図１０（Ｃ−４）の画像に関しては、フレーム間評価によって注目被写体領域ＡＡ以外の部分について一致していると判断する。
【００７４】
一方、左から１番目の図１０（Ｃ−１）の画像と、２番目の図１０（Ｃ−２）の画像に関しては、フレーム間評価によって注目被写体領域ＡＡ以外の部分について一致していないと判断する。このような判断は、複数フレーム、例えば図１０（Ｃ−１）の画像と２番目の図１０（Ｃ−２）の画像の画像間の差分を算出して、その画素値の変化が著しい場合に、一致していないと判断することで行なう。
【００７５】
このように、連続するフレームの画像中で背景が著しく変化しているものを除去することにより、例えば注目被写体でない車の移動、照明環境の変化等の影響を排除した画像を生成させることができる。
【００７６】
加えて、複数の画像を用いたフレーム間評価により、後述する画像構成部１４でより高い精細度の画像を生成させることができる。
【００７７】
背景評価は、フレーム内評価部１３Ａとフレーム間評価部１３Ｂのうち、少なくともいずれか一方で合格したと評価したものを合格とする。  
フレーム内評価部１３Ａとフレーム間評価部１３Ｂとを併用することで、双方の利点を補間してより広い被写体に対応することが可能となる。
【００７８】
また、上記とは別に、フレーム間評価部１３Ｂがオプティカルフローを用いて評価を行なう場合についても説明する。  
図１１を用いて静止している物体を動画で撮像する場合を考える。この場合、被写体と背景が静止していて撮像装置の側も全く動かなかった場合、図１１（Ａ）に示すようにオプティカルフローの各ベクトルは０になる。また、撮像装置の側が動き、被写体と背景が静止している場合、図１１（Ｂ）に示す如く各動きベクトルは隣り合った動きベクトルと殆ど同じとなる。
【００７９】
また、撮像装置の側が静止している一方で、被写体の一部が動いている場合は、図１０（Ｃ）に示すように動いた被写体の部分だけに動きベクトルが存在する。さらに、被写体の一部が動き、撮像装置の側も動く場合には、図１０（Ｄ）に示すように動いた被写体の部分が、隣り合った動きベクトルと大きく異なる。
【００８０】
このときフレーム間評価部１２Ｂは、上記図１０（Ａ），図１０（Ｂ）のような場合に背景評価を合格と判定する一方で、上記図１０（Ｃ），図１０（Ｄ）のような場合に背景評価を不合格と判定する。
【００８１】
このようにオプティカルフローを用いてフレーム間の評価を行なうことで、背景評価部１２が実行するフレーム間評価処理を行なうことができる。
【００８２】
さらに、上記とは別に、フレーム間評価部１３Ｂが差分画像を用いて評価を行なう場合についても説明する。  
図１２（Ａ−１）〜図１２（Ａ−６）に示すような時間的に連続した６フレームに渡る画像があったとする。これらの画像は、静止物体である家を撮像しているときに、動体である車が通り過ぎた状況を例示している。但し、図１２（Ａ−１）、図１２（Ａ−２）、図１２（Ａ−５）、図１２（Ａ−６）には、動体の自動車は写っていない。
【００８３】
このとき、連接する２フレーム、すなわち図１２（Ａ−１）と図１２（Ａ−２）、図１２（Ａ−２）と図１２（Ａ−３）、図１２（Ａ−３）と図１２（Ａ−４）、図１２（Ａ−４）と図１２（Ａ−５）、図１２（Ａ−５）と図１２（Ａ−６）の差を取り差分画像を作成する。
【００８４】
画像を撮影する撮像装置の側に全く動きがなければ、図１２（Ａ−１）と図１２（Ａ−２）の差分画像は図１２（Ｂ−１）、図１２（Ａ−２）と図１２（Ａ−３）の差分画像は図１２（Ｂ−２）、図１２（Ａ−３）と図１２（Ａ−４）の差分画像は図１２（Ｂ−３）、図１２（Ａ−４）と図１２（Ａ−５）の差分画像は図１２（Ｂ−４）、図１２（Ａ−５）と図１２（Ａ−６）の差分画像は図１２（Ｂ−５）となる。
【００８５】
但し、撮像装置を手で持つ場合には、手振れなどの要因で若干撮像装置が動くことが想定される。このとき、撮像装置の動きが微小であれば、静止物体の差分は図１２（Ｃ−１）〜図１２（Ｃ−５）中の家の部分で示すように非常に細くなる。反対に、動体の被写体の場合は図１２（Ｃ−３）で示すように差分が太くなる。
【００８６】
ゆえに、撮像装置が微小に動いた場合、図１２（Ａ−１）と図１２（Ａ−２）の差分画像は図１２（Ｃ−１）、図１２（Ａ−２）と図１２（Ａ−３）の差分画像は図１２（Ｃ−２）、図１２（Ａ−３）と図１２（Ａ−４）の差分画像は図１２（Ｃ−３）、図１２（Ａ−４）と図１２（Ａ−５）の差分画像は図１２（Ｃ−４）、図１２（Ａ−５）と図１２（Ａ−６）の差分画像は図１２（Ｃ−５）となる。
【００８７】
ここで、差分画像全体における分散を考慮することにより、撮像装置が微小に動いていた場合と静止していた場合のいずれでも動体を検知することができる。  
加えて、差分画像の算出には、特定の閾値により２値化することで差分の大きい部分の画像を算出し、その割合を画像全体との割合との比較によって簡易に評価することができるため、背景評価部１３のフレーム間評価部１３Ｂが実行するフレーム間評価処理の演算量を軽減し、負担を大幅に軽減することができる。
【００８８】
次に図２のメインルーチンに戻って、上記背景評価の処理後、上記被写体評価と背景評価のうち、どちらか一方、もしくは両方で高い評価を得たものを画像選択部１４によって画像選択する(ステップＳ１０３)。
【００８９】
このよう被写体評価と背景評価双方の評価結果を併用することで、双方の利点を補間してより多くの画像に対応することが可能となる。
【００９０】
この画像選択部１４が選択した画像を複数用いて画像構成部１５が新たな高解像度の画像を合成する（ステップＳ１０４）。
【００９１】
この画像構成部１５が実行する画像構成手法のひとつである高解像度化手法は、例えば上記特許文献３に開示されており、本実施形態においてもそれに基づいて行なうものとする。
【００９２】
以下、この高解像度化の手順を説明する。  
画像構成部１５で実行する高画質化の処理は、具体的には、動き推定の処理と加算平均の処理の手順を含む。これらを図１３乃至図１７を参照して説明する。
【００９３】
画像構成部１５は、上記被写体評価部１２によって合格と判定した複数の画像を用いて、各フレームにおけるフレーム間の動き推定を行なう。
【００９４】
図１３は、この動き推定の処理手順の一例を示す図である。  
まず、動き推定の基準となる画像（以下、基準画像と称する）を１枚読み取る（ステップＳ５０１）。その基準画像を複数の動きで変形させる（ステップＳ５０２）。
【００９５】
次に、動き推定を行なう画像（以下、参照画像と称する）を１枚読み取る（ステップＳ５０３）。そして、基準画像を複数変形させたそれぞれの画像列と読み取った参照画像との間の類似度値を算出し（ステップＳ５０４）、変形させた動きのパラメータと算出した類似度値との関係を用いて、離散的な類似度マップを作成する（ステップＳ５０５）。
【００９６】
図１４は、動き推定をパラボラフッティングで行なう具体的方法の一例として、類似度マップを作成したものを示す。同図では縦軸が二乗偏差を、横軸が変形モーションパラメータをそれぞれ示す。同図において、縦軸の二乗偏差の値が小さいほど類似度が高いこととなる。
【００９７】
ここで、上記ステップＳ５０２における基準画像の複数変形は、例えば、水平、垂直、回転方向に対して、±１ピクセルの動きパラメータで基準画像を１９通り（なお、２７通り中８通りは同じ変形パターン）に変形させる。
【００９８】
また、上記ステップＳ５０５では、図１４に示した横軸のモーションパラメータを水平方向，垂直方向，回転方向の組み合わせであると考えると、負の方から（−１，＋１，−１）、（−１，＋１，０）、（−１，＋１，＋１）の各離散類似度値をプロットする。また、各変形方向を別々と考えると、負の方向から（−１），（０），（＋１）となり、水平方向，垂直方向，回転方向について別々にプロットする。
【００９９】
その後、このステップＳ５０５で作成した離散的な類似度マップを補完することで、類似度マップの極値を探索し、類似度マップの極値を求める（ステップＳ５０６）。ここで、極値で定められる変形の動きが動き推定値となる。なお、類似度マップの極値の探索法には、例えば、上述したパラボラフィッティングの他に、スプライン補間法等がある。
【０１００】
続いて、すべての参照画像において動き推定を行なったか否かを判定する（ステップＳ５０７）。この結果、すべての参照画像において動き推定を行なっていない場合には、参照画像のフレーム番号を１つ増加させて（ステップＳ５０８）、上述のステップＳ５０３へ戻る。これにより、すべての参照画像において動き推定を行なうまで、ステップＳ５０３〜Ｓ５０８の処理を繰り返し行なうことになる。
【０１０１】
そして、対象となるすべての参照画像に対して動き推定を行なったと判定すると（ステップＳ５０７）、当該動き推定の処理を終了する。
【０１０２】
図１５は、参照画像における基準画像への近似を示している。各参照画像は、動き推定値を符号反転した値であり、画像変形することにより基準画像に近似する。
【０１０３】
その後、画像構成部１５で加重平均処理を行なうことで高解像度画像を得る。  
図１６は加算平均法を用いて高解像画像ＩＭ１０１を得る第１の場合を示しており、基準画像と近似した全画像における各対応画素を全フレーム分、一度に加算平均した値を新画素値として高解像度画像ＩＭ１０１を生成する。
【０１０４】
一方、図１７は加算平均法を用いる第２の場合を示しており、基準画像と近似した全画像における各対応画素位置をフレーム間毎に順次加算平均した値を新画素値として加算平均画像を生成している。
【０１０５】
なお、図１６に示した第１の加算平均手法は、図１７に示した第２の加算平均手法に比べてノイズが残りにくい傾向がある点で優れている。
【０１０６】
こうして生成される画像が静止画像である場合、特に評価が高いと判定された複数の画像から１つの静止画像を作成することで、上記被写体検出部１１に入力された原画像の有する情報を最大限に活用し、解像度を大幅に向上した高精細の静止画像を得ることができる。
【０１０７】
一方、生成する画像が時系列的に沿った複数の画像からなる動画像である場合も、静止画像の場合ほどではないものの、上記被写体検出部１１に入力された原画像の有する情報を充分に活用し、解像度を向上した高精細の動画像を得ることができる。
【０１０８】
以上詳述した如く本第１実施形態によれば、顔などの動きのある被写体を連続撮像した場合に、複数フレームに渡る画像の中から、高解像度化処理で用いる画像として適切なものを選択して使用することで、自然且つより高い精度の高解像度の画像を取得することができる。
【０１０９】
［第２実施形態］  
図１８は、本発明の第２実施形態に係る画像処理装置２０の構成を示す図である。同図に示す如くこの画像処理装置２０は、被写体検出部２１、被写体領域抽出部２２、被写体領域高解像度化部２３、被写体評価部２４、背景評価部２５、画像選択部２６、及び画像構成部２７から構成される。
【０１１０】
被写体検出部２１は、外部の図示しない撮像装置、例えばデジタルカメラから取得した複数フレーム分の画像ＩＭ２００から特定の被写体を検出する。
【０１１１】
被写体領域抽出部２２は、被写体検出部２１で検出した特定の被写体の属する領域、例えば顔が特定被写体であれば顔領域を抽出する。
【０１１２】
被写体領域高解像度化部２３は、上記被写体領域抽出部２２で抽出した被写体領域（顔領域）のみを高解像度化する。なお、この被写体領域高解像度化部２３での高解像度化の手法自体は、上記図１の画像構成部１４における高解像度化の手法と基本的に同一である。但し、上記画像構成部１４ではフレーム単位の画像全体を処理対象としたのに対して、該被写体領域高解像度化部２３では、フレーム単位の画像中、被写体領域のみを部分的に抽出して動き推定処理及び加算平均処理の対象として高解像度化する点で異なる。
【０１１３】
被写体評価部２４は、図示する如く正対評価部２４Ａ、視線評価部２４Ｂ、及び表情評価部２４Ｃを有し、上記被写体領域高解像度化部２３によって高解像度化された被写体画像を用いて被写体を評価する。
【０１１４】
背景評価部２５は、上記被写体検出部２１で検出した画像領域とは異なる画像領域に対して評価を行なう。この背景評価部２５は、１フレーム分の画像内で評価するフレーム内評価部２５Ａと、他のフレームとの関係を用いた複数フレーム分の画像で評価を行なうフレーム間評価部２５Ｂを含む。
【０１１５】
画像選択部２６は、上記被写体評価部２４と背景評価部２５とでより高い評価を得た画像を選択する。
【０１１６】
画像構成部２７は、上記画像選択部１３で選択した画像を複数枚用意し、それらを用いて後述する複数枚利用画像ＩＭ２０１を得る。  
この画像構成部２７を、複数枚の画像を用いて高精細な画像を生成する高解像度化処理を行なう高解像度化装置で構成する場合には、複数枚の画像の画像信号を用いて各画像（フレーム）におけるフレーム間の動き推定を行なうモーション推定部と、上記特許文献２に開示したような複数枚の位置ずれを持つ低解像度画像を用いて高解像度画像を生成する高解像度化処理を実施する高解像度化処理部とを含む。
【０１１７】
次に、本実施形態の動作について説明する。  
上記第１実施形態では、顔などの被写体部分の解像度が不足する場合など、被写体が不鮮明であるときに評価が正確に行なえない場合がある。特に視線評価を行なうためには、顔の部分をより正確に認識するために解像度を上げることが必要となる。
【０１１８】
そこで、本第２実施形態では、被写体領域高解像度化部２３を用いて被写体評価に使用する顔画像の解像度を上げることにより、評価の精度を上げるものとする。
【０１１９】
図１９は、本画像処理装置２０でのメインルーチンを示すフローチャートである。  
まず、外部の撮像装置から複数フレームの画像ＩＭ２００を取得し、被写体検出部２１によって特定の被写体を検出する被写体認識処理を実行し、認識した特定の被写体を含む領域を、被写体領域抽出部２２が被写体領域として囲むような矩形で特定する（ステップＳ６０１）。
【０１２０】
そして、この被写体認識処理で特定した被写体領域に対し、被写体領域高解像度化部２３が高解像度化処理を実行する（ステップＳ６０２）。  
その後、その被写体領域内の高解像度化処理によって高解像度化された特定の被写体が適切な状態であるかを被写体評価部２４によって評価する（ステップＳ６０３）。  
次いで、被写体領域特定処理で特定した被写体領域以外の領域の被写体が適切な状態であるかを背景評価部２５によって評価する（ステップＳ６０４）。
【０１２１】
そして、被写体評価部２４と背景評価部２５の評価結果に応じて、複数の画像を画像選択部２６が選択して画像構成部２７へ出力する（ステップＳ６０５）。
【０１２２】
画像構成部２７では、少なくとも画像選択部２６が選択した複数の画像を用いて当初の入力画像ＩＭ２００に比してより高解像度の画像を得る高解像度化処理を実施する（ステップＳ６０６）。
【０１２３】
ここで、上記特定の被写体が人物の顔である場合の具体的な手順を、図２０を参照して説明する。この場合、被写体検出部２１で検出する被写体は人物の顔であり、図２０（Ａ）に示すように、複数フレームの画像ＩＭ２００それぞれから顔の部分を抽出する。顔の抽出は、上記第１実施形態と同様である。
【０１２４】
次に、上記ステップＳ６０２の被写体領域特定処理において、被写体領域抽出部２２が図２０（Ｂ）に示すように、被写体領域としての顔を含む顔領域ＦＡを矩形で特定する。
【０１２５】
その後、上記ステップＳ６０３の被写体領域内高解像度化処理において、被写体領域高解像度化部２３が図２０（Ｃ）に示すように、顔領域ＦＡに対して高解像度化処理を行ない、高解像度化された被写体領域画像ＦＡ２を得る。
【０１２６】
次に、上記ステップＳ６０４において、被写体評価部２４により図２０（Ｄ）に示すように、それら高解像度化された被写体領域画像ＦＡ２に対して被写体評価を行なう。該被写体評価部２４による被写体評価処理については、上記第１実施形態と同様である。また、その後の背景評価部２５、画像選択部２６、画像構成部２７による処理についても、上記第１実施形態の背景評価部１３、画像選択部１４、画像構成部１５における処理と同様である。
【０１２７】
以上のように、本第２実施形態によれば、被写体評価に使用する顔画像を高解像度化してから被写体評価部２４に与えることによって、被写体評価の精度を上げることができる。したがって、複数フレームの画像の中から後の高解像処理で用いる画像を精度良く選択することができ、結果として、より精度の高い高解像度画像を得ることができる。
【０１２８】
［第３実施形態］  
図２１は、本発明の第３実施形態に係る画像処理装置３０の構成を示す図である。同図に示す如くこの画像処理装置３０は、被写体検出部３１、被写体評価部３２、背景評価部３３、高評価画像前後ｎフレーム選択部３４、及び画像構成部３５から構成される。
【０１２９】
被写体検出部３１は、外部の図示しない撮像装置、例えばデジタルカメラから取得した複数フレーム分の画像ＩＭ３００から特定の被写体を検出する。
【０１３０】
被写体評価部３２は、図示する如く正対評価部３２Ａ、視線評価部３２Ｂ、及び表情評価部３２Ｃを有し、上記被写体検出部３１で検出した被写体画像を用いて被写体を評価する。
【０１３１】
背景評価部３３は、上記被写体評価部３２で検出した画像領域とは異なる画像領域に対して評価を行なう。この背景評価部３３は、１フレーム分の画像内で評価するフレーム内評価部３３Ａと、他のフレームとの関係を用いた複数フレーム分の画像で評価を行なうフレーム間評価部３３Ｂを含む。
【０１３２】
高評価画像前後ｎフレーム選択部３４は、上記被写体評価部３２と背景評価部３３とでより高い評価を得た画像を中心に、時系列上でその前後ｎ（ｎ：自然数）フレームをすべて選択する。
【０１３３】
画像構成部３５は、上記高評価画像前後ｎフレーム選択部３４で選択した計「（２ｎ＋１）×ｍ（ｍ：高い評価を得た画像数。自然数）」フレーム分の画像を用いて後述する複数枚利用画像ＩＭ３０１を得る。  
この画像構成部３５を、複数枚の画像を用いて高精細な画像を生成する高解像度化処理を行なう高解像度化装置で構成する場合には、複数枚の画像の画像信号を用いて各画像（フレーム）におけるフレーム間の動き推定を行なうモーション推定部と、上記特許文献２に開示したような複数枚の位置ずれを持つ低解像度画像を用いて高解像度画像を生成する高解像度化処理を実施する高解像度化処理部とを含む。
【０１３４】
次に、本実施形態の動作について説明する。  
上記第１実施形態のように、顔などの被写体の評価が高い画像だけを用いて高解像度化処理を行なった場合、背景などの被写体部分以外の領域の精度が低く、高解像度化した画像を得ることができない可能性がある。
【０１３５】
そこで、本第３実施形態では、一連の連続した画像中で、特に被写体部分の評価が高い画像だけでなく、それを中心とした前後数フレームの画像も使うことで、より精細に背景を高解像度化するものである。
【０１３６】
図２２は、本画像処理装置３０でのメインルーチンを示すフローチャートである。  
まず、外部の撮像装置から複数フレームの画像ＩＭ３００を取得し、被写体検出部３１によって特定の被写体を検出する被写体認識処理を実行する（ステップＳ７０１）。
【０１３７】
次にその被写体認識処理によって検出した上記特定の被写体が適切な状態であるかを被写体評価部３２が評価する（ステップＳ７０２）。
【０１３８】
次いで、被写体認識処理で検出した被写体領域以外の領域の被写体が適切な状態であるかを背景評価部３３によって評価する（ステップＳ７０３）。
【０１３９】
その後、上記被写体評価によって適切であると評価された画像を中心として、その画像の前後ｎフレームのフレーム画像を高評価画像前後ｎフレーム選択部３４にて選択する（ステップＳ７０４）。
【０１４０】
この高評価画像前後ｎフレーム選択部３４で選択した画像すべてを用いて、画像構成部３５が当初の入力画像ＩＭ３００に比してより高解像度の画像を得る高解像度化処理を実施する（ステップＳ７０５）。
【０１４１】
すなわち、本第３実施形態は、被写体評価と背景評価を行なう点までは上述の第１実施形態と同様であり、特にそれ以後の動作について図２３を参照してさらに詳細に説明する。  
まず、ｍ（ｍ：２以上の自然数）フレーム分の画像ＩＭ３００に対し、被写体検出部３１が検出した被写体に対して被写体評価部３２が評価を行なう。同図はｍ＝２０の例であり、フレームナンバーが「０」〜「１９」の一連の画像について示している。
【０１４２】
ここで、被写体評価部３２での被写体評価によって数フレームの画像が合格したものとする。図２３での被写体評価結果ＲＳでは、合格したフレームの画像を記号「○」、不合格したフレームの画像を記号「×」で表している。フレームナンバー「５」の画像とフレームナンバー「１５」の画像とが該被写体評価によって合格した例を示す。
【０１４３】
上記高評価画像前後ｎフレーム選択部３４は、これら合格した画像の前後ｎフレーム分を選択する。図２３の例ではｎ＝３であり、選択したフレームは網掛けを付して示している。すなわち、この例では、フレームナンバー「２」〜「８」の７枚のフレーム画像と、フレームナンバー「１２」〜「１８」までの７枚のフレーム画像とが選択されている。
【０１４４】
こうして選択したすべて、例えば図２３では１４個の画像を用いて、画像構成部３５により高解像度化を行ない、最終的な高解像度画像ＩＭ３０１を得ることができる。
【０１４５】
フレームナンバー「２」〜「８」の７枚のフレーム画像を用いて１枚の高解像度画像を、フレームナンバー「１２」〜「１８」までの７枚のフレーム画像を用いて１枚の高解像度画像を構成して、合計２枚の高解像度画像を作成するようにしてもよい。
【０１４６】
以上のように、本第３実施形態によれば、被写体部分の評価が高い画像だけでなく、前後数フレーム分の画像も合わせて利用することによって、顔などの特定の被写体だけでなく、背景など被写体部分以外の領域の描写もより精細に高解像度化した画像を得ることができる。
【０１４７】
以上第１乃至第３実施形態に基づいて本発明を説明したが、本発明は上述した各実施形態に限定されない。例えば、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。この場合のコンピュータは、デジタルカメラ等の撮影装置の制御部として組み込まれたもの、レタッチ用ソフトウェアなどのアプリケーションプログラムをインストールするパーソナルコンピュータ等汎用のもの、あるいはフォトストレージ装置やプリンタ装置に組込まれて簡易なレタッチ機能を実行するものなど、種々の装置に適用可能となる。
【０１４８】
また、被写体の評価方法や高解像度化の手法は、実施形態で説明したものに限定されるものではない。  
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組合わせて実施してもよい。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件により適宜の組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【０１４９】
【図１】本発明の第１実施形態に係る画像処理装置の構成を示すブロック図。
【図２】同実施形態に係る画像処理のメインルーチンを示すフローチャート。
【図３】同実施形態に係る被写体評価処理の内容を示し、図３（Ａ）は被写体評価全体の処理内容を示すフローチャート、図３（Ｂ）は図３（Ａ）中の正対評価処理のより詳細な処理内容を示すフローチャート、図３（Ｃ）は顔領域を示す模式図。
【図４】同実施形態に係る顔楕円モデルを例示する図。
【図５】同実施形態に係る撮影装置に対する水平方向の角度Φ、垂直方向の角度Ψ、及び向きθの関係を示す図。
【図６】同実施形態に係る図３（Ａ）中の視線評価処理の詳細な内容を示すフローチャート。
【図７】同実施形態に係る視線方向計算時の各変数を定義する眼球モデルを示す図。
【図８】同実施形態に係るフレーム内評価部内の構成を示すブロック図。
【図９】同実施形態に係るフレーム内評価の内容を例示する画像を示す図。
【図１０】同実施形態に係るフレーム間評価を説明する図。
【図１１】同実施形態に係るオプティカルフローを用いたフレーム間評価を説明する図。
【図１２】同実施形態に係る差分画像を用いたフレーム間評価を説明する図。
【図１３】同実施形態に係る動き推定の処理手順を示すフローチャート。
【図１４】同実施形態に係る動き推定を行なうべく作成した類似度マップを例示する図。
【図１５】同実施形態に係る参照画像の基準画像への近似を示す図。
【図１６】同実施形態に係る第１の加算平均法により高解像画像を得る概念を示す図。
【図１７】同実施形態に係る第２の加算平均法により高解像画像を得る概念を示す図。
【図１８】本発明の第２実施形態に係る画像処理装置の構成を示すブロック図。
【図１９】同実施形態に係る画像処理のメインルーチンを示すフローチャート。
【図２０】同実施形態に係る特定被写体が顔である場合の具体的な手順を説明する図。
【図２１】本発明の第３実施形態に係る画像処理装置の構成を示すブロック図。
【図２２】同実施形態に係る画像処理のメインルーチンを示すフローチャート。
【図２３】同実施形態に係る具体的な手順を説明する図。
【符号の説明】
【０１５０】
１０…画像処理装置、１１…被写体検出部、１２…被写体評価部、１２Ａ…正対評価部、１２Ｂ…視線評価部、１２Ｃ…表情評価部、１３…背景評価部、１３Ａ…フレーム内評価部、１３Ａ１…輪郭評価部、１３Ａ２…濃淡評価部、１３Ｂ…フレーム間評価部、１４…画像選択部、１５…画像構成部、２０…画像処理装置、２１…被写体検出部、２２…被写体領域抽出部、２３…被写体領域高解像度化部、２４…被写体評価部、２４Ａ…正対評価部、２４Ｂ…視線評価部、２４Ｃ…表情評価部、２５…背景評価部、２５Ａ…フレーム内評価部、２５Ｂ…フレーム間評価部、２６…画像選択部、２７…画像構成部、３０…画像処理装置、３１…被写体検出部、３２…被写体評価部、３２Ａ…正対評価部、３２Ｂ…視線評価部、３２Ｃ…表情評価部、３３…背景評価部、３３Ａ…フレーム内評価部、３３Ｂ…フレーム間評価部、３４…高評価画像前後ｎフレーム選択部、３５…画像構成部、ＡＡ…注目被写体領域、ＡＣ…顔領域中心、ＢＢ…自動車、ＤＣ…撮影装置、ＦＡ…（原画像）顔領域、ＦＡ２…（高解像度化後）顔領域、、ＩＭ１００，ＩＭ２００，ＩＭ３００…（原）画像、ＩＭ１０１，ＩＭ２０１，ＩＭ３０１…（高解像度化後）画像、ＯＣ…顔器官中心位置。
【図１】
2009205283.tif 000006
【図２】
2009205283.tif 000007
【図３】
2009205283.tif 000008
【図４】
2009205283.tif 000009
【図５】
2009205283.tif 000010
【図６】
2009205283.tif 000011
【図７】
2009205283.tif 000012
【図８】
2009205283.tif 000013
【図９】
2009205283.tif 000014
【図１０】
2009205283.tif 000015
【図１１】
2009205283.tif 000016
【図１２】
2009205283.tif 000017
【図１３】
2009205283.tif 000018
【図１４】
2009205283.tif 000019
【図１５】
2009205283.tif 000020
【図１６】
2009205283.tif 000021
【図１７】
2009205283.tif 000022
【図１８】
2009205283.tif 000023
【図１９】
2009205283.tif 000024
【図２０】
2009205283.tif 000025
【図２１】
2009205283.tif 000026
【図２２】
2009205283.tif 000027
【図２３】
2009205283.tif 000028