(57)【要約】【課題】デジタル・ビデオ・カメラと複合機とだけで、所望の画像を容易にキャプチャし、印刷することができる記録装置および記録装置の制御方法を提供することを目的とする。【解決手段】印字する記録手段と、画像を読み込むスキャナと、デジタル・ビデオ・カメラから画像を取り込むためのインタフェースと、動画像から静止画をキャプチャし、印刷する手段とを有する。また、撮影者が追尾する被写体の露光状態が、予め設定されている露光条件に合致するシーン、または近いシーンを、動画期間中のシーンから検出する検出手段を有する記録装置である。【選択図】図３
2008228117.tif 000002
【特許請求の範囲】
【請求項１】
印字する記録手段と；
画像を読み込むスキャナと；
デジタル・ビデオ・カメラから画像を取り込むためのインタフェースと；
動画像から静止画をキャプチャし、印刷する手段と；
撮影者が追尾する被写体の露光状態が、予め設定されている露光条件に合致するシーン、又は近いシーンを、動画期間中のシーンから検出する検出手段と；
を有することを特徴とする記録装置。
【請求項２】
請求項１において、
上記検出手段は、撮影者が追尾する被写体の顔領域を推定し、この領域のＲＧＢ情報と、予め設定されているＲＧＢ情報、又は、ユーザが設定したＲＧＢ情報と、合致するシーン、又は近いシーンを検出する手段であることを特徴とする記録装置。
【請求項３】
請求項２において、
複数のシーンが検出された場合、被写体のＲＧＢ情報が、設定されているＲＧＢ情報に近い順に並べ、ユーザに選択させる手段を有することを特徴とする記録装置。
【請求項４】
請求項２において、
上記ＲＧＢ情報とは異なる第２の条件を、キャプチャ条件として採用し、ＲＧＢ情報にに基づいて複数のシーンが、候補として検出されていれば、第２の条件に応じて、上記候補を絞り込むことを特徴とする記録装置。
【請求項５】
請求項４において、
上記第２の条件として、予め用意されている構図パターン、又はユーザが設定した構図パターンを用い、これらに、合致又は近いシーンを検出することを特徴とする記録装置。
【請求項６】
請求項５において、
記録装置に設けられている読み込み手段が、ユーザの描いた画像を読み込むことによって、ユーザによる構図パターンの設定が行われることを特徴とする記録装置。
【請求項７】
請求項６において、
読み込まれたユーザによる構図パターン画像を複数の領域に分け、これら分けられた複数の領域のＲＧＢ情報同士の間における差異と、動画中のシーンのＲＧＢ情報の分布とに基づいて、ユーザによる構図パターンを検出することを特徴とする記録装置。
【請求項８】
請求項７において、
動画中の全ての画面について上記構図パターンを検出するか、又は動画の複数枚に１回ずつ上記構図パターンを検出することを特徴とする記録装置。
【請求項９】
画像をスキャナが読み込み、記憶装置に記憶する工程と；
インタフェースを介して、デジタル・ビデオ・カメラから動画像を取り込み、記憶装置に記憶する工程と；
動画像から静止画をキャプチャし、記憶装置に記憶する工程と；
キャプチャした静止画を印刷する工程と；
撮影者が追尾する被写体の露光状態が、予め設定されている露光条件に合致するシーン、又は近いシーンを、動画期間中のシーンから検出し、記憶装置に記憶する検出工程と；
を有することを特徴とする記録装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画から静止画をキャプチャし、印刷する記録装置に関する。
【背景技術】
【０００２】
近年、デジタル・ビデオ・カメラは、低価格化によって一般化し、且つ画質の向上が著しく、静止画に耐える機種も存在する。また、プリンタ等の記録装置も、低価格化が進み、且つ高付加価値化のため複写機機能、ＩｒＤＡやコンパクトフラッシュ（登録商標）等、可搬性メディアに格納されている画像を直接プリントする機能等を、盛り込み、複合化している。
【０００３】
そして、家庭への普及に伴い、この複合機と上記デジタル・ビデオ・カメラとを組み合わせた場合の利用が、注目され始めている。この組み合わせでは、まず、デジタルビデオで撮影された動画から、静止画をキャプチャし、これを印刷するという利用方法が一般的である。
【０００４】
しかし、この利用方法では、従来、次のような問題が存在する。
【０００５】
従来の方法では、屋外撮影した動画は、逆光、又は照度不足等、不適切露出の画像が多く、プリント出力する場合、適切なシーンを探す作業に長い時間を要するという問題がある。
【０００６】
また、従来の方法では、使用者によるモニタ画面の設定によっては、適切な露光状態であるかどうかを正確に判定できない場合があるという問題がある。
【０００７】
さらに、従来方法では、適正な構図を探す作業に長い時間を要するという問題がある。
【０００８】
「適切な構図」を探す場合、予め機器に設定されているテンプレートを選択して適切な構図を探すのみでは、使用者が自由にテンプレートを作成し、機器へ入力することが困難であるという問題がある。
【０００９】
しかも、従来方法では、動画の全てのフレームについて、画像評価を行うと、高速な処理が必要であり、コストアップの要因になるという問題がある。
【００１０】
そして、従来方法では、デジタル・ビデオ・カメラで撮影されたデータを、ＰＣ等に取り込み、所望の画像をキャプチャし、プリンタに適したデータへ変換してから印刷する必要があり、作業が煩雑であるという問題がある。
【００１１】
印刷するのに適当なフレームを自動でキャプチャするための手段として、撮影者が追尾する被写体を特定することが知られている（たとえば、特許文献１参照）。この特許文献１記載の発明では、たとえば、カメラを右に動かしているときに、撮影者がある被写体から別の被写体へ視線を動かすと、画面上のほとんどの物体が、左方向に流れる。これに対して、撮影者が動く被写体を追尾し、カメラを動かしていると、背景の画像が左に流れていく中で、被写体のみが常に画面の中央付近にとどまっている。したがって、画面上に移動物体の領域があるか否かを調べれば、カメラ動作における撮影者の意図を判断することができ、追尾する被写体を特定することができる。
【００１２】
しかし、この発明では、撮影者が追尾する対象を特定するのみで、特定された対象の露光状態や構図等、印刷するのに適した画像であるかどうかの検証がなされていない。また、印刷に適する画像を探している検索者が、人物の画像の状態を意図しているのか、風景を意図しているのか等、検索者の意思が反映されていない。
【００１３】
人物を撮影する場合、顔が適切な露光状態であるシーンが望ましく、顔のような領域を検出する発明が知られている（たとえば、特許文献２参照）。この特許文献２に記載されている発明は、人の皮膚は均一な彩度を有する傾向があるという特性を利用し、画像の彩度を平均化することによって、カラー画像の解像度を低下させ、所定の形状を有し、また、上記解像度が低下した画像領域を切り取る発明である。この発明によって、異なる年齢、性別、及び皮膚の色によらず、顔領域の候補を認識することができる。
【００１４】
しかし、この発明は、顔領域を推定する発明であり、顔領域の露光状態を判定する発明ではない。また、顔以外の印刷対象についは、特許文献２には記載されていない。
【００１５】
逆光状態や人物の肌色が美しくないビデオプリントを、高画質化することが提案されている（たとえば、特許文献３参照）。この特許文献３記載の発明によれば、逆光シーンの暗部の形状の輝度によって、逆光判定し、また、人物の顔領域を推定し、逆光の度合を評価する。また、肌色階調を含めて、主成分分析手法で肌色分布を求める。
【００１６】
しかし、この提案は、画像を補正するものであり、多かれ少なかれ、補正後の画像は、不自然さが付きまとう。また、そもそも、撮影者が意図した対象物の階調が完全に飽和している場合等には対応することができず、したがって、あらゆる状況下のシーンに対応できるものではない。
【００１７】
また、撮影時に構図を自動的に決定する提案が知られている（たとえば、特許文献４参照）。この特許文献４記載の発明によれば、構図パターンを複数保存し、これに合うように、パンチイン／オートズームを制御するものである。
【００１８】
さらに、構図不良写真の発生を防止するカメラについて、提案されている（たとえば、特許文献５参照）。特許文献５記載の発明によれば、撮影画面内の輝度分布情報に基づいて、主要被写体の上端に対応するエッジを抽出し、この位置を、予め定められた適正範囲と比較し、構図の不良を判定する。
【００１９】
特許文献４、５記載の発明は、撮影時に、撮影者の意図に関らず構図を制御するので、撮影者の自由な発想を抑制する。さらに、録画した後におけるキャプチャについては、特許文献４、５に記載されていない。
【特許文献１】特開平８−１９１４１１号公報
【特許文献２】特開平１１−２８８４５号公報
【特許文献３】特開平８−６２７４１号公報
【特許文献４】特開２０００−２４４８００号公報
【特許文献５】特開２００３−２７４２２６号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
つまり、上記従来例では、次の問題がある。
【００２１】
（１）動画は、屋外撮影では、逆光、又は照度不足等、不適切露出の画像が多く、プリント出力する場合に、適切なシーンを探す作業に長い時間を要する。
【００２２】
（２）使用者のモニタ画面の設定によっては、適切な露光状態であるかどうかを正確に判定することができない場合がある。
【００２３】
（３）露光状態を、印刷用画像に適した状態に補正する場合、補正後のデータが不自然になる場合がある。
【００２４】
（４）予め決められている複数の構図に基づいて、目的の構図に近い構図を探す作業に長い時間を要する可能性がある。また、所望の構図が含まれていない場合もある。
【００２５】
（５）「適切な構図」は、予め機器に設定されているテンプレートを選択するのみであり、使用者が自由にテンプレートを作成することが困難であり、機器へ入力することが困難である。
【００２６】
（６）印刷に適する画像を探している検索者が、人物の画像の状態を意図しているのか、風景を意図しているのか等、検索者の意思が反映されない。
【００２７】
（７）動画の全てのフレームについて、画像評価しようとすると、高速な処理が必要であり、コストアップの要因となる。
【００２８】
（８）デジタル・ビデオ・カメラで撮影されたデータを、ＰＣ等に取り込み、所望の画像をキャプチャしてから、プリンタに適したデータへ変換し、印刷する必要があり、作業が煩雑である。
【００２９】
本発明は、デジタル・ビデオ・カメラと複合機とだけで、所望の画像を容易にキャプチャし、印刷することができる記録装置及び記録装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【００３０】
本発明は、印字する記録手段と、画像を読み込むスキャナと、デジタル・ビデオ・カメラから画像を取り込むためのインタフェースと、動画像から静止画をキャプチャし、印刷する手段とを有する。また、本発明は、撮影者が追尾する被写体の露光状態が、予め設定されている露光条件に合致するシーン、又は近いシーンを、動画期間中のシーンから検出する検出手段を有する記録装置である。
【発明の効果】
【００３１】
本発明によれば、デジタル・ビデオ・カメラと複合機とだけで、適切な露出のフレームを容易にキャプチャし、印刷することができるという効果を奏する。
【００３２】
また、本発明によれば、デジタル・ビデオ・カメラと複合機とだけで、ユーザが所望するレイアウトのフレームを、容易にキャプチャし、印刷することができるという効果を奏する。
【発明を実施するための最良の形態】
【００３３】
発明を実施するための最良の形態は、次の実施例である。
【実施例１】
【００３４】
図１は、本発明の実施例１であるＭＦＰ（複合機）１００のシステムの概略を示す図である。
【００３５】
ＭＦＰ１００は、印刷機能を有する複合機であり、プリンタ１と、画像を読み込むスキャナ２と、ピクトブリッジ３と、カード４と、デジタル・ビデオ・カメラ２００とのインタフェース５とを有する。
【００３６】
デジタル・ビデオ・カメラ２００は、インタフェース６を有し、ケーブルＣ１を介して、ＭＦＰ１００に接続される。
【００３７】
図２は、デジタル・ビデオ・カメラ２００からＭＦＰ１００へ画像を入力する動作の概略を示す図である。
【００３８】
図３は、実施例１における基本構成を示す図である。
【００３９】
動画データから、印刷に適する画像を得るために、動画の各画面（以下、「フレーム」という）Ｆ１、Ｆ２、Ｆ３、Ｆ４を評価する。動画は、静止画を連続的に再生しているので、図３に示す構成における処理を、画面毎（フレームＦ１、Ｆ２、Ｆ３、Ｆ４毎）に実行する。又は、複数枚毎に処理を実行する。
【００４０】
ＭＦＰ１００の出力は、静止画であり、最適な画面とそうでない画面とが、動画のフレーム毎に変わる場合は少なく、フレームが進むに連れ、少しずつ変化する。このために、所定のフレームが、最適なフレームではないと判断した後に、上記所定のフレームから複数フレーム進んだフレームを、新たに評価するようにしてもよい。
【００４１】
図２に示す例では、最初のフレームＦ１の次は、４つ目のフレームＦ４を評価し、３フレーム毎に処理している。
【００４２】
ＭＦＰ１００は、スキャナ２と、モード選択手段３０１と、肌色検出手段３０２と、顔料域検出手段３０３と、露出判定手段３０４と、画面分割手段３０５と、エッジ検出手段３０６と、物体検出手段３０７と、入力手段３０８とを有する。また、ＭＦＰ１００は、物体検出手段３０９と、比較・検出手段３１０と、画面分割手段３１２と、ＲＧＢ解析手段３１３と、候補フレーム選定手段３１５とを有する。
【００４３】
モード選択手段３０１は、動画から、印刷に適した静止画の検索を行う場合、モードを選択する。このモード選択手段３０１は、画像の検索者が意図している画像を知ることによって、より適した画像を検索するためのものである。
【００４４】
肌色検出手段３０２、顔料域検出手段３０３、露出判定手段３０４は、モード選択手段３０１で、人物モードが選択された場合に使用する手段である。肌色検出手段３０２は、画像検索する場合、画像中から肌色を検出する手段である。顔領域検出手段３０３は、肌色検出手段３０２が検出した肌色領域から、顔領域を検出し、露出判定手段３０４は、検出された顔料域の露出が適切か否かを判定し、候補フレーム選定手段３１５が、印刷に適したフレームであるかどうかを判定する。
【００４５】
手段３０４〜３１０は、モード選択手段３０１で、レイアウトモードを選択した場合に各処理を実行する。
【００４６】
レイアウトモードでは、フレーム内の物体の配置を検出する。画面分割手段３０５が、画面を分割し、エッジ検出手段３０６が、画像のエッジを検出する。物体検出手段３０７が、検出された画像のエッジ情報に基づいて、物体を検出する。
【００４７】
入力手段３０８は、ユーザが描いたパターン図を、スキャナ２から入力する。物体検出手段３０９は、入力したパターン図から、物体領域を検出する。
【００４８】
比較・検出手段３１０は、物体検出部３０７、３０９が検出した情報を比較し、ユーザが希望するレイアウトと同じであるかどうかを判断する。
【００４９】
露出判定手段３０４は、ユーザが希望するレイアウトと同じであると、比較・検出手段３１０が判断すると、露出が適切かどうかを判定する。
【００５０】
候補フレーム選定手段３１５は、印刷に適したフレームかどうかを判定する。
【００５１】
手段３１２、３１３、３０４は、モード選択手段３０１が風景モードを選択した場合に処理する手段である。ここでは、背景の典型例として、レイアウトを複数記憶し、これら記憶されている複数のレイアウトと画像とを比較する。
【００５２】
画面分割手段３１２は、画面を、記憶されているレイアウトの領域に分割する。
【００５３】
ＲＧＢ解析手段３１３は、各領域について、ＲＧＢ解析する。露出判定手段３０４は、この解析結果から、露出が適切かどうかを判定し、候補フレーム選定手段３１５が、印刷に適したフレームかどうかを判定する。
【００５４】
図４は、ＭＦＰ１００の動作を示すフローチャートである。
【００５５】
まず、画像を読み込み（Ｓ１）、人物モード、レイアウトモード、風景モードから、１つのモード選択をする（Ｓ２）。
【００５６】
動画中からフレームを１つ取得する（Ｓ３）。この取得された１つのフレームが、本処理の１フレーム目であれば（Ｓ４）、Ｓ６へ進む。取得された１つのフレームが、本処理の１フレーム目でなければ、前回判定したフレームから、ｎフレーム目であるかどうかを判定し（Ｓ５）、ｎフレーム目でなければ、次のフレームの処理へ移る。ｎフレーム目であれば（Ｓ５）、Ｓ２で選択したモードに応じた判定基準によって、そのフレームを判定する（Ｓ６）。
【００５７】
なお、Ｓ６については、図５以降の説明で、詳細に説明する。
【００５８】
Ｓ３〜Ｓ６が、全フレームについて終了した（Ｓ７）後に、印刷に適した画像としての候補を表示し、この表示されている画像の中から、ユーザが画像を選択し（Ｓ８）、ユーザが選択した画像を印刷する（Ｓ９）。
【００５９】
Ｓ５で説明した変数ｎは、フレーム毎に、フレーム判定（Ｓ６）を実行するならば、「１」を設定し、図２で説明したように、３フレーム毎に、フレーム判定（Ｓ６）を実行するならば、「３」を設定すればよい。
【００６０】
図５は、図３で説明した人物モードでの動作の概略説明図である。
【００６１】
図２で説明した、得たフレームＦ１の全体を、図５（２）に示すように、分割し、分割されたフレームＦ１ｄを得る。実施例１では、格子状に分割している。
【００６２】
図５（２）では、説明を容易にするために、分割されたフレームＦ１ｄとして、フレームＦ１の全体の一部（肩から上の部分）を表示している。次に、分割されたフレームＦ１ｄの各エリアのＲＧＢ分布を求める。なお、色相と彩度とのヒストグラムに基づいて、肌色を判定することができるので、分割された各エリアが肌色であるかどうかを識別することができる。分割されたフレームＦ１ｄのうちで、図５（３）に示すように、顔色領域ｒ１を検出することができ、この結果、図５（４）に示すように、顔領域ｆ１を推定する。
【００６３】
分割されたフレームＦ１ｄを求めるには、分割数が細かい方が、処理がより正確になるが、システムへの負荷が重くなるので、機器に求める仕様に基づいて、分割数を予め決めておけばよい。また、複数種類の分割数を用意し、画像又は設定に応じて、分割数を変更するようにしてもよい。
【００６４】
次に、ＭＦＰ１００において、人物モードにおける処理について説明する。
【００６５】
図６は、ＭＦＰ１００において、人物モードにおける処理を示すフローチャートである。
【００６６】
まず、人物モードが選択されると（Ｓ１１）、動画中からフレームを取得し、複数のエリアに分割する（Ｓ１２）。分割された各エリアのＲＧＢ分布を解析し（Ｓ１３）、肌色であるかどうかを判定する（Ｓ１４）。
【００６７】
ここで、分割された複数のエリアのうちの単一のエリアが肌色であると判定されても、人物画像の一部であるか、同色の他物体であるかを判定することができない。よって、肌色であると判定されたエリアが複数連続し、且つ手足等ではなく、顔であることを判定する必要がある。このための処理は、Ｓ１５〜Ｓ２０である。
【００６８】
すなわち、Ｓ１４で、あるエリアが肌色であると判定されると、隣接エリアも肌色であるかどうかを判断し（Ｓ１５）、肌色であると判断されれば、顔領域である可能性が高いので、両エリア（当該エリア、その近接エリア）にフラグを立てる。このフラグは、マトリクス状に分割したエリアに対応して設けられたレジスタで実現している。また、隣接エリアについては、現在のエリアの１つ前の処理における判定結果を、一時記憶領域に記憶しておけばよい。
【００６９】
上記フラグが連続する数が、予め決められた値ｎ１以上であれば、人物の肌であると判断する（Ｓ１８）。フレームの全エリアについて、処理が終了すれば（Ｓ１９）、肌色であると判断されたエリアの集合体の形状を、顔の形状として記憶されているテンプレートと比較する（Ｓ２０）。一致すれば、顔であると判断し、この領域が、印刷に適した露出であるかどうかを判定する（Ｓ２１）。適切であると判断すれば、印刷に適した画面の候補として、上記フレームにインデックスを付加する（Ｓ２２）。インデックスを付加する場合、デジタル・ビデオ・カメラ２００が付加している時間データを記憶すればよい。又は、そのフレームの画像データそのものを、上記インデックスとして記憶するようにしてもよい。
【００７０】
なお、Ｓ１４、Ｓ１５、Ｓ１７、Ｓ１９で、それぞれ、否であると判定されれば、以降の処理を止め、次のエリアを処理する。また、Ｓ２０で、肌色であると判断されたエリアの集合体の形状が、顔の形状として記憶されているテンプレートと一致しない場合、本フレームには、顔領域が存在しないと判断し、本フレームの処理を終了する。
【００７１】
図７は、図３に示すレイアウトモードにおける動作の概略を説明する図である。
【００７２】
ＭＦＰ１００は、ケーブルＣ１を介して、デジタル・ビデオ・カメラ２００に接続されている。デジタル・ビデオ・カメラ２００の動画に含まれているフレームＦ１１は、ケーブルＣ１を介して、ＭＦＰ１００へ取り込まれる。また、ユーザが作成したレイアウト判定用のテンプレート画像ＴＰ１は、ＭＦＰ１００のスキャナ２によって取り込まれる。この後に、両画像（フレームＦ１１の画像と、テンプレート画像ＴＰ１）が互いに比較され、画像が一致していれば、ユーザが指定したレイアウトのフレームであると判断する。
【００７３】
レイアウトモードでは、フレーム内の物体を検出する必要がある。実施例１では、画像のエッジに基づいて、物体を検出する。
【００７４】
図８は、画像のエッジを検出する処理の概略を示す図である。
【００７５】
画像のエッジを検出する場合、ＲＧＢ分布の差が大きいエリアの境目を探せばよい。まず、図５に示す場合と同様に取得したフレームＦ１１を、図８（２）に示すように、複数のエリアに分割する。図８（２）では、説明を容易にするために、フレームＦ１１の一部を切り出して表示している。フレームＦ１１において、背景エリアと家の画像のエリアとでは、ＲＧＢ分布に差があるので、この差を検出し、家の画像のエッジを求める。また、求めたエッジが閉じている領域が物体であると判定すれば、図８（３）に示すように、その物体の形状、配置がわかる。
【００７６】
なお、エッジを検出するためのＲＧＢ分布の差の値を、予め決め、ユーザによる調整、又は機器に学習機能を持たせ、随時、予め定めたＲＧＢ分布の差の値を変更するようにしてもよく、処理は同様である。
【００７７】
次に、エッジ検出動作について説明する。
【００７８】
図９は、エッジを検出する処理を示すフローチャートである。
【００７９】
まず、境界検出動作が選択されると（Ｓ３１）、動画中からフレームを取得し、複数のエリアに分割する（Ｓ３２）。エリア間のＲＧＢ分布の差を検出するために、各エリアのＲＧＢ分布を解析する（Ｓ３３）。処理中のエリアのＲＧＢ分布のレベルが、隣接エリアのＲＧＢ分布のレベルと規定レベル以上異ならなければ、次のエリアへ処理を進める（Ｓ３４）。隣接エリアとの間で、ＲＧＢ分布が規定レベル以上異なれば（Ｓ３４）、隣のエリアとの境界であると判定する（Ｓ３５）。全エリアが終了するまで、処理Ｓ３４〜Ｓ３７を繰り返す。
【００８０】
次に、使用するレイアウトを決めるレイアウトモード処理について説明する。
【００８１】
図１０は、レイアウトモード処理の動作を示すフローチャートである。
【００８２】
まず、レイアウトモードが選択されると（Ｓ４１）、使用するレイアウトのテンプレートが、ＭＦＰ１００本体に予め記憶されているテンプレートであるか、ユーザが作成したレイアウト図であるかを選択する。そして、ユーザが作成したレイアウト図を使用するのであれば（Ｓ４２）、テンプレートを、ＭＦＰ１００本体のスキャナ２が読み取る（Ｓ４３）。
【００８３】
次に、図７〜図９で説明した方法によって、動画中の物体を検出し、これが、Ｓ４２で選択したテンプレートと一致するかどうかを判定する（Ｓ４５）。ここで、テンプレートと一致しなければ、処理を中止し、一致すれば、その物体領域の露出が適切であるかどうかを判定する（Ｓ４６）。適切であると判定すれば、このフレームにインデックスを付加する（Ｓ４７）。
【００８４】
図７〜図１０に示す方法によって、印刷者が希望する対象物の露出が適正なフレームを、容易に検出し、印刷することができる。
【００８５】
次に、風景モード処理について説明する。
【００８６】
図１１は、風景モード処理を示すフローチャートである。
【００８７】
風景モードの処理は、図５で説明した人物モードと似ている。図５で説明した人物モードでは、フレームの特定領域のＲＧＢ分布に基づいて、人物を判定するが、風景モードでは、フレーム全体を、単なる格子状ではなく、フレームの代表的な構成に対応した複数の領域に分割し、各領域の平均的なレベルを評価する。
【００８８】
まず、風景モードが選択されると（Ｓ５１）、動画中からフレームを取り込み、風景画として適切な複数のテンプレートのうちで、最も近いテンプレートと同形状のエリアへ、上記取り込んだフレームを分割する（Ｓ５２）。次に、分割された各エリアのＲＧＢ分布を求め（Ｓ５３）、各エリアに対する条件と一致すれば（Ｓ５４）、印刷に適した画面であると判断し、インデックスを付加する（Ｓ５５）。
【００８９】
Ｓ５２で風景画として適切であると判断されたフレームのテンプレートは、ＭＦＰ１００の本体内に予め記憶されている。また、分割された各エリアのＲＧＢ分布は、海岸を想定した場合、フレームの上中下で、空、海、砂浜の平均的なＲＧＢの分布の値を基準値とし、山を想定した場合、上下で、空、山の平均的なＲＧＢの分布の値を設定する。さらに多くのテンプレートを容易する場合も、上記と同様である。
【００９０】
実施例１では、人物モード、レイアウトモード、風景モードの３種類の例を挙げたが、さらに多くのモードを有するようにしてもよく、この場合における制御は、上記と同様である。
【００９１】
また、実施例１では、レイアウトモードで、ユーザが作成した画像を、テンプレートとして使用するが、他のモードでも、ユーザが作成した画像を、テンプレートとして使用するようにしてもよい。
【００９２】
さらに、ユーザが作成した画像を、テンプレートとして使用する場合、色情報を包含しても、上記と同様に制御することができる。
【００９３】
つまり、プリンタ１は、印字する記録手段の例である。スキャナ２は、画像を読み込むスキャナの例である。インタフェース５、６、ケーブルＣ１は、デジタル・ビデオ・カメラから画像を取り込むためのインタフェースの例である。プリンタ１は、動画像から静止画をキャプチャし、印刷する手段の例である。候補フレーム選定手段３１５は、撮影者が追尾する被写体の露光状態が、予め設定されている露光条件に合致するシーン、又は近いシーンを、動画期間中のシーンから検出する検出手段の例である。
【００９４】
この場合、上記検出手段は、撮影者が追尾する被写体の顔領域を推定し、この領域のＲＧＢ情報と、予め設定されているＲＧＢ情報、又は、ユーザが設定したＲＧＢ情報と、合致するシーン、又は近いシーンを検出する手段である。また、複数のシーンが検出された場合、被写体のＲＧＢ情報が、設定されているＲＧＢ情報に近い順に並べ、ユーザに選択させる手段を有する。さらに、上記ＲＧＢ情報とは異なる第２の条件を、キャプチャ条件として採用し、ＲＧＢ情報にに基づいて複数のシーンが、候補として検出されていれば、第２の条件によって、上記候補を絞り込む。しかも、上記第２の条件として、予め用意されている構図パターン、又はユーザが設定した構図パターンを用い、これらに、合致又は近いシーンを検出する。そして、記録装置に設けられている読み込み手段が、ユーザの描いた画像を読み込むことによって、ユーザによる構図パターン設定が行われる。また、読み込まれたユーザによる構図パターン画像を複数の領域に分け、これら分けられた複数の領域のＲＧＢ情報同士の間における差異と、動画中のシーンのＲＧＢ情報の分布とに基づいて、ユーザによる構図パターンを検出する。また、動画中の全ての画面について上記構図パターンを検出するか、又は動画の複数枚に１回ずつ上記構図パターンを検出する。
【００９５】
また、上記実施例を方法の発明として把握することができる。つまり、上記実施例は、画像をスキャナが読み込み、記憶装置に記憶する工程と、インタフェースを介して、デジタル・ビデオ・カメラから動画像を取り込み、記憶装置に記憶する工程とを実現する例である。また、上記実施例は、動画像から静止画をキャプチャし、記憶装置に記憶する工程と、キャプチャした静止画を印刷する工程とを実現する例である。そして、上記実施例は、撮影者が追尾する被写体の露光状態が、予め設定されている露光条件に合致するシーン、又は近いシーンを、動画期間中のシーンから検出し、記憶装置に記憶する検出工程とを実現する例である。
【図面の簡単な説明】
【００９６】
【図１】本発明の実施例１であるＭＦＰ（複合機）１００のシステムの概略を示す図である。
【図２】デジタル・ビデオ・カメラ２００からＭＦＰ１００へ画像を入力する動作の概略を示す図である。
【図３】実施例１における基本構成を示す図である。
【図４】ＭＦＰ１００の動作を示すフローチャートである。
【図５】図３で説明した人物モードでの動作の概略説明図である。
【図６】ＭＦＰ１００において、人物モードにおける処理を示すフローチャートである。
【図７】図３に示すレイアウトモードにおける動作の概略を説明する図である。
【図８】画像のエッジを検出する処理の概略を示す図である。
【図９】エッジを検出する処理を示すフローチャートである。
【図１０】レイアウトモード処理の動作を示すフローチャートである。
【図１１】風景モード処理を示すフローチャートである。
【符号の説明】
【００９７】
１００…ＭＦＰ、
３０１…モード選択手段、
３０２…肌色検出手段、
３０３…顔料域検出手段、
３０４…露出判定手段、
３０５…画面分割手段、
３０６…エッジ検出手段、
３０７…物体検出手段、
３０８…入力手段、
３０９…物体検出手段、
３１０…比較・検出手段、
３１２…画面分割手段、
３１３…ＲＧＢ解析手段、
３１５…候補フレーム選定手段。
【図１】
2008228117.tif 000003
【図２】
2008228117.tif 000004
【図３】
2008228117.tif 000005
【図４】
2008228117.tif 000006
【図５】
2008228117.tif 000007
【図６】
2008228117.tif 000008
【図７】
2008228117.tif 000009
【図８】
2008228117.tif 000010
【図９】
2008228117.tif 000011
【図１０】
2008228117.tif 000012
【図１１】
2008228117.tif 000013