(57)【要約】【課題】撮影画像における被写体を個々に識別可能とし、被写体毎に最適なシーンの撮影画像を選択する。【解決手段】画像処理部１５により撮影画像から顔領域が抽出されると、制御部１１により各顔領域の被写体がそれぞれ特定され、その被写体の個人識別情報、顔領域情報が撮影画像に対応付けて画像メモリ１６に記録される。アルバムを作成する際には、記録された撮影画像のうち、撮影画像に対応付けられた個人識別情報及び顔領域情報に基づいて、ある特定の被写体が撮影されており、かつアルバムに適切なシーンである撮影画像がアルバムに使用する撮影画像として制御部１１により選択される。【選択図】図１
2005210369.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像から被写体の顔領域を抽出する顔領域抽出手段と、
前記抽出された顔領域毎にその被写体を認証する個人認証手段と、
前記撮影画像に、前記抽出された顔領域に関する顔領域情報と、顔領域毎に認証された被写体を個別に識別するための個人識別情報とを対応付けて記録する画像記録手段と、
前記記録された撮影画像の中から、当該撮影画像に対応付けられた顔領域情報及び個人識別情報に基づいて、所望の撮影画像を選択する画像選択手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像選択手段は、前記個人識別情報に基づいて、特定の被写体が撮影されている撮影画像を選択し、
前記選択された撮影画像を用いてアルバムを作成するアルバム作成手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像選択手段は、前記顔領域情報に基づいて所望のシーンの撮影画像を選択することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像選択手段により選択された撮影画像に、前記顔領域情報に基づいて補正処理を施す補正手段を備えることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
前記画像記録手段は、撮影画像に、撮影に関する補助情報を対応付けて記録し、
前記画像選択手段は、顔領域情報、個人識別情報及び補助情報に基づいて撮影画像の選択を行うことを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
【請求項６】
撮影画像から被写体の顔領域を抽出する顔領域抽出工程と、
前記抽出された顔領域毎にその被写体を認証する個人認証工程と、
前記撮影画像に、前記抽出された顔領域に関する顔領域情報と、顔領域毎に認証された被写体を個別に識別するための個人識別情報とを対応付けて記録する画像記録工程と、
前記記録された撮影画像の中から、当該撮影画像に対応付けられた顔領域情報及び個人識別情報に基づいて、所望の撮影画像を選択する画像選択工程と、
を含むことを特徴とする画像処理方法。
【請求項７】
前記画像選択工程では、前記個人識別情報に基づいて、特定の被写体が撮影されている撮影画像を選択し、
前記選択された撮影画像を用いてアルバムを作成するアルバム作成工程を含むことを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記画像選択工程では、前記顔領域情報に基づいて所望のシーンの撮影画像を選択することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記画像選択工程において選択された撮影画像に、前記顔領域情報に基づいて補正処理を施す補正工程を含むことを特徴とする請求項６〜８の何れか一項に記載の画像処理方法。
【請求項１０】
前記画像記録工程では、撮影画像に、撮影に関する補助情報を対応付けて記録し、
前記画像選択工程では、顔領域情報、個人識別情報及び補助情報に基づいて撮影画像の選択を行うことを特徴とする請求項６〜９の何れか一項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像の画像データを処理する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラやデジタルビデオカメラ等といった、撮影画像をデジタルデータで得ることができる電子撮像機器が、一般ユーザだけでなく写真スタジオやプロカメラマンといったプロユーザの間でも普及している。その一因として、撮像におけるコストが低いことが挙げられる。しかしながら、その利点がショット数の増大につながり、撮影画像データの整理・編集や、所望の画像のみを選択するといった作業負担を増大させることとなる。
【０００３】
従来から、幼稚園や学校等の教育機関においては、卒業記念の一環として卒業アルバムが作成されることが多い。この卒業アルバムは、入学から卒業までの間に行われた数々の行事（例えば入学式から始まり、遠足や修学旅行、体育祭、文化祭、卒業式等）において、プロカメラマンにより撮影された撮影画像が収集されて作成される。
【０００４】
卒業アルバムの作成時には、長期間にわたる膨大な撮影画像の中から、全ての生徒が均等に卒業アルバムに収められるように撮影画像を選択する作業が必要となる。しかしながら、上述したように、膨大な中から所望の撮影画像のみを選択するのは、アルバム作成者にとって非常に負担となる作業である。
【０００５】
このような画像選択に対する負荷を軽減するために種々の技術が開示されている。
その一つとして、撮影画像から顔、目、口等の顔の部位、髪、服、眼鏡等の画像領域を抽出し、その撮影画像における被写体の人数、顔のサイズ、色、髪の毛の長さ、眼鏡の有無、服の色等を検出して、それら各情報を撮影画像のインデックス情報として撮影画像に付加することにより、後にインデックス情報を用いて画像検索を行うことができる技術が開示されている（例えば、特許文献１）。
【０００６】
また、学校から送信される撮影画像を記録する際に、撮影画像に学校名簿等に基づく個人識別情報を対応付けて記録することにより、後にこの個人識別情報を利用して所望の画像を選択して卒業アルバムを作成することができる技術が開示されている（例えば、特許文献２参照）。
【０００７】
さらに、被写体の画像に被写体の氏名等を付加した参照画像を予め準備しておき、撮影画像と参照画像とを照合することにより、参照画像と同一の被写体が撮影されている撮影画像を抽出する技術が開示されている（例えば、特許文献３参照）。
【特許文献１】特開平１０−１２４６５５号公報
【特許文献２】特開２００２−４２１４５号公報
【特許文献３】特開２００３−１５０６０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１に記載の従来技術では、撮影画像において複数の被写体が撮影されている場合は、その個々について特定ができず、個人毎に撮影画像を選択して個人用のアルバムを作成する際には依然として画像の選択作業に対する負荷が大きい。また、特許文献２、３に記載の従来技術では、撮影画像中の被写体のそれぞれについて特定が可能ではあるが、撮影された被写体の顔の大きさや撮影位置によらず画像が選択されてしまうため、アルバムに採用するような適切なシーンであるか否かの判定作業に対する負担が大きい。
【０００９】
本発明の課題は、撮影画像における被写体を個々に識別可能とし、被写体毎に最適なシーンの撮影画像を選択することができる画像処理装置及び画像処理方法を提供することである。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明は、
撮影画像から被写体の顔領域を抽出する顔領域抽出手段と、
前記抽出された顔領域毎にその被写体を認証する個人認証手段と、
前記撮影画像に、前記抽出された顔領域に関する顔領域情報と、顔領域毎に認証された被写体を個別に識別するための個人識別情報とを対応付けて記録する画像記録手段と、
前記記録された撮影画像の中から、当該撮影画像に対応付けられた顔領域情報及び個人識別情報に基づいて、所望の撮影画像を選択する画像選択手段と、
を備えることを特徴とする画像処理装置。
【００１１】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記画像選択手段は、前記個人識別情報に基づいて、特定の被写体が撮影されている撮影画像を選択し、
前記選択された撮影画像を用いてアルバムを作成するアルバム作成手段を備えることを特徴とする。
【００１２】
請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記画像選択手段は、前記顔領域情報に基づいて所望のシーンの撮影画像を選択することを特徴とする。
【００１３】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像処理装置において、
前記画像選択手段により選択された撮影画像に、前記顔領域情報に基づいて補正処理を施す補正手段を備えることを特徴とする。
【００１４】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像処理装置において、
前記画像記録手段は、撮影画像に、撮影に関する補助情報を対応付けて記録し、
前記画像選択手段は、顔領域情報、個人識別情報及び補助情報に基づいて撮影画像の選択を行うことを特徴とする。
【００１５】
請求項６に記載の発明は、画像処理方法において、
撮影画像から被写体の顔領域を抽出する顔領域抽出工程と、
前記抽出された顔領域毎にその被写体を認証する個人認証工程と、
前記撮影画像に、前記抽出された顔領域に関する顔領域情報と、顔領域毎に認証された被写体を個別に識別するための個人識別情報とを対応付けて記録する画像記録工程と、
前記記録された撮影画像の中から、当該撮影画像に対応付けられた顔領域情報及び個人識別情報に基づいて、所望の撮影画像を選択する画像選択工程と、
を含むことを特徴とする。
【００１６】
請求項７に記載の発明は、請求項６に記載の画像処理方法において、
前記画像選択工程では、前記個人識別情報に基づいて、特定の被写体が撮影されている撮影画像を選択し、
前記選択された撮影画像を用いてアルバムを作成するアルバム作成工程を含むことを特徴とする。
【００１７】
請求項８に記載の発明は、請求項７に記載の画像処理方法において、
前記画像選択工程では、前記顔領域情報に基づいて所望のシーンの撮影画像を選択することを特徴とする。
【００１８】
請求項９に記載の発明は、請求項６〜８の何れか一項に記載の画像処理方法において、
前記画像選択工程において選択された撮影画像に、前記顔領域情報に基づいて補正処理を施す補正工程を含むことを特徴とする。
【００１９】
請求項１０に記載の発明は、請求項６〜９の何れか一項に記載の画像処理方法において、
前記画像記録工程では、撮影画像に、撮影に関する補助情報を対応付けて記録し、
前記画像選択工程では、顔領域情報、個人識別情報及び補助情報に基づいて撮影画像の選択を行うことを特徴とする。
【発明の効果】
【００２０】
請求項１、６に記載の発明によれば、撮影画像を記録する際に当該撮影画像から抽出された顔領域に関する顔領域情報とその被写体の個人識別情報とを対応付けて記録し、記録された撮影画像の中から所望の撮影画像を選択する際には撮影画像に対応付けられた顔領域情報及び個人識別情報に基づいて所望の撮影画像を選択するので、特定の被写体が撮影されている撮影画像を容易に検索することができ、オペレータによる画像選択作業を省略することができる。また、撮影画像に含まれる被写体を個々に識別することができるとともに、その被写体の撮影位置、大きさ等を容易に把握することができる。
【００２１】
請求項２、７に記載の発明によれば、個人識別情報に基づき特定の被写体の撮影画像を選択してアルバムを作成するので、個人毎に内容が異なる、各個人に適したアルバムを作成することができる。
【００２２】
請求項３、８に記載の発明によれば、顔領域情報に基づき所望のシーンの撮影画像を選択するので、被写体の撮影位置や大きさ等を考慮して、アルバムに使用する撮影画像として最適なシーンの撮影画像を選択することができる。
【００２３】
請求項４、９に記載の発明によれば、顔領域情報に基づいて撮影画像に補正を施すので、被写体の撮影位置や大きさが最適となるように撮影画像に補正を施すことができる。従って、特定の被写体にとって最適な撮影画像を得ることができ、顧客の満足度の高いアルバムを作成することができる。
【００２４】
請求項５、１０に記載の発明によれば、撮影画像にさらに補助情報を対応付けて記録し、画像選択時には、撮影画像に対応付けられた顔領域情報、個人識別情報及び補助情報に基づいて選択するので、撮影日時、撮影が行われた行事名、撮影された被写体が属する団体名等の各種撮影に関する情報を補助情報として対応付けておくことにより、所望の日時、行事、団体名等で撮影画像を検索することができ、より撮影画像の選択が容易となる。
【発明を実施するための最良の形態】
【００２５】
本実施の形態では、撮影画像を記録する際に、撮影画像から顔領域を抽出して各顔領域の被写体をそれぞれ特定し、その被写体を個別に識別するための個人識別情報、顔領域を特定するための顔領域情報を撮影画像に対応付けて記録しておき、アルバムを作成する際に、記録された撮影画像のうち、撮影画像に対応付けられた個人識別情報及び顔領域情報に基づいて、ある特定の被写体が撮影されており、かつアルバムに使用するものとして適切なシーンである撮影画像を、アルバムに使用する撮影画像として選択する例を説明する。
【００２６】
まず、構成を説明する。
図１に、本実施の形態における画像処理装置１０の内部構成を示す。
図１に示すように、画像処理装置１０は、制御部１１、入力部１２、表示部１３、通信部１４、画像処理部１５、画像メモリ１６、記憶部１７、メディアリーダライタ１８、印刷製本部１９を備えて構成される。
【００２７】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等から構成され、記憶部１７に格納されたシステムプログラムの他、画像記録処理プログラム、アルバム作成処理プログラムをＲＡＭに展開し、各プログラムとの協働により本発明に係る画像記録処理（図２参照）、アルバム作成処理（図６参照）を統括的に制御する。
【００２８】
画像記録処理では、画像処理部１５により撮影画像から顔領域が抽出されると、当該抽出された顔領域毎にその顔領域の被写体の個人認証を行い、認証された被写体を個別に識別するための個人識別情報を生成する。次いで、顔領域の位置、範囲等を特定するための顔領域情報として顔領域と同一領域を有するマスク画像を生成し、撮影画像にマスク画像、個人識別情報、そして撮影日、シーン名等の撮影に関する補助情報が有れば補助情報を対応付けて画像メモリ１６に記録する。すなわち、画像記録処理プログラムと制御部１１との協働により、個人認証手段を実現することができる。
【００２９】
アルバム作成処理では、画像メモリ１６に記録された撮影画像のうち、撮影画像に対応付けられた個人識別情報に基づいて特定の被写体が撮影された撮影画像を検索する。そして、検索された撮影画像においてマスク画像、個人識別情報に基づいて検索対象の被写体を特定し、そのマスク画像の位置、大きさ等に基づいてアルバムに適したシーンの撮影画像のみを選択する。そして、その被写体にとって最適なシーンとなるように画像処理部１５により補正を施させる。最後に、選択され補正が施された撮影画像を所定のアルバムフォーマットに従ってレイアウトし電子アルバムを作成する。なお、電子アルバムではなくアルバム本の作成が指示された場合は、印刷製本部１９により撮影画像データを印刷出力させ、アルバム本を製本させる。すなわち、アルバム作成処理プログラムと制御部１１との協働により、画像選択手段及びアルバム作成手段を実現することができる。
【００３０】
入力部１２は、オペレータの操作指示を入力するためのキーボードやマウス等を備えて構成され、これら各入力手段の操作に応じた操作信号を生成して制御部１１に出力する。
【００３１】
表示部１３は、ＬＣＤ（Liquid Crystal Display）等の表示ディスプレイを備えて構成され、この表示ディスプレイ上に各種操作画面やメニュー画面、制御部１１による処理結果等を表示する。
【００３２】
通信部１４は、ネットワークインターフェイスカード、モデム等の通信用インターフェイスを備えて構成され、通信ネットワーク上の外部機器と情報の送受信を行う。通信部１４は、学校や会社等の端末装置から送信された撮影画像の画像データを受信する。
【００３３】
画像処理部１５は、画像データにデータ処理を行うものである。
画像処理部１５は、撮影画像の画像解析を行い、被写体の顔領域を抽出する顔領域抽出手段である。顔領域の抽出方法としては以下に示す公知の手法を適用することができる。
（１）撮影画像を画像解析して色相、彩度、輝度のヒストグラムを作成し、そのヒストグラムに基づいて肌色領域を決定し、この肌色領域を顔領域として抽出する方法（特開平６−３０９４３３号公報）
（２）画像解析により肌色領域を抽出し、さらに非エッジ部分の領域を抽出して、肌色領域でかつ非エッジ部分の領域を顔領域として抽出する方法（特開平９−１０１５７９号公報）
（３）複数の顔テンプレートを準備しておき、この顔テンプレートを用いて撮影画像においてテンプレートマッチングを行って顔候補領域を抽出し、当該顔候補領域内における肌色の分布に基づいて顔領域を抽出する方法（特開平８−６３５９７号公報）
（４）予め顔領域において求められた画像特徴量を教師データとして構築されたニューラルネットワークに、顔領域抽出対象の撮影画像から求められた画像特徴量を入力し、得られた出力値に基づいて顔領域を抽出する方法（特開平７−２３４８５６号公報、特開平８−８７５８９号公報）
（５）ラインプロセス法により顔領域を抽出する方法（特開２０００−２０１３５８号公報、特開２０００−２０７５６９号公報）
なお、ここで挙げた顔抽出方法はその一例であり、その他の手法であっても適用可能である。
【００３４】
また、画像処理部１５は、撮影画像に、色変換処理、階調変換処理、トリミング処理、回転処理、拡大縮小処理等の各種画像処理を施して補正処理をおこなう補正手段である。
【００３５】
画像メモリ１６は、大容量メモリから構成される画像記録手段であり、画像処理対象の撮影画像の画像データ群を記憶する。
【００３６】
記憶部１７は、システムプログラムの他、画像記録処理プログラム、アルバム作成処理プログラム等の各種プログラム及び各プログラムで処理されたデータ等を記憶する。また、記憶部１７は、撮影画像に含まれる被写体を特定するために必要なデータ、例えば生徒名簿、顔の照合に用いる基準顔画像等のデータを記憶する。
【００３７】
メディアリーダライタ１８は、画像処理装置１０の外部に設けられたメディア装着部を備えて構成され、当該メディア装着部に装着された記録メディアに対してデータの読み書きを行う。ここで、記録メディアは画像記録手段を実現するものであり、カード型、スティック型等の小型の半導体メモリや、フロッピー（登録商標）ディスク、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）等の磁気的、光学的記録メディア、その他各種メディアが適用可能である。
【００３８】
印刷製本部１９は、アルバム作成手段の一つであり、制御部１１からの指示に従ってアルバム本を製本する。具体的には、印刷製本部１９は印刷部及び製本部から構成され、印刷部において印刷出力された撮影画像に、製本部においてステイプル処理、綴じ処理等を施してアルバム本を製本する。
【００３９】
次に、本実施の形態における動作を説明する。
図２は、画像処理装置１０により実行される画像記録処理を説明するフローチャートである。本実施の形態では、学校写真を用いて卒業アルバムを作成する例を説明するが、学校写真に限らず、撮影画像の中から特定の撮影画像を選択してアルバムを作成するのであれば他の写真やアルバムであっても本発明を適用可能であるのは勿論である。
【００４０】
図２に示す画像記録処理では、まず撮影画像の取得が行われる（ステップＳ１）。撮影画像の取得方法としては特に限定せず、例えば記録メディアに記録された撮影画像をメディアリーダライタ１８により読み出して取得することとしてもよいし、通信部１４により通信ネットワークを介して外部機器から撮影画像を取得することとしてもよいし、その他の方法であってもよい。またこのとき、アルバムに使用する撮影画像を選択する際に有用な情報、例えば「卒業式、３年１組」等の撮影が行われた行事名やシーン名、クラス名、撮影日や撮影場所等の撮影に関する情報を補助情報として取得することとしてもよい。補助情報は、入力部１２を介してオペレータにより入力された情報を取得することとしてもよいし、撮影時に撮影画像に付加されたタグ情報に含まれる情報を取得することとしてもよい。
【００４１】
撮影画像が取得されると、画像処理部１５により当該撮影画像から被写体の顔領域の抽出が行われ（ステップＳ２）、抽出された顔領域の有無が判別される（ステップＳ３）。景色や背景のみの撮影画像であり、抽出された顔領域が無かった場合（ステップＳ３；Ｎ）、本処理を終了する。一方、撮影画像に被写体が撮影されており、一又は複数の顔領域が抽出された場合（ステップＳ３；Ｙ）、抽出された順に各顔領域を識別するための顔番号が付与され、抽出された顔領域毎に被写体の認証が行われて、どの顔領域がどの被写体のものであるかが個々に認証される（ステップＳ４）。
【００４２】
被写体の個人認証方法としては、予め被写体認証用に準備されていた基準顔画像と照合する方法が適用可能である。特に、卒業アルバムや記念アルバムを作成する場合、学校等では学年毎に顔画像付きの生徒名簿が作成されていることが多く、またアルバム作成業者は、そのような生徒名簿に使用する顔写真の撮影を請け負うことが多いため、この生徒名簿で使用されている顔画像を基準顔画像として使用することができる。
【００４３】
認証時にはまず、基準顔画像と認証対象の顔領域の画像のそれぞれの画像特徴量を求める。画像特徴量としては、例えばフィルタ処理やウェーブレット変換等の手法により検出されたエッジ情報や、テンプレートマッチング等により検出された顔における目、口、鼻等の顔パーツの形状や位置の情報、若しくはこれらの情報を主成分分析の手法を適用して情報圧縮したもの等の様々な情報を適用することができる。そして、これら画像特徴量を比較して差分が閾値より小さい場合はその基準顔画像と一致するとして被写体を認証することとしてもよいし、基準顔画像の画像特徴量を教師データとして構築されたニューラルネットワークに特定対象の顔領域から求められた画像特徴量を入力し、その出力値に基づいて基準顔画像と一致するか否かを判別することとしてもよい。
【００４４】
例えば、図３に示すような撮影画像ｐが取得され、当該撮影画像から画像左側に位置する顔領域ｄａ（図中、斜線で示す領域範囲）と、画像右側に位置する顔領域ｄｂ（図中、斜線で示す領域範囲）とが抽出された場合、各顔領域ｄａ、ｄｂについて被写体の認証が行われ、例えば顔領域ｄａの顔画像が生徒ａの基準顔画像と一致すると判別された場合には、顔領域ｄａの被写体は生徒番号Ａの生徒ａであると認証される。
【００４５】
次いで、被写体の個人認証が行われると、抽出された顔領域毎にその顔領域に対応するマスク画像が生成される（ステップＳ５）。ここで、マスク画像とは抽出された顔領域と同一の領域を有する画像であり、抽出された顔領域の位置、範囲等を特定するための顔領域情報である。
【００４６】
例えば、図３に示す撮影画像の場合、抽出された顔領域ｄａ、ｄｂのそれぞれについて図４に示すようなマスク画像ｍａ、ｍｂが生成される。マスク画像ｍａ、ｍｂは、それぞれ顔領域ｄａ，ｄｂと同一の画素位置、かつ同一の領域範囲で生成されており、その位置、面積が同じである。また、各マスク画像ｍａ、ｍｂは、その画像を構成する画素のＲＧＢ信号が他のマスク画像と異なるように生成され、マスク画像ｍａはその画素のＲＧＢ信号が（Ｒ、Ｇ、Ｂ）＝（１、１、１）となるように、マスク画像ｍｂはその画素のＲＧＢ信号が（Ｒ、Ｇ、Ｂ）＝（２、２、２）となるように生成される。これは、後にある特定の被写体が撮影されている撮影画像を検索する際に、マスク画像により各個人を識別できるようにするためである。
【００４７】
次いで、撮影画像に、その撮影画像で抽出された顔領域の顔領域番号及びその顔領域により特定された生徒の生徒番号が個人識別情報として対応付けられるとともに、生成されたマスク画像が対応付けられて画像メモリ１６に記録される。このとき、補助情報が取得されている場合は、この補助情報も撮影画像に対応付けられて記録される（ステップＳ６）。例えば、図５に示すように、撮影画像を記録する際に、撮影画像のファイル名とともに顔領域番号、特定された生徒の生徒番号、マスク画像の各情報が対応付けられたテーブル情報を作成して記録することとしてもよい。図５において、例えば撮影画像ファイル「0001.pic」で抽出された顔領域番号１の顔領域は、生徒番号Ａの生徒の顔領域であり、そのマスク画像ｍａが対応付けられていることを示す。また、直接、撮影画像のタグ情報に顔領域番号、生徒番号、マスク画像の情報を書き込むことにより、対応付けることとしてもよい。
【００４８】
なお、本実施形態では画像メモリ１６に撮影画像を記録することとしたが、メディアリーダライタ１８により記録メディアに記録することとしてもよい。
このようにマスク画像及び個人識別情報が対応付けて順次記録された撮影画像が、アルバム作成に利用される。
【００４９】
次に、図６を参照して、アルバム作成処理について説明する。以下の説明では、生徒ａに最適な生徒ａ用の卒業アルバムを作成する例を説明する。
図６に示すアルバム作成処理では、まず生徒ａが撮影されている撮影画像を検索するための検索キーワードとして、生徒ａに対応する生徒番号Ａの情報が取得される（ステップＳ１０１）。生徒番号の取得は、入力部１２を介してユーザにより指定入力された生徒番号の情報を取得することとしてもよいし、自動的にアルバム作成を行う際には予め準備されている生徒名簿のデータに基づいて例えば生徒名簿の最初の生徒の生徒番号の情報を取得することとしてもよい。
【００５０】
なお、本実施形態では、生徒番号のような個人識別情報により特定の被写体が含まれる撮影画像を検索する例を説明するが、上述したように、マスク画像を用いて特定の被写体が含まれる撮影画像を検索することとしてもよい。例えば、生徒ａのマスク画像のＲＧＢ信号が（Ｒ、Ｇ、Ｂ）＝（１、１、１）となるように作成されている場合は、この（Ｒ、Ｇ、Ｂ）＝（１、１、１）のＲＧＢ信号を有するマスク画像が対応付けられている撮影画像を検索すればよい。
【００５１】
次いで、画像メモリ１６に記録された撮影画像が順次読み出され、当該撮影画像に対応付けられている個人識別情報に基づいて、生徒番号Ａに対応する撮影画像が検索される（ステップＳ１０２）。すなわち、個人識別情報に含まれる生徒番号と、生徒番号Ａとが順次照合され、一致する撮影画像の検索が行われる。次いで、検索により生徒番号Ａに対応する撮影画像の有無が判別され（ステップＳ１０３）、対応する撮影画像が無い場合は（ステップＳ１０３；Ｎ）、本処理を終了する。
【００５２】
一方、生徒番号Ａに対応する撮影画像が有る場合は（ステップＳ１０３；Ｙ）、その検索された撮影画像において、生徒番号Ａに対応する顔領域の顔領域番号及びマスク画像の情報が取得され、当該顔領域番号及びマスク画像の情報に基づいて撮影画像における生徒ａの顔領域が特定される（ステップＳ１０４）。例えば、撮影画像に図５に示すような個人識別情報が対応付けられていた場合、生徒番号Ａに対応する顔領域番号１の顔領域が生徒ａの顔領域であると特定される。
【００５３】
ここで、撮影画像には、生徒ａが画像端部に位置していたり、著しく小さく又は大きく撮影されていたりして主要被写体として撮影されていないもの等、アルバムに使用する画像として不適切なシーンのものが含まれている場合がある。そこで、顔領域が特定されると、マスク画像に基づいて撮影画像は生徒ａのアルバムに使用する撮影画像として適切なシーンであるか否かが判別される（ステップＳ１０５）。適切性の判別は、例えばマスク画像の位置が予め定められた適切範囲内に無い場合は不適切であると判別し、マスク画像の大きさが所定値より大きい場合は不適切であると判別する。
【００５４】
撮影画像が不適切であると判別された場合（ステップＳ１０５；Ｎ）、当該撮影画像はアルバムに使用しないと判断されてステップＳ１０８の処理へ移行し、次に検索された撮影画像に対する画像選択が実行される。一方、撮影画像が適切なシーンであると判別された場合（ステップＳ１０５；Ｙ）、当該撮影画像はアルバムに使用する撮影画像として選択される（ステップＳ１０６）。
【００５５】
次いで、選択された撮影画像において、その撮影画像に対応付けられたマスク画像、補助情報に基づいて、生徒ａが画像の中心となるようにトリミング処理が施されたり、適切な画像サイズとなるように拡大縮小処理が施されたりと、各種画像処理により補正が施される（ステップＳ１０７）。
【００５６】
補正が終了すると、その撮影画像に対する画像選択及び補正の一連の処理は終了し、次に検索された撮影画像が有るか否かが判別される（ステップＳ１０８）。検索された撮影画像が有る場合は（ステップＳ１０８；Ｙ）、ステップＳ１０４の処理に戻って次に検索された撮影画像に対する一連の処理が繰り返される。一方、検索された撮影画像の全てについて処理が終了し、検索された撮影画像が無い場合は（ステップＳ１０８；Ｎ）、補正済みの撮影画像がアルバムフォーマットに従ってレイアウトされ、生徒ａ用の電子アルバムが作成されて（ステップＳ１０９）、本処理を終了する。ここで、電子アルバムとは、撮影画像をアルバム形式で閲覧できるように一又は複数の撮影画像がデータベース化されたものをいい、縮小画像（サムネイル）で画像一覧を表示させたり、撮影画像毎に見出しやコメント等の情報を付加させたりすることが可能である。なお、電子アルバムに使用する撮影画像に、額縁等のテンプレートや校章や花等のイラスト画像を合成することとしてもよい。
【００５７】
作成された電子アルバムは、ＤＶＤ（Digital Versatile Disk-R）等の記録メディアに記録して顧客に渡すことができる。なお、本実施形態では、顧客への撮影画像の納品形態が電子アルバムである場合に電子アルバムを作成する動作例を説明したが、これに限らず、納品形態がアルバム本である場合には、選択された撮影画像を印刷製本部１９により印刷出力し、アルバム本を製本することとしてもよい。このとき、単に撮影画像のデータを順に印刷出力したものを製本することとしてもよいし、電子アルバムのデータ形式で印刷出力したものを製本することとしてもよい。また、製本業者等にアルバム本の製本を依託する場合等には、アルバム用に選択された撮影画像を電子アルバムのデータ形式にして記録メディア等に記録し、その記録メディアを製本業者に渡すこととしてもよいし、電子アルバムのデータ形式ではなく、選択された撮影画像のデータをそのまま記録する、或いは撮影画像を用いてデザインした印刷用データを１頁単位等、１印刷単位毎に作成して記録し渡すこととしてもよい。ここで、デザインとは、１又は複数の撮影画像に、額縁のテンプレートや、校章や花等のイラスト画像、タイトル、コメント等のテキスト文字等を合成することをいう。
【００５８】
以上のように、本実施形態によれば、撮影画像の記録時に、その撮影画像に含まれる被写体の顔領域を抽出し、抽出された顔領域毎に被写体の特定を行ってその特定された被写体の個人識別情報及びその顔領域情報を撮影画像に対応付けて記録するので、後のアルバム作成時に特定の被写体が撮影されている撮影画像を容易に検索することができる。また、撮影画像に含まれる被写体を個々に識別することができるとともに、どの被写体がどの位置でどのぐらいの領域範囲で撮影されているかを把握することが可能となる。
【００５９】
そして、アルバム作成時には、撮影画像に対応付けられた個人識別情報に基づいて、特定の被写体が撮影されている撮影画像を選択するとともに、顔領域情報に基づいてその特定の被写体のアルバムに適したシーンの撮影画像を選択し、当該選択された撮影画像に補正を施した後、この補正済み画像を用いてアルバムを作成するので、オペレータはアルバムに適した撮影画像を選択する作業を省略することができる。また、撮影画像に含まれる被写体を個々に識別し、その被写体に応じた補正を行うので、個人毎に内容が異なる、最適なアルバムを作成することができる。
【００６０】
従って、顧客の満足度の高いアルバムを効率的に作成することが可能となる。
【００６１】
なお、本実施形態における記述内容は、本発明を適用した画像処理装置１０の好適な一例であり、これに限定されるものではない。
【００６２】
例えば、本実施形態では顔領域情報としてマスク画像を適用した例を説明したが、例えば抽出された顔領域の位置、範囲を特定できる情報であればこれ限らず、顔領域の画素位置を示す位置情報やその領域面積情報等であってもよい。
【００６３】
また、上述した説明では、撮影画像中の被写体を識別するための情報として、生徒番号を適用していたが、被写体を識別可能な情報であるならばこれに限らず、例えば学年とクラス内の生徒番号を結合したものやアルバム作成用に別個に発行されたＩＤコード、また番号でなくとも氏名等の情報であってもよい。
【００６４】
また、アルバムに使用する撮影画像の選択は、画像処理装置１０により自動的に行われることとしたが、一旦画像処理装置１０により選択された撮影画像を一覧表示させ、オペレータにより最終選択をさせることとしてもよい。これにより、より細かな画像選別を行うことができる。
【００６５】
また、図６に示すアルバム作成処理のステップＳ６において、撮影画像がアルバムに使用する撮影画像として適切なシーンであるか否かを判別しているが、このシーン適性の判別を図２に示す画像記録処理のステップＳ２（顔領域の抽出処理）において行うこととしてもよい。或いは、特定の生徒の撮影枚数が少なく、不適切と判別された撮影画像の中からもアルバムに使用する撮影画像を選択しなければならない場合も想定されるので、顔領域抽出時にシーン適性の判別の基準となる指標値の生成をステップＳ２において行い、その指標値を画像に対応付けて記録しておくこととしてもよい。例えば、顔領域の画像特徴量等に基づいてシーン適性を数段階で評価した指標値（例えば指標値０＝最適、指標値１＝準最適、指標値２＝不可）を求め、撮影画像を記録する際に求められた指標値を対応付けて記録する。後に撮影画像を選択する際に指標値を参照することにより、最良の評価のものから順に撮影画像を選択することができる。
【００６６】
その他、本実施形態における画像処理装置１０の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【図面の簡単な説明】
【００６７】
【図１】本実施の形態における画像処理装置１０の内部構成を示す図である。
【図２】画像処理装置１０により実行される画像記録処理を説明するフローチャートである。
【図３】撮影画像から抽出された顔領域を示す図である。
【図４】マスク画像を示す図である。
【図５】撮影画像に対応付けられた個人識別情報、マスク画像情報、補助情報の一例を示す図である。
【図６】画像処理装置１０により実行されるアルバム作成処理を説明するフローチャートである。
【符号の説明】
【００６８】
１０    画像処理装置
１１    制御部
１２    入力部
１３    表示部
１４    通信部
１５    画像処理部
１６    画像メモリ
１７    記憶部
１８    メディアリーダライタ
【図１】
2005210369.tif 000003
【図２】
2005210369.tif 000004
【図３】
2005210369.tif 000005
【図４】
2005210369.tif 000006
【図５】
2005210369.tif 000007
【図６】
2005210369.tif 000008