(57)【要約】【課題】  自動的に顔検出及び胴体検出を行うことにより、飛び出し領域を自動的に設定し、折り曲げ位置、切り取り位置も自動的に設定し、更に人物領域に特化した３次元の立体を突設形成する折畳み展開図を作成すること。【解決手段】  画像データを取得する画像データ取得手段と、前記画像データ取得手段で取得した画像データから人物の顔領域を検出する顔検出手段と、前記画像データ取得手段で取得した画像データから人物の胴体領域を検出する胴体検出手段と、前記顔検出手段で検出した顔領域と前記胴体検出手段で検出した胴体領域から突設形成させるための飛び出し領域を設定し、飛び出し量と切込線、谷折線、及び山折線を設定する折畳み領域設定手段とで構成する。【選択図】  図１
2009039274.tif 000002
【特許請求の範囲】
【請求項１】
平面上に立体を突設形成させるための切込線、谷折線、及び山折線が設けられ、該平面を主折線で折曲することにより前記立体を突設形成させるとともに、前記平面を前記主折線で折畳むと前記立体が折畳み可能となる折畳み展開図作成装置において、画像データを取得する画像データ取得手段と、前記画像データ取得手段で取得した画像データから人物の顔領域を検出する顔検出手段と、前記画像データ取得手段で取得した画像データから人物の胴体領域を検出する胴体検出手段と、前記顔検出手段で検出した顔領域と前記胴体検出手段で検出した胴体領域から突設形成させるための飛び出し領域を設定し、飛び出し量と切込線、谷折線、及び山折線を設定する折畳み領域設定手段を有することを特徴とする折畳み展開図作成装置。
【請求項２】
請求項１に記載の折畳み展開図作成装置において、前記折畳み領域設定手段の飛び出し領域は、前記顔検出手段で検出した顔領域と前記胴体検出手段で検出した胴体領域が重なる場合には、顔領域と胴体領域を全て含む領域を飛び出し領域と設定することを特徴とする折畳み展開図作成装置。
【請求項３】
請求項１に記載の折畳み展開図作成装置において、前記折畳み領域設定手段の飛び出し領域は、前記顔検出手段で検出した顔領域と前記胴体検出手段で検出した胴体領域が重ならない場合には、胴体領域が顔領域の一辺を含むまで胴体領域を拡大し、顔領域と拡大した胴体領域を全て含む領域を飛び出し領域と設定することを特徴とする折畳み展開図作成装置。
【請求項４】
請求項１に記載の折畳み展開図作成装置において、前記折畳み領域設定手段の飛び出し領域は、前記顔検出手段で検出した顔領域と前記胴体検出手段で検出した胴体領域が重ならない場合には、胴体領域が顔領域の一辺を含むまで顔領域を拡大し、拡大した顔領域と胴体領域を全て含む領域を飛び出し領域と設定することを特徴とする折畳み展開図作成装置。
【請求項５】
請求項１に記載の折畳み展開図作成装置において、前記折畳み領域設定手段の飛び出し量は、前記顔検出手段で検出した顔領域が正方形の矩形領域を設定している場合、正方形の一辺を飛び出し量とし、また、前記顔検出手段で検出した顔領域が長方形の矩形領域を設定している場合、長方形の小さい方の一辺を飛び出し量とし、前記顔検出手段で検出した顔領域が円の矩形領域を設定している場合、直径を飛び出し量とし、前記顔検出手段で検出した顔領域が楕円の矩形領域を設定している場合、小さい方の直径を飛び出し量とすることを特徴とする折畳み展開図作成装置。
【請求項６】
請求項１に記載の折畳み展開図作成装置において、折畳み展開図の難易度を指定する難易度指定手段と、前記難易度指定手段で設定された難易度によって飛び出し領域の設定する飛び出し領域設定手段を有することを特徴とする折畳み展開図作成装置。
【請求項７】
請求項１に記載の折畳み展開図作成装置において、前記折畳み領域設定手段の飛び出し量は、前記顔検出手段で顔検出位置が複数検出された場合、大きい顔領域の一辺の大きさとすることを特徴とする折畳み展開図作成装置。
【請求項８】
平面上に立体を突設形成させるための切込線、谷折線、及び山折線が設けられ、該平面を主折線で折曲することにより前記立体を突設形成させるとともに、前記平面を前記主折線で折畳むと前記立体が折畳み可能となる折畳み展開図作成方法において、画像データを取得する画像データ取得工程と、前記画像データ取得工程で取得した画像データから人物の顔領域を検出する顔検出工程と、前記画像データ取得工程で取得した画像データから人物の胴体領域を検出する胴体検出工程と、前記顔検出工程で検出した顔領域と前記胴体検出工程で検出した胴体領域から突設形成させるための飛び出し領域を設定し、飛び出し量と切込線、谷折線、及び山折線を設定する折畳み領域設定工程を有することを特徴とする折畳み展開図作成方法。
【請求項９】
請求項８に記載の折畳み展開図作成方法において、前記折畳み領域設定工程の飛び出し領域は、前記顔検出工程で検出した顔領域と前記胴体検出工程で検出した胴体領域が重なる場合には、顔領域と胴体領域を全て含む領域を飛び出し領域と設定することを特徴とする折畳み展開図作成方法。
【請求項１０】
請求項８に記載の折畳み展開図作成方法において、前記折畳み領域設定工程の飛び出し領域は、前記顔検出工程で検出した顔領域と前記胴体検出工程で検出した胴体領域が重ならない場合には、胴体領域が顔領域の胴体領域に近い一辺を含むまで胴体領域を拡大し、顔領域と拡大した胴体領域を全て含む領域を飛び出し領域と設定することを特徴とする折畳み展開図作成方法。
【請求項１１】
請求項８に記載の折畳み展開図作成方法において、前記折畳み領域設定工程の飛び出し領域は、前記顔検出工程で検出した顔領域と前記胴体検出工程で検出した胴体領域が重ならない場合には、胴体領域が顔領域の胴体領域に近い一辺を含むまで顔領域を拡大し、拡大した顔領域と胴体領域を全て含む領域を飛び出し領域と設定することを特徴とする折畳み展開図作成方法。
【請求項１２】
請求項８に記載の折畳み展開図作成方法において、前記折畳み領域設定工程の飛び出し量は、前記顔検出工程で検出した顔領域が正方形の矩形領域を設定している場合、正方形の一辺を飛び出し量とし、また、前記顔検出工程で検出した顔領域が長方形の矩形領域を設定している場合、長方形の小さい方の一辺を飛び出し量とし、前記顔検出工程で検出した顔領域が円の矩形領域を設定している場合、直径を飛び出し量とし、前記顔検出工程で検出した顔領域が楕円の矩形領域を設定している場合、小さい方の直径を飛び出し量とすることを特徴とする折畳み展開図作成方法。
【請求項１３】
請求項８に記載の折畳み展開図作成方法において、折畳み展開図の難易度を指定する難易度指定工程と、前記難易度指定工程で設定された難易度によって飛び出し領域の設定する飛び出し領域設定工程を有することを特徴とする折畳み展開図作成方法。
【請求項１４】
請求項８に記載の折畳み展開図作成方法において、前記折畳み領域設定工程の飛び出し量は、前記顔検出工程で顔検出位置が複数検出された場合、大きい顔領域の一辺の大きさとすることを特徴とする折畳み展開図作成方法。
【請求項１５】
請求項８〜１５に記載の折畳み展開図作成方法を構成する工程を実行するためのプログラムを記憶したコンピュータ読取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、飛び出す絵本等に用いられ、２次元の平面を折曲することで３次元の立体を形成させる折畳み展開図の画像処理装置、プログラムおよび記憶媒体に関する。
【背景技術】
【０００２】
従来、飛び出す絵本等には、折畳み展開図が用いられている。この折畳み展開図は、図１８に示すように２次元の平面（紙）Ｕ１００として構成され、この平面Ｕ１００を折り曲げることで３次元の立体を突設形成させるものである。
【０００３】
図１８において、平面Ｕ１００には、主折線Ｕ１、切込線Ｖ１、Ｖ２、谷折線Ｗ１、Ｗ２、及び山折線Ｗ３が設けられている。又、各線Ｖ１、Ｖ２、Ｗ１、Ｗ３で囲まれた領域が面Ｕ１０１を、各線Ｖ１、Ｖ２、Ｗ２、Ｗ３で囲まれた領域が面Ｕ１０２を構成している。又、平面Ｕ１００は、主折線Ｕ１で２つの平面Ｕ１００ａ、Ｕ１００ｂに分割される。（図１８（１））
そして、この平面Ｕ１００を主折線Ｕ１で９０°に谷折りすることにより、面Ｕ１０１、Ｕ１０２からなる立体（直方体）が突設形成されるようになっている（図１８（２））。又、主折線Ｕ１で１８０°に谷折りして平面Ｕ１００を折畳むと、立体が折畳まれるようになっている。
【０００４】
折畳み展開図の作成方法について、従来例として以下のものがある。
【０００５】
特開２００２−３３１１８０号公報（特許文献１）は、単位ブロックの集合体により立体を近似し、単位ブロックの断面が必ず展開図の成立条件を具備する形状になっているので、この集合体に基づいて立体の折畳み展開図を自動的にコンピュータで作成することを特徴としている方法である。
【０００６】
特開２００２−３５８３３８号公報（特許文献２）は、立体を副平面に平行な投影面に投影した１以上の投影図とその投影図に隣接する面とからなる展開図を形成し、この展開図を平面上に重畳配置して重なり部分の判定を行ない、全体の展開図を形成するので、立体の折畳み展開図を自動的にコンピュータで作成することを特徴としている方法である。
（参照：特許文献１〜特許文献１６）
【特許文献１】特開２００２−３３１１８０号公報
【特許文献２】特開２００２−３５８３３８号公報
【特許文献３】特開２００２−１８３７３１号公報
【特許文献４】特開２００３−３０６６７号公報
【特許文献５】特開平８−６３５９７号公報
【特許文献６】特開２０００−１０５８２９号公報
【特許文献７】特開平８−７７３３４号公報
【特許文献８】特開２００１−２１６５１５号公報
【特許文献９】特開平５−１９７７９３号公報
【特許文献１０】特開平１１−５２５２５号公報
【特許文献１１】特開２０００−１３２６８８号公報
【特許文献１２】特開２０００−２３５６４８号公報
【特許文献１３】特開平１１−２５０２６７号公報
【特許文献１４】特許２５４１６８８号明細書
【特許文献１５】特開２００２−２０３２３９号公報
【特許文献１６】特開２００１−１７５８６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、上記従来技術には、人物領域に特化した手法は提案されていない。一般のユーザが撮影する主な被写体は、人物であることがよく知られている。従って、画像中から人物領域を抽出して、同領域に対して３次元の立体を突設形成させることが望ましいが、これまではそういった方法が提案されていなかった。
【課題を解決するための手段】
【０００８】
本発明の上述の課題は、以下に列記する手段により解決される。
【０００９】
その一手段は、平面上に立体を突設形成させるための切込線、谷折線、及び山折線が設けられ、該平面を主折線で折曲することにより前記立体を突設形成させるとともに、前記平面を前記主折線で折畳むと前記立体が折畳み可能となる折畳み展開図作成装置において、画像データを取得する画像データ取得手段と、前記画像データ取得手段で取得した画像データから人物の顔領域を検出する顔検出手段と、前記画像データ取得手段で取得した画像データから人物の胴体領域を検出する胴体検出手段と、前記顔検出手段で検出した顔領域と前記胴体検出手段で検出した胴体領域から突設形成させるための飛び出し領域を設定し、飛び出し量と切込線、谷折線、及び山折線を設定する折畳み領域設定手段を有することを特徴とする折畳み展開図作成装置。
【００１０】
あるいは、上記の折畳み展開図作成装置において、折畳み展開図の難易度を指定する難易度指定手段と、前記難易度指定手段で設定された難易度によって飛び出し領域の設定する飛び出し領域設定手段を有することを特徴とする折畳み展開図作成装置。
【００１１】
あるいは、上記の折畳み展開図作成装置において、前記折畳み領域設定手段の飛び出し量は、前記顔検出手段で顔検出位置が複数検出された場合、大きい顔領域の一辺の大きさとすることを特徴とする折畳み展開図作成装置。
【００１２】
本発明では、自動的に顔検出及び胴体検出を行うことにより、飛び出し領域を自動的に設定でき、折り曲げ位置、切り取り位置も自動的に設定でき、更に人物領域に特化した３次元の立体を突設形成する折畳み展開図を作成することが可能となる。
【発明の効果】
【００１３】
以上説明したように本発明によれば、自動的に顔検出及び胴体検出を行うことにより、飛び出し領域を自動的に設定でき、折り曲げ位置、切り取り位置も自動的に設定でき、更に人物領域に特化した３次元の立体を突設形成する折畳み展開図を作成することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、添付の図面を参照して本発明の好適な実施形態について説明する。
【００１５】
尚、以降で説明する処理は、主として、プリンタエンジンへ出力すべき画像情報を作成するコンピュータ内のプリンタドライバソフト、もしくは、スキャナ等の光学読取り装置を動作させるためのドライバソフト、もしくはアプリケーションソフトとして内蔵することが効率的であるが、複写機、ファクシミリ、プリンタ本体等にハードウェア、及びソフトウェアとして内蔵することにも効果がある。
【００１６】
＜第１実施形態＞
（ハードウェア構成）
図１は第１実施形態による画像処理を実現するためのコンピュータにおけるハードウェア構成例を示すブロック図である。図１に示されるように、コンピュータ１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ディスプレイなどの表示装置１０４、キーボード１０７、マウス１０６などのユーザインターフェース、ハードディスクなどの２次記憶装置１０５、他のコンピュータやプリンタ１０９などと接続するためのインターフェース１０８とで構成されている。以上の構成において、ＣＰＵ１０１が２次記憶装置１０５に記憶された制御プログラムをＲＡＭ１０３へロードし、これを実行することにより以下に説明する各機能が実現される。
【００１７】
（処理の概要）
図２は、本実施形態における画像処理の機能構成を示すブロック図である。以下、図２を参照しながら本実施形態の画像処理の概要を説明する。図２に示すように、本実施形態の画像処理は、顔検出部２０１、胴体検出部２０２、折畳み領域設定部２０３を含む。
【００１８】
まず、入力画像が顔検出部２０１に入力される。本実施形態において、入力画像としては、デジタルカメラで撮影して得られた画像や、スキャナなどの光学読取装置で原稿を読み込んで得られた画像や、デジタルビデオカメラで撮影された動画中の１フレームを抽出して得られた画像などを想定している。なお、本明細書において、これらの「画像」は電子データ化された画像データを指すものとする。また、本実施形態では、これらの画像は２次記憶装置１０５に格納され、顔検出部２０１によって適宜読み出されてＲＡＭ１０３に記憶され、処理に供されるものとする。また、本実施形態では、入力画像はＲＧＢ各色８ビットで構成された画像データを想定して説明を行うが、本発明はこれに限定されるものではなく、例えばモノクロ画像に対しても容易に適用できることは言うまでもない。
【００１９】
顔検出部２０１は、入力画像データから人物の顔および目や鼻、口などの器官位置を検出する。図３は端子２００から入力される入力画像データを示す。図３の入力画像データに対して顔検出を行う。図４は図３の入力画像に対して顔検出を行った顔領域を示す図で、点線Ｐ１００で示す矩形領域を顔領域として設定する。顔検出された顔領域情報は、後段の胴体検出部２０２、折畳み領域設定部２０３に入力され利用される。
【００２０】
次に、胴体検出部２０２は、入力画像データから人物の胴体位置を検出する。図３の画像データに対して胴体検出を行う。図５は図３の入力画像に対して胴体検出を行った胴体領域を示す図で、点線Ｐ１００で示す矩形領域は顔検出を行った顔領域を示し、点線Ｐ２００で示す矩形領域は胴体検出を行った胴体領域を示す。胴体領域情報は、後段の折畳み領域設定部２０３に入力され利用される。
【００２１】
次に、折畳み領域設定部２０３は、顔検出部２０１、胴体検出部２０２の検出結果を元に、飛び出し領域と折り曲げ位置を示す谷折線と山折線と切込線の設定を行う。図６は顔検出部２０１、胴体検出部２０２の検出結果に従い飛び出し領域Ａ１００で示している。
【００２２】
また、本実施形態における図６の飛び出し領域Ａ１００は、図５の顔領域Ｐ１００と胴体領域Ｐ２００を組み合わせたもので、図５の顔領域Ｐ１００と胴体領域Ｐ２００が重なる場合には、顔領域Ｐ１００と胴体領域Ｐ２００を全て含む領域を飛び出し領域Ａ１００として設定を行う。また、図５の顔領域Ｐ１００と胴体領域Ｐ２００が重ならない場合には、胴体領域Ｐ２００が顔領域Ｐ１００の一辺を含むまで胴体領域Ｐ２００を拡大し、顔領域Ｐ１００と拡大した胴体領域Ｐ２００を全て含む領域を飛び出し領域Ａ１００と設定する。
【００２３】
また、設定した飛び出し領域Ａ１００に対し図７に示す飛び出し量Ｓ１００の設定を行ない、飛び出し量Ｓ１００に従って折り曲げ位置を示す谷折線と山折線と切り込み位置を示す切込線を設定する。また、図７に示すＳ１０１、Ｓ１０２もＳ１００と同サイズの飛び出し量とし、胴体領域の下側の一辺と平行に飛び出し量Ｓ１０２離れた位置に主折線Ｅ１を設定する。
【００２４】
また、本実施形態において、顔領域Ｐ１００が正方形の矩形領域を設定している場合、飛び出し量Ｓ１００を正方形の一辺とし、顔領域Ｐ１００が長方形の矩形領域を設定している場合、飛び出し量Ｓ１００を長方形の小さい方の一辺とし、顔領域Ｐ１００が円の矩形領域を設定している場合、飛び出し量Ｓ１００を直径とし、顔領域Ｐ１００が楕円の矩形領域を設定している場合、飛び出し量Ｓ１００を小さい方の直径とする。
【００２５】
図８は図６に対する折り曲げ位置を谷折線と山折線と切り込み位置を示す切込線を設定している。図８の谷折線Ｃ１〜４、山折線Ｃ５〜Ｃ７は折り曲げ位置を示している。また、図９の切込線Ｄ１〜Ｄ４は切り込み位置を示している。また、図８の主折線Ｅ１は全体の画像を折り曲げる位置を示している。
【００２６】
また、本実施形態において、飛び出し領域Ａ１００は、顔領域Ｐ１００と胴体領域Ｐ２００を組み合わせたもので、顔領域Ｐ１００と胴体領域Ｐ２００が重なる場合には、顔領域Ｐ１００と胴体領域Ｐ２００を全て含む領域を飛び出し領域Ａ１００として設定を行う。また、顔領域Ｐ１００と胴体領域Ｐ２００が重ならない場合には、胴体領域Ｐ２００が顔領域Ｐ１００の一辺を含むまで胴体領域Ｐ２００を拡大し、顔領域Ｐ１００と拡大した胴体領域Ｐ２００を全て含む領域を飛び出し領域Ａ１００と設定しているが、これに限定されるものではなく、例えば、顔領域Ｐ１００と胴体領域Ｐ２００が重ならない場合には、胴体領域Ｐ２００が顔領域Ｐ１００の一辺を含むまで顔領域Ｐ１００を拡大し、拡大した顔領域Ｐ１００と胴体領域Ｐ２００を全て含む領域を飛び出し領域Ａ１００と設定することが容易に適用できることは言うまでもない。
【００２７】
また、本実施形態において、顔領域Ｐ１００が正方形の矩形領域を設定している場合、飛び出し量Ｓ１００を正方形の一辺とし、顔領域Ｐ１００が長方形の矩形領域を設定している場合、飛び出し量Ｓ１００を長方形の小さい方の一辺とし、顔領域Ｐ１００が円の矩形領域を設定している場合、飛び出し量Ｓ１００を直径とし、顔領域Ｐ１００が楕円の矩形領域を設定している場合、飛び出し量Ｓ１００を小さい方の直径としているが、これに限定されるものではなく、例えば、顔領域Ｐ１００が正方形の矩形領域を設定している場合、飛び出し量Ｓ１００を正方形の一辺の半分としたり、顔領域Ｐ１００が長方形の矩形領域を設定している場合、飛び出し量Ｓ１００を長方形の大きい方の一辺とすることも容易に適用できることは言うまでもない。
【００２８】
次に、折畳み領域設定部２０３で設定した図８の谷折線Ｃ１〜４、山折線Ｃ５〜Ｃ７と、図９の切込線Ｄ１〜Ｄ４を図３の入力画像に入力し、折畳み展開図を作成する。図１０は作成した折畳み展開図を示す。
【００２９】
顔検出部２０１、胴体検出部２０２、折畳み領域設定部２０３における詳細な処理の説明は後述する。
【００３０】
上記処理が施された画像データは、端子２０５から出力され、表示装置１０４に表示されたり、圧縮処理が施されて２次記憶装置１０５に保存されたり、インターフェース１０８を介して接続されたプリンタ１０９から出力されたりすることになる。以上が、本実施形態における処理の概要である。これより以下では、各部毎に、処理の詳細を説明してゆく。
【００３１】
（顔検出部２０１）
上述したように、本実施形態においては、まず顔検出部２０１において、入力画像中から人物の顔および目や口などの器官位置情報を検出する。顔のおよび器官位置の検出に関しては、従来より様々な方法が提案されている。
【００３２】
例えば本出願人による特開２００２−１８３７３１号公報（特許文献３）によれば、まず、入力画像から目領域を検出し、目領域周辺を顔候補領域とする。そして、この顔候補領域に対して、画素毎の輝度勾配および輝度勾配の重みを算出し、これらを、あらかじめ設定されている理想的な顔基準画像の勾配および勾配の重みと比較する。このとき、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定する方法が記載されている。
【００３３】
また、特開２００３−３０６６７号公報（特許文献４）によれば、まず画像中から肌色領域を検出し、検出された領域内において人間の虹彩色画素を検出することにより、目の位置を検出することが可能であるとしている。
【００３４】
さらに、特開平８−６３５９７号公報（特許文献５）によれば、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算し、マッチング度が最も高いテンプレートを選択する。そして、最も高かったマッチング度をあらかじめ定められた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とする。また、このテンプレートを用いることで、目の位置を検出することが可能であるとしている。
【００３５】
さらに、特開２０００−１０５８２９号公報（特許文献６）によれば、まず、鼻画像パターンをテンプレートとし、画像全体、あるいは画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する。次に、画像の鼻の位置よりも上の領域を目が存在する領域として、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとる。このマッチングにおいてある閾値よりもマッチ度が大きい画像の集合である目存在候補位置集合を求める。さらに、目存在候補位置集合に含まれる連続した領域をクラスタとして分割し、各クラスタと鼻位置との距離を算出する。そして、その距離が最も短くなるクラスタを目が存在するクラスタに決定することで、器官位置の検出が可能であるとしている。
【００３６】
その他、顔および器官位置を検出する方法としては、特許文献７〜１４など、数多くの手法が提案されており、本実施形態においてはそれらのうちどのような手法を用いても良い。また、顔および器官位置の検出法については、上記記載に限定されることはなく、その他のどのような手法を用いても構わない。なお、顔および器官位置の検出に関しては、様々な文献および特許文献で開示されているため、ここで詳細な説明は省略する。
【００３７】
（胴体検出部２０２）
上述したように、本実施形態においては、まず胴体検出部２０２において、入力画像中から人物検出を行ない胴体の位置情報を検出する。人物検出に関しては、従来より様々な方法が提案されている。
【００３８】
例えば特開２００２−２０３２３９号公報（特許文献１５）によれば、まず、ディジタルカラー画像中の人間の姿を検出するディジタル画像処理方法として、ＲＧＢ値を表わす画素を有するディジタルカラー画像を与える段階と、ディジタルカラー画像を均質な色又はテクスチャの重なり合わない領域へセグメンテーションする段階と、人間の肌色の候補領域を検出する段階と、人間の顔の候補領域を検出する段階と、各候補顔領域について、人間の肌の色の領域に優先度を与えて、予め定義された人間の姿のグラフィックモデルに従って顔領域の近傍の領域をグループ化することにより人間の姿を構築することが可能であるとしている。
【００３９】
また、特開２００１−１７５８６８号公報（特許文献１６）によれば、まず、多数の人物が存在または移動する領域を撮影して画像を取得し、取得した画像から人物の画像を抽出する人物検出処理を実行する人物検出方法において、人物輪郭を基にした形状の人物形状モデル上の予め設定された複数の点の位置に対応する相対位置に、検出しようとする人物の特徴量を検出する特徴量検出器を配置して特徴量検出器セットを構成し、特徴量検出器セットを、画像面に設定されている各座標に対応する各位置に置いて、前記取得した画像の画像特徴量の検出を行ない、前記各位置において特徴量検出器セットを構成する特徴量検出器が検出した画像特徴量の値に基づいて、検出された画像特徴量が、所定の許容範囲内で、前記人物形状モデルに合致する形状を有する画像の特徴量であることを判定するための所定の演算を実行し、演算結果が、前記検出された画像特徴量が前記人物形状モデルに合致する形状を有する画像の特徴量であることを示した場合には、当該位置に人物画像が存在すると推定することが可能であるとしている。
【００４０】
その他、人物の検出および人物の胴体を検出する方法としては、数多くの手法が提案されており、本実施形態においてはそれらのうちどのような手法を用いても良い。また、人物の胴体位置の検出法については、上記記載に限定されることはなく、その他のどのような手法を用いても構わない。なお、人物の胴体位置の検出に関しては、様々な文献および特許で開示されているため、ここで詳細な説明は省略する。
【００４１】
（折畳み領域設定部２０３）
上述したように、本実施形態においては、入力画像と顔検出部２０１で設定された顔領域と胴体検出部２０２で設定された胴体領域の位置情報は、折畳み領域設定部２０３に入力される。折畳み領域設定部２０３は、顔検出部２０１で設定された顔領域と胴体検出部２０２で設定された胴体領域の位置情報を利用し、画像飛び出し量に従い折り曲げ位置と切り込み位置の設定を行う。
【００４２】
本実施形態において、図６、図７、図８、図９を用いて説明する。図６は、顔領域Ｐ１００と胴体領域Ｐ２００に従って設定した飛び出し領域Ａ１００を示している。図７は、飛び出し領域Ａ１００で示した場合に、飛び出し量Ｓ１００だけ画像の上側にシフトさせたシフト領域Ｂ１００、Ｂ１０１、Ｂ１０２で示している。図８、図９は、図７で設定した各領域に対し折り曲げ位置と切り取り位置を示している。
【００４３】
折り曲げ位置と切り取り位置を設定する前処理で、図７の飛び出し領域Ａ１００に従ってシフト領域Ｂ１００、Ｂ１０１、Ｂ１０２を設定しているが、図７の双方向矢印Ｓ１０１、Ｓ１０２も飛び出し量Ｓ１００と同じサイズである。次に、折り曲げ位置と切り取り位置の設定を行うが、図７のシフトさせた状態の図から、Ｘ軸側に平行な線に対しては折り曲げ位置として図８の谷折線Ｃ１〜４、山折線Ｃ５〜Ｃ７を指定し、Ｙ軸側に平行な線に対しては切り取り位置として図９の切込線Ｄ１〜Ｄ４を指定する。また、図９の主折線Ｅ１は全体の画像を折り曲げる位置を示している。
【００４４】
以上説明したように、第１実施形態によれば、入力画像中から自動的に顔領域と胴体領域を検出し、顔領域と胴体領域に従って折り曲げ位置と切り取り位置を設定することにより、人が行う作業の手間を省き、簡単に図１０に示すような人物領域に特化した３次元の立体を突設形成する折畳み展開図を作成することが可能となる。
【００４５】
以上が、第１の実施形態の説明である。
【００４６】
＜第２実施形態＞
以下、本発明にかかる第２実施形態の画像処理装置を説明する。第１実施形態によれば、入力画像中から顔領域と胴体領域を自動で検出し、顔領域と胴体領域に従って折り曲げ位置と切り取り位置を自動で設定することにより、簡単に図１０に示すような人物領域に特化した３次元の立体を突設形成する折り畳み展開図を作成している。しかし、飛び出し領域について顔領域と胴体領域の矩形領域のみで設定しているため、飛び出す部分が単調になってしまう。そこで、折り曲げ位置と切り取り位置を多くして飛び出し領域を複雑化することが考えられるが、ユーザとしては３次元の立体図形を作成する際に難しくなってしまう。本発明ではユーザに難易度を選択することによってより、ユーザが要望する難易度によって飛び出し領域の設定を行える方法について説明する。
【００４７】
なお、第２実施形態において、第１実施例と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００４８】
（ハードウェア構成）
第1実施形態で示した構成と同様。
【００４９】
（処理の概要）
第１実施形態で示したブロック図で構成されている。入力画像が端子２００から入力され、顔検出部２０１に入力され、胴体検出部２０２に入力され、折畳み領域設定部２０３に入力されるまでは、第1実施例の処理概要と同様で、構成の詳細説明を省略する。
【００５０】
本実施形態において、折畳み領域設定部２０３は、顔検出部２０１、胴体検出部２０２の検出結果を元に、飛び出し領域の設定を行う。しかし第１実施形態とは異なりユーザが難易度を指定するためのインターフェースを用意し、難易度データを折畳み領域設定部２０３に入力して、難易度と顔領域と胴体領域に従って飛び出し領域の設定を行う。ユーザが難易度を指定するためのインターフェースについては、図１に示すディスプレイなどの表示装置１０４において難易度を表示する。難易度については、難易度大、難易度中、難易度小と想定し図１表示装置１０４に表示し、ユーザは図１のキーボード１０７、マウス１０６などのユーザインターフェースより難易度を設定する。
【００５１】
また、本実施形態において、難易度については、難易度大、難易度中、難易度小と想定しているが、これに限定されるものではなく、例えば、難易度を１から１０と設定することが容易に適用できることは言うまでもない。
【００５２】
図１１は、難易度を難易度中とした場合の飛び出し領域Ｍ１００を想定している。飛び出し領域Ｍ１００の設定方法は、顔検出部２０１で設定した顔領域と胴体検出部２０２で設定した胴体領域とユーザが指定した難易度に従い設定する。本実施形態において、第１実施形態と同様に、顔領域と胴体領域から図６の一次飛び出し領域Ａ１００を設定する。次に、一次飛び出し領域Ａ１００とユーザが指定した難易度に従って図１１の飛び出し領域Ｍ１００を設定する。図１１の飛び出し領域Ｍ１００の設定方法は、図６の一次飛び出し領域Ａ１００に対し、図１１に示すように顔領域上側の一辺Ｋ１００を４つに分割する。次にユーザが指定した難易度を難易度中とした場合、４分割した左側Ｋ１０１と右側Ｋ１０２を図１１に示すように２分割して階段状になるように設定する。また、顔領域下側の一辺と胴体領域上側一辺を引いた部分の左側Ｋ１０３と右側Ｋ１０４を図１１に示すように２分割して階段状になるように設定する。
【００５３】
また、本実施形態において、難易度を難易度中とした場合の飛び出し領域を想定し、顔領域上側の一辺Ｋ１００を４つに分割し、４分割した左側Ｋ１０１と右側Ｋ１０２を図１２に示すように２分割して階段状になるように設定したが、これに限定されるものではなく、例えば顔領域上側の一辺Ｋ１００を４つに分割し、４分割した左側Ｋ１０１と右側Ｋ１０２を４分割して階段状になるように設定するなど様々な方法によって飛び出し領域を設定することが容易に適用できることは言うまでもない。
【００５４】
次に、折畳み領域設定部２０３は、設定した飛び出し領域に対し飛び出し量の設定し、飛び出し量に従って折り曲げ位置と切り込み位置を設定する。本実施形態における飛び出し量Ｌ１００は、顔領域に対する矩形領域の一辺のサイズとする。また、折畳み領域設定部２０３で設定した飛び出し領域Ｍ１００に対し飛び出し量Ｌ１００に従って上側にシフトさせる。図１２は飛び出し量Ｌ１００の設定に従ってシフトさせた図を示す。図１２から飛び出し量Ｌ１００に従って折り曲げ位置を示す谷折線と山折線と切り込み位置を示す切込線を設定する。また、図１２の飛び出し領域Ｍ１００に従ってシフト領域Ｎ１００、Ｎ１０１、Ｎ１２を設定しているが、図１２の双方向矢印Ｌ１０１、Ｌ１０２も飛び出し量Ｌ１００と同じサイズである。次に、折り曲げ位置と切り取り位置の設定を行うが、図１２のシフトさせた状態の図から、Ｘ軸側に平行な線に対しては折り曲げ位置として図１３の谷折線Ｑ１〜１２、山折線Ｃ１３〜Ｃ２３を指定し、Ｙ軸側に平行な線に対しては切り取り位置として図１４の切込線Ｒ１〜Ｒ１２を指定する。また、図１３の主折線Ｆ１は全体の画像を折り曲げる位置を示している。
【００５５】
また、本実施形態において、飛び出し量は顔領域に対する矩形領域の一辺のサイズとしているが、これに限定されるものではなく、例えば、顔領域に対する矩形領域一辺の半分のサイズなどを指定することも容易に適用できることは言うまでもない。
【００５６】
次に、折畳み領域設定部２０３で設定した図１３の谷折線Ｑ１〜１２、山折線Ｃ１３〜Ｃ２３と、図１４の切込線Ｒ１〜Ｒ１２を図３の入力画像に入力し、折畳み展開図を作成する。図１５は作成した折畳み展開図を示す。
【００５７】
上記処理が施された画像データは、端子２０５から出力され、表示装置１０４に表示されたり、圧縮処理が施されて２次記憶装置１０５に保存されたり、インターフェース１０８を介して接続されたプリンタ１０９から出力されたりすることになる。以上が、本実施形態における処理の概要である。
【００５８】
以上説明したように、第２実施形態によれば、入力画像中から顔領域と胴体領域を自動で検出し、顔領域と胴体領域に従って折り曲げ位置と切り取り位置を自動で設定することにより、簡単に人物領域に特化した３次元の立体を突設形成することが可能となる。しかも、ユーザに難易度を選択することによって単純な飛び出し領域を設定し、より複雑な飛び出し領域を設定してユーザが要望する図１５に示すような３次元の立体を突設形成する折畳み展開図を作成することが可能となる。
【００５９】
＜第３実施形態＞
以下、本発明にかかる第３実施形態の画像処理装置を説明する。第１実施形態によれば、入力画像中から顔領域と胴体領域を自動で検出し、顔領域と胴体領域に従って折り曲げ位置と切り取り位置を自動で設定することにより、簡単に図１０に示すような人物領域に特化した３次元の立体を突設形成する折り畳み展開図を作成している。しかし、第１実施形態では顔検出を行った際に１箇所の顔領域が検出できる場合を記載しているが、顔検出を行った際に顔領域が複数検出されることが考えられる。本実施形態において、顔領域が複数検出される場合について説明する。
【００６０】
なお、第３実施形態において、第１実施例と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００６１】
（ハードウェア構成）
第1実施形態で示した構成と同様。
【００６２】
（処理の概要）
第１実施形態で示したブロック図で構成されている。入力画像が端子２００から入力され、顔検出部２０１に入力され、第1実施例の処理概要と同様で、構成の詳細説明を省略する。
【００６３】
本実施形態において、顔検出部２０１は、入力画像データから人物の顔および目や鼻、口などの器官位置を検出する。図３は端子２００から入力される入力画像データを示す。図３の入力画像データに対して顔検出を行う。図１６は図３の入力画像に対して顔検出を行なった結果を示す図で、点線Ｔ１００、点線Ｔ１０１で示す２つの矩形領域を顔領域として設定する。顔検出された顔領域情報は、後段の胴体検出部２０２、折畳み領域設定部２０３に入力され利用される。
【００６４】
次に、胴体検出部２０２は、入力画像データから人物の胴体位置を検出する。図３の画像データに対して胴体検出を行う。図１７は図３の入力画像に対して胴体検出を行った結果を示す図で、点線Ｔ１００、Ｔ１０１で示す矩形領域は顔検出を行った結果を示し、点線Ｔ２００、Ｔ２０１で示す矩形領域は胴体検出を行った結果を示す。胴体領域情報は、後段の折畳み領域設定部２０３に入力され利用される。
【００６５】
本実施形態において、顔検出部２０１で検出された顔領域を２つの矩形領域と想定しているので、検出された２つの顔領域の中で矩形領域のサイズが大きい方の顔領域の基準とし、大きい顔領域の一辺のサイズを飛び出し量と設定する。
【００６６】
また、本実施形態において、顔検出部２０１で検出された顔領域を２つの矩形領域と想定しているので、検出された２つの顔領域の中で矩形領域のサイズが大きい方の顔領域の基準とし、大きい顔領域の一辺のサイズを飛び出し量と設定しているが、これに限定するものではなく、例えば２つの矩形領域の中で矩形領域が小さい方の顔領域を基準すること、２つの矩形領域毎に飛び出し量を設定することなどが容易に適用できることは言うまでもない。
【００６７】
また、本実施形態において、顔検出部２０１で検出された顔領域を２つの矩形領域と想定してが、これに限定するものではなく、例えば３つや４つなどの複数の矩形領域が顔領域として検出することが容易に適用できることは言うまでもない。
【００６８】
次に、折畳み領域設定部２０３は、顔検出部２０１、胴体検出部２０２の検出結果を元に飛び出し領域の設定を行う。飛び出し量の設定以外については、第１実施形態及び第２実施形態と同様とする。
【００６９】
次に、折畳み領域設定部２０３で設定した折り曲げ位置と切り込み位置を図３の入力画像にデータを書込む。
【００７０】
上記処理が施された画像データは、表示装置１０４に表示されたり、圧縮処理が施されて２次記憶装置１０５に保存されたり、インターフェース１０８を介して接続されたプリンタ１０９から出力されたりすることになる。以上が、本実施形態における処理の概要である。これより以下では、各部毎に、処理の詳細を説明してゆく。
【００７１】
以上説明したように、第３実施形態によれば、入力画像中から自動的に複数の顔領域と複数の胴体領域を検出し、顔領域と胴体領域に従って折り曲げ位置と切り取り位置を設定することにより、人が行う作業の手間を省き、簡単に図１０に示すような人物領域に特化した３次元の立体を突設形成する折畳み展開図を作成することが可能となる。
【００７２】
以上が、第３の実施形態の説明である。
【００７３】
（その他の実施形態）
また、本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用しても良い。
【００７４】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００７６】
【図１】本発明を実施するためのハードウェア構成を示す図
【図２】第１、第２、第３実施形態及における処理のブロック図
【図３】入力画像の例
【図４】１箇所の顔検出を行った顔矩形領域
【図５】１箇所の顔検出を行った顔矩形領域と１箇所の胴体検出を行った胴体形領域
【図６】第１実施形態の飛び出し領域を示した図
【図７】第１実施形態の飛び出し領域をシフトさせた図
【図８】第１実施形態の図７に対して折り曲げ位置を示した図
【図９】第１実施形態の図７に対して切り取り位置を示した図
【図１０】第１実施形態の図３に対して折り曲げ位置と切り取り位置を示した図
【図１１】第２実施形態の飛び出し領域を示した図
【図１２】第２実施形態の飛び出し領域をシフトさせた図
【図１３】第２実施形態の図７に対して折り曲げ位置を示した図
【図１４】第２実施形態の図７に対して切り取り位置を示した図
【図１５】第２実施形態の図３に対して折り曲げ位置と切り取り位置を示した図
【図１６】複数箇所の顔検出を行った顔矩形領域
【図１７】複数箇所の顔検出を行った顔矩形領域と１箇所の胴体検出を行った胴体形領域
【図１８】従来例の図
【符号の説明】
【００７７】
Ｐ１００  顔領域
Ｐ２００  胴体領域
Ａ１００  飛び出し領域
Ｂ１００、Ｂ１０１、Ｂ１０２  飛び出し領域をシフトさせた領域
Ｓ１００、Ｓ１０１、Ｓ１０２  飛び出し量
Ｍ１００  飛び出し領域
Ｎ１００、Ｎ１０１、Ｎ１０２  飛び出し領域をシフトさせた領域
Ｌ１００、Ｌ１０２、Ｌ１０２  飛び出し量
Ｋ１００  顔領域上側の１辺
Ｋ１０１  顔領域上側の４分の１した左側の１辺
Ｋ１０２  顔領域上側の４分の１した右側の１辺
Ｋ１０３  顔領域下側と胴体領域上側の左側の差を示した一辺
Ｋ１０４  顔領域下側と胴体領域上側の右側の差を示した一辺
Ｔ１００  顔領域
Ｔ２００  胴体領域
Ｔ１０１  顔領域
Ｔ２０１  胴体領域
Ｃ１〜Ｃ４  谷折線
Ｃ５〜Ｃ７  山折線
Ｄ１〜Ｄ４  切込線
Ｅ１  主折線
Ｆ１  主折線
Ｑ１〜２３  谷折線
Ｒ１〜１２  山折線
【図１】
2009039274.tif 000003
【図２】
2009039274.tif 000004
【図３】
2009039274.tif 000005
【図４】
2009039274.tif 000006
【図５】
2009039274.tif 000007
【図６】
2009039274.tif 000008
【図７】
2009039274.tif 000009
【図８】
2009039274.tif 000010
【図９】
2009039274.tif 000011
【図１０】
2009039274.tif 000012
【図１１】
2009039274.tif 000013
【図１２】
2009039274.tif 000014
【図１３】
2009039274.tif 000015
【図１４】
2009039274.tif 000016
【図１５】
2009039274.tif 000017
【図１６】
2009039274.tif 000018
【図１７】
2009039274.tif 000019
【図１８】
2009039274.tif 000020