(57)【要約】【課題】ふきだし合成印刷機能使用時の操作性の向上を図ることができる画像処理装置を提供する。【解決手段】ふきだしや文字列のデータを記憶しており、ふきだしや文字列を画像に合成させて印刷することが可能である。そして、画像に合成するふきだし・文字列を選択する際に、印刷対象の画像に含まれる顔の表情の情報を取得し、取得した表情の情報に応じて、ユーザが選択可能な文字列の選択肢が自動的に絞り込まれる。【選択図】図８
2010097331.tif 000002
【特許請求の範囲】
【請求項１】
画像データに含まれる顔の表情を解析する解析手段と、
前記画像データにふきだしを合成して表示手段に表示するための表示制御手段と、
前記ふきだしに表示する文字列を切換えることにより、前記ふきだしに表示する文字列を複数の文字列の中から選択する選択手段と、
前記選択手段により文字列を選択するときに前記ふきだしに最初に表示する文字列を前記解析手段により解析された表情に応じて決定する決定手段とを有することを特徴とする画像処理装置。
【請求項２】
前記選択手段は、前記解析手段により解析された表情に対応する文字列を選択可能とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像データに合成するふきだしの色または形を選択する前記解析手段により解析された表情に応じた形または色のふきだしをすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像データに前記ふきだし及び前記選択手段により選択された文字列を合成して印刷する印刷手段を有することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
【請求項５】
画像データに含まれる顔の表情を解析する解析工程と、
前記画像データにふきだしを重ねて表示手段に表示するための表示制御工程と、
複数の文字列の中から文字列を選択するための操作に応じて、前記ふきだしに表示する文字列を切換える文字列選択工程と、
前記文字列選択工程において前記ふきだしに最初に表示する文字列を、前記解析手段により解析された表情に応じて決定する決定工程とを有することを特徴とする表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ重ねて表示したふきだし中の文字を選択するための画像処理装置及び表示制御方法に関する。
【背景技術】
【０００２】
デジタルカメラの普及に伴い、デジタルカメラで撮影された写真画像を手軽に印刷したいという需要に応えるべく、画像処理装置としてのコンパクトフォトプリンタが普及してきている。
【０００３】
近年のコンパクトフォトプリンタは、液晶表示画面を装着しているタイプが主流となっており、印刷候補の写真画像を予め液晶等の表示画面でプレビューしてから印刷している。装着される表示画面も大型化、高解像度化、高画質化が進んでおり、画像を拡大表示して、細部まで確認できるものも出てきている。
【０００４】
そのため、グラフィック・ユーザ・インターフェース（ＧＵＩ）を搭載し、従来、写真画像をそのまま印刷するだけであったものが、フレームやスタンプを追記する等してオリジナル画像を加工して印刷する、付加機能を搭載することが可能になってきている。
【０００５】
画像オブジェクトの代表例として、フレーム、スタンプ、そしてふきだしが挙げられる。フレームは、写真立てやアルバム等で使われるのと同等の写真の装飾枠としての機能を狙ったものであり、スタンプは、写真に貼り付けて装飾効果を高めるものである。また、ふきだしは、漫画等で使われるセリフ（文字列）を表す空間を指すもので、被写体人物の顔のそばに配置される。
【０００６】
本来の意味での「ふきだし」とは、従来、漫画で登場人物のセリフを表現するために絵の中に設けられる空間のことである。楕円形の代わりに雲形の空間を作って、三角形の代わりに連続する小さな楕円を使う（図２の画面２００２）と、楕円の向かう先にいる人物が雲形の空間に入っているセリフを心の中で思っていることを表わす。場面によっては小声で話していることを表わす場合もある。
【０００７】
ふきだしの中の文字を不気味な書体（古印体等）にしたら、恐いことを喋っているという表現になったり、かすれた文字にすると、喉がガラガラの状態だという表現になったりと表現の形は様々である。
【０００８】
通常、コンパクトフォトプリンタの操作部材は、サイズやコストの制約によりボタン数が制限されており、本格的な文字入力機能には対応していない。従って、ふきだし空間を白等の単色無地で印刷し、ユーザが油性ペン等を使ってセリフ（文字列）を記入するのが一般的である。
【０００９】
このようなふきだしを画像に合成する場合に、画像データ中の顔を検出して顔の領域の近くに自動的にふきだしを配置したり、顔領域にふきだしが被らないように制御したりして、ユーザのふきだし剛性設定を補助するシステムもある（特許文献１）。
【００１０】
また、近年、顔の表情、特に、人物の顔の表情を検出する技術が開発されつつある。一般的に、カメラで人物を撮影する際には、被写体である人物の表情が笑顔等の良い表情のタイミングで撮影されることが望まれる。そのため、笑顔になったら自動的にシャッターを切るようにする等、デジタルカメラへの表情検出技術の応用が検討されている。
【００１１】
特許文献２で示す既存の表情検出技術では、検出した顔の表情の変化を、定量的に検出できるようにしている。
【特許文献１】特開２００７−３１０４８７号公報
【特許文献２】特開２００５−２６６９８４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
従来技術のふきだし機能は、小さい表示画面とボタン中心の貧弱な構成からなるＧＵＩを使っているため、位置や形状、色等、細かいパラメータを指定するには操作が難しく、使い勝手が良くなかった。また、文字入力機能をサポートしていなかったため、ふきだしの中に文字列を入力することができなかった。
【００１３】
本発明の目的は、ふきだし機能使用時の操作性の向上を図ることができる画像処理装置及びその制御方法を提供することにある。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、請求項１記載の画像処理装置は、画像データに含まれる顔の表情を解析する解析手段と、前記画像データにふきだしを合成して表示手段に表示するための表示制御手段と、前記ふきだしに表示する文字列を切換えることにより、前記ふきだしに表示する文字列を複数の文字列の中から選択する選択手段と、前記選択手段により文字列を選択するときに前記ふきだしに最初に表示する文字列を前記解析手段により解析された表情に応じて決定する決定手段とを有することを特徴とする。
【発明の効果】
【００１５】
本発明の画像処理装置によれば、ふきだし機能使用時の操作性の向上を図ることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を図面を参照しながら詳細に説明する。
【００１７】
図１は、本発明の実施の形態に係る画像処理装置のブロック構成図である。
【００１８】
図１（ａ）において、画像処理装置（印刷装置）１は、ＰＣ２もしくはメモリカードスロット３に挿入された不図示のメモリカード、もしくはデジタルカメラ／デジタルビデオカメラ等の撮像装置４と、インターフェース１０１を介して接続されている。
【００１９】
以下、画像処理装置１の構成を動作と併せて説明する。
【００２０】
ＰＣ２もしくはメモリカードスロット３に挿入された不図示のメモリカード、もしくは撮像装置４から入力された、不図示の画像データは、インターフェース１０１を介して、受信バッファ１０２に格納される。
【００２１】
受信したＪＰＥＧ画像データは、第１の信号処理部１０３でリサイズや回転等の前処理を施された後、制御部１０４を構成する（ｂ）のＲＡＭ１１４に格納される。
【００２２】
ＲＯＭ１１５に格納されている不図示のプログラムに基づいてＣＰＵ１１３が動作することにより、以下のことが可能である。
【００２３】
即ち、ＲＡＭ１１４に格納された画像データは第１の表示部１０６へのプレビュー表示や、入力部１０５を使った、印刷部数指定や、Ｎ−ＵＰ印刷（１枚の用紙にＮ個の画像を配置して印刷）やトリミング等の印刷指示が可能である。
【００２４】
尚、本発明で言及している顔検出処理は第１の信号処理部１０３、表情検出処理は第２の信号処理部１０９で行われる。検出結果は、画像ファイルのＥＸＩＦタグに記録することで、各信号処理部で共有することも可能である。第１の信号処理部１０３では、顔検出処理を実行可能であり、第２の信号処理部１０９には、表情検出処理を実行可能である。
【００２５】
ユーザが、ＧＵＩを使い、入力部１０５の操作ボタン等を操作して画像データの印刷指示を行うと、第２の信号処理部１０９では、画像データをプリンタエンジン部２００が解釈できるデータフォーマットに変換し、フレームメモリ１０７に格納する。その後、プリンタエンジン部２００は、フレームメモリ１０７２か苦悩されたデータに基づいて画像を用紙に印刷する。尚、プリンタエンジン部２００にエラーが発生した場合、第２の表示部１０８を使い、ＬＥＤを点滅させる等して、ユーザに注意を促す。
【００２６】
図２は、図１における第２の信号処理部１０９が有する表情検出機能を使って、ふきだしや文字列の選択画面で最初に表示されるふきだし及び文字列を自動選択した場合の画面の例を示す図である。
【００２７】
（ａ）の画面２００１は、笑顔を検出したときで、笑顔が検出された場合、ふきだしや文字列の選択画面に移行したときに入力文字列は感謝の意を示す「ありがとう」が最初に選択された状態で表示されている。
【００２８】
（ｂ）の画面２００２は、困った顔を検出したときで、入力文字列は謝罪を表わす「すみません」が選択された状態で表示される。
【００２９】
図３は、図１の画像処理装置１の入力部１０５からふきだしや文字列の選択画面においてふきだし及び文字列をマニュアル選択した場合の画面の例を示す図である。図２のようにふきだしや文字列の選択画面では最初に表情に応じた選択肢が表示されるが、その後ユーザの操作により他の選択肢を選択可能である。
【００３０】
ユーザは画像データのプレビューを第１の表示部１０６に表示するが、それに続いて、入力部１０５のボタン（ｃ）を操作して、ＧＵＩベースのメニュー操作を行う。
【００３１】
（ａ）の画面３００１は、ふきだしの形状を選択するメニューを表示し楕円を選択したところを示す。
【００３２】
（ｂ）の画面３００２は、文字列を選択するメニューを表示し「ありがとう」を選択しているところである。尚、ふきだしの形状・色と、ふきだしの中に配置される文字列は、共にＲＯＭ１１５に格納されている。
【００３３】
図４は、図１における第２の信号処理部１０９が有する表情検出処理機能を用いて、ふきだし選択画面において最初に表示されるふきだしの形状を自動的に決定した場合の画面の例を示す図である。
【００３４】
図４において、画面４００１は、素顔の場合であり、この場合矩形の空間に三角形を組み合わせたふきだしがふきだし選択画面において最初に表示される。画面４００２は、笑顔を検出した場合であり、楕円形に三角形を組み合わせたふきだしが最初に表示される。
【００３５】
画面４００３は、怒り顔を検出した場合であり、怒りを表す爆発の形が最初に表示される。画面４００４は、困った顔を検出した場合であり、もやもや感を示す雲形の空間と連続する小さな楕円の組み合わせのふきだしが最初に表示される。
【００３６】
図５は、ふきだし選択画面の一例であり、図１における第２の信号処理部１０９が有する表情検出処理機能を用いて、ふきだし選択画面に入ったときに最初に表示するふきだしの色が自動的に選択される。
【００３７】
図５において、画面５００１は、表情の検出結果が素顔の場合であり、ふきだしの色は最初白が選択された状態である。画面５００２は、笑顔を検出した場合であり、ふきだしの色として、最初は薄い色が選択された状態である。
【００３８】
画面５００３は、怒り顔を検出した場合であり、ふきだしツの色として暖色系の濃い色が選択されている。画面５００４は、困った顔を検出した場合であり、ふきだしの色として寒色系の色が選択されている。
【００３９】
図６は、図１における第２の信号処理部１０９による表情検出処理の結果に応じて選択される、入力文字列の画面の例を示す図である。
【００４０】
図６において、画面６００１は、表情検出の結果が素顔の場合であり、文字列選択画面において「おつかれさま」が最初のデフォルト値として選択・表示されている。画面６００２は、笑顔の場合であり、感謝の言葉「ありがとう」が最初に表示/選択されている。
【００４１】
画面６００３は、怒り顔の場合であり、怒りの言葉「こら！」が選択された状態で表示されている。画面６００４は、困り顔の場合であり、困惑の言葉「すみません」が選択され表示されている。
【００４２】
図７は、文字列選択画面の一例で、文字列選択画面で最初のデフォルト値として選択される文字書体を表情検出処理の結果に応じて決定する。
【００４３】
図７において、画面７００１は、表情検出の結果が素顔の場合であり、文字列選択画面では明朝体が初期設定値となる。画面７００２は、笑顔の場合であり、自然と笑顔が出てくるポップ体を選択している。
【００４４】
画面７００３は、怒り顔の場合であり、角の立つ角ゴシック体を選択している。画面７００４は、困った顔の場合であり、頭を傾けるイタリック体を使うことにより、困惑や悲しみを表現している。
【００４５】
このように、本実施の形態では、文字列選択画面・ふきだし選択画面において、文字列やふきだしが合成される画像に含まれる顔の表情を検出し、文字列・ふきだし選択画面で最初に表示される選択紙が表情検出の結果に応じて決定される。あるいは、文字列・吹きだし選択画において最初に選択されている選択肢が表情検出の結果に応じて決定される。
【００４６】
つまり、表情検出の結果に応じて、文字列選択画面・ふきだし選択画面において最初に表示または選択されている選択紙が変わることになる。
【００４７】
上述の実施の形態では、ふきだしの形状、ふきだしの色、文字列、文字列の書式を例に説明したが、他の選択項目に適応しても良い。また、表情検出の結果決定されるのはデフォルトとして最初に表示または選択されている選択肢であるため、ユーザは選択画面で選択肢を変更可能である。
【００４８】
表情検出の結果に応じて最初に表示・選択されている選択肢が自動的に決定されるため、簡単にふきだしや文字列の設定ができ、かつ、表情検出で語検出された場合や他の選択肢を選択したい場合に後に変更することも可能であるためユーザビリティーが向上する。
【００４９】
図８は本実施の形態のふきだし合成印刷の処理のフローである。これらの処理は、ＣＰＵ１１３がＲＯＭ１１５からプログラムを読み出し、読み出したプログラムに基づいて画像処理装置１の各部を制御することにより実行される。
【００５０】
ユーザによりふきだし印刷処理が選択されるとこれらの処理が実行される。まず、表示部１０６に画像選択画面を表示（表示制御）させる。ユーザは、画像選択画面に表示されるメモリスロット３に装着されたメモリカードまたは記憶媒体１１１に格納されている画像データの中から、入力部１０５を操作して印刷対象の画像を選択する（Ｓ８０１）。
【００５１】
画像が選択されると、選択された画像の顔検出及び検出された画像についての表情検出を行う（Ｓ８０２）。顔検出・表情検出の検出結果の情報が画像データの付加情報として記録されている場合は、画像処理装置で必ず顔検出・表情検出を行わなくても、付加情報を解析することにより顔検出・表情検出の結果を取得しても良い。
【００５２】
Ｓ８０３では、Ｓ８０２で取得した表情検出の結果に応じて、画像処理装置に記憶されている合成可能な文字列データのうち、Ｓ８０６、Ｓ８０７で選択可能なふきだしに合成させる文字列の候補を候補文字列として決定する。
【００５３】
つまり、検出した表情に応じて、選択可能な文字列が変わる。例えば、笑顔が検出された場合は、「ありがとう」「やったー！！」「ＨＡＰＰＹ」「ラッキー」が選択可能になり、泣き顔が検出された場合は、「ざんねん」「悲しい」「えーん」「こわい」が選択可能となる。
【００５４】
文字、顔が検出されなかったり、表情の検出が不可能であったりした場合は、画像処理装置に記憶されている全ての文字列が候補文字列として設定される。また、１つの画像に複数の顔があり、複数種類の表情が含まれる場合は、全ての表情に対応する文字列を候補文字列とるとよい。
【００５５】
次に、Ｓ８０４では、ふきだし選択画面において初期設定として表示させるふきだしの形状・色、文字列の書体と文字列を決定する。文字列はＳ８０３で決定された候補文字列の中の１つが初期設定として決定される。ふきだしの形状・色、文字列の書体の初期設定としては、前で説明したように決定される。
【００５６】
そして、Ｓ８０４で決定された初期設定に応じたふきだしの形状・色、文字列の書体、文字列でふきだし及び文字列を生成し、印刷対象の画像に合成して、ふきだし・文字列選択画面に表示される。
【００５７】
ふきだし・文字列選択画面ではふきだしの形状・色・文字列の書体・文字列が変更可能であり、文字列については、Ｓ８０３で決定した候補文字列の中から選択可能である。文字列の切換え操作が行われた場合は（Ｓ８０６でＹＥＳ）、他の（次の）候補文字列に換えてその文字列を合成して、ふきだし・文字列選択画面に表示する（Ｓ８０７）。
【００５８】
文字列選択の操作ではなく、ふきだしの形状または色の変更のための操作である場合は（Ｓ８０８でＹＥＳ）、操作に応じてふきだしの形状または色を変更して、ふきだし・文字列選択画面に表示する（Ｓ８０９）。
【００５９】
文字列の書体もふきだしの形状・色と同様に変更する。ふきだし・文字列の選択が完了し、ユーザが決定の操作を行うと（Ｓ８１０でＹＥＳ）、印刷処理が開始される。印刷処理では、Ｓ８０１で選択された印刷対象の画像にふきだし・文字列選択画面で選択されたふきだし及び文字列を合成して、プリントデータを作成し、プリンタエンジン部２００に送る。そして、プリンタエンジン部２００はプリントデータに従って画像を印刷する。
【００６０】
このようにして、ふきだし及び文字列が合成された画像を印刷することができる。
【００６１】
このように、本実施形態の画像処理装置は、ふきだしや文字列のデータを記憶しており、ふきだしや文字列を画像に合成させて印刷することが可能である。そして、ふきだしや文字列のデータを記憶しており、ふきだしや文字列を画像に合成させて印刷することが可能である。
【００６２】
そして、画像に合成するふきだし・文字列を選択する際に、印刷対象の画像に含まれる顔の表情の情報を取得し、取得した表情の情報に応じて、ユーザが選択可能な文字列の選択肢が自動的に絞り込まれる。
【００６３】
そのため、表情にあった文字列を簡単に選択することができる。とくに、選択紙（文字列の種類）が多い場合は、多くの選択肢の中から選択するのは大変な作業となってしまうため、本発明を実施したときの効果は大きくなる。
【００６４】
本実施の形態では、表情の検出結果に応じた候補文字列のみを選択可能としたが、文字列選択画面において候補文字列が優先的に切換えられるようにしてもよい。この場合文字列変更の操作を行っていくと最初に候補文字列が順次表示され、その後、他の候補文字列が表示されるようになる。
【００６５】
また、文字列だけでなく、ふきだしの形状・色も表情に応じて画像処理装置側で選択肢を自動的に絞り込むようにしてもよい。
【００６６】
また、候補文字列以外の文字列を選択したい場合も考えられるので、特定の操作を行うことで、ふきだし・文字列選択画面において文字列やふきだしの形状や色の絞りこみの解除を可能としても良い。
【００６７】
また、予め文字列を表情ごとのカテゴリに分けたメニューを用意しておき、自動的に候補文字列が選択された後にもそのメニューに移行可能とすることにより、他の表情に対応した文字列を選択可能な構成としておいても良い。
【００６８】
以上、本発明をその好適な実施の形態に基づいて詳述してきたが、本発明はこれら特定の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００６９】
また、上述の実施の形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【００７０】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００７１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００７２】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等が考えられる。また、光／光磁気記憶媒体、不揮発性の半導体メモリでも良い。
【図面の簡単な説明】
【００７３】
【図１】本発明の実施の形態に係る画像処理装置のブロック構成図である。
【図２】図１における第２の信号処理部１０９が有する表情検出機能を使ってふきだし及び文字列を自動選択した場合の画面の例を示す図である。
【図３】図１の画像処理装置１の入力部１０５からふきだし及び文字列をマニュアル選択した場合の画面の例を示す図である。
【図４】図１における第２の信号処理部１０９が有する表情検出処理情報を用いて、ふきだしの形状を自動的に選択した場合の画面の例を示す図である。
【図５】図１における第２の信号処理部１０９が有する表情検出処理情報を用いて、ふきだしの色を自動的に選択した場合の画面の例を示す図である。
【図６】図１における第２の信号処理部１０９による表情検出処理の結果に応じて選択される、入力文字列の画面の例を示す図である。
【図７】図１における第２の信号処理部１０９による表情検出処理の結果に応じて選択される文字書体の画面の例を示す図である。
【図８】画像処理装置のふきだし印刷の処理のフローである。
【符号の説明】
【００７４】
１  画像処理装置
２  ＰＣ
３  メモリスロット
４  撮像装置
１０１  インターフェース
１０３  第１の信号処理部
１０４  制御部
１０５  入力部
１０６  第１の表示部
１０７  フレームメモリ
１０９  第２の信号処理部
１１３  ＣＰＵ
１１４  ＲＡＭ
１１５  ＲＯＭ
２００  プリンタエンジン部
【図１】
2010097331.tif 000003
【図２】
2010097331.tif 000004
【図３】
2010097331.tif 000005
【図４】
2010097331.tif 000006
【図５】
2010097331.tif 000007
【図６】
2010097331.tif 000008
【図７】
2010097331.tif 000009
【図８】
2010097331.tif 000010