(57)【要約】【課題】任意の被写体画像に対し、比較的簡単な処理を行うことにより、適切な漫画調画像を生成する。【解決手段】カラーの被写体画像Ｇ１のグレースケール画像Ｇ１５を、第１の閾値Ｔｈ１でモノクロ２値画像にしたマスクＧ１６によりスクリーントーンＧ０を切り抜いてスクリーントーン切抜画像Ｇ１０を生成し、第２の閾値Ｔｈ２（＜Ｔｈ１）で該グレースケール画像からモノクロ２値画像Ｇ１１を生成し、画像Ｇ１５のエッジを検出し反転して輪郭画像Ｇ１２を生成し、これらの画像Ｇ１０、Ｇ１１及びＧ１２を合成して漫画調主画像Ｇ１３を生成する。その主要部を抽出して背景画像に貼り付け、一部が透明な前景画像を貼り付ける。【選択図】図４
2014102596.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサと、プログラム及びデータが格納された記憶手段と、画像出力手段とを備え、該データは、カメラで撮像された被写体画像と、スクリーントーンとを含み、該プログラムが該プロセッサに対し、該被写体画像を漫画調に変換させる画像処理装置において、該プログラムは該プロセッサに対し、
（ａ）該被写体画像をグレースケール画像に変換させ、
（ｂ）該グレースケール画像を第１の閾値で２値化させたマスクを生成させ、該スクリーントーンの、該マスクの白画素の位置に対応した画素からなるスクリーントーン切抜画像を生成させ、
（ｃ）該グレースケール画像を、該第１の閾値より小さい第２の閾値で２値化させて２値画像を生成させ、
（ｄ）該グレースケール画像のエッジ画像を反転させた輪郭線画像を生成させ、
（ｅ）該スクリーントーン切抜画像と該２値画像と該輪郭線画像とを積合成させた第１合成画像を生成させ、
該第１合成画像の一部又は全部を含む画像を漫画調画像として該画像出力手段に供給させることを特徴とする画像処理装置。
【請求項２】
該データはさらに背景画像を含み、
該プログラムは該プロセッサに対しさらに、
（ｆ）該輪郭線画像の輪郭線を太らせ、該太らせた輪郭線で分割される第１の画素連結領域のうち、画像枠上の予め定めた１対の辺上の画素を含む画素連結領域を除外した領域を第２の連結領域として求めさせ、該第２の連結領域のうち画素数が閾値以下のものを除外した領域内の各画素を２値の一方の値とし残りの領域を該２値の他方の値とするマスクを生成させ、
（ｇ）該背景画像の、該マスク内の画素のうち該２値の該他方の値の位置に対応する画素と、該第１合成画像の、該マスク内の画素のうち該２値の該他方の値の位置に対応する画素とを合成させた第２合成画像を生成させ、
該漫画調画像は、第２合成画像の一部又は全部を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
該データはさらに、アルファチャンネル付前景画像を含み、
該プログラムは該プロセッサに対しさらに、
（ｈ）該第２合成画像を該アルファチャンネルのマスクでマスクした第３合成画像を生成させ、
該漫画調画像は、第３合成画像の一部又は全部を含むことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
請求項１乃至３のいずれか１つに記載の画像処理装置と、
該被写体画像を撮像するカメラと、
を備え、該被写体画像は静止画又は動画の駒画像であり、該出力手段は画像表示手段であることを特徴とする携帯端末装置。
【請求項５】
請求項１に記載の画像処理装置と、
該被写体画像を撮像するカメラと、
を備え、該画像処理装置は該カメラで撮像された動画を構成する時系列画像のそれぞれを該被写体画像として該漫画調画像に変換させ、該漫画調画像を順次該出力手段に供給させ、該出力手段は表示手段又は通信手段であることを特徴とする携帯端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮像された静止画又は動画をオフライン又はオンラインリアルタイムで漫画調画像に変換する画像処理装置に関する。
【背景技術】
【０００２】
下記特許文献１には、漫画などの画像を出力する装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２２２７１３号公報
【発明の概要】
【０００４】
しかし、漫画調の紙面画像を電子化するものであり、カメラで撮像された画像を漫画調に変換するものではない。カメラ画像を漫画調に変換しようとすると、様々な条件の任意の被写体画像を処理しなければならないので、適切な漫画調画像に変換するには、被写体の種類に応じた処理を行わなければならず、ソフトウェア構成が複雑になる。
【発明が解決しようとする課題】
【０００５】
本発明の目的は、このような問題点に鑑み、任意の被写体画像に対し比較的簡単な処理を行うことにより適切な漫画調画像を生成することが可能な画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の第１態様では、プロセッサと、プログラム及びデータが格納された記憶手段と、画像出力手段とを備え、該データは、カメラで撮像された被写体画像と、スクリーントーンとを含み、該プログラムが該プロセッサに対し、該被写体画像を漫画調に変換させる画像処理装置において、該プログラムは該プロセッサに対し、
（ａ）該被写体画像をグレースケール画像に変換させ、
（ｂ）該グレースケール画像を第１の閾値で２値化させたマスクを生成させ、該スクリーントーンの、該マスクの黒画素の位置に対応した画素からなるスクリーントーン切抜画像を生成させ、
（ｃ）該グレースケール画像を、該第１の閾値より小さい第２の閾値で２値化させて２値画像を生成させ、
（ｄ）該グレースケール画像のエッジ画像を反転させた輪郭線画像を生成させ、
（ｅ）該スクリーントーン切抜画像と該２値画像と該輪郭線画像とを積合成させた第１合成画像を生成させ、
該第１合成画像の一部又は全部を含む画像を漫画調画像として該画像出力手段に供給させる。
【０００７】
本発明による画像処理装置の第２態様では、第１態様において、
該データはさらに背景画像を含み、
該プログラムは該プロセッサに対しさらに、
（ｆ）該輪郭線画像の輪郭線を太らせ、該太らせた輪郭線で分割される第１の画素連結領域のうち、画像枠上の予め定めた１対の辺上の画素を含む画素連結領域を除外した領域を第２の連結領域として求めさせ、該第２の連結領域のうち画素数が閾値以下のものを除外した領域内の各画素を２値の一方の値とし残りの領域を該２値の他方の値とするマスクを生成させ、
（ｇ）該背景画像の、該マスク内の画素のうち該２値の該他方の値の位置に対応する画素と、該第１合成画像の、該マスク内の画素のうち該２値の該他方の値の位置に対応する画素とを合成させた第２合成画像を生成させ、
該漫画調画像は、第２合成画像の一部又は全部を含む。
【０００８】
本発明による画像処理装置の第３態様では、第２態様において、
該データはさらに、アルファチャンネル付前景画像を含み、
該プログラムは該プロセッサに対しさらに、
（ｈ）該第２合成画像を該アルファチャンネルのマスクでマスクした第３合成画像を生成させ、
該漫画調画像は、第３合成画像の一部又は全部を含む。
【発明の効果】
【０００９】
上記第１態様の構成によれば、任意の被写体画像に対し比較的簡単な処理（ａ）〜（ｅ）を行うことにより、適切に切り抜いたスクリーントーン切抜画像と被写体画像の２値画像と輪郭線画像とを積合成させた、比較的適切な漫画調画像を、比較的高速に自動生成することができるという効果を奏する。これにより、
【００１０】
上記第２態様の構成によれば、予め記憶している漫画調の背景画像に対し、被写体画像の主要部の比較的面積が広いオブジェクト画像のみ合成することができるとともに、被写体画像の周辺部であっても被写体画像の主要部に連結している輪郭線も合成することができるので、被写体の種類によらず、撮像前に細々とした物を被写体から取り除いたり、撮像した被写体画像から細々とした物の像を手動編集して取り除いたりすることなく、より適切な漫画調画像を生成することができるという効果を奏する。これにより、カメラで撮像された静止画又は動画をオフライン又はオンラインリアルタイムで、適切な漫画調画像に変換することが可能となる。
【００１１】
上記第３態様の構成によれば、予め記憶している漫画調の前景画像をさらに合成することができるので、さらにより適切な漫画調画像を生成することができる。
【００１２】
本発明の他の目的、特徴的な構成及び効果は、以下の説明を特許請求の範囲及び図面の記載と関係づけて読むことにより明らかになる。 
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例１に係る画像処理装置のハードウェア構成を示す概略ブロック図である。
【図２】カメラで撮像された被写体画像を漫画調画像に変換する処理の構成を示す機能ブロック図である。
【図３】図１３中の主処理部による処理を示す概略フローチャートである。
【図４】図２中の漫画調主画像生成部のより詳細な構成及びその入出力画像の種類を示す図である。
【図５】図２中のマスク生成部４２のより詳細な構成及びその入出力画像の種類を示す概略機能ブロック図である。
【図６】（Ａ）〜（Ｄ）はそれぞれ、スクリーントーン、被写体画像、背景画像及び前景画像の具体例を示す図である。
【図７】（Ａ）〜（Ｄ）は図４の処理説明用画像を示す図である。
【図８】（Ａ）〜（Ｄ）は図４の処理説明用画像を示す図である。
【図９】（Ａ）〜（Ｄ）は図５の処理説明用画像を示す図である。
【図１０】（Ａ）及び（Ｂ）は図５の処理説明用画像を示す図、（Ｃ）は図２中の背景・主画像合成画像の具体例を示す図である。
【図１１】本実施例１の画像処理で生成される最終的な漫画調画像の具体例を示す図である。
【図１２】本実施例１の画像処理で生成される他の最終的な漫画調画像の具体例を示す図である。
【図１３】図２に対応した動画の場合の処理の構成を示す機能ブロック図である。
【実施例１】
【００１４】
図１は、本発明の実施例に係る画像処理装置１０のハードウェア構成を示す概略ブロック図であって、この実施例で必要な構成要素のみを示す。画像処理装置１０は例えば、スマートフォンやＰＤＡ等の携帯端末装置、デジタルカメラ、ノートパソコン又はデスクトップパソコンである。
【００１５】
画像処理装置１０は、その本体部２０において、プロセッサ２１がバス２２を介して記憶装置２３、入力インターフェイス２４、カメラインターフェイス２５及びディスプレインターフェイス２６に結合されている。入力インターフェイス２４には入力装置３０が結合され、カメラインターフェイス２５にはカメラ３１が結合され、ディスプレインターフェイス２６には表示装置３２が結合され、通信部２７にはアンテナ３３が結合されている。
【００１６】
入力装置３０は、対話型入力装置であって、タッチパネル、ポインティングデバイス若しくはキーボード又はこれらの組み合わせで構成されている。通信部２７は、電波を介してインターネットと結合するためのネットワークインターフェイスを備えている。
【００１７】
記憶装置２３にはプログラム及びデータが格納され、このプログラムは、プロセッサ２１に対し、入力装置３０から入力インターフェイス２４を介したユーザの選択、設定値入力又は指示を受け付け、この入力に応じてカメラ３１の絞り値やシャッター速度又は本体部２０内の入力ゲイン等を調節して入力画像の明るさ等を調整し、カメラ３１で被写体を撮像させてその静止画又は動画の画像データを記憶装置２３内に格納させ、この画像データを処理させ、その結果をディスプレインターフェイス２６に供給することにより表示装置３２に表示させ、又は、該結果をＭＰＥＧ圧縮し、ブラウザ等のネットワークソフトを介し通信部２７に供給することにより、アンテナ３３及び不図示のサーバを介して通信相手に画像データを送信する。
【００１８】
図２は主に、上記画像データの処理として、カメラ３１で撮像された被写体画像Ｇ１を漫画調画像Ｇ４０に変換する処理を示す機能ブロック図である。
【００１９】
データ記憶領域２３０は、図１の記憶装置２３のデータ領域の一部であり、これには、スクリーントーンＧ０、複数枚の背景画像Ｇ２及び複数枚の前景画像Ｇ３が予め格納されている。ユーザは、入力装置３０を操作して、複数枚の背景画像Ｇ２の中から背景画像Ｇ２ｓを選択し、複数枚の前景画像Ｇ３の中から前景画像Ｇ３ｓを選択する。
【００２０】
主処理部４０は、カメラ３１で撮像された被写体画像Ｇ１を漫画調画像に変換するメインルーチンである。図３は、この主処理部４０による処理を示す概略フローチャートであり、ステップＳ１〜Ｓ４の順に処理される。ステップＳ１〜Ｓ４のそれぞれで呼び出されるサブルーチンは、図１中の漫画調主画像生成部４１、マスク生成部４２、背景・主画像合成部４３及び前景合成部４４に対応している。
【００２１】
図６（Ａ）〜（Ｄ）はそれぞれ、スクリーントーンＧ０、被写体画像Ｇ１、背景画像Ｇ２ｓ及び前景画像Ｇ３ｓの具体例を示す。
【００２２】
スクリーントーンＧ０は、斜め４５度の白線と黒線（線幅は白線の方が太い。）とを交互に描画した２値画像であり、これを切り抜いて被写体画像の中間輝度面（中間濃度面）に貼り付けるために用いられる。
【００２３】
被写体画像Ｇ１には、その中央部に主要部である優勝カップ、右下に画像処理装置１０円硬貨及び左上隅に物体の一部のイメージが含まれている。
【００２４】
漫画は一般に画像が単純化されているので、面積の比較的小さい物体や縁部に写っているものを削除した方が好ましい。また、背景や前景を漫画的にした方が好ましい。
【００２５】
そこで、被写体画像Ｇ１をモノクロ２値画像にし、被写体画像Ｇ１を切り抜いて中間輝度領域に貼り付け、画面内主要部を抽出し、背景を背景画像Ｇ２ｓで置き換え、さらに前景画像Ｇ３を合成することにより、被写体画像Ｇ１を漫画調画像Ｇ４０に変換する。
【００２６】
図２に戻って、漫画調主画像生成部４１は、被写体画像Ｇ１に応じてスクリーントーンＧ０を切り取ったスクリーントーン切抜画像Ｇ１０を生成し、被写体画像Ｇ１をニ値化した二値画像Ｇ１１を生成し、被写体画像Ｇ１のエッジを検出して輪郭線画像Ｇ１２を生成し、これらスクリーントーン切抜画像Ｇ１０、二値画像Ｇ１１及び輪郭線画像Ｇ１２を合成して、漫画調主画像Ｇ１３を生成する。これらスクリーントーン切抜画像Ｇ１０、二値画像Ｇ１１、輪郭線画像Ｇ１２及び漫画調主画像Ｇ１３の具体例をそれぞれ、図７（Ｄ）、図８（Ａ）、図８（Ｃ）及び図８（Ｄ）に示す。
【００２７】
図４は、漫画調主画像生成部４１のより詳細な構成及びその入出力画像の種類を示す。
【００２８】
リサイズ部４１０は、前処理として、処理対象のスクリーントーンＧ０、被写体画像Ｇ１、背景画像Ｇ２ｓ及び前景画像Ｇ３ｓを拡大又は縮小処理することにより、これらのそれぞれのサイズ（幅と高さの画素数）を、結果として出力する漫画調画像Ｇ４０のサイズに一致させる。このアプリケーションで被写体画像Ｇ１のサイズを固定しておき、スクリーントーンＧ０、背景画像Ｇ２及び前景画像Ｇ３をこのサイズに合わせて備えている場合には、リサイズ部４１０の処理を省略することができる。以下、スクリーントーンＧ０、被写体画像Ｇ１、背景画像Ｇ２ｓ及び前景画像Ｇ３ｓはサイズが互いに一致しているとする。
【００２９】
グレースケール化部４１１は、カラーの被写体画像Ｇ１をグレースケール化して、図７（Ａ）に示すようなグレースケール画像Ｇ１５を生成する。これは例えば被写体画像Ｇ１の各画素のＲ（赤）、Ｇ（緑）及びＢ（青）の成分値の平均値をモノクロ画像の画素値とすることにより得られる。グレースケール画像Ｇ１５の画素は例えば、シングルチャンネルの８ビットで表される。
【００３０】
二値化部４１２は、グレースケール画像Ｇ１５を第１の閾値Ｔｈ１でニ値化し反転することにより、スクリーントーン切り抜き用マスクＧ１６を生成する。図７（Ｂ）は、グレースケール画像Ｇ１５をニ値化した画像であり、図７（Ｃ）はその白黒を反転したマスクＧ１６を示す。二値は最小値（黒）又は最大値（白）であって、例えば８ビットの場合、０（黒）又は２５５（白）であり、１ビットの場合、０又は１である。
【００３１】
上記第１の閾値Ｔｈ１は、スクリーントーンＧ０を切り抜くマスクを生成するためのものであって、可変閾値、例えば注目画素を含むローカルな３×３画素の平均値に正の設定値を加えた値（適応的二値化の閾値）、又は、全画素の平均値に、１より大きい定数を乗じた値若しくは予め定めた経験値などである。
【００３２】
切り抜き部４１３は、スクリーントーンＧ０をマスクＧ１６で切り抜いて、図７（Ｄ）に示すようなスクリーントーン切抜画像Ｇ１０を生成する。なお、図７（Ｂ）の黒画素を透過画素と見なしてスクリーントーンＧ０を切り抜くことにより、上記反転処理を省略してもよい。また、ニ値化の際に反転させることにより、図７(Ｂ)の生成を省略してもよい。
【００３３】
二値化部４１４は、グレースケール画像Ｇ１５を、第１の閾値Ｔｈ１よりも小さい第２の閾値Ｔｈ２、例えば適応的二値化における上記平均値でニ値化して、図８（Ａ）に示すような二値画像Ｇ１１を生成する。この第２の閾値Ｔｈ２は、ユーザにより入力装置３０の操作に応じて変更するようにしてもよい。例えば「明るい」、「普通」、「暗い」の３段階のいずれかをユーザに選択させ、その結果に応じて、該平均値に、予め定めた定数を乗じた値を、第２の閾値Ｔｈ２とする。
【００３４】
エッジ検出反転部４１５は、グレースケール画像Ｇ１５に対し、例えばエッジ検出オペレーターをラスター走査させながらフィルタリング処理し、その結果を２値化することにより、図８（Ｂ）に示すような２値のエッジ画像を生成し、その白黒を反転させることにより図８（Ｃ）に示すような輪郭線画像Ｇ１２を生成する。なお、エッジ検出反転部４１５は、エッジを検出しながら反転２値化することにより、輪郭線画像Ｇ１２を直接生成してもよい。
【００３５】
積合成部４１６は、スクリーントーン切抜画像Ｇ１０、二値画像Ｇ１１及び輪郭線画像Ｇ１２の互いに対応する位置の画素の全てが白画素であれば白画素とし、そうでなければ黒画素とすることにより、換言すれば対応する３画素値の積を画素とする、図８（Ｄ）に示すような漫画調主画像Ｇ１３を生成する。
【００３６】
このような処理により、被写体画像を単純化した漫画調のモノクロ画像を生成することができる。
【００３７】
また、高画質の漫画調主画像Ｇ１３が得られるにも拘わらず処理が比較的簡単であり、これにより高速処理が可能であるので、画像処理装置１０がスマートフォンであっても、その処理性能に応じ動画のフレーム毎又は数フレーム毎にリアルタイムで、漫画調画像に変換することが可能となる。
【００３８】
図２に戻って、マスク生成部４２は、輪郭線画像Ｇ１２に基づいて図１０（Ｂ）に示すような、主画像から主要部を切り抜いて背景画像に貼り付けるための背景・主画像合成マスクＧ２０を生成する。
【００３９】
図５は、マスク生成部４２のより詳細な構成及びその入出力画像の種類を示す概略機能ブロック図である。マスク生成部４２は、ブロック４２０〜４２５の順に処理を行う。
【００４０】
線膨張部４２０は、輪郭線画像Ｇ１２の輪郭線を膨張させて、図９（Ａ）に示すような８ビットの２値画像を生成する。反転部４２１は、この画像を白黒反転させて図９（Ｂ）に示すような画像を生成する。
【００４１】
ラベリング部４２２は、この画像に対し、ラベリングを行う。すなわち、白画素（画素値が最大値）で互いに４方向又は８方向に隣接している画素を連結した画素連結領域毎に、互いに異なる番号を、領域内画素に付与した画素連結領域画像Ｇ２１を生成する。ラベリング対象外の黒画素（輪郭線上の画素）の値は０であるので、ラベリングは１以上の整数を用いる。図９（Ｃ）は、画素連結領域画像Ｇ２１の説明図であり、互いに異なる画素連結領域を、互いに異なる濃淡値で表している。
【００４２】
粗マスク生成部４２３は、画素連結領域画像Ｇ２１上の予め定めた対向する辺上（縁部）の画素を含む画素連結領域を、黒画素の領域（不透過領域）に変更し、残りの領域を白画素の領域（透過領域）に変更したマスクを生成する。例えば、画素連結領域画像Ｇ２１の各行の始点と終点の画素のラベルと同一のラベルを持つ画素連結領域内の画素を黒画素に変換し、その他の領域を全て白画素の領域に変換する。但し、ラベリング部４２２でラベリング対象外にした輪郭線上の画素は、白画素にする。これは、輪郭線が画像内主要部につながっている場合に、それを残すためである（後述の図１２を参照）。このような処理により、図９（Ｄ）に示すような二値画像が得られる。
【００４３】
ラベリング部４２４は、図９（Ｄ）の画像に対し、上記同様に再度ラベリングを行う。図１０（Ａ）は、ラベリングされた画像の説明図であり、異なる画素連結領域を異なる濃淡値の領域で示している。このラベリングを行う際、各画素連結領域の画素数をその領域の面積として求めておく。
【００４４】
小面積白領域黒化部４２５は、このラベリングされた画像内の画素連結領域の面積が閾値以下、例えば全画素数の１０％以下である領域内の画素を、黒画素に変換し、黒画素以外のラベリングされた領域を白画素に変換して、図１０（Ｂ）に示すような二値の背景・主画像合成マスクＧ２０を生成する。これにより、画面上主要部の比較的大きな物体の領域のみを白画素（透過領域）とするマスクが得られる。
【００４５】
この小面積白領域黒化部４２５での処理があるので、粗マスク生成部４２３では、画素連結領域画像Ｇ２１上の縁部の一部、例えば１０行毎の１行の始点と終点の画素のラベルと同一のラベルを持つ画素連結領域内の画素を黒画素に変換し、その他の領域を全て白画素の領域に変換する構成であってもよい。
【００４６】
図２に戻って、背景・主画像合成部４３は、背景・主画像合成マスクＧ２０の白画素の位置に対応する漫画調主画像Ｇ１３上の画素のみを取り出し、背景・主画像合成マスクＧ２０の黒画素の位置に対応する背景画像Ｇ２ｓ上の画素のみを取り出すことにより、両画像を合成した図１０（Ｃ）に示すような背景・主画像合成画像Ｇ３０を生成する。或いは、背景画像Ｇ２ｓ上に、背景・主画像合成マスクＧ２０の白画素の位置に対応する漫画調主画像Ｇ１３上の画素を上書きすることにより、図１０（Ｃ）に示すような背景・主画像合成画像Ｇ３０を生成する。
【００４７】
ここで、複数の前景画像Ｇ３のそれぞれは、アルファチャンネル付画像であり、アルファマスクを含んでいる。例えば図６（Ｄ）の前景画像Ｇ３ｓにおいて、漫画調白抜き文字列「ズキュー」の文字領域の各画素のアルファ値が０（最小値で完全不透明）で、その他の領域の画素のアルファ値が２５５（最大値で完全透明）となっている。前景画像Ｇ３ｓは実質的にアルファチャンネル付であればよく、別々の前景画像とマスクの組であってもよい。
【００４８】
前景合成部４４は、背景・主画像合成画像Ｇ３０の各画素に対し、前景画像Ｇ３ｓの対応する位置の画素のアルファ値が０であればそのままとし、アルファ値が２５５であれば前景画像Ｇ３ｓの該画素の輝度値を背景・主画像合成画像Ｇ３０に対し上書きすることにより、漫画調画像Ｇ４０を生成する。これにより、図１１に示すような最終的な漫画調画像Ｇ４０が生成される。
【００４９】
図３のステップＳ５において、図２の漫画調画像Ｇ４０をディスプレインターフェイス２６に供給することにより、漫画調画像Ｇ４０を表示装置３２に表示させる。この際、ソフトウェア又はディスプレインターフェイス２６により、シングルチャンネルのモノクロ２値画像がＲＧＢチャンネルのモノクロ２値画像に変換される。
【００５０】
図１２は、スクリーントーンＧ０、背景画像Ｇ２ｓ及び前景画像Ｇ３ｓを上記と同一にし、被写体画像を変え、上記と同一の処理により生成された漫画調画像Ｇ４０Ａを示す。
【実施例２】
【００５１】
図２では本発明を静止画に適用した場合を説明したが、本発明は上述の説明から明らかなように、動画にも適用することができ、これを実施例２として以下に説明する。
【００５２】
図１３は、図２に対応した動画（テレビ電話又はチャット等で用いられる動画）の場合の概略機能ブロック図である。
【００５３】
この構成では、図２の背景画像Ｇ２、前景画像Ｇ３及びこれらに関係した構成を省略し、カメラ３１から順次供給されるフィールド画像をデータ記憶領域２３０に格納しながらリアルタイムで順次被写体画像Ｇ１として取り出し、上記同様に処理を行って、漫画調主画像Ｇ１３を漫画調画像として生成する。フィールド画像のバッファ領域としては、最低、２フィールド画像分確保すればよい。３人以上参加のテレビ電話又はチャットの場合には、サーバを介し参加者全員の画像を各参加者にリアルタイムで配信するため、リサイズ部４１０でスクリーントーンＧ０を予め縮小しておき、一方、被写体画像Ｇ１は、カメラ３１からの画像を間引いてサンプリングすることにより、リサイズされた被写体画像Ｇ１を取得する。
【００５４】
ユーザによる入力装置３０からの指示に応じて、この漫画調画像Ｇ１３を、図１のディスプレインターフェイス２６に供給することにより、表示装置３２にモニタ画像を表示させ、又は、漫画調画像Ｇ１３をＭＰＥＧ圧縮・伸長部５０に供給してＭＰＥＧ圧縮し、Ｗｅｂクライアント５１（汎用又は専用のＷｅｂブラウザ）を介し通信部２７に供給する。
【００５５】
これにより、ユーザは素顔を見せることなく、サーバを介し特定又は複数の通信相手に自己の漫画調画像を送信して表示させることができる。
【００５６】
同様に、該サーバ、通信部２７及びＷｅｂクライアント５１を介し、特定又はサーバで合成された複数の通信相手を含む漫画調画像をＭＰＥＧ圧縮したものを受信し、これをＭＰＥＧ圧縮・伸長部５０で伸長して漫画調画像を再生し、図１のディスプレインターフェイス２６に供給することにより、表示装置３２に受信画像を表示させる。
【００５７】
上記ＭＰＥＧ圧縮・伸長部５０は、図１に不図示のグラフィックチップ若しくはグラフィックボード、又は、マルチコアのプロセッサ２１の一部とソフトウェアとにより構成される。
【００５８】
本発明の好適な実施例を以上において説明したが、本発明には他にも種々の変形例が含まれ、上記複数の実施例で述べた構成要素の他の組み合わせ、各構成要素の機能を実現する他の構成を用いたもの、当業者であればこれらの構成又は機能から想到するであろう他の構成も、本発明に含まれる。例えば、本発明には以下のような変形例が含まれる。
【００５９】
実施例２において、図２の前景画像Ｇ３ｓを実施例１と同様に背景・主画像合成画像Ｇ３０に合成し、前景画像Ｇ３ｓにハンドル名等を表示させる構成であってもよい。また、変化を付けるために実施例１と同様に背景画像Ｇ２ｓも背景・主画像合成マスクＧ２０に合成し、入力装置３０からの指示に応じて背景画像Ｇ２ｓを変更する構成であってもよい。
【００６０】
また、本発明は撮像済みの動画像の各駒画像に対し、オフラインで漫画調に変換することにより、動画を漫画調に変換する構成であってもよい。
【００６１】
さらに、背景画像Ｇ２ｓ又は前景画像Ｇ３ｓとして既存のカラー画像を用い、本発明に適用する場合にこれをモノクロ画像に変換して使用する構成であってもよい。また、背景画像Ｇ２ｓ又は前景画像Ｇ３ｓは、カラー画像をそのまま又は編集して用いてもよい。前景画像のアルファ値は二値に限定されず、多値であってもよい。背景・主画像合成マスクＧ２０についても二値マスクに限定されず、画像中の所定周辺部については央部部から遠ざかるほど透明度を小さくした多値のマスクであってもよい。
【符号の説明】
【００６２】
１０  画像処理装置
２０  本体部
２１  プロセッサ
２２  バス
２３  記憶装置
２３０  データ記憶領域
２４  入力インターフェイス
２５  カメラインターフェイス
２６  ディスプレインターフェイス
２７  通信部
３０  入力装置
３１  カメラ
３２  表示装置
３３  アンテナ
４０  主処理部
４１  漫画調主画像生成部
４２  マスク生成部
４３  背景・主画像合成部
４４  前景合成部
４１０  リサイズ部
４１１  グレースケール化部
４１２、４１４  二値化部
４１３  切り抜き部
４１５  エッジ検出反転部
４１６  積合成部
４２０  線膨張部
４２１  反転部
４２２、４２４  ラベリング部
４２３  粗マスク生成部
４２５  小面積白領域黒化部
５０  ＭＰＥＧ圧縮・伸長部
５１  Ｗｅｂクライアント
Ｇ０  スクリーントーン
Ｇ１  被写体画像
Ｇ２、Ｇ２ｓ  背景画像
Ｇ３、Ｇ３ｓ  前景画像
Ｇ１０  スクリーントーン切抜画像  
Ｇ１１  二値画像
Ｇ１２  輪郭線画像
Ｇ１３  漫画調主画像
Ｇ１５  グレースケール画像
Ｇ１６  マスク
Ｇ２０  背景・主画像合成マスク
Ｇ２１  画素連結領域画像
Ｇ３０  背景・主画像合成画像
Ｇ４０  漫画調画像
【図１】
2014102596.tif 000003
【図２】
2014102596.tif 000004
【図３】
2014102596.tif 000005
【図４】
2014102596.tif 000006
【図５】
2014102596.tif 000007
【図１３】
2014102596.tif 000008
【図６】
2014102596.tif 000009
【図７】
2014102596.tif 000010
【図８】
2014102596.tif 000011
【図９】
2014102596.tif 000012
【図１０】
2014102596.tif 000013
【図１１】
2014102596.tif 000014
【図１２】
2014102596.tif 000015