(57)【要約】【課題】適度の現実感を与えるとともに羞恥心なくチャットを行えるようにする。【解決手段】シャッターボタン押下に応答して（Ｓ０）、カメラで被写体の静止画を撮像し（Ｓ２）、これを漫画調に変換し（Ｓ３）、これに吹き出しをオーバーレイしたものを表示部に表示し（Ｓ４）、メッセージ入力に応答して、該メッセージを該吹き出し内に追加して表示し（Ｓ７、Ｓ８）、サーバを介し通信相手に、該メッセージを含む漫画調画像を送信し、漫画調画像を時間順に並べた長尺画像の一部をスクロール操作に応じて表示する（Ｓ１０）。【選択図】図３
2014206849.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサと、プログラム及びデータが格納された記憶部と、入力手段と、表示部と、カメラとを備えた情報処理装置であって、
該プログラムは、該プロセッサに対し、
（ａ）該カメラで被写体の動画像を撮像させて該表示部に表示させ、
（ｂ）該入力手段に対するシャッターボタン押下操作に応答して、該カメラで被写体の静止画を撮像させ、該静止画を漫画調に変換させ、変換された漫画調画像に、該データの一部である吹き出しをオーバーレイしたものを該表示部に表示させ、
（ｃ）該入力手段からのメッセージ入力に応答して、該メッセージを該吹き出し内に追加して表示させ、
（ｄ）サーバを介し通信相手に、該メッセージを送信させ、
（ｅ）該送信した漫画調画像と該通信相手から該サーバを介し受信した漫画調画像とを時間順に並べた長尺画像を該データの一部として該記憶部に保存させ、
（ｆ）該入力手段に対するスクロール操作に応じて該長尺画像の一部又は全部を該表示部に表示させ、
ステップ（ｂ）又は（ｄ）において該サーバを介し該通信相手に、該漫画調画像を送信させることを特徴とする情報処理装置。
【請求項２】
該プログラムは、該プロセッサに対し、ステップ（ａ）において、ステップ（ｂ）の吹き出しと同じものを該動画像の各フレーム画像にオーバーレイしたものを該表示部に表示させる、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
該プログラムは、該プロセッサに対し、
ステップ（ｂ）において該サーバを介し該通信相手に、該漫画調画像を画像ＩＤとともに送信させ、
ステップ（ｄ）において該サーバを介し該通信相手に、該画像ＩＤも送信させ、
ステップ（ｅ）の長尺画像は、該記憶部に保存されている長尺画像に、該サーバを介し受信した漫画調画像を縮小し、縮小された漫画調画像内の吹き出し内に該メッセージが収まるように該メッセージの文字サイズを決定し、該文字サイズの該メッセージを、該縮小した漫画調画像の該吹き出し内に配置し、該メッセージを含む該漫画調画像を該内に追加したものであることを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
ステップ（ｂ）での漫画調への変換において、該プログラムは該プロセッサに対し、
（ｂ１）該静止画をグレースケール画像に変換させ、
（ｂ２）該グレースケール画像を第１の閾値で２値化させたマスクを生成させ、該スクリーントーンの、該マスクの白画素の位置に対応した画素からなるスクリーントーン切抜画像を生成させ、
（ｂ３）該グレースケール画像を、該第１の閾値より小さい第２の閾値で２値化させて２値画像を生成させ、
（ｂ４）該グレースケール画像のエッジ画像を反転させた輪郭線画像を生成させ、
（ｂ５）該スクリーントーン切抜画像と該２値画像と該輪郭線画像とを積合成させた第１合成画像を生成させ、
該第１合成画像の一部又は全部を含む画像を、該漫画調に変換された画像とすることを特徴とする請求項１乃至３のいずれか１つに記載の情報処理装置。
【請求項５】
該データはさらに背景画像を含み、ステップ（ｂ）での漫画調への変換において、該プログラムは該プロセッサに対しさらに、
（ｂ６）該輪郭線画像の輪郭線を太らせ、該太らせた輪郭線で分割される第１の画素連結領域のうち、画像枠上の予め定めた１対の辺上の画素を含む画素連結領域を除外した領域を第２の連結領域として求めさせ、該第２の連結領域のうち画素数が閾値以下のものを除外した領域内の各画素を２値の一方の値とし残りの領域を該２値の他方の値とするマスクを生成させ、
（ｂ７）該背景画像の、該マスク内の画素のうち該２値の該他方の値の位置に対応する画素と、該第１合成画像の、該マスク内の画素のうち該２値の該他方の値の位置に対応する画素とを合成させた第２合成画像を生成させ、
該漫画調に変換された画像は、該第２合成画像の一部又は全部を含む、
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
該データはさらに、アルファチャンネル付前景画像を含み、ステップ（ｂ）の漫画調への変換において、該プログラムは該プロセッサに対しさらに、
（ｂ８）該第２合成画像を該アルファチャンネルのマスクでマスクした第３合成画像を生成させ、
該漫画調に変換された画像は、該第３合成画像の一部又は全部を含む、
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
該入力手段はタッチパネルを含み、ステップ（ｂ）及び（ｅ）での該入力手段に対する操作は、該表示部に表示された画像の位置に対応したタッチパネルに対する操作である、
ことを特徴とする請求項１乃至６のいずれか１つに記載の情報処理装置。
【請求項８】
該入力手段は、マイクと、該マイクの入力信号をステップ（ｃ）のメッセージに変換させる手段とを含む、
ことを特徴とする請求項１乃至７のいずれか１つに記載の情報処理装置。
【請求項９】
スマートフォンであることを特徴とする請求項１乃至８のいずれか１つに記載の情報処理装置。
【請求項１０】
請求項１乃至９のいずれか１つに記載の情報処理装置の記憶部に格納されたプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮像された静止画像を漫画調画像に変換しこれにテキストを付加してチャットを行う情報処理装置及びそのプログラムに関する。
【背景技術】
【０００２】
下記特許文献１には、クライアント間でサーバを介しチャットを行い、この際、アバターを用い、吹き出しにテキストを表示させる装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００５−５３０２３３号公報
【発明の概要】
【０００４】
しかし、アバターを用いているので、仮想的過ぎ、現実感に乏しい。また、アバターの替わりにカメラで撮影した画像をそのまま使用すると、化粧をしていないとか服装や回りが散らかっていることなどを気にして、羞恥心からチャットを行えない人もおり、チャット利用度が低下する原因となる。
【発明が解決しようとする課題】
【０００５】
本発明の目的は、このような問題点に鑑み、適度の現実感を与えるとともに羞恥心なくチャットを行うことを可能にする情報処理装置及びそのプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の第１態様では、プロセッサと、プログラム及びデータが格納された記憶部と、入力手段と、表示部と、カメラとを備えた情報処理装置であって、
該プログラムは、該プロセッサに対し、
（ａ）該カメラで被写体の動画像を撮像させて該表示部に表示させ、
（ｂ）該入力手段に対するシャッターボタン押下操作に応答して、該カメラで被写体の静止画を撮像させ、該静止画を漫画調に変換させ、変換された漫画調画像に、該データの一部である吹き出しをオーバーレイしたものを該表示部に表示させ、
（ｃ）該入力手段からのメッセージ入力に応答して、該メッセージを該吹き出し内に追加して表示させ、サーバを介し通信相手に、該メッセージを含む漫画調画像を送信させ、
（ｄ）該送信した漫画調画像と該通信相手から該サーバを介し受信した漫画調画像とを時間順に並べた長尺画像を該データの一部として該記憶部に保存させ、
（ｅ）該入力手段に対するスクロール操作に応じて該長尺画像の一部又は全部を該表示部に表示させる。
【０００７】
本発明による情報処理装置の第２態様では、第１態様において、該プログラムは、該プロセッサに対し、ステップ（ａ）で、ステップ（ｂ）の吹き出しと同じものを該動画像の各フレーム画像にオーバーレイしたものを該表示部に表示させる。
【０００８】
本発明による情報処理装置の第３態様では、第１又は第２態様において、  該プログラムは、該プロセッサに対し、
ステップ（ｂ）において該サーバを介し該通信相手に、該漫画調画像を画像ＩＤとともに送信させ、
ステップ（ｄ）において該サーバを介し該通信相手に、該画像ＩＤも送信させ、
ステップ（ｅ）の長尺画像は、該記憶部に保存されている長尺画像に、該サーバを介し受信した漫画調画像を縮小し、縮小された漫画調画像内の吹き出し内に該メッセージが収まるように該メッセージの文字サイズを決定し、該文字サイズの該メッセージを、該縮小した漫画調画像の該吹き出し内に配置し、該メッセージを含む該漫画調画像を該内に追加したものである。
【０００９】
本発明による情報処理装置の第４態様では、第１〜３態様のいずれかにおいて、ステップ（ｂ）での漫画調への変換で、該プログラムは該プロセッサに対し、
（ｂ１）該静止画をグレースケール画像に変換させ、
（ｂ２）該グレースケール画像を第１の閾値で２値化させたマスクを生成させ、該スクリーントーンの、該マスクの白画素の位置に対応した画素からなるスクリーントーン切抜画像を生成させ、
（ｂ３）該グレースケール画像を、該第１の閾値より小さい第２の閾値で２値化させて２値画像を生成させ、
（ｂ４）該グレースケール画像のエッジ画像を反転させた輪郭線画像を生成させ、
（ｂ５）該スクリーントーン切抜画像と該２値画像と該輪郭線画像とを積合成させた第１合成画像を生成させ、
該第１合成画像の一部又は全部を含む画像を、該漫画調に変換された画像とする。
【００１０】
本発明による情報処理装置の第５態様では、第４態様において、該データはさらに背景画像を含み、ステップ（ｂ）での漫画調への変換で、該プログラムは該プロセッサに対しさらに、
（ｂ６）該輪郭線画像の輪郭線を太らせ、該太らせた輪郭線で分割される第１の画素連結領域のうち、画像枠上の予め定めた１対の辺上の画素を含む画素連結領域を除外した領域を第２の連結領域として求めさせ、該第２の連結領域のうち画素数が閾値以下のものを除外した領域内の各画素を２値の一方の値とし残りの領域を該２値の他方の値とするマスクを生成させ、
（ｂ７）該背景画像の、該マスク内の画素のうち該２値の該他方の値の位置に対応する画素と、該第１合成画像の、該マスク内の画素のうち該２値の該他方の値の位置に対応する画素とを合成させた第２合成画像を生成させ、
該漫画調に変換された画像は、該第２合成画像の一部又は全部を含む。
【００１１】
本発明による情報処理装置の第６態様では、第５態様において、該データはさらに、アルファチャンネル付前景画像を含み、ステップ（ｂ）の漫画調への変換で、該プログラムは該プロセッサに対しさらに、
（ｂ８）該第２合成画像を該アルファチャンネルのマスクでマスクした第３合成画像を生成させ、
該漫画調に変換された画像は、該第３合成画像の一部又は全部を含む。
【発明の効果】
【００１２】
上記第１態様の構成によれば、入力手段に対するシャッターボタン押下操作に応答して、カメラで被写体の静止画を撮像し、静止画を漫画調に変換し、変換された漫画調画像に、吹き出しをオーバーレイしたものを表示部に表示し、該入力手段からのメッセージ入力に応答して、該メッセージを該吹き出し内に追加して表示し、サーバを介し通信相手に、該メッセージを含む漫画調画像を送信し、該送信した漫画調画像と該通信相手から該サーバを介し受信した漫画調画像とを時間順に並べた長尺画像を記憶部に保存し、該入力手段に対するスクロール操作に応じて該長尺画像の一部又は全部を該表示部に表示するので、適度の現実感を与えるとともに羞恥心なくチャットを行うことができるという効果を奏する。
【００１３】
上記第２態様の構成によれば、最初に、吹き出しを動画像の各フレーム画像にオーバーレイしたものを該表示部に表示するので、ユーザは吹き出しを選択する手間が省けるとともに、吹き出しの位置との関係で自画像などの位置を調整して静止画を取得することができるという効果を奏する。
【００１４】
上記第３態様の構成によれば、該サーバを介し該通信相手に、メッセージ送信前のステップ（ｂ）において該漫画調画像を画像ＩＤとともに送信させ、ステップ（ｄ）において該メッセージ及び該画像ＩＤを送信させるので、該サーバでの該漫画調画像に対する画像縮小などの処理と該メッセージに対する縮小などの処理とが分散され、全体としてサーバの負荷が軽減されるという効果を奏する。
【００１５】
上記第４態様の構成によれば、ステップ（ｂ）での漫画調への変換において、任意の被写体に対し比較的簡単な処理（ｂ１）〜（ｂ５）を行うことにより、適切に切り抜いたスクリーントーン切抜画像と被写体画像の２値画像と輪郭線画像とを積合成させた、比較的適切な漫画調画像を、比較的高速に自動生成することができるという効果を奏する。
【００１６】
上記第５態様の構成によれば、予め記憶している漫画調の背景画像に対し、被写体画像の主要部の比較的面積が広いオブジェクト画像のみ合成することができるとともに、被写体画像の周辺部であっても被写体画像の主要部に連結している輪郭線も合成することができるので、被写体の種類によらず、撮像前に細々とした物を被写体から取り除いたり、撮像した被写体画像から細々とした物の像を手動編集して取り除いたりすることなく、より適切な漫画調画像を生成することができるという効果を奏する。
【００１７】
上記第６態様の構成によれば、予め記憶している漫画調の前景画像をさらに合成することができるので、さらにより適切な漫画調画像を生成することができるという効果を奏する。
【００１８】
本発明の他の目的、特徴的な構成及び効果は、以下の説明を特許請求の範囲及び図面の記載と関係づけて読むことにより明らかになる。 
【図面の簡単な説明】
【００１９】
【図１】本発明の実施例１に係る漫画調画像チャットシステムの概略構成図である。
【図２】図１中の情報処理装置１０のハードウェア構成を示す概略ブロック図である。
【図３】図２中の記憶装置５３に格納された漫画調画像チャットアプリケーションプログラムの処理手順を示す概略フローチャートである。
【図４】（Ａ）〜（Ｄ）は図３の処理の説明図である。
【図５】（Ａ）〜（Ｄ）は図３の処理の説明図である。
【図６】カメラで撮像された被写体画像を漫画調画像に変換する処理の構成を示す機能ブロック図である。
【図７】図６中の主処理部７０による処理を示す概略フローチャートである。
【図８】図６中の漫画調主画像生成部７１のより詳細な構成及びその入出力画像の種類を示す図である。
【図９】図６中のマスク生成部７２のより詳細な構成及びその入出力画像の種類を示す概略機能ブロック図である。
【図１０】（Ａ）〜（Ｄ）はそれぞれ、スクリーントーン、被写体画像、背景画像及び前景画像の具体例を示す図である。
【図１１】（Ａ）〜（Ｄ）は図８の処理説明用画像を示す図である。
【図１２】（Ａ）〜（Ｄ）は図８の処理説明用画像を示す図である。
【図１３】（Ａ）〜（Ｄ）は図９の処理説明用画像を示す図である。
【図１４】（Ａ）及び（Ｂ）は図９の処理説明用画像を示す図、（Ｃ）は図６中の背景・主画像合成画像の具体例を示す図である。
【図１５】本実施例１の画像処理で生成される最終的な漫画調画像の具体例を示す図である。
【図１６】本実施例１の画像処理で生成される他の最終的な漫画調画像の具体例を示す図である。
【実施例１】
【００２０】
図１は、本発明に係る漫画調画像チャットシステムの概略構成図である。
【００２１】
チャットを行う２者の一方の情報処理装置１０は、基地局１１を介してインターネット１２に結合されている。同様に、該２者の他方の情報処理装置２０は、基地局２１を介してインターネット１２に結合されている。情報処理装置１０と基地局１１との間及び情報処理装置２０と基地局２１との間の通信媒体は、電波である。インターネット１２には更に、仲介サーバとしての漫画チャットサーバ３０と、例えばＡＰＮＳ（Apple Push Notification Service）であるプッシュ通知サーバ４０とが、結合されている。
【００２２】
漫画チャットサーバ３０は、インターネット１２に結合された通信部３１と、制御部としてのＷＳサーバプログラム３２と、バックエンドとしてのデータベース３３とを備えている。情報処理装置１０及び２０は、それぞれ基地局１１及び２１と電波を介し通信を行うための通信部と、漫画調画像チャットに関し処理を行う制御部とを備えている。プッシュ通知サーバ４０も同様に、インターネット１２に結合される通信部と、漫画チャットサーバ３０からの要求に応じて情報処理装置１０又は２０にプッシュ通知を行う制御部とを備えている。
【００２３】
これら通信部は何れも、通信インターフェイスと、ソフトウェアドライバと、オペレーティングシステム（ＯＳ）のプロトコルスタック部とを備えている。プロトコルスタック部は、例えばＪＳＯＮ又はＳＯＡＰプロトコルによるＷｅｂサービスの通信を可能にするものであり、前者の場合、ＨＴＴＰ／ＴＣＰ／ＩＰの階層化プロトコル部で構成され、後者の場合、ＳＯＡＰ／ＨＴＴＰ／ＴＣＰ／ＩＰの階層化プロトコル部で構成されている。以下、後者の場合について説明する。
【００２４】
また、上記制御部は何れも、プログラム及びデータを記憶する記憶部と、プログラムを実行するプロセッサとを備えて構成されている。記憶部は、ブートストラップが格納されたＲＯＭと、ＯＳ、各種ドライバ、アプリケーション及びデータが格納された大容量の補助記憶装置と、主記憶装置としてのＲＡＭとを備えており、仮想記憶方式によりプログラム及びデータが適時ＲＡＭ上にロードされて、ＲＡＭ上のプログラムが実行される。
【００２５】
図２は、図１中の情報処理装置１０のハードウェア構成を示す概略ブロック図であって、この実施例１で必要な構成要素のみを示す。情報処理装置１０は例えば、スマートフォンやＰＤＡ等の携帯端末装置、ノートパソコン又はデスクトップパソコン、である。より具体的には、情報処理装置１０は例えばｉＰｈｏｎｅ（登録商標）である。
【００２６】
情報処理装置１０は、その本体部５０において、プロセッサ５１がバス５２を介して記憶装置５３、入力インターフェイス５４、カメラインターフェイス５５及びディスプレインターフェイス５６に結合されている。入力インターフェイス５４には入力装置６０が結合され、カメラインターフェイス５５にはカメラ６１が結合され、ディスプレインターフェイス５６には表示装置６２が結合され、通信部５７にはアンテナ６３が結合されている。
【００２７】
入力装置６０は、対話型入力装置であって、タッチパネル、ポインティングデバイス、キーボード、若しくは、マイク及びソフトウェアを含む音声／テキスト変換装部又はこれらの組み合わせで構成されている。
【００２８】
記憶装置５３にはプログラム及びデータが格納され、このプログラムは、プロセッサ５１に対し、入力装置６０から入力インターフェイス５４を介したユーザの選択、設定値入力又は指示を受け付けさせ、この入力に応じてカメラ６１の絞り値やシャッター速度又は本体部５０内の入力ゲイン等を調節させて、入力画像の明るさ等を調整させる。
【００２９】
該プログラムは、概説すれば、プロセッサ５１に対しさらに、カメラ６１で被写体を撮像させてその静止画を漫画調に変換させ、これに吹き出しをオーバーレイさせ、さらに吹き出しに入力文字列を書き込ませることにより、漫画調画像の駒（駒画像）を生成させ、そのデータをディスプレインターフェイス５６に供給することにより表示装置６２に表示させ、一方、該駒画像データをＭＰＥＧ圧縮させ、ブラウザ等のネットワークソフトを介し通信部５７に供給させることにより、アンテナ６３及び図１の漫画チャットサーバ３０を介して通信相手の情報処理装置２０に、圧縮された駒画像データを送信させる。
【００３０】
図３は、記憶装置５３に格納された上記プログラム（漫画調画像チャットのアプリケーションプログラム）の処理手順を示す概略フローチャートである。以下、括弧内は図中のステップ識別符号である。このアプリケーションを起動させると、図３の処理が開始される。
【００３１】
（ＳＸ）カメラをオンにして被写体を撮像すると共に、その画像に対し吹き出し画像をオーバーレイして、図４（Ａ）に示すような動画像を表示装置６２に表示させる。この画像の下部のタブバーには、カメラのシャッター釦Ｂ０と、吹き出し画像を他の登録されたものに変更する釦Ｂ１とが表示されている。また、吹き出し内には、カメラの光軸方向を逆方向に変更するための釦Ｂ２が表示されている。指示入力は、タッチパネルに対する操作で定まる。
【００３２】
（Ｓ０）吹き出し変更釦Ｂ１をタッチ（押下）すると、ステップＳ１へ進み、シャッター釦Ｂ０をタッチすると、ステップＳ２へ進む。
【００３３】
（Ｓ１）登録されている複数種の吹き出しを表示装置６２に表示させ、ユーザがその何れかをタッチして選択すると、現在の吹き出しが、選択されたものに変更され、撮影画像にオーバーレイ表示され、ステップＳＸへ戻る。
【００３４】
（Ｓ２）カメラ６１で被写体を撮影して、その静止画出力（吹き出しを除いたもの）を取得する。
【００３５】
（Ｓ３）この静止画を、後述のように漫画調に変換する。
【００３６】
（Ｓ４）変換された画像に、上記吹き出し画像をオーバーレイする。これにより、図４（Ｂ）に示すような漫画調画像が表示装置６２に表示される。
【００３７】
（Ｓ５）この状態で、下部のタブバーに表示されている保存釦Ｂ３をタッチすると、ステップＳ６ヘ進み、上部ナビゲートバーの「戻る」釦Ｂ４をタッチすると、ステップＳ０へ戻る。
【００３８】
（Ｓ６）図４（Ｃ）に示すように、複数の保存先又はキャンセルを選択するための釦が表示される。保存先には、カメラアプリケーション用フォルダ（カメラロールに保存）と、チャット用フォルダ（チャット用に保存）と、クラウドの共有フォルダ（シェア）とがある。「チャット用に保存」釦Ｂ５をタッチすると、チャット用フォルダに保存されるとともに、画像ＩＤ、例えば生成したＵＵＩＤ（Universally Unique Identifier）と、ステップＳ４の漫画調画像と、アドレス情報とを、漫画チャットサーバ３０に送信する。このアドレス情報は、送信元である情報処理装置１０のＩＰアドレスと、最終的な送信先（チャット相手）である情報処理装置２０のＩＰアドレスとを含んでいる。
【００３９】
漫画チャットサーバ３０では、ＷＳサーバプログラム３２が、これら画像ＩＤ、漫画調画像及びアドレス情報を対応付けてデータベース３３内のチャットテーブルに保存する。
【００４０】
上記保存が完了すると、図４（Ｄ）に示すような確認表示が行われ、その「ＯＫ」釦Ｂ６をタッチすると、図５（Ａ）に示すようなチャットの履歴が、下部のメッセージ入力欄とともに表示される。この履歴は、これまでの２者間チャットを漫画で表現した履歴であって、その全体である長尺画像の一部がウィンドウ（画面）内に表示される。該長尺画像は、２者間チャットの駒画像の高さ及び幅をいずれも例えば１／２又は１／３に縮小し、時間順に連続して並べて表示したものであり、タッチパネルに対し指でスクロール操作すると、長尺画像上表示領域であるウィンドウ内の画像が変化する。１行に配置する駒画像は例えば、１枚のみ又は、同一高さの２枚で幅の比が１：１、１：２又は２：１である。
【００４１】
（Ｓ７）メッセージ入力欄をタッチすると、ステップＳ８へ進み、上部ナビゲートバーの「Ｃｌｏｓｅ」釦Ｂ７をタッチすると、チャットアプリケーションを終了する。
【００４２】
（Ｓ８）図５（Ｂ）に示すようにソフトウエアキーボードが表示され、キーをタッチしてメッセージを入力する。キーボード上の「次へ」釦Ｂ８をタッチするとステップＳ９へ進む。なお、上記マイク及びソフトウェアを含む音声／テキスト変換装部により、メッセージを入力してもよい。
【００４３】
（Ｓ９）図５（Ｃ）に示すように、図４（Ｂ）の画像を縮小した駒画像Ｐ１が、メッセージ入力欄の下方左側に追加されて表示され、また、下部のタブバーに、「カメラ」釦Ｂ９、「ストア」釦Ｂ１０及び吹き出し変更釦Ｂ１１が表示される。上部ナビゲートバーは、図５（Ａ）及び（Ｂ）のそれぞれと同一である。
【００４４】
「カメラ」釦Ｂ９をタッチすると、漫画調画像の送信を行わずにステップＳ０へ戻り、駒画像Ｐ１と同一行の複数の駒画像のいずれかをタッチして選択するとステップＳ１０へ進み、「ストア」釦Ｂ１０をタッチするとステップＳ１１へ進み、上部の「Ｃｌｏｓｅ」釦Ｂ７をタッチすると、このアプリケーションを終了する。
【００４５】
（Ｓ１０）図５（Ｄ）に示すように、図５（Ａ）の長尺画像の下側に、図４（Ｂ）の画像を上記のように縮小し吹き出しにメッセージを記入した駒画像Ｐ２を追加して、長尺画像を更新し、また、駒画像Ｐ２が下側に位置するように自動スクロールする。このメッセージ記入においては、メッセージ全体が吹き出し内に入るように文字サイズを決定し、この文字サイズのメッセージを吹き出し内に記入する。また、上記画像縮小においては、同一行の１枚目の駒画像のときは所定高さに、同一行の２枚目の駒画像のときは同一行の１枚目の駒画像の高さと同じになるように画像下部をカットする。駒画像Ｐ２は、選択用の駒画像Ｐ１より少し大きい。
【００４６】
メッセージは、上記画像ＩＤと共に情報処理装置１０から基地局１１、インターネット１２及び漫画チャットサーバ３０の通信部３１を介してＷＳサーバプログラム３２に送信される。
【００４７】
ＷＳサーバプログラム３２は、データベース３３内の上記チャットテーブル内の、受信した画像ＩＤがステップＳ６で保存された画像ＩＤと一致する行に、該メッセージを保存する。
【００４８】
データベース３３はまた、送信先ＩＰアドレスと、プッシュ通知サーバ４０がこの送信先を識別するデバイストークンとを対応付けたＩＤテーブルを備えている。ＷＳサーバプログラム３２は、このＩＤテーブルを参照して、情報処理装置２０のアドレスに対応したデバイストークンを読み出し、通信部３１を介してプッシュ通知サーバ４０に対し、このデバイストークンと漫画調チャットアプリケーション識別子と上記画像ＩＤとを伴ったプッシュ通知要求を行う。
【００４９】
プッシュ通知サーバ４０はこれに応答して、このデバイストークンに対応した宛先、この例では情報処理装置２０のＯＳに対し、駒画像を受信したこと、該画像ＩＤ及び漫画調チャットアプリケーション識別子を通知する。
【００５０】
情報処理装置２０のＯＳは、これに応答して、この識別子に対応した漫画調チャットアプリケーションに対し、この画像ＩＤを含む通知を行う。
【００５１】
情報処理装置２０の漫画調アプリケーションはこれに応答して、漫画チャットサーバ３０に対し、該画像ＩＤの漫画調画像を要求する。この要求には、上記アドレス情報が含まれている。漫画チャットサーバ３０はこれに応答して、データベース３３から、要求に係る情報処理装置１０からの漫画調画像及びメッセージを読み出し、情報処理装置２０に送信する。
【００５２】
情報処理装置２０の漫画調アプリケーションは、この圧縮された漫画調画像、及びメッセージを受信し、該漫画調画像を伸長させ、さらに上記のように縮小させ、それまでの上記長尺画像に、この縮小されたものを駒画像として追加し、メッセージの画像を上記同様に縮小して吹き出し内に配置することにより、長尺画像を更新し、また、これを表示部に表示させるとともに上記同様に自動スクロールする。
【００５３】
情報処理装置２０から情報処理装置１０への駒画像の送信についても上記と同様である。なお、上記フローチャートでは説明の簡単化のために一部省略したが、図４（Ａ）の釦Ｂ１２及びＢ１３はそれぞれ後述の、撮影画像を漫画調に変換したものの背景画像及び前景画像の選択用であり、ステップＳ１においてこれらを選択することもできる。上記吹き出しは、前景画像の一種である。
【００５４】
（Ｓ１１）現在の長尺画像がユーザＩＤとともに公開用として漫画チャットサーバ３０に送信される。漫画チャットサーバ３０では、これら長尺画像及びユーザＩＤを含む情報を対応付け、公開用としてデータベース３３に格納する。
【００５５】
図６は主に、上記ステップＳ３の漫画調変換処理を示す機能ブロック図である。
【００５６】
データ記憶領域５３０は、図２の記憶装置５３のデータ領域の一部であり、これには、スクリーントーンＧ０、複数枚の背景画像Ｇ２及び複数枚の前景画像（吹き出し画像）Ｇ３が予め格納されている。ユーザは、上記ステップＳ１で入力装置６０、例えばタッチパネルを操作して、複数枚の背景画像Ｇ２の中から背景画像Ｇ２ｓを選択し、複数枚の前景画像Ｇ３の中から前景画像Ｇ３ｓを選択することができる。最初は、これらは透明画像であり、これらが無い場合と同じである。
【００５７】
主処理部７０は、カメラ６１で撮像された被写体画像Ｇ１を漫画調画像に変換するメインルーチンである。図７は、この主処理部７０による処理を示す概略フローチャートであり、ステップＳ１〜Ｓ４の順に処理される。ステップＳ１１〜Ｓ１４のそれぞれで呼び出されるサブルーチンは、図２中の漫画調主画像生成部７１、マスク生成部７２、背景・主画像合成部７３及び前景合成部７４に対応している。
【００５８】
図１０（Ａ）〜（Ｄ）はそれぞれ、スクリーントーンＧ０、被写体画像Ｇ１、背景画像Ｇ２ｓ及び前景画像Ｇ３ｓの具体例を示す。
【００５９】
スクリーントーンＧ０は、斜め４５度の白線と黒線（線幅は白線の方が太い。）とを交互に描画した２値画像であり、後述のようにこれを切り抜いて被写体画像の中間輝度面（中間濃度面）に貼り付けるために用いられる。
【００６０】
被写体画像Ｇ１には、その中央部に主要部である優勝カップ、右下に１０円硬貨及び左上隅に物体の一部のイメージが含まれている。
【００６１】
漫画は一般に画像が単純化されているので、面積の比較的小さい物体や縁部に写っているものを削除した方が好ましい。また、背景や前景を漫画的にした方が、興味をそそる点又は羞恥心を無くする点で好ましい。
【００６２】
そこで、被写体画像Ｇ１をモノクロ２値画像にし、被写体画像Ｇ１を切り抜いて中間輝度領域に貼り付け、画面内主要部を抽出し、背景を背景画像Ｇ２ｓで置き換え、さらに前景画像Ｇ３を合成することにより、被写体画像Ｇ１を漫画調画像Ｇ４０に変換する。
【００６３】
図６に戻って、漫画調主画像生成部７１は、被写体画像Ｇ１に応じてスクリーントーンＧ０を切り取ったスクリーントーン切抜画像Ｇ１０を生成し、被写体画像Ｇ１をニ値化した二値画像Ｇ１１を生成し、被写体画像Ｇ１のエッジを検出して輪郭線画像Ｇ１２を生成し、これらスクリーントーン切抜画像Ｇ１０、二値画像Ｇ１１及び輪郭線画像Ｇ１２を合成して、漫画調主画像Ｇ１３を生成する。これらスクリーントーン切抜画像Ｇ１０、二値画像Ｇ１１、輪郭線画像Ｇ１２及び漫画調主画像Ｇ１３の具体例をそれぞれ、図１１（Ｄ）、図１２（Ａ）、図１２（Ｃ）及び図１２（Ｄ）に示す。
【００６４】
図８は、漫画調主画像生成部７１のより詳細な構成及びその入出力画像の種類を示す。
【００６５】
リサイズ部７１０は、前処理として、処理対象のスクリーントーンＧ０、被写体画像Ｇ１、背景画像Ｇ２ｓ及び前景画像Ｇ３ｓを拡大又は縮小処理することにより、これらのそれぞれのサイズ（幅と高さの画素数）を、結果として出力する漫画調画像Ｇ４０のサイズに一致させる。このアプリケーションで被写体画像Ｇ１のサイズを固定しておき、スクリーントーンＧ０、背景画像Ｇ２及び前景画像Ｇ３をこのサイズに合わせて備えている場合には、リサイズ部７１０の処理を省略することができる。以下、スクリーントーンＧ０、被写体画像Ｇ１、背景画像Ｇ２ｓ及び前景画像Ｇ３ｓはサイズが互いに一致しているとする。
【００６６】
グレースケール化部７１１は、カラーの被写体画像Ｇ１をグレースケール化して、図１１（Ａ）に示すようなグレースケール画像Ｇ１５を生成する。これは例えば被写体画像Ｇ１の各画素のＲ（赤）、Ｇ（緑）及びＢ（青）の成分値の平均値をモノクロ画像の画素値とすることにより得られる。グレースケール画像Ｇ１５の画素は例えば、シングルチャンネルの８ビットで表される。
【００６７】
二値化部７１２は、グレースケール画像Ｇ１５を第１の閾値Ｔｈ１でニ値化し反転することにより、スクリーントーン切り抜き用マスクＧ１６を生成する。図１１（Ｂ）は、グレースケール画像Ｇ１５をニ値化した画像であり、図１１（Ｃ）はその白黒を反転したマスクＧ１６を示す。二値は最小値（黒）又は最大値（白）であって、例えば８ビットの場合、０（黒）又は２５５（白）であり、１ビットの場合、０又は１である。
【００６８】
上記第１の閾値Ｔｈ１は、スクリーントーンＧ０を切り抜くマスクを生成するためのものであって、可変閾値、例えば注目画素を含むローカルな３×３画素の平均値に正の設定値を加えた値（適応的二値化の閾値）、又は、全画素の平均値に、１より大きい定数を乗じた値若しくは予め定めた経験値などである。
【００６９】
切り抜き部７１３は、スクリーントーンＧ０をマスクＧ１６で切り抜いて、図１１（Ｄ）に示すようなスクリーントーン切抜画像Ｇ１０を生成する。なお、図１１（Ｂ）の黒画素を透過画素と見なしてスクリーントーンＧ０を切り抜くことにより、上記反転処理を省略してもよい。また、ニ値化の際に反転させることにより、図１１（Ｂ）の生成を省略してもよい。
【００７０】
二値化部７１４は、グレースケール画像Ｇ１５を、第１の閾値Ｔｈ１よりも小さい第２の閾値Ｔｈ２、例えば適応的二値化における上記平均値でニ値化して、図１２（Ａ）に示すような二値画像Ｇ１１を生成する。この第２の閾値Ｔｈ２は、ユーザにより入力装置６０の操作に応じて変更するようにしてもよい。例えば「明るい」、「普通」、「暗い」の３段階のいずれかをユーザに選択させ、その結果に応じて、該平均値に、予め定めた定数を乗じた値を、第２の閾値Ｔｈ２とする。
【００７１】
エッジ検出反転部７１５は、グレースケール画像Ｇ１５に対し、例えばエッジ検出オペレーターをラスター走査させながらフィルタリング処理し、その結果を２値化することにより、図１２（Ｂ）に示すような２値のエッジ画像を生成し、その白黒を反転させることにより図１２（Ｃ）に示すような輪郭線画像Ｇ１２を生成する。なお、エッジ検出反転部７１５は、エッジを検出しながら反転２値化することにより、輪郭線画像Ｇ１２を直接生成してもよい。
【００７２】
積合成部７１６は、スクリーントーン切抜画像Ｇ１０、二値画像Ｇ１１及び輪郭線画像Ｇ１２の互いに対応する位置の画素の全てが白画素であれば白画素とし、そうでなければ黒画素とすることにより、換言すれば対応する３画素値の積を画素とする、図１２（Ｄ）に示すような漫画調主画像Ｇ１３を生成する。
【００７３】
このような処理により、被写体画像を単純化した漫画調のモノクロ画像を生成することができる。
【００７４】
また、高画質の漫画調主画像Ｇ１３が得られるにも拘わらず処理が比較的簡単であり、これにより高速処理が可能であるので、情報処理装置１０が情報処理装置であっても、その処理性能に応じ動画のフレーム毎又は数フレーム毎にリアルタイムで、漫画調画像に変換することが可能となる。
【００７５】
図６に戻って、マスク生成部７２は、輪郭線画像Ｇ１２に基づいて図１０（Ｂ）に示すような、主画像から主要部を切り抜いて背景画像に貼り付けるための背景・主画像合成マスクＧ２０を生成する。
【００７６】
図９は、マスク生成部７２のより詳細な構成及びその入出力画像の種類を示す概略機能ブロック図である。マスク生成部７２は、ブロック７２０〜７２５の順に処理を行う。
【００７７】
線膨張部７２０は、輪郭線画像Ｇ１２の輪郭線を膨張させて、図１３（Ａ）に示すような８ビットの２値画像を生成する。反転部７２１は、この画像を白黒反転させて図１３（Ｂ）に示すような画像を生成する。
【００７８】
ラベリング部７２２は、この画像に対し、ラベリングを行う。すなわち、白画素（画素値が最大値）で互いに４方向又は８方向に隣接している画素を連結した画素連結領域毎に、互いに異なる番号を、領域内画素に付与した画素連結領域画像Ｇ２１を生成する。ラベリング対象外の黒画素（輪郭線上の画素）の値は０であるので、ラベリングは１以上の整数を用いる。図１３（Ｃ）は、画素連結領域画像Ｇ２１の説明図であり、互いに異なる画素連結領域を、互いに異なる濃淡値で表している。
【００７９】
粗マスク生成部７２３は、画素連結領域画像Ｇ２１上の予め定めた対向する辺上（縁部）の画素を含む画素連結領域を、黒画素の領域（不透過領域）に変更し、残りの領域を白画素の領域（透過領域）に変更したマスクを生成する。例えば、画素連結領域画像Ｇ２１の各行の始点と終点の画素のラベルと同一のラベルを持つ画素連結領域内の画素を黒画素に変換し、その他の領域を全て白画素の領域に変換する。但し、ラベリング部７２２でラベリング対象外にした輪郭線上の画素は、白画素にする。これは、輪郭線が画像内主要部につながっている場合に、それを残すためである（後述の図１２を参照）。このような処理により、図１３（Ｄ）に示すような二値画像が得られる。
【００８０】
ラベリング部７２４は、図１３（Ｄ）の画像に対し、上記同様に再度ラベリングを行う。図１４（Ａ）は、ラベリングされた画像の説明図であり、異なる画素連結領域を異なる濃淡値の領域で示している。このラベリングを行う際、各画素連結領域の画素数をその領域の面積として求めておく。
【００８１】
小面積白領域黒化部７２５は、このラベリングされた画像内の画素連結領域の面積が閾値以下、例えば全画素数の１０％以下である領域内の画素を、黒画素に変換し、黒画素以外のラベリングされた領域を白画素に変換して、図１４（Ｂ）に示すような二値の背景・主画像合成マスクＧ２０を生成する。これにより、画面上主要部の比較的大きな物体の領域のみを白画素（透過領域）とするマスクが得られる。
【００８２】
この小面積白領域黒化部７２５での処理があるので、粗マスク生成部７２３では、画素連結領域画像Ｇ２１上の縁部の一部、例えば１０行毎の１行の始点と終点の画素のラベルと同一のラベルを持つ画素連結領域内の画素を黒画素に変換し、その他の領域を全て白画素の領域に変換する構成であってもよい。
【００８３】
図６に戻って、背景・主画像合成部７３は、背景・主画像合成マスクＧ２０の白画素の位置に対応する漫画調主画像Ｇ１３上の画素のみを取り出し、背景・主画像合成マスクＧ２０の黒画素の位置に対応する背景画像Ｇ２ｓ上の画素のみを取り出すことにより、両画像を合成した図１４（Ｃ）に示すような背景・主画像合成画像Ｇ３０を生成する。或いは、背景画像Ｇ２ｓ上に、背景・主画像合成マスクＧ２０の白画素の位置に対応する漫画調主画像Ｇ１３上の画素を上書きすることにより、図１４（Ｃ）に示すような背景・主画像合成画像Ｇ３０を生成する。
【００８４】
ここで、複数の前景画像Ｇ３のそれぞれは、アルファチャンネル付画像であり、アルファマスクを含んでいる。例えば図１０（Ｄ）の前景画像Ｇ３ｓにおいて、漫画調白抜き文字列「ズキュー」の文字領域の各画素のアルファ値が０（最小値で完全不透明）で、その他の領域の画素のアルファ値が２５５（最大値で完全透明）となっている。前景画像Ｇ３ｓは実質的にアルファチャンネル付であればよく、別々の前景画像とマスクの組であってもよい。
【００８５】
前景合成部７４は、背景・主画像合成画像Ｇ３０の各画素に対し、前景画像Ｇ３ｓの対応する位置の画素のアルファ値が０であればそのままとし、アルファ値が２５５であれば前景画像Ｇ３ｓの該画素の輝度値を背景・主画像合成画像Ｇ３０に対し上書きすることにより、漫画調画像Ｇ４０を生成する。これにより、図１５に示すような最終的な漫画調画像Ｇ４０が生成される。図１５は、前景画像としての上記吹き出し画像を省略図示している。
【００８６】
図７のステップＳ１５において、図６の漫画調画像Ｇ４０を図２のディスプレインターフェイス５６に供給することにより、漫画調画像Ｇ４０を表示装置６２に表示させる。この際、ソフトウェア又はディスプレインターフェイス５６により、シングルチャンネルのモノクロ２値画像がＲＧＢチャンネルのモノクロ２値画像に変換される。
【００８７】
図１６は、スクリーントーンＧ０、背景画像Ｇ２ｓ及び前景画像Ｇ３ｓを上記と同一にし、被写体画像を変え、上記と同一の処理により生成された漫画調画像Ｇ４０Ａを示す。この画像も上記吹き出し画像を省略図示している。
【００８８】
図６において、漫画調画像Ｇ４０をＭＰＥＧ圧縮・伸長部７５に供給してＭＰＥＧ圧縮し、それをＷｅｂクライアント７６を介し通信部５７に供給する。
【００８９】
これにより、ユーザは素顔を見せることなく且つ現実感を持たせた自己の漫画調画像を、図１の漫画チャットサーバ３０を介しチャット相手の情報処理装置２０に送信し表示させることができる。
【００９０】
上記ＭＰＥＧ圧縮・伸長部７５は、図２に不図示のグラフィックチップ若しくはグラフィックボード、又は、マルチコアのプロセッサ５１の一部とソフトウェアとにより構成される。
【００９１】
本発明の好適な実施例を以上において説明したが、本発明には他にも種々の変形例が含まれ、上記各構成要素の機能を実現する他の構成を用いたもの、当業者であればこれらの構成又は機能から想到するであろう他の構成も、本発明に含まれる。例えば、本発明には以下のような変形例が含まれる。
【００９２】
例えば、背景画像Ｇ２ｓ又は前景画像Ｇ３ｓとして既存のカラー画像を用い、本発明に適用する場合にこれをモノクロ画像に変換して使用する構成であってもよい。また、背景画像Ｇ２ｓ又は前景画像Ｇ３ｓは、カラー画像をそのまま又は編集して用いてもよい。前景画像のアルファ値は二値に限定されず、多値であってもよい。背景・主画像合成マスクＧ２０についても二値マスクに限定されず、画像中の所定周辺部については央部部から遠ざかるほど透明度を小さくした多値のマスクであってもよい。
【００９３】
また、本発明は、図４及び図５に示すように、背景画像及び、吹き出し以外の前景画像を用いない構成であってもよい。
【００９４】
さらに、上記長尺画像の更新を、図１の漫画チャットサーバ３０で行い、漫画チャットサーバ３０が長尺画像を情報処理装置１０、２０に配信する構成であってもよい。
【符号の説明】
【００９５】
１０、２０  情報処理装置
１１、２１  基地局
３０  漫画チャットサーバ
３１  通信部
３２  ＷＳサーバプログラム
３３  データベース
４０  プッシュ通知サーバ
５０  本体部
５１  プロセッサ
５２  バス
５３  記憶装置
５３０  データ記憶領域
５４  入力インターフェイス
５５  カメラインターフェイス
５６  ディスプレインターフェイス
５７  通信部
６０  入力装置
６１  カメラ
６２  表示装置
６３  アンテナ
７０  主処理部
７１  漫画調主画像生成部
７２  マスク生成部
７３  背景・主画像合成部
７４  前景合成部
７１０  リサイズ部
７１１  グレースケール化部
７１２、７１４  二値化部
７１３  切り抜き部
７１５  エッジ検出反転部
７１６  積合成部
７２０  線膨張部
７２１  反転部
７２２、７２４  ラベリング部
７２３  粗マスク生成部
７２５  小面積白領域黒化部
８０  ＭＰＥＧ圧縮・伸長部
８１  Ｗｅｂクライアント
Ｇ０  スクリーントーン
Ｇ１  被写体画像
Ｇ２、Ｇ２ｓ  背景画像
Ｇ３、Ｇ３ｓ  前景画像
Ｇ１０  スクリーントーン切抜画像  
Ｇ１１  二値画像
Ｇ１２  輪郭線画像
Ｇ１３  漫画調主画像
Ｇ１５  グレースケール画像
Ｇ１６  マスク
Ｇ２０  背景・主画像合成マスク
Ｇ２１  画素連結領域画像
Ｇ３０  背景・主画像合成画像
Ｇ４０  漫画調画像
【図１】
2014206849.tif 000003
【図２】
2014206849.tif 000004
【図３】
2014206849.tif 000005
【図６】
2014206849.tif 000006
【図７】
2014206849.tif 000007
【図８】
2014206849.tif 000008
【図９】
2014206849.tif 000009
【図４】
2014206849.tif 000010
【図５】
2014206849.tif 000011
【図１０】
2014206849.tif 000012
【図１１】
2014206849.tif 000013
【図１２】
2014206849.tif 000014
【図１３】
2014206849.tif 000015
【図１４】
2014206849.tif 000016
【図１５】
2014206849.tif 000017
【図１６】
2014206849.tif 000018