(57)【特許請求の範囲】
【請求項１】
第１画像処理装置と第２画像処理装置が通信回線を介して接続されている画像処理システムであって、
前記第１画像処理装置は、
画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像の地肌を除去する第１地肌除去手段と、
前記第１地肌除去手段によって地肌が除去された画像に対して当該画像を検知でき、かつ当該画像の濃度に類似した濃度の地肌を付加する処理を行う地肌付加処理手段と、
前記地肌付加処理手段によって処理された画像を圧縮する圧縮手段と、
前記圧縮手段によって圧縮した画像を送信する送信手段を具備し、
前記第２画像処理装置は、
前記圧縮した画像を受信する受信手段と、
前記受信手段によって受信した圧縮画像を伸長する伸長手段と、
前記伸長手段によって伸長した画像に対して地肌を除去する処理を行う第２地肌除去手段と、
前記第２地肌除去手段によって処理された画像を印刷する印刷手段
を具備することを特徴とする画像処理システム。
【請求項２】
前記第１地肌除去手段又は第２地肌除去手段は、
入力した画像データを所定の色空間における各チャンネルのデータに変換する変換手段と、
前記変換手段で変換された前記各チャンネルのデータからそれぞれ地肌レベルを検出する地肌検出手段と、
前記地肌検出手段で検出した前記各チャンネルの地肌レベルに基づき各チャンネルの地肌除去レベルを算出する算出手段と、
前記算出手段で算出した各チャンネルの地肌除去レベルに基づき前記各チャンネル毎に地肌除去処理を行う画像用地肌除去手段と、
前記画像用地肌除去手段で地肌除去処理された各チャンネルのデータに基づき地肌が除去された画像データを生成する生成手段
を有していることを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記入力した画像データを複数の領域に分割する領域分割手段を更に具備し、
前記地肌検出手段による地肌レベルの検出および前記算出手段による地肌除去レベルの算出および前記画像用地肌除去手段による地肌除去処理を前記領域分割手段で分割された領域毎に行う
ことを特徴とする請求項２に記載の画像処理システム。
【請求項４】
前記画像用地肌除去手段は、
前記所定の色空間における各チャンネルの優先順位を設定する優先順位設定手段と、
前記優先順位設定手段で優先順位が第１位に設定されたチャンネルの地肌除去レベルに基づき該チャンネルのデータの各画素に対して地肌除去処理を実行する第１の画像用地肌除去手段と、
前記算出手段で算出された地肌除去レベルに基づき他のチャンネルのデータの各画素に対して地肌除去処理を実行する第２の画像用地肌除去手段
を具備することを特徴とする請求項２又は３に記載の画像処理システム。
【請求項５】
前記所定の色空間における各チャンネルは、
色相を表すＨチャンネルと、明度を表すＩチャンネルと、彩度を表すＳチャンネルとからなり、
前記優先順位設定手段は、
前記Ｈチャンネルを第１の優先順位、前記Ｉチャンネルを第２の優先順位、前記Ｓチャンネルを第３の優先順位に設定し、
前記第１の画像用地肌除去手段は、
前記Ｈチャンネルのデータの各画素のレベルが前記所定の範囲内である場合に該画素を地肌除去対象として設定し、
前記第２の画像用地肌除去手段は、
前記Ｈチャンネルの画素が地肌除去対象と設定され、かつ前記Ｉチャンネルの当該画素が当該チャンネルの地肌除去レベルより低い場合は、前記Ｉチャンネルの当該画素を地肌除去対象として設定して地肌除去処理を実行する
ことを特徴とする請求項４に記載の画像処理システム。
【請求項６】
前記第２の画像用地肌除去手段は、
前記Ｉチャンネルの画素が地肌除去対象と設定された場合は、前記Ｉチャンネルの当該画素および前記Ｓチャンネルのレベルを最小の値にすることにより当該画素の地肌除去処理を実行し、前記Ｉチャンネルの画素が地肌除去対象と設定されない場合は、前記Ｉチャンネルの当該画素のレベルを前記Ｉチャンネルの地肌レベルにしたがって下げるとともに、前記Ｓチャンネルの当該画素のレベルを前記Ｉチャンネルの当該画素のレベルの下げ量に対応して下げることにより当該画素の地肌除去処理を実行する
ことを特徴とする請求項５に記載の画像処理システム。
【請求項７】
前記受信手段は、ペン色識別処理が行われたペン色に関する画像をも受信し、
前記画像処理手段が行う画像処理は、前記受信手段によって受信したペン色に関する画像からペンの色を再生するペン色再生処理である
ことを特徴とする請求項３に記載の画像処理システム。
【請求項８】
前記受信手段は、文字部切出処理が行われた文字部の画像をも受信し、
前記画像処理手段が行う画像処理は、前記受信手段によって受信した文字部の画像から文字部分の画像を再生する文字部分再生処理である
ことを特徴とする請求項３に記載の画像処理システム。
【請求項９】
第１画像処理装置と第２画像処理装置が通信回線を介して接続されており、
前記第１画像処理装置に、
画像を入力する画像入力機能と、
前記画像入力機能によって入力した画像の地肌を除去する第１地肌除去機能と、
前記第１地肌除去機能によって地肌が除去された画像に対して当該画像を検知でき、かつ当該画像の濃度に類似した濃度の地肌を付加する処理を行う地肌付加処理機能と、
前記地肌付加処理機能によって処理された画像を圧縮する圧縮機能と、
前記圧縮機能によって圧縮した画像を送信する送信機能
を実現させ、
前記第２画像処理装置に、
前記圧縮した画像を受信する受信機能と、
前記受信機能によって受信した圧縮画像を伸長する伸長機能と、
前記伸長機能によって伸長した画像に対して地肌を除去する処理を行う第２地肌除去機能と、
前記第２地肌除去機能によって処理された画像を印刷する印刷機能
を実現させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システムおよび画像処理プログラムに関する。
【背景技術】
【０００２】
近年、携帯電話に代表される携帯型通信端末においては多機能化・高性能化が進み、その一つの例としてカメラ機能が内蔵されるようになってきた。携帯型通信端末さえ持っていれば、いつでもどこでも手軽に高解像度で綺麗な写真を撮影することができるので、撮影した画像をその携帯型通信端末の通信機能を使って遠方に送りたいという要求も高まっている。
しかし、高解像度モードで撮影した画像はデータサイズが大きいため、携帯型通信端末の通信網の通信速度では送信時間がかかってしまいユーザーストレスになってしまう。例えば、１６００ドット×１２００ドット（２００万画素相当の画像サイズ）で撮影した画像をＪＰＥＧなどの圧縮方式で１０分の１のサイズに圧縮したとしても約５６０ｋバイトのデータサイズとなってしまい、例えば６４ｋｂｐｓの通信網回線を使用して送信すると約７０秒以上の送信時間を要してしまう。
【０００３】
さらに通信データサイズに応じて課金する通信網を利用した場合には、非常に高額な通信費用が発生してしまう。例えば１パケット（＝１２８バイト）あたり０．２円の従量方式の通信網を利用した場合には約９００円の課金となってしまい、このような高額の通信料金では手軽に送信することができない。
一方で、撮影した画像をすべて忠実に相手方に送る必要がない場合もある。例えば、紙の上に書かれた文字や図形を撮影して送る場合、一般的に文字や図形のみが相手方にとって有益な情報であり、文字や図形以外の背景部分、いわゆる地肌（下地）と呼ばれる部分は不要である。
【０００４】
しかし、カメラで撮影した画像は紙の表面のざらつきや光の影などの影響により、ノイズ的な画像データとなってしまい圧縮したとしても圧縮率の悪いデータとなってしまうため、前述のように長い通信時間と高額な通信料金となることを避けることができない。
さらに、文字や図形のみを画像として抽出しても、カメラで撮影した画像では文字の輪郭ボケや不適切なコントラストバランスとなっておりメリハリのある画像ではないため、相手方がそのままの画像を受け取ってもうまく文字や図形の認識ができない場合もある。携帯型情報端末でメリハリの出るような画像処理をして相手方に送れば良いのだが、一般的に携帯型情報端末に使用されている中央演算装置（ＣＰＵ）の性能は低く、高解像度の画像データを高速に処理させるには非常に多くの時間を要してしまうことになる。
このような高解像度かつ高速な画像処理の方法としては一般的には、ＣＰＵとは別にデジタルシグナルプロセッサ（ＤＳＰ）やＡＳＩＣなどのハードウェアによる処理回路を通じて画像処理をさせている。しかし、携帯型情報端末は携帯できるほど小型であることが必要であるが、それらを搭載するには小型性を犠牲にせざるを得ないということになってしまう。
【０００５】
これらに関する技術として、例えば特許文献１には、携帯移動通信端末のみで簡易に効率的に画像の合成などの処理を可能にすることを課題とし、まず、携帯電話のボタンなどの操作で加工合成用画像である加工用画像及びこの画像の背景となる背景用画像をインターネット上の画像合成サーバーのＷＥＢサーバーへアップロードして保管し、そして、加工用画像のうちから一枚の加工用画像を選択し、これを携帯電話の表示部に表示し、表示された加工用画像の切り抜き範囲を指定し、その後背景用画像のうちから一枚の背景用画像を選択し、これを携帯電話の表示部に表示し、表示された背景用画像の貼り付け箇所を指定し、この貼り付け箇所に上記加工用画像の切り抜き範囲内の画像を貼り付けて、画像合成を行うものであり、合成画像を携帯電話のカーソル及びボタンのみによる操作によって作成するものである技術が記載されている。
【特許文献１】特許第３６０９０７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、このような従来の技術が有する問題点に着目してなされたもので、携帯端末側で画質劣化を防ぎつつ送信すべき画像データ量を減らして、サーバ側への転送効率を上げることができ、通信時間の短縮ができ、ひいては通信料金の削減を図ることができるようにした画像処理システムおよび画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
［１］  第１画像処理装置と第２画像処理装置が通信回線を介して接続されている画像処理システムであって、
前記第１画像処理装置は、
画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像の地肌を除去する第１地肌除去手段と、
前記第１地肌除去手段によって地肌が除去された画像に対して当該画像を検知でき、かつ当該画像の濃度に類似した濃度の地肌を付加する処理を行う地肌付加処理手段と、
前記地肌付加処理手段によって処理された画像を圧縮する圧縮手段と、
前記圧縮手段によって圧縮した画像を送信する送信手段を具備し、
前記第２画像処理装置は、
前記圧縮した画像を受信する受信手段と、
前記受信手段によって受信した圧縮画像を伸長する伸長手段と、
前記伸長手段によって伸長した画像に対して地肌を除去する処理を行う第２地肌除去手段と、
前記第２地肌除去手段によって処理された画像を印刷する印刷手段
を具備することを特徴とする画像処理システム。
【００１０】
［２］  前記第１地肌除去手段又は第２地肌除去手段は、
入力した画像データを所定の色空間における各チャンネルのデータに変換する変換手段と、
前記変換手段で変換された前記各チャンネルのデータからそれぞれ地肌レベルを検出する地肌検出手段と、
前記地肌検出手段で検出した前記各チャンネルの地肌レベルに基づき各チャンネルの地肌除去レベルを算出する算出手段と、
前記算出手段で算出した各チャンネルの地肌除去レベルに基づき前記各チャンネル毎に地肌除去処理を行う画像用地肌除去手段と、
前記画像用地肌除去手段で地肌除去処理された各チャンネルのデータに基づき地肌が除去された画像データを生成する生成手段
を有していることを特徴とする［１］に記載の画像処理システム。
【００１２】
［３］  前記入力した画像データを複数の領域に分割する領域分割手段を更に具備し、
前記地肌検出手段による地肌レベルの検出および前記算出手段による地肌除去レベルの算出および前記画像用地肌除去手段による地肌除去処理を前記領域分割手段で分割された領域毎に行う
ことを特徴とする［２］に記載の画像処理システム。
【００１３】
［４］  前記画像用地肌除去手段は、
前記所定の色空間における各チャンネルの優先順位を設定する優先順位設定手段と、
前記優先順位設定手段で優先順位が第１位に設定されたチャンネルの地肌除去レベルに基づき該チャンネルのデータの各画素に対して地肌除去処理を実行する第１の画像用地肌除去手段と、
前記算出手段で算出された地肌除去レベルに基づき他のチャンネルのデータの各画素に対して地肌除去処理を実行する第２の画像用地肌除去手段
を具備することを特徴とする［２］又は［３］に記載の画像処理システム。
【００１４】
［５］  前記所定の色空間における各チャンネルは、
色相を表すＨチャンネルと、明度を表すＩチャンネルと、彩度を表すＳチャンネルとからなり、
前記優先順位設定手段は、
前記Ｈチャンネルを第１の優先順位、前記Ｉチャンネルを第２の優先順位、前記Ｓチャンネルを第３の優先順位に設定し、
前記第１の画像用地肌除去手段は、
前記Ｈチャンネルのデータの各画素のレベルが前記所定の範囲内である場合に該画素を地肌除去対象として設定し、
前記第２の画像用地肌除去手段は、
前記Ｈチャンネルの画素が地肌除去対象と設定され、かつ前記Ｉチャンネルの当該画素が当該チャンネルの地肌除去レベルより低い場合は、前記Ｉチャンネルの当該画素を地肌除去対象として設定して地肌除去処理を実行する
ことを特徴とする［４］に記載の画像処理システム。
【００１５】
［６］  前記第２の画像用地肌除去手段は、
前記Ｉチャンネルの画素が地肌除去対象と設定された場合は、前記Ｉチャンネルの当該画素および前記Ｓチャンネルのレベルを最小の値にすることにより当該画素の地肌除去処理を実行し、前記Ｉチャンネルの画素が地肌除去対象と設定されない場合は、前記Ｉチャンネルの当該画素のレベルを前記Ｉチャンネルの地肌レベルにしたがって下げるとともに、前記Ｓチャンネルの当該画素のレベルを前記Ｉチャンネルの当該画素のレベルの下げ量に対応して下げることにより当該画素の地肌除去処理を実行する
ことを特徴とする［５］に記載の画像処理システム。
【００１９】
［７］  前記受信手段は、ペン色識別処理が行われたペン色に関する画像をも受信し、
前記画像処理手段が行う画像処理は、前記受信手段によって受信したペン色に関する画像からペンの色を再生するペン色再生処理である
ことを特徴とする［３］に記載の画像処理システム。
【００２０】
［８］  前記受信手段は、文字部切出処理が行われた文字部の画像をも受信し、
前記画像処理手段が行う画像処理は、前記受信手段によって受信した文字部の画像から文字部分の画像を再生する文字部分再生処理である
ことを特徴とする［３］に記載の画像処理システム。
【００２１】
［９］  第１画像処理装置と第２画像処理装置が通信回線を介して接続されており、
前記第１画像処理装置に、
画像を入力する画像入力機能と、
前記画像入力機能によって入力した画像の地肌を除去する第１地肌除去機能と、
前記第１地肌除去機能によって地肌が除去された画像に対して当該画像を検知でき、かつ当該画像の濃度に類似した濃度の地肌を付加する処理を行う地肌付加処理機能と、
前記地肌付加処理機能によって処理された画像を圧縮する圧縮機能と、
前記圧縮機能によって圧縮した画像を送信する送信機能
を実現させ、
前記第２画像処理装置に、
前記圧縮した画像を受信する受信機能と、
前記受信機能によって受信した圧縮画像を伸長する伸長機能と、
前記伸長機能によって伸長した画像に対して地肌を除去する処理を行う第２地肌除去機能と、
前記第２地肌除去機能によって処理された画像を印刷する印刷機能
を実現させることを特徴とする画像処理プログラム。
【発明の効果】
【００２６】
本発明にかかる画像処理システムおよび画像処理プログラムによれば、本構成を有していない場合に比較して、携帯端末側で画質劣化を防ぎつつ送信すべき画像データ量を減らして、サーバ側への転送効率を上げることができ、通信時間の短縮ができ、ひいては通信料金の削減を図ることができる。
【発明を実施するための最良の形態】
【００２７】
以下、図面に基づき本発明の好適な一実施の形態を説明する。
図１は、本発明の一実施の形態の概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはプログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、プログラム、システムおよび方法の説明をも兼ねている。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散または並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続を含む。
また、システムとは、複数のコンピュータ、ハードウェア、装置等がネットワーク等で接続されて構成されるほか、１つのコンピュータによって実現される場合も含まれる。
以下、携帯端末として、携帯電話を主に例示して説明する。
【００２８】
まず、本実施の形態の概要を説明する。
本実施の形態では、携帯電話において有効な画像情報を主に忠実に再現できるレベルを維持しつつ画像データサイズを小さくするものと、相手方に送るための中継用サーバにおいて携帯電話から送られてきた画像データを元に有益な画像情報を忠実に再現するものから構成されている。
【００２９】
本実施の形態は、携帯電話から中継用サーバに送信する画像データの種類によって２つの構成がある。１つめは２値データのケースであり、２つめは多値データのケースである。２値データとは、モノクロ２値（１つの画素を黒か白の２つのレベルで表す方法）の場合とカラー２値（Ｒ／Ｇ／Ｂのそれぞれが２つのレベルしか有していない）の場合の２つがある。また、多値データとは、例えば、モノクロの場合には一般的に１画素あたり２５６階調（８ビット／画素）を有したものであり、カラーの場合には１６７７万階調（２４ビット／画素）を意味する。なお、多値データに関するものは、図１１を用いて説明する。
【００３０】
以下に、本実施の形態の２値データで取り扱う場合の概要を示す。
携帯電話で撮影した画像に対して携帯電話側で地肌除去処理を行うことで、地肌とそれ以外（主に文字、図形など）に分離する。こうして余分な地肌を除去した上で各種画像処理、圧縮処理を加えることで画像データ量を減らし携帯電話からサーバ側への転送効率を上げる。つまり、携帯電話側で、画質劣化を防ぎつつ画像データ量を減らすことを目的とした処理を行わせる。
【００３１】
こうしてサイズが小さくなった圧縮画像をサーバに転送した後、そのサーバではこれを伸長する。伸長した上でエッジ強調やコントラスト自動調整（２値から多値変換した処理）、プリント台紙との濃度バランス調整（２値から多値変換した処理）、拡大縮小、位置微調整、かすれ文字補間処理といった複雑で処理時間のかかる画像処理をサーバ側で行う。つまり、携帯電話側で転送効率を上げる画像前処理を行い、サーバ側で本格的な処理を行うこととなる。
【００３２】
また、色情報を扱う際に色情報をそのまま携帯電話から送ったのではサイズが大きくなるため、携帯電話側で原稿に書かれているペンの色を識別してペン情報として画像に添付して送る。あるいは、文字部分の一部（小サイズ）をサンプルで自動的に切り出し（多値のレベルで）、その切り出した画像を圧縮して別途添付してサーバに送ることで、サーバ側ではそのペン画像情報をもとにして、送付された画像に色をつけたり、サンプル多値画像を解析して色空間を詳細に割り出してそのペンの色で２値画像の色を決定することができるようになる。
これらによって、本実施の形態で２値データとして取り扱う場合に、高速化と高画質化の両立を図ることができる。
【００３３】
ここで、携帯電話側で行う処理は、主に、地肌除去処理、文字線画の分離処理、圧縮処理、ペン色識別処理、文字部分を判定して一部のサイズを切り出す処理、ペン色のユーザ指定等である。
ここで、サーバ側で行う処理は、主に、伸長処理、追加的な画像後処理、ペン色の判定処理、ペン色を比較的見やすい色に変換する処理、指定色ペンでの色文字再現処理等である。
【００３４】
本実施の形態である画像処理システムは、図１に示すように、携帯電話は、カメラ１０１、地肌除去モジュール１０２、画像処理モジュール１０３、圧縮モジュール１０４、通信モジュール１０５、ＵＩモジュール１０６を備えており、これらの各モジュールは連携している。一方、サーバは、通信モジュール１５１、サムネイル画像作成モジュール１５２、伸張モジュール１５３、画像処理モジュール１５４、プリンタ１５５を備えており、これらの各モジュールは連携している。携帯電話とサーバは、通信回線を介して接続されている。
【００３５】
携帯電話のＵＩモジュール１０６は、ユーザによる商品の注文を受け付ける。また、その他、各種のアプリケーションにおけるユーザとの対話処理、例えばペン色のユーザによる指定等も行える。
カメラ１０１は、ＵＩモジュール１０６によって受け付けた商品に添付するユーザが手書きしたメッセージを画像データとして入力する。
地肌除去モジュール１０２は、カメラ１０１によって入力した画像の地肌を除去する。
画像処理モジュール１０３は、地肌除去モジュール１０２によって地肌が除去された画像に対して画像処理を行う。ここで行う画像処理としては、２値化処理、ペンの色を識別するペン色識別処理、文字部分の画像を切り出す文字部切出処理等である。
圧縮モジュール１０４は、画像処理モジュール１０３によって画像処理された画像を圧縮する。
通信モジュール１０５は、圧縮モジュール１０４によって圧縮した画像をサーバに送信する。その際、送信するものとして、画像処理モジュール１０３によって行われたペン色識別処理の結果である画像データ、文字部切出処理によって切り出された画像データ等も送信され得る。
【００３６】
サーバの通信モジュール１５１は、携帯電話から送信されてきた圧縮画像を受信する。また、携帯電話の画像処理モジュール１０３によってペン色識別処理が行われたペン色に関する画像データ、文字部切出処理が行われた文字部の画像データをも受信する。また、サムネイル画像作成モジュール１５２、画像処理モジュール１５４等による処理結果を携帯電話に送信する。
伸張モジュール１５３は、通信モジュール１５１によって受信した圧縮画像を伸長する。
画像処理モジュール１５４は、伸張モジュール１５３によって伸長した画像に対して画像処理する。具体的には、通信モジュール１５１によって受信したペン色に関する画像からペンの色を再生するペン色再生処理、文字部の画像から文字部分の画像を再生する文字部分再生処理である。また、エッジ強調、コントラスト自動調整、プリント台紙との濃度バランス調整、拡大縮小、位置微調整、かすれ文字補間処理等の画像処理を行う。
サムネイル画像作成モジュール１５２は、画像処理モジュール１５４によって画像処理した画像を縮小してサムネイル画像を生成する。そして、その結果を携帯電話に送信する。
プリンタ１５５は、画像処理モジュール１５４によって画像処理した画像を印刷する。
【００３７】
図２を用いて、図１で説明した携帯電話とサーバとの組み合わせである商品注文システムが用いられる一場面例を説明する。
親しい人等にプレゼントを贈りたい場合に、直筆メッセージをその商品に同梱することが望まれている。そして、この直筆メッセージを送付するためには、その商品を売っているお店に直接出向いて、その場でメッセージを書くか、予め作成しておいた直筆メッセージを店員に手渡す等が必要である。しかし、直接お店に出向かないでプレゼント送付ができる携帯電話、インターネット等を利用したネット上のお店を利用して、商品を発送する場合は、この手書きのメッセージを同梱することはできなかった。
【００３８】
そこで、本実施の形態である商品注文システムが用いられる。
まず、ユーザは、携帯電話を用いて商品発注２０１を行う。その際に、商品名（商品番号等を含む）、発送先、依頼主等が携帯電話を用いて入力される。
また、一方で、ユーザは手書きメッセージ２０２を作成する。そして、その手書きメッセージ２０２を携帯電話に備わっているカメラを用いて、撮影２０３する。その撮影された画像に対して、携帯電話内で地肌除去等の処理を行い、サーバに送信２０４する。
【００３９】
その際、送信されるデータは、例えば図１２に示すようなデータ構造を有している。すなわち、発注日欄１２０１、発注品欄１２０２、発送先欄１２０３、依頼主欄１２０４、メッセージ画像欄１２０５からなるテーブルである。発注日欄１２０１には、携帯電話に内蔵されている時計を用いて、発注時の日時が記録される。発注品欄１２０２には、ユーザがインターネット等にあるお店のホームページを用いて、選択した商品が記録される。発送先欄１２０３には、その商品の発送先がユーザによって携帯電話を用いて入力されたものが記録される。依頼主欄１２０４には、携帯電話の持ち主であるユーザの名前等が記録され、これは携帯電話に予め登録されていた持ち主に関する情報を用いてもよい。メッセージ画像欄１２０５には、さきほど撮影２０３され地肌除去等された画像またはその画像のリンク等が記録される。そして、複数の注文がある場合は、このテーブルの２行目以降に記録される。
【００４０】
サーバである画像処理システム２０５は、この注文を画像とともに受信する。そして、受信した画像に対して、一定の処理を行い、印刷画像を生成する。
また、発送先等の注文情報を顧客データ管理システム２０６に渡す。画像処理システム２０５によって生成された印刷画像を、その手書きメッセージにふさわしい台紙に印刷し商品とともに同梱する（台紙にプリントアウトパッケージ化２０７）。その後、ユーザ（依頼主）の手書きメッセージ２０２とともに商品が発送先へ出荷２０８される。
【００４１】
なお、携帯電話３００は、図３に示すように、電話としての機能を有するように音声入力できるマイク３５０と、音声出力できるスピーカ３４０と、電話番号等の文字を入力するための文字入力装置であるキー３２０と、電波を送受信するアンテナ３３０と、キー３２０による文字入力の結果や受信した結果等の表示を行うディスプレイ３１０と、図示していないが携帯電話３００の裏面側にカメラのレンズを有している。また、カメラのシャッタは、キー３２０のいずれかを併用する、またはシャッタボタンを別に有していてもよい。
ディスプレイ３１０への表示は、ＵＩモジュール１０６の制御によって行われる。
【００４２】
図４を参照して、携帯電話３００の主にハードウェアに関する内部構成例について説明する。携帯電話３００は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、カメラ４０４、ディスプレイ４０５、キー４０６、通信部４０７、バス４０８を有している。ＣＰＵ４０１は、ＲＯＭ４０２またはＲＡＭ４０３に記憶されているプログラムに従って各種の処理を実行する。
カメラ４０４は、携帯電話３００の操作者によって手書きされたメッセージを画像データとして入力するものである。この画像データはＲＡＭ４０３に格納される。
ディスプレイ４０５は、カメラ４０４によって撮影された画像を表示したり、操作者によるキー４０６を用いた商品の注文等のやり取りのための表示を行う。なお、図４のディスプレイ４０５は、図３のディスプレイ３１０及びそのディスプレイ３１０の制御を行うものであり、同様に図４のキー４０６は、図３のキー３２０及びそのキー３２０の制御を行うものである。
【００４３】
通信部４０７は、カメラ４０４によって撮影された画像データに対して、地肌除去モジュール１０２、画像処理モジュール１０３、圧縮モジュール１０４等によって処理された結果、商品の注文のために必要なデータ等を、アンテナ３３０を用いて、サーバである画像処理システムに送信する。逆に、サーバである画像処理システムから送信される、サーバ側で処理された画像データ、商品の注文のために必要なデータ等を受信する。
これらの各ハードウェア構成は、バス４０８によって接続されており、各ハードウェア構成間で必要なデータのやり取りを行っている。
【００４４】
図５を参照して、実施の形態のサーバである画像処理システムのハードウェア構成例について説明する。図５に示す構成は、計算機（例えばパーソナルコンピュータ（ＰＣ）など）によって構成される画像処理システムであり、図１のプリンタ１５５に該当するプリンタなどのデータ出力部５３２を備えたハード構成例を示している。
【００４５】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５０１は、上述の実施の形態において説明した各種のモジュール、すなわち、伸張モジュール１５３、画像処理モジュール１５４、サムネイル画像作成モジュール１５２等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。
【００４６】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。
【００４７】
ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス５０６に接続されている。
【００４８】
キーボード５０８、ポインティングデバイス５０９は、操作者により操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）などから成り、各種情報をテキストやイメージ情報として表示する。
【００４９】
ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、受信した画像データ、画像処理プログラムなどが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
【００５０】
ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。リムーバブル記録媒体５２１も、ハードディスクと同様のデータ記録領域として利用可能である。
【００５１】
接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、本実施の形態である携帯電話３００とのデータ通信処理を実行する。データ出力部５３２は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。その他に、データ読み取り部５３１を備えており、例えばスキャナであり、ドキュメントの読み取り処理を実行する。
【００５２】
なお、図５に示す画像処理システムのハードウェア構成は、１つの構成例を示すものであり、本実施の形態の画像処理システムは、図５に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェアで構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図５に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。
【００５３】
次に作用・働き（動作）を説明する。
図６を用いて、携帯電話３００で行われる手書きメッセージ撮影から送信までの処理例を説明する。
ステップＳ６０１では、ユーザが携帯電話３００のカメラ１０１を用いて、商品に同梱する手書きメッセージを写真撮影する。
ステップＳ６０２では、携帯電話３００の地肌除去モジュール１０２が、撮影された画像から地肌除去を行う。この地肌除去処理については、後に図９、図１０を用いて詳細に説明する。
ステップＳ６０３では、携帯電話３００の画像処理モジュール１０３が、２値化処理を行う。この２値化処理は既存の手法を用いる。
【００５４】
ステップＳ６０４では、携帯電話３００の画像処理モジュール１０３が、ステップＳ６０２で地肌除去された画像から文字部分の色を識別する処理を行う。例えば、地肌除去された画像が色空間内でどの位置にあるかを各画素の値から検知し、その位置から色を識別する。そして、代表色の色のみの画像を抽出し、カラー２値のフレーム画像を生成する。例えば、赤ペン、緑ペン、青ペンを用いて書かれた画像に対して、各色の画像部分のみを抽出し、各々１画素を１ビットで表したフレーム画像を生成する。このフレーム画像は、元の画像と同じ大きさであり、赤色、緑色、青色とあるので３枚となる。なお、このフレーム画像は、画像処理モジュール１０３によって圧縮処理されてもよい。
ステップＳ６０５では、携帯電話３００の画像処理モジュール１０３が、ステップＳ６０４で生成されたフレーム画像をステップＳ６０８で圧縮処理された画像に添付する。
【００５５】
ステップＳ６０６では、携帯電話３００の画像処理モジュール１０３が、ステップＳ６０２で地肌除去された画像から文字部分の画像（多値画像）を切り出す処理を行う。これは、サーバ側で２値画像から色情報を再現するために用いるものである。
ステップＳ６０７では、携帯電話３００の画像処理モジュール１０３が、ステップＳ６０６で切り出された画像をステップＳ６０８で圧縮処理された画像に添付する。
【００５６】
ステップＳ６０８では、携帯電話３００の圧縮モジュール１０４が、ステップＳ６０３で２値化処理された画像に対して圧縮処理を行う。ここでの圧縮処理も既存の手法を用いるが、この圧縮画像を受け取るサーバ側で伸長できるような圧縮処理である必要がある。
ステップＳ６０９では、携帯電話３００の通信モジュール１０５が、ステップＳ６０８で圧縮処理した画像、ステップＳ６０５で添付されたフレーム画像、ステップＳ６０７で添付された多値画像のサンプルをサーバへ送信する。
なお、ステップＳ６０４、ステップＳ６０５の処理、またはステップＳ６０６、ステップＳ６０７の処理は行わない場合もあり、いずれか一方だけを行う場合もある。
【００５７】
図７を用いて、サーバ側である画像処理システムで行われる手書きメッセージ画像受信から携帯電話への送信までの処理例を説明する。
ステップＳ７０１では、サーバの通信モジュール１５１が、携帯電話３００の通信モジュール１０５によって送信された圧縮画像等を受信する。
ステップＳ７０２では、サーバの伸張モジュール１５３が受信した圧縮画像を伸長する。
ステップＳ７０３では、サーバの画像処理モジュール１５４が、伸長した画像に対して、エッジ強調、コントラスト自動調整、プリント台紙との濃度バランス調整、拡大縮小、位置微調整、かすれ文字補間処理等を行う。
【００５８】
ステップＳ７０４では、サーバの画像処理モジュール１５４が、ペン色を再生する処理を行う。つまり、携帯電話３００より送信されてきた画像は地肌除去された２値画像であり、色情報は削除されたものである。通信モジュール１５１が受信した圧縮画像以外のフレーム画像、または多値画像のサンプル画像から色情報を再現する。
フレーム画像を用いた処理として、例えば、赤色のフレーム画像を用いて、赤ペンで書かれた文字部分を元の画像に赤色で上書きすることによって、赤色を付加することができる。同様に、緑色、青色についても処理を行う。
【００５９】
また、多値画像のサンプル画像を用いた処理として、例えば、そのサンプル画像の色空間を解析して、元の色情報を再現し、画像に色情報を付加するようにする。また、ここで色情報を一意に特定できない場合は、推定した色情報を用いて複数の画像を作成する。ここでは、Ｓ６０４とほぼ同様の処理を行う。つまり、ステップＳ７０３で画像処理された画像から文字部分の色を識別する処理を行う。例えば、地肌除去された画像が色空間内でどの位置にあるかを各画素の値から検知し、その位置から色を識別する。そして、代表色の色のみの画像を抽出し、カラー２値のフレーム画像を生成する。例えば、赤ペン、緑ペン、青ペンを用いて書かれた画像に対して、各色の画像部分のみを抽出し、各々１画素を１ビットで表したフレーム画像を生成する。このフレーム画像は、元の画像と同じ大きさであり、赤色、緑色、青色とあるので３枚となる。
ステップＳ７０５では、サーバのサムネイル画像作成モジュール１５２が、ステップＳ７０４で色が再現された画像からサムネイル画像を作成する。これは、商品に同梱するメッセージの出来上がりイメージを携帯電話３００に送信し、ユーザに最終的な確認をしてもらうためである。
ステップＳ７０６では、サーバの通信モジュール１５１が、ステップＳ７０５によって作成されたサムネイル画像を、もとの携帯電話３００へ送信する。
【００６０】
図８を用いて、携帯電話３００で行われる手書きメッセージのサムネイル画像受信からメッセージ画像を決定するまでの処理例を説明する。
ステップＳ８０１では、携帯電話３００の通信モジュール１０５が、サーバの通信モジュール１５１から送信されてきた手書きメッセージのサムネイル画像を受信する。
ステップＳ８０２では、携帯電話３００のＵＩモジュール１０６が、その受信したサムネイル画像を携帯電話３００のディスプレイ３１０に表示し、ユーザに選択できるようにする。
【００６１】
ステップＳ８０３では、ユーザは表示されたサムネイル画像でよいか否かの意思表示として操作を行い、携帯電話３００のＵＩモジュール１０６が、その操作を受けて、ＯＫか否かを判断する。ＯＫの場合はステップＳ８０４へ進み、ＯＫでない場合はステップＳ８０５へ進む。
ステップＳ８０４では、携帯電話３００の通信モジュール１０５が、ＯＫである旨の情報をサーバに送信する。
ステップＳ８０５では、携帯電話３００の通信モジュール１０５が、ＯＫではなく、再度処理することを示す情報をサーバに送信する。また、この際には、色情報に関するユーザからの指示を受け付けるようにしてもよい。
この後、この情報を受け取ったサーバでは、ＯＫであれば、手書きメッセージを台紙にプリントアウトして、発送処理の指示を出す。また、ＯＫでなければ、再度サーバの画像処理モジュール１５４にて、色情報の付加が行われ、携帯電話３００に送信することが繰り返される。
【００６２】
次に、図９、図１０を用いて、地肌除去処理例を説明する。
図９は、画像処理装置における構成について示したブロック図である。
携帯電話３００の地肌除去モジュール１０２は、カラー画像用地肌検出モジュール９０１、カラー画像用地肌除去モジュール９０２、ユーザ指示モジュール９０３、メモリ９０４、ＨＩＳ空間変換モジュール９０５、ＲＧＢ空間変換モジュール９０６を有している。また、カラー画像用地肌検出モジュール９０１は、地肌レベル検出モジュール９０７と地肌除去レベル算出モジュール９０８を有している。
【００６３】
地肌レベル検出モジュール９０７は、メモリ９０４に入力されたＨＩＳ（Ｈｕｅ  Ｉｎｔｅｎｓｉｔｙ  Ｓａｔｕｒａｔｉｏｎ）空間で表されるカラー画像データを地肌の分布に応じて複数のエリアに分割し、分割されたエリア毎にエリア内に存在する画素のＨＩＳ空間のＨ（色相）、Ｉ（明度）、Ｓ（彩度）の各チャンネル毎の値によって、ヒストグラムを作成する。
作成したヒストグラムから、地肌レベルとして閾値をＨ、Ｉ、Ｓの各チャンネル毎に決定し、また、地肌除去の優先順位（ここでは、Ｈ、Ｉ、Ｓの順に優先順位がついているとする）が１位のチャンネルについては、地肌レベルとして地肌の範囲を示す範囲値を決定する。
なお、ここでは、チャンネルの地肌除去の優先順位は、Ｈ、Ｉ、Ｓの順としたが、これ以外であってもよく、またユーザによって指示され、ユーザ指示モジュール９０３がその指示に従って優先順位を指定してもよい。
【００６４】
このように作成したヒストグラムより、地肌レベルとして閾値と範囲値を決定する。
閾値は、作成したヒストグラムをＨ、Ｉ、Ｓ毎に作成し頻度最大値をもって閾値と決定するが、他に、作成したヒストグラムを解析して決定するやり方や、エリア内のＨ、Ｉ、Ｓの各チャンネルのそれぞれの平均値、中間値を計算して算出した値を閾値と決定するやり方も可能である。
範囲値は、閾値からの幅であり、ユーザ指示モジュール９０３よりユーザの所望する地肌除去基準がカラー画像用地肌検出モジュール９０１に送られ、送られた地肌除去基準に応じて地肌レベル検出モジュール９０７に予め設定されているデータ列から決定される。
そして、検出された地肌レベルは、カラー画像用地肌検出モジュール９０１内の地肌除去レベル算出モジュール９０８により、入力カラー画像データが例えばムラ原稿や貼り合せ原稿の場合に対応して、地肌レベルを調整して地肌除去レベルが算出される。
【００６５】
地肌除去レベル算出モジュール９０８で、入力カラー画像データがムラ原稿の場合には、分割されたエリアのチャンネル毎の地肌レベルが徐々に連続的に変化するように調整する方式が行われ、貼り合せ原稿の場合には、分割されたエリアのチャンネル毎の地肌レベルが急激に切り替えられる方式によって調整が行われて、分割されたエリアにおけるチャンネル毎に地肌除去レベルが算出される。
カラー画像用地肌除去モジュール９０２は、カラー画像用地肌検出モジュール９０１から送られた地肌除去レベルを元にメモリ９０４に保存されているカラー画像データの地肌除去処理を行う。
カラー画像用地肌除去モジュール９０２に送られる情報は、地肌除去レベル算出モジュール９０８で地肌除去レベルが算出された後に、カラー画像用地肌検出モジュール９０１から、地肌除去レベルである各チャンネル毎の閾値と、優先順位が１位のチャンネルの範囲値と、優先して地肌除去するチャンネルの優先順位とが送られる。
【００６６】
カラー画像用地肌除去モジュール９０２において地肌除去されるカラー画像データは、メモリ９０４からカラー画像用地肌除去モジュール９０２に送られる。
ユーザ指示モジュール９０３は、携帯電話３００のＵＩモジュール１０６の一部であり、地肌除去する強弱を地肌除去基準として、ユーザが地肌除去基準を強、中、弱で入力する。また、場合によっては、範囲値をユーザが直接入力したり、地肌レベルを表す範囲値を自動で決定する選択の入力をユーザが行う。
また、ユーザ指示モジュール９０３から、地肌除去処理が行われる際に、優先して地肌除去を行うＨ、Ｉ、Ｓのチャンネルの優先順位が、ユーザによって入力されるようにしてもよい。
【００６７】
メモリ９０４は、地肌除去処理されるＨＩＳの色空間で表現されるカラー画像データが入力され、表現されるカラー画像データが、カラー画像用地肌検出モジュール９０１で閾値と範囲値が検出される際に、処理速度を上げる為に、地肌除去の対象となるカラー画像データをメモリ９０４内に保存する処理を行う。
ＨＩＳ空間変換モジュール９０５は、地肌除去の対象となるカラー画像データがＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）の色空間で表現されている場合に、ＲＧＢの色空間で表現されているカラー画像データをＨＩＳの色空間で表現するように、ＲＧＢからＨＩＳへの色空間の変換処理を行う。
【００６８】
ＨＩＳ空間変換モジュール９０５で変換されたカラー画像データはＨＩＳの色空間で表現され、Ｈ、Ｉ、Ｓの各チャンネルの値がともに０から２５５へ拡張されてメモリ９０４に送られる。
ＲＧＢ空間変換モジュール９０６は、カラー画像用地肌除去モジュール９０２によって地肌が除去されたＨＩＳの色空間で表現されるカラー画像データを、ＲＧＢの色空間で表現されるように変換する処理を行う。
【００６９】
このように、ＲＧＢの色空間によって表現されたカラー画像データがＨＩＳ空間変換モジュール９０５に入力され、ＨＩＳ空間変換モジュール９０５において入力カラー画像データの色空間がＲＧＢからＨＩＳに変換されてメモリ９０４に保存される。そして、ユーザ指示モジュール９０３より入力された地肌除去基準等の情報により、カラー画像用地肌検出モジュール９０１内で地肌除去レベルが算出され、カラー画像用地肌除去モジュール９０２で入力カラー画像データの地肌除去処理が行われ、ＲＧＢ空間変換モジュール９０６でＨＩＳ空間からＲＧＢ空間に変換されて、地肌除去処理されたＲＧＢ空間のカラー画像データが生成される。
【００７０】
図１０は、地肌除去処理が行われるエリア内の１つの画素について行われる地肌除去処理の処理フローを示したフローチャートである。
ステップＳ１００１では、チャンネルの優先順位である、Ｈ、Ｉ、Ｓの順番を受け付ける。または、ユーザ指示モジュール９０３より地肌除去を行うチャンネルの優先順位である、Ｈ、Ｉ、Ｓの順番を受け付ける。
ステップＳ１００２では、カラー画像用地肌検出モジュール９０１内の地肌レベル検出モジュール９０７で、メモリ９０４に入力されたＨＩＳ空間で表現されるカラー画像データを複数のエリアに分割し、その分割したエリアのうちの１つのエリア内に存在する画素のＨ、Ｉ、Ｓの各チャンネルの値によってヒストグラムを形成して、Ｈ、Ｉ、Ｓの各チャンネル毎に地肌レベルである閾値と地肌レベルである範囲値を決定する。
【００７１】
ステップＳ１００３では、カラー画像用地肌検出モジュール９０１内の地肌除去レベル算出モジュール９０８で、地肌除去レベルとして各チャンネル毎の閾値にＨ＿Ｈｉｓｔｍａｘ、Ｉ＿ｈｉｓｔｍａｘ、Ｓ＿ｈｉｓｔｍａｘを算出し、そして、ユーザ指示モジュール９０３により受け付けた優先順位が１位のチャンネルについて地肌を示す範囲がＨ＿α１からＨ＿α２であるとして算出する。
ステップＳ１００４では、カラー画像用地肌除去モジュール９０２において、分割されたエリア内の１つの画素の画素値はＨｎ、Ｉｎ、Ｓｎであり、優先順位はＨ、Ｉ、Ｓの順番なので、優先順位が１位のチャンネルであるＨのチャンネルについての判断を行う。
ステップＳ１００５では、Ｈについての判断結果に応じて２位のＩのチャンネルについての判断を行う。
【００７２】
ステップＳ１００６またはステップＳ１００７では、ステップＳ１００４、ステップＳ１００５の結果に応じてチャンネルＨ、Ｉ、Ｓについて地肌除去処理した値を求める。
なお、ステップＳ１００４で行われる優先順位が１位のチャンネルについての判断は、地肌除去処理が行われる画素の画素値が地肌を表す範囲に含まれているかどうかによって行われる。つまり、優先順位１位のチャンネルであるＨについて、画素値であるＨｎが、Ｈ＿α１＜Ｈｎ＜Ｈ＿α２となっているかどうかの判断が行われる。
また、ステップＳ１００５で行われる優先順位が２位のチャンネルについての判断は、地肌除去処理が行われる画素の画素値が地肌レベルである閾値以下であるかどうかによって行われる。つまり、優先順位２位のチャンネルであるＩについて、画素値であるＩｎが、Ｉｎ＜Ｉ＿ｈｉｓｔｍａｘとなっているかどうかの判断が行われる。
【００７３】
優先順位１位のチャンネルについての判断がＹＥＳである場合、つまり、Ｈ（色相）の値であるＨｎが、Ｈ＿α１＜Ｈｎ＜Ｈ＿α２となっている場合には（ステップＳ１００４でＹＥＳ）、処理される画素は地肌の可能性があると判断してステップＳ１００５に進む。
次にステップＳ１００５において、優先順位２位のチャンネルであるＩ（明度）についての判断が行われ、Ｉの値であるＩｎが、Ｉｎ＜Ｉ＿ｈｉｓｔｍａｘとなっているかどうかを判断する。
【００７４】
ステップＳ１００６では、優先順位２位のチャンネルについての判断がＹＥＳである場合、つまり、Ｉの値であるＩｎが、Ｉｎ＜Ｉ＿ｈｉｓｔｍａｘとなっている場合には（ステップＳ１００５でＹＥＳ）、処理される画素は地肌であると判断して、画素値であるＨｎ、Ｉｎ、Ｓｎの値を、色相を表すＨｎの値は変えずに、Ｉの値を色が最も明るくなる値である０とし、Ｓの値を色が最も鮮やかでない灰色に近くなる値である０に決定する。
【００７５】
なお、明度に関しては、色空間上の値の範囲を０から２５５として、明度の値が０に近づくほど色の明るさが明るくなって白に近づき、明度の値が２５５に近づくほど色の明るさが暗くなって黒に近づくような明度を表す色空間を想定している。しかし、別の色空間であって、明度の値が２５５に近づくほど色の明るさが明るくなって白に近づき、明度の値が０に近づくほど色の明るさが暗くなって黒に近づくような明度を表す色空間においては、ステップＳ１００６で決定されるＩの値は０でなく２５５となり明度Ｉは明るい色に決定される。
また、ステップＳ１００４において、優先順位１位のチャンネルについての判断がＮＯである場合、つまり、Ｈの値であるＨｎが、Ｈ＿α１＜Ｈｎ＜Ｈ＿α２となっていない場合（ステップＳ１００４でＮＯ）や、或いは、ステップＳ１００５において、優先順位２位のチャンネルについての判断がＮＯである場合、つまり、Ｉ（明度）の値であるＩｎが、Ｉｎ＜Ｉ＿ｈｉｓｔｍａｘとなっていない場合（ステップＳ１００５でＮＯ）には、各チャンネルの地肌除去された値は、Ｈの値はＨｎとなり、Ｉ、Ｓの値は変換テーブルが使用されて決定される（ステップＳ１００７）。
【００７６】
以下に、本実施の形態の多値データで取り扱う場合の概要を示す。
携帯電話で撮影した画像に対して携帯電話側で地肌除去処理を行うことで、地肌とそれ以外（主に文字、図形など）に分離する。ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）圧縮など一般的な圧縮方法は、背景（地肌）と文字などのコントラストが大きいと圧縮率が低下する。
このため、本実施の形態では、文字が分離された元の画像に対してわざと地肌部分に文字部分よりもわずかに濃度の低いレベルの色を配色する。これによって、圧縮率の高い画像が生成できる。この画像は一般的には見にくいものであるが、圧縮率は高い状態となる。
こうして圧縮された画像を携帯電話からサーバに転送し、その画像に対してサーバ側で伸長後、地肌除去処理を施すことで再度文字線画部分を抽出する。あとは２値データを取り扱う場合と同じような処理を加えることで、転送効率もあげ、高画質も維持できるシステムとなる。
【００７７】
ここで、携帯電話側で行う処理は、主に、地肌除去処理、文字線画の分離処理、地肌着色処理、圧縮処理等である。
ここで、サーバ側で行う処理は、主に、伸長処理、追加的な画像後処理等である。
【００７８】
全体のモジュール構成は、図１と同じであるが、携帯電話３００の画像処理モジュール１０３は、地肌除去モジュール１０２によって地肌が除去された画像に応じて地肌を付加する。そして、圧縮モジュール１０４は、画像処理モジュール１０３によって地肌が付加された画像を圧縮する。
また、携帯電話３００の画像処理モジュール１０３は、地肌除去モジュール１０２によって地肌が除去された画像に対して、濃度を低くするようにしてもよい。つまり、地肌の濃度と地肌以外の部分の濃度とが類似していることが圧縮率を高めるからである。
また、サーバ側の画像処理モジュール１５４は、伸張モジュール１５３によって伸長した画像に対して地肌を除去する。この地肌除去処理は、携帯電話３００の地肌除去モジュール１０２と同様である。
【００７９】
図１１を用いて、携帯電話３００で行われる手書きメッセージ撮影から送信までの多値データで取り扱う処理例を説明する。
ステップＳ１１０１では、ユーザが携帯電話３００のカメラ１０１を用いて、商品に同梱する手書きメッセージを写真撮影する。
ステップＳ１１０２では、携帯電話３００の地肌除去モジュール１０２が、撮影された画像から地肌除去を行う。この地肌除去処理は、前述した図９、図１０の説明と同様である。
ステップＳ１１０３では、ステップＳ１１０２で地肌除去された画像に文字画像の濃度に類似した濃度の地肌を付加する。ここでの濃度は、後に地肌除去が可能となるような濃度である。つまり、地肌除去された画像から残っている画像（文字画像等）の濃度を検知し、その濃度に類似した濃度（文字画像等の濃度よりも高くてもよく、低くてもよい）で地肌を付加する。また、ここで、地肌を付加する代わりに、文字画像等の部分の濃度を低くするようにすることを行ってもよい。
ステップＳ１１０４では、携帯電話３００の圧縮モジュール１０４が、ステップＳ１１０３で地肌が付加された画像に対して圧縮処理を行う。地肌が付加されない場合よりも、高圧縮率で圧縮することが可能となる。
ステップＳ１１０５では、携帯電話３００の通信モジュール１０５が、ステップＳ１１０４で圧縮処理された画像をサーバに送信する。
【００８０】
そして、サーバ側では、通信モジュール１５１が、携帯電話３００の通信モジュール１０５によって送信された圧縮画像を受信し、伸張モジュール１５３が受信した画像を伸長し、画像処理モジュール１５４がその伸長した画像に対して地肌を除去し、プリンタ１５５が地肌が除去された画像を印刷する。また、携帯電話３００によって、文字画像等の部分の濃度を低くする処理が行われた場合は、地肌除去処理は不要であるが、文字画像等の部分の濃度を高める処理が必要である。
【００８１】
なお、本実施の形態では、携帯端末として、携帯電話を主に例示して説明したが、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、ゲーム機等でもよく、携帯可能であり、通信も可能なものであればよい。
携帯電話側で動作するプログラムは、予め携帯電話にインストールされていてもよいし、発注システムにログインした際に、通信回線を介して携帯電話にインストールするようにしてもよい。
【００８２】
なお、地肌除去の処理部分については、例えば以下のような発明（［Ａ１］〜［Ａ５］）としても把握することができる。
［Ａ１］入力した画像データを所定の色空間における各チャンネルのデータに変換する変換手段と、
前記変換手段で変換された前記各チャンネルのデータからそれぞれ地肌レベルを検出する地肌検出手段と、
前記地肌検出手段で検出した前記各チャンネルの地肌レベルに基づき各チャンネルの地肌除去レベルを算出する算出手段と、
前記算出手段で算出した各チャンネルの地肌除去レベルに基づき前記各チャンネル毎に地肌除去処理を行う画像用地肌除去手段と、
前記画像用地肌除去手段で地肌除去処理された各チャンネルのデータに基づき地肌が除去された画像データを生成する生成手段
を有している地肌除去手段。
【００８３】
［Ａ２］前記入力した画像データを複数の領域に分割する領域分割手段を更に具備し、前記地肌検出手段による地肌レベルの検出および前記算出手段による地肌除去レベルの算出および前記画像用地肌除去手段による地肌除去処理を前記領域分割手段で分割された領域毎に行う［Ａ１］項記載の地肌除去手段。
【００８４】
［Ａ３］前記画像用地肌除去手段は、
前記所定の色空間における各チャンネルの優先順位を設定する優先順位設定手段と、
前記優先順位設定手段で優先順位が第１位に設定されたチャンネルの地肌除去レベルに基づき該チャンネルのデータの各画素に対して地肌除去処理を実行する第１の地肌除去処理手段と、
前記算出手段で算出された地肌除去レベルに基づき他のチャンネルのデータの各画素に対して地肌除去処理を実行する第２の地肌除去処理手段
を具備する［Ａ１］または［Ａ２］記載の地肌除去手段。
【００８５】
［Ａ４］前記所定の色空間における各チャンネルは、
色相を表すＨチャンネルと、明度を表すＩチャンネルと、彩度を表すＳチャンネルとからなり、
前記優先順位設定手段は、
前記Ｈチャンネルを第１の優先順位、前記Ｉチャンネルを第２の優先順位、前記Ｓチャンネルを第３の優先順位に設定し、
前記第１の地肌除去処理手段は、
前記Ｈチャンネルのデータの各画素のレベルが前記所定の範囲内である場合に該画素を地肌除去対象として設定し、
前記第２の地肌除去処理手段は、
前記Ｈチャンネルの画素が地肌除去対象と設定され、かつ前記Ｉチャンネルの当該画素が当該チャンネルの地肌除去レベルより低い場合は、前記Ｉチャンネルの当該画素を地肌除去対象として設定して地肌除去処理を実行する［Ａ３］記載の地肌除去手段。
【００８６】
［Ａ５］前記第２の地肌除去処理手段は、
前記Ｉチャンネルの画素が地肌除去対象と設定された場合は、前記Ｉチャンネルの当該画素および前記Ｓチャンネルのレベルを最小の値にすることにより当該画素の地肌除去処理を実行し、前記Ｉチャンネルの画素が地肌除去対象と設定されない場合は、前記Ｉチャンネルの当該画素のレベルを前記Ｉチャンネルの地肌レベルにしたがって下げるとともに、前記Ｓチャンネルの当該画素のレベルを前記Ｉチャンネルの当該画素のレベルの下げ量に対応して下げることにより当該画素の地肌除去処理を実行する［Ａ４］記載の地肌除去手段。
【００８７】
なお、説明したプログラムについては、記録媒体に格納することも可能であり、その場合は、例えば以下の発明としても把握することができる。
携帯端末に、
商品の注文を受け付ける注文受付機能と、
前記注文受付機能によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力機能と、
前記画像入力機能によって入力した画像の地肌を除去する地肌除去機能と、
前記地肌除去機能によって地肌を除去した画像に対して画像処理を行う画像処理機能と、
前記画像処理機能によって画像処理した画像を圧縮する圧縮機能と、
前記圧縮機能によって圧縮した画像を送信する送信機能
を実現させることを特徴とする画像処理プログラムを記録した携帯端末読み取り可能な記録媒体。
【００８８】
コンピュータに、
圧縮画像を受信する受信機能と、
前記受信機能によって受信した圧縮画像を伸長する伸長機能と、
前記伸長機能によって伸長した画像に対して画像処理する画像処理機能と、
前記画像処理機能によって画像処理した画像を印刷する印刷機能
を実現させることを特徴とする画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【００８９】
携帯端末に、
商品の注文を受け付ける注文受付機能と、
前記注文受付機能によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力機能と、
前記画像入力機能によって入力した画像の地肌を除去する地肌除去機能と、
前記地肌除去機能によって地肌が除去された画像に応じて地肌を付加する地肌付加機能と、
前記地肌付加機能によって地肌が付加された画像を圧縮する圧縮機能と、
前記圧縮機能によって圧縮した画像を送信する送信機能
を実現させることを特徴とする画像処理プログラムを記録した携帯端末読み取り可能な記録媒体。
【００９０】
携帯端末に、
商品の注文を受け付ける注文受付機能と、
前記注文受付機能によって受け付けた商品に添付する手書きによるメッセージ画像を入力する画像入力機能と、
前記画像入力機能によって入力した画像の地肌を除去する地肌除去機能と、
前記地肌除去機能によって地肌が除去された画像に対して濃度を低くする処理を行う画像処理機能と、
前記画像処理機能によって処理された画像を圧縮する圧縮機能と、
前記圧縮機能によって圧縮した画像を送信する送信機能
を実現させることを特徴とする画像処理プログラムを記録した携帯端末読み取り可能な記録媒体。
【００９１】
コンピュータに、
圧縮画像を受信する受信機能と、
前記受信機能によって受信した圧縮画像を伸長する伸長機能と、
前記伸長機能によって伸長した画像に対して地肌を除去する地肌除去機能と、
前記地肌除去機能によって地肌が除去された画像を印刷する印刷機能
を実現させることを特徴とする画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【００９２】
「プログラムを記録したコンピュータ又は携帯端末読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータ又は携帯端末で読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、上記のプログラムまたはその一部は、上記記録媒体に記録して保存や流通等させることが可能である。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に乗せて搬送することも可能である。
さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。
【図面の簡単な説明】
【００９３】
【図１】本実施の形態である商品注文システムの概念的で全体的なモジュール構成図である。
【図２】本実施の形態である商品注文システムが用いられる一場面例を説明する図である。
【図３】携帯電話の構成例を示す説明図である。
【図４】携帯電話のハードウェア構成例を示すブロック図である。
【図５】画像処理システム（サーバ）のハードウェア構成例について説明する図である。
【図６】携帯電話で行われる手書きメッセージ撮影から送信までの処理例を示すフローチャートである。
【図７】画像処理システム（サーバ）で行われる手書きメッセージ画像受信から携帯電話への送信までの処理例を示すフローチャートである。
【図８】携帯電話で行われる手書きメッセージのサムネイル画像受信から決定までの処理例を示すフローチャートである。
【図９】地肌除去処理例を説明するモジュール構成図である。
【図１０】地肌除去処理例を示すフローチャートである。
【図１１】携帯電話で行われる手書きメッセージ撮影から送信までの処理例を示すフローチャートである。
【図１２】商品注文システムが扱う注文データの構造例を説明する図である。
【符号の説明】
【００９４】
１０１…カメラ
１０２…地肌除去モジュール
１０３…画像処理モジュール
１０４…圧縮モジュール
１０５…通信モジュール
１０６…ＵＩモジュール
１５１…通信モジュール
１５２…サムネイル画像作成モジュール
１５３…伸張モジュール
１５４…画像処理モジュール
１５５…プリンタ
９０１…カラー画像用地肌検出モジュール
９０２…カラー画像用地肌除去モジュール
９０３…ユーザ指示モジュール
９０４…メモリ
９０５…ＨＩＳ空間変換モジュール
９０６…ＲＧＢ空間変換モジュール
９０７…地肌レベル検出モジュール
９０８…地肌除去レベル算出モジュール
【図１】
0004720633.tif 000002
【図２】
0004720633.tif 000003
【図３】
0004720633.tif 000004
【図４】
0004720633.tif 000005
【図５】
0004720633.tif 000006
【図６】
0004720633.tif 000007
【図７】
0004720633.tif 000008
【図８】
0004720633.tif 000009
【図９】
0004720633.tif 000010
【図１０】
0004720633.tif 000011
【図１１】
0004720633.tif 000012
【図１２】
0004720633.tif 000013