(57)【要約】【課題】  簡単な操作や処理で、端末が送信する画像の加工処理ができるようにする。【解決手段】  撮影部と、撮影部で撮影された画像を表示させる表示部と、撮影部で撮影されて前記表示部に表示された画像を送信する機能を有する場合に、表示部に表示された画像内の特定の位置を指定することで、その操作で指定された個所の表示色と近似する色の範囲を撮影画像中から抽出して、その抽出した範囲を、予め用意された別の画像に置き換える画像処理を行い、その画像処理で生成された画像を送信するようにした。【選択図】      図２
2006338604.tif 000002
【特許請求の範囲】
【請求項１】
撮影部と、
前記撮影部で撮影された画像を表示させる表示部と、
撮影部で撮影されて前記表示部に表示された画像内の特定の位置を指定する操作部と、
前記操作部の操作で指定された個所の表示色と近似する色の範囲を撮影画像中から抽出して、その抽出した範囲を、予め用意された別の画像に置き換える画像処理部と、
前記画像処理部での処理で生成された画像を送信する送信部とを備えることを特徴とする
通信端末装置。
【請求項２】
請求項１記載の通信端末装置において、
前記特定の表示色と近似する色で抽出される範囲は、前記指定された個所と連続する範囲だけとしたことを特徴とする
通信端末装置。
【請求項３】
請求項１記載の通信端末装置において、
前記特定の表示色と近似する色の範囲を、前記操作部の操作で設定できるようにしたことを特徴とする
通信端末装置。
【請求項４】
請求項１記載の通信端末装置において、
前記画像処理部での置き換えのための操作を前記操作部が行っている間、予め用意された画像又は操作を行う直前の画像を、前記送信部から送信させるようにしたことを特徴とする
通信端末装置。
【請求項５】
撮影した画像を表示させる処理を行い、
前記処理で表示された画像内の特定の位置が指定された場合に、
その指定された個所の表示色と近似する色の範囲を撮影画像中から抽出する抽出処理と、
前記抽出処理で抽出した範囲の画像を、予め用意された別の画像に置き換える置換え処理と、
前記置換え処理で生成された画像を送信する送信処理とを行うことを特徴とする
画像通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、いわゆるテレビ電話機能を有する携帯電話端末に適用して好適な通信端末装置、及びその端末装置での処理に適用される画像通信方法に関する。
【背景技術】
【０００２】
携帯電話端末には、静止画又は動画像の撮影を行う撮影機能が内蔵されたものが普及している。この場合、単に撮影した画像を端末の表示部に表示させるだけでなく、携帯電話端末を使用した通信で、撮影した画像を通話相手に送信する処理を行うことで、相手の顔を見ながら通話を行う、いわゆるテレビ電話機能を実現したものがある。
【０００３】
テレビ電話機能で端末が撮影した画像を相手に送信する場合には、撮影部が撮影した画像をそのまま送信するだけでなく、画像に何らかの加工を施して送信する場合がある。例えば、予め用意された装飾用の画像を合成して、その合成された画像を相手に送信することが可能な端末が開発されている。相手の端末への送信としては、テレビ電話機能を利用する場合の他に、例えば電子メールに画像を添付して送信する場合もあり、そのような場合にも、同様な画像加工をする場合がある。
【０００４】
また、より高度な画像処理として、例えば、特許文献１に記載のように、撮影された画像の背景となる範囲を指定して、その指定した背景の範囲を、別の画像に置換える画像加工処理を行うことについての開示がある。
【特許文献１】特開２０００−２６１６４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、特許文献１に記載されたような画像処理を行うための操作は比較的複雑な操作であり、テレビ電話機能を利用した通話を行う際に端末で迅速に操作を行うことに適用するのには無理がある。特に、画像のどの範囲に加工を施すかを設定する操作は、簡単ではなく、問題があった。
【０００６】
また、携帯電話端末の如き通信端末は、カメラ機能や画像処理機能は本来の通信機能に付随する機能であり、コストや回路実装スペース上の制約などから、あまり高度な画像処理機能を搭載することは困難であり、上述した画像処理により撮影画像を加工する機能を持たせるのは好ましくない。
【０００７】
本発明はかかる点に鑑みてなされたものであり、簡単な操作や処理で、端末が送信する画像の加工処理ができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、撮影部と、撮影部で撮影された画像を表示させる表示部と、撮影部で撮影されて前記表示部に表示された画像を送信する機能を有する場合に、表示部に表示された画像内の特定の位置を指定することで、その操作で指定された個所の表示色と近似する色の範囲を撮影画像中から抽出して、その抽出した範囲を、予め用意された別の画像に置き換える画像処理を行い、その画像処理で生成された画像を送信するようにしたものである。
【０００９】
このようにしたことで、画像中の任意の位置を指定するだけで、その指定した位置の色から、置き換える範囲が決まり、その範囲を別の画像に置き換える加工処理が行われることになる。
【発明の効果】
【００１０】
本発明によると、送信するための高度な画像加工が簡単な処理及び操作で行え、例えばテレビ電話の開始時のような場合に迅速に加工操作ができ、通信端末が備える画像処理機能として好適である。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の一実施の形態を、添付図面を参照して説明する。
【００１２】
図１は、本例の携帯電話端末装置１０の構成例を示した図である。本例の携帯電話端末装置１０は、無線電話用の基地局と無線通信を行うための無線電話通信用アンテナ１１を備え、そのアンテナ１１が無線電話通信用の通信回路１２に接続してあり、制御部２０の制御で、基地局との間で無線通信を行うようにしてある。通信回路１２で通話用の通信を行う際には、受信した音声データをスピーカ１４に供給して出力させる。このスピーカ１４から出力させる際には、図示しない音声処理部でスピーカ出力用の処理が行われる。また、マイクロフォン１３が拾って得た音声データを、音通信回路１２に供給して送信させる。この送信時にも、図示しない音声処理部でマイクロフォン１３の出力を送信用の音声データとする音声処理が行われる。
【００１３】
この携帯電話端末装置１０は、液晶ディスプレイなどで構成された表示部４０と、操作キーなどで構成された操作部１６を備える。表示部４０には、メール文、ウェブにアクセスさせた画面の表示や、後述するカメラ部３２で撮影された画像の表示などが行われる。操作部１６は、電話番号やメール文などの入力操作、各種モード設定、カメラ撮影操作などが行える。後述する画像加工処理の操作についても、表示部４０での表示をおこないながら表示部１６に表示させる。
【００１４】
これらの端末装置１０内の各ブロックは、制御ライン２３を介して制御部１９などと接続してあり、またデータライン２４を介してデータ転送を行える構成としてあり、メモリ１５に必要なデータを記憶させるようにしてある。このメモリ１５には、携帯電話端末として必要なデータだけでなく、画像データなどの端末が備えるアプリケーション用のデータについても記憶される。後述する画像編集で使用される置換え用の画像のデータについてもメモリ１５に予め記憶させてある。この置換え用の画像データは、予め端末にプリセットとして用意させても良いが、ユーザ操作で例えばカメラ部３２が撮影した画像を、置換え用の画像データとして登録させたり、或いはインターネットなどを経由したアクセスで任意の画像をダウンロードして登録させてもよい。なお、メモリ１５とは別に、大容量のデータ記憶手段であるハードディスクドライブ装置などを備えてもよい。
【００１５】
また、本例の携帯電話端末１０は、カメラ部３２とそのカメラ部３２での撮影を制御する撮像制御部３１とを備え、静止画及び動画の撮影が行える構成としてある。撮影された画像データは、メモリ１５に記憶させることができ、また通信回路１２に送って、この端末１０が通信を行う相手に送信することができる。送信としては、音声通話時に同時に撮影した画像を連続的に送って相手側の端末に動画像を表示させる、テレビ電話としての送信処理を行う場合と、電子メールを送信させる際に、そのメールに静止画像又は動画像のデータを添付させて行う場合とがある。
【００１６】
これらの送信を行う画像データについては、本例の端末では、制御部２０の制御で画像の編集（加工）処理が行えるようにしてある。編集処理を行う際には、表示部４０に表示させて、操作部１６での操作に基づいて行われる。本例の場合の編集としては、ユーザが指定した個所に表示された色とほぼ同じ色の範囲を、予め用意された別の画像に置換えるようにしてある。その具体的な編集処理については後述する。
【００１７】
次に、本例の携帯電話端末１０で、テレビ電話機能を利用して通話を行う際の、画像加工処理例を、図２のフローチャートを参照して説明する。まず、テレビ電話による通話の開始操作があると（ステップＳ１１）、通話方法を選択させる操作を、画面表示などに基づいてユーザに実行させる（ステップＳ１２）。ここでのテレビ電話による通話の開始とは、自らの端末から発信させるための開始の場合と、相手の端末からの着信で開始させる場合のいずれも含む。ここで、通話方法として、画像編集（画像加工）をしないでテレビ電話通話を行うことがユーザ操作で選択された場合には、その選択された処理で通話を開始させる処理に移る。
【００１８】
そして、通話方法として、画像編集を行うことを選択した場合には、携帯電話端末１０での操作として、置換える画像を選択させる操作が、表示部４０での表示と操作部１６での操作で実行される（ステップＳ１３）。このとき同時に、予めメモリ１５に格納されている画像（もしくは加工時に選択したメモリ１５に格納されている画像）を、メモリ１５から読み出して（ステップＳ１４）、通信回路１２に送り、その画像（以下この画像を画像Ａとする）を、自らの端末のカメラ部３２で撮影した画像の代わりに、通話相手に対して送信する（ステップＳ１５）。この画像Ａの送信は、基本的に合成画像が生成されるまで（後述するステップＳ２１まで）、繰り返し送信される。この画像Ａとしては、例えば文字メッセージなどで、「画像編集中です。カメラ画像が表示されるまで、しばらくお待ち下さい。」と表示させるような画像としてもよい。或いは、この端末１０の所持者の顔の画像（静止画像など）を予め登録しておいて、その登録された所持者の顔の画像のデータを送るようにしてもよい。
【００１９】
そして、これらの画像Ａが送信されている間に、現在カメラ部３２で撮影された画像を、表示部４０に表示させ（ステップＳ１６）、画像の加工設定の内容を変更する際は、ユーザ操作で変更作業を実行させる（ステップＳ１７）。次に、置換えを行う色を、表示部４０に表示されたポインタを使用して、選択させる（ステップＳ１８）。この色の選択は、例えば後述する表示例のように、表示された撮影画像中にポインタを表示させて、そのポインタが指示している個所の色を、選択するようにする。或いは、表示画面の脇などに、多数の色を並べてパレットのような表示を行い、その表示された色の中からポインタで指示させた個所の色を選択するようにしてもよい。ここで色の選択があると、選択された箇所の色に近い色の範囲を算出する（ステップＳ１９）。この範囲の算出処理の詳細については後述するが、画像データがＹＵＶフォーマットやＲＧＢフォーマットの場合には、各要素信号の数値の範囲をそれぞれ持たせるような処理をすることで容易に実現できる。
【００２０】
そして、算出された範囲内の色以外の範囲を、現在撮影中の画像から抽出する（ステップＳ２０）。その抽出した画像を、ステップＳ１３で選択された配置画像に上書きさせる処理を行い、撮影画像と選択画像との合成を行う（ステップＳ２１）このようにして得られた合成画像を、通話相手に送信する（ステップＳ２２）。その後、合成内容の変更があるか否か判断し（ステップＳ２３）、変更がある場合には、ステップＳ１３及びＳ１４から処理が繰り返される。さらに、カメラ部３２での撮影は、所定のフレーム周期で連続して行われるので、テレビ電話機能を利用した通話の終了か否か判断されて（ステップＳ２４）、通話が終了でない場合にはステップＳ２０に戻り、ステップＳ２０〜Ｓ２２の処理がフレーム周期で繰り返し実行される。
【００２１】
図３は、このような操作でテレビ電話通話を行う際の、携帯電話端末１０での通話開始時の表示例を示した図である。この例では、通話者Ａが使用する端末１０ａでの表示例と、通話者Ｂが使用する端末１０ｂでの表示例とを示したものである。この例では、通話者Ｂから通話者Ｂへのテレビ電話の着信があり、その着信操作時に、端末１０ａで画像編集を行うことを操作した場合の例である。この情報では、端末１０ａの表示部４０で、その端末１０ａが備えるカメラ部３２で撮影した、通話者Ａの画像（自身の画像）の表示４１ａが、大きい表示で行われ、通話者Ｂの画像（相手の画像）の表示４２ａが、小さな表示で行われる。通話者Ａの画像の表示４１ａの中には、矢印などによるポインタ４３の表示があり、そのポインタ４３の表示位置が、操作部１６として用意されたカーソルキーなどの操作で変化する。なお、図３の表示は、画像編集時の表示であり、画像編集操作が終了して、通常のテレビ電話での表示時には、大きな表示４１ａで相手の画像が表示され、小さな表示４２ａで自身の画像が表示される。但し、小さな表示４２ａによる自身の画像については、編集加工後の画像であり、相手の端末に表示される画像と同じ画像である。
【００２２】
通話者Ｂが使用する端末１０ｂでの表示としては、その端末１０ｂが備えるカメラ部３２で撮影した、通話者Ｂの画像（自身の画像）の表示４２ｂが、小さい表示で行われ、相手から送られた画像による大きい表示４１ｂとして、相手の端末では編集中であるために、相手の端末側で編集作業中（色の選択作業中）に送信するように設定した画像が受信されて表示される。相手の端末１０ａ側での色の選択作業が終了すると、その選択に基づいた画像が送られて、表示４１ｂに表示されるようになる。
【００２３】
図４は、画像編集の操作例と、その操作に基づいた合成画像の例である。例えば、図４（ａ）に示すように、カメラ画像を表示させた状態で、その画像の中の特定位置を、ポインタ（矢印表示）で指示することで、その指示した位置の色が置換える色として指定される。色の指定があると、その指定された色と一致する色の範囲以外が、図４（ｂ）の上側に示すように抽出される。そして、図４（ｂ）の下側に示すように、置換える画像が用意されて、図４（ｃ）に示すように、置換える画像の上に、抽出された画像が張り付けられるような状態で両画像が合成される。
【００２４】
図５は、画像編集の操作例と、その操作に基づいた合成画像の別の例である。図４の例では背景を選ぶようにしてあるが、図５の例では、被写体としての画像中の特定個所をポインタで指定して、その個所と色が同じ個所の置換えを行うようにして、画像の加工を行うようにした例である。即ち、図５（ａ）に示すように、カメラ画像を表示させた状態で、その画像の中の被写体の特定位置（ここでは髪の毛の部分）を、ポインタ（矢印表示）で指示してある。このような色の指定があると、その指定された色と一致する色の範囲以外が、図５（ｂ）の上側に示すように抽出される。そして、図５（ｂ）の下側に示すように、置換える画像が用意されて、図５（ｃ）に示すように、置換える画像の上に、抽出された画像が張り付けられるような状態で両画像が合成され、ポインタで指示した髪の毛の色とほぼ同じ部分が、別の画像となる画像加工が行われる。
【００２５】
図６は、ポインタで指示した色と、実際に置換えられる色の範囲の設定例を示した図で、横軸は色度座標ｘであり、縦軸は色刺激ｙを示し、可視光の範囲を示してある。ここで、ポインタで指示された点の画素の表示色をαとすると、そのαを中心とした円で示される範囲βが、図２のフローチャートのステップＳ１９で算出された色の範囲となる。この範囲内の色が、置換える色となる。
【００２６】
より具体的に説明すると、画像の各画素のデータが原色信号ＲＧＢで構成されるとすると、例えばポインタで指示された点の画素の値が、それぞれＲ０，Ｇ０，Ｂ０であるとする。このとき、各画素の値が、Ｒ０±ａ，Ｇ０±ａ，Ｂ０±ａである場合に、置換える色として決定する。範囲を決める［±ａ］の値ａは、ユーザ操作で自由に設定できるようにしてもよい。値ａが小さい場合には、指示した色とほぼ完全に一致する個所が置換えられ、値ａが大きい場合には、指定した色とある程度近似する色の個所が置換えられるようになる。
【００２７】
このように本例の携帯電話端末によると、カメラ部で撮影された画像から他の画像へ置き換える色の範囲を選択するため、直感的でユーザにとってわかりやすい操作で、テレビ電話時のカメラで撮影されている画像の一部を置き換えることができる。例えば、図４に示した例のように、背景の一部を隠したいような場合に、その部分の色を指定することで、迅速な操作で隠したい背景を置換える加工が行え、ユーザが簡単に操作できる。また、加工処理が比較的単純な処理であり、画像加工を制御する制御部２０やメモリ１５の負担が少なく、端末構成への負荷が小さくてすむ。一般的なテレビ電話が可能な構成の端末であれば、ほとんどハードウェアを追加することなく実現できる。また、置換える色の範囲をある程度広くすることで、色むらが多少ある箇所でも同時に置き換えることが出来、良好な画像加工ができる。
【００２８】
また、図５に示した例のように、背景だけでなく唇や髪の毛等のさまざまな箇所の画像を置き換えることができ、様々な効果を持たせた画像とすることもできる。また、近似色と判断する範囲をある程度ユーザに選択できるようにすることで、置換える範囲を自由に設定でき、ユーザの好みに応じた処理ができる。
【００２９】
なお、ここまでの説明では、色を指定して、その指定した色と一致する範囲を、単純に別の画像と置換えるようにしたが、例えば、ポインタで画像中の特定位置を指定した場合に、その位置の色と一致する範囲の色で、なおかつポインタで指定した位置と連続する範囲だけを、置換える範囲としてもよい。具体的には、例えば図５の例で髪の毛をポインタで指示したとき、図５（ｃ）の合成画像で置換えられた範囲は、髪の毛だけでなく、首周りなどの服の一部の同じような色の部分についても、別の画像に置換えられた範囲となるが、ポインタで指定した位置と連続する同じ色の範囲である、髪の毛の部分だけを抽出範囲として、その部分だけを置換えるようにしてもよい。
【００３０】
また、上述した実施の形態では、テレビ電話の通話を行う場合の例について説明したが、例えば電子メールに添付して送信する画像を、同様の処理で編集（加工）するようにしてもよい。
【００３１】
また、ここまで説明した実施の形態では、携帯電話端末に適用した例としたが、端末内で撮影した画像を、その端末内で同様の操作や処理で編集して、端末外に送信する場合の各種構成に適用可能である。例えば、ＰＤＡ（Personal Digital Assistance）と称されるデータ処理端末に、カメラ部を備えると共に、無線ＬＡＮ（Local Area Network）などにアクセス可能な通信機能を備えて、撮影画像を送信できる構成とした場合に、図２のフローチャートに示した処理を行うプログラムをインストールして、そのプログラムの制御で同様の画像処理が行われる端末として機能するようにしてもよい。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施の形態による端末構成例を示すブロック図である。
【図２】本発明の一実施の形態による制御処理例を示したフローチャートである。
【図３】本発明の一実施の形態による着信時の色選択処理例を示した説明図である。
【図４】本発明の一実施の形態の操作による画像の例（例１）を示す説明図である。
【図５】本発明の一実施の形態の操作による画像の例（例２）を示す説明図である。
【図６】本発明の一実施の形態による色の範囲算出例のイメージを示す特性図である。
【符号の説明】
【００３３】
１０…携帯電話端末、１１…アンテナ、１２…通信回路、１３…マイクロフォン、１４…スピーカ、１５…メモリ、１６…操作部、２０…制御部、２１…制御ライン、２２…データライン、３１…撮像制御部、３２…カメラ部、４０…表示部
【図１】
2006338604.tif 000003
【図２】
2006338604.tif 000004
【図３】
2006338604.tif 000005
【図６】
2006338604.tif 000006
【図４】
2006338604.tif 000007
【図５】
2006338604.tif 000008