(57)【要約】【課題】送信者の健康状態や心理状態に関わらず、送信者が所望とする表情を通信相手に送信することができる通信端末及び画像送信方法を提供する。【解決手段】カメラ１で撮影して得られた送信者の画像を符号化して送信する一般的な機能に加えて、予め様々な表情の画像を作成して画像記憶部３に記憶させておいて、送信者１００が任意に選択できるようにし、送信者１００が現在の自己の表情をそのまま通信相手に送っても構わない場合にはカメラ１で撮影して得られた送信画像１００Ａを通信相手に送り、送信者１００が現在の自己の表情をそのまま通信相手に送りたくない場合には画像記憶部３に記憶された様々な表情の画像のなかで送信者１００が選択したものを通信相手に送る。【選択図】　　　図１
2004040615.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段と、前記撮影手段で撮影された画像を符号化して第１の送信画像を生成する符号化手段と、様々な表情の画像を記憶させた画像記憶手段と、前記画像記憶手段に記憶された複数の画像のうち送信者が所望とする１つを選択する表情選択手段と、前記表情選択手段にて選択された表情に対応する画像を前記画像記憶手段から読み出して第２の送信画像を生成する画像生成手段と、前記第１の送信画像と前記第２の送信画像のいずれか一方を選択する送信画像選択手段と、を具備することを特徴とする通信端末。
【請求項２】
前記画像生成手段で生成された第２の送信画像を、その画像の動画像符号化方式及び伝送方式と異なる方式を採用した他の通信端末でも扱えるように、その異なる方式に変換するフォーマット変換手段を具備することを特徴とする請求項１記載の通信端末。
【請求項３】
音声入力手段を具備し、前記表情選択手段は、送信者によって選択された複数の表情の画像をプリセットしておくと共に、通信中に前記音声入力手段により入力された音声の強弱や台詞のキーワードに応じて、プリセットしている複数の画像のうち対応するものを選択することを特徴とする請求項１又は請求項２記載の通信端末。
【請求項４】
前記表情選択手段は、通信中に通信相手の通信端末より送られてきた表情選択指示に従って前記画像記憶手段に記憶された複数の画像のうち指定されたものを選択することを特徴とする請求項１から請求項３のいずれかに記載の通信端末。
【請求項５】
前記画像記憶手段に記憶させる画像データの追加・削除・交換を行う画像制御手段を具備することを特徴とする請求項１から請求項４のいずれかに記載の通信端末。
【請求項６】
送信者が撮影した画像を取り込んで前記画像記憶手段に記憶させる画像入力手段を具備することを特徴とする請求項１から請求項５のいずれかに記載の通信端末。
【請求項７】
前記画像入力手段は、電気通信回線を介して外部より画像データの取り込み、記憶媒体に記憶された画像データの取り込み並びに画像読取手段にて読み取られた画像データの取り込みを行うことを特徴とする請求項６記載の通信端末。
【請求項８】
請求項１から請求項７のいずれかに記載の通信端末を具備することを特徴とする移動体通信システム。
【請求項９】
カメラで撮影した画像を符号化して第１の送信画像を生成する一方、予め様々な表情の画像を作成して保存しておいてユーザが任意に選択できるようにし、前記ユーザが現在の自己の表情をそのまま通信相手に送っても構わない場合には前記第１の送信画像を前記通信相手に送り、前記ユーザが現在の自己の表情をそのまま通信相手に送りたくない場合には前記保存中の様々な表情の画像のうちユーザが選択したものを第２の送信画像として前記通信相手に送ることを特徴とする画像送信方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像伝送が可能な通信端末及び画像送信方法に関する。
【０００２】
【従来の技術】
従来技術として、例えば特開２００１−１２７９９０号公報で開示されたものが知られている。
【０００３】
図５は、同公報で開示された情報通信システムの構成を示すブロック図である。この図に示す従来の情報通信システムは、送信人物１００を撮影するカメラ４０と、送信人物１００の動きを取り込むモーションセンサ４１及びモーションキャプチャ４２と、送信人物１００の音声を取り込んで音声認識するマイク４３及び音声認識装置４４と、周囲環境の情報を取得して環境情報を認識する各種センサ４５及び環境情報認識装置４６と、カメラ４０と各種センサ４５の入力に基づいて画像中の人物と背景とを分離する画像認識装置４７と、デマンド認識結果及び画像データベースを用いて画像認識後の画像から変換する画像を選択する変換画像選択装置４８と、デマンド認識結果を用いて変換後の画像を加工し送信画像を作成する画像加工処理装置４９とを備えており、送信人物１００の感情に基づいた表情を受信人物に伝えつつ、送信人物のプライバシを保護することが可能となっている。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の情報通信システムにおいては、送信者１００が受信人物に伝えたくない感情に基づく表情まで伝えてしまうという問題がある。
さらに、カメラ４０を前にして送信者１００の表情が過剰に強張って、そのときの感情が正確に伝わらないという問題もある。
【０００５】
本発明は係る点に鑑みてなされたものであり、送信者の健康状態や心理状態に関わらず、送信者が所望とする表情を通信相手に送信することができる通信端末及び画像送信方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に係る発明の通信端末は、撮影手段と、前記撮影手段で撮影された画像を符号化して第１の送信画像を生成する符号化手段と、様々な表情の画像を記憶させた画像記憶手段と、前記画像記憶手段に記憶された複数の画像のうち送信者が所望とする１つを選択する表情選択手段と、前記表情選択手段にて選択された表情に対応する画像を前記画像記憶手段から読み出して第２の送信画像を生成する画像生成手段と、前記第１の送信画像と前記第２の送信画像のいずれか一方を選択する送信画像選択手段と、を具備する構成を採る。
【０００７】
この構成によれば、送信者の健康状態や心理状態に関わらず、送信者が任意に設定した表情を通信相手に送ることができ、スムーズなコミュニケーションを図ることができる。
【０００８】
請求項２に係る発明の通信端末は、請求項１に係る発明の通信端末において、前記画像生成手段で生成された第２の送信画像を、その画像の動画像符号化方式及び伝送方式と異なる方式を採用した他の通信端末でも扱えるように、その異なる方式に変換するフォーマット変換手段を具備する構成を採る。
【０００９】
この構成によれば、本通信端末で生成した第２の送信画像を受信できない通信端末でも受信が可能なように動画像符号化方式及び伝送方式を変換するので、当該通信端末でも第２の送信画像を受信できるようになる。
【００１０】
請求項３に係る発明の通信端末は、請求項１又は請求項２に係る発明の通信端末において、音声入力手段を具備し、前記表情選択手段は、送信者によって選択された複数の表情の画像をプリセットしておくと共に、通信中に前記音声入力手段により入力された音声の強弱や台詞のキーワードに応じて、プリセットしている複数の画像のうち対応するものを選択する構成を採る。
【００１１】
この構成によれば、送信者が事前に通信中の基本的な表情を設定しておくことで、通信中に頻繁に表情選択入力を行う必要がなく、音声の強弱や台詞のキーワードに応じて表情の異なる画像を送ることが可能となる。例えば顧客に電話するときには愛想の良い表情を複数選択しておけば、顧客に良い印象を与えることができる。また、友人に電話するときには大げさな表情を複数選択しておけば、スムーズなコミュニケーションが図れる。
【００１２】
請求項４に係る発明の通信端末は、請求項１から請求項３のいずれかに係る発明の通信端末において、前記表情選択手段は、通信中に通信相手の通信端末より送られてきた表情選択指示に従って前記画像記憶手段に記憶された複数の画像のうち指定されたものを選択する構成を採る。
【００１３】
この構成によれば、通信相手によって通信中の表情が選択されるので、通信相手の意思を知ることができ、スムーズなコミュニケーションが図れる。
【００１４】
請求項５に係る発明の通信端末は、請求項１から請求項４のいずれかに係る発明の通信端末において、前記画像記憶手段に記憶させる画像データの追加・削除・交換を行う画像制御手段を具備する構成を採る。
【００１５】
この構成によれば、常に最良の画像データを保存しておくことができる。
【００１６】
請求項６に係る発明の通信端末は、請求項１から請求項５のいずれかに係る発明の通信端末において、送信者が撮影した画像を取り込んで前記画像記憶手段に記憶させる画像入力手段を具備する構成を採る。
【００１７】
この構成によれば、送信者が撮影した画像を通信相手に送ることができる。
【００１８】
請求項７に係る発明の通信端末は、請求項６に係る発明の通信端末において、前記画像入力手段は、電気通信回線を介して外部より画像データの取り込み、記憶媒体に記憶された画像データの取り込み並びに画像読取手段にて読み取られた画像データの取り込みを行う構成を採る。
【００１９】
この構成によれば、撮影手段にて取得した画像の他に、例えばインターネット等のネットワークを介して取得した画像、メモリカードにて取得した画像あるいはスキャナにて取得した画像を第２の送信画像として用いることができる。
【００２０】
請求項８に係る発明の移動体通信システムは、請求項１から請求項７のいずれかに係る発明の通信端末を具備する構成を採る。
【００２１】
この構成によれば、送信者の健康状態や心理状態に関わらず、送信者が任意に設定した表情を通信相手に送ることができ、スムーズなコミュニケーションを図ることができる移動体通信システムを提供することができる。
【００２２】
請求項９に係る発明の画像送信方法は、カメラで撮影した画像を符号化して第１の送信画像を生成する一方、予め様々な表情の画像を作成して保存しておいてユーザが任意に選択できるようにし、前記ユーザが現在の自己の表情をそのまま通信相手に送っても構わない場合には前記第１の送信画像を前記通信相手に送り、前記ユーザが現在の自己の表情をそのまま通信相手に送りたくない場合には前記保存中の様々な表情の画像のうちユーザが選択したものを第２の送信画像として前記通信相手に送る。
【００２３】
この方法によれば、送信者の健康状態や心理状態に関わらず、送信者が任意に設定した表情を通信相手に送ることができ、スムーズなコミュニケーションを図ることができる。
【００２４】
【発明の実施の形態】
本発明の骨子は、カメラで撮影して得られた送信者の画像を符号化して送信する一般的な機能に加えて、予め様々な表情の画像を作成して保存しておいて送信者が任意に選択できるようにし、送信者が現在の自己の表情をそのまま通信相手に送っても構わない場合にはカメラで撮影して得られた送信者の画像を通信相手に送り、送信者が現在の自己の表情をそのまま通信相手に送りたくない場合には保存中の様々な表情の画像のなかで送信者が選択したものを通信相手に送ることである。
【００２５】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２６】
（実施の形態１）
図１は、本発明の実施の形態１に係る通信端末の構成を示すブロック図である。この図において、本実施の形態の通信端末は、例えば移動体通信システムに用いられる携帯電話やＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙ−Ｐｈｏｎｅ　Ｓｙｓｔｅｍ）などの通信機器であり、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）カメラ（以下、単にカメラという）１と、符号化部２と、画像記憶部３と、表情入力部４と、画像生成部５と、送信画像選択部６とを備えて構成される。
【００２７】
カメラ１は通信端末本体上（図示略）に設けられており、送信者１００の顔の撮影等に使用される。符号化部２はカメラ１で撮影された画像を符号化することで送信画像（第１の送信画像）を生成する。画像記憶部３は様々な表情の画像データを記憶する。表情入力部４は送信者１００による表情設定を可能とするものであり、送信者１００により選択された表情情報を出力する。この表情入力部４による表情設定時には通信端末の操作面の表示器（図示略）上に各種表情のキャラクタが表示され、その中から送信者１００が所望のものをキー操作等により選択することで、選択したキャラクタの表情情報が出力される。
【００２８】
画像生成部５は、表情入力部４にて設定された表情情報に対応する画像データを画像記憶部３から読み出して送信画像（第２の送信画像）を生成する。送信画像選択部６は、符号化部２からの送信画像１００Ａ（カメラ１で撮影された送信者１００の表情を忠実に再現した画像）と画像生成部５で生成された送信画像１００Ｂのいずれか一方を選択して出力する。
【００２９】
次に、上記構成の通信端末の画像送信処理について説明する。
まず、通常の通信状態を選択した場合、カメラ１を用いて撮影した送信者１００の画像データが符号化部２により符号化される。そして、符号化された送信画像１００Ａが送信画像選択部６に入力される。このとき送信画像選択部６にて送信画像１００Ａが選択されていると、送信画像１００Ａが通信相手に向けて送信される。これにより、送信者１００が気分を害して怒っていた場合には怒り顔がそのまま通信相手に伝わることになる。
【００３０】
一方、送信者１００は、現在の表情をそのまま通信相手に送りたくない場合、表情入力部４にて表情を選択する。画像生成部５は、表情入力部４で選択された表情に対応する画像データを画像記憶部３から送信画像１００Ｂを生成し、それを送信画像選択部６に入力する。これにより、送信画像１００Ｂが通信相手に向けて送信される。この場合、通信相手は現在の送信者１００の表情とは違った表情の画像を見ることになる。例えば、送信者１００が現在気分を害して怒っていても普通の顔が選択されることで、通信相手は笑顔の送信者１００を見ることになる。
【００３１】
このように本実施の形態の通信端末によれば、カメラ１で撮影して得られた送信者１００の画像を符号化して送信する一般的な機能に加えて、予め様々な表情の画像を作成して保存しておいて送信者１００が任意に選択できるようにし、送信者１００が現在の自己の表情をそのまま通信相手に送っても構わない場合にはカメラ１で撮影して得られた送信者１００の画像を通信相手に送り、送信者１００が現在の自己の表情をそのまま通信相手に送りたくない場合には保存中の様々な表情の画像のうちユーザが選択したものを通信相手に送るので、送信者１００の健康状態や心理状態に関わらず、送信者１００が任意に設定した表情を通信相手に向けて送信することができ、通信相手に不快感を与えたりすることがなくなり、スムーズなコミュニケーションが図れる。
【００３２】
（実施の形態２）
図２は、本発明の実施の形態２に係る通信端末の構成を示すブロック図である。なお、この図において前述した図１の通信端末と同一の機能を有する部分には同じ符号を付けている。
【００３３】
図２において、本実施の形態の通信端末は、伝送フォーマット変換部７と、画像生成部５で生成された送信画像を、伝送フォーマット変換部７を介して送信画像選択部６に入力するか、伝送フォーマット変換部７を介さないで送信画像選択部６に入力するかの切り替えを行う切替スイッチ８とを有している以外、実施の形態１の通信端末と同一の構成となっている。伝送フォーマット変換部７は、送信画像１００Ｂの動画像符号化方式及び伝送方式を本発明を適用する通信手段における既存の動画像もしくは静止画像を伝送する通信システムに用いられる動画像符号化方式及び伝送方式に変換する。
【００３４】
次に、上記構成の通信端末の画像送信処理について説明する。
実施の形態１の通信端末と同様に送信者１００が現在の実際の表情を通信相手に送りたくない場合、送信者１００は表情入力部４にて表情を選択する。画像生成部５は、表情入力部４で選択された表情に対応する画像データを画像記憶部３から送信画像１００Ｂを生成する。そして、画像生成部５で生成された送信画像の動画像符号化方式及び伝送方式が本発明を適用する通信手段における既存の動画像もしくは静止画像を伝送する通信システムに用いられる動画像符号化方式及び伝送方式に変換される。
【００３５】
送信画像選択部６では、送信者１００が現在の自己の表情を通信相手に知られても良い場合は送信画像１００Ａが選択され、知られたくない場合は送信画像１００Ｂが選択されるが、送信画像１００Ａも送信画像１００Ｂも本発明を適用する通信手段における既存の動画像符号化方式及び伝送方式であるため、送信画像選択部６から送信される送信画像を受信する受信側の通信端末に特殊な画像受信機能を持たせる必要がない。
【００３６】
このように本実施の形態の通信端末によれば、送信画像１００Ｂの動画像符号化方式及び伝送方式を、本発明を適用する通信手段における既存の動画像もしくは静止画像を伝送する通信システムに用いられる動画像符号化方式及び伝送方式に変換する伝送フォーマット変換部７を備えているので、特殊な画像受信機能を持たない通信端末との間でも送信者１００が任意に設定した表情を表す送信画像を用いた通信を行うことができる。
【００３７】
（実施の形態３）
図３は、本発明の実施の形態３に係る通信端末の構成を示すブロック図である。なお、この図において前述した図１の通信端末と同一の機能を有する部分には同じ符号を付けている。
【００３８】
図３において、本実施の形態の通信端末は、画像記憶部３に対して画像データの追加・削除・交換を行う画像制御部９を有する以外、実施の形態１の通信端末と同一の構成となっている。画像制御部９により画像記憶部３に対して常に最良の画像データを記憶させておくことができる。
【００３９】
送信者１００の現在の表情を通信相手に知られても良い場合は、実施の形態１と同様に送信画像１００Ａが送信される。これに対して、実際の表情を通信相手に知られたくない場合は、通信を行う前もしくは通信中に送信者１００が予め撮影して画像記憶部３に記憶させておいた画像データを用いる。画像生成部５では、送信者１００が撮影した画像データを用いて送信画像を生成する。
【００４０】
このように本実施の形態の通信端末によれば、常に最良の画像データを保存しておくことができる。
【００４１】
（実施の形態４）
図４は、本発明の実施の形態４に係る通信端末の構成を示すブロック図である。なお、この図において前述した図１の通信端末と同一の機能を有する部分には同じ符号を付けている。
【００４２】
図４において、本実施の形態の通信端末は、送信者が撮影した画像を取り込んで画像記憶部３に記憶させる画像入力部１０を有する以外、実施の形態１の通信端末と同一の構成となっている。この画像入力部１０により、送信者１００が撮影した画像を通信相手に送ることができる。また、この画像入力部１０は、カメラ１にて取得した画像の他に例えばインターネット等のネットワークを介して取得した画像、メモリカードに記憶された画像、スキャナで読み込まれた画像も取り込むことができるようになっている。
【００４３】
このように本実施の形態の通信端末によれば、送信者１００が撮影した画像、ネットワークを介して取得した画像、メモリカードに記憶された画像又はスキャナで読み込まれた画像を送信画像１００Ｂとして通信相手に送ることができる。
【００４４】
なお、実施の形態１から実施の形態４において、表情入力部４に次ような機能を追加しても良い。
（１）送信者１００が希望する複数の表情の画像をプリセットしておき、通信中に通信端末本体のマイクにより入力された音声の強弱や台詞のキーワードに応じて、プリセットしている複数の画像のなかで最適なものを選択する。このようにすることで、送信者１００が通信中に頻繁に表情入力を行う必要がなくなり、操作が楽になる。例えば顧客に電話するときには愛想の良い表情の画像を複数選択しておけば、顧客に好印象を与えることができる。また、友人に電話するときには大げさな表情の画像を複数選択しておけば、スムーズなコミュニケーションが図れる。
【００４５】
（２）通信中に通信相手の通信端末より送られてきた表情選択指示に従ってプリセットしている複数の画像のなかで指定されたものを選択する。このようにすることで、通信相手の意思を知ることができ、スムーズなコミュニケーションが図れる。
【００４６】
また、実施の形態１から実施の形態４において、実時間で撮影された画像ではなく何らかの加工が施された画像を用いた通信であることを検出できる加工画像検出手段を追加しても良い。この手段を追加することにより、通信相手に対して加工された画像であることを警告として通知したり、受信を拒否することが可能となる。これにより、特に著作権のある画像の使用を防止することができる。
【００４７】
また、実施の形態１から実施の形態４は、携帯電話やＰＨＳ等の通信端末であったが、例えば通信機能付きのゲーム機にも適用可能である。この種のゲーム機に適用することで、表情を表す送信画像を用いてプレイヤー同士のコミュニケーションが図れる。例えば苦戦しているプレイヤーであっても対戦相手に送信する表情を任意に選択し、苦戦していることを対戦相手に知られずに兆発的な表情を送信することができる。
【００４８】
【発明の効果】
以上説明したように、本発明によれば、送信者の健康状態や心理状態に関わらず、送信者が任意に設定した表情を通信相手に送ることができるので、送信者が通信相手に伝えたくない感情に基づく表情まで伝えることがなくなる。また、カメラを前にして過剰に送信者の表情が強張って正確な感情を伝えることができないという問題を解決することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る通信端末の構成を示すブロック図
【図２】本発明の実施の形態２に係る通信端末の構成を示すブロック図
【図３】本発明の実施の形態３に係る通信端末の構成を示すブロック図
【図４】本発明の実施の形態４に係る通信端末の構成を示すブロック図
【図５】従来の情報通信システムの構成を示すブロック図
【符号の説明】
１　カメラ
２　符号化部
３　画像記憶部
４　表情入力部
５　画像生成部
６　送信画像選択部
７　伝送フォーマット変換部
８　切替スイッチ
９　画像制御部
１０　画像入力部
【図１】
2004040615.tif 000003
【図２】
2004040615.tif 000004
【図３】
2004040615.tif 000005
【図４】
2004040615.tif 000006
【図５】
2004040615.tif 000007