(57)【要約】【課題】決定的瞬間が撮影された画像データを確実に送信すると共に、ぶれた画像の画像データが送信されることを防止する。【解決手段】画像処理部２６が、正面カメラ６ａ及び背面カメラ６ｂにより撮影した画像に生じた差異を検出し、検出結果に基づいてメイン画面及びサブ画面の画像として合成する画像を切り換える。これにより、決定的瞬間を撮影したカメラの画像データを大きな画面の画像データとして通話相手のテレビ電話端末に確実に送信することができると共に、ぶれた画像の画像データが通話相手のテレビ電話端末に送信されることを防止できる。【選択図】  図２
2004297516.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラを備える携帯端末装置であって、
各カメラが撮影した画像データの変化量を検出する検出部と、
検出された変化量に従って各画像データの表示面積を決定し、決定した表示面積になるように各画像データを一つの画像データに合成する合成部と
を備えることを特徴とする携帯端末装置。
【請求項２】
請求項１に記載の携帯端末装置であって、
上記合成部は、第１の閾値以上の変化量が検出された画像データの表示面積が最も大きくなるように各画像データを合成すること
を特徴とする携帯端末装置。
【請求項３】
請求項２に記載の携帯端末装置であって、
上記合成部は、上記第１の閾値よりも大きい第２の閾値以上の変化量が検出された画像データの表示面積が最も小さくなるように各画像データを合成すること
を特徴とする携帯端末装置。
【請求項４】
請求項２に記載の携帯端末装置であって、
上記合成部は、上記第１の閾値よりも大きい第２の閾値以上の変化量が検出された画像データを他の画像データと合成しないこと
を特徴とする携帯端末装置。
【請求項５】
請求項１に記載の携帯端末装置であって、
上記検出部は、各カメラが撮影した画像データと直前の画像データの差分を求めることにより上記変化量を検出すること
を特徴とする携帯端末装置。
【請求項６】
請求項１に記載の携帯端末装置であって、
上記合成部によって合成された画像データを電気通信回線を介して送信する送信部を備えること
を特徴とする携帯端末装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数のカメラを有する携帯端末装置に関する。
【０００２】
【従来の技術】
近年、自分の顔を撮影するための正面カメラと自分の目の前の風景や人物等を撮影するための背面カメラ等のように、複数のカメラを備えたテレビ電話端末が提供されるようになり、このようなテレビ電話端末は、通常、複数のカメラによって撮影された画像データを合成して通話相手のテレビ電話端末に送信する（例えば、特許文献１を参照）。
【０００３】
【特許文献１】
特開平６−６２４３６号公報
【０００４】
【発明が解決しようとする課題】
ところで、複数のカメラを利用して撮影を行っている際、あるカメラが撮影している対象に何らかの大きな変化が起きることがある。しかしながら、従来までのテレビ電話端末によれば、変化が起きた際、その変化を撮影したカメラの画像データが必ずしも通話相手のテレビ電話端末に送信されているとは限らない。従って、従来までのテレビ電話端末によれば、決定的な瞬間の画像が通話相手に送信されていないことがある。
【０００５】
また、仮に変化を撮影したカメラの画像画が送信されていたとしても、他のカメラの画像データと合成された結果、変化を撮影したカメラの画像がサブ画面のデータとして送信され、通話相手がその変化をはっきりと確認することができない場合がある。なお、この場合、大きな変化を撮影したカメラの画像データが通話相手のテレビ電話端末上で大きく表示されるように、送信者が画像データの合成処理の設定を変更する方法が考えられるが、この方法によれば、設定を変更している間に発生した変化が終わり、決定的な瞬間を逃してしまうことが十分に予想される。
【０００６】
さらに、テレビ電話端末を急激に大きく動かした場合には、通常、画像がぶれてしまうために、画像データを通話相手に送信しても無意味なものとなるが、従来までのテレビ電話端末によれば、ぶれた画像であってもそのまま通話相手のテレビ電話端末に送信してしまう。
【０００７】
本発明は、上記課題を解決するためになされたものであり、その目的は、大きな変化を撮影したカメラの画像データを大きな画面の画像データとして通話相手に確実に送信すると共に、ぶれた画像を通話相手に送信することを防止することが可能な、携帯端末装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明に係る携帯端末装置の特徴は、複数のカメラを備える携帯端末であって、各カメラが撮影した画像データの変化量を検出する検出部と、検出された変化量に従って各画像データの表示面積を決定し、決定した表示面積になるように各画像データを一つの画像データに合成する合成部とを備えることにある。
【０００９】
すなわち、本発明に係る携帯端末装置は、合成部が、各画像データの変化量に基づいて画像データの表示面積を変化させる。これにより、決定的瞬間を撮影したカメラの画像データを大きな画面の画像データとして通話相手のテレビ電話端末に確実に送信することができると共に、ぶれた画像の画像データが通話相手のテレビ電話端末に送信されることを防止できる。
【００１０】
【発明の実施の形態】
本発明は、図１に示すような折り畳み式の携帯電話機に適用することができる。以下、図面を参照して、本発明の一実施形態となる携帯電話機の構成及び動作について詳しく説明する。
【００１１】
［携帯電話機の概観］
始めに、図１を参照して、本発明の一実施形態となる携帯電話機の概観の構成について説明する。
【００１２】
本発明の一実施形態となる携帯電話機１は、図１に示すように、下部筐体部材３と上部筐体部材４とがヒンジ部２を介して回動自在に連結された構成となっている。
【００１３】
折り畳んだ際に内側となる下部筐体部材３の表面には、例えば「０」から「９」までの数字の入力、文字の入力、記号の入力、発信や受信の指示入力、電源のオン／オフの指示入力等の入力操作時に使用される複数のキーボタン５と、カメラを利用した撮影を指示するための撮影指示キー７が設けられている。
【００１４】
また、下部筐体部材３の下端（ヒンジ部２側の端部の反対側の端部）には、マイクロフォン８が設けられ、マイクロフォン８は入力された音声を電気信号に変換して通信部２１（図２を参照）に出力する。また、下部筐体部材３の側面にはジョグダイアル９が設けられ、ユーザはジョグダイアル９を操作することにより各種入力操作を行うことができる。
【００１５】
折り畳んだ際に内側となる上部筐体部材４の表面には、主に携帯電話機１のユーザの画像を撮影するための正面カメラ６ａと、電話番号データや文字データ等の入力データを削除する際に操作されるクリアキー１０と、数字、英文字、仮名文字等、文字入力作業の際の文字種を変更するための文字種変換キー１１と、各種情報を可視表示する表示部１２とが設けられている。
【００１６】
また、上部筐体部材４の上端（ヒンジ部２側の端部の反対側の端部）には、スピーカ１３とホイップアンテナ１４が設けられ、マイクロフォン８は電気信号を可聴可能な音声に変換して出力する。また、ホイップアンテナ１４は高周波信号を送受信する。また、折り畳んだ際に外側となる上部筐体部材４の背面には、携帯電話機１のユーザが回りの風景や人物を撮影するための背面カメラ６ｂと、各種情報を可視表示するサブ表示部１５が設けられている。
【００１７】
［携帯電話機の内部構成］
次に、図２を参照して、上記携帯電話機１の内部構成について説明する。なお、図２中、正面カメラ６ａ、背面カメラ６ｂ、マイクロフォン８、スピーカ１３、及びホイップアンテナ１４は、図１に示すそれと同じであるので、以下ではその説明を省略する。また、表示部２９は図１に示す表示部１２及びサブ表示部１５、操作部３０は、図１に示す、キーボタン５、撮影指示キー７、ジョグダイアル９、クリアキー１０、及び文字種変換キー１１に対応するので、以下ではその説明を省略する。
【００１８】
上記携帯電話機１は、図２に示すように、主な内部構成要素として、通信部２１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２３、制御部２４、撮影制御部２５、及び画像処理部２６を備え、これらの内部構成要素は、データライン２７若しくは制御ライン２８を介して互いに電気的に接続されている。
【００１９】
上記通信部２１は、画像データ、音声データ、メールデータ等の各種データを高周波データに変換し、ホイップアンテナ１４を介して高周波データを送信先に送信する。また、通信部２１は、ホイップアンテナ１４が受信した高周波データを取り込み、取り込んだ高周波データに対し復調処理及び復号処理を施す。
【００２０】
上記ＲＯＭ２２は、制御部２４が各部を制御するための制御プログラム（図示せず）等の各種コンピュータプログラムと、各種の初期設定値、各種データを記憶する。なお、このＲＯＭ２２は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）のような書き換え可能なＲＯＭであってもよい。
【００２１】
上記ＲＡＭ２３は、制御部２４が各種処理を行う際のワーキングエリアとして機能し、制御部２４が実行する処理と関係するデータを随時格納する。上記制御部２４は、ＲＯＭ２２内に格納されているコンピュータプログラムを実行することにより、コンピュータプログラム内のコードに従って携帯電話機１内の各部の動作を制御すると共に、各種の演算処理を行う。
【００２２】
上記撮影制御部２５は、制御部２４からの撮影指示に応じて正面カメラ６ａと背面カメラ６ｂを用いて撮影処理を実行し、撮影処理により得られた画像データを画像処理部２６に出力する。
【００２３】
上記画像処理部２６は、後述する合成処理を実行することにより、正面カメラ６ａが撮影した画像データと背面カメラ６ｂが撮影した画像データとを通話相手のテレビ電話端末が受信可能な形態になるように合成する。ここで、この実施形態では、画像処理部２６は、正面カメラ６ａ及び背面カメラ６ｂが撮影した画像が図３に示すメイン画面３１とサブ画面３２に表示されるように画像データを合成する。そして、画像処理部２６は、後述するように、メイン画面３１及びサブ画面３２に表示する画像を画像の変化量に応じて切り換える。なお、図３から明らかなように、メイン画面３１の表示面積はサブ画面３２の表示面積よりも大きくなるように構成されている。
【００２４】
上記データライン２７は、テキストデータ、画像データ、音声データ等の種々の形態のデータを伝送する信号線である。上記制御ライン２８は、操作部３０、通信部２１、制御部２４等から出力される制御信号を伝送する信号線である。
【００２５】
［画像合成処理］
次に、通話相手のテレビ電話端末との間でテレビ電話通話を行い、正面カメラ６ａ及び背面カメラ６ｂが撮影した画像データを合成して通話相手のテレビ電話端末に送信する際の携帯電話機１内部の動作（画像合成処理）について説明する。
【００２６】
〔第１の実施形態〕
始めに、図４に示すフローチャートを参照して、第１の実施形態となる画像合成処理の流れについて詳しく説明する。
【００２７】
図４に示すフローチャートは、通話相手のテレビ電話端末との間で通信回線が確立されることで開始となり、この画像合成処理はステップＳ１の処理に進む。
【００２８】
ステップＳ１の処理では、画像処理部２６が、正面カメラ６ａと背面カメラ６ｂが撮影した画像をそれぞれの直前の画像（数フレーム前の画像）と比較し、撮影した画像に一定値ａ以上の差異が検出されたか否かを判別する。そして、一定値ａ以上の差異が検出されるのに応じて、画像処理部２６は、画像合成処理をステップＳ２の処理に進める。なお、画像間の差異は、ＲＧＢフォーマット、ＹＵＶフォーマット、ＭＰＥＧ４フォーマット等のフォーマットのデジタル形態の画像データの差分を算出することにより検出することができる。
【００２９】
ステップＳ２の処理では、画像処理部２６が、正面カメラ６ａと背面カメラ６ｂが撮影したそれぞれの画像を直前の画像と比較して、撮影した画像に一定値ｂ（＞ａ）以上の差異が検出されたか否かを判別する。そして、判別の結果、一定値ｂ以上の差異が検出されない場合、画像処理部２６は、画像合成処理をステップＳ４の処理に進める。一方、一定値ｂ以上の差異が検出された場合には、画像処理部２６は画像合成処理をステップＳ３の処理に進める。なお、正面カメラ６ａ及び背面カメラ６ｂが撮影した画像の両方に差異が検出された場合には、画像処理部２６は、差異が大きい方の画像に対して後述する処理を実行する。
【００３０】
ステップＳ３の処理では、画像処理部２６が、一定値ｂ以上の差異が検出された画像を、携帯電話機１を動かすことにより大きくぶれた画像であると判断し、一定値ｂ以上の差異が検出された画像を撮影したカメラの画像データを合成処理に用いず、他のカメラの画像データのみを合成して通信部２１に入力する。これにより、このステップＳ３の処理は完了し、この画像合成処理はステップＳ３の処理からステップＳ７の処理に進む。
【００３１】
ステップＳ４の処理では、画像処理部２６が、一定値ｂ以下の差異が検出された画像を、何か決定的なことが撮影された画像、若しくは、携帯電話機１を動かすことにより小さくぶれた画像のいずれかであると判断し、検出された差異が画像の特定領域のみで発生しているか否かを判別する。そして、判別の結果、検出された差異が特定領域のみで発生していない場合、画像処理部２６は、一定値ｂ以下の差異が検出された画像を、携帯電話機１を動かすことにより小さくぶれた画像であると判断し、画像合成処理をステップＳ１の処理に戻す。一方、検出された差異が特定領域のみで発生している場合には、画像処理部２６は、一定値ｂ以下の差異が検出された画像を、何か決定的なことが撮影された画像であると判断し、この画像合成処理をステップＳ５の処理に進める。なお、このステップＳ４の処理（領域判別処理）の詳細については後述する。
【００３２】
ステップＳ５の処理では、画像処理部２６が、一定値ｂ以下の差異が検出された画像がメイン画面３１の画像として合成されているか否かを判別する。そして、判別の結果、メイン画面３１の画像として合成されている場合、画像処理部２６はこの画像合成処理をステップＳ１の処理に戻す。一方、メイン画面３１の画像として合成されていない場合には、画像処理部２６はこの画像合成処理をステップＳ６の処理に進める。
【００３３】
ステップＳ６の処理では、画像処理部２６が、一定値ｂ以下の差異が検出された画像がメイン画面３１の画像となるように、正面カメラ６ａと背面カメラ６ｂが撮影した画像データを合成し、合成された画像データを通信部に入力する。これにより、このステップＳ６の処理は完了し、この画像合成処理はステップＳ６の処理からステップＳ７の処理に進む。
【００３４】
ステップＳ７の処理では、通信部２１が、画像処理部２６が合成した画像データを通話相手のテレビ電話端末に送信する。これにより、このステップＳ７の処理は完了し、この画像合成処理は再びステップＳ１の処理に戻る。
【００３５】
〔第２の実施形態〕
次に、図５に示すフローチャートを参照して、第２の実施形態となる画像合成処理の流れについて詳しく説明する。なお、第２の実施形態となる画像合成処理は、第１の実施形態のステップＳ３の処理がステップＳ１１及びステップＳ１２の処理に置き換わったものであるので、以下では、ステップＳ１１及びステップＳ１２の処理についてのみ詳しく説明する。
【００３６】
ステップＳ１１の処理は、ステップＳ２の処理において撮影した画像に一定値ｂ以上の差異が検出されたと判別されるの応じて開始となり、画像処理部２６は、ステップＳ１１の処理として、一定値ｂ以上の差異が検出された画像がメイン画面３１の画像として合成されているか否かを判別する。そして、判別の結果、メイン画面３１の画像として合成されていない場合、画像処理部２６はこの画像合成処理をステップＳ１の処理に戻す。一方、メイン画面３１の画像として合成されている場合には、画像処理部２６は画像合成処理をステップＳ１２の処理に進める。
【００３７】
ステップＳ１２の処理では、画像処理部２６が、一定値ｂ以上の差異が検出された画像がサブ画面３２の画像となるように、正面カメラ６ａと背面カメラ６ｂが撮影した画像データを合成し、合成された画像データを通信部２１に入力する。これにより、このステップＳ１２の処理は完了し、この画像合成処理はステップＳ１２の処理からステップＳ７の処理に進む。
【００３８】
なお、上記第１及び第２の実施形態となる画像合成処理において、一定値ｂ以上の差異が検出された画像を合成しない処理（ステップＳ３の処理）、又は、一定値ｂ以上の差異が検出された画像をサブ画面３２の画像として合成する処理（ステップＳ１２の処理）を実行した場合、画像処理部２６は、検出された差異の変化に応じて合成処理の内容を元の状態に戻してもよい。以下、図６に示すフローチャートを参照して、この処理を実行する場合の画像合成処理について説明する。
【００３９】
図６に示すフローチャートは、ステップＳ３の処理又はステップＳ１２の処理が完了するのに応じて開始となり、画像合成処理はステップＳ２１の処理に進む。
【００４０】
ステップＳ２１の処理では、画像処理部２６が、合成しなかった又はサブ画面３２の画像として合成した画像に一定値ｂ以上の差異が検出されたか否かを判別する。そして、一定値ｂ以上の差異が検出されなくなるのに応じて、画像処理部２６は画像合成処理をステップＳ２２の処理に進める。
【００４１】
ステップＳ２２の処理では、画像処理部２６が、画像のぶれがおさまったと判断し、一定値ｂ以上の差異が検出される前と同じ合成方法で、一定値ｂ以上の差異が検出されなくなった画像をメイン画面３１の画像として画像データを合成する。これにより、このステップＳ２２の処理は完了し、この画像合成処理はステップＳ２２の処理からステップＳ７の処理に進む。
【００４２】
〔領域判別処理〕
次に、図７を参照して、上記ステップＳ４の領域判別処理について詳しく説明する。
【００４３】
図７（ａ），（ｂ）はそれぞれ、互いに異なる画像を９つの領域に分割した様子を示し、破線が記載された領域は一定値ｃ以上の差異が検出された領域を表す。
【００４４】
いま、図７（ａ）が画像では、領域５，６において一定値ｃ（ａ＜ｃ＜ｂ）以上の差異が検出され、その他の領域では差異が検出されていない。これにより、差異が検出された場合が領域５，６に集中していることから、領域５，６において何らかの決定的なことが起こったと判断することができる。一方、図７（ｂ）が示す画像では、差異が特定の領域に集中しないので、カメラが動くことにより画像がぶれたと判断することができる。しかしながら、差異が一定値ｂ未満であるために、画像処理部２６は、発生したぶれは通話相手が見ることが可能な小さなものであると判断し、画像合成方法は変更しない。
【００４５】
［実施形態の効果］
以上の説明から明らかなように、本発明の一実施形態となる携帯電話機１によれば、画像処理部２６が、正面カメラ６ａ及び背面カメラ６ｂにより撮影した画像に生じた差異を検出し、検出結果に基づいてメイン画面３１及びサブ画面３２の画像として合成する画像を切り換える。これにより、決定的瞬間を撮影したカメラの画像データを大きな画面の画像データとして通話相手のテレビ電話端末に確実に送信することができると共に、ぶれた画像の画像データが通話相手のテレビ電話端末に送信されることを防止できる。
【００４６】
また、本発明の一実施形態となる携帯電話機１によれば、正面カメラ６ａ又は背面カメラ６ｂにより撮影した画像に一定値ａ以上の差異が検出された場合、画像処理部２６は、その画像を決定的瞬間を撮影した画像であると判断し、一定値ａ以上の差異が検出された画像がメイン画面３１の画像となるように、正面カメラ６ａ及び背面カメラ６ｂにより撮影した画像を合成する。これにより、決定的瞬間を撮影した画像をメイン画面３１の画像として確実に通話相手のテレビ電話端末に送信することができる。
【００４７】
また、本発明の一実施形態となる携帯電話機１によれば、正面カメラ６ａ又は背面カメラ６ｂにより撮影した画像に一定値ｂ（＞ａ）以上の差異が検出された場合、画像処理部２６は、その画像をぶれた画像であると判断し、一定値ｂ以上の差異が検出された画像がサブ画面３２の画像となるように、正面カメラ６ａ及び背面カメラ６ｂにより撮影した画像を合成する。これにより、ぶれた画像がメイン画面３１の画像として通話相手のテレビ電話端末に送信されることを防止すできる。
【００４８】
また、本発明の一実施形態となる携帯電話機１によれば、正面カメラ６ａ又は背面カメラ６ｂにより撮影した画像に一定値ｂ（＞ａ）以上の差異が検出された場合、画像処理部２６は、その画像をぶれた画像であると判断し、その画像の画像データを用いないで画像合成処理を行う。これにより、ぶれた画像が通話相手のテレビ電話端末に送信されることを防止できる。
【００４９】
［その他の実施形態］
以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。例えば、上記実施形態では、カメラは正面カメラ６ａと背面カメラ６ｂの２台であったが、本発明は３台以上のカメラについても適用することができる。このように、この実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。
【００５０】
【発明の効果】
本発明によれば、決定的瞬間が撮影された画像データを確実に送信することができると共に、ぶれた画像の画像データが送信されることを防止できる。
【図面の簡単な説明】
【図１】本発明の一実施形態となる携帯電話機の構成を示す模式図である。
【図２】図１に示す携帯電話機の内部構成を示す模式図である。
【図３】カメラで撮影した画像データの合成例を示す図である。
【図４】本発明の第１の実施形態となる画像合成処理の流れを示すフローチャート図である。
【図５】本発明の第２の実施形態となる画像合成処理の流れを示すフローチャート図である。
【図６】本発明の第１及び第２の実施形態となる画像合成処理の応用例を示すフローチャート図である。
【図７】領域判別処理を説明するための図である。
【符号の説明】
１…携帯電話機、２…ヒンジ部、３…下部筐体部材、４…上部筐体部材、５…キーボタン、６ａ…正面カメラ、６ｂ…背面カメラ、７…撮影指示キー、８…マイクロフォン、９…ジョグダイアル、１０…クリアキー、１１…文字種変換キー、１２，２９…表示部、１３…スピーカ、１４…ホイップアンテナ、１５…サブ表示部、２１…通信部、２２…ＲＯＭ、２３…ＲＡＭ、２４…制御部、２５…撮像制御部、２６…画像処理部、２７…データライン、２８…制御ライン、３０…操作部、３１…メイン画面、３２…サブ画面
【図１】
2004297516.tif 000003
【図２】
2004297516.tif 000004
【図３】
2004297516.tif 000005
【図４】
2004297516.tif 000006
【図５】
2004297516.tif 000007
【図６】
2004297516.tif 000008
【図７】
2004297516.tif 000009