(57)【特許請求の範囲】
【請求項１】
携帯テレビ電話装置の傾きに対する撮影画像データの補正方法において、
撮影した撮影画像データを蓄積する段階と、
当該携帯テレビ電話装置の傾きを検出する段階と、
この傾き検出情報に対応して蓄積した撮影画像データを傾きのない状態に補正する段階とを有し、
この撮影画像データを補正する段階は、
前記傾きを検出した際に、この時点での撮影画像データを蓄積せずに、前回取り込んだ手ぶれのない状態の撮影画像データを取り込んで、その置き換えにより補正する処理、
及び／又は、
前記傾きを検出した際に、この時点での撮影画像データを蓄積せずに、傾きを検出した後の傾き検出が行われなくなった状態の撮影画像を取り込んで、その置き換えにより補正する処理を含む
ことを特徴とする携帯テレビ電話装置における撮影画像データ補正方法。
【請求項２】
前記撮影において、ズーム撮影設定が行われた際に、撮影の対象領域が変化していると判断して、
蓄積した撮影画像データを傾きのない状態への補正を停止する
ことを特徴とする請求項１記載の携帯テレビ電話装置における撮影画像データ補正方法。
【請求項３】
当該装置の傾きに対する撮影画像データを補正する携帯テレビ電話装置において、
撮影対象を撮影した撮影画像データを送出する撮影手段と、
前記撮影手段からの撮影画像データを蓄積する蓄積手段と、
当該携帯テレビ電話装置の傾きを検出する傾き検出手段と、
前記傾き検出手段からの傾き検出情報に対応して前記蓄積手段で蓄積した撮影画像データを傾きのない状態に補正する補正手段とを備え、
前記補正手段は、
前記傾きが検出された際に、この時点での撮影画像データを前記蓄積手段に蓄積せずに、前回取り込んだ手ぶれのない状態の撮影画像データを取り込んで、その置き換えにより補正する処理、
及び／又は、
前記傾きを検出した際に、この時点での撮影画像データを前記蓄積手段に蓄積せずに、傾きを検出した後の傾き検出が行われなくなった状態の撮影画像を取り込んで、その置き換えにより補正する処理を行う
ことを特徴とする携帯テレビ電話装置。
【請求項４】
前記補正手段で補正した撮影画像データを圧縮して出力する圧縮手段を備えることを特徴とする請求項３記載の携帯テレビ電話装置。
【請求項５】
前記撮影手段にズーム設定部を備え、
ズーム撮影設定が行われた際に撮影の対象領域が変化していると判断して、傾きのない状態への補正を停止する
ことを特徴とする請求項３又は４記載の携帯テレビ電話装置。
【請求項６】
前記補正手段の傾きのない状態への補正をオン・オフする設定操作手段を備える
ことを特徴とする請求項３〜５のいずれかに記載の携帯テレビ電話装置。
【請求項７】
前記撮影手段が本体装置に着脱可能に配置される
ことを特徴とする請求項３〜６のいずれかに記載の携帯テレビ電話装置。
【請求項８】
前記請求項３〜７のいずれかに記載の携帯テレビ電話装置に、
無線電話通信網との音声・画像通信を行うための無線通信手段と、
少なくとも符号化及び復号化の処理による音声通信を行うための音声処理手段と、
を備えることを特徴とする携帯テレビ電話装置。
【請求項９】
前記請求項３〜８のいずれかに記載の携帯テレビ電話装置に、
有線電話通信網との音声・画像通信を行うための有線接続処理手段と、
少なくとも符号化及び復号化の処理による音声通信を行うための音声処理手段と、
をさらに備えることを特徴とする携帯テレビ電話装置。
【請求項１０】
前記傾き検出手段として、
当該装置の傾きを、撮影における前後の撮影画像データの輪郭の変化を含む電気的な変化によって検出する
ことを特徴とする請求項３〜９のいずれかに記載の携帯テレビ電話装置。
【請求項１１】
携帯電話本体部及び撮影・画像表示装置を有し、この撮影・画像表示装置の傾きに対する撮影画像データを補正する分離型の携帯テレビ電話装置において、
前記撮影・画像表示装置に、
撮影対象を撮影した撮影画像データを送出する撮影手段と、
この撮影・画像表示装置の傾きを検出する傾き検出手段と、
受信撮影画像データを画面表示する画面表示手段と、
前記携帯電話本体部からの撮影画像データを受信し、かつ、前記携帯電話本体部へ前記撮影手段が出力する撮影画像データを転送するための無線通信手段とを備え、
前記携帯電話本体部に、
前記撮影・画像表示装置へ受信画像データを送信し、かつ、前記撮影・画像表示装置からの前記撮影手段が出力する撮影画像データを受信するための本体側無線通信手段とを備え、
前記携帯電話本体部、前記撮影・画像表示装置の一方に、
撮影画像データを蓄積する蓄積手段と、
前記傾き検出手段からの傾き検出情報に対応して前記蓄積手段で蓄積した撮影画像データを傾きのない状態に補正する補正手段とを備え、
この補正手段は、
前記傾きが検出された際に、この時点での撮影画像データを前記蓄積手段に蓄積せずに、前回取り込んだ手ぶれのない状態の撮影画像データを取り込んで、その置き換えにより補正する処理、
及び／又は、
前記傾きを検出した際に、この時点での撮影画像データを前記蓄積手段に蓄積せずに、傾きを検出した後の傾き検出が行われなくなった状態の撮影画像を取り込んで、その置き換えにより補正する処理を行う
ことを特徴とする携帯テレビ電話装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、携帯テレビジョン（適宜、テレビと略称する）電話装置における撮影画像データ補正方法及びその装置に関し、特に、携帯撮影時の手ぶれや車両内などに搭載した際の振動による装置の位置変位による傾きの撮影画像のぶれを軽減し、かつ、撮影画像データを高圧縮率で送信する携帯テレビ電話装置における撮影画像データ補正方法及びその装置に関する。
【０００２】
【従来の技術】
従来、通話音声とともに撮影画像データを送受信する携帯テレビ電話機が用いられている。この種類の携帯テレビ電話機は、例えば、音声データとともに撮影画像データの高帯域伝送（例えば、ＲＣＲ−ＳＴＤ−２７Ｆ規格／伝送速度３２ｋｂｐｓ×２）が可能な同一周波数による時分割多重接続（ＴＤＭＡ／ＴＤＤ）方式のデジタルコードレス電話システム（例えば、ＰＨＳ:Personal Handyphone System ／ＤＥＣＴ:Digital European Cordless Telecommunication、以下、ＰＨＳのみをもって説明する）を用いた例が知られている。
【０００３】
また、ＰＨＳやＴＤＭＡ（ＣＤＭＡ）方式のＰＤＣ（Personal Digital Cellular Telecommunication System） を併用し、かつ、無線電話通信網の伝送状態、例えば、ＰＨＳ伝送状態の悪化によってＰＤＣ伝送に切り替える例が知られている（例えば、特開平１０−１２６８５６号「携帯テレビ電話装置」）。
【０００４】
このような携帯テレビ電話機は、その携帯性の特徴から、持ち歩きながら周囲の風景を撮影したり、車両による移動中に外の景色や車内の人や、その様子を通信中に装置を動かしながらテレビ電話を行う場合が多い。すなわち、撮影時の手ぶれや車両内などに搭載した際の振動による撮影画像のぶれ（画面上での表示画像の変位）が発生する。したがって、撮影画像を自装置で確認する場合や、撮影した画像を伝送したテレビ電話相手先での表示画像が極めて目視し難いものとなってしまう。
【０００５】
また、前記した撮影画像のぶれが発生すると、結果的にカラー動画伝送におけるデータ量が増大化し、テレビ画像伝送における画像処理量が増加してしまう。換言すれば、高圧縮率による画像伝送ができ難くなってしまう。このような携帯テレビ電話のカラー動画伝送のフォーマットとして、ＭＰＥＧ４(Motion Picture Expert Group）方式が採用される場合が多い。このＭＰＥＧ４方式では、その符号化にハフマン符号化と離散コサイン変換を用い、かつ、動き補償フレーム間予測（予測符号化）を採用している。このようなカラー動画伝送において、撮影画像のぶれを伴う撮影画像データの変化量が多い複雑な撮影画像は、比較的品質劣化が生じない圧縮率が、撮影画像のぶれの無い撮影画像に対して大幅に低下する。
【０００６】
【発明が解決しようとする課題】
このように、上記従来例では、撮影時の手ぶれや車両内などに搭載した際の振動による撮影画像のぶれで、撮影画像を自装置で確認する場合や、撮影画像を伝送したテレビ電話相手先で極めて目視し難い表示画面となってしまうという欠点がある。
【０００７】
また、このような撮影画像のぶれが生じるとテレビ画像伝送における画像処理量が増加して、高圧縮率による画像伝送ができ難くなってしまう。換言すれば、高品質のテレビ電話伝送が出来なくなるという欠点がある。
【０００８】
本発明は、このような従来の技術における課題を解決するものであり、撮影画像のぶれを軽減して高品質の表示画面が可能になるとともに、撮影画像データの圧縮率を高めて伝送データ量を抑えることが出来る携帯テレビ電話装置における撮影画像データ補正方法及びその装置の提供を目的とする。
【０００９】
【課題を解決するための手段】
上記課題を達成するために、本発明の携帯テレビ電話装置における撮影画像データ補正方法は、携帯テレビ電話装置の傾きに対する撮影画像データの補正方法において、撮影した撮影画像データを蓄積する段階と、当該携帯テレビ電話装置の傾きを検出する段階と、この傾き検出情報に対応して蓄積した撮影画像データを傾きのない状態に補正する段階とを有し、この撮影画像データを補正する段階は、前記傾きを検出した際に、この時点での撮影画像データを蓄積せずに、前回取り込んだ手ぶれのない状態の撮影画像データを取り込んで、その置き換えにより補正する処理、及び／又は、前記傾きを検出した際に、この時点での撮影画像データを蓄積せずに、傾きを検出した後の傾き検出が行われなくなった状態の撮影画像を取り込んで、その置き換えにより補正する処理を含むこととしている。
【００１０】
前記撮影において、ズーム撮影設定が行われた際に、撮影の対象領域が変化していると判断して、蓄積した撮影画像データを傾きのない状態への補正を停止している。
【００１１】
本発明の携帯テレビ電話装置は、当該装置の傾きに対する撮影画像データを補正する携帯テレビ電話装置において、撮影対象を撮影した撮影画像データを送出する撮影手段と、前記撮影手段からの撮影画像データを蓄積する蓄積手段と、当該携帯テレビ電話装置の傾きを検出する傾き検出手段と、前記傾き検出手段からの傾き検出情報に対応して前記蓄積手段で蓄積した撮影画像データを傾きのない状態に補正する補正手段とを備え、前記補正手段は、前記傾きが検出された際に、この時点での撮影画像データを前記蓄積手段に蓄積せずに、前回取り込んだ手ぶれのない状態の撮影画像データを取り込んで、その置き換えにより補正する処理、及び／又は、前記傾きを検出した際に、この時点での撮影画像データを前記蓄積手段に蓄積せずに、傾きを検出した後の傾き検出が行われなくなった状態の撮影画像を取り込んで、その置き換えにより補正する処理を行う構成としてある。
【００１２】
前記補正手段で補正した撮影画像データを圧縮して出力する圧縮手段を備える構成としてある。
【００１３】
前記撮影手段にズーム設定部を備え、ズーム撮影設定が行われた際に撮影の対象領域が変化していると判断して、傾きのない状態への補正を停止する構成としてある。
【００１４】
前記補正手段の傾きのない状態への補正をオン・オフする設定操作手段を備える構成としてある。
【００１５】
また、前記撮影手段が本体装置に着脱可能に配置される構成としてある。
【００１６】
前記携帯テレビ電話装置に、無線電話通信網との音声・画像通信を行うための無線通信手段と、少なくとも符号化及び復号化の処理による音声通信を行うための音声処理手段とを備える構成としてある。
また、前記携帯テレビ電話装置に、有線電話通信網との音声・画像通信を行うための有線接続処理手段と、少なくとも符号化及び復号化の処理による音声通信を行うための音声処理手段とをさらに備える構成としてある。
【００１７】
前記傾き検出手段を、当該装置の傾きを、水銀の移動による接点のオンを含む機械的な変化によって検出する構成、あるいは、当該装置の傾きを、撮影における前後の撮影画像データの輪郭の変化を含む電気的な変化によって検出する構成としてある。
【００１８】
前記補正手段における撮影画像データの傾きのない状態への補正として、傾きを検出した時点での撮影画像データを蓄積手段で蓄積せずに、前回取り込んだ撮影画像データ又は傾きを検出した後に取り込んだ撮影画像データを用いる構成としてある。
【００１９】
本発明は、携帯電話本体部及び撮影・画像表示装置を有し、この撮影・画像表示装置の傾きに対する撮影画像データを補正する分離型の携帯テレビ電話装置において、撮影・画像表示装置に、撮影対象を撮影した撮影画像データを送出する撮影手段と、この撮影・画像表示装置の傾きを検出する傾き検出手段と、受信撮影画像データを画面表示する画面表示手段と、携帯電話本体部からの撮影画像データを受信し、かつ、携帯電話本体部へ撮影手段が出力する撮影画像データを転送するための無線通信手段とを備え、携帯電話本体部に、撮影・画像表示装置へ受信画像データを送信し、かつ、撮影・画像表示装置からの撮影手段が出力する撮影画像データを受信するための本体側無線通信手段とを備え、携帯電話本体部、撮影・画像表示装置の一方に、撮影画像データを蓄積する蓄積手段と、傾き検出手段からの傾き検出情報に対応して蓄積手段で蓄積した撮影画像データを傾きのない状態に補正する補正手段とを備え、この補正手段は、傾きが検出された際に、この時点での撮影画像データを蓄積手段に蓄積せずに、前回取り込んだ手ぶれのない状態の撮影画像データを取り込んで、その置き換えにより補正する処理、及び／又は、傾きを検出した際に、この時点での撮影画像データを蓄積手段に蓄積せずに、傾きを検出した後の傾き検出が行われなくなった状態の撮影画像を取り込んで、その置き換えにより補正する処理を行う構成である。
【００２０】
このような本発明の携帯テレビ電話装置における撮影画像データ補正方法及びその装置は、撮影した撮影画像データを蓄積し、かつ、当該携帯テレビ電話装置の傾きを検出する。この傾き検出情報に対応して蓄積した撮影画像データの位置変位による傾きのない状態に補正している。また、撮影画像データを、例えば、ＭＰＥＧ４方式で圧縮して伝送している。
【００２１】
この結果、撮影画像のぶれが軽減されて高品質の画面表示が可能になる。すなわち、撮影画像を自装置で確認する場合や、撮影画像を送信したテレビ電話相手先の表示画像が高品質で映し出される。
【００２２】
また、本発明では、撮影画像データが圧縮率を高めて伝送される。したがって、伝送データ量の増大を抑えることが出来るようになる。すなわち、撮影画像のぶれが発生し難いため、結果的に撮影画像データ量が増大化せずに、高圧縮率による画像伝送が可能になる。例えば、ＭＰＥＧ４方式において、撮影画像のぶれを伴う撮影画像データの変化量が多い複雑な撮影画像において、比較的品質劣化が生じない圧縮率が、撮影画像のぶれが無い状態の撮影画像に対して大幅に低下しなくなる。
【００２３】
また、本発明では、遠近撮影（ズーム）設定が行われた際に撮影の対象領域が変化していると判断して、傾きのない状態への補正を停止している。この結果、遠近撮影設定機構（ズーム機構）を併設した携帯テレビ電話装置において、撮影画像データに対する効果的な補正が可能になる。換言すれば、携帯テレビ電話装置の多機能化が推進される。
【００２４】
さらに、傾きのない状態への補正をオン・オフする設定操作手段を備えており、撮影画像データの補正処理のオン・オフが可能になる。すなわち、撮影状態の選択の自由度が向上する。したがって、撮影画像のぶれが撮影画像表示において必要な場合（例えば、走っている状態を送信したい場合）に、その撮影画像のぶれをそのまま（オフ状態）伝送可能になる。
【００２５】
また、本発明では撮影手段（カメラ部）が本体装置に着脱可能に配置されている。この結果、例えば、装置を顔の横に位置する状態での音声通話を行いながら、通話者の顔の撮影が可能になる。換言すれば、撮影の自由度が向上する。
【００２６】
さらに、本発明は、無線通信や有線通信によるテレビ電話が可能である。また、当該装置の傾きを機械的な変化や電気的な変化をもって検出している。これによって、設計
（構成）の自由度が向上する。
【００２７】
また、本発明は、携帯電話本体部及び撮影・画像表示装置を分離した分離型の携帯テレビ電話装置において、撮影・画像表示装置の傾きに対する撮影画像データを補正している。この場合、受信撮影画像データに対する大型の画面表示が可能になり、また、通話者の撮影も、その対面した撮影が容易に可能になる。
【００２８】
【発明の実施の形態】
以下、本発明の携帯テレビ電話装置における撮影画像データ補正方法及びその装置の実施の形態を図面を参照して詳細に説明する。
図１は本発明の携帯テレビ電話装置における撮影画像データ補正方法及びその装置の実施形態における構成を示すブロック図である。また、図２は携帯テレビ電話装置の正面外観構成を示す正面図であり、図３は実施形態の動作の処理手順を示す流れ図である。
【００２９】
この携帯テレビ電話装置は、図１及び図２に示すように携帯電話本体部１と、この携帯電話本体部１とワイヤード接続によって着脱可能に配置されたＣＣＤ素子及び対物レンズなどの光学系からなる撮影手段としてのカメラ部２とから概略構成されている。
【００３０】
携帯電話本体部１は、手ぶれ補正機能の有効／無効を設定（制御部１４での手ぶれ補正モードの設定／解除）する設定操作手段としての手ぶれ補正処理オン（ＯＮ）スイッチ１１が設けられ、かつ、当該装置の撮影時の手ぶれや振動が加わった際の傾き情報を検出する傾き検出手段としての傾き情報検出部１２が設けられている。
【００３１】
また、携帯電話本体部１には、カメラ部２での遠近撮影（ズーム撮影）の焦点距離に関する設定情報を検出するズーム設定部１３とともに、補正手段としての制御部１４が設けられている。この制御部１４は、本発明の実施形態にかかる画像処理（撮影時の手ぶれや車両内などに搭載した際の振動による撮影画像のぶれを軽減し、かつ、撮影画像データを高圧縮率で送信する動作）及び無線電話通信網との通信に関する制御を各部の間で実行する。
【００３２】
携帯電話本体部１は、制御部１４の制御で対象の撮影画像を取り込み、必要な画像処理（例えば、増幅や輪郭補正）を行う撮影手段としての画像入力部１５とともに、画像入力部１５からの撮影画像データを蓄積する蓄積手段としての画像メモリ部１６を備えている。また、撮影時の手ぶれや車両内などに搭載した際の振動による撮影画像のぶれを補正する補正手段としての画像補正部１７を備えている。
【００３３】
また、携帯電話本体部１は、カメラ部２で撮影したカラー撮影画像データを、前記したＭＰＥＧ４規格などによって圧縮／伸長などの処理を行う圧縮手段としての画像処理部１８とともに、受話音声データを復号化し、かつ、送話信号を符号化するコーディック処理を行う音声処理手段としての音声処理部１９を有している。
【００３４】
携帯電話本体部１は、送受信周波数の設定、復調／変調、受信電界強度検出（ＲＳＳＩ）及びＴＤＭＡ／ＴＤＤ処理などを行い、図示しないセル基地局との無線回線接続（エアインターフェース）をアンテナを通じて行うための無線通信手段としての無線処理部２０とともに、撮影した撮影画像データ及び受信した撮影画像データや通信にかかる文字データなどを表示する液晶ディスプレイ（ＬＣＤ）などを用いた表示部２１を備えている。また、電源オン・オフ（ＯＮ／ＯＦＦ）、テンキー、機能選択キーなどを有した入力操作部２２を備えている。
【００３５】
音声処理部１９には、音声処理手段としての通話用のマイクロホン１９ａ及びスピーカ１９ｂが接続されている。なお、この種の携帯電話本体部１には、呼び出し表示用の発光ダイオード、リンガ及び表示部２１用の照明部等が設けられるが、その図示は省略した。
【００３６】
次に、本発明の実施形態の動作について説明する。
なお、撮影画像を自装置で確認する場合や、撮影画像を伝送したテレビ電話相手先の表示画像ぶれの要因として、携帯撮影時の手ぶれや車両内などに搭載した際の振動がある。
【００３７】
図１を参照すると、制御部１４は、無線電話通信網との通信に関する制御を各部の間で実行する。この無線電話通信網を通じた通信は、当該装置がＰＨＳの場合、ＲＣＲ−ＳＴＤ−２７Ｆ規格（伝送速度３２ｋｂｐｓ×２）に基づいて行われる。すなわち、入力操作部２２における電源オン・オフ、テンキー及び機能選択キーの選択操作によって、無線処理部２０が、送受信周波数の設定、復調／変調、受信電界強度検出（ＲＳＳＩ）及びＴＤＭＡ／ＴＤＤ処理などを行うとともに、図示しないセル基地局との無線回線接続（エアインターフェース）をアンテナを通じて行う。
【００３８】
マイクロホン１９ａからの送話データ及びスピーカ１９ｂへの受話データが無線処理部２０と音声処理部１９との間で処理される。すなわち、音声処理部１９は、受話音声データを復号化し、送話信号を符号化するコーディック処理を行う。
また、表示部２１は、撮影した撮影画像データ及び受信した撮影画像データや通信にかかるデータ、例えば、受信電界強度を示すシンボルマーク、オン／オフフック状態や入力電話番号等を表示する。また、表示部２１では、制御部１４の制御による文字データなどを画面表示する。
【００３９】
制御部１４は、例えば、ＲＣＲ−ＳＴＤ−２７Ｆ規格に基づいた時分割多重化接続（ＴＤＭＡ／ＴＤＤ方式）による図示しないセル基地局との間の送受信接続の制御を行う。例えば、モバイルアシステッド（Mobile Assisted）ハンドオーバ処理や図示しない他のセル基地局との間とのローミングを処理する。また、制御部１４は、位置登録シーケンスの実行や制御チャネル（ＣＣＨ）や情報チャネル（ＴＣＨ）によって送信−受信−隣接局基地局波受信などを繰り返す制御を行い、そのテレビ電話を行っている。
【００４０】
次に、本発明の実施形態にかかる画像処理、撮影画像データを高圧縮率で送信する動作について説明する。
【００４１】
図１から図３において、制御部１４の制御によって、画像入力部１５がカメラ部２で撮影された撮影画像データを出力し、この撮影画像データを画像メモリ部１６に蓄積する（ステップＳ３１）。制御部１４は、手ぶれ補正処理を行うかを、手ぶれ補正処理オンスイッチ１１のオン信号の取り込みによって判断する（ステップＳ３２）。
【００４２】
ここで手ぶれ補正処理を行わないオフ信号を制御部１４が手ぶれ補正処理オンスイッチ１１から取り込んだ場合（ステップＳ３２：Ｎｏ）、傾き情報検出部１２及び画像補正部１７による手ぶれ補正処理を行わないで手ぶれ補正処理が可能かの判断に戻る（ステップＳ３７）。
【００４３】
ステップＳ３２で手ぶれ補正処理設定がオンの場合（ステップＳ３２：Ｙｅｓ）、制御部１４は、傾き情報検出部１２からの傾き検出情報を取り込む。手ぶれ補正処理設定がオフの場合は、例えば、画像メモリ部１６に蓄積している撮影画像データを順次、制御部１４が読み出して表示部２１に送出し、ここで撮影画像を表示する。
【００４４】
なお、手ぶれ補正処理設定がオフの場合に、制御部１４の制御で画像メモリ部１６に蓄積している撮影画像データを、画像処理部１８によって圧縮して表示部２１で画面表示するようにしても良い。また、手ぶれ補正処理設定がオフの場合に、制御部１４の制御で画像メモリ部１６に蓄積している撮影画像データを、その手ぶれ補正を行わないで無線処理部２０通じて図示しない無線電話通信網を通じてテレビ電話相手先に送信しても良い。これは、携帯テレビ電話機を手に持ちながら走っている状態を送信したい場合などである。
【００４５】
ステップＳ３２で手ぶれ補正処理設定がオンの場合（手ぶれ補正処理オンスイッチ１１がオン）、制御部１４が傾き情報検出部１２からの検出情報を取り込む（ステップＳ３３）。制御部１４が、さらにズーム設定部１３からズーム設定情報を取り込む（ステップＳ３４）。
次に、制御部１４は、ズーム設定部１３から取り込んだズーム設定情報が直前に比較したときの情報から変更されたかどうかを比較する（ステップＳ３５）。
【００４６】
このステップＳ３５でズーム設定情報に変更がなかった場合（Ｎｏ）、画像補正部１７にて画像メモリ部１６に蓄積された撮影画像データについて、傾き情報に基づいて手ぶれ補正を実行する（ステップＳ３６）。ステップＳ３４においてズーム設定情報に変更があった場合（Ｙｅｓ）、焦点距離の変更により撮影している対象エリアが大きく変化している可能性があるため、ステップＳ３７に移行し、手ぶれ補正処理を行わないで手ぶれ補正処理が可能かの判断に戻る。
【００４７】
次に、傾き情報検出部１２による傾き検出及び画像補正部１７での撮影画像データに対する手ぶれ補正について説明する。
このような傾き検出及び撮影画像データに対する手ぶれ補正は、多種のものが周知である。例えば、傾き情報検出部１２は、その傾き検出（撮影方向の前後及び左右）として、機械的に傾きを検出する場合と電気的に傾きを検出する方法が周知である。
【００４８】
機械的な傾き検出では、例えば、密封絶縁管内の両端に二つの接点を設け、かつ、水銀を封入した傾斜検出器が周知である。この傾斜検出器の二つを水平かつ十字上に配置して、その９０度間隔で位置する四つの接点の導通状態から撮影方向の前後及び左右の傾きを検出している。
【００４９】
このようにして傾き情報検出部１２で検出した情報に基づいて画像補正部１７が撮影画像データに対する補正を行う。例えば、傾きを検出した際に、この時点での撮影画像データを画像メモリ部１６に蓄積せずに、前回取り込んだ手ぶれのない状態の撮影画像データを制御部１４が取り込んで画像処理部１８に送出して、その補正処理を行う。また、傾きを検出した際に、この時点での撮影画像データを画像メモリ部１６に蓄積せずに、傾きを検出した後の傾き検出が行われなくなった状態の撮影画像を取り込んで、その置き換えによる手ぶれ補正処理を行う。
【００５０】
また、傾き情報検出部１２における電気的な傾きの検出では、画像入力部１５からの撮影画像データを制御部１４を通じて傾き情報検出部１２が取り込み、Ｘ方向前後の撮影画像データにおける輪郭を、例えば、微分してそれぞれ取り込んで、その変化量から撮影方向の左右方向での傾きを検出する。また、Ｙ方向前後の撮影画像データにおける輪郭を、例えば、微分してそれぞれ取り込み、その変化量から撮影方向の前後方向での傾きを検出している。
【００５１】
このようにして傾き情報検出部１２で検出した傾きの検出情報に基づいて画像補正部１７が撮影画像データに対する補正を行う。この場合、機械的又は電気的な傾き検出が行われ、その構成（設計）の自由度が向上する。
【００５２】
なお、この実施形態において、図２ではカメラ部２を携帯電話本体部１に装着した状態を示したが、カメラ部２は携帯電話本体部１にワイヤード接続によって着脱可能に配置されており、カメラ部２を携帯電話本体部１から取り外して、その撮影を行うことも可能である。いわゆる、分離型携帯テレビ電話装置としての使用も可能である。この場合の動作も前記と同様であり、その使用の自由度が向上する。例えば、装置を顔の横に位置する状態での音声通話を行いながら、通話者の顔の撮影が可能になる。
【００５３】
次に、分離型テレビ電話装置の他の実施形態について説明する。
図４は、他の実施形態の携帯テレビ電話装置の正面外観構成を示す正面図である。また、図５は、他の実施形態の携帯テレビ電話装置の構成を示すブロック図であり、図６は、他の実施形態の撮影及び撮影画像表示装置の構成の一例を示すブロック図である。
【００５４】
この例の分離型携帯テレビ電話装置は、携帯電話本体部１Ａ及び撮影・画像表示装置３０で概略構成されている。携帯電話本体部１Ａの外観構成では、図１に示したカメラ部２及び手ぶれ補正処理オンスイッチ１１が設けられていない。これ以外は、図１と同様の構成である。
【００５５】
図４において撮影・画像表示装置３０は、例えば、人の手のひらに載る程度の大きさであり、開閉自在な二つ折りの構造である。この二つ折りの構造における一方に、携帯電話本体部より大きなサイズの画面表示部を備える液晶ディスプレイ（ＬＣＤ）３１が配置され、さらに、回転可能なカメラ部３２が設けられている。また、二つ折りの構造における他方にフラットパネルで構成されて、各種の操作を行うための入力操作部３３やスピーカ３４が設けられている。なお、スピーカ３４は、テレビ電話における音声出力を行うものであり、設けられていない場合もある。
【００５６】
図５において、携帯電話本体部１Ａには、前記した画像入力部１５（図１）及び傾き検出部１２とともに、ズーム設定部１３及び手ぶれ補正処理オンスイッチ１１が設けられておらず、新たに微弱電波（例えば、Bluetooth/IEEE802 標準）や赤外線（例えば、ＩｒＤＡ１．１）で撮影・画像表示装置３０と双方向通信（送受信の撮影画像データ）を行うための無線通信部２５が設けられている。
【００５７】
図６において、この撮影・画像表示装置３０は、基本的かつ一例の構成であり、図１と同様の構成のカメラ部３２（図４）とともに、撮影や画面表示に関する各種の操作を行うための入力操作部３３が設けられている。さらに、テレビ電話における音声出力を行うスピーカ３４とともに、携帯電話本体部１Ａと微弱電波や赤外線で双方向通信を行うための無線通信部４０が設けられ、また、無線通信部４０からの撮影画像データを表示画像するための処理（例えば、輝度処理、Ｘ／Ｙ駆動処理）を施す出力映像信号処理部４１を有している。
【００５８】
さらに、撮影・画像表示装置３０には、無線通信部４０からの音声像データを処理を施す音声信号処理部４２とともに、カメラ部３２からの撮影画像を取り込み、必要な画像処理を行う撮影手段としての入力映像信号処理部４３と、図１と同様の傾き検出部４４、ズーム設定部４５及び手ぶれ補正処理オン（ＯＮ）スイッチ４６を備えている。
【００５９】
次に、この図４から図６に示す分離型携帯テレビ電話装置の基本的なテレビ電話としての動作や本発明に対応する手ぶれ補正処理の動作は、前記した実施形態と同様の処理である。この、他の実施形態の動作では、携帯電話本体部１Ａ及び撮影・画像表示装置３０との間で微弱電波や赤外線による双方向通信を行っている。この双方向通信による送受信データは、撮影・画像表示装置３０で撮影され、その画像処理が施されたカラー撮影画像データであり、さらに、撮影・画像表示装置３０に転送される携帯電話本体部１Ａで受信したテレビ電話における撮影画像データである。
【００６０】
図５の携帯電話本体部１Ａにおける無線通信部２５及び図６の撮影・画像表示装置３０の無線通信部４０以外の動作は、前記した実施形態と同様であり、その動作説明を省略する。
【００６１】
なお、ここでは、傾き情報検出部４４、ズーム設定部４５及び手ぶれ補正処理オンスイッチ４６を撮影・画像表示装置３０内に設けているが、図１と同様に携帯電話本体部１Ａに設けても良い。この場合、これらの傾き検出部４４、ズーム設定部４５及び手ぶれ補正処理オンスイッチ４６に関する制御信号を携帯電話本体部１Ａ及び撮影・画像表示装置３０との間で微弱電波や赤外線による双方向通信によって伝送し、このシーケンスで撮影・画像表示装置３０内に設けた場合と同様に動作するようにすれば良い。
【００６２】
また、図５の携帯電話本体部１Ａと図６の撮影・画像表示装置３０との間は、微弱電波による転送に代えて、前記の実施形態におけるカメラ部２の場合と同様にワイヤード及びインターフェース処理によって接続する構成でも良い。
【００６３】
この図４から図６に示す分離型携帯テレビ電話装置は、携帯電話本体部１Ａ及び撮影・画像表示装置３０を離した状態でのテレビ電話が可能である。すなわち、携帯電話本体部１Ａを手に保持して音声専用の携帯電話と同様の状態で使用し、かつ、撮影・画像表示装置３０を通話者と対面するように配置することによって、通話者の撮影が会話時に可能であり、また、携帯電話本体部１Ａより大きなサイズの画面表示が液晶ディスプレイ（ＬＣＤ）３１で行われるため、そのテレビ電話が容易になる。換言すれば、使い勝手が良くなる。
【００６４】
なお、この実施形態では、画像処理部１８がＭＰＥＧ４規格による圧縮／伸長を行う例をもって説明したが、他の方式も適用可能である。例えば、カラー静止画を圧縮／伸長するＪＰＥＧ（Joint Photographic Expert Group）方式によって、撮影画像データを連続的（コマ送り）に送信する場合にもそのまま適用できる。また、広帯域伝送が可能な場合、例えば、飛び越し走査を行うＮＴＳＣ方式などの適用が可能な伝送形態にも、本発明の実施形態にかかる手ぶれ補正の画像処理の適用が可能である。したがって、構成（設計）が自由に行えるようになる。
【００６５】
また、この実施形態では、ＰＨＳとしての携帯テレビ電話装置、すなわち、無線方式の携帯テレビ電話装置について説明したが、これに限定されない。例えば、携帯テレビ電話装置と同様な有線回線に接続する小型卓上型テレビ電話機にも適用できる。すなわち、この小型卓上型テレビ電話機を携帯し、例えば、公衆電話（ＩＳＤＮ回線など）にケーブル／コネクタをもって接続によってテレビ電話を行う場合、すなわち、小型卓上型テレビ電話機を人の手で保持して使用する場合にも適用できる。この場合、構成（設計）の自由度が向上する。
【００６６】
さらに、この実施形態では、ＰＨＳをもって説明したが、他の伝送方式にもそのまま適用可能である。例えば、現状ではＰＨＳよりも伝送速度が遅いＴＤＭＡ方式のＰＤＣやＷ−ＣＤＭＡ方式（ＩＭＴ−２０００）やＣＤＭＡ方式（ＩＳ−９５）にもそのまま適用可能である。この場合も構成（設計）の自由度が向上する。
【００６７】
【発明の効果】
以上の説明から明らかなように、本発明の携帯テレビ電話装置における撮影画像データ補正方法及びその装置によれば、撮影した撮影画像データを蓄積し、当該装置の傾きを検出した際に、この傾き検出情報に対応して蓄積した撮影画像データを、当該装置が傾いていない状態に補正している。また、撮影画像データを、圧縮して伝送している。
【００６８】
この結果、撮影画像のぶれが軽減されて高品質の画面表示が可能になる。すなわち、撮影画像を自装置で確認する場合や、撮影画像を送信したテレビ電話相手先の表示画像が高品質で映し出されるという効果がある。
【００６９】
また、本発明によれば、撮影画像データが圧縮率を高めて伝送される。したがって、伝送データ量の増大を抑えることが出来るようになる。すなわち、撮影画像のぶれが発生し難いため、結果的に撮影画像データ量が増大化せずに、高圧縮率による画像伝送が可能になるという効果がある。
【００７０】
また、本発明によれば、遠近撮影（ズーム撮影）の設定が行われた際に撮影の対象領域が変化していると判断して、傾きのない状態への補正を停止している。この結果、遠近撮影設定機構（ズーム機構）を併設した携帯テレビ電話装置において、撮影画像データに対する効果的な補正が可能になり、結果的に携帯テレビ電話装置の多機能化が推進されるという効果がある。
【００７１】
さらに、本発明によれば、傾きのない状態への補正をオン・オフする設定操作手段を備えており、撮影画像データの補正処理のオン・オフが可能になる。この結果、撮影状態の選択の自由度が向上するという効果が有る。
【００７２】
また、本発明によれば、撮影手段が本体装置に着脱可能に配置されている。この結果、例えば、装置を顔の横に位置する状態での音声通話を行いながら、通話者の顔の撮影が可能になる。換言すれば、撮影の自由度が向上するという効果がある。
【００７３】
さらに、本発明によれば、無線通信や有線通信によるテレビ電話が可能である。また、当該装置の傾きを機械的な変化や電気的な変化をもって検出している。これによって、設計
（構成）の自由度が向上するという効果が有る。
【００７４】
また、本発明によれば、携帯電話本体部及び撮影・画像表示装置を分離した分離型の携帯テレビ電話装置において、撮影・画像表示装置の傾きに対する撮影画像データを補正している。この結果、受信撮影画像データに対する大型の画面表示が可能になり、また、通話者の撮影も、その対面した撮影が容易に可能になるという効果が有る。
【図面の簡単な説明】
【図１】本発明の携帯テレビ電話装置における撮影画像データ補正方法及びその装置の実施形態における構成を示すブロック図である。
【図２】実施形態にあって携帯テレビ電話装置の正面外観構成を示す正面図である。
【図３】実施形態にあって実施形態の動作の処理手順を示す流れ図である。
【図４】他の実施形態の携帯テレビ電話装置の正面外観構成を示す正面図である。
【図５】他の実施形態の携帯テレビ電話装置の構成を示すブロック図である。
【図６】他の実施形態の撮影及び撮影・画像表示装置の構成を示すブロック図である。
【符号の説明】
１  携帯電話本体部
２  カメラ部
１１  手ぶれ補正処理オンスイッチ
１２  傾き情報検出部
１３  ズーム設定部
１４  制御部
１５  画像入力部
１６  画像メモリ部
１７  画像補正部
１８  画像処理部
１９  音声処理部
１９ａ  マイクロホン
１９ｂ  スピーカ
２０  無線処理部
２１，３１  表示部
２２，３３  入力操作部
３０  撮影・画像表示装置
３２  カメラ部
【図１】
0003636011.tif 000002
【図２】
0003636011.tif 000003
【図３】
0003636011.tif 000004
【図４】
0003636011.tif 000005
【図５】
0003636011.tif 000006
【図６】
0003636011.tif 000007