(57)【要約】  【課題】２次元（ＸＹ方向）、奥行き（Ｚ方向）、３次元（ＸＹＺ方向）移動に対する画面の位置制御を行い、揺れによる視覚からの画面の揺れを吸収し、同じ画像の映像（ＴＶ、電話等）をみることができる小型端末装置。【解決手段】動画撮影用カメラ２と、ＬＣＤ６と、アナログ・フロント・エンド３１と、動画撮影用カメラとデータを送受信するカメラコントローラ部４，ＬＣＤ６とデータを送受信するＬＣＤコントローラ部２５と，カメラコントローラ部４，及びＬＣＤコントローラ部２５とデータを送受信する画像処理装置２７と，中央演算処理装置２１，及びディジタル・シグナル・プロセッサ２３を有し，アナログ・フロント・エンドとの間でデータを送受信するベースバンド部２２とを備えるプロセッサ部２０とを備え、画像表示装置を見る人の顔と画像表示装置との距離の変化量を、動き補償予測技術に基づく画面マトリックスを用いて調整する小型端末装置。【選択図】図１
2008139599.tif 000002
【特許請求の範囲】
【請求項１】
カメラ手段と、
前記カメラ手段に隣接して配置され、任意の画像データを表示する画像表示装置と、
アナログ送受信信号を送受信するアナログ・フロント・エンドと、
前記カメラ手段とデータを送受信するカメラコントローラ部と、前記画像表示装置とデータを送受信する画像表示コントローラ部と、前記カメラコントローラ部，及び前記画像表示コントローラ部とデータを送受信する画像処理装置と、中央演算処理装置，及びディジタル・シグナル・プロセッサを有し，前記画像処理装置及び前記アナログ・フロント・エンドとの間でデータを送受信するベースバンド部とを備えるプロセッサ部
とを備え、前記画像表示装置を見る人の顔と前記画像表示装置との距離の変化量を、動き補償予測技術を用いて、２次元方向、奥行き方向、及び３次元方向において調整し、前記変化量に応じた移動量に応じて、前記画像表示装置における前記任意の画像データの表示位置を、電子的に変更することを特徴とする小型端末装置。
【請求項２】
前記画像表示装置のクロック信号の周期を変更することによって、前記奥行き方向及び前記３次元方向の前記画像データの調整を電子的に行うことを特徴とする請求項１記載の小型端末装置。
【請求項３】
前記画像データと前記動き補償予測技術に基づく予測画像データとの比較結果が大幅にずれた場合は、前記画像データを基準状態に戻すように調整することを特徴とする請求項１又は請求項２記載の小型端末装置。
【請求項４】
前記画像データと前記動き補償予測技術に基づく予測画像データとの比較結果において、前記変化量に応じた前記移動量が、前記動き補償予測技術に基づく画面マトリックスの中間位置にきた場合には、前記画面マトリックス内の前記中間位置に隣接する画面のどちらか一方に調整し、前記画像表示装置における前記任意の画像データの表示位置を、電子的に変更することを特徴とする請求項１又は請求項２記載の小型端末装置。
【請求項５】
カメラ手段と、
前記カメラ手段に隣接して配置され、任意の画像データを表示する画像表示装置と、
２次元若しくは３次元の回転速度を検知するジャイロセンサ，２次元の加速度を測る加速度センサ及び前記ジャイロセンサ，及び前記加速度センサとデータを送受信するＡ／Ｄ変換器を有するセンサ部と、
アナログ信号を送受信するインタフェースと、
中央演算処理装置，及びディジタル・シグナル・プロセッサを備え，前記Ａ／Ｄ変換器及び前記インタフェースとデータを送受信するベースバンド部，及び前記ベースバンド部及び前記画像表示装置とデータを送受信する画像表示コントローラ部を有するプロセッサ部
とを備え、前記ジャイロセンサ，及び前記加速度センサの測定データに基いて、前記画像表示装置における前記任意の画像データの表示位置を、機械的に変更すると共に、前記画像表示装置を見る人の顔と前記画像表示装置との距離の変化量を、動き補償予測技術を用いて調整し、前記変化量に応じた移動量に応じて、前記画像表示装置のクロック信号の周期を変更することによって、前記画像表示装置における前記任意の画像データの表示位置を、奥行き方向及び３次元方向において、電子的に変更することを特徴とする小型端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、小型端末装置に関するもので、特に、小型端末装置の動画撮影用カメラと動き補償予測技術を用いて、画面表示装置上の表示画面について、画面内での表示位置や表示画面の大きさを変更する制御を行う小型端末装置に関する。
【背景技術】
【０００２】
小型端末装置は、最近の携帯電話等でも代表されるように、ＴＶ電話機能を備え、相手の顔が液晶表示装置（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）画面に出力されることで、画面内の相手と会話をすることが可能となった。また、小型端末装置にＴＶを見る機能を設けることによって、携帯電話等の小型端末装置のＬＣＤ画面から、ＴＶを見ることができるようになった。また、今後、地上波ディジタル放送なども携帯電話等の小型端末装置から見ることができるようになってきている。このように、ＬＣＤ画面から、情報を得る機会が増えてきている。
【０００３】
しかしながら、上記の結果、障害も発生している。例えば、電車、車等の乗り物に乗車している時、携帯電話等の小型端末装置をＴＶ機能にしてＴＶを見る時、乗り物の微妙な動きにより、視線からは、ＬＣＤ画面のＴＶ画像の奥行き（Ｚ）方向に常時揺れてしまい、正確な動画情報を見ることができない。また、静止状態でも、手触れにより、視線からは、ＬＣＤのＴＶ画像は奥行き（Ｚ）方向に常時揺れてしまい、正確な動画情報を見ることはできない。また、人によっては、動画像の奥行き（Ｚ）方向の揺れにより気分が悪くなる健康障害を引き起こす可能性もある。
【０００４】
一方、画像シーケンスにおける画像の変位を求める方法及び画像シーケンスにおける画像の変位を求める装置は、既に開示されている（例えば、特許文献１参照。）。特許文献１に係る方法及び装置は、例えば、カメラの動きの補償などのために用いられる。この場合、変位を求めるため、画像における複数の画像領域が使用される。その際、各画像領域は画像の所定位置のサイズを持ち、例えば、画像の種々の方向で所定数の画素を有している。
【０００５】
特許文献１に係る方法及び装置によれば、例えば、カメラの動きにより引き起こされる画像の動きを、補正すべき画像の部分領域における画像の動きに重畳された付加的な動きから、分離することができる。
【特許文献１】特公表２００２−５３９６８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、小型端末装置の画面表示装置上の表示画面において、表示画面上の位置や大きさを変更することで、２次元（ＸＹ方向）、奥行き（Ｚ方向）、３次元（ＸＹＺ方向）移動に対する画面の調整を行うことができ、顔の位置と表示画面との相対的な位置を変更する。例えば、乗り物に乗っている際、揺れによる視覚からのＬＣＤの画面の２次元（ＸＹ方向）・奥行き（Ｚ方向）の揺れを吸収し、無くすことができ、乗り物に乗っている時でも、常時、同じ大きさの画面、同じ画像の映像、文字（Ｗｅｂ,ＴＶ，ＴＶ電話等）を見ることができる小型端末装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様によれば、（イ）カメラ手段と、（ロ）カメラ手段に隣接して配置され、任意の画像データを表示する画像表示装置と、（ハ）アナログ信号を送受信するアナログ・フロント・エンドと、（ニ）カメラ手段とデータを送受信するカメラコントローラ部と、画像表示装置とデータを送受信する画像表示コントローラ部と、前記カメラコントローラ部，及び前記画像表示コントローラ部とデータを送受信する画像処理装置と、中央演算処理装置，及びディジタル・シグナル・プロセッサを有し，画像処理装置及び前記アナログ・フロント・エンドとの間でデータを送受信するベースバンド部とを備えるプロセッサ部とを備え、（ホ）画像表示装置を見る人の顔と画像表示装置との距離の変化量を、動き補償予測技術を用いて、２次元方向、奥行き方向、及び３次元方向において調整し、変化量に応じた移動量に応じて、画像表示装置における任意の画像データの表示位置を、電子的に変更する小型端末装置が提供される。
【０００８】
本発明の他の態様によれば、（イ）カメラ手段と、（ロ）カメラ手段に隣接して配置され、任意の画像データを表示する画像表示装置と、（ハ）２次元若しくは３次元の回転速度を検知するジャイロセンサ，２次元の加速度を測る加速度センサ及びジャイロセンサ，及び加速度センサとデータを送受信するＡ／Ｄ変換器を有するセンサ部と、（ニ）アナログ信号を送受信するインタフェースと、（ホ）中央演算処理装置，及びディジタル・シグナル・プロセッサを備え，Ａ／Ｄ変換器及びインタフェースとデータを送受信するベースバンド部，及びベースバンド部及び画像表示装置とデータを送受信する画像表示コントローラ部を有するプロセッサ部とを備え、（ヘ）ジャイロセンサ，及び加速度センサの測定データに基いて、画像表示装置における任意の画像データの表示位置を、機械的に変更すると共に、画像表示装置を見る人の顔と画像表示装置との距離の変化量を、動き補償予測技術を用いて調整し、変化量に応じた移動量に応じて、画像表示装置のクロック信号の周期を変更することによって、画像表示装置における任意の画像データの表示位置を、奥行き方向及び３次元方向において、電子的に変更する小型端末装置が提供される。
【発明の効果】
【０００９】
本発明の小型端末装置によれば、小型端末装置のＬＣＤにおいて、精度の高いＬＣＤの位置制御を行うことができ、２次元（ＸＹ方向）、奥行き（Ｚ方向）、３次元（ＸＹＺ方向）移動に対する画面の調整を行うことができ、乗り物に乗っている際、揺れによる視覚からのＬＣＤの画面の２次元（ＸＹ方向）・奥行き（Ｚ方向）の揺れを吸収し、無くすことができ、乗り物に乗っている時でも、常時、同じ大きさの画面、同じ画像の映像（ＴＶ、電話等）をみることができる。
【発明を実施するための最良の形態】
【００１０】
次に、図面を参照して、本発明の第１乃至第４の実施の形態に係る小型端末装置を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。ただし、図面は模式的なものであり、厚みと平面寸法との関係、動作タイミング等は現実のものとは異なることに留意すべきである。従って、具体的な厚みや寸法は以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることはもちろんである。
【００１１】
また、以下に示す第１乃至第４の実施の形態に係る小型端末装置は、この発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の技術的思想は、構成部品の形状、構造、配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。
【００１２】
また、以下に示す第１乃至第４の実施の形態に係る小型端末装置は、例えば、携帯電話、ＴＶ、表示画面付の動画像再生機器、或いはカーナビといった表示装置を有する電子機器に応用可能である。また、アナログ信号は、Ｗｅｂ,ＴＶ，ＴＶ電話等からの画像の映像、文字等の信号である。
【００１３】
[第１の実施の形態]
本発明の第１の実施の形態に係る小型端末装置の模式的ブロック構成は、図１に示すように、動画撮影用カメラ２と、ＬＣＤ６と、プロセッサ部２０と、アナログ・フロント・エンド（ＡＦＥ）３１とを備える。
【００１４】
ＬＣＤ６は、本発明の実施形態に係る小型端末装置では、液晶表示装置（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を示すが、表示方法をクロックで制御する他の表示装置にも応用可能である。
【００１５】
プロセッサ部２０は、動画撮影用カメラ２とデータを送受信するカメラコントローラ部４と、ＬＣＤ６とデータを送受信するＬＣＤコントローラ部２５と、カメラコントローラ部４及びＬＣＤコントローラ部２５とデータを送受信する画像処理装置２７と、中央演算処理装置（ＣＰＵ）２１及びディジタル・シグナル・プロセッサ（ＤＳＰ）２３を有し，画像処理装置２７及びＡＦＥ３１との間でデータを送受信するベースバンド部２２とを備える。ＡＦＥ３１は、ＴＶアナログ信号ＴＶＡ及びＴＶ電話アナログ送受信信号ＴＶＢを送受信する。ここで、ＡＦＥ３１は、ＴＶアナログ信号ＴＶＡ及びＴＶ電話アナログ送受信信号ＴＶＢを送受信しているが、無線ＬＡＮ,ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）等を用いインターネット（Ｉｎｔｅｒｎｅｔ）回線をアクセスしたＷｅｂからの画像の映像、文字等のアナログ信号も送受信可能である。
【００１６】
本発明の第１の実施の形態に係る小型端末装置は、ＬＣＤ上の表示画面について、ＬＣＤ上の画像位置を調整し、揺れを抑えるものである。
【００１７】
画像処理装置２７は、例えば、画像処理装置搭載用ＬＳＩチップによって構成される。ベースバンド部２２は、例えば、ベースバンド用ＬＳＩチップによって構成される。
【００１８】
本発明の第１の実施の形態に係る小型端末装置は、小型端末装置の動画撮影用カメラと、動き補償（Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ、以下ＭＣと称する）予測技術を用いて、ＬＣＤ画像の２次元（ＸＹ方向）、奥行き（Ｚ方向）、３次元（ＸＹＺ方向）の位置制御を行う。この小型端末装置は、小型端末装置のＬＣＤで、テレビ、動画像を見ている時に、小型端末装置に装備された動画撮影用カメラ２から、見ている人の位置情報を監視する。  
監視とは、動画撮影用カメラ２によって撮影された画像を基に、動き補償予測技術を用いたブロックマッチング法を用いて、見ている人の位置情報の移動量を予測することである。この予測した移動量を基に、表示画面のＬＣＤ上の位置を変えることで、より精度の高いＬＣＤの画面表示制御を行うことができる。
【００１９】
この監視する手順については、後に、図９を用いて説明する。
【００２０】
（変形例１）
本発明の第１の実施の形態の変形例１に係る小型端末装置の模式的ブロック構成は、図２に示すように、動画撮影用カメラ２と、ＬＣＤ６と、プロセッサ部２０と、ＡＦＥ３１と、フレームメモリ２６とを備える。
【００２１】
プロセッサ部２０は、動画撮影用カメラ２とデータを送受信するカメラコントローラ部４と、ＬＣＤ６とデータを送受信するＬＣＤコントローラ部２５と、カメラコントローラ部４及びＬＣＤコントローラ部２５とデータを送受信する画像処理装置２７と、ＣＰＵ２１及びＤＳＰ２３を有し，画像処理装置２７，ＡＦＥ３１及びフレームメモリ２６との間でデータを送受信するベースバンド部２２とを備える。ＡＦＥ３１は、ＴＶアナログ信号ＴＶＡ及びＴＶ電話アナログ送受信信号ＴＶＢを送受信する。
【００２２】
本発明の第１の実施の形態の変形例１に係る小型端末装置においては、フレームメモリ２６を設け、ＴＶの受信データのデータレートが低い場合、フレームメモリ２６を用いることで、データレートを維持し、画面表示スピードを保持することができる。
【００２３】
（変形例２）
本発明の第１の実施の形態の変形例２に係る小型端末装置の模式的ブロック構成は、図３に示すように、動画撮影用カメラ２と、ＬＣＤ６と、プロセッサ部２０と、ＡＦＥ３１とを備える。
【００２４】
プロセッサ部２０は、動画撮影用カメラ２及びＬＣＤ６とデータを送受信するカメラ／ＬＣＤコントローラ部８と、カメラ／ＬＣＤコントローラ部８とデータを送受信する画像処理装置２７と、ＣＰＵ２１及びＤＳＰ２３を有し，画像処理装置２７及びＡＦＥ３１との間でデータを送受信するベースバンド部２２とを備える。ＡＦＥ３１は、ＴＶアナログ信号ＴＶＡ及びＴＶ電話アナログ送受信信号ＴＶＢを送受信する。
【００２５】
本発明の第１の実施の形態の変形例２に係る小型端末装置においては、図１に示すカメラコントローラ部４、ＬＣＤコントローラ部２５を一体型にしたカメラ／ＬＣＤコントローラ部８を備える。
【００２６】
（変形例３）
本発明の第１の実施の形態の変形例３に係る小型端末装置の模式的ブロック構成は、図４に示すように、動画撮影用カメラ２と、ＬＣＤ６と、プロセッサ部２０と、ＡＦＥ３１と、フレームメモリ２６とを備える。
【００２７】
プロセッサ部２０は、動画撮影用カメラ２及びＬＣＤ６とデータを送受信するカメラ／ＬＣＤコントローラ部８と、カメラ／ＬＣＤコントローラ部８とデータを送受信する画像処理装置２７と、ＣＰＵ２１及びＤＳＰ２３を有し，画像処理装置２７，ＡＦＥ３１及びフレームメモリ２６との間でデータを送受信するベースバンド部２２とを備える。ＡＦＥ３１は、ＴＶアナログ信号ＴＶＡ及びＴＶ電話アナログ送受信信号ＴＶＢを送受信する。
【００２８】
本発明の第１の実施の形態の変形例３に係る小型端末装置においては、フレームメモリ２６を設け、ＴＶの受信データのデータレートが低い場合、フレームメモリ２６を用いることで、画面スピードを保持することができる。
【００２９】
本発明の第１の実施の形態の変形例３に係る小型端末装置においては、図１に示すカメラコントローラ部４、ＬＣＤコントローラ部２５を一体型にしたカメラ／ＬＣＤコントローラ部８を備える。
【００３０】
（変形例４）
本発明の第１の実施の形態の変形例４に係る小型端末装置の模式的ブロック構成は、図５に示すように、動画撮影用カメラ２と、位置監視用カメラ３と、ＬＣＤ６と、プロセッサ部２０と、ＡＦＥ３１とを備える。
【００３１】
プロセッサ部２０は、動画撮影用カメラ２とデータを送受信するカメラコントローラ部４と、位置監視用カメラ３とデータを送受信するカメラコントローラ部５と、ＬＣＤ６とデータを送受信するＬＣＤコントローラ部２５と、カメラコントローラ部４，カメラコントローラ部５，及びＬＣＤコントローラ部２５とデータを送受信する画像処理装置２７と、ＣＰＵ２１及びＤＳＰ２３を有し，画像処理装置２７及びＡＦＥ３１との間でデータを送受信するベースバンド部２２とを備える。ＡＦＥ３１は、ＴＶアナログ信号ＴＶＡ及びＴＶ電話アナログ送受信信号ＴＶＢを送受信する。
【００３２】
本発明の第１の実施の形態の変形例４に係る小型端末装置においては、位置監視用カメラ３をＬＣＤ６側に設置し、その位置監視用カメラ３で、人の顔の位置状態を監視し、２次元（ＸＹ方向）の揺れ幅、奥行き（Ｚ方向）のサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から揺れずに一定の画面の大きさで見ることができる。
【００３３】
（変形例５）
本発明の第１の実施の形態の変形例５に係る小型端末装置の模式的ブロック構成は、図６に示すように、動画撮影用カメラ２と、位置監視用カメラ３と、液晶表示ディスプレイ（ＬＣＤ）６と、プロセッサ部２０と、ＡＦＥ３１と、フレームメモリ２６とを備える。  
プロセッサ部２０は、動画撮影用カメラ２とデータを送受信するカメラコントローラ部４と、位置監視用カメラ３とデータを送受信するカメラコントローラ部５と、ＬＣＤ６とデータを送受信するＬＣＤコントローラ部２５と、カメラコントローラ部４，カメラコントローラ部５，及びＬＣＤコントローラ部２５とデータを送受信する画像処理装置２７と、ＣＰＵ２１及びＤＳＰ２３を有し，画像処理装置２７，ＡＦＥ３１及びフレームメモリ２６との間でデータを送受信するベースバンド部２２とを備える。ＡＦＥ３１は、ＴＶアナログ信号ＴＶＡ及びＴＶ電話アナログ送受信信号ＴＶＢを送受信する。
【００３４】
本発明の第１の実施の形態の変形例５に係る小型端末装置においては、フレームメモリ２６を設け、ＴＶの受信データのデータレートが低い場合、フレームメモリ２６を用いることで、データレートを維持し、画面表示スピードを保持することができる。
【００３５】
（変形例６）
本発明の第１の実施の形態の変形例６に係る小型端末装置の模式的ブロック構成は、図７に示すように、動画撮影用カメラ２と、位置監視用カメラ３と、液晶表示ディスプレイ（ＬＣＤ）６と、プロセッサ部２０と、ＡＦＥ３１とを備える。
【００３６】
プロセッサ部２０は、動画撮影用カメラ２，位置監視用カメラ３，及びＬＣＤ６とデータを送受信するカメラ／ＬＣＤコントローラ部８と、カメラ／ＬＣＤコントローラ部８とデータを送受信する画像処理装置２７と、ＣＰＵ２１及びＤＳＰ２３を有し，画像処理装置２７及びＡＦＥ３１との間でデータを送受信するベースバンド部２２とを備える。ＡＦＥ３１は、ＴＶアナログ信号ＴＶＡ及びＴＶ電話アナログ送受信信号ＴＶＢを送受信する。
【００３７】
本発明の第１の実施の形態の変形例６に係る小型端末装置においては、図６に示すカメラコントローラ部４，カメラコントローラ部５，及びＬＣＤコントローラ部２５を一体型にしたカメラ／ＬＣＤコントローラ部８を備える。
【００３８】
本発明の第１の実施の形態の変形例６に係る小型端末装置においても、位置監視用カメラ３をＬＣＤ６側に設置し、その位置監視用カメラ３で、人の顔の位置状態を監視し、２次元（ＸＹ方向）の揺れ幅、奥行き（Ｚ方向）のサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から揺れずに一定の画面の大きさで見ることができる。
【００３９】
（変形例７）
本発明の第１の実施の形態の変形例７に係る小型端末装置の模式的ブロック構成は、図８に示すように、動画撮影用カメラ２と、位置監視用カメラ３と、ＬＣＤ６と、プロセッサ部２０と、ＡＦＥ３１と、フレームメモリ２６とを備える。
【００４０】
プロセッサ部２０は、動画撮影用カメラ２，位置監視用カメラ３，及びＬＣＤ６とデータを送受信するカメラ／ＬＣＤコントローラ部８と、カメラ／ＬＣＤコントローラ部８とデータを送受信する画像処理装置２７と、ＣＰＵ２１及びＤＳＰ２３を有し，画像処理装置２７，ＡＦＥ３１及びフレームメモリ２６との間でデータを送受信するベースバンド部２２とを備える。ＡＦＥ３１は、ＴＶアナログ信号ＴＶＡ及びＴＶ電話アナログ送受信信号ＴＶＢを送受信する。
【００４１】
本発明の第１の実施の形態の変形例７に係る小型端末装置においては、フレームメモリ２６を設け、ＴＶの受信データのデータレートが低い場合、フレームメモリ２６を用いることで、画面スピードを保持することができる。
【００４２】
本発明の第１の実施の形態の変形例７に係る小型端末装置においては、図６に示すカメラコントローラ部４，カメラコントローラ部５，及びＬＣＤコントローラ部２５を一体型にしたカメラ／ＬＣＤコントローラ部８を備える。
【００４３】
本発明の第１の実施の形態の変形例７に係る小型端末装置においても、位置監視用カメラ３をＬＣＤ６側に設置し、その位置監視用カメラ３で、人の顔の位置状態を監視し、２次元（ＸＹ方向）の揺れ幅、奥行き（Ｚ方向）のサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から揺れずに一定の画面の大きさで見ることができる。
【００４４】
以上説明したように、図１乃至図４に示す本発明の第１の実施の形態及び変形例１乃至変形例３に係る小型端末装置においては、動画撮影用カメラ２から人の顔の位置を監視する機構を有する。一方、図５乃至図８に示す本発明の第１の実施の形態の変形例４乃至変形例７に係る小型端末装置においては、位置監視用カメラ３から人の顔の位置を監視する機構を有する。
【００４５】
本発明の第１の実施の形態の変形例１乃至変形例７に係る小型端末装置においては、ＡＦＥ３１は、ＴＶアナログ信号ＴＶＡ及びＴＶ電話アナログ送受信信号ＴＶＢを送受信しているが、本発明の第１の実施の形態と同様に、無線ＬＡＮ,ブルートゥース等を用いインターネット回線をアクセスしたＷｅｂからの画像の映像、文字等のアナログ信号も送受信可能である。
【００４６】
（小型端末装置の動作方法）
−人の顔の２次元（ＸＹ方向）の移動−
本発明の第１の実施の形態に係る小型端末装置の動作方法において、人の顔の縦横の移動のような２次元（ＸＹ方向）の場合の動作を説明するフローチャートは、図９に示すように表される。
【００４７】
（ａ）まず、ステップＳ１において、ＬＣＤ６を見ている画面人の顔を動画撮影用カメラ２で撮影し、人の顔の画像フレームデータを画像処理装置２７に送信する。この時の画像を基準情報としてセットする。
【００４８】
（ｂ）次に、ステップＳ２において、画像フレームデータからの人の顔の次のフレームの移動量の予測を、動き補償（ＭＣ）予測技術を用いて幾つか立てる。この移動量の予測については、ブロックマッチング法として、後に詳細に説明する。
【００４９】
（ｃ）次に、ステップＳ３において、次のフレームデータが来たとき、次フレームと予測したフレームを選択し、予測値と同一のもの、或いは一番近いもの（誤差範囲内）を選択可能か否かを判断する。予測値と同一のもの、或いは一番近いもの（誤差範囲内）を選択可能である場合には、ステップＳ４に移行する。予測値と大幅にずれ、予測フレームが無い場合には、ステップＳ５に移行する。
【００５０】
（ｄ）次に、ステップＳ５において、調整は行わず、データを基準状態に戻し、ステップＳ１に移行する。
【００５１】
（ｅ）次に、予測値と同一のもの、或いは一番近いもの（誤差範囲内）を選択可能である場合には、ステップＳ４において、ＴＶ画像データ処理を実行し、２次元（ＸＹ方向）データ値は、ＬＣＤコントローラ部２５に送信され、２次元（ＸＹ方向）を調整した画像データをＬＣＤ６へ送信する。この時、ＴＶ画像データに限らず、Ｗｅｂからの動画、静止画の画像データ、文字等のデータでも良い。
【００５２】
（ｆ）次に、ステップＳ６において、ＬＣＤ６の画面の２次元（ＸＹ方向）の画像調整処理を行い、ＬＣＤ画面を表示する。
【００５３】
−人の顔の奥行き（Ｚ方向）の移動−
本発明の第１の実施の形態に係る小型端末装置の動作方法において、人の顔の奥行き（Ｚ方向）移動のような奥行き（Ｚ方向）調整のみの場合の動作を説明するフローチャートは、図１０に示すように表される。
【００５４】
（ａ）まず、ステップＳ１１において、ＬＣＤ６を見ている画面人の顔を動画撮影用カメラ２で撮影し、人の顔の画像フレームデータを画像処理装置２７に送信する。この時、基準情報をセットする。
【００５５】
（ｂ）次に、ステップＳ１２において、画像フレームデータからの人の顔の次のフレームの移動量の予測を幾つか立てる。
【００５６】
（ｃ）次に、ステップＳ１３において、次のフレームデータが来たとき、次フレームと予測したフレームを選択し、予測値と同一のもの、或いは一番近いもの（誤差範囲内）を選択可能か否かを判断する。予測値と同一のもの、或いは一番近いもの（誤差範囲内）を選択可能である場合には、ステップＳ１４に移行する。予測値と大幅にずれ、予測フレームが無い場合には、ステップＳ１５に移行する。
【００５７】
（ｄ）次に、ステップＳ１５において、調整は行わず、データを基準状態に戻し、ステップＳ１１に移行する。
【００５８】
（ｅ）次に、予測値と同一のもの、或いは一番近いもの（誤差範囲内）を選択可能である場合には、ステップＳ１４において、ＴＶ画像データ処理を実行し、奥行き（Ｚ方向）データ値は、ＬＣＤコントローラ部２５に送信され、奥行き（Ｚ方向）を調整した画像データをＬＣＤ６へ送信する。この時、ＴＶ画像データに限らず、Ｗｅｂからの動画、静止画の画像データ、文字等のデータでも良い。
【００５９】
（ｆ）次に、ステップＳ１６において、ＬＣＤ６の画面の奥行き（Ｚ方向）画像の調整処理を行い、ＬＣＤ画面を表示する。
【００６０】
−人の顔の２次元（ＸＹ方向）・奥行き（Ｚ方向）の移動（３次元方向移動）−
本発明の第１の実施の形態に係る小型端末装置の動作方法について、例えば、人の顔の縦横の移動のような２次元（ＸＹ方向）の動きに、奥行き（Ｚ方向）の移動を加えた３次元（ＸＹＺ方向）の場合の動作を説明するフローチャートは、図１１に示すように表される。概念は、それぞれ２次元（ＸＹ方向）と同様である。
【００６１】
（ａ）まず、ステップＳ２１において、ＬＣＤ６を見ている画面人の顔を動画撮影用カメラ２で撮影し、人の顔の画像フレームデータを画像処理装置２７に送信する。この時、基準情報をセットする。
【００６２】
（ｂ）次に、ステップＳ２２において、画像フレームデータからの人の顔の次のフレームの移動量の予測を幾つか立てる。
【００６３】
（ｃ）次に、ステップＳ２３において、次のフレームデータが来たとき、次フレームと予測したフレームを選択し、予測値と同一のもの、或いは一番近いもの（誤差範囲内）を選択可能か否かを判断する。予測値と同一のもの、或いは一番近いもの（誤差範囲内）を選択可能である場合には、ステップＳ２４に移行する。予測値と大幅にずれ、予測フレームが無い場合には、ステップＳ２５に移行する。
【００６４】
（ｄ）次に、ステップＳ２５において、調整は行わず、データを基準状態に戻し、ステップＳ２１に移行する。
【００６５】
（ｅ）次に、予測値と同一のもの、或いは一番近いもの（誤差範囲内）を選択可能である場合には、ステップＳ２４において、ＴＶ画像データ処理を実行し、２次元（ＸＹ方向）・奥行き（Ｚ方向）データ値は、ＬＣＤコントローラ部２５に送信され、２次元（ＸＹ方向）・奥行き（Ｚ方向）を調整した画像データをＬＣＤ６へ送信する。この時、ＴＶ画像データに限らず、Ｗｅｂからの動画、静止画の画像データ、文字等のデータでも良い。
【００６６】
（ｆ）次に、ステップＳ２６において、ＬＣＤ６の画面の２次元（ＸＹ方向）・奥行き（Ｚ方向）の画像の調整処理を行い、ＬＣＤ画面を表示する。
【００６７】
（動き補償（ＭＣ）予測を用いたブロックマッチング法と表示画面制御）
ＬＣＤ６を見ている人の顔の位置の移動量を予測し、表示画面を制御する方法について、具体的に説明を行う。
【００６８】
本発明の第１の実施の形態に係る小型端末装置では、移動量の予測に、動き補償（ＭＣ）予測技術を用いたブロックマッチング法を用いる。予測された移動量を基に、表示画面を制御する。
【００６９】
先ず、図１２に示す通り、人の顔を撮影し、この画像を基準値とする。次に、撮影した画面を適切な大きさのブロックに分ける。ブロックの大きさは、例えば、１６×１６画素のものを用いているが、用途によって大きくしても、小さくしても構わない。次に、例えば、人の目の周辺の画像を用いて、人の顔の位置の移動量を予測する。図１２の例では、移動量を求める際、目を基準にしているが、特に限定さたもでは無く、鼻でも、顔全体でも、顔のその他一部でかまわない。
【００７０】
−２次元（ＸＹ方向）の移動量の予測とＬＣＤ画面の表示調整方法−
本発明の第１の実施の形態に係る小型端末装置において、２次元（ＸＹ方向）の場合のブロックマッチング法によるＬＣＤ画面の縦横制御の方法は、図１２に示すように模式的に表される。
【００７１】
（ａ）動画撮影用カメラ２から人の画像フレームデータを取り、基準フレームとする。これを現行フレームとする。次に、この現行フレームを、１６×１６画素で種々シフトしたブロックを取る。具体的には、図１３に示す通り、標準画像を真ん中に据えて、同じ大きさ（１．０倍）の顔であるが、平面の位置を変更した画像を９枚準備する。
【００７２】
（ｂ）次に、図１２に示すように、現行フレームを次フレームの一部と比較し、予測フレームに一致するフレーム、或いは、移動度が一番近いフレームを選択する。結果として、ＬＣＤ上に移動度を考慮した画像の出力を行う。
【００７３】
（ｃ）この時、例えば、移動量が、予測フレームの中間に位置する場合には、仕様により、どちらかのフレームを選択するように制御する。例えば、図１４に示すように、中心に画像を戻す、或いは、図１５に示すように、左右の端の画像にシフトすることもできる。
【００７４】
（ｄ）次に、予測フレームに応じて、画面データをＬＣＤ上に表示させる位置を変更する。例えば、顔が右にずれると、画面データも右にずらすように、目と画面データとの相対位置がずれないように制御する。具体的には、図１６或いは図１７に示す通り、画面データが画像や文字のいずれの場合も、図１３の顔の位置と同じ位置に画面データが表示されるような制御が実行される。この表示を実行するための移動量は、画面データの基の表示位置情報からの変更量である。
【００７５】
本発明の第１の実施の形態に係る小型端末装置において、２次元（ＸＹ方向）の場合の移動量の調整方法は、図１８に示すように模式的に表される。図１８（ａ）は、ＬＣＤ画面上での移動量を説明する図であり、図１８（ｂ）は、座標軸上での移動量を説明図である。１６Ｘ１６画素において、座標Ａ（ｘ，ｙ），Ｂ（ｘ１，ｙ１）に対して、Ａ→Ｂへ移動した場合、移動量は、Ｙ軸方向(ｙ１―ｙ)，Ｘ軸方向(ｘ１―ｘ)となる。Ｙ軸方向(ｙ１―ｙ)，Ｘ軸方向(ｘ１―ｘ)で表される移動量が、ＬＣＤ画像上の移動量となり、移動量の調整を行うことができる。
【００７６】
−奥行き（Ｚ方向）の移動量の調整方法−
本発明の第１の実施の形態に係る小型端末装置において、奥行き（Ｚ方向）の移動の場合のブロックマッチング法によるＬＣＤ画面の奥行き（Ｚ方向）制御の方法は、図１９に示すように模式的に表すことができる。
【００７７】
（ａ）動画撮影用カメラ２から人の画像フレームデータを取り、基準フレームとする。これを現フレームとする。次に、この現フレームの倍率を変化させたフレームデータを作成し、特定部分を１６Ｘ１６画素で倍率を変化させたブロックを取る。具体的には、図２０及び図２１に示す通り、図１３の画像を基に、大きさを変更した画像を準備する。本発明の第１の実施の形態に係る小型端末装置では、１．２倍と０．８倍の画像を合計１８枚準備する。ここで、奥行き（Ｚ方向）の移動は、中心の画像の部分のみで、ＸＹ方向には、移動しない。
【００７８】
（ｂ）次に、図１９に示すように、現行フレームを次フレームの一部と比較し、予測フレームに一致するフレーム、或いは、Ｚ方向への移動度が一番近いフレームを選択する。結果として、ＬＣＤ上に移動度を考慮した画像の出力を行う。
【００７９】
（ｃ）次に、予測フレームに応じて、画面データをＬＣＤ上に表示させる位置を変更する。例えば、顔が右にずれ、更に画面から離れるとすると、画面データも右にずらし、更に画面データが大きくなるように、目と画面との相対位置と大きさがずれないように制御する。具体的には、図２２と図２３、或いは図２４と図２５に示す通り、２次元（ＸＹ方向）は同じ位置の画面であるが、奥行き（Ｚ方向）は逆の画面を表示するように制御する。この表示を実行するための移動量は、画面データの基の表示位置情報からの変更量である。この移動量をＬＣＤ画像の補正（移動）データとする。
【００８０】
図２６は、奥行き（Ｚ方向）における倍率０．８，１．０（標準），１．２に対する枠の幅Ｗ０，Ｗ１，Ｗ２と調整後の画像の大きさとの関係を模式的に示した図である。図２６に対応して、これらの枠の幅と画像の大きさとの関係は、図２７に示すように表される。
【００８１】
図２７に示される枠の幅と画像の大きさとの関係においては、一定の係数を設定しても良い。
【００８２】
（ｄ）移動量が、予測フレームの中間に来たものには、仕様により、どちらかを選択するように制御する。例えば、図２８は位置監視用カメラからの画像において、予測フレームが奥行き（Ｚ方向）における倍率０．９の位置に移動量がきたものについては、０．８にシフトさせ、予測フレームが奥行き（Ｚ方向）における倍率１．１の位置に移動量がきたものについては、１．２にシフトさせる例を示す。図２８に対応して、これらの枠の幅Ｗ３，Ｗ４と画像の大きさとの関係は、図２９に示すように表される。図２９に示される枠の幅と画像の大きさとの関係においても、一定の係数を設定しても良い。
【００８３】
（ｅ）一方、例えば、図３０は位置監視用カメラからの画像において、予測フレームが奥行き（Ｚ方向）における倍率０．９の位置に移動量がきたものについては、１．０（標準）にシフトさせ、予測フレームが奥行き（Ｚ方向）における倍率１．１の位置に移動量がきたものについても、１．０（標準）にシフトさせる例を示す。図３０に対応して、これらの枠の幅Ｗ３，Ｗ４と画像の大きさとの関係は、図３１に示すように表される。図３１に示される枠の幅と画像の大きさとの関係においても、一定の係数を設定しても良い。
【００８４】
以上の通り、０．８，１．０，１．２と倍率が変化する場合、０．９，１．１の様な中間倍率に移動量が来た場合、仕様により、０．８，１．２方向にシフトするか、１．０（標準）になるようにシフトすることができる。 
本発明の第１の実施の形態に係る小型端末装置において、奥行き（Ｚ方向）の移動量の調整方法は、図３２に示すように模式的に表すことができる。図３２（ａ）は、ＬＣＤ６からの距離ａ，ｂ，ｂ’，ｂ”と画面表示上の様子を模式的に表した図であり、図３２（ｂ）は、ａを基準とした場合、左右に顔の位置が揺れたとしても、距離がｂ，ｂ’，ｂ”のように一定であれば、奥行き（Ｚ方向）の方向率ｂ／ａ, ｂ’／ａ, ｂ”／ａは、一定となることを説明する模式図である。ａを基準とした場合、左右に顔の位置が揺れたとしても、距離がｂ，ｂ’，ｂ”のように一定であれば、奥行き（Ｚ方向）の方向率ｂ／ａ,  ｂ’／ａ,  ｂ”／ａは、一定となることから、結果として、奥行き（Ｚ方向）の揺れ幅を認識することができる。
【００８５】
本発明の第１の実施の形態に係る小型端末装置において、奥行き（Ｚ方向）の移動量の調整方法を説明する具体例は、図３３に示すように、模式的に表される。図３３（ａ）は、ＬＣＤ６からの距離ａ，ｂ，ｂ’，ｂ”を３次元（ＸＹＺ方向）に模式的に表した図であり、図３３（ｂ）は、距離ａを基準値とする画面サイズＳ’ＸＳに対して、距離ｂの画面サイズＳ’Ｘ（ａ／ｂ）ＸＳＸ（ａ／ｂ）を説明する図である。
【００８６】
目の間の距離がａから、ｂ，ｂ’,ｂ”になるように、ＬＣＤ６から、Ｚ方向に視線が移動した場合、画面は、縦：Ｓ’×ａ／ｂ,横：Ｓ×ａ／ｂとすることで視点から同じ大きさで見ることができる。ＬＣＤに顔が近づく場合は、画面幅が小さくなる。
【００８７】
−３次元（ＸＹＺ方向）の移動量の調整方法−
本発明の第１の実施の形態に係る小型端末装置において、３次元（ＸＹＺ方向）の場合は、上記２次元（ＸＹ方向）と奥行き（Ｚ方向）を組み合わせた方法で制御される。
【００８８】
本発明の第１の実施の形態に係る小型端末装置において、３次元（ＸＹＺ方向）の移動の場合のブロックマッチング法によるＬＣＤ画面の３次元（ＸＹＺ方向）制御の方法は、図３４に示すように模式的に表すことができる。
【００８９】
（ａ）動画撮影用カメラ２から人の画像フレームデータを取り、基準フレームとする。これを現フレームとする。
【００９０】
（ｂ）次に、この現フレームの倍率を変化させたフレームデータを作成し、特定部分を１６Ｘ１６画素で倍率を変化させたブロックを取る。模式的には、顔の撮影画像と表示画像の各々について、図３８に示す３次元（ＸＹＺ方向）アルゴリズムの座標に、顔については図１３、図２０、及び図２１を配置し、表示画面については図１６、図２２、及び図２３を、文字表示については図１７、図２４、及び図２５を配置する。
【００９１】
（ｃ）次に、図３４に示すように、現行フレームを次フレームの一部と比較し、予測フレームに一致する倍率のフレーム、或いは、３次元（ＸＹＺ方向）への移動度が一番近いフレームを選択する。
【００９２】
（ｄ）次に、予測フレームに応じて、２次元（ＸＹ方向）の移動と奥行き（Ｚ方向）の移動における説明と同様に、画面データのＬＣＤ上の表示位置を変更する。この表示を実行するための移動量は、画面データの基の表示位置情報からの変更量である。
【００９３】
（ｅ）この時、移動量が、予測フレームの中間に来たものには、仕様によりどちらかを選択するように制御する。例えば、図３５は位置監視用カメラの画像において、予測フレームが奥行き（Ｚ方向）における倍率０．９の位置に移動量がきたものについては、１．０（標準）にシフトさせ、予測フレームが奥行き（Ｚ方向）における倍率１．１の位置に移動量がきたものについても、１．０（標準）にシフトさせる例を示す。
【００９４】
（ｆ）一方、例えば、図３６は位置監視用カメラの画像において、予測フレームが奥行き（Ｚ方向）における倍率０．９の位置に移動量が来たものについては、０．８にシフトさせ、予測フレームが奥行き（Ｚ方向）における倍率１．１の位置に移動量が来たものについては、１．２にシフトさせる例を示す。
【００９５】
以上の通り、０．８，１．０，１．２と倍率が変化する場合、０．９，１．１の様な中間倍率に移動量が来た場合、仕様により、０．８，１．２方向にシフトするか、１．０（標準）になるようにシフトすることができる。 
ＸＹ平面上の２次元的な動きだけの場合には、移動位置が中間に来た場合にどちらにシフトさせるかを考慮しても、全体のメモリサイズは、２次元（ＸＹ方向）平面上の範囲であり、大きなサイズとはならない。例えば、上述の通り、３×３＝９画面分のメモリサイズがあればよい。
【００９６】
一方、３次元（ＸＹＺ方向）の場合には、移動位置が中間に来た場合にＺ方向のどちらにシフトさせるかを考慮すると、３枚の平面分、即ち、上述の通り、３×３×３＝２７画面分のメモリサイズがあればよい。
【００９７】
更に解像度を上昇して、２次元（ＸＹ方向）平面上の画素を更に細分化してもよい。また、３次元（ＸＹＺ方向）の場合においても、メモリサイズは大きくなるが、Ｘ方向、Ｙ方向、或いはＺ方向を細分化し、３枚に限らず、例えば、１００枚の２次元（ＸＹ方向）平面を判断できるようにしても良い。
【００９８】
本発明の第１の実施の形態に係る小型端末装置において、ＬＣＤ画面の３次元（ＸＹＺ方向）の移動量の調整方法を説明する具体例は、図３７に示すように、模式的に表される。図３７（ａ）は、ＬＣＤ６からの距離ａの基準位置における画面データの具体例を示し、図３７（ｂ）は、ＬＣＤ６からの距離ｂの位置における画面データの具体例を示し、ａ→ｂに変化した際の画像例が示されている。画面は、ａで設定した画像の中心位置の(０,０)位置に対し、目の距離により、奥行き（Ｚ方向）を、縦Ｓ、横Ｓ’から縦Ｓ’×ａ／ｂ, 横Ｓ×ａ／ｂと広げる。また、２次元（ＸＹ方向）の揺れは、ａで設定した画像位置の(０,０)位置に対し、Ｙ軸方向に(ｙ１―ｙ)、Ｘ軸方向に(ｘ１―ｘ)画面を移動させることで調節する。これにより、基準から位置調整をすることができる。
【００９９】
具体的に、２次元（ＸＹ方向）の例では、図３９に示すＦ１乃至Ｆ３の順番で顔の位置が移動した場合、顔は、図４０に示す通りに、Ｆ１乃至Ｆ３の順番で２次元（ＸＹ方向）に変化する。このとき、表示画面は、図４１、或いは図４２に示す通り、Ｆ１乃至Ｆ３の順番で変化する。
【０１００】
次に、奥行き（Ｚ方向）の例では、図４３に示すＦ１乃至Ｆ５の順番で顔の位置が移動した場合、顔は図４４乃至図４６に示す通りに、Ｆ１乃至Ｆ５の順番で大きさが変化する。このとき、表示画面は、図４７乃至図４９、或いは図５０乃至図５２に示す通り、Ｆ１乃至Ｆ５の順番で変化する。
【０１０１】
次に、３次元（ＸＹＺ方向）の例では、図５３に示すＦ１乃至Ｆ７の順番で顔の位置が移動した場合、顔は、図５４乃至図５６に示す通りに、Ｆ１乃至Ｆ７の順番で変化する。このとき、表示画面は、図５７乃至図５９、或いは図６０乃至図６２に示す通り、Ｆ１乃至Ｆ７の順番で変化する。
【０１０２】
以上の通り、動き補償（ＭＣ）予測技術を用いた予測をすることで、移動量の測定に要する時間と処理量を軽減させることができる。
【０１０３】
（ＬＣＤ画面に画像を出力する方法）
本発明の第１の実施の形態に係る小型端末装置において、有効表示（Ａ）の画像を出力するＬＣＤ画面の具体例は、図６３に示すように表される。有効表示領域（Ａ）以外は、ブランキングモード領域の画像としてマスクすることで、画像は表示されない。
【０１０４】
本発明の第１の実施の形態に係る小型端末装置において、画面が２次元（ＸＹ方向）・奥行き（Ｚ方向）に揺れた時、位置情報により、有効表示領域が変化した時の有効表示（Ａ）、有効表示（Ｂ）を出力するＬＣＤ画面の具体例は、図６４に示すように表される。
【０１０５】
本発明の第１の実施の形態に係る小型端末装置において、水平方向に水平同期信号ＨＳＹＮＣ，及び水平有効信号ＨＥＮを印加し、垂直方向に垂直同期信号ＶＳＹＮＣ，及び垂直有効信号ＶＥＮを印加することにより、有効表示領域を決めて出力したＬＣＤ画面の具体例は、図６５に示すように表される。
【０１０６】
本発明の第１の実施の形態に係る小型端末装置において、データの揺れの情報から、水平有効信号ＨＥＮ，垂直有効信号ＶＥＮの立上りタイミングを決めて、画像データを出力させ、移動情報と伴に、水平有効信号ＨＥＮ，垂直有効信号ＶＥＮのタイミング調整を行い、２次元（ＸＹ方向）揺れの調整を行うタイミングチャートの具体例は、図６６に示すように表される。
【０１０７】
水平方向の有効表示領域とデータは、クロック信号ＣＬＫ、水平同期信号ＨＳＹＮＣ、水平有効信号ＨＥＮによって生成される。水平同期信号ＨＳＹＮＣ、水平有効信号ＨＥＮ、データ信号ＤＡＴＡは、クロック信号ＣＬＫに同期されている。
【０１０８】
水平同期信号ＨＳＹＮＣの立下りで、水平方向画像出力幅の始点と終点を決める。また、水平有効信号ＨＥＮにより有効表示領域を決め、水平有効信号ＨＥＮがハイレベルＨの時、クロックの立下りによりデータを取り入れ、水平有効信号ＨＥＮがローレベルＬの時は、データは取り入れられない。
【０１０９】
垂直方向は、垂直同期信号ＶＳＹＮＣの立下りにより、垂直方向画像出力幅の始点と終点を決める。また、垂直有効信号ＶＥＮにより有効表示領域を決め、垂直有効信号ＶＥＮがハイレベルＨの時、クロックの立下りによりデータを取り入れ、垂直有効信号ＶＥＮがローレベルＬの時は、データは取り入れられない。この時、水平方向と同様に、垂直同期信号ＶＳＹＮＣの垂直有効信号ＶＥＮの幅は、ＣＬＫ幅により画像幅を調整することができる。
【０１１０】
つまり、データの揺れの情報から、水平有効信号ＨＥＮ，垂直有効信号ＶＥＮの立上りタイミングが決まり、画像データを出力させる。つまり、移動情報とともに、水平有効信号ＨＥＮ，垂直有効信号ＶＥＮのタイミング調整を行い、２次元（ＸＹ方向）の揺れの調整を行うことができる。  
本発明の第１の実施の形態に係る小型端末装置において、奥行き（Ｚ方向）の画像サイズ幅により画像の幅を変化させる方法を示すタイミングチャートは、模式的に図６７に示すように表される。図６７（ａ）は、ある一定のクロック信号ＣＬＫにおけるタイミングチャートであり、図６７（ｂ）は、クロック信号ＣＬＫの周期を長くした別のある一定のクロック信号ＣＬＫにおけるタイミングチャートを示す。図６７（ａ）に対して、クロック信号ＣＬＫの周期を変えることで、水平・垂直有効画面を変化させることができる。
【０１１１】
水平・垂直有効画像幅の変化は、画像を出力するＣＬＫ幅を制御することで、実現することができる。ＣＬＫ幅の制御とは、クロック信号ＣＬＫのパルス幅の制御を意味し、実質的にクロック周波数を変化させることによって実現することができる。
【０１１２】
奥行き（Ｚ方向）の方向率が、ａ／ｂの値を有する場合、例えば、ＣＬＫ幅をａ／ｂの値に設定する。これにより、有効画像幅を、水平・垂直方向に、ａ／ｂの値分だけ変化させることができる。ＬＣＤ画面に人の顔が近づいた時は、ＣＬＫ幅を小さくすることで、画像幅を小さくする。これにより、画像の２次元（ＸＹ方向）・奥行き（Ｚ方向）の調整を行うことができる。
【０１１３】
本発明の第１の実施の形態に係る小型端末装置においては、クロックの周期を変更することで、奥行き（Ｚ方向）調整のみならず、２次元（ＸＹ方向）・奥行き（Ｚ方向）調整を行うことができる。
【０１１４】
（一定の揺れの周期が続く場合の画面データの表示）
一定の揺れの周期が続く場合、一定の時間、その周期のみの動き補償（ＭＣ）予測のための動作を行う。例えば、動作周期を監視し、所定の時間内で一定であれば、顔の位置を検知せずに、画面データの表示のみを継続する。動作周期を監視し、所定の時間内で一定でない場合には、常時揺れに合わせて、画像データの表示位置を変更する。これにより、処理量を更に減少させ、消費電力やメモリ容量等を抑制することができる。この一定の周期は、人の目が変化を感知できない周期であれば、更に効果を有する。
【０１１５】
図６８は、本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、ＥＮ＿Ａ信号を用いることで、一定の揺れの周期が続く制御を実行する様子を説明する図を示す。
【０１１６】
一定の揺れの周期が続く場合の画面データの表示を実行する場合には、例えば、図６８に示すように、顔の位置の検知用信号を表す，ＥＮ＿Ａ信号を用いることで、一定の揺れの周期が続く制御を実行することができる。ＥＮ＿Ａ信号がハイレベルの場合は、顔の位置の検知をし、ＥＮ＿Ａ信号がローレベルの場合は顔の位置を検知しない。
【０１１７】
図６９は、本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、図６９（ａ）は、ＥＮ＿Ａ信号の波形図、図６９（ｂ）は、タイミングＴ１乃至Ｔ５に対応する顔の位置を検知した図、図６９（ｃ）は、顔の位置がタイミングＴ１乃至Ｔ５の順で変化するのに応じて画面データの表示位置をタイミングＴ１乃至Ｔ５の順番で変更する様子を説明する図をそれぞれ示す。
【０１１８】
又、図７０は、本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、図７０（ａ）は、ＥＮ＿Ａ信号の波形図、図７０（ｂ）は、タイミングＴ１乃至Ｔ５に対応する顔の位置を検知した図、図７０（ｃ）は、顔の位置がタイミングＴ１乃至Ｔ５の順で変化するのに応じて画面データの表示位置をＴ１乃至Ｔ５の順番で変更する様子を説明する図をそれぞれ示す。
【０１１９】
例えば、図６９、或いは図７０に示すように、ＥＮ＿Ａ信号がハイレベルである場合は、顔の位置を検知し、顔の位置がタイミングＴ１乃至Ｔ５の順で変化するのに応じて、画面データの表示位置をタイミングＴ１乃至Ｔ５の順番で変更する。
【０１２０】
図７１は、本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、図７１（ａ）は、ＥＮ＿Ａ信号の波形図、図７１（ｂ）は、タイミングＴ１乃至Ｔ５に対応する顔の位置を検知した図、図７１（ｃ）は、ＥＮ＿Ａ信号をハイレベルにして、タイミングＴ１乃至Ｔ５に対応する画像データの表示位置を説明する図、図７１（ｄ）は、ＥＮ＿Ａ信号をローレベルにして、タイミングＵ１乃至Ｕ５に対応する画像データの表示位置を説明する図をそれぞれ示す。
【０１２１】
同様に、図７２は、本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、図７２（ａ）は、ＥＮ＿Ａ信号の波形図、図７２（ｂ）は、タイミングＴ１乃至Ｔ５に対応する顔の位置を検知した図、図７２（ｃ）は、ＥＮ＿Ａ信号をハイレベルにして、タイミングＴ１乃至Ｔ５に対応する文字表示データの表示位置を説明する図、図７２（ｄ）は、ＥＮ＿Ａ信号をローレベルにして、タイミングＵ１乃至Ｕ５に対応する文字表示データの表示位置を説明する図をそれぞれ示す。
【０１２２】
例えば、図７１、或いは図７２に示すように、所定の周期の間に顔の移動がＴ１乃至Ｔ５の順で一定の場合は、ＥＮ＿Ａ信号をローレベルにして、顔の位置を検知せず、画面データのみ移動させる。次に、所定の時間を経過すると再度、ＥＮ＿Ａ信号をハイレベルにして、顔の位置を検知する。顔の位置の移動量が、前と変化しない場合は、所定の周期を短くして顔の位置を検知しない。
【０１２３】
図７３は、本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、図７３（ａ）は、ＥＮ＿Ａ信号の波形図、図７３（ｂ）は、タイミングＴ１乃至Ｔ５に対応する顔の位置を検知した図、図７３（ｃ）は、ＥＮ＿Ａ信号をハイレベルにして、タイミングＴ１乃至Ｔ５に対応する画像データの表示位置を説明する図、図７３（ｄ）は、ＥＮ＿Ａ信号をローレベルにして、タイミングＵ１乃至Ｕ５に対応する画像データの表示位置を説明する図をそれぞれ示す。    
又、図７４は、本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、図７４（ａ）は、ＥＮ＿Ａ信号の波形図、図７４（ｂ）は、タイミングＴ１乃至Ｔ５に対応する顔の位置を検知した図、図７４（ｃ）は、ＥＮ＿Ａ信号をハイレベルにして、タイミングＴ１乃至Ｔ５に対応する文字表示データの表示位置を説明する図、図７４（ｄ）は、ＥＮ＿Ａ信号をローレベルにして、タイミングＵ１乃至Ｕ５に対応する文字表示データの表示位置を説明する図をそれぞれ示す。
【０１２４】
例えば、図７３、或いは図７４に示すように、所定の周期の間に顔の移動が一定の場合は、ＥＮ＿Ａ信号をローレベルにして、顔の位置を検知せず、画面データのみ移動させる。次に、所定の時間を経過すると、再度、ＥＮ＿Ａ信号をハイレベルにして、顔の位置を検知する。顔の位置が変わっていた場合は、顔の位置に応じて画面データの位置を変更する。例えば、図７３、或いは図７４の例では、再度、ＥＮ＿Ａ信号をハイレベルにして、顔の位置を検知する際、顔の位置が変わっていることから、タイミングＴ５，Ｔ１，Ｔ３，・・・に応じて画面データの位置をタイミングＴ５，Ｔ１，Ｔ３，・・・と変更する。
【０１２５】
本発明の第１の実施の形態に係る小型端末装置において、２次元（ＸＹ方向）の場合の画像揺れ情報は、例えば、図７５に示すように模式的に表される。図７５（ａ）は、２次元（ＸＹ方向）位置制御を入れない場合の視点からＬＣＤの画像の２次元（ＸＹ方向）の揺れの大きさを模式的に示す。図７５（ｂ）は、２次元（ＸＹ方向）位置制御入れた場合の視点からＬＣＤの画像の２次元（ＸＹ方向）の揺れの大きさを模式的に示す。図７５（ｂ）に示すように、２次元（ＸＹ方向）位置制御を入れた場合、視点から基準値のままの状態で画面を見ることができる。
【０１２６】
本発明の第１の実施の形態に係る小型端末装置において、奥行き（Ｚ方向）の画像揺れ情報は、例えば、図７６に示すように模式的に表される。図７６（ａ）は、奥行き（Ｚ方向）位置制御を入れない場合の視点からＬＣＤの画像の縦横の大きさを模式的に示す。図７６（ｂ）は、奥行き（Ｚ方向）位置制御を入れた場合の視点からＬＣＤの画像の縦横の大きさを模式的に示す。図７６（ｂ）に示すように、奥行き（Ｚ方向）位置制御を入れた場合、図７５（ｂ）と同様に、視点から基準値のままの状態で画面を見ることができる。
【０１２７】
同様に、本発明の第１の実施の形態に係る小型端末装置において、２次元（ＸＹ方向）・奥行き（Ｚ方向）の画像揺れ情報は、例えば、図７７に示すように模式的に表される。図７７（ａ）は、２次元（ＸＹ方向）・奥行き（Ｚ方向）の位置制御を入れない場合の視点からＬＣＤの画像の２次元（ＸＹ方向）の大きさを模式的に示す。図７７（ｂ）は、２次元（ＸＹ方向）・奥行き（Ｚ方向）位置制御を入れた場合の視点からＬＣＤの画像の２次元（ＸＹ方向）の大きさを模式的に示す。図７７（ｂ）に示すように、２次元（ＸＹ方向）・奥行き（Ｚ方向）の位置制御を入れた場合、図７５（ｂ）及び図７６（ｂ）と同様に、視点から基準値のままの状態で画面を見ることができる。
【０１２８】
図７６は、奥行き（Ｚ方向）に対して、図７７は、３次元（ＸＹＺ方向）に対して、位置制御を入れた場合と、位置制御を入れない場合の視点からのＬＣＤ画面の状態を図示したが、位置制御を入れた場合は、図７６（ｂ）及び図７７（ｂ）に示すように、いずれも視点からの基準値のままの状態で画面を見ることができる。
【０１２９】
本発明の第１の実施の形態に係る小型端末装置によれば、小型端末装置のＬＣＤにおいて、動き補償（ＭＣ）予測を用いて、顔の位置と表示データの相対位置を変えないように、電子的に画面データの位置調整を行うことが可能である。例えば、乗り物に乗っている際の揺れによる方向揺れを吸収し、乗り物に乗っている時でも、常時、同じ大きさの画面、同じ画像の映像（ＴＶ、電話等）をみることができる。更に、揺れが一定の場合に消費電力を低減させる方法も有している。この時、ＴＶ、電話等の画像データに限らず、Ｗｅｂからの動画、静止画の画像データ、文字等のデータでも良い。
【０１３０】
本発明の第１の実施の形態に係る小型端末装置においても、動画撮影用カメラ２をＬＣＤ６側に設置し、その動画撮影用カメラ２で、人の顔の位置状態を監視し、２次元（ＸＹ方向）の揺れ幅、奥行き（Ｚ方向）のサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から揺れずに一定の画面の大きさで見ることができる。
【０１３１】
また、本発明の第１の実施の形態の変形例４乃至変形例７に係る小型端末装置において説明したように、位置監視用カメラ３をＬＣＤ６側に設置し、その位置監視用カメラ３で、人の顔の位置状態を監視し、２次元（ＸＹ方向）の揺れ幅、奥行き（Ｚ方向）のサイズ幅を変更させ、これにより顔の位置が移動しても、視点から揺れずに一定の画面の大きさで見ることができる。
【０１３２】
[第２の実施の形態]
一方、本発明の第２の実施の形態に係る小型端末装置においては、位置監視用カメラ３から、監視している物体（この場合は顔、或いは、顔の一部）が、無くなってしまった時の小型端末装置の動作方法について説明する。即ち、２次元（ＸＹ方向）の場合(Ｘ，Ｙ軸方向移動のみ),  奥行き（Ｚ方向）制御の場合(Ｚ軸方向移動のみ),３次元（ＸＹＺ方向）制御の場合(Ｘ，Ｙ，Ｚ軸方向移動)のすべての位置制御において、位置監視用カメラ３から、監視物体が無くなった時の、小型端末装置の動作方法について説明する。尚、本発明の第２の実施の形態に係る小型端末装置においても、第１の実施の形態と同様に、位置監視用カメラ３と共に、或いは位置監視用カメラ３の代りに、動画撮影用カメラ２を用いても良いことは明らかである。
【０１３３】
本発明の第２の実施の形態に係る小型端末装置の模式的構成は、第１の実施の形態において説明した図１乃至図８の構成と同様であるため、詳細な説明は省略する。本発明の第２の実施の形態に係る小型端末装置は、図７８に示すように、ＬＣＤ６側に位置監視用カメラ３を設置している点に特徴を有する。
【０１３４】
本発明の第２の実施の形態に係る小型端末装置においては、位置監視用カメラ３から、ＬＣＤ６を見ている人の顔の位置を認識し、基準設定した後、位置監視用カメラ３から見た人の顔の画像が大小、或いは左右に変化することにより、ＬＣＤ画像の大きさ、画像位置を変化させる位置制御を行うことができる。
【０１３５】
（小型端末装置の動作方法）
本発明の第２の実施の形態に係る小型端末装置の動作方法は、図７９に示すように表される。位置監視用カメラ３から、ＬＣＤ６を見ている人の顔の位置を認識し、基準設定をした後、図７９に示すように、顔画像が大きくなる（拡大）ことで、ＬＣＤ６の画像が小さくなる（画像小）。
【０１３６】
一方で、図７９に示すように、顔画像が小さくなる（縮小）ことで、ＬＣＤ６の画像位置が大きくなる（画像大）。この時、監視している物体（この場合は顔、或いは、顔の一部）が無くなることで、ＬＣＤ６の画面が基準設定値に戻る。また、監視物体が現れると、また、本来の小型端末装置の位置制御が作動する。この時、一定の時間、監視物体が現れなくなると、リセットがかかる機構も備えている。
【０１３７】
（小型端末装置のその他の動作方法）
本発明の第２の実施の形態に係る小型端末装置のその他の動作方法は、図８０に示すように表される。図８０は、例えば、位置監視用カメラ３が顔の目を基準にＬＣＤ６の画像制御を行っている。即ち、位置監視用カメラ３から、ＬＣＤ６を見ている人の顔の位置を認識し、基準設定をした後、図８０に示すように、顔画像が大きくなる（拡大）ことで、ＬＣＤ６の画像が小さくなる（画像小）。一方で、図８０に示すように、顔画像が小さくなる（縮小）ことで、ＬＣＤ６の画像位置が大きくなる（画像大）。この時、監視基準である監視している物体（この場合は、顔の一部）が無くなることで、ＬＣＤ６の画面が基準設定値に戻る。
【０１３８】
また、監視物体が現れると、また、本来の小型端末装置の位置制御が作動する。この時も、一定の時間、監視物体が現れなくなると、リセットがかかる機構も備えている。
【０１３９】
本発明の第２の実施の形態に係る小型端末装置によれば、基準をずらすことなく、画像の移動をスムーズに行うことができるとともに、画像位置制御が容易になる。
【０１４０】
[第３の実施の形態]
本発明の第３の実施の形態に係る小型端末装置においては、位置監視用カメラ３から、監視している物体（この場合は顔、或いは、顔の一部）が、ＬＣＤ画面の２次元（ＸＹ方向）の揺れ幅と、奥行き（Ｚ方向）の移動制限領域を超えた場合のＬＣＤの動作方法について説明する。尚、本発明の第３の実施の形態に係る小型端末装置においても、第１乃至第２の実施の形態と同様に、位置監視用カメラ３と共に、或いは位置監視用カメラ３の代りに、動画撮影用カメラ２を用いても良いことは明らかである。
【０１４１】
２次元（ＸＹ方向）制御の場合(Ｘ，Ｙ軸方向移動のみ)，奥行き（Ｚ方向）制御の場合(Ｚ軸方向移動のみ),３次元（ＸＹＺ方向）制御の場合(Ｘ，Ｙ，Ｚ軸方向移動)のすべての位置制御において、位置監視用カメラ３から、監視している物体（この場合は顔、或いは、顔の一部）が、ＬＣＤ画面の２次元（ＸＹ方向）の揺れ幅と、奥行き（Ｚ方向）の移動制限領域を超えた場合のＬＣＤの動作方法について説明する。
【０１４２】
本発明の第３の実施の形態に係る小型端末装置の模式的構成は、第１の実施の形態において説明した図１乃至図８の構成と同様であるため、詳細な説明は省略する。本発明の第２の実施の形態に係る小型端末装置は、第２の実施の形態と同様に、図７８に示すように、ＬＣＤ６側に位置監視用カメラ３を設置している点に特徴を有する。
【０１４３】
本発明の第３の実施の形態に係る小型端末装置においては、位置監視用カメラ３から、ＬＣＤ６を見ている人の顔の位置を認識し、基準設定した後、位置監視用カメラ３から見た人の顔の画像が大小、或いは左右に変化することにより、ＬＣＤ画像の大きさ、画像位置を変化させる位置制御を行う。
【０１４４】
（小型端末装置の動作方法）
本発明の第３の実施の形態に係る小型端末装置の動作方法は、図８１に示すように表される。位置監視用カメラ３から、ＬＣＤ６を見ている人の顔の位置を認識し、基準設定をした後、図８１に示すように、顔画像が大きくなる（拡大）ことで、ＬＣＤ６の画像が小さくなる（領域最小）。一方で、図８１に示すように、顔画像が小さくなる（縮小）ことで、ＬＣＤ６の画像位置が大きくなる（領域最大）。この時、更に顔画像が大きくなり（拡大）、或いは小さくなり（縮小）、変化幅を超えることで、本発明の第３の実施の形態に係る小型端末装置の位置制御が作動せず、ＬＣＤ６の大きさは変化しなくなる。
【０１４５】
本発明の第３の実施の形態に係る小型端末装置の動作方法においては、例えば、基準値１に対し、０．７５〜１．２５の変化幅に制限する。この変化幅は、人が小型端末装置の画像を見た時にピントが合いにくくなる領域である。
【０１４６】
また、顔画像の大きさが領域内に入ることで、本発明の第３の実施の形態に係る小型端末制御装置の位置制御が作動し、ＬＣＤ６の画像位置、大きさが変化する。
【０１４７】
本発明の第３の実施の形態に係る小型端末装置によれば、基準をずらすことなく、画像の移動をスムーズに行うことができると共に、画像位置制御が容易になる。
【０１４８】
[第４の実施の形態]
本発明の第４の実施の形態に係る小型端末装置において、画像データを移動させることにより、ＬＣＤ画像揺れを制御する小型端末装置の動作方法を説明する。
【０１４９】
本発明の第４の実施の形態に係る小型端末装置は、図８２に示すように、センサ部１０と、ＴＶインタフェース（ＴＶＩ／Ｆ）２８と、プロセッサ部２０と、ＬＣＤ４２を備える。センサ部１０は、ジャイロセンサ（Ｘ，Ｙ）１３と、加速度センサ（Ｘ，Ｙ）１４と、ジャイロセンサ（Ｘ，Ｙ）１３，及び加速度センサ（Ｘ，Ｙ）１４とデータを送受信するＡ／Ｄ変換器１８を備える。ＴＶインタフェース（ＴＶＩ／Ｆ）２８は、ＴＶアナログ信号ＴＶＡを送受信する。
【０１５０】
本発明の第４の実施の形態に係る小型端末装置においては、ＴＶインタフェース（ＴＶＩ／Ｆ）２８は、ＴＶアナログ信号ＴＶＡを送受信しているが、本発明の第１の実施の形態におけるＡＦＥ３１と同様に、ＴＶ画像、テレビ電話の受信だけではなく、無線ＬＡＮ,ブルートゥース等を用いインターネット回線をアクセスしたＷｅｂからの画像、動画、静止画画像、文字画像等のアナログ信号も送受信可能である。
【０１５１】
プロセッサ部２０は、ＣＰＵ２１，及びＤＳＰ２３を備え，Ａ／Ｄ変換器１８及びＴＶＩ／Ｆ２８とデータを送受信するベースバンド部２２と、ベースバンド部２２とデータを送受信するＬＣＤコントローラ部２５を備える。ＬＣＤ４２は、ＬＣＤコントローラ部２５との間でデータを送受信する。
【０１５２】
本発明の第４の実施の形態に係る小型端末装置においては、図８２に示すように、センサ部１０にジャイロセンサ（Ｘ,Ｙ）１３と、加速度センサ（Ｘ,Ｙ）１４を備えるが、これは、２次元（ＸＹ方向）のジャイロセンサ（Ｘ,Ｙ）１３の素早い回転速度を測る特徴と、加速度センサ（Ｘ,Ｙ）１４のような，ゆっくりとした動きであるが位置のズレを正確に把握できる，センサを組み合わせることにより、素早い動きがあった時は、ジャイロセンサ（Ｘ,Ｙ）１３が加速度センサ（Ｘ,Ｙ）１４に補正をかけ、ゆっくり動いている時は加速度センサ（Ｘ,Ｙ）１４がジャイロセンサ（Ｘ,Ｙ）１３を補正することで、すべての状態で、正確に２次元（ＸＹ方向）の動きを捉えるためである。
【０１５３】
（変形例１）
本発明の第４の実施の形態の変形例１に係る小型端末装置は、図８３に示すように、センサ部１０と、ＴＶＩ／Ｆ２８と、プロセッサ部２０と、フレームメモリ２６と、ＬＣＤ４２を備える。センサ部１０は、ジャイロセンサ（Ｘ，Ｙ）１３と、加速度センサ（Ｘ，Ｙ）１４と、ジャイロセンサ（Ｘ，Ｙ）１３，及び加速度センサ（Ｘ，Ｙ）１４とデータを送受信するＡ／Ｄ変換器１８を備える。ＴＶＩ／Ｆ２８は、ＴＶアナログ信号ＴＶＡを送受信する。
【０１５４】
プロセッサ部２０は、ＣＰＵ２１，及びＤＳＰ２３を備え，Ａ／Ｄ変換器１８及びＴＶＩ／Ｆ２８とデータを送受信するベースバンド部２２と、ベースバンド部２２とデータを送受信するＬＣＤコントローラ部２５を備える。フレームメモリ２６は、ベースバンド部２２との間でデータを送受信する。ＬＣＤ４２は、ＬＣＤコントローラ部２５との間でデータを送受信する。
【０１５５】
本発明の第４の実施の形態の変形例１に係る小型端末装置においては、フレームメモリ２６を設け、ＴＶの受信データのデータレートが低い場合、フレームメモリ２６を用いることで、画面スピードを保持することができる。
【０１５６】
本発明の第４の実施の形態の変形例１に係る小型端末装置においても、図８３に示すように、センサ部１０にジャイロセンサ（Ｘ,Ｙ）１３と、加速度センサ（Ｘ,Ｙ）１４を備え、２次元（ＸＹ方向）のジャイロセンサ（Ｘ,Ｙ）１３の素早い回転速度を測る特徴と、加速度センサ（Ｘ,Ｙ）１４のような，ゆっくりとした動きであるが位置のズレを正確に把握できる，センサを組み合わせることにより、素早い動きがあった時は、ジャイロセンサ（Ｘ,Ｙ）１３が加速度センサ（Ｘ,Ｙ）１４に補正をかけ、ゆっくり動いている時は加速度センサ（Ｘ,Ｙ）１４がジャイロセンサ（Ｘ,Ｙ）１３を補正することで、すべての状態で、正確に２次元（ＸＹ方向）の動きを捉えることができる。
【０１５７】
（変形例２）
本発明の第４の実施の形態の変形例２に係る小型端末装置は、図８４に示すように、センサ部１０と、ＴＶＩ／Ｆ２８と、プロセッサ部２０と、ＬＣＤ４２とを備える。センサ部１０は、ジャイロセンサ（Ｘ，Ｙ，Ｚ）１２と、加速度センサ（Ｘ，Ｙ）１４と、地磁気センサ（Ｚ）１６と、ジャイロセンサ（Ｘ，Ｙ，Ｚ）１２，加速度センサ（Ｘ，Ｙ）１４，及び地磁気センサ（Ｚ）１６とデータを送受信するＡ／Ｄ変換器１８を備える。ＴＶＩ／Ｆ２８は、ＴＶアナログ信号ＴＶＡを送受信する。
【０１５８】
プロセッサ部２０は、ＣＰＵ２１，及びＤＳＰ２３を備え，Ａ／Ｄ変換器１８及びＴＶＩ／Ｆ２８とデータを送受信するベースバンド部２２と、ベースバンド部２２とデータを送受信するＬＣＤコントローラ部２５を備える。ＬＣＤ４２は、ＬＣＤコントローラ部２５との間でデータを送受信する。
【０１５９】
本発明の第４の実施の形態の変形例２に係る小型端末装置においては、図８４に示すように、センサ部１０にジャイロセンサ（Ｘ,Ｙ，Ｚ）１２，加速度センサ（Ｘ,Ｙ）１４，及び地磁気センサ（Ｚ）１６を備え、３次元（ＸＹＺ方向）のジャイロセンサ（Ｘ,Ｙ，Ｚ）１２の素早い回転速度を測る特徴と、加速度センサ（Ｘ,Ｙ）１４及び地磁気センサ（Ｚ）１６のような，ゆっくりとした動きであるが位置のズレを正確に把握できる，センサを組み合わせることにより、素早い動きがあった時は、ジャイロセンサ（Ｘ,Ｙ，Ｚ）１２が加速度センサ（Ｘ,Ｙ）１４及び地磁気センサ（Ｚ）１６に補正をかけ、ゆっくり動いている時は加速度センサ（Ｘ,Ｙ）１４及び地磁気センサ（Ｚ）１６がジャイロセンサ（Ｘ,Ｙ，Ｚ）１２を補正することで、すべての状態で、正確に３次元（ＸＹＺ方向）の動きを捉えることができる。
【０１６０】
また、３次元（ＸＹＺ方向）のジャイロセンサ（Ｘ,Ｙ，Ｚ）１２のみを、２次元（ＸＹ方向）のジャイロセンサ（Ｘ,Ｙ）１３と置換しても良い。
【０１６１】
（変形例３）
本発明の第４の実施の形態の変形例３に係る小型端末装置は、図８５に示すように、センサ部１０と、ＴＶＩ／Ｆ２８と、プロセッサ部２０と、フレームメモリ２６と、ＬＣＤ４２を備える。センサ部１０は、ジャイロセンサ（Ｘ，Ｙ，Ｚ）１２と、加速度センサ（Ｘ，Ｙ）１４と、地磁気センサ（Ｚ）１６と、ジャイロセンサ（Ｘ，Ｙ，Ｚ）１２，加速度センサ（Ｘ，Ｙ）１４，及び地磁気センサ（Ｚ）１６とデータを送受信するＡ／Ｄ変換器１８を備える。ＴＶＩ／Ｆ２８は、ＴＶアナログ信号ＴＶＡを送受信する。
【０１６２】
プロセッサ部２０は、ＣＰＵ２１，及びＤＳＰ２３を備え，Ａ／Ｄ変換器１８及びＴＶＩ／Ｆ２８とデータを送受信するベースバンド部２２と、ベースバンド部２２とデータを送受信するＬＣＤコントローラ部２５を備える。フレームメモリ２６は、ベースバンド部２２との間でデータを送受信する。ＬＣＤ４２は、ＬＣＤコントローラ部２５との間でデータを送受信する。
【０１６３】
本発明の第４の実施の形態の変形例３に係る小型端末装置においては、フレームメモリ２６を設け、ＴＶの受信データのデータレートが低い場合、フレームメモリ２６を用いることで、画面スピードを保持することができる。
【０１６４】
本発明の第４の実施の形態の変形例３に係る小型端末装置においても、図８５に示すように、センサ部１０にジャイロセンサ（Ｘ,Ｙ，Ｚ）１２，加速度センサ（Ｘ,Ｙ）１４，及び地磁気センサ（Ｚ）１６を備え、３次元（ＸＹＺ方向）のジャイロセンサ（Ｘ,Ｙ，Ｚ）１２の素早い回転速度を測る特徴と、加速度センサ（Ｘ,Ｙ）１４及び地磁気センサ（Ｚ）１６のような，ゆっくりとした動きであるが位置のズレを正確に把握できる，センサを組み合わせることにより、素早い動きがあった時は、ジャイロセンサ（Ｘ,Ｙ，Ｚ）１２が加速度センサ（Ｘ,Ｙ）１４及び地磁気センサ（Ｚ）１６に補正をかけ、ゆっくり動いている時は加速度センサ（Ｘ,Ｙ）１４及び地磁気センサ（Ｚ）１６がジャイロセンサ（Ｘ,Ｙ，Ｚ）１２を補正することで、すべての状態で、正確に３次元（ＸＹＺ方向）の動きを捉えることができる。
【０１６５】
また、３次元（ＸＹＺ方向）のジャイロセンサ（Ｘ,Ｙ，Ｚ）１２のみを、２次元（ＸＹ方向）のジャイロセンサ（Ｘ,Ｙ）１３と置換しても良いことも同様である。
【０１６６】
本発明の第４の実施の形態に係る小型端末装置のＬＣＤの画面構成は、本発明の第１の実施の形態に係る小型端末装置の位置監視用カメラによるＬＣＤの画面構成（図６３乃至図６６）と同様の内容を有する。本発明の第４の実施の形態に係る小型端末装置のジャイロセンサを用いる方式も画像処理を用いる方式と同様の動作を実行している。即ち、画像処理と同様に、画像の２次元（ＸＹ方向）の処理、或いは３次元（ＸＹＺ方向）の処理をセンサ部１０におけるジャイロセンサ（Ｘ,Ｙ，Ｚ）１２，加速度センサ（Ｘ,Ｙ）１４，及び地磁気センサ（Ｚ）１６等を用いて実行しているからである。
【０１６７】
（小型端末装置の動作方法）
本発明の第４の実施の形態に係る小型端末装置において、携帯電話等の小型端末装置の揺れが生じた場合の動作フローチャートは、図８６に示すように表される。
【０１６８】
（ａ）まず、ステップＳ３１において、乗り物に乗って小型端末装置でＴＶを見ていて、乗り物の揺れにより、小型端末装置が揺れた場合、或いは、手揺れを起こし、小型端末装置が揺れた場合、揺れをセンサ部１０内のジャイロセンサ（Ｘ，Ｙ）１３，及び加速度センサ（Ｘ，Ｙ）１４を用いて感知する。
【０１６９】
（ｂ）次に、ステップＳ３２において、センサ部１０においては、ジャイロセンサ（Ｘ，Ｙ）１３，及び加速度センサ（Ｘ，Ｙ）１４を用いて感知した２次元（ＸＹ方向）の揺れ幅のアナログ信号を、Ａ／Ｄ変換器１８によりディジタル信号に変換する。
【０１７０】
（ｃ）次に、ステップＳ３３において、変換されたディジタル信号データはプロセッサ部２０内のベースバンド部２２へ送信され、ベースバンド部２２内のＣＰＵ２１，及びＤＳＰ２３等のプロセッサで、ＴＶ画像データ処理を実行し、２次元（ＸＹ方向）の揺れデータの処理を行う。
【０１７１】
（ｄ）次に、ステップＳ３４において、ＴＶ画像データ処理を実行し、２次元（ＸＹ方向）の揺れデータの処理を実行されたデータは、ＬＣＤコントローラ部２５に送信され、揺れ部分を調整した画像データをＬＣＤ４２に送信する。
【０１７２】
結果として、ＬＣＤ４２の画像情報は、揺れの分ブランキングモード領域の画像としてマスクするためマスク位置が変わり変化するが、画面位置は制御することができる。
【０１７３】
上記説明においては、２次元（ＸＹ方向）の揺れについて説明したが、３次元（ＸＹＺ方向）の揺れについても、図８４乃至図８５に示すように、ジャイロセンサ（Ｘ，Ｙ，Ｚ）１２、地磁気センサ（Ｚ）１６を考慮して、同様に取り扱うことができる。
【０１７４】
本発明の第４の実施の形態に係る小型端末装置において、ジャイロセンサ等による位置制御を入れない場合と、ジャイロセンサ等による位置制御を入れた場合のＬＣＤの画像の２次元（ＸＹ方向）の画像揺れ情報、奥行き（Ｚ方向）の画像揺れ情報、３次元（ＸＹＺ方向）の画像揺れ情報は、図７５（ａ），（ｂ）、図７６（ａ），（ｂ）、図７７（ａ），（ｂ）と同様にそれぞれ表すことができる。図７５（ｂ）と同様に、２次元（ＸＹ方向）位置制御を入れた場合、視点から基準値のままの状態で画面を見ることができる。図７６（ｂ）と同様に、奥行き（Ｚ方向）位置制御を入れた場合、視点から基準値のままの状態で画面を見ることができる。図７７（ｂ）と同様に、２次元（ＸＹ方向）・奥行き（Ｚ方向）の位置制御を入れた場合、視点から基準値のままの状態で画面を見ることができる。
【０１７５】
位置制御を入れた場合は、いずれも視点からの基準値のままの状態で画面を見ることができる。
【０１７６】
[その他の実施の形態]             
上記のように、本発明は第１乃至第４の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【０１７７】
このように、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【０１７８】
また、本実施形態として、以下の実施形態も含む。
【０１７９】
動画撮影用カメラと、液晶表示装置と、ＴＶアナログ信号及びＴＶ電話アナログ送受信信号を送受信するアナログ・フロント・エンドと、前記動画撮影用カメラとデータを送受信するカメラコントローラ部，前記液晶表示装置とデータを送受信するＬＣＤコントローラ部と、前記カメラコントローラ部，及び前記ＬＣＤコントローラ部とデータを送受信する画像処理装置と、中央演算処理装置，及びディジタル・シグナル・プロセッサを有し，前記アナログ・フロント・エンドとの間でデータを送受信するベースバンド部とを備えるプロセッサ部とを備えることを特徴とする小型端末装置。
【０１８０】
動画撮影用カメラと、位置監視用カメラと、液晶表示装置と、ＴＶアナログ信号及びＴＶ電話アナログ送受信信号を送受信するアナログ・フロント・エンドと、前記動画撮影用カメラとデータを送受信する第１カメラコントローラ部，前記位置監視用カメラとデータを送受信する第２カメラコントローラ部，前記液晶表示装置とデータを送受信するＬＣＤコントローラ部と、前記第１及び第２カメラコントローラ部，及び前記ＬＣＤコントローラ部とデータを送受信する画像処理装置と、中央演算処理装置，及びディジタル・シグナル・プロセッサを有し，前記アナログ・フロント・エンドとの間でデータを送受信するベースバンド部とを備えるプロセッサ部とを備えることを特徴とする小型端末装置。
【０１８１】
ジャイロセンサと、加速度センサと、前記ジャイロセンサ，及び前記加速度センサとデータを送受信するＡ／Ｄ変換器を備えるセンサ部と、ＴＶアナログ信号を送受信するＴＶインタフェースと、中央演算処理装置，及びディジタル・シグナル・プロセッサを備え、前記Ａ／Ｄ変換器及び前記ＴＶインタフェースとデータを送受信するベースバンド部と、前記ベースバンド部とデータを送受信するＬＣＤコントローラ部を備えるプロセッサ部と、前記ＬＣＤコントローラ部との間でデータを送受信する液晶表示装置とを備えることを特徴とする小型端末装置。
【０１８２】
更に、前記ベースバンド部とデータを送受信するフレームメモリを更に備えることを特徴とする小型端末装置。
【０１８３】
動画撮影用カメラと、液晶表示装置と、プロセッサ部とを備える小型端末装置の制御方法であって、前記液晶表示装置を見ている人の顔を前記動画撮影用カメラで撮影し、画像フレームデータに基いて、基準情報をセットするステップと、前記画像フレームデータの次のフレームの移動量を予測するステップと、次フレームと予測したフレームを選択し、予測値と同一或いは誤差範囲内のフレームを選択可能か否かを判断するステップと、予測値と同一或いは誤差範囲内のフレームを選択可能である場合には、ＴＶ画像データ処理、縦横データ値に基いて、２次元（ＸＹ方向）を調整した画像データを前記液晶表示装置へ送信するステップと、予測値と大幅にずれ、予測フレームが無い場合には、データを基準状態に戻すステップと、前記液晶表示装置の画面の２次元（ＸＹ方向）画像の２次元（ＸＹ方向）調整処理を行い、画面を表示するステップとを有することを特徴とする小型端末装置の動作方法。
【図面の簡単な説明】
【０１８４】
【図１】本発明の第１の実施の形態に係る小型端末装置の模式的ブロック構成図。
【図２】本発明の第１の実施の形態の変形例１に係る小型端末装置の模式的ブロック構成図。
【図３】本発明の第１の実施の形態の変形例２に係る小型端末装置の模式的ブロック構成図。
【図４】本発明の第１の実施の形態の変形例３に係る小型端末装置の模式的ブロック構成図。
【図５】本発明の第１の実施の形態の変形例４に係る小型端末装置の模式的ブロック構成図。
【図６】本発明の第１の実施の形態の変形例５に係る小型端末装置の模式的ブロック構成図。
【図７】本発明の第１の実施の形態の変形例６に係る小型端末装置の模式的ブロック構成図。
【図８】本発明の第１の実施の形態の変形例７に係る小型端末装置の模式的ブロック構成図。
【図９】本発明の第１の実施の形態に係る小型端末装置の動作方法について、２次元（ＸＹ方向）の場合の動作を説明するフローチャート図。
【図１０】本発明の第１の実施の形態に係る小型端末装置の動作方法について、奥行き（Ｚ方向）のみの場合の動作を説明するフローチャート図。
【図１１】本発明の第１の実施の形態に係る小型端末装置の動作方法について、３次元（ＸＹＺ方向）の場合の動作を説明するフローチャート図。
【図１２】本発明の第１の実施の形態に係る小型端末装置において、２次元（ＸＹ方向）の場合のブロックマッチング法によるＬＣＤ画面の２次元（ＸＹ方向）制御の方法を説明する模式図であって、現行フレームを次フレームの一部と比較し、予測フレームに一致するフレーム、或いは、移動度が一番近いフレームを選択する様子を示す図。
【図１３】本発明の第１の実施の形態に係る小型端末装置において、２次元（ＸＹ方向）の場合のブロックマッチング法によるＬＣＤ画面の縦横制御の方法を説明する図。
【図１４】現行フレームを次フレームの一部と比較し、予測フレームに一致するフレーム、或いは、移動度が一番近いフレームを選択する際に、移動量が、予測フレームの中間に位置する場合には、仕様によりフレームを中心に画像を戻すように選択する様子を説明する図。
【図１５】現行フレームを次フレームの一部と比較し、予測フレームに一致するフレーム、或いは、移動度が一番近いフレームを選択する際に、移動量が、予測フレームの中間に位置する場合には、仕様により、フレームを左右の端の画像にするように選択する様子を説明する図。
【図１６】本発明の第１の実施の形態に係る小型端末装置において、２次元（ＸＹ方向）の場合のブロックマッチング法によるＬＣＤ画面の２次元（ＸＹ方向）制御の方法を説明する図。
【図１７】本発明の第１の実施の形態に係る小型端末装置において、２次元（ＸＹ方向）の場合のブロックマッチング法によるＬＣＤ画面の２次元（ＸＹ方向）制御の方法を説明する図。
【図１８】本発明の第１の実施の形態に係る小型端末装置において、２次元（ＸＹ方向）の場合のＸＹ軸のズレ幅の画像幅の調整方法を示す模式図であって、（ａ）ＬＣＤ画面上での移動量を説明する図、（ｂ）座標軸上での移動量の説明図。
【図１９】本発明の第１の実施の形態に係る小型端末装置において、奥行き（Ｚ方向）方向移動の場合のブロックマッチング法によるＬＣＤ画面の奥行き（Ｚ方向）方向制御の方法を説明する模式図であって、現行フレームを次フレームの一部と比較し、予測フレームに一致するフレーム、或いは、Ｚ方向への移動度が一番近いフレームを選択する様子を説明する図。
【図２０】本発明の第１の実施の形態に係る小型端末装置において、奥行き（Ｚ方向）方向移動の場合のブロックマッチング法によるＬＣＤ画面の奥行き（Ｚ方向）方向制御の方法を説明する図。
【図２１】本発明の第１の実施の形態に係る小型端末装置において、奥行き（Ｚ方向）方向移動の場合のブロックマッチング法によるＬＣＤ画面の奥行き（Ｚ方向）方向制御の方法を説明する図。
【図２２】本発明の第１の実施の形態に係る小型端末装置において、奥行き（Ｚ方向）方向移動の場合のブロックマッチング法によるＬＣＤ画面の奥行き（Ｚ方向）方向制御の方法を説明する図。
【図２３】本発明の第１の実施の形態に係る小型端末装置において、奥行き（Ｚ方向）方向移動の場合のブロックマッチング法によるＬＣＤ画面の奥行き（Ｚ方向）方向制御の方法を説明する図。
【図２４】本発明の第１の実施の形態に係る小型端末装置において、奥行き（Ｚ方向）方向移動の場合のブロックマッチング法によるＬＣＤ画面の奥行き（Ｚ方向）方向制御の方法を説明する図。
【図２５】本発明の第１の実施の形態に係る小型端末装置において、奥行き（Ｚ）方向移動の場合のブロックマッチング法によるＬＣＤ画面の奥行き（Ｚ）方向制御の方法を説明する図。
【図２６】奥行き（Ｚ方向）における倍率０．８，１．０（標準），１．２に対する枠の幅Ｗ０，Ｗ１，Ｗ２と調整後の画像の大きさとの関係を模式的に示した図。
【図２７】図２６に対応して、枠の幅と画像の大きさとの関係示す図。
【図２８】移動量が、予測フレームの中間に来た場合には、仕様により、監視カメラの画像において、予測フレームが奥行き（Ｚ方向）における倍率０．９の位置に移動量がきたものについては、０．８にシフトさせ、予測フレームが奥行き（Ｚ方向）における倍率１．１の位置に移動量がきたものについては、１．２にシフトさせる例を示す図。
【図２９】図２８に対応して、枠の幅と画像の大きさとの関係を示す図。
【図３０】移動量が、予測フレームの中間に来た場合には、仕様により、監視カメラの画像において、予測フレームが奥行き（Ｚ方向）における倍率０．９の位置に移動量がきたものについては、１．０（標準）にシフトさせ、予測フレームが奥行き（Ｚ方向）における倍率１．１の位置に移動量がきたものについても、１．０（標準）にシフトさせる例を示す図。
【図３１】図３０に対応して、枠の幅と画像の大きさとの関係を示す図。
【図３２】本発明の第１の実施の形態に係る小型端末装置において、奥行き（Ｚ）方向の移動量の調整方法を模式的に表す図であって、（ａ）ＬＣＤからの距離ａ，ｂ，ｂ’，ｂ”と画面表示上の様子を模式的に表した図、（ｂ）ａを基準とした場合、左右に顔の位置が揺れたとしても、距離がｂ，ｂ’，ｂ”が一定であれば、奥行き（Ｚ方向）方向率ｂ／ａ,ｂ’／ａ,ｂ”／ａは、一定となることを説明する模式図。
【図３３】本発明の第１の実施の形態に係る小型端末装置において、奥行き（Ｚ）方向の移動量の調整方法を説明する具体例の模式図であって、（ａ）ＬＣＤからの距離ａ，ｂ，ｂ’，ｂ”を３次元（ＸＹＺ方向）的に模式的に表した図、（ｂ）距離ａを基準値とする画面サイズＳ’ＸＳに対して、距離ｂの画面サイズＳ’Ｘ（ａ／ｂ）ＸＳＸ（ａ／ｂ）を説明する図。
【図３４】本発明の第１の実施の形態に係る小型端末装置の３次元（ＸＹＺ方向）の場合のブロックマッチング法によるＬＣＤ画面の３次元（ＸＹＺ方向）制御の方法を説明する模式図であって、現行フレームを次フレームの一部と比較し、予測フレームに一致する倍率のフレーム、或いは、ＸＹＺ方向への移動度が一番近いフレームを選択する様子を説明する図。
【図３５】移動量が、予測フレームの中間に来た場合には、仕様により、監視カメラの画像において、予測フレームが奥行き（Ｚ方向）における倍率０．９の位置に移動量がきたものについては、１．０（標準）にシフトさせ、予測フレームが奥行き（Ｚ方向）における倍率１．１の位置に移動量がきたものについても、１．０（標準）にシフトさせる例を示す図。
【図３６】監視カメラの画像において、予測フレームが奥行き（Ｚ方向）における倍率０．９の位置に移動量がきたものについては、０．８にシフトさせ、予測フレームが奥行き（Ｚ方向）における倍率１．１の位置に移動量がきたものについては、１．２にシフトさせる例を示す図。
【図３７】本発明の第１の実施の形態に係る小型端末装置において、３次元（ＸＹＺ方向）の場合のブロックマッチング法によるＬＣＤ画面の３次元（ＸＹＺ方向）の移動量の調整方法の模式図であって、（ａ）ＬＣＤからの距離ａの基準位置における画面データの具体例を示す図、（ｂ）ＬＣＤからの距離ｂの位置における画面データの具体例を示し、ａ→ｂに変化した際の画像例。
【図３８】本発明の第１の実施の形態に係る小型端末装置において、３次元（ＸＹＺ方向）アルゴリズムの座標を説明する図。
【図３９】本発明の第１の実施の形態に係る小型端末装置において、２次元（ＸＹ方向）アルゴリズムの座標を説明する図。
【図４０】本発明の第１の実施の形態に係る小型端末装置において、２次元（ＸＹ方向）アルゴリズムの座標でＦ１乃至Ｆ３の順番で顔の位置が移動した場合の変化を説明する図。
【図４１】本発明の第１の実施の形態に係る小型端末装置において、２次元（ＸＹ方向）アルゴリズムの座標でＦ１乃至Ｆ３の順番で表示画面の位置が移動した場合の変化を説明する図。
【図４２】本発明の第１の実施の形態に係る小型端末装置において、２次元（ＸＹ方向）アルゴリズムの座標でＦ１乃至Ｆ３の順番で表示画面の位置が移動した場合の変化を説明する図。
【図４３】本発明の第１の実施の形態に係る小型端末装置において、１次元奥行き（Ｚ方向）アルゴリズムの座標を説明する図。
【図４４】発明の第１の実施の形態に係る小型端末装置において、１次元奥行き（Ｚ方向）アルゴリズムの座標で顔の位置がＦ２，Ｆ４に移動した場合の変化を説明する図。
【図４５】発明の第１の実施の形態に係る小型端末装置において、１次元奥行き（Ｚ方向）アルゴリズムの座標で顔の位置がＦ３，Ｆ５に移動した場合の変化を説明する図。
【図４６】発明の第１の実施の形態に係る小型端末装置において、１次元奥行き（Ｚ方向）アルゴリズムの座標で顔の位置がＦ１の位置に移動した場合の変化を説明する図。
【図４７】本発明の第１の実施の形態に係る小型端末装置において、１次元奥行き（Ｚ方向）アルゴリズムの座標で表示画面の位置がＦ２，Ｆ４に移動した場合の変化を説明する図。
【図４８】本発明の第１の実施の形態に係る小型端末装置において、１次元奥行き（Ｚ方向）アルゴリズムの座標で表示画面の位置がＦ３，Ｆ５に移動した場合の変化を説明する図。
【図４９】本発明の第１の実施の形態に係る小型端末装置において、１次元奥行き（Ｚ方向）アルゴリズムの座標で表示画面の位置がＦ１の位置に移動した場合の変化を説明する図。
【図５０】本発明の第１の実施の形態に係る小型端末装置において、１次元奥行き（Ｚ方向）アルゴリズムの座標で表示画面の位置がＦ２，Ｆ４に移動した場合の変化を説明する図。
【図５１】本発明の第１の実施の形態に係る小型端末装置において、１次元奥行き（Ｚ方向）アルゴリズムの座標で表示画面の位置がＦ３，Ｆ５に移動した場合の変化を説明する図。
【図５２】本発明の第１の実施の形態に係る小型端末装置において、１次元奥行き（Ｚ方向）アルゴリズムの座標で表示画面の位置がＦ１の位置に移動した場合の変化を説明する図。
【図５３】本発明の第１の実施の形態に係る小型端末装置において、３次元（ＸＹＺ方向）アルゴリズムの座標を説明する図。
【図５４】本発明の第１の実施の形態に係る小型端末装置において、３次元（ＸＹＺ方向）アルゴリズムの座標で顔の位置がＦ２，Ｆ５に移動した場合の変化を説明する図。
【図５５】本発明の第１の実施の形態に係る小型端末装置において、３次元（ＸＹＺ方向）アルゴリズムの座標で顔の位置がＦ３，Ｆ４に移動した場合の変化を説明する図。
【図５６】本発明の第１の実施の形態に係る小型端末装置において、３次元（ＸＹＺ方向）アルゴリズムの座標で顔の位置がＦ１，Ｆ６，Ｆ７に移動した場合の変化を説明する図。
【図５７】本発明の第１の実施の形態に係る小型端末装置において、３次元（ＸＹＺ方向）アルゴリズムの座標で表示画面の位置がＦ２，Ｆ５に移動した場合の変化を説明する図。
【図５８】本発明の第１の実施の形態に係る小型端末装置において、３次元（ＸＹＺ方向）アルゴリズムの座標で表示画面の位置がＦ３，Ｆ４に移動した場合の変化を説明する図。
【図５９】本発明の第１の実施の形態に係る小型端末装置において、３次元（ＸＹＺ方向）アルゴリズムの座標で表示画面の位置がＦ１，Ｆ６，Ｆ７に移動した場合の変化を説明する図。
【図６０】本発明の第１の実施の形態に係る小型端末装置において、３次元（ＸＹＺ方向）アルゴリズムの座標で表示画面の位置がＦ２，Ｆ５に移動した場合の変化を説明する図。
【図６１】本発明の第１の実施の形態に係る小型端末装置において、３次元（ＸＹＺ方向）アルゴリズムの座標で表示画面の位置がＦ３，Ｆ４に移動した場合の変化を説明する図。
【図６２】本発明の第１の実施の形態に係る小型端末装置において、３次元（ＸＹＺ方向）アルゴリズムの座標で表示画面の位置がＦ１，Ｆ６，Ｆ７に移動した場合の変化を説明する図。
【図６３】本発明の第１の実施の形態に係る小型端末装置において、有効表示（Ａ）の画像を出力するＬＣＤ画面の具体例。
【図６４】本発明の第１の実施の形態に係る小型端末装置において、画面が２次元（ＸＹＺ方向）・奥行き（Ｚ方向）に揺れた時、位置情報により、有効表示領域が変化した時の有効表示（Ａ）、有効表示（Ｂ）を出力するＬＣＤ画面の具体例。
【図６５】本発明の第１の実施の形態に係る小型端末装置において、水平方向に水平同期信号ＨＳＹＮＣ、水平有効信号ＨＥＮを印加し、、垂直方向に垂直同期信号ＶＳＹＮＣ、垂直有効信号ＶＥＮを印加することにより、有効表示領域を決めて出力するＬＣＤ画面の具体例。
【図６６】本発明の第１の実施の形態に係る小型端末装置において、データの揺れの情報から、水平有効信号ＨＥＮ，垂直有効信号ＶＥＮの立上りタイミングを決めて、画像データを出力させ、移動情報とともに、水平有効信号ＨＥＮ，垂直有効信号ＶＥＮのタイミング調整を行い、２次元（ＸＹ方向）の揺れの調整を行うタイミングチャートの説明図。
【図６７】本発明の第１の実施の形態に係る小型端末装置において、奥行き（Ｚ方向）方向の画像サイズ幅により画像の幅を変化させる方法を示すタイミングチャート図であって、（ａ）ある一定のクロック信号ＣＬＫにおけるタイミングチャート、（ｂ）別のある一定のクロック信号ＣＬＫにおけるタイミングチャートを示し、（ａ）に対して、クロック信号ＣＬＫの周期を変えることで、水平・垂直有効画面を変化させることを説明する図。
【図６８】本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、ＥＮ＿Ａ信号を用いることで、一定の揺れの周期が続く制御を実行する様子を説明する図。
【図６９】本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、（ａ）ＥＮ＿Ａ信号の波形図、（ｂ）タイミングＴ１乃至Ｔ５に対応する顔の位置を検知した図、（ｃ）顔の位置がタイミングＴ１乃至Ｔ５の順で変化するのに応じて画面データの表示位置をタイミングＴ１乃至Ｔ５の順番で変更する様子を説明する図。
【図７０】本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、（ａ）ＥＮ＿Ａ信号の波形図、（ｂ）タイミングＴ１乃至Ｔ５に対応する顔の位置を検知した図、（ｃ）顔の位置がタイミングＴ１乃至Ｔ５の順で変化するのに応じて画面データの表示位置をＴ１乃至Ｔ５の順番で変更する様子を説明する図。
【図７１】本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、（ａ）ＥＮ＿Ａ信号の波形図、（ｂ）タイミングＴ１乃至Ｔ５に対応する顔の位置を検知した図、（ｃ）ＥＮ＿Ａ信号をハイレベルにして、タイミングＴ１乃至Ｔ５に対応する画像データの表示位置を説明する図、（ｄ）ＥＮ＿Ａ信号をローレベルにして、タイミングＵ１乃至Ｕ５に対応する画像データの表示位置を説明する図。
【図７２】本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、（ａ）ＥＮ＿Ａ信号の波形図、（ｂ）タイミングＴ１乃至Ｔ５に対応する顔の位置を検知した図、（ｃ）ＥＮ＿Ａ信号をハイレベルにして、タイミングＴ１乃至Ｔ５に対応する文字表示データの表示位置を説明する図、（ｄ）ＥＮ＿Ａ信号をローレベルにして、タイミングＵ１乃至Ｕ５に対応する文字表示データの表示位置を説明する図。
【図７３】本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、（ａ）ＥＮ＿Ａ信号の波形図、（ｂ）タイミングＴ１乃至Ｔ５に対応する顔の位置を検知した図、（ｃ）ＥＮ＿Ａ信号をハイレベルにして、タイミングＴ１乃至Ｔ５に対応する画像データの表示位置を説明する図、（ｄ）ＥＮ＿Ａ信号をローレベルにして、タイミングＵ１乃至Ｕ５に対応する画像データの表示位置を説明する図。
【図７４】本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、（ａ）ＥＮ＿Ａ信号の波形図、（ｂ）タイミングＴ１乃至Ｔ５に対応する顔の位置を検知した図、（ｃ）ＥＮ＿Ａ信号をハイレベルにして、タイミングＴ１乃至Ｔ５に対応する文字表示データの表示位置を説明する図、（ｄ）ＥＮ＿Ａ信号をローレベルにして、タイミングＵ１乃至Ｕ５に対応する文字表示データの表示位置を説明する図。
【図７５】本発明の第１の実施の形態に係る小型端末装置において、２次元（ＸＹ方向）の画像揺れ情報を示す図であって、（ａ）２次元（ＸＹ方向）位置制御を入れない場合、（ｂ）２次元（ＸＹ方向）位置制御入れた場合のＬＣＤの画像の２次元（ＸＹ方向）の揺れの大きさをそれぞれ模式的に示す図。
【図７６】本発明の第１の実施の形態に係る小型端末装置において、（ａ）奥行き（Ｚ方向）方向位置制御を入れない場合と、（ｂ）奥行き（Ｚ方向）方向位置制御を入れた場合の視点からＬＣＤの画像の２次元（ＸＹ方向）の大きさを模式的に示す図。
【図７７】本発明の第１の実施の形態に係る小型端末装置において、（ａ）２次元（ＸＹ方向）・奥行き（Ｚ方向）位置制御を入れない場合と、（ｂ）２次元（ＸＹ方向）・奥行き（Ｚ方向）位置制御を入れた場合の視点からＬＣＤの画像の２次元（ＸＹ方向）の大きさを模式的に示す図。
【図７８】本発明の第２の実施の形態に係る小型端末装置の模式図。
【図７９】本発明の第２の実施の形態に係る小型端末装置の動作方法を説明する模式図。
【図８０】本発明の第２の実施の形態に係る小型端末装置のその他の動作方法を説明する模式図。
【図８１】本発明の第３の実施の形態に係る小型端末装置の動作方法を説明する模式図。
【図８２】本発明の第４の実施の形態に係る小型端末装置の模式的ブロック構成図。
【図８３】本発明の第４の実施の形態の変形例１に係る小型端末装置の模式的ブロック構成図。
【図８４】本発明の第４の実施の形態の変形例２に係る小型端末装置の模式的ブロック構成図。
【図８５】本発明の第４の実施の形態の変形例３に係る小型端末装置の模式的ブロック構成図。
【図８６】本発明の第４の実施の形態に係る小型端末装置の動作方法を説明するフローチャート図。
【符号の説明】
【０１８５】
２…動画撮影用カメラ
３…位置監視用カメラ
４,５…カメラコントローラ部
６,４２…ＬＣＤ
８…カメラ／ＬＣＤコントローラ部
１０…センサ部
１２…ジャイロセンサ（Ｘ，Ｙ，Ｚ）
１３…ジャイロセンサ（Ｘ，Ｙ）
１４…加速度センサ（Ｘ，Ｙ）
１６…地磁気センサ（Ｚ）
１８…Ａ／Ｄ変換器
２０…プロセッサ部
２１…中央演算処理装置（ＣＰＵ）
２２…ベースバンド部
２３…ディジタル・シグナル・プロセッサ（ＤＳＰ）
２５…ＬＣＤコントローラ部
２６…フレームメモリ
２７…画像処理装置
２８…ＴＶインタフェース（ＴＶＩ／Ｆ）
３１…アナログ・フロント・エンド（ＡＦＥ）
ＴＶＡ…ＴＶアナログ信号
ＴＶＢ…ＴＶ電話アナログ送受信信号。
【０１８６】
Ｓ１〜Ｓ６,  Ｓ１１〜Ｓ１６,  Ｓ２１〜Ｓ２６,  Ｓ３１〜Ｓ３４…ステップ
【図１】
2008139599.tif 000003
【図２】
2008139599.tif 000004
【図３】
2008139599.tif 000005
【図４】
2008139599.tif 000006
【図５】
2008139599.tif 000007
【図６】
2008139599.tif 000008
【図７】
2008139599.tif 000009
【図８】
2008139599.tif 000010
【図９】
2008139599.tif 000011
【図１０】
2008139599.tif 000012
【図１１】
2008139599.tif 000013
【図１２】
2008139599.tif 000014
【図１３】
2008139599.tif 000015
【図１４】
2008139599.tif 000016
【図１５】
2008139599.tif 000017
【図１７】
2008139599.tif 000018
【図１８】
2008139599.tif 000019
【図１９】
2008139599.tif 000020
【図２０】
2008139599.tif 000021
【図２１】
2008139599.tif 000022
【図２４】
2008139599.tif 000023
【図２５】
2008139599.tif 000024
【図２６】
2008139599.tif 000025
【図２７】
2008139599.tif 000026
【図２８】
2008139599.tif 000027
【図２９】
2008139599.tif 000028
【図３０】
2008139599.tif 000029
【図３１】
2008139599.tif 000030
【図３２】
2008139599.tif 000031
【図３４】
2008139599.tif 000032
【図３５】
2008139599.tif 000033
【図３６】
2008139599.tif 000034
【図３８】
2008139599.tif 000035
【図３９】
2008139599.tif 000036
【図４０】
2008139599.tif 000037
【図４２】
2008139599.tif 000038
【図４３】
2008139599.tif 000039
【図４４】
2008139599.tif 000040
【図４５】
2008139599.tif 000041
【図４６】
2008139599.tif 000042
【図５０】
2008139599.tif 000043
【図５１】
2008139599.tif 000044
【図５２】
2008139599.tif 000045
【図５３】
2008139599.tif 000046
【図５４】
2008139599.tif 000047
【図５５】
2008139599.tif 000048
【図５６】
2008139599.tif 000049
【図６０】
2008139599.tif 000050
【図６１】
2008139599.tif 000051
【図６２】
2008139599.tif 000052
【図６７】
2008139599.tif 000053
【図６８】
2008139599.tif 000054
【図７０】
2008139599.tif 000055
【図７２】
2008139599.tif 000056
【図７４】
2008139599.tif 000057
【図７５】
2008139599.tif 000058
【図７６】
2008139599.tif 000059
【図７７】
2008139599.tif 000060
【図７８】
2008139599.tif 000061
【図７９】
2008139599.tif 000062
【図８０】
2008139599.tif 000063
【図８１】
2008139599.tif 000064
【図８２】
2008139599.tif 000065
【図８３】
2008139599.tif 000066
【図８４】
2008139599.tif 000067
【図８５】
2008139599.tif 000068
【図８６】
2008139599.tif 000069
【図１６】
2008139599.tif 000070
【図２２】
2008139599.tif 000071
【図２３】
2008139599.tif 000072
【図３３】
2008139599.tif 000073
【図３７】
2008139599.tif 000074
【図４１】
2008139599.tif 000075
【図４７】
2008139599.tif 000076
【図４８】
2008139599.tif 000077
【図４９】
2008139599.tif 000078
【図５７】
2008139599.tif 000079
【図５８】
2008139599.tif 000080
【図５９】
2008139599.tif 000081
【図６３】
2008139599.tif 000082
【図６４】
2008139599.tif 000083
【図６５】
2008139599.tif 000084
【図６６】
2008139599.tif 000085
【図６９】
2008139599.tif 000086
【図７１】
2008139599.tif 000087
【図７３】
2008139599.tif 000088