(57)【要約】  【課題】インターネットの文章、公告等、或いはメールを読む際、画面移動を自動調整する。【解決手段】動画撮影用カメラ２と、任意の画像データを表示するディスプレイ６と、ディスプレイ６を見る人の顔とディスプレイ６との距離を測定する手段と、距離の変化量を動き補償技術を用いて推定し、変化量に応じた移動量に応じて、ディスプレイにおける任意の画像をデータの表示位置を、電子的に変更する手段とを備え、距離を相対的に一定すると共に、動画撮影用カメラ画像と動き補償（ＭＣ）予測を用いて、縦横方向、或いは深さ方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する小型端末装置。【選択図】図１
2008146164.tif 000002
【特許請求の範囲】
【請求項１】
動画撮影用カメラと、
任意の画像データを表示する画像表示装置と、
前記画像表示装置を見る人の顔と前記画像表示装置との距離を測定する手段と、
前記距離の変化量を動き補償技術を用いて推定し、前記変化量に応じた移動量に応じて，前記画像表示装置における前記任意の画像をデータの表示位置を電子的に変更する手段
とを備え、前記距離を相対的に一定すると共に、動画撮影用カメラ画像と動き補償予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整することを特徴とする小型端末装置。
【請求項２】
前記電子的に変更する手段は、前記画像表示装置のクロックを用いて実行することを特徴とする請求項１記載の小型端末装置。
【請求項３】
前記測定手段は、前記動画撮影用カメラによって撮影された前記人の目の位置の画像を用いて、前記距離を測定し、前記画像を基準にして、動き補償技術を用いた予測画像を作成し、前記距離の変化量を、前記画像と前記予測画像との比較を行うことで測定することを特徴とする請求項１又は請求項２の内、いずれか１項に記載の小型端末装置。
【請求項４】
動画撮影用カメラ画像と動き補償予測を用いて、更に深さ方向の制御を実行し、文章の文字を読む時の画面移動を自動調整することを特徴とする請求項１記載の小型端末装置。
【請求項５】
動画撮影用カメラと、
ディスプレイと、
データアナログ信号を送受信するアナログ・フロント・エンドと、
前記動画撮影用カメラを制御するカメラコントローラ部と、
前記ディスプレイを制御するディスプレイ用コントローラ部と、
前記カメラコントローラ部，及び前記ディスプレイ用コントローラ部とデータを送受信する画像処理装置と、中央演算処理装置，及びディジタル・シグナル・プロセッサを有し，前記アナログ・フロント・エンドとの間でデータを送受信するベースバンド部とを備える画像処理プロセッサ
とを備え、動画撮影用カメラ画像と動き補償予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整することを特徴とする小型端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の技術分野は、小型端末用制御装置に関するもので、特に文章の文字移動の制御を行う小型端末装置に関する。
【背景技術】
【０００２】
最近携帯電話等でも代表されるように小型端末装置は、メール等の文章、及びインターネットの文章等を読む時、ボタン等でスクロールをさせて、手動で、文章文字を移動させなければならないのが現状である。また、電子辞書等で、文字を読んでいる際にも同様に、ボタン等でスクロールをさせて、手動で、文章文字を移動させなければならないのが現状である。
【０００３】
撮像手段と、画像表示手段と、撮像手段で撮影された画像から，画像認識によって顔の目の位置を検出する検出手段と、検出手段の検出結果に基づいて，画像表示手段での画像の表示位置を変更させる表示位置変更手段とを備える画像表示装置及び画像ぶれ防止方法については、既に開示されている（例えば、特許文献１参照。）。
【０００４】
特許文献１における画像表示装置及び画像ぶれ防止方法においては、画像表示装置とユーザの目との相対位置関係が変化する場合にも画像ぶれを軽減するとともに、プライバシーフィルタを用いる場合のような画質の低下や着脱の煩わしさを伴うことなく電車内等での真後ろからの覗き込みによる情報漏洩を防止することができる。
【特許文献１】特開２００４−３１７８１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、小型端末装置の画面表示装置上の表示画面において、表示画面上の位置や大きさを変更することで、２次元、深さ方向、３次元移動に対する画面の調整を行うことができ、顔の位置と表示画面との相対的な位置を変更する。
【０００６】
本発明の目的は、インターネットの文章、公告等、或いはメールを読む際、動画撮影用カメラ画像と動き補償（ＭＣ）予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する小型端末装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様によれば、（イ）  動画撮影用カメラと、（ロ）任意の画像データを表示する画像表示装置と、（ハ）画像表示装置を見る人の顔と画像表示装置との距離を測定する手段と、（二）距離の変化量を動き補償技術を用いて推定し、変化量に応じた移動量に応じて，画像表示装置における任意の画像をデータの表示位置を電子的に変更する手段とを備え、（ホ）距離を相対的に一定すると共に、動画撮影用カメラ画像と動き補償予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する小型端末装置が提供される。
【０００８】
本発明の他の態様によれば、（イ）動画撮影用カメラと、（ロ）ディスプレイと、（ハ）データアナログ信号を送受信するアナログ・フロント・エンドと、（二）動画撮影用カメラを制御するカメラコントローラ部と、（ホ）ディスプレイを制御するディスプレイ用コントローラ部と、（へ）カメラコントローラ部，及びディスプレイ用コントローラ部とデータを送受信する画像処理装置と、中央演算処理装置，及びディジタル・シグナル・プロセッサを有し，前記アナログ・フロント・エンドとの間でデータを送受信するベースバンド部とを備える画像処理プロセッサとを備え、（ト）動画撮影用カメラ画像と動き補償予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する小型端末装置が提供される。
【発明の効果】
【０００９】
本発明の小型端末装置によれば、インターネットの文章、公告等、或いはメールを読む際、動画撮影用カメラ画像と動き補償（ＭＣ）予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整することができ、この結果、文字の縦横方向を監視することで、文章を手動でスクロールすること無く文字を読む時の画面移動を可能にすることができる。
【発明を実施するための最良の形態】
【００１０】
次に、図面を参照して、本発明の第１の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は模式的なものであり、厚みと平面寸法との関係、動作タイミング等は現実のものとは異なることに留意すべきである。したがって、具体的な厚みや寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることはもちろんである。
【００１１】
また、以下に示す第１の実施の形態は、この発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の技術的思想は、構成部品の形状、構造、配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。
【００１２】
また、以下に示す第１の実施の形態は、例えば、携帯電話、ＴＶ、表示画面付の動画像再生機器、或いはカーナビといった画像表示装置を有する電子機器に応用可能である。
【００１３】
[第１の実施の形態]
本発明の第１の実施の形態に係る小型端末装置の模式的ブロック構成は、図１に示すように、動画撮影用カメラ２と、動画撮影用カメラ２を制御するカメラコントローラ部４と、ディスプレイ６と、ディスプレイ６を制御するディスプレイ用コントローラ部２５と、画像処理プロセッサ７と、アナログ・フロント・エンド（ＡＦＥ）３１とを備える。
【００１４】
画像処理プロセッサ７は、カメラコントローラ部４及びディスプレイ用コントローラ部２５とデータを送受信する画像処理装置２７と、中央演算処理装置（ＣＰＵ）２１，ディジタル・シグナル・プロセッサ（ＤＳＰ）２３及び画像メモリ１９を有し，ＡＦＥ３１との間でデータを送受信するベースバンド部２２とを備える。
【００１５】
ＡＦＥ３１は、ＴＶアナログ信号ＴＶＡ及びＴＶ電話アナログ送受信信号ＴＶＢ等のデータアナログ信号ＤＡＳを送受信する。
【００１６】
画像処理装置２７は、例えば、ＭＰＥＧ４チップによって構成される。ベースバンド部２２は、例えば、ベースバンドチップによって構成される。
【００１７】
本発明の第１の実施の形態に係る小型端末装置は、ディスプレイ上の表示画面について、ディスプレイ上の画像位置を調整し、揺れを抑えるものである。
【００１８】
ディスプレイ６は、本実施形態では液晶表示装置（ＬＣＤ：Liquid Crystal Display）であるが、表示方法をクロックで制御する他の表示装置にも応用可能である。
【００１９】
本発明の第１の実施の形態に係る小型端末装置は、小型端末装置の動画撮影用カメラと、動き補償（Motion  Compensation、以下ＭＣと称する）予測を用いて、ディスプレイ画像の縦横深さと２次元、深さ方向、３次元方向位置制御を行う。この小型端末装置は、小型端末装置のディスプレイで、テレビ、動画像を見ている時に、小型端末装置に装備された動画撮影用カメラ２から、見ている人の位置情報を監視する。
【００２０】
監視とは、すなわち、動画撮影用カメラ２によって撮影された画像を基に、動き補償予測を用いたブロックマッチング法を用いて、見ている人の位置情報の移動量を予測することである。この予測した移動量を基に、表示画面のディスプレイ上の位置を変えることで、より制度の高いディスプレイの画面表示制御を行うことができる。
【００２１】
この監視する手順については、後に、図９乃至図１２を用いて説明する。
【００２２】
（変形例１）
本発明の第１の実施の形態の変形例１に係る小型端末装置の模式的ブロック構成は、図２に示すように、動画撮影用カメラ２と、動画撮影用カメラ２を制御するカメラコントローラ部４と、ディスプレイ６と、ディスプレイ６を制御するディスプレイ用コントローラ部２５と、画像処理プロセッサ７と、ＡＦＥ３１と、フレームメモリ２６とを備える。
【００２３】
画像処理プロセッサ７は、カメラコントローラ部４及びディスプレイ用コントローラ部２５とデータを送受信する画像処理装置２７と、ＣＰＵ２１及びＤＳＰ２３を有し，ＡＦＥ３１及びフレームメモリ２６との間でデータを送受信するベースバンド部２２とを備える。  
ＡＦＥ３１は、ＴＶアナログ信号ＴＶＡ及びＴＶ電話アナログ送受信信号ＴＶＢ等のデータアナログ信号ＤＡＳを送受信する。
【００２４】
本発明の第１の実施の形態の変形例１に係る小型端末装置においては、フレームメモリ２６を設け、ＴＶの受信データのデータレートが低い場合、フレームメモリ２６を用いることで、データレートを維持し、画面表示スピードを保持することができる。
【００２５】
（変形例２）
本発明の第１の実施の形態の変形例２に係る小型端末装置の模式的ブロック構成は、図３に示すように、動画撮影用カメラ２と、ディスプレイ６と、動画撮影用カメラ２及びディスプレイ６を制御するカメラ／ディスプレイ用コントローラ部８と、画像処理プロセッサ７と、ＡＦＥ３１とを備える。
【００２６】
画像処理プロセッサ７は、カメラ／ディスプレイ用コントローラ部８とデータを送受信する画像処理装置２７と、ＣＰＵ２１，ＤＳＰ２３及び画像メモリ１９を有し，ＡＦＥ３１との間でデータを送受信するベースバンド部２２とを備える。ＡＦＥ３１は、ＴＶアナログ信号ＴＶＡ及びＴＶ電話アナログ送受信信号ＴＶＢ等のデータアナログ信号ＤＡＳを送受信する。
【００２７】
本発明の第１の実施の形態の変形例２に係る小型端末装置においては、図１に示すカメラコントローラ部４、ディスプレイ用コントローラ部２５を一体型にしたカメラ／ディスプレイ用コントローラ部８を備える。
【００２８】
（変形例３）
本発明の第１の実施の形態の変形例３に係る小型端末装置の模式的ブロック構成は、図４に示すように、動画撮影用カメラ２と、ディスプレイ６と、動画撮影用カメラ２及びディスプレイ６を制御するカメラ／ディスプレイ用コントローラ部８と、画像処理プロセッサ７と、ＡＦＥ３１と、フレームメモリ２６とを備える。
【００２９】
画像処理プロセッサ７は、カメラ／ディスプレイ用コントローラ部８とデータを送受信する画像処理装置２７と、ＣＰＵ２１及びＤＳＰ２３を有し，ＡＦＥ３１及びフレームメモリ２６との間でデータを送受信するベースバンド部２２とを備える。ＡＦＥ３１は、ＴＶアナログ信号ＴＶＡ及びＴＶ電話アナログ送受信信号ＴＶＢ等のデータアナログ信号ＤＡＳを送受信する。
【００３０】
本発明の第１の実施の形態の変形例３に係る小型端末装置においては、図１に示すカメラコントローラ部４、ディスプレイ用コントローラ部２５を一体型にしたカメラ／ディスプレイ用コントローラ部８を備える。
【００３１】
本発明の第１の実施の形態の変形例３に係る小型端末装置においては、フレームメモリ２６を設け、ＴＶの受信データのデータレートが低い場合、フレームメモリ２６を用いることで、データレートを維持し、画面表示スピードを保持することができる。
【００３２】
（変形例４）
本発明の第１の実施の形態の変形例４に係る小型端末装置の模式的ブロック構成は、図５に示すように、動画撮影用カメラ２と、位置監視用カメラ３と、ディスプレイ６と、動画撮影用カメラ２とデータを送受信するカメラコントローラ部４と、位置監視用カメラ３とデータを送受信するカメラコントローラ部５と、ディスプレイ６とデータを送受信するディスプレイ用コントローラ部２５と、画像処理プロセッサ７と、ＡＦＥ３１とを備える。  
画像処理プロセッサ７は、カメラコントローラ部４，カメラコントローラ部５，及びディスプレイ用コントローラ部２５とデータを送受信する画像処理装置２７と、ＣＰＵ２１，ＤＳＰ２３及びが画像メモリ１９を有し，ＡＦＥ３１との間でデータを送受信するベースバンド部２２とを備える。ＡＦＥ３１は、ＴＶアナログ信号ＴＶＡ及びＴＶ電話アナログ送受信信号ＴＶＢ等のデータアナログ信号ＤＡＳを送受信する。
【００３３】
本発明の第１の実施の形態の変形例４に係る小型端末装置においては、位置監視用カメラ３をディスプレイ６側に設置し、その位置監視用カメラ３で、人の顔の位置状態を監視し、ＸＹ軸の揺れ幅、Ｚ軸の奥行きのサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から揺れずに一定の画面の大きさで見ることができる。
【００３４】
（変形例５）
本発明の第１の実施の形態の変形例５に係る小型端末装置の模式的ブロック構成は、図６に示すように、動画撮影用カメラ２と、位置監視用カメラ３と、ディスプレイ６と、動画撮影用カメラ２とデータを送受信するカメラコントローラ部４と、位置監視用カメラ３とデータを送受信するカメラコントローラ部５と、ディスプレイ６とデータを送受信するディスプレイ用コントローラ部２５と、画像処理プロセッサ７と、ＡＦＥ３１と、フレームメモリ２６とを備える。
【００３５】
画像処理プロセッサ７は、カメラコントローラ部４，カメラコントローラ部５，及びディスプレイ用コントローラ部２５とデータを送受信する画像処理装置２７と、ＣＰＵ２１及びＤＳＰ２３を有し，ＡＦＥ３１及びフレームメモリ２６との間でデータを送受信するベースバンド部２２とを備える。ＡＦＥ３１は、ＴＶアナログ信号ＴＶＡ及びＴＶ電話アナログ送受信信号ＴＶＢ等のデータアナログ信号ＤＡＳを送受信する。
【００３６】
本発明の第１の実施の形態の変形例５に係る小型端末装置においては、フレームメモリ２６を設け、ＴＶの受信データのデータレートが低い場合、フレームメモリ２６を用いることで、データレートを維持し、画面表示スピードを保持することができる。
【００３７】
本発明の第１の実施の形態の変形例５に係る小型端末装置においても、位置監視用カメラ３をディスプレイ６側に設置し、その位置監視用カメラ３で、人の顔の位置状態を監視し、ＸＹ軸の振れ幅、Ｚ軸の奥行きのサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から振れずに一定の画面の大きさで見ることができる。
【００３８】
（変形例６）
本発明の第１の実施の形態の変形例６に係る小型端末装置の模式的ブロック構成は、図７に示すように、動画撮影用カメラ２と、位置監視用カメラ３と、ディスプレイ６と、動画撮影用カメラ２，位置監視用カメラ３，及びディスプレイ６とデータを送受信するカメラ／ディスプレイ用コントローラ部８と、画像処理プロセッサ７と、ＡＦＥ３１とを備える。
【００３９】
画像処理プロセッサ７は、カメラ／ディスプレイ用コントローラ部８とデータを送受信する画像処理装置２７と、ＣＰＵ２１及びＤＳＰ２３を有し，ＡＦＥ３１との間でデータを送受信するベースバンド部２２とを備える。ＡＦＥ３１は、ＴＶアナログ信号ＴＶＡ及びＴＶ電話アナログ送受信信号ＴＶＢ等のデータアナログ信号ＤＡＳを送受信する。
【００４０】
本発明の第１の実施の形態の変形例６に係る小型端末装置においては、図６に示すカメラコントローラ部４，カメラコントローラ部５，及びディスプレイ用コントローラ部２５を一体型にしたカメラ／ディスプレイ用コントローラ部８を備える。
【００４１】
本発明の第１の実施の形態の変形例６に係る小型端末装置においても、位置監視用カメラ３をディスプレイ６側に設置し、その位置監視用カメラ３で、人の顔の位置状態を監視し、ＸＹ軸の振れ幅、Ｚ軸の奥行きのサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から振れずに一定の画面の大きさで見ることができる。
【００４２】
（変形例７）
本発明の第１の実施の形態の変形例６に係る小型端末装置の模式的ブロック構成は、図８に示すように、動画撮影用カメラ２と、位置監視用カメラ３と、ディスプレイ６と、動画撮影用カメラ２，位置監視用カメラ３，及びディスプレイ６とデータを送受信するカメラ／ディスプレイ用コントローラ部８と、画像処理プロセッサ７と、ＡＦＥ３１と、フレームメモリとを備える。
【００４３】
画像処理プロセッサ７は、カメラ／ディスプレイ用コントローラ部８とデータを送受信する画像処理装置２７と、ＣＰＵ２１及びＤＳＰ２３を有し，ＡＦＥ３１及びフレームメモリ２６との間でデータを送受信するベースバンド部２２とを備える。ＡＦＥ３１は、ＴＶアナログ信号ＴＶＡ及びＴＶ電話アナログ送受信信号ＴＶＢ等のデータアナログ信号を送受信する。
【００４４】
本発明の第１の実施の形態の変形例７に係る小型端末装置においては、フレームメモリ２６を設け、ＴＶの受信データのデータレートが低い場合、フレームメモリ２６を用いることで、データレートを維持し、画面表示スピードを保持することができる。
【００４５】
本発明の第１の実施の形態の変形例７に係る小型端末装置においては、図６に示すカメラコントローラ部４，カメラコントローラ部５，及びディスプレイ用コントローラ部２５を一体型にしたカメラ／ディスプレイ用コントローラ部８を備える。
【００４６】
本発明の第１の実施の形態の変形例７に係る小型端末装置においても、位置監視用カメラ３をディスプレイ６側に設置し、その位置監視用カメラ３で、人の顔の位置状態を監視し、ＸＹ軸の振れ幅、Ｚ軸の奥行きのサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から振れずに一定の画面の大きさで見ることができる。
【００４７】
（小型端末装置の動作方法）
−人の顔の縦横の移動−
本発明の第１の実施の形態に係る小型端末装置の動作方法について、人の顔の縦横の移動のような２Ｄの場合の動作を説明するフローチャートは、図９及び図１０に示すように表される。
【００４８】
図９は、ＭＣ予測の無い場合のフローチャートを示す。
【００４９】
まず、モニターを見ている画面の人の目の位置を動画撮影用カメラにより人の顔の目位置データとして常時読み取られ、ＭＰＥＧ４に画像情報が格納される。人の目の縦横位置が微妙に変化することで、この格納されたデータと顔の目の位置（今回は、目の位置を基準にしているが、それ以外でも良い）が、微妙に変化したデータとの画像のデータ差分が生じる。このデータの差分を、ＭＰ４でＹ或いはＸＹ軸の揺れ幅の変化値の計算を行う。このＹ或いはＸＹ軸の移動のデータは、ベースバンド部２２へ送信され、ＣＰＵ２１、ＤＳＰ２３等により、データの処理が行われる。その後、画面の文字の移動が自動で行われる。
【００５０】
以下に、ＭＣ予測の無い場合のフローチャートのステップを説明する。
【００５１】
（ａ）まず、ステップＳ１において、ディスプレイ６を見ている画面人の顔を動画撮影用カメラ２で撮影し、基準位置からの人の目の縦・横の移動を検出する。
【００５２】
（ｂ）次に、ステップＳ２において、画像撮影用カメラからの人の目の画像データ差分から、ＭＰ４により計算し、縦横軸を感知する。
【００５３】
（ｃ）次に、ステップＳ３において、縦横の移動データを、ベースバンド部２２に送信し、画像処理プロセッサ７内のＣＰＵ２１、ＤＳＰ２３により、データ処理を行う。
【００５４】
（ｄ）次に、ステップＳ４において、文章データは、縦横データ処理により基準値より移動した差分を移動させる。
【００５５】
（ｅ）次に、ステップＳ５において、文章の文字を読む時の画面の自動移動を行う。
【００５６】
図１０は、ＭＣ予測を用いたフローチャートを示す。
【００５７】
画面モニターを見ている画面人の顔を動画撮影用カメラ２によって撮影し、人の画像フレームデータとしてＭＰＥＧ４に送信する。この時、基準情報をセットする。次に、監視カメラからの画像フレームデータからの人の顔の次のフレームの移動量の予測をいくつかたてる。この予測は、目を移動させた基準領域での画像予測をたてる。次のフレームデータが来たとき、予測したフレームと選択し、予測値と同一のものあるいは一番近いもの（誤差範囲内）を選択する。この時、予測値と大幅にずれた、つまりは予測フレームが無い場合、調整は行わず、データを基準状態に戻し、デジタルデータを作成する。選択した場合は、一致した顔の移動分、文字の移動を行う。
【００５８】
以下に、ＭＣ予測の無い場合のフローチャートのステップを説明する。
【００５９】
（ａ）まず、ステップＳ１１において、ディスプレイ６を見ている画面人の目の位置の移動を動画撮影用カメラ２で撮影する。
【００６０】
（ｂ）次に、ステップＳ１２において、人の顔の画像フレームデータを画像処理装置２７に送信する。この時の画像を基準情報としてセットする。
【００６１】
（ｃ）次に、ステップＳ１３において、画像フレームデータからの人の顔の次のフレームの移動量の予測を、ＭＣを用いていくつかたてる。この移動量の予測については、ブロックマッチング法として、後に詳細に説明する。
【００６２】
（ｄ）次に、ステップＳ１４において、次のフレームデータが来たとき、次フレームと予測したフレームを選択し、予測値と同一のものあるいは一番近いもの（誤差範囲内）を選択可能か否かを判断する。予測値と同一のものあるいは一番近いもの（誤差範囲内）を選択可能である場合には、ステップＳ４に移行する。予測値と大幅にずれ、予測フレームが無い場合には、ステップＳ１５に移行する。
【００６３】
（ｅ）次に、ステップＳ１５において、調整は行わず、データを基準状態に戻し、ステップＳ１２に移行する。
【００６４】
（ｆ）次に、予測値と同一のものあるいは一番近いもの（誤差範囲内）を選択可能である場合には、ステップＳ１６において、目の縦横移動データ値は、ディスプレイ用コントローラ部２５に送信され、文字の大きさ等の縦・横を調整（縦・横）した画像データをディスプレイ６へ送信する。
【００６５】
（ｇ）次に、ステップＳ１７において、ディスプレイ６の画面の縦横画像の２次元調整処理を行い、文章の文字を読む時の画面の自動移動を行い、ディスプレイ画面を表示する。
【００６６】
−人の顔の奥行きの移動−
本発明の第１の実施の形態に係る小型端末装置の動作方法について、人の顔の奥行き移動のような奥行き調整のみの場合の動作を説明するフローチャートは、図１１及び図１２に示すように表される。
【００６７】
図１１は、ＭＣ予測の無い場合のフローチャートを示す。
【００６８】
まず、モニターを見ている画面の人の顔の奥行きを動画撮影用カメラにより人の顔の奥行き位置データとして常時読み取られ、ＭＰＥＧ４に画像情報が格納される。人の顔の奥行き位置が微妙に変化することで、この格納されたデータと人の顔の奥行き位置（今回は、目の奥行き位置を基準にしているが、それ以外でも良い）が、微妙に変化したデータとの画像のデータ差分が生じる。このデータの差分を、ＭＰ４でＹあるいはＸＹ軸の揺れ幅の変化値の計算を行う。このＹ或いはＸＹ軸の移動のデータは、ベースバンド部２２へ送信され、ＣＰＵ２１、ＤＳＰ２３等により、データの処理が行われる。その後、画面の文字の大きさの変化が自動で行われる。
【００６９】
以下に、ＭＣ予測の無い場合のフローチャートのステップを説明する。
【００７０】
（ａ）まず、ステップＳ２１において、ディスプレイ６を見ている画面人の顔を動画撮影用カメラ２で撮影し、基準位置からの人の顔の奥行きの移動を検出する。
【００７１】
（ｂ）次に、ステップＳ２２において、画像撮影用カメラからの人の顔の奥行きの画像データ差分から、ＭＰ４により計算し、奥行きＺ軸を感知する。
【００７２】
（ｃ）次に、ステップＳ２３において、人の顔の奥行きの移動データを、ベースバンド部２２に送信し、画像処理プロセッサ７内のＣＰＵ２１、ＤＳＰ２３により、データ処理を行う。
【００７３】
（ｄ）次に、ステップＳ２４において、文章データは、奥行きデータ処理により基準値より移動した差分を移動させる。
【００７４】
（ｅ）次に、ステップＳ２５において、文章の文字を読む時の画面の文字の大きさを自動変化させる。
【００７５】
図１２は、ＭＣ予測を用いたフローチャートを示す。
【００７６】
画面モニターを見ている画面人の顔の奥行きを動画撮影用カメラ２によって撮影し、人の顔の奥行き画像フレームデータとしてＭＰＥＧ４に送信する。この時、基準情報をセットする。次に、監視カメラからの画像フレームデータからの人の顔の奥行きデータの次のフレームの移動量の予測をいくつかたてる。この予測は、人の顔の奥行きを移動させた基準領域での画像予測をたてる。次のフレームデータが来たとき、予測したフレームと選択し、予測値と同一のものあるいは一番近いもの（誤差範囲内）を選択する。この時、予測値と大幅にずれた、つまりは予測フレームが無い場合、調整は行わず、データを基準状態に戻し、デジタルデータを作成する。選択した場合は、一致した顔の奥行き移動分、文字の移動を行い、或いは文字の大きさを変化させる。
【００７７】
（ａ）まず、ステップＳ３１において、ディスプレイ６を見ている画面人の顔を動画撮影用カメラ２で撮影する。
【００７８】
（ｂ）次に、ステップＳ３２において、人の顔の奥行きの画像フレームデータを画像処理装置２７に送信する。この時の画像を基準情報としてセットする。
【００７９】
（ｃ）次に、ステップＳ３３において、画像フレームデータからの人の顔の奥行きの次のフレームの移動量の予測をいくつかたてる。
【００８０】
（ｄ）次に、ステップＳ３４において、次のフレームデータが来たとき、次フレームと予測したフレームを選択し、予測値と同一のものあるいは一番近いもの（誤差範囲内）を選択可能か否かを判断する。予測値と同一のものあるいは一番近いもの（誤差範囲内）を選択可能である場合には、ステップＳ３４に移行する。予測値と大幅にずれ、予測フレームが無い場合には、ステップＳ３５に移行する。
【００８１】
（ｅ）次に、ステップＳ３５において、調整は行わず、データを基準状態に戻し、ステップＳ３２に移行する。
【００８２】
（ｆ）次に、予測値と同一のものあるいは一番近いもの（誤差範囲内）を選択可能である場合には、ステップＳ３６において、人の顔の奥行きデータ値は、ディスプレイ用コントローラ部２５に送信され、奥行きを調整した画像データをディスプレイ６へ送信する。
【００８３】
（ｇ）次に、ステップＳ３７において、ディスプレイ６の画面の奥行き画像の調整処理を行い、ディスプレイ画面への文字表示を行う。
【００８４】
−人の顔の縦横・奥行きの移動−
本発明の第１の実施の形態に係る小型端末装置の動作方法について、例えば、人の顔の縦横・奥行きの移動のような３Ｄの場合の動作も同様に取り扱うことができる。説明は省略する。
【００８５】
（ＭＣ予測を用いたブロックマッチング法と表示画面制御）
次に、フローチャートに示した、予測値とデータの比較方法についての具体的説明を行う。動き補償予測にブロックマッチング法を用い説明を行う。これは、画面を適当な大きさの小領域に分割して行う。ブロックの大きさは、１６×１６画素のものを用いているが、用途によって大きくしても、小さくしても構わない。
【００８６】
ディスプレイ６を見ている人の顔の位置の移動量を予測し、表示画面を制御する方法について、具体的に説明を行う。本実施形態では、移動量の予測に、ＭＣを用いたブロックマッチング法を用いる。予測された移動量を基に、表示画面を制御する。
【００８７】
先ず、図１３に示す通り、ＴＶ動画用カメラ（監視カメラ）によって人の顔を撮影し、この画像を基準値とする。次に、撮影した画面を適切な大きさのブロックに分ける。ブロックの大きさは、例えば、１６×１６画素のものを用いているが、用途によって大きくしても、小さくしても構わない。次に、人の目の周辺の画像を用いて、人の顔の位置の移動量を予測する。
【００８８】
−２次元平面方向の移動量の予測とディスプレイ画面の表示調整方法−
本発明の第１の実施の形態に係る小型端末装置において、２次元の場合のブロックマッチング法によるディスプレイ画面の縦横制御の方法は、図１４に示すように模式的に表される。図１４に示すように、現フレームＦ１と予測フレーム（例えば、Ｙ軸移動予測画像）Ｆ２を比較し、得られたベクトル分の移動データを文書の文字の自動補正用（移動）データとする。以下、詳述する。
【００８９】
動画撮影用カメラ２から人の画像フレームデータを取り、基準フレームとする。これを現フレームとする。次に、この現フレームを、１６×１６画素で種々シフトしたブロックを取る。具体的には、図１５に示す通り、標準画像を真ん中に据えて、同じ大きさ（１．０倍）の顔であるが、平面の位置を変更した画像を９枚準備する。
【００９０】
次に、次フレームの一部と比較していき、予測フレームに一致するもの、あるいは、一番近いものを選択する。
【００９１】
次に、予測フレームに応じて、画面データをディスプレイ上に表示させる位置が変更される。例えば、顔が右にずれると、画面データも右にずらすように、目と画面データとの相対位置がずれないように制御する。具体的には、図１６或いは図１７に示す通り、画面データが画像や文字のいずれの場合も、図１５の顔の位置と同じ位置に画面データが表示される制御が実行される。この表示を実行するための移動量は、画面データの基の表示位置情報からの変更量である。
【００９２】
−深さ方向の移動量の調整方法−
本発明の第１の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法は、図１８に示すように模式的に表すことができる。図１８に示すように、現フレームＦ１と予測フレームＦ２を比較し、得られたサイズ分の移動データをディスプレイ画像の補正（移動）データとする。この移動量をディスプレイ画像の補正（移動）データとする。図１８に示すように、次フレームにおいて、得られたサイズ分の移動データをディスプレイ画像の補正（移動）データとすることで画面データは、（１／０．９）倍となる。以下、詳述する。
【００９３】
動画撮影用カメラ２から人の画像フレームデータを取り、基準フレームとする。これを現フレームとする。次に、この現フレームの倍率を変化させたフレームデータを作成し、特定部分を１６Ｘ１６画素で倍率を変化させたブロックを取る。具体的には、図１９および図２０に示す通り、図１５の画像を基に、大きさを変更した画像を準備する。本実施形態では、１．２倍と０．８倍の画像を合計１８枚準備する。
【００９４】
次に、次フレームの一部と比較していき、予測フレームに一致するもの、あるいは、一番近いものを選択する。
【００９５】
次に、予測フレームに応じて、画面データをディスプレイ上に表示させる位置を変更する。例えば、顔が右にずれ、さらに画面から離れるとすると、画面データも右にずらし、さらに画面データを大きくなるように、目と画面との相対位置と大きさがずれないように制御する。具体的には、図２１と図２２、或いは図２３と図２４とに示す通り、ＸＹ軸方向は位置と同じ位置の画面であるが、深さ方向は逆の画面を表示するように制御する。この表示を実行するための移動量は、画面データの基の表示位置情報からの変更量である。
【００９６】
（拡大された画像表示例）
以下、図２５乃至図２８を用いて、拡大された画像表示例を示す。
【００９７】
図２５は、本発明の第１の実施の形態に係る小型端末装置において、横方向の移動を説明するための標準位置における画像表示例を示す。これに対して、図２７は、本発明の第１の実施の形態に係る小型端末装置において、横方向に移動した場合の画像表示例を示す。
【００９８】
例えば、顔の移動距離が、ＭＣ予測で標準値に対して、Ｙ軸方向にＹだけ移動したとする。文字データは、現在目が文字を見ている位置を確認し、図２５から図２７に示す様に、Ｙ分だけ、文字データを移動させ、その画像を表示させる。次に図２７の画面に対して、文字調整方法を実現させる。文字移動調整方法の一例については、図５６、図５７において詳述する。
【００９９】
一方、図２６は、深さ方向の移動を説明するための標準位置における画像表示例を示す。これに対して、図２８は、本発明の第１の実施の形態に係る小型端末装置において、深さ方向に移動した場合の画像表示例を示す。
【０１００】
例えば、顔の移動距離が、ＭＣ予測で標準値に対して、Ｚ軸方向に移動したとする。文字データは、現在目が文字を見ている位置を確認し、図２６から図２８に示す様に、Ｚ軸方向の移動分だけ、文字データを（１／０．９）倍に変化させ、その画像を表示させる。次に図２８の画面に対して、文字調整方法を実現させる。文字移動調整方法の一例については、図５６、図５７において詳述する。
【０１０１】
−３次元（縦横・奥行き移動）方向の移動量の調整方法−
本発明の第１の実施の形態に係る小型端末装置において、３次元の場合は、上記２次元と奥行きを組合せた方法で制御される。
【０１０２】
動画撮影用カメラ２から人の画像フレームデータを取り、基準フレームとする。これを現フレームとする。次に、この現フレームの倍率を変化させたフレームデータを作成し、特定部分を１６Ｘ１６画素で倍率を変化させたブロックを取る。
【０１０３】
模式的には、顔の撮影画像と表示画像の各々について、図２９に示す３次元アルゴリズムの座標、図３０に示す２次元アルゴリズムの座標を用いる。
【０１０４】
顔については図１５、図１９、及び図２０を配置し、表示画面については図１６、図２１、及び図２２、を文字表示については図１７、図２３、及び図２４を配置する。
【０１０５】
次フレームの一部と比較していき、予測フレームに一致する倍率のもの、あるいは、一番近いものを選択する。
【０１０６】
次に、予測フレームに応じて、２次元方向の移動と深さ方向の移動にて説明した通りに、画面データのディスプレイ上の表示位置を変更する。この表示を実行するための移動量は、画面データの基の表示位置情報からの変更量である。
【０１０７】
移動量に応じて、図１８に示すように、次フレームにおいて、得られたベクトル分・サイズ分の移動データをディスプレイ画像の補正（移動）データとすることで画面データは、（１／０．９）倍となる。
【０１０８】
本発明の第１の実施の形態に係る小型端末装置において、３次元の場合のブロックマッチング法によるディスプレイ画面の３次元（縦横・奥行き移動）方向の移動量の調整方法は、  具体的に、２次元の例では、図３２に示すフレームＦ１乃至フレームＦ３の順番で顔の位置が移動した場合、顔は図３３に示す通りに、フレームＦ１乃至フレームＦ３の順番で２次元に変化する。このとき、表示画面は、図３４、或いは図３５に示す通り、フレームＦ１乃至フレームＦ３の順番で変化する。
【０１０９】
次に、１次元の例では、図３６に示すフレームＦ１乃至フレームＦ５の順番で顔の位置が移動した場合、顔は図３７乃至図３９に示す通りに、フレームＦ１乃至フレームＦ５の順番で大きさが変化する。このとき、表示画面は、図４０乃至図４２、或いは図４３乃至図４５に示す通り、フレームＦ１乃至フレームＦ５の順番で変化する。
【０１１０】
次に、３次元の例では、図４６に示すフレームＦ１乃至フレームＦ７の順番で顔の位置が移動した場合、顔は図４７乃至図４９に示す通りに、フレームＦ１乃至フレームＦ７の順番で変化する。このとき、表示画面は、図５０乃至図５２、或いは図５３乃至図５５に示す通り、フレームＦ１乃至フレームＦ７の順番で変化する。
【０１１１】
以上の通り、ＭＣを用いた予測をすることで、移動量の測定に要する時間と処理量を軽減させることができる。
【０１１２】
また、一定の揺れの周期が続く場合、一定の時間その周期のみの動作を行う。例えば、動作周期を監視し、所定の時間で一定であれば、顔の位置を検知せずに画面データの表示のみ継続され、そうでなければ、常時揺れに合わせ画像データの表示位置を変更する。これにより、処理量をさらに減少させ、消費電力やメモリ量等を抑制することができる。
【０１１３】
この一定の周期は、人の目が変化を感知できない周期であればさらに効果を有する。
【０１１４】
（ディスプレイ画面に画像を出力する方法）
図５６、図５７は、文字移動調整方法の一例である。図５６に示す様に、水平方向にＨＳＹＮＣ信号、垂直方向にＶＳＹＮＣ信号、ＨＥＮ信号、ＶＥＮ信号により、有効表示領域を決めている。この有効領域部分のデータをＤ／Ａ変換して送信する。この時、有効表示領域以外は、図５７の様に、ブランキングモード領域の画像として、マスクして、画像データを送信する。この時文字倍率の変化方法として、今回、Ｙ軸の移動について詳述しているが、行移動の時も、目の位置により同様に制御される。
【０１１５】
本発明の第１の実施の形態に係る小型端末装置において、水平方向に水平同期信号ＨＳＹＮＣ，及び水平有効信号ＨＥＮを印加し、垂直方向に垂直同期信号ＶＳＹＮＣ，及び垂直有効信号ＶＥＮを印加することにより有効表示領域を決めて出力したディスプレイ画面の具体例は、図５６に示すように表される。
【０１１６】
本発明の第１の実施の形態に係る小型端末装置において、データの揺れの情報から、水平有効信号ＨＥＮ，垂直有効信号ＶＥＮの立ち上がりタイミングを決めて、画像データを出力させ、移動情報と伴に、水平有効信号ＨＥＮ，垂直有効信号ＶＥＮのタイミング調整を行い、縦横揺れの調整を行うタイミングチャートは、図５７に示すように表される。水平方向の有効表示領域とデータは、クロック信号ＣＬＫ、水平同期信号ＨＳＹＮＣ、水平有効信号ＨＥＮによって生成される。水平同期信号ＨＳＹＮＣ、水平有効信号ＨＥＮ、データ信号ＤＡＴＡは、クロック信号ＣＬＫに同期されている。水平同期信号ＨＳＹＮＣの立下がりで、水平方向画像出力幅の始点と終点を決める。また、水平有効信号ＨＥＮにより有効表示領域を決め、水平有効信号ＨＥＮ信号がハイレベルＨの時、クロックの立下りによりデータを取り入れ、ローレベルＬの時は、データは、取り入れられない。垂直方向は、垂直同期信号ＶＳＹＮＣの立下りにより、垂直方向画像出力幅の始点と終点を決める。また、垂直有効信号ＶＥＮにより有効表示領域を決め、垂直有効信号ＶＥＮがハイレベルＨの時、クロックの立下りによりデータを取り入れ、ローレベルＬの時は、データは取り入れられない。つまり、データの揺れの情報から、水平有効信号ＨＥＮ，垂直有効信号ＶＥＮの立ち上がりタイミングが決まり、画像データが出力させる。つまり、移動情報とともに、水平有効信号ＨＥＮ，垂直有効信号ＶＥＮのタイミング調整を行い、縦横揺れの調整を行うことができる。  
本発明の第１の実施の形態に係る小型端末装置において、深さ方向の画像サイズ幅により画像の幅を変化させる方法を示すタイミングチャートは、模式的に図２３に示すように表される。図５８（ａ）は、ある一定のクロック信号ＣＬＫにおけるタイミングチャートであり、図５８（ｂ）は、別のある一定のクロック信号ＣＬＫにおけるタイミングチャートを示し、図５８（ａ）に対して、クロック信号ＣＬＫの周期を変えることで、水平・垂直有効画面を変化させることができる。
【０１１７】
画像幅の変化は、画像を出力するＣＬＫ幅を制御することで、実現することができる。
【０１１８】
ＣＬＫ幅の制御とは、クロック信号ＣＬＫのパルス幅の制御を意味し、実質的にクロック周波数を変化させることによって実現することができる。
【０１１９】
パーセント幅によりＺ軸の深さ方向率が、ａ／ｂの場合、ＣＬＫ幅をａ／ｂに設定する。これにより、画面幅を、水平・垂直方向に、ａ／ｂ分変化させることができる。ディスプレイ画面に人の顔が近づいた時は、ＣＬＫ幅を小さくすることで、画像幅を小さくする。これにより、画像の縦横・深さ調整を行うことができる。
【０１２０】
本発明の第１の実施の形態に係る小型端末装置において、図５９に示すように、小型端末装置を用いて、画面の文章の文字を移動する状況について述べる。
【０１２１】
本発明の第１の実施の形態に係る小型端末装置において、図５９（ａ）及び図５９（ｂ）では、目の位置に合わせて横方向に文字列が自動移動する例、図５９（ｂ）及び図５９（ｃ）では、目の位置に合わせて縦方向に文字列が自動移動する例、図５９（ｃ）及び図５９（ｄ）では、目の位置により自動で文字の大きさを戻す例、或いは手動でスクロールして戻す例をそれぞれ示す。    
例えば、目の位置が現在の基準値より横にずれた場合、現在文字を読んでいる所など、（監視装置により現在目が文字を見ている位置情報が分かるため。）の部分を中心に文字が横に移動する。
【０１２２】
一方で、目の位置が、現在の基準値より縦方向にずれた場合、監視装置により現在目が文字を見ている位置情報が分かるため、例えば現在文字を読んでいる所などの部分を中心に文字が縦に移動する。また、更に効率的に文章を移動させるため、自動制御プラス手動で画面移動を設定することも可能である。
【０１２３】
（一定の揺れの周期が続く場合の画面データの表示例）
さらに、一定の揺れの周期が続く場合の画面データの表示例について、説明する。図６０に示す通り、ＥＮ＿Ａ信号を用いることで、一定の揺れの周期が続く制御を実行する。ＥＮ＿Ａ信号がハイの場合は顔の位置の検知をし、ＥＮ＿Ａ信号がローの場合は顔の位置を検知しない。
【０１２４】
このときは、例えば、図６１、或いは図６２に示す通り、ＥＮ＿Ａ信号がハイである場合は、顔の位置を検知し、顔の位置がＴ１乃至Ｔ５の順で変化するのに応じて画面データの表示位置をＴ１乃至Ｔ５の順番で変更する。
【０１２５】
次に、図６３、或いは図６４に示す通り、所定の周期の間に顔の移動がＴ１乃至Ｔ５の順で一定の場合は、ＥＮ＿Ａ信号をローにして、顔の位置を検知せず、画面データのみ移動させる。次に、所定の時間を経過すると再度ＥＮ＿Ａ信号をハイにして、顔の位置を検知する。顔の位置の移動量が、前と変化しない場合は、所定の周期を短くして顔の位置を検知しない。
【０１２６】
次に、図６５、或いは図６６に示す通り、所定の周期の間に顔の移動が一定の場合は、ＥＮ＿Ａ信号をローにして、顔の位置を検知せず、画面データのみ移動させる。次に、所定の時間を経過すると再度ＥＮ＿Ａ信号をハイにして、顔の位置を検知する。顔の移動が変わっていた場合は、顔の位置に応じて画面データの位置を変更する。
【０１２７】
本発明の第１の実施の形態に係る小型端末装置は、インターネットの文章、広告等、或いはメールを読む際、動画撮影用カメラ画像と動き補償（ＭＣ）予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する。この結果、文字の縦横方向を監視することで、文章を手動でスクロールすること無く文字を読む時の画面移動を可能にする。
【０１２８】
本発明の第１の実施の形態に係る小型端末装置は、画面の文字を読んでいる際、画像の移動を自動で行うことができる。これにより、小型端末装置の画面から文章を読む時に、文章画面を手動で移動すること無く自動で見ることができる。
【０１２９】
[その他の実施の形態]
上記のように、本発明は第１の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【０１３０】
このように、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【図面の簡単な説明】
【０１３１】
【図１】本発明の第１の実施の形態に係る小型端末装置の模式的ブロック構成図。
【図２】本発明の第１の実施の形態の変形例１に係る小型端末装置の模式的ブロック構成図。
【図３】本発明の第１の実施の形態の変形例２に係る小型端末装置の模式的ブロック構成図。
【図４】本発明の第１の実施の形態の変形例３に係る小型端末装置の模式的ブロック構成図。
【図５】本発明の第１の実施の形態の変形例４に係る小型端末装置の模式的ブロック構成図。
【図６】本発明の第１の実施の形態の変形例５に係る小型端末装置の模式的ブロック構成図。
【図７】本発明の第１の実施の形態の変形例６に係る小型端末装置の模式的ブロック構成図。
【図８】本発明の第１の実施の形態の変形例７に係る小型端末装置の模式的ブロック構成図。
【図９】本発明の第１の実施の形態に係る小型端末装置の動作方法について、２次元の場合の動作を説明するフローチャート図。
【図１０】本発明の第１の実施の形態に係る小型端末装置の動作方法について、２次元の場合の動作を説明するフローチャート図。
【図１１】本発明の第１の実施の形態に係る小型端末装置の動作方法について、深さ方向１次元の場合の動作を説明するフローチャート図。
【図１２】本発明の第１の実施の形態に係る小型端末装置の動作方法について、深さ方向１次元の場合の動作を説明するフローチャート図。
【図１３】本発明の第１の実施の形態に係る小型端末装置において、ＴＶ動画用カメラ（監視カメラ）の画像例。
【図１４】本発明の第１の実施の形態に係る小型端末装置において、２次元の場合のブロックマッチング法によるディスプレイ画面の縦横制御の方法を説明する模式図。
【図１５】本発明の第１の実施の形態に係る小型端末装置において、２次元の場合のブロックマッチング法によるディスプレイ画面の縦横制御の方法を説明する図。
【図１６】本発明の第１の実施の形態に係る小型端末装置において、２次元の場合のブロックマッチング法によるディスプレイ画面の縦横制御の方法を説明する図。
【図１７】本発明の第１の実施の形態に係る小型端末装置において、２次元の場合のブロックマッチング法によるディスプレイ画面の縦横制御の方法を説明する図。
【図１８】本発明の第１の実施の形態に係る小型端末装置の３次元の場合のブロックマッチング法によるディスプレイ画面の３次元（縦横・奥行き移動）制御の方法を説明する模式図。
【図１９】本発明の第１の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法を説明する図。
【図２０】本発明の第１の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法を説明する図。
【図２１】本発明の第１の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法を説明する図。
【図２２】本発明の第１の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法を説明する図。
【図２３】本発明の第１の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法を説明する図。
【図２４】本発明の第１の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法を説明する図。
【図２５】本発明の第１の実施の形態に係る小型端末装置において、横方向の移動を説明するための標準位置における画像表示例。
【図２６】本発明の第１の実施の形態に係る小型端末装置において、深さ方向の移動を説明するための標準位置における画像表示例。
【図２７】本発明の第１の実施の形態に係る小型端末装置において、横方向に移動した場合の画像表示例。
【図２８】本発明の第１の実施の形態に係る小型端末装置において、深さ方向に移動した場合の画像表示例。
【図２９】本発明の第１の実施の形態に係る小型端末装置において、３次元アルゴリズムの座標を説明する図。
【図３０】本発明の第１の実施の形態に係る小型端末装置において、２次元アルゴリズムの座標を説明する図。
【図３１】本発明の第１の実施の形態に係る小型端末装置において、１次元奥行きアルゴリズムの座標を説明する図。
【図３２】本発明の第１の実施の形態に係る小型端末装置において、２次元アルゴリズムの座標上のフレームＦ１，フレームＦ２，フレームＦ３を説明する図。
【図３３】本発明の第１の実施の形態に係る小型端末装置において、２次元アルゴリズムの座標でフレームＦ１乃至フレームＦ３の順番で顔の位置が移動した場合の変化を説明する図。
【図３４】本発明の第１の実施の形態に係る小型端末装置において、２次元アルゴリズムの座標でフレームＦ１乃至フレームＦ３の順番で表示画面の位置が移動した場合の変化を説明する図。
【図３５】本発明の第１の実施の形態に係る小型端末装置において、２次元アルゴリズムの座標でフレームＦ１乃至フレームＦ３の順番で表示画面の位置が移動した場合の変化を説明する図。
【図３６】本発明の第１の実施の形態に係る小型端末装置において、１次元奥行きアルゴリズムの座標上において、フレームＦ１，フレームＦ２，フレームＦ３，フレームＦ４，フレームＦ５，フレームＦ６を説明する図。
【図３７】発明の第１の実施の形態に係る小型端末装置において、１次元奥行きアルゴリズムの座標で顔の位置がフレームＦ２，フレームＦ４に移動した場合の変化を説明する図。
【図３８】発明の第１の実施の形態に係る小型端末装置において、１次元奥行きアルゴリズムの座標で顔の位置がフレームＦ３，フレームＦ５に移動した場合の変化を説明する図。
【図３９】発明の第１の実施の形態に係る小型端末装置において、１次元奥行きアルゴリズムの座標で顔の位置がフレームＦ１の位置に移動した場合の変化を説明する図。
【図４０】本発明の第１の実施の形態に係る小型端末装置において、１次元奥行きアルゴリズムの座標で表示画面の位置がフレームＦ２，フレームＦ４に移動した場合の変化を説明する図。
【図４１】本発明の第１の実施の形態に係る小型端末装置において、１次元奥行きアルゴリズムの座標で表示画面の位置がフレームＦ３，フレームＦ５に移動した場合の変化を説明する図。
【図４２】本発明の第１の実施の形態に係る小型端末装置において、１次元奥行きアルゴリズムの座標で表示画面の位置がフレームＦ１の位置に移動した場合の変化を説明する図。
【図４３】本発明の第１の実施の形態に係る小型端末装置において、１次元奥行きアルゴリズムの座標で表示画面の位置がフレームＦ２，フレームＦ４に移動した場合の変化を説明する図。
【図４４】本発明の第１の実施の形態に係る小型端末装置において、１次元奥行きアルゴリズムの座標で表示画面の位置がフレームＦ３，フレームＦ５に移動した場合の変化を説明する図。
【図４５】本発明の第１の実施の形態に係る小型端末装置において、１次元奥行きアルゴリズムの座標で表示画面の位置がフレームＦ１の位置に移動した場合の変化を説明する図。
【図４６】本発明の第１の実施の形態に係る小型端末装置において、３次元アルゴリズムの座標上において、フレームＦ１，フレームＦ２，フレームＦ３，フレームＦ４，フレームＦ５，フレームＦ６，フレームＦ７を説明する図。
【図４７】本発明の第１の実施の形態に係る小型端末装置において、３次元アルゴリズムの座標で顔の位置がフレームＦ２，フレームＦ５に移動した場合の変化を説明する図。
【図４８】本発明の第１の実施の形態に係る小型端末装置において、３次元アルゴリズムの座標で顔の位置がフレームＦ３，フレームＦ４に移動した場合の変化を説明する図。
【図４９】本発明の第１の実施の形態に係る小型端末装置において、３次元アルゴリズムの座標で顔の位置がフレームＦ１，フレームＦ６，フレームＦ７に移動した場合の変化を説明する図。
【図５０】本発明の第１の実施の形態に係る小型端末装置において、３次元アルゴリズムの座標で表示画面の位置がフレームＦ２，フレームＦ５に移動した場合の変化を説明する図。
【図５１】本発明の第１の実施の形態に係る小型端末装置において、３次元アルゴリズムの座標で表示画面の位置がフレームＦ３，フレームＦ４に移動した場合の変化を説明する図。
【図５２】本発明の第１の実施の形態に係る小型端末装置において、３次元アルゴリズムの座標で表示画面の位置がフレームＦ１，フレームＦ６，フレームＦ７に移動した場合の変化を説明する図。
【図５３】本発明の第１の実施の形態に係る小型端末装置において、３次元アルゴリズムの座標で表示画面の位置がフレームＦ２，フレームＦ５に移動した場合の変化を説明する図。
【図５４】本発明の第１の実施の形態に係る小型端末装置において、３次元アルゴリズムの座標で表示画面の位置がフレームＦ３，フレームＦ４に移動した場合の変化を説明する図。
【図５５】本発明の第１の実施の形態に係る小型端末装置において、３次元アルゴリズムの座標で表示画面の位置がフレームＦ１，フレームＦ６，フレームＦ７に移動した場合の変化を説明する図。
【図５６】本発明の第１の実施の形態に係る小型端末装置において、水平方向に水平同期信号ＨＳＹＮＣ、水平有効信号ＨＥＮを印加し、垂直方向に垂直同期信号ＶＳＹＮＣ、垂直有効信号ＶＥＮを印加することにより、有効表示領域を決めて出力するディスプレイ画面の具体例。
【図５７】本発明の第１の実施の形態に係る小型端末装置において、データの揺れの情報から、水平有効信号ＨＥＮ，垂直有効信号ＶＥＮの立ち上がりタイミングを決めて、画像データを出力させ、移動情報とともに、水平有効信号ＨＥＮ，垂直有効信号ＶＥＮのタイミング調整を行い、縦横揺れの調整を行うタイミングチャートの説明図。
【図５８】本発明の第１の実施の形態に係る小型端末装置において、深さ方向の画像サイズ幅により画像の幅を変化させる方法を示すタイミングチャート図であって、（ａ）ある一定のクロック信号ＣＬＫにおけるタイミングチャート、（ｂ）別のある一定のクロック信号ＣＬＫにおけるタイミングチャートを示し、（ａ）に対して、クロック信号ＣＬＫの周期を変えることで、水平・垂直有効画面を変化させることを説明する図。
【図５９】本発明の第１の実施の形態に係る小型端末装置において、（ａ）及び（ｂ）では、目の位置に合わせて横方向に文字列が自動移動する例、（ｂ）及び（ｃ）では、目の位置に合わせて縦方向に文字列が自動移動する例、（ｃ）及び（ｄ）では、目の位置により自動で文字の大きさを戻す例、或いは手動でスクロールして戻す例をそれぞれ示す。
【図６０】本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、ＥＮ＿Ａ信号を用いることで、一定の揺れの周期が続く制御を実行する様子を説明する図。
【図６１】本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、ＥＮ＿Ａ信号がハイである場合は、顔の位置を検知し、顔の位置がＴ１乃至Ｔ５の順で変化するのに応じて画面データの表示位置をＴ１乃至Ｔ５の順番で変更する様子を説明する図。
【図６２】本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、ＥＮ＿Ａ信号がハイである場合は、顔の位置を検知し、顔の位置がＴ１乃至Ｔ５の順で変化するのに応じて画面データの表示位置をＴ１乃至Ｔ５の順番で変更する様子を説明する図。
【図６３】本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、所定の周期の間に顔の移動がＴ１乃至Ｔ５の順で一定の場合は、ＥＮ＿Ａ信号をローにして、顔の位置を検知せず、画面データのみ移動させ、所定の時間を経過すると再度ＥＮ＿Ａ信号をハイにして、顔の位置を検知する様子を説明する図。
【図６４】本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、所定の周期の間に顔の移動がＴ１乃至Ｔ５の順で一定の場合は、ＥＮ＿Ａ信号をローにして、顔の位置を検知せず、画面データのみ移動させ、所定の時間を経過すると再度ＥＮ＿Ａ信号をハイにして、顔の位置を検知する様子を説明する図。
【図６５】本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、所定の周期の間に顔の移動が一定の場合は、ＥＮ＿Ａ信号をローにして、顔の位置を検知せず、画面データのみ移動させ、所定の時間を経過すると再度ＥＮ＿Ａ信号をハイにして、顔の位置を検知し、顔の移動が変わっていた場合は、顔の位置に応じて画面データの位置を変更する様子を説明する図。
【図６６】本発明の第１の実施の形態に係る小型端末装置において、一定の揺れの周期が続く場合の画面データの表示方法の説明図であって、所定の周期の間に顔の移動が一定の場合は、ＥＮ＿Ａ信号をローにして、顔の位置を検知せず、画面データのみ移動させ、所定の時間を経過すると再度ＥＮ＿Ａ信号をハイにして、顔の位置を検知し、顔の移動が変わっていた場合は、顔の位置に応じて画面データの位置を変更する様子を説明する図。
【符号の説明】
【０１３２】
２…動画撮影用カメラ
３…位置監視用カメラ
４,５…カメラコントローラ部
６…ディスプレイ
７…画像処理プロセッサ
８…カメラ／ディスプレイ用コントローラ部
１９…画像メモリ
２１…中央演算処理装置（ＣＰＵ）
２２…ベースバンド部
２３…ディジタル・シグナル・プロセッサ（ＤＳＰ）
２５…ディスプレイ用コントローラ部
２６…フレームメモリ
２７…画像処理装置
３１…アナログ・フロント・エンド（ＡＦＥ）
Ｓ１〜Ｓ５,  Ｓ１１〜Ｓ１７,  Ｓ２１〜Ｓ２５,  Ｓ３１〜Ｓ３７…ステップ
【図１】
2008146164.tif 000003
【図２】
2008146164.tif 000004
【図３】
2008146164.tif 000005
【図４】
2008146164.tif 000006
【図５】
2008146164.tif 000007
【図６】
2008146164.tif 000008
【図７】
2008146164.tif 000009
【図８】
2008146164.tif 000010
【図９】
2008146164.tif 000011
【図１０】
2008146164.tif 000012
【図１１】
2008146164.tif 000013
【図１２】
2008146164.tif 000014
【図１４】
2008146164.tif 000015
【図１５】
2008146164.tif 000016
【図１７】
2008146164.tif 000017
【図１８】
2008146164.tif 000018
【図１９】
2008146164.tif 000019
【図２０】
2008146164.tif 000020
【図２３】
2008146164.tif 000021
【図２４】
2008146164.tif 000022
【図２５】
2008146164.tif 000023
【図２６】
2008146164.tif 000024
【図２７】
2008146164.tif 000025
【図２８】
2008146164.tif 000026
【図２９】
2008146164.tif 000027
【図３０】
2008146164.tif 000028
【図３１】
2008146164.tif 000029
【図３２】
2008146164.tif 000030
【図３３】
2008146164.tif 000031
【図３５】
2008146164.tif 000032
【図３６】
2008146164.tif 000033
【図３７】
2008146164.tif 000034
【図３８】
2008146164.tif 000035
【図３９】
2008146164.tif 000036
【図４３】
2008146164.tif 000037
【図４４】
2008146164.tif 000038
【図４５】
2008146164.tif 000039
【図４６】
2008146164.tif 000040
【図４７】
2008146164.tif 000041
【図４８】
2008146164.tif 000042
【図４９】
2008146164.tif 000043
【図５３】
2008146164.tif 000044
【図５４】
2008146164.tif 000045
【図５５】
2008146164.tif 000046
【図５６】
2008146164.tif 000047
【図５７】
2008146164.tif 000048
【図５８】
2008146164.tif 000049
【図５９】
2008146164.tif 000050
【図６０】
2008146164.tif 000051
【図６２】
2008146164.tif 000052
【図６４】
2008146164.tif 000053
【図６６】
2008146164.tif 000054
【図１３】
2008146164.tif 000055
【図１６】
2008146164.tif 000056
【図２１】
2008146164.tif 000057
【図２２】
2008146164.tif 000058
【図３４】
2008146164.tif 000059
【図４０】
2008146164.tif 000060
【図４１】
2008146164.tif 000061
【図４２】
2008146164.tif 000062
【図５０】
2008146164.tif 000063
【図５１】
2008146164.tif 000064
【図５２】
2008146164.tif 000065
【図６１】
2008146164.tif 000066
【図６３】
2008146164.tif 000067
【図６５】
2008146164.tif 000068