(57)【特許請求の範囲】
【請求項１】
携帯端末機の動作を制御する方法であって、
視差を利用して３Ｄ立体映像を表す第１のイメージ及び第２のイメージを複数のブロックに区画するステップと、
前記第１のイメージ及び第２のイメージで少なくとも一対のマッチングするブロックを検索するステップと、
前記少なくとも一対のマッチングするブロック間の位置差に基づいて、少なくとも一対のマッチングするブロックの各々の深さ情報を算出するステップと、
前記算出された深さ情報に基づいて、３Ｄ立体映像の立体感情報を算出するステップと、
前記３Ｄ立体映像が表示される画面に立体感情報を表す立体感情報ゲージを表示するステップと、
前記立体感情報ゲージから検出されるユーザ入力に応じて、前記画面に表示される３Ｄ立体映像の立体感程度を調節するステップと、
を含むことを特徴とする携帯端末機の動作制御方法。
【請求項２】
前記ブロックを検索するステップが、ブロックマッチングアルゴリズムを利用して前記少なくとも一対のマッチングするブロックを検索するステップを含むことを特徴とする請求項１に記載の携帯端末機の動作制御方法。
【請求項３】
前記立体感情報を算出するステップが、フレーム単位または再生区間単位で前記立体感情報を算出するステップを含むことを特徴とする請求項１に記載の携帯端末機の動作制御方法。
【請求項４】
数値データ、グラフ、及びイメージのうち、少なくとも１つを用いて前記立体感情報を表示するステップをさらに含むことを特徴とする請求項１に記載の携帯端末機の動作制御方法。
【請求項５】
前記立体感情報ゲージは、前記画面に表示される３Ｄ立体映像の立体感がしきい値以上である場合に表示されることを特徴とする請求項１に記載の携帯端末機の動作制御方法。
【請求項６】
前記立体感情報ゲージが、ユーザの選択に応答して表示されることを特徴とする請求項１に記載の携帯端末機の動作制御方法。
【請求項７】
前記表示された３Ｄ立体映像において、前記表示された３Ｄ立体映像から選択された１つ以上のオブジェクトを３次元的に表示するステップと、
前記表示された３Ｄ立体映像から選択されていないオブジェクトを２次元的に表示するステップと、
をさらに含むことを特徴とする請求項１に記載の携帯端末機の動作制御方法。
【請求項８】
前記３Ｄ立体映像が表示される画面に立体感情報のインジケータを表示するステップをさらに含むことを特徴とする請求項１に記載の携帯端末機の動作制御方法。
【請求項９】
前記３Ｄ立体映像及び前記立体感情報を１つの信号に挿入し、この信号を他の装置に伝送するステップをさらに含むことを特徴とする請求項１に記載の携帯端末機の動作制御方法。
【請求項１０】
第１のイメージ及び第２のイメージの視差を用いた３Ｄ立体映像を表示するディスプレイ部と、
前記第１のイメージ及び第２のイメージを複数のブロックに区画し、前記第１のイメージ及び第２のイメージで少なくとも一対のマッチングするブロックを検索し、前記少なくとも一対のマッチングするブロック間の位置差に基づいて、少なくとも一対のマッチングするブロックの各々の深さ情報を算出し、前記算出された深さ情報に基づいて３Ｄ立体映像の立体感情報を算出する制御部と、
を備え、
前記制御部は、前記立体感情報を表す立体感情報ゲージを前記ディスプレイ部に表示し、前記立体感情報ゲージから検出されるユーザ入力に応じて、前記ディスプレイ部に表示される３Ｄ立体映像の立体感程度を調節することを特徴とする携帯端末機。
【請求項１１】
前記制御部が、数値データ、グラフ、及びイメージのうち、少なくとも１つを用いて前記立体感情報を前記ディスプレイ部に表示するようにさらに構成されることを特徴とする請求項１０に記載の携帯端末機。
【請求項１２】
前記制御部が、ブロックマッチングアルゴリズムを利用して前記少なくとも一対のマッチングするブロックを検索するようにさらに構成されることを特徴とする請求項１０に記載の携帯端末機。
【請求項１３】
前記第１のイメージ及び第２のイメージと前記立体感情報とを格納するように構成されたメモリをさらに備えることを特徴とする請求項１０に記載の携帯端末機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末機及びその動作制御方法に関し、さらに詳細には、３Ｄ立体映像に対する立体感情報を提供する携帯端末機及びその動作制御方法に関する。
【背景技術】
【０００２】
携帯端末機は、携帯が可能であり、かつ、音声及び映像通話を行うことができる機能、情報を入出力することができる機能、及びデータを格納することができる機能などを１つ以上備える携帯用機器である。このような携帯端末機は、その機能が多様化されるにつれて、写真や動画の撮影、音楽ファイルや動画ファイルの再生、ゲーム、放送の受信、無線インターネットなどのような複雑な機能を揃えるようになり、総合的なマルチメディア機器（ｍｕｌｔｉｍｅｄｉａ  ｐｌａｙｅｒ）形態で実現されている。
【０００３】
このようなマルチメディア機器の形態で実現された携帯端末機は、複雑な機能を実現するために、ハードウェアやソフトウェア的な側面で新しい試みが様々に適用されている。一例として、ユーザが容易かつ便利に機能を検索したり、選択するためのユーザインターフェース（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）環境などがある。
【０００４】
一方、最近では、カメラによって撮影した複数個のイメージを、画像処理過程を介して結合し、３Ｄ立体映像を生成する技術も利用されている。このような技術が携帯端末機に適用された場合、携帯端末機に備えられたカメラを用いて３Ｄ立体映像を生成したり、携帯端末機に備えられたディスプレイ部を介して３Ｄ立体映像を表示することができる。
【０００５】
ところが、３Ｄ立体映像は基本的に、右眼イメージと左眼イメージとの視差を利用して表すので、右眼イメージと左眼イメージとに含まれるオブジェクトの位置によって立体感が変わる。しかし、３Ｄ立体映像に対する立体感を客観的に表すことができないため、ユーザが直接３Ｄ立体映像を見ながら、ある程度の立体感が感じられるのかを主観的に評価せざるをえない。
【０００６】
したがって、３Ｄ立体映像に対する立体感を計量的に分析して客観的な立体感情報を算出し、このような立体感情報を携帯端末機の種々の動作制御に活用する方案を考慮してみる必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記のような従来技術の問題を解決するために提案されたものであって、その目的は、３Ｄ立体映像に対する立体感情報を算出し、種々の動作制御に活用することができる携帯端末機及びその動作制御方法を提供することにある。
【課題を解決するための手段】
【０００８】
そこで、上記の目的を達成するための本発明に係る携帯端末機の動作制御方法は、視差を利用して３Ｄ立体映像を表すことのできる少なくとも第１のイメージ及び第２のイメージを複数のブロックに区画するステップと、少なくとも一対のマッチングするブロックに対して少なくとも第１のイメージ及び第２のイメージを検索するステップと、少なくとも一対のマッチングするブロック間の位置差に基づいて、少なくとも一対のマッチングするブロックの各々の深さ情報を算出するステップと、算出された深さ情報に基づいて、３Ｄ立体映像の立体感情報を算出するステップとを含む。
【０００９】
また、上記の目的を達成するための本発明に係る携帯端末機の動作制御方法は、視差を利用して少なくとも第１のイメージ及び第２のイメージに基づいた３Ｄ立体映像を表示するように構成されたディスプレイ部と、少なくとも第１のイメージ及び第２のイメージを複数のブロックに区画し、少なくとも一対のマッチングするブロックに対して少なくとも第１のイメージ及び第２のイメージを検索し、少なくとも一対のマッチングするブロック間の位置差に基づいて、少なくとも一対のマッチングするブロックの各々の深さ情報を算出し、算出された深さ情報に基づいて３Ｄ立体映像の立体感情報を算出し、立体感情報をディスプレイ部に表示するように構成された制御部とを備える。
【発明の効果】
【００１０】
以上で説明したように、本発明によれば、３Ｄ立体映像を表す左眼イメージと右眼イメージに配置されるオブジェクトの位置差を利用して３Ｄ立体映像に対する立体感情報を算出することができる。このような立体感情報は、３Ｄ立体写真の撮影、３Ｄコンテンツに対する評価、及び３Ｄ立体映像の再生などに活用することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る携帯端末機のブロック構成図である。
【図２】本発明の一実施形態に係る携帯端末機を前面から眺めた斜視図である。
【図３】図２に示した携帯端末機の後面斜視図である。
【図４】本発明の一実施形態に係る携帯端末機から立体感情報を算出する過程を説明するために参照される図である。
【図５】本発明の一実施形態に係る携帯端末機から立体感情報を算出する過程を説明するために参照される図である。
【図６】本発明の一実施形態に係る携帯端末機から立体感情報を算出する過程を説明するために参照される図である。
【図７】本発明の一実施形態に係る携帯端末機から立体感情報を算出する過程を説明するために参照される図である。
【図８】本発明の一実施形態に係る携帯端末機の動作制御方法に関する説明に提供されるフローチャートである。
【図９】本発明の一実施形態に係る携帯端末機の動作制御方法に関する説明に提供されるフローチャートである。
【図１０】本発明の一実施形態によって立体感情報が利用される場合を説明するために参照される図である。
【図１１】本発明の一実施形態によって立体感情報が利用される場合を説明するために参照される図である。
【図１２】本発明の一実施形態によって立体感情報が利用される場合を説明するために参照される図である。
【図１３】本発明の一実施形態によって立体感情報が利用される場合を説明するために参照される図である。
【図１４】本発明の一実施形態によって立体感情報が利用される場合を説明するために参照される図である。
【図１５】立体感情報が含まれた放送信号の一例を示した図である。
【発明を実施するための形態】
【００１２】
以下では、図面を参照して本発明をより詳細に説明する。
本明細書において記述される携帯端末機には、携帯電話、スマートフォン（ｓｍａｒｔ  ｐｈｏｎｅ）、ノートブックコンピュータ（ｎｏｔｅｂｏｏｋ  ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ  Ｍｕｌｔｉｍｅｄｉａ  Ｐｌａｙｅｒ）、カメラ、ナビゲーション、タブレットコンピュータ（ｔａｂｌｅｔ  ｃｏｍｐｕｔｅｒ）、イーブック（ｅ−ｂｏｏｋ）端末機などが含まれる。また、以下の説明で使用される構成要素に対する接尾辞「モジュール」及び「部」は、単に本明細書の作成の容易性のみが考慮されて与えられるものであって、それ自体で特に重要な意味または役割を与えるものではない。したがって、前記「モジュール」及び「部」は、互いに混用して使用され得る。
【００１３】
図１は、本発明の一実施形態に係る携帯端末機のブロック構成図（ｂｌｏｃｋ  ｄｉａｇｒａｍ）である。図１を参照して本発明の一実施形態に係る携帯端末機を機能による構成要素の観点で説明すれば、次のとおりである。
【００１４】
同図に示すように、本携帯端末機１００は、無線通信部１１０、Ａ／Ｖ（Ａｕｄｉｏ／Ｖｉｄｅｏ）入力部１２０、ユーザ入力部１３０、センシング部１４０、出力部１５０、メモリ１６０、インターフェース部１７０、制御部１８０、及び電源供給部１９０を備えることができる。このような構成要素は、実際の応用で実現されるとき、必要に応じて２つ以上の構成要素が１つの構成要素に合わせられるか、または１つの構成要素が２つ以上の構成要素に細分化されて構成されることができる。
【００１５】
無線通信部１１０は、放送受信モジュール１１１、移動通信モジュール１１３、無線インターネットモジュール１１５、近距離通信モジュール１１７、及びＧＰＳモジュール１１９などを備えることができる。
【００１６】
放送受信モジュール１１１は、放送チャネルを介して外部の放送管理サーバから放送信号及び放送関連情報のうち少なくとも１つを受信する。このとき、放送チャネルは、衛星チャネル、地上波チャネルなどを含むことができる。放送管理サーバは、放送信号及び放送関連情報のうち少なくとも１つを生成して送信するサーバや、予め生成された放送信号及び放送関連情報のうち少なくとも１つが提供されて端末機に送信するサーバを意味することができる。
【００１７】
放送関連情報は、放送チャネル、放送プログラム、または放送サービス提供者に関連した情報を意味することができる。放送信号は、ＴＶ放送信号、ラジオ放送信号、データ放送信号を含むだけでなく、ＴＶ放送信号またはラジオ放送信号にデータ放送信号が結合した形態の放送信号も含むことができる。放送関連情報は、移動通信網を介しても提供され得るし、この場合には、移動通信モジュール１１３によって受信されることができる。放送関連情報は、様々な形態で存在することができる。例えば、ＤＭＢ（Ｄｉｇｉｔａｌ  Ｍｕｌｔｉｍｅｄｉａ  Ｂｒｏａｄｃａｓｔｉｎｇ）の電子番組ガイド（Ｅｌｅｃｔｒｏｎｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ：ＥＰＧ）または携帯機器向けデジタルビデオ放送（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｂｒｏａｄｃａｓｔ−Ｈａｎｄｈｅｌｄ：ＤＶＢ−Ｈ）のＥＳＧ（Ｅｌｅｃｔｒｏｎｉｃ  Ｓｅｒｖｉｃｅ  Ｇｕｉｄｅ）などの形態で存在することができる。
【００１８】
放送受信モジュール１１１は、各種放送システムを利用して放送信号を受信するが、特に、ＤＭＢ−Ｔ（Ｄｉｇｉｔａｌ  Ｍｕｌｔｉｍｅｄｉａ  Ｂｒｏａｄｃａｓｔｉｎｇ−Ｔｅｒｒｅｓｔｒｉａｌ）、ＤＭＢ−Ｓ（Ｄｉｇｉｔａｌ  Ｍｕｌｔｉｍｅｄｉａ  Ｂｒｏａｄｃａｓｔｉｎｇ−Ｓａｔｅｌｌｉｔｅ）、ＭｅｄｉａＦＬＯ（Ｍｅｄｉａ  Ｆｏｒｗａｒｄ  Ｌｉｎｋ  Ｏｎｌｙ）、ＤＶＢ−Ｈ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｂｒｏａｄｃａｓｔ−Ｈａｎｄｈｅｌｄ）、ＩＳＤＢ−Ｔ（Ｉｎｔｅｇｒａｔｅｄ  Ｓｅｒｖｉｃｅｓ  Ｄｉｇｉｔａｌ  Ｂｒｏａｄｃａｓｔ−Ｔｅｒｒｅｓｔｒｉａｌ）などのデジタル放送システムを利用してデジタル放送信号を受信することができる。また、放送受信モジュール１１１は、このようなデジタル放送システムだけでなく、放送信号を提供する全ての放送システムに適合するように構成され得る。放送受信モジュール１１１を介して受信された放送信号及び／又は放送関連情報はメモリ１６０に格納され得る。
【００１９】
移動通信モジュール１１３は、移動通信網上で基地局、外部の端末、サーバのうち少なくとも１つと無線信号を送受信する。ここで、無線信号は、音声呼出信号、画像通話呼出信号、または文字／マルチメディアメッセージ送受信による様々な形態のデータを含むことができる。
【００２０】
無線インターネットモジュール１１５は、無線インターネット接続のためのモジュールをいうものであり、無線インターネットモジュール１１５は、携帯端末機１００に内蔵されるか、外蔵されることができる。無線インターネット技術としては、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ  ＬＡＮ）（Ｗｉ−Ｆｉ）、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ  ｂｒｏａｄｂａｎｄ）、Ｗｉｍａｘ（Ｗｏｒｌｄ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ）、高速下り回線パケット・アクセス（Ｈｉｇｈ  Ｓｐｅｅｄ  Ｄｏｗｎｌｉｎｋ  Ｐａｃｋｅｔ  Ａｃｃｅｓｓ：ＨＳＤＰＡ）などが利用され得る。
【００２１】
近距離通信モジュール１１７は、近距離通信のためのモジュールをいう。近距離通信技術として、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（ＩｒＤＡ、ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）、超広帯域通信（Ｕｌｔｒａ  Ｗｉｄｅｂａｎｄ：ＵＷＢ）、ジグビー（ＺｉｇＢｅｅ）などが利用され得る。
【００２２】
ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎ  Ｓｙｓｔｅｍ）モジュール１１９は、複数個のＧＰＳ人工衛星から位置情報を受信する。
【００２３】
Ａ／Ｖ（Ａｕｄｉｏ／Ｖｉｄｅｏ）入力部１２０は、オーディオ信号またはビデオ信号の入力のためのものであり、これには、カメラ１２１とマイク１２３などが含まれ得る。カメラ１２１は、画像通話モードまたは撮影モードでイメージセンサによって得られる静止画または動画などの画像フレームを処理する。そして、処理された画像フレームは、ディスプレイ部１５１に表示されることができる。
【００２４】
カメラ１２１で処理された画像フレームはメモリ１６０に格納されるか、無線通信部１１０を介して外部へ伝送されることができる。カメラ１２１は、端末機の構成態様によって２個以上が備えられることもできる。
【００２５】
マイク１２３は、通話モードまたは録音モード、音声認識モードなどでマイクロホン（Ｍｉｃｒｏｐｈｏｎｅ）によって外部の音響信号を受信し、電気的な音声データとして処理する。そして、処理された音声データは、通話モードである場合、移動通信モジュール１１３を介して移動通信基地局に送信可能な形態に変換されて出力され得る。マイク１２３は、外部の音響信号を受信する過程で発生する雑音（ｎｏｉｓｅ）を除去するための様々な雑音除去アルゴリズムが使用され得る。
【００２６】
ユーザ入力部１３０は、ユーザが端末機の動作制御のために入力するキー入力データを発生させる。ユーザ入力部１３０は、ユーザのプッシュまたはタッチ操作によって命令または情報を受信できるキーパッド（ｋｅｙ  ｐａｄ）、ドームスイッチ（ｄｏｍｅ  ｓｗｉｔｃｈ）、タッチパッド（静圧／静電）などで構成され得る。また、ユーザ入力部１３０は、キーを回転させるジョグホイールまたはジョグ方式やジョイスティックのように操作する方式やフィンがーマウスなどで構成され得る。特に、タッチパッドが後述するディスプレイ部１５１と相互レイヤ構造をなす場合、これをタッチスクリーン（ｔｏｕｃｈ  ｓｃｒｅｅｎ）と呼ぶことができる。
【００２７】
センシング部１４０は、携帯端末機１００の開閉状態、携帯端末機１００の位置、ユーザ接触有無などのように、携帯端末機１００の現在の状態を感知して携帯端末機１００の動作を制御するためのセンシング信号を発生させる。例えば、携帯端末機１００がスライドフォン形態である場合、スライドフォンの開閉有無をセンシングすることができる。また、電源供給部１９０の電源供給の有無、インターフェース部１７０の外部機器結合の有無などと関連したセンシング機能を担当することができる。
【００２８】
センシング部１４０は、感知センサ１４１、圧力センサ１４３、及びモーションセンサ１４５などを備えることができる。感知センサ１４１は、携帯端末機１００に接近する物体や、携帯端末機１００の近傍に存在する物体の有無などを機械的接触無しで検出できるようにする。感知センサ１４１は、交流磁界の変化や静磁界の変化を利用したり、あるいは静電容量の変化率などを利用して近接物体を検出することができる。感知センサ１４１は、構成態様によって２個以上が備えられ得る。
【００２９】
圧力センサ１４３は、携帯端末機１００に圧力が加えられるか否かと、その圧力の大きさなどを検出することができる。圧力センサ１４３は、使用環境によって携帯端末機１００で圧力の検出が必要な部位に設置され得る。もし、圧力センサ１４３がディスプレイ部１５１に設置される場合、圧力センサ１４３から出力される信号に応じて、ディスプレイ部１５１を介したタッチ入力と、タッチ入力よりさらに大きい圧力が加えられる圧力タッチ入力を識別することができる。また、圧力センサ１４３から出力される信号に応じて、圧力タッチ入力時、ディスプレイ部１５１に加えられる圧力の大きさも検出することができる。
【００３０】
モーションセンサ１４５は、加速度センサ、ジャイロセンサなどを用いて携帯端末機１００の位置や動きなどを感知する。モーションセンサ１４５に用いられ得る加速度センサは、いずれか一方向の加速度変化に対してこれを電気信号に変える素子であって、ＭＥＭＳ（ｍｉｃｒｏ−ｅｌｅｃｔｒｏｍｅｃｈａｎｉｃａｌ  ｓｙｓｔｅｍｓ）技術の発達とともに広く使用されている。加速度センサには、自動車のエアバッグシステムに内蔵されて衝突を感知するのに使用する大きい値の加速度を測定するものから、人の手の微細な動作を認識してゲームなどの入力手段として使用する微細な値の加速度を測定するものまで様々な種類がある。加速度センサは普通、２軸や３軸を１つのパッケージに実装して構成され、使用環境によっては、Ｚ軸の１軸のみ必要な場合もある。したがって、ある理由でＺ軸方向の代わりにＸ軸またはＹ軸方向の加速度センサを使わなければならない場合には、別のサブ基板を使用して加速度センサをメイン基板に立てて実装することもできる。
【００３１】
また、ジャイロセンサは、角速度を測定するセンサであって、基準方向に対して回った方向を感知することができる。
【００３２】
出力部１５０は、オーディオ信号またはビデオ信号、あるいはアラーム（ａｌａｒｍ）信号の出力のためのものである。出力部１５０には、ディスプレイ部１５１、音響出力モジュール１５３、アラーム部１５５、及び触覚モジュール１５７などが備えられ得る。
【００３３】
ディスプレイ部１５１は、携帯端末機１００で処理される情報を表示出力する。例えば、携帯端末機１００が通話モードである場合、通話と関連したＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）またはＧＵＩ（Ｇｒａｐｈｉｃ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を表示する。そして、携帯端末機１００が画像通話モードまたは撮影モードである場合、撮影されたり受信された映像を各々または同時に表示することができ、ＵＩ、ＧＵＩを表示する。
【００３４】
一方、前述したように、ディスプレイ部１５１とタッチパッドとが相互レイヤ構造をなしてタッチスクリーンとして構成される場合、ディスプレイ部１５１は、出力装置の他に、ユーザのタッチによる情報の入力が可能な入力装置としても使用され得る。
【００３５】
もし、ディスプレイ部１５１がタッチスクリーンとして構成される場合、タッチスクリーンパネル、タッチスクリーンパネル制御機などを備えることができる。このように構成される場合、タッチスクリーンパネルは、外部に取り付けられる透明なパネルであって、携帯端末機１００の内部バスに接続されることができる。タッチスクリーンパネルは、接触結果を注視し、タッチ入力がある場合、対応する信号をタッチスクリーンパネル制御機に送る。タッチスクリーンパネル制御機は、その信号を処理した後、対応するデータを制御部１８０に伝送し、制御部１８０でタッチ入力があったのか否かとタッチスクリーンのどの領域がタッチされたか否かを検出することができるようにする。
【００３６】
ディスプレイ部１５１は、電子ペーパー（ｅ−Ｐａｐｅｒ）で構成されることもできる。電子ペーパー（ｅ−Ｐａｐｅｒ）は、一種の反射型ディスプレイであって、既存の紙とインキのように、高い解像度、広い視野角、明るい白色背景で、優れた視覚特性を有する。電子ペーパー（ｅ−Ｐａｐｅｒ）は、プラスチック、金属、紙など、いかなる基板上にも実現が可能であり、電源を遮断した後にも画像が維持され、バックライト（ｂａｃｋ  ｌｉｇｈｔ）電源がなく、携帯端末機１００のバッテリ寿命が長く維持され得る。電子ペーパーとしては、正電荷が充電された半球形ツイストボールを用いたり、電気泳動法及びマイクロカプセルなどを利用することができる。
【００３７】
この他にも、ディスプレイ部１５１は、液晶ディスプレイ（ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ）、薄膜トランジスタ液晶ディスプレイ（ｔｈｉｎ  ｆｉｌｍ  ｔｒａｎｓｉｓｔｏｒ−ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ）、有機発光ダイオード（ｏｒｇａｎｉｃ  ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ  ｄｉｏｄｅ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ  ｄｉｓｐｌａｙ）、３次元ディスプレイ（３Ｄ  ｄｉｓｐｌａｙ）のうち少なくとも１つを含むことができる。そして、携帯端末機１００の実現形態によってディスプレイ部１５１が２個以上存在することもできる。例えば、携帯端末機１００に外部ディスプレイ部（図示せず）と内部ディスプレイ部（図示せず）とが同時に備えられ得る。
【００３８】
音響出力モジュール１５３は、呼出信号受信、通話モードまたは録音モード、音声認識モード、放送受信モードなどで無線通信部１１０から受信されたり、メモリ１６０に格納されたオーディオデータを出力する。また、音響出力モジュール１５３は、携帯端末機１００で行われる機能、例えば、呼出信号受信音、メッセージ受信音などと関連した音響信号を出力する。このような音響出力モジュール１５３には、スピーカー（ｓｐｅａｋｅｒ）、ブザー（Ｂｕｚｚｅｒ）などが含まれ得る。
【００３９】
アラーム部１５５は、携帯端末機１００のイベント発生を報知するための信号を出力する。携帯端末機１００で発生するイベントの例としては、呼出信号受信、メッセージ受信、キー信号入力などがある。アラーム部１５５は、オーディオ信号やビデオ信号の他に、異なる形態でイベント発生を報知するための信号を出力する。例えば、振動形態で信号を出力することができる。アラーム部１５５は、呼出信号が受信されるか、メッセージが受信された場合、これを報知するために信号を出力することができる。また。アラーム部１５５は、キー信号が入力された場合、キー信号入力に対するフィードバックとして信号を出力することができる。このようなアラーム部１５５が出力する信号によってユーザはイベント発生を認知することができる。携帯端末機１００でイベント発生報知のための信号は、ディスプレイ部１５１や音響出力モジュール１５３を介しても出力され得る。
【００４０】
触覚モジュール（ｈａｐｔｉｃ  ｍｏｄｕｌｅ）１５７は、ユーザが感じることができる様々な触覚効果を発生させる。触覚モジュール１５７が発生させる触覚効果の代表的な例としては、振動効果がある。触覚モジュール１５７が触覚効果として振動を発生させる場合、触覚モジュール１５７が発生する振動の強さとパターンなどは変換または変更可能であり、互いに異なる振動を合成して出力したり、順次出力することもできる。
【００４１】
触覚モジュール１５７は、振動の他にも、接触皮膚面に対して垂直運動するピン配列による刺激による効果、噴射口や吸込口を介した空気の噴射力や吸込力を介した刺激による効果、皮膚表面をすれる刺激による効果、電極（ｅｌｅｔｒｏｄｅ）の接触を介した刺激による効果、静電気力を用いた刺激による効果、吸熱や発熱が可能な素子を用いた冷温感再現による効果など、様々な触覚効果を発生させることができる。触覚モジュール１５７は、直接的な接触によって触覚効果を伝達することができるだけでなく、ユーザの指や腕などの筋感覚を介して触覚効果を感じることができるように実現することもできる。触覚モジュール１５７は、携帯端末機１００の構成態様によって２個以上が備えられ得る。
【００４２】
メモリ１６０は、制御部１８０の処理及び制御のためのプログラムが格納されることもでき、入力されたり、出力されるデータ（例えば、フォンブック、メッセージ、静止画、動画など）の臨時格納のための機能を行うこともできる。
【００４３】
メモリ１６０は、フラッシュメモリタイプ（ｆｌａｓｈ  ｍｅｍｏｒｙ  ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ  ｄｉｓｋ  ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ  ｃａｒｄ  ｍｉｃｒｏ  ｔｙｐｅ）、カードタイプのメモリ（例えば、ＳＤまたはＸＤメモリなど）、ＲＡＭ、ＲＯＭのうち少なくとも１つのタイプの格納媒体を含むことができる。また、携帯端末機１００は、インターネット（ｉｎｔｅｒｎｅｔ）上でメモリ１５０の格納機能を行うウェブストレージ（ｗｅｂ  ｓｔｏｒａｇｅ）を運営することもできる。
【００４４】
インターフェース部１７０は、携帯端末機１００に連結される全ての外部機器とのインターフェースの役割を行う。携帯端末機１００に連結される外部機器の例としては、有線・無線ヘッドセット、外部充電器、有線・無線データポート、メモリカード（Ｍｅｍｏｒｙ  ｃａｒｄ）、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  Ｍｏｄｕｌｅ）カード、ＵＩＭ（Ｕｓｅｒ  Ｉｄｅｎｔｉｔｙ  Ｍｏｄｕｌｅ）カードなどのようなカードソケット、オーディオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子、ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子、イヤホンなどがある。インターフェース部１７０は、このような外部機器からデータの伝送を受けるか、電源の供給を受けて携帯端末機１００内部の各構成要素に伝達することができ、携帯端末機１００内部のデータが外部機器へ伝送されるようにすることができる。
【００４５】
インターフェース部１７０は、携帯端末機１００が外部クレイドル（ｃｒａｄｌｅ）と連結されたとき、連結されたクレイドルからの電源が携帯端末機１００に供給される経路になるか、ユーザによってクレイドルに入力される各種命令信号が携帯端末機１００に伝達される経路になることができる。
【００４６】
制御部１８０は、通常、前記各部の動作を制御して携帯端末機１００の全般的な動作を制御する。例えば、音声通話、データ通信、画像通話などのための関連した制御及び処理を行う。また、制御部１８０は、マルチメディア再生のためのマルチメディア再生モジュール１８１を備えることもできる。マルチメディア再生モジュール１８１は、制御部１８０内にハードウェアで構成されることができ、制御部１８０とは別にソフトウェアで構成されることもできる。
そして、電源供給部１９０は、制御部１８０の制御によって外部の電源、内部の電源が印加されて各構成要素の動作に必要な電源を供給する。
【００４７】
このような構成の携帯端末機１００は、有線・無線通信システム及び衛星基盤通信システムを含み、フレーム（ｆｒａｍｅ）またはパケット（ｐａｃｋｅｔ）を介してデータ（ｄａｔａ）を伝送できる通信システムで動作可能なように構成することができる。
【００４８】
図２は、本発明の一実施形態に係る携帯端末機を前面から眺めた斜視図であり、図３は、図２に示した携帯端末機の後面斜視図である。以下では、図２及び図３を参照して、本発明と関連した携帯端末機を外形による構成要素の観点で説明する。また、以下では、説明の便宜上、フォルダタイプ、バータイプ、スイングタイプ、スライダータイプなどのような種々のタイプの携帯端末機のうち、前面タッチスクリーンが備えられている、バータイプの携帯端末機を例に挙げて説明する。しかし、本発明は、バータイプの携帯端末機に限定されるものではなく、前述したタイプを含む全てのタイプの携帯端末機に適用され得る。
【００４９】
図２に示すように、携帯端末機１００の外観をなすケースは、フロントケース１００−１とリアケース１００−２とによって形成される。フロントケース１００−１とリアケース１００−２とによって形成された空間には、各種電子部品が内蔵される。フロントケース１００−１とリアケース１００−２とは、合成樹脂を射出して形成されるか、金属材質、例えば、ステンレススチール（ＳＴＳ）またはチタニウム（Ｔｉ）などのような金属材質を有するように形成されることもできる。
【００５０】
本体、具体的にフロントケース１００−１には、ディスプレイ部１５１、第１の音響出力モジュール１５３ａ、カメラ１２１ａ、及び第１のユーザ入力部ないし第３のユーザ入力部１３０ａ、１３０ｂ、１３０ｃが配置され得る。そして、リアケース１００−２の側面には、第４のユーザ入力部１３０ｄ、第５のユーザ入力部１３０ｅ、及びマイク１２３が配置され得る。
【００５１】
ディスプレイ部１５１は、タッチパッドがレイヤ構造として重なることにより、ディスプレイ部１５１がタッチスクリーンとして動作してユーザのタッチによる情報の入力が可能なように構成することもできる。
【００５２】
第１の音響出力モジュール１５３ａは、レシーバまたはスピーカーの形態で実現することができる。第１のカメラ１２１ａは、ユーザなどに対するイメージまたは動画を撮影するのに適切な形態で実現することができる。そして、マイク１２３は、ユーザの音声、その他、音などの入力を受けるのに適切な形態で実現することができる。
【００５３】
第１のユーザ入力部ないし第５のユーザ入力部１３０ａ、１３０ｂ、１３０ｃ、１３０ｄ、１３０ｅと後述する第６のユーザ入力部及び第７のユーザ入力部１３０ｆ、１３０ｇとは、ユーザ入力部１３０と総称することができ、ユーザが触覚的な感じを与えながら操作することになる方式（ｔａｃｔｉｌｅ  ｍａｎｎｅｒ）であればどのような方式でも採用され得る。
【００５４】
例えば、ユーザ入力部１３０は、ユーザのプッシュまたはタッチ操作によって命令または情報の入力を受けることができるドームスイッチまたはタッチパッドで実現されるか、キーを回転させるホイールまたはジョグ方式やジョイスティックのように操作する方式などでも実現され得る。機能的な面において、第１のユーザ入力部ないし第３のユーザ入力部１３０ａ、１３０ｂ、１３０ｃは、開始、終了、スクロールなどのような命令を入力するためのものであり、第４のユーザ入力部１３０ｄは、動作モードの選択などを入力するためのものである。また、第５のユーザ入力部１３０ｅは、携帯端末機１００内の特殊な機能を活性化するためのホットキー（ｈｏｔ−ｋｅｙ）として作動することができる。
【００５５】
図３に示すように、リアケース１００−２の後面には、２つのカメラ１２１ｂ、１２１ｃがさらに装着され得るし、リアケース１００−２の側面には、第６のユーザ入力部及び第７のユーザ入力部１３０ｆ、１３０ｇとインターフェース部１７０とが配置され得る。
【００５６】
後面に配置される２つのカメラ１２１ｂ、１２１ｃは、第１のカメラ１２１ａと実質的に反対の撮影方向を有し、第１のカメラ１２１ａと互いに異なる画素を有することができる。後面に配置される２つのカメラ１２１ｂ、１２１ｃは、３次元立体映像の撮影のための３Ｄ撮影モードで３Ｄ立体映像の生成のために同時に使用され得るし、各々独立的に使用されて２Ｄイメージを生成することもできる。また、後面に配置される２つのカメラ１２１ｂ、１２１ｃのうちいずれか１つを左右に移動可能なようにし、２つのカメラ１２１ｂ、１２１ｃ間の間隔が調整されるように構成することもできる。
【００５７】
後面に配置される２つのカメラ１２１ｂ、１２１ｃの間にはフラッシュ１２５と鏡（図示せず）がさらに配置されることができる。フラッシュ１２５は、２つのカメラ１２１ｂ、１２１ｃで被写体を撮影する場合に、被写体に向かって光を照らすようになる。鏡は、ユーザが自分を撮影（セルフ撮影）しようとする場合に、ユーザ自分の顔などを映すことができるようにする。
【００５８】
リアケース１００−２には、第２の音響出力モジュール（図示せず）がさらに配置されることができる。第２の音響出力モジュールは、第１の音響出力モジュール１５３ａとともに、ステレオ機能を実現することができ、スピーカーホンモードで通話のために使用することもできる。
【００５９】
インターフェース部１７０は、外部機器とデータとが交換される経路として使用することができる。そして、フロントケース１００−１及びリアケース１００−２の一つの領域には、通話などのためのアンテナの他に、放送信号受信用アンテナ（図示せず）が配置され得る。アンテナは、リアケース１００−２から引き出し可能に設置されることができる。
【００６０】
リアケース１００−２側には、携帯端末機１００に電源を供給するための電源供給部１９０が装着され得る。電源供給部１９０は、例えば、充電可能なバッテリであって、充電などのために、リアケース１００−２に着脱可能に結合され得る。
【００６１】
図４〜図７は、本発明に係る携帯端末機で使用される立体感情報を算出する過程を説明するために参照される図である。本発明に係る携帯端末機１００は、本体の後面に配置される２つのカメラ１２１ｂ、１２１ｃを利用して３Ｄ立体イメージを生成することができる。以下、説明の便宜上、後面に配置される２つのカメラ１２１ｂ、１２１ｃを各々第１のカメラ１２１ｂ及び第２のカメラ１２１ｃという。
【００６２】
図４（ａ）に示すように、第１のカメラ及び第２のカメラ１２１ｂ、１２１ｃを介して被写体２００を撮影すれば、図４（ｂ）に示すように、第１のカメラ１２１ｂ及び第２のカメラ１２１ｃを介して各々撮影した第１のイメージ及び第２のイメージ２０５、２０７を生成することができる。
【００６３】
第１のカメラ１２１ｂ及び第２のカメラ１２１ｃを介して撮影した第１のイメージ及び第２のイメージ２０５、２０７は、３Ｄ立体映像の生成に使用される左眼イメージ及び右眼イメージに対応する。制御部１８０は、図４（ｃ）に示すように、第１のイメージ及び第２のイメージ２０５、２０７で共通した領域のイメージの視差を利用して３Ｄ立体映像（Ｓｔｅｒｅｏｓｃｏｐｉｃ  ３Ｄ  ｉｍａｇｅ）２１０を生成することができる。
【００６４】
ここで、３Ｄ立体映像（Ｓｔｅｒｅｏｓｃｏｐｉｃ  ３Ｄ  ｉｍａｇｅ）とは、モニタやスクリーン上で事物が位置した漸進的深さ（ｄｅｐｔｈ）と実体（Ｒｅａｌｉｔｙ）を現実空間と同様に感じることができるようにする映像を意味する。３Ｄ立体映像は、２つの目が互いに異なる２次元イメージを見て、そのイメージが網膜を介して脳に伝達されると、これを融合して立体映像の深さ及び実体感を感じるようにするものである。ほぼ６５ｍｍ離れている人の目の位置によってなされる両眼視差（ｂｉｎｏｃｕｌａｒ  ｄｉｓｐａｒｉｔｙ）が立体感を感じるようにする。両眼視差は、全ての３次元表示装置が基本的に満足させなければならない最も重要な要素である。
【００６５】
制御部１８０で生成した３Ｄ立体映像２１０は、ディスプレイ部１５１を介して表示することができる。また、専用印画紙と装備を利用すれば、３Ｄ立体写真を印画することもできる。静止画の撮影だけでなく、動画撮影の場合にも同じ方式によって３Ｄ立体映像を生成することができる。
【００６６】
３Ｄ立体映像を表示する方式には、眼鏡を使用するステレオスコピック（Ｓｔｅｒｅｏｓｃｏｐｉｃ）方式、無メガネ方式であるオートステレオスコピック（Ａｕｔｏ−ｓｔｅｒｏｓｃｏｐｉｃ）方式、及びホログラフィック（Ｈｏｌｏｇｒａｐｈｉｃ）を使用するプロジェクション方式などがある。ステレオスコピック方式は、家庭用ＴＶなどに多く使用されており、携帯端末機は、主にオートステレオスコピック方式が使用されている。
【００６７】
無メガネ方式には、レンチキュラー（ｌｅｎｔｉｃｕｌａｒ）方式、パララックスバリア（ｐａｒａｌｌａｘ  ｂａｒｒｉｅｒ）方式、パララックスイルミネーション（ｐａｒａｌｌａｘ  ｉｌｌｕｍｉｎａｔｉｏｎ）方式などが使用される。レンチキュラー方式は、左眼イメージと右眼イメージが表示される素子の前に１つの左右間隔に該当する半円筒形レンチキュラーシートを付着して、左右各々の目に左右に該当する映像のみ見えるようにすることにより、立体を感じるようにする。パララックスバリア方式は、左眼イメージと右眼イメージが視差障壁の後ろに置かれるようにすることにより、左右に各々他の映像が見えるようにすることで立体を感じるようにする。そして、パララックスイルミネーション方式は、後面に照明ラインが置かれ、前面にＬＣＤが置かれて、照明ラインによって明るくなったＬＣＤラインが左右のみに見えるようにすることにより、立体を実現する。その他にも、人間に立体感を提供する要素のうち、いくつかの特性を利用して立体感を提供する方法が研究されている。
【００６８】
本発明に係る携帯端末機の他に、他の機器を利用する場合にも、基本的に前述したような方式で３Ｄ立体映像を生成したり、表すことができる。
【００６９】
ところが、３Ｄ立体映像で特定オブジェクトに対する深さは、左眼イメージと右眼イメージとに配置される位置によって変わる。３Ｄ立体映像で特定オブジェクトに対する正確な深さ値を類推するためには、２つの平衡点が導入されなければならないが、次の図面を参照してこれについて説明する。
【００７０】
図５は、３Ｄ立体映像で深さ情報を算出する過程を説明するために参照される図である。同図に示すように、右眼の位置であるＲ、右眼イメージ平面であるＩＰ２、特定オブジェクトの位置であるＰ、Ｐ２で構成される三角形の比例関係と、左眼の位置であるＬ、左眼イメージ平面であるＩＰ１、Ｐ、Ｐ１で構成される三角形の比例関係とを介して特定オブジェクトの位置である点Ｐの距離であるｚ座標値を計算すれば、次の式のとおりである。
【数１】
0005379200.tif 000002
【００７１】
ここで、ｘ″は点Ｐを右眼イメージ平面であるＩＰ２に投射した点Ｐ２のｘ座標値、ｘ′は点Ｐを左眼イメージ平面であるＩＰ１に投射した点Ｐ１の座標値、２ｄは２つの目の間の距離、ｆは目から仮像スクリーンまでの距離を表す。
【００７２】
これにより、目またはカメラとオブジェクトとの深さ（ｄｅｐｔｈ）を計算すれば、次の式のとおりになる。
【数２】
0005379200.tif 000003
【００７３】
［数学式２］から分かるように、３Ｄ立体映像を表す左眼イメージと右眼イメージとで特定オブジェクトが位置するｘ軸座標値の差を検出することができれば、そのオブジェクトに対する深さ情報を算出することができる。
【００７４】
このとき、オブジェクトの左目に対する投影Ｐ１点が右目に対する投影Ｐ２点より左側にあるので、右の投影Ｐ２のｘ座標値から左の投影Ｐ１のｘ座標値を減じた値が正（＋）になるが、これを正の視差（ｐｏｓｉｔｉｖｅ  ｐａｒａｌｌａｘ）という。このとき、観察者に発生する現象は、オブジェクトが仮像スクリーンの後側にあるように見えることになる。
【００７５】
これとは反対に、ｘ座標値の差が負（−）になる現象を負の視差（ｎｅｇａｔｉｖｅ  ｐａｒａｌｌａｘ）という。このとき、オブジェクトは、仮像スクリーンの前にあるように見える。また、左右投影点が同一になる場合をゼロ視差（ｚｅｒｏ  ｐａｒａｌｌａｘ）とすれば、オブジェクトは、仮像スクリーンにあるように見える。
【００７６】
このような過程により、３Ｄ立体映像で特定オブジェクトに対する深さ情報を算出することができる。また、３Ｄ立体映像で３次元オブジェクトの深さと疲労度の関係を計算することができる。既存の医学における研究によれば、目の間の距離２ｄと目が位置する映像平面で観測する３Ｄオブジェクトまでの距離（ｚ）とが与えられれば、これに基づいて事物を観測するとき、視線の収束角度がほぼ１．５を越えると、目が疲労を感じるという事実が知られている。すなわち、目から近い位置にある物体に焦点を合わせて凝視するようになると、値が大きくなるため、目が疲れるようになる。
【００７７】
図６は、左眼イメージと右眼イメージとを利用して深さ情報を算出する過程を説明するために参照される図である。図６（ａ）に示すように、左眼イメージ３１０及び右眼イメージ３２０を所定サイズのブロック単位に区画して、左眼イメージ３１０で第１のブロック３１１にマッチングする右眼イメージ３２０の第２のブロック３２１を検索することができる。
【００７８】
マッチングするブロックの検索のためには、動きベクタの推定などに使用される平均２乗誤差（Ｍｅａｎ  Ｓｑｕａｒｅ  Ｅｒｒｏｒ：ＭＳＥ）、平均絶対誤差（Ｍｅａｎ  Ａｂｓｏｌｕｔｅ  Ｅｒｒｏｒ：ＭＡＥ）、または平均絶対差（Ｍｅａｎ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ：ＭＡＤ）などのような評価関数を利用するブロック整合アルゴリズムが使用され得る。Ｍ×Ｎサイズのブロックでこれら関数は次の式のように表すことができる。
【数３】
0005379200.tif 000004
【数４】
0005379200.tif 000005
【００７９】
ここで、Ｌｋは左眼イメージでｋ番目のブロック、Ｒｋは右眼イメージでｋ番目のブロックを表す。このような評価関数は、画素の差を基盤とする場合、最も少ないＭＡＤ値やＭＳＥ値を有する場合をマッチングするブロックとして選択することができる。
【００８０】
また、３Ｄ立体映像を表す右眼イメージと左眼イメージの場合、特定オブジェクトの位置は、ｙ座標値は同じで、ｘ座標値のみが変わることが一般的である。したがって、このような点を考慮して、ｙ座標値は一定にし、ｘ軸方向のみに値を変化させる方式によって評価関数を利用することができる。
【００８１】
このような過程により、第１のブロック３１１にマッチングする第２のブロック３２１が検索されると、第１のブロック３１１のｘ軸座標値ｄ１と第２のブロック３２１のｘ軸座標値ｄ２との差異値によって深さ情報を算出することができる。
【００８２】
同様に、図６（ｂ）に示すように、左眼イメージ３１０で第３のブロック３１３にマッチングする右眼イメージ３２０の第４のブロック３２３を検索することができる。この場合にも、第３のブロック３１３のｘ軸座標値ｄ３と第４のブロック３２３のｘ軸座標値ｄ４との差異値によって深さ情報を算出することができる。
【００８３】
このような過程を左眼イメージ３１０または右眼イメージ３２０の全体に対して行えば、各ブロック別に深さ情報を算出することができる。
【００８４】
各ブロック別に深さ情報が算出されると、これを利用して３Ｄ立体映像に対する立体感情報を算出することができる。このとき、立体感情報は、フレーム単位で各ブロック別の深さ情報の平均値や標準偏差などで表すことができる。また、隣接したオブジェクト間に深さ値が円滑に変化するように配置されたか否かなどによって立体感情報を算出することもできる。
【００８５】
算出した立体感情報は数値化して表したり、グラフで表すことができる。また、図７に示すように、各ブロック別の深さ情報を表す３Ｄイメージで表示することもできる。
【００８６】
図８及び図９は、本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に提供されているフローチャートである。まず、図８は、立体感情報を算出する過程を表したものである。
【００８７】
図８に示すように、ユーザ命令などによって３次元立体イメージに対する立体感情報を算出する立体感評価モードが選択されると（Ｓ４００）、制御部１８０は、選択された３Ｄ立体映像を構成する左眼イメージと右眼イメージをメモリ１６０から引き出す（Ｓ４０５）。
【００８８】
左眼イメージと右眼イメージが引き出されると、制御部１８０は、左眼イメージと右眼イメージを所定サイズのブロック単位に区画して、前述したような過程により、制御部１８０は左眼イメージと右眼イメージで各ブロック別にマッチングするブロックを検索する（Ｓ４１０）。そして、制御部１８０は、左眼イメージと右眼イメージとで検索されたブロック間の位置差を算出し（Ｓ４１５）、算出したブロック間の位置差を利用してブロック別の深さ情報を算出する（Ｓ４２０）。
【００８９】
ブロック別の深さ情報を算出する過程は、他のブロックに対しても行われ、左眼イメージまたは右眼イメージの全体フレームに対する検索が完了すれば（Ｓ４２５）、制御部１８０は、ブロック別の深さ情報を利用して３Ｄ立体映像に対する立体感情報を算出する（Ｓ４３０）。
【００９０】
前述したように、立体感情報は、各ブロック別の深さ情報の平均値や標準偏差、または深さ程度の分布や配置などによって予め設定された基準にしたがって算出することができる。
【００９１】
制御部１８０は、算出した立体感情報を出力する（Ｓ４３５）。このとき、立体感情報は、数値、グラフ、イメージなどで出力することができる。また、立体感情報は、３Ｄ立体映像とリンクさせて格納し、種々の用途で活用することができる。
【００９２】
上記した実施形態では、静止画に対して立体感情報を算出する場合を説明しているが、複数個のフレームに対して上記したような過程を繰り返し的に行い、所定再生区間単位で３Ｄ立体動画に対しても立体感情報を算出することができる。この場合、場面別立体感の平均値として全体立体感情報を算出することができ、所定再生区間単位や場面別に異なるように立体感情報を表示することもできる。
【００９３】
図９は、マルチメディアモードで立体感情報を活用する場合を表したものである。
【００９４】
同図に示すように、ユーザ命令などによってアルバム閲覧や動画ファイルの再生などを行うマルチメディアモードが選択されると（Ｓ５００）、制御部１８０は、立体感情報が表示されたファイル目録をディスプレイ部１５１に表示する（Ｓ５０５）。すなわち、２Ｄ映像の場合、２Ｄ映像に対応するサムネールイメージや名称を表示し、３Ｄ立体映像の場合には、３Ｄ立体映像に対応するサムネールイメージや名称とともに、立体感情報を表示することができる。このとき、立体感情報は、数値や図形などを利用して表すことができる。
【００９５】
もし、ファイル目録でいずれか１つのファイルが選択された場合（Ｓ５１０）、制御部１８０は選択したファイルを再生し、立体感情報が存在する３Ｄ立体映像の場合、対応するゲージを表示する（Ｓ５１５）。
【００９６】
その他、ファイルの再生進行中、停止、早送り再生、巻き戻し、再生位置の移動などのような再生と関連したユーザ命令が入力されれば（Ｓ５２０）、制御部１８０は、入力されたユーザ命令に対応する動作が行われるように制御する（Ｓ５２５）。また、３Ｄ立体映像を再生する場合、立体感情報を表すゲージを介した入力によって立体感が調節されるように構成することもできる。
【００９７】
このような過程は、マルチメディアモードが終了するまで繰り返し的に行われる（Ｓ５３０）。また、上記したようなマルチメディアモードの他に、様々な動作制御に立体感情報が活用され得る。例えば、３Ｄ立体映像の撮影時、カメラプレビュー画面に立体感情報を表示し、ユーザが立体感情報を参照して構図を選択できるように構成することができる。また、３Ｄ立体コンテンツの再生時、立体感情報によってユーザが見やすい立体感で自動調節するように構成することもできる。
【００９８】
図１０〜図１５は、本発明の一実施形態によって立体感情報が利用される場合を説明するために参照される図である。
【００９９】
図１０は、マルチメディアモードでアルバム画面の一例を示したものである。図１０に示すように、アルバム画面６００には再生可能なファイルに対応するサムネールイメージが表示される。このとき、３Ｄ立体映像に対応するサムネールイメージの一つの領域に星印などで立体感情報を表示することができる。例えば、星印の個数によって立体感の高い３Ｄ立体映像を表し、星印がない場合には、２Ｄ映像を表すものと構成することができる。これにより、ユーザは、３Ｄ映像の立体感を星点などで予め確認することができるので、立体感の高い映像のみを選別的に鑑賞することができる。
【０１００】
図１１は、３Ｄ立体映像を再生している画面の一例を示したものである。同図に示すように、３Ｄ立体映像の再生画面６１０の１つの領域に現在場面の立体感や全体３Ｄ立体映像に対する立体感を星印などで表示することができる。
【０１０１】
図１２は、３Ｄ立体映像を再生している他の画面を示したものである。図１２（ａ）に示すように、３Ｄ立体映像の再生画面６２０が表示された状態で、コンテンツの立体感情報の表示が選択された場合、図１２（ｂ）に示すように、グレー（Ｇｒａｙ）モードに切り替えた画面６３０を表示し、画面６３０の１つの領域に棒形のゲージ６３３を表示することができる。このとき、各オブジェクトの深さによって互いに異なる色を表示する画面を表示することもできる。
【０１０２】
ユーザは、棒形ゲージ６３３で所望の立体感レベルを選択して立体感を調節することができる。また、グレーモードから再度一般再生モードに切り替えた後、選択された深さのオブジェクトのみを３Ｄ立体イメージとして表示し、残りのオブジェクトは２Ｄイメージとして表示することができる。
【０１０３】
図１３は、３Ｄ立体映像が表示された他の画面を示したものである。同図に示すように、３Ｄ立体映像が表示された画面６４０の１つの領域に画面の区画別に測定した深さ情報を視覚化した３Ｄイメージ６４３を表示することができる。このように、３Ｄ立体映像に対する立体感情報を３Ｄ図形で表すこともできる。
【０１０４】
図１４は、３Ｄ立体映像を再生しているさらに他の画面を示したものである。同図に示すように、３Ｄ立体映像が表示された画面６５０の１つの領域に立体感情報を表すゲージ６５３を表示し、リアルタイムで立体感情報を表すことができる。ゲージ６５３は、ユーザの選択によって表示するか、または現在再生中の３Ｄ立体映像の立体感が一定水準以上である場合に表示することができる。
【０１０５】
また、ゲージ６５３を用いて３Ｄ立体映像に対する立体感を調節することができる。例えば、立体感が過剰になり、目の疲労度が大きくなる場合、ゲージ６５３をタッチ後、円形にドラッグする入力６５５などで調節して、３Ｄ立体映像に対する立体感レベルを低めることができる。このように、ゲージ６５３は、現在画面の３Ｄ立体感を表示すると同時に、立体感を調節する機能を行うこともできる。
【０１０６】
図１５は、立体感情報を放送信号に挿入して伝送する場合を示したものである。同図に示すように、ＭＰＥＧ  ＴＳパケットは、ヘッダ（ｈｅａｄｅｒ）とデータ・ペイロードで構成される。ヘッダ部は４バイト固定長さであり、内部には同期バイト（ｓｙｎｃ  ｂｙｔｅ）、パケット識別（Ｐａｃｋｅｔ  Ｉｄｅｎｔｉｆｉｅｒ：ＰＩＤ）、スクランブル制御（Ｓｃｒａｍｂｌｅ  Ｃｏｎｔｒｏｌ）、適応フィールド制御（Ａｄａｐｔｉｏｎ  Ｆｉｅｌｄ：ＡＦ）などが含まれる。
ＭＰＥＧ−４標準で圧縮されたビデオ映像は、その圧縮方法によってＩ−フレーム（Ｉｎｔｒａ−ｃｏｄｅｄ  ｆｒａｍｅ）、Ｐ−フレーム（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ  ｆｒａｍｅ）、そして、Ｂ−フレーム（Ｂｉｄｉｒｅｃｔｉｏｎａｌ−ｃｏｄｅｄ  ｆｒａｍｅ）の３つの形態で構成される。ここで、Ｉ−フレームは、前または後の他のフレームとは独立的にただ１つの映像でエンコード（ｅｎｃｏｄｉｎｇ）される。Ｐ−フレームは、エンコードとデコード（ｄｅｃｏｄｉｎｇ）を行うとき、以前のＩ−フレームとＰ−フレーム情報を参照する。すなわち、以前の画面と現在の画面の差異値のみをエンコードするものである。最後に、Ｂ−フレームは、以前のＰ−フレームと以後のＰ−フレーム、または２つのフレームの両方を参照してエンコードする。各フレームは、Ｉフレームから次のＩフレームの前までのフレーム集まりをＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）内で一定の順序を有して表現するが、普通、ＩＢＢＰＢＢＰＢＢＰＢＢの形態を有する。これを標準ではＧＯＰパターンという。
【０１０７】
立体感情報の算出によって、３Ｄ立体コンテンツの関連立体感情報をＭＰＥＧ  ＴＳパケットに挿入して伝送することができる。例えば、図１５に示すように、現在表示されるフレームの立体感をＩ−フレーム単位として予め立体感情報を算出し、Ｉ−フレームのヘッダを拡張した位置７００とか、またはペイロードに立体感情報を記録して伝送することができる。
【０１０８】
一方、３Ｄ立体映像に対する不満足の原因としては、過剰な立体感の他に、誤った撮影、誤ったディスプレイ、フリッカー現象などがある。ここで、誤った撮影は、映像整列が誤っているか、光学的歪み、立体感調整のためのカメラセット、及び感性的側面に誤りがある場合である。また、誤ったディスプレイは、左右映像の歪みなどでも深刻な頭痛を誘発させることができる。フリッカー現象は、ＴＶなどを介して３Ｄ立体映像を視聴する場合、秒当たり数十回の映像が表示されると、ちらつきを感じるようになり、このようなちらつきも頭痛や嘔吐を誘発させることができる。
【０１０９】
したがって、立体感情報には、深さ情報の他に、このような情報を共に評価されて算出することができる。そして、本発明に係る携帯端末機及びその動作制御方法は、上述の実施形態の構成と方法が限定されるように適用されるものではなく、前記実施形態は、様々な変形がなされ得るように、各実施形態の全部または一部が選択的に組み合わせられて構成されることもできる。
【０１１０】
一方、本発明は、携帯端末機に備えられたプロセッサが読み取ることのできる記録媒体にプロセッサが読み取ることのできるコードとして実現することが可能である。プロセッサが読み取ることのできる記録媒体は、プロセッサによって読み取られることのできるデータが格納される全ての種類の記録装置を含む。プロセッサが読み取ることのできる記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などがあり、また、インターネットを介した伝送などのようなキャリアウェーブの形態で実現されることも含む。また、プロセッサが読み取ることのできる記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式によってプロセッサが読み取ることのできるコードが格納され、実行され得る。
【０１１１】
また、以上では、本発明の好ましい実施形態について図示し、説明したが、本発明は、上述した特定の実施形態に限定されず、請求の範囲で請求する本発明の要旨を逸脱することなく、当該発明の属する技術分野における通常の知識を有した者によって様々な変形実施が可能であることはもちろんであり、このような変形実施は、本発明の技術的思想や展望から個別的に理解されてはいけないであろう。
【図１】
0005379200.tif 000006
【図２】
0005379200.tif 000007
【図３】
0005379200.tif 000008
【図４】
0005379200.tif 000009
【図５】
0005379200.tif 000010
【図６】
0005379200.tif 000011
【図８】
0005379200.tif 000012
【図９】
0005379200.tif 000013
【図１５】
0005379200.tif 000014
【図７】
0005379200.tif 000015
【図１０】
0005379200.tif 000016
【図１１】
0005379200.tif 000017
【図１２】
0005379200.tif 000018
【図１３】
0005379200.tif 000019
【図１４】
0005379200.tif 000020