(57)【要約】      （修正有）【課題】カメラを搭載する携帯端末装置において、１系統のカメラ及び制御処理手段で、自画像を撮影する為のテレビ電話などの用途と風景画像を撮影するデジタルカメラ用途を可動部のない状態で実現すると共に、広い方位方向視野により携帯端末装置利用者が撮影アングルを意識する事無く利用できる携帯端末装置を提供する。【解決手段】ミラー部とカメラ部で構成される光学系を搭載し、２方位以上の周辺画像を撮像する撮像手段と、撮像した周辺画像より任意の方位及び仰角範囲の矩形視野画像を抽出し画像処理する手段と、矩形視野画像を表示する表示手段を備え、携帯端末装置利用者の自画像を撮影する方位範囲と、これと対極をなす方位である風景画像を撮影する方位範囲を切り換えて、周辺画像から矩形視野画像を作成する手段を備える。【選択図】図１
2010034652.tif 000002
【特許請求の範囲】
【請求項１】
ミラー部とカメラ部で構成される光学系を搭載し、２方位以上の周辺画像を撮像する撮像手段と、
撮像した前記周辺画像より任意の方位及び仰角範囲の矩形視野画像を抽出し画像処理する手段と、
当該矩形視野画像を表示する表示手段を備えた携帯端末装置であって、
携帯端末装置利用者の自画像を撮影する方位範囲と、これと対極をなす方位である風景画像を撮影する方位範囲を切り換えて、
前記周辺画像から当該矩形視野画像を作成する手段を備えることを特徴とする携帯端末装置。
【請求項２】
ミラー部とカメラ部で構成される光学系を搭載し、２方位以上の周辺画像を撮像する撮像手段と、
撮像した前記周辺画像より任意の方位及び仰角範囲の矩形視野画像を抽出し画像処理する手段と、
当該矩形視野画像を表示する表示手段を備えた携帯端末装置であって、
前記周辺画像から所望する２方位範囲以上の当該矩形視野画像を同時に作成する手段を備えることを特徴とする携帯端末装置。
【請求項３】
請求項１〜請求項２記載の携帯端末装置であって、
前記周辺画像に含まれる人物像の顔の方位と位置を検出し、
当該人物像の顔の方位と位置の移動を追跡する手段を備え、
特定の人物の顔の方位と位置情報により、必要とする当該矩形視野画像の方位及び仰角範囲を検出、推定、制御する手段を備えることを特徴とする携帯端末装置。
【請求項４】
請求項１〜請求項３記載の携帯端末装置であって、
前記周辺画像に含まれる１つ以上の基準領域を抽出する基準領域抽出手段と、
一定時間間隔の前記周辺画像間の当該基準領域の動きを追跡する手段を備える事により、
携帯端末装置自体の姿勢及び動き情報を検出し応用利用する手段を備えることを特徴とする携帯端末装置。
【請求項５】
請求項１〜請求項４記載の携帯端末装置であって、
前記撮像した周辺画像を蓄積する画像記憶手段と、
画像記憶手段の所望の時間経過位置から読み出した前記周辺画像より任意の方位及び仰角範囲の矩形視野画像を抽出し画像処理する手段と、
当該矩形視野画像を表示する表示手段を備え、
前記周辺画像より所望する１方位範囲以上の当該矩形視野画像を同時に作成する手段を備えることを特徴とする携帯端末装置。
【請求項６】
請求項１〜請求項５記載の携帯端末装置であって、
前記撮像した周辺画像を送信する通信手段を備えることを特徴とする携帯端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末装置利用者の自画像と周囲風景画像を容易に同時撮影し、表示、相互に送受信する為のカメラ機構及び制御と画像処理を搭載する携帯端末装置に関する。
【背景技術】
【０００２】
携帯端末装置として最も普及している形態として、カメラ付き携帯電話がある。従来のこのようなカメラ付き携帯電話では、テレビ電話装置用途及びポートレート撮影用途などにおける自画像を撮影する手段として、表示手段と同じ側に取り付けられたカメラと、デジタルカメラ用途における風景画像を撮影する手段として、表示手段と反対側に取り付けられたカメラの２系統のカメラが用途に合わせて搭載されている。また、カメラ付き携帯電話で撮影される画像は、カメラ取り付け位置が端末装置中心軸からずれている場合や携帯端末装置利用者の取り扱い上の癖や手の動きによって、携帯端末装置利用者自身や風景といった撮影対象が表示手段の中心からずれて映し出されてしまう現象が認められている。
特許文献１では、テレビ電話装置用途において、カメラで撮影した自画像より顔判別手段（肌色領域検出）を用いて顔位置を検出し、顔位置が表示手段中心となるように配置制御している。
特許文献２では、テレビ電話装置用途において、カメラで撮影した基準となる自画像の適正範囲（上下左右範囲、適正距離範囲）を予め記憶し、これを基に、自画像が適正範囲を外れた場合、表示手段に外れた方向に強調補正表示する事により、これを見る携帯端末利用者自身が位置調整したくなるように仕向けている。
【特許文献１】特開２００５−１９１７６０号広報
【特許文献２】特開２００８−０６０７３４号広報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来の背景技術の携帯端末装置では、自画像を撮影する為のテレビ電話或いはポートレート撮影用途と、風景画像を撮影するデジタルカメラ用途の為に、２系統のカメラ手段及び制御処理手段が必要となる。また、顔位置を検出し表示手段の適正位置に表示するよう補正する手段は、カメラの取り付け位置によるずれ量や携帯端末装置利用者（通話者など）の音響適正位置に基づく極めて狭い範囲において適用される手段である。
【０００４】
本発明は、このような事情に鑑みてなされたもので、カメラを搭載する携帯端末装置において、１系統のカメラ及び制御処理手段で、自画像を撮影する為のテレビ電話或いはポートレート撮影用途と風景画像を撮影するデジタルカメラ用途を可動部のない状態で実現すると共に、広い方位方向視野により携帯端末装置利用者（通話者など）が撮影位置や範囲を特段に意識する事無く利用できる携帯端末装置を提供する事を目的とする。
【課題を解決するための手段】
【０００５】
請求項１の携帯端末装置は、ミラー部とカメラ部で構成される光学系を搭載し、２方位以上の周辺画像（動画像及び静止画像）を撮像する撮像手段と、撮像した周辺画像より任意の方位及び仰角範囲の矩形視野画像を抽出し画像処理する手段と、作成した矩形視野画像を表示する表示手段を備えた携帯端末装置であって、携帯端末装置利用者の自画像を撮影する方位範囲と、これと対極をなす方位である風景画像を撮影する方位範囲を切り換えて、周辺画像から矩形視野画像を作成する手段を備えることを特徴とする。
【０００６】
請求項２の携帯端末装置は、ミラー部とカメラ部で構成される光学系を搭載し、２方位以上の周辺画像（動画像及び静止画像）を撮像する撮像手段と、撮像した周辺画像より任意の方位及び仰角範囲の矩形視野画像を抽出し画像処理する手段と、作成した矩形視野画像を表示する表示手段を備えた携帯端末装置であって、周辺画像から所望する２方位範囲以上の矩形視野画像を同時に作成する手段を備えることを特徴とする。
【０００７】
請求項３の携帯端末装置は、前記周辺画像に含まれる人物像の顔の方位と位置を検出し、当該人物像の顔の方位と位置の移動を追跡する手段を備え、特定の人物の顔の方位と位置情報により、必要とする当該矩形視野画像の方位及び仰角範囲を検出、推定、制御する手段を備えることを特徴とする。
【０００８】
請求項４の携帯端末装置は、周辺画像に含まれる１つ以上の基準領域を抽出する基準領域抽出手段と、一定時間間隔の周辺画像間の基準領域の動きを追跡する手段を備える事により、携帯端末装置自体の姿勢及び動き情報を検出し応用利用する手段を備えることを特徴とする。
【０００９】
請求項５の携帯端末装置は、撮像した周辺画像を蓄積する画像記憶手段と、画像記憶手段の所望の時間経過位置から読み出した周辺画像より、任意の方位及び仰角範囲の矩形視野画像を抽出し画像処理する手段と、作成した矩形視野画像を表示する表示手段を備え、周辺画像より所望する１方位範囲以上の矩形視野画像を同時に作成する手段を備えることを特徴とする。
【００１０】
請求項６の携帯端末装置は、撮像した周辺画像を送信する通信手段を備えることを特徴とする。
【発明の効果】
【００１１】
請求項１の発明によれば、ミラー部とカメラ部で構成される１系統の撮像手段で撮像される２方位以上の周辺画像（動画像及び静止画像）より、所望する方位範囲と仰角範囲の画素を切り出して画像処理する事により、自画像又はこれと対極をなす方位となる風景の矩形視野画像を切り換えて作成する事が可能となり、従来２台のカメラを必要とする構造に比べて容易で安価に実現可能となる。又、２方位以上の周辺画像による広い視野範囲により、通常の利用では被写体が視野から外れる事がなく、携帯端末装置利用者が従来の様に撮影位置を気にする必要がなくなり、携帯端末装置の操作に集中する事が可能となる。
【００１２】
請求項２の発明によれば、ミラー部とカメラ部で構成される１系統の撮像手段で撮像される２方位以上の周辺画像（動画像及び静止画像）より、所望する２つ以上の方位範囲と仰角範囲の画素を切り出して画像処理する事により、自画像及びその他の方位の風景の矩形視野画像を２つ以上同時に作成する事が可能となり、従来の複数台のカメラを必要とする構造に比べて容易で安価に実現可能となる。又、２方位以上の周辺画像による広い視野範囲により、通常の利用では被写体が視野から外れる事がなく、携帯端末装置利用者が従来の様に撮影位置を気にする必要がなくなり、携帯端末装置の操作に集中する事が可能となる。
【００１３】
請求項３の発明によれば、ミラー部とカメラ部で構成される１系統の撮像手段で、２方位以上の周辺画像（動画像及び静止画像）を同時に撮像し、多方位周辺画像の広い視野範囲において顔認識処理により顔位置と方位を検出及び追跡する事により、携帯端末装置利用者は何時でも顔（人物）の位置と方位の矩形視野画像は勿論、顔（人物）の位置と方位を基準とした別方位の矩形視野画像を表示或いは通信に利用する事が可能となる。
【００１４】
請求項４の発明によれば、ミラー部とカメラ部で構成される１系統の撮像手段で、２方位以上の周辺画像（動画像及び静止画像）を同時に撮像し、この周辺画像より多方位における動きベクタを抽出する事によって、相対的な携帯端末装置の移動量や姿勢を検出する事が可能となり、これらの情報を利用して携帯端末装置を振る事で表示画面を切り換えるなど各種アプリケーションに活用可能となる。
【００１５】
請求項５の発明によれば、ミラー部とカメラ部で構成される１系統の撮像手段で同時に撮像される２方位以上の周辺画像（動画像及び静止画像）を記憶部に蓄積し、蓄積されている周辺画像を記憶部における所望の位置（時間或いはフレーム数）より随時読み出して、所望の方位及び仰角範囲の矩形視野画像を作成する事が可能となり、撮影時に表示している方位範囲の矩形視野画像とは無関係に、何時でも蓄積されている時間範囲で遡って所望の方位の矩形視野画像を得る事が可能となる。
【００１６】
請求項６の発明によれば、ミラー部とカメラ部で構成される１系統の撮像手段で同時に撮像される２方位以上の周辺画像（動画像及び静止画像）を、通信手段を介して他者に送信する事が可能であり、他者において受信する周辺画像より所望の方位及び仰角範囲の矩形視野画像を作成する事が可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施例を、図面を参照して説明する。
【実施例１】
【００１８】
図１は、本発明の第１の実施例に係る携帯端末装置の原理を説明する。図２は、本発明の第１の実施例に係る携帯端末装置のミラー部を説明する図である。図３は、本発明の第１の実施例に係る携帯端末装置の画像取得の流れを説明する図である。図４は、本発明の第１の実施例に係る携帯端末装置の表示画像の選択方法を説明する図である。
【００１９】
図１において、携帯端末装置１は、２方位以上の周辺画像（動画像或いは静止画像）を同時に撮像するミラー部とカメラ部で構成される撮像手段２と、撮像手段２で撮像した２方位以上の周辺画像より任意の方位及び仰角範囲の矩形視野画像を画像処理により抽出する画像処理手段と、この矩形視野画像を表示する表示部３を備え、周辺画像上から所望する２方位範囲以上の矩形視野画像を同時に作成する事ができる。図において、携帯端末装置１と携帯端末装置利用者が対面する方向を前方位、その対極する反対方向を後方位とし、この方向をＸ方向と定義する。又、携帯端末装置１の左右方向をＹ方向、上下方向をＺ方向と定義する。
【００２０】
撮像手段２は、ミラー部の光学的な形状により、携帯端末装置１の周りの周囲撮像領域４の内、ミラー部が光学的に対極方向の２方位（前方位５と後方位７）のみを視野とする一部方位範囲から、ミラー部が光学的に周囲撮像領域４の全体を視野とする全方位範囲までを撮影可能とする。図２において、ミラー部の光学的な形状を主な例により説明する。（ａ）２方位ミラー部（３角柱）は、方位Ａと方位Ｂの２つの平面ミラーを張り合わせた２方位を視野とする光学形状である。（ｂ）２方位ミラー部（双曲線断面）は、Ｘ軸断面において双曲線形状となるミラー面を有する方位Ａと方位Ｂの２方位を視野とする光学形状である。（ｃ）４方位ミラー部（４角錐）は、４角錐形状の４枚のミラー平面を有する方位Ａと方位Ｂと方位Ｃと方位Ｄの４方位を視野とする光学形状である。（ｄ）全方位ミラー部（双曲面）は、双曲面をなすミラー形状により全方位Ｅを視野とする光学形状である。
【００２１】
撮像手段２は、ミラー部の光学的な形状により、少なくともテレビ電話装置用途及びポートレート撮影など自画像を撮影する場合における携帯端末装置１と携帯端末装置利用者が対面する方向６からの前方位５の視野領域と、デジタルカメラ用途など風景画像を撮影する場合における携帯端末装置１の携帯端末装置利用者方向と対極する方向８からの後方位７の視野領域を同時に同一の周辺画像として撮像する事ができる。各々の前方位５の視野領域と後方位７の視野領域を含む周辺画像は、自画像９と風景画像１０の何れか１方或いは両方について矩形視野画像に画像処理して表示部３に表示される。又、画像処理において、各々の前方位５の視野領域と後方位７の視野領域を含む周辺画像より、携帯端末装置利用者の携帯端末装置１の使用状態にあわせて、自画像９或いは風景画像１０の矩形視野画像を切り換え画像処理して表示部３に表示しても良い。又、撮像手段２において撮像される周辺画像は、ミラー部の光学的な形状により周囲撮像領域４の全方位の視野範囲まで撮像可能であることから、画像処理手段は撮像される周辺画像のこの許容する方位範囲において何時でも同時に所望する２方位範囲以上の矩形視野画像を作成する事ができる。表示部３への矩形視野画像表示は、単画面から方位数分の画面（多画面）で、その他縦向き横向き何れでも画像処理可能とする。尚、テレビ電話装置用途に限った場合、自画像９の矩形視野画像表示は通信相手側の携帯端末装置１の表示部３となる。
【００２２】
携帯端末装置１は、テレビ電話装置用途など自画像とデジタルカメラ用途など風景画像を常に一体として1台の撮像手段２で得ることが可能で、しかも視野範囲として全方位を含むことから、携帯端末装置利用者は携帯端末装置１のカメラアングルを気にせず通信や入力操作に集中する事ができる。
【００２３】
図３は、本発明の第１の実施例に係る携帯端末装置の画像取得の流れを説明する図である。（ａ）は、対極方向の２方位（前方位５と後方位７）のみを視野範囲とする周辺画像（動画像或いは静止画像）から矩形視野画像を得るまでの流れを説明する図である。（ｂ）は、全方位を視野範囲とする周囲撮像領域４に当たる周辺画像（動画像或いは静止画像）から矩形視野画像を得るまでの流れを説明する図である。
【００２４】
（ａ）において、撮像手段２は、ミラー部１１ａ（ＸＺ面図及びＸＹ面図）で構成されている対極する方位を撮像するカメラであり、例えば双曲線カーブを有するミラーレンズを下方より撮像する事で一定の仰角範囲と対極する方位方向１１ｂと１１ｃの視野範囲の画像を同時に撮影する事ができる。尚、撮像手段２におけるミラー部１１ａは、２方位を撮像可能とする２面のミラー構成であっても良く、対極する方位の周辺画像が得られる構造であれば良い。又、撮像手段２におけるミラー部１１ａは、３方位を視野とする三角錐構造など、４方位を視野範囲とする四角錐構造などから全方位を視野範囲とする双曲面構造などまで、用途に合わせて選択可能とする。
【００２５】
撮像手段２で、撮像面に撮像される対極方位視野の周辺画像１２ａ、１３ａにおいて、前方位５視野の撮影領域及び後方位７視野の内の被写体の写っている矩形視野画像１４ｂ、１５ｂは、各々１４ａ及び１５ａで示される領域から画像処理により変換される。又、画像処理により一括して対極方位視野の周辺画像１２ａ、１３ａを矩形視野画像１２ｂ、１３ｂに変換し、被写体の写っている領域である自画像１４ｂ及び風景画像１５ｂを抽出し、表示用画像９及び１０を得てもよい。尚、１２ｂ、１３ｂ以外の領域である斜線領域１６は、ミラー部１１ａで構成されている撮像手段２において視野外の方位となり周辺画像が存在しないことを示す。
【００２６】
（ｂ）において、撮像手段２は、光学機構部１７ａ（ＸＺ面図及びＸＹ面図）で構成されており、全方位を視野範囲とする周囲撮像領域４を撮像するカメラであり、例えば双曲面ミラーレンズを下方より撮像する事で一定の仰角範囲と全方位方向１７ｂの視野範囲の周辺画像を得る事ができる。尚、撮像手段２におけるミラー部１７ａは、全方位を視野範囲とする周囲撮像領域４を撮像可能とする円錐構造のミラーであっても良く、周囲撮像領域４全体を視野とする周辺画像が得られる構造であれば良い。
【００２７】
撮像手段２で、撮像面に撮像される円形領域形状の全方位周辺画像１８ａにおいて、前方位５撮影領域及び後方位７撮影領域は、各々１９ａ及び２０ａで示される扇形形状領域として撮像される。次に、画像処理により、一括して全方位周辺画像１８ａからパノラマ画像１８ｂ（全方位矩形視野画像）に変換し、パノラマ画像１８ｂより目的とする矩形視野画像の自画像１９ｂ及び風景画像２０ｂを抽出し、表示用画像９及び１０を作成する事が可能である。又、画像処理量による負荷を軽減する為に、前方位５撮影領域の扇形画像１９ａより指定方位範囲の矩形視野画像１９ｂ、後方位７撮影領域の扇形画像２０ａを指定方位範囲の矩形視野画像２０ｂに個別に画像処理し表示用画像９及び１０を得ても良い。
【００２８】
図４は、本発明の第１の実施例に係る携帯端末装置の表示画像の選択方法を説明する図である。携帯端末装置１は、最初にステップＳ５０で対極方向の２方位（前方位５と後方位７）のみを視野範囲とする周辺画像（対極方位周辺画像）から、全方位を視野範囲とする周囲撮像領域４に当たる周辺画像（全方位周辺画像）の内、何れかの周辺画像の入力を開始する。次に、これら周辺画像（対極方位周辺画像から全方位周辺画像の何れか）から所望する矩形視野画像を画像処理により取得する為に、ステップＳ５１の方位範囲及び仰角範囲を決定する。テレビ電話装置用途など自画像を撮影する場合には、方位範囲及び仰角範囲は前方位５撮影領域内の指定方位範囲となるように設定されステップＳ５３に移行する。デジタルカメラ用途など風景画像を撮影する場合には、方位範囲及び仰角範囲は後方位７撮影領域内の指定方位範囲となるように設定されステップＳ５２に移行する。携帯端末装置利用者が携帯端末装置の操作入力機能を使って、周囲撮像領域４の可能な方位範囲において任意に方位範囲及び仰角範囲を指定し、任意方位画像を表示するように選択する場合には、ステップＳ５４に移行する。尚、ステップＳ５４は、３方位以上の矩形視野画像を必要とする場合に用い、複数方位範囲を指定する事により、各々の方位範囲の矩形視野画像が表示する際に切れ間なく繋がるように処理する事も可能である。又、携帯端末装置利用者は、携帯端末装置の操作入力機能を使って、撮像手段２で撮像される対極方位周辺画像１２ａと１３ａ或いは全方位周辺画像１８ａを表示するように選択する事が可能であり、この場合はステップＳ５５に移行する。ステップＳ５２及びＳ５３、Ｓ５４の場合には、ステップＳ５６において各々の周囲画像を所望する方位範囲及び仰角範囲により画像処理し矩形視野画像に変換が行われる。ステップＳ５５の場合には、ステップＳ５７において対極方位周辺画像１２ａと１３ａ或いは全方位周辺画像１８ａは、画像処理により矩形視野画像に縮小されるか、注目領域を切り出す事により矩形視野画像に変換される。又、ステップＳ５７は、対極方位周辺画像１２ａと１３ａ或いは全方位周辺画像１８ａを分割表示、或いはスクロール表示するように処理する事も可能である。最後に、各々の矩形視野画像はステップＳ５８において表示部３に表示される。
【実施例２】
【００２９】
図５は、本発明の第２の実施例に係る携帯端末装置の顔認識による表示位置調整を説明する図である。
【００３０】
図５において（ａ）は、対極する２方位から全方位までの視野範囲の周辺画像における顔認識を説明する図である。（ｂ）は、対極する２方位から全方位までの視野範囲の周辺画像を矩形視野画像に画像処理したパノラマ画像における顔認識を説明する図である。従来テレビ電話装置用途など自画像を撮影する場合には、携帯端末装置利用者は自身の顔がカメラアングルの中に納まるように常に注意を払う必要があった。本発明の携帯端末装置では、常に広い視野範囲で周辺画像を撮像することが可能であり、携帯端末装置利用者の手ぶれなどで動く範囲を十分にカバーする事ができる。その上で、テレビ電話装置用途など自画像を撮影する場合には、広い視野範囲を有する周辺画像の中より携帯端末装置利用者の顔位置及び方位を検出し、その顔位置及び方位を基準に画像処理する方位範囲及び仰角範囲を調整する事により、常に携帯端末装置利用者が矩形視野画像内に配置されるように制御する事が可能となる。又、周辺画像における顔認識は、携帯端末装置利用者が風景画像を撮影する場合であっても、風景画像中に撮影対象となる人物が存在する場合には同様の効果を実現可能となる。
【００３１】
又、携帯端末装置利用者の自画像或いは風景画像中の人物像（顔画像）を矩形視野画像内の中央に配置されるように制御するに当たって、矩形視野画像の上下方向垂線に対して、顔画像に傾き成分がある場合、この傾き成分を無くす方向に補正して表示する事ができる。
【００３２】
又、周辺画像中より携帯端末装置利用者の顔位置及び方位を検出し、その顔位置及び方位を基準に、顔位置及び方位と対極する方位範囲及び仰角範囲の風景画像に当たる矩形視野画像を画像処理により作成する事が可能である。これにより、携帯端末装置利用者は、携帯端末装置に対する自身の顔位置及び方位を変える事により、あたかも自身が携帯端末装置越しに見ている風景画像の位置及び方位を指定するように調整した矩形視野画像を得る事が可能となる。尚、携帯端末装置利用者は、矩形視野画像の取得に当たって、顔位置及び方位を基準とした対極する方位のみでなく、これと相対角度分異なる位置及び方位を任意に設定可能とする。又、顔認識において携帯端末装置利用者の視線位置及び方位まで検出する事で、自身の視線で示す位置及び方位の矩形視野画像を得る事が可能となる。
【００３３】
本発明の顔認識処理は、撮像手段２のミラー部の光学的な形状により、携帯端末装置１の周りの周囲撮像領域４の内、ミラー部が光学的に対極方向の２方位（前方位５と後方位７）のみを視野とする一部方位範囲の周辺画像から、ミラー部が光学的に周囲撮像領域４の全体を視野とする全方位範囲の周辺画像までを処理対象とする。（ａ）の例において、周辺画像１２ａは、撮像手段２により全方位の視野範囲で撮像面に撮像される周辺画像（全方位周辺画像）である。ここで２１ａ、２２ａは、全方位周辺画像１２ａに撮影された携帯端末装置利用者の自画像を示し、経時的に２１ａから２２ａに移動したことを表すものとする。ここで枠２１ｂ、２２ｂは、それぞれの自画像において顔位置が認識された位置を示し、移動量は極座標系で示される偏角成分２３ａと動径上の位置の変化分２３ｂである事が解る。移動量２３ａは携帯端末装置利用者の動いた方位角成分であり、移動量２３ｂは携帯端末装置利用者の動いた仰角成分であり、この顔位置を基準に画像処理する方位範囲及び仰角範囲を調整する事により、常に携帯端末装置利用者が矩形視野画像内に配置されるように制御する事が可能となる。又、対極する２方位の視野範囲の周辺画像など、全方位視野の周辺画像が撮像されない場合であっても、その許容する視野方位範囲において同様に実現される。
【００３４】
又、（ａ）の例において、周辺画像中より携帯端末装置利用者の顔位置及び方位を検出し、その顔位置及び方位を基準に、顔位置及び方位と対極する方位範囲及び仰角範囲の風景画像に当たる矩形視野画像を画像処理により作成する場合、顔位置及び方位の変化と共に風景画像の方位は２３ｃの様に遷移する事となる。尚、（ｂ）においても横軸が方位角成分に当たる事より同様に処理する事が可能である。
【００３５】
（ｂ）において、全方位の視野範囲における周辺画像を矩形視野画像に変換したパノラマ画像（全方位矩形視野画像）１２ｂは、全方位周辺画像１２ａより画像処理により作成された画像である。２４ａ、２５ａは、全方位矩形視野画像１２ｂに撮影された携帯端末装置利用者の自画像を示し、経時的に２４ａから２５ａに移動したことを表すものとする。ここで枠２４ｂ、２５ｂは、それぞれの自画像において顔位置が認識された位置を示し、移動量は水平軸成分２６ａと垂直軸成分２６ｂである事が解る。移動量２６ａは携帯端末装置利用者の動いた方位移動成分であり、移動量２３ｂは携帯端末装置利用者の動いた奥行き方向の移動成分である。この顔位置を基準に抽出する画像の水平軸位置（方位位置）及び垂直軸位置（奥行き位置）を調整する事により、常に携帯端末装置利用者が表示する矩形視野画像内に配置されるように制御する事が可能となる。尚、最初に、見込み領域から全体領域までの範囲で、全方位周辺画像１２ａの全方位矩形視野画像１２ｂへの画像処理を必要とし、（ａ）に比べてオーバーヘッドはあるが、直交座標系での処理が可能となる利点もある。
【実施例３】
【００３６】
図６は、本発明の第３の実施例に係る携帯端末装置における記憶画像表示の流れを説明する図である。
【００３７】
本発明の携帯端末装置において、対極方向の２方位（前方位５と後方位７）のみを視野範囲とする周辺画像（対極方位周辺画像）から、全方位を視野範囲とする周囲撮像領域４に当たる周辺画像（全方位周辺画像）の範囲の撮像手段２におけるミラー部の光学的な形状により確定する周辺画像を蓄積する記憶部を備え、記憶部の所望の位置から読み出した周辺画像より、何時でも、携帯端末装置利用者の自画像を撮影する方位範囲と、風景画像を撮影する方位範囲を切り換えて、同一の周辺画像上から所望する矩形視野画像を画像処理し表示部に表示する事が可能となる。尚、記憶部に蓄積する画像形式については、無圧縮形式（ＹＵＶ形式、ＲＧＢ形式など）ならびに圧縮形式（ＭＰＥＧ２方式、Ｈ．２６４方式、ＪＰＥＧ方式など）の何れでも良い。
【００３８】
携帯端末装置利用者は、予め携帯端末装置を操作して撮像手段２で撮像した周辺画像を記憶手段に蓄積するか否か設定する事が可能である。携帯端末装置利用者は、記憶手段に蓄積された画像（動画像及び静止画像）がある場合、表示部３に表示する画像を時系列的に過去に遡って表示する事ができる。ステップＳ６０では、携帯端末装置利用者が現時点の最新の画像を表示するか過去に遡って表示するか選択する。最新の画像を表示する場合、ステップＳ６３において記憶手段における最新画像位置を取得し読み出して表示する。過去に遡って表示する場合、ステップＳ６１において開始する時間位置を指定ステップＳ６２するか、時系列的に次の画像を表示するステップＳ６５か選択する。ステップＳ６２では、携帯端末装置利用者が操作入力手段（操作キー、タッチパネルなど）を使って、記憶手段の蓄積容量に依存する最新画像から最古画像の範囲で画像位置を指定できる。次に、ステップＳ６４では、携帯端末装置利用者が指定した時間位置の画像読み出し位置を設定する。次に、ステップＳ６６で指定位置から周辺画像（対極方位周辺画像から全方位周辺画像の何れかの周辺画像）を記憶手段から読み出し、ステップＳ６７、ステップＳ６８により、携帯端末装置利用者の自画像を撮影する方位及び仰角範囲と、風景画像を撮影する方位及び仰角範囲を切り換えて、読み出した周辺画像上から所望する矩形視野画像を画像処理により作成し表示部に表示ステップＳ６９する事が可能である。又、携帯端末装置利用者は、所望する２方位以上の方位及び仰角範囲の矩形視野画像を同時に画像処理により作成しても良い。
【実施例４】
【００３９】
図７は、本発明の第４の実施例に係る携帯端末装置の姿勢情報を説明する図である。図８は、本発明の第４の実施例に係る携帯端末装置の基準領域を説明する図である。図９は、本発明の第４の実施例に係る携帯端末装置の姿勢検出を説明する図である。
【００４０】
図７において、本発明の携帯端末装置は、対極方向の２方位（前方位５と後方位７）のみを視野範囲とする周辺画像（対極方位周辺画像）から、全方位を視野範囲とする周囲撮像領域４に当たる周辺画像（全方位周辺画像）の範囲の撮像手段２におけるミラー部の光学的な形状により確定する周辺画像より、携帯端末装置自体の図中ＸＹＺ軸で示す直交座標における平行移動成分とそのZ軸を中心とする回転成分とそのＸ及びＹ軸を含む平面の傾き成分を検出する事が可能である。
【００４１】
図８において、（ａ）は、撮像手段２により全方位の視野範囲で撮像面に撮像される周辺画像４０（全方位周辺画像）において、携帯端末装置自体の姿勢情報を検出する為の基準領域を示す図である。（ｂ）は、周辺画像４０（全方位周辺画像）を画像処理により矩形視野画像４１（全方位矩形視野画像）に変換した画像において、（ａ）と対応する移動及び姿勢情報を検出する為の基準領域の位置及び形状を示す図である。（ａ）及び（ｂ）における各基準領域は、形状は異なるが同一の方位角範囲並びに仰角範囲をカバーする領域に相当する。従って、移動及び姿勢検出における基準領域は、（ａ）の全方位の周辺画像４０と（ｂ）の全方位の矩形視野画像４１の何れの形態を利用しても良い。基準領域４２ａ〜４９ａは、全方位の周辺画像４０において極座標系の特定の動径範囲と偏角範囲に割り当てられ、これら１つ以上の基準領域により概ね全ての方位の移動及び姿勢成分を検出可能とする様に確保される。同様に、全方位の矩形視野画像４１における基準領域４２ｂ〜４９ｂは、４２ａ〜４９ａと対応する同じ方位の移動及び姿勢成分を検出できる。尚、これらの移動及び姿勢成分は、全方位周辺画像４０或いは全方位矩形視野画像４１において、一定時間間隔の時系列画像間で各領域における動きベクトルを抽出する事により検出可能である。又、顔認識により人物像が存在する事が特定されている領域などについては、予め基準領域から除外するなど携帯端末装置自体の移動及び姿勢と異なる挙動が認められる領域を判断の対象としないようにする事も可能である。
【００４２】
図９において、（ａ）は、撮像手段２（ミラー部）の姿勢について説明する図である。（ｂ）は、検出する携帯端末装置の移動及び姿勢情報を説明する図である。（ａ）の図は、撮像手段２を構成するミラー部７０の３次元空間（ＸＹＺ軸）におけるＺ軸を中心とする回転成分７１とＸ軸上の平行移動成分７２とＸＹ軸平面の傾き成分７３を表している。（ｂ）の全方位周辺画像７１ａに記載される矢印は、ミラー部７０がＺ軸を中心とする回転成分７１を有する場合の基準領域４２ａ、４４ａ、４６ａ、４８ａにおいて検出される移動及び姿勢成分ベクトルである。全方位矩形視野画像７１ｂに記載される矢印は、ミラー部７０がＺ軸を中心とする回転成分７１を有する場合の基準領域４２ｂ、４４ｂ、４６ｂ、４８ｂにおいて検出される移動及び姿勢成分ベクトルである。全方位周辺画像７２ａに記載される矢印は、ミラー部７０がＸ軸上の平行移動成分７２を有する場合の基準領域４２ａ、４４ａ、４６ａ、４８ａにおいて検出される移動及び姿勢成分である。全方位矩形視野画像７２ｂに記載される矢印は、ミラー部７０がＸ軸上の平行移動成分７２を有する場合の基準領域４２ｂ、４４ｂ、４６ｂ、４８ｂにおいて検出される移動及び姿勢成分である。全方位周辺画像７３ａに記載される矢印は、ミラー部７０がＸＹ軸平面の傾き成分７３を有する場合の基準領域４２ａ、４４ａ、４６ａ、４８ａにおいて検出される移動及び姿勢成分である。全方位矩形視野画像７３ｂに記載される矢印は、ミラー部７０がＸＹ軸平面の傾き成分７３を有する場合の基準領域４２ｂ、４４ｂ、４６ｂ、４８ｂにおいて検出される移動及び姿勢成分である。ミラー部７０における携帯端末装置自体のＸＹＺ軸の移動及び姿勢情報は、これらの基準領域における象徴的な移動及び姿勢成分ベクトルの例に示すように、各々の方位におけるベクトル成分を統合的に分析する事により容易に推定する事が可能である。
【００４３】
全方位周辺画像或いは全方位矩形視野画像において検出されるこれらの移動及び姿勢成分により、携帯端末装置自体の移動情報及び姿勢情報を推定し、移動及び姿勢情報を利用して携帯端末装置を振る事で表示画面を切り換えるなど各種アプリケーションに活用可能となる。又、抽出する携帯端末装置自体の移動情報を計測する時系列画像間隔（時間）で除算する事により相対的な速度、及びその微分としての加速度を導出する事が可能である。
【実施例５】
【００４４】
図１０は、本発明の第５の実施例に係る携帯端末装置の通信機能を説明する図である。
【００４５】
図において、携帯端末装置１ａは、通信手段８０を介して他方の携帯端末装置１ｂに、対極方向の２方位（前方位５と後方位７）のみを視野範囲とする周辺画像（対極方位周辺画像）から、全方位を視野範囲とする周囲撮像領域４全域を含む周辺画像（全方位周辺画像）の範囲の撮像手段２ａにおけるミラー部の光学的な形状により確定する周辺画像を送信する事が可能である。又、携帯端末装置１ａは、通信手段８０を介して他方の携帯端末装置１ｂから、対極方向の２方位（前方位５と後方位７）のみを視野範囲とする周辺画像（対極方位周辺画像）から、全方位を視野範囲とする周囲撮像領域４全域を含む周辺画像（全方位周辺画像）の範囲の撮像手段２ｂにおけるミラー部の光学的な形状により確定する周辺画像を受信する事が可能である。携帯端末装置１ａは、受信した周辺画像８２ａにおいて、所望する方位範囲及び仰角範囲により画像処理し矩形視野画像（８５ａ及び８５ｂ）に変換し、表示手段に表示する事が可能である。尚、通信手段８０を介して周辺画像を送信する事により、受信側の携帯端末装置は、その周辺画像で利用可能な方位視野範囲において、何時でも所望の方位範囲及び仰角範囲の矩形視野画像を画像処理により作成可能となる。例えば、携帯端末装置１ａは、受信した周辺画像８２ａより８１ｂの自画像である８３ａ或いは風景画像である８４ａなど、所望する領域を画像処理により矩形視野画像（８５ａ及び８５ｂ）に変換可能である。又、通信相手となる装置１ｂは、携帯端末装置の他、パーソナルコンピュータの様な汎用の電子計算機、通信機能を有するビデオ関連機器、サーバなどの大型の電子計算機であってもかまわない。
【産業上の利用可能性】
【００４６】
本発明の実施例の携帯端末装置によれば、少なくともテレビ電話装置用途などで撮影する自画像と、デジタルカメラ用途などで撮影する風景画像など対極する２方位以上の画像を、1台のカメラで一度に同時に撮影する事が可能である。更に、広い方位方向視野を有する周辺画像を撮影可能で、テレビ電話装置用途などで携帯端末装置利用者の自画像が不注意によりフレームから外れる事がなく、周辺画像中より顔位置を検出し常に携帯端末装置利用者の顔が表示部画像内に配置されるように制御する事が可能となる。
【図面の簡単な説明】
【００４７】
【図１】本発明の第１の実施例に係る携帯端末装置の原理を説明する図
【図２】本発明の第１の実施例に係る携帯端末装置のミラー部を説明する図
【図３】本発明の第１の実施例に係る携帯端末装置の画像取得の流れを説明する図
【図４】本発明の第１の実施例に係る携帯端末装置の表示画像の選択方法を説明する図
【図５】本発明の第２の実施例に係る携帯端末装置の顔認識による表示位置調整を説明する図
【図６】本発明の第３の実施例に係る携帯端末装置における記憶画像表示の流れを説明する図
【図７】本発明の第４の実施例に係る携帯端末装置の姿勢情報を説明する図
【図８】本発明の第４の実施例に係る携帯端末装置の基準領域を説明する図
【図９】本発明の第４の実施例に係る携帯端末装置の姿勢検出を説明する図
【図１０】本発明の第５の実施例に係る携帯端末装置の通信機能を説明する図
【符号の説明】
【００４８】
１    携帯端末装置
２    カメラ部
３    表示部
４    周囲撮像領域
５    前方位撮影領域
６    携帯端末装置利用者が対面する方向
７    後方位撮影領域
８    携帯端末装置利用者方向と対極する方向
９    自画像
１０  風景画像
【図１】
2010034652.tif 000003
【図２】
2010034652.tif 000004
【図３】
2010034652.tif 000005
【図４】
2010034652.tif 000006
【図５】
2010034652.tif 000007
【図６】
2010034652.tif 000008
【図７】
2010034652.tif 000009
【図８】
2010034652.tif 000010
【図９】
2010034652.tif 000011
【図１０】
2010034652.tif 000012