(57)【要約】 【構成】  テレビ電話機能を備えた携帯電話機１０では、ユーザの動画像を撮影するＣＣＤカメラ３８の配置位置が動画像を表示するＬＣＤ３４の中心ＢＣから距離Ｌだけずれている。このため、ＬＣＤ３４の自己表示部３４ｂや通話相手の携帯電話機のＬＣＤに表示されるユーザの動画像は、ユーザの顔が画像の中心から距離Ｌに応じた距離だけずれたものになってしまう。そこで、ＣＣＤカメラ３８によって撮影された複数の元画像のそれぞれについて、元画像から元画像よりもサイズの小さい部分画像をユーザの顔が部分画像の中心になるように抽出する。そして、こうして得られた複数の部分画像で構成される動画像をＬＣＤ３４の自己表示部３４ｂに表示し、かつ、動画像を通話相手の携帯電話機に送信する。部分画像の元画像からの抽出位置は、ユーザのキーパッド２２による操作(手動調整)やソフトウェアによって実行される画像認識処理(自動調整)によって調整される。    【効果】  ユーザの顔が画像の中心からずれている元画像から、画像の中心にユーザの顔が配置された動画像が得られるので使い勝手がよい。【選択図】  図１
2005191760.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段によって撮影された第１サイズを有する複数の静止画像の各々から前記第１サイズよりも小さい第２サイズを有する部分静止画像を抽出し、抽出したそれぞれの前記部分静止画像によって構成される自己動画像を通話相手画像とともに表示し、かつ、前記自己動画像を通話相手のテレビ電話装置に送信するテレビ電話装置において、
前記静止画像から前記部分静止画像を抽出する抽出範囲を決定する決定手段、
前記決定手段によって決定された前記抽出範囲に基づいて、前記静止画像から前記部分静止画像を抽出して表示手段に表示させる抽出手段を備えることを特徴とする、テレビ電話装置。
【請求項２】
前記静止画像に顔画像が含まれるか否かを判別する顔判別手段をさらに備え、
前記決定手段は、前記顔判別手段の判別結果が肯定的であるとき前記顔画像に基づいて前記抽出範囲を決定する、請求項１記載のテレビ電話装置。
【請求項３】
前記決定手段は、前記静止画像に１つの顔画像が含まれるとき前記１つの顔画像の中心が前記部分静止画像の中心となるように前記抽出範囲を決定し、前記静止画像に複数の顔画像が含まれるとき前記複数の顔画像からなる顔画像群の中心が前記部分静止画像の中心となるように前記抽出範囲を決定する、請求項２記載のテレビ電話装置。
【請求項４】
前記顔判別手段は、肌の色を有する領域の有無に基づいて前記静止画像に顔画像が含まれるか否かを判別する、請求項２または３記載のテレビ電話装置。
【請求項５】
前記顔判別手段は、顔を構成するパーツの有無に基づいて前記静止画像に顔画像が含まれるか否かを判別する、請求項２または３記載のテレビ電話装置。
【請求項６】
方向の指示を受け付ける受付手段をさらに備え、
前記決定手段は、前記受付手段によって受け付けられた前記方向に基づいて前記抽出範囲を決定する、請求項１ないし５のいずれかに記載のテレビ電話装置。
【請求項７】
抽出範囲決定操作を受け付けたとき前記決定手段を不能化する不能化手段、および前記抽出範囲決定操作を受け付けたとき前記決定手段によって今回決定された抽出範囲を示す範囲情報を登録する登録手段をさらに備え、
前記抽出手段は、前記登録手段に登録された前記範囲情報に基づいて抽出動作を行う、請求項１ないし６のいずれかに記載のテレビ電話装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、テレビ電話装置に関し、特にたとえば、撮影手段によって撮影した動画像を表示手段に表示したり通話相手のテレビ電話装置に送信したりする、テレビ電話装置に関する。
【背景技術】
【０００２】
従来のこの種のテレビ電話装置として、テレビ電話機能を備えたカメラ付き携帯電話が知られている。図１４に示すように、このような従来のカメラ付き携帯電話機(以下、単に“携帯電話機”と表記する)１００では、表示手段としてのＬＣＤ(Liquid Crystal Display)３４の相手表示部３４ａに通話相手の顔画像(通話相手動画像)が表示され、自己表示部３４ｂに自己の携帯電話機１００の撮影手段としてのＣＣＤ(Charge Coupled Device)カメラ３８によってユーザ自身を撮影した顔画像(自己動画像)が表示される。したがって、通信相手および自分の顔画像を見ながら通話することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
図１４に示したような携帯電話機１００は、スピーカ２６を携帯電話機１００の横方向の中心に配置する必要があるため、ＣＣＤカメラ３８は携帯電話機１００の横方向の中心ＢＣから距離Ｌだけ偏心した位置に配置されている。
【０００４】
通常、携帯電話機１００のユーザは、上述したテレビ電話機能を用いて通話する場合に、携帯電話機１００のＬＣＤ３４が自分の正面に位置するように配置する。すると、ＣＣＤカメラ３８が距離Ｌだけ偏心しているので、通話相手の携帯電話機のＬＣＤに表示される自己の顔画像は、画面の中心から距離Ｌに応じた距離だけ偏心したものとなってしまう。また、自己の携帯電話機１００の自己表示部３４ｂに表示される自己の顔画像も同様に、自己表示部３４ｂの中心から距離Ｌに応じた距離だけ偏心してしまう。
【０００５】
また、ＬＣＤ３４とＣＣＤカメラ３８とは同一面の異なる位置に設けられているので、ＬＣＤ３４の中心とＣＣＤカメラ３８の中心とは携帯電話機１００の縦方向にもずれている。したがって、自己表示部３４ｂおよび通話相手の携帯電話機のＬＣＤに表示される顔画像は縦方向にも偏心してしまう。
【０００６】
このように、ＬＣＤ３４の中心とＣＣＤカメラ３８の中心とが互いにずれていることに起因して顔画像が画面の中心から偏心するので、ユーザは表示画像に違和感を覚える。そしてさらに、自己の顔画像が自己表示部３４ｂの中心になるように携帯電話機１００の位置を変えたり、携帯電話機１００の角度を変えるためには携帯電話機１００を持っている手の首をねじったりしなければならないので使い勝手が悪いという問題がある。
【０００７】
それゆえに、この発明の主たる目的は、使い勝手のよい、テレビ電話機を提供することである。
【課題を解決するための手段】
【０００８】
請求項１の発明は、撮影手段によって撮影された第１サイズを有する複数の静止画像の各々から第１サイズよりも小さい第２サイズを有する部分静止画像を抽出し、抽出したそれぞれの部分静止画像によって構成される自己動画像を通話相手画像とともに表示し、かつ、自己動画像を通話相手のテレビ電話装置に送信するテレビ電話装置において、
静止画像から部分静止画像を抽出する抽出範囲を決定する決定手段、決定手段によって決定された抽出範囲に基づいて、静止画像から部分静止画像を抽出して表示手段に表示させる抽出手段を備えることを特徴とする、テレビ電話装置。
【０００９】
請求項１の発明では、撮影手段が第１サイズを有する複数の静止画像を撮影し、決定手段が第１サイズよりも小さい第２サイズを有する部分静止画像を静止画像から抽出する抽出範囲を決定する。そして、抽出手段が決定手段によって決定された抽出範囲に基づいて、静止画像から部分静止画像を抽出し、抽出した部分静止画像からなる自己動画像を通話相手画像とともに表示手段に表示させる。したがって、請求項１の発明によれば、静止画像に含まれる任意の部分を抽出した部分静止画像(自己動画像)を表示したり通話相手のテレビ電話装置に送信したりすることができる。
【００１０】
請求項２の発明は、静止画像に顔画像が含まれるか否かを判別する顔判別手段をさらに備え、決定手段は、顔判別手段の判別結果が肯定的であるとき顔画像に基づいて抽出範囲を決定する、請求項１記載のテレビ電話装置である。
【００１１】
請求項２の発明では、顔判別手段が静止画像内に顔画像が含まれるか否かを判別し、決定手段が顔判別手段の判別結果が肯定的である、つまり、静止画像内に顔画像が含まれるとき顔画像に基づいて抽出範囲を決定する。したがって、たとえば、静止画像内における顔画像の範囲が静止画像の中心からずれている場合などに、顔画像が部分静止画像の中心に範囲するように抽出範囲を決定し、顔画像が画像の中心となる動画像を表示したり通話相手のテレビ電話装置に送信したりすることができる。
【００１２】
請求項３の発明は、決定手段は、静止画像に１つの顔画像が含まれるとき１つの顔画像の中心が部分静止画像の中心となるように抽出範囲を決定し、静止画像に複数の顔画像が含まれるとき複数の顔画像からなる顔画像群の中心が部分静止画像の中心となるように抽出範囲を決定する、請求項２記載のテレビ電話装置である。
【００１３】
請求項３の発明によれば、静止画像内に１つの顔画像が含まれるときには１つの静止画像が画像の中心に範囲する動画像が得られ、静止画像内に複数の顔画像が含まれるときには複数の顔画像からなる顔画像群の中心が画像の中心に範囲する動画像が得られる。
【００１４】
請求項４の発明は、顔判別手段は、肌の色を有する領域の有無に基づいて静止画像に顔画像が含まれるか否かを判別する、請求項２または３記載のテレビ電話装置である。
【００１５】
請求項４の発明では、静止画像内に含まれる肌の色を有する領域を顔であるとみなし、肌の色を有する領域の有無によって静止画像内に顔画像が含まれるか否かを判別する。
【００１６】
請求項５の発明は、顔判別手段は、顔を構成するパーツの有無に基づいて静止画像に顔画像が含まれるか否かを判別する、請求項２または３記載のテレビ電話装置である。
【００１７】
請求項５の発明では、たとえば、静止画像についてパターン認識を行うことなどによって静止画像内に顔を構成する目，鼻，口などのパーツが存在するか否かに基づいて静止画像内に顔画像が含まれるか否かを判別する。
【００１８】
請求項６の発明は、方向の指示を受け付ける受付手段をさらに備え、決定手段は、受付手段によって受け付けられた方向に基づいて抽出範囲を決定する、請求項１ないし５のいずれかに記載のテレビ電話装置である。
【００１９】
請求項６の発明では、受付手段がユーザによる方向の指示を受け付け、決定手段が受付手段によって受け付けられた方向に基づいて抽出範囲を決定する。つまり、受付手段が、たとえば、左方向の指示を受け付けると、静止画像から部分静止画像を抽出する範囲を左に所定の量だけ移動させる。したがって、静止画像におけるユーザの所望の部分を動画像として表示したり、通話相手のテレビ電話装置に送信したりすることができる。
【００２０】
請求項７の発明は、抽出範囲決定操作を受け付けたとき決定手段を不能化する不能化手段、および抽出範囲決定操作を受け付けたとき決定手段によって今回決定された抽出範囲を示す範囲情報を登録する登録手段をさらに備え、抽出手段は、登録手段に登録された範囲情報に基づいて抽出動作を行う、請求項１ないし６のいずれかに記載のテレビ電話装置である。
【００２１】
請求項７の発明では、不能化手段が、ユーザによる抽出範囲決定操作を受け付けたときに決定手段を不能化して抽出範囲の決定動作を停止させ、登録手段が、抽出範囲決定操作が受け付けられたとき決定手段によって今回決定された抽出範囲を示す範囲情報を登録する。そして、抽出手段は、登録手段に登録された範囲情報に基づいて抽出動作を行う。したがって、決定された抽出範囲を示す範囲情報を登録し、登録された範囲情報に基づいて静止画像からの部分静止画像の抽出を行うことができる。
【発明の効果】
【００２２】
この発明によれば、表示したり通話相手のテレビ電話機に送信したりする動画像における顔画像の画像中心からのずれを修正できるので使い勝手のよいテレビ電話機が得られる。
【００２３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００２４】
図１に示すこの発明の一実施例であるテレビ電話機としてのカメラ付き携帯電話機(以下、単に、“携帯電話機”と表記する)１０はＣＣＤカメラ３８を備えている。ＣＣＤカメラ３８で撮影された被写体像つまり携帯電話機１０のユーザの顔画像は通話相手の携帯電話機に送信されるとともに、自己の携帯電話機１０のＬＣＤ３４の自己表示部３４ｂに表示される。また、通話相手の携帯電話機から送信された通話相手の顔画像は相手表示部３４ａに表示される。そして、マイク３０によって拾われたユーザの音声などが通話相手の携帯電話機に送信され、通話相手の携帯電話機から送信された通話相手の音声などがスピーカ２６から出力される。これによって、携帯電話機１０のユーザは、通話相手とテレビ電話形式でコミュニケーションをとることができる。また、この携帯電話機１０では、テレビ電話機能だけでなく、動画像を撮影する機能や静止画像を撮影する機能を備えている。画像には静止画像と動画像とを含むものとする。
【００２５】
携帯電話機１０は、具体的には、図２に示すように構成されている。図２に示すように、携帯電話機１０は、メインＣＰＵ１４を含んでいる。メインＣＰＵ１４には、サブＣＰＵ１６，メモリ１８，無線回路２０，キーパッド２２，音声ＩＣ２４を介したスピーカ２６および音声ＩＣ２８を介したマイク３０が接続される。また、サブＣＰＵ１６には、メモリ３２，ＬＣＤ３４およびＣＣＤカメラ３８が接続される。キーパッド２２には、図１に示したように、シャッタボタン２２ｓｔ，シャッタボタン２２ｓｔを取り巻くように配置された十字ボタン２２ｃｓ，通話終了ボタン２２ｅｃおよびモード切換ボタン２２ｍｃが設けられている。
【００２６】
この携帯電話機１０は、図１に示すように、ＬＣＤ３４の中心とＣＣＤカメラ３８の中心とが互いにずれている。そのため、特別の手段を講じなければ、図１４に示したように、ＬＣＤ３４の自己表示部３４ｂや通話相手の携帯電話機のＬＣＤに表示される携帯電話機１０のユーザの顔画像は画面の中心からずれてしまう。この問題は、静止画像を撮影する場合でも同じである。
【００２７】
この問題を解決するために、この実施例の携帯電話機１０は、出荷前の工場において動画像および静止画像の表示態様を調整することができる。表示態様の調整は、図３に示すように、ＣＣＤカメラ３８によって撮影される元画像(静止画像)ＯＰから元画像ＯＰよりもサイズの小さい部分画像(部分静止画像)ＳＰを抽出し、抽出した部分画像ＳＰを表示画像とすることによって行われる。部分画像ＳＰは、携帯電話機１０の正面中央部分が画像の中心となるように抽出される。これによって、ＣＣＤカメラ３８の偏心に起因する画像のずれが修正され、顔画像が画面の中心に配置される。
【００２８】
組み立てが完了した携帯電話機１０には、工場の生産ライン上で部分画像ＳＰの中心位置ひいては抽出位置(抽出範囲)を決める初期設定処理が行われる。部分画像ＳＰの中心位置は、図４および図５に示すような方法で決定される。まず、図４に示すように、携帯電話機１０の正面にＬＣＤ３４の中心とスクリーン中央ＳＳＣとが一致するようにセッティング用スクリーンＳＳを配置する。携帯電話機１０とセッティング用スクリーンＳＳとの距離は、携帯電話機１０の平均的なユーザが自分を撮影するために携帯電話機１０を構えた際にとられる携帯電話機１０とユーザとの距離に等しくする。そして、図５に示すように、元画像ＯＰに含まれるセッティング用スクリーンＳＳの中央ＳＳＣが部分画像ＳＰの中心ＳＰＣに位置するように部分画像ＳＰの抽出位置を決定する。部分画像ＳＰの抽出位置を示す情報(位置情報)を“画像抽出位置情報”と呼ぶ。
【００２９】
初期設定処理は、サブＣＰＵ１６によって図７のフロー図に示す手順で実行される。携帯電話機１０の生産者がキーパッド２２によって初期設定処理を開始する操作を行うと、メインＣＰＵ１４がこれを検知して初期設定処理を開始させる命令をサブＣＰＵ１６に与える。サブＣＰＵ１６は、ステップＳ１においてＣＣＤカメラ３８を起動させる。そして、ステップＳ３では、ＣＣＤカメラ３８から１フレーム分の画像(元画像ＯＰ)を受け取り、メモリ３２に書き込む。ステップＳ５では、あらかじめメモリ３２に記録されているデフォルトの画像抽出位置情報に基づいてメモリ３２に記録された元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。その結果、部分画像ＳＰがＬＣＤ３４に表示される。
【００３０】
ステップＳ７では、メモリ３２に記録されている元画像ＯＰに含まれるセッティング用スクリーンＳＳの中央ＳＳＣの位置を画像認識処理によって特定する。そして、ステップＳ９では、特定したセッティング用スクリーンＳＳの中央ＳＳＣが部分画像ＳＰの中心になるように画像抽出位置情報を補正し、ステップＳ１１では補正された画像抽出位置情報をデフォルトの画像抽出位置情報としてメモリ３２に記録する。ステップＳ１３では、ステップＳ９で補正されてメモリ３２に記録された画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。これによって、部分画像ＳＰがＬＣＤ３４に表示される。この部分画像ＳＰにおいては、部分画像ＳＰの中心にセッティング用スクリーンＳＳの中央ＳＳＣが位置している。
【００３１】
画像抽出位置情報の補正が終了すると、ステップＳ１５においてＣＣＤカメラ３８を停止し、ステップＳ１７において電源をオフにして初期設定処理を終了する。
【００３２】
このようにして工場からの出荷前に画像の表示態様を調整することにより、携帯電話機１０のユーザはＣＣＤカメラ３８の偏心に起因する画像の表示態様のずれを気にすることなく静止画像や動画像の撮影を行うことができる。
【００３３】
しかし、上述の実施例で説明した表示態様の調整は、平均的なユーザが携帯電話機１０を使用すると仮定して行った調整であるので、携帯電話機１０の購入後にも各ユーザが各自の利用状態に合わせた表示態様の調整ができることが望ましい。この実施例の携帯電話機１０では、ユーザが手動で部分画像ＳＰを元画像ＯＰから抽出する位置(画像抽出位置情報)を決定することができる。
【００３４】
手動で部分画像ＳＰの抽出位置の決定を行う手動調整処理は、サブＣＰＵ１６によって図８のフロー図に示す手順で実行される。ユーザがキーパッド２２によって手動調整処理を開始する操作を行うと、メインＣＰＵ１４がこれを検知し、手動調整処理を開始させる命令をサブＣＰＵ１６に与える。サブＣＰＵ１６は、ステップＳ２１においてＣＣＤカメラ３８を起動する。ステップＳ２３では、ＣＣＤカメラ３８から１フレーム分の画像(元画像ＯＰ)を取得してメモリ３２に書き込む。そして、ステップＳ２５では、メモリ３２に記録されているデフォルトの画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。その結果、部分画像ＳＰがＬＣＤ３４に表示される。
【００３５】
ユーザは、ステップＳ２５においてＬＣＤ３８に表示された部分画像ＳＰを見ながら、十字ボタン２２ｃｓを操作して上下左右のいずれかの方向を入力する。
【００３６】
十字ボタン２２ｃｓが操作されると、ステップＳ２７においてその操作および上下左右の入力方向が検出される。ステップＳ２９では、検出された十字ボタン２２ｃｓの操作に応じて画像抽出位置情報を補正する。そして、ステップＳ２３に戻り、再びＣＣＤカメラ３８から１フレーム分の画像(元画像ＯＰ)を取得してメモリ３２に書き込む。ステップＳ２５では、補正された画像抽出位置情報に基づいてメモリ３２に記録された元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。
【００３７】
ユーザは、補正された画像抽出位置情報に基づいてＬＣＤ３４に表示された部分画像ＳＰを確認しながら、さらに部分画像ＳＰの抽出位置(画像抽出位置情報)を調整する。部分画像ＳＰの抽出位置の調整が終了し、たとえば、自分の顔画像が部分画像ＳＰの中心に位置するようになったら決定ボタン２２ｄｓを押圧する。
【００３８】
すると、ステップＳ３１において決定ボタン２２ｄｓが操作されたことを検知し、ステップＳ３５において現在の画像抽出位置情報をデフォルトとしてメモリ３２に書き込む。そして、ステップＳ３７では、ＣＣＤカメラ３８を停止して手動調整処理を終了する。
【００３９】
このように、この実施例の携帯電話機１０では、ユーザが手動で元画像ＯＰからの部分画像ＳＰの抽出位置を手動で調整することができる。また、携帯電話機１０では、部分画像ＳＰの抽出位置の調整をソフトウェアによって行うようにしてもよい。この場合には、ユーザが抽出位置を調整する手間が省かれる。
【００４０】
ソフトウェアによる調整処理は、サブＣＰＵ１６によって図９のフロー図に示す手順で実行される。ユーザがキーパッド２２によってソフトウェアによる調整処理を開始する操作を行うと、メインＣＰＵ１４がこの操作を検知し、ソフトウェアによる調整処理を開始する命令をサブＣＰＵ１６に与える。サブＣＰＵ１６は、ステップＳ５１においてＣＣＤカメラ３８を起動する。ステップＳ５３ではＣＣＤカメラ３８から１フレーム分の画像(元画像ＯＰ)を取得してメモリ３２に書き込む。ステップＳ５５では、メモリ３２に記録されているデフォルトの画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。これによって、部分画像ＳＰがＬＣＤ３４に表示される。
【００４１】
ステップＳ５７では、再びＣＣＤカメラ３８から１フレーム分の画像(元画像ＯＰ)を取得してメモリ３２に書き込む。そして、ステップＳ５９では、メモリ３２に書き込まれた元画像ＯＰに対して画像処理を行い、元画像ＯＰに含まれている人物像の顔領域の中心位置を特定する。この顔領域の中心位置を特定する画像処理の詳細については後述するが、ステップＳ５９の処理において、元画像ＯＰ内で顔領域が特定されたときには識別フラグがオン状態に設定され、顔領域が特定されないときは識別フラグがオフ状態に設定される。つまり、この実施例における識別フラグは、元画像ＯＰ内で顔領域が特定されたか否かを後の処理において識別するために使用される。
【００４２】
ステップＳ６１では、識別フラグがオン状態であるか否か、つまり、元画像ＯＰ内で顔領域が特定されたか否かを判断する。ステップＳ６１においてＹＥＳと判断すると、ステップＳ６３において、ステップＳ５９において特定された顔領域の中心位置に基づいて画像抽出位置情報を補正する。つまり、顔領域の中心が部分画像ＳＰの中心となるようにする。そして、ステップＳ６５では、補正された画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。これによって、部分画像ＳＰがＬＣＤ３４に表示される。
【００４３】
一方、ステップＳ６１においてＮＯと判断すると、ステップＳ６７では、メモリ３２に記録されているデフォルトの画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。この結果、部分画像ＳＰがＬＣＤ３４に表示される。
【００４４】
ステップＳ６９では、ユーザによって決定ボタン２２ｄｓが操作されたかどうかを判断する。ステップＳ６９においてＮＯと判断すると、ステップＳ５７に戻って再びＣＣＤカメラ３８から１フレーム分の画像(元画像ＯＰ)を取得する。その後は、上述したように、顔領域が画像の中心になるように部分画像ＳＰを元画像ＯＰから抽出し、抽出した部分画像ＳＰをＬＣＤ３８与える。この処理を、ステップＳ６９においてＹＥＳと判断するまで、つまり、ユーザによって決定ボタン２２ｄｓが操作されるまで繰り返す。
【００４５】
ステップＳ６９においてＹＥＳと判断すると、次に、ステップＳ７１において識別フラグがオン状態であるか否かを判断する。ステップＳ７１においてＹＥＳと判断する場合には画像抽出位置情報が補正されているので、ステップＳ７３において、補正された画像抽出位置情報をデフォルトとしてメモリ３２に書き込む。一方、ステップＳ７１においてＮＯと判断すると、ステップＳ７３をスキップしてステップＳ７５に進む。ステップＳ７５では、ＣＣＤカメラ３８を停止してソフトウェアによる調整処理を終了する。
【００４６】
ステップＳ５９における画像処理には、たとえば、２通りの方法が考えられる。１つ目の方法は、元画像ＯＰに含まれる肌色領域を特定し、特定した肌色領域を人物の顔と判断して顔の中心位置(肌色領域の中心位置)を決定する方法である。２つ目の方法は、元画像ＯＰに対して画像認識を行って元画像ＯＰに含まれる人物の目，鼻，口を特定し、特定した目，鼻，口の位置から人物の顔の中心位置を決定する方法である。
【００４７】
１つ目の方法は、図１０のフロー図に示す手順で実行される。まず、ステップＳ８１では、識別フラグをオフ状態に設定する。次に、ステップＳ８３において、元画像ＯＰを２値化処理することによって肌の色を有する領域（肌色領域）のみが白色となるような２値化のための閾値を決定する。ステップＳ８５では、決定された閾値に基づいて元画像ＯＰを２値化する。このとき２値化されるのは元画像ＯＰの複製である。そして、ステップＳ８７では２値化画像の白色領域(元画像ＯＰの肌色領域)の特定を試みる。
【００４８】
ステップＳ８９では、ステップＳ８７の処理によって元画像ＯＰ内に人の顔領域と認められる肌色領域が特定されたか否かを判断する。ステップＳ８９においてＮＯと判断すると、以降の処理をスキップして図９のルーチンに戻る。一方、ステップＳ８９においてＹＥＳと判断すると、ステップＳ９１において識別フラグをオン状態に設定する。
【００４９】
ステップＳ９３では、特定された肌色領域(顔領域)が１箇所であるか否かを判断する。ステップＳ９３においてＹＥＳと判断すると、ステップＳ９５で、特定された肌色領域の中心位置を顔領域の中心位置として特定する。一方、ステップＳ９３においてＮＯと判断すると、ステップＳ９７で、肌色領域群(複数の人物の顔)の中心位置を顔領域の中心として特定する。そして、図９のルーチンに戻る。
【００５０】
このようにして、人物の顔領域の中心もしくは顔領域群の中心を特定し、顔領域の中心もしくは顔領域群の中心が部分画像ＳＰの中心となるように画像抽出位置情報を補正する。なお、撮影する人物が１人なのかそれ以上なのかをユーザがキーパッド２２によってあらかじめ指定するようにしてもよい。
【００５１】
２つ目の方法は、図１１のフロー図に示す手順で実行される。まず、ステップＳ１０１において識別フラグをオフ状態に設定する。ステップＳ１０３では、元画像ＯＰに含まれる人間の目のパターン認識による特定を試み、ステップＳ１０５では同じく元画像ＯＰに含まれる鼻の特定を試みる。さらに、ステップＳ１０７では元画像ＯＰに含まれる口の特定を試みる。目，鼻および口のパターン認識方法には周知の技術が適用できる。ステップＳ１０９では、ステップＳ１０３，１０５および１０７においてそれぞれ特定された(特定されていない場合もある。)目，鼻および口に基づいて、元画像ＯＰに含まれる人物の顔の領域の特定を試みる。
【００５２】
ステップＳ１１１では、ステップＳ１０９の処理によって、元画像ＯＰ内に顔領域が特定されたか否かを判断する。ステップＳ１１１においてＮＯと判断すると、以降の処理をスキップして図９のルーチンに戻る。一方、ステップＳ１１１においてＹＥＳと判断すると、ステップＳ１１３において、識別フラグをオン状態に設定する。
【００５３】
そして、ステップＳ１１５では、ステップＳ１０９で特定された顔領域が１つであるか否かを判断する。ステップＳ１１５においてＹＥＳと判断すると、ステップＳ１１７において、ステップＳ１０９で特定された顔領域の中心位置を特定する。一方、ステップＳ１１５においてＮＯと判断すると、ステップＳ１１９において、ステップＳ１０９で特定された顔領域群(複数の人物の顔)の中心位置を特定する。そして、図９のルーチンに戻る。
【００５４】
このようにして、画像認識処理によって元画像ＯＰに含まれる人物の顔領域の中心位置もしくは顔領域群の中心位置を特定し、顔領域の中心もしくは顔領域群の中心が部分画像ＳＰの中心になるように画像抽出位置情報を補正する。この方法においても、撮影する人物が１人であるかそれ以上であるかをユーザがあらかじめ指定するようにしてもよい。
【００５５】
また、上述したように、この実施例の携帯電話機１０は、テレビ電話機能を備えている。そして、このテレビ電話機能の利用時にも元画像ＯＰから部分画像ＳＰを抽出する位置を調整することができる。このテレビ電話中における調整処理では、ソフトウェアによる調整モードと手動による調整モードとを切り換えることができる。ソフトウェアによる調整モードと手動による調整モードとの切り換えは、テレビ電話中の調整処理中にモード切換ボタン２２ｍｃを操作することによって行う。
【００５６】
テレビ電話中の調整処理は、サブＣＰＵ１６によって図１２および図１３に示す手順で実行される。テレビ電話機能の使用中には、図１に示したように、通話相手の顔画像がＬＣＤ３４の相手表示部３４ａに表示され、自分の顔画像が自己表示部３４ｂに表示される。しかし、図１２および図１３のフロー図には、自己の顔画像の自己表示部３４ｂへの表示および自己の顔画像の通信相手への送信についてのみ記述している。
【００５７】
ユーザがキーパッド２２によって通話相手の電話番号を入力し、かつ、テレビ電話中の調整処理を開始する操作を行うと、メインＣＰＵ１４がこれを検知し、テレビ電話中の調整処理を開始させる命令をサブＣＰＵ１６に与える。サブＣＰＵ１６は、ステップＳ１２１において、ＣＣＤカメラ３８を起動させる。ステップＳ１２３では、ＣＣＤカメラ３８から１フレーム分の画像(元画像ＯＰ)を取得してメモリ３２に書き込む。そして、ステップＳ１２５では、メモリ３２に記録されているデフォルトの画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。この結果、部分画像ＳＰがＬＣＤ３４に表示される。
【００５８】
ステップＳ１２７では、ソフトウェアによる調整モードと手動による調整モードとのどちらのモードが選択されているかを記憶するためのモードフラグをオン状態に設定する。なお、モードフラグのオン状態は、ソフトウェアによる調整モードが選択されていることを示す。したがって、テレビ電話中の調整処理の開始時には、ソフトウェアによる調整モードがまず設定される。
【００５９】
ステップＳ１２９では、ユーザによってモード切り換えの操作が行われたか否かを判断する。ステップＳ１２９においてＹＥＳと判断すると、ステップＳ１３１において、モードフラグの設定状態を反転させる。つまり、モードフラグがオン状態に設定されているときにはオフ状態に設定し、オフ状態に設定されているときにはオン状態に設定する。ステップＳ１２９においてＮＯと判断すると、ステップＳ１３１をスキップしてステップＳ１３３に進む。
【００６０】
ステップＳ１３３では、ＣＣＤ３８から１フレーム分の画像(元画像ＯＰ)を取得してメモリ３２に書き込む。そして、ステップＳ１３５では、モードフラグがオン状態に設定されているか否かを判断する。ステップＳ１３５においてＹＥＳと判断すると、ソフトウェアによる調整を行うために、図１３のステップＳ１４３に進む。一方、ステップＳ１３５においてＮＯと判断すると、手動による調整を行うために、図１２のステップＳ１３７に進む。
【００６１】
手動による調整モードの場合には、ステップＳ１３７において、ユーザによって十字ボタン２２ｃｓが操作されたか否かを判断する。ステップＳ１３７においてＮＯと判断すると、図１３のステップＳ１５１に進み、デフォルトの画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。こうして、部分画像ＳＰをＬＣＤ３４に表示させる。そして、ステップＳ１５３では、ステップＳ１５１において元画像ＯＰから抽出された部分画像ＳＰを無線回路２０に与える。これによって、部分画像ＳＰが通話相手の携帯電話機に送信される。
【００６２】
一方、図１２のステップＳ１３７でＹＥＳと判断すると、ステップＳ１３９では、十字ボタン２２ｃｓによって入力された上下左右の方向を特定し、特定された方向に応じて画像抽出位置情報を補正する。そして、ステップＳ１４１では、識別フラグをオン状態に設定し、図１３のステップＳ１４９に進む。
【００６３】
ステップＳ１４９では、補正された画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。これによって、部分画像ＳＰがＬＣＤ３４に表示される。そして、ステップＳ１５３では、ステップＳ１４９において元画像ＯＰから抽出された部分画像ＳＰを無線回路２０に与える。この結果、部分画像ＳＰが通話相手の携帯電話機に送信される。以上が手動による調整モードにおける処理である。
【００６４】
一方、図１２のステップＳ１３５においてＹＥＳと判断されてソフトウェアによる調整処理を行う場合には、図１３のステップＳ１４３に進む。ステップＳ１４３では、図１２のステップＳ１３３においてメモリ３２に書き込んだ元画像ＯＰ内の人物の顔領域の中心位置を特定する。このステップＳ１３７における顔領域の中心位置の特定処理は、図９のフロー図のステップＳ５９の詳細として説明した図１０もしくは図１１のフロー図に示した処理と同じである。したがって、重複する説明を省略する。
【００６５】
ステップＳ１４５では、識別フラグがオン状態であるか否か、つまり、ステップＳ１４３の処理において元画像ＯＰ内で人物の顔領域が特定されたか否かを判断する。なお、識別フラグは、図１３のステップＳ１４３の処理における顔領域の特定の有無の識別の役割と、図１２のステップＳ１３７におけるユーザによる十字ボタン２２ｃｓの操作の有無の識別の役割とを兼ねている。顔領域の特定が行われた場合と十字ボタン２２ｃｓの操作が行われた場合とのどちらの場合も、画像抽出位置情報が補正されるという点で共通している。そのため、識別フラグは後の処理において画像抽出位置情報の補正の有無の識別に利用される。
【００６６】
ステップＳ１４５においてＹＥＳと判断すると、ステップＳ１４７において、ステップＳ１４３の処理で特定された元画像ＯＰ内の顔領域の中心位置に基づいて画像抽出位置情報を補正する。そして、ステップＳ１４９では、補正された画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。これによって、部分画像ＳＰがＬＣＤ３４に表示される。
【００６７】
一方、ステップＳ１４５においてＮＯと判断すると、ステップＳ１５１において、メモリ３２に記録されているデフォルトの画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。これによって、部分画像ＳＰがＬＣＤ３４に表示される。
【００６８】
ステップＳ１５３では、ステップＳ１４９もしくはステップＳ１５１において元画像ＯＰから抽出された部分画像ＳＰを無線回路２０に与える。これによって、部分画像ＳＰが通話相手の携帯電話機に送信される。以上が、ソフトウェアによる調整モードにおける処理である。
【００６９】
モード切換ボタン２２ｍｃの操作に応じて、手動による調整モードにおける処理とソフトウェアによる調整モードにおける処理とのどちらかが、ステップＳ１５５において通話終了ボタン２２ｅｃが操作されたと判断されるまで繰り返される。
【００７０】
ステップＳ１５５では、ユーザによって通話終了ボタン２２ｅｃが操作されたか否かを判断する。ステップＳ１５５においてＮＯと判断すると、図１２のステップＳ１２９に戻り、ユーザによってモード切換ボタン２２ｍｃが操作されたか否かを判断する。そして、上述した処理を繰り返す。
【００７１】
一方、図１３のステップＳ１５５においてＹＥＳと判断すると、ステップＳ１５７において、識別フラグがオン状態であるか否か、つまり、画像抽出位置情報の補正が行われたか否かを判断する。ステップＳ１５５においてＹＥＳと判断すると、ステップＳ１５９において、補正された画像抽出位置情報をデフォルトとしてメモリ３２に記録する。一方、ステップＳ１５７においてＮＯと判断すると、ステップＳ１５９をスキップしてステップＳ１６１に進む。ステップＳ１６１では、ＣＣＤカメラ３８を停止してテレビ電話中の調整処理を終了する。
【００７２】
以上に説明したように、この実施例の携帯電話機１０によれば、ＣＣＤカメラ３８の偏心などに起因して生じる表示画像(動画像および静止画像)における人物像の画像中心位置からのずれを手動もしくはソフトウェアによる画像処理によって修正することができる。したがって、ユーザの好みのアングルの画像を撮影したり、人物像の画像中心位置からのずれを修正する手間が省けたりするので使い勝手のよい携帯電話機１０が得られる。
【００７３】
なお、撮影手段としてはＣＣＤの他にＣＭＯＳ(Complementary Metal Oxide Semiconductor)を用いてもよい。
【００７４】
また、この実施例では、ＬＣＤ３４およびＣＣＤカメラ３８を同一面の異なる位置に設けるようにしているが、ＬＣＤ３４およびＣＣＤカメラ３８の実装位置が必ずしも同一面になくても、本発明の効果に変わりはない。
【００７５】
さらに、実施例で記述したサブＣＰＵ１６の機能はメインＣＰＵ１４で代行することも可能であり、その場合も本発明の効果に変わりはない。
【図面の簡単な説明】
【００７６】
【図１】この発明の一実施例の全体構成を示す図解図である。
【図２】この発明が適用された携帯電話機の概略構成例を示すブロック図である。
【図３】表示画像における人物位置の調整の方法を示す図解図である。
【図４】携帯電話機の初期設定の方法を示す図解図である。
【図５】携帯電話機の初期設定の方法を示す図解図である。
【図６】表示画像における人物位置の調整の方法を示す図解図である。
【図７】図１の実施例において実行される処理の手順を示すフロー図である。
【図８】図１の実施例において実行される処理の手順を示すフロー図である。
【図９】図１の実施例において実行される処理の手順を示すフロー図である。
【図１０】図９のフロー図における処理の詳細を示すフロー図である。
【図１１】図９のフロー図における処理の詳細を示すフロー図である。
【図１２】図１の実施例において実行される処理の手順を示すフロー図である。
【図１３】図１２のフロー図に続くフロー図である。
【図１４】従来の携帯電話機の例を示す図解図である。
【符号の説明】
【００７７】
１０  …カメラ付き携帯電話機
１４  …メインＣＰＵ
１６  …サブＣＰＵ
１８，３２  …メモリ
２２  …キーパッド
３４  …ＬＣＤ
３８  …ＣＣＤカメラ
【図１】
2005191760.tif 000003
【図２】
2005191760.tif 000004
【図３】
2005191760.tif 000005
【図４】
2005191760.tif 000006
【図５】
2005191760.tif 000007
【図６】
2005191760.tif 000008
【図７】
2005191760.tif 000009
【図８】
2005191760.tif 000010
【図９】
2005191760.tif 000011
【図１０】
2005191760.tif 000012
【図１１】
2005191760.tif 000013
【図１２】
2005191760.tif 000014
【図１３】
2005191760.tif 000015
【図１４】
2005191760.tif 000016