(57)【要約】【課題】顔検出情報から顔の向きの情報を取得し、撮影した画像の保存の際に、顔の向きの情報から保存画像の方向を最適化するカメラ付携帯端末、カメラ付携帯端末の画像保存方法を提供する。【解決手段】顔検出手段を搭載したカメラ付携帯端末であって、顔検出手段で検出した顔検出情報から顔の向きの情報を取得し、撮影した画像の保存の際に、顔の向きの情報から保存画像の方向を最適化する。【選択図】図３
2010050566.tif 000002
【特許請求の範囲】
【請求項１】
顔検出手段を搭載したカメラ付携帯端末であって、
前記顔検出手段で検出した顔検出情報から顔の向きの情報を取得し、撮影した画像の保存の際に、前記顔の向きの情報から保存画像の方向を最適化することを特徴とするカメラ付携帯端末。
【請求項２】
前記最適化は、画像保存時に９０°回転する／回転しないの判断であることを特徴とする請求項１に記載のカメラ付携帯端末。
【請求項３】
前記最適化は、携帯端末本体の制御部で行なう、または、カメラ側の制御部で行なうことを特徴とする請求項２に記載のカメラ付携帯端末。
【請求項４】
加速度センサおよびジャイロセンサを含むセンサが非搭載な構成であることを特徴とする請求項３に記載のカメラ付携帯端末。
【請求項５】
前記顔検出手段で検出した顔検出情報から顔の向きの情報を取得し、前記顔の向きの情報から画像の方向を９０°回転し表示することを特徴とする請求項４に記載のカメラ付携帯端末。
【請求項６】
顔検出手段を搭載したカメラ付携帯端末の画像保存方法であって、
前記顔検出手段で検出した顔検出情報から顔の向きの情報を取得し、撮影した画像の保存の際に、前記顔の向きの情報から保存画像の方向を最適化することを特徴とするカメラ付携帯端末の画像保存方法。
【請求項７】
前記最適化は、画像保存時に９０°回転する／回転しないの判断であることを特徴とする請求項６に記載のカメラ付携帯端末の画像保存方法。
【請求項８】
前記最適化は、携帯端末本体の制御部で行なう、または、カメラ側の制御部で行なうことを特徴とする請求項７に記載のカメラ付携帯端末の画像保存方法。
【請求項９】
前記カメラ付携帯端末は、加速度センサおよびジャイロセンサを含むセンサが非搭載な構成であることを特徴とする請求項８に記載のカメラ付携帯端末の画像保存方法。
【請求項１０】
前記顔検出手段で検出した顔検出情報から顔の向きの情報を取得し、前記顔の向きの情報から画像の方向を９０°回転し表示することを特徴とする請求項９に記載のカメラ付携帯端末の画像保存方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像保存時に顔検出情報を用いるカメラ付携帯端末、カメラ付携帯端末の画像保存方法に関する。
【背景技術】
【０００２】
携帯電話のカメラ機能は、サイズやコストの要求に非常に高く、携帯電話に搭載されたカメラとして各種制約（無線特性や消費電力の配慮）がある中、少スペース、少電力、低コストでデジタルスチルカメラ（以下、ＤＳＣと記載することがある）に近づくための技術開発を行い高画素化、高機能化が進んでいる。
【０００３】
ハード面での新規機能の実現はサイズ・コストのインパクトが大きく、ＤＳＣではハード面で実現している機能をソフト面の技術で実現していくことが継続して今後も必要となっていくと考えられる。
【０００４】
携帯電話のカメラは、高画素化、高機能化の流れが非常に速く、現在では画素数５メガピクセルで手ブレ補正、顔検出、笑顔検出、ＶＧＡ動画撮影などの機能を搭載し、コンパクトデジカメに近い性能を実現してきている。
【０００５】
ただし、携帯電話というカテゴリの中、カメラに関連するデバイスに許されるサイズ、コスト、ＣＰＵ性能（処理時間）などはＤＳＣに比べ多くの制約が有り、光学ズーム、光学式手ブレ補正、高感度センサ、高速処理、姿勢制御（加速度センサやジャイロセンサの搭載）などの実現には非常に多くの課題があり実現が困難な背景もある。
【０００６】
これらの課題のとおり、ＤＳＣ同様の付加機能のために新たなデバイスを搭載するハード的な対処は困難であるため、電子式手ブレ補正やノイズリダクションの強化などソフト的な技術の応用にて類似した機能の実現を続けてきているが、一方で携帯電話の形状や使用方法の多様化から、姿勢制御などにて使い勝手の向上を図る必要も出てきた。
【０００７】
具体的には、ＤＳＣでは縦撮り（縦長サイズの画像の撮影）・横撮り（一般的な横長サイズの画像の撮影）は一般的に加速度センサやジャイロセンサを搭載し、これらのセンサで姿勢検出（カメラの方向が縦か横過の検出）を行い、通常の横撮りではなく縦撮りの場合は表示や画像の保存方向を９０°回転させユーザの見やすい画像方向と刷ることで最適化・使い勝手の向上を図っている。
【０００８】
ただし、サイズやコストの制約が厳しい携帯電話に関しては、これらのセンサの搭載に関しても大きな課題となるため機能の実現は困難である。既にこれらのセンサを搭載し、ＤＳＣ同様の姿勢制御を行っている端末もあるが、カメラ機能以外のアプリ機能への流用も含め複合的な各種機能の実現にて効果を増大させ、サイズ・コストとのトレードオフを抑えているが、流用するアプリ機能の搭載などにも開発期間や費用が必要となってしまう。
【０００９】
上記背景に関連する技術を次に開示する。
【００１０】
特許文献１に記載の携帯端末装置は、少なくとも文字情報を表示可能な表示部を有する本体と、該本体に設けられ、当該本体の周囲を撮影するカメラ部と、該カメラ部が撮影した画像に基づいて使用者の顔の情報を取得し、少なくとも顔の向きと前記本体の向きとの相対的な位置関係を把握する主制御部とを備え、主制御部は、把握した位置関係に従って表示部の表示画面に表示する情報の向きを決定し、その向きで該情報が表示部に表示されるように表示制御部を制御することが開示されている。これによって、携帯端末装置の小型化を妨げるようなセンサを新たに設けることなく、携帯端末装置の表示部の表示画面と使用者との位置関係に応じて望ましい向きで表示画面に情報を表示することが可能となる。
【特許文献１】特開２００７−１７５９６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかし、特許文献１は、端末の表示をサブ（正面）カメラで検出したユーザの方向に対し最適化するものであり、撮影したカメラの画像の保存方向を最適化することに関しての記載はなく、これによる効果も示唆されていない。
【００１２】
本発明では、顔検出情報から顔の向きの情報を取得し、撮影した画像の保存の際に、顔の向きの情報から保存画像の方向を最適化するカメラ付携帯端末、カメラ付携帯端末の画像保存方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成するため、本発明にかかる第１のカメラ付携帯端末は、顔検出手段を搭載したカメラ付携帯端末であって、前記顔検出手段で検出した顔検出情報から顔の向きの情報を取得し、撮影した画像の保存の際に、前記顔の向きの情報から保存画像の方向を最適化することを特徴とする。
【００１４】
本発明にかかる第１のカメラ付携帯端末の画像保存方法は、顔検出手段を搭載したカメラ付携帯端末の画像保存方法であって、前記顔検出手段で検出した顔検出情報から顔の向きの情報を取得し、撮影した画像の保存の際に、前記顔の向きの情報から保存画像の方向を最適化することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、顔検出情報から顔の向きの情報を取得し、撮影した画像の保存の際に、顔の向きの情報から保存画像の方向を最適化するカメラ付携帯端末、カメラ付携帯端末の画像保存方法を提供することを可能とする。
【発明を実施するための最良の形態】
【００１６】
本発明では、顔検出機能を搭載した携帯電話カメラの場合に顔検出の情報から顔の向きの情報を取得し、撮影した画像の保存の際にこの顔の向きの情報から保存画像の方向を最適化する。
【００１７】
具体的には、通常保存画像は全てセンサの方向に合せて、横長の画像で保存されてしまう（または縦撮りを前提した端末では縦長に保存されてしまう）が、本発明の適用より人物撮影をした場合には、その際の顔検出の情報から人物が撮影された方向を判定し、画像保存時に９０°回転などすることで最適な方向で保存された画像とすることが可能となる。
【００１８】
本発明による携帯電話カメラの顔検出情報を用いた画像保存は、特に小型／低コスト化の要求の高い携帯電話カメラに対するものであり、デジタルスチルカメラ（以降：ＤＳＣ）にて加速度センサやジャイロセンサで実現されている撮影時の姿勢制御による保存画像の方向（回転）調整を顔検出の検出結果情報をもとに行うものであり、加速度センサやジャイロセンサの搭載が不要なため、機能実現に向け小型化／低コスト化に貢献しつつ、カメラの使い勝手を向上させられるものと考えられる。
【００１９】
保存画像は携帯やＰＣで表示した場合も正しい方向で表示されるため使い勝手の向上につながる。
【００２０】
なお、顔検出機能は３６０°（通常は０°／９０°／１８０°／２７０°を基準に±数〜数１０°の検出）の検出が可能なことが前提となるが、上記の通り撮影状態が多様化している中で一般的な顔検出機能であれば３６０°の検出は可能（必要）と考える。
【００２１】
上記特徴を有する本発明を実施する実施の形態について以下、説明していく。
以下に記載する実施の形態は、本発明が有する課題を解決するにあたって好適もしくは最良な構成および処理である。しかし、これに限定されることはなく、この構成および処理は、当業者が容易に想到できる範囲内において修正、変更可能とする。
【００２２】
以下の実施形態を説明していく上で参考に、まず、携帯電話のカメラ撮影状態（カメラの型）について図１を用いて説明する。
【００２３】
従来は、クラムシェルやストレート端末などで縦撮りが一般的なカメラの撮影状態であった。ただし、昨今ではスライド、２軸、Ｗオープンなどの形状も増え、ＤＳＣに似たカメラの使い方として、縦撮りだけでなく、横撮りでの撮影も一般的になってきた。
【００２４】
通常ＤＳＣでは、加速度センサやジャイロセンサにて姿勢検出を行い、縦撮りの場合には保存画像を９０°回転するなどの制御をするが、携帯電話ではサイズ・コストなどの制約より加速度センサやジャイロセンサの搭載が困難であり、姿勢検出が出来ないため、縦撮りの場合でも横長な画像を保存、または横撮りの場合でも縦長な画像の保存など、端末毎に１つの設定状態から縦長または横長どちらか一方の画像保存になってしまっている場合がある。
【００２５】
このような最適な画像方向に保存出来ない問題に対し、本実施形態では、後述する、または、図３に示すフローチャートのようにカメラでの撮影時に顔検出を行った際の検出方向の情報を端末ＨｏｓｔＣＰＵ側に画像と合せて送信する。表示については必ず９０°回転することで最適な表示と出来るが、保存画像に対してはカメラから入力された顔検出の検出方向の情報から画像を９０°回転して保存するかを判定し、最適な方向で画像保存することで問題を解決する。
【００２６】
ソフトでの撮影方向の検出・判定を行うため、機能の実現に対し装置サイズに影響を及ぼすことはなく、既に搭載されている顔検出機能の情報を流用しているだけのため、顔検出ＩＰの適用によるロイヤリティーなどの費用の発生などもなくコスト面への影響も少ない。
【００２７】
なお、携帯電話ではＬＣＤの画面いっぱいにカメラの撮影画像を表示するためにＬＣＤの方向（縦長方向）とカメラの搭載方向を合せることが多いが、カメラの画像は通常横長が標準のためカメラからの出力は横長の画像となり、端末ＨｏｓｔＣＰＵにて９０°の回転処理を行いＬＣＤへの表示出力を行っている。
【００２８】
カメラ側で９０°回転をすることも可能だが、回転処理にはメモリ容量を多く必要とするため、コストの厳しい携帯電話に搭載されるカメラには９０°回転の機能が搭載されていることはまれである。
【００２９】
次に、本発明が有する課題を解決するのに好適もしくは最適な携帯端末（携帯電話機）の構成図について、図２を用いて次に説明する。
【００３０】
図２の全体構成図に示すように、本実施形態にかかる携帯電話機は、カメラ部１０、キー部１１、制御部（端末ＨｏｓｔＣＰＵ）１２、表示部１３、記憶部１４、スピーカ部１５、無線受信部１６、アンテナ部１７とを有する。
【００３１】
キー部１１は、使用者からの命令により入力を行う。キー部１１からの命令は、制御部１２へ伝達する。例えば、通信を行う場合、キー部１１から制御部１２へ命令が伝達され、無線部１６およびアンテナ部１７を介して通信が行われる。使用者がカメラ起動処理、撮影処理、保存処理実行・キャンセル、カメラ終了処理を入力する装置である。本実施形態にかかる携帯電話機では、キー部１１に通話継続拒否動作の機能を割り付ける。
【００３２】
制御部１２は、携帯電話機における、キー部１１、表示部１３、記憶部１４、スピーカ部１５、無線受信部１６、アンテナ部１７全体を制御する。例えば、画像データの更新停止、記憶部１４への撮影画像データ転送、撮影動作中の音声取り込み、スピーカ１５に撮影動作音鳴動を命令する等の制御を行う。
【００３３】
記憶部１４は、撮影、撮影画像データを一時的または半永久的に保存する。また、その他の情報、たとえば、電話帳やアンテナ部１７で受信したデータを記憶する。
【００３４】
表示部１３は、記憶部１４に保持されている電話帳やアンテナ部１７で受信したデータ、撮影、および、撮影画像データ等を表示する。また、キー部１１からの命令に従って表示を行う。また、着信拒否設定するか否かのメッセージを携帯電話機使用者に選択を促す画面を表示する。
【００３５】
スピーカ部１５は、音を鳴動させるものであり、着信時やアラーム発生時に使用者の設定によって音を鳴動することができる。
無線送受信部１６は、送信信号を増幅する増幅部と、送信信号を無線送受信する。
アンテナ部１７は、相手端末から送信されたデータを受信し、または、相手端末へデータを送信する。また、通話継続拒否メッセージを他の端末へ無線送受信部１６およびアンテナ部１７を介して伝達する。通話時において、アンテナ１７で受信した通話相手からの通話信号は、無線部１６で受信処理される。
【００３６】
キー部１１を使用者が操作し、データを入力すると、制御部１２は、無線送受信部１６に対して指示を出し、指示を受けた無線部１６は、アンテナ１７を介して入力データを送信する。
【００３７】
次に、上述した構成を有する携帯端末が行う処理について、現在の携帯端末が行う処理との比較を、図２、図３および図４を用いて説明する。
図３は、本実施形態にかかる携帯端末が行う処理を示すフローチャート図である。
図４は、現在の一般的な携帯端末が行う処理を示すフローチャート図である。
まず、現在の一般的な携帯端末のカメラ撮影のフロー及びその際の各フローでの画像の方向を説明し、次に、本実施形態の処理について説明する。
【００３８】
カメラ部１０は、画像を撮る（ステップＳ２０１）。図４に示すように、ステップＳ２０１の処理において、カメラで撮影された画像は全て横長な出力となっている。よって、横撮りの場合はそのままで正常な画像となるが、縦撮りの場合は、被写体が９０°回転した画像となる。
【００３９】
カメラの画像を入力された端末ＨｏｓｔＣＰＵ１２では（ステップＳ２０２）、ＬＣＤが縦長標準のため表示をするために撮影画像を９０°回転し、ＬＣＤに表示する（ステップＳ２０３）。カメラの方向とＬＣＤの方向は同一（縦横比が同じ）になっているため、ここでの９０°回転は縦撮り、横撮りに関係なく必要となる。
【００４０】
カメラの画像を入力された端末ＨｏｓｔＣＰＵ１２では（ステップＳ２０２）、並行して、または表示画像からユーザの選択にて画像が携帯電話内または携帯電話にセットされている外部媒体（ＳＤカードなど）に保存を行う（ステップＳ２０４）。その際に、縦撮りをしたか、横撮りをしたかの情報はなく、全ての撮影画像が縦長（縦撮り前提）または横長（横撮り前提）で保存されてしまう。
【００４１】
この場合、最適な方向で保存されていない画像は携帯電話またはＰＣなどで表示した場合正しい方向で表示されない使い勝手のよくないカメラ機能となってしまう。
【００４２】
本実施形態にかかる携帯端末では、図３に示すようにカメラで撮影された際に顔検出の検出方向の情報を取得し、画像データを一緒に端末ＨｏｓｔＣＰＵ１２に転送する。
【００４３】
カメラ部１０は、画像を撮る（ステップＳ１０１）。カメラの画像を入力された端末ＨｏｓｔＣＰＵ１２では（ステップＳ１０２）、ＬＣＤが縦長標準のため表示をするために撮影画像を９０°回転し、ＬＣＤに表示する（ステップＳ１０３）。カメラの方向とＬＣＤの方向は同一（縦横比が同じ）になっているため、ここでの９０°回転は縦撮り、横撮りに関係なく必要となる。
【００４４】
端末ＨｏｓｔＣＰＵ１２では（ステップＳ１０２）、ＬＣＤへの画像表示は従来同様に９０°回転したデータを出力し、ＬＣＤに表示されるが、これと並行して、画像の保存（自動またはユーザ選択）時には、カメラから取得した顔検出方向の情報から９０°回転（またはその他最適な回転方向）する／しないを判断し（ステップＳ１０４）、判断に合せた画像の回転処理を行った上で保存をする。回転ありで保存する場合は、記憶部１４または記録媒体に画像保存Ａを行う（ステップＳ１０５）。回転なしで保存する場合は、記憶部１４または記録媒体に画像保存Ｂを行う（ステップＳ１０６）。
【００４５】
上述したように、本実施形態では、カメラでの撮影時に顔検出を行った際の検出方向の情報を端末ＨｏｓｔＣＰＵ側に画像と合せて送信する。表示については必ず９０°回転することで最適な表示と出来るが、保存画像に対してはカメラから入力された顔検出の検出方向の情報から画像を９０°回転して保存するかを判定し、最適な方向で画像保存することができる。
【００４６】
また、ソフトでの撮影方向の検出・判定を行うため、機能の実現に対し装置サイズに影響を及ぼすことはなく、既に搭載されている顔検出機能の情報を流用しているだけのため、顔検出ＩＰの適用によるロイヤリティーなどの費用の発生などもなくコスト面への影響も少ない。なお、携帯電話ではＬＣＤの画面いっぱいにカメラの撮影画像を表示するためにＬＣＤの方向（縦長方向）とカメラの搭載方向を合せることが多いが、カメラの画像は通常横長が標準のためカメラからの出力は横長の画像となり、端末ＨｏｓｔＣＰＵにて９０°の回転処理を行いＬＣＤへの表示出力を行っている。
【００４７】
本実施形態よれば、従来ＡＦ機能のためのみに搭載していた顔検出機能の情報を流用し、もう１つの機能を実現することでサイズ・コストの増大なく、機能を実現することである。
【００４８】
また、ソフト処理による姿勢制御のためＤＳＣのように加速度センサやジャイロセンサの搭載がないため、サイズ・コストの増大なく、姿勢制御を実現し保存画像の方向の最適化が行えることにある。
【００４９】
また、上記では主に静止画撮影をイメージした説明となっているが、動画に対しても全く同じ方法で機能を適用することが可能である。
【００５０】
また、顔検出の検出方向の情報をベースとしているため、上記では被写体が人物であることを前提としているが、被写体検出、被写体認証が可能な場合はその情報から撮影状態（縦撮り、横撮り）を検出し、上記同様にデータ保存時に最適な方向（画像回転の有無）とすることも可能である。
【００５１】
説明では、保存データの最適な回転処理は、端末ＨｏｓｔＣＰＵで行うこととしているが、画像処理のフローとして処理部分を分けているだけであり、カメラ側にこれを実現するための性能がある場合はカメラ側で端末ＨｏｓｔＣＰＵ以外にこの処理を行えるブロックがある場合は、そのブロックで処理することも可能である。
【００５２】
顔検出についても端末ＨｏｓｔＣＰＵで機能を実現しカメラの制御にフィードバックをかける制御方法も有るため、この場合はカメラ側からの検出情報の転送は不要となり端末ＨｏｓｔＣＰＵ内で顔検出方向の情報を保管し、画像保存際にフィードバックをかけることも可能である。
【００５３】
ＵＩなどの表示についても同様に顔検出の方向から表示方向を最適化することも可能となる。
【図面の簡単な説明】
【００５４】
【図１】カメラ撮影状態（カメラの型）の例を示す図である。
【図２】携帯端末の構成の一例を示すブロック図である。
【図３】本発明にかかる携帯端末の処理を示すフローチャート図である。
【図４】現在の携帯端末の処理を示すフローチャート図である。
【符号の説明】
【００５５】
１０    カメラ部
１１    キー部
１２    制御部（端末ＨｏｓｔＣＰＵ）
１３    表示部
１４    記憶部
１５    スピーカ部
１６    無線受信部
１７    アンテナ部
【図１】
2010050566.tif 000003
【図２】
2010050566.tif 000004
【図３】
2010050566.tif 000005
【図４】
2010050566.tif 000006