(57)【要約】【課題】周囲の環境に応じた適切な画像補正を行うようにした携帯端末装置、画像補正方法、及び画像補正プログラムを提供すること。【解決手段】携帯端末装置において、画像を撮影するカメラモジュールと、前記携帯端末装置の第１の面に設けられた第１の色温度センサからの第１の情報と前記携帯端末装置の第２の面に設けられた第２の色温度センサからの第２の情報との比較結果に応じて、前記カメラモジュールで撮影された画像に対して画像補正を行う画像処理プロセッサとを備える。【選択図】図４
2015177308.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮影するカメラモジュールと、
携帯端末装置の第１の面に設けられた第１の色温度センサからの第１の情報と前記携帯端末装置の第２の面に設けられた第２の色温度センサからの第２の情報との比較結果に応じて、前記カメラモジュールで撮影された画像に対して画像補正を行う画像処理プロセッサと
を備えることを特徴とする携帯端末装置。
【請求項２】
前記画像処理プロセッサは、
前記第１の情報よりも前記第２の情報の方が高い値のとき、前記カメラモジュールで撮影された画像に対して当該画像の明るさを補正する画像補正を行い、
前記第１の情報と前記第２の情報とが同じか前記第１の情報よりも前記第２の情報の方が低い値のとき、前記カメラモジュールで撮影された画像のうち特定部分の画像を補正する画像補正を行う
ことを特徴とする請求項１記載の携帯端末装置。
【請求項３】
前記第２の面は前記携帯端末装置において前記第１の面の背面側にあることを特徴とする請求項１記載の携帯端末装置。
【請求項４】
カメラモジュールと画像処理プロセッサを備える携帯端末装置における画像補正方法であって、
画像を前記カメラモジュールで撮影し、
前記携帯端末装置の第１の面に設けられた第１の色温度センサからの第１の情報と前記携帯端末装置の第２の面に設けられた第２の色温度センサからの第２の情報との比較結果に応じて、前記カメラモジュールで撮影された画像に対して画像補正を前記画像処理プロセッサで行う、
ことを特徴とする画像補正方法。
【請求項５】
携帯端末装置内のコンピュータに実行させる画像補正プログラムであって、
前記携帯端末装置により画像を撮影し、
前記携帯端末装置の第１の面に設けられた第１の色温度センサからの第１の情報と前記携帯端末装置の第２の面に設けられた第２の色温度センサからの第２の情報との比較結果に応じて、前記携帯端末装置で撮影された画像に対して画像補正を行う、
ことを前記コンピュータに実行させる画像補正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末装置、画像補正方法、及び画像補正プログラムに関する。
【背景技術】
【０００２】
現在、フィーチャーフォンやスマートフォンなどの携帯端末装置は電話機能だけではなく様々な機能を有している。そのような機能の一つとしてカメラ機能がある。携帯端末装置においても高度なカメラ機能により高解像度の画像を撮影することができる。
【０００３】
例えば、携帯端末装置には、カメラレンズ、撮像素子、ＲＧＢ（Red Green Blue）センサなどを備え、カメラレンズや撮像素子で撮像された画像に対してＲＧＢセンサを用いてホワイトバランス調整などの画像補正を行うこともできる。これにより、例えば、撮影位置が屋外か屋内かに拘わらず携帯端末装置においても自然な画像を撮影することが可能となる。このような画像補正に利用されるＲＧＢセンサは、例えば、カメラレンズが搭載された面に備えられている。
【０００４】
他方、携帯端末装置にはＬＣＤなどの表示画面を備え、表示画面のある面にＲＧＢセンサが搭載されているものもある。この表示画面側にあるＲＧＢセンサは、例えば、表示画面に表示される画面の色の調整や近接センサとして用いられる。近接センサとして用いられる場合、通話の際に、携帯端末装置に備えられたマイクやスピーカに顔を近づけると表示画面側にあるＲＧＢセンサがこれを検知し、表示画面の電源が一時的にオフにされる。これにより、例えば、携帯端末装置の消費電力削減を図ることができる。
【０００５】
このような画像補正に関して例えば以下のような技術もある。すなわち、電子カメラにおける表示部の表示面側に第１測光センサと表示部の表示面背面側に第２測光センサを備え、第１測光センサからの第１照明条件と第２測光センサからの第２照明条件を用いて照明環境に応じて調整した補正画像を表示部に表示させるようにした技術がある。
【０００６】
この技術によれば、表示部に表示される画像の色の見えを周囲の明るさに応じてより良好に調整する手段を提供することができる、とされる。
【０００７】
また、撮像画像をもとにホワイトバランス調整を行うホワイトバランス調整手段を備える電子スチルカメラにおいて、所定の時点からの撮影駒数及び経過時間に基づいて、記憶したホワイト制御信号の信頼度を判別し、信頼度が低い場合はユーザに報知するようにした技術がある。
【０００８】
この技術によれば、実際の撮像時点でも照明光源の条件とは異なった場合に起きる、誤ったホワイトバランス調整を最小限とすることができる、とされる。
【０００９】
さらに、ＣＣＤ（Charge Coupled Device）で得られた画像信号のホワイトバランスを、カラーセンサで測定された雰囲気の平均的な第１の色と画像信号から測定される被写体の平均的な第２の色との差異に応じて制御して、撮影モードを変更する撮像装置もある。
【００１０】
この技術によれば、短時間で適正なホワイトバランスに調整することができる撮像装置を提供できる、とされる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１１−２０３４３７号公報
【特許文献２】特開２００３−１０２０１８号公報
【特許文献３】特開２００８−２１９１２８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、携帯端末装置において、画像補正を行うために用いられるＲＧＢセンサは、例えば、カメラレンズのある面にしか搭載されていない場合がある。このような場合、ＲＧＢセンサが受けている光の方向と被写体が受けている光の方向が異なり、画像の補正が適切に行われない場合がある。図１０はこのような場合の例を説明するための図である。
【００１３】
図１０に示すように携帯端末装置１０にはカメラレンズ１２とＲＧＢセンサ（又はカラーセンサ）１４を備える。ＲＧＢセンサ１４はカメラレンズ１２が搭載されている面に搭載されている。図１０の例において、太陽光がＡ方向に進行する場合、ＲＧＢセンサ１４は太陽光を直接受ける。一方、被写体１６は背面から太陽光を受け、携帯端末装置１０に向けられた被写体の面は太陽光を直接受けない。他方、太陽光がＢ方向から進行する場合も、ＲＧＢセンサ１４は太陽光を直接受けないが、被写体１６のカメラレンズ１２に向けられた面は太陽光を直接受けている。このような場合、ＲＧＢセンサ１４で検出された信号に基づいて画像補正を行っても、被写体とＲＧＢセンサ１４とでは光の受け方が異なるため、ＲＧＢセンサ１４で検出された信号に基づいて被写体の画像を補正しても適切に補正が行われない場合がある。このような現象は太陽光以外の光源、例えば蛍光灯などの場合でも発生する。
【００１４】
表示部の表示面側と表示面背面側に第１及び第２の測光センサを夫々備えるようにした上述した技術は、第１及び第２の測光センサを用いて表示部の表示を周囲の明るさに応じて調整するものであって、画像を撮像するための技術ではない。従って、かかる技術では、撮影の際に被写体が受ける光の方向とＲＧＢセンサが受ける光の方向が異なることによる適切な画像補正を行うことはできない。
【００１５】
また、所定の時点からの撮影駒数及び経過時間を計測し、記憶したホワイト制御信号の信頼度を判別する上述した技術も、ホワイト制御信号の信頼度を判別するものであり、信頼度が低い場合において撮像した画像は適切にホワイトバランスが行われない場合もある。また、かかる技術は、撮影の際に被写体が受ける光の方向とＲＧＢセンサが受ける光の方向が異なる場合に画像補正をどのように行うかについて何も示唆していない。
【００１６】
さらに、カラーセンサで測定された雰囲気の平均的な第１の色などに応じてホワイトバランスを制御する上述した技術も、撮影の際に被写体が受ける光の方向とＲＧＢセンサが受ける光の方向が異なる場合に画像補正をどのように行うかについて何も示唆していない。
【００１７】
撮影の際に被写体が受ける光の方向とカラーセンサが受ける光の方向が異なる場合において適切に画像補正を行うことができない場合、周囲の環境に応じた適切な画像補正を行うこともできない。
【００１８】
そこで、一開示は、周囲の環境に応じた適切な画像補正を行うようにした携帯端末装置、画像補正方法、及び画像補正プログラムを提供することにある。
【課題を解決するための手段】
【００１９】
一開示は、携帯端末装置において、画像を撮影するカメラモジュールと、前記携帯端末装置の第１の面に設けられた第１の色温度センサからの第１の情報と前記携帯端末装置の第２の面に設けられた第２の色温度センサからの第２の情報との比較結果に応じて、前記カメラモジュールで撮影された画像に対して画像補正を行う画像処理プロセッサとを備える。
【発明の効果】
【００２０】
周囲の環境に応じた適切な画像補正を行うようにした携帯端末装置、画像補正方法、及び画像補正プログラムを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】図１は携帯端末装置の構成例を表わす図である。
【図２】図２（Ａ）から図２（Ｃ）は携帯端末装置の外観例を表わす図である。
【図３】図３は携帯端末装置の構成例を表わす図である。
【図４】図４はＲＧＢセンサと画像処理プロセッサの構成例を表わす図である。
【図５】図５は携帯端末装置の動作例を表わすフローチャートである。
【図６】図６は携帯端末装置の使用例を表わす図である。
【図７】図７は携帯端末装置の動作例を表わすフローチャートである。
【図８】図８（Ａ）と図８（Ｂ）は被写体が受ける光の方向とＲＧＢセンサが受ける光の方向が異なる場合の例を表わす図である。
【図９】図９は携帯端末装置の外観を表わす図である。
【図１０】図１０は被写体が受ける光の方向とＲＧＢセンサが受ける光の方向が異なる場合の例を表わす図である。
【発明を実施するための形態】
【００２２】
以下、本発明を実施するための形態について説明する。
【００２３】
［第１の実施の形態］
第１の実施の形態について説明する。図１は第１の実施の形態における携帯端末装置１００の構成例を示す図である。携帯端末装置１００は、例えば、フィーチャーフォンやスマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistant）、携帯型ゲーム機などの情報処理装置が含まれる。
【００２４】
携帯端末装置１００は、カメラモジュール１５０、第１の色温度センサ１５１、第２の色温度センサ１５２、及び画像処理プロセッサ１５３を備える。
【００２５】
カメラモジュール１５０は画像を撮影する。カメラモジュール１５０は撮影した画像の画像データを画像処理プロセッサ１５３へ出力する。
【００２６】
画像処理プロセッサ１５３は、携帯端末装置１００の第１の面１６１に設けられた第１の色温度センサ１５１からの第１の情報と、携帯端末装置１００の第２の面１６２に設けられた第２の色温度センサ１５２からの第２の情報とを比較する。画像処理プロセッサ１５３は、第１の情報と第２の情報の比較結果に応じて、カメラモジュール１５０で撮影された画像に対して画像補正を行う。この場合、画像処理プロセッサ１５３は比較結果に応じて画像補正を行わないようにすることもできる。
【００２７】
このように本第１の実施の形態では、第１及び第２の色温度センサ１５１，１５２は携帯端末装置１００の第１及び第２の面１６１，１６２に設けられている。従って、携帯端末装置１００では、撮影の際に被写体が受ける光の方向とカラーセンサが受ける光の方向が異なる場合に対応した情報を得ることができる。よって、画像処理プロセッサ１５３は第１及び第２の色温度センサ１５１，１５２からの第１及び第２の情報に夫々基づいてカメラモジュール１５０で撮影した画像に対する画像補正を行うことで、周囲の環境に応じた適切な画像補正を行うことができる。
【００２８】
この場合、第２の面１６２は、携帯端末装置１００の第１の面１６１に対して背面側に設けられていることが望ましい。このような第１及び第２の面１６１，１６２に夫々設けられた第１及び第２の色温度センサ１５１，１５２によって、それ以外の面に設けられた場合と比較して、被写体が受ける光の方向とカラーセンサが受ける光の方向が異なる場合に対応させることができるからである。
【００２９】
［第２の実施の形態］
次に第２の実施の形態について説明する。最初に携帯端末装置の外観例などを説明し、次に携帯端末装置の構成例を説明する。
【００３０】
＜携帯端末装置の外観例＞
図２（Ａ）から図２（Ｃ）は、第２の実施の形態における携帯端末装置（以下、端末と称する場合がある）１００の外観例を表わし、図２（Ａ）は斜め方向、図２（Ｂ）は正面方向、図２（Ｃ）は裏面方向からの端末１００の外観例をそれぞれ表わしている。
【００３１】
端末１００は、例えば、フィーチャーフォンやスマートフォン、タブレット、パーソナルコンピュータなどである。図２（Ａ）から図２（Ｃ）の例ではスマートフォンの例を表わしている。端末１００は無線基地局装置と無線通信を行い、無線基地局装置を介して通話サービスや映像配信サービスなど種々のサービスの提供を受ける。端末１００は通話機能以外にも画像を撮像するカメラ機能も有している。
【００３２】
図２（Ｃ）に示すように端末１００の裏面には、カメラレンズ１１７−１とＲＧＢセンサ１１８を備える。ＲＧＢセンサ１１８は、例えば、カメラレンズ１１７−１が搭載された面と同一の面に備えられている。ＲＧＢセンサ１１８は、例えば、カメラレンズ１１７−１で撮像した画像に対して画像補正を行うために用いられる。以下においてＲＧＢセンサ１１８を、例えば、カメラモジュール側ＲＧＢセンサ１１８と称する場合がある。
【００３３】
なお、カメラモジュールが端末１００内部に備えられており、カメラモジュールにより端末１００におけるカメラ機能を実現し、被写体などの撮影を行うことができる。カメラレンズ１１７−１とカメラモジュール側ＲＧＢセンサ１１８は、例えば、カメラモジュールの一部である。カメラモジュールの詳細は後述する。
【００３４】
また、図２（Ｂ）などに示すように端末１００の表面には、ＬＣＤ（Liquid Crystal Display）１２０とＲＧＢセンサ１１５を備える。ＲＧＢセンサ１１５は、例えば、ＬＣＤ１２０が搭載された面と同一の面に備えられている。このＲＧＢセンサ１１５は、例えば、ＬＣＤ１２０に表示される画面の色を調整することに用いられたり、近接センサとして用いられる。
【００３５】
本第１の実施の形態においては、このＲＧＢセンサ１１５を画像補正用のＲＧＢセンサとして用いる。詳細については後述する。以下において、ＲＧＢセンサ１１５をＬＣＤ側ＲＧＢセンサ１１５と称する場合がある。
【００３６】
＜携帯端末装置１００の構成例＞
図３は端末１００の構成例を表わす図である。端末１００は、メインプロセッサ１０１、通信制御部１０２、ＲＦ（Radio Frequency）部１０３、アンテナ１０４、マイク１０５、入力音声変換部１０６、音声処理部１０７、出力音声変換部１０８、スピーカ１０９を備える。また、端末１００は、ＡＣＰＵ（Application Control Processing Unit）１１０、ＨＣＥ（Human Centric Engine）１１１、加速度センサ１１２、ジャイロセンサ１１３、地磁気センサ１１４、ＬＣＤ側ＲＧＢセンサ１１５を備える。更に、端末１００は、画像処理プロセッサ１１６、カメラモジュール１１７、ＬＣＤ１２０、入力制御部１２１、及びメモリ１２２を備える。なお、カメラモジュール１１７には、カメラモジュール側ＲＧＢセンサ１１８を備える。
【００３７】
メインプロセッサ１０１と、通信制御部１０２、入力音声変換部１０６、音声処理部１０７、出力音声変換部１０８、ＡＣＰＵ１１０、ＨＣＥ１１１、画像処理プロセッサ１１６、カメラモジュール１１７、ＬＣＤ１２０、入力制御部１２１、及びメモリ１２２はバス１２５を介して接続される。
【００３８】
メインプロセッサ１０１は、端末１００の各部１０２を制御する。例えば、メインプロセッサ１０１は、無線通信に関する制御や音声の入出力に関する制御を行う。
【００３９】
通信制御部１０２は、無線通信に関する各種制御を行う。例えば、通信制御部１０２は、ＲＦ部１０３から出力されたベースバンド信号に対して復調処理や復号化処理などを施してユーザデータ（音声データが画像データなど）などを抽出し、音声処理部１０７や画像処理プロセッサ１１６などに出力する。また、通信制御部１０２は、音声処理部１０７や画像処理プロセッサ１１６などからユーザデータなどを受け取り、符号化処理や変調処理などを施してＲＦ部１０３へ出力する。
【００４０】
ＲＦ部１０３は、例えば、アンテナ１０４で受信した無線帯域の無線信号をベースバンド帯域のベースバンド信号に周波数変換（ダウンコンバート）したり、通信制御部１０２から出力された信号を無線帯域の無線信号に周波数変換（アップコンバート）する。
【００４１】
アンテナ１０４は、ＲＦ部１０３から出力された無線信号を無線基地局装置へ送信したり、無線基地局装置から送信された無線信号を受信してＲＦ部１０３へ出力する。
【００４２】
入力音声変換部１０６は、例えば、マイク１０５から入力された音声をデジタルの音声データに変換して、変換後の音声データを音声処理部１０７へ出力する。
【００４３】
音声処理部１０７は、例えば、入力音声変換部１０６などから出力された音声データに対して、ノイズを除去する処理を行ったり、音声データの圧縮処理を行い、音声処理後の音声データを通信制御部１０２などに出力する。また、音声処理部１０７は、例えば、通信制御部１０２などから出力された音声データに対して、圧縮された音声データを伸長したり、ノイズを除去する処理を行い、音声処理後の音声データを出力音声変換部１０８などに出力する。
【００４４】
出力音声変換部１０８は、例えば、音声処理部１０７から音声データを受け取って、デジタルの音声データをアナログの音声データに変換し、スピーカ１０９から音声を出力させる。
【００４５】
ＡＣＰＵ１１０は、例えば、アプリケーション用のＣＰＵであって、画像処理プロセッサ１１６、カメラモジュール１１７などを制御する。
【００４６】
ＨＣＥ１１１は、例えば、ＡＣＰＵ１１０のサブプロセッサとして機能し、加速度センサ１１２、ジャイロセンサ１１３、地磁気センサ１１４、及びＬＣＤ側ＲＧＢセンサ１１５を制御する。
【００４７】
加速度センサ１１２は、例えば、静電容量検出方式やピエゾ抵抗方式などにより、端末１００の加速度を検出する。ジャイロセンサ１１３は、例えば、内部にある物体に対して機械回転式などを利用することで端末１００の角速度を検出する。地磁気センサ１１４は、例えば、外部磁界の変動を検出することで、端末１００の方向を検出する。
【００４８】
画像処理プロセッサ１１６は、例えば、カメラモジュール１１７から出力された画像データに対して画像補正を行ったり、画像データを圧縮するなどの画像処理を行い、画像処理後の画像データを通信制御部１０２やメモリ１２２などに出力する。また、画像処理プロセッサ１１６は、通信制御部１０２などから出力された圧縮された画像データに対して、伸長処理やノイズ除去などの画像処理を行し、画像処理後の画像データをＬＣＤ１２０やメモリ１２２などに出力する。画像処理プロセッサ１１６の詳細については後述する。
【００４９】
カメラモジュール１１７は、端末１００においてカメラ機能を実現する部分であり、カメラモジュール側ＲＧＢセンサ１１８や、カメラレンズ１１７−１、撮像素子なども備える。カメラモジュール１１７の詳細については後述する。
【００５０】
ＬＣＤ１２０は、端末１００における液晶表示画面であり、操作可能な操作キーなどを画面内で表示することもできる。例えば、ＬＣＤ１２０に表示される操作キーが操作されることでカメラモジュール１１７（又はカメラ）が起動される。
【００５１】
入力制御部１２１は、例えば、端末１００の電源のオン又はオフにするボタンや、ＬＣＤ１２０の電源をオン又はオフにするボタンなどである。入力制御部１２１は、ボタン操作に対応する信号をメインプロセッサ１０１などに出力することで、メインプロセッサ１０１などの制御によりＬＣＤ１２０の電源をオンにしたり、端末１００の電源をオンにすることができる。
【００５２】
メモリ１２２は、音声データや画像データ、その他のデータなどを記憶する。
【００５３】
なお、端末１００は、図３に示すように、第１ＣＰＵ１３１、第２ＣＰＵ１３２、第３ＣＰＵ１３３を含むハードウェア構成とすることもできる。この場合、端末１００は、第１〜第３のＣＰＵ１３１〜１３３、ＲＦ部１０３、アンテナ１０４、マイク１０５、スピーカ１０９、ＬＣＤ１２０、及びメモリ１２２を備える。
【００５４】
第１ＣＰＵ１３１は、例えば、メインプロセッサ１０１、通信制御部１０２、入力音声変換部１０６、音声処理部１０７、出力音声変換部１０８、及び入力制御部１２１に対応する。
【００５５】
また、第２ＣＰＵ１３２は、ＡＰＣＵ１１０、画像処理プロセッサ１１６、カメラモジュール１１７に対応する。
【００５６】
さらに、第３ＣＰＵ１３３は、ＨＣＥ１１１、加速度センサ１１２、ジャイロセンサ１１３、地磁気センサ１１４、及びＬＣＤ側ＲＧＢセンサ１１５に対応する。
【００５７】
第１〜第３ＣＰＵ１３１〜１３３は、例えば、ＭＰＵ（Micro Processing Unit）やＦＰＧＡ（Filed-Programmable gate array）などのプロセッサやコントローラなどであってもよい。第１〜第３ＣＰＵ１３１〜１３３は、メモリ１２２に記憶されたプログラムを読み出して実行することで、メインプロセッサ１０１や通信制御部１０２、ＲＧＢセンサ１１５，１１８、画像処理プロセッサ１１６などの機能を実現することができる。
【００５８】
＜ＲＧＢセンサ１１５，１１８、及び画像処理プロセッサ１１６の構成例＞
次に、ＲＧＢセンサ１１５，１１８、及び画像処理プロセッサ１１６の構成例について説明する。
【００５９】
図４は、ＲＧＢセンサ１１５，１１８、及び画像処理プロセッサ１１６の構成例を表わす図である。ＬＣＤ側ＲＧＢセンサ１１５は、ＲＧＢ受光素子１１５１とＡ／Ｄ（Analogue to Digital）コンバータ１１５２を備える。
【００６０】
ＲＧＢ受光素子１１５１は、例えば、フォトダイオードであり、光電変換によって受光した光を電気信号に変換する。この場合、ＲＧＢ受光素子１１５１は、Ｒ、Ｇ、Ｂの３つの各受光素子を備えることで、電気信号としてＲＧＢ信号（以下では、ＲＧＢデータ（又は画像データ）と称する場合がある）を生成し、Ａ／Ｄコンバータ１１５２へ出力する。なお、ＲＧＢ受光素子１１５１は、ＬＣＤ側ＲＧＢセンサ１１５内において複数のＲＧＢ受光素子１１５１となっており、複数のＲＧＢ受光素子１１５１により撮像素子が構成される。
【００６１】
Ａ／Ｄコンバータ１１５２は、ＲＧＢ受光素子１１５１から出力されたアナログのＲＧＢデータをデジタルのＲＧＢデータに変換し、変換後のＲＧＢデータを画像処理プロセッサ１１６へ出力する。
【００６２】
一方、カメラモジュール１１７には、カメラ部品１１７１とカメラモジュール側ＲＧＢセンサ１１８を備える。カメラ部品１１７１は、図２（Ｃ）で説明したカメラレンズ１１７−１や絞り装置などが含まれる。
【００６３】
カメラモジュール側ＲＧＢセンサ１１８は、ＲＧＢ受光素子１１８１とＡ／Ｄコンバータ１１８２を備える。
【００６４】
ＲＧＢ受光素子１１８１も、例えば、フォトダイオードであって、光電変換により受光した光を電気信号に変換することで、電気信号としてＲＧＢデータを生成する。ＲＧＢ受光素子１１８１も、カメラモジュール１１７内において複数のＲＧＢ受光素子１１８１となっている。
【００６５】
Ａ／Ｄコンバータ１１８２は、ＲＧＢ受光素子１１８１から出力されたアナログのＲＧＢデータをデジタルのＲＧＢデータに変換し、変換後のＲＧＢデータを画像処理プロセッサ１１６へ出力する。
【００６６】
画像処理プロセッサ１１６は、メモリ１１６１、色温度処理部１１６２、画像補正部１１６３を備える。
【００６７】
メモリ１１６１は、２つのＲＧＢセンサ１１５，１１８から出力されたＲＧＢデータ（又はＲＧＢデータに含まれるＲＧＢの各値、以下、このＲＧＢの各値をＲＧＢ値と称する場合がある）を記憶する。また、メモリ１１６１には、太陽光の色温度の標準値も記憶される。この標準値の詳細については後述する。さらに、メモリ１１６１は、カメラ起動時にＬＣＤ側ＲＧＢセンサ１１５により検出されたＲＧＢデータに対する色温度データも記憶する。色温度データは、メモリ１１６１に記憶された当該ＲＧＢデータが色温度処理部１１６２によって変換されたデータ（又は値）である。
【００６８】
なお、メモリ１１６１は、画像処理プロセッサ１１６内にあっても良いし、画像処理プロセッサ１１６外のメモリ１２２に対応するものであってもよい。
【００６９】
色温度処理部１１６２は、メモリ１１６１に記憶されたＲＧＢデータを色温度データ（又は、色温度値、以下では色温度データと称する場合がある）に変換し、変換後の色温度データをメモリ１１６１に記憶する。色温度データは、例えば、以下の計算により取得できる。
【００７０】
すなわち、色温度処理部１１６２は、ＲＧＢ表色系のＲＧＢ値をＸＹＺ表色系におけるＸＹ色度値に変換し、変換後のＸＹ色度値をＬｕｖ表色系のｕｖ色度値に変換する。さらに、色温度処理部１１６２は、ｕｖ色度値に対応する絶対温度を色温度として計算する。このような表色系の変換や計算などは、例えば、色温度処理部１１６２が四則計算を行ったり、メモリ１１６１などに保持した対応関係を表わすテーブルを用いて値を取得するなどにより行われる。  
【００７１】
なお、色温度とは、ある光源が発している光の色を定量的な数値で表現する単位又は尺度であり、単位としてはケルビン（Ｋ）やルクス（ｌｘ）などが用いられる。
【００７２】
本第２の実施の形態においては、色温度処理部１１６２は例えば以下の処理を行う。すなわち、色温度処理部１１６２はＬＣＤ側ＲＧＢセンサ１１５で生成されたＲＧＢデータに対応する色温度データを算出する。また、色温度処理部１１６２は、メモリ１１６１に記憶された太陽光に関する色温度の標準値をメモリ１１６１から読み出す。そして、色温度処理部１１６２は、ＬＣＤ側ＲＧＢセンサ１１５に対応する色温度と標準値とを比較し、比較結果を画像補正部１１６３へ出力する。その詳細については動作例で説明する。
【００７３】
画像補正部１１６３は、色温度処理部１１６２からの比較結果に応じて、カメラモジュール１１７で撮影された画像に対して画像補正を行う（又は行わない）。画像補正部１１６３は、画像補正を行う場合は、カメラモジュール１１７で撮影された画像のＲＧＢデータをメモリ１１６１から読み出して、当該ＲＧＢデータに対して画像補正を行う。画像補正としては、例えば、ＲＧＢ値を調整するなどしてＡＥ（Automatic Exposure：自動露出）補正などを行う。画像補正の詳細についても動作例で説明する。画像補正部１１６３は、画像補正を行った画像データ又は画像補正を行っていない画像データをＬＣＤ１２０やメモリ１２２へ出力する。
【００７４】
なお、第１の実施の形態における第１の色温度センサ１５１は、例えば、本第２の実施の形態におけるＬＣＤ側ＲＧＢセンサ１１５とメモリ１１６１、及び色温度処理部１１６２に対応する。また、第１の実施の形態における第２の色温度センサ１５２は、例えば、本第２の実施の形態におけるカメラモジュール側ＲＧＢセンサ１１８とメモリ１１６１、及び色温度処理部１１６２に対応する。さらに、第１の実施の形態における画像処理プロセッサ１５３は、例えば、本第２の実施の形態における画像処理プロセッサ１１６に対応する。
【００７５】
＜動作例＞
次に端末１００における動作例について説明する。図５は本第２の実施の形態における動作例を表わすフローチャートである。
【００７６】
端末１００は処理を開始すると（Ｓ１０）、カメラを起動し、ＬＣＤ側ＲＧＢセンサ１１５にて色温度を測定し、画像処理プロセッサ１１６に保存する（Ｓ１１）。
【００７７】
例えば、カメラ起動時においては、端末１００はＬＣＤ１２０側の面が上空に向けられている場合がある。図６はこのような様子を示す図である。ＬＣＤ１２０に表示された操作キーなどが操作されることでカメラが起動される場合、ＬＣＤ１２０の面が上空に向けられる。
【００７８】
このカメラ起動時においてＬＣＤ側ＲＧＢセンサ１１５によりＲＧＢ値を測定し、当該ＲＧＢ値に対応する色温度値を取得することで、撮像対象の被写体周囲の明るさを取得できる。画像処理プロセッサ１１６では、カメラ起動時においてＬＣＤ側ＲＧＢセンサ１１５で取得したＲＧＢ値に対して色温度処理部１１６２においての色温度を算出し、メモリ１１６１に色温度値を保存する。
【００７９】
図５に戻り、次に、端末１００はカメラ起動時の色温度は太陽光の標準色温度よりも低いか否かを判別する（Ｓ１２）。例えば、色温度処理部１１６２は、カメラ起動時の色温度値と太陽光の標準温度値とをメモリ１１６１から読み出し、２つの色温度値を比較することで判別する。
【００８０】
端末１００は、カメラ起動時の色温度が太陽光の標準色温度より低いとき（Ｓ１２でＹＥＳ）、ＡＥ補正（又はホワイトバランス調整、以下においては、「ＡＥ補正」と称する場合がある）を行う（Ｓ１３）。カメラ起動時の色温度が太陽光の標準色温度よりも低いときとは、例えば、カメラ起動時の周囲は太陽光の下で撮影する場合よりも暗い場合である。周囲が暗い場合は、撮影された画像も全体的に暗い画像となっている。このような場合、端末１００ではカメラモジュール１１７で撮影された画像のＲＧＢデータを補正し、全体的な明るさが明るくなるようにＡＥ補正を行う。
【００８１】
なお、被写体の撮影は、例えば、カメラ起動（Ｓ１１）後、ＡＥ補正が行われる（Ｓ１３）前の任意の時点で行われるものとする。
【００８２】
具体的には、例えば、以下の処理が行われる。すなわち、画像処理プロセッサ１１６の色温度処理部１１６２は、カメラ起動時の色温度値が太陽光の標準色温度値よりも低いことを検出すると、その比較結果を画像補正部１１６３へ出力する。画像補正部１１６３は、当該比較結果を得たときは、メモリ１１６１からカメラモジュール１１７で撮影された画像のＲＧＢデータを取得し、そのＲＧＢ値の全てを所定の比率で掛け算することで、取得時のＲＧＢ値よりも大きいＲＧＢ値に変更するなどによりＡＥ補正を行う。或いは、画像補正部１１６３は、メモリ１１６１から取得したＲＧＢ値のうち、一定値以上突出した値を基準値以下に補正することで画像補正を行うようにしてもよい。これにより、例えば、画像補正部１１６３は暗い画像を明るい画像に補正することができる。
【００８３】
そして、端末１００は、ＡＥ補正後の画像データをメモリ１１６１に保存し（Ｓ１４）、一連の処理を終了する（Ｓ１５）。
【００８４】
一方、端末１００は、カメラ起動時の色温度が太陽光の色温度と同じか高いとき（Ｓ１２でＮＯ）、とくに画像補正を行うことなく画像データを保存し（Ｓ１４）、一連の処理を終了する（Ｓ１５）。
【００８５】
この場合は、カメラ起動時の周囲の明るさは太陽光の下での明るさと同じかそれ以上に明るい場合である。本第２の実施の形態では、そのような場合、ＡＥ補正を行うことなく処理を終了する。
【００８６】
このように本第１の実施の形態において、端末１００は、カメラ起動時において端末１００のＬＣＤ１２０側の面が上空方向を向いていること利用して色温度を検出している。従って、被写体周囲の色温度を精度よく検出することができる。また、本端末１００は、この色温度を用いて画像補正を行うか否かの判別に用いているため、被写体周囲の色温度に応じた、すなわち周囲の環境に応じた適切な画像補正を行うことができる。
【００８７】
［第３の実施の形態］
次に第３の実施の形態について説明する。本第３の実施の形態では、ＬＣＤ側ＲＧＢセンサ１１５とカメラモジュール側ＲＧＢセンサ１１８の２つのＲＧＢ１１５，１１８センサを用いて、画像補正を行うか否かを判別するようにした例である。本第３の実施の形態における端末１００の構成例は第２の実施の形態と同様であり、例えば、図２（Ａ）から図４に示される。
【００８８】
図７は本第３の実施の形態における動作例を表わすフローチャートである。端末１００は処理を開始すると（Ｓ３０）、カメラのシャッターが押されたときの２つのＲＧＢセンサ１１５，１１８における色温度を測定する（Ｓ３１）。  
【００８９】
例えば、以下のようにして測定が行われる。すなわち、カメラ部品１１７１内におけるシャッターが押されると、シャッター押下を示す信号がカメラモジュール側ＲＧＢセンサ１１８へ出力される。また、当該信号は、画像処理プロセッサ１１６にも出力され、画像処理プロセッサ１１６は当該信号をＬＣＤ側ＲＧＢセンサ１１５へ出力する。２つのＲＧＢセンサ１１５，１１８はこの信号の受信を契機にＲＧＢデータを取得する。この場合、カメラモジュール側ＲＧＢセンサ１１８は被写体側（例えば第１の面）のＲＧＢデータを取得し、ＬＣＤ側ＲＧＢセンサ１１５は、被写体側とは反対側（例えば第１の面の背面にある第２の面）のＲＧＢデータを取得する。２つのＲＧＢセンサ１１５，１１８で取得したＲＧＢデータは画像処理プロセッサ１１６のメモリ１１６１に送られる。色温度処理部１１６２は、２つのＲＧＢセンサ１１５，１１８で取得したＲＧＢデータをメモリ１１６１から取得し、２つのＲＧＢデータに対して色温度データを算出する。色温度データの算出方法は、例えば、第２の実施の形態と同様である。
【００９０】
次に、端末１００は、ＬＣＤ側ＲＧＢセンサ１１５からの色温度がカメラモジュール側ＲＧＢセンサ１１８の色温度よりも低いか否かを判別する（Ｓ３２）。
【００９１】
そして、端末１００は、ＬＣＤ側ＲＧＢセンサ１１５からの色温度がカメラモジュール側ＲＧＢセンサ１１８の色温度よりも低いとき（Ｓ３２でＹＥＳ）、ＡＥ補正により撮像画像を明るい画像へ画像補正する（Ｓ３３）。
【００９２】
図８（Ａ）は被写体が受ける光の方向とＲＧＢセンサが受ける光の方向が異なる場合の例を表わす図である。図８（Ａ）に示す場合、カメラモジュール側ＲＧＢセンサ１１８は太陽光を直接受光するが、ＬＣＤ側ＲＧＢセンサ１１５は太陽光を直接は受光しない。また、被写体も太陽光を背にしてカメラ方向に向いている。このような場合、ＬＣＤ側ＲＧＢセンサ１１５からの色温度は、カメラモジュール側ＲＧＢセンサ１１８からの色温度よりも低くなる。このような場合、端末１００で被写体を撮影すると、被写体は太陽光を直接受ける場合と比較して暗い画像となる。このような場合、端末１００ではＡＥ補正を行って暗い画像を明るい画像に補正する。暗く撮影された画像を明るくする画像補正の方法としては、逆光補正などもある。
【００９３】
具体的には、例えば以下のような処理が行われる。すなわち、色温度処理部１１６２は、Ｓ３１で算出した２つの色温度を比較し、ＬＣＤ側ＲＧＢセンサ１１５からの色温度が、カメラモジュール側ＲＧＢセンサ１１８の色温度よりも低いことを検出すると、その検出結果（又は比較結果）を画像補正部１１６３に出力する。画像補正部１１６３は、当該比較結果を得たときは、カメラモジュール１１７で撮影された画像のＲＧＢデータをメモリ１１６１から読み出し、ＲＧＢデータに対してＡＥ補正を施す。ＡＥ補正の方法は、例えば、第２の実施の形態で説明した方法と同様にして行う。画像補正部１１６３は画像補正後のＲＧＢデータをメモリ１１６１に記憶する。
【００９４】
図７に戻り、一方、端末１００はＬＣＤ側ＲＧＢセンサ１１５からの色温度がカメラモジュール側ＲＧＢセンサ１１８からの色温度と同じが高いとき（Ｓ３２でＮＯ）、画像処理プロセッサ１１６での顔認識から目の部分を黒く補正するなどの赤目補正を行う（Ｓ３５）。
【００９５】
図８（Ｂ）は被写体が受ける光の方向とＲＧＢセンサが受ける光の方向が異なる場合の例を表わす図である。図８（Ｂ）に示す場合、ＬＣＤ側ＲＧＢセンサ１１５は太陽光を直接受光するが、カメラモジュール側ＲＧＢセンサ１１８は太陽光を直接は受光しない。被写体は、太陽光を直接受けてカメラ方向に向いている。このような場合、ＬＣＤ側ＲＧＢセンサ１１５からの色温度は、カメラモジュール側ＲＧＢセンサ１１８からの色温度と同じか高くなる。従って、端末１００は被写体を撮影すると、被写体は太陽光を直接受けているため明るく撮影される。この場合、被写体が人間などの動物の場合、被写体の目が通常よりも赤く撮影される場合がある。このような場合、端末１００は赤目補正を行う。
【００９６】
具体的には、例えば以下のような処理が行われる。すなわち、色温度処理部１１６２は、Ｓ３１で算出した２つの色温度を比較し、ＬＣＤ側ＲＧＢセンサ１１５からの色温度が、カメラモジュール側ＲＧＢセンサ１１８からの色温度と同じが高いことを検出すると、その検出結果（又は比較結果）を画像補正部１１６３に出力する。画像補正部１１６３は、当該比較結果を得たときは、カメラモジュール１１７で撮影された画像のＲＧＢデータをメモリ１１６１から読み出し、ある一定範囲の画像のＲＧＢデータやその差分などに基づいて、被写体の目の部分のＲＧＢデータを取得する。そして、画像補正部１１６３は、目の部分に関するＲＧＢデータのうち、Ｒに対応するデータ値を取得した値よりも低い値に補正する。或いは、画像補正部１１６３は、取得した目の部分に関するＲＧＢデータのうちＲに対応する値（又は赤色に関する画素値）を基準値よりも低い値に補正する。画像補正部１１６３は補正後のＲＧＢデータをメモリ１１６１に記憶する。
【００９７】
図７に戻り、端末１００は、ＡＥ補正（Ｓ３３）又は赤目補正（Ｓ３５）を行うと、一連の処理を終了する（Ｓ３４）。
【００９８】
このように本第３の実施の形態における端末１００は、異なる面に備えられた２つのＲＧＢセンサ１１５，１１８からの色温度を比較し、その比較結果に応じて撮影画像の補正を行うようにしている。従って、２つのＲＧＢセンサ１１５，１１８によって、撮像の際に被写体が受ける光の方向とＲＧＢセンサ１１８が受ける光の方向が異なる場合を考慮した画像補正を行うようにしている。よって、端末１００は、撮影の際に被写体が受ける光の方向とＲＧＢセンサ１１８が受ける光の方向が異なる場合においても適切な画像補正を行うことができ、これにより、周囲の環境に応じた適切な画像補正を行うことが可能となる。
【００９９】
なお、本第３の実施の形態において、画像補正の例として赤目補正を例にして説明した（Ｓ３５）。このような画像補正は一例であって、太陽光を直接受光することにより生じる画像の特定部分の画像を補正するものでよい。この場合、例えば、画像補正部１１６３は、各画素のＲＧＢ値が隣接画素のＲＧＢ値よりも基準値以上の差がある場合、画像にノイズがあると判別し、当該画素を特定部分として、当該画素のＲＧＢ値を基準値以下に補正することができる。
【０１００】
また、被写体が人間などの動物を例にして説明したが、被写体が風景などであってもよい。このような場合でも、太陽光を受光することにより生じる画像のノイズを補正するようにすればよい。
【０１０１】
更に、ＡＥ補正（Ｓ３３）についても、ＲＧＢ値のうち、一定値以上突出した値を基準値以下とする方法でもよい。
【０１０２】
［その他の実施の形態］  
第２及び第３の実施の形態では、ＬＣＤ側ＲＧＢセンサ１１５とカメラモジュール側ＲＧＢセンサ１１８は、一方のセンサが搭載された面を第１の面とすると、他方のセンサは第１の面に対して背面側にある第２の面に搭載されている例を説明した。例えば、２つのセンサ１１５，１１８が互いに反対面にあるのではなく、異なる面にあってもよい。
【０１０３】
図９は、ＬＣＤ側ＲＧＢセンサ１１５が端末１００の上面に搭載された場合の例を表わす図である。ＬＣＤ側ＲＧＢセンサ１１５が上面に搭載されることで、太陽光などに基づいて被写体周囲の色温度を適切に算出することが可能となる。従って、撮像の際に被写体が受ける光の方向とＲＧＢセンサ１１８が受ける光の方向が異なる場合でも、かかる端末１００は周囲の環境に応じた適切な画像補正を行うことができる。
【０１０４】
なお、端末１００においてＬＣＤ１２０がある面（ｘｙ平面）に対して上側の面（ｙｚ平面）が、例えば、「上面」となっている。
【０１０５】
第２及び第３の実施の形態で説明した携帯端末装置は、例えば、タブレット端末、ＰＤＡ（Personal Digital Assistant）、携帯型ゲーム機などの情報処理装置も含まれる。このような情報処理装置であっても、端末１００と同様に、第２及び第３の実施の形態で説明した画像補正などを実施することが可能である。
【０１０６】
以上まとめると付記のようになる。
【０１０７】
（付記１）
画像を撮影するカメラモジュールと、
携帯端末装置の第１の面に設けられた第１の色温度センサからの第１の情報と前記携帯端末装置の第２の面に設けられた第２の色温度センサからの第２の情報との比較結果に応じて、前記カメラモジュールで撮影された画像に対して画像補正を行う画像処理プロセッサと
を備えることを特徴とする携帯端末装置。
【０１０８】
（付記２）
前記画像処理プロセッサは、
前記第１の情報よりも前記第２の情報の方が高い値のとき、前記カメラモジュールで撮影された画像に対して当該画像の明るさを補正する画像補正を行い、
前記第１の情報と前記第２の情報とが同じか前記第１の情報よりも前記第２の情報の方が低い値のとき、前記カメラモジュールで撮影された画像のうち特定部分の画像を補正する画像補正を行う
ことを特徴とする付記１記載の携帯端末装置。
【０１０９】
（付記３）
前記画像処理プロセッサは、前記第１の情報よりも前記第２の情報の方が高い値のとき、前記画像の明るさを明るくする画像補正を行い、前記第１の情報と前記第２の情報とが同じか前記第１の情報よりも前記第２の情報の方が低い値のとき、前記カメラモジュールで撮影された画像のうち目の部分における赤色に関する画素値を閾値以下に補正する画像補正を行うことを特徴とする付記１記載の携帯端末装置。
【０１１０】
（付記４）
前記第２の面は前記携帯端末装置において前記第１の面の背面側にあることを特徴とする付記１記載の携帯端末装置。
【０１１１】
（付記５）
前記画像処理プロセッサは、画像を撮影するときに前記第１及び第２の色温度センサから前記第１及び第２の色情報を夫々取得することを特徴とする付記１記載の携帯端末装置。
【０１１２】
（付記６）
カメラモジュールと画像処理プロセッサを備える携帯端末装置における画像補正方法であって、
画像を前記カメラモジュールで撮影し、
前記携帯端末装置の第１の面に設けられた第１の色温度センサからの第１の情報と前記携帯端末装置の第２の面に設けられた第２の色温度センサからの第２の情報との比較結果に応じて、前記カメラモジュールで撮影された画像に対して画像補正を前記画像処理プロセッサで行う、
ことを特徴とする画像補正方法。
【０１１３】
（付記７）
携帯端末装置内のコンピュータに実行させる画像補正プログラムであって、
前記携帯端末装置により画像を撮影し、
前記携帯端末装置の第１の面に設けられた第１の色温度センサからの第１の情報と前記携帯端末装置の第２の面に設けられた第２の色温度センサからの第２の情報との比較結果に応じて、前記携帯端末装置で撮影された画像に対して画像補正を行う、
ことを前記コンピュータに実行させる画像補正プログラム。
【符号の説明】
【０１１４】
１００：携帯端末装置                  １１５：ＬＣＤ側ＲＧＢセンサ
１１５１：ＲＧＢ受光素子              １１６：画像処理プロセッサ
１１６１：メモリ                      １１６２：色温度処理部
１１６３：画像補正部                  １１７：カメラモジュール
１１８：カメラモジュール側ＲＧＢセンサ
１１８１：ＲＧＢ受光素子              １２０：ＬＣＤ
１２２：メモリ                        １５０：カメラモジュール
１５１：第１の色温度センサ            １５２：第２の色温度センサ
１５３：画像処理プロセッサ            １６１，１６２：第１及び第２の面
【図１】
2015177308.tif 000003
【図２】
2015177308.tif 000004
【図３】
2015177308.tif 000005
【図４】
2015177308.tif 000006
【図５】
2015177308.tif 000007
【図６】
2015177308.tif 000008
【図７】
2015177308.tif 000009
【図８】
2015177308.tif 000010
【図９】
2015177308.tif 000011
【図１０】
2015177308.tif 000012