(57)【要約】【課題】撮像装置により取得される画像に対する光源としての表示部による影響を補正することができる情報処理装置、カラーバランス補正プログラムおよびカラーバランス補正方法を提供する。【解決手段】本発明に係る情報処理装置としてのパーソナルコンピュータ１０は、撮像部１６、主制御部２２および補正用データ記憶部２３などを有する。主制御部２２のＣＰＵは、カラーバランス補正プログラムに従って、表示部１４の画素が出射するＲ（赤色）、Ｇ（緑色）およびＢ（青色）の光のそれぞれが被写体の撮影画像に与える影響度を算出するために必要な補正用データを取得するためのキャリブレーションや、撮像部１６により取得される画像に対する光源としての表示部１４による影響を補正するための処理を実行する。【選択図】  図２
2010154174.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素により構成された表示部と、
前記表示部を構成する全ての前記画素の発光色の情報を取得する表示画像解析部と、
前記画素の出射した光の被写体による反射光の影響を受けつつ撮像装置が撮影した前記被写体の画像を取得する撮影画像取得部と、
前記被写体の画像を、前記被写体の撮影時の前記全ての画素の発光色の情報にもとづいて補正する補正部と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記画素の出射した光の前記被写体による反射光が前記被写体の画像に与える影響度を算出するために必要な補正用データを算出する補正用データ算出部と、
前記補正用データを記憶する補正用データ記憶部と、
前記補正用データにもとづいて前記画素の出射した光が前記被写体の画像に与える影響度を算出する変化率算出部と、
をさらに備えた請求項１記載の情報処理装置。
【請求項３】
前記補正部は、
前記被写体の画像を、前記被写体の撮影時の前記画素の発光色の情報と、前記画素の出射した光が前記被写体の画像に与える影響度と、にもとづいて補正する、
請求項２記載の情報処理装置。
【請求項４】
前記撮影画像取得部は、
前記表示部を構成する前記全ての画素が消光状態にある場合と、前記表示部を構成する前記全ての画素が３原色を構成する各原色で単一色発光状態にある場合と、のそれぞれの場合において前記撮像装置が同一対象物を撮影した画像を取得し、
前記補正用データ算出部は、
前記撮影画像取得部により前記表示部を構成する前記全ての画素が消光状態にある場合において取得された前記画像についてこの画像の画素値の前記原色ごとの平均値を第１の補正用データとして算出し、前記撮影画像取得部により前記表示部を構成する前記全ての画素が第１の原色で発光状態にある場合において取得された前記画像についてこの画像の画素値の前記原色ごとの平均値を第２の補正用データとして算出し、前記撮影画像取得部により前記表示部を構成する前記全ての画素が第２の原色で発光状態にある場合において取得された前記画像についてこの画像の画素値の前記原色ごとの平均値を第３の補正用データとして算出し、前記撮影画像取得部により前記表示部を構成する前記全ての画素が第３の原色で発光状態にある場合において取得された前記画像についてこの画像の画素値の前記原色ごとの平均値を第４の補正用データとして算出して、前記第１〜前記第４の補正用データを前記補正用データ記憶部に記憶させ、
前記変化率算出部は、
前記第１〜前記第４の補正用データにもとづいて、前記画素の出射する光を構成する前記各原色が前記被写体の画像の画素値に与える変化率を算出する、
請求項３記載の情報処理装置。
【請求項５】
前記撮像装置における照度の情報を取得する照度取得部、
をさらに備え、
前記表示画像解析部は、
前記表示部を構成する前記全ての画素の発光色の情報にもとづいて前記表示部を構成する前記全ての画素における前記原色ごとの平均値を算出し、
前記照度取得部は、
前記表示部を構成する前記全ての画素が消光状態にある場合において前記撮像装置が前記同一対象物を撮影した時の前記撮像装置における照度の情報を第５の補正用データとして取得して前記補正用データ記憶部に記憶させるとともに、前記被写体の撮影時の前記撮像装置における照度の情報を第６の補正用データとして取得して前記補正用データ記憶部に記憶させ、
前記補正部は、
前記被写体の画像を、前記被写体の撮影時の前記表示部を構成する前記全ての画素における前記原色ごとの平均値と、前記第５および前記第６の補正用データと、前記変化率算出部により算出された前記画素の出射する光を構成する前記各原色が前記被写体の画像の画素値に与える変化率と、にもとづいて補正する、
請求項４記載の情報処理装置。
【請求項６】
コンピュータに、
表示部を構成する画素の出射した光の被写体による反射光が撮像装置により撮影される前記被写体の画像に与える影響度を算出するために必要な補正用データを算出するステップと、
前記補正用データにもとづいて前記画素の出射した光が前記被写体の画像に与える影響度を算出するステップと、
前記画素の出射した光の前記被写体による反射光の影響を受けつつ前記撮像装置が撮影した前記被写体の画像を取得するステップと、
前記被写体の撮影時における前記表示部を構成する画素の発光色の情報を取得するステップと、
前記被写体の画像を、前記被写体の撮影時の前記画素の発光色の情報と、前記画素の出射した光が前記被写体の画像に与える影響度と、にもとづいて補正するステップと、
を実行させることを特徴とするカラーバランス補正プログラム。
【請求項７】
コンピュータに、
前記表示部を構成する前記全ての画素が消光状態にある場合と、前記表示部を構成する前記全ての画素が３原色を構成する各原色で単一色発光状態にある場合と、のそれぞれの場合において前記撮像装置が同一対象物を撮影した画像を取得するステップ、
をさらに実行させるとともに、
前記補正用データを算出するステップは、
前記表示部を構成する前記全ての画素が消光状態にある場合において取得された前記画像についてこの画像の画素値の前記原色ごとの平均値を第１の補正用データとして算出するステップと、
前記表示部を構成する前記全ての画素が第１の原色で発光状態にある場合において取得された前記画像についてこの画像の画素値の前記原色ごとの平均値を第２の補正用データとして算出するステップと、
前記表示部を構成する前記全ての画素が第２の原色で発光状態にある場合において取得された前記画像についてこの画像の画素値の前記原色ごとの平均値を第３の補正用データとして算出するステップと、
前記表示部を構成する前記全ての画素が第３の原色で発光状態にある場合において取得された前記画像についてこの画像の画素値の前記原色ごとの平均値を第４の補正用データとして算出するステップと、
を有し、
前記画素の出射した光が前記被写体の画像に与える影響度を算出するステップは、
前記第１〜前記第４の補正用データにもとづいて、前記画素の出射する光を構成する前記各原色が前記被写体の画像の画素値に与える変化率を算出するステップである、
請求項６記載のカラーバランス補正プログラム。
【請求項８】
コンピュータに、
前記撮像装置における照度の情報を取得するステップ、
をさらに実行させ、
前記被写体の画像を取得するステップは、
前記表示部を構成する前記全ての画素の発光色の情報にもとづいて前記表示部を構成する前記全ての画素における前記原色ごとの平均値を算出するステップであり、
前記照度の情報を取得するステップは、
前記表示部を構成する前記全ての画素が消光状態にある場合において前記撮像装置が前記同一対象物を撮影した時の前記撮像装置における照度の情報を第５の補正用データとして取得するステップと、
前記被写体の撮影時の前記撮像装置における照度の情報を第６の補正用データとして取得するステップと、
を有し、
前記補正するステップは、
前記被写体の画像を、前記被写体の撮影時の前記表示部を構成する前記全ての画素における前記原色ごとの平均値と、前記第５および前記第６の補正用データと、前記画素の出射する光を構成する前記各原色が前記被写体の画像の画素値に与える変化率と、にもとづいて補正するステップである、
請求項７記載のカラーバランス補正プログラム。
【請求項９】
表示部を構成する画素の出射した光の被写体による反射光が撮像装置により撮影される前記被写体の画像に与える影響度を算出するために必要な補正用データを算出するステップと、
前記補正用データにもとづいて前記画素の出射した光が前記被写体の画像に与える影響度を算出するステップと、
前記画素の出射した光の前記被写体による反射光の影響を受けつつ前記撮像装置が撮影した前記被写体の画像を取得するステップと、
前記被写体の撮影時における前記表示部を構成する画素の発光色の情報を取得するステップと、
前記被写体の画像を、前記被写体の撮影時の前記画素の発光色の情報と、前記画素の出射した光が前記被写体の画像に与える影響度と、にもとづいて補正するステップと、
を有することを特徴とするカラーバランス補正方法。
【請求項１０】
前記表示部を構成する前記全ての画素が消光状態にある場合と、前記表示部を構成する前記全ての画素が３原色を構成する各原色で単一色発光状態にある場合と、のそれぞれの場合において前記撮像装置が同一対象物を撮影した画像を取得するステップ、
をさらに有し、
前記補正用データを算出するステップは、
前記表示部を構成する前記全ての画素が消光状態にある場合において取得された前記画像についてこの画像の画素値の前記原色ごとの平均値を第１の補正用データとして算出するステップと、
前記表示部を構成する前記全ての画素が第１の原色で発光状態にある場合において取得された前記画像についてこの画像の画素値の前記原色ごとの平均値を第２の補正用データとして算出するステップと、
前記表示部を構成する前記全ての画素が第２の原色で発光状態にある場合において取得された前記画像についてこの画像の画素値の前記原色ごとの平均値を第３の補正用データとして算出するステップと、
前記表示部を構成する前記全ての画素が第３の原色で発光状態にある場合において取得された前記画像についてこの画像の画素値の前記原色ごとの平均値を第４の補正用データとして算出するステップと、
を有し、
前記画素の出射した光が前記被写体の画像に与える影響度を算出するステップは、
前記第１〜前記第４の補正用データにもとづいて、前記画素の出射する光を構成する前記各原色が前記被写体の画像の画素値に与える変化率を算出するステップである、
請求項９記載のカラーバランス補正方法。
【請求項１１】
前記撮像装置における照度の情報を取得するステップ、
をさらに有し
前記被写体の画像を取得するステップは、
前記表示部を構成する前記全ての画素の発光色の情報にもとづいて前記表示部を構成する前記全ての画素における前記原色ごとの平均値を算出するステップであり、
前記照度の情報を取得するステップは、
前記表示部を構成する前記全ての画素が消光状態にある場合において前記撮像装置が前記同一対象物を撮影した時の前記撮像装置における照度の情報を第５の補正用データとして取得するステップと、
前記被写体の撮影時の前記撮像装置における照度の情報を第６の補正用データとして取得するステップと、
を有し、
前記補正するステップは、
前記被写体の画像を、前記被写体の撮影時の前記表示部を構成する前記全ての画素における前記原色ごとの平均値と、前記第５および前記第６の補正用データと、前記画素の出射する光を構成する前記各原色が前記被写体の画像の画素値に与える変化率と、にもとづいて補正するステップである、
請求項１０記載のカラーバランス補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の周囲の光源の影響を考慮した画像データを取得する情報処理装置、カラーバランス補正プログラムおよびカラーバランス補正方法に関する。
【背景技術】
【０００２】
一般に、カメラなどの撮像装置により取得される画像は、撮像装置の周囲に光源が存在する場合、この光源の影響を強く受ける。従来、この種の撮像装置の周囲の光源の影響を考慮した画像データを取得する技術に、特開２００３−１１１９０８６号公報（特許文献１）に開示された技術がある。
【０００３】
この特許文献１に開示されたカラーバランス調整方法は、カラーバランス調整機能及び通信機能を有するカメラと、通信機能を有し照明機器を制御する照明制御手段と、の間で交信を行い、照明機器による照明の下で撮影を行う際に、照明制御手段が保持する照明機器の照明光特性情報を利用してカメラにより取得される画像のカラーバランスを調整する方法である。このカラーバランス調整方法によれば、カメラにより取得される画像に影響を及ぼす照明機器の照明光の光量を照明光制御手段により制御可能とし、この照明機器の照明光特性情報を利用することにより、カメラにより取得される画像に対して光源の種類に応じたカラーバランス調整を施すことができるようになっている。
【特許文献１】特開２００３−１１１０８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、最近、携帯電話機やノートブック型のパーソナルコンピュータなどの情報処理装置には、内蔵機器の一つとしてカメラを有するものがある。この種の情報処理装置に内蔵されたカメラにより取得される画像は、光源としての表示部の表示内容に影響を受けてしまう。この影響は、特に情報処理装置の表示部と同一平面上にカメラが設けられている場合に顕著となる。
【０００５】
しかし、従来の技術は、カメラに対する照明機器の照明光の影響については考慮しているものの、この種の表示部近傍に設けられたカメラに対する光源としての表示部の影響については考慮していない。表示部により表示される内容は、ユーザの利用形態に応じて多種多様に変化する。このため、従来の技術では、この種の光源としての表示部によるカメラに対する影響を補正することはできない。
【０００６】
本発明は、上述した事情を考慮してなされたもので、撮像装置により取得される画像に対する光源としての表示部による影響を補正することができる情報処理装置、カラーバランス補正プログラムおよびカラーバランス補正方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る情報処理装置は、上述した課題を解決するために、複数の画素により構成された表示部と、前記表示部を構成する全ての前記画素の発光色の情報を取得する表示画像解析部と、前記画素の出射した光の被写体による反射光の影響を受けつつ撮像装置が撮影した前記被写体の画像を取得する撮影画像取得部と、前記被写体の画像を、前記被写体の撮影時の前記全ての画素の発光色の情報にもとづいて補正する補正部と、を備えたことを特徴とするものである。
【０００８】
一方、本発明に係るカラーバランス補正プログラムは、上述した課題を解決するために、コンピュータに、表示部を構成する画素の出射した光の被写体による反射光が撮像装置により撮影される前記被写体の画像に与える影響度を算出するために必要な補正用データを算出するステップと、前記補正用データにもとづいて前記画素の出射した光が前記被写体の画像に与える影響度を算出するステップと、前記画素の出射した光の前記被写体による反射光の影響を受けつつ前記撮像装置が撮影した前記被写体の画像を取得するステップと、前記被写体の撮影時における前記表示部を構成する画素の発光色の情報を取得するステップと、前記被写体の画像を、前記被写体の撮影時の前記画素の発光色の情報と、前記画素の出射した光が前記被写体の画像に与える影響度と、にもとづいて補正するステップと、を実行させることを特徴とするプログラムである。
【０００９】
さらに、本発明に係るカラーバランス補正方法は、上述した課題を解決するために、表示部を構成する画素の出射した光の被写体による反射光が撮像装置により撮影される前記被写体の画像に与える影響度を算出するために必要な補正用データを算出するステップと、前記補正用データにもとづいて前記画素の出射した光が前記被写体の画像に与える影響度を算出するステップと、前記画素の出射した光の前記被写体による反射光の影響を受けつつ前記撮像装置が撮影した前記被写体の画像を取得するステップと、前記被写体の撮影時における前記表示部を構成する画素の発光色の情報を取得するステップと、前記被写体の画像を、前記被写体の撮影時の前記画素の発光色の情報と、前記画素の出射した光が前記被写体の画像に与える影響度と、にもとづいて補正するステップと、を有することを特徴とする方法である。
【発明の効果】
【００１０】
本発明に係る情報処理装置、カラーバランス補正プログラムおよびカラーバランス補正方法によれば、撮像装置により取得される画像に対する光源としての表示部による影響を補正することができる。
【発明を実施するための最良の形態】
【００１１】
本発明に係る情報処理装置、カラーバランス補正プログラムおよびカラーバランス補正方法の実施の形態について、添付図面を参照して説明する。
【００１２】
図１は、本発明に係る情報処理装置の第１実施形態を示す概略的な外観図である。なお、本発明は、表示部近傍に設けられた撮像装置による撮影画像を取得可能なパーソナルコンピュータ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、携帯型ゲーム機、テレビジョン受像装置などの種々の情報処理装置に適用することができる。図１には、本発明に係る情報処理装置として、ノートブック型のパーソナルコンピュータ（以下パーソナルコンピュータという）を用いる場合の一例について示した。
【００１３】
図１に示すように、パーソナルコンピュータ１０は、コンピュータ本体１１および表示装置としてのディスプレイユニット１２を備える。
【００１４】
コンピュータ本体１１は、薄い箱形の筐体を有し、この筐体上面の中央部には、入力部１３としてのキーボードが設けられる。コンピュータ本体１１の筐体上面の手前側には、パームレストが形成される。
【００１５】
ディスプレイユニット１２は、表示部１４を有し、コンピュータ本体１１に対し開閉自在に支持する連結部（ヒンジ）１５を介して連結される。また、ディスプレイユニット１２の表示部１４の上側中央部には、撮像装置としての撮像部１６が設けられる。
【００１６】
図２は、パーソナルコンピュータ１０の内部構成例を概略的に示すブロック図である。
【００１７】
図２に示すように、パーソナルコンピュータ１０は、入力部１３、表示部１４、撮像部１６、ネットワーク接続部２１、主制御部２２および補正用データ記憶部２３を有する。
【００１８】
入力部１３は、たとえばキーボード、タッチパネル、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号をＣＰＵに出力する。
【００１９】
表示部１４は、たとえば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの一般的な表示出力装置を適用することができる。表示部１４は、複数の画素により構成され、各画素の発光色を主制御部２２に制御されることにより各種情報を表示する。以下の説明では、表示部１４に表示された画像を「表示画像」または「モニタ画像」というものとする。
【００２０】
撮像部１６は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成され、パーソナルコンピュータ１０の周辺の映像を取り込んで映像信号を生成して主制御部２２に与える。主制御部２２は、撮像部１６から受けた映像信号にもとづく画像を生成して表示部１４に表示する。以下の説明では、撮像部１６から取得した映像信号にもとづく画像を「撮影画像」または「キャプチャ画像」というものとする。撮影部が生成する映像信号には撮影画像（キャプチャ画像）の画素値の情報が含まれる、主制御部２２は、この映像信号から撮影画像を構成する各画素の画素値のＲ、ＧおよびＢを得ることができる。
【００２１】
ネットワーク接続部２１は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続部２１は、この各種プロトコルに従ってパーソナルコンピュータ１０と他の電気機器とを接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線ＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
【００２２】
主制御部２２は、ＣＰＵ、ＲＡＭおよびＲＯＭをはじめとする記憶媒体などにより構成され、この記憶媒体に記憶されたプログラムに従って、パーソナルコンピュータ１０の処理動作を制御する。
【００２３】
主制御部２２のＣＰＵは、ＲＯＭをはじめとする記憶媒体に記憶されたカラーバランス補正プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、撮像部１６により取得される画像に対する光源としての表示部１４による影響を補正するための処理を実行する。
【００２４】
主制御部２２のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。
【００２５】
主制御部２２のＲＯＭをはじめとする記憶媒体は、パーソナルコンピュータ１０の起動プログラム、カラーバランス補正プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。
【００２６】
なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。
【００２７】
図３は、主制御部２２のＣＰＵによる機能実現部の構成例を示す概略的なブロック図である。なお、この機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。
【００２８】
図３に示すように、主制御部２２のＣＰＵは、カラーバランス補正プログラムによって、少なくとも撮影画像取得部３１、補正用データ算出部３２、照度取得部３３、表示画像解析部３４、変化率算出部３５および補正部３６として機能する。この各部３１〜３６は、ＲＡＭの所要のワークエリアを、データの一時的な格納場所として利用する。
【００２９】
撮影画像取得部３１は、撮像部１６から映像信号を受け、この映像信号にもとづく画像（撮影画像）を生成することにより、撮像部１６による撮影画像（キャプチャ画像）を取得する。撮影画像取得部３１は、この撮影画像を補正用データ算出部３２および補正部３６に与える。
【００３０】
補正用データ算出部３２は、表示部１４の画素が出射した光の被写体による反射光が被写体の撮影画像に与える影響度を算出するために必要な補正用データを算出する。
【００３１】
照度取得部３３は、撮像部１６における照度の情報を取得する。たとえば撮像部１６が自動露出機能を有するカメラである場合、一般に、撮像部１６は内部露出計により測光している。この場合は、照度取得部３３は、この撮像部１６が有する内部露出計の出力から撮像部１６における照度の情報を取得するとよい。また、撮像部１６が内部露出計を有さない場合には、撮像部１６の映像信号出力にもとづいて例えばフレームレートから撮像部１６における照度の情報を取得してもよいし、撮像部１６の近傍に図示しない露出計を設けてこの露出計の出力から撮像部１６における照度の情報を取得してもよい。
【００３２】
表示画像解析部３４は、表示部１４を構成する全ての画素の発光色の情報を取得する。換言すると、表示画像解析部３４は、表示部１４に現在表示されているモニタ画像の画素値の情報をオペレーティングシステム（ＯＳ：Operating System、以下ＯＳという）から取得する。そして、表示画像解析部３４は、表示部１４を構成する全ての画素の発光色の情報にもとづいて、表示部１４を構成する全ての画素の画素値のＲ、ＧおよびＢのそれぞれの平均値Ｒｍ、ＧｍおよびＢｍを算出し、補正部３６に与える。
【００３３】
変化率算出部３５は、補正用データ記憶部２３に記憶された補正用データにもとづいて、表示部１４の画素が出射した光が被写体の撮影画像に与える影響度を算出する。
【００３４】
補正部３６は、少なくとも被写体の撮影時の全ての画素の発光色の情報にもとづいて、すなわち少なくとも被写体の撮影時に表示部１４に表示されていたモニタ画像の画素値の情報にもとづいて、被写体の画像を補正する。
【００３５】
補正用データ記憶部２３は、表示部１４の画素が出射した光の被写体による反射光が被写体の撮影画像に与える影響度を算出するために必要な補正用データを記憶する。また、補正用データ記憶部２３は、あらかじめ変化率算出部３５により利用される計算式を記憶しておく。
【００３６】
次に、本実施形態に係るパーソナルコンピュータ１０の動作の一例について説明する。
【００３７】
図４は、主制御部２２により、表示部１４の画素が出射するＲ（赤色）、Ｇ（緑色）およびＢ（青色）の光のそれぞれが被写体の撮影画像に与える影響度を算出するために必要な補正用データを取得するためのキャリブレーションを実行する際の手順を示すフローチャートである。図４において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。
【００３８】
この手順は、撮像部１６の前の所要の距離（たとえば１０ｃｍなど）に同一対象物としての白い紙を置いた時点でスタートとなる。
【００３９】
まず、ステップＳ１において、撮影画像取得部３１は、表示部１４を構成する全ての画素が消光状態にある、すなわち表示部１４がＯＦＦの場合における撮影画像を取得する。この撮影画像は、撮像部１６の前方の所要の距離にある白い紙を撮像部１６により撮影した画像である。
【００４０】
次に、ステップＳ２において、補正用データ算出部３２は、表示部１４がＯＦＦの場合における撮影画像の画素値のＲ、ＧおよびＢのそれぞれの平均値ｒ０、ｇ０、ｂ０を第１の補正用データとして算出し、補正用データ記憶部２３に記憶させる。
【００４１】
次に、ステップＳ３において、照度取得部３３は、撮像部１６における現在の照度Ｃ０の情報を取得する。この照度Ｃ０は、撮像部１６の前方の所要の距離に白い紙が置かれ、かつ表示部１４がＯＦＦである状態での撮像部１６における照度である。
【００４２】
次に、ステップＳ４において、撮影画像取得部３１は、表示部１４を構成する全ての画素が赤色に発光している場合（表示部１４が赤色の単一色表示の場合）における白い紙の撮影画像を取得する。
【００４３】
次に、ステップＳ５において、補正データ算出部は、表示部１４を構成する全ての画素が赤色に発光している場合における撮影画像の画素値のＲ、ＧおよびＢのそれぞれの平均値ｒＲ、ｇＲ、ｂＲを第２の補正用データとして算出し、補正用データ記憶部２３に記憶させる。
【００４４】
次に、ステップＳ６において、撮影画像取得部３１は、表示部１４を構成する全ての画素が緑色に発光している場合における白い紙の撮影画像を取得する。
【００４５】
次に、ステップＳ７において、補正データ算出部は、表示部１４を構成する全ての画素が緑色に発光している場合における撮影画像の画素値のＲ、ＧおよびＢのそれぞれの平均値ｒＧ、ｇＧ、ｂＧを第３の補正用データとして算出し、補正用データ記憶部２３に記憶させる。
【００４６】
次に、ステップＳ８において、撮影画像取得部３１は、表示部１４を構成する全ての画素が青色に発光している場合における白い紙の撮影画像を取得する。
【００４７】
次に、ステップＳ９において、補正データ算出部は、表示部１４を構成する全ての画素が青色に発光している場合における撮影画像の画素値のＲ、ＧおよびＢのそれぞれの平均値ｒＢ、ｇＢ、ｂＢを第４の補正用データとして算出し、補正用データ記憶部２３に記憶させる。
【００４８】
以上の手順により、表示部１４の画素が出射した光の被写体による反射光が被写体の撮影画像に与える影響度を算出するために必要な補正用データを取得するためのキャリブレーションを実行することができる。
【００４９】
図５は、主制御部２２により、撮像部１６により取得される画像に対する光源としての表示部１４による影響を補正する際の手順を示すフローチャートである。図５において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。
【００５０】
まず、ステップＳ２１において、撮影画像取得部３１は、被写体の撮影画像を取得する。この撮影画像は、表示部１４の画素が出射した光の被写体による反射光の影響を受けている。
【００５１】
次に、ステップＳ２２において、照度取得部３３は、撮像部１６における現在の照度Ｃの情報を取得する。この照度Ｃは、周囲の光源に由来する環境光の影響を大きく受けている。照度Ｃが照度Ｃ０よりも大きければ大きいほど、光源としての表示部１４による撮影画像への影響は小さくなる。
【００５２】
次に、ステップＳ２３において、表示画像解析部３４は、被写体の撮影時に表示部１４に表示されていたモニタ画像の画素値の情報をＯＳから取得する。そして、表示画像解析部３４は、表示部１４を構成する全ての画素の発光色の情報にもとづいて、表示部１４を構成する全ての画素の画素値のＲ、ＧおよびＢのそれぞれの平均値Ｒｍ、ＧｍおよびＢｍを算出し、補正部３６に与える。
【００５３】
次に、ステップＳ２４において、変化率算出部３５は、補正用データ記憶部２３に記憶された補正用データにもとづいて、表示部１４の画素が出射した光が被写体の撮影画像に与える影響度を算出する。より具体的には、変化率算出部３５は、第１〜第４の補正用データにもとづいて、表示部１４の画素が出射するＲ（赤色）、Ｇ（緑色）およびＢ（青色）の光が被写体の撮影画像の画素値のＲ、ＧおよびＢに与える変化率を算出する。
【００５４】
表示部１４の画素が出射するＲ（赤色）、Ｇ（緑色）およびＢ（青色）の光が被写体の撮影画像の画素値のＲ、ＧおよびＢに与える変化率を第１〜第４の補正用データにもとづいて算出するために、まず、表示部１４がＯＦＦの場合の撮影画像の画素値のＲ、ＧおよびＢの割合から表示部１４がＲＧＢいずれかの単一色表示の場合の撮影画像の画素値のＲ、ＧおよびＢの割合への変化率を算出するための式ｄ（ｘ０、ｘ１）を定義する。ただし、ｘ０は表示部１４がＯＦＦの場合の撮影画像の画素値のＲ、ＧおよびＢを表し、ｘ１は表示部１４がＲＧＢいずれかの単一色表示の場合の撮影画像の画素値のＲ、ＧおよびＢの割合を表す。
【００５５】
たとえば、表示部１４が赤色の単一色表示の場合、ＲＧＢそれぞれの画素値の変化率ΔｒＲ、ΔｇＲ、ΔｂＲ（以下、ΔＲと総称する）を次のように定義する。
【数１】
2010154174.tif 000003
【００５６】
式（１）〜式（３）と同様に、緑色の単一色表示の場合および青色の単一色表示の場合におけるＲＧＢそれぞれの画素値の変化率ΔｒＧ、ΔｇＧ、ΔｂＧ（以下、ΔＧと総称する）およびΔｒＢ、ΔｇＢ、ΔｂＢ（以下、ΔＢと総称する）を定義する。
【００５７】
具体的な一例としては、たとえば次の式（４）〜（６）を挙げることができる。ただしこの式（４）〜（６）には赤色の単一表示の場合のみ示した。
【数２】
2010154174.tif 000004
【００５８】
この式（４）〜（６）を用いる場合は、変化率算出部３５は、ステップＳ２４において、第１〜第４の補正用データを式（４）〜（６）に代入することにより、表示部１４の画素が出射するＲ（赤色）の光が被写体の撮影画像の画素値のＲ、ＧおよびＢに与える変化率ΔｒＲ、ΔｇＲ、ΔｂＲを容易に算出することができる。Ｇ（緑色）およびＢ（青色）についても同様に容易に算出することができる。式（４）〜（６）を用いる場合は、図５に示す手順の開始前に補正用データ記憶部２３にこの式（４）〜（６）などを記憶させておく。
【００５９】
なお、このステップＳ２４は、図４のステップＳ９に続いて行われてもよい。ステップＳ２４に相当する手順が図４のステップＳ９に続いて行われた場合は、変化率算出部３５はこの結果得られた変化率を補正用データ記憶部２３に記憶しておき、このステップＳ２４では変化率算出部３５はこの変化率を補正用データ記憶部２３から取得するだけでよい。
【００６０】
次に、ステップＳ２５において、補正部３６は、被写体の撮影画像を、Ｒｍ、ＧｍおよびＢｍ（被写体の撮影時の表示部１４を構成する全ての画素の画素値のＲ、ＧおよびＢのそれぞれの平均値）と、Ｃ０およびＣ（第５および第６の補正用データ）と、ΔＲ、ΔＧおよびΔＢ（変化率算出部３５により算出された表示部１４の画素が出射するＲ（赤色）、Ｇ（緑色）およびＢ（青色）の光が被写体の撮影画像の画素値のＲ、ＧおよびＢに与える変化率）と、にもとづいて補正する。
【００６１】
より具体的には、撮影画像の画素値のＲ、ＧおよびＢのそれぞれの値を補正するための比率ｆ（ΔＲ、ΔＧ、ΔＢ、Ｒｍ、Ｇｍ、Ｂｍ、Ｃ０、Ｃ）は、各単一色表示における変化率ΔＲ、ΔＧおよびΔＢに対し、撮影の瞬間に表示部１４を構成する全ての画素の画素値のＲ、ＧおよびＢのそれぞれの平均値を用いて重み計算をするとともに、キャリブレーション時の照度Ｃ０と撮影時の照度Ｃとでこの変化率に対し重み計算をするように定義する。
【００６２】
撮影画像（キャプチャ画像）の画素値をｒｃ、ｇｃおよびｂｃとすると、補正後の画素値ｒｃ´、ｇｃ´およびｂｃ´は、ｒｃ´＝ｒｃ×ｆ（ΔＲ、ΔＧ、ΔＢ、Ｒｍ、Ｇｍ、Ｂｍ、Ｃ０、Ｃ）、ｇｃ´＝ｇｃ×ｆ（ΔＲ、ΔＧ、ΔＢ、Ｒｍ、Ｇｍ、Ｂｍ、Ｃ０、Ｃ）、ｇｃ´＝ｇｃ×ｆ（ΔＲ、ΔＧ、ΔＢ、Ｒｍ、Ｇｍ、Ｂｍ、Ｃ０、Ｃ）の各式により算出される。
【００６３】
具体的な一例としては、たとえば次の式（７）〜（９）を挙げることができる（ただし、式（７）〜（９）において、Ｍは画素値の最大値を表す）。
【数３】
2010154174.tif 000005
【００６４】
以上の手順により、撮像部１６により取得される画像に対する光源としての表示部１４による影響を補正することができる。
【００６５】
本実施形態に係るパーソナルコンピュータ１０は、表示部１４の画素が出射した光が被写体の撮影画像に与える影響を考慮し、あらかじめキャリブレーションを行って取得した第１〜第６の補正用データを利用することにより、バックライトそのものの光源による影響（冷陰極管であれば緑がかった色になるなどの影響）を補正可能であるとともに、撮影時に表示部１４に表示されていた画像の色の傾向を解析して撮影画像の補正を行うことができる。
【００６６】
このため、本実施形態に係るパーソナルコンピュータ１０によれば、表示部１４の光源としての影響が大きくなる暗い環境での撮影においても自然な色バランスに補正された撮影画像を得ることができる。また、パーソナルコンピュータ１０の表示部１４の表示内容の変化が激しい場合であっても、撮影時の表示色の傾向を補正に反映することができるため、常に一定の色バランスの撮影画像を得ることができる。
【００６７】
さらに、本実施形態に係るパーソナルコンピュータ１０は、表示部１４の画素が出射した光が被写体の撮影画像に与える影響を補正する際に撮像部１６における照度を考慮している。このため、環境光の明るさによって変化する表示部１４の光源としての影響度に対応することができる。したがって、本実施形態に係るパーソナルコンピュータ１０によれば、表示部１４の光源としての影響が小さくなる屋外などの明るい環境での撮影では補正を抑えることができ、補正によって色バランスを崩すことはない。
【００６８】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【００６９】
たとえば、本発明は、本実施形態で説明したノートブック型のパーソナルコンピュータ１０のほかにも、表示部１４近傍に設けられた撮像装置による撮影画像を取得可能なパーソナルコンピュータ１０、携帯電話機、ＰＤＡ（Personal Digital Assistant）、携帯型ゲーム機、テレビジョン受像装置などの種々の情報処理装置に適用することが可能である。
【００７０】
また、撮像部１６は、被写体が表示部１４を光源とする光を反射する位置に設置され、かつ撮像部１６と情報処理装置との位置関係が固定されていれば、図４に示した手順によりキャリブレーションを適用することができるため、図１に示すような内蔵カメラである必要はない。
【００７１】
また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
【図面の簡単な説明】
【００７２】
【図１】本発明に係る情報処理装置の第１実施形態を示す概略的な外観図。
【図２】パーソナルコンピュータの内部構成例を概略的に示すブロック図。
【図３】主制御部のＣＰＵによる機能実現部の構成例を示す概略的なブロック図。
【図４】主制御部により、表示部の画素が出射するＲ（赤色）、Ｇ（緑色）およびＢ（青色）のそれぞれが被写体の撮影画像に与える影響度を算出するために必要な補正用データを取得するためのキャリブレーションを実行する際の手順を示すフローチャート。
【図５】主制御部により、撮像部により取得される画像に対する光源としての表示部による影響を補正する際の手順を示すフローチャート。
【符号の説明】
【００７３】
１０  パーソナルコンピュータ
１１  コンピュータ本体
１２  ディスプレイユニット
１３  入力部
１４  表示部
１５  連結部
１６  撮像部
２１  ネットワーク接続部
２２  主制御部
２３  補正用データ記憶部
３１  撮影画像取得部
３２  補正用データ算出部
３３  照度取得部
３４  表示画像解析部
３５  変化率算出部
３６  補正部
【図１】
2010154174.tif 000006
【図２】
2010154174.tif 000007
【図３】
2010154174.tif 000008
【図４】
2010154174.tif 000009
【図５】
2010154174.tif 000010