(57)【要約】【課題】スマートフォン等のフロントカメラでの暗時の適切な撮像を実現できるようにする。【解決手段】白色光発光部であるLCDのバックライトを強く発光させることで白色光を発光し、ライブビュー画像を撮像するための赤外光を発する赤外光発光部を消灯する、撮像部は、前記可視光画像を撮像する。本開示は、撮像装置に適用することができる。【選択図】図２
2017098863.tif 000002
【特許請求の範囲】
【請求項１】
赤外光画像および可視光画像を撮像する撮像部と、
白色光を発光する白色光発光部と、
赤外光を発光する赤外光発光部とを含み、
前記白色光発光部は白色光を発光し、かつ、前記赤外光発光部は赤外光を消灯するとき、前記撮像部は、前記可視光画像を撮像する
情報処理装置。
【請求項２】
前記赤外光画像および前記可視光画像を合成する合成部をさらに含み、
前記白色光発光部は白色光を発光し、かつ、前記赤外光発光部は赤外光を消灯するとき、前記撮像部は、前記可視光画像を撮像し、
その前、または、その後、前記白色光発光部は白色光を消灯、または微発光し、かつ、前記赤外光発光部は赤外光を発光するとき、前記撮像部は、前記赤外光画像を撮像する
請求項１に記載の情報処理装置。
【請求項３】
前記合成部は、
前記可視光画像を輝度信号および色差信号に分離する分離部と、
前記赤外光画像の画素信号を前記輝度信号とみなして、前記分離部により分離された前記色差信号と合成する赤外光色差合成部とを含む
請求項２に記載の情報処理装置。
【請求項４】
前記合成部は、前記可視光画像のノイズを除去するノイズ除去部をさらに含み、
前記分離部は、前記ノイズ除去部によりノイズが除去された前記可視光画像を前記輝度信号および前記色差信号に分離する
請求項３に記載の情報処理装置。
【請求項５】
前記合成部は、前記分離部により分離された輝度信号を用いて、前記赤外光画像の画素信号の信号レベルを補正する信号レベル補正部をさらに含み、
前記赤外光色差合成部は、前記信号レベル補正部により信号レベルが補正された、前記赤外光画像の画素信号を前記輝度信号とみなして、前記分離部により分離された前記色差信号と合成する
請求項３に記載の情報処理装置。
【請求項６】
静止画の撮像が指示された場合、
前記白色光発光部は白色光を発光し、かつ、前記赤外光発光部は赤外光を消灯するとき、前記撮像部は、前記可視光画像を撮像し、
その前、または、その後、前記白色光発光部は白色光を消灯、または微発光し、かつ、前記赤外光発光部は赤外光を発光するとき、前記撮像部は、前記赤外光画像を撮像する
請求項２に記載の情報処理装置。
【請求項７】
ライブビュー画像を撮像する場合、
前記白色光発光部は白色光を発光し、かつ、前記赤外光発光部は赤外光を消灯するとき、前記撮像部は、前記可視光画像を撮像し、
その前、または、その後、前記白色光発光部は白色光を消灯、または微発光し、かつ、前記赤外光発光部は赤外光を発光するとき、前記撮像部は、前記赤外光画像を撮像する
請求項２に記載の情報処理装置。
【請求項８】
前記白色光発光部は、前記LED（Light Emission Diode）である
請求項１に記載の情報処理装置。
【請求項９】
前記撮像部により撮像された画像を表示する表示部を含み、
前記白色光発光部は、前記表示部のバックライトである
請求項１に記載の情報処理装置。
【請求項１０】
前記撮像部、前記赤外光発光部、および白色光発光部は、本体の同一面に設けられている
請求項１に記載の情報処理装置。
【請求項１１】
前記撮像部、前記赤外光発光部、および白色光発光部は、本体の表面に設けられている
請求項１０に記載の情報処理装置。
【請求項１２】
赤外光画像および可視光画像を撮像する撮像部と、
白色光を発光する白色光発光部と、
赤外光を発光する赤外光発光部とを含む情報処理装置の情報処理方法であって、
前記白色光発光部は白色光を発光し、かつ、前記赤外光発光部は赤外光を消灯するとき、前記撮像部は、前記可視光画像を撮像する
情報処理方法。
【請求項１３】
赤外光画像および可視光画像を撮像する撮像部と、
白色光を発光する白色光発光部と、
赤外光を発光する赤外光発光部としてコンピュータを機能させ、
前記白色光発光部は白色光を発光し、かつ、前記赤外光発光部は赤外光を消灯するとき、前記撮像部は、前記可視光画像を撮像する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、スマートフォン等のフロントカメラでの暗時の適切な撮像を実現できるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
スマートフォンには、通話するためのマイク、スピーカ、およびLCD（Liquid Crystal Display）などからなるディスプレイなどが設けられた表面と、その背面にそれぞれカメラが設けられている。
【０００３】
背面側に設けられたカメラは、比較的高精細で高感度であり、照明などが設けられることもあるが、表面側に設けられるフロントカメラは、通常精度も低く、また、照明なども無いため、暗く、特に動画やライブビュー（静止画撮像の前のスルー画像）が見えない。
【０００４】
そこで、LCDのバックライトを明るくし照明として利用する技術が提案されている（特許文献１参照）。
【０００５】
また、LED（Light Emission Diode）などからなる補助光を使うことで被写体を明るく映し出す技術が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１１０７１７号公報
【特許文献２】特開２００７−０８１４８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、フロントカメラでは、周辺外光が無く、暗い環境下では十分な光量が得られないため適切な画像を撮像することができない恐れがあった。
【０００８】
また、特許文献１の技術においては、LCDのバックライトを照明代わりに使用することは可能であるが、バックライトによる照明が明るすぎるため画角の確認が困難になる可能性があった。
【０００９】
さらに、特許文献２の技術においては、LEDの補助光を利用する場合、表示部の付近に設けられることになるため、現実にはまぶしいため視認性がよくない。
【００１０】
本開示は、このような状況に鑑みてなされたものであり、特に、スマートフォン等のフロントカメラでの暗時の適切な撮像を実現できるようにするものである。
【課題を解決するための手段】
【００１１】
本開示の一側面の情報処理装置は、赤外光画像および可視光画像を撮像する撮像部と、白色光を発光する白色光発光部と、赤外光を発光する赤外光発光部とを含み、前記白色光発光部は白色光を発光し、かつ、前記赤外光発光部は赤外光を消灯するとき、前記撮像部は、前記可視光画像を撮像する情報処理装置である。
【００１２】
前記赤外光画像および前記可視光画像を合成する合成部をさらに含ませるようにすることができ、前記白色光発光部は白色光を発光し、かつ、前記赤外光発光部は赤外光を消灯するとき、前記撮像部には、前記可視光画像を撮像させ、その前、または、その後、前記白色光発光部は白色光を消灯、または微発光させ、かつ、前記赤外光発光部は赤外光を発光するとき、前記撮像部には、前記赤外光画像を撮像させるようにすることができる。
【００１３】
前記合成部には、前記可視光画像を輝度信号および色差信号に分離する分離部と、前記赤外光画像の画素信号を前記輝度信号とみなして、前記分離部により分離された前記色差信号と合成する赤外光色差合成部とを含ませるようにすることができる。
【００１４】
前記合成部には、前記可視光画像のノイズを除去するノイズ除去部をさらに含ませるようにすることができ、前記分離部には、前記ノイズ除去部によりノイズが除去された前記可視光画像を前記輝度信号および前記色差信号に分離させるようにすることができる。
【００１５】
前記合成部には、前記分離部により分離された輝度信号を用いて、前記赤外光画像の画素信号の信号レベルを補正する信号レベル補正部をさらに含ませるようにすることができ、前記赤外光色差合成部には、前記信号レベル補正部により信号レベルが補正された、前記赤外光画像の画素信号を前記輝度信号とみなして、前記分離部により分離された前記色差信号と合成させるようにすることができる。
【００１６】
静止画の撮像が指示された場合、前記白色光発光部は白色光を発光し、かつ、前記赤外光発光部は赤外光を消灯するとき、前記撮像部には、前記可視光画像を撮像させ、その前、または、その後、前記白色光発光部は白色光を消灯、または微発光し、かつ、前記赤外光発光部は赤外光を発光するとき、前記撮像部には、前記赤外光画像を撮像させるようにすることができる。
【００１７】
ライブビュー画像を撮像する場合、前記白色光発光部は白色光を発光し、かつ、前記赤外光発光部は赤外光を消灯するとき、前記撮像部には、前記可視光画像を撮像させ、その前、または、その後、前記白色光発光部は白色光を消灯、または微発光し、かつ、前記赤外光発光部は赤外光を発光するとき、前記撮像部には、前記赤外光画像を撮像させるようにすることができる。
【００１８】
前記白色光発光部には、前記LED（Light Emission Diode）とすることができる。
【００１９】
前記撮像部により撮像された画像を表示する表示部を含ませるようにすることができ、前記白色光発光部には、前記表示部のバックライトとすることができる。
【００２０】
前記撮像部、前記赤外光発光部、および白色光発光部は、本体の同一面に設けられるようにすることができる。
【００２１】
前記撮像部、前記赤外光発光部、および白色光発光部は、本体の表面に設けられるようにすることができる。
【００２２】
本開示の一側面の情報処理方法は、赤外光画像および可視光画像を撮像する撮像部と、白色光を発光する白色光発光部と、赤外光を発光する赤外光発光部とを含む情報処理装置の情報処理方法であって、前記白色光発光部は白色光を発光し、かつ、前記赤外光発光部は赤外光を消灯するとき、前記撮像部は、前記可視光画像を撮像する情報処理方法である。
【００２３】
本開示の一側面のプログラムは、赤外光画像および可視光画像を撮像する撮像部と、白色光を発光する白色光発光部と、赤外光を発光する赤外光発光部としてコンピュータを機能させ、前記白色光発光部は白色光を発光し、かつ、前記赤外光発光部は赤外光を消灯するとき、前記撮像部は、前記可視光画像を撮像するプログラムである。
【００２４】
本開示の一側面においては、撮像部により赤外光画像および可視光画像が撮像され、白色光発光部により白色光が発光され、赤外光発光部により赤外光が発光され、前記白色光発光部により白色光が発光され、かつ、前記赤外光発光部により赤外光が消灯されるとき、前記撮像部により、前記可視光画像が撮像される。
【発明の効果】
【００２５】
本開示の一側面によれば、スマートフォン等のフロントカメラでの暗時の適切な撮像を実現することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】本開示を適用した情報処理装置の第１の実施の形態の構成を説明する外観斜視図である。
【図２】図１の情報処理装置の第１の実施の形態の構成例を説明するブロック図である。
【図３】図２の情報処理装置による撮像処理を説明するフローチャートである。
【図４】図２の情報処理装置による撮像処理を説明する図である。
【図５】本開示を適用した情報処理装置の第２の実施の形態の構成を説明する外観斜視図である。
【図６】図５の情報処理装置の第２の実施の形態の構成例を説明するブロック図である。
【図７】図６の情報処理装置による撮像処理を説明するフローチャートである。
【図８】情報処理装置の第３の実施の形態の構成例を説明するブロック図である。
【図９】図８の画像合成部の構成例を説明するブロック図である。
【図１０】図８の情報処理装置による撮像処理を説明するフローチャートである。
【図１１】図１０の合成処理を説明するフローチャートである。
【図１２】図８の情報処理装置による撮像処理を説明する図である。
【図１３】図８の情報処理装置による撮像処理の応用例を説明する図である。
【図１４】図１の画像処理装置の撮像部、赤外光発光部、および白色光発光部の配置パターンのバリエーションを説明する図である。
【図１５】図１の画像処理装置の撮像部、赤外光発光部、および白色光発光部の配置パターンのバリエーションを説明する図である。
【図１６】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための形態】
【００２７】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２８】
＜＜１．第１の実施の形態＞＞
＜第１の実施の形態の情報処理装置の外観斜視図＞
図１は、本開示を適用した情報処理装置の第１の実施の形態の構成例を示す外観斜視図である。図１の画像処理装置１１は、例えば、スマートフォンなどであり、タッチパネルからなる表示部３３が設けられた表面に対向する方向の画像を撮像するためのフロントカメラからなる撮像部３１、暗時に赤外光を撮像部３１の撮像方向に対して照射するIRLED（赤外光発光部）３２が設けられている。
【００２９】
図１においては、情報処理装置１１を把持するユーザＨが撮像部３１により撮像されており、表示部３３に撮像部３１により撮像されている画像がユーザＨ’として表示されている。
【００３０】
情報処理装置１１は、暗時において、撮像画角を確認するとき、赤外光発光部３２を制御して、ユーザでは視認できない赤外光を発光させて、この赤外光に応じたライブビュー画像を撮像して、表示部３３に表示する。
【００３１】
ここでいうライブビュー画像とは、例えば、通常の撮像における状態よりも低解像度で、かつ、低フレームレートの画像を略動画として表示部３３に表示される画像である。ユーザは、このライブビュー画像を見ながら画角を確認して、撮像位置を確定させる。したがって、ライブビュー画像は、ユーザに表示することを目的とした画像であるため、シャッタを操作する際に撮像する画像のように、記録メディアなどに記録させる画像ではない。
【００３２】
そして、情報処理装置１１は、操作入力部３３ａ（図２）からなるシャッタが操作されると、赤外光発光部３２の発光を低減させて（または、消灯させて）、表示部３３のバックライトを発光させると同時に、その瞬間の画像を撮像する。そして、情報処理装置１１は、撮像が終了すると、表示部３３のバックライトを消灯させると共に、赤外光発光部３２より赤外光を投光させて、ライブにビュー画像を撮像して、表示部３３に表示させる。
【００３３】
すなわち、図１の情報処理装置１１は、フロントカメラを利用して画像を撮像する際に、画角を特定させるまでの間は、まぶしさを感じることのない赤外光に基づいた画像からなるライブビュー画像を表示し、画角が特定されて、シャッタ操作がなされるときにのみ、表示部３３のバックライトをストロボライトのように発光させて画像を撮像する。
【００３４】
このような動作により、情報処理装置１１は、夜間などの暗時において、フロントカメラで画像を撮像する際に、適切に画角を特定することが可能となり、さらに、画像として撮像される際には、表示部３３のバックライトが発光することによりカラー画像として撮像することが可能となる。
【００３５】
＜情報処理装置の第１の実施の形態の構成例＞
次に、図２のブロック図を参照して、図１の情報処理装置１１の第１の実施の形態の詳細な構成例について説明する。
【００３６】
情報処理装置１１は、撮像部３１、赤外光発光部（IRLED）３２、表示部３３、操作入力部３３ａ、制御部５１、および画像処理部５２を備えている。
【００３７】
制御部５１は、CPU（Central Processing Unit）、RAM（Random Access Memory）、およびROM（Read Only Memory）等を備えたコンピュータにより構成されており、情報処理装置１１の全体の動作を制御するものである。
【００３８】
撮像部３１は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなり、制御部５１により制御されて、画像を撮像し、撮像した画像のRawデータを画像処理部５２に供給する。撮像部３１は、RGB等の可視光に加えて、赤外光発光部３２により発光される、例えば、IR（赤外光）等の非可視光にも対応した画像を撮像することができる。
【００３９】
画像処理部５２は、Rawデータにモザイク処理等の一連の処理を加えて画像を生成し、LCD（Liquid Crystal Display）などからなる表示部３３に表示させる。
【００４０】
表示部３３は、タッチパネルなどからなり、表面に各種のGUI（Graphical User Interface）画像を表示させることで、例えば、シャッタボタンを操作するGUIを操作入力部３３ａとして機能させ、操作されるとき、シャッタボタンの押下動作があったものとみなす。また、表示部３３は、シャッタボタンが操作されて、撮像されるタイミングにおいて、制御部５１により制御されて、白色光からなるLED（Light Emission Diode）などからなるバックライトを発光させて、ストロボライトとして機能する。
【００４１】
赤外光発光部３２は、撮像部３１において撮像可能な、例えば、波長が略0.7μm乃至1mm（=1000μm)程度の、いわゆる、近赤外光、中赤外光、および遠赤外光のいずれかの範囲に属する赤外光（IR）を補助光として発光する。
【００４２】
尚、一般に、スマートフォンなどからなる情報処理装置１１においては、図示せぬ背面部に、フロントカメラである撮像部３１よりも高精細であって、高感度の撮像部を備えているが、ここでは、省略するものとする。
【００４３】
＜図２の情報処理装置による撮像処理＞
次に、図３のフローチャートを参照して、図１の情報処理装置１１による撮像処理について説明する。尚、ここでいう撮像処理は、フロントカメラからなる撮像部３１を利用する際の撮像処理であり、例えば、図示しない背面部に設けられた撮像部による撮像処理ではない。
【００４４】
ステップＳ１１において、制御部５１は、撮像部３１を起動させて画像を撮像できる状態にする。これにより、撮像部３１は、撮像した画像を順次、制御部５１、および画像処理部５２に供給する。
【００４５】
ステップＳ１２において、制御部５１は、撮像部３１により撮像された画像に基づいて、所定の照度よりも低く、暗い画像であるか否かを判定する。ステップＳ１２において、撮像された画像が所定の照度よりも低くなく、通常の明るさであるとみなされた場合、処理は、ステップＳ２０に進む。
【００４６】
ステップＳ２０において、制御部５１は、表示部３３において予めシャッタボタンとして機能する操作入力部３３ａをGUI画像として表示しており、その操作入力部３３ａが操作されて撮像が指示されたか否かを判定する。
【００４７】
ステップＳ２０において、操作入力部３３ａが操作されて、撮像が指示された場合、処理は、ステップＳ２１に進む。
【００４８】
ステップＳ２１において、制御部５１は、撮像部３１を制御して、通常の静止画を撮像し、画像処理部５２において所定の処理がなされた画像データを図示せぬ記録メディア等に記憶させ、処理は、ステップＳ２２に進む。通常の静止画を撮像するとは、撮像部３１により撮像される画像より、可視光画像を抽出することである。尚、ステップＳ２０において、操作入力部３３ａが操作されていないとみなされた場合、ステップＳ２０の処理はスキップされる。
【００４９】
ステップＳ２２において、制御部５１は、撮像部３１を制御して通常のライブビュー画像を撮像させて、画像処理部５２に供給する。画像処理部５２は、所定の画像処理を加えて、ライブビュー画像として表示部３３に表示する。ここでいう、通常のライブビュー画像を撮像し、表示するとは、撮像部３１において、所定の時間間隔で撮像された、比較的低解像度の画像より可視光画像を抽出し、比較的低フレームレートの動画像として表示させることをいう。
【００５０】
ステップＳ１９において、制御部５１は、操作入力部３３ａが操作されて、撮像処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１２に戻る。そして、ステップＳ１９において、終了が指示された場合、処理は、終了する。
【００５１】
一方、ステップＳ１２において、撮像された画像が所定の照度よりも低く、暗いとみなされた場合、処理は、ステップＳ１３に進む。
【００５２】
ステップＳ１３において、制御部５１は、赤外光発光部３２を制御して、赤外光を発光させる。このとき、赤外光発光部３２は、赤外光を比較的強い強度の光として発光する。
【００５３】
ステップＳ１４において、制御部５１は、表示部３３において予めシャッタボタンとして機能する操作入力部３３ａをGUI画像として表示しており、その操作入力部３３ａが操作されたか否かを判定する。
【００５４】
ステップＳ１４において、操作入力部３３ａが操作されて、撮像が指示された場合、処理は、ステップＳ１５に進む。
【００５５】
ステップＳ１５において、制御部５１は、赤外光発光部３２を制御して消灯させ、さらに、表示部３３のバックライトを強く発光させる。
【００５６】
ステップＳ１６において、制御部５１は、撮像部３１を制御して、可視光画像を撮像し、画像処理部５２において所定の処理がなされた画像データを図示せぬ記録メディア等に記憶させ、処理は、ステップＳ１７に進む。
【００５７】
ステップＳ１７において、制御部５１は、表示部３３のバックライトを弱く発光させ、すなわち、通常のライブビュー画像を表示させる程度の明るさに設定すると共に、赤外光発光部３２を制御して、赤外光を発光させ、処理は、ステップＳ１８に進む。
【００５８】
尚、ステップＳ１４において、操作入力部３３ａが操作されていないとみなされた場合、処理は、ステップＳ１８に進む。
【００５９】
ステップＳ１８において、制御部５１は、撮像部３１を制御して、暗時のライブビュー画像を撮像させて、画像処理部５２に供給する。画像処理部５２は、所定の画像処理を加えて、暗時のライブビュー画像として表示部３３に表示し、処理は、ステップＳ１９に進む。ここでいう、暗時のライブビュー画像を撮像し、表示するとは、所定の時間間隔で撮像される画像より、比較的低解像度の可視光画像と赤外光画像とを抽出し、可視光画像より色差画像を抽出し、これに赤外光画像を輝度画像として合成し、比較的低フレームレートのカラー画像として表示させることをいう。
【００６０】
以上の処理により、例えば、図４で示されるような処理が実現される。尚、図４においては、最上段が撮像されるフレーム単位の画像の種別（Live View：ライブビュー画像撮像、およびStill Cap.：スチル画像撮像）を示しており、中段が、赤外光発光部３２の動作状態を示しており、下段が表示部３３のバックライトの発光状態を示している。
【００６１】
すなわち、撮像部３１が起動し、暗いとみなされた場合、シャッタが押下されるまでは、ステップＳ１２乃至Ｓ１４，Ｓ１８，Ｓ１９の処理が繰り返されて、時刻ｔ０乃至ｔ５で示されるように、時刻ｔ０乃至ｔ１、時刻ｔ２乃至ｔ３、および時刻ｔ４乃至ｔ５において、ライブビュー画像が撮像されて、赤外光発光部３２が赤外光を発光し、表示部３３のバックライトが微発光して、表示部３３にライブビュー画像が表示され続けることになる。
【００６２】
ここで、操作入力部３３ａが操作されて、シャッタボタンが操作されたものとみなされると、ステップＳ１５乃至Ｓ１７の一連の処理により、時刻ｔ６乃至ｔ７において、撮像部３１によりスチル画像が撮像されて、赤外光発光部３２が消灯し、表示部３３のバックライトが強く発光する。
【００６３】
この結果、シャッタボタンである操作入力部３３ａが操作されたタイミングにおいてのみ表示部３３のバックライトがストロボライトのように発光することになるので、撮像部３１では、通常の明るさでカラー画像を撮像することが可能となる。また、シャッタボタンが押下された瞬間にのみ表示部３３のバックライトがストロボライトのように発光することになるので、ライブビュー画像を表示する際には、表示部３３をまぶしく感じることのない、比較的強度の高い赤外光によりライブビュー画像が撮像されることになるので、鮮明なライブビュー画像を撮像して表示することが可能となり、適切に画角を設定することが可能となる。
【００６４】
尚、以上においては、可視光画像を撮像した後に、赤外光画像を撮像する例について説明してきたが、赤外光画像を撮像した後に、可視光画像を撮像するようにしてもよい。
【００６５】
＜＜２．第２の実施の形態＞＞
＜第２の実施の形態の情報処理装置の外観斜視図＞
以上においては、スチル画像を撮像するタイミングにおいて、表示部３３のバックライトを強く発光させて、ストロボライトとして機能させる例について説明してきたが、ストロボライトに対応する白色光LEDからなる白色光発光部を別途設けて、上述した表示部３３のバックライトと同様に機能させるようにしてもよい。
【００６６】
図５は、ストロボライトに対応する白色光LEDからなる白色光発光部を別途設けるようにした情報処理装置１１の第２の実施の形態の構成例を示している。
【００６７】
すなわち、赤外光３２に加えて、表示部３３が設けられた面に対向する方向に白色光を発光するLEDからなる白色光発光部（WLED）７１を設けるようにした情報処理装置１１の構成例を示している。
【００６８】
このような構成により、シャッタボタンとして機能する操作入力部３３ａが操作されたとき、ストロボライトとして白色光発光部（WLED）７１を発光させることで、適切な明るさでカラー画像を撮像することが可能となる。
【００６９】
＜情報処理装置の第２の実施の形態の構成例＞
次に、図６のブロック図を参照して、図５の情報処理装置１１の第２の実施の形態の詳細な構成例について説明する。尚、図６の情報処理装置１１において、図２の情報処理装置１１の構成と同一の機能を備えた構成については、同一の名称、および同一の符号を付すものとし、その説明は適宜省略するものとする。
【００７０】
すなわち、図６の情報処理装置１１において、図２の情報処理装置１１と異なる点は、白色光発光部７１が新たに設けられた点である。
【００７１】
白色光発光部７１は、例えば、LEDにより構成されており、制御部５１により制御されて、白色光を発光し、ストロボライトとして機能する。
【００７２】
＜図６の情報処理装置による撮像処理＞
次に、図７のフローチャートを参照して、図６の情報処理装置１１による撮像処理について説明する。尚、図７のフローチャートにおけるステップＳ３１乃至Ｓ４２のうち、ステップＳ３５，Ｓ３７を除く処理は、図３のステップＳ１１乃至Ｓ２２のうちのステップＳ１５，Ｓ１７を除く処理と同様であるので、その説明は省略するものとする。
【００７３】
すなわち、ステップＳ３５において、制御部５１は、赤外光発光部３２を制御して消灯させ、さらに、白色光発光部７１を強く発光させる。
【００７４】
そして、ステップＳ３６において、画像が撮像された後、ステップＳ３７において、制御部５１は、白色光発光部７１を消灯させて、赤外光発光部３２を制御して、赤外光を発光させる。
【００７５】
以上の処理により、暗時にフロントカメラからなる撮像部３１を利用した撮像において、上述した図２の情報処理装置１１と同様の効果を奏することが可能となる。
【００７６】
＜＜３．第３の実施の形態＞＞
＜第３の実施の形態の情報処理装置の構成例＞
以上においては、撮像時にのみストロボライトのように表示部３３のバックライトを強く発光させることで、白色光を発光させ、適切に画像を撮像する例について説明してきたが、暗時においては、白色光が発光した状態でもノイズが発生しやすい。そこで、赤外光により撮像される赤外光画像を輝度信号として利用し、ノイズの発生しやすい可視光画像の色差信号と合成することで、暗時でも高画質な画像を撮像できるようにしてもよい。
【００７７】
図８は、赤外光画像と可視光画像とを利用して高画質の画像を撮像できるようにした情報処理装置１１の構成例を示している。尚、図８の情報処理装置１１において、図２の情報処理装置１１の構成と同一の機能を備えた構成については、同一の名称、および同一の符号を付すものとし、その説明は省略するものとする。
【００７８】
すなわち、図８の情報処理装置１１において、図１の情報処理装置１１と異なる点は、画像処理部５２と表示部３３との間に画像合成部９１およびバッファ９２をさらに設けている点である。
【００７９】
画像合成部９１は、赤外光発光部３２より赤外光が発光されているときに撮像される赤外光画像と、表示部３３のバックライトがストロボライトのように強く発光するときに撮像される画像（可視光画像）とを合成する。その際、いずれか先に撮像される一方の画像がバッファ９２にバッファリングされる。画像合成部９１は、条件の異なる赤外光画像と、可視光画像とを合成する。
【００８０】
＜画像合成部の構成例＞
ここで、図９のブロック図を参照して、画像合成部９１の構成例について説明する。
【００８１】
画像合成部９１は、ノイズ除去部１１１、輝度色差抽出部１１２、信号レベル補正部１１３、および赤外光色差合成部１１４を備えている。
【００８２】
ノイズ除去部１１１は、可視光画像に対して比較的広いタップ数のフィルタ（注目画素に対して参照する画素を多く用いるフィルタ）を用いてノイズを除去する。
【００８３】
輝度色差抽出部１１２は、ノイズ除去がなされたRGB信号からなる可視光画像をYUVの輝度信号と色差信号とに変換し、輝度信号を信号レベル補正部１１３に供給し、色彩信号を赤外光色差合成部１１４に供給する。
【００８４】
信号レベル補正部１１３は、SNR（Signal to Noise Ratio）の高い赤外光画像の信号レベルを、可視光画像の輝度信号の信号レベルで補正して赤外光色差合成部１１４に供給する。
【００８５】
赤外光色差合成部１１４は、信号レベルが補正された赤外光画像の信号レベルを輝度信号として、可視光画像の色差信号と合成してカラー画像として出力する。
【００８６】
＜図８の情報処理装置による撮像処理＞
次に、図１０のフローチャートを参照して、図８の情報処理装置１１による撮像処理について説明する。尚、図１０のフローチャートにおけるステップＳ５１，Ｓ５２，Ｓ６０乃至Ｓ６４の処理は、図３のフローチャートにおけるステップＳ１１，Ｓ１２，Ｓ１８乃至Ｓ２２の処理と同様であるので、その説明は省略するものとする。
【００８７】
すなわち、ステップＳ５２において、撮像された画像が所定の照度よりも低く、暗いとみなされた場合、処理は、ステップＳ５３に進む。
【００８８】
ステップＳ５３において、制御部５１は、赤外光発光部３２を制御して、赤外光を発光させる。このとき、赤外光発光部３２は、赤外光を比較的強い強度の光として発光する。
【００８９】
ステップＳ５４において、制御部５１は、表示部３３において予めシャッタボタンとして機能する操作入力部３３ａをGUI画像として表示しており、その操作入力部３３ａが操作されたか否かを判定する。
【００９０】
ステップＳ５４において、操作入力部３３ａが操作されて、撮像が指示された場合、処理は、ステップＳ５５に進む。
【００９１】
ステップＳ５５において、制御部５１は、赤外光発光部３２を制御して消灯させ、さらに、表示部３３のバックライトを強く発光させる。
【００９２】
ステップＳ５６において、制御部５１は、撮像部３１を制御して、スチル画像を撮像させると共に、撮像したスチル画像より可視光画像を抽出させて、画像処理部５２において所定の処理がなされた画像データをバッファ９２に記憶させ、処理は、ステップＳ５７に進む。
【００９３】
ステップＳ５７において、制御部５１は、表示部３３のバックライトを弱く発光させ、すなわち、通常のライブビュー画像を表示させる程度の明るさに設定すると共に、赤外光発光部３２を制御して、赤外光を発光させ、処理は、ステップＳ５８に進む。
【００９４】
ステップＳ５８において、制御部５１は、撮像部３１を制御して、スチル画像を撮像させると共に、撮像したスチル画像より赤外光画像を抽出させて、画像合成部９１に供給し、処理は、ステップＳ５９に進む。
【００９５】
ステップＳ５９において、画像合成部９１は、合成処理を実行して、供給されてきた静止画色情報としての可視光画像と、バッファ９２に記憶されている静止画輝度情報としての赤外光画像とを合成する。
【００９６】
＜合成処理＞
ここで、図１１のフローチャートを参照して、合成処理について説明する。
【００９７】
ステップＳ７１において、ノイズ除去部１１１は、可視光画像に対して比較的広いタップ数のフィルタ（注目画素に対して参照する画素の多いフィルタ）を用いてノイズを除去し、輝度色差抽出部１１２に供給する。すなわち、暗時には、表示部３３のバックライトを利用した画像には、ノイズが発生しやすいため、事前にノイズ除去処理がなされる。
【００９８】
ステップＳ７２において、輝度色差抽出部１１２は、ノイズ除去がなされたRGB信号からなる可視光画像をYUVの輝度信号と色差信号とに変換し、輝度信号を信号レベル補正部１１３に供給し、色彩信号を赤外光色差合成部１１４に供給する。
【００９９】
ステップＳ７３において、信号レベル補正部１１３は、SNR（Signal to Noise Ratio）の高い赤外光画像の信号レベルを、可視光画像の輝度信号の信号レベルで補正して赤外光色差合成部１１４に供給する。
【０１００】
ステップＳ７４において、赤外光色差合成部１１４は、信号レベルが補正された赤外光画像の信号レベルを輝度信号として、可視光画像の色差信号と合成した後、RGB信号に変換してカラー画像として出力する。
【０１０１】
すなわち、合成処理により、暗時には、比較的ノイズが生じ易い可視光画像より、色差情報を抽出し、暗時でも比較的SNRが高い赤外光画像の信号レベルを輝度信号として抽出し、これらを合成することで、暗時でも高画質なカラー画像を撮像することが可能となる。
【０１０２】
以上の処理により、例えば、図１２で示されるような処理が実現される。
【０１０３】
すなわち、撮像部３１が起動し、暗いとみなされた場合、シャッタが押下されるまでは、ステップＳ６２、Ｓ６３，Ｓ６０，Ｓ６１の処理が繰り返されて、時刻ｔ２１乃至ｔ２６で示されるように、時刻ｔ２１乃至ｔ２２、時刻ｔ２３乃至ｔ２４、および時刻ｔ２５乃至ｔ２６において、ライブビュー画像が撮像されて、赤外光発光部３２が赤外光を発光し、表示部３３のバックライトが微発光して、表示部３３にライブビュー画像が表示され続けることになる。
【０１０４】
ここで、操作入力部３３ａが操作されて、シャッタボタンが操作されたものとみなされると、ステップＳ５５乃至Ｓ５９の一連の処理により、時刻ｔ２７乃至ｔ２８において、赤外光発光部３２が消灯されて、表示部３３のバックライトが強く発光し、撮像部３１によりスチル画像が撮像されて、可視光画像が撮像され、時刻ｔ２８乃至ｔ３０において、赤外光発光部３２が強く発光されて、表示部３３のバックライトが微発光し、撮像部３１によりスチル画像が撮像されて、赤外光画像が撮像される。そして、この可視光画像と、赤外光画像とが合成されて、鮮明なスチル画像を撮像することが可能となる。
【０１０５】
以上の処理により、シャッタボタンである操作入力部３３ａが操作されたタイミングにおいて表示部３３のバックライトがストロボライトのように発光することになるので、撮像部３１では、可視光画像を撮像し、その後、赤外光により赤外光画像を撮像する。そして、この可視光画像と赤外光画像とを合成することで、暗時でもSNRの高い高画質なカラー画像を撮像することが可能となる。
【０１０６】
＜＜４．第３の実施の形態における応用例＞＞
以上においては、シャッタボタンである操作入力部３３ａが操作されたタイミングにおいてのみ、可視光画像と赤外光画像とを撮像し、合成する例について説明してきたが、これに併せて、さらに、ライブビュー画像においても、同様に、処理することで、ライブビュー画像をカラー画像とするようにしてもよい。
【０１０７】
すなわち、図１３で示されるように、撮像部３１が起動し、暗いとみなされた場合、シャッタが押下されるまでは、時刻ｔ５１乃至ｔ５２で示されるように、赤外光発光部３２が強く発光し、表示部３３のバックライトが消灯して、赤外光画像が撮像され、時刻ｔ５２乃至ｔ５４で示されるように、赤外光発光部３２が消灯し、表示部３３のバックライトが強く発光して、可視光画像が撮像される。そして、この後、この赤外光画像と可視光画像とが合成されて、カラーのライブビュー画像が表示される。
【０１０８】
以下同様に、シャッタボタンが操作されるまでは、この動作が繰り返されて、ライブビュー画像においてもカラー画像を表示することが可能となる。
【０１０９】
図１３においては、時刻ｔ５７において、操作入力部３３ａが操作されて、シャッタボタンが操作されたものとみなされて、ステップＳ５５乃至Ｓ５９の一連の処理により、時刻ｔ５７乃至ｔ５８において、赤外光発光部３２が消灯されて、表示部３３のバックライトが強く発光し、撮像部３１によりスチル画像が撮像されて、可視光画像が撮像され、時刻ｔ５８乃至ｔ６０において、赤外光発光部３２が強く発光されて、表示部３３のバックライトが消灯し、撮像部３１によりスチル画像が撮像されて、赤外光画像が撮像される。そして、この可視光画像と、赤外光画像とが合成されて、鮮明なスチル画像を撮像することが可能となる。
【０１１０】
以上の処理により、シャッタボタンである操作入力部３３ａの操作の有無に関わらず、フレーム間で交互に、赤外光発光部３２を発光し、表示部３３のバックライトを消灯する処理と、赤外光発光部３２を消灯し、表示部３３のバックライトを発光する処理とを繰り返し、交互に求められる赤外光画像と可視光画像とを合成することで、カラー画像のライブビュー画像を表示しつつ、カラー画像のスチル画像を撮像することが可能となる。
【０１１１】
尚、この応用例については、図８の情報処理装置１１により実現することが可能であるので、その構成についての説明は省略するものとする。また、この場合の処理については、暗時のライブビュー画像を撮像して表示する際にも、図１０のフローチャートにおけるステップＳ５３乃至Ｓ５９の処理を繰り返すことで実現することができるものであるので、その処理についての説明も省略するものとする。ただし、ライブビュー画像においては、比較的、低解像度で、かつ、低フレームレートの画像とされる。
【０１１２】
＜＜５．撮像部、赤外光発光部、および白色光発光部のバリエーション＞＞
撮像部３１、赤外光発光部３２、および白色光発光部７１は、様々な配置のバリエーションが考えられる。
【０１１３】
例えば、図１４の左上部で示されるように、図中の左から白色光発光部７１、撮像部３１、および赤外光発光部３２の順に配置されるようにしてもよいし、図２０の中央上部で示されるように、白色光発光部７１、赤外光発光部３２、および撮像部３１のように配置してもよい。
【０１１４】
また、配置例Ｐｔ１で示されるように、赤外光発光部３２、撮像部３１、および白色光発光部７１でもよいし、配置例Ｐｔ２で示されるように、撮像部３１、白色光発光部７１、および赤外光発光部３２でもよいし、配置例Ｐｔ３で示されるように、赤外光発光部３２、白色光発光部７１、および撮像部３１でもよいし、配置例Ｐｔ４で示されるように、撮像部３１、赤外光発光部３２、および白色光発光部７１でもよい。
【０１１５】
さらに、図１４の右上部で示されるように、白色光発光部７１の直下に赤外光発光部３２が設けられ、さらに、白色光発光部７１および赤外光発光部３２の高さ方向に中間位置であって、その右側に撮像部３１を設けるようにしてもよい。
【０１１６】
同様に、配置例Ｐｔ１１で示されるように、赤外光発光部３２の直下に白色光発光部７１が設けられ、さらに、赤外光発光部３２および白色光発光部７１の高さ方向に中間位置であって、その右側に撮像部３１を設けるようにしてもよいし、また、配置例Ｐｔ１２で示されるように、その左側に撮像部３１を設けるようにしてもよい。
【０１１７】
さらに、配置例Ｐｔ１３で示されるように、配置例Ｐｔ１２における赤外光発光部３２および白色光発光部７１の上下を入れ替える配置とするようにしてもよい。
【０１１８】
また、図１５の上段で示されるように、表示部３３の周囲を取り囲むフレーム状に、赤外光発光部３２を設けて、さらに、その周囲を取り囲むフレーム状に白色光発光部７１を設けるようにしてもよい。
【０１１９】
さらに、図１５の下段で示されるように、表示部３３の周囲を取り囲むフレーム状に、白色光発光部７１を設けて、さらに、その周囲を取り囲むフレーム状に赤外光発光部３２を設けるようにしてもよい。
【０１２０】
＜＜６．応用例＞＞
＜ソフトウェアにより実行させる例＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１２１】
図１６は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１２２】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１２３】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２４】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１２５】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１２６】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１２７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２８】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１２９】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１３０】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１３１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３３】
尚、本開示は、以下のような構成も取ることができる。
＜１＞  赤外光画像および可視光画像を撮像する撮像部と、
白色光を発光する白色光発光部と、
赤外光を発光する赤外光発光部とを含み、
前記白色光発光部は白色光を発光し、かつ、前記赤外光発光部は赤外光を消灯するとき、前記撮像部は、前記可視光画像を撮像する
情報処理装置。
＜２＞  前記赤外光画像および前記可視光画像を合成する合成部をさらに含み、
前記白色光発光部は白色光を発光し、かつ、前記赤外光発光部は赤外光を消灯するとき、前記撮像部は、前記可視光画像を撮像し、
その前、または、その後、前記白色光発光部は白色光を消灯、または微発光し、かつ、前記赤外光発光部は赤外光を発光するとき、前記撮像部は、前記赤外光画像を撮像する
＜１＞に記載の情報処理装置。
＜３＞  前記合成部は、
前記可視光画像を輝度信号および色差信号に分離する分離部と、
前記赤外光画像の画素信号を前記輝度信号とみなして、前記分離部により分離された前記色差信号と合成する赤外光色差合成部とを含む
＜２＞に記載の情報処理装置。
＜４＞  前記合成部は、前記可視光画像のノイズを除去するノイズ除去部をさらに含み、
前記分離部は、前記ノイズ除去部によりノイズが除去された前記可視光画像を前記輝度信号および前記色差信号に分離する
＜３＞に記載の情報処理装置。
＜５＞  前記合成部は、前記分離部により分離された輝度信号を用いて、前記赤外光画像の画素信号の信号レベルを補正する信号レベル補正部をさらに含み、
前記赤外光色差合成部は、前記信号レベル補正部により信号レベルが補正された、前記赤外光画像の画素信号を前記輝度信号とみなして、前記分離部により分離された前記色差信号と合成する
＜３＞に記載の情報処理装置。
＜６＞  静止画の撮像が指示された場合、
前記白色光発光部は白色光を発光し、かつ、前記赤外光発光部は赤外光を消灯するとき、前記撮像部は、前記可視光画像を撮像し、
その前、または、その後、前記白色光発光部は白色光を消灯、または微発光し、かつ、前記赤外光発光部は赤外光を発光するとき、前記撮像部は、前記赤外光画像を撮像する
＜２＞に記載の情報処理装置。
＜７＞  ライブビュー画像を撮像する場合、
前記白色光発光部は白色光を発光し、かつ、前記赤外光発光部は赤外光を消灯するとき、前記撮像部は、前記可視光画像を撮像し、
その前、または、その後、前記白色光発光部は白色光を消灯、または微発光し、かつ、前記赤外光発光部は赤外光を発光するとき、前記撮像部は、前記赤外光画像を撮像する
＜２＞に記載の情報処理装置。
＜８＞  前記白色光発光部は、前記LED（Light Emission Diode）である
＜１＞に記載の情報処理装置。
＜９＞  前記撮像部により撮像された画像を表示する表示部を含み、
前記白色光発光部は、前記表示部のバックライトである
＜１＞に記載の情報処理装置。
＜１０＞  前記撮像部、前記赤外光発光部、および白色光発光部は、本体の同一面に設けられている
＜１＞に記載の情報処理装置。
＜１１＞  前記撮像部、前記赤外光発光部、および白色光発光部は、本体の表面に設けられている
＜１０＞に記載の情報処理装置。
＜１２＞  赤外光画像および可視光画像を撮像する撮像部と、
白色光を発光する白色光発光部と、
赤外光を発光する赤外光発光部とを含む情報処理装置の情報処理方法であって、
前記白色光発光部は白色光を発光し、かつ、前記赤外光発光部は赤外光を消灯するとき、前記撮像部は、前記可視光画像を撮像する
情報処理方法。
＜１３＞  赤外光画像および可視光画像を撮像する撮像部と、
白色光を発光する白色光発光部と、
赤外光を発光する赤外光発光部としてコンピュータを機能させ、
前記白色光発光部は白色光を発光し、かつ、前記赤外光発光部は赤外光を消灯するとき、前記撮像部は、前記可視光画像を撮像する
プログラム。
【符号の説明】
【０１３４】
１１  画像処理装置，  ３１  撮像部，  ３２  赤外光発光部，  ３３  表示部，  ３３ａ  操作入力部，  ５１  制御部，  ５２  画像処理部，  ７１  白色光発光部，  ９１  画像合成部，  ９２  バッファ，  １１１  ノイズ除去部，  １１２  輝度色差抽出部，  １１３  信号レベル補正部，  １１４  赤外光色差合成部
【図１】
2017098863.tif 000003
【図２】
2017098863.tif 000004
【図３】
2017098863.tif 000005
【図４】
2017098863.tif 000006
【図５】
2017098863.tif 000007
【図６】
2017098863.tif 000008
【図７】
2017098863.tif 000009
【図８】
2017098863.tif 000010
【図９】
2017098863.tif 000011
【図１０】
2017098863.tif 000012
【図１１】
2017098863.tif 000013
【図１２】
2017098863.tif 000014
【図１３】
2017098863.tif 000015
【図１４】
2017098863.tif 000016
【図１５】
2017098863.tif 000017
【図１６】
2017098863.tif 000018