(57)【要約】【課題】撮像対象とする被写体をより確実に識別できるようにすること。【解決手段】不可視光を反射し、被写体に付される識別材と、前記識別材が付された被写体を撮像する撮像装置と、を含み、前記撮像装置は、可視光による被写体の画像である可視光画像を取得する可視光画像取得部と、前記不可視光による被写体の画像である不可視光画像を取得する不可視光画像取得部と、前記不可視光画像取得部によって取得された不可視光画像に基づいて、主要な被写体を検出する主要被写体検出部と、前記可視光画像において、前記主要被写体検出部によって検出された主要な被写体を特定する主要被写体特定部と、前記主要被写体特定部によって特定された主要な被写体を識別して表示する識別表示部と、を備える撮像システムとした。【選択図】図１
2014116863.tif 000002
【特許請求の範囲】
【請求項１】
不可視光を反射し、被写体に付される識別材と、
前記識別材が付された被写体を撮像する撮像装置と、を含み、
前記撮像装置は、
可視光による被写体の画像である可視光画像を取得する可視光画像取得部と、
前記不可視光による被写体の画像である不可視光画像を取得する不可視光画像取得部と、
前記不可視光画像取得部によって取得された不可視光画像に基づいて、主要な被写体を検出する主要被写体検出部と、
前記可視光画像において、前記主要被写体検出部によって検出された主要な被写体を特定する主要被写体特定部と、
前記主要被写体特定部によって特定された主要な被写体を識別して表示する識別表示部と、
を備える撮像システム。
【請求項２】
前記不可視光を反射する部分を異なる形状として構成された複数種類の前記識別材を含むことを特徴とする請求項１に記載の撮像システム。
【請求項３】
可視光による被写体の画像である可視光画像を取得する可視光画像取得部と、
不可視光による被写体の画像である不可視光画像を取得する不可視光画像取得部と、
前記不可視光画像取得部によって取得された不可視光画像に基づいて、主要な被写体を検出する主要被写体検出部と、
前記可視光画像において、前記主要被写体検出部によって検出された主要な被写体を特定する主要被写体特定部と、
前記主要被写体特定部によって特定された主要な被写体を識別して表示する識別表示部と、
を備える撮像装置。
【請求項４】
請求項３に記載の撮像装置と共に用いられ、不可視光を反射し、被写体に付されることを特徴とする識別材。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を撮像するための撮像システム、撮像装置及び識別材に関する。
【背景技術】
【０００２】
従来、レンズによって結像した被写体の像を電気信号に変換し、被写体の静止画像や動画像を撮像する撮像装置が知られている。
このような撮像装置においては、例えば画像の中央に位置する物体を、撮影者によって撮像の対象とされている主要な被写体として自動的に認識し、主要な被写体を追尾しながら、その被写体に焦点距離や露光量を適合させて撮像を行う技術が用いられている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−４９８１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮影者が主要な被写体を対象として撮像を行っている場合に、画角から主要な被写体が逸脱し、撮影者が主要な被写体を見失う場合がある。
例えば、運動会で撮影者の子供を主要な被写体として撮影しているときに、画角から撮影者の子供が逸脱した場合、服装が似通った同年齢の子供が多数存在することから、撮像装置のディスプレイに映し出される画像において、再び撮影者の子供を識別することが困難となる。その結果、撮影者は、主要な被写体である子供を見失うこととなる。
このような場合、主要な被写体が一旦、画角から逸脱するため、画角内において移動した被写体を追尾する従来の技術においては、撮像対象とする主要な被写体を継続して追尾することが困難である。そのため、撮影者による主要な被写体の識別を支援することができない。
即ち、従来の技術においては、撮像対象とする被写体を確実に識別することが困難であった。
【０００５】
本発明の課題は、撮像対象とする被写体をより確実に識別できるようにすることである。
【課題を解決するための手段】
【０００６】
（１）上記課題を解決するため、本発明の一態様に係る撮像システムは、不可視光を反射し、被写体に付される識別材と、前記識別材が付された被写体を撮像する撮像装置と、を含み、前記撮像装置は、可視光による被写体の画像である可視光画像を取得する可視光画像取得部と、前記不可視光による被写体の画像である不可視光画像を取得する不可視光画像取得部と、前記不可視光画像取得部によって取得された不可視光画像に基づいて、主要な被写体を検出する主要被写体検出部と、前記可視光画像において、前記主要被写体検出部によって検出された主要な被写体を特定する主要被写体特定部と、前記主要被写体特定部によって特定された主要な被写体を識別して表示する識別表示部と、を備える。
【発明の効果】
【０００７】
本発明によれば、撮像対象とする被写体をより確実に識別することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態に係る撮像システム１の全体構成を示す図である。
【図２】撮像装置２０の機能構成を示すブロック図である。
【図３】撮像センサ２５における小領域を示す模式図である。
【図４】不可視光センサ２７における小領域を示す模式図である。
【図５】マイコン２８が実行する主要被写体識別処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。
（第１実施形態）
図１は、本発明の第１実施形態に係る撮像システム１の全体構成を示す図である。
図１において、撮像システム１は、被写体識別材１０と、撮像装置２０とを備えている。
【００１０】
被写体識別材１０は、可視光領域以外の光（以下、「不可視光」と称する。）を反射する材料が塗布された部材によって構成され、例えば、表面に不可視光を反射する塗料が塗布されたシールとして構成される。不可視光として、例えば紫外線領域の光を採用することができ、この場合、被写体識別材１０は、入射した光の中から紫外線をより強く反射する。
本実施形態において、被写体識別材１０は、撮影者が撮像対象とする主要被写体（例えば、撮影者の子供の帽子や靴下等）に付される。
【００１１】
撮像装置２０は、レンズによって結像した被写体の像を電気信号に変換し、静止画像あるいは動画像として撮像する。
図２は、撮像装置２０の機能構成を示すブロック図である。
図２において、撮像装置２０は、レンズ２１と、絞り２２と、ハーフミラー２３と、可視光フィルタ２４と、撮像センサ２５と、不可視光フィルタ２６と、不可視光センサ２７と、マイコン２８と、表示部２９とを備えている。
【００１２】
レンズ２１は、入射した被写体からの反射光を、撮像センサ２５及び不可視光センサ２７上に結像する。また、レンズ２１には、不図示の駆動機構が備えられ、マイコン２８の指示に従って、駆動機構を駆動することにより、合焦位置を変化させる。
絞り２２は、マイコン２８からの指示入力に従って、撮像センサ２５及び不可視光センサ２７に入射する光量を調整する。具体的には、絞り２２は、遮蔽用の羽根部材を複数備えており、マイコン２８から指示入力される絞り値に対応する開口量となるように、羽根部材の開閉状態を制御する。
【００１３】
ハーフミラー２３は、入射した光の一部を撮像センサ２５の方向へ透過し、残りを不可視光センサ２７の方向へ反射する。
可視光フィルタ２４は、ベイヤー配列された赤色、緑色及び青色の光学フィルタによって構成され、撮像センサ２５の前面側（ハーフミラー２３側）に配置されている。可視光フィルタ２４を透過した各色の光は、撮像センサ２５の撮像素子にそれぞれ入射する。
撮像センサ２５は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等によって構成され、可視光フィルタ２４を透過して入射した各色の光を基に、被写体像のデジタル画像（静止画像または動画像）を生成する。なお、以下、撮像センサ２５によって生成されたデジタル画像を適宜「可視光画像」と称する。
【００１４】
また、撮像センサ２５は、撮像素子が配列されている領域（以下、「受光領域」と称する。）が複数の小領域に分割されている。
図３は、撮像センサ２５における小領域を示す模式図である。
図３に示すように、撮像センサ２５の受光領域は、１６×９のマトリクス状に１４４個の小領域Ｐ１〜Ｐ１４４が設定されている。撮像センサ２５の受光領域における小領域Ｐ１〜Ｐ１４４の位置は、後述する不可視光センサ２７の受光領域における小領域Ｑ１〜Ｑ１４４と対応する位置となっている。撮像センサ２５の小領域Ｐ１〜Ｐ１４４は、不可視光センサ２７によって生成された不可視光のデジタル画像における主要被写体の位置を、撮像センサ２５によって生成された可視光画像における被写体と対応付けたり、主要被写体の撮像条件を決定したりするために用いられる。
【００１５】
不可視光フィルタ２６は、不可視光（ここでは紫外線領域の光）を透過する光学フィルタによって構成され、不可視光センサ２７の前面側（ハーフミラー２３側）に設置されている。不可視光フィルタ２６を透過した光は、不可視光センサ２７に入射する。
不可視光センサ２７は、例えばＣＭＯＳイメージセンサ等によって構成され、不可視光フィルタ２６を透過して入射した不可視光を基に、被写体の不可視光によるデジタル画像（以下、「不可視光画像」と称する。）を生成する。不可視光画像は、被写体像における不可視光の反射強度の分布を示す画像となる。不可視光画像において、不可視光の反射強度が設定された閾値以上である領域が存在する場合、その領域は、被写体識別材１０が付された主要被写体が存在する領域であると判定される。
【００１６】
また、不可視光センサ２７は、撮像センサ２５と同様に、撮像素子が配列されている受光領域が複数の小領域に分割されている。
図４は、不可視光センサ２７における小領域を示す模式図である。
図４に示すように、不可視光センサ２７の受光領域には、１６×９のマトリクス状に１４４個の小領域Ｑ１〜Ｑ１４４が設定されている。不可視光センサ２７の小領域Ｑ１〜Ｑ１４４は、不可視光の反射強度を基に主要被写体を検出したり、検出された主要被写体を追尾する際に主要被写体の画角内における位置を特定したりするために用いられる。
【００１７】
マイコン２８は、撮像装置２０全体を制御するものであり、不図示のＲＯＭ（ＲｅａｄＯｎｌｙ  Ｍｅｍｏｒｙ）に記憶された各種プログラムを読み出して実行する。例えば、マイコン２８は、後述する主要被写体識別処理（図５参照）のためのプログラムをＲＯＭから読み出して実行する。主要被写体識別処理において、マイコン２８は、不可視光画像を基に検出した主要被写体の領域を、実線の矩形で囲む等、識別して表示する。
また、マイコン２８は、撮像された可視光画像のデータを不図示の記憶媒体に記憶したり、記憶媒体に記憶されている可視光画像のデータを読み出して再生したりする。
【００１８】
表示部２９は、例えば液晶ディスプレイ等の表示装置によって構成され、マイコン２８の指示に従って、各種画像を表示する。例えば、表示部２９は、撮像装置２０の撮像時に、主要被写体識別処理が実行されることに対応して、ライブビュー画像を表示したり、撮像画像として取得された可視光画像を表示したりする。
【００１９】
次に、動作を説明する。
図５は、マイコン２８が実行する主要被写体識別処理を示すフローチャートである。
主要被写体識別処理は、撮像装置２０が被写体を撮像するための撮像モードとされることに対応して開始される。
【００２０】
図５において、主要被写体識別処理が開始されると、マイコン２８は、不可視光センサ２７によって生成された不可視光画像を取得する（ステップＳ１）。
次に、マイコン２８は、不可視光画像内に、不可視光の反射強度が設定された閾値以上である領域（以下、「検出領域」と称する。）が存在するか否かの判定を行う（ステップＳ２）。
【００２１】
ステップＳ２において、不可視光画像内に、検出領域が存在しないと判定した場合、マイコン２８は、ステップＳ４の処理に移行する。
一方、ステップＳ２において、不可視光画像内に、検出領域が存在すると判定した場合、マイコン２８は、検出領域の位置を特定する（ステップＳ３）。
このとき、マイコン２８は、検出領域の位置として、検出領域が属する小領域Ｑ１〜Ｑ１４４を特定する。
【００２２】
ステップＳ２において、不可視光画像内に、検出領域が存在しないと判定した場合、及び、ステップＳ３の後、マイコン２８は、撮像センサ２５によって生成された可視光画像を取得する（ステップＳ４）。
次に、マイコン２８は、ステップＳ４において取得した可視光画像において、主要被写体を特定する（ステップＳ５）。
【００２３】
具体的には、マイコン２８は、ステップＳ２において検出領域が存在すると判定されている場合には、検出領域が属する小領域Ｑ１〜Ｑ１４４に対応する可視光画像の小領域Ｐ１〜Ｐ１４４に位置する被写体を、主要被写体として特定する。また、マイコン２８は、ステップＳ２において検出領域が存在すると判定されていない場合には、可視光画像における中央領域（例えば、可視光画像の中央に位置する４×３の小領域等）に含まれている被写体を主要被写体として特定する。
【００２４】
次に、マイコン２８は、ステップＳ５において特定した主要被写体を識別して表示する（ステップＳ６）。
このとき、マイコン２８は、不可視光画像の検出領域に対応して主要被写体とされた場合と、不可視光画像に検出領域が存在せず、可視光画像の中央領域に含まれている被写体が主要被写体とされた場合とで、識別表示の形態を異ならせる。例えば、不可視光画像の検出領域に対応して主要被写体とされている場合、マイコン２８は、その被写体を実線の矩形で囲う。一方、不可視光画像に検出領域が存在せず、可視光画像の中央領域に含まれている被写体が主要被写体とされている場合、マイコン２８は、その被写体を破線の矩形で囲う。
【００２５】
次に、マイコン２８は、主要被写体に応じた焦点距離及び露光量を決定する（ステップＳ７）。
具体的には、マイコン２８は、撮像センサ２５によって生成された可視光画像を基に、主要被写体とされた被写体への合焦動作及び露光量の決定処理（絞り値及びシャッタ速度の決定処理）を実行する。本実施形態においては、主要被写体が存在する１つまたは複数の小領域Ｐ１〜Ｐ１４４の平均輝度に応じて露光量が決定される。
【００２６】
次に、マイコン２８は、撮影者によって撮像の実行が指示入力されているか否かの判定を行う（ステップＳ８）。
ステップＳ８において、撮像の実行が指示入力されていないと判定した場合、マイコン２８は、ステップＳ１０の処理に移行する。
一方、ステップＳ８において、撮像の実行が指示入力されていると判定した場合、マイコン２８は、撮像センサ２５によって生成された可視光画像を、撮像画像（静止画像または動画像）として不図示の記憶媒体に記憶する（ステップＳ９）。
【００２７】
ステップＳ８において、撮像の実行が指示入力されていないと判定された場合、及び、ステップＳ９の後、マイコン２８は、主要被写体識別処理の終了が指示入力されているか否か（例えば、電源オフの指示あるいは再生モードへの切り替えの指示が入力されているか否か）の判定を行う（ステップＳ１０）。
ステップＳ１０において、主要被写体識別処理の終了が指示入力されていないと判定した場合、マイコン２８は、ステップＳ１の処理に移行する。
一方、ステップＳ１０において、主要被写体識別処理の終了が指示入力されていると判定した場合、マイコン２８は、主要被写体識別処理を終了する。
【００２８】
以上のように、本実施形態における撮像システム１では、撮影者が主要被写体として撮像する被写体に、不可視光を反射する被写体識別材１０が付される。
そして、撮像装置２０は、不可視光センサ２７によって生成された不可視光画像において、検出領域が存在するか否かを判定し、検出領域が存在する場合、撮像センサ２５によって生成された可視光画像において、検出領域が属する小領域にある被写体を主要被写体とする。また、検出領域を基に主要被写体とされた被写体は、識別表示される。
【００２９】
そのため、撮像装置２０によって、被写体識別材１０が付された被写体を検出し、その後、追尾することができる。また、被写体識別材１０が付された被写体が画角から逸脱した場合にも、画角外を走査して主要被写体を再度検出したり、広角撮影として主要被写体を画角内に含めて再度検出したりすることが可能となる。
したがって、撮像システム１によれば、撮像対象とする被写体をより確実に識別することが可能となる。
【００３０】
（変形形態）
（１）上記実施形態においては、不可視光画像において検出領域が存在するか否かを基に、被写体識別材１０が付された主要被写体を検出するものとして説明した。
これに対し、被写体識別材１０の形状を種々異ならせることにより、複数の主要被写体を区別して検出することが可能となる。
具体的には、不可視光を反射する塗料によって異なる図形（例えば、丸、三角あるいは十字型等）を描いた被写体識別材１０を用意し、撮影者が撮像装置２０に対して、被写体識別材１０に描かれている図形を識別対象として指示入力することで、複数の主要被写体を区別して識別することができる。
このような構成により、例えば、運動会において、撮影者の子供が複数同時に参加する種目を撮影する場合に、これら複数の子供をさらに区別することができるため、利便性を高めつつ、撮像対象とする被写体をより確実に識別することが可能な撮像システム１とすることができる。
【００３１】
（２）上記実施形態においては、被写体識別材１０を、表面に不可視光を反射する塗料が塗布されたシールとして構成する場合を例に挙げて説明した。
これに対し、被写体識別材１０を、不可視光を反射する塗料として構成し、主要被写体に、この塗料を直接塗布することとしても良い。
この場合、主要被写体の任意の部分（例えば、帽子、靴下、靴、腕あるいは背中等）に種々の文字あるいは図形等（例えば、丸、三角あるいは十字型等）を描くことができ、主要被写体として識別可能な種類を増加させることができると共に、主要被写体において被写体識別材１０を付す部分の自由度を高めることが可能となる。
【符号の説明】
【００３２】
１  撮像システム、１０  被写体識別材（識別材）、２０  撮像装置、２１  レンズ、２２  絞り、２３  ハーフミラー、２４  可視光フィルタ、２５  撮像センサ（可視光画像取得部）、２６  不可視光フィルタ、２７  不可視光センサ（不可視光画像取得部）、２８  マイコン（主要被写体検出部、主要被写体特定部、識別表示部）、２９  表示部
【図１】
2014116863.tif 000003
【図２】
2014116863.tif 000004
【図３】
2014116863.tif 000005
【図４】
2014116863.tif 000006
【図５】
2014116863.tif 000007