(57)【要約】【課題】  特定の被写体を簡単に追尾して撮像できるようにする。【解決手段】  撮像部１１によって、所定のパターンで発光する発光素子２５が装着された特定の被写体２０−３を撮像して撮像画像データを取得し、画像処理部１２は、撮像画像データから発光素子２５の発光パターンを検出して特定の被写体２０−３と特定の被写体２０−３の位置情報を検出し、撮像範囲１５と特定の被写体２０−３の位置関係を利用者に提示する。【選択図】  図１
2006050280.tif 000002
【特許請求の範囲】
【請求項１】
特定の被写体を追尾して撮像する撮像装置において、
所定のパターンで発光する発光素子が装着された前記特定の被写体を撮像して撮像画像データを取得する撮像部と、
前記撮像画像データから前記発光素子の発光パターンを検出して前記特定の被写体と前記特定の被写体の位置情報を検出し、撮像範囲と前記特定の被写体の位置関係を利用者に提示する画像処理部と、
を有することを特徴とする撮像装置。
【請求項２】
前記画像処理部は、前記特定の被写体が前記撮像範囲内に存在する場合、前記位置情報を参照して、前記特定の被写体の位置を示す目印を前記撮像画像データに重畳して画面上に表示させることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記画像処理部は、前記特定の被写体が、前記発光パターンを検出できる撮像可能範囲内にあるにも係わらず前記撮像範囲から外れている場合には、前記位置情報を参照して、前記撮像範囲に対して前記特定の被写体が、どの位置にいるのかを提示することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記画像処理部は、前記発光パターンを検出できないとき、前記特定の被写体が最後に検出された位置が、前記発光パターンを検出できる撮像可能範囲の外周付近であった場合、前記最後に検出された位置または前記外周の方向を提示することを特徴とする請求項１記載の撮像装置。
【請求項５】
前記画像処理部は、前記発光パターンを検出できないとき、前記特定の被写体が最後に検出された位置が、前記発光パターンを検出できる撮像可能範囲の外周付近でない場合、前記最後に検出された位置を提示することを特徴とする請求項１記載の撮像装置。
【請求項６】
前記画像処理部は、前記位置情報を参照して、前記特定の被写体が、前記撮像範囲に存在する場合と、前記発光パターンを検出できる撮像可能範囲に存在する場合と、前記撮像可能範囲の外にいる場合とで、前記位置関係を提示する際の色を変化させることを特徴とする請求項１記載の撮像装置。
【請求項７】
前記撮像部は、可視光撮像素子と、赤外線撮像素子と、前記可視光撮像素子及び前記赤外線撮像素子への入射光の光軸を一致させるため前記入射光を分光するプリズムを有することを特徴とする請求項１記載の撮像装置。
【請求項８】
前記撮像部は、可視光撮像素子と、赤外線撮像素子とを有し、前記可視光撮像素子及び前記赤外線撮像素子への入射光の光軸がずれる場合、前記特定の被写体までの距離による前記可視光撮像素子と、前記赤外線撮像素子上での位置のずれをあらかじめ計測し、前記光軸のずれを補正することを特徴とする請求項１記載の撮像装置。
【請求項９】
前記撮像部は、可視光及び赤外線を検出する撮像素子と、赤外線を除去してから前記撮像素子に入射光を入射する赤外線カットフィルタを有し、前記特定の被写体を探索する際には、前記赤外線カットフィルタを外すことを特徴とする請求項１記載の撮像装置。
【請求項１０】
特定の被写体を追尾して撮像する撮像方法において、
所定のパターンで発光する発光素子が装着された前記特定の被写体を撮像して撮像画像データを取得し、
前記撮像画像データから前記発光素子の発光パターンを検出して前記特定の被写体と前記特定の被写体の位置情報を検出し、
撮像範囲と前記特定の被写体の位置関係を利用者に提示する、
ことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及び撮像方法に関し、特に特定の被写体を追尾して撮像する撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
運動会や学芸会などにおいて自分の子供をカムコーダやカメラなどの撮像装置で撮影しようとする場合、例えば、数十メートル離れた場所で、同じような制服、体操服を着た集団の中から、自分の子供だけを見つけだすのはきわめて困難である。
【０００３】
従来、業務用のカメラシステムにおいては、例えばスポーツフィールド上における選手の位置情報を取得して、その選手に関する情報を表示する方法が提案されている（例えば特許文献１参照）。この技術によれば、各選手に特定のパターンで点滅する発光体（例えば、赤外線を発光するＬＥＤ（Light Emitting Diode:発光ダイオード）を取り付け、点滅光の発光パターンを受信側で識別することで、対象選手を認識できる。
【特許文献１】特開２００３−３４８４２４号公報（段落番号〔００１０〕、〔００１１〕）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の技術では、スポーツフィールド全体を見渡す業務用カメラシステムを想定しているため、例えば、学校の運動会や学芸会などにおけるカムコーダ撮影のように、ある特定の被写体（例えば自分の子供）を見つけ出して、ズーミングにより撮像範囲を限定しながら撮影したい環境では以下のような問題が生じる。
【０００５】
１つめは、ズーミングをしながら被写体を追っているため撮像装置の視野から容易に外れてしまうということである。２つめは、たくさんの被写体が同時にフィールド内にいると、特定の被写体が死角に入り、点滅光の発光パターンが撮像装置で見えなくなるという問題である。
【０００６】
さらに、民生用撮像装置での実現のためにコストを抑えつつ探索機能を実現するという必要がある。
本発明はこれらの点に鑑みてなされたものであり、特定の被写体を簡単に追尾して撮像可能な撮像装置を提供することを目的とする。
【０００７】
また、本発明の他の目的は、特定の被写体を簡単に追尾して撮像可能な撮像方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明では上記問題を解決するために、特定の被写体を追尾して撮像する撮像装置において、所定のパターンで発光する発光素子が装着された前記特定の被写体を撮像して撮像画像データを取得する撮像部と、前記撮像画像データから前記発光素子の発光パターンを検出して前記特定の被写体と前記特定の被写体の位置情報を検出し、撮像範囲と前記特定の被写体の位置関係を利用者に提示する画像処理部と、を有することを特徴とする撮像装置が提供される。
【０００９】
上記の構成によれば、撮像部は、所定のパターンで発光する発光素子が装着された特定の被写体を撮像して撮像画像データを取得し、画像処理部は、撮像画像データから発光素子の発光パターンを検出して特定の被写体と特定の被写体の位置情報を検出し、撮像範囲と特定の被写体の位置関係を利用者に提示する。
【発明の効果】
【００１０】
本発明は、所定のパターンで発光する発光素子が装着された特定の被写体を撮像して撮像画像データを取得し、撮像画像データから発光素子の発光パターンを検出して特定の被写体と特定の被写体の位置情報を検出し、撮像範囲と特定の被写体の位置関係を利用者に提示するので、利用者は、提示された位置関係を参照して簡単に特定の被写体を追尾して撮像することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、第１の実施の形態の撮像装置の概略の構成図である。
第１の実施の形態の撮像装置１０は、例えば、ビデオカメラもしくはスチルカメラなどである。ここでは、運動会などのように、移動している被写体２０−１、２０−２、２０−３、２０−４、２０−５を撮像する場合を例にして説明する。
【００１２】
これら複数の被写体２０−１〜２０−５のうち、特定の被写体（例えば自分の子供）２０−３には、所定のパターンで発光（点滅）する発光素子２５を装着している。この発光パターンにより特定の被写体２０−３の固有情報（以下ＩＤと称する）が示される。つまり、この発光パターンを撮像装置１０が解析することにより、多数の発光素子２５があっても、撮像装置１０に対応した特定の被写体２０−３のみに反応するようにできる。なお、発光素子２５は、可視光を発するＬＥＤを用いてもよいが、以下では赤外線を発する赤外線発光ＬＥＤであるとして説明する。
【００１３】
撮像装置１０は、撮像部１１と、画像処理部１２と、記憶部１３と、表示部１４とを有する。
撮像部１１は、発光素子２５が装着された特定の被写体２０−３を撮像して撮像画像データを取得する。ここで、撮像部１１は、可視光を検出する可視光撮像素子１１ａと、赤外線を検出する赤外線撮像素子１１ｂとを有しており、発光素子２５からの赤外線発光は、赤外線撮像素子１１ｂにより検出される。これら撮像素子は、ＣＣＤ（Charge Coupled Device）素子もしくはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）素子である。
【００１４】
図２は、撮像部の光学系の例を示す図である。
通常、カメラシステムでは、きれいな可視光映像再現のために、赤外線をカットするようなフィルタ（以下赤外線カットフィルタと称する）を内蔵している。本実施の形態では、発光素子２５からの発光（赤外線）を検出してＩＤを得るので、赤外線撮像素子１１ｂにも入射光を照射する必要がある。図２の例では、可視光撮像素子１１ａ及び赤外線撮像素子１１ｂへの入射光の光軸を一致させるために、レンズ１１ｃからの入射光を分光するプリズム１１ｄを配置している。このプリズム１１ｄで入射光を分光し、同光軸の映像を赤外線撮像素子１１ｂに結像させる。これにより、正確かつ撮影時にも継続して画像上での被写体２０−３の位置情報を取得することができる。可視光は、赤外線カットフィルタ１１ｅにより赤外線を除去した後、可視光撮像素子１１ａに結像される。
【００１５】
図３は、撮像部の光学系のその他の例を示す図であり、（Ａ）は赤外線撮像素子を内蔵した場合、（Ｂ）はアクセサリ化した場合を示す図である。
図３（Ａ）、（Ｂ）とも、レンズ１１ｃを２つ設け、可視光を検出する光軸と、赤外線を検出する光軸とを分けている。図３（Ａ）では、赤外線撮像素子１１ｂを撮像装置に内蔵しており、図３（Ｂ）では、撮像装置の外部に例えばアクセサリとして設けている。なお、横方向に関しては光軸を一致させている。縦方向に関しては、光軸が一致していないため、被写体までの距離によって、可視光撮像素子１１ａに結像される被写体２０−３の位置と、赤外線撮像素子１１ｂに結像される発光素子２５からの赤外線の受光位置にずれが生じる。そのため、フォーカス情報に応じた縦方向の位置修正を行う。具体的には、フォーカスは被写体までの距離によって変化するので、あらかじめオートフォーカス機能からおおよその距離情報を取り出し、その距離による赤外線撮像素子１１ｂと、可視光撮像素子１１ａ上の位置のずれを計測しておけば、光軸のずれを補正することができる。
【００１６】
図１に戻り、画像処理部１２は、撮像部１１で取得した撮像画像データから発光素子２５の発光パターンを検出し、被写体２０−３と、被写体２０−３の位置情報（ＩＤが検出された赤外線撮像素子１１ｂ上の座標）を検出し、撮像範囲１５と被写体２０−３の位置関係を例えば、表示部１４に出力して利用者に提示する。
【００１７】
記憶部１３は、発光素子２５の発光パターンを検出する赤外線撮像素子１１ｂで取得した撮像画像データを一旦記憶する。
表示部１４は、液晶表示部１４ａとビューファインダ１４ｂからなり、画像処理部１２によって処理された画像データを表示する。
【００１８】
図４は、画像処理部の詳細な機能ブロックを示す図である。
図のように画像処理部１２は、記憶部１３に蓄えられた撮像画像データから輝度変化の大きな部分から発光パターンを検出しＩＤを検出するＩＤ検出部１２ａと、ＩＤデータを格納しているＩＤ格納部１２ｂと、格納されているＩＤデータと、検出されたＩＤとを比較してＩＤを認識するＩＤ処理部１２ｃと、特定の被写体２０−３を見失ったときのロスト処理を行うロスト処理部１２ｄと、検出されたＩＤの座標情報を可視光撮像素子１１ａから入力された映像に重複表示を行い表示部１４に出力する画像生成部１２ｅを有する。
【００１９】
以下、撮像装置１０の動作を説明する。
撮像部１１において、可視光撮像素子１１ａによって取得された可視光の撮像画像データは画像処理部１２に入力され、赤外線撮像素子１１ｂによって取得された発光素子２５の発光を含む赤外線の撮像画像データは、一旦記憶部１３に記憶される。
【００２０】
図５は、画像処理部の処理を説明するフローチャートである。
画像処理部１２において、まず、ＩＤ検出部１２ａは、記憶部１３に蓄積された赤外線の撮像画像データ（連続したフレームとして蓄積されている）を読み込み（ステップＳ１）、これを連続的に処理することによって発光素子２５の発光パターンに応じたＩＤを検出する（ステップＳ２）。ＩＤを探知した場合にはステップＳ４の処理に進み、探知しなかった場合にはステップＳ１１の処理に進む（ステップＳ３）。ＩＤを探知した場合には、そのＩＤと、ＩＤが検出された赤外線撮像素子１１ｂ上での座標とを取得する（ステップＳ４）。これにより、被写体２０−３の位置がわかる。ＩＤ処理部１２ｃは、ＩＤ格納部１２ｂに格納されている登録済のＩＤを参照して、取得したＩＤが登録済のものであるかを判定し（ステップＳ５）、登録済のものであれば座標情報の更新を行いステップＳ９の処理に進む（ステップＳ６）。登録済のものでない場合には、この撮像装置１０に対応したＩＤであるかを判定し（ステップＳ７）、対応したＩＤである場合には、ＩＤ格納部１２ｂに検出したＩＤを登録し、ステップＳ９の処理に進む（ステップＳ８）。
【００２１】
ステップＳ９の処理では、画像生成部１２ｅは、取得したＩＤとその座標をもとに、検出したＩＤの位置を、可視光撮像素子１１ａから入力された撮像画像データに重畳して表示部１４に、図１のように目印１６として表示する。
【００２２】
このように、液晶表示部１４ａやビューファインダ１４ｂに表示される撮像範囲１５内に被写体２０−３が存在する場合には、図１に示すように、その位置に、重畳して目印１６を表示することにより、画面内での被写体位置を利用者（撮影者）に知らしめ、的確な撮影が可能なる。
【００２３】
しかし、民生用カメラでの撮影を考えると、どうしても撮影ポジションの制約や、環境、撮影者のテクニック不足などから、特定の被写体を画面の中に捉えることは難しい。
図６は、対象物が撮像範囲外にある場合を示す図である。
【００２４】
ここでは、可視光撮像素子１１ａ及び赤外線撮像素子１１ｂにより、撮像可能範囲（発光素子２５の発光パターンを検出できる範囲）３０中に被写体２０−３を捉えながらも、ズーミングや手ぶれ補正のために液晶表示部１４ａやビューファインダ１４ｂに表示される撮像範囲３１から外れてしまっている場合について示している。このような場合、以下のようにして、撮像範囲３１に対して被写体２０−３がどの位置にいるかを撮影者に提示する。
【００２５】
図７は、被写体が撮像範囲外にある際の画面例であり、（Ａ）が矢印のガイド、（Ｂ）が撮像範囲と対象物の位置を示すガイドを表示した例である。
図６で示した撮像可能範囲３０中において、液晶表示部１４ａまたはビューファインダ１４ｂの画面上に表示される撮像範囲３１の外に被写体２０−３がある場合、図７（Ａ）では、位置情報を参照して画像生成部１２ｅは矢印のガイド３３を生成して画面に表示させて被写体２０−３の位置を撮影者に知らせる。また、図７（Ｂ）では、画像生成部１２ｅは、撮像可能範囲３０を示すガイド３４ａ、撮像可能範囲３０内における撮像範囲３１を示すガイド３４ｂ、位置情報を参照して被写体２０−３の位置を示すガイド３４ｃを生成し、画面に表示させて被写体２０−３の位置を撮影者に知らせる。
【００２６】
このように被写体２０−３の位置を撮影者に提示することで、撮影者は、提示された位置関係を参照して簡単に被写体２０−３を追尾して撮像することができる。
図５に戻り、ステップＳ７の処理で撮像装置１０に対応しているＩＤではないと判定された場合には、このＩＤを無視し（ステップＳ１０）、ステップＳ１からの処理を繰り返す。
【００２７】
また、ステップＳ３の処理で、ＩＤが探知できなった場合、すなわち、発光素子２５の発光パターンを検出できなかった場合についての処理は以下のようになる。
まず、ＩＤ処理部１２ｃは、ＩＤ格納部１２ｂを参照して登録済のＩＤがあるか否かを判定する。登録済のＩＤがあればステップＳ１２の処理に進み、なければステップＳ１からの処理を繰り返す（ステップＳ１１）。ステップＳ１２の処理において、ロスト処理部１２ｄは、登録済のＩＤの被写体２０−３が最後に検出された赤外線撮像素子１１ｂ上での座標、つまり、被写体２０−３の位置を参照して、その位置が撮像可能範囲３０の外周付近か否かを判定する。例えば、外周から５ピクセル以内であれば外周付近と判定し、それ以上であれば外周付近ではないと判定する。外周付近と判定した場合には、ステップＳ１３の処理に進み、そうではないと判定した場合にはステップＳ１４の処理に進む（ステップＳ１２）。
【００２８】
図８は、被写体が移動して撮像可能範囲から外れる様子を示す図である。
登録済のＩＤの位置が撮像可能範囲３０の外周付近であった場合には、図８のように、被写体が移動して被写体位置が撮像可能範囲３０から完全に外れてしまったと考えられるので、発光素子２５からの信号を喪失してしまった旨の表示（信号ロスト表示）を行う。具体的には、最後に赤外線を探知した外周方向を図７（Ａ）のように、矢印のガイド３３などで表示する。ただし、図７（Ａ）の場合は、対象が撮像可能範囲内にあるので、これと区別するために矢印の色を変える。例えば、矢印の色を、ＩＤ認識時には緑、ＩＤロスト時には赤とする（ステップＳ１３）。また、最後に検出された位置を表示するようにしてもよい。
【００２９】
図９は、被写体が障害物によって隠れている様子を示す図である。
一方、登録済のＩＤの位置が撮像可能範囲３０の外周付近ではない場合、図９のように、障害物や発光素子２５の向きなどによって発光パターンが検出できなくなったと判断し、その旨の信号ロスト表示を行う。
【００３０】
図１０は、ＩＤが隠れた場合の信号ロスト表示例である。
画像生成部１２ｅは、最後にＩＤを検出した位置を提示する。例えば、その位置に目印３５を表示するとともに、色を変化させることによってＩＤを検出できなかったことを示す。これにより、あわてて対象物を探してかえって撮り損ねることを防ぐことができる。以上のステップＳ１３、Ｓ１４の処理の後、ステップＳ１からの処理を繰り返す。
【００３１】
このように、第１の実施の形態の撮像装置１０によれば、撮像範囲３１と被写体２０−３の位置関係を利用者に提示するので、利用者は、提示された位置関係を参照して簡単に被写体２０−３を追尾して撮像することができる。
【００３２】
次に第２の実施の形態の撮像装置を説明する。
図１１は、第２の実施の形態の撮像装置の概略の構成図である。
第２の実施の形態の撮像装置４０は、第１の実施の形態の撮像装置１０と、撮像部４１のみ異なるので、他の構成要素については同一符号としている。第２の実施の形態の撮像装置４０における撮像部４１は、可視光及び赤外線の両者を検出する可視光・赤外線撮像素子４１ａを有している。
【００３３】
図１２は、第２の実施の形態の撮像装置における撮像部の光学系の例を示す図である。
レンズ４１ｂからの入射光は、赤外線カットフィルタ４１ｃを介して可視光・赤外線撮像素子４１ａに入射している。前述のように、発光素子２５からは赤外線が発せられるので、発光素子２５を装着した被写体２０−３を探知する際には、赤外線カットフィルタ４１ｃを外し、その状態で、被写体２０−３の位置情報などを検出する。なお、赤外線カットフィルタ４１ｃを外した状態では、赤外線による画像への影響がある。そのため、撮影を中断するか、もしくは、赤外線カットフィルタ４１ｃを高速で、例えば図１２の矢印方向に高速で駆動することにより、撮影しながらも探索できるようにする。その他の動作については、第１の実施の形態の撮像装置１０と同様であるので説明を省略する。
【００３４】
なお、上記では、液晶表示部１４ａやビューファインダ１４ｂに撮像範囲と被写体２０−３の位置関係を提示する場合について説明したが、発光素子２５から発生される赤外線を受光していることをＬＥＤの発光や音で伝えたりしてもよい。例えば、被写体２０−３が撮像範囲内にある場合には、「ピンポーン」と信号音を鳴らすようにしてもよい。
【００３５】
図１３は、撮像範囲と被写体の位置関係を提示するＬＥＤの例である。
図のように、各方向を示すＬＥＤ５０、５１、５２、５３、５４を撮像装置１０に設置し、被写体２０−３が存在する方向、もしくは被写体２０−３が撮像範囲内にあるかどうかを利用者に提示することができる。例えば、撮像範囲の上に被写体２０−３が存在する場合には、上のＬＥＤ５０が点灯し、撮像範囲の右に被写体２０−３が存在する場合には、右のＬＥＤ５３が点灯し、被写体２０−３が撮像範囲内にある場合には、中央のＬＥＤ５４が点灯することにより、利用者に被写体２０−３の位置を提示する。
【図面の簡単な説明】
【００３６】
【図１】第１の実施の形態の撮像装置の概略の構成図である。
【図２】撮像部の光学系の例を示す図である。
【図３】撮像部の光学系のその他の例を示す図であり、（Ａ）は赤外線撮像素子を内蔵した場合、（Ｂ）はアクセサリ化した場合を示す図である。
【図４】画像処理部の詳細な機能ブロックを示す図である。
【図５】画像処理部の処理を説明するフローチャートである。
【図６】対象物が撮像範囲外にある場合を示す図である。
【図７】被写体が撮像範囲外にある際の画面例であり、（Ａ）が矢印のガイド、（Ｂ）が撮像範囲と対象物の位置を示すガイドを表示した例である。
【図８】被写体が移動して撮像可能範囲から外れる様子を示す図である。
【図９】被写体が障害物によって隠れている様子を示す図である。
【図１０】ＩＤが隠れた場合の信号ロスト表示例である。
【図１１】第２の実施の形態の撮像装置の概略の構成図である。
【図１２】第２の実施の形態の撮像装置における撮像部の光学系の例を示す図である。
【図１３】撮像範囲と被写体の位置関係を提示するＬＥＤの例である。
【符号の説明】
【００３７】
１０……撮像装置、１１……撮像部、１１ａ……可視光撮像素子、１１ｂ……赤外線撮像素子、１２……画像処理部、１３……記憶部、１４……表示部、１４ａ……液晶表示部、１４ｂ……ビューファインダ、１５……撮像範囲、１６……目印、２０−１、２０−２、２０−３、２０−４、２０−５……被写体、２５……発光素子
【図１】
2006050280.tif 000003
【図２】
2006050280.tif 000004
【図３】
2006050280.tif 000005
【図４】
2006050280.tif 000006
【図５】
2006050280.tif 000007
【図６】
2006050280.tif 000008
【図７】
2006050280.tif 000009
【図８】
2006050280.tif 000010
【図９】
2006050280.tif 000011
【図１０】
2006050280.tif 000012
【図１１】
2006050280.tif 000013
【図１２】
2006050280.tif 000014
【図１３】
2006050280.tif 000015