(57)【特許請求の範囲】
【請求項１】
所定の発光パターンで非可視光線を放射する送信機が取り付けられた被写体を含む領域を撮影して可視域の第１画像を生成する第１の撮像部と、
前記領域を撮影して非可視域の第２画像を生成する第２の撮像部と、
前記第２画像に含まれる前記非可視光線によるマークを検出するマーク検出部と、
前記マークの出現パターンに基づいて、前記送信機の識別情報を検出する識別情報検出部と、
識別情報と、被写体を特定する特定情報とを対応付けて保持する特定情報データベースと、
前記マークの位置情報を検出する位置情報検出部と、
前記識別情報検出部で検出された識別情報に基づいて、前記特定情報データベースを参照して特定情報を読み込む特定部と、
前記第１画像と、前記特定情報とを対応付ける対応付部と、
前記第２画像にマークが含まれていない場合、前記識別情報検出部により前記識別情報を再検出された後、マークが含まれていない第２画像の前に位置するマークを撮影した第２画像と、マークが含まれていない第２画像の後に位置するマークを撮影した第２画像に基づいて、マークの含まれていない画像に、マークの位置情報を補間する補間部とを備え、
前記対応付部は、前記位置情報検出部により検出されたマークの位置情報、および前記補間部により補間されたマークの位置情報を、前記特定情報とともに前記第１画像に対応付けることを特徴とする撮影システム。
【請求項２】
前記マークの時間経過にともなう位置を追尾する追尾部を更に備え、
前記追尾部は、マークの追尾ができなくなった場合に前記補間部にその旨を通知し、
前記補間部は、その通知を受けると、直前に検出したマークの位置情報と、その後に検出したマークの位置情報とから、マークを検出できなかった画像におけるマークの位置情報を補間して求めることを特徴とする請求項１に記載の撮影システム。
【請求項３】
前記対応付部は、前記第１画像に前記特定情報と被写体の位置情報とを埋め込むことを特徴とする請求項１または２に記載の撮影システム。
【請求項４】
前記対応付部は、前記第１画像を識別する情報に対応付けて、前記特定情報と被写体の位置情報をファイルに格納することを特徴とする請求項１または２に記載の撮影システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、被写体を撮影する技術に関する。この発明はとくに、被写体を撮影する装置に関する。
【０００２】
【従来の技術】
デジタル放送は、映像や音声などのデジタルコンテンツを放送するものであり、映像や音声に限らずデジタル化できる情報であれば、どのような情報でも放送できる。こうした特徴を生かして、デジタル放送では、番組に関連する情報を映像に加えて表示する番組、テレビ局と視聴者との双方向の番組などを作ることができる。
【０００３】
【発明が解決しようとする課題】
このような番組を作成するためには、映像データとＢＭＬ（Broadcast markup language）などの記述言語で作成されたデータファイル（以下、ＢＭＬファイルという）とが必要になる。例えば、映像中の役者が着ている衣服を、ユーザが選択するとその衣服を購入できるといった番組を作る場合、映像を構成するそれぞれのコマ画像に、ユーザが選択できる衣服の存在範囲を設定し、ユーザがその範囲の一部を選択したときのアクションを設定する必要がある。この作業を人手で行なうのは大変な労力と時間を必要とする。
【０００４】
本発明はこうした課題に鑑みてなされたものであり、その目的は、映像に関連するＢＭＬファイルなどのデータファイルを容易に作成するための技術を提供することにある。
【０００５】
【課題を解決するための手段】
映像には被写体が含まれている。従来の撮影装置は、単に画素毎の色情報を記録するだけで、映像に写っている被写体を特定する情報を記録できなかった。映像を構成するコマ画像毎に、その画像中の被写体を特定する情報を対応付けて記録しておけば、その情報を利用して、ＢＭＬファイル等の映像に関連するデータファイルを容易に生成することができる。本発明者は、こうした発想から本発明を創作するに至った。
【０００６】
本発明のある態様は撮影装置である。この装置は、赤外線などの非可視光線を放射する送信機が取り付けられた被写体を含む領域を撮影して可視域の第１画像を生成する第１の撮像部と、前記領域を前記第１の撮像部と同じタイミングで撮影して非可視域の第２画像を生成する第２の撮像部と、前記第２画像に含まれる前記非可視光線によるマークを検出する第１の検出部と、前記マークに基づいて、前記第１画像と前記被写体を特定する特定情報とを対応付ける対応付部とを備える。第１の撮像部は、レンズ、可視光線のみを透過する第１フィルタ、及び第１フィルタを透過した光に基づいて画像データを生成するＣＣＤ（charge coupled device）などの撮像デバイスを有する。第２の撮像部は、レンズ、前記送信機が放射する非可視光線のみを透過する第２フィルタ、及び第２フィルタを透過した光に基づいて画像を生成するＣＣＤなどの撮像デバイスを有する。
【０００７】
ここで、「画像」は、映像を構成するコマ毎の画像を示し、コマ画像とも表記する。「映像」は、コマ画像を所定の時間間隔で連続して表示したときの動画を示す。「マーク」は、送信機からの非可視光線が撮像デバイスを照らすことで第２画像に写った像である。
【０００８】
この装置は、前記マークの前記第２画像における位置に基づいて前記被写体の前記第１画像における位置を検出する第２の検出部を更に備えてよい。衣服等の非可視光線の光路を妨害するものが無ければ、マークの形状は送信機の発光部とほぼ同じ形状になる。衣服等の障害物により光路が妨げられれば、その障害物により光線が散乱するので、マークの形状は散乱のしかたにより異なる。そこで、第２の検出部は、マークの形状の重心を被写体の位置として検出してもよい。
【０００９】
この装置は、時間経過にともなう前記マークの出現パターンに基づいて、前記送信機の識別情報を取得する取得部と、識別情報と特定情報とを対応付けて格納する特定情報データベースとを更に備え、前記対応付部は、取得した識別情報に対応付けられた特定情報を前記第１画像に対応付けてよい。
【００１０】
この装置は、識別情報を取得した後、前記マークの時間経過にともなう位置を追尾する追尾部を更に備え、前記対応付部は、前記特定情報と前記追尾部により取得されたマークの位置とを対応付けてよい。これにより、第１画像に被写体を特定する情報と、その被写体の第１画像における位置情報とを対応付けられる。
【００１１】
この装置は、前記第２画像にマークが含まれていない場合、その前後に撮影した第２画像におけるマークの位置に基づいて、マークの含まれていない画像に、マークの位置を対応付ける補間部を更に備えてよい。
【００１２】
前記対応付部は、前記第１画像を識別する情報に、前記特定情報と被写体の位置とを対応付けてよい。第１画像を識別する情報は、例えば、撮影を開始してからの時間や、撮影開始時のコマ画像を１とし、コマ画像を生成する毎にカウント値をインクリメントする場合のカウント番号などであってよい。また、前記対応付部は、前記第１画像に前記特定情報と被写体の位置とを埋め込んでもよい。
【００１３】
なお、以上の構成要素の任意の組合せ、本発明の表現を装置、方法、システム、コンピュータプログラムの間で変換したものもまた、本発明の態様として有効である。
【００１４】
【発明の実施の形態】
図１（ａ）は、実施の形態に係る撮影装置により撮影される可視域の画像（以下、可視画像という）を示す図である。この画像には、被写体Ａ及び被写体Ｂが含まれ、それぞれ服１２ａ並びに服１２ｂを着用している。
【００１５】
送信機２００ａ及び送信機２００ｂは、それぞれ同一の構成を有し、予め設定された識別情報を赤外線などの非可視光線を使って送信する。本実施の形態では、送信機２００ａ、２００ｂは、それぞれ異なる識別情報を、赤外線を使って送信する。このような送信機２００ａ、２００ｂを衣服の内側などの目立たない位置に取り付ける。ここで赤外線は、ある程度の厚みまでなら衣服を透過できる。
【００１６】
図１（ｂ）は、実施の形態に係る撮影装置により撮影される非可視域の画像を示す図である。これは、図１（ａ）で示した可視画像と同じ領域を撮影したときの赤外線域の画像（以下、赤外線画像という）である。この赤外線画像には、送信機２００ａ及び送信機２００ｂからの赤外線により発現したマーク１４ａ並びにマーク１４ｂが含まれている。このように、可視域の画像には赤外線によるマークが写らず、赤外線域の画像には赤外線によるマークが写る。
【００１７】
赤外線画像に写っている範囲は、図１（ａ）の可視画像に写っている範囲と同じなので、マーク１４ａの赤外線画像における位置と、可視画像における送信機２００ａの位置は一致する。これにより、赤外線画像におけるマークの位置を検出すれば、可視画像における送信機の位置を特定でき、更にはその送信機の取り付けられた被写体の位置を特定できる。本実施の形態では、送信機２００は、赤外線の照射パターンを変えることで識別情報を送信するので、そのパターンを検出することで撮影装置は識別情報を取得できる。そして、撮影装置が、識別情報と被写体を対応付けたデータベースを参照すれば、識別情報から被写体を特定できる。以下の説明において、映像に含まれる被写体の内、識別情報が対応付けられている被写体をオブジェクトと表記する。
【００１８】
例えば、映像中の役者が見につけている衣服をオブジェクトとし、ユーザが、ポインタデバイスを使ってそのオブジェクトを選択すると、その衣服の値段や購入先などをサブ画面に表示する番組を作る場合、その番組を表示する装置は、ユーザにより指定された位置がオブジェクトの存在範囲に含まれているか否かを判定する必要がある。その判定のために、オブジェクトの存在範囲を示すデータを用意する必要がある。このデータを可視画像と赤外線画像とを利用して生成するひとつの方法を図１（ｃ）を用いて説明する。
【００１９】
図１（ｃ）は、図１（ａ）に含まれるオブジェクトの存在範囲を示す図である。この図は、服１２ａを示すオブジェクト１６ａと服１２ｂを示すオブジェクト１６ｂとを含む。このオブジェクトの存在範囲は、図１（ａ）の可視画像および図１（ｂ）の赤外線画像に基づいて生成される。例えば、オブジェクト１６ａの存在範囲を検出する場合、マーク１４ａの位置に基づいて図１（ａ）の可視画像における送信機２００ａの位置を検出し、その位置を含む同系色の領域を検出する。この領域をオブジェクトの存在範囲とする。このように、画像中の一点を含む領域を選択する技術を使えば、可視画像からオブジェクトの存在範囲を検出できるので、映像中のオブジェクトの存在範囲をわざわざ作業者が指定して、オブジェクトの存在範囲を示すデータを用意しなくてもよい。
【００２０】
また、単に映像に含まれる役者の詳細な情報を表示するためのＢＭＬファイルを作成するといった場合にも利用できる。例えば、役者を特定する情報と、役者の詳細情報を対応付けたデータベースを作成し、映像に含まれる役者の特定情報を用いてそのデータベースを参照すれば、自動的にＢＭＬファイルを作成することも可能である。更に、大量の映像の中から所望する役者が写っている映像を検索することもできる。このように、映像を構成するコマ画像毎に、そのコマ画像に含まれるオブジェクトを特定する情報とそのオブジェクトの位置とを予め対応付けておけば、その映像を使った番組のＢＭＬファイルの作成や、所望の映像の検索等に大いに活用できる。
【００２１】
図２は、撮影装置１００の内部構成図である。第１撮像部１０８および第２撮像部１１０は、例えばＣＣＤカメラであり、被写体を撮影してデジタルデータに変換する。第１フィルタ１２６は、可視域の光線を透過するフィルタである。これにより、第１撮像部１０８が生成した可視画像に赤外線による像が写りこむことを防止できる。第２フィルタ１０６は、赤外線を透過するフィルタである。これにより、第１撮像部１０８は、送信機２００が送信した赤外線を画像化してデジタルデータに変換できる。
【００２２】
光学部１０２は、レンズなどの光学部材により構成され、撮影領域からの光を平行光にする。光学部１０２は、ズーム機構などを備えてもよい。偏光部１０４は、偏光ビームスプリッタ等の光を２方向に偏光する光学部材であり、光学部１０２からの平行光を第１撮像部１０８および第２撮像部１１０に導く。これにより、同一の光線が第１撮像部１０８および第２撮像部１１０に導かれる。第１撮像部１０８および第２撮像部１１０は同一の領域を撮影するように調整される。例えば、その調整は第１撮像部１０８および第２撮像部１１０のいずれか一方を物理的に移動することで行ってもよいし、撮影領域のずれ量を検出して画像処理を施すことで行ってもよい。図示しないが、撮影装置１００はこのような調整を行うための調整部を備えてもよい。
【００２３】
クロック発生部１１２は、第１撮像部１０８および第２撮像部１１０に撮影のタイミングを供給する。これにより、第１撮像部１０８および第２撮像部１１０は同一のタイミングで撮影できる。格納処理部１１４は、第１撮像部１０８から送られた可視画像を第１画像格納部１１６に格納し、第２撮像部１１０から送られた赤外線画像を第２画像格納部１１８に格納する。
【００２４】
取得部１３０は、赤外線画像から識別情報と、赤外線画像中のオブジェクトの位置情報とを取得する。特定情報データベース１２４は、識別情報とオブジェクトを特定する特定情報とを対応付けて保持する。特定部１２２は、取得部１３０からの識別情報に基づいて特定情報データベース１２４を参照して特定情報を読み込む。対応付部１２０は、第１画像格納部１１６に保持されている可視画像と、特定情報とを対応付ける。対応付部１２０は、特定情報及びオブジェクトの位置情報を可視画像に埋め込んでもよいし、可視画像を識別する情報に対応付けて特定情報及びオブジェクトの位置情報を別ファイルに格納してもよい。要は、対応付部１２０は、可視画像、特定情報およびオブジェクトの位置情報とを対応付ければよく、その対応付けの方法、格納時のデータ構造は特にこだわらない。
【００２５】
図３は、取得部１３０の内部構成図である。マーク検出部１３２は、第２撮像部１１０からの赤外線画像に含まれるマークを検出する。識別情報検出部１３４は、そのマークに基づいて識別情報を検出する。本実施の形態では、送信機２００は、例えば赤外線を放射する発光ダイオードの発光パターンを変えることで識別情報を送信するので、識別情報検出部１３４は、時間経過に伴うマークの出現パターンに基づいて識別情報を検出する。識別情報検出部１３４は、検出した識別情報が正しいか否かを判定するために特定情報データベース１２４を参照する。そして、その識別情報が特定情報データベース１２４に含まれている場合に、識別情報を検出したことを追尾部１３６に通知する。
【００２６】
追尾部１３６は、識別情報検出部１３４からの通知を契機に、識別情報の検出されたマークを追尾する。位置情報検出部１４０は、そのマークの赤外線画像における位置情報を検出し、識別情報に対応付けて特定部１２２に出力する。位置情報検出部１４０は、マークの形状の重心を位置情報として検出してもよい。
【００２７】
役者の衣服に送信機２００を取り付けている場合、その役者が動くことで送信機２００からの赤外線が撮影装置１００に到達しないことがある。そこで、追尾部１３６は、マークの追尾が出来なくなった場合に補間部１３８にその旨を通知する。補間部１３８は、第２画像格納部１１８に格納されている赤外線画像を利用して、マークの写っていない赤外線画像に対応する可視画像に、マークの位置情報を補間する処理を行なう。
【００２８】
図４は、第２撮像部１１０により生成された赤外線画像を時系列に並べた図である。本図では、左端から右端に向かって時間が経過している。マーク１６８は、送信機２００から送信された赤外線により発現する。この実施の形態では、送信機２００が赤外線を送信するタイミングと、第２撮像部１１０が撮像するタイミングとが同期しているとする。マーク１６８の出現している赤外線画像を「１」、出現していない赤外線画像を「０」として表記すると、画像１５０、１５１、１５２及び１５３から、図３の識別情報検出部１３４は、識別情報「１０１１」を検出する。その後、追尾部１３６はそのマーク１６８を追尾し、位置情報検出部１４０はマーク１６８の位置情報を出力する。特定部１２２は、識別情報「１０１１」に対応付けられた特定情報を取得する。そして、対応付部１２０は、その特定情報と位置情報とを可視画像に対応付ける。
【００２９】
画像１５６、１５７は、被写体が動くことで何かの物陰に隠れ、送信機２００からの赤外線が到達しない状態である。そして、画像１５８で再びマーク１６８が出現すると、識別情報検出部１３４は再び識別情報の検出を行なう。識別情報を検出した後、追尾部１３６は再びマーク１６８の追尾を開始する。補間部１３８は、画像１５６の直前にある画像１５５と、画像１５７の直後にある画像１５８におけるマーク１６８の位置に基づいて、コマ画像１５６、１５７に写るべきマークを補間する。これにより、全ての可視画像に特定情報と位置情報とを対応付けることができる。
【００３０】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。こうした変形例として以下のものがある。
【００３１】
実施の形態では、送信機２００が識別情報を送信し、その識別情報に基づいて被写体の特定情報を対応付けることとしたが、送信機２００が被写体の特定情報を送信してもよい。これにより、図２で説明した特定情報データベース１２４及び特定部１２２を設けなくてもよく、取得部１３０が特定情報を取得し、対応付部１２０がその特定情報と可視画像とを対応付ければよい。
【００３２】
図２で示した撮影装置１００の機能ブロックは、ひとつの筐体に収まっている必要は無く、格納処理部１１４および取得部１３０より下段の処理を行う機能ブロックは別の筐体に収まっていてもよい。また、別の形態では、取得部１３０、特定情報データベース１２４、特定部１２２、および対応付部１２０をひとつの筐体に収め、それ以外の機能ブロックを別の筐体に収めてもよい。
【００３３】
【発明の効果】
上記説明から明らかなように、本発明によれば映像データに、映像中の被写体を特定する情報を付加できる。
【図面の簡単な説明】
【図１】  実施の形態に係る撮影装置による、映像に被写体を特定する情報を付加する処理の概念を説明するための図である。
【図２】  撮影装置の内部構成図である。
【図３】  図２の取得部の内部構成図である。
【図４】  図３の補間部による補間処理を説明するための図である。
【符号の説明】
１００  撮影装置、１０８  第１撮像部、１１０  第２撮像部、１１２  クロック発生部、１１６  第１画像格納部、１１８  第２画像格納部、１２０  対応付部、１２２  特定部、１２４  特定情報データベース、１３０  取得部、１３２  マーク検出部、１３４  識別情報検出部、１３６  追尾部、１３８  補間部
【図１】
0004019108.tif 000002
【図２】
0004019108.tif 000003
【図３】
0004019108.tif 000004
【図４】
0004019108.tif 000005