(57)【特許請求の範囲】
【請求項１】
表示手段に表示される識別子を撮像する撮像手段により撮像される識別子を用いて上記撮像手段の上記表示手段に対する位置を解析する解析手段と、
過去に撮像された撮像範囲内の所定点の位置を記憶する記憶手段とを備え、
上記解析手段は、上記撮像手段により多重露光撮影される画像を用いて、１つの画像に表示される複数の識別子間の時間的な前後関係を、上記記憶手段に記憶した過去の上記所定点の位置変化が連続になっていることを手掛かりとして類推して、上記位置を解析する位置解析装置。
【請求項２】
上記撮像手段は、非同期シャッタを備える請求項１記載の位置解析装置。
【請求項３】
上記解析手段は、上記撮像手段と無線で接続される請求項１記載の位置解析装置。
【請求項４】
動き検出を行うベクトル演算手段をさらに備え、
上記解析手段は、上記ベクトル演算手段により動き検出を行う請求項１記載の位置解析装置。
【請求項５】
識別子を表示する表示手段を備える請求項１記載の位置解析装置。
【請求項６】
表示手段を撮像する撮像手段を備える請求項１記載の位置解析装置。
【請求項７】
上記識別子は、所定の色範囲で識別される識別子である請求項１記載の位置解析装置。
【請求項８】
上記識別子は、所定模様で識別される識別子である請求項１記載の位置解析装置。
【請求項９】
上記識別子は、所定の輝度範囲で識別される識別子である請求項１記載の位置解析装置。
【請求項１０】
上記解析手段は、上記識別子を自動的に認識する請求項１記載の位置解析装置。
【請求項１１】
上記解析手段は、予め決められている所定動作により検出される識別子の位置を基準として比較することで、上記撮像された識別子を認識する請求項１０記載の位置解析装置。
【請求項１２】
上記所定動作は、上記解析手段において制御される動作である請求項１１記載の位置解析装置。
【請求項１３】
上記所定動作は、上記解析手段に同期した動作である請求項１１記載の位置解析装置。
【請求項１４】
表示手段に表示される識別子を撮像する撮像手段により撮像される識別子を用いて上記撮像手段の上記表示手段に対する位置を解析する解析工程と、
過去に撮像された撮像範囲内の所定点の位置を記憶手段に記憶する記憶工程とを備え、
上記解析工程では、上記撮像手段により多重露光撮影される画像を用いて、１つの画像に表示される複数の識別子間の時間的な前後関係を、上記記憶手段に記憶した過去の上記所定点の位置変化が連続になっていることを手掛かりとして類推して、上記位置を解析する位置解析方法。
【請求項１５】
表示手段に表示される識別子を撮像する撮像手段により撮像される識別子を用いて上記撮像手段の上記表示手段に対する位置を解析する解析手段と、
過去に撮像された撮像範囲内の所定点の位置を記憶する記憶手段と、
上記解析手段で解析された位置情報を制御情報に変換してプログラムを制御する制御手段とを備え、
上記解析手段は、上記撮像手段により多重露光撮影される画像を用いて、１つの画像に表示される複数の識別子間の時間的な前後関係を、上記記憶手段に記憶した過去の上記所定点の位置変化が連続になっていることを手掛かりとして類推して、上記位置を解析するエンターテインメント装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一方の機器に対する他方の機器の相対位置を検出するための位置解析装置及び位置解析方法、並びに、エンターテインメント装置に関し、特に、識別子を検出して解析することにより相対位置を検出するための位置解析装置及び位置解析方法、並びに、これらを適用したエンターテインメント装置に関する。
【０００２】
【従来の技術】
近年、電子ゲーム技術の発展に伴い、幾つかの入力ボタンの組み合わせにより操作入力を行ったり、いわゆるジョイスティック等により操作入力を行ったりするだけのゲームでは、ユーザの要求を満たしたり、ユーザの興味を獲得することが困難になってきた。
【０００３】
そこで、例えば、釣りをするゲームであれば釣り道具を模した入力装置を使用し、楽器を演奏するゲームであれば楽器を模した入力装置を使用し、射撃ゲームであれば本物の銃に模した入力装置を使用するなどして、より現実的な操作によりゲームを行うことができるように工夫されている。また、ユーザが画面を見ながら、実際に身体を動かして行うゲーム装置も存在する。
【０００４】
この場合、身体全体の動きを検出するのではなく、所定位置に接触するとそれが検出されるような入力装置を用いて、ユーザの身体の動きを、例えばステップ等の部分的な動きとして入力している。
【０００５】
ユーザが現実的な動作により近い動作を行うことでゲームの入力を行うために、ユーザの動きを検出し、これを入力信号として利用することが考えられている。例えば、ゲームプレーヤ（ユーザ）を撮像装置により撮像して、その撮像画像に基づいてゲームプレーヤ（ユーザ）の動きを解析し、その解析結果をゲームの入力に反映させるといったものである。
【０００６】
ユーザの動き、或いは所定部位の位置を非接触にて検知するシステムは、既に実現されており、このような位置検出システムとしては、例えば、ブラウン管の走査線をビームで感光させて発光素子で検出する場合、赤外線、或いは超音波を使用して位置検知する場合等がある。
【０００７】
【発明が解決しようとする課題】
ところが、非接触で目標部位の位置を検出する場合、特に、赤外線を用いる場合は、予め設置された複数の赤外線発生装置からの赤外線を受けて干渉縞を検出することにより位置を特定するために、至近距離で使用しないと位置検出精度が低くなってしまう。また、赤外線を使用した他の機器からの干渉を受けやすいため、特に同じ装置を並べて使用するような場合に位置検出精度が低下するという問題点があった。また、超音波を使用する場合は、予め設置された複数の超音波センサが受ける反射波を測定することにより、位置並びに動きを特定するため、赤外線を用いるときと同様に、反射波が干渉を受けるような条件では、やはり位置検出精度が低下する。
【０００８】
また、ユーザが画面に表示される標的に向かって射撃を行うゲーム装置では、ブラウン管の走査線をビームで感光させ、これを受光素子で検出することで、画面上の位置を検出する方法を採用しているが、検出動作の度に画面の一部又は全域をフラッシュさせる必要がある。そのため、位置検出動作の度に画面をフラッシュさせても違和感のないようなアプリケーションにしか適用できなかった。その上、この方法を適用した位置検出は、走査線を有した表示装置にのみ有効であって、プロジェクタで映し出される画像や、液晶モニタに表示される画像に対しては適用できないという問題点があった。
【０００９】
そこで、このような不都合を解消するための位置検出装置が特開平６−３０１４７５号公報に開示されている。ところが、ここに開示された位置検出装置を射撃ゲームに適用した場合、銃型コントローラとしての撮像装置の傾きが検出されないため、ユーザが銃型コントローラとしての撮像装置を正確に水平に保たない限り、ユーザが狙った照準と検出された位置との間で誤差が生じる。
【００１０】
また、特開平１１−３０５９３５号公報にも撮像装置を用いた位置検出装置が開示されているが、識別子として赤外線発光素子が用いられているため、例えば、この位置検出装置を家庭用のディスプレイに適用させようとすることは困難であって、業務用の大型筐体のゲーム機としての利用に限定されてしまう。また、この位置検出装置は、赤外線カットフィルタを備えていないため、撮像装置を取り外しても通常のカメラとして使用することができないのは、利便性に欠けるものである。
【００１１】
このように、従来型のユーザインターフェイスとして、接触型インターフェイスによるGUI（Graphical User Interface）や、デスクトップメタファ（Desktop metaphor）といった概念があるが、上述したような種々の問題点が存在する。
【００１２】
そこで本発明は、このような従来の実情に鑑みて提案されたものであり、あらゆる種類の表示装置に対応し、高精度の動き検出が可能な非接触の画像入力による新しいユーザインターフェイスとしての位置解析装置及び位置解析方法、並びに、このような位置解析方法を適用したエンターテインメント装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明に係る位置解析装置は、表示手段に表示される識別子を撮像する撮像手段により撮像される識別子を用いて上記撮像手段の上記表示手段に対する位置を解析する解析手段と、過去に撮像された撮像範囲内の所定点の位置を記憶する記憶手段とを備え、上記解析手段は、上記撮像手段により多重露光撮影される画像を用いて、１つの画像に表示される複数の識別子間の時間的な前後関係を、上記記憶手段に記憶した過去の上記所定点の位置変化が連続になっていることを手掛かりとして類推して、上記位置を解析することにより、上述の目的を達成する。
【００１４】
また、本発明に係る位置解析方法は、表示手段に表示される識別子を撮像する撮像手段により撮像される識別子を用いて上記撮像手段の上記表示手段に対する位置を解析する解析工程と、過去に撮像された撮像範囲内の所定点の位置を記憶手段に記憶する記憶工程とを備え、上記解析工程では、上記撮像手段により多重露光撮影される画像を用いて、１つの画像に表示される複数の識別子間の時間的な前後関係を、上記記憶手段に記憶した過去の上記所定点の位置変化が連続になっていることを手掛かりとして類推して、上記位置を解析することにより、上述の目的を達成する。
【００１５】
また、本発明に係るエンターテインメント装置は、表示手段に表示される識別子を撮像する撮像手段により撮像される識別子を用いて上記撮像手段の上記表示手段に対する位置を解析する解析手段と、過去に撮像された撮像範囲内の所定点の位置を記憶する記憶手段と、上記解析手段で解析された位置情報を制御情報に変換してプログラムを制御する制御手段とを備え、上記解析手段は上記撮像手段により多重露光撮影される画像を用いて、１つの画像に表示される複数の識別子間の時間的な前後関係を、上記記憶手段に記憶した過去の上記所定点の位置変化が連続になっていることを手掛かりとして類推して、上記位置を解析することにより上述の目的を達成する。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１７】
本発明の第１の実施の形態として示す位置検出システム１は、表示装置に識別子を表示し、この識別子を含む表示画像を操作入力装置としての撮像装置で撮影し、撮影した画像を解析手段において解析することによって、表示装置と撮像装置との位置関係、並びに撮像装置の表示装置に対する向き等を非接触により検出する位置検出システムであって、例えば表示装置に表示される画像の所定位置或いは所定の画像に対して、操作入力装置としての撮像装置を対向して選択動作を行うことで、操作入力を行うことが可能なユーザインターフェイスである。
【００１８】
位置検出システム１を図１に示す。位置検出システム１は、後述する表示部１２及びスピーカ１３を有したゲーム筐体１０と、銃を模したコントローラ型撮像装置１１とを備える。
【００１９】
表示部１２には、ゲームの内容であるアニメーション画像等が出力され、スピーカ１３からは、表示部１２に表示される画像に合わせて、効果音や音楽等が再生される。図１に示す位置検出システム１において、表示部１２には、詳細は図示しないが背景画像と、識別子１４と、標的１５と、照準点１６とが表示されている。
【００２０】
このように、当該位置検出システム１は、例えば、ユーザ１０００が銃を模した操作入力装置としてのコントローラ型撮像装置１１を用いて、表示部１２に表示される標的１５に向かって照準点１６を定めて射撃をするゲーム装置を構成している。
【００２１】
コントローラ型撮像装置１１は、撮像素子としてＣＣＤ（Charge Coupled Device）を備えた撮像カメラであり、ユーザ１０００によってゲーム筐体１０の表示部１２に対向されるとき、表示部１２に表示されている画像を含めた周辺の環境を撮像し、この撮像範囲１７の画像をゲーム筐体１０に送信している。このとき、コントローラ型撮像装置１１が捕らえた撮像範囲１７の中心が照準点１６として表示部１２上の対応箇所に表示される。
【００２２】
次に、このゲーム装置としての位置検出システム１の具体的な回路構成を図２に示す。
【００２３】
図２に示すように、位置検出システム１におけるゲーム筐体１０は、レンズ部２０、固体撮像素子とされるＣＣＤ（Charge Coupled Device）部或いはＣＣＤイメージャ２１（Imager）２１、Ｓ／Ｈ（Sampling/Hold）部２２、ＡＧＣ（Auto Gain Controler）部２３、Ａ／Ｄ（Analog/Digital）部２４、信号処理部２５、ＴＧ（Timing Generator）部２６、撮像駆動部２７、撮像制御部２８、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２９、メインメモリ３０、機械的Ｉ／Ｆ（Interface）３１、ゲーム制御部３２、表示制御部３３、ＲＯＭ（Read Only Memory）３４、画像処理部３５及びフレームメモリ３６を備えている。
【００２４】
このような構成からなる位置検出システム１において、ＣＣＤ（Charge Coupled Device）部或いはＣＣＤイメージャ（Imager）２１、Ｓ／Ｈ部２２、ＡＧＣ部２３、Ａ／Ｄ部２５、信号処理部２５、ＴＧ部２６、撮像駆動部２７、撮像制御部２８及びＳＤＲＡＭ２９からコントローラ型撮像装置１１が構成され、ゲーム制御部３２は、コントローラ型撮像装置１１から出力された時間的に異なる撮影画像を比較して動き検出をする動き検出手段として機能する。
【００２５】
具体的には、コントローラ型撮像装置１１は、非同期のシャッタにより任意のタイミングで撮像を行う機能と、撮像のための同期信号の一周期内において複数の撮像を行う多重露光撮影により撮像を行う機能とを有している。これらの機能の詳細は後述する。
【００２６】
また、ゲーム制御部３２は、ある時間における表示部１２を撮影した画像と、所定時間経過後のゲームプレーヤ（ユーザ）の動作後の撮影画像とを比較して動きを検出する。ゲーム制御部３２は、検出した動き検出結果に基づいてプログラムを実行する制御手段としての機能も有する。
【００２７】
このような位置検出システム１において、レンズ部１０を介して入力される撮像された画像は、固体撮像素子であるＣＣＤ部１１にて光電変換される。ここで撮像素子は、ＣＣＤに限定されるものではなく、例えば、ＣＭＯＳセンサー等といった他の撮像素子を用いることもできる。ＣＣＤ部１１にて光電変換された画像信号は、Ｓ／Ｈ部２２においてサンプリング及びホールドされ、続いてＡＧＣ部２３にて利得の調節がなされて、Ａ／Ｄ部２５に入力される。このとき、ＣＣＤ部１１からの画像信号の読み出しタイミングやＳ／Ｈ部２２における処理タイミングは、ＴＧ部２６からの読み出しタイミング信号によって制御されている。
【００２８】
Ａ／Ｄ部２５では、入力された撮像信号は量子化される。Ａ／Ｄ部２５にて量子化された画像情報は信号処理部２５にて一般的なカメラ信号処理が施されて、情報記憶部であるＳＤＲＡＭ２９に格納される。ここで、画像情報が記憶される情報記憶部は、ＳＤＲＡＭ２９に限定されるものではなく、他の揮発性記憶手段であってよい。ＳＤＲＡＭ２９に格納された画像は、ゲーム制御部３２の要求に応じて撮像制御部２８にてストリームにされて、ゲーム制御部３２を介してメインメモリ３０に転送される。
【００２９】
撮像制御部２８は、位置検出システム１の各部を統括して制御している。撮像制御部２８は、撮像駆動部１７を制御してレンズ部１０を駆動し、絞り、ズーム、フォーカス等の制御を行う。
【００３０】
ゲーム制御部３２は、ＳＤＲＡＭ２９からストリームとして転送された画像を画像処理して動き検出を行うものである。なお、ここでゲーム制御部３２と撮像制御部２８とは、同一のプロセッサとして構成されていてもよい。
【００３１】
動き検出は、例えば後述する特開平9-247556号公報に開示された多重露光撮影技術によって行われる。多重露光撮影技術を用いた動き検出についての詳細は、後述する。
【００３２】
ゲーム制御部３２は、転送された画像を画像処理して予め決められている特徴点を検出する。すなわち、表示部の所定位置に表示されている識別子１４を抽出し、コントローラ型撮像装置１１が捕らえた撮像範囲１７の中心を照準点１６として表示部１２上の対応箇所に表示する。
【００３３】
次に、ゲーム制御部３２は、上述のようにして抽出した識別子１４の座標を記憶する。そして、ゲーム制御部３２は、次々に転送されてくる画像、すなわちコントローラ型撮像装置１１にて撮像されて、順次転送されてくる画像について上述した処理を繰り返す。
【００３４】
ゲーム制御部３２は、識別子１４の座標を時系列で統計・分析することにより識別子１４の動き検出を行う。また、動体予測によって識別子１４の動きを補正する。
【００３５】
検出した識別子１４の動き及び照準点１６の位置は、機械的Ｉ／Ｆ部３１からの制御信号や撮影時のトリガ信号とともに制御信号として扱われ、ゲームに対するユーザの入力信号として使用される。ゲーム制御部３２は、この入力信号としての制御信号に基づいてゲームを実行し、照準の位置とトリガに依存した標的や照準等が表示部１２において表示される。
【００３６】
すなわち、ゲーム制御部３２は、識別子１４の動きを検出し、その動き検出結果を制御信号に含めることによって、ゲーム筐体１０に対するコントローラ型撮像装置１１の動きを、表示部１２に表示される動きを伴うキャラクター、特に、本発明にかかる実施の形態においては照準点１６の動きに反映させている。
【００３７】
照準点１６の動きを検出するに際して、図３に示すように、ユーザに対して規定の動作を促すための看板、或いは音声ガイド等を設けたり、図４に示すように、ゲーム制御手段３２に同期して表示部１２に規定の動作を促す表示を行うことで、識別子１４の基準相対位置を予め検出するキャリブレーション動作を行うことで、位置検出がより容易に行える。
【００３８】
なお、ＲＯＭ３４には、ゲームを実行するためのプログラム等が記憶されている。また、画像処理部３５は、画像処理を行う部であって、例えば、クロマキー処理等を行う。
【００３９】
続いて、位置検出システム１におけるコントローラ型撮像装置１１が表示部１２を含めたゲーム筐体１０の周辺の環境を撮像し、当該コントローラ型撮像装置１１の表示部１２に対する向きに応じて、表示部１２に照準点１６を表示する処理を図５を用いて説明する。
【００４０】
撮像制御部２８は、常に撮像条件を監視・検出している。撮像制御部２８は、ステップＳ１において、撮像条件が適正か否かの判別を行う。
【００４１】
撮像制御部２８は、ステップＳ１において撮像条件が適正でないと判断した場合、ステップＳ２に進み、絞り（Iris）、ズーム（Zoom）、フォーカス（Focus）を制御する撮像駆動部２７と、ＴＧ部２６と、ＡＧＣ部２３と信号処理部２５とを直ちに制御して撮像条件を調整する。
【００４２】
ステップＳ１において、撮像条件が適正であると判断された場合、ステップＳ３に進んで、動き検出の要求が出されたか否かの判別を行う。
【００４３】
ステップＳ３において、動き検出を行うことが要求されなかった場合、ステップＳ１の工程を繰り返す。一方、動き検出を行うことを要求された場合、ステップＳ４に進んで、コントローラ型撮像装置１１は、撮像範囲１７の画像を取得し、ゲーム筐体１０に対して出力し、ステップＳ１の工程を繰り返す。
【００４４】
このとき、ゲーム筐体１０内のゲーム制御部３２がコントローラ型撮像装置１１からの画像に基づいて動き検出を行う処理を図６に示す。
【００４５】
ゲーム制御部３２は、ステップＳ１０において、画像が入力されたか否かの判別を行う。画像が入力された場合、ステップＳ１１において、画像情報の中から識別子１４を抽出する。
【００４６】
続いてゲーム制御部３２は、ステップＳ１２において、抽出した識別子の画角に対する座標を記憶し、コントローラ型撮像装置１１の表示部１２に対する方向・角度と照準点１６とを補正する後述するキャリブレーション動作の際に識別子の基準相対位置から位置予測を行い、不可視の識別子の位置を予測する。
【００４７】
ここで図７を用いて、識別子１４の位置を予測する際の概念を説明する。図７（ａ）に示す基準となる基準相対位置と、図７（ｂ）に示す撮像された識別子１４とは常に相似であることを前提として、撮像された識別子が図７（ｃ）のようであった場合、相対位置が相似であることから図７（ｃ）に示す位置に識別子Ｃが存在することを予測する。
【００４８】
ゲーム制御部３２は、ステップＳ１３において、予測によって補完した識別子含む複数の識別子の相対位置から照準点１６の位置を検出する。
【００４９】
ステップＳ１４において、検出した照準点１６の位置を、さらに動体予測によって補正し、ノイズを除去し、制御信号としてゲームの入力に反映させる。
【００５０】
以上示したように、図１に示す位置検出システム１は、ユーザが入力装置としてのコントローラ型撮像装置１１のトリガを引くと、コントローラ型撮像装置１１から画像情報とトリガが引かれたことを示すトリガ情報とがゲーム筐体１０に送信される。このときゲーム制御部３２は、画像情報から識別子１４を認識し、複数の識別子の相対位置からコントローラ型撮像装置１１が表示部１２のどの位置に向けられているかを解析する。解析した結果は、トリガ情報とともゲーム制御部３２に送られ、制御信号に変換されて照準点１６として表示するほか、ゲームの入力として使用される。
【００５１】
したがって、第１の実施の形態として示した位置検出システム１は、コントローラ型撮像装置１１によって撮影された撮影範囲１７の画像から、表示部１２に背景画像とともに表示される識別子１４を検出して、識別子１４の座標に応じて照準点１６を表示することができる。
【００５２】
これにより、位置検出システム１は、ゲームプレーヤ（ユーザ）の動きや実際の射撃動作を入力情報として使用し、例えばゲームのような仮想世界に現実世界の動作を反映させることを可能としている。
【００５３】
続いて、本発明の第２の実施の形態について説明する。第２の実施の形態として示す位置検出システム２は、本発明に係る位置検出システムを家庭用のゲーム装置に適用したものである。この位置検出システム２は、図８に示すように、モニタ４０、ゲーム装置５０及びコントローラ型撮像装置６０を備えて構成されている。
【００５４】
ここで、モニタ４０は画像表示手段であり、通常、外部からの映像及び音声入力が可能なテレビジョン受像機（以下、テレビと記す。）である。ゲーム装置５０は、第１の実施の形態に示したような業務用のゲーム筐体１０を小型化した家庭用ゲーム装置であって、所定のプログラムに従ってゲームを実行する処理手段を備えている。コントローラ型撮像装置６０は、入力装置であって、ゲームの入力に必要な操作ボタン等の他の入力手段が備えられているが、基本的には撮像装置であって、ゲームの入力装置としての使用に止まることなく通常のＣＣＤカメラ装置のように撮像装置単体として使用することができる。
【００５５】
例えばゲーム装置５０とコントローラ型撮像装置６０とは、無線通信又は有線通信によりデータの送受信を行うことができるようになっている。モニタ４０、ゲーム装置５０及びコントローラ型撮像装置６０は、概略を図８に示すように、それぞれ互いに接続されている。
【００５６】
この第２の実施の形態の位置検出システムは、モニタ４０、ゲーム装置５０及びコントローラ型撮像装置６０により、上述した第１の実施の形態に示した位置検出システム１の処理と同様の処理を行うことができる。すなわち、第２の実施の形態において、モニタ４０は、位置検出システム１の表示部１２に対応し、ゲーム装置５０は、上述の位置検出システム１における動き検出等の処理を行うゲーム筐体１０内の構成要素に対応している。
【００５７】
位置検出システム２の回路構成を図９に示す。上述のように第２の実施の形態として示す位置検出システム２は、第１の実施の形態の位置検出システム１と同様の処理を行うことから、基本的には第１の実施の形態の位置検出システム１と共通の構成要素とすることができる。よって、位置検出システム１と共通する構成部分については同一番号を付して詳細な説明を省略する。
【００５８】
なお、当然のことながら、第１の実施の形態の位置検出システム１と共通の構成部分であっても、第２の実施の形態の位置検出システム２に適応するように適宜変更を加えることができることはいうまでもない。
【００５９】
位置検出システム２は、基本的には、第１の実施の形態として示した位置検出システム１と同様の処理を行う。コントローラ型撮像装置６０において、レンズ部１０を介して入力される撮像された像は、ＣＣＤ部１１にて光電変換される。
ＣＣＤ部１１にて光電変換された画像信号は、Ｓ／Ｈ部２２にてサンプルホールドによりサンプリングされ、続いてＡＧＣ部２３にて利得調節されて、Ａ／Ｄ部２５に入力される。ここで、ＣＣＤ部１１からの画像信号の読み出しタイミングやＳ／Ｈ部２２における処理タイミングは、ＴＧ部２６からの読み出しタイミング信号によって制御されている。
【００６０】
Ａ／Ｄ部２５では、入力された撮像信号は量子化される。Ａ／Ｄ部２５にて量子化された画像情報は信号処理部２５にて一般的なカメラ信号処理が施されて、情報記憶部とされるＳＤＲＡＭ２９に格納される。ＳＤＲＡＭ２９に格納された画像は、ゲーム制御部３２の要求に応じて撮像制御部２８にてストリームとされて、ゲーム制御部３２を介してメインメモリ３０に転送される。
【００６１】
コントローラ型撮像装置６０は、Ｉ／Ｆ（interface；インターフェイス）部６１を備えており、このＩ／Ｆ部６１を介してゲーム装置５０との間でデータ通信を行う。対応するゲーム装置５０は、Ｉ／Ｆ部５１を備えており、このＩ／Ｆ部５１を介してコントローラ型撮像装置６０のＩ／Ｆ部６１との間でデータ通信を行う。Ｉ／Ｆ６１とＩ／Ｆ部５１とは、例えば無線通信或いは有線通信によりデータの送受信が可能な通信手段で構成されている。
【００６２】
ゲーム装置５０では、ゲーム制御部３２において、ＳＤＲＡＭ２９からストリームとして転送された画像を画像処理して動き検出が行われる。ゲーム制御部３２による動き検出については、第１の実施の形態の位置検出システム１と同様の処理によって行われる。検出された結果は、機械的Ｉ／Ｆ部３１からの制御信号とともに制御信号として扱われ、ゲームに対する入力情報に反映される。
【００６３】
ゲーム制御部３２は、入力情報が含まれる制御信号に基づいてゲームを実行し、モニタＩ／Ｆ部５２を介して、ユーザが動かす入力装置としてのコントローラ型撮像装置６０の動きに依存して照準点１６をモニタ４０に表示する。
【００６４】
このとき位置検出システム２におけるコントローラ型撮像装置６０が表示部１２を含めたゲーム筐体４０の周辺の環境を撮像し、当該コントローラ型撮像装置６０の表示部１２に対する向きに応じて、表示部１２に照準点１６を表示する処理を図１０を用いて説明する。
【００６５】
撮像制御部２８は、常に撮像条件を監視・検出している。撮像制御部２８は、ステップＳ２１において、撮像条件が適正か否かの判別を行う。
【００６６】
撮像制御部２８は、ステップＳ２１において撮像条件が適正でないと判断した場合、ステップＳ２２に進み、絞り（Iris）、ズーム（Zoom）、フォーカス（Focus）を制御する撮像駆動部２７と、ＴＧ部２６と、ＡＧＣ部２３と信号処理部２５とを直ちに制御して撮像条件を調整する。
【００６７】
ステップＳ２１において、撮像条件が適正であると判断された場合、ステップＳ２３に進んで、動き検出の要求が出されたか否かの判別を行う。
【００６８】
ステップＳ２３において、動き検出の要求がなかった場合、ステップＳ２１の工程へと戻る。動き検出を行うことを要求された場合、ステップＳ２４に進んで、コントローラ型撮像装置６０における撮像制御部２８は、撮像範囲１７の画像を取得し、これを所定の形式で圧縮する。
【００６９】
撮像制御部２８は、ステップＳ２５において、所定の形式で圧縮した画像をゲーム装置５０に対して出力する。
【００７０】
このときゲーム装置５０内のゲーム制御部３２がコントローラ型撮像装置６０からの画像に基づいて動き検出を行う処理を図１１に示す。
【００７１】
ゲーム制御部３２は、ステップＳ３１において、画像が入力されたか否かの判別を行う。画像が入力された場合、ステップＳ３２において、入力した圧縮画像を展開（解凍）する。
【００７２】
ゲーム制御部３２は、ステップＳ３３において、画像情報の中から識別子１４を抽出する。
【００７３】
続いて、ゲーム制御部３２は、ステップＳ３４において、抽出した識別子の画角に対する座標を記憶し、コントローラ型撮像装置６０の表示部１２に対する方向・角度と照準点１６とを補正する後述するキャリブレーション動作の際に識別子の基準相対位置から位置予測を行い、不可視の識別子の位置を予測する。このとき、図７に示す上述した位置予測が行われる。
【００７４】
ゲーム制御部３２は、ステップＳ３５おいて、予測によって補完した識別子含む複数の識別子の相対位置から照準点１６の位置を検出する。
【００７５】
ステップＳ３６において、検出した照準点１６の位置を、さらに動体予測によって補正し、ノイズを除去し、制御信号としてゲームの入力に反映させる。
【００７６】
以上示したように、図９に示す位置検出システム２は、ユーザが入力装置としてのコントローラ型撮像装置６０のトリガを引くと、コントローラ型撮像装置６０から画像情報とトリガが引かれたことを示すトリガ情報とがゲーム装置５０に送信される。このときゲーム制御部３２は、画像情報から識別子１４を認識し、複数の識別子の相対位置からコントローラ型撮像装置６０がモニタ４０のどの位置に向けられているかを解析する。解析した結果は、トリガ情報とともゲーム制御部３２に送られ、制御信号に変換されて照準点１６として表示するほか、ゲームの入力情報として使用される。
【００７７】
したがって、第２の実施の形態として示した位置検出システム２は、コントローラ型撮像装置６０によって撮影された撮影範囲１７の画像から、モニタ４０に背景画像とともに表示される識別子１４を検出して、識別子１４の座標に応じてモニタ４０に照準点１６を表示することができる。
【００７８】
これにより、位置検出システム２は、小型化された家庭用のゲーム装置５０において、ゲームプレーヤ（ユーザ）の動きや実際の射撃動作を入力情報として使用し、例えばゲームのような仮想世界に現実世界の動作を反映させることを可能としている。また、位置検出システム２において、コントローラ型撮像装置６０は、ゲーム装置５０の入力装置のみならず、通常の撮像装置として使用することができる。
【００７９】
位置検出システム２は、ゲーム制御部３２における動き検出をコントローラ型撮像装置６０の撮像制御部２８において行うようにすることも可能である。この場合の撮像制御部２８における処理を図１２に示す。
【００８０】
撮像制御部２８は、常に撮像条件を監視・検出している。撮像制御部２８は、ステップＳ４１において、撮像条件が適正か否かの判別を行う。
【００８１】
撮像制御部２８は、ステップＳ４１において撮像条件が適正でないと判断した場合、ステップＳ４２に進み、絞り（Iris）、ズーム（Zoom）、フォーカス（Focus）を制御する撮像駆動部２７と、ＴＧ部２６と、ＡＧＣ部２３と信号処理部２５とを直ちに制御して撮像条件を調整する。
【００８２】
ステップＳ４１において、撮像条件が適正であると判断された場合、ステップＳ４３に進んで、動き検出の要求が出されたか否かの判別を行う。
【００８３】
ステップＳ４３において、動き検出の要求がなかった場合、ステップＳ４１の工程を繰り返す。動き検出を行うことを要求された場合、ステップＳ４４において、撮像制御部２８は、撮像範囲１７の画像を取得し、画像情報の中から識別子１４を抽出する。
【００８４】
撮像制御部２８は、ステップＳ４５において、抽出した識別子の画角に対する座標を記憶し、コントローラ型撮像装置６０の表示部１２に対する方向・角度と照準点１６とを補正する後述するキャリブレーション動作の際に識別子の基準相対位置から位置予測を行い、不可視の識別子の位置を予測する。このとき図７に示す位置予測が行われる。
【００８５】
撮像制御部２８は、ステップＳ４６おいて、予測によって補完した識別子含む複数の識別子の相対位置から照準点１６の位置を検出する。
【００８６】
撮像制御部２８は、ステップＳ４７において、検出した照準点１６の位置をさらに動体予測によって補正し、ノイズを除去し、制御信号としてゲームの入力に反映させる。
【００８７】
撮像制御部２８は、ゲーム制御部３２に対して、検出した照準点１６の座標を出力する。
【００８８】
以上のように、撮像制御部２８において動き検出を行う場合は、ゲーム制御部３２において動き検出を行う場合と比較して、Ｉ／Ｆ部５１及び６１を介して転送する処理にかかる遅延がないため、動き検出の動作がさらに高速化される。
【００８９】
第２の実施の形態として示す位置検出システム２では、ベクトル演算を行うためのベクトル演算ユニットを設け、当該ベクトル演算ユニットにおいて上述の位置検出システム１及び２と同様の動き検出を行うようにしてもよい。このような位置検出システムを第３の実施の形態として図１３に示す。
【００９０】
第３の実施の形態として示す位置検出システム３は、ゲーム装置５０にベクトル演算ユニット５３を備えている。ベクトル演算ユニット５３は、ゲーム等に特有の高速画像処理を行うためのベクトル演算専用のハードである。
【００９１】
なお、図１３に示す位置検出システム３では、ゲーム制御部３２は、メインメモリ３０、機械的Ｉ／Ｆ部３１、ＲＯＭ３４、画像処理部３５及びフレームメモリ３６がバス３７を介して接続されている構成となっているが、図１３に示す位置検出システム３と、図９に示す位置検出システム２の基本的な構成は同じである。
【００９２】
図１３に示すゲームシステムにおいて、ベクトル演算ユニット５３は、現フレームにて撮像したフレームと、メインメモリ３０に記憶されている１つ前のフレームで撮影した画像とからベクトル場を計算する。続いて、ベクトル演算ユニット５３は、このベクトル場から特徴点を抽出して、対応するベクトル場を追いかけることにより動き検出を行う。ゲーム制御部３２は、ベクトル演算ユニット５３による動き検出の結果を制御信号をとして扱い、入力情報に反映させている。
【００９３】
ベクトル場による動き検出の概念について図１４及び図１５を用いて具体的に示す。
【００９４】
ベクトル場の算出では、まず図１４に示すように、濃度曲面を基準として現フレームと前フレームとの差分をとり濃度の変化を求める。その後、再び現フレームに対してその濃度の変化を乗算することにより、当該濃度曲面に関しての動きベクトル場を算出する。
【００９５】
次に、図１５を用いて濃度変化から動きベクトルを算出する手順の概要について説明する。ここで提案している動き検出の手法はオプティカルフローを応用した相関を用いて行うものである。まず、時間ｔが０から１に遷移するにあたり、濃度Ｑが位置Ｘに対してガウス分布し、ｔ＝０の時にその中心がＸ＝１の位置にあり、ｔ＝１の時に中心がＸ＝２の位置に移動するような濃度変化を想定してみる。本提案では、Ｘ＝１，２，３という基本セルでの濃度遷移から動きを検出するため、その中間の位置では濃度がサンプルできないと仮定し、各基本セル毎に濃度遷移に対応した動きベクトルを出力することを目的としている。ここでは一例として、Ｘ＝２の位置における動きベクトルＶX を計算する。
【００９６】
ｔ＝１の時のＸ＝２の位置におけるＸ軸に正方向の動きに対する相関をＣ２，１とすると、それはサンプリングレートＸ＝１刻みに対しての動きとの相関が最大にならなくてはならないため、ｔ＝０の時のＸ＝１の位置での濃度Ｑ1,0と、ｔ＝１の時のＸ＝２の位置での濃度Ｑ2,1との相関を中心に計算する必要がある。よって本提案では、Ｃ2,1＝Ｑ1,0×Ｑ2,1としての相関を算出している。同様に、ｔ＝１の時のＸ＝２の位置におけるＸ軸に負方向の動きに対する相関をＣ2,3とすると、それはＣ2,3＝Ｑ3,0×Ｑ2,1として算出できる。最後にＸ＝２の位置における動きベクトルＶXを相関値Ｃ2,1−Ｃ2,3として計算することができる。
【００９７】
一般にゲーム装置では、ベクトル演算に特化した演算処理装置をハードとして備えている。このようなベクトル演算ユニットは、ベクトル演算処理速度を高速化できるため、上記のようなベクトル演算に焼き直し易い相関の算出における動き検出が有効である。以上のようにして濃度変化から動きベクトルを算出している。
【００９８】
続いて、このとき位置検出システム３におけるベクトル演算ユニット５３が、動き検出する際の処理を図１６を用いて説明するが、動き検出は、図１６に示した一連の処理により実行されることに限定されるものではない。
【００９９】
ゲーム装置５０におけるゲーム制御部３２は、ステップＳ５１において、撮影画像が入力されたか否かを判別する。ゲーム制御部３２は、撮影画像が入力されるまでこのステップＳ５１における処理を繰り返し行う。
【０１００】
撮像画像が入力されると、ゲーム制御部３２は、ステップＳ５２において、ベクトル演算ユニット５３を用いて画素値の濃度曲面を算出する。
【０１０１】
ゲーム制御部３２は、続くステップＳ５３において、画像全体の動きを検出して統計処理することでぶれを抽出し補正する。
【０１０２】
ベクトル演算ユニット５３は、ステップＳ５４において、補正後の画像を格子状のブロックに分け、各々のブロック毎に動きベクトルを抽出することでベクトル場を算出する。
【０１０３】
ゲーム制御部３２は、ステップＳ５５において、連続した類似のベクトルをまとめることにより特徴物体を抽出する。
【０１０４】
続いてステップＳ５６において、パターンマッチングと追跡判定を施すことにより特徴物体が識別子１４であることを認識する。
【０１０５】
ゲーム制御部３２は、ステップＳ５７において、不可視の識別子がある場合、複数の可視識別子の基準相対位置から不可視の識別子の位置を予測し、これらの識別子の相対位置から照準点１６の位置を検出する。
【０１０６】
ゲーム制御部３２は、ステップＳ５８において、検出された照準点１６の位置を制御信号に変換して、ゲームへの入力情報として反映させる。
【０１０７】
以上示したように、ベクトル演算ユニット５３を備えた位置検出システム３によれば、色・紋様等に頼っていた特徴点の抽出処理がより高精度でリアルタイム制を向上した動き検出が可能になる。
【０１０８】
ここで、上述した非同期のシャッタにより任意のタイミングで撮像を行う機能と、撮像のための同期信号の一周期内において複数の撮像を行う多重露光撮影により撮像を行う機能とを説明する。以下に、本発明が先行関連技術として利用した特開平9-247556号公報（発明の名称「個体撮像部を備えた撮像装置」）について説明する。この先行関連技術では、発明を撮像装置に適用している。
【０１０９】
撮像装置は、例えば図１７に示すように、光電変換を行う多数の受光素子部が多数の並行列を形成して配列形成されるとともに、各受光素子部で得られた電荷を転送するＣＣＤにより形成された電荷転送領域が設けられて成る受光・電荷転送部を有するものとされた固体撮像部１１１が備えられている。また、固体撮像部１１１の前方には、絞り機構１１２、レンズ・システム１１３等を含んで構成される光学系が配されており、この光学系は、固体撮像部１１１が有する受光・電荷転送部に外光を入射させて被写体像を投影する。
【０１１０】
受光・電荷転送部は、図１８に示すように、半導体基体１１５上に、各々が個々の画素を構成する多数の受光素子部１１６が、多数の水平方向（矢印ｈの方向）に伸びる並行列（画素水平列）を形成するものとされて配列配置されている。
多数の画素水平列のそれぞれを形成する受光素子部１１６は、また、多数の垂直方向（矢印ｖの方向）に伸びる並行列（画素垂直列）をも形成しており、このような受光素子部１１６が形成する各画素垂直列に沿って、ＣＣＤ群により形成された垂直電荷転送部１１７が配されている。各垂直電荷転送部１１７は、例えば、２相の垂直転送駆動信号φＶ１及びφＶ２により駆動されて電荷転送動作を行う。そして、各画素垂直列を形成する複数の受光素子部１１６それぞれとその垂直列に対応する垂直電荷転送部１１７との間には、電荷読出ゲート部１１８が設けられている。
【０１１１】
また、各受光素子部１１６の周囲には、図１９に示すように、チャンネル・ストッパー部１１９及びオーバーフロー制御部１２０が形成されている。さらに、オーバーフロー制御部１２０に隣接してドレイン部１２１が配され、このドレイン部１２１と隣の垂直電荷転送部１１７との間が、チャンネル・ストッパー部１２２によって区別されている。
【０１１２】
上述の各部の上には絶縁層が配されており、その絶縁層を介して、垂直電荷転送部１１７上に水平方向に伸びる垂直転送電極Ｅ１及びＥ２が垂直方向に交互に配されている。垂直転送電極Ｅ１は、蓄積部電極Ｅ１ｃと転送部電極Ｅ１ｔとで構成され、また、垂直転送電極Ｅ２が、蓄積部電極Ｅ２ｃと転送部電極Ｅ２ｔとで構成されている。そして、垂直転送電極Ｅ１及びＥ２に垂直転送駆動信号φＶ１及びφＶ２がそれぞれ供給される。
【０１１３】
また、電荷読出ゲート部１１８上には、垂直方向に伸びる読出ゲート電極ＥＧが配され、さらに、オーバーフロー制御部１２０上には、同じく垂直方向に伸びるオーバーフローゲート電極ＥＤが配されている。これらの読出ゲート電極ＥＧ及びオーバーフローゲート電極ＥＤには、読出ゲート制御信号ＳＧ及びオーバーフローゲート制御信号ＳＤがそれぞれ供給される。そして、受光素子部１１６上を残して他の各部の上には、遮光層が配されている。
【０１１４】
複数の垂直電荷転送部１１７のそれぞれの一端部側は、半導体基体１１５の端縁部において、ＣＣＤ群により形成されて水平方向に伸びるものとされた水平電荷転送部１２３に連結されている。水平電荷転送部１２３は、例えば、２相の水平転送駆動信号φＨ１及びφＨ２により駆動されて電荷転送動作を行う。そして、水平電荷転送部１２３の一端には出力部２４が設けられており、出力部１２４からは出力端子１２５が導出されている。
【０１１５】
また、半導体基体１１５における複数の垂直電荷転送部１１７それぞれの他端部側には、水平方向に伸びる電荷吸収部１２６が設けられている。
【０１１６】
このような図１８及び図１９に示される受光・電荷転送部を有した固体撮像部１１１において静止画撮像動作が行われる際には、受光・電荷転送部についての所定の受光期間が設定され、その受光期間において、レンズ・システム１１３、絞り機構１１２等を含む光学系を通じて受光・電荷転送部に入射する撮像対象からの光を受けた多数の受光素子部１１６のそれぞれが、光電変換を行って受光に応じた電荷を蓄積する。その後、複数の電荷読出ゲート部１１８が、それに供給される駆動信号形成部１３０からの読出ゲート制御信号ＳＧに応じて、対応する受光素子部１１６に蓄積された電荷を対応する垂直電荷転送部１１７へと読み出す。
【０１１７】
続いて、各垂直電荷転送部１１７に読み出された電荷が、駆動信号形成部１３０から信号電荷転送駆動信号ＳＴとして固体撮像部１１１における垂直転送電極Ｅ１及びＥ２にそれぞれ供給される２相の垂直転送駆動信号φＶ１及びφＶ２によって駆動される各垂直電荷転送部１１７の電荷転送動作により、各画素水平列を形成する複数の受光素子部１１６により得られた分宛、順次、信号電荷として水平電荷転送部１２３に向けて転送されていく。水平電荷転送部１２３においては、駆動信号形成部１３０から信号電荷転送駆動信号ＳＴとして供給される２相の水平転送駆動信号φＨ１及びφＨ２によって駆動されることにより行われる電荷転送動作により信号電荷として転送される、１画素水平列を形成する複数の受光素子部１１６で得られた分の電荷が、出力部１２４へと供給される。出力部１２４においては、水平電荷転送部１２３により転送されてくる電荷が順次信号化されて出力端子１２５に導出され、出力端子１２５に、複数の受光素子部１１６に蓄積された電荷に基づく、撮像対象に応じた撮像出力信号ＩＰが得られる。
【０１１８】
斯かる場合、受光・電荷転送部における全画素水平列のそれぞれを形成する複数の受光素子部１１６で得られた電荷についての１画素水平列分宛の、各垂直電荷転送部１１７による水平電荷転送部１２３への転送は、各フレーム期間内において終了し、また、水平電荷転送部１２３に転送される１画素水平列を形成する複数の受光素子部１１６で得られた分の電荷についての、水平電荷転送部１２３による出力部１２４への供給は、各ライン期間内において終了するものとされるように、信号電荷転送駆動信号ＳＴとされる２相の垂直転送駆動信号φＶ１及びφＶ２及び２相の水平転送駆動信号φＨ１及びφＨ２のそれぞれが設定される。
それゆえ、出力端子１２５に導出される撮像出力信号ＩＰは、ライン期間分を単位とするものが連なって形成されるフレーム期間分が繰り返されるものとされることになる。
【０１１９】
駆動信号形成部１３０は、タイミング信号発生部１３１からの電荷読出タイミング信号ＴＧ、信号電荷転送タイミング信号ＴＴ、電荷掃出し転送タイミング信号ＴＳ及び電荷排出タイミング信号ＴＤが供給され、電荷読出タイミング信号ＴＧに応じて形成した読出ゲート制御信号ＳＧを送出し、また、信号電荷転送タイミング信号ＴＴに応じて形成した２相の垂直転送駆動信号φＶ１及びφＶ２及び２相の水平転送駆動信号φＨ１及びφＨ２を信号電荷転送信号ＳＴとして送出する状態と、電荷掃出し転送タイミング信号ＴＳに応じて形成した２相の垂直転送駆動信号φＶ２及びφＶ１及び２相の水平転送駆動信号φＨ２及びφＨ１を掃出し転送駆動信号ＳＳとして送出する状態とを選択的にとり、さらに、電荷排出タイミング信号ＴＤに応じて形成したオーバーフローゲート制御信号ＳＤを送出する。
【０１２０】
タイミング信号発生部１３１は、同期信号発生部１３２からのフレーム同期信号ＳＦ及びライン同期信号ＳＨが供給され、さらに、動作制御部を形成する制御ユニット１３３からの受光期間信号ＳＥ、非同期ノーマル受光モード設定信号ＳＮ、非同期シャッタ待モード設定信号ＳＷＳ、同期復帰指令信号ＳＲ及び多重露光モード設定信号ＳＭＭも供給される。
【０１２１】
そして、タイミング信号発生部１３１にあっては、制御ユニット１３３からの受光期間信号ＳＥ、非同期ノーマル受光モード設定信号ＳＮ、非同期シャッタ待モード設定信号ＳＷＳ、同期復帰指令信号ＳＲ及び多重露光モード設定信号ＳＭＭの状態に応じて、フレーム同期信号ＳＦ及びライン同期信号ＳＨにそれぞれ同期したもの、すなわち、フレーム同期信号ＳＦ及びライン同期信号ＳＨとそれぞれ同位相のものもしくはフレーム同期信号ＳＦとの間及びライン同期信号ＳＨとの間にそれぞれ一定の位相差を有したものとされる内部フレーム同期信号ＳＦＯ及び内部ライン同期信号ＳＨＯを発生する状態と、フレーム同期信号ＳＦ及びライン同期信号ＳＨに対して非同期とされた内部フレーム同期信号ＳＦＯ及び内部ライン同期信号ＳＨＯを発生する状態とが選択的にとられる。
【０１２２】
さらに、駆動信号形成部１３０は、タイミング信号発生部１３１においてフレーム同期信号ＳＦ及びライン同期信号ＳＨにそれぞれ同期したものとされる内部フレーム同期信号ＳＦＯ及び内部ライン同期信号ＳＨＯが得られるもとで、それらの内部フレーム同期信号ＳＦＯ及び内部ライン同期信号ＳＨＯに基づいて形成された電荷読出タイミング信号ＴＧ、信号電荷転送タイミング信号ＴＴ、電荷掃出し転送タイミング信号ＴＳ及び電荷排出タイミング信号ＴＤが供給され、電荷読出タイミング信号ＴＧに応じて形成した読出ゲート制御信号ＳＧを送出する動作状態、及び、タイミング信号発生部１３１においてフレーム同期信号ＳＦ及びライン同期信号ＳＨに対して非同期とされる内部フレーム同期信号ＳＦＯ及び内部ライン同期信号ＳＨＯが得られるもとで、それらの内部フレーム同期信号ＳＦＯ及び内部ライン同期信号ＳＨＯに基づいて形成された電荷読出タイミング信号ＴＧ、信号電荷転送タイミング信号ＴＴ、電荷掃出し転送タイミング信号ＴＳ及び電荷排出タイミング信号ＴＤが供給され、電荷読出タイミング信号ＴＧに応じて形成した読出ゲート制御信号ＳＧを送出する動作状態を選択的にとる。
【０１２３】
同期信号発生部１３２からのフレーム同期信号ＳＦ及びライン同期信号ＳＨ、及び、タイミング信号発生部１３１において形成される内部フレーム同期信号ＳＦＯ及び内部ライン同期信号ＳＨＯは、制御ユニット１３３にも供給され、また、タイミング信号発生部１３１において得られる電荷読出タイミング信号ＴＧ、信号電荷転送タイミング信号ＴＴ、電荷掃出し転送タイミング信号ＴＳ及び電荷排出タイミング信号ＴＤも制御ユニット１３３に供給される。さらに、動作制御部を形成する制御ユニット１３３には、動作モード指定信号ＳＭが端子１３４を通じて、シャッタ速度指定信号ＳＳＶが端子１３５を通じて、及び、装置に撮像動作を行わせるための操作であるシャッタ操作に応じて発せられる、受光指令信号であるシャッタ信号ＳＳＨが端子１３６を通じてそれぞれ供給される。
【０１２４】
図１８に示される固体撮像部１１１の受光・電荷転送部における出力端子１２５に得られる撮像出力信号ＩＰは、図１７に示される如くに、自動利得制御（ＡＧＣ）増幅部１４０により増幅されてサンプリング・ホールド部１４１に供給される。サンプリング・ホールド部１４１においては、撮像出力信号ＩＰに対する所定の短周期毎のレベル・サンプリング及びサンプル・レベル保持が行われて、サンプリング・ホールド出力信号ＳＩが得られ、それがアナログ／ディジタル（Ａ／Ｄ）変換部１４２に供給される。Ａ／Ｄ変換部１４２においては、サンプリング・ホールド出力信号ＳＩに基づいての撮像出力信号ＩＰのディジタル化が図られ、Ａ／Ｄ変換部１４２から、撮像出力信号ＩＰに対応するディジタル撮像信号ＤＩが得られて、それが撮像信号ディジタル処理部１４３に供給される。
【０１２５】
なお、図２に示した位置検出システム１のコントローラ型撮像装置１１では、Ｓ／Ｈ部２２から出力された信号がＡＧＣ部２３において処理されており、前述の撮像装置の信号処理手順と異なっているが、位置検出システム１のコントローラ型撮像装置１１は、前述の撮像装置のように、ＡＧＣ増幅部１４０において処理された信号をサンプルホールド部（Ｓ／Ｈ部）１４１において処理するようにしてもよい。
【０１２６】
撮像信号ディジタル処理部１４３と制御ユニット１３３との相互間においては、制御データＤＣＣ及び制御データＤＣＤの遣り取りが行われ、撮像信号ディジタル処理部１４３においては、制御データＤＣＣ及び制御データＤＣＤの遣り取りに応じて、撮像出力信号ＩＰに対する各種のディジタル処理が施される。その結果、撮像信号ディジタル処理部１４３から出力端子１４４に、ディジタル撮像出力信号ＤＩＯが導出される。
【０１２７】
このようなもとで、静止画撮像動作が行われる際には、制御ユニット１３３に、選択されるべき動作モードを指定する動作モード指定信号ＳＭが端子１３４を通じて供給されるとともに、選択されるべきシャッタ速度を指定するシャッタ速度指定信号ＳＳＶが供給される。動作モード指定信号ＳＭにより指定される動作モードは、例えば、非同期ノーマル受光モード、非同期シャッタ待受光モード、多重露光モード等とされる。以下、各モードにおける撮像装置の処理について説明する。
【０１２８】
動作モード指定信号ＳＭが指定する動作モードが非同期ノーマル受光モードであるときには、制御ユニット３３は、非同期ノーマル受光モード設定信号ＳＮをタイミング信号発生部１３１に供給する。タイミング信号発生部１３１は、非同期ノーマル受光モード設定信号ＳＮに応じて、図２０における時点ｔａ前の期間において見られる如くに、図２０のＡに示される同期信号発生部１３２からのフレーム同期信号ＳＦとの間に一定の位相差を有した図２０のＤに示される内部フレーム同期信号ＳＦＯに基づく、図２０のＥに示される如くのタイミング信号ＳＸＯが形成される。
【０１２９】
また、このとき、タイミング信号発生部１３１から内部フレーム同期信号ＳＦＯに応じた電荷読出タイミング信号ＴＧ、信号電荷転送タイミング信号ＴＴ、電荷掃出し転送タイミング信号ＴＳ及び電荷排出タイミング信号ＴＤが送出されることにより、駆動信号形成部１３０から、図２０における時点ｔａ前の期間において見られる如くに、内部フレーム同期信号ＳＦＯに同期した、図２０のＦに示される如くの読出ゲート制御信号ＳＧ及び図２０のＧに示される如くの掃出し転送駆動信号ＳＳが送出される。図２０における時点ｔａ前の期間においては、図２０のＪに示される如く、フレーム同期信号ＳＦに同期したＳＦ同期モードがとられていることになる。
【０１３０】
斯かるもとで、図２０における時点ｔａにおいてシャッタ操作が行われると、図２０のＢに示される如くの、受光指令信号であるシャッタ信号ＳＳＨが、端子１３６を通じて制御ユニット１３３に供給される。
【０１３１】
制御ユニット１３３は、シャッタ信号ＳＳＨの前縁に応じて、図２０のＣに示される如くの受光期間信号ＳＥをタイミング信号発生部１３１に供給する。このときタイミング信号発生部１３１は、図２０のＣ及びＤに示される如く、受光期間信号ＳＥの前縁により内部フレーム同期信号ＳＦＯの形成にリセットをかけて、内部フレーム同期信号ＳＦＯをフレーム同期信号ＳＦと非同期なものとするとともに、タイミング信号ＳＸＯの形成を中断し、また、受光期間信号ＳＥの前縁に応じた電荷読出タイミング信号ＴＧ及び電荷排出タイミング信号ＴＤを送出する。
【０１３２】
そして、駆動信号形成部１３０から、図２０のＦ及びＧに示される如くに、受光期間信号ＳＥの前縁に応じた読出ゲート制御信号ＳＧ及び掃出し転送駆動信号ＳＳが、固体撮像部１１１の受光・電荷転送部へと送出される。それにより、固体撮像部１１１の受光・電荷転送部において、各電荷読出ゲート部１１８が、読出ゲート制御信号ＳＧに応じて開状態をとり、各受光素子部１１６における電荷を各垂直電荷転送部１１７へ読み出す電荷読出しを行うとともに、各垂直電荷転送部１１７が、掃出し転送駆動信号ＳＳに応じて、開状態をとる電荷読出ゲート部１１８を通じて読み出された電荷を、半導体基体１１５における水平電荷転送部１２３とは反対側に設けられた電荷吸収部１２６へと転送する電荷掃出し動作を行う。電荷掃出しにより転送された電荷は電荷吸収部１２６において吸収される。このような電荷掃出し動作が行われる電荷掃出期間は、例えば、２７ライン期間程度とされる。
【０１３３】
そして、受光期間信号ＳＥの前縁において、電荷掃出期間を含む固体撮像部１１１の受光・電荷転送部についての受光期間が開始され、図２０のＪに示される如くに、ＳＦ同期モードから自走モードに移行することになる。受光期間にあっては、図２０のＤに示される如く、受光期間信号ＳＥの前縁においてリセットされ、フレーム同期信号ＳＦと非同期なものとされた内部フレーム同期信号ＳＦＯが得られるが、タイミング信号ＳＸＯは得られない。それにより、受光期間においては、読出ゲート制御信号ＳＧも受光期間信号ＳＥの前縁に応じて得られた以降においては得られず、電荷掃出期間の始めの短期間を除いて電荷読出ゲート部１１８が閉状態に維持されて、多数の受光素子部１１６に受光による電荷の蓄積が図２０のＩに示される如くになされる。
【０１３４】
図２１は、制御ユニット１３３に供給されるシャッタ信号ＳＳＨと内部ライン同期信号ＳＨＯ、受光期間信号ＳＥ、読出ゲート制御信号ＳＧ及び掃出し転送駆動信号ＳＳとの詳細なタイミング関係を拡大して示す。図２１に示されるタイミング関係にあっては、時点ｔａにおいてシャッタ信号ＳＳＨの前縁が到来すると、その後の最初の内部ライン同期信号ＳＨＯの前縁の時点において、受光期間信号ＳＥの前縁が得られる。そして、受光期間信号ＳＥの前縁の時点において、読出ゲート制御信号ＳＧの前縁及び掃出し転送駆動信号ＳＳの前縁が得られ、ＳＦ同期モードから自走モードに移行する。すなわち、受光期間信号ＳＥの前縁はシャッタ信号ＳＳＨの前縁より僅か（最大で略１ライン期間）に遅れることになる。
【０１３５】
その後、図２０に示される如く、時点ｔｂにおいて、制御ユニット１３３からタイミング信号発生部１３１に供給される受光期間信号ＳＥの後縁が到来すると、タイミング信号発生部１３１においては、図２０のＤ及びＥに示される如く、受光期間信号ＳＥの後縁に応じて内部フレーム同期信号ＳＦＯが得られるとともに、その内部フレーム同期信号ＳＦＯの前縁応じてタイミング信号ＳＸＯが得られる。受光期間信号ＳＥの後縁の時点ｔｂは、制御ユニット１３３により、それに供給されるシャッタ速度指定信号ＳＳＶが指定するシャッタ速度に応じて設定される。そして、タイミング信号発生部１３１は、タイミング信号ＳＸＯに応じて、電荷読出タイミング信号ＴＧ及び信号電荷転送タイミング信号ＴＴを送出する。それにより、駆動信号形成部１３０から、図２０のＦ及びＨに示される如く、受光期間信号ＳＥの後縁に応じた前縁を有する読出ゲート制御信号ＳＧ及び受光期間信号ＳＥの後縁に応じた前縁を有する信号電荷転送駆動信号ＳＴが、固体撮像部１１１の受光・電荷転送部に送出されて受光期間が終了する。
【０１３６】
それにより、固体撮像部１１１の受光・電荷転送部において、各電荷読出ゲート部１１８が、読出ゲート制御信号ＳＧに応じて開状態をとり、図２０のＩに示される如くに、多数の受光素子部１１６における電荷を各垂直電荷転送部１１７へ読み出す電荷読出しを行うとともに、各垂直電荷転送部１１７が、信号電荷転送駆動信号ＳＴに応じて、開状態をとる電荷読出ゲート部１１８を通じて読み出された電荷を、信号電荷として半導体基体１１５における水平電荷転送部１２３へと転送する電荷転送動作が行われる。そして、さらに、水平電荷転送部１２３が、信号電荷転送駆動信号ＳＴに応じて、各垂直電荷転送部１１７により転送された電荷を、信号電荷として出力部１２４へと転送する電荷転送動作が行われる。出力部１２４に転送された電荷は出力部１２４において撮像出力信号ＩＰに変換され、撮像出力信号ＩＰが出力端子１２５に導出される。
【０１３７】
このような各垂直電荷転送部１１７及び水平電荷転送部１２３による電荷転送動作が行われる電荷転送期間は、その後にタイミング信号発生部３１において、図２０のＤ及びＥに示される如く、内部フレーム同期信号ＳＦＯが得られ、その内部フレーム同期信号ＳＦＯの前縁に応じてタイミング信号ＳＸＯが得られる時点ｔｃにおいて、信号電荷転送駆動信号ＳＴの後縁が到来して終了する。そして、タイミング信号発生部１３１は、タイミング信号ＳＸＯに応じて、電荷読出タイミング信号ＴＧ及び信号電荷転送タイミング信号ＴＴを送出し、それにより、駆動信号形成部１３０から、図２０のＦ及びＧに示される如く、信号電荷転送駆動信号ＳＴの後縁に応じた前縁を有する読出ゲート制御信号ＳＧ及び信号電荷転送駆動信号ＳＴの後縁に応じた前縁を有する掃出し転送駆動信号ＳＳが、固体撮像部１１１の受光・電荷転送部に送出されて電荷掃出し動作が行われる。
【０１３８】
その後、時点ｔｄにおいて、図２０のＤに示される如くに、タイミング信号発生部１３１において得られる内部フレーム同期信号ＳＦＯが、再び、フレーム同期信号ＳＦとの間に一定の位相差を有するものとされて、図２０のＪに示される如くに、自走モードからＳＦ同期モードに戻ることになる。
【０１３９】
このように、非同期ノーマル受光モードのもとでの静止画撮像動作が行われる場合には、シャッタ操作が行われると、そのシャッタ操作の時点から最大で略１ライン期間とされる僅かに遅れた時点において、固体撮像部１１１の受光・電荷転送部についての受光期間が開始され、その開始から電荷掃出し動作が終了する、例えば、２７ライン期間後には、受光・電荷転送部における多数の受光素子部１１６に有効な電荷蓄積が行われる受光状態が得られることになる。従って、シャッタ操作がなされた際における受光応答動作の迅速性が大幅に改善される。
【０１４０】
次に、非同期シャッタ待受光モードについて説明する。動作モード指定信号ＳＭが指定する動作モードが非同期シャッタ待受光モードであるときに、制御ユニット１３３は、非同期シャッタ待モード設定信号ＳＷＳをタイミング信号発生部１３１に供給する。タイミング信号発生部１３１は、非同期シャッタ待モード設定信号ＳＷＳに応じて、図２２における時点ｔｅ前の期間において見られる如くに、図２２のＡに示される同期信号発生部１３２からのフレーム同期信号ＳＦとの間に一定の位相差を有した図２２のＤに示される内部フレーム同期信号ＳＦＯが得られているもとで、時点ｔｅ以降、タイミング信号ＳＸＯの形成を停止するとともに、時点ｔｅ後の最初の内部フレーム同期信号ＳＦＯの前縁に応じて、電荷読出タイミング信号ＴＧ及び電荷掃出し転送タイミング信号ＴＳの継続的送出を開始する。それにより、図２２のＢに示される如く、時点ｔｅにおいて、ノーマル受光状態からシャッタ待状態への移行が行われる。
【０１４１】
タイミング信号発生部１３１からの電荷読出タイミング信号ＴＧ及び電荷掃出し転送タイミング信号ＴＳの継続的送出の開始により、駆動信号形成部１３０から、図２２のＧ及びＨに示される如く、時点ｔｅ後の最初の内部フレーム同期信号ＳＦＯの前縁に応じて、読出ゲート制御信号ＳＧ及び掃出し転送駆動信号ＳＳが継続的に固体撮像部１１１の受光・電荷転送部に送出される状態とされる。それにより、固体撮像部１１１の受光・電荷転送部において、各電荷読出ゲート部１１８が、読出ゲート制御信号ＳＧに応じて継続的に開状態をとり、各受光素子部１１６における電荷を各垂直電荷転送部１１７へ読み出す電荷読出しを継続的に行うとともに、各垂直電荷転送部１１７が、掃出し転送駆動信号ＳＳに応じて、継続的に開状態をとる電荷読出ゲート部１１８を通じて読み出された電荷を、半導体基体１１５における水平電荷転送部１２３とは反対側に設けられた電荷吸収部１２６へと継続的に転送する電荷掃出し動作を行う。電荷掃出しにより転送された電荷は電荷吸収部１２６において吸収される。このような継続的な電荷掃出し動作が行われる電荷掃出期間においては、図２２のＪに示される如く、固体撮像部１１１の受光・電荷転送部における電荷の蓄積はなされない。
【０１４２】
そして、固体撮像部１１１の受光・電荷転送部において電荷掃出し動作が継続的に行われているもとで、図２２における時点ｔｆにおいてシャッタ操作が行われると、図２２のＣに示される如くのシャッタ信号ＳＳＨが端子１３６を通じて制御ユニット１３３に供給される。制御ユニット１３３は、シャッタ信号ＳＳＨの前縁に応じて、図２２のＦに示される如くの受光期間信号ＳＥをタイミング信号発生部１３１に供給する。このときタイミング信号発生部１３１は、図２２のＤ及びＥに示される如く、受光期間信号ＳＥの前縁により内部フレーム同期信号ＳＦＯの形成にリセットをかけて、内部フレーム同期信号ＳＦＯをフレーム同期信号ＳＦと非同期なものとするとともに、タイミング信号ＳＸＯの形成を中断し、また、電荷読出タイミング信号ＴＧ及び電荷掃出し転送タイミング信号ＴＳの継続的送出を終了する。
【０１４３】
それにより、駆動信号形成部１３０が、図２２のＧ及びＨに示される如く、受光期間信号ＳＥの前縁に応じて読出ゲート制御信号ＳＧ及び掃出し転送駆動信号ＳＳの継続的送出を停止する。そして、図２２のＦに示される如く、受光期間信号ＳＥの前縁において、電荷掃出期間を含むことなく、固体撮像部１１１の受光・電荷転送部についての受光期間が開始され、図２２のＢに示される如くに、シャッタ待状態からノーマル受光状態への移行が行われる。
【０１４４】
受光期間にあっては、図２２のＤに示される如く、受光期間信号ＳＥの前縁においてリセットされ、フレーム同期信号ＳＦと非同期なものとされた内部フレーム同期信号ＳＦＯが得られるが、タイミング信号ＳＸＯは得られない。それにより、受光期間においては、読出ゲート制御信号ＳＧも得られず、電荷読出ゲート部１１８が閉状態に維持されて、多数の受光素子部１１６に受光による電荷の蓄積が図２２のＪに示される如くになされる。
【０１４５】
その後、時点ｔｇにおいて制御ユニット１３３からタイミング信号発生部１３１に供給される受光期間信号ＳＥの後縁が到来すると、タイミング信号発生部１３１においては、図２２のＤ及びＥに示される如く、受光期間信号ＳＥの後縁に応じて内部フレーム同期信号ＳＦＯが得られるとともに、その内部フレーム同期信号ＳＦＯの前縁応じてタイミング信号ＳＸＯが得られる。受光期間信号ＳＥの後縁の時点ｔｆは、制御ユニット１３３により、それに供給されるシャッタ速度指定信号ＳＳＶが指定するシャッタ速度に応じて設定される。そして、タイミング信号発生部１３１は、タイミング信号ＳＸＯに応じて、電荷読出タイミング信号ＴＧ及び信号電荷転送タイミング信号ＴＴを送出する。それにより、駆動信号形成部１３０から、図２２のＧ及びＩに示される如く、受光期間信号ＳＥの後縁に応じた前縁を有する読出ゲート制御信号ＳＧ及び受光期間信号ＳＥの後縁に応じた前縁を有する信号電荷転送駆動信号ＳＴが、固体撮像部１１１の受光・電荷転送部に送出されて受光期間が終了する。
【０１４６】
それにより、固体撮像部１１１の受光・電荷転送部において、各電荷読出ゲート部１１８が、読出ゲート制御信号ＳＧに応じて開状態をとり、図２２のＪに示される如くに、多数の受光素子部１１６における電荷を各垂直電荷転送部１１７へ読み出す電荷読出しを行うとともに、各垂直電荷転送部１１７が、信号電荷転送駆動信号ＳＴに応じて、開状態をとる電荷読出ゲート部１１８を通じて読み出された電荷を、信号電荷として半導体基体１１５における水平電荷転送部１２３へと転送する電荷転送動作が行われる。そして、さらに、水平電荷転送部１２３が、信号電荷転送駆動信号ＳＴに応じて、各垂直電荷転送部１１７により転送された電荷を、信号電荷として出力部１２４へと転送する電荷転送動作が行われる。出力部１２４に転送された電荷は出力部１２４において撮像出力信号ＩＰに変換され、撮像出力信号ＩＰが出力端子１２５に導出される。
【０１４７】
このような各垂直電荷転送部１１７及び水平電荷転送部１２３による電荷転送動作が行われる電荷転送期間は、その後にタイミング信号発生部１３１において、図２２のＤ及びＥに示される如く、内部フレーム同期信号ＳＦＯが得られ、その内部フレーム同期信号ＳＦＯの前縁に応じてタイミング信号ＳＸＯが得られる時点ｔｈにおいて、信号電荷転送駆動信号ＳＴの後縁が到来して終了する。そして、タイミング信号発生部１３１は、タイミング信号ＳＸＯに応じて、電荷読出タイミング信号ＴＧ及び電荷掃出し転送タイミング信号ＴＳを送出し、それにより、駆動信号形成部１３０から、図２２のＧ及びＨに示される如く、信号電荷転送駆動信号ＳＴの後縁に応じた前縁を有する読出ゲート制御信号ＳＧ及び信号電荷転送駆動信号ＳＴの後縁に応じた前縁を有する掃出し電荷転送駆動信号ＳＳが、固体撮像部１１１の受光・電荷転送部に送出されて電荷掃出し動作が行われる。
【０１４８】
その後、時点ｔｉにおいて、制御ユニット１３３からタイミング信号発生部３１に同期復帰指令信号ＳＲが送出され、それにより、図２２のＤに示される如くに、タイミング信号発生部１３１において得られる内部フレーム同期信号ＳＦＯが、再び、フレーム同期信号ＳＦとの間に一定の位相差を有するものとされて、ＳＦ同期が復活される。
【０１４９】
このように、非同期シャッタ待受光モードのもとでの静止画撮像動作が行われる場合には、予めシャッタ待状態がとられて固体撮像部１１１の受光・電荷転送部において電荷掃出し動作が継続的に行われているもとで、シャッタ操作が行われると、そのシャッタ操作の時点まで行われていた継続的な電荷掃出し動作が終了せしめられて、ただちに、固体撮像部１１１の受光・電荷転送部についての受光期間が開始され、受光・電荷転送部における多数の受光素子部１１６に有効な電荷蓄積が行われる受光状態が得られることになる。従って、シャッタ操作がなされた際において、極めて迅速な受光応答動作が行われることになる。
【０１５０】
次に、多重露光モードについて説明する。動作モード指定信号ＳＭが指定する動作モードが多重露光モードであるときに、制御ユニット１３３は、多重露光モード設定信号ＳＭＭをタイミング信号発生部１３１に供給する。タイミング信号発生部１３１は、多重露光モード設定信号ＳＭＭに応じて、図２３のＡに示される同期信号発生部１３２からのフレーム同期信号ＳＦに対して内部フレーム同期信号ＳＦＯを発生するとともに、図２３のＣに示される如く、内部フレーム同期信号ＳＦＯについての３周期分を単位期間として、各単位期間内においてその開始時点から所定数、例えば、７個のタイミング信号ＳＸＯを一定の周期をもって発生する。
【０１５１】
また、タイミング信号発生部１３１は、内部フレーム同期信号ＳＦＯについての３周期分の各単位期間において、所定数のタイミング信号ＳＸＯのそれぞれの前縁に応じた電荷読出タイミング信号ＴＧを送出するとともに、所定数のタイミング信号ＳＸＯの最後のものの後縁の時点から単位期間の終了時点までの期間において、電荷排出タイミング信号ＴＤを継続的に送出し、さらに、内部フレーム同期信号ＳＦＯについての３周期分の各単位期間中における最終の内部フレーム同期信号ＳＦＯについての１周期分の期間に、信号電荷転送タイミング信号ＴＴを送出する。
【０１５２】
それにより、駆動信号形成部１３０が、電荷読出タイミング信号ＴＧに応じて、図２３のＤに示される如くの、内部フレーム同期信号ＳＦＯについての３周期分とされる各単位期間内における所定数、例えば、７個の読出ゲート制御信号ＳＧを、固体撮像部１１１の受光・電荷転送部に送出するとともに、電荷排出タイミング信号ＴＤに応じて、図２３のＥに示される如くの、内部フレーム同期信号ＳＦＯについての３周期分とされる各単位期間内における所定数の読出ゲート制御信号ＳＧの最後のものの後縁の時点から単位期間の終了時点までの期間中継続するオーバーフローゲート制御信号ＳＤを固体撮像部１１１の受光・電荷転送部に送出する。さらに、駆動信号形成部１３０は、信号電荷転送タイミング信号ＴＴに応じて、図２３のＧに示される如く、内部フレーム同期信号ＳＦＯについての３周期分とされる各単位期間中における最終の内部フレーム同期信号ＳＦＯについての１周期分の期間に、信号電荷転送駆動信号ＳＴを固体撮像部１１１の受光・電荷転送部に送出する。
【０１５３】
その結果、固体撮像部１１１の受光・電荷転送部において、内部フレーム同期信号ＳＦＯについての３周期分とされる各単位期間中において、所定数、例えば、７個の読出ゲート制御信号ＳＧの相互間が受光・電荷転送部についての分断受光期間とされることになり、図２３のＦに示される如くに、分断受光期間それぞれにおいて、受光・電荷転送部における多数の受光素子部１１６に受光による電荷の蓄積がなされる。そして、各分断受光期間により得られた電荷は、その期間に続く期間に読出ゲート制御信号ＳＧが供給されて開状態とされる各電荷読出ゲート部１８により各垂直電荷転送部１１７へと順次読み出される。
【０１５４】
このようにして、内部フレーム同期信号ＳＦＯについての３周期分とされる各単位期間中に、受光・電荷転送部における多数の受光素子部１１６から各電荷読出ゲート部１１８を通じて各垂直電荷転送部１１７に断続的に読み出される電荷は、各単位期間中における最終の内部フレーム同期信号ＳＦＯについての１周期分の期間が到来するまでは、各垂直電荷転送部１１７において重畳蓄積される。
それにより、実質的に、内部フレーム同期信号ＳＦＯについての３周期分とされる各単位期間中において、受光・電荷転送部における多数の受光素子部１１６に対しての多重露光が行われることになる。
【０１５５】
そして、各単位期間中における最終の内部フレーム同期信号ＳＦＯについての１周期分の期間が到来すると、各垂直電荷転送部１１７において重畳蓄積された電荷は、固体撮像部１１１の受光・電荷転送部に信号電荷転送駆動信号ＳＴが供給されることにより、信号電荷として各垂直電荷転送部１１７から水平電荷転送部１２３へ、さらに、水平電荷転送部１２３から出力部１２４へと転送される。
そして、出力部１２４に転送された電荷は、出力部１２４において撮像出力信号ＩＰに変換され、出力端子１２５に撮像出力信号ＩＰが導出される。
【０１５６】
このように各垂直電荷転送部１１７において重畳蓄積された電荷が信号電荷として転送される期間において、固体撮像部１１１の受光・電荷転送部における多数の受光素子部１１６に受光によって得られる電荷は、そのとき受光・電荷転送部に設けられたオーバーフローゲート電極ＥＤにオーバーフローゲート制御信号ＳＤが継続的に供給されることにより開状態とされるオーバーフロー制御部１２０を通じて、ドレイン部１２１に排出される。従って、各単位期間中における受光・電荷転送部についての分断受光期間の開始時にあっては、受光・電荷転送部における多数の受光素子部１１６に、その分断受光期間に先立つ受光による不要な電荷が蓄積されていることになる事態は生じない。
【０１５７】
このようにして、多重露光モードのもとでの静止画撮像動作が行われる場合には、比較的簡単な構成及び動作制御にもとに、実質的に、内部フレーム同期信号ＳＦＯについての３周期分とされる各単位期間中において、受光・電荷転送部における多数の受光素子部１１６に対しての多重露光が行われて得られる信号電荷に基づく撮像出力信号ＩＰが得られることになる。
【０１５８】
このような先行関連技術に基づく多重露光撮影及び非同期シャッタを本発明に適用した場合について考える。
【０１５９】
多重露光撮影された画像には、多重露光の回数（Ｎ）に応じた枚数の画像が重ねて表示されていることになる。例えばＮ＝２の多重露光撮影が為された画像の場合、図２４に示すような画像２０１と画像２０２として示す２枚分の画像が１枚の画像２０３の中に重ねて表示された画像となる。
【０１６０】
この場合、画像２０３の中には、時間経過とともに位置が変化していく複数の識別子が表示されている。ここでは多重露光の回数がＮ＝２である場合について考えているため、時系列で考えて、２倍精密な照準点の位置検出が可能となる。
１つの画像に表示される複数の識別子間の時間的な前後関係は、記憶した過去の照準点の位置変化が連続になっていることを手掛かりとして類推される。
【０１６１】
ここでは、ベクトル演算処理に対応した多重露光機能を持ったＴＧ（Timing Generator）を使用することにより、Ｎ＝２の多重露光撮影を行えば、従来と同等のサンプリングレートが期待できる。さらに、Ｎ＝４とすれば、従来の倍のサンプリングレートが期待でき、より細かなタイミングで位置検出が実現できる。また、このときの画像の転送レートは、サンプリングレートのＮ分の１で良いため、本発明に係る位置検出システムに適用した場合、転送レートを稼ぐことが可能となり、より効率の良い位置検出システムが構築できる。
【０１６２】
例えば、ＵＳＢＶｅｒ．１．１に準拠した高速モード１２ＭＨｚで転送しても、ＯＶＧＡ１６ｂｉｔの色数で３０ｆｐｓの画像を転送するのが限界だったが、これをＮ＝４で多重露光することにより、例えば図１６に示すステップＳ２５における連続した類似ベクトルをまとめることによって物体を抽出する工程までは３０ｆｐｓの時と変わらないＣＰＵパワーで１２０ｆｐｓに相当するサンプリングレートによって、より高精度な位置検出を実現することができる。
【０１６３】
次に、非同期シャッタにより任意のタイミングで撮像する場合について考える。図２５（Ａ）は、従来の固定されたタイミングにより撮像する場合を示し、図２５（Ｂ）は、本発明が適用されたゲーム装置が任意のタイミングで撮像する場合を示している。
【０１６４】
従来では、図２５（Ａ）に示すように、前の画像２１０と後の画像２１１とは１／３０秒間隔で固定のタイミングにより撮像され、最初の撮像から１／３０秒までの間の任意のタイミングでの撮像することは不可能であった。
【０１６５】
本発明にかかる位置検出システムに、図２０及び図２２を用いて説明した非同期による撮像技術を利用することにより、図２５（Ｂ）に示すように、画像２１２を任意のタイミングで得ることができる。
【０１６６】
なお、任意のタイミングにより得た画像の直前の画像（本来の固定のタイミングにより撮像された画像）２１３は、掃き捨てられるため読めない。しかし、任意のタイミングにより得た画像２１２の後の画像２１４は、通常の撮像タイミングとして、１/３０秒のＣＣＤの読み取りタイミングに合わせて読み取られる。
【０１６７】
従来の撮像装置を使用した場合、１／３０秒等のＣＣＤの読み出しタイミングで得た画像からしか特徴点の位置検出ができなかった。また、上述したように、多重露光撮影により撮像した場合でも、１／３０秒等のＣＣＤの読み出しタイミングをＮ＝４程度までの小さな整数で時分割したタイミングで得た画像からしか位置検出ができなかった。一方、本発明にかかる位置検出システムは、任意のタイミングで画像を撮像し、任意のタイミングで特徴点の位置を測定できるため、補間により特徴点の位置を類推する場合に比べ、より高精度の動き検出が可能となる。
【０１６８】
このように本発明に係る位置検出システムは、多重露光撮影及び非同期シャッタによる撮影を適用することによって、さらに、第４の実施の形態及び第５の実施の形態として以下に示す位置検出を可能とする。
【０１６９】
本発明の第４の実施の形態として示す位置検出システム４は、表示装置に識別子を表示し、この識別子を含む表示画像を操作入力装置としての撮像装置で撮影し、撮影した画像を解析手段において解析することによって、表示装置と撮像装置との位置関係、並びに撮像装置の表示装置に対する向き等を非接触により検出する位置検出システムであって、例えば表示装置に表示される画像の所定位置或いは所定の画像に対して、操作入力装置としての撮像装置を対向して選択動作を行うことで操作入力を行うことを可能としたことに加え、多重露光撮影によって選択動作を連続して行うことを可能にしたユーザインターフェイスである。
【０１７０】
位置検出システム４は、図２６に示すように、表示部７３とスピーカ７４とを有したゲーム筐体７０と、銃を模した銃型撮像装置７１と、盾を模した盾型撮像装置７２とを備える。
【０１７１】
表示部７３には、ゲームの内容であるアニメーション画像等が出力され、スピーカ７４からは、表示部７３に表示される画像に合わせて、効果音や音楽等が再生される。図２６に示す位置検出システム４において、表示部７３には、詳細は図示しないが背景画像と、識別子７５と、照準点７６と、照準点７７とが表示されている。
【０１７２】
このように、当該位置検出システム４は、例えば、ユーザ１０００が銃を模した操作入力装置としての銃型撮像装置７１を用いて表示部７３に表示される射撃対象に向かって照準点７６を定めて射撃をし、かつ盾を模した操作入力装置としての盾型撮像装置７２を用いて盾としての照準点７７を定めて飛来物を防御するようなゲーム装置を構成している。
【０１７３】
銃型撮像装置７１は、撮像素子としてＣＣＤ（Charge Coupled Device）を備えた撮像カメラであり、ユーザ１０００によってゲーム筐体７０の表示部７３に対向されるとき、表示部７３に表示される画像を含めた周辺の環境を撮像し、この撮像範囲７８の画像をゲーム筐体７０に送信している。このとき、銃型撮像装置７１が捕らえた撮像範囲７８の中心が照準点７６として表示部７３上の対応箇所に表示される。
【０１７４】
また、盾型撮像装置７２は、同じくＣＣＤを備えた撮像カメラであり、ユーザによって表示部７３に対向されるとき、表示部７３に表示される画像を含めた周辺の環境を撮像し、この撮像範囲７９の画像をゲーム筐体７０に送信している。
このとき撮像範囲７９の中心の所定領域が照準点７７として表示部７３の対応箇所に表示される。
【０１７５】
位置検出システム４は、第１の実施の形態の位置検出システム１と同様の処理を行うことから、具体的な回路構成は、第１の実施の形態の位置検出システム１と共通の構成要素とすることができるため詳細な説明は省略する。
【０１７６】
なお、当然のことながら、第１の実施の形態の位置検出システム１と共通の構成部分であっても、第４の実施の形態の位置検出システム４に適応するように適宜変更を加えることができることはいうまでもない。
【０１７７】
照準点を表示する処理は、上述した位置検出システム１乃至３と同じであるため省略する。
【０１７８】
また、本発明の第５の実施の形態として示す位置検出システム５は、表示装置に識別子を表示し、この識別子を含む表示画像を操作入力装置としての撮像装置で撮影し、撮影した画像を解析手段において解析することによって、表示装置と撮像装置との位置関係、並びに撮像装置の表示装置に対する向き等を非接触により検出する位置検出システムであって、例えば表示装置に表示される画像の所定位置或いは所定の画像に対して操作入力装置としての撮像装置を対向し、非同期シャッタを用いた位置検出動作によって操作入力を行うことを可能としたユーザインターフェイスである。
【０１７９】
位置検出システム５は、図２７に示すように、表示部８２とスピーカ８３とを有したゲーム筐体８０と、ラケットを模したラケット型撮像装置８１と、接触センサ８４とを備えている。
【０１８０】
表示部８２には、ゲームの内容であるアニメーション画像等が出力され、スピーカ８３からは、表示部８２に表示される画像に合わせて、効果音や音楽等が再生される。図２７に示す位置検出システム５において、表示部８２には、詳細は図示しないが背景画像と、識別子８５と、球８６とが表示されている。
【０１８１】
このように、当該位置検出システム５は、例えば、ユーザ１０００がラケットを模した操作入力装置としてのラケット型撮像装置８１を用いて、実際に球を打ち返す動作を行って、表示部８２に表示される球８６をプレーヤに対して打ち返すようなゲーム装置を構成している。
【０１８２】
位置検出システム５は、第１の実施の形態の位置検出システム１と同様の処理を行うことから、具体的な回路構成は、第１の実施の形態の位置検出システム１と共通の構成要素とすることができるため詳細な説明は省略する。
【０１８３】
ユーザは、表示部８２に３次元の深さをもって表示される球にあわせて卓球のラケットに模したラケット型撮像装置８１を構え、表示される球を打ち返す動作を行う。このとき撮像範囲８７の画像が撮像されて、ゲーム筐体８０へと転送される。
【０１８４】
ゲーム筐体８０に備えられたゲーム制御部は、表示装置に３次元の深さを持って表示される球８６がユーザの元に達するのに相当するタイミングでラケット型撮像装置８１の位置と向きとを検出することにより、実際に検出された位置と角度から球が打ち出されるような打球の軌道を計算して、その軌道に合わせて球８６が打ち出されていくように表示する。
【０１８５】
また、例えばユーザは、スマッシュの際に接触センサ８４を強く踏む。このとき接触センサ８４が踏まれたタイミングをトリガとして、非同期シャッタによる位置検出を行う。
【０１８６】
したがって、このような位置検出システム５は、高速な動きでありながら、ラケット型撮像装置８１の向きと角度とを正確に検出することが可能となる。位置検出システム５は、卓球のスマッシュのみならず、テニスのスマッシュ、ゴルフのショット、野球のバッティング、ダンスのステップ等の同様の動きに対して適用可能である。
【０１８７】
なお、当然のことながら、第１の実施の形態の位置検出システム１と共通の構成部分であっても、第５の実施の形態の位置検出システム５に適応するように適宜変更を加えることができることはいうまでもない。
【０１８８】
従来のようなブラウン管の走査線を受光素子で検知する方法では、位置検出の都度、画面をフラッシュする必要があったため、常に位置を検出し、ポインタを表示し続けようとするような使用には適していなかったが、上述した多重露光撮影を駆使することによって、位置検出システム４及び位置検出システム５に示すような従来の位置検出システムを上回るサンプリングレートでの位置検出を実現することができる。
【０１８９】
したがって、このような動き検出動作は、動き検出の判定誤差範囲を人間（ユーザ）の感覚誤差の範囲内に納めることが可能であるため、ユーザにとって、照準点７７があたかもポインタのように常時表示されているかのようにすることが可能である。また、非同期シャッタでの撮影により、高速の動きに対しても正確な位置検出を可能とし、ユーザにとって違和感のない快適な操作入力を実現する。
【０１９０】
以上、第１の実施の形態乃至第５の実施の形態として示した位置検出システムによれば、ゲームプレーヤ（ユーザ）の動きやゲーム世界での動作に類似した動作を入力情報として使用して、例えばゲームのような仮想世界に現実世界の動作を反映させることを可能とし、より高精度でリアルタイム制を向上した動き検出が可能になる。
【０１９１】
また、以上のような位置検出装置は、一般家庭で導入され始めたプロジェクタ、液晶テレビ、VGAモニタ等にも対応可能であって、NTSC、PALといった走査線の仕様に影響されることがない。
【０１９２】
なお、位置検出システム１乃至５において、識別子は、通常表示されないようにすることもできる。すなわち、操作入力装置としての撮像装置からの入力があった場合にのみ、例えば射撃ゲームであれば、銃型コントローラのトリガが引かれた場合にのみ識別子が表示されるようにすることも可能である。
【０１９３】
この他にも、多重露光撮影時における各露光タイミング、或いは非同期シャッタによる撮影時の各シャッタタイミング等を識別子を表示するタイミングとして用いることができる。
【０１９４】
なお、位置検出システム１乃至５において、ゲーム処理部はクロマキー処理を施すことによって特徴点の抽出をより高性能にすることができる。クロマキー処理は、画像処理部で行われるようにしてもよい。
【０１９５】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０１９６】
【発明の効果】
以上詳細に説明したように、本発明に係る位置検出装置及び位置検出方法は、は、複数の識別子を表示して、結像部を介して識別子を撮像して、撮像された識別子を含む画像を用いて撮像手段の表示手段に対する位置を解析するものである。
【０１９７】
したがって、以上のような位置検出装置及び位置検出方法によれば、表示される画像等の仮想世界での動作に類似した実際の動作を非接触により検出することで仮想世界に現実世界の動作を反映させることを可能とし、表示装置の種類に関わらず、より高精度でリアルタイム制を向上した動き検出を行うことが可能になる。
【０１９８】
また、以上のような位置検出装置及び位置検出方法は、表示装置の種類によらず適用可能である。そのため、一般家庭で導入され始めたプロジェクタ、液晶テレビ、VGAモニタ等にも対応可能であって、NTSC、PALといった走査線の仕様に影響されることがない。したがって、導入の際のコストが低減され、ユーザに対する利便性が向上する。
【０１９９】
本発明に係るエンターテインメント装置は、複数の識別子を表示する制御を行う表示制御手段と、結像部を介して上記識別子を撮像する撮像手段と、撮像された識別子を用いて上記撮像手段の上記複数の識別子を表示する表示手段に対する位置を解析する解析手段と、解析手段で解析された位置情報を制御情報に変換してプログラムを制御する制御手段とを備える。
【０２００】
したがって、以上のようなエンターテインメント装置によれば、ゲームプレーヤ（ユーザ）の動きやゲーム世界のような仮想世界での動作に類似した実際の動作を非接触により検出することで仮想世界に現実世界の動作を反映させることを可能とし、表示装置の種類に関わらず、より高精度でリアルタイム制を向上した動き検出を行うことが可能になる。さらに、検出した位置情報を制御情報に変換してプログラムの制御を行うことを可能になる。
【０２０１】
また、以上のようなエンターテインメント装置は、表示装置の種類によらず適用可能である。そのため、一般家庭で導入され始めたプロジェクタ、液晶テレビ、VGAモニタ等にも対応可能であって、NTSC、PALといった走査線の仕様に影響されることがない。したがって、導入の際のコストが低減され、ユーザに対する利便性が向上する。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態として示す位置検出システムの構成の概略を示す概略図である。
【図２】本発明の第１の実施の形態として示す位置検出システムの構成を示すブロック図である。
【図３】本発明の第１の実施の形態として示す位置検出システムがキャリブレーションを行う際の概略を示した概略図である。
【図４】本発明の第１の実施の形態として示す位置検出システムがキャリブレーションを行う際の概略を示した概略図である。
【図５】本発明の第１の実施の形態として示す位置検出システムにおけるコントロール型撮像装置が画像を取り込む処理を示すフローチャートである。
【図６】本発明の第１の実施の形態として示す位置検出システムにおけるゲーム制御部が照準点の位置を検出する処理を示すフローチャートである。
【図７】識別子の位置を予測する際の概念を示した模式図である。
【図８】本発明の第２の実施の形態として示す位置検出システムの構成の概略を示す概略図である。
【図９】本発明の第２の実施の形態として示す位置検出システムの構成を示すブロック図である。
【図１０】本発明の第２の実施の形態として示す位置検出システムにおけるコントロール型撮像装置が画像を取り込む処理を示すフローチャートである。
【図１１】本発明の第２の実施の形態として示す位置検出システムにおけるゲーム制御部が照準点の位置を検出する処理を示すフローチャートである。
【図１２】本発明の第２の実施の形態として示す位置検出システムにおける画像制御部が行う処理を示すフローチャートである。
【図１３】本発明の第３の実施の形態として示す位置検出システムの構成を示すブロック図である。
【図１４】ベクトル場の概念を示す概念図である。
【図１５】濃度変化から動きベクトルを算出する手順を説明するために使用した特性図である。
【図１６】本発明の第３の実施の形態として示す位置検出システムにおけるゲーム制御部が照準点の位置を検出する処理を示すフローチャートである。
【図１７】非同期シャッタによる撮影及び多重露光撮影を行う撮像装置の構成を示すブロック図である。
【図１８】非同期シャッタによる撮影及び多重露光撮影を行う撮像装置の固体撮像部における受光・電荷転送部を説明する説明図である。
【図１９】非同期シャッタによる撮影及び多重露光撮影を行う撮像装置の固体撮像部における受光・電荷転送部の一部を示した図である。
【図２０】非同期シャッタによる撮影及び多重露光撮影を行う撮像装置の動作を説明するタイムチャートである。
【図２１】図２０に示したタイムチャートの一部を拡大して示すタイムチャートの拡大図である。
【図２２】非同期シャッタによる撮影及び多重露光撮影を行う撮像装置の動作を説明するタイムチャートである。
【図２３】非同期シャッタによる撮影及び多重露光撮影を行う撮像装置の動作を説明するタイムチャートである。
【図２４】Ｎ＝２の多重露光撮影が為された画像を示す模式図である。
【図２５】非同期シャッタにより任意のタイミングで撮像する場合の撮像タイミングを説明する図である。
【図２６】本発明の第４の実施の形態として示す位置検出システムの構成の概略を示す概略図である。
【図２７】本発明の第５の実施の形態として示す位置検出システムの構成の概略を示す概略図である。
【符号の説明】
１，２，３，４，５  位置検出システム、１０，７０，８０  ゲーム筐体、１１，６０  コントローラ型撮像装置、１２，７３，８２  表示部、１３，７４，８３  スピーカ、１４，７５，８５  識別子、１５  標的、１６  照準点、１７，７８，７９  撮像範囲、２０  レンズ部、２１  ＣＣＤイメージャ、２２  Ｓ／Ｈ部、２３  ＡＧＣ部、２４  Ａ／Ｄ部、２５  信号処理部、２６  ＴＧ部、２７  撮像駆動部、２８  撮像制御部、２９  ＳＤＲＡＭ、３０  メインメモリ、３１  機械的Ｉ／Ｆ、３２  ゲーム制御部、３３  表示制御部、３４  ＲＯＭ、３５  画像表示部、３６  フレームメモリ、３７  バス、４０  モニタ、５０ゲーム装置、５１  Ｉ／Ｆ部、５２  モニタＩ／Ｆ部、５３  ベクトル演算ユニット、６１  Ｉ／Ｆ部、７１  銃型撮像装置、７２  盾型撮像装置、７６，７７  照準点、８１  ラケット型撮像装置、８４  接触センサ、８６  球
【図１】
0004581204.tif 000002
【図２】
0004581204.tif 000003
【図３】
0004581204.tif 000004
【図４】
0004581204.tif 000005
【図５】
0004581204.tif 000006
【図６】
0004581204.tif 000007
【図７】
0004581204.tif 000008
【図８】
0004581204.tif 000009
【図９】
0004581204.tif 000010
【図１０】
0004581204.tif 000011
【図１１】
0004581204.tif 000012
【図１２】
0004581204.tif 000013
【図１３】
0004581204.tif 000014
【図１４】
0004581204.tif 000015
【図１５】
0004581204.tif 000016
【図１６】
0004581204.tif 000017
【図１７】
0004581204.tif 000018
【図１８】
0004581204.tif 000019
【図１９】
0004581204.tif 000020
【図２０】
0004581204.tif 000021
【図２１】
0004581204.tif 000022
【図２２】
0004581204.tif 000023
【図２３】
0004581204.tif 000024
【図２４】
0004581204.tif 000025
【図２５】
0004581204.tif 000026
【図２６】
0004581204.tif 000027
【図２７】
0004581204.tif 000028