(57)【特許請求の範囲】
【請求項１】
揺動を提示する端末装置に揺動信号を提供する情報処理装置において、
画像を基に、前記画像が撮像された状況を判定する判定手段と、
前記画像を基に、前記画像に対応する揺動信号を生成する生成手段と、
前記判定手段の判定に対応して、前記揺動信号を変換する変換手段と
を含むことを特徴とする情報処理装置。
【請求項２】
前記判定手段は、
前記画像の揺れの振幅を抽出する振幅抽出手段と、
前記画像の揺れの周期に対応する成分を抽出する周期成分抽出手段と、
前記画像が撮像された状況を判定するための判定基準を記録する判定基準記録手段と、
前記判定基準、前記画像の揺れの振幅、および前記周期に対応する成分を基に、前記画像が撮像された状況を決定する決定手段と
を更に含むことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記変換手段は、
前記画像が撮像された状況に対応させて、前記揺動信号の変換データを記録している変換データ記録手段と、
前記判定手段の判定を基に、前記変換データ記録手段に記録されている前記変換データを選択する選択手段と、
選択された前記変換データを基に、前記揺動信号を、利用者の身体の部分を揺動させるために用いる信号に変換する信号変換手段と
を更に含むことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
揺動を提示する端末装置に揺動信号を提供する情報処理装置の情報処理方法において、
画像を基に、前記画像が撮像された状況を判定する判定ステップと、
前記画像を基に、前記画像に対応する揺動信号を生成する生成ステップと、
前記判定ステップの処理での判定に対応して、前記揺動信号を変換する変換ステップと
を含むことを特徴とする情報処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法、並びに揺動提示システムに関し、特に、画像に対応して揺動信号を提供する情報処理装置および方法、並びに揺動提示システムに関する。
【０００２】
【従来の技術】
アミューズメントパーク、ゲームセンタ、または遊技場などにおいて、動画像（以下、単に画像と称する）を表示すると共に、画像に対応する振動または揺動を利用者に与えることにより、利用者が感じる臨場感を増加させる装置が利用されている。
【０００３】
画像が撮像された状況には様々な種類がある。例えば、自動車、自転車、または船の走行中に撮像した画像、または人が歩きながらビデオカメラなどで撮像した画像などがある。
【０００４】
【発明が解決しようとする課題】
しかしながら、画像から揺動信号を生成する場合、画像全体の動きに対応する揺動信号が生成されるのみで、常に、画像に適した揺動信号が生成されるとは限らなかった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、画像により適した揺動を提示することができるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載の情報処理装置は、画像を基に、画像が撮像された状況を判定する判定手段と、画像を基に、画像に対応する揺動信号を生成する生成手段と、判定手段の判定に対応して、揺動信号を変換する変換手段とを含むことを特徴とする。
【０００７】
判定手段は、画像の揺れの振幅を抽出する振幅抽出手段と、画像の揺れの周期に対応する成分を抽出する周期成分抽出手段と、画像が撮像された状況を判定するための判定基準を記録する判定基準記録手段と、判定基準、画像の揺れの振幅、および周期に対応する成分を基に、画像が撮像された状況を決定する決定手段とを更に設けるようにすることができる。
【０００８】
変換手段は、画像が撮像された状況に対応させて、揺動信号の変換データを記録している変換データ記録手段と、判定手段の判定を基に、変換データ記録手段に記録されている変換データを選択する選択手段と、選択された変換データを基に、揺動信号を、利用者の身体の部分を揺動させるために用いる信号に変換する信号変換手段とを更に設けるようにすることができる。
【０００９】
請求項４に記載の情報処理方法は、画像を基に、画像が撮像された状況を判定する判定ステップと、画像を基に、画像に対応する揺動信号を生成する生成ステップと、判定ステップの処理での判定に対応して、揺動信号を変換する変換ステップとを含むことを特徴とする。
【００１０】
請求項１に記載の情報処理装置および請求項４に記載の情報処理方法においては、画像を基に、画像が撮像された状況が判定され、画像を基に、画像に対応する揺動信号が生成され、判定に対応して、揺動信号が変換される。
【００１１】
【発明の実施の形態】
図１は、本発明に係る揺動提示システムの一実施の形態の構成を示す図である。揺動提示システムに入力された映像信号は、揺動信号生成部１１に供給される。
【００１２】
揺動信号生成部１１は、入力された映像信号を基に、揺動信号を生成して、生成した揺動信号を揺動信号出力部１２に供給する。揺動信号生成部１１が生成する揺動信号は、利用者の体全体の揺動を発生するための信号である。
【００１３】
揺動信号生成部１１は、図２に示すように、特徴情報検出部４１および特徴情報処理部４２から構成されている。
【００１４】
特徴情報検出部４１は、映像信号から、映像信号に対応する特徴情報（後述する）を算出して、特徴情報処理部４２に供給する。
【００１５】
特徴情報処理部４２は、特徴情報検出部４１から供給された特徴情報を基に、揺動信号を生成して、出力する。
【００１６】
図３は、揺動信号生成部１１の特徴情報検出部４１の構成を示すブロック図である。特徴情報検出部４１に入力された映像信号は、遅延部７１により１フレーム分遅延された後、フレームバッファ７２−１に供給される。特徴情報検出部４１に入力された映像信号は、フレームバッファ７２−２にも供給される。
【００１７】
読み出し部７３−１および７３−２は、メモリ７４に記憶されている所定のパターンに従って、それぞれ対応するフレームバッファ７２−１および７２−２から、映像信号を読み出し、動きベクトル検出部７５に出力する。
【００１８】
動きベクトル検出部７５は、供給された映像信号から動きベクトルを検出し、て検出した動きベクトルを特徴情報演算部７６に出力する。
【００１９】
次に、図３に示した特徴情報検出部４１の動作について説明する。時刻ｔにおいて、特徴情報検出部４１に入力された映像信号は、遅延部７１とフレームバッファ７２−２に供給される。フレームバッファ７２−２は、入力された１フレーム分の映像信号を記憶する。遅延部７１は、映像信号を１フレーム分だけ遅延するので、時刻ｔにおいて、フレームバッファ７２−１には、時刻ｔより前の時刻ｔ−１における映像信号、すなわち、時刻ｔより１フレーム前の映像信号が記憶されている。
【００２０】
フレームバッファ７２−１に記憶された時刻ｔ−１における映像信号は、読み出し部７３−１により、フレームバッファ７２−２に記憶された時刻ｔにおける映像信号は、読み出し部７３−２により、それぞれ読み出される。
【００２１】
読み出し部７３−１および７３−２は、それぞれ対応するフレームバッファ７２−１または７２−２に記憶されている映像信号のうち、メモリ７４に記憶されているパターンに対応する部分の映像信号を読み出す。ここで、メモリ７４に記憶されているパターンについて、図４を参照して説明する。
【００２２】
図４は、メモリ７４に記憶されているパターンの一例を示す図である。１フレームを構成する画素のなかで、揺動に関係のない部分、例えば、図５に示したような、自動車のダッシュボードまたはボンネットに対応する部分などは揺動に関係のない領域と考えられるので、その領域を取り除いた領域の中心に位置する画素を収束点Ｐとする。収束点Ｐを中心として上下左右に対称な位置の代表点Ｑ、例えば、２５個（収束点を含む）を設定する。各代表点Ｑ毎に、その代表点Ｑが中心に位置する所定の画素数からなる参照ブロックＢ、例えば、３３×３３画素からなる参照ブロックＢを設定する。メモリ７４には、このようなフレームの画面内における各代表点Ｑの座標と、参照ブロックＢの大きさと、図示していないが例えば６５×６５画素からなる探索ブロックの大きさが、パターンとして記憶されている。
【００２３】
読み出し部７３−１は、フレームバッファ７２−１に記憶されている時刻ｔ−１における映像信号のうち、メモリ７４に記憶されている上述したパターンに対応する画素データ、すなわち、代表点Ｑの座標と参照ブロックＢの大きさをもとに、各参照ブロックＢ内の画素データを読み出し、動きベクトル検出部７５に、参照ブロックのデータとして出力する。同様に、読み出し部７３−２は、フレームバッファ７２−２に記憶されている時刻ｔにおける映像信号のうち、メモリ７４に記憶されているパターンに対応する画素データを読み出し、動きベクトル検出部７５に探索ブロックのデータとして出力する。
【００２４】
動きベクトル検出部７５は、入力された参照ブロックのデータと探索ブロックのデータとを用いて、ブロックマッチングを行うことにより、各代表点Ｑにおける動きベクトルを検出する。従って、この例の場合、２５個の動きベクトルが検出される。
【００２５】
なお、本実施例では、揺動信号を生成することを目的としてるため動きベクトルを全ての画素に対して検出する必要が無いため、２５個の動きベクトルだけを求めるようにしている。これにより、回路規模の削減や処理速度を上げることができる。
【００２６】
特徴情報演算部７６は、動きベクトル検出部７５により検出された２５個の動きベクトルを用いて、時刻ｔのフレーム全体としての揺動の水平成分ｕ、垂直成分ｖ、拡大成分ｖzoom、および回転成分ｖrotの合計４成分を、以下に示す式に基づいて算出する。
水平成分ｕ＝（１／ｎ）Σｕi  ・・・（１）
垂直成分ｖ＝（１／ｎ）Σｖi  ・・・（２）
拡大成分ｖzoom＝（１／ｎ）Σｖzoomi／ｄi  ・・・（３）
回転成分ｖrot＝（１／ｎ）Σｖroti／ｄi    ・・・（４）
なお、添え字のｉは、代表点Ｑiに付けられた番号を示し、この例では１乃至２５まで変化する。また、ｎは代表点の個数であるので、この例では２５である。式（１）乃至式（４）により求められる値は、２５個の動きベクトルから得られる各成分ｕ、ｖ、ｖzoom、ｖrotの平均値である。
【００２７】
上述した各成分ｕ、ｖ、ｖzoom、ｖrotの関係を図６を参照して説明する。処理対象となっている代表点Ｑiの動きベクトルＴの水平方向の成分をｕiとし、垂直方向の成分をｖiとする。ｄｉは、収束点Ｐから代表点Ｑiまでの距離を表すスカラ量である。また、（Ｐｘ，Ｐｙ）は、収束点Ｐの座標を表し、この座標値を基準として座標（Ｑiｘ，Ｑiｙ）の代表点Ｑiまでの距離が算出される。
【００２８】
この動きベクトルＴの成分（ｕi，ｖi）は、代表点Ｑiを原点としたときの成分である。動きベクトルＴの、収束点Ｐと代表点Ｑiとを結ぶ直線と平行な方向の成分ｖzoomiとし、収束点Ｐと代表点Ｑiとを結ぶ直線と直交する方向の成分をｖrotiとする。また、収束点Ｐと代表点Ｑiとを結ぶ直線と動きベクトルＴとがなす角度をθとする。このとき、ｖzoomiとｖrotiは、次式に従って求められる。
ｖzoomi＝（ｕi2＋ｖi2）(1/2)ＣＯＳθ  ・・・（５）
ｖroti ＝（ｕi2＋ｖi2）(1/2)ＳＩＮθ  ・・・（６）
【００２９】
なお、ここでは、各成分を求めるのに２５個の動きベクトルの値を平均的に用いているが、画面上における位置関係などに基づいて、各成分に重み付けをしてもよい。
【００３０】
特徴情報演算部７６は、動きベクトル検出部７５から出力された動きベクトルから、式（１）乃至式（４）を用いて、特徴情報として４成分のデータｕ、ｖ、ｖzoom、ｖrotを算出する。算出された４成分のデータｕ、ｖ、ｖzoom、ｖrotは、特徴情報処理部４２に供給される。
【００３１】
ここで、例えば、利用者に対して自動車に乗っている感じを疑似体験させる場合、どのような揺動を利用者が座っている椅子に対して加えればよいのかを考える。自動車の椅子に加えられる揺動には、自動車が坂道などの勾配のある道を走っているときの路面の前後方向の傾き、でこぼこした道の上を走っているときの路面から受ける上下方向の振動、傾いた路面を走っているときの路面の左右方向の傾きなどがある。
【００３２】
これらの力は、映像を撮像したビデオカメラが搭載された自動車に対して与えられた刺激のうち、映像を観察する利用者の椅子に対しても物理的意味合いが同じ形で刺激を与えることができる力であり、ここでは実刺激と呼ぶ。この実刺激は、その値を積分していくと値がゼロになるものである。
【００３３】
これに対して、自動車がカーブを曲がるときの遠心力、加速や減速のときの慣性力、自動車が曲がる時の自動車首振りに対応する力は、積分していっても値がゼロにならないものであり、椅子の移動距離の制限、移動方向の制限等から、自動車に対して与えられた刺激と物理的意味合いが同じ形で与えることが困難な刺激であり、ここでは、代替刺激と呼ぶ。
【００３４】
以下に、上述した実刺激と代替刺激に関する揺動、実際に利用者用の椅子に対して加える揺動信号の成分、並びに、上述した特徴情報演算部７６により演算された４成分の関係を示す。
【００３５】
以下に示す実刺激のうち、路面の前後の傾きに対する揺動信号は、揺動信号成分pitchの１つとされ、動きベクトルの垂直方向の成分のうち低周波成分で表すことができる。ここで、路面の傾きは、遅い周期で変わると考えられるため低周波成分を用いている。
【００３６】
路面から受ける振動は、垂直方向に与えられると考えられ、また、高周波と考えられるため、路面から受ける振動に対する揺動信号は、動きベクトルの垂直成分のうち高周波成分を用いている。この値は、揺動信号成分ｚとされる。
【００３７】
路面の左右の傾きに対する揺動信号は、揺動信号成分rollの１つとされ、図６から明らかなように回転成分Vrotiを２５個の動きベクトル分加算した値で表すことができる。
【００３８】
カーブ時の遠心力に対する揺動信号は、揺動信号成分rollの１つとされ、水平成分ｕで表される。
【００３９】
加減速による慣性力に対する揺動信号は、揺動信号成分pitchの１つとされ、拡大成分Vzoomの微分値の低周波成分で表される。なお、低周波成分としてあるのは、加減速に対しては敏感な動作は不要と考えられるからである。
【００４０】
カーブ時の自動車の首振りに対する揺動信号は、揺動信号成分yawとされ、水平成分uで表される。なお、-uとしてあるのは、カーブ時の遠心力と逆に働くためである。
実刺激
表現される成分          揺動信号成分        ４成分との関係
路面の前後の傾き         pitch             Σｖの低周波成分
路面からうける振動        ｚ             −Σｖの高周波成分
路面の左右の傾き          roll           −Σｖrot
代替刺激
表現される成分          揺動信号成分        ４成分との関係
曲がる時の遠心力          roll              ｕ
加減速による慣性力        pitch        ｄｖzoom／ｄｔの低周波成分
曲がる時の自動車首振り    yaw              −ｕ
【００４１】
特徴情報処理部４２は、上述した関係を用いて、揺動信号出力部１２を介して、部分揺動信号出力部１６に供給する揺動信号を生成する。
【００４２】
図７は、特徴情報処理部４２の構成を示すブロック図である。特徴情報検出部４１から出力された４成分のうち、回転成分ｖrotは、加算器９１−１に、水平成分ｕは、加算器９１−２と符号反転器９２−１に、垂直成分ｖは、加算器９１−３に、拡大成分ｖzoomは、加算器９１−５と遅延器９３−３に、それぞれ入力される。加算器９１−１には、加算器９１−１から出力されたデータが、遅延器９３−１で１クロック分遅延された後、入力される。同様に、加算器９１−３にも、加算器９１−３から出力されたデータが、遅延器９３−２で１クロック分遅延された後、入力される。
【００４３】
遅延器９３−１から出力されたデータは、加算器９１−２に入力される。遅延器９３−２から出力されたデータは、符号反転器９２−２を介してHPF（High Pass Filter）９４に出力されると共に、LPF（Low Pass Filter）９５−１を介して加算器９１−４にも出力される。加算器９１−５に入力された拡大成分ｖzoomは、遅延器９３−３により１クロック分遅延された拡大成分ｖzoomが減算され、LPF９５−２を介して加算器９１−４に入力される。
【００４４】
次に、特徴情報処理部４２が行う揺動信号成分roll、yaw、ｚ、およびpitchの算出について説明する。特徴情報処理部４２に入力された回転成分ｖrotは、加算器９１−１に入力される。加算器９１−１は、時刻ｔにおいて入力された回転成分ｖrotと、遅延器９３−１より出力される１フレーム前の時刻ｔ−１のデータとを加算する。加算器９１−１は、このようにして、回転成分ｖrotを累積加算（積分）していくことにより、路面の左右の傾きを表現する揺動信号成分roll（Σｖrot）を算出する。しかしながら、路面の左右の傾きを表現する揺動信号成分rollは、−Σｖrotなので、加算器９１−２は、遅延器９３−１から入力されたデータの符号を反転したデータを演算に用いる。
【００４５】
揺動信号成分roll（水平成分ｕ）は、カーブ時の遠心力を表現するのにも用いられる。そこで、加算器９１−２は、遅延器９３−１から入力されたデータの符号を反転したデータと、水平成分ｕとを加算する（水平成分ｕから遅延器９３−１の出力を減算する）ことにより、揺動信号変換部２６に供給する揺動信号成分rollを算出する。
【００４６】
曲がる時の自動車首振りの揺動信号成分yawは、水平成分ｕの値を反転することにより得られるので、特徴情報処理部４２は、入力された水平成分ｕの値を、符号反転器９２−１により、符号を反転させることに揺動信号成分yawを算出する。
【００４７】
加算器９１−３には、時刻ｔにおいて入力された垂直成分ｖと、遅延器９３−２より出力された１フレーム前の時刻ｔ−１の垂直成分ｖを加算する。このようにして、加算器９１−３において、垂直成分ｖが累積加算（積分）される。そして、加算器９１−３と遅延器９３−２により累積加算されたデータは、符号反転器９２−２に入力され、符号が反転され、さらにHPF９４により、高周波成分のみが取り出される。このようにして、路面から受ける振動を表現する揺動信号成分ｚが算出される。
【００４８】
また、遅延器９３−２から出力されたデータは、LPF９５−１にも出力され、低周波成分が取り出される。このようにして、路面の前後の傾きを表現する揺動信号成分pitchが算出される。揺動信号成分pitchは、加減速による慣性力を表現する揺動信号成分としても用いられる。そのため、LPF９５−１から出力された揺動信号成分pitchは、加算器９１−４により、慣性力を表現する揺動信号成分pitchと加算される。
【００４９】
慣性力を表現する揺動信号成分pitchは、特徴情報処理部４２に入力された拡大成分ｖzoomから算出される。特徴情報処理部４２に入力された拡大成分ｖzoomは、加算器９１−５と遅延器９３−３に入力される。加算器９１−５には、時刻ｔにおいて入力された拡大成分ｖzoomtと、遅延器９３−３により１フレーム遅延された時刻ｔ−１における拡大成分ｖzoomt-1が入力される。加算器９１−５は、入力された時刻ｔにおける拡大成分ｖzoomtから、時刻ｔ−１における拡大成分ｖzoomt-1を減算することで、拡大成分ｖzoomを微分する。そして、加算器９１−５から出力された値から、LPF９５−２により、低周波成分が抽出されることにより、加減速による慣性力を表現する揺動信号成分pitchが算出される。
【００５０】
加算器９１−４により、LPF９５−１から出力された値と、LPF９５−２から出力された値とが加算されることにより、揺動信号出力部１２を介して、部分揺動信号出力部１６に供給される揺動信号成分pitchが算出される。
【００５１】
このように、揺動信号生成部１１は、映像信号を基に、利用者の体全体を揺動させるための揺動信号を生成して、揺動信号出力部１２に供給する。
【００５２】
揺動信号出力部１２は、揺動信号生成部１１から供給された揺動信号を、部分揺動信号出力部１６に出力する。
【００５３】
図１に戻り、揺動提示システムに入力された映像信号は、更に、画像コンテンツシチュエーション判定部１３に供給される。
【００５４】
画像コンテンツシチュエーション判定部１３は、画像が撮像された（映像信号が取得された）状況を示す、シチュエーション信号を生成して、揺動提示部分判定部１４に供給する。画像が撮像された（映像信号が取得された）状況には、例えば、ビデオカメラを移動させる手段である、自動車、歩行者、自転車、または船などの移動手段と、その移動手段が移動している路面の状態、または撮像しているときの天候などが含まれる。
【００５５】
画像コンテンツシチュエーション判定部１３が生成するシチュエーション信号は、画像が撮像された状況を統合的に示す信号である。シチュエーション信号には、上述したような、移動手段、路面の状況、または天候などを示す情報が統合的に含まれている。
【００５６】
図８は、画像コンテンツシチュエーション判定部１３の構成を示す図である。動きベクトル計算部１２１は、例えば、図９に示す、映像信号に対応する画像の中の２０点の代表点に対する動きベクトルを算出して、動き量垂直成分計算部１２２に供給する。
【００５７】
動き量垂直成分計算部１２２は、動きベクトル計算部１２１から供給された動きベクトルの垂直成分を抽出して、抽出した動きベクトルの垂直成分を画面内平均演算部１２３に出力する。
【００５８】
画面内平均演算部１２３は、画像内の動きベクトルの垂直成分の絶対値の平均値を算出して、遅延処理部１２４および時間方向平均演算部１２５に供給する。画面内平均演算部１２３は、例えば、２０点の代表点に対応する動きベクトルの垂直成分の絶対値の総和を算出して、算出された総和を２０（代表点の数）で除して、画面内の平均値を求める。
【００５９】
時間方向平均演算部１２５は、画面内平均演算部１２３から供給された動きベクトルの垂直成分の絶対値の平均値の、所定の期間の平均値を算出して、演算器１２６に出力する。例えば、時間方向平均演算部１２５は、連続する３０フレームについての動きベクトルの垂直成分の絶対値の平均値の総和を算出し、算出された総和を３０（フレームの数）で除して、所定の期間の平均値を求める。
【００６０】
遅延処理部１２４は、時間方向平均演算部１２５が平均値を算出する期間（例えば、３０フレームに対応する期間）、画面内平均演算部１２３から供給された動きベクトルの垂直成分の絶対値の平均値を遅延させ、演算器１２６に出力する。
【００６１】
演算器１２６は、遅延処理部１２４から供給された、動きベクトルの垂直成分の絶対値の画面内の平均値から、所定の期間の平均値を減算して、垂直動き量変動量を算出して、垂直動き量変動量を時間方向平均変動量演算部１２７および周波数処理部１２８に供給する。
【００６２】
演算器１２６が出力する垂直動き量変動量は、時間方向平均演算部１２５が算出した所定の期間の平均値が０に対応する、正（例えば、画像の上方向への動きに対応する）または負（例えば、画像の下方向への動きに対応する）の値を有する。
【００６３】
時間方向平均変動量演算部１２７は、垂直動き量変動量を基に、所定の期間の垂直方向の揺れの大きさを算出し、算出した所定の期間の垂直方向の揺れの大きさを統合判定部１２９に供給する。
【００６４】
垂直方向の揺れの大きさは、例えば、垂直動き量変動量の自乗の総和を、期間の長さで割ることにより求められる。または、時間方向平均変動量演算部１２７は、垂直動き量変動量の絶対値の最大値を垂直方向の揺れの大きさとするようにしてもよい。
【００６５】
周波数処理部１２８は、フーリエ変換などにより、垂直動き量変動量の各周波数に対応するパワースペクトルを算出し、算出した垂直動き量変動量の各周波数に対応するパワースペクトルを統合判定部１２９に供給する。
【００６６】
統合判定部１２９は、予め記憶している、垂直方向の揺れの大きさに対応する閾値、および垂直動き量変動量の所定の周波数に対応するパワースペクトルの強度に対応する閾値などを基に、画像が撮像された状況を判定し、画像が撮像された状況を示すコンテンツシチュエーション信号を出力する。
【００６７】
図１０は、走行している自動車から撮像した画像の垂直方向の動き量、垂直動き量変動量、および垂直動き量変動量のパワースペクトルの例を説明する図である。図１０（Ａ）は、画面内平均演算部１２３が出力する、走行している自動車から撮像した画像の垂直方向の動き量を示す図である。図１０（Ａ）に示された、画像の垂直方向の動き量には、微量な動きが不規則に表れている。
【００６８】
図１０（Ｂ）は、演算器１２６が出力する、走行している自動車から撮像した画像の垂直動き量変動量を示す図である。垂直動き量変動量は、所定の期間の平均値が０とされる。
【００６９】
図１０（Ｃ）は、周波数処理部１２８が出力する、走行している自動車から撮像した画像の垂直動き量変動量のパワースペクトルを示す図である。図１０（Ｃ）に示すように、自動車から撮像した画像の垂直動き量変動量のパワースペクトルは、高周波に比較的高いパワーを含み、また、ほぼ全帯域に渡って同程度のパワーを含んでいる。
【００７０】
図１１は、歩行している人が撮像した画像の垂直方向の動き量、垂直動き量変動量、および垂直動き量変動量のパワースペクトルの例を説明する図である。図１１（Ａ）は、画面内平均演算部１２３が出力する、歩行している人が撮像した画像の垂直方向の動き量を示す図である。図１１（Ａ）に示された、画像の垂直方向の動き量は、図１０（Ａ）に示された、自動車から撮像した画像の垂直方向の動き量と比較すると、比較的周期が長い、振幅の大きな動きを含む。
【００７１】
図１１（Ａ）に示す、比較的周期が長い、振幅の大きな動きを含む画像の垂直方向の動き量は、画像を撮像している歩行者の歩調に対応するものである。
【００７２】
図１１（Ｂ）は、演算器１２６が出力する、歩行している人が撮像した画像の垂直動き量変動量を示す図である。
【００７３】
図１１（Ｃ）は、周波数処理部１２８が出力する、歩行している人が撮像した画像の垂直動き量変動量のパワースペクトルを示す図である。図１１（Ｃ）に示された、歩行している人が撮像した画像の垂直動き量変動量のパワースペクトルは、広い帯域に渡ってパワーを含み、特に、低い周波数帯域にピークが認められる。
【００７４】
図１２は、統合判定部１２９が記憶している、画像が撮像された状況を判定するための閾値を説明する図である。
【００７５】
例えば、統合判定部１２９は、自動車、歩行者、または自転車などの、ビデオカメラをもって移動する移動体による画面の揺れの特性と、移動体が移動する路面の影響による画面の揺れの特性とに対応する閾値をそれぞれに記憶している。
【００７６】
例えば、移動体が自動車である場合、路面の凹凸が、画面の揺れを発生させる。その揺れは、非常に小さな垂直方向の揺れであり、不規則かつ短い間隔で発生する。
【００７７】
移動体が自動車である場合、路面に凹凸が無ければ、画面の揺れは発生しない。すなわち、自動車そのものは、画面の揺れを発生しない。
【００７８】
これに対して、移動体が歩行者である場合、路面からの画面の揺れへの影響が、ほとんど無い。歩行者が歩きながら撮像した画像の揺れは、路面に凹凸が有る場合でも、無い場合でも、ほとんど変化しない。
【００７９】
歩行するとき、または走るとき、人は、片足を交互に地面から離しながら移動する。従って、歩行者が撮像した画像は、移動体である人そのものが、規則的な周期で発生する、自動車に比較して振幅の大きな、垂直方向の揺れを含む。
【００８０】
統合判定部１２９は、例えば、上述したような、移動体による揺れの特性に対応する閾値、または路面による揺れの特性に対応する閾値を予め記憶している。
【００８１】
統合判定部１２９は、記憶している閾値と、図１０および図１１で説明した、周波数処理部１２８から供給された、画像の垂直動き量変動量のパワースペクトル、および時間方向平均変動量演算部１２７から供給された、画像の垂直方向の揺れの大きさとを基に、映像信号が撮像された状況を判定する。
【００８２】
再び、図１に戻り、画像コンテンツシチュエーション判定部１３は、上述したような処理により、映像信号を基に、映像信号が撮像された状況を判定し、撮像された状況を示すシチュエーション信号を揺動提示部分判定部１４に供給する。
【００８３】
シチュエーション情報データベース１５は、画像が撮像された状況に対応させて、揺動を提示させるべき、利用者の身体の部分を示すデータを記録している。
【００８４】
図１３は、シチュエーション情報データベース１５が記録しているデータの例を示す図である。
【００８５】
例えば、走行している自動車から画像が撮像されたとき、揺動は、利用者の体全体に提示され、利用者の身体の特定の部分には提示されない。
【００８６】
これに対して、歩行者から画像が撮像されたとき、揺動は、利用者の左右の脚に対して、交互に提示される。画面が大きくゆれた場合、揺動は、利用者の体全体にも提示される。
【００８７】
揺動提示部分判定部１４は、画像コンテンツシチュエーション判定部１３から供給されたシチュエーション信号を基に、シチュエーション情報データベース１５が記録している、シチュエーション信号に対応する揺動提示部分のデータを読み出す。
【００８８】
揺動提示部分判定部１４は、シチュエーション情報データベース１５から読み出した、揺動提示部分のデータを基に、揺動変換信号を生成する。
【００８９】
揺動提示部分判定部１４は、生成した揺動変換信号を部分揺動信号出力部１６に供給する。
【００９０】
部分揺動信号出力部１６は、揺動提示部分判定部１４から供給された揺動変換信号を基に、揺動信号出力部１２から供給された揺動信号（利用者の体全体の揺動に対応する）を、例えば、利用者の体の所定の部分を揺動させる信号を含むように変換する。部分揺動信号出力部１６は、変換した揺動信号を揺動提示装置１７に供給する。
【００９１】
揺動提示装置１７は、全体揺動提示部２１、左足揺動提示部２２、右足揺動提示部２３、右腕揺動提示部２４、および左腕揺動提示部２５などから構成されている。左足揺動提示部２２は、利用者の左足に揺動を提示する。右足揺動提示部２３は、利用者の右足に揺動を提示する。右腕揺動提示部２４は、利用者の右腕に揺動を提示する。左腕揺動提示部２５は、利用者の左腕に揺動を提示する。
【００９２】
揺動提示装置１７は、利用者の足または腕に限らず、利用者の身体の他の一部分、例えば、頭、肩、腹、腰、または尻などに揺動または振動を提示するようにしてもよい。
【００９３】
画像提示装置１８は、CRT（Cathode-Ray Tube）または液晶表示装置などの画像表示装置で構成され、入力された映像信号を基に、画像を表示する。
【００９４】
図１４は、画像提示装置１８を構成する、画像を表示するスクリーン１５１（図示せぬプロジェクタなどにより画像が投影される）と、揺動提示装置１７を構成する椅子１５２との関係の例を示す図である。
【００９５】
揺動提示装置１７は、揺動信号に対応して、椅子１５２を揺動させて、椅子１５２に座る利用者の体全体に揺動を感じさせる。
【００９６】
この揺動は、上述したように、Ｘ，Ｙ，Ｚの３軸回りの回転成分（roll,pitch,yaw）と３軸方向の並進成分（x,y,z）により構成される。
【００９７】
全体揺動提示部２１、右足揺動提示部２２、および左足揺動提示部２３を有する揺動提示装置１７の構成例を図１５および図１６に示す。図１５は、揺動提示装置１７の側面図であり、図１６は、揺動提示装置１７の上面図である。
【００９８】
揺動提示装置１７は、６本のアクチュエータとしてのピストン１７１−１乃至１７１−６を備えており、これらのピストンにより台座１７４が支えられている。台座１７４には、椅子１５２が固定されており、この椅子１５２の上に利用者１７５が座るようになされている。
【００９９】
ピストン１７１−１乃至１７１−６は、エアシリンダまたは油圧シリンダなどで構成され、それぞれの中心軸に沿って伸縮する。ピストン１７１−１乃至１７１−６が伸縮することにより、台座１７４が揺動し、さらに台座１７４に固定されている椅子１５２が揺動する。ピストン１７１−１乃至１７１−６、台座１７４、および椅子１５２は、全体揺動提示部２１に対応する。
【０１００】
また、揺動提示装置１７は、２本のアクチュエータとしてのピストン１７２−１および１７２−２を備えており、ピストン１７２−１により足台１７３−１が支えられ、ピストン１７２−２により足台１７３−２が支えられている。足台１７３−１には、利用者の１７５の左足が乗せられ、足台１７３−２には、利用者の１７５の右足が乗せられる。
【０１０１】
ピストン１７２−２および足台１７３−２は、右足揺動提示部２２に対応し、ピストン１７２−１および足台１７３−１は、左足揺動提示部２３に対応する。
【０１０２】
ピストン１７２−１および１７２−２は、エアシリンダまたは油圧シリンダなどで構成され、それぞれの中心軸に沿って伸縮する。ピストン１７２−１が伸縮することにより、足台１７３−１が揺動し、利用者の左足が揺動される。ピストン１７２−２が伸縮することにより、足台１７３−２が揺動し、利用者の右足が揺動される。
【０１０３】
ピストン１７１−１乃至１７１−６、およびピストン１７２−１および１７２−２を制御するための信号は、上述したように、部分揺動信号出力部１６により供給される。
【０１０４】
図１７は、揺動提示装置１７の全体揺動提示部２１による動作の具体例を示す図である。図１７における上向きの矢印は、ピストンが延びることを示し、下向きの矢印は、ピストンが縮むことを示す。
【０１０５】
次に、図１８のフローチャートを参照して、揺動提示システムにおける揺動の提示の処理を説明する。
【０１０６】
ステップＳ１１において、揺動信号生成部１１および画像コンテンツシチュエーション判定部１３は、入力された映像信号を読み込む。
【０１０７】
ステップＳ１２において、揺動信号生成部１１は、入力された映像信号から、利用者の体全体を揺動させる、揺動信号を生成し、生成した揺動信号を揺動信号出力部１２に供給する。
【０１０８】
ステップＳ１３において、揺動信号出力部１２は、揺動信号生成部１１から供給された揺動信号を部分揺動信号出力部１６に出力する。
【０１０９】
ステップＳ１４において、画像コンテンツシチュエーション判定部１３は、図９乃至図１２を参照して説明した処理により、映像信号のシチュエーションを判定する。ステップＳ１５において、画像コンテンツシチュエーション判定部１３は、判定されたシチュエーションに対応するシチュエーション信号を揺動提示部分判定部１４に供給する。
【０１１０】
ステップＳ１６において、揺動提示部分判定部１４は、シチュエーション信号を基に、シチュエーション情報データベース１５を参照し、シチュエーション信号に対応する揺動提示部分のデータを読み取る。
【０１１１】
ステップＳ１７において、揺動提示部分判定部１４は、揺動提示部分のデータを基に、揺動変換信号を生成する。ステップＳ１８において、揺動提示部分判定部１４は、生成した揺動変換信号を揺動信号出力部１２に供給する。
【０１１２】
ステップＳ１９において、揺動信号出力部１２は、揺動変換信号を基に、全体揺動提示部２１と共に、揺動提示装置１７の左足揺動提示部２２、右足揺動提示部２３、右腕揺動提示部２４、および左腕揺動提示部２５などを駆動させる揺動信号を生成するように、揺動信号出力部１２から供給された揺動信号を変換する。
【０１１３】
ステップＳ２０において、揺動信号出力部１２は、変換された揺動信号を揺動提示装置１７に出力して、処理は終了する。
【０１１４】
このように、揺動提示システムは、画像が撮像された状況を抽出して、抽出された状況に対応して、利用者の体の一部分に揺動を提示する。従って、体の一部分の揺動を強調して、他の部分を全く揺動させないなど、より臨場感を増した、画像により適した揺動を利用者に提示することができる。
【０１１５】
また、揺動提示システムを利用するにあたって、利用者は、例えば、揺動を提示する部分を指定するなどの、面倒な設定をする必要がない。揺動提示システムは、様々な画像に対応して、自動的に、最適な揺動を利用者に提示することができる。
【０１１６】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１１７】
図１９は、上述した一連の処理を実行するパーソナルコンピュータの構成の例を説明する図である。ＣＰＵ（Central Processing Unit）５０１は、フローチャートを参照して説明した処理を実行するアプリケーションプログラムや、ＯＳ（Operating System)を実際に実行する。ＲＯＭ（Read-only Memory）５０２は、一般的には、ＣＰＵ５０１が使用するプログラムや演算用のパラメータのうちの基本的に固定のデータを格納する。ＲＡＭ（Random-Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータを格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。
【０１１８】
ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。
【０１１９】
キーボード５０８は、ＣＰＵ５０１に各種の指令を入力するとき、使用者により操作される。ポインティングデバイス５０９は、マウス、トラックボール、またはデジタイザなどから構成され、ディスプレイ５１０の画面上のポイントの指示や選択を行うとき、使用者により操作される。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージで表示する。ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを駆動し、それらにＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。
【０１２０】
ドライブ５１２は、装着されている磁気ディスク５５１、光ディスク５５２、光磁気ディスク５５３、または半導体メモリ５５４に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インターフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。これらのキーボード５０８乃至ドライブ５１２は、インターフェース５０７に接続されており、インターフェース５０７は、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介してＣＰＵ５０１に接続されている。
【０１２１】
通信部５１３は、モデムまたはNIC（Network Interface Card）などから構成され、公衆電話回線、ネットワーク、または衛星通信回線などの伝送路が接続される。通信部５１３は、ＣＰＵ５０１、またはＨＤＤ５１１から供給された、例えば、揺動信号などのデータを、所定の方式のパケットに格納して、伝送路を介して、送信するとともに、伝送路を介して、受信したパケットに格納されている、例えば、映像信号などのデータをＣＰＵ５０１、ＲＡＭ５０３、またはＨＤＤ５１１に出力する。
【０１２２】
通信部５１３は、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介してＣＰＵ５０１に接続されている。
【０１２３】
一連の処理を実行させるプログラムが格納されている記録媒体は、図１９に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５５１（フロッピディスクを含む）、光ディスク５５２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク５５３（ＭＤ(Mini-Disc)を含む）、若しくは半導体メモリ５５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や、ＨＤＤ５１１などで構成される。
【０１２４】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２５】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１２６】
【発明の効果】
請求項１に記載の情報処理装置および請求項４に記載の情報処理方法によれば、画像を基に、画像が撮像された状況が判定され、画像を基に、画像に対応する揺動信号が生成され、判定に対応して、揺動信号が変換されるようにしたので、画像により適した揺動を提示することができるようになる。
【図面の簡単な説明】
【図１】本発明に係る揺動提示システムの一実施の形態の構成を示す図である。
【図２】揺動信号生成部１１の構成を示す図である。
【図３】特徴情報検出部４１の構成を示すブロック図である。
【図４】メモリ７４に記憶されているパターンの一例を示す図である。
【図５】画像の例を示す図である。
【図６】成分ｕ、ｖ、ｖzoom、ｖrotの関係を示す図である。
【図７】特徴情報処理部４２の構成を示すブロック図である。
【図８】画像コンテンツシチュエーション判定部１３の構成を示す図である。
【図９】画像の中の２０点の代表点の例を示す図である。
【図１０】走行している自動車から撮像した画像の垂直方向の動き量、垂直動き量変動量、および垂直動き量変動量のパワースペクトルの例を説明する図である。
【図１１】歩行している人が撮像した画像の垂直方向の動き量、垂直動き量変動量、および垂直動き量変動量のパワースペクトルの例を説明する図である。
【図１２】統合判定部１２９が記憶している、画像が撮像された状況を判定するための閾値を説明する図である。
【図１３】シチュエーション情報データベース１５が記録しているデータの例を示す図である。
【図１４】スクリーン１５１と、揺動提示装置１７を構成する椅子１５２との関係の例を示す図である。
【図１５】揺動提示装置１７の構成例を示す図である。
【図１６】揺動提示装置１７の構成例を示す図である。
【図１７】揺動提示装置１７による動作の具体例を示す図である。
【図１８】揺動の提示の処理を説明するフローチャートである。
【図１９】パーソナルコンピュータの構成の例を説明する図である。
【符号の説明】
１１  揺動信号生成部，  １３  画像コンテンツシチュエーション判定部，  １４  揺動提示部分判定部，  １５  シチュエーション情報データベース，  １６  部分揺動信号出力部，  １７  揺動提示装置，  ２１  全体揺動提示部，  ２２  左足揺動提示部，  ２３  右足揺動提示部，  ２４  右腕揺動提示部，  ２５  左腕揺動提示部，  ４１  特徴情報検出部，  ４２  特徴情報処理部，  ７５  動きベクトル検出部，  ７６  特徴情報演算部，  １２１  動きベクトル計算部，  １２２  動き量垂直成分計算部，  １２３  画面内平均演算部，  １２４  遅延処理部，  １２５  時間方向平均演算部，  １２６  演算器，  １２７  時間方向平均変動量演算部，  １２８  周波数処理部，  １２９  統合判定部，  １７１−１乃至１７１−６  ピストン，  １７２−１および１７２−２  ピストン，  １７３−１および１７３−２  足台，  １７４  台座，  ５０１  ＣＰＵ，  ５０２  ＲＯＭ，  ５０３  ＲＡＭ，  ５５１  ＨＤＤ，  ５５１  磁気ディスク，  ５５２  光ディスク，  ５５３  光磁気ディスク，  ５５４  半導体メモリ
【図１】
0004423523.tif 000002
【図２】
0004423523.tif 000003
【図３】
0004423523.tif 000004
【図４】
0004423523.tif 000005
【図５】
0004423523.tif 000006
【図６】
0004423523.tif 000007
【図７】
0004423523.tif 000008
【図８】
0004423523.tif 000009
【図９】
0004423523.tif 000010
【図１０】
0004423523.tif 000011
【図１１】
0004423523.tif 000012
【図１２】
0004423523.tif 000013
【図１３】
0004423523.tif 000014
【図１４】
0004423523.tif 000015
【図１５】
0004423523.tif 000016
【図１６】
0004423523.tif 000017
【図１７】
0004423523.tif 000018
【図１８】
0004423523.tif 000019
【図１９】
0004423523.tif 000020