(57)【要約】【課題】従来の情報記録装置および情報再生装置においては、音源や被写体の奥行き等の正確な位置に関する情報を持たずに音声情報や画像情報等が直線的または平面的に記録されており、情報の再生時に充分に現実感や立体感および情報の利便性を得ることができなかった。【解決手段】音声情報や画像情報等に音源や被写体の位置に関する情報を付加して記録し、それら情報の再生時に、付加した位置に関する情報を有効に利用する。例えば画像情報の場合、実画像情報に距離情報を付加して、再生時に被写体および背景の位置情報を用いて画像情報に手ブレ補正等の加工を行うことができる。【選択図】　　　　図６
2004032726.tif 000002
【特許請求の範囲】
【請求項１】
被写体および背景までの距離を位置情報として付加しつつ前記被写体および前記背景の画像情報を記録する情報記録装置であって、
前記被写体および背景の位置情報が時間的に変化し、
前記被写体の前記情報記録装置からの等距離面が画面中で揺れるかどうかを検出する
情報記録装置。
【請求項２】
被写体および背景までの距離を位置情報として付加しつつ前記被写体および前記背景の画像情報を記録し、
合焦点を段階的に変化させつつ前記画像情報を複数枚記録し、
前記複数枚の前記画像情報の中から前記位置情報に基づいてピントの合っている部分を抜き出して一枚の画像を合成する
情報記録装置。
【請求項３】
被写体および背景までの距離を位置情報として付加しつつ前記被写体および前記背景の画像情報を記録する情報記録装置であって、
前記情報記録装置の位置を測定するための位置測定装置をさらに備え、
前記位置測定装置は、前記位置測定装置によって測定された前記情報記録装置の位置を仮の現在地として規定して地図上に前記仮の現在地を表示し、
前記画像情報の中から前記地図に含まれる２つの物体を決定し、
前記位置情報によって前記２つの物体までのそれぞれの距離が第１および第２の距離として規定され、
前記地図上において前記２つの物体を中心とし前記第１および第２の距離を半径とする２つの円を描き、前記２つの円の交点のうち前記仮の現在地に近い方の交点を真の現在地と判定する
情報記録装置。
【請求項４】
被写体および背景までの距離を位置情報として付加された画像情報を、前記被写体および背景の前記位置情報を用いて画像処理すべき部分を決定して当該部分に前記画像処理を行いつつ再生する
情報再生装置。
【請求項５】
請求項４に記載の情報再生装置であって、
前記画像情報から、前記被写体の前記位置情報を用いて、視差の分だけ水平方向の距離を補正した左目用映像および右目用映像を作り出す
情報再生装置。
【請求項６】
被写体および背景までの距離を位置情報として付加しつつ前記被写体および前記背景の画像情報を記録し、
前記画像情報はテキスト情報をも含み、
前記テキスト情報は、前記被写体または前記背景に含まれる文字が置換されたものである
情報記録装置。
【請求項７】
請求項４に記載の情報再生装置であって、
前記画像情報はテキスト情報をも含み、
前記テキスト情報は、前記被写体または前記背景に含まれる文字が置換されたものである、
情報再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、音声情報や画像情報等のいわゆるマルチメディア情報を記録する情報記録装置および再生する情報再生装置に関する。
【０００２】
【従来の技術】
マイクロプロセッサの情報処理能力の向上にともない、マルチメディア情報を記録する情報記録装置および再生する情報再生装置の能力が急速に発展しつつある。例えば、音声情報の分野では、ＤＳＰ（デジタルシグナルプロセッサ）を用いて再生音に遅延処理を加えたり反響音を生み出す残響処理を施して様々な音場を創出することが可能なステレオコンポが存在し、画像情報の分野では画像をデジタル情報として記録して様々な画像処理を行えるデジタルカメラやパーソナルコンピュータが存在する。
【０００３】
【発明が解決しようとする課題】
これら従来の情報記録装置および情報再生装置においては、その再生手段として少数のスピーカやディスプレイを用いることから、情報が平面的に記録されており、充分に現実感や立体感を得ることや情報の利便性を得ることができなかった。ここで、情報が平面的に記録される、とは、音源や被写体の奥行きや上下方向等の正確な位置に関する情報が全く記録されない、または不十分にしか記録されないことを指している。
【０００４】
例えばステレオ音声情報を記録する場合、左右のチャネルの音量バランスや時間差等により左右方向の音像定位が行われる。すなわち、図１８に示すように、右スピーカＳＰＲおよび左スピーカＳＰＬから再生される音声情報がリスニングポイントＬＰに位置するリスナーに届いたときに、音像がスピーカ間の距離ＤＣのうちのどこかに定位するようステレオ音声情報が記録される。このことを音場データのイメージとして表したのが、図１９である。図１９において、リスニングポイントＬＰの前に広がっている音場ＳＦ２は、その上に示した右チャネルＲｃｈの音場データイメージと左チャネルＬｃｈの音場データイメージとから成り立っている。この音場データイメージにおける丸印ＳＤ１Ｌ〜ＳＤ３Ｌ，ＳＤ１Ｒ〜ＳＤ３Ｒは、各音源の音量の大小と音場中の分布とを示したものである。例えば、ある音源に対応する左右の音量ＳＤ２Ｒ，ＳＤ２Ｌは同程度であるので、音場中の定位は中央付近になる。一方、別の音源に対応する左右の音量ＳＤ３Ｒ，ＳＤ３Ｌは右側が左側よりも大きいので、音場中の定位は右側よりとなる。
【０００５】
このように左右のスピーカの音量比を制御する方法では、左右方向の定位については得られるものの、奥行き感や上下、前後の感覚は得られない。
【０００６】
なお、これを改善するものとして、左右のスピーカで発音時間をずらす（位相差を設ける）ことで奥行き感を出したり、また、リスナーの耳介による音源位置特定作用を考慮に入れて上下や前後の方向感覚を出すようにした、３Ｄサウンドなどと呼ばれる音声信号の補正技術が存在する。図２０は、この技術を音場データのイメージとして表したものである。各音源の音量の大小と音場中の分布とを示す丸印ＳＤ１Ｌ〜ＳＤ３Ｌ，ＳＤ１Ｒ〜ＳＤ３Ｒには、さらに、位相差等の補正に関する付加情報ＡＤ１Ｌ〜ＡＤ３Ｌ，ＡＤ１Ｒ〜ＡＤ３Ｒが加わっている。これにより、音場ＳＦ３はスピーカの外側やリスニングポイントの前後左右上下へと広がり、音場ＳＦ２と比べて大きくなっている。
【０００７】
しかし、この技術によれば、各音源からの音声情報を記録する段階で録音技術者が付加情報を加えるために、録音技術者の経験や主観が大きな要素を占めていた。よって、必ずしも正確な位置に関する情報が記録されていたわけではない。
【０００８】
また、図１８に示したような、スピーカ間距離ＤＣおよび左右のスピーカとリスニングポイントとの間の距離ＤＬ，ＤＲとで囲まれる三角形の領域からリスナーが踏み出してしまうと、音場がアンバランスとなり臨場感を得ることが難しくなるという問題もあった。
【０００９】
一方、画像情報については、例えば風景の中に人物などを配置して記録する場合がよくある。この場合も、平面的に画像が記録されるだけであり被写体の位置や奥行きに関する情報が記録されるわけではない。よって、例えば、デジタルカメラでそのような画像情報を取得し、パソコンにおいて背景から人物だけを切り出す場合などにおいては、人物と背景との色調の差やピントの合い具合などから両者を区別するほかなく、その区別が難しい場合もあった。
【００１０】
本発明は、上記の課題を解決するものであり、音声情報や画像情報等に音源や被写体の位置に関する情報を付加して記録し、それら情報の再生時に位置に関する情報を有効に利用する情報記録装置および情報再生装置を実現するものである。
【００１１】
【課題を解決するための手段】
請求項１に記載の発明は、被写体および背景までの距離を位置情報として付加しつつ前記被写体および前記背景の画像情報を記録する情報記録装置であって、前記被写体および背景の位置情報が時間的に変化し、前記被写体の前記情報記録装置からの等距離面が画面中で揺れるかどうかを検出するものである。
【００１２】
請求項２に記載の発明は、被写体および背景までの距離を位置情報として付加しつつ前記被写体および前記背景の画像情報を記録し、合焦点を段階的に変化させつつ前記画像情報を複数枚記録し、前記複数枚の前記画像情報の中から前記位置情報に基づいてピントの合っている部分を抜き出して一枚の画像を合成するものである。
【００１３】
請求項３に記載の発明は、被写体および背景までの距離を位置情報として付加しつつ前記被写体および前記背景の画像情報を記録する情報記録装置であって、前記情報記録装置の位置を測定するための位置測定装置をさらに備え、前記位置測定装置は、前記位置測定装置によって測定された前記情報記録装置の位置を仮の現在地として規定して地図上に前記仮の現在地を表示し、前記画像情報の中から前記地図に含まれる２つの物体を決定し、前記位置情報によって前記２つの物体までのそれぞれの距離が第１および第２の距離として規定され、前記地図上において前記２つの物体を中心とし前記第１および第２の距離を半径とする２つの円を描き、前記２つの円の交点のうち前記仮の現在地に近い方の交点を真の現在地と判定するものである。
【００１４】
請求項４に記載の発明は、被写体および背景までの距離を位置情報として付加された画像情報を、前記被写体および背景の前記位置情報を用いて画像処理すべき部分を決定して当該部分に前記画像処理を行いつつ再生する情報再生装置である。
【００１５】
請求項５に記載の発明は、請求項４に記載の情報再生装置であって、前記画像情報から、前記被写体の前記位置情報を用いて、視差の分だけ水平方向の距離を補正した左目用映像および右目用映像を作り出すものである。
【００１６】
請求項６に記載の発明は、被写体および背景までの距離を位置情報として付加しつつ前記被写体および前記背景の画像情報を記録し、前記画像情報はテキスト情報をも含み、前記テキスト情報は、前記被写体または前記背景に含まれる文字が置換されたものである。
【００１７】
請求項７に記載の発明は、請求項４に記載の情報再生装置であって、前記画像情報はテキスト情報をも含み、前記テキスト情報は、前記被写体または前記背景に含まれる文字が置換されたものである。
【００１８】
【発明の実施の形態】
＜実施の形態１＞
この発明の実施の形態１は、音声情報に対して音源の空間的な位置を規定する位置情報を付加しつつ録音する情報記録装置と、位置情報が付加された音声情報を位置情報を利用しつつ再生する情報再生装置とを示すものである。
【００１９】
図１は、本実施の形態に係る情報記録装置が用いられる場面を示す図である。図１では、ステージ上でのバンドの演奏を録音する状況が示されている。なお、録音に際しては一般にマルチトラックレコーディングが行われ、各楽器ごとにトラックが割り当てられ演奏が記録される。ここでは、例としてテナーサックスＴｓ、アルトサックスＡｓ、ソプラノサックスＳｓにマイクＭｃ１〜Ｍｃ３が、ピアノｐｆにマイクＭｃ４が、ドラムズＤｓにマイクＭｃ５が、トランペットＴｐ１〜Ｔｐ３にマイクＭｃ６〜Ｍｃ８が、トロンボーンＴｂにマイクＭｃ９が、ベースＢにマイクＭｃ１０が、それぞれ割り当てられている。
【００２０】
なお、このステージ上での位置は、例として図１に示すように、最前部の向かって左端を原点とし、奥行き方向をＹ軸、左右方向をＸ軸とした座標成分で表されるものとする。
【００２１】
【表１】
2004032726.tif 000003
【００２２】
表１は、各マイクＭｃ１〜Ｍｃ１０とその位置、および録音される音声トラックデータ番号ＳＤ１〜ＳＤ１０を示したものである。本実施の形態に係る情報記録装置においては、従来の場合とは異なり、マルチトラックのデータをステレオ２チャンネルにミックスダウンするのではなく、記録した音声情報をマルチトラックのまま保持しておく。
【００２３】
本実施の形態においては、各トラックの録音時には、音声情報だけでなく音源の空間的な位置を規定する位置情報をも記録しておく。音源の位置情報は、各トラックに位置情報専用のトラックを設け、そこに書きこむようにしてもよいし、音声情報を書きこむトラックの空き部分に書きこむようにしてもよい。そして、固定値として一度だけ書きこむ、または、変化する値として定期的に書きこむ、あるいは位置情報に変化のあった場合にのみ書きこむ、などしておけばよい。
【００２４】
なお、音源の位置情報は、マイクの位置に基づいて決定してもよいし、演奏者あるいは楽器の位置に基づいて決定してもよい。
【００２５】
また、図１や表１においては、表示を簡単にするためＸ軸、Ｙ軸の２次元の位置情報の場合を示しているが、両軸に垂直なＺ軸方向の座標成分を加えて３次元の位置情報としてもよい。
【００２６】
このようにして位置情報が記録された音声情報の利用について、以下に説明する。音声は上述のＤＳＰ内蔵のステレオコンポのように、遅延処理や残響処理を施すことで、奥行き感を出すことができる。また、耳介による音源位置特定作用や位相差等を考慮に入れて音声信号を補正することで、上下や前後の方向感覚を出すことができる。このような遅延処理や残響処理、補正処理は、従来のステレオコンポや３Ｄサウンド技術で用いられている技術をそのまま適用すればよい。遅延処理や残響処理、補正処理は、音源およびリスナーの位置関係に大きく依存するものであり、これらの処理に関するパラメータは、残響レベルや遅延時間の多少、伝播媒体や壁の材質等を予め決めておけば、音源およびリスナーの位置関係が決定されることで自動的に決まる。なお、これらの処理に関するパラメータのことを本願では「音声情報の伝播特性」と表現する。音声情報の伝播特性には、遅延処理や残響処理、耳介による音源位置特定作用や位相差等による補正処理の他、音量レベルを時間的に変化させることで風の影響や壁などの材質の影響を表現したり、遅延処理や音量レベルの変化を工夫して音速の変化要素である気温や伝播媒体の種類（水や空気等）や密度を表現したりすることも含まれる。
【００２７】
さて、本実施の形態に係る情報記録装置によって記録された音声情報にはそれぞれ音源の位置情報が付加されているので、音源ごとに音声情報の伝播特性を決定することができる。すなわち、例えば従来のステレオコンポでは、ステレオ音声情報について伝播特性を決定する場合には、音源ごとではなくミックスダウンされた音声情報に一律に処理がなされてしまい、立体感が得にくかったが、音源ごとに音声情報の伝播特性を決定することができれば、より現実感の増した音声情報を再生することができる。また、３Ｄサウンド技術によれば、録音技術者の経験や主観が大きな要素を占めていたため、必ずしも正確な位置に関する情報が記録されていたわけではなかったが、音源ごとの位置情報が付加されておれば、正確な位置情報を用いつつ音声情報の伝播特性をより精度よく決定することが可能となる。
【００２８】
図２は、音源ごとに音声情報の伝播特性を決定する、本実施の形態に係る情報再生装置が用いられる場面を示す図である。図２では、表１に示された各音声トラックデータＳＤ１〜ＳＤ１０がスピーカＳＰＬ，ＳＰＲから再生されたときに形成される音場ＳＦ１の音場データイメージが示されている。各音声トラックデータＳＤ１〜ＳＤ１０の音場データイメージは、図１に示した実際のステージ上での各楽器の配置と対応している。
【００２９】
なお、この音場データイメージは、リスナーがリスニングポイントＬＰ１にいるときに最適となるように、音声情報の伝播特性が決定された場合を示している。仮に、リスナーがリスニングポイントＬＰ１からリスニングポイントＬＰ２へと移動した場合は、そのままでは音声情報の伝播特性が最適ではなくなってしまうので、リスニングポイントＬＰ２を検知した上で、新たに音声情報の伝播特性を決定するようにすればよい。なお、リスナーの場所の特定には、リスナーからの位置情報の入力を待つようにしてもよいし、本実施の形態に係る情報再生装置にＣＣＤ測距センサや赤外線センサを設けて自動検知するようにしてもよい。
【００３０】
また図２では、例として２本のスピーカで音場形成する場合を示しているが、もちろんそれ以上の複数のスピーカが存在する場合には、各スピーカの配置に応じて出力させる音声情報を変化させるようにしておけばよい。また、本実施の形態に係る情報再生装置の音声情報の処理能力が低く、マルチトラックの全てについて独立に再生を行うことが困難である場合には、例えば、音源の位置が近いもの同士の音声情報を一つに合成して、トラック数を減らすようにしてもよい。
【００３１】
なお、音源が移動する場合（例えばワイヤレスマイク等を用いる場合など）には、音源の位置とリスナーの位置との間で生じるドップラー効果を考慮して、音声情報の周波数を変更しつつ音声情報を再生するようにしておけばよい。ドップラー効果は、移動する音源から発せられる音声の周波数が静止時のときと比べて変化する現象のことを指す。この現象は、
【００３２】
【数１】
2004032726.tif 000004
【００３３】
のように定量的に表わされる。なお数１において、ｆはリスナーが受け取る音声情報の周波数を、ｆ０は静止時の音源から発せられる音声の周波数を、ｃは音声の速度を、それぞれ表わす。また、その他のパラメータについては、図３に示すとおりである。すなわち、ｖ０はリスナーの現在地点０における移動速度の絶対値を、ｖＳは音源の現在地点Ｓにおける移動速度の絶対値を、φおよびθはリスナーの現在地点０と音源の現在地点Ｓとを結ぶ直線からのリスナーの移動速度の角度および音源の移動速度の角度を、それぞれ示している。
【００３４】
よって、移動する音源から発せられる音声情報については、ｃ，ｖ０，ｖＳ，φおよびθで決定される数１におけるｆ０の係数を、音声情報の周波数に乗算する補正処理を施せばよい。音声の速度ｃは、気温や伝播媒体等のパラメータを決めることで決定され、ｖ０，ｖＳ，φおよびθは、音源の位置情報の時間変化およびリスナーの位置情報の時間変化を計算することにより得ることができるので、数１におけるｆ０の係数を求めることは困難ではない。
【００３５】
上記のドップラー効果を再現する機能を備えた、情報再生装置のブロック図を図４に示す。図４において、相対関係算出処理ブロックＳＴ１は音源位置情報ＩＦＳおよびリスナー位置情報ＩＦＬを得て、両者間の距離等の位置情報を算出し、また、音源およびリスナーの位置情報の時間変化からｖ０，ｖＳ，φおよびθを算出する。そしてそれらの情報を、ピッチ変更処理ブロックＳＴ２および伝播特性変更処理ブロックＳＴ３へと送る。ピッチ変更処理ブロックＳＴ２においては音声情報および仮想空間における環境情報（伝播媒体の種類や記音等に関する情報）が与えられてドップラー効果を音声情報に付加し、伝播特性変更処理ブロックＳＴ３においてはピッチ変更処理ブロックＳＴ２からの出力および仮想空間における環境情報が与えられて音声情報に伝播特性を付加する。そして、伝播特性変更処理ブロックＳＴ３の出力は、音声再生処理ブロックＳＴ４に与えられてリスナーに伝えられる。
【００３６】
また、リスナーが複数存在し、それぞれのリスナーが異なる位置に存在する場合は、情報再生装置に、図５に示すブロック図のように、リスナーごとに相対関係算出処理ブロックＳＴ１ａ〜ＳＴ１ｃ、音声再生加工処理ブロックＳＴ２３ａ〜ＳＴ２３ｃ、リスナー別音楽再生処理ブロックＳＴ４ａ〜ＳＴ４ｃを設けるようにすればよい。相対関係算出処理ブロックＳＴ１ａ〜ＳＴ１ｃがリスナーごとに設けられることに伴い、リスナー位置情報ＩＦＬａ〜ＩＦＬｃもリスナーごとに採取され、対応する相対関係算出処理ブロックにそれぞれ入力される。なお、音声再生加工処理ブロックＳＴ２３ａ〜ＳＴ２３ｃは、図４におけるピッチ変更処理ブロックＳＴ２および伝播特性変更処理ブロックＳＴ３をまとめて示したものである。また、再生処理ブロックは、他のリスナーとの干渉を防ぐためにリスナー別に設けられている。リスナー別音楽再生処理ブロックＳＴ４ａ〜ＳＴ４ｃの具体例としては、ヘッドフォンや超指向性スピーカ等がある。
【００３７】
この場合、同一の音声情報に対し、リスナーごとに異なった再生プロセスを通すので、各リスナーに適した音場を形成することが可能となる。このようにすれば、例えばバーチャルリアリティ空間で発音音源とリスナーとが動き回る状況を形成することや、車内のオーディオ再生装置でドライバーやナビゲーターの座席位置に応じた音場を個別に設定すること、家庭のオーディオ再生装置でコンサートホールの座席配置を考慮した音場補正を行うこと、コンサートホールで客席の位置による音場の差異の補正を行うこと、が可能となる。
【００３８】
本実施の形態に係る情報記録装置を用いれば、音源の位置情報を付加しつつ音源から発せられる音声情報を録音するので、音声情報の再生時に音源の位置情報を用いて音声情報に対して加工を行うことができる。
【００３９】
また、本実施の形態に係る情報再生装置を用いれば、音源の位置情報を用いて音声情報の伝播特性を決定しつつ音声情報を再生するので、リスナーに現実感や立体感のある音声情報を与えることができる。さらに伝播特性を決定する際にリスナーの位置情報をも用いれば、リスナーの位置に応じた、より現実感や立体感のある音声情報を聴取者に与えることができる。また、音源の位置とリスナーの位置との間で生じるドップラー効果を考慮して音声情報の周波数を変更すれば、より現実感や立体感のある音声情報をリスナーに与えることができる。また、リスナーが複数である場合には、複数のリスナーの各々に対応する位置情報を用いて音声情報の伝播特性を決定しつつ、またはそれに加えて音声情報の周波数を変更しつつ、複数のリスナーの各々に対して音声情報を再生することで、複数のリスナーの各々により現実感や立体感のある音声情報を与えることができる。
【００４０】
＜実施の形態２＞
この発明の実施の形態２は、画像情報に対して被写体および背景までの距離を位置情報として付加しつつ記録する情報記録装置と、位置情報が付加された画像情報を位置情報を利用しつつ再生する情報再生装置とを示すものである。
【００４１】
図６は本実施の形態に係る情報記録装置の構成を示す図である。図６では、デジタルカメラ等の撮像装置ＣＭが捉えた画像情報と、撮像装置ＣＭ近傍に備えつけられた、赤外線センサやＣＣＤ測距センサ、超音波センサ、重力・圧力センサ等の距離を測定するセンサ素子ＳＳが捉えた被写体ＳＢ０および背景ＢＧの位置情報とをともにデータ化して、位置情報が付加された画像情報ＧＡを得ている。なお、被写体ＳＢ０および背景ＢＧの位置情報とは、撮像装置ＣＭと被写体ＳＢ０との間の距離および撮像装置ＣＭと背景ＢＧとの間の距離のことを指す。
【００４２】
画像情報ＧＡには被写体ＳＢ０および背景ＢＧが単に映っているだけではなく、撮像装置ＣＭと被写体ＳＢ０または背景ＢＧとの間の距離の情報が、ある単位区画ごと（例えば画面を縦または横に数等分したものや、究極的には単位ピクセルごと）に記録される。なお、この被写体ＳＢ０は、三個の物体ＳＢ０ａ，ＳＢ０ｂ，ＳＢ０ｃとからなっている。図６においては例として、一番手前に存在する右の物体ＳＢ０ｃの正面部分までの距離は２．５ｍ、二番目に手前に存在する左の物体ＳＢ０ａの正面部分までの距離は２．７ｍ、一番奥に存在する中央の物体ＳＢ０ｂの正面部分までの距離は３．０ｍと示されている。また、背景ＢＧまでの距離は１０．０ｍと示されている。
【００４３】
また、本実施の形態に係る情報再生装置とは、このように記録された画像情報ＧＡを、被写体ＳＢ０および背景ＢＧの位置情報とともにまたは個別に表示する装置である。このように、画像情報に被写体の位置情報が付加されておれば、画像情報の再生を行う際に容易に背景と被写体とを区別することができ、例えば背景から人物だけを切り出すなどの画像処理が容易となる。
【００４４】
また、撮像装置ＣＭが動画撮影可能なビデオカメラである場合には、画像情報に付加された位置情報を、図７に示すように手ブレ補正に利用することも可能である。すなわち、被写体の撮像装置からの等距離面が画面中で全体的に小刻みに揺れれば、手ブレであると検出できる。そして手ブレによる移動分に対し補正を行えば、手ブレが存在しないかのように動画を記録することができる。
【００４５】
また、本実施の形態に係る情報記録装置は、実施の形態１における音声情報についての情報記録装置と組み合わせて用いてもよい。すなわち、画像情報の記録時に図８に示すように画面ＧＡ内の等距離面により区分されるオブジェクトＯＢ（実施の形態１における音源に対応するもの）が画像認識等の手法により認識された場合、その移動に伴って、録音する音源の位置情報についても更新を行うのである。そうすれば、実施の形態１における音声情報についての情報記録装置のうち、音源の位置情報の時間的変化のデータを記録できないものであっても、オブジェクトＯＢの動きにあわせて音源を移動させることができる。
【００４６】
また、本実施の形態に係る情報再生装置は、上記と同様に実施の形態１における音声情報についての情報再生装置と組み合わせて用いてもよい。すなわち、画像情報の再生時に図８に示すように画面ＧＡ内の等距離面により区分されるオブジェクトＯＢ（音源に対応するもの）が画像認識等の手法により認識された場合、その移動に伴って、再生する音源の位置情報についても更新を行うのである。そうすれば、実施の形態１における音声情報についての情報再生装置のうち、音源の位置情報の時間的変化のデータを有していないものであっても、オブジェクトＯＢの動きにあわせて音源を移動させることができる。
【００４７】
本実施の形態に係る情報記録装置を用いれば、被写体および背景の位置情報を付加しつつ被写体および背景の画像情報を記録するので、画像情報の再生時に被写体および背景の位置情報を用いて画像情報に対して加工を行うことができる。また、画面中で等距離面が全体的に小刻みに動くかどうかを検出することで、手ブレを検出することができる。また、音源の位置情報が被写体の移動に伴って更新されるようにしておくことで、音源の位置情報の時間的変化のデータを記録できない情報記録装置であっても、被写体の移動にあわせて音源を移動させることができる。
【００４８】
また、本実施の形態に係る情報再生装置を用いれば、被写体の位置情報を用いて画像処理すべき部分を決定して当該部分に画像処理を行いつつ画像情報を再生するので、遠くに存在する被写体の圧縮率を上げたり、被写体を背景から分離したりすることができる。また、音源の位置情報が被写体の移動に伴って更新されるようにしておくことで、音源の位置情報の時間的変化のデータを有していない情報再生装置であっても、被写体の移動にあわせて音源を移動させることができる。
【００４９】
＜実施の形態３＞
この発明の実施の形態３は、被写界深度の大きい画像を得るために実施の形態２に示した情報記録装置を利用するものである。
【００５０】
図９は被写界深度について説明するものである。通常のアナログカメラやデジタルカメラ、ビデオカメラ等の撮像装置ＣＭで撮影した画像は通常、合焦点（ピントの合った位置のこと、また合焦点から撮像装置までの距離を合焦距離という）および被写界深度（合焦点の前後でピントの合う範囲のこと）が存在する。
【００５１】
被写界深度が大きいほど奥行き方向のピントが合う範囲が広くなり、くっきりとした画像を得ることができる。
【００５２】
被写界深度が浅く（短く）なる場合として、▲１▼撮影レンズの焦点距離が長い、▲２▼撮影レンズの絞り値が小さい（絞りが開いている）、▲３▼被写体までの撮影距離が近い、という３つの条件が挙げられる。例えば、▲１▼長めの焦点距離（３５ｍｍフィルムにおいて、１００〜２００ｍｍ位）の撮影レンズを用い、▲２▼花などの撮影を至近距離（数十ｃｍ）で行い、▲３▼絞り値（焦点距離÷有効瞳径）が開放に近いｆ＝２．８かそれ以下の場合、全体の被写界深度は数ｃｍの範囲しかない。
【００５３】
数ｃｍの被写界深度では、花の写真を撮る際に、例えば花芯にピントを合わせると周囲の花弁はピントがボケてしまう。また、もし、花全体あるいは茎や葉にもピントを合わせようとすると、▲３▼の絞り値を大きくする（絞る）しかなく、必然的に露出光量が低下して、シャッター速度を低下させる（シャッターを長時間（一般的な撮影光量でｆ＝３２程度まで絞ると数分の一秒から数秒程度）開ける）ことになり、手ブレや風などによるブレの影響が出て写真として使いものにならない。
【００５４】
近距離撮影で被写界深度が浅くなる問題を解決するため、ある種のカメラでは、ｆ＝４５まで絞り、露光不足をストロボでカバーするような機構を持つものもある。しかし、自然光と人工光との違い（色、入光角度、光の分布、拡散など）で、写真の仕上がりのイメージがかなり異なってしまう。また、ストロボ光が被写体に反射して写る、ある程度の距離（ストロボ光到達距離＝ガイドナンバー÷絞り値×フィルム感度補正）以上にはストロボ光は届かない、など新たな問題が生じる。
【００５５】
このような被写界深度の問題は、アナログのカメラのみならず、光学系を用いたデジタルカメラやビデオカメラにおいても同様に発生する。ただし、実際の撮影においては、意図的に背景をぼかしたりすることで写真的表現や芸術的表現となることがあるので、被写界深度が浅いこと自体は光学機器システム全体としては欠点というわけではない。むしろ、撮影者の意図する被写界深度を上記▲１▼〜▲３▼の３つの条件とその場の光量に合うように設定し、コントロールすることが、知識と経験がない限りは至難の技であるという点が問題であった。
【００５６】
そこで、実施の形態２に示した情報記録装置を利用することで、被写界深度の大きい画像を得る。
【００５７】
まず、被写体ＳＢ０ａ〜ＳＢ０ｃを上面からみた図１０に示すように、被写体ＳＢ０ａ〜ＳＢ０ｃに対し、合焦点をＦＰ１から例えばＦＰ７まで段階的に変化させて撮像装置ＣＭを含む情報記録装置を用いて撮影を行い、位置情報付きの画像情報を得ておく。各合焦点ＦＰ１〜ＦＰ７に対応する被写界深度はＤ１〜Ｄ７で表わされている。なお、各合焦点間の距離は、被写界深度が断絶することがないように被写界深度を概算で求めておいて決定することが望ましいが、３ｃｍや５ｃｍというような固定値を適宜設定するようにしてもよい。
【００５８】
さて、上記の例の場合、合焦点をＦＰ１からＦＰ７まで段階的に変化させて撮影を行ったので、ピントの具合が異なる画像情報が７枚存在することになる。このうち、ピントが合っている部分を７枚の各画像情報から抜き出して合成すれば、被写界深度の深い画像を得ることができる。
【００５９】
ピントが合っている部分を各画像情報から抜き出すには、各画像情報に含まれる撮像装置ＣＭと被写体ＳＢ０ａ〜ＳＢ０ｃとの間の距離についての位置情報を用いて、合焦点までの距離の値がその被写体の撮像面の距離の値と近い画像情報の一部分を抜き出すようにすればよい。
【００６０】
そして、ピントが合っている部分を各画像情報から抜き出して合成することについて示したのが、図１１である。図１１では、被写体ＳＢ０ｃのピントが合っている部分として、合焦点ＦＰ２、被写界深度Ｄ２の下で撮影された画像のうち範囲ＷＡが選択されている。なお符号Ａ１は図１０の一部を示し、符号Ａ２は、被写界深度Ｄ２の下で撮影された画像のうち範囲ＷＡのみを示した図である。同様にして、被写体ＳＢ０ｂのピントが合っている部分として、合焦点ＦＰ３、被写界深度Ｄ３の下で撮影された画像のうち範囲ＷＢが選択され、被写体ＳＢ０ａのピントが合っている部分として、合焦点ＦＰ５、被写界深度Ｄ５の下で撮影された画像のうち範囲ＷＣが選択されている。なお、範囲ＷＢとして選択される部分は、範囲ＷＡを除いた部分から選択し、範囲ＷＣとして選択される部分は、範囲ＷＡおよびＷＢを除いた部分から選択するようにしておけばよい。このようにピントの合っている部分を順次、抜き出して合成すれば、結果として被写界深度の大きい画像を得ることができる。
【００６１】
また、このようにすれば、図１２に示すように、被写体ＳＢ１の撮像面に平行でない壁面の全体にピントを合わせた画像を得ることもできる。アナログのカメラにおいては、シフトレンズ等の光軸を傾斜させる機構を用いて商品や建築物の斜面を撮影していたが、そのような機構を用いることなく、撮像面に平行でない壁面の全体にピントを合わせた画像を得ることができ、非常に有効となる。
【００６２】
本実施の形態に係る情報記録装置を用いれば、ピントの合っている部分を抜き出して合成するので、被写界深度の大きい画像を得ることができる。
【００６３】
なお、実施の形態２に示した情報記録装置以外の情報記録装置を用いる場合であっても、すなわち、撮像装置ＣＭと被写体ＳＢ０との間の距離についての位置情報が各画像情報に含まれない場合であっても、上記と同様の効果を有する情報記録装置を実現することは可能である。つまり、合焦点を段階的に変化させて複数枚の画像情報を得ておき、ピントが合っている部分を各画像情報から抜き出して合成すれば、被写界深度の深い画像を得ることができる。この場合にピントの合っている部分を各画像情報から抜き出すには、複数枚の画像情報のそれぞれに高域成分を抽出する画像処理を施すことにより、ピントが合っている部分を特定すればよい。
【００６４】
＜実施の形態４＞
この発明の実施の形態４は、立体映像を得るために実施の形態２に示した情報再生装置を利用するものである。
【００６５】
図１３は、立体視の原理を示す図である。例えば図１３に示すような三角柱形状の被写体ＳＢ２を人間が見るとき、左目には被写体ＳＢ２の左側面Ｓ１が右側面Ｓ２よりも大きく写り、右目には被写体ＳＢ２の右側面Ｓ２が左側面Ｓ１よりも大きく写る。このように右目と左目との間で視差が生じることにより、人間は立体的な奥行きを感じる。
【００６６】
そこで、実施の形態２に示した情報記録装置を用いて、被写体ＳＢ２をその左側面Ｓ１および右側面Ｓ２の位置情報を付加しつつ一枚の画像情報として記録しておく。
【００６７】
そして、実施の形態２に示した情報再生装置を変形して、視差を考慮しつつ左目用映像と右目用映像とをそれぞれ再生する。具体的には、図１４に示すように、位置情報を用いて、視差の分だけ水平方向を長くした左側面Ｓ１Ｌと視差の分だけ水平方向を短くした右側面Ｓ２Ｌとからなる左目用映像ＳＢ２Ｌを作りだし、視差の分だけ水平方向を長くした右側面Ｓ２Ｒと視差の分だけ水平方向を短くした左側面Ｓ１Ｒとからなる右目用映像ＳＢ２Ｒを作りだして、左目用と右目用との両映像をそれぞれ再生する。
【００６８】
なお、左目用映像ＳＢ２Ｌおよび右目用映像ＳＢ２Ｒには、もちろん被写体だけでなく背景も含まれている。この背景に対しても、被写体と同様に水平方向の補正が行われることがある。ただし、背景に対して行われる補正と被写体に対して行われる補正とではその補正量が異なる場合があるため、被写体に対して水平方向の補正を行うことにより背景と被写体との間に隙間が生じてしまうことが考えられる。その場合は、生じた隙間を周囲の画素の色を平均化した色で補填するなどの手当てを行えばよい。
【００６９】
そして、再生された両映像は、立体眼鏡等を用いて鑑賞されることで立体映像となる。
【００７０】
本実施の形態に係る情報再生装置を用いれば、一枚の画像情報から、位置情報を用いて、視差の分だけ水平方向の距離を補正した左目用映像および右目用映像を作り出すので、従来の立体映像のように右目用と左目用の両映像を記録しておく必要がない。
【００７１】
＜実施の形態５＞
この発明の実施の形態５は、実施の形態２に示した情報記録装置を利用して、ＧＰＳやＰＨＳを用いた移動体の位置測定装置の精度向上に役立てるものである。すなわち、実施の形態２に示した情報記録装置が、さらに自身の位置を測定するための位置測定装置を備え、位置測定装置により測定された位置を仮の現在地としつつ、画像情報に付加された位置情報を用いて位置測定の精度を向上させ真の現在地を求める、というものである。
【００７２】
例えば図１５に示すように、現在地から建物等の目標点となる２つの物体Ｂ１，Ｂ２までのそれぞれの距離を、実施の形態２に示した情報記録装置を用いて測っておく。この物体Ｂ１，Ｂ２には、位置測定装置内の地図に記載されているものを選ぶ。次に、図１６に示すように、ＧＰＳやＰＨＳを用いた移動体の位置測定装置により特定される現在地の範囲ＡＲ１を地図ＭＰ上に表示する。仮に範囲ＡＲ１の中心Ｐ１が現在地であるとすれば、Ｐ１と物体Ｂ１との距離ＤＧ１およびＰ１と物体Ｂ２との距離ＤＧ２が、実施の形態２に示した情報記録装置により得られた距離の値と一致するはずである。もし一致しなければ、現在地はＰ１ではないことが判明する。
【００７３】
その場合は、実施の形態２に示した情報記録装置を用いて得られた現在地から物体Ｂ１，Ｂ２までの距離の情報を用いて、現在地から物体Ｂ１までの距離ＤＳ１を半径とする円ＣＬ１を物体Ｂ１を中心として描き、同様にして、現在地から物体Ｂ２までの距離ＤＳ２を半径とする円ＣＬ２を物体Ｂ２を中心として描く。そして両者の交点Ｐ２，Ｐ３のうち、位置測定装置により得られた範囲ＡＲ１に近い方の交点を真の現在地として採用すればよい。
【００７４】
本実施の形態に係る情報記録装置を用いれば、位置測定装置をさらに備え、地図上に仮の現在地を表示し、また、画像情報の中から２つの物体を決定し、両物体を中心とし両物体までのそれぞれの距離を半径とする２つの円を描き、それらの円の交点のうち仮の現在地に近い方の交点を真の現在地と判定するので、位置測定装置の精度を向上させることができる。
【００７５】
＜実施の形態６＞
この発明の実施の形態６は、実施の形態２に示した情報記録装置および情報記録装置において、被写体または背景に文字が含まれており、その文字を画像認識してテキスト情報に置き換えて情報が保存されるものである。
【００７６】
被写体または背景に文字が含まれている場合、ビットマップデータとして保存するよりもテキスト情報としてコード化して情報を保持する方がデータ効率がよい。さらに、テキスト情報としておくことで、背景や被写体の位置情報に変化があった場合には、図１７に示すようにテキスト情報Ｃ１のフォントサイズをＣ２，Ｃ３のように変更するなどの加工が容易に行える。そのほかにもテキスト情報の色等を背景や被写体の位置情報の変化に合わせて変化させるようにしてもよい。
【００７７】
【発明の効果】
請求項１に記載の発明によれば、被写体および背景の位置情報を付加しつつ被写体および背景の画像情報を記録するので、画像情報の再生時に被写体および背景の位置情報を用いて画像情報に対して加工を行うことができる。また、等距離面が画面中で揺れるかどうかを検出するので、手ブレを検出することができる。
【００７８】
請求項２に記載の発明によれば、被写体および背景の位置情報を付加しつつ被写体および背景の画像情報を記録するので、画像情報の再生時に被写体および背景の位置情報を用いて画像情報に対して加工を行うことができる。また、複数枚の画像情報の中から位置情報に基づいてピントの合っている部分を抜き出して合成するので、被写界深度の大きい画像を得ることができる。
【００７９】
請求項３に記載の発明によれば、被写体および背景の位置情報を付加しつつ被写体および背景の画像情報を記録するので、画像情報の再生時に被写体および背景の位置情報を用いて画像情報に対して加工を行うことができる。また、位置測定装置をさらに備え、地図上に仮の現在地を表示し、また、画像情報の中から２つの物体を決定し、両物体を中心とし両物体までのそれぞれの距離を半径とする２つの円を描き、それらの円の交点のうち仮の現在地に近い方の交点を真の現在地と判定するので、位置測定装置の精度を向上させることができる。
【００８０】
請求項４に記載の発明によれば、被写体の位置情報を用いて画像処理すべき部分を決定して当該部分に画像処理を行いつつ画像情報を再生するので、遠くに存在する被写体の圧縮率を上げたり、被写体を背景から分離したりすることができる。
【００８１】
請求項５に記載の発明によれば、一枚の画像情報から、位置情報を用いて、視差の分だけ水平方向の距離を補正した左目用映像および右目用映像を作り出すので、従来の立体映像のように右目用と左目用の両映像を記録しておく必要がない。
【００８２】
請求項６に記載の発明によれば、被写体および背景の位置情報を付加しつつ被写体および背景の画像情報を記録するので、画像情報の再生時に被写体および背景の位置情報を用いて画像情報に対して加工を行うことができる。また、画像情報はテキスト情報をも含むので、画像情報の再生時に被写体または背景の位置情報を用いてテキスト情報に対して加工を行うことができる。
【００８３】
請求項７に記載の発明によれば、画像情報はテキスト情報をも含むので、被写体または背景の位置情報に応じてテキスト情報のフォントの大きさや色等を変化させることができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１に係る情報記録装置が用いられる場面を示す図である。
【図２】この発明の実施の形態１に係る情報再生装置が用いられる場面を示す図である。
【図３】ドップラー効果における各パラメータを示す図である。
【図４】この発明の実施の形態１に係る情報再生装置の構成を示すブロック図である。
【図５】この発明の実施の形態１に係る情報再生装置の他の構成を示すブロック図である。
【図６】この発明の実施の形態２に係る情報記録装置の構成を示すブロック図である。
【図７】この発明の実施の形態２に係る情報記録装置における手ブレ補正を示す図である。
【図８】この発明の実施の形態２に係る情報記録装置または情報再生装置における被写体の移動を示す図である。
【図９】被写界深度を説明する図である。
【図１０】この発明の実施の形態３に係る情報記録装置を用いて被写体が撮影される様子を示す図である。
【図１１】この発明の実施の形態３に係る情報記録装置を用いて画像が合成される様子を示す図である。
【図１２】撮像面に対し平行でない面を有する被写体を撮影する様子を示す図である。
【図１３】立体視を説明する図である。
【図１４】この発明の実施の形態４に係る情報記録装置により作り出される映像を示す図である。
【図１５】この発明の実施の形態５に係る情報記録装置において目標点となる２つの物体を示す図である。
【図１６】この発明の実施の形態５に係る情報記録装置において現在地を判定する方法を示す図である。
【図１７】この発明の実施の形態６に係る情報記録装置において文字のサイズが変化する様子を示す図である。
【図１８】従来のステレオ音声情報を示す図である。
【図１９】従来のステレオ音声情報の音場データのイメージを示す図である。
【図２０】従来の３Ｄサウンド技術の音場データのイメージを示す図である。
【符号の説明】
ＳＤ１〜ＳＤ１０　音声トラックデータ
ＩＦＳ　音源位置情報
ＩＦＬ，ＩＦＬａ〜ＩＦＬｃ　リスナー位置情報
ＳＴ１，ＳＴ１ａ〜ＳＴ１ｃ　相対関係算出処理ブロック
ＳＴ２　ピッチ変更処理ブロック
ＳＴ３　伝播特性変更処理ブロック
ＳＴ２３ａ〜ＳＴ２３ｃ　音声再生加工処理ブロック
ＳＴ４　音声再生処理ブロック
ＳＴ４ａ〜ＳＴ４ｃ　リスナー別音声再生処理ブロック
ＣＭ　撮像装置
ＳＳ　センサ素子
ＳＢＯ，ＳＢＯａ〜ＳＢ０ｃ，ＳＢ１，ＳＢ２　被写体
ＯＢ　オブジェクト
ＦＰ１〜ＦＰ７　合焦点
Ｄ１〜Ｄ７　被写界深度
ＡＲ１　位置測定装置により特定される範囲
Ｂ１，Ｂ２　目標点となる物体
Ｃ１〜Ｃ３　文字フォント
【図１】
2004032726.tif 000005
【図２】
2004032726.tif 000006
【図３】
2004032726.tif 000007
【図４】
2004032726.tif 000008
【図５】
2004032726.tif 000009
【図６】
2004032726.tif 000010
【図７】
2004032726.tif 000011
【図８】
2004032726.tif 000012
【図９】
2004032726.tif 000013
【図１０】
2004032726.tif 000014
【図１１】
2004032726.tif 000015
【図１２】
2004032726.tif 000016
【図１３】
2004032726.tif 000017
【図１４】
2004032726.tif 000018
【図１５】
2004032726.tif 000019
【図１６】
2004032726.tif 000020
【図１７】
2004032726.tif 000021
【図１８】
2004032726.tif 000022
【図１９】
2004032726.tif 000023
【図２０】
2004032726.tif 000024