(57)【要約】【課題】    本発明は、テレビ放送において３６０度にわたるような広い視野を実現するための新しい映像走査方式を提供するものであり、それに適合できる音声処理方式も含まれる。【解決手段】    本発明は視野を円筒座標系と捉え、これを縦ｙ方向に走査しつつ、走査位置を円周方向（θ）に移動させながら視野全体を時系列信号に変換し、この手順により映像を再構成することができる走査方式により上記の課題を解決する。このとき、任意の走査座標上の４点を指定することにより映像表示領域をしてすることで視野の任意の一部を抽出して表示することができる。また、映像情報と音源との方向を一致させることが重要であると考え、音声は、その到来方向に一致する視野方向の映像信号に多重化する。【選択図】図１
2008118602.tif 000002
【特許請求の範囲】
【請求項１】
（全体方式）テレビ放送映像の走査方式であって、３６０度の視野角度に対応する円筒状空間を縦（ｙ）方向に走査しながら、角度方向（θ）に回転走査することにより仮想３次元空間を円筒状２次元（ｙ−θ）映像空間として映像を構成することを特長とするテレビ放送方式。
【請求項２】
（カメラと信号フォーマット）請求項１において述べた縦方向に走査しつつ、視野方向に対応する円筒座標の角度方式に回転走査する方式により、実際に撮影された視野の範囲にかかわらず、全視野３６０度円筒２次元映像空間情報を時系列信号として取得することを特長とするテレビ放送撮影装置。
【請求項３】
（映像と音声の視野角依存多重化）請求項２において述べた時系列映像信号に、その視野方向（θ）と一致する方向に音源をもつ視野角依存音声を映像信号に多重化することを特長とする視野角依存音声多重テレビ信号方式。
【請求項４】
（ビデオ録画）請求項３において述べた音声と映像の多重化方式により多重化された信号をビデオ信号として記録することを特長とするビデオ録画方式および装置。
【請求項５】
（受像器およびアダプタ）請求項２で述べた映像信号、もしくは、請求項３で述べた多重化信号にもとづき、映像の全体もしくは、任意の一部を選択的に取り出して再構成して表示する機能を持つことを特長とするテレビ受像器および、他の映像構成方式へと変換する機能を有する映像処理装置。
【請求項６】
（準拠放送機器、伝送機器）請求項１で述べた映像構成方式に準拠していることを特長とする放送信号処理機器、および該方式映像信号伝送機器。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明はテレビ放送技術分野に関し、特に映像を構成する走査方式に関する。【０００２】  本発明では、映像は視聴者の全視野角、すなわち３６０度に対応していることが特長であり、その全部もしくは任意の一部を切り出して映像化することにより、視聴者に視線を任意の方向に向けることを可能とする。
【背景技術】
【０００３】  テレビ映像はカメラの視野で規定される視野角をもち、映像は横（ｘ）方向に走査しながら、縦（ｙ）方向に走査されることにより２次元映像を時系列の映像信号に変換し、表示においてはこの手順を遵守することにより映像を再構成していた。【０００４】  この方法では、表示される映像はカメラの視野や方向に制限され、広い視野や、任意の視線方向を求める視聴者の要求を満たすことができなかった。従って、視野が狭いため、視野に入らない部分の情報が欠落し、結果として誤った情報が伝わるという恐れがあるという問題があった。【０００５】  本発明は広い視野をつなぎ目なく走査して映像を再構成する技術に関する。
【解決しようとしている問題】
【０００６】  従来のテレビ放送においては、映像のサイズは撮影装置の視野に依存し、撮影する方向、すなわちカメラの向きはカメラの操作者の判断に依存している。そのため、個々の視聴者が要望する視野や方向が満たされることはなく、かつ、視野が狭いため、視野に入らない情報が欠落するという問題がある。
【０００７】  もし情報の欠落を意図的に行えば情報操作の可能性なしとせず、情報システムの社会的な信頼を著しく損ないかねない。来るべき高度情報化社会において情報システムは高度に信頼されるべきものでなければならず、少なくとも情報に対する信頼性を技術的に維持することは、情報化社会の維持発展のための安全保障として重要である。
【０００８】  一方、現有の撮影装置の視野を広げようとしても、従来の走査線は横方向に走査しつつ、縦方向に移動してゆく方式であるため、走査範囲を規定するフレームが必要となる。従って、広い視野映像を取得、再構成するために、それを複数枚の映像を接続して全視野を構成することとなる。複数のフレームにまたがる映像の画像処理には複雑な座標変換を繰り返す操作が不可欠である。それゆえ、従来の映像を構成する走査方式は、映像の高速処理にはなじまない方式である。
【０００９】また、市販のパノラマカメラなどにより広い視野の映像が取得できても、従来の映像伝送方式および受像器がそのような映像方式に対応していないため、映像が大きく歪む。
【００１０】本発明は、縦方向に走査しながら、視野の周方向に移動することにより、広い視野映像を歪みなく時系列信号化する方式、及び、表示においても任意の位置とサイズで抽出し、視聴者の要求に合わせて、広い視野から、抽出した部分映像まで自由に表示する方式を提供するものである。
【００１１】  また、広い視野の映像ではさまざま方向からの音声を取得する必要があるが、それらを音源の方向が映像の視野方向と整合されていなければ違和感のある音声情報となる。本発明は広角視野テレビ放送におけるこのような問題も解決することに関する。
【解決する課題】
【００１２】  本発明は、テレビ放送において３６０度にわたるような広い視野を実現するための新しい映像構成方式およびそれに適合できる音声処理方式を提供することを目的とする。
【解決する手段】
【００１３】  前述の目的を達成するために、本発明は視聴者がその場にいるのと同等の情報量をもった映像と音声が取得され、視野方向と音声音源の方向が整合された状態で伝送された後、その場にいるのと同等の情報を表示できることが達成できることを要旨とする。
【００１４】  本発明の映像構成方式は、全視野角３６０度を意味する円筒座標映像空間を想定し、その円筒座標の縦（ｙ）方向に走査し、それを円周（θ）方向に移動させながら走査を繰り返すという走査方法による。従って、本方式は、従来方式で必要であった画面フレームという走査空間を必要とすることなく、つなぎ目のない３６０度映像を作り出すことができる。
【００１５】  また、音声は映像信号に多重化して一体として処理する。このとき、音源の方向が視野の方向と一致するように多重化して映像伝送、および、録画を行う。
【００１６】  該信号を受信した視聴者は、映像信号の空間位置を円筒座標（ｙ、θ）を用い、｛（ｙ１、θ１）、（ｙ２、θ１）、（ｙ１、θ２）、（ｙ２、θ２）｝で指定して、再現映像領域を選択して抽出することにより、任意の大きさの画面サイズにそれを表示することが可能となる。また、音声も自動的にその部分に合致したものを抽出できる。
【発明を実施するための最良の形態】
【００１７】  本発明は特許出願  特願２００４−１１８９９１  と関連し、具体的な走査・映像構成方式および映像・音声複合方式に関するものである。【００１８】  以下、本発明の実施の形態について図１を用いて説明する。走査すべき視野空間は高さｙと周の角度θで表される２次元の円筒座標系である。高さｙは視線の上下の幅を意味し、θは視野角を意味する。走査線には上下の向きの別があるが、走査は、上向のみ、もしくは下向のみ、もしくは、上下方向交互のいずれでもよい。映像信号には、その視野方向と同じ方向の音源からの音声情報を多重化する。【００１９】図２は再生している画面の例である。指定された任意の４点で表わされる映像空間の一部を抽出して表示しているが、この場合も映像は映像を取得したときの走査手順どおりに再現されて構成される。【００２０】このとき、映像を再生すると同時に音声情報も同期しており、映像にマッチした音声環境を再現できる。【００２１】上記の座標系では、θ＝３６０度となると一周して元に戻るが、時間が経過しているため、時間軸を考慮すると回転走査は図３のようなシームレス（つなぎ目のない）らせん状となる。以下では「らせん走査方式」と呼ぶことにする。
【実施例】
【００２２】  本発明の実施例を図２から図４に示す。図２は、４つの点を指定して走査空間から映像を切り出して表示している画面４を走査線３により説明している。走査線の実線部分は表示時の走査線を示している。撮影時は破線で示した部分まで走査領域は延びているが表示されない。【００２３】  図４は撮影から表示に至るまでの放送の全体システムを示している。
ＣＣＤもしくはＣＭＯＳなどの撮像素子１１は制御装置１２から走査方向などの制御を受け、制御信号１３により縦方向に走査するように制御されたとき、時系列の映像信号１４は制御回路１２に向けて出力される。【００２４】このとき、指定された視野の方向に映像が存在するときは映像信号を送出、映像が存在しない場合、つまり、その方向に撮影装置自体が視野を有しないときはＮＵＬＬを発生する。【００２５】    制御装置１２は、マイクロフォンアレー１５と接続されている。マイクロフォンアレー１５からの音声信号１６に含まれる音声波形ベクトルから音源方向を割り出し、これと方向が一致する視野の映像走査線に時間分割法、もしくは、周波数分割法、もしくは位相分割法などにより該音声信号を映像信号に多重化する。【００２６】映像信号１７、および、多重化信号１８はモニター１９にて確認された後、記録装置２０にてビデオ録画として保存される一方、テレビ放送信号伝送装置２１によりテレビ映像配信回線２３に送出される。【００２７】  録画されたビデオ映像および編集された映像が再生されるときは、再生映像信号２２は信号伝送装置２１に受け渡される。音声と多重化されたテレビ放送信号は配信回線２３によって視聴者まで伝送される。【００２８】視聴者はテレビ放送受信装置２４にて受信する。テレビ放送信号は映像と音声が多重化されているので、制御装置２５にてこれらを分離するとともに、制御装置２５にて、指定された表示領域を抽出する。【００２８】抽出された映像の部分は映像表示装置２６によって映像として表示される。この映像は映像信号を取得したのと同じ手順で走査されることにより映像が再構成される。このとき、図２に示したように、走査線の指定した画面領域の内部の部分のみを画面に送出表示し、外部の部分は送出標示しないという方法で任意の部分を抽出表示する。【００２９】  音声は視野方向と音声方向が整合されたそれぞれの方向に対応した位置に配置されたスピーカーアレーにて発音される。
【図面の簡単な説明】
【００３０】
【図１】本発明による映像取得空間である円筒座標系と、上向きの走査線と下向きの走査線を示している。
【図２】本発明による受像器の表示画面を表している。画面は伝送されてきた映像信号から任意の４点を指定して抽出されたものである。このとき、撮影された映像情報が画面領域を超えた場合、指定された領域の外側の走査線部分の映像情報は表示されない。
【図３】円筒座標系では、走査はｙ方向とθ方向の２次元であるが、θを０から３６０まで走査したとき、時間が経過しているため、元の位置に戻らないと考えると、らせん状の走査軌跡となる。これをらせん走査方式と呼び、本図はこの状況を表現している。
【図４】本発明による映像構成方式を実施するための映像システムの概念構成を表している。
【符号の説明】
【００３１】  １  走査映像領域の円筒座標表示（縦軸ｙは視線の上下の走査範囲、横軸は円筒座標の角度方向θである）
２  映像撮影時の走査線（上下ジグザグ走査を示している。）
３  受像器走査線（受像器面における走査線。点線部分は撮影時の走査線、実線は表示時の走査線）
４  受像器面（４つの座標点で切り取られた映像が表示される）
１１  撮像素子（ＣＣＤもしくはＣＭＯＳ素子など）
１２  制御装置（撮像素子の走査方向、走査速度などの動作を制御する、）
１３  制御信号（撮像素子の動作を制御する信号）
１４  映像信号（指定されたフォームで走査された円筒座標２次元映像の時系列信号）
１５  マイクロフォンアレー（多数のマイクロフォンを組み合わせたもので、各マイクロフォンからの音量の比、もしくは位相差、もしくは波形の差異により音源位置を割り出す。）
１６  音声信号（マイクロフォンアレーからの音声信号）
１７  映像信号（撮影装置から得られた時系列信号）
１８  映像信号と音声信号の多重化信号（上述映像信号７と、音声信号６を多重化した信号で、音声の音源方向と、映像の視野角方向が一致するように多重化されている）
１９  モニター装置（映像と音声のマッチングなどをチェックできる）
２０  ビデオ録画装置（取得した映像信号と音声信号を保存するビデオ録画装置）
２１  テレビ放送信号伝送装置（音声と多重化した映像信号をテレビ放送配信回線に送出する装置）
２２  再生ビデオ信号（ビデオ録画装置からの多重化信号）
２３  テレビ放送配信回線（受信者へテレビ放送信号を配信する回線で、ネット回線もしくは専用回線である）
２４  テレビ放送受信装置
２５  制御装置（テレビ放送信号からの映像成分と音声成分の分離、及び指定された表示領域を抽出する。）
２６  映像表示装置
２７  スピーカーアレー（音声成分を音源の方向に一致する位置に配置されたスピーカーにて発音する。）
【図１】
2008118602.tif 000003
【図２】
2008118602.tif 000004
【図３】
2008118602.tif 000005
【図４】
2008118602.tif 000006