(57)【要約】入力されたパノラマ画像をタイル分割部（１２）で小画面の画像（タイル）に分割し、符号化部（１４）で各タイルを独立に符号化することでデータ量を削減すると共に、管理情報付加部（１６）ではタイルの符号化データの全符号化データ内での指定時刻における位置を示す情報を指定時刻にランダムアクセスするための管理情報として付加することで、パノラマ画像の一部を取り出して、容量の小さい伝送路でも送信することを可能とする画像符号化装置、画像送信装置および画像撮影装置を提供する。したがって、効率良くパノラマ画像を蓄積あるいは電送する動画像符号化・復号装置、および簡単に動画のパノラマ立体画像を得る撮影装置を構成できる。
2004004363.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段と、
入力された画像を小画面に分割する分割手段と、
各小画面画像を符号化する符号化手段と、
符号化情報に小画面画像の符号化データの全符号化データ内での位置を示す情報を付加する管理情報付加手段とを有することを特徴とする画像符号化装置。
【請求項２】
画像の縮小処理をする画像縮小手段と、縮小画像を符号化する縮小画像符号化手段とを有することを特徴とする請求の範囲第１項記載の画像符号化装置。
【請求項３】
画像情報が動画像情報であり、符号化情報への付加情報には、小画面画像の指定時刻の位置を示す情報を含むことを特徴とする請求の範囲第１項または第２項に記載の画像符号化装置。
【請求項４】
画像が分割された小画面画像の符号化データの全符号化データ内での位置を含む管理情報が付加された符号化情報から管理情報を分離する管理情報分離手段と、分離した管理情報に基き全符号化データから指定位置に基づく小画面画像の符号化データを検索する検索手段と、検索された指定位置に基づく小画面画像の符号化データを送信する送信手段とを有することを特徴とする画像送信装置。
【請求項５】
画像が分割された小画面画像の符号化データの全符号化データ内での位置を含む管理情報が付加された符号化情報から管理情報を分離する管理情報分離手段と、分離した管理情報に基き全符号化データから指定位置に基づく小画面画像の符号化データを検索する検索手段と、検索された指定位置に基づく小画面画像の符号化データを復号する復号手段と、復号された小画面画像データのうちの所定領域を切り出す切り出し手段と、切り出された所定領域の画像データを再符号化する再符号化手段と、再符号化された所定領域の画像データを送信する送信手段とを有することを特徴とする画像送信装置。
【請求項６】
切り出された所定領域の画像データを合成する合成手段を有し、合成データを再符号化手段で再符号化して、送信手段から送信することを特徴とする請求の範囲第５項に記載の画像送信装置。
【請求項７】
送信手段は、小画面画像に分割する前の画像の所定の縮小画像を送信することを特徴とする請求項範囲第５項または第６項に記載の画像送信装置。
【請求項８】
２以上の撮影手段を有し、２つの撮影手段をペアにして立体視用の画像を撮影し、ペアの撮影手段の撮影画像で立体画像の画像データを作成することを特徴とする画像撮影装置。
【請求項９】
３以上の撮影手段を有し、２つの撮影手段をペアにして立体視用の画像を撮影し、各ペアで互いに異なる方向の立体画像を撮影し、各ペアの撮影手段の撮影画像で立体画像の画像データを作成するものであり、１つの撮影手段は他の撮影手段と複数のペアを構成することを特徴とする画像撮影装置。
【請求項１０】
画像入力手段に、左目用画像、右目用画像からなる立体視用の画像データを入力することを特徴とする請求の範囲第１項から第３項のうちのいずれか１項に記載の画像符号化装置。
【請求項１１】
画像入力手段に、請求の範囲第８項または第９項の作成立体画像を入力することを特徴とする請求の範囲第１項から第３項のうちのいずれか１項に記載の画像符号化装置。
【請求項１２】
入力する立体視用画像データには、立体視用の画像が何の種類の画像からなるかを示す情報と、各画像の方向を示す情報とが付加情報として付加されていることを特徴とする請求の範囲第１１項に記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】  本発明は、パノラマ立体画像などの画像データを符号化・復号する画像符号化装置、画像送信装置および画像撮影装置に関するものである。
【背景技術】  従来より、パノラマ立体画像を表示装置に表示する際に、左目用パノラマ画像と右目用パノラマ画像を表示して、ユーザはそれぞれの目でそれぞれの画像を見てパノラマ立体画像を視認できるようにする。この場合に、パノラマ画像全体を表示装置の画面に表示するのでは、画像が大きすぎたり歪んでいたりして細部が分からない場合があるので、ユーザの好みの箇所を拡大・縮小して表示するのが通常である。
そのような技術に関し、データ処理によってパノラマ画像から指定領域を抽出し、視点の異なる２枚の静止画像を合成して立体画像を表示する方法として、一般に図２４に示されるような構成をとる技術がある。
［図２４の構成の動作説明］
図２４において、領域指定手段ａは、ユーザがパノラマ画像中の任意の矩形領域を指定するための手段であり、指定した矩形領域を指定する信号を画像抽出手段ｂに出力する。
画像抽出手段ｂは、左目用パノラマ画像、右目用パノラマ画像から、指定された矩形領域（左目用画像、右目用画像）を抽出する手段である。
立体表示手段ｃは、抽出された左目用画像、右目用画像を立体表示する手段であり、種々の方式の立体画像ディスプレイがある。
図２５は、左目用パノラマ画像、右目用パノラマ画像を示す。また、図２６は、図２５のようなパノラマ立体画像を撮影する、それぞれが組み合わさって左右に回転する左目用カメラＬと右目用カメラＲとそれらの撮影視野Ｌ１（実線で示した範囲）とＲ１（点線で示した範囲）および実際の撮影領域ｆを示す。
上記のように指定領域を抽出して表示するパノラマ画像では、パノラマ画像を表すための画素数（解像度）が、一般の画像に比べて大きい。例えば標準デジタルテレビ画像の解像度が７２０×４８０画素であるのに対して、パノラマ画像の解像度は例えば６０００×４８０画素となる。したがって、このようなパノラマ画像を蓄積あるいは伝送する場合、データ量が膨大となることが非常に問題となる。
また、前記図２６に示したカメラは左右に動かすことで広視野の画像を撮影するものであるため、動きのある被写体には適さない。したがって、動画のパノラマ立体画像を簡単に得ることが出来なかった。
本発明はこのような問題を解決し、効率良くパノラマ画像を蓄積あるいは伝送可能にする画像符号化装置または画像送信装置を提供することを目的とし、および簡単に動画のパノラマ立体画像を得ることを可能とする撮像装置を提供することを目的とする。
【発明の開示】
本発明は、上記の目的を達成するため、次の構成を有する。
本発明の第１の要旨は、画像を入力する画像入力手段と、入力された画像を小画面に分割する分割手段と、各小画面画像を符号化する符号化手段と、符号化情報に小画面画像の符号化データの全符号化データ内での位置を示す情報を付加する管理情報付加手段とを有することを特徴とする画像符号化装置である。
本発明の第２の要旨は、画像の縮小処理をする画像縮小手段と、縮小画像を符号化する縮小画像符号化手段とを有することを特徴とする要旨１に記載の画像符号化装置である。
本発明の第３の要旨は、画像情報が動画像情報であり、符号化情報への付加情報には、小画面画像の指定時刻の位置を示す情報を含むことを特徴とする要旨１または要旨２に記載の画像符号化装置である。
本発明の第４の要旨は、画像が分割された小画面画像の符号化データの全符号化データ内での位置を含む管理情報が付加された符号化情報から管理情報を分離する管理情報分離手段と、分離した管理情報に基き全符号化データから指定位置に基づく小画面画像の符号化データを検索する検索手段と、検索された指定位置に基づく小画面画像の符号化データを送信する送信手段とを有することを特徴とする画像送信装置である。
本発明の第５の要旨は、画像が分割された小画面画像の符号化データの全符号化データ内での位置を含む管理情報が付加された符号化情報から管理情報を分離する管理情報分離手段と、分離した管理情報に基き全符号化データから指定位置に基づく小画面画像の符号化データを検索する検索手段と、検索された指定位置に基づく小画面画像の符号化データを復号する復号手段と、復号された小画面画像データのうちの所定領域を切り出す切り出し手段と、切り出された所定領域の画像データを再符号化する再符号化手段と、再符号化された所定領域の画像データを送信する送信手段とを有することを特徴とする画像送信装置である。
本発明の第６の要旨は、切り出された所定領域の画像データを合成する合成手段を有し、合成データを再符号化手段で再符号化して、送信手段から送信することを特徴とする要旨５に記載の画像送信装置である。
本発明の第７の要旨は、送信手段は、小画面画像に分割する前の画像の所定の縮小画像を送信することを特徴とする要旨５または要旨６に記載の画像送信装置である。
本発明の第８の要旨は、２以上の撮影手段を有し、２つの撮影手段をペアにして立体視用の画像を撮影し、ペアの撮影手段の撮影画像で立体画像の画像データを作成することを特徴とする画像撮影装置である。
本発明の第９の要旨は、３以上の撮影手段を有し、２つの撮影手段をペアにして立体視用の画像を撮影し、各ペアで互いに異なる方向の立体画像を撮影し、各ペアの撮影手段の撮影画像で立体画像の画像データを作成するものであり、１つの撮影手段は他の撮影手段と複数のペアを構成することを特徴とする画像撮影装置である。
本発明の第１０の要旨は、画像入力手段に、左目用画像、右目用画像からなる立体視用の画像データを入力することを特徴とする要旨１から要旨３のうちのいずれか１に記載の画像符号化装置である。
本発明の第１１の要旨は、画像入力手段に、要旨８または要旨９の作成立体画像を入力することを特徴とする要旨１から要旨３のうちのいずれか１に記載の画像符号化装置である。
本発明の第１２の要旨は、入力する立体視用画像データには、立体視用の画像が何の種類の画像からなるかを示す情報と、各画像の方向を示す情報とが付加情報として付加されていることを特徴とする要旨１１に記載の画像符号化装置である。
本発明においては、効率良くパノラマ画像を蓄積あるいは伝送する動画像符号化・復号装置、および簡単に動画のパノラマ立体画像を得る撮影装置を構成できる。
【図面の簡単な説明】  図１は、本発明の第１の実施形態に係る符号化装置、送信装置、および受信装置の全体システム説明図である。
図２は、第１の実施形態に係る符号化装置を示すブロック図である。
図３は、第１の実施形態に係る左目用、右目用の各パノラマ画像を分割した例の説明図である。
図４は、図３の左目用パノラマ画像を動画像にした場合の各フレームの説明図である。
図５は、パノラマ動画像をＭＰＥＧ−４で符号化する場合の例の説明である。
図６は、管理情報の結合された各タイルの符号化データの例の説明図である。
図７は、管理情報の例を示す図表であって、（１）は符号化データへのタイムアクセステーブルの説明図、（２）は指定時刻へのランダムアクセステーブルの説明図である。
図８は、第１の実施の形態の送信装置を示すブロック図である。
図９は、パノラマ画像と表示位置の関係を説明する図である。
図１０は、第２の実施形態の受信装置を示すブロック図である。
図１１は、２個の全方位カメラを使用した視野および撮影範囲の説明図である。
図１２は、全方位カメラ１による画像と、全方位カメラ２による画像のデータ例を示す。
図１３は、図１２の画像をタイル分割した例を示す。
図１４は、各タイルの符号化データを蓄積する例を示す。
図１５は、全方位カメラで立体視が可能なようにカメラを配置した例を示す。
図１６は、全方位カメラ１，２，３による画像の例を示す。
図１７は、図１６の画像をタイル分割した例を示す。
図１８は、各タイルの符号化データを管理情報と共に蓄積する例を示す。
図１９は、第４実施形態の送信装置のブロック図である。
図２０は、左目用と右目用の切り出し画像を合成した画像の例の説明図である。
図２１は、左目用と右目用の切り出し画像に縮小パノラマ画像を合成した画像の例の説明図である。
図２２は、左目用と右目用の切り出し画像に縮小パノラマ画像を合成した画像の他の例の説明図である。
図２３は、左目用と右目用の切り出し画像に縮小パノラマ画像を合成した画像であってパディング領域を埋めた例の説明図である。
図２４は、一般の視点の異なる２枚の静止画像を合成して立体画像を表示する方法の説明図である。
図２５は、左目用パノラマ画像、右目用パノラマ画像例を示す。
図２６は、パノラマ立体画像を撮影する左右のカメラの説明図である。
図２７は、第１の実施形態の受信装置を示すブロック図である。
【発明を実施するための最良の形態】  以下、図面を参照して本発明の実施の形態について説明する。
［第１の実施の形態］
図１は第１の実施の形態の全体的なシステム構成図である。
図１に示すように、本発明における第１の実施の形態は、パノラマ画像を符号化する符号化装置（Ａ）、符号化データを蓄積する蓄積装置（Ｄ）と、蓄積された符号化データの一部を取り出し、受信装置に送信する送信装置（Ｂ）と、送信装置（Ｂ）に対してパノラマ画像の表示位置を指定し、送信装置からの符号化データを受信して復号・表示する受信装置（Ｃ）とから成るパノラマ画像送受信システムである。図１において符号（Ｅ）は有線あるいは無線のネットワークである。
図２は第１の実施の形態の符号化装置（Ａ）を示すブロック図である。図２の符号化装置（Ａ）は、パノラマ画像を撮影・デジタル化し、パノラマ画像を入力する入力部（画像入力手段）１０と、入力されたパノラマ画像を該パノラマ画像の全体よりも小さい矩形等の領域であって複数画素からなる小画面の画像（以下「タイル」という）に分割するタイル分割部（分割手段）１２と、分割された各タイルを符号化する符号化部（符号化手段）１４と、各タイルへのアクセスおよびタイル内の指定時間へのランダムアクセスを行うための管理情報を、符号化データに付加する管理情報付加部（管理情報付加手段）１６とを有して構成される。
図３は図２のタイル分割部１２でパノラマ画像を分割した例を示す。ここで、Ｌは左目用パノラマ画像、Ｒは右目用パノラマ画像とし、それぞれが５個のタイルに分割されたものとする。分割されたタイルの番号を０，１，２，３，４とし、左目用パノラマ画像のタイルにＬＴ０〜ＬＴ４、右目用パノラマ画像のタイルにＲＴ０〜ＲＴ４と記号を付ける。各パノラマ画像のサイズが６０００×４８０画素の場合、各タイルの大きさは１２００×４８０画素となる。
なお、ここでは各パノラマ画像を水平５個×垂直１個のタイルに分割したが、タイル分割の方法はこれに限るものではなく、例えば水平１０個×垂直３個のようにより細かく分割しても良いし、各タイルの大きさを可変としても良い。
図２の符号化部１４は各タイルを圧縮符号化する部分である。符号化方式として、パノラマ画像が静止画の場合はＪＰＥＧ，ＪＰＥＧ２０００など静止画用の国際標準方式、パノラマ画像が動画（パノラマ動画像）の場合はＭＰＥＧ−２，ＭＰＥＧ−４など動画用の国際標準方式が用いられる。もちろん、国際標準方式以外の独自方式を用いても良い。
また、前記パノラマ動画像の場合、図３の各タイルは１枚の画像ではなく所定時間間隔で表示する複数のフレームからなる。図４に、パノラマ動画像の左目用画像（左目用パノラマ動画像）をタイル分割した例を示す。ｆ０，ｆ１，ｆ２，・・・は動画の各フレームを示し、例えばタイルＬＴ１はＬＴ１ｆ０，ＬＴ１ｆ１，ＬＴ１ｆ２，・・・のように時間的に連続した複数のフレームから構成される。
パノラマ動画像をＭＰＥＧ−４で符号化する場合の例を図５に示す。ＭＰＥＧ−４ではコマ落しを用いることが出来るため、符号化されるフレームはＬＴ１ｆ０，ＬＴ１ｆ３，ＬＴ１ｆ５，ＬＴ１ｆ１０のようにフレーム番号が飛び飛びになっている。また、この例ではＬＴ１ｆ０をフレーム内符号化フレーム（Ｉフレーム）、ＬＴ１ｆ１０をＬＴ１ｆ０の復号フレームから予測符号化するフレーム（Ｐフレーム）、ＬＴ１ｆ３，ＬＴ１ｆ５をＬＴｆ０，ＬＴｆ１０の復号フレームから両方向予測符号化するフレーム（Ｂフレーム）として符号化している。このような符号化方式で符号化されたデータにランダムアクセスする場合、後で述べるように、アクセスしたいフレームの近傍（直前または直後）のＩフレームから復号を行う。
図２の管理情報付加部１６で付加される管理情報について説明する。管理情報の結合された各タイルの符号化データの例を図６に示す。また、この管理情報の例（表１）を図７に示す。
各タイルの符号化データは、管理情報と共に図６に示すように結合されて蓄積されるが、この時、各タイルへのアクセスを可能とするための情報が管理情報である。パノラマ動画像の場合は、タイルへのアクセスと共に、タイル内の指定時刻の符号化データへのランダムアクセスを可能とする情報も含まれる。
図７の表１（１）は、各タイルの符号化データへのアクセスを行うための管理情報（全符号化データ内での各タイルの符号化データの位置を示す情報を含む）の１例のタイルアクセステーブルある。例えばタイルＬＴ２の符号化データは、図６のデータの先頭からＢ２バイト目（位置を示す情報に相当）に存在することを示している。表１（１）にはさらに、タイル内での指定時刻へのアクセスを行うための情報（ランダムアクセステーブル）へのポインタが記載されている。例えばＬＴ２の符号化データの場合、指定時刻へのアクセステーブルは管理情報内のアドレスＰ２にあることが示される。
また、前記図７の表１（２）は、指定時刻へのアクセステーブル（ランダムアクセステーブル）の例である。この表において時刻ｔ１，ｔ２，ｔ３，・・・は等間隔に設定されていても良いし、任意の時間間隔であっても良い。例えば時刻ｔ３に対応する符号化データは、タイルの符号化データの先頭からＢｔ３バイト目に存在し、その位置からＩｔ３バイト遡った位置にＩフレームの符号化データがあることが示されている。復号装置においてタイルの復号データを時刻ｔ３から表示したい場合、まず、先頭から（ＢＴ３−Ｉｔ３）バイト目にあるＩフレームの符号化データを復号する。次に、順次ＰフレームやＢフレームを復号しつつ復号したバイト数をカウントし、Ｉｔ３バイトだけ復号した時点で表示を開始すれば、指定した時刻ｔ３の表示が行われる。
以上のようにして、膨大なデータ量を持つパノラマ画像が効率よく符号化され、蓄積される。本発明の符号化データは、パノラマ画像をタイルに分割し、各タイルの符号化データへのアクセスを容易にするための情報を符号化データと共に蓄積するため、後述するように、符号化データの一部を取り出すことが可能となる。
［その他のアクセス方法］
（ａ）テレビ電話、インターネットによるストリーミング等、通信用途では符号化データがパケット化されており、各パケットのヘッダ情報にＩフレームの先頭を含むか否かを示す情報が組込まれている場合がある。この時、例えば図７の表１（２）には、指定時刻ｔｉとそれに対応するパケットの先頭までのバイト数Ｂｉ（ｉは正の整数）が書かれている。
指定時刻がｔ３の場合、デコーダは指定時刻ｔ３のパケットにアクセスした後、パケットがＩフレームの先頭を含むか否かをチェックしながら符号化データを読み進み、Ｉフレームを含んだパケットから復号・表示を開始する。（それ以前のパケットは読み捨てる）
（ｂ）前記の（ａ）で、パケットの先頭までのバイト数を明示せず、パケット番号のみを表１（２）に書いておくこともできる。この場合、一つの符号化データ内のパケットの長さ（バイト数など）を固定とし、符号化データのヘッダ情報にパケットの長さを書いておく。
デコーダにて、パケット番号とパケットのバイト数から、指定時刻のパケットの先頭までのバイト数を計算することによって、指定時刻のデータにアクセスすることが可能となる。指定時刻のパケットにアクセスした後の動作は前記（ａ）と同様である。
［その他の蓄積方法］
図６では管理情報と符号化情報が結合されて蓄積されている状態を示しているが、管理情報は符号化情報とは別ファイルとして分離して蓄積してもかまわない。
また、指定時刻へのアクセスのための情報は、前記図７の表１（２）のような管理情報中ではなく、各タイルの符号化データのヘッダ情報に含まれていても良い。その場合、図７の表１（１）の３列目（タイル内での指定時刻へのアクセスを行うための情報へのポインタ）は必要が無くなる。
さらに、管理情報、各タイルの符号化データを全て別ファイルとしても良い。この時、例えば図７の表１（１）の２列目には先頭からのバイト数の代わりに、各タイルの符号化データのファイル名が書かれる。また、各タイルへのアクセスはファイル名を基に行われる。
図８は第１の実施の形態の送信装置を示す。図８の送信装置は、符号化データに含まれる管理情報を分離する管理情報分離部（管理情報分離手段）２０と、受信装置（Ｃ）などから表示位置（指定位置）および表示サイズを入力し、これに対応するタイルを指定するタイル指定部２２と、管理情報と表示位置およびサイズを基に管理情報を解析する解析部２４と、解析結果を元に符号化データをランダムアクセスするランダムアクセス部（検索手段）２６と、ランダムアクセスされた符号化データの一部を送信する送信部２８とから構成される。
図８に示す前記管理情報分離部２０は、図６のように蓄積されたデータから、管理情報を分離する。
また、図８に示す前記タイル指定部２２は、受信部から送られてきた表示位置およびサイズ（パノラマ動画像の場合は、さらに表示時刻）を入力し、表示位置に対応するタイルを求める。
図９はパノラマ画像と表示位置の関係を説明する図である。表示位置およびサイズはパノラマ画像中の座標（ａ，ｂ）および水平・垂直サイズ（ｘ，ｙ）でそれぞれ表される。通常、受信装置のディスプレイで表示できる画像サイズは固定であるため、サイズ（ｘ，ｙ）を固定とし、受信装置（Ｃ）からは表示位置（ａ，ｂ）のみを送信装置（Ｂ）に伝えるようにしても良い。
また、受信部側（受信装置（Ｃ）側）で表示位置を入力し易くするために、パノラマ画像の縮小データを予め送信しておいても良い。この場合は、符号化装置（Ａ）にてパノラマ画像縮小部（画像縮小手段）をさらに備え、入力されたパノラマ画像を縮小し、縮小されたパノラマ画像を符号化部１４にて符号化し、図６のデータと共に蓄積しておく。送信装置（Ａ）は蓄積された符号化データから、縮小されたパノラマ画像の符号化データを取り出し受信装置（Ｃ）に送信する。受信装置（Ｃ）ではこの符号化データを復号して、縮小パノラマ画像を確認しつつ、所望の表示位置、表示サイズを送信装置に伝えれば良い。パノラマ画像が動画の場合は、上記の縮小パノラマ画像も動画となっており、受信装置は表示位置、表示サイズと共に、表示時刻ｔも指定する。例えば、受信装置で縮小パノラマ動画像を再生し、再生中に所望の表示領域を決定することで、その時の再生時刻を表示時刻ｔとして指定する。
図８のタイル指定部２２は、表示位置およびサイズ（および表示時刻）に基づいて表示位置に対応するタイルを求める。表示位置（ａ，ｂ）、サイズ（ｘ，ｙ）を図９のように選択した場合、指定されるタイルはタイル番号１および２となる。
このようなタイルの指定は受信装置（Ｃ）側で行っても良い。その場合は、タイル指定部２２は送信装置（Ｂ）ではなく、受信装置（Ｃ）に備えられ、表示位置およびサイズの代わりに指定するタイルのタイル番号を受信装置から送信装置に通知することとなる。
図８の解析部２４は、前記図７の表１のような管理情報のテーブルと指定されたタイルの情報（および表示時刻）に従って、左目用パノラマ画像、右目用パノラマ画像の各々について、指定されたタイルの符号化情報が、蓄積された符号化データの先頭から何バイト目に存在するかを解析する。
図８のランダムアクセス部２６は、上記解析結果に基づいて蓄積された符号化データをランダムアクセスし、指定されたタイルに対応する符号化データを取り出す。パノラマ動画像の場合は、指定されたタイルの符号化データのうち、表示時刻の直前のＩフレーム以降の符号化データが取り出される。［その他のアクセス方法］に例示した方法でランダムアクセステーブルが作成されている場合は、表示時刻からパケットを読み捨てていき、Ｉフレームを含むパケットが見つかった時点以降の符号化データが取り出される。あるいは、表示時刻のフレームを必ず表示したい場合は、表示時刻から逆方向にパケットを読みながら、Ｉフレームを含むパケットを探し、Ｉフレームを含むパケットが見つかった時点以降の符号化データを取り出すようにしても良い。
図８の送信部（送信手段）２８は、取り出された符号化データを受信装置に送信する。図２７は本実施の形態の受信装置の例を示す。表示位置・サイズ決定部４０は、パノラマ画像の一部を表示領域として決定し、送信装置に通知する部分である。パノラマ動画像の場合は、表示位置、サイズの他に指定時刻も合わせて通知する。復号部（復号手段）３０は送信された符号化データを復号する部分である。一般に送信された符号化データは、表示領域を含む１以上のタイルに対応しているため、切り出し部（切り出し手段）３２にて表示領域を切り出す処理が必要となる。切り出し部３２は、表示位置・サイズ決定部４０で決定した情報に基づき、復号されたタイルの中から必要な表示領域を切り出して、切り出された画像を立体ディスプレイ等に出力し、表示する。パノラマ動画像の場合に、指定時刻の直前のＩフレーム以降の符号化データが送信されているときは、切り出し部３２は指定時刻のフレームが復号されるまで、画像を出力しないようにすることもできる。このような処理を行うため、送信装置からは、表２（１）に示す「直前のＩフレームまでのバイト数」が受信装置に通知されているものとする。
以上のようにして、第１の実施の形態によれば、パノラマ画像のうち、受信装置で表示したい部分を空間的、時間的に指定し、蓄積された符号化データの一部を取り出して送信することができるため、容量の小さい伝送路においてもパノラマ画像を容易に送信し、表示することが可能となる。
［第２の実施の形態］
前記第１の実施の形態とは異なり、他の実施の形態としての本発明の第２の実施の形態では、送信装置（Ｂ）は、符号化装置（Ａ）で作成したパノラマ画像の符号化データを全て受信装置（Ｃ）に送信するようにしてもよい。あるいは、大容量の記録媒体を用いて（介在させて）前記符号化データを受信装置（Ｃ）に渡しても良い。そして、受信装置（Ｃ）に全ての符号化データを蓄積する。
通常、受信装置（Ｃ）側のディスプレイは解像度が低く、蓄積したパノラマ画像を全て表示できないため、図１０のように、受信装置（Ｃ）に第１の実施の形態における送信装置と同様の管理情報分離部２０、タイル指定部２２、解析部２４、ランダムアクセス部２６を設け、さらに、符号化データを復号する復号部３０を設け、パノラマ画像の一部表示位置・サイズ、表示時刻を指定して、管理情報の解析、ランダムアクセス、符号化データの一部の復号をし、ディスプレイなど表示部への表示を行う。
［第３の実施の形態］
本発明の符号化装置におけるパノラマ画像入力部としては、前記図２６に示したような回転カメラの代わりに全方位カメラ（撮影手段）を使用できる。以下、これにより、立体パノラマ動画像の撮影を容易にできるものを第３の実施の形態として説明する。本実施形態では、複数の全方位カメラを使用して立体パノラマ画像を得るようにする。
２個の全方位カメラを使用した場合について図１１〜図１４に基き説明する。
２個の全方位カメラを使用し、各カメラで左目用パノラマ画像、右目用パノラマ画像をそれぞれ得る場合、図１１に示すように、他のカメラが視野に干渉して、立体視が可能な範囲はＡとＣの範囲になる。一方、範囲ＤとＢでは立体視ができない。
このようなパノラマ画像に必要な付加情報（立体視用画像が何の種類の画像からなるかを示す情報と各画像の方向を示す情報とを付加）としては、カメラのタイプ（全方位カメラ２個から成ることを示す）と、全方位カメラ１を左目用、全方位カメラ２を右目用とした時の正面位置に対応する座標（Ｆ（１，２）と表す）と、全方位カメラ２を左目用、全方位カメラ１を右目用とした時の正面位置に対応する座標（Ｆ（２，１）と表す）と、Ａ，Ｂ，Ｃ，Ｄの範囲を示す情報とがある。ここで、Ａ，Ｂ，Ｃ，Ｄの範囲を示す情報は、全方位カメラの特性、カメラのタイプとＦ（１，２）、Ｆ（２，１）などから導くことができるため付加情報として必須ではないが、導くための処理量を削減したり、コンテンツに合わせて範囲を可変にする等の理由から付加情報に含めて明示するようにしても良い。
図１２は、全方位カメラ１による画像と、全方位カメラ２による画像のデータ例を示す。
範囲ＡとＣで、右目用データと左目用データの関係が入れ替わる。範囲Ｂ、Ｄのデータは全て片目用（平面表示用）のデータとなる。
図１３は、図１２の画像をタイル分割した例を示す。
全方位カメラ１の左目用画像はタイルＬＴ０，ＬＴ１、右目用画像はタイルＲＴ０，ＲＴ１、片目用画像はタイルＭＴ０，ＭＴ１に分割される。また、全方位カメラ２も同様に左目用画像はタイルＬＴ２，ＬＴ３、右目用画像はタイルＲＴ２，ＲＴ３、片目用画像はタイルＭＴ２，ＭＴ３に分割される。
図１４は、各タイルの符号化データを管理情報と共に蓄積する例を示す。管理情報には第１の実施形態で説明したタイルアクセステーブル、ランダムアクセステーブルと共に、前述した付加情報が含まれる。付加情報のうち、Ｆ（１，２）、Ｆ（２，１）を図１３のようなパノラマ画像上の水平方向の画素位置（一次元座標）で表現する場合は、Ｆ（１，２）の画素位置は範囲Ａの中央（タイルＬＴ１の左端の画素位置）、Ｆ（２，１）の画素位置は範囲Ｃの中央（タイルＲＴ１の左端の画素位置）となる。このような表現では、Ｆ（１，２）の画素位置とパノラマ画像の水平画素数からＦ（２，１）を求めることが出来るため、付加情報にはＦ（１，２）の情報のみを含めるようにすることもできる。
この例では、全方位カメラ１の符号化データは、少なくとも全方位で平面表示できるように全てのタイルの符号化データを記録する。
また、全方位カメラ２の符号化データは、立体視可能な領域についてのみ符号化データを記録する。すなわち、ＭＴ２，ＭＴ３は符号化しない、あるいはＭＴ２，ＭＴ３の符号化データは記録しないようにする。
なお、上記の例では片目用画像のタイルＭＴ２，ＭＴ３を落としていたが、符号化データのうちで片目用画像を利用する場合で、他のカメラを写しこんでいないタイルのデータを利用することもできる。つまり、全方位カメラ１では、範囲ＢのタイルＭＴ０を落とし、範囲ＤのタイルＭＴ１を残し、全方位カメラ２では範囲ＢのタイルＭＴ２を残し、範囲ＤのタイルＭＴ３を落とす。
タイルへの分割方法、符号化データの組み合わせ方法は上記の例に限るものではない。例えば、一つのタイルが範囲Ａと範囲Ｂの両方にまたがるように分割してもかまわない。また、一部のタイルを落す例を述べたが、全てのタイルを符号化するようにしてもよい。
次に、３個の全方位カメラを使用した場合について説明する。
図１５は、全ての方位で立体視が可能なように３個の全方位カメラを配置した例を示す。
このようなパノラマ画像に必要な付加情報としては、カメラのタイプ（全方位カメラ３個から成ることを示す）と、全方位カメラ１を左目用、全方位カメラ２を右目用とした時の正面位置に対応する座標（Ｆ（１，２）と表す）と、全方位カメラ２を左目用、全方位カメラ３を右目用とした時の正面位置に対応する座標（Ｆ（２，３））と表す）と、カメラ３を左目用、カメラ１を右目用とした時の正面位置に対応する座標（Ｆ（３，１）と表す）と、Ｅ，Ｆ，Ｇの範囲を示す情報とがある。ここでＥ，Ｆ，Ｇの情報は前述のＡ，Ｂ，Ｃ，Ｄと同様、付加情報に必須ではないが、処理量削減等のために付加情報に含めて明示するようにしてもよい。
図１６は、全方位カメラ１，２，３による画像の例を示す。
範囲Ｅ，Ｆ，Ｇで、右目用データと左目用データの関係および使用するカメラの組み合わせが異なる。
図１７は、図１６の画像をタイル分割した例を示す。
また、図１８は、各タイルの符号化データを管理情報と共に蓄積する例を示す。管理情報には第１の実施形態で説明したタイルアクセステーブル、ランダムアクセステーブルと共に、前述した付加情報が含まれる。付加情報のうち、Ｆ（１，２）、Ｆ（２，３）、Ｆ（３，１）を図１７のようなパノラマ画像上の水平方向の画素位置（一次元座標）で表現する場合は、全方位カメラを２個用いた場合と同様に、Ｆ（１，２）のみを付加情報に含めるようにすることもできる。
なお、図１８の例ではタイルＭＴ２〜ＭＴ５の符号化を行わず、これらに対応する符号化データは記録しない。
このように第３の実施の形態においては、全方位カメラを複数用いることで立体パノラマ動画像の撮影を容易に行うことが可能となり、また、タイルの一部を符号化しないことで蓄積または伝送される符号化データ量を削減することが可能となる。
［第４の実施の形態］
第１の実施の形態で説明した送信装置では、一般に表示位置・サイズに対応したタイルが複数あるため、伝送データに無駄が発生する。本発明の第４の実施の形態では図１９の送信装置のように、復号部３０で復号したデータを切り出し部３２で表示位置・サイズの部分を切り出して合成部（合成手段）３４で合成画像を作成する。そして、再符号化部（再符号化手段）３６で合成画像を再符号化して送信部２８により送信する。このように必要な部分の復号画像を切り出し合成し再符号化して送信し、データ量を最少にする。
合成画像には、例えば、図２０に示すように左目用と右目用の切り出し画像を左右くっ付けた状態の１フレームの合成画像にすることができる。
また、図２１に示すように、全体画像が確認できるように縮小したパノラマ画像も、切り出した左右の画像の上側に付けるなどした１フレームの合成画像とすることができる。
また、図２２に示すように、縮小パノラマ画像を左右の切り出し画像の先頭に付けるようにした合成画像にしても良い。
さらに、図２３に示すように、左右の切り出し画像と縮小パノラマ画像の３つの画像を合成したとき、一般には余りの領域が生じる。余りの部分についてはパディングによってデータ（ダミーデータ）を埋め、全体として矩形の画像を作成する。
いずれの場合にも、合成した画像を受信装置で分離するための情報を符号化データのヘッダ部分などに付加することとなる。あるいは、このような情報はヘッダ部分ではなく管理情報に含めるようにしても良い。
前記図１９などに説明したように、合成画像を再符号化・送信するのは受信装置側で１つの符号化データを扱えばすむというメリットがある。しかし、合成の処理を省略したい場合は受信装置側で複数符号化データを扱えるようにしても良い。その場合、送信装置では縮小画像や切り出した左右の画像を独立に符号化して送信する。
前記図９の説明では、表示位置（ａ，ｂ）と表示サイズ（ｘ，ｙ）を受信装置から送信装置に通知する方法を述べたが、パノラマ画像の表示領域を指定する方法はこれに限るものではない。前記図１９などによる本発明の実施の形態では、切り取り位置（Ａ，Ｂ）、切り取りサイズ（Ｘ，Ｙ）および表示サイズ（ｘ，ｙ）を指定する方法を用いても良い。ここで、送信装置がパノラマ画像から切り取る領域は、切り取り位置（Ａ，Ｂ）、切り取りサイズ（Ｘ，Ｙ）で表され、受信装置にて実際に表示されるサイズは（ｘ，ｙ）で表すものとする。例えば、（Ｘ，Ｙ）が（ｘ，ｙ）より大きい場合は切り取られた領域が（ｘ，ｙ）のサイズに縮小され符号化されて受信装置に送られる。逆に、（Ｘ，Ｙ）が（ｘ，ｙ）より小さい場合は切り取られた領域が（ｘ，ｙ）のサイズに拡大され符号化されて受信装置に送られる。このようにすることで、パノラマ画像の表示画像がズームインしたりズームアウトするような効果を得ることが可能となる。
以上説明したとおり本発明によれば、効率良くパノラマ画像を蓄積あるいは伝送する動画像符号化・復号装置、および簡単に動画のパノラマ立体画像を得る撮影装置を構成できる。
【産業上の利用可能性】  本発明に係る画像符号化装置、画像送信装置および画像撮影装置は、パノラマ立体画像特に画素数が多く（解像度の高い）膨大なデータ量のパノラマ静止画像もしくはパノラマ立体動画像を効率良く符号化して蓄積し、ネットワークの経由により伝送し復号することにより、そのパノラマ立体画像を表示装置の画面に表示させることを可能にするもので、容量の小さな伝送路においてパノラマ画像を容易に送信し表示させることに適している。また、本発明に係る画像撮影装置は、複数の全方位カメラでパノラマ画像を得ることに適している。
【図１】
2004004363.tif 000003
【図２】
2004004363.tif 000004
【図３】
2004004363.tif 000005
【図４】
2004004363.tif 000006
【図５】
2004004363.tif 000007
【図６】
2004004363.tif 000008
【図７】
2004004363.tif 000009
【図８】
2004004363.tif 000010
【図９】
2004004363.tif 000011
【図１０】
2004004363.tif 000012
【図１１】
2004004363.tif 000013
【図１２】
2004004363.tif 000014
【図１３】
2004004363.tif 000015
【図１４】
2004004363.tif 000016
【図１５】
2004004363.tif 000017
【図１６】
2004004363.tif 000018
【図１７】
2004004363.tif 000019
【図１８】
2004004363.tif 000020
【図１９】
2004004363.tif 000021
【図２０】
2004004363.tif 000022
【図２１】
2004004363.tif 000023
【図２２】
2004004363.tif 000024
【図２３】
2004004363.tif 000025
【図２４】
2004004363.tif 000026
【図２５】
2004004363.tif 000027
【図２６】
2004004363.tif 000028
【図２７】
2004004363.tif 000029
【手続補正書】
【提出日】平成15年12月10日(2003.12.10)
【手続補正００１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【請求項１】画像を入力する画像入力手段と、
入力された画像を小画面に分割する分割手段と、
各小画面画像を符号化する符号化手段と、
符号化情報に小画面画像の符号化データの全符号化データ内での位置を示す情報を付加する管理情報付加手段とを有することを特徴とする画像符号化装置。
【請求項２】画像の縮小処理をする画像縮小手段と、縮小画像を符号化する縮小画像符号化手段とを有することを特徴とする請求の範囲第１項記載の画像符号化装置。
【請求項３】画像情報が動画像情報であり、符号化情報への付加情報には、小画面画像の指定時刻の位置を示す情報を含むことを特徴とする請求の範囲第１項または第２項に記載の画像符号化装置。
【請求項４】画像が分割された小画面画像の符号化データの全符号化データ内での位置を含む管理情報が付加された符号化情報から管理情報を分離する管理情報分離手段と、分離した管理情報に基き全符号化データから指定位置に基づく小画面画像の符号化データを検索する検索手段と、検索された指定位置に基づく小画面画像の符号化データを送信する送信手段とを有することを特徴とする画像送信装置。
【請求項５】画像が分割された小画面画像の符号化データの全符号化データ内での位置を含む管理情報が付加された符号化情報から管理情報を分離する管理情報分離手段と、分離した管理情報に基き全符号化データから指定位置に基づく小画面画像の符号化データを検索する検索手段と、検索された指定位置に基づく小画面画像の符号化データを復号する復号手段と、復号された小画面画像データのうちの所定領域を切り出す切り出し手段と、切り出された所定領域の画像データを再符号化する再符号化手段と、再符号化された所定領域の画像データを送信する送信手段とを有することを特徴とする画像送信装置。
【請求項６】切り出された所定領域の画像データを合成する合成手段を有し、合成データを再符号化手段で再符号化して、送信手段から送信することを特徴とする請求の範囲第５項に記載の画像送信装置。
【請求項７】送信手段は、小画面画像に分割する前の画像の所定の縮小画像を送信することを特徴とする請求項範囲第５項または第６項に記載の画像送信装置。
【請求項８】（補正後）２つの撮影手段により画像を撮影する画像撮影装置であって、撮影された画像は立体視可能な範囲を２種類有し、前記範囲は前記撮影手段に対して互いにほぼ１８０度異なる方向に位置することを特徴とする画像撮影装置。
【請求項９】（補正後）３つの撮影手段により画像を撮影する画像撮影装置であって、撮影された画像は立体視可能な範囲を３種類有し、前記範囲は前記撮影手段に対して互いにほぼ１２０度異なる方向に位置することを特徴とする画像撮影装置。
【請求項１０】画像入力手段に、左目用画像、右目用画像からなる立体視用の画像データを入力することを特徴とする請求の範囲第１項から第３項のうちのいずれか１項に記載の画像符号化装置。
【請求項１１】画像入力手段に、請求の範囲第８項または第９項の作成立体画像を入力することを特徴とする請求の範囲第１項から第３項のうちのいずれか１項に記載の画像符号化装置。
【請求項１２】入力する立体視用画像データには、立体視用の画像が何の種類の画像からなるかを示す情報と、各画像の方向を示す情報とが付加情報として付加されていることを特徴とする請求の範囲第１１項に記載の画像符号化装置。




【手続補正書】
【提出日】平成16年7月12日(2004.7.12)
【手続補正００１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】２以上の画像を入力する画像入力手段と、
入力された画像を小画面に分割する分割手段と、
各小画面画像を符号化する符号化手段と、
符号化情報に小画面画像の符号化データの全符号化データ内での位置を示す情報を付加する管理情報付加手段とを有し、
前記画像は、右目用の画像領域と左目用の画像領域の両方を各画像内に含むことを特徴とする画像符号化装置。


【手続補正００２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項４
【補正方法】変更
【補正の内容】
【請求項４】２以上の画像が分割された小画面画像の符号化データの全符号化データ内での位置を含む管理情報が付加された符号化情報から管理情報を分離する管理情報分離手段と、
分離した管理情報に基き全符号化データから指定位置に基づく小画面画像の符号化データを検索する検索手段と、
検索された指定位置に基づく小画面画像の符号化データを送信する送信手段とを有し、
前記画像は、右目用の画像領域と左目用の画像領域の両方を各画像内に含むことを特徴とする画像送信装置。


【手続補正００３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項５
【補正方法】変更
【補正の内容】
【請求項５】２以上の画像が分割された小画面画像の符号化データの全符号化データ内での位置を含む管理情報が付加された符号化情報から管理情報を分離する管理情報分離手段と、
分離した管理情報に基き全符号化データから指定位置に基づく小画面画像の符号化データを検索する検索手段と、
検索された指定位置に基づく小画面画像の符号化データを復号する復号手段と、
復号された小画面画像データのうちの所定領域を切り出す切り出し手段と、
切り出された所定領域の画像データを再符号化する再符号化手段と、
再符号化された所定領域の画像データを送信する送信手段とを有し、
前記画像は、右目用の画像領域と左目用の画像領域の両方を各画像内に含むことを特徴とする画像送信装置。


【手続補正００４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項８
【補正方法】変更
【補正の内容】
【請求項８】２つの撮影手段により画像を撮影する画像撮影装置であって、
撮影された２つの画像は立体視可能な範囲を２種類有し、前記範囲は前記撮影手段に対して互いにほぼ１８０度異なる方向に位置するとともに、
前記画像は、右目用の画像領域と左目用の画像領域の両方を各画像内に含むことを特徴とする画像撮影装置。


【手続補正００５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項９
【補正方法】変更
【補正の内容】
【請求項９】３つの撮影手段により画像を撮影する画像撮影装置であって、
撮影された３つの画像は立体視可能な範囲を３種類有し、前記範囲は前記撮影手段に対して互いにほぼ１２０度異なる方向に位置するとともに、
前記画像は、右目用の画像領域と左目用の画像領域の両方を各画像内に含むことを特徴とする画像撮影装置。


【手続補正００６】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１０
【補正方法】変更
【補正の内容】
【請求項１０】画像内の所定の領域の位置情報を含む管理情報が付加された符号化データから、前記管理情報を分離する管理情報分離手段と、
前記管理情報に基づいて、前記符号化データから前記所定の領域に対応する符号化データを検索する検索手段と、
検索された符号化データを送信する送信手段とを有し、
前記画像は、立体視用画像データを構成する２以上の画像の一つであって、右目用の画像領域と左目用の画像領域の両方を各画像内に含むことを特徴とする画像送信装置。


【手続補正００７】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１１
【補正方法】変更
【補正の内容】
【請求項１１】立体視用画像データを構成する２以上の画像の一つを入力する画像入力手段と、
前記画像を符号化する画像符号化手段と、
符号化情報に前記画像内の所定の領域の位置情報を付加する管理情報付加手段とを有し、
前記画像は、右目用の画像領域と左目用の画像領域の両方を各画像内に含み、
前記位置情報は、前記領域が前記符号化データ内での位置を示す情報であることを特徴とする画像符号化装置。


【手続補正００８】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
図２５は、左目用パノラマ画像、右目用パノラマ画像を示す。また、図２６は、図２５のようなパノラマ立体画像を撮影する、それぞれが組み合わさって左右に回転する左目用カメラＬと右目用カメラＲとそれらの撮影視野Ｌ１（実線で示した範囲）とＲ１（点線で示した範囲）および実際の撮影領域ｆを示す。
上記のように指定領域を抽出して表示するパノラマ画像では、パノラマ画像を表すための画素数（解像度）が、一般の画像に比べて大きい。例えば標準デジタルテレビ画像の解像度が７２０×４８０画素であるのに対して、パノラマ画像の解像度は例えば６０００×４８０画素となる。したがって、このようなパノラマ画像を蓄積あるいは伝送する場合、データ量が膨大となることが非常に問題となる。
また、前記図２６に示したカメラは左右に動かすことで広視野の画像を撮影するものであるため、動きのある被写体には適さない。したがって、動画のパノラマ立体画像を簡単に得ることが出来なかった。
本発明はこのような問題を解決し、効率良くパノラマ画像を蓄積あるいは伝送可能にする画像符号化装置または画像送信装置を提供することを目的とし、および簡単に動画のパノラマ立体画像を得ることを可能とする撮像装置を提供することを目的とする。
発明の開示
本発明は、上記の目的を達成するため、次の構成を有する。
本発明の第１の要旨は、２以上の画像を入力する画像入力手段と、入力された画像を小画面に分割する分割手段と、各小画面画像を符号化する符号化手段と、符号化情報に小画面画像の符号化データの全符号化データ内での位置を示す情報を付加する管理情報付加手段とを有し、前記画像は、右目用の画像領域と左目用の画像領域の両方を各画像内に含むことを特徴とする画像符号化装置である。
本発明の第２の要旨は、画像の縮小処理をする画像縮小手段と、縮小画像を符


【手続補正００９】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
号化する縮小画像符号化手段とを有することを特徴とする要旨１に記載の画像符号化装置である。
本発明の第３の要旨は、画像情報が動画像情報であり、符号化情報への付加情報には、小画面画像の指定時刻の位置を示す情報を含むことを特徴とする要旨１または要旨２に記載の画像符号化装置である。
本発明の第４の要旨は、２以上の画像が分割された小画面画像の符号化データの全符号化データ内での位置を含む管理情報が付加された符号化情報から管理情報を分離する管理情報分離手段と、分離した管理情報に基き全符号化データから指定位置に基づく小画面画像の符号化データを検索する検索手段と、検索された指定位置に基づく小画面画像の符号化データを送信する送信手段とを有し、前記画像は、右目用の画像領域と左目用の画像領域の両方を各画像内に含むことを特徴とする画像送信装置である。
本発明の第５の要旨は、２以上の画像が分割された小画面画像の符号化データの全符号化データ内での位置を含む管理情報が付加された符号化情報から管理情報を分離する管理情報分離手段と、分離した管理情報に基き全符号化データから指定位置に基づく小画面画像の符号化データを検索する検索手段と、検索された指定位置に基づく小画面画像の符号化データを復号する復号手段と、復号された小画面画像データのうちの所定領域を切り出す切り出し手段と、切り出された所定領域の画像データを再符号化する再符号化手段と、再符号化された所定領域の画像データを送信する送信手段とを有し、前記画像は、右目用の画像領域と左目用の画像領域の両方を各画像内に含むことを特徴とする画像送信装置である。
本発明の第６の要旨は、切り出された所定領域の画像データを合成する合成手段を有し、合成データを再符号化手段で再符号化して、送信手段から送信することを特徴とする要旨５に記載の画像送信装置である。
本発明の第７の要旨は、送信手段は、小画面画像に分割する前の画像の所定の縮小画像を送信することを特徴とする要旨５または要旨６に記載の画像送信装置


【手続補正０１０】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
である。
本発明の第８の要旨は、２つの撮影手段により画像を撮影する画像撮影装置であって、撮影された２つの画像は立体視可能な範囲を２種類有し、前記範囲は前記撮影手段に対して互いにほぼ１８０度異なる方向に位置するとともに、前記画像は、右目用の画像領域と左目用の画像領域の両方を各画像内に含むことを特徴とする画像撮影装置である。
本発明の第９の要旨は、３つの撮影手段により画像を撮影する画像撮影装置であって、撮影された３つの画像は立体視可能な範囲を３種類有し、前記範囲は前記撮影手段に対して互いにほぼ１２０度異なる方向に位置するとともに、前記画像は、右目用の画像領域と左目用の画像領域の両方を各画像内に含むことを特徴とする画像撮影装置である。
本発明の第１０の要旨は、画像内の所定の領域の位置情報を含む管理情報が付加された符号化データから、前記管理情報を分離する管理情報分離手段と、前記管理情報に基づいて、前記符号化データから前記所定の領域に対応する符号化データを検索する検索手段と、検索された符号化データを送信する送信手段とを有し、前記画像は、立体視用画像データを構成する２以上の画像の一つであって、右目用の画像領域と左目用の画像領域の両方を各画像内に含むことを特徴とする画像送信装置である。
本発明の第１１の要旨は、立体視用画像データを構成する２以上の画像の一つを入力する画像入力手段と、前記画像を符号化する画像符号化手段と、符号化情報に前記画像内の所定の領域の位置情報を付加する管理情報付加手段とを有し、前記画像は、右目用の画像領域と左目用の画像領域の両方を各画像内に含み、前記位置情報は、前記領域が前記符号化データ内での位置を示す情報であることを特徴とする画像符号化装置である。
本発明の第１２の要旨は、入力する立体視用画像データには、立体視用の画像が何の種類の画像からなるかを示す情報と、各画像の方向を示す情報とが付加情報として付加されていることを特徴とする要旨１１に記載の画像符号化装置である。
本発明においては、効率良くパノラマ画像を蓄積あるいは伝送する動画像符号化・復号装置、および簡単に動画のパノラマ立体画像を得る撮影装置を構成できる。
図面の簡単な説明
図１は、本発明の第１の実施形態に係る符号化装置、送信装置、および受信装置の全体システム説明図である。
図２は、第１の実施形態に係る符号化装置を示すブロック図である。
図３は、第１の実施形態に係る左目用、右目用の各パノラマ画像を分割した例の説明図である。




【国際調査報告】
2004004363.tif 000030
2004004363.tif 000031
2004004363.tif 000032
2004004363.tif 000033
2004004363.tif 000034
2004004363.tif 000035