(57)【要約】【課題】本実施形態の送信信号処理装置及び送信信号処理方法は、超高精細な画像データを送受信できるシステムの利用範囲を拡張し、種々の形態で番組を視聴できる。【解決手段】実施形態によれば、符号化装置が同じ空間内を異なる場所の複数のカメラで撮像した複数の画像データをそれぞれ符号化する。ストリーム化装置が複数の符号化画像データをそれぞれストリーム化する。解像度設定装置が、各ストリーム内のそれぞれの画像データの解像度を決定する。ストリーム選択装置が、複数のストリームの中から、伝送容量の許容範囲で、１つまたは複数のストリームを選択する。ストリーム合成装置が、選択されたストリーム及び制御信号を搬送するストリームを１つのストリームに合成し、合成ストリームを出力する。【選択図】図１
2015195562.tif 000002
【特許請求の範囲】
【請求項１】
同じ撮影空間内を異なる場所の複数のカメラで撮像した複数の撮像画像データをそれぞれ符号化する符号化装置と、
画像データの解像度を決定する解像度設定装置と、
前記解像度が設定され、かつ符号化された複数の符号化画像データをそれぞれストリーム化するストリーム化装置と、
前記符号化画像データを搬送する複数のストリームの中から、１つまたは複数のストリームを選択するストリーム選択装置と、
選択されたストリーム及び制御信号を搬送するストリームを１つのストリームに合成し、合成ストリームを出力するストリーム合成装置と、
前記合成ストリームを送信信号として出力する送信信号生成装置と、
を有する送信信号処理装置。
【請求項２】
携帯モニタが、
前記解像度設定装置、ストリーム選択装置を制御し、送信するストリームを選択し、前記選択されたストリームの解像度を決定し、
前記携帯モニタが、さらに
前記複数の撮像画像データをモニタリングする複数のモニタに対応する複数ブロックを示す第１の画像を表示する表示ロジックと、
前記複数ブロックの中から選択されたブロックの設定情報を示す第２の画像を表示する表示ロジックと、を有し、
前記選択が実行されるときは、前記第１の画像内の任意のブロックがタッチ操作により前記第２の画像までドラッグされることで前記設定情報が表示されるように構成されている、請求項１記載の送信信号処理装置。
【請求項３】
前記合成ストリームには、立体表示用の画像データも含まれる請求項１記載の送信信号処理装置。
【請求項４】
前記カメラは、患部を撮像するカメラである請求項１記載の送信信号処理装置。
【請求項５】
前記解像度設定装置の解像度設定及び又はストリーム選択装置のストリーム選択は、遠隔制御信号により制御される請求項１記載の送信信号処理装置。
【請求項６】
第１の解像度が設定されて符号化されている第１の画像データを搬送する第１のストリームと、前記第１の解像度若しくは第２の解像度が設定され符号化されている第２の画像データを搬送する第２のストリームと、が合成された合成ストリームを受信し復調する受信及び復調器と、ここで前記第１の画像データと第２の画像データとは、同じ撮影空間の被写体を異なるアングルで撮像して取得した画像データであり、
前記第１のストリームと第２のストリームとを分離する分離回路と、
分離された前記第１と第２のストリームの画像データを復号化し、第１の画像データと第２の画像データとを得る第１と第２の復号器と、
前記第１と第２の画像データによる第１と第２の画像を、設定した表示パターンで表示器の表示エリアに配置するように、前記第１と第２の画像データを前記表示器に出力するための表示パターン設定部と、
前記表示パターンを複数のパターンから選択するために携帯モニタと通信して、操作信号を受け取り、前記表示パターン設定部を制御するシステム制御装置と、
を備える受信信号処理装置。
【請求項７】
前記携帯モニタが、
タッチ入力操作パネルを備えた表示パネルを有し、
前記表示パネルに、前記第１と第２のストリームの画像を表示する複数のブロックを表示するとともに、複数の表示エリアを設定し、
前記複数のブロックのうち任意のブロックがタッチ操作により前記複数の表示エリアの任意の表示エリアドラッグされることで前記表示パターンが設定される、
請求項６の受信信号処理装置。
【請求項８】
前記合成ストリームには、立体表示用の画像データが含まれる請求項６記載の受信信号処理装置。
【請求項９】
前記システム制御装置は、前記携帯モニタの操作情報を、前記合成ストリームを生成している送信装置へ送信する請求項６記載の受信信号処理装置。
【請求項１０】
前記同じ撮影空間の被写体は、患部である請求項６記載の受信信号処理装置。
【請求項１１】
前記携帯モニタの操作データを受け取り、前記第１のストリーム及び第２のストリームを生成する送信側へ送信する制御部を備える請求項６記載の受信信号処理装置。
【請求項１２】
送信装置を形成するブロックにおいて、
同じ撮影空間内を異なる場所の複数のカメラで撮像した複数の撮像画像データをそれぞれ符号化し、
画像データの解像度を決定し、
前記解像度が設定され、かつ符号化された複数の符号化画像データをそれぞれストリーム化し、
前記符号化画像データを搬送する複数のストリームの中から、１つまたは複数のストリームを選択し、
選択されたストリーム及び制御信号を搬送するストリームを１つのストリームに合成し、合成ストリームを出力し、
前記合成ストリームを送信信号として出力する、
送信信号処理方法。
【請求項１３】
携帯モニタを用い、
前記解像度を設定する設定装置、ストリーム選択装置を制御し、送信するストリームを選択し、前記選択されたストリームの解像度を決定し、
前記携帯モニタで、
前記複数の撮像画像データをモニタリングする複数のモニタに対応する複数ブロックを示す第１の画像を表示し、
前記複数ブロックの中から選択されたブロックの設定情報を示す第２の画像を表示し、
前記選択が実行されるときは、前記第１の画像内の任意のブロックがタッチ操作により前記第２の画像までドラッグされることで前記設定情報が表示する、
請求項１２記載の送信信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この実施形態は送信信号処理装置及び方法、受信信号処理装置及び方法に関する。
【背景技術】
【０００２】
デジタルテレビジョン放送システムは、水平方向１９２０に画素、垂直方向１０８０に画素を配置した画像データを送信している。この解像度の画像データは、２Ｋ１Ｋ（単に２Ｋと称する場合もある）と一般に称されている。
【０００３】
また最近は、水平方向に３８４０画素、垂直方向に２１６０画素を配置した画像データの処理システムも開発されている。この解像度の画像データは、４Ｋ２Ｋ（単に４Ｋと称する場合もある）と一般に称されている。
【０００４】
さらにまた、水平方向に７６８０画素、垂直方向に４３２０画素を配置した画像データの処理システムも開発されている。この解像度の画像データは、８Ｋ４Ｋ（単に８Ｋと称する場合もある）と一般に称されている。また１６Ｋと称される画像データの処理システムも開発されている。
【０００５】
上記したように最近は、超高精細な画像データを処理する処理システムが開発されおり、その普及が要望されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第２７９１３１０号公報
【特許文献２】特開２０１４−３４９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記した超高精細な画像データにより構成される番組の放送が衛星放送システムなどにより実現されるように開発が進められている。しかし、放送番組のコンテンツとしては、必ずしも全てが高精細画像データとは限らない。また、超高精細な画像データを送受信する放送設備と受信機が開発されたとしても、全ての利用者が全ての放送番組を例えば８Ｋ４Ｋの超高精細な画像データで視聴したいと考えているわけではない。
【０００８】
そこで本実施形態では、超高精細な画像データを送受信できるシステムの利用範囲を拡張し、種々の形態で番組を視聴できるようにした送信信号処理装置及び方法、受信信号処理装置及び方法を提供することを目的とする。さらにまた、他の実施形態では、医療診断に有効な、送信信号処理装置及び方法、受信信号処理装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本実施形態によれば、同じオブジェクトを異なる角度から複数のカメラで取得した複数の画像データをそれぞれストリーム化して複数のストリームを生成し、前記複数のストリーム中から任意のストリームを選択し、選択されたストリーム及び制御信号を搬送するストリームを１つのストリームに合成し、合成ストリームを生成し、
前記合成ストリームを送信信号として出力する送信信号生成装置、を有する。
【００１０】
また、別の実施形態では、第１の解像度が設定されて符号化されている第１の画像データを搬送する第１のストリームと、前記第１の解像度若しくは第２の解像度が設定され符号化されている第２の画像データを搬送する２のストリームと、が合成された合成ストリームを受信し復調する受信及び復調器と、ここで前記第１の画像データと第２の画像データとは、同じ撮影空間の被写体を異なるアングルで撮像して取得した画像データであり、
前記第１のストリームと第２のストリームとを分離する分離回路と、
分離された前記第１と第２のストリームの画像データを復号化し、第１の画像データと第２の画像データとを得る第１と第２の復号器と、
前記第１と第２の画像データによる第１と第２の画像を、設定した表示パターンで表示器の表示エリアに配置するように、前記第１と第２の画像データを前記表示器に出力するための表示パターン設定部と、
前記表示パターンを複数のパターンから選択するために携帯モニタと通信して、操作信号を受け取り、前記表示パターン設定部を制御するシステム制御装置と、
を備える。
【図面の簡単な説明】
【００１１】
【図１】一実施形態を説明するために、コンサートホールの空間を中継するビデオカメラの配置例を示す図である。
【図２】図２は、図１のビデオカメラから収集された映像信号を処理するための放送設備の構成例を示す図である。
【図３Ａ】図３Ａは、図２の放送設備において、放送番組を組み立てる編集者が操作する携帯モニタの操作例を説明するための図である。
【図３Ｂ】図３Ｂは、図２の放送設備において、放送番組を組み立てる編集者が操作する携帯モニタの他の操作例を説明するための図である。
【図３Ｃ】図３Ｃは、図２の放送設備において、放送番組を組み立てる編集者が操作する携帯モニタのさらに他の操作例を説明するための図である。
【図４】図４は、放送信号を受信する受信装置（テレビジョン受信装置、セットトップボックス、記録再生装置、中継装置など）の構成例を示す図である。
【図５Ａ】図５Ａは、図４の受信装置を操作するためにユーザが操作する携帯モニタの操作例を説明するための図である。
【図５Ｂ】図５Ｂは、図４の受信装置を操作するためにユーザが操作する携帯モニタの他の操作例を説明するための図である。
【図５Ｃ】図５Ｃは、図４の受信装置を操作するためにユーザが操作する携帯モニタのさらに他の操作例を説明するための図である。
【図５Ｄ】図５Ｄは、図４の受信装置を操作するためにユーザが操作する携帯モニタのさらに又他の操作例を説明するための図である。
【図５Ｅ】図５Ｅは、図４の受信装置を操作するためにユーザが操作する携帯モニタの又他の操作例を説明するための図である。
【図６Ａ】図６Ａは、図４の受信装置を操作するためにユーザが操作する携帯モニタの操作例を説明するための図である。
【図６Ｂ】図６Ｂは、図４の受信装置を操作するためにユーザが操作する携帯モニタの他の操作例を説明するための図である。
【図６Ｃ】図６Ｃは、図４の受信装置を操作するためにユーザが操作する携帯モニタのさらに他の操作例を説明するための図である。
【図６Ｄ】図６Ｄは、図４の受信装置を操作するためにユーザが操作する携帯モニタのさらに又他の操作例を説明するための図である。
【図６Ｅ】図６Ｅは、図４の受信装置を操作するためにユーザが操作する携帯モニタの又他の操作例を説明するための図である。
【図７Ａ】図７Ａは、図４の受信装置を操作するためにユーザが操作する携帯モニタの操作例を説明するための図である。
【図７Ｂ】図７Ｂは、図４の受信装置を操作するためにユーザが操作する携帯モニタの他の操作例を説明するための図である。
【図７Ｃ】図７Ｃは、図４の受信装置を操作するためにユーザが操作する携帯モニタのさらに他の操作例を説明するための図である。
【図８】図８は、携帯モニタの構成例を示す図である。
【図９】図９は、画像データ送信装置１１、画像データ受信装置１２、表示器４４０、及び携帯モニタ４６０との関係を示すシステム構成図である。
【図１０Ａ】図１０Ａは、携帯モニタ４６０の画面の表示例を示す図である。
【図１０Ｂ】図１０Ｂは、携帯モニタ４６０の画面の他の表示例を示す図である。
【図１１Ａ】図１１Ａは、さらに他の実施形態を説明するために示す図である。
【図１１Ｂ】図１１Ｂは、さらにまた他の実施形態を説明するために示す図である。
【図１２Ａ】図１２Ａは、また他の実施形態を説明するために示す図である。
【図１２Ｂ】図１２Ｂは、また別の実施形態を説明するために示す図である。
【図１３】図１３は、画像データ送信装置１１から画像データ受信装置１２へデータを送信する際に利用されるストリームのフォーマット例を示す図である。
【図１４】図１４は、２Ｋの画像データ（ピクセル群）が、４Ｋの画像データに構築され、４Ｋの画像データ（ピクセル群）が８Ｋの画像データ（ピクセル群）に構築されるときのイメージを概略的に示す図である。
【図１５】図１５は、可視域と近赤外域で同時に観測可能な生体内画像の撮像装置に関する第１の全体光学系説明図である。
【図１６】図１６は、タングステン・ハロゲン光源からの放出光の波長特性説明図である。
【図１７Ａ】図１７Ａは、広い範囲の使用波長領域全域に亘る色収差補正の方法説明図である。
【図１７Ｂ】図１７Ｂは、図１７Ａと共に、広い範囲の使用波長領域全域に亘る色収差補正の方法説明図である。
【図１７Ｃ】図１７Ｃは、図１７Ａ、図１７Ｂと共に、広い範囲の使用波長領域全域に亘る色収差補正の方法説明図である。
【図１８】図１８は、可視光域撮像部内構造説明図である。
【図１９】図１９は、可視域と近赤外域で同時に観測可能な生体内画像の撮像装置に関する第２の全体光学系説明図である。
【図２０】図２０は、図１９における光路ガイド内のＸＸ断面図である。
【図２１】図２１は、温度変化に対応した純水の近赤外吸収スペクトル変化説明図である。
【図２２】図２２は、Ｍ期中期における細胞内構造説明図である。
【図２３】図２３は、水分子層により発生する吸収ピークの説明図である。
【図２４】図２４は、近赤外光域撮像部内構造に関する第１の応用実施形態説明図である。
【図２５】図２５（ａ）〜図２５（ｅ）は、近赤外光域撮像部内構造に関する第２の実施形態の説明図である。
【図２６】図２６は、特殊情報を含む生体内画像生成例の説明図である。
【発明を実施するための形態】
【００１２】
以下、この実施形態の概略的な構成例を説明する。
【００１３】
本実施形態によれば、送信機（画像データ送信装置と称してもよい）では、符号化装置が、同じ撮影空間内を異なる場所の複数のカメラで撮像した複数の撮像画像データをそれぞれ符号化する。解像度設定装置が、画像データの解像度を決定する。
【００１４】
ストリーム化装置が、前記解像度が設定され、かつ符号化された複数の符号化画像データをそれぞれストリーム化する。ストリーム選択装置が、前記符号化画像データを搬送する複数のストリームの中から、伝送処理容量の許容範囲で、１つまたは複数のストリームを選択する。ストリーム合成装置が、選択されたストリーム及び制御信号を搬送するストリームを１つのストリームに合成し、合成ストリームを出力する。送信信号生成装置が、前記合成ストリームを送信信号として出力する。
【００１５】
また、受信機（画像データ受信装置と称してもよい）では、受信及び復調器が、第１の解像度が設定されて符号化されている第１の画像データを搬送する第１のストリームと、前記第１の解像度若しくは第２の解像度が設定され符号化されている第２の画像データを搬送する２のストリームと、が合成された合成ストリームを受信し復調する。ここで前記第１の画像データと第２の画像データとは、同じ撮影空間の被写体を異なるアングルで撮像して取得した画像データである。
【００１６】
分離回路が、前記第１のストリームと第２のストリームとを分離する。第１と第２の復号器が、分離された前記第１と第２のストリームの画像データを復号化し、第１の画像データと第２の画像データとを得る。
【００１７】
表示パターン設定部が、前記第１と第２の画像データによる第１と第２の画像を、設定した表示パターンで表示器の表示エリアに配置するように、前記第１と第２の画像データを前記表示器に出力する。システム制御装置は、前記表示パターンを複数のパターンから選択するために携帯モニタと通信して、操作信号を受け取り、前記表示パターン設定部を制御する。
【００１８】
以下具体的に図面を参照して実施形態を説明する。図１は、例えばコンサートホールの空間を中継するビデオカメラＶＣＭ１−ＶＣＭ９の配置例を示す図である。ビデオカメラＶＣＭ１−ＶＣＭ９は、撮像信号から８Ｋの画像データを生成し出力することができる。
【００１９】
ビデオカメラＶＣＭ５，ＶＣＭ６は、カメラマンが持ち運び、ステージ１０上或いは観客席上を選択的に撮像することができる。他のビデオカメラはほぼ同じ位置に配置されており、担当カメラマンは、カメラの撮影方向を任意に変更することができる。
【００２０】
モニタ室（或いは放送設備）２０では、各ビデオカメラＶＣＭ１−ＶＣＭ９の撮像状況をモニタしながら、番組を製作し、また放送信号を生成している。
【００２１】
図２は、上記のモニタ室（或いは放送設備）２０内を示している。
【００２２】
ビデオカメラＶＣＭ１−ＶＣＭ９からの８Ｋの画像データは、インターフェース１１１を介して、符号化装置１１２に入力される。なお各画像データが８Ｋに限定されるものではなく、４Ｋ或いは２Ｋの画像データであってもよいし、これらの組み合わせであってもよい。
【００２３】
各画像データは、それぞれ符号化装置１１２において所定のフォーマットで符号化される。この場合、解像度設定装置１１３が画像データの解像度を設定する。解像度設定装置１１３の動作制御は、後述するシステム制御装置１４０からの制御信号に基づいて、実施される。
【００２４】
符号化された符号化画像データは、ストリーム化装置１１４に入力される。ストリーム化装置１１４は、各符号化画像データをパック列（パケット列と称しても良い）で搬送するために、画像データをストリーム化する。このストリームには、制御信号のパックも含まれる。この実施形態では９つのストリームが生成される。
【００２５】
９つのストリームは、記録再生制御部１２１の制御に基づいて、記録再生装置１２２に記録される。記録再生制御部１２１は、記録開始、再生開始などを専用操作装置１２３により制御されることができる。記録再生装置１２２に記録される全て（９つ）のストリームは、解像度の最大ものが記録されることができる。または、記録再生装置１２２に記録されるストリームとしては、解像度が設定された全て（９つ）のストリームが記録されてもよい。
【００２６】
ストリームで外部に搬送される画像データは、解像度設定装置１１３により、８Ｋから任意の解像度に調整される。まず各ストリームの画像は、それぞれモニタ１−９により、編集者により監視される。モニタ１−９は、モニタ配置棚１３０に配置されている。
【００２７】
モニタ１−９に表示される全て（９つ）のストリームは、画像データの解像度の最大の画像が表示されてもよい。あるいは、モニタ１−９に表示される全て（９つ）のストリームは、後述する解像度設定により画像データの解像度が調整されたときに、解像度の設定に応じた解像度の画像データの画像が表示されてもよい。
【００２８】
編集者は、操作デバイス（携帯モニタと称しても良い）１５１を操作することができる。携帯モニタ１５１は、システム制御装置１４０とＵＳＢケーブルで接続されてシステム制御装置１４０と相互通信する、或いは近距離無線通信システムによりシステム制御装置１４０と相互通信することができる。
【００２９】
ここで、携帯モニタ１５１は、表示面からタッチ操作入力が可能な操作デバイス、或いは操作装置である。携帯モニタ１５１は、モニタ配置棚１３０に配置されているモニタ１−９を指定するアイコン（画像ブロック、或いは単にブロックと称しても良い）１−９を表示することができる。また、各アイコン１−９の内の任意のアイコンをドラッグアンドドロップで移動させて、設定枠１５内の所望の領域１５Ａ，１５Ｂ，１５Ｃ，１５Ｄに設定することができる。
【００３０】
即ち、携帯モニタ１５１は、送信ストリームを決めるための設定枠１５を表示している。この設定枠１５は、アイコンをドロップするための領域１５Ａ，１５Ｂ、１５Ｃ、１５Ｄを有する。編集者は、送信したい撮影アングルのモニタ画像のアイコンを選択して、領域１５Ａ，１５Ｂ、１５Ｃ、１５Ｄに設定することができる。編集者は、送信したい撮影アングルの画像を決めるとき、モニタ１−９を参照することができる。
【００３１】
携帯モニタ１５１からの設定情報は、システム制御装置１４０に入力する。この場合、携帯モニタ１５１からの設定情報は、選択されたストリームの画像の解像度を決める情報も含む。つまり、編集者は、携帯モニタ１５１に表示されている解像度選択ボタンＢ２，Ｂ４，Ｂ８のいずれかを選択し、領域１５Ａ，１５Ｂ、１５Ｃ、１５Ｄに設定されているストリームの画像データの解像度を設定することができる。例えば、領域１５Ａ，１５Ｂ、１５Ｃ、１５Ｄにカーソルを移動させて、解像度選択ボタンＢ２，Ｂ４，Ｂ８のいずれかを選択し指定したストリームの画像データの解像度を設定することができる。
【００３２】
システム制御装置１４０は、設定情報に基づいて解像度設定装置１１３及びストリーム選択装置１１５を制御し、ストリーム選択装置１１５は選択されたストリームをストリーム合成装置１１６に出力する。
【００３３】
上記の装置において、編集者は、例えば領域１５Ａにアイコン１をドラッグアンドドロップし、次に解像度ボタンの例えばＢ２を選択し、決定ボタンＢＤを押したとする。すると、モニタ１に表示されているストリームの画像データが、解像度２Ｋに設定されてストリーム合成装置１１６に出力される。このとき、領域１５Ａには設定情報（識別情報と称してもよい）として、アイコン１（モニタ１）に対応する画像データが２Ｋの解像度で設定されていることが表示（例えば１−２Ｋのように表示）される。図２の例は、領域１５Ｂ，１５Ｃ，１５Ｄにそれぞれモニタ３、８，５に対応する画像データがそれぞれ解像度２Ｋ，２Ｋ，２Ｋで設定されていることを例示している。この場合の送信ストリーム数は４である。今、放送システムの放送番組信号の１チャンネル当たり最大容量が８Ｋであるとすると、上記の合成ストリームの全体の画像データは８Ｋとなる。
【００３４】
上記した編集者は、モニタ１−９（アングルが異なる画像）を参照しながら、所望のアングルの画像データが所望の解像度で送信されることを設定することができる。
【００３５】
ストリーム合成装置１１６は、送信すべきストリームを合成し、合成ストリームを生成し、また受信側が各アングルのストリームを分離しやすいように、ストリーム分離情報を合成ストリームに付加する。
【００３６】
合成ストリームは放送信号生成装置１１７にて放送信号に変換され、この放送信号は送信機１１８に供給され、放送電波に変換されて出力される。
【００３７】
なお５００は受信機であり、モニタ１５に接続されている。この受信機５００とモニタ１５は、送信されたストリームの画像データを確認するために利用される。受信機についてはさらに後で詳しく説明する。
【００３８】
図３Ａ−図３Ｃは、編集者が所望のアングルの画像データに所望の解像度を設定するための、操作例を示している。編集者は、タッチ操作入力が可能な携帯モニタ１５１を用いるために、編集者は、上記の設定操作を容易に行うことができる。
【００３９】
図３Ａの例は、領域１５Ｂにモニタ１に対応する画像データが解像度４Ｋで設定されたことを示している。また領域１５Ｃにモニタ３に対応する画像データが解像度２Ｋで設定されたことを示している。また領域１５Ｄにモニタ４に対応する画像データが解像度２Ｋで設定されたことを示している。この場合の送信ストリーム数は３である。
【００４０】
図３Ｂの例は、領域１５Ａにモニタ１に対応する画像データが解像度４Ｋで設定されたことを示している。また領域１５Ｃにモニタ５に対応する画像データが解像度４Ｋで設定されたことを示している。この場合の送信ストリーム数は２である。
【００４１】
図３Ｃの例は、領域１５Ａにモニタ１に対応する画像データが解像度８Ｋで設定されたことを示している。この場合の送信ストリーム数は１である。
【００４２】
図４は、受信機の構成例である。入力端子４００には例えば衛星放送アンテナ或いは地上波アンテナから放送波信号が導入される。受信機４０１は、システム制御装置４５０からの制御に基づいて、放送波信号から所望のチャンネルを選択し、当該チャンネルの信号を周波数変換することができる。周波数変換された中間周波信号は、復調器４０２に入力される。復調器４０２は、デジタル復調処理により、合成ストリームに変換される。
【００４３】
受信機４０１から出力される合成ストリームは、ストリーム分離回路４０３に入力される。ストリーム分離回路４０３は、異なるアングルのストリームを分離し、第１〜第４ストリーム復号器４１１−４１５に供給する。
【００４４】
ストリーム分離回路４０３では、各ストリームに含まれている制御情報が分離され、システム制御装置４５０に入力される。システム制御装置４５０は、制御情報を解析することにより、送信されてくるストリーム数、及び各ストリームが搬送する画像データの解像度データ、また画像データの表示タイミングを示すタイムスタンプなどを把握することができる。さらにまた、システム制御装置４５０は、制御情報から、各画像データの符号化方式などを判断することができる。
【００４５】
図３Ａ−図３Ｃで、種々の送信ストリーム数を示したように、例えば４つのストリームであり、最小で１つのストリームが送信される場合がある。各ストリーム内の画像データは、送られて来た画像データの符号化方式に対応した復号化方式により復号される。
【００４６】
復号化された画像データは、それぞれ対応するバッファ回路４２１−４２４に入力される。バッファ回路４２１−４２４は、それぞれの画像データの時間同期を得るために、遅延調整を行うために利用される。
【００４７】
バッファ回路４２１−４２４の出力画像データは、表示パターン設定部４３０に入力される。表示パンターン設定部４３０は、表示用ＲＡＭ１、２、３、４を有する。表示用ＲＡＭ１−４は、選択器４３０ａの選択に基づいて、バッファ回路４２１−４２４と関連すけられる。
【００４８】
選択器４３０ａは、例えばバッファ回路４２１−４２４の出力画像データが表示用ＲＡＭ１、２、３、４にそれぞれ書き込まれるように関連させることができる。また、例えばバッファ回路４２１の出力画像データが表示用ＲＡＭ２、３、４の何れか１つに書き込まれるように関連させることができる。つまり、利用者の操作に基づいて、選択器４３０ａは、任意のバッファ回路を任意の表示用ＲＡＭに関連付けることができる。したがって、１つのバッファ回路が２つの表示用ＲＡＭに関連付けられてもよい。
【００４９】
表示用ＲＡＭ１、２、３、４は、書込み器４３０ｂからの書込み信号に基づいて、画像データが書き込まれ、読み出し器４３０ｃからの読み出し信号に基づいて、画像データが読み出される。表示用ＲＡＭ１、２、３、４から出力された画像データは、表示器４４０に入力する。
【００５０】
ストリーム分離回路４０３に入力した合成ストリームは、記録再生制御部４４１の制御に基づいて、記憶装置４４２に記録される。記憶装置４４２は、ハードディスク、半導体メモリ、光ディスクなど或いはこれらの組み合わせである。
【００５１】
ストリーム分離回路４０３で分離された各ストリームは、システム制御装置４５０を介して、モニタ用画像データ生成部４５１に入力され、モニタ用画像データに変換される。
【００５２】
モニタ用画像データは、操作デバイス（操作装置、携帯デバイス或いは携帯モニタと称してもよい）４６０に入力される。携帯モニタ４６０は、スマートフォーンと同様にタッチ操作入力が可能である。そして、携帯モニタ４６０は、システム制御装置４５０とＵＳＢケーブルで接続されてシステム制御装置４５０と相互通信する、或いは近距離無線通信システムによりシステム制御装置４５０と相互通信することができる。
【００５３】
携帯モニタ４６０は、メニュー表示画面から、ストリーム選択ボタンを選択するとストリーム選択画面に移行することができる。携帯モニタ４６０の表示画面は、例えば、下側にモニタ映像が表示され、上側に表示領域ＤＳＡが設定される。そして表示領域ＤＳＡには、分割ラインＤＬが表示される。携帯モニタ４６０は、表示器４４０の表示形態をシミュレーションするために利用される。
【００５４】
上記のストリーム選択画面において、携帯モニタ４６０は、モニタ映像Ｐ１１−Ｐ１４（モニタブロックと称しても良い）を表示することができる。モニタ映像Ｐ１１−Ｐ１４は、モニタ用画像データ生成部４５１からのモニタ映像Ｐ１１−Ｐ１４を表示する。
【００５５】
図の例では、モニタ映像Ｐ１１−Ｐ１４が表示されており、それぞれの映像の下にインジケータが示されている。図の例は、モニタ映像Ｐ１１−Ｐ１４はそれぞれ解像度が２Ｋであることを示している。また、インジケータには、オーディオ設定ボタンＡｕ１−Ａｕ４が含まれる。オーディオ設定ボタンＡｕ１−Ａｕ４のいずれか１つがタッチ操作されて例えば色が変化（白から赤）になると、当該選択したモニタ映像のオーディオがオーディオシステムから出力されることを意味する。
【００５６】
図４の例では、現在の受信状態は図２で説明したように４つのストリームが伝送されており、それぞれのストリームの画像データが２Ｋの解像度であることを意味する。
【００５７】
利用者は、分割ラインＤＬで区分されている複数の領域のうち、どの領域にどのストリームの画像を表示するのかを設定することができる。この設定操作も、図２、図３Ａ−図３Ｄで説明したように、ドラッグアンドドロップ操作により行うことができる。
【００５８】
また分割ラインＤＬで区分される複数の領域としては、各種パターン（所謂分割パターン）が存在する。この分割パターンは、パターン選択ボタンＤＢ１を操作することにより、種々変更することができる。
【００５９】
図５Ａ−図５Ｅ、図６Ａ−図６Ｅ、図７Ａ−図７Ｃには、各種の分割パターンを示している。図５Ａは、表示領域ＤＳＡが４つに分割された例である。利用者が、例えばモニタ映像Ｐ１１を左上の領域、モニタ映像Ｐ１２を左下の領域、モニタ映像Ｐ１３を右上の領域、モニタ映像Ｐ１４を右下の領域に移し、決定ボタンＢＤを押すことができる例を示している。オーディオは、映像Ｐ１１のためのオーディオが選択された例を示している。
【００６０】
図５Ｂは、表示領域ＤＳＡが３つに分割された例である。利用者が、例えばモニタ映像Ｐ１２を左上の領域、モニタ映像Ｐ１３を右上の領域、モニタ映像Ｐ１４を下の領域に移し、決定ボタンＢＤを押すことができる例を示している。オーディオは、映像Ｐ１２のためのオーディオが選択された例を示している。
【００６１】
図５Ｃは、表示領域ＤＳＡが２つに分割された例である。利用者が、例えばモニタ映像Ｐ１１を左の領域、モニタ映像Ｐ１４を右の領域に移し、決定ボタンＢＤを押す例を示している。オーディオは、映像Ｐ１１のためのオーディオが選択された例を示している。
【００６２】
図５Ｄは、表示領域ＤＳＡが３つに分割された例である。利用者が、例えばモニタ映像Ｐ１１を上の領域、モニタ映像Ｐ１２を左下の領域、モニタ映像Ｐ１３を右下の領域に移し、決定ボタンＢＤを押すことができる例を示している。オーディオは、映像Ｐ１１のためのオーディオが選択された例を示している。
【００６３】
図５Ｄは、表示領域ＤＳＡが上下２つに分割された例である。利用者が、例えばモニタ映像Ｐ１２を上の領域、モニタ映像Ｐ１３を下の領域に移し、決定ボタンＢＤを押すことができる例を示している。オーディオは、映像Ｐ１２のためのオーディオが選択された例を示す。
【００６４】
図６Ａ−図６Ｅは、送信されたストリームが３つであり、１つのストリームは４Ｋ画像データを搬送し、他の２つのストリームは２Ｋ画像データを搬送した例を示している。
【００６５】
図６Ａは、表示領域が３つに分割された例であり、左側の領域と、右側の上の領域と、右側の下の領域である。そして利用者が、例えばモニタ映像Ｐ１１を左の領域、モニタ映像Ｐ１２を右上の領域、モニタ映像Ｐ１３を右下の領域に移し、決定ボタンＢＤを押すことができる例を示している。オーディオは、映像Ｐ１１のためのオーディオが選択された例を示している。
【００６６】
図６Ｂは、表示領域が２つに分割された例であり、左側の領域と、右側の領域である。そして利用者が、例えばモニタ映像Ｐ１１を左の領域、モニタ映像Ｐ１３を右の領域移し、決定ボタンＢＤを押すことができる例を示している。オーディオは、映像Ｐ１１のためのオーディオが選択された例を示している。
【００６７】
図６Ｃは、表示領域が３つに分割された例であり、左側の上の領域と、左側の下の領域と、右側の領域である。そして利用者が、例えばモニタ映像Ｐ１１を右の領域、モニタ映像Ｐ１２を左上の領域、モニタ映像Ｐ１３を左下の領域に移し、決定ボタンＢＤを押すことができる例を示している。オーディオは、映像Ｐ１１のためのオーディオが選択された例を示している。
【００６８】
図６Ｄは、表示領域が１つの領域に設定された例である。そして利用者が、例えばモニタ映像Ｐ１１−Ｐ１３の内、任意の映像を選択して１つの領域に移し、決定ボタンＢＤを押すことができる例を示している。オーディオは、映像Ｐ１１のためのオーディオが選択された例を示している。
【００６９】
図６Ｅは、表示領域が上下の２つの領域にされた例である。そして利用者が、例えばモニタ映像Ｐ１１を下の領域、モニタ映像Ｐ１２を上の領域に移し、決定ボタンＢＤを押すことができる例を示している。オーディオは、映像Ｐ１１のためのオーディオが選択された例を示している。
【００７０】
図７Ａ−図７Ｃは、送信されたストリームが２つであり、それぞれのストリームは４Ｋ画像データを搬送した例を示している。
【００７１】
図７Ａは、表示領域が２つに分割された例であり、左側の領域と、右側の領域である。そして利用者が、例えばモニタ映像Ｐ１１を左の領域、モニタ映像Ｐ１２を右の領域移し、決定ボタンＢＤを押すことができる例を示している。オーディオは、映像Ｐ１１のためのオーディオが選択された例を示している。
【００７２】
図７Ｂは、表示領域が２つに分割された例であり、上側の領域と、下側の領域である。そして利用者が、例えばモニタ映像Ｐ１１を上側の領域、モニタ映像Ｐ１２を下側の領域移し、決定ボタンＢＤを押すことができる例を示している。オーディオは、映像Ｐ１１のためのオーディオが選択された例を示している。
【００７３】
図７Ｃは、表示領域が１つの領域に設定された例である。そして利用者が、例えばモニタ映像Ｐ１１、Ｐ１２の内、任意の映像を選択して１つの領域に移し、決定ボタンＢＤを押すことができる例を示している。オーディオは、映像Ｐ１１のためのオーディオが選択された例を示している。
【００７４】
上記したように、携帯モニタ４６０には、モニタ映像と、表示器の表示パターンのシミュレーション映像とが表示される。したがって、利用者は携帯モニタ４６０を用いて、表示器における表示パターンを容易に選択して設定することができる。そしてさらに利用者は、どの領域にどのモニタ映像がいずれの解像度で、表示されているかを容易に認識することができる。
【００７５】
なお上記のようにボタン選択により決定されたオーディオは、視聴空間に配置されている全体のオーディオ装置（スピーカ）に出力されることを意味している。しかし、オーディオ装置（スピーカ）に出力されていない他のアングルの映像のオーディオは、それぞれイヤホーンにより視聴できることは勿論のことである。
【００７６】
図８は、携帯モニタ４６０の構成例を示している。携帯モニタ４６０は送受信機４６１１を介してシステム制御装置４５０と相互通信を行うことができる。携帯モニタ４６０は、動作モードが切替えられることにより、インターネット接続、電話接続などが可能である。送受信機４６１１はデータ処理部４６１２と相互にデータのやり取りを行うことができる。
【００７７】
データ処理部４６１２は、制御部４６１３の制御に基づいて、表示パネル４６１５を駆動する。表示パネル４６１５は、タッチ操作パネルを一体に有する。表示パネル４６１５に画像が表示される場合、表示パネル４６１５は、データ処理部４６１２から画像データが供給され、ドライバ４６１４から駆動信号が与えられる。
【００７８】
制御部４６１３は、モニタブロック作成部４６１３−１、分割ライン処理部４６１３−２、タッチ操作入力判定部４６１３−３、モニタ画像領域設定部４６１３−４を有する。モニタブロック作成部４６１３−１は、受信したモニタ画像データに応じて、モニタ映像Ｐ１１−Ｐ１４を生成して、表示パネル４６１５に供給する。
【００７９】
分割ライン処理部４６１３−２は、分割ラインＤＬを表示するもので、パターン選択ボタンＤＢ１の操作に応じて、各種のパターンの分割ラインＤＬを表示することができる。この分割ラインを表示することができる。
【００８０】
タッチ操作入力判定部４６１３−３は、タッチパネルからの入力信号に応答して、映像（アイコン）のドラッグ操作、分割ラインＤＬ設定のための入力操作、決定入力操作などを判定する。
【００８１】
モニタ画像領域設定部４６１３−４は、分割ラインが決まると、表示パネル４６１５上の分割表示領域を設定することができる。
【００８２】
本発明は上記実施形態に限定されるものではない。上記の実施形態では、携帯モニタ１５１の操作に基づいて、送信されるべきストリームが選択されることを説明した。しかし、送信されるべきストリームや、解像度が頻繁に変更されると、利用者が受信機において設定している表示パターンが乱れたり、利用者の意図しないアングルの画像が表示される。従って、編集者は、番組が切り替わったときに、設定変更を行う、或いは比較的長いコマーシャル期間に設定変更を行うほうが好ましい。
【００８３】
本発明は上記実施形態に限定されるものではない。上記の実施形態では、図２を参照して、合成ストリームがリアルタイムで作成されている如く説明した。しかし、先に説明したように、９つのストリームは、記録再生制御部１２１の制御に基づいて、記録再生装置１２２に記録される。
【００８４】
従って、記録再生制御部１２１は、記録開始、再生開始などを専用操作装置１２３により独自に制御されることができる。記録再生装置１２２に記録される全て（９つ）のストリームは、解像度の最大ものが記録されることができる。
【００８５】
したがって、撮影が終了した後日、記録再生制御部１２１及び記録再生装置１２２を、ストリーム化装置１４４に接続し、解像度設定、ストリーム選択などが実施されてもよい。この場合、編集者は、専用操作装置１２３、携帯モニタ１５１を操作して、所望のストリームを合成することができる。このために、実施形態は、放送信号の送信受信に限定されるものではなく、送信信号の送受信、編集装置、など幅ひろく適用可能であることは勿論である。
【００８６】
上記の実施形態において、ビデオカメラに関して、二次元（２Ｄ）撮像カメラ、３次元（立体或いは３Ｄと称してもよい）撮像カメラの何れか、若しくはこれらが混合されて採用されてもよい。
【００８７】
本件に関連する発明者（村上）が取得している特許２７９１３１０号に関する技術が上記の実施形態の装置に適用されてもよいことは勿論である。
【００８８】
この技術は複数のビデオカメラの撮像環境を統一的に制御する技術である。この技術が利用される場合は、例えば、指定されたメインの３Ｄビデオカメラの撮像条件を示す情報（撮像制御情報）が、他の複数の３Ｄビデオカメラに対して分配撮像制御情報として配信される。これにより、メインの３Ｄビデオカメラの狙い位置と、他の複数の３Ｄビデオカメラの狙い位置が一致することができる。このために前記狙い位置の被写体は、異なるアングルから撮像される。そして、アングルが編集者（スイッチャー）により切り替えられたとき、視聴者が３Ｄ映像として不自然な３Ｄ映像を知覚しないように工夫されている。例えば、３Ｄ被写体像が、第１のアングルから第２のアングルに切替えられたとき、遠近感が大きく変化すると視聴者は不自然さを感じることになる。しかし上記の技術によると、３Ｄ被写体像が、第１のアングルから第２のアングルに切替えられたとき、３Ｄ映像の遠近感が出来るだけ変化しないように工夫されている。
【００８９】
上記の技術が、図１、図２の技術に適用された場合、複数のアングルの３Ｄ（或いは２Ｄ）画像データが送信装置から受信装置に同時に送信されることができる。この結果、利用者は、受信装置において、図８に示した携帯モニタ（或いは端末デバイス）を用いて、複数のアングルの３Ｄ（或いは２Ｄ）画像を任意に選択して視聴することができる。
【００９０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００９１】
上記した送信信号処理装置及び送信信号処理方法によると、様々なシチュエーションにおいて利用価値を高めることができる。例えば、フィギュアスケートの選手が撮影される場合、大きい表示エリアでリンク全体とその中のスケータの動きが表示され、小さい第１の表示エリアでスケータの足元がアップで表示され、小さい第２の表示エリアでスケータの足元がアップで表示されてもよい。
【００９２】
上記のシチュエーションにおいて、さらに小さい第３の表示エリアで、コーチ或いは監督の表情が表示されてもよい。さらには、スケータの足元を撮像した異なるアングルの複数の映像が、それぞれ複数の表示エリアに表示されてもよい。
【００９３】
さらには、上記のシチュエーションにおいて、複数の表示エリアが、３Ｄ用の視差を有する映像の表示エリアとして利用されてもよい。つまり１つのエリアは、右眼用映像、他の１つが左用映像の表示エリアとして利用されてもよい。
【００９４】
又上記した送信信号処理装置及び送信信号処理方法によると、複数の送信信号（複数のストリーム）が選択される場合、その編集（選択）作業が容易である。タッチ操作機能を有する操作デバイス（携帯モニタ）１５１を用いており、ドラッグアンドドロップ操作により、容易に編集作業が容易である。また、受信装置側においてもタッチ操作入力機能を有する携帯モニタ４６０により、利用者は装置を容易に操作可能である。
【００９５】
また上記したシステムは、多くの観光地において、活用可能である。例えば、観光地の風景撮影用として観光地に、図１、図２で示したシステムを配置してもよい。これにより観光地の種々のアングルの風景映像を撮像し、またこの映像を送信することができる。
【００９６】
また上記の説明では、送信機１１８により放送信号を送信すると説明した。しかし、さらに加えて、大容量のメモリ、ハードディスクドライブ及び又は光ディスクドライブなどの記憶媒体を有する携帯モニタ４６０に、合成ストリームが記録されても良い。この場合は、図４に示した受信装置が携帯デバイスからの合成ストリームを受信する第２受信機を備えてもよい。或いはＵＳＢ接続手段により携帯モニタ４６０と受信装置が接続され、記憶装置４４２に合成ストリームが転送されるようにしてもよい。
【００９７】
さらにまた別の実施形態として、図２に示した撮像された多数のストリーム（マルチアングル画像データ情報）が記録されている記録再生装置１２２（記録再生制御部１２１を含んでも良い）は、撮像システムに対して着脱可能に構成されてもよい。この場合、記録再生装置１２２が、図４の記憶装置４４２として利用可能となる。この場合、図４の受信装置は、ストリームを分離し、解像度変換器を複数備えてもよい。
【００９８】
上記の説明では、全体で８Ｋの送信信号となるように複数のアングル或いは単一アングルの映像信号を送信する例を説明した。しかし、送信方法において、送信能力及びまたは送信方法が改善することにより、さらに１６Ｋ或いはそれ以上の解像度の信号などを送信できる。したがって、上記した、カメラの数、モニタの数、表示領域の数、解像度の数値は単なる例であり、上記の例に限定されるものではない。送信方法は、放送信号の組み合わせ方式、放送チャンネルの組み合わせ方式、放送信号とインターネット配信の組み合わせ方式などが採用されてもよい。また放送チャンネルの組み合わせは、１つの放送局に限定されるものではなく、複数の放送局が、上記した異なるアングルの映像信号を送出するようにしてもよい。
【００９９】
上記のシステムは、各種のビジネス展開が可能である。  
例えば、図２に示した撮像システムを取り扱う撮影業者は、ビデオカメラ毎に、スポンサーを募集することも可能である。また、撮影業者は、多数のストリーム（マルチアングル画像データ情報）が記録されている記録再生装置１２２（記録再生制御部１２１を含んでも良い）を契約スポンサーに販売することができる。また利用者は、契約により異なるアングルの映像が視聴できるようにしてもよい。また、また利用者は、契約により視聴できるストリームの数が、制限される仕組みであってもよい。
【０１００】
上記した実施形態では、図２に示した放送設備側（画像データ送信装置側）の携帯モニタ１５１により、送信すべきストリームを制御した。しかしながら送信すべきストリームは、図４に示した受信装置側（画像データ受信装置側）の携帯モニタ４６０により選択そして制御されてもよい。
【０１０１】
図９は、画像データ送信装置１１と、画像データ受信装置１２と、表示器４４０と、携帯モニタ４６０との相互の関連を示している。画像データ送信装置１１と画像データ受信装置１２とにそれぞれ含まれるブロックに関しては、当該ブロックの符号を示している。
【０１０２】
このシステムの場合、携帯モニタ４６０は、画像データ送信装置１１を制御するための送信信号制御モードを設定されることができる。そして、携帯モニタ４６０は、画像データ受信装置１２を介して、画像データ送信装置１１を制御することができる。これにより携帯モニタ４６０は、画像データ送信装置１１が送信するストリーム数、解像度などを制御することができる。
【０１０３】
画像データ受信装置１２から画像データ送信装置１１に制御信号を送信する方法は各種の方法が可能である。例えば、有線を利用する方法、無線を利用する方法、インターネットを利用する方法などである。
【０１０４】
図９の例は、携帯モニタ４６０の画面の例を示している。携帯モニタ４６０は、画像データ送信装置１１の制御モードに設定されている。携帯モニタ４６０が、ユーザ操作に応じて、画像データ送信装置１１から送信されるストリーム数９を指定した場合を示している。画像データ送信装置１１は、伝送容量と指定されたストリーム数とに応じて、各カメラから取得した画像データの縮小率を決めて、９つのストリームを送信する。
【０１０５】
画像データ送信装置１１から送信された９つのストリームの圧縮符号化された画像データは、画像データ受信装置１２において復号されて、携帯モニタ４６０に表示される。復号された画像データは、同時に表示器４４０に表示されてもよい。
【０１０６】
携帯モニタ４６０のスクリーンには、１〜９の小画像（サムネール画像と称しても良い）が表示されている。ここでユーザは、興味のある画像を指定することができる。例えば操作ボタン４６０ａに触れると、画像選択モードにすることができる。図９は、ユーザの左手の親指が操作ボタン４６０ａに触れた状態を示している。次にユーザは、興味のある小画像に選択のために触れる。ユーザが触れた小画像には、太線の枠（或いは別のアイコン、或いは画像の点滅でもよい）が表示され、この枠は、画像選択中であることを識別することができる。図９は、小画像５，７，９が選択された例を示している。なお操作ボタン４６０ｂは、選択を取り消す場合に操作するボタンであり、操作ボタン４６０ｂに触れた状態で、選択を取り消す小画像に触れると、選択が取り消される。ここでユーザが、次ボタンＮｅｘｔを操作することができる。
【０１０７】
図１０Ａは、次ボタンＮｅｘｔが操作された後に表示される画面の例を示している。この画面では、分割パターンを決めるためのパターン選択ボタンＤＢ１が表示される。また解像度を設定するための解像度選択ボタンＢ２，Ｂ４，Ｂ８も表示される。
【０１０８】
図１０Ｂは、パターン選択ボタンＤＢ１の操作に基づいて、分割ラインＤＬが表示された例を示している。
【０１０９】
分割ラインＤＬが表示された場合、小画像５，７，９は、例えば、携帯モニタ４６０の画面の下側に配列される。ここで、ユーザは、小画像５，７，９に対して解像度を要求することができる。例えば左側に表示されている番号５を左手の親指で押し、次に右側に表示されているＢ２，Ｂ４，Ｂ８の何れかを操作すると、小画像５に対して、解像度２Ｋ，４Ｋ、８Ｋの何れかを設定することができる。他の小画像７、９に対してもそれぞれ所望の解像度を設定することができる。
【０１１０】
ユーザが解像度を設定した場合、その指定情報は、図９に示している画像データ受信装置１２のシステム制御装置４５０の制御に基づいて、画像データ送信装置１１のシステム制御装置１４０に伝送される。画像データ送信装置１１は、指定情報に基づいて、小画像５、７、９に対応するカメラの撮像画像データを、それぞれ、指定された解像度になるように処理し、それぞれの画像データをストリームに変換し、そして、画像データ受信装置１２に送信する。すると、各小画像５，７，９に設定された解像度を示す記号２Ｋ、或いは４Ｋ、或いは８Ｋが図５Ａ−図７Ｃで示すように表示される。
【０１１１】
ユーザは、図１０Ｂに示されている小画像５，７，９をそれぞれ図５Ａ−図７Ｃで説明したように所望の分割領域にドラッグすることができる。これにより、携帯モニタ４６０のスクリーンと同様に、表示器４４０の画面が表示される。
【０１１２】
上記の説明では画像データ受信装置１２側の携帯モニタ４６０が、画像データ受信装置１２を介して画像データ送信装置１１を制御することを説明した。しかしこれに限らず、携帯モニタ４６０が、例えばネットワークを介して直接、画像データ送信装置１１を制御してもよい。
【０１１３】
図１１Ａ，図１１Ｂは、さらに別の実施形態である。この実施形態は、携帯モニタ４６０或いは１５１により、カメラＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４により撮像されている画像Ａ，Ｂ，Ｃ，Ｄをスクロールすることができる。この実施形態は、例えば、被写体（部屋の内部）を複数のカメラＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４で撮像した例である。画像データ送信装置１１から、画面Ａ，Ｂ，Ｃ，Ｄを構成する画像データがそれぞれストリームとして画像データ受信装置１２に送信されてくる。
【０１１４】
４つの画像データの画面Ａ，Ｂ，Ｃ，Ｄは、例えば水平方向へ連続するように、画像データ受信装置１２により処理されている。ここで、画像データが携帯モニタ４６０及び表示器４４０に表示される場合、１つ或いは２つの画面が、携帯モニタ４６０及び表示装置４０の画面に収容（納まる）ように設定されている。ユーザは画面Ａ，Ｂ，Ｃ，Ｄをスクロールさせることにより、４つの画像データを見ることができる。実施形態は、４つのアングルの画像を視聴できる例であるが、３６０度の画像を視聴する方法として利用することができる。
【０１１５】
図１２Ａ、図１２Ｂは更に別の実施形態である。基本的な考え方は、図１１Ａ、図１１Ｂで説明した実施例と同じである。この実施形態は、例えば、被写体（家の外側）を複数のカメラＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４で撮像した例である。この実施形態においても、ユーザは画面Ａ，Ｂ，Ｃ，Ｄをスクロールさせることにより、４つの画像データを見ることができる。
【０１１６】
図１３は画像データ送信装置１１から画像データ受信装置１２へデータを送信する際に利用されるストリームのフォーマット例を示している。
【０１１７】
ストリームは、基本的にメインパック（ＭａｉｎＰＣＫ）ヘッダと、サブパケット（ＳｕｂＰＣＫ）ヘッダと、データ部とを備える。この例では、データ部は、コンテンツを搬送するエリアとして利用される。１つのパケット内の１つのデータ部は、例えば符号化された２Ｋ画像データを収容できる。２つのパケットで４Ｋ画像データを構成することができる。４つのパケットで８Ｋ画像データを構成することができる。
【０１１８】
カメラで撮像された８Ｋ画像データは、周波数帯域毎に分離されて、それぞれの帯域の画像データが符号化圧縮されて、それぞれパケットに収容される。各パケットの帯域ごとのデータを復号し、復号した各画像データが合成されたとき８Ｋ画像データが再生される。
【０１１９】
上記の再生を実現するために、パケットの先頭のサブパケットヘッダには、カメラ番号（アングル番号と称しても良い）、データＩＤが記述されている。カメラ番号は、図１に示したカメラの識別番号である。データＩＤは、サブパケット内のデータ部のコンテンツの種類を識別している。データ部のコンテンツは、制御データ、画像データ、オーディオデータ、テキストデータ、その他のデータ（例えばアプリケーションデータ）である。
【０１２０】
さらにコンテンツが画像データである場合、画像データを識別するデータＩＤの後に続くデータには、さらに画像符号化情報（どのような種類の符号化方式で符号化されているのかを示す）、解像度が２Ｋ，４Ｋ，８Ｋのいずれに設定されているかを示す情報、などが含まれている。また、画像データが２Ｄであるのか、３Ｄの右側であるのか左側であるのかの情報も含まれている。さらにまた、放送されている画像データであるのか、再生されている画像データであるのか、観察されている画像データであるのか、これらの組み合わせた画像データであるのかの各種識別情報が含まれていてもよい。
【０１２１】
符号化情報は、画像データが符号化されていないことを示すこともできる（例えば００・・００が記述される）。本システムは、要求に応じて、例えば、生のデータをパケットで送信することもあり得る。
【０１２２】
ストリームは、例えば、メインＰＣＫヘッダを備える。メインＰＣＫヘッダは、このヘッダに続くパケットを管理するデータを含む。そしてメインＰＣＫヘッダは、少なくとも次のメインＰＣＫヘッダまでのパケットに関する情報を含む。メインＰＣＫヘッダは、メインヘッダＩＤ，ストリームＩＤ、関連するストリーム数、ストリーム番号（カメラ番号に想到する）、パケット数、符号化方式などを記述する領域を備える。またリザーブ領域も備える。ストリームＩＤは、当該このメインヘッダが管理するストリームが、制御データ、画像データ、オーディオデータ、テキストデータ、その他のデータ（例えばアプリケーションデータ、リアルタイムデータ、再生データ）のいずれのデータを搬送しているのかを記述している。ストリームＩＤがリアルタイムデータを示している場合は、例えばリアルタイムの放送番組のストリームのことを意味し、再生データの場合はコンテンツが記録媒体から再生されたときのストリームであることを意味する。
【０１２３】
さらにコンテンツが画像データである場合、画像データを識別するデータＩＤの後に続くデータには、さらに画像符号化情報（どのような種類の符号化方式で符号化されているのかを示す）、解像度が２Ｋ，４Ｋ，８Ｋのいずれに設定されているかを示す情報、などが含まれている。また、画像データが２Ｄであるのか、３Ｄの右側であるのか左側であるのかの情報も含まれている。さらにまた、放送されている画像データであるのか、再生されている画像データであるのか、観察されている画像データであるのか、これらの組み合わせた画像データであるのかの各種識別情報が含まれていてもよい。
【０１２４】
画像データ受信装置１２は、上記したパケットヘッダの内容を解釈して、データ部のデータを復号することができる。またデータ部のデータの転送先を決めることができる。
【０１２５】
図１４は、２Ｋの画像データ（ピクセル群）が、４Ｋの画像データに構築され、４Ｋの画像データ（ピクセル群）が８Ｋの画像データ（ピクセル群）に構築されるときのイメージを概略的に示している。図１４の丸印が画素（ピクセル）である。
【０１２６】
上述した実施形態では、主に放送局における番組制作場所やコンサート会場等で同時に撮像される複数画像データに付いて説明した。しかしそれに限らず本実施形態では、例えば内視鏡やカテーテルなどを利用して、生体内部を撮像して複数の撮像画像データを取得し、その複数の撮像画像データに対して信号処理または送信を行っても良い。カメラは、小型カメラを用い、例えば３Ｄ機能を備えた内視鏡、腹腔鏡に組み込むことができる。例えば、図１１Ａ，図１２Ａに示した被写体は、体内の患部或いは臓器とすることができる。従って画像データ受信装置１２は、携帯モニタ４６０と表示器４４０を観察しながら、体内の患部或いは臓器を診断する医師により利用される。
【０１２７】
医師或いはユーザは、患部或いは臓器の鮮明な画像として、生データ（符号化・復号化を伴わない画像データ）が欲しい場合もある。このような場合、医師或いはユーザは、携帯モニタ４６０の操作を通じて、画像データ送信装置１１に対して、生データを要求することも可能である。
【０１２８】
医師或いはユーザは、画像データ受信装置１２が遠隔地に有ったとしても、画像データ送信装置１１から鮮明でリアルな患部、患者の様子を観察することができる。また、医師或いはユーザは、携帯モニタ４６０を通じて、所望の角度から患部を観察をすることができる。
【０１２９】
さらに医療分野に適用した場合の実施形態を以下具体的に説明する。既に図１、図２を用いて複数アングルからの撮像により３Ｄ画像データを取得する方法を説明した。それと同様に例えば内視鏡やカテーテルなどの生体内撮像装置では、複数アングルからの撮像が可能なように隣接した複数の検出光学系（あるいはそれに対応した複数の対物レンズ）を体内に挿入する事で、体内の３Ｄ画像データを取得することができる。また後述する方法により、高精細な（解像度の高い）３Ｄ画像データの取得を行うことも可能である。すなわち、比較的小さなＮＡ値（Numerical Aperture）で焦点深度の深い２個の対物レンズを体内で並列配置させ、各対物レンズを通過する光の光路ガイドを個々に配置する。これにより比較的解像度が低いが奥行方向での前後距離が大きな範囲まで鮮明に得られる３Ｄ画像データが取得される。更にそれとは別に焦点深度は浅いが相対的に大きなＮＡ値を持った対物レンズとそれに対応した光路ガイドとを用いて高精細な（解像度の高い）２Ｄ画像データを取得することができる。この２Ｄ画像データと前記３Ｄ画像データ間で画像処理（画像補完処理）を行い、異なる奥行方向でも高精細な（解像度の高い）画像を生成することができる。
【０１３０】
今まで説明した本実施形態における複数の撮像画像データ取得方法は、主に異なるアングルまたは異なる位置からの撮像画像データ取得に付いて説明した。しかし本応用実施形態あるいはその応用例としてそれに限らず、他の方法により複数の撮像画像データを取得しても良い。例えば同一アングルで同一位置から撮像し、検出される波長域毎に異なる複数の撮像画像データを収集する方法を採用しても良い。あるいは特定の撮像画像データを分析して分析結果を新たな画像データとして生成し、この解析結果画像データと分析前の元の撮像画像データを合わせて複数の画像データを取得しても良い。この場合には、前記分析結果を示す画像データを分析前の撮像画像データまたは別の撮像画像データと同時に表示しても良い。またこの同時表示方法としては、同一画面内に互いに重ならないように並列配置して表示しても良いし、一方の一部または全部を、他方の画像データに重ねて表示しても良い。この場合、前記一部または全部を例えば半透明の画像で表示しても良い。
【０１３１】
図１５と図１９は、複数の撮像画像データ取得方法として波長域毎に異なる撮像画像データに分割取得する応用例を示す実施形態である。図１５は、例えば光路ガイドが固い筒（光路固定部材ＮＲ９）などで覆われて変形しない応用実施形態を示し、図１９は光路ガイドが変形可能な実施形態を示している。
【０１３２】
本実施形態の特徴は、従来の可視光域のみならず可視光域の範囲を超えた波長光を同時に生体内部に照射し、可視光域とその範囲を超えた波長域の撮像画像データを個々に取得する所に特徴が有る。可視光域に含まれる光の波長範囲は、一般的にはおよそ４００ｎｍから７００ｎｍ程度の範囲を示す。また波長が４００ｎｍより短い光の波長は紫外光と呼ばれ、波長が７００ｎｍより長い光の波長は赤外光と呼ばれている。下記に示す本実施形態では赤外光の中でも波長域が可視光域に近い近赤外光の利用形態を示すが、本実施形態はそれに限らず、紫外光、可視光、近赤外光、中赤外光、遠赤外光、テラヘルツ光の間の任意の組み合わせ（例えば波長が互いに異なる可視光間の組み合わせなど同一名で呼ばれる波長域内での組み合わせ）でも良い。
【０１３３】
図１５及び図１９で使用する光源ＮＲ１５としては、タングステン・ハロゲンランプ光源を使用するが、可視光と紫外光を組み合わせて使う場合には光源としてキセノンランプ光源を使う事が出来る。ここで岩元らの文献（岩元睦夫他：近赤外分光法入門（１９９４年、幸書房）５．１．１節）によると、タングステン・ハロゲンランプ光源から放射される光の波長特性は概ね図１６に示すように、波長が４００ｎｍから７００ｎｍの可視光と波長がそれ以上で２５００ｎｍ以下の近赤外光が含まれている。従ってタングステン・ハロゲンランプ光源から放射される光（撮像用観測光ＮＲ５）を生体内被観察部位に照射する事で、可視光域と近赤外域の両方での撮像画像データを同時に取得できる。
【０１３４】
上記の光源ＮＲ１５から放出された撮像用観察光ＮＲ５は集光レンズＮＲ１３でほぼ平行光になった後、ハーフミラＮＲ１１で反射し、色収差補正用レンズＮＲ７と対物レンズＮＲ３を経由して生体内被観察部位ＮＲ１に集光される。図１５では詳細な記載を省略しているが、光源ＮＲ１５の発光位置が空間的に広い範囲に広がっているため、生体内被観察部位ＮＲ１近傍では広範囲に亘って撮像用観察光ＮＲ５が照射される。
【０１３５】
次に生体内被観察部位ＮＲ１で反射した撮像用観察光ＮＲ５は対物レンズＮＲ３を通過した後、色収差補正用レンズＮＲ７により光路補正される。図１５に示した本実施形態では図１６に示すように非常に広い範囲の波長領域が含まれる撮像用観察光ＮＲ５を使用するため、その広い範囲の使用波長領域全域に亘る色収差補正を行っている所に大きな特徴が有る。
【０１３６】
ここで行っている広域色収差補正方法に付いて図１７Ａ−図１７Ｃを使って以下に説明する。生体内被観察部位ＮＲ１内での特定位置αで乱反射した撮像用観察光ＮＲ５の中で所定波長を有する光ＮＲ５−１は図１７Ａが示すように、凸レンズＮＲ２１通過後に平行光になる。ここで前記凸レンズＮＲ２１の材料として使われる光学ガラス材料または透明プラスチック材料は一般的に正常分散特性を持つため、そこを通過する光の波長が短いほど屈折率が大きくなる。従って前述した所定波長光ＮＲ５−１よりも長い波長光ＮＲ５−２が同じ凸レンズＮＲ２１を通過すると、図１７Ｂのように発散光となる。このように通過する光の波長により光学特性が変化する現象を、凸レンズＮＲ２１の“色収差”と呼ばれている。この色収差を補正する方法として図１７Ｃに示すように、撮像用観測光ＮＲ５の光路途中に凹レンズＮＲ２３を配置する。その結果、前記凹レンズＮＲ２３通過後の撮像用観測光ＮＲ５は、前述した所定波長光ＮＲ５−１とそれより長い波長光ＮＲ５−２共に平行光となる。この方法を使って色収差補正された対物レンズＮＲ３は図１５が示すように、高屈折率硝材部ＮＲ３−１と低屈折率硝材部ＮＲ３−２が接着された構造になっている。この図１５において、対物レンズＮＲ３全体としては凸レンズとしての働きをするが、高屈折率硝材部ＮＲ３−１と低屈折率硝材部ＮＲ３−２の界面では図１７Ｃが示す凹レンズ特性に拠って色収差補正がなされる。
【０１３７】
所で波長域が４００ｎｍから７００ｎｍの範囲や１０００ｎｍから１５００ｎｍの範囲などの従来の比較的狭い波長域内で色収差補正をする場合には、高屈折率硝材部ＮＲ３−１と低屈折率硝材部ＮＲ３−２で構成される対物レンズＮＲ３単体で充分な色収差補正が可能となる。しかし本実施形態が示すように可視光域と近赤外域の両方での撮像画像データを同時に取得する場合には、前述した対物レンズＮＲ３単体での色収差補正では不充分となる。この問題点を解決する方法として本実施形態では、撮像用観測光ＮＲ５の光路途中に単独で色収差補正された対物レンズＮＲ３とは別に単独で色収差補正された色収差補正用レンズＮＲ７を配置した所に特徴が有る。
【０１３８】
すなわち前述したように対物レンズＮＲ３全体としては凸レンズ特性を持つのに対して色収差補正用レンズＮＲ７全体としては凹レンズ特性を持つため、図１７Ｃを用いて説明したように広い波長域に亘って色収差補正される。一方色収差補正用レンズＮＲ７自体は、高屈折率硝材部ＮＲ７−２と低屈折率硝材部ＮＲ７−１が接着された構造になっている。従って高屈折率硝材部ＮＲ７−２と低屈折率硝材部ＮＲ７−１の界面では凸レンズ特性を持つため、比較的狭い波長域内での色収差補正特性を有する。
【０１３９】
上述した本実施形態では波長域が４００ｎｍから７００ｎｍの範囲や１０００ｎｍから１５００ｎｍの範囲などの比較的狭い波長域内での色収差補正は対物レンズＮＲ３単体内部と色収差補正用レンズＮＲ７単体内部で行われ、可視光域と近赤外域の間などの比較的広い波長間での色収差補正は対物レンズＮＲ３と色収差補正用レンズＮＲ７の組み合わせで補正される。
【０１４０】
しかし本実施形態はそれに限らず、例えば可視光域と近赤外域の間などの比較的広い波長間での色収差補正に関して低屈折率硝材部ＮＲ７−１、ＮＲ３−２と高屈折率硝材部ＮＲ７−２、ＮＥ３−１による対物レンズＮＲ３単体内部と色収差補正用レンズＮＲ７単体内部で行われ、波長域が４００ｎｍから７００ｎｍの範囲や１０００ｎｍから１５００ｎｍの範囲などの比較的狭い波長域内での色収差補正は対物レンズＮＲ３と色収差補正用レンズＮＲ７の組み合わせで補正されても良い。これにより可視光域から近赤外域に亘って色収差補正がなされるため、可視光域と近赤外域の両方で非常に鮮明な（収差の少ない）撮像画像データを同時に取得できる効果が有る。また対物レンズＮＲ３と色収差補正用レンズＮＲ７間の位置が大きくずれると色収差特性が低下する問題に対しては、対物レンズＮＲ３と色収差補正用レンズＮＲ７は内部が空洞部ＮＲ１９になっている光路固定部材ＮＲ９により固定されている。この光路固定部材ＮＲ９の働きで対物レンズＮＲ３と色収差補正用レンズＮＲ７間の位置ずれが防がれているので、長期に亘り安定して色収差補正が確保できる効果が有る。
【０１４１】
前述した色収差補正用レンズＮＲ７を通過した後の撮像用観測光ＮＲ５は、ハーフミラＮＲ１１通過後、ダイクロイックミラＮＲ１７により可視光と近赤外光が分離される。すなわち可視光はダイクロイックミラＮＲ１７で反射されて可視光域撮像部ＮＲ３０へ到達し、近赤外光ダイクロイックミラＮＲ１７を通過して近赤外域撮像部ＮＲ４０へ向かう。
【０１４２】
上記可視光域撮像部ＮＲ３０内の構造を図１８に示す。前記ダイクロイックミラＮＲ１７で抽出された可視光は青色光／緑色光／赤色光に分割され、それぞれの光に拠る撮像画像データが個々の撮像面ＮＲ３５−１〜ＮＲ３５−３で得られる。すなわち可視光の中で青色光はダイクロイックミラＮＲ３１で反射され、結像レンズＮＲ３３−１に拠り撮像面ＮＲ３５−１上で撮像される。なお図１８では図の簡素化のために撮像面ＮＲ３５−１上の１点にあたかも集光しているように記載しているが、詳細には撮像面ＮＲ３５−１上で撮像されている。一方緑色光と赤色光はダイクロイックミラＮＲ３１で透過するが、緑色光はダイクロイックミラＮＲ３２で反射した後、結像レンズＮＲ３３−２の働きにより撮像面ＮＲ３５−２上に結像する。そして赤色光はダイクロイックミラＮＲ３２を通過し、結像レンズＮＲ３３−３により撮像面ＮＲ３５−３上に結像する。
【０１４３】
このように本実施形態では可視光を青色光／緑色光／赤色光に分割して別々の撮像面ＮＲ３５−１〜ＮＲ３５−３で個々に撮像画像データを取得している。これに拠りカラーモニタで生体内被観察部位の観察が可能になるため、手術実施者または診断者が画像を見易くなる。
【０１４４】
またそれに限らず本実施形態では、青色光で得られる撮像画像データを利用した癌細胞の識別が容易になる効果も有る。
【０１４５】
図１９を用いて、光路ガイドが変形可能な本応用実施形態に付いて説明する。本応用実施形態では光路ガイドが変形可能なため、例えばカテーテルや食道／胃または腸の内部を観察する内視鏡としての応用が可能となる。図１５では光路固定部材ＮＲ９に囲まれた光路ガイドの中が空洞部ＮＲ１９になっているのに対して、図１９の実施形態では、光路ガイド部ＮＲ６３の中が柔軟性を有するファイバ束６１から構成されている。一方光源ＮＲ１５から放出される撮像用観測光ＮＲ５は柔軟性を有する照射光ガイド用ファイバＮＲ６７を経由して対物レンズＮＲ３にガイドされるが、この照射光ガイド用ファイバＮＲ６７も光路ガイド部ＮＲ６３の一部を構成している。
【０１４６】
図１９の光路ガイド部ＮＲ６３でのＸＸ断面を図２０に示す。光路ガイド部ＮＲ６３の中心部に前述した照射光ガイド用ファイバＮＲ６７が配置されている。そしてその周辺には生体内被観察部位ＮＲ１で反射して撮像画像データ生成に利用される撮像用観測光ＮＲ５の光路をガイドする光ガイド用ファイバＮＲ６５の一本一本がまとまって束になったファイバ束ＮＲ６１が配置されている。
【０１４７】
また図１９が示すように、一本一本の光ガイド用ファイバＮＲ６５は途中で分岐して、それぞれ可視光検出部ＮＲ７５と近赤外光検出部ＮＲ７７へ向かう。そして更に近赤外光検出部ＮＲ７７では、一本一本の光ガイド用ファイバＮＲ６５が更に枝分かれして複数の近赤外光対応撮像面ＮＲ７３−１〜ＮＲ７３−７へ向かう。
【０１４８】
上記の本実施形態では一本一本の光ガイド用ファイバＮＲ６５は途中で分岐して可視光対応撮像面ＮＲ７１と近赤外光対応撮像面ＮＲ７３−１〜ＮＲ７３−７へ向かう。しかしそれに限らず各光ガイド用ファイバＮＲ６５が途中で分岐する代わりに光ガイド用ファイバＮＲ６５により向かう撮像面ＮＲ７１、ＮＲ７３−１〜ＮＲ７３−７が異なるように配置しても良い。更に他の実施形態として、光ガイド用ファイバＮＲ６５の一部がそれぞれ撮像面ＮＲ７１またはＮＲ７３−１〜ＮＲ７３−７のいずれかのみに向かい、残りの光ガイド用ファイバＮＲ６５が途中で分岐して可視光対応撮像面ＮＲ７１と近赤外光対応撮像面ＮＲ７３−１〜ＮＲ７３−７へ向かっても良い。ここで各撮像面ＮＲ７１、ＮＲ７３−１〜ＮＲ７３−７と接する側の光ガイド用ファイバ端面ＮＲ７９−１〜ＮＲ７９−８では、撮像用観測光ＮＲ５の中で各々指定された波長のみが通過可能なように特殊な光学的コーティングがなされている（すなわち通過波長域が非常に狭いバンドパス色フィルタが形成されている）。その結果、可視光対応撮像面ＮＲ７１と近赤外光対応撮像面ＮＲ７３−１〜ＮＲ７３−７は、撮像用観測光ＮＲ５内のそれぞれ異なる波長域成分のみを検出する。
【０１４９】
既に図１５と図１７−図１７Ｃを用いて説明したと同様に、図１９においても対物レンズＮＲ３と色収差補正用レンズＮＲ７との組み合わせにより可視光域から近赤外光域に亘る広い波長域において色収差補正がなされている。また色収差補正に限らず、球面収差、コマ収差、像面湾曲、歪収差、非点収差などの各種収差及び高次収差に対しても対物レンズＮＲ３と色収差補正用レンズＮＲ７との組み合わせで収差補正されている。更にある程度の高さの像高に関しても収差補正されているため、前記像高範囲内での結像パターンの鮮明さは保障されている。その結果、生体内被観察部位ＮＲ１と色収差補正用レンズＮＲ７出口の瞳面との間の撮像用観測光ＮＲ５の振幅分布特性は、互いにフーリェ変換の関係を持つ。更に色収差補正用レンズＮＲ７出口の瞳面上での振幅分布に対する絶対値の２乗で与えられる特性が強度分布として現れ、その各光強度が保存されたまま光ガイド用ファイバＮＲ６５により撮像面ＮＲ７１、ＮＲ７３−１〜ＮＲ７３−７へ向けて運ばれ、個々の光ガイド用ファイバＮＲ６５で運ばれた光が可視光対応撮像面ＮＲ７１及び近赤外光対応撮像面ＮＲ７３−１〜ＮＲ７３−７の各画素情報として光量検出される。ここで可視光対応撮像面ＮＲ７１及び近赤外光対応撮像面ＮＲ７３−１〜ＮＲ７３−７では例えばＣＣＤやＣＭＯＳセンサのように２次元上に多分割された光検出セルが配置されており、前述した各画素の光強度情報が各光検出セルで検出される。従って可視光対応撮像面ＮＲ７１及び近赤外光対応撮像面ＮＲ７３−１〜ＮＲ７３−７で得られる光強度パターン信号を演算処理する事で、生体内被観察部位ＮＲ１上での所定波長毎の光強度分布特性が得られる。
【０１５０】
次に以下に所定波長毎の光強度分布に対する具体的な算出方法（演算処理方法）を説明する。前述したように、生体内被観察部位ＮＲ１での撮像用観測光ＮＲ５の振幅分布をフーリェ変換したパターンが色収差補正用レンズＮＲ７出口の瞳面上の振幅分布として現れる。従ってこの色収差補正用レンズＮＲ７出口の瞳面上の振幅分布を逆フーリェ変換すると、生体内被観察部位ＮＲ１での振幅分布が算出できる。所で色収差補正用レンズＮＲ７出口の瞳面上に現れる撮像用観測光ＮＲ５の強度分布は、この撮像用観測光ＮＲ５内に含まれる全ての波長光毎の強度分布成分の加算値を現している。従って色収差補正用レンズＮＲ７出口の瞳面上に現れる所定波長成分毎の強度分布パターンが、それぞれ可視光対応撮像面ＮＲ７１や近赤外光対応撮像面ＮＲ７３−１〜ＮＲ７３−７上に投影される。そのため、可視光対応撮像面ＮＲ７１や近赤外光対応撮像面ＮＲ７３−１〜−７上に現れる強度分布パターンに対して画素毎（光検出セル毎）に平方根を計算して振幅分布を算出し、得られた結果に対して逆フーリェ変換した後の振幅分布を２乗する事で生体内被観察部位ＮＲ１上での所定波長毎の光強度分布特性が得られる。
【０１５１】
本実施形態は、生体内被観察部位ＮＲ１での異常箇所を自動抽出し、その自動抽出した結果に基付いて生体内被観察部位ＮＲ１での可視光に対応した撮像画像データ（図１５の可視光域撮像部ＮＲ３０または図１９の可視光検出部から得られる）の表示画像データを部分的に変更する所に大きな特徴が有る。それにより手術の実施者や診断者が異常箇所の発見をし易くして早期治療に役立てる効果が有る。
【０１５２】
以下に示す本実施形態は生体内被観察部位ＮＲ１での異常箇所として、癌組織などの初期病変部を例として説明する。しかしそれに限らず、異常箇所として例えば色素沈着箇所や良性ポリープ箇所など病変患部には該当しないが（良性では有るが）周囲の組織とは属性が若干異なる場所を異常箇所として検出しても良い。また以下の本実施形態では病変患部として癌組織を予想抽出（検出）する方法の説明を行うが本実施形態ではそれに限らず、あらゆる種類の病変患部を予想抽出（検出）しても良い。
【０１５３】
また本実施形態では、生体内被観察部位ＮＲ１での異常箇所を自動識別抽出（検出）する方法として異常箇所特有な光学特性を利用する所に特徴が有る。すなわち癌組織の特徴として、
（１）  毛細血管が密集している（血管新生場所）  
（２）  周辺より若干温度が高くなっている  
（３）  細胞分裂（有糸分裂）が頻繁かつ活発に起きている  
などが上げられる。従って上記の特徴を反映する局所的な光学特性変化場所を検出して異常箇所を識別抽出することができる。癌組織を識別する従来方法として、特定波長光を吸収する色素と結合した抗体を利用する方法が既に知られている。この方法は上記抗体を体内に侵入させ、抗原抗体反応を利用して所定の癌組織に付着させて、色の変化（所定波長光の吸収場所）を利用して癌組織を識別抽出（検出）する。しかし上記の従来方法では特定波長光を吸収する色素と結合した抗体と言う異物を体内に侵入させる必要が有る。それに比べて本実施形態は異物を体内に侵入させる必要が無いため、患者の健康状態を安全に守れる効果が有る。更に本実施形態は、複数の識別抽出（検出）を同時に行う所にも特徴が有る。それにより一層精度の高い識別抽出（検出）が可能となる効果が生まれる。
【０１５４】
まず始めに、上記“（１）毛細血管が密集している（血管新生場所）”の特徴を光学的に検出する方法に付いて説明する。赤血球の中にヘモグロビンが存在する。そして前記ヘモグロビンの吸光特性（波長特性）は青色光から緑色光に掛けた波長領域に大きな吸収ピークを持ち、波長７５０ｎｍから８５０ｎｍの範囲内に小さな吸収ピークを持つ。従って毛細血管が密集している領域に青色光のみを照射すると、青色光が吸収されて局所的に暗い場所として現れる。特に検出に青色光を使用すると、照射表面近くに存在する毛細血管が密集する部分を予想抽出できる。この現象を利用して癌組織が存在する場所を予想抽出する方法を説明する。図１５の生体内被観察部位ＮＲ１表面で乱反射した撮像用観測光ＮＲ５に対し、図１８に示すようにダイクロイックミラＮＲ３１で青色光のみが選択的に抽出されて撮像面ＮＲ３５−１上で撮像される。そのため撮像面ＮＲ３５−１により検出される撮像画像データでは、照射表面近くに毛細血管が密集している部分だけ暗く映る。たまたま生体内被観察部位ＮＲ１表面上で局所的に微細な凹凸形状をした場所が存在するあるいは生体内被観察部位ＮＲ１表面上で局所的に傾いた場所が存在した場合には、撮像面ＮＲ３５−２上で撮像される緑色光のみを抽出した撮像画像データも撮像面ＮＲ３５−３上で撮像される赤色光のみを抽出した撮像画像データも同様に局所的に暗く映る。従って撮像面ＮＲ３５−２または撮像面ＮＲ３５−３から得られた撮像画像データを撮像面ＮＲ３５−１から得られた青色光の撮像画像データと比較する（両者間の違いが生じた場所のみを識別抽出する）事で、より精度良く照射表面近くに毛細血管が密集している場所（癌組織候補）を識別抽出できる。
【０１５５】
しかし上記の可視光のみを使用した場合、撮像用観測光ＮＲ５が乱反射した表面の裏（奥側）に隠れている癌組織の予測抽出が難しい。本実施形態は前記問題を解決するため、ヘモグロビンが有する波長７５０ｎｍから８５０ｎｍの範囲内の小さな吸収ピーク特性を利用する。一般的に可視光と比べると近赤外光は生体内の透過率が相対的に高いため、生体内の深い部分（奥側）で乱反射された光の検出が可能である。具体的には図１５の近赤外域撮像部ＮＲ４０または図１９の近赤外光検出部ＮＲ７７で撮像用観測光ＮＲ５に含まれる波長７５０ｎｍから８５０ｎｍ範囲の近赤外光のみを選択的に抽出して撮像画像データを抽出する。前述した方法と同様に、波長７５０ｎｍから８５０ｎｍ範囲の近赤外光から得られた撮像画像データと可視の緑色光または赤色光から得られた撮像画像データとを比較（両者の明るさが異なる場所のみを抽出）する事で、より確度の高い癌組織候補の場所を抽出できる。このように波長７５０ｎｍから８５０ｎｍ範囲の近赤外光のみを選択的に抽出して撮像画像データを抽出する事で、裏側（奥側）に隠れている癌組織の予測抽出が可能となる。
【０１５６】
すなわち本実施形態では可視光と同時にそれとは波長領域の異なる光から得られる撮像画像データを取得する事で、可視光のみでは識別抽出が不可能な（奥側や裏側に隠れた）癌組織などの異常箇所を識別抽出できる新たな効果が生まれる。
【０１５７】
次に前述した“（２）周辺より若干の温度上昇”の特徴を光学的に検出して癌組織などの異常箇所を識別抽出する方法に付いて説明する。一般に近赤外領域における水分子の吸光特性は、温度やｐＨ値等に敏感に反応して変化する。尾崎氏が編集した近赤外分光に関する本（尾崎幸洋編：実用分光法シリーズ（１）近赤外分光法（１９９８年、(株)ＩＰＣ）ｐ．９）の中で記載されている、前田氏らが測定した水の近赤外スペクトルの温度変化（H. Maeda et. al.: J. Near Infrared Spectroscopy vol. 3 (1995) p. 191）の抜粋を図２１に示す。見易いように図２１では５℃、３５℃及び８５℃のみの特性を抜粋して示したが、その間の温度でも連続的な特性変化が見られる。ここで図２１に記載した吸光度とは、所定光路長の純水中を透過する光強度の透過前強度の透過後強度に対する比の常用対数を取った値（常用対数の係数は“１”）で定義される。そしてこの図２１の特性グラフの特徴として、
・・・波長１．４４μｍでの吸光度は温度が変わっても一定に保たれる  
・・・高温になるに従って吸収ピーク波長が短波長側にシフトする  
・・・波長１．４９μｍで最も高温変化時の吸光度の低下量が大きい  
・・・波長１．４１μｍで最も高温変化時の吸光度の増加量が大きい  
が上げられる。従って生体内被観察部位ＮＲ１に含まれる水の近赤外域における前記波長光毎の吸収量の変化（吸光スペクトルの変化）を検出する事で、生体内被観察部位ＮＲ１内での温度分布がモニタ可能となる。そして更に周囲と比べて局所的に温度上昇している部位を抽出する事で、癌組織などの異常箇所を識別抽出が行える。ここで生体内被観察部位ＮＲ１内での温度をモニタする方法として、  
・・ 撮像用観測光ＮＲ５の中で波長１．４１μｍ近傍または波長１．４９μｍ近傍のみの光を抽出し、その光の吸光度を測定するのが最も簡易的方法と言える。しかしそれに限らず本応用実施形態では  
・・ 撮像用観測光ＮＲ５に含まれる互いに異なる複数の狭帯域光成分を抽出し、各検出光量間で演算処理して温度を推定しても良い。そしてこの場合の演算処理方法として  
・・ 温度上昇に応じて吸光度が増加する波長域（例えば波長１．４１μｍ近傍）と、吸光度が低下する波長域（例えば波長１．４９μｍ近傍）での検出光量変化の差分を計算しても良い。
【０１５８】
この場合には検出信号が差分演算により算出されるので、例えば生体内被観察部位ＮＲ１表面形状の影響を受けずに安定に信号が得られる。すなわち例えば生体内被観察部位ＮＲ１表面が微細な凹凸形状を有する場合や表面が傾くと、波長１．４１μｍ近傍光と波長１．４９μｍ近傍光両方の検出光量が同時に低下する。この場合にも両者の差分演算する事で特定領域内が周囲に対して温度上昇しているか温度低下しているかが判定可能となる。
【０１５９】
このように異なる２波長域間の検出光量の差分を取り、その差分値の周辺部からの差分値に対する増減判定のみで周囲に対する温度の高低が分かる。更により精度の高い温度測定を行いたい場合には、
・・・・温度上昇に応じて吸光度が増加する波長域（例えば波長１．４１μｍ近傍）と吸光度が低下する波長域（例えば波長１．４９μｍ近傍）での検出光量を、求める。  
そして、前記検出光量を、温度に対して吸光度が変化しない波長域（例えば波長１．４４μｍ近傍）での検出光量で規格化した（割り算処理を行った）後に差分を取る方法がある。
【０１６０】
あるいは
・・・・図２１に示した水の吸収帯の周辺波長での吸光度を測定してベースバンドＷＳ１の特性を予め測定する。また温度上昇に応じて吸光度が増加する波長域（例えば波長１．４１μｍ近傍）と低下する波長域（例えば波長１．４９μｍ近傍）及び変化しない波長域（例えば波長１．４４μｍ近傍）での吸光度に対してベースバンド補正（波長域毎に生の吸光度の値とベースバンドの値との間での差分値を算出）を行う。そして、温度上昇に応じて吸光度が増加／低下する波長域での補正値を変化しない波長域での補正値で規格化した（割り算処理を行った）後に差分を取るなどの方法を用いても良い。
【０１６１】
これらの方法を利用する事で、生体内被観察部位ＮＲ１表面形状の影響を受けずに精度の良い所定部温度の測定が可能となる。
【０１６２】
更に前述した“（３）活発な細胞分裂”の特徴を光学的に検出して癌組織などの異常箇所を識別抽出する方法に付いて説明する。図２２は１個の細胞が細胞分裂（有糸分裂）を行っている最中（Ｍ期中期）の細胞内構造を示す。細胞分裂（有糸分裂）途中の細胞６０１内に姉妹染色分体（複製された染色体）６０３が一列に並ぶ。また各姉妹染色分体（複製された染色体）６０３の中央には動原体６０５が存在し、その動原体６０５と紡錘体極６０７の間は動原体微小管６０９で接続されている。所でこの姉妹染色分体（複製された染色体）６０３を構成するＤＮＡ（Deoxyribonucleic acid）内には負電荷を持つ燐酸基が多数存在する。そしてこの燐酸基の負電荷が周辺の水分子を引き寄せるため、この姉妹染色分体（複製された染色体）６０３周辺には図２２が示すように多層に重なった水分子層６１１が形成されると予想される。実際には細胞分裂（有糸分裂）途中の細胞６０１内の水分子は非常に流動的で動き回っているため、図２２のように固定された水分子層６１１が常に存在している訳では無い。しかし比較的高い確率で水分子が細胞分裂（有糸分裂）途中の細胞６０１周辺に配列されてあたかも水分子層６１１に近い状態を形成する時間が長くなると考えられる。するとこの水分子層６１１内での水分子間で水素結合する確率が高まる。その結果、図２３に示すように水分子層に帰属する吸収ピークＷＳ３が発生する。従ってこの水分子層に帰属する吸収ピークＷＳ３の有無を検出する事で測定対象位置での活発な細胞分裂（有糸分裂）が起きているか否かを判定し、癌組織などの異常箇所の識別抽出が可能となる。
【０１６３】
上記癌組織などの異常箇所の識別抽出に図１５の近赤外域撮像部ＮＲ４０から得られる情報が利用されるが、その近赤外域撮像部ＮＲ４０内部構造に関する第１の実施形態を図２４に示す。撮像用観測光ＮＲ５の中でダイクロイックミラＮＲ１７によって抽出された近赤外光の中で波長が８５０ｎｍ以下の光（特に波長が７５０ｎｍから８５０ｎｍ範囲内に含まれる撮像用観測光ＮＲ５）がダイクロイックミラＮＲ８１−１で反射されて抜き出される。次に図２１に示す純水の近赤外吸収帯よりも長波長と短波長の光が、それぞれダイクロイックミラＮＲ８１−２とＮＲ８１−３で反射されて抜き出される。そして各ダイクロイックミラＮＲ８１−１〜ＮＲ８１−３で反射された光はそれぞれ集光レンズＮＲ８３−１〜ＮＲ８３−３を経由して近赤外光撮像面ＮＲ８５−１〜ＮＲ８５−３上で結像される。ここで近赤外光撮像面ＮＲ８５−１から得られる情報が、前述した裏側（奥側）に隠れている癌組織のなどの異常箇所の予測抽出に利用される。また近赤外光撮像面ＮＲ８５−２とＮＲ８５−３から得られる情報で、前述したベースバンドＷＳ１の特性が検出される。次に全てのダイクロイックミラＮＲ８１−１〜ＮＲ８１−３を通過し、純水の近赤外吸収帯の範囲内の波長を有する撮像用観測光ＮＲ５は、液晶シャッターＮＲ８７を通過後ブレーズ化した（傾きを持った）グレーティングＮＲ９１を通過して分光される。その後は集光レンズＮＲ９３を経た後に近赤外光撮像面ＮＲ９５上に結像される。ここで液晶シャッターＮＲ８７には、紙面に直行する方向にスリット状に光を通過するスリット部ＮＲ８９が存在する。そしてこのスリット部ＮＲ８９が時間経過と共にＹ方向に移動し、スリット部ＮＲ８９を通過する撮像用観測光ＮＲ５の断面上の場所が変化する。このスリット部ＮＲ８９を通過した撮像用観測光ＮＲ５はブレーズ化したグレーティングＮＲ９１に拠り波長分割される（ブレーズ化したグレーティングＮＲ９１の通過光は波長毎に進行方向が変化する）。なお本応用実施形態ではグレーティングＮＲ９１の表面が微細に傾いた形状をしており、１次回折光の回折効率を高めている。その結果、近赤外光撮像面ＮＲ９５上に到達する撮像用観測光ＮＲ５の位置はＹ方向で異なるため、Ｙ方向での近赤外光撮像面ＮＲ９５での到達光量分布で図２１や図２３に示す近赤外吸収スペクトルが得られる。なお前述した説明と同様に、近赤外光撮像面ＮＲ９５上でのＹ方向での光強度分布としては、生体内被観察部位ＮＲ１に対するフーリェ変換パターンに関係したパターンが得られる。従って液晶シャッターＮＲ８７上のスリット部ＮＲ８９の移動に合わせた強度分布パターンを蓄積した後、前述した方法（逆フーリェ変換手法）で生体内被観察部位ＮＲ１の結像パターンを得る事が出来る。
【０１６４】
次に図２５を用いて近赤外光域撮像部内構造に関する第２の実施形態の説明を行う。この第２の実施形態では図示して無いが、図２４に対して液晶シャッターＮＲ８７を削除した構造を有する。前述したように撮像用観測光ＮＲ５はブレーズ化したグレーティングＮＲ９１で波長分割されるため、生体内被観察部位ＮＲ１に対する結像パターンが波長毎にＹ方向でずれて重畳されたパターンが形成される。ここで水分子層に帰属する吸収ピークＷＳ３の中心波長光で得られる異常箇所の結像パターンＮＲ１０１は、図２５（ｂ）のように異常箇所の結像位置で最も暗くなる。逆に水分子層に帰属する吸収ピークＷＳ３の中心波長からずれた波長を有する撮像用観測光ＮＲ５の結像パターンＮＲ１０３、ＮＲ１０５では、図２５（ａ），図２５（ｃ）に示すように目立って（大きく）暗くならない。そのため近赤外光撮像面ＮＲ９５上で実際に得られる光強度の合成バターンＮＲ１０７は図２５（ｄ）が示すように、図２５（ａ）〜図２５（ｃ）のパターンが重畳された形となる。ここで図２５（ｅ）は図２５（ｄ）が示す光強度の分布を現している。ここで図２５（ｄ）から分かるように、Ｙ方向での光強度が最も低くなる位置から、癌組織のなどの異常箇所の位置の判別が可能となる。
【０１６５】
本実施形態である特殊情報を含む生体内画像生成の例について、図２６を用いて説明する。図１５の可視光域撮像部ＮＲ３０から得られた信号から、可視画像生成部７０１で可視光領域での撮像画像データを生成する。またそれに限らず可視画像生成部７０１は、図１９における可視光検出部ＮＲ７５内に配置された可視光対応撮像面ＮＲ７１から得られる信号から可視光領域での撮像画像データを生成しても良い。そして可視画像生成部７０１で得られた可視光領域での撮像画像データに対して、色差信号抽出部７０３では画素毎の色差信号を抽出する。一方図１５に記載され、その詳細な構造が図２４で記載した近赤外域撮像部ＮＲ４０から得られる信号を用いて、異常箇所画像生成部７１１で異常箇所のみの撮像画像データを生成する。またそれと同時に異常箇所の種類判定部７１３で異常箇所の種類を判定するとともに、異常箇所の信頼度算出部７１５で異常箇所の信頼度を算出する。ここで前記の異常箇所の種類とは、例えば癌組織か？良性腫瘍か？ポリープか？単なる色素沈着か？などの周辺組織とは異なる部位に対する異なる種類を判定する。この判定には前述した可視光の一部（例えば青色）や近赤外光の一部の検出結果を用いて総合的に推定判断する。また癌組織の判断基準として
（１）  毛細血管が密集している（血管新生場所）  
（２）  周辺より若干温度が高くなっている  
（３）  細胞分裂（有糸分裂）が頻繁かつ活発に起きている  
などの説明を行った。上記複数の判定基準の中で何種類が該当するかにより、上記の異常箇所の信頼度を算出する。またそれに限らず、判断基準毎に事前に重み付けをしておき、該当項目毎に重み付け値を掛けた値の加算値で異常箇所の信頼度を算出しても良い。そして一例として癌組織の判断方法を説明したがそれに限らず、本応用実施形態では異常箇所として例えば良性腫瘍やポリープなどの検出信頼度を算出しても良い。この場合にも前記と同様に事前に複数の判断基準と重み係数を事前に設定する。また異常箇所画像生成部７１１、異常箇所の種類判定部７１３及び異常箇所の信頼度算出部７１５では前記近赤外域撮像部ＮＲ４０の代わりに、図１９に示した近赤外光検出部ＮＲ７７内の各近赤外光対応撮像面ＮＲ７３−１〜ＮＲ７３−７から得られた撮像画像データを使用しても良い。
【０１６６】
本実施形態において上記異常箇所の表示方法として、
・・・  異常箇所のみを色を変えて表示する方法        と
・・・  異常箇所のみをマーキングして表示する方法    が
ユーザ選択できると共にマーキング時のマーク形状（例えば丸印か？星印か？など）もユーザ選択出来る所に特徴が有る。また図２６の異常箇所の表示形式設定部７２１はユーザーインターフェース部となっており、ここを介してユーザ選択される。この異常箇所の表示形式設定部７２１の具体的な形態として、タッチパネルやキーボード、タッチセンサーあるいは音声識別部などを使用しても良い。またそれに限らず、無線受信部で構成されて外部のスマートフォーンやタブレットから入力しても良い。このように異常箇所の表示方法を柔軟に変更可能にする事で、診察中か？手術中か？などの状況に応じた最適な表示が可能になるだけでなく、ユーザの好みに応じた表示を行えるためにユーザの注意を引き易い効果が有る。まず始めに異常箇所の“色を変える”方法に付いて説明する。前記異常箇所の表示形式設定部７２１により、例えば「癌組織の場合には青色に変色させる」「良性ポリープなら緑色に変色させる」などの変色方法を事前に設定して置く。そして異常箇所の種類判定部７１３での判定結果に基付いて変色させるが、異常箇所の信頼度算出部７１５で算出された信頼度に応じて（例えば１００％癌組織の信頼度が有る場合には完全な青色表示にし、信頼度が低い場合には若干青味掛かるように変色させるなどの方法で）変色の度合いを変える。この時の変色後の色は前記色差信号集出部７０３から得られた色差信号情報を基準にして前記算出した信頼度に応じた変分色差量を加算して算出する。そして前記異常画像生成部７１１で抽出された異常画像の部分に対してのみ変色処理を施す。これら一連の処理は異常箇所の色差信号生成部７２７内で行われる。そしてここで生成された異常箇所の色差信号が画像の合成部７４１内で従来の可視画像生成部７０１に合成され、画像の表示部７４３で表示される。
【０１６７】
次に異常箇所のみをマーキングして表示する方法に付いて説明する。ユーザは異常箇所の表示形式設定部７２１を使って、予め「癌組織部を二重丸で表示」とか「良性主要部を四角で囲む」などのマーキング方法を事前に設定する。それにより、異常箇所の種類判定部７１３の判定結果に応じてマーキング形状が変化する。また本応用実施形態では、異常箇所の信頼度算出部７１５で算出された信頼度に応じて表示するマークの鮮明度を制御する。具体的には信頼度が１００％に近い異常箇所を示すマークは透明度が全くない（マーク線の下は可視光領域での画像は全く透けて見えない）形で太い実線で表示する。但しこの場合は、異常箇所がはっきり見えるように異常箇所を囲んだマークで表示する。また信頼度が下がるに従って透明度が増加（マーク線の下でも可視光領域での画像が一部透けて見える）し、線幅も徐々に細くなるとともに破線に変わる。このマークの形状とマーク線の状況も異常箇所画像生成部７３１の中で設定される。一方異常箇所画像生成部７１１で生成された異常箇所のみの画像に対して、そのサイズと中心位置が異常箇所領域サイズ算出部７２３と異常箇所の中心位置算出部７２５で算出され、可視光領域での画像内での異常箇所を囲んだ形でマークが配置できるように工夫される。このように可視光領域での画像内での異常箇所自体はマーク線の下に来ないため、ユーザはマークの影響を受けずに異常箇所の詳細な形状を見る事が可能となる。そして異常箇所領域サイズ算出部７２３と異常箇所の中心位置算出部７２５で算出された結果も利用して、異常箇所画像生成部７３１で異常箇所を示すマークの形状や配置場所とサイズ及び線の太さ／線の形態が設定される。ここで作成された異常箇所を示すマークが画像の合成部７４１で可視光領域での撮像画像データと合成され、画像の表示部７４３で表示される。
【０１６８】
上記では可視光領域での画像に重ねて表示する特殊情報として例えば癌組織等の異常箇所表示の説明を行った。しかし本実施形態での特殊情報としてはそれに限らず、例えば患者の脈拍や血圧、呼吸状況などの身体状況の表示、あるいは補充用血液の残量や点滴液の残量、手術に使う道具（メスや鉗子など）の準備状況、現在の時刻などの環境状況の表示、手術室への入出者状況などの外部情報の表示などを表示しても良い。また上記の説明では可視光領域での画像に重ねて特殊情報を表示する方法に付いて説明したが、本実施形態ではそれに限らず他の表示方法を行っても良い。具体的には例えば表示領域を分割して一方に可視光領域での画像を表示し、他方に特殊情報を並べて表示しても良い。更に可視光領域での画像と特殊情報が一部重なって表示しても良い。
【０１６９】
上記した一実施形態によれば、  
（１）同じ撮影空間内を異なる場所の複数のカメラで撮像した複数の撮像画像データをそれぞれ符号化する符号化装置と、画像データの解像度を決定する解像度設定装置と、前記解像度が設定され、かつ符号化された複数の符号化画像データをそれぞれストリーム化するストリーム化装置と、前記符号化画像データを搬送する複数のストリームの中から、伝送処理容量の許容範囲で、１つまたは複数のストリームを選択するストリーム選択装置と、選択されたストリーム及び制御信号を搬送するストリームを１つのストリームに合成し、合成ストリームを出力するストリーム合成装置と、前記合成ストリームを送信信号として出力する送信信号生成装置と、を有する。
【０１７０】
（２）他の実施形態によれば、上記（１）において、携帯モニタが、前記解像度設定装置、ストリーム選択装置を制御し、送信するストリームを選択し、前記選択されたストリームの解像度を決定し、  
前記携帯モニタが、さらに前記複数の撮像画像データをモニタリングする複数のモニタに対応する複数ブロックを示す第１の画像を表示する表示ロジックと、前記複数ブロックの中から選択されたブロックの設定情報を示す第２の画像を表示する表示ロジックと、を有し、前記選択が実行されるときは、前記第１の画像内の任意のブロックがタッチ操作により前記第２の画像までドラッグされることで前記設定情報が表示されるように構成されている。
【０１７１】
（３）また他の実施形態によれば、上記（１）において、前記合成ストリームには、立体表示用の画像データも含まれる。
【０１７２】
（４）更に他の実施形態によれば、第１の解像度が設定されて符号化されている第１の画像データを搬送する第１のストリームと、前記第１の解像度若しくは第２の解像度が設定され符号化されている第２の画像データを搬送する２のストリームと、が合成された合成ストリームを受信し復調する受信及び復調器を有する。ここで前記第１の画像データと第２の画像データとは、同じ撮影空間の被写体を異なるアングルで撮像して取得した画像データである。そして、前記第１のストリームと第２のストリームとを分離する分離回路と、分離された前記第１と第２のストリームの画像データを復号化し、第１の画像データと第２の画像データとを得る第１と第２の復号器と、前記第１と第２の画像データによる第１と第２の画像を、設定した表示パターンで表示器の表示エリアに配置するように、前記第１と第２の画像データを前記表示器に出力するための表示パターン設定部と、前記表示パターンを複数のパターンから選択するために携帯モニタと通信して、操作信号を受け取り、前記表示パターン設定部を制御するシステム制御装置と、を備える。
【０１７３】
（５）更にまた他の実施形態によると上記（４）において、前記携帯モニタが、タッチ入力操作パネルを備えた表示パネルを有し、前記表示パネルに、前記第１と第２のストリームの画像を表示する複数のブロックを表示するとともに、複数の表示エリアを設定し、前記複数のブロックのうち任意のブロックがタッチ操作により前記複数の表示エリアの任意の表示エリアドラッグされることで前記表示パターンが設定される。
【０１７４】
（６）また他の実施形態によれば、上記（５）において、前記合成ストリームには、立体表示用の画像データが含まれる。
【０１７５】
（７）さらに他の実施形態において、以下の方法が実施される。即ち、送信装置を形成するブロックにおいて、
同じ撮影空間内を異なる場所の複数のカメラで撮像した複数の撮像画像データをそれぞれ符号化し、画像データの解像度を決定し、前記解像度が設定され、かつ符号化された複数の符号化画像データをそれぞれストリーム化し、前記符号化画像データを搬送する複数のストリームの中から、伝送処理容量の許容範囲で、１つまたは複数のストリームを選択し、選択されたストリーム及び制御信号を搬送するストリームを１つのストリームに合成し、合成ストリームを出力し、前記合成ストリームを送信信号として出力する送信信号処理方法である。
【０１７６】
（８）また他の実施形態によれば、携帯モニタを用い、前記解像度を設定する設定装置、ストリーム選択装置を制御し、送信するストリームを選択し、前記選択されたストリームの解像度を決定し、
前記携帯モニタで、
前記複数の撮像画像データをモニタリングする複数のモニタに対応する複数ブロックを示す第１の画像を表示し、前記複数ブロックの中から選択されたブロックの設定情報を示す第２の画像を表示し、前記選択が実行されるときは、前記第１の画像内の任意のブロックがタッチ操作により前記第２の画像までドラッグされることで前記設定情報が表示する方法がある。
【符号の説明】
【０１７７】
ＣＭ１−ＣＭ９・・・ビデオカメラ、１１１・・・インターフェース、１１２・・・符号化装置、１１３・・・解像度設定装置、１１４・・・ストリーム化装置、１１５・・・ストリーム選択装置、１１６・・・ストリーム合成装置、１１７・・・放送信号生成装置、１１８・・・送信器、１２１・・・記録再生制御部、１２２・・・記録再生装置、１３０・・・モニタ配置棚、１４０・・・システム制御装置、１５１・・・携帯モニタ、４０１・・・受信機、４０２・・・復調器、４０３・・・ストリーム分離回路、４１１−４１３・・・ストリーム復号器、４２１−４２４・・・バッファ回路、４３０・・・表示パターン設定部、４４１・・・記録再生制御部、４４２・・・記憶装置、４５０・・・システム制御装置、４５１・・・モニタ用画像データ生成部、４６０・・・携帯モニタ、６０１…細胞分裂（有糸分裂）途中の細胞、６０３…姉妹染色分体（複製された染色体）、６０５…動原体、６０７…紡錘体極、６０９…動原体微小管、６１１…水分子層、７０１…可視画像生成部、７０３…色差信号抽出部、７１１…異常箇所画像生成部、７１３…異常箇所の種類判定部、７１５…異常箇所の信頼度算出部、７２１…異常箇所の表示形式設定部、７２３…異常箇所領域サイズ算出部、７２５…異常箇所の中心位置算出部、７２７…異常箇所の色差信号生成部、７３１…異常箇所画像生成部、７４１…画像の合成部、７４３…画像の表示部、ＮＲ１…生体内被観察部位、ＮＲ３…対物レンズ、ＮＲ３−１…高屈折率硝材部、ＮＲ３−２…低屈折率硝材部、ＮＲ５…撮像用観測光、ＮＲ５−１…撮像用観測光内の所定波長光、ＮＲ５−２…撮像用観測光内の所定波長より長い波長光、ＮＲ７…色収差補正用レンズ、ＮＲ７−１…低屈折率硝材部、ＮＲ７−２…高屈折率硝材部、ＮＲ９…光路固定部材、ＮＲ１１…ハーフミラ、ＮＲ１３…集光レンズ、ＮＲ１５…光源、ＮＲ１７…ダイクロイックミラ、ＮＲ１９…空洞部、ＮＲ２１…凸レンズ、ＮＲ２３…凹レンズ、ＮＲ３０…可視光域撮像部、ＮＲ３１、ＮＲ３２…ダイクロイックミラ、ＮＲ３３−１〜ＮＲ３３−３…結像レンズ、ＮＲ３５−１〜ＮＲ３５−３…撮像面、ＮＲ４０…近赤外域撮像部、ＮＲ６１…ファイバ束、ＮＲ６３…光路ガイド部、ＮＲ６５…光ガイド用ファイバ、ＮＲ６７…照射光ガイド用ファイバ、ＮＲ７１…可視光対応撮像面、ＮＲ７３−１〜ＮＲ７３−７…近赤外光対応撮像面、ＮＲ７５…可視光検出部、ＮＲ７７…近赤外光検出部、ＮＲ７９−１〜ＮＲ７９−８…光ガイド用ファイバ端面、ＮＲ８１−１〜ＮＲ８１−３…ダイクロイックミラ、ＮＲ８３−１〜ＮＲ８３−３…集光レンズ、
ＮＲ８５−１〜ＮＲ８５−３…近赤外光撮像面、ＮＲ８７…液晶シャッター、ＮＲ８９…スリット部、ＮＲ９１…ブレーズ化したグレーティング、
ＮＲ９３…集光レンズ、ＮＲ９５…近赤外光撮像面、ＮＲ１０１…異常箇所の結像パターン、ＮＲ１０３、ＮＲ１０５…異常箇所の結像パターン、ＮＲ１０７…合成パターン、ＷＳ１…ベースバンド、ＷＳ３…水分子層に帰属する吸収ピーク
【図１】
2015195562.tif 000003
【図２】
2015195562.tif 000004
【図３Ａ】
2015195562.tif 000005
【図３Ｂ】
2015195562.tif 000006
【図３Ｃ】
2015195562.tif 000007
【図４】
2015195562.tif 000008
【図５Ａ】
2015195562.tif 000009
【図５Ｂ】
2015195562.tif 000010
【図５Ｃ】
2015195562.tif 000011
【図５Ｄ】
2015195562.tif 000012
【図５Ｅ】
2015195562.tif 000013
【図６Ａ】
2015195562.tif 000014
【図６Ｂ】
2015195562.tif 000015
【図６Ｃ】
2015195562.tif 000016
【図６Ｄ】
2015195562.tif 000017
【図６Ｅ】
2015195562.tif 000018
【図７Ａ】
2015195562.tif 000019
【図７Ｂ】
2015195562.tif 000020
【図７Ｃ】
2015195562.tif 000021
【図８】
2015195562.tif 000022
【図９】
2015195562.tif 000023
【図１０Ａ】
2015195562.tif 000024
【図１０Ｂ】
2015195562.tif 000025
【図１１Ａ】
2015195562.tif 000026
【図１１Ｂ】
2015195562.tif 000027
【図１２Ａ】
2015195562.tif 000028
【図１２Ｂ】
2015195562.tif 000029
【図１３】
2015195562.tif 000030
【図１４】
2015195562.tif 000031
【図１５】
2015195562.tif 000032
【図１６】
2015195562.tif 000033
【図１７Ａ】
2015195562.tif 000034
【図１７Ｂ】
2015195562.tif 000035
【図１７Ｃ】
2015195562.tif 000036
【図１８】
2015195562.tif 000037
【図１９】
2015195562.tif 000038
【図２０】
2015195562.tif 000039
【図２１】
2015195562.tif 000040
【図２２】
2015195562.tif 000041
【図２３】
2015195562.tif 000042
【図２４】
2015195562.tif 000043
【図２５】
2015195562.tif 000044
【図２６】
2015195562.tif 000045