(57)【要約】【課題】眼科手術映像のような、注目領域が画像の動きと一致せず、また注目領域内の物体の形状や模様が変形したり、出血などにより色が変化したりする映像に対しても注目領域を自動的に追尾する。【解決手段】パターンマッチングを行なって、図形の形状および図形と関心領域基準点との相対的位置関係を維持した状態で、検出した図形と同一の図形を変化後の映像データから検出するパターンマッチング部１１と、特定領域内に定められる領域基準点と関心領域基準点との相対的位置を算出し、映像データの変化に追従して、領域基準点と関心領域基準点との相対的位置を維持した状態で、特定領域の位置を変化させる適応的ＲＯＩ決定部１２と、符号化された映像データのうち、特定領域に対応する映像データを抽出し、抽出した映像データを、特定領域に対応しない映像データよりも優先的に伝送する伝送部分データ決定部と、を備える。【選択図】図１
2009246642.tif 000002
【特許請求の範囲】
【請求項１】
映像中の特定領域を優先的に伝送する映像伝送装置であって、
入力された映像データについてパターンマッチングを行なうことにより映像データ内で認識可能な図形を検出し、検出した図形中に関心領域基準点を定め、映像データの変化に追従して、前記図形の形状および前記図形と関心領域基準点との相対的位置関係を維持した状態で、前記検出した図形と同一の図形を変化後の映像データから検出するパターンマッチング部と、
映像内の一部の特定領域を指定する領域指定情報に基づいて、前記特定領域内に定められる領域基準点と前記関心領域基準点との相対的位置を算出し、映像データの変化に追従して、前記領域基準点と前記関心領域基準点との相対的位置を維持した状態で、前記特定領域の位置を変化させるＲＯＩ決定部と、
入力された映像データを符号化する符号化部と、
前記符号化された映像データのうち、前記特定領域に対応する映像データを抽出し、前記抽出した映像データを、前記特定領域に対応しない映像データよりも優先的に伝送する伝送部分データ決定部と、を備えることを特徴とする映像伝送装置。
【請求項２】
前記伝送部分データ決定部は、前記特定領域に対応する映像データを、前記特定領域に対応しない映像データと比較して、高解像度または高ビット精度で伝送することを特徴とする請求項１記載の映像伝送装置。
【請求項３】
請求項１または請求項２記載の映像伝送装置に対して、映像内の一部の特定領域を指定する領域指定情報を送信する一方、
請求項１または請求項２記載の映像伝送装置から受信した映像データを復号して視認可能に表示することを特徴とする映像表示装置。
【請求項４】
映像伝送装置から、映像中の特定領域を優先的に、映像表示装置に対して伝送する映像伝送システムであって、
前記映像伝送装置は、
入力された映像データについてパターンマッチングを行なうことにより映像データ内で認識可能な図形を検出し、検出した図形中に関心領域基準点を定め、映像データの変化に追従して、前記図形の形状および前記図形と関心領域基準点との相対的位置関係を維持した状態で、前記検出した図形と同一の図形を変化後の映像データから検出するパターンマッチング部と、
前記映像表示装置から送信された映像内の一部の特定領域を指定する領域指定情報に基づいて、前記特定領域内に定められる領域基準点と前記関心領域基準点との相対的位置を算出し、映像データの変化に追従して、前記領域基準点と前記関心領域基準点との相対的位置を維持した状態で、前記特定領域の位置を変化させるＲＯＩ決定部と、
入力された映像データを符号化する符号化部と、
前記符号化された映像データのうち、前記特定領域に対応する映像データを抽出し、前記抽出した映像データを、前記特定領域に対応しない映像データよりも優先的に前記映像表示装置に対して伝送する伝送部分データ決定部と、を備え、
前記映像表示装置は、
前記映像伝送装置に対して映像内の一部の特定領域を指定する領域指定情報を送信するＧＵＩ部と、
前記映像伝送装置から受信した映像データを復号する復号部と、
前記復号した映像データを視認可能に表示する表示部と、を備えることを特徴とする映像伝送システム。
【請求項５】
映像伝送装置から、映像中の特定領域を優先的に、映像表示装置に対して伝送する映像伝送システムであって、
前記映像伝送装置は、
入力された映像データについてパターンマッチングを行なうことにより映像データ内で認識可能な図形を検出し、検出した図形中に関心領域基準点を定め、映像データの変化に追従して、前記図形の形状および前記図形と関心領域基準点との相対的位置関係を維持した状態で、前記検出した図形と同一の図形を変化後の映像データから検出するパターンマッチング部と、
入力された映像データを符号化する符号化部と、
前記符号化された映像データのうち、前記映像表示装置から受信した映像データ内の特定領域を指定するデータに基づいて、前記特定領域に対応する映像データを抽出し、前記抽出した映像データを、前記特定領域に対応しない映像データよりも優先的に前記映像表示装置に対して伝送する伝送部分データ決定部と、を備え、
前記映像表示装置は、
映像内の一部の特定領域を指定する領域指定情報に基づいて、前記特定領域内に定められる領域基準点と前記映像表示装置から受信したデータに含まれる前記関心領域基準点との相対的位置を算出し、映像データの変化に追従して、前記領域基準点と前記関心領域基準点との相対的位置を維持した状態で、前記特定領域の位置を変化させるＲＯＩ決定部と、
前記ＲＯＩ決定部に対して映像内の一部の特定領域を指定する領域指定情報を入力するＧＵＩ部と、
前記映像伝送装置から受信した映像データを復号する復号部と、
前記復号した映像データを視認可能に表示する表示部と、を備えることを特徴とする映像伝送システム。
【請求項６】
映像伝送装置から、映像中の特定領域を優先的に、映像表示装置に対して伝送する映像伝送システムであって、
前記映像伝送装置は、
入力された映像データについてパターンマッチングを行なうことにより映像データ内で認識可能な図形を検出し、検出した図形中に関心領域基準点を定め、映像データの変化に追従して、前記図形の形状および前記図形と関心領域基準点との相対的位置関係を維持した状態で、前記検出した図形と同一の図形を変化後の映像データから検出するパターンマッチング部と、
前記映像表示装置から送信された映像内の一部の特定領域を指定する領域指定情報に基づいて、前記特定領域内に定められる領域基準点と前記関心領域基準点との相対的位置を算出し、映像データの変化に追従して、前記領域基準点と前記関心領域基準点との相対的位置を維持した状態で、前記特定領域の位置を変化させるＲＯＩ決定部と、
入力された映像データのうち、前記特定領域に対応する映像データを符号化し、前記符号化した映像データを前記映像表示装置に対して伝送する伝送部分データ決定部と、を備え、
前記映像表示装置は、
前記映像伝送装置に対して映像内の一部の特定領域を指定する領域指定情報を送信するＧＵＩ部と、
前記映像伝送装置から受信した映像データを復号する復号部と、
前記復号した映像データを視認可能に表示する表示部と、を備えることを特徴とする映像伝送システム。
【請求項７】
前記映像伝送装置は、
前記パターンマッチング部によって検出された図形および関心領域基準点のデータを記憶する第１の記憶部と、
前記符号化部の符号化情報を記憶する第２の記憶部と、をさらに備えることを特徴とする請求項４記載の映像伝送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークの伝送帯域が十分でない場合に、注目領域のみを優先的に伝送する技術に関する。
【背景技術】
【０００２】
映像情報のデータ量を圧縮し伝送・蓄積するために各種符号化技術が標準化されている。映像を伝送する際に、伝送路帯域が制限されている場合でも、画像内の重要な領域のみを優先的に伝送できるＲＯＩ（Region Of Interest：関心領域）映像伝送に関する検討が進んでいる。ＪＰＥＧ２０００圧縮方式でも、注目領域の画質を他の領域より高画質に符号化するＲＯＩ機能を有している。ＲＯＩの設定手法としては、ＲＯＩを動きのある被写体に設定する画像処理装置の一例が特許文献１および特許文献２に開示されている。
【０００３】
特許文献１では、ＣＰＵが連続する複数画面の画像信号を画面ごとに複数のブロックに分割し、動き検出回路が求めたＹ信号の輝度変化から、動きのある被写体である特定被写体を検出する。そして、ＣＰＵは、動きが検出されたブロックを特定し、ＪＰＥＧ２０００のＲＯＩ機能を利用し、そのブロックを注目領域として設定する。そして、ＪＰＥＧ２０００コーデックに対し、動き検出ブロックの画像信号を第１圧縮率、すなわち、アラーム圧縮率で、高画質の画像に圧縮すると共に、動き未検出ブロックに対応する画像信号を第１圧縮率よりも高い圧縮率の第２圧縮率、すなわち、ノーマル圧縮率で個別に圧縮するよう命令する。
【０００４】
また、特許文献２には、動画像中の注目被写体の動きに合わせて適切なＲＯＩ領域を自動的に設定する技術が開示されている。この技術では、動画像の任意のフレームでＲＯＩ領域が初期設定される。そのフレーム以後のフレームにおいて、初期設定されたＲＯＩ領域の特徴的画像が識別され、その特徴量が保存される。その後のフレームにおいて、特徴的画像と特徴量が一致する画像の探索が行なわれ、探索された画像に追従させるようにＲＯＩ領域が設定される。特徴量が一致する画像の探索に失敗したフレームでは、現在設定されているＲＯＩ領域は無効とされ、ＲＯＩ処理は抑止される。
【特許文献１】特開２００４−２００７３９号公報
【特許文献２】特開２００４−２４０８４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ここで、眼科などの手術映像伝送を行なう際、伝送帯域に制限がある場合に、医師が最も注目したい領域を優先的に伝送することを可能とする注目領域優先伝送装置について考える。この装置では、どのように注目領域を自動追尾するかが問題となる。特許文献１に記載された技術では、動きのある特定被写体をＲＯＩ対象とする。しかしながら、眼科手術映像においては、動きのある領域と医師が注目したい領域が必ずしも完全に一致しないため、特許文献１に記載された技術では、要求を満たすためには十分ではない。
【０００６】
また、特許文献２に記載された技術では、任意のフレームでユーザが初期設定したＲＯＩについて、この領域の特徴的画像を識別し、以降のフレームで特徴的画像を探索しＲＯＩを追従させている。ここで、一般的な画像特徴として、形状や色などが考えられる。眼科手術映像の場合、手術の進行に応じて注目している領域中の物体の形状や模様が変形したり、出血などにより色が変化したりする場合があり、注目領域の画像特徴は常に一定であるとは限らない。従って、特許文献２に記載された技術は、眼科手術映像のＲＯＩ自動追跡方式を用いることは適切でない場合が多いと考えられる。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、眼科手術映像のような、注目領域が画像の動きと一致せず、また注目領域内の物体の形状や模様が変形したり、出血などにより色が変化したりする映像に対しても注目領域を自動的に追尾することができる映像伝送装置、映像表示装置および映像伝送システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の映像伝送装置は、映像中の特定領域を優先的に伝送する映像伝送装置であって、入力された映像データについてパターンマッチングを行なうことにより映像データ内で認識可能な図形を検出し、検出した図形中に関心領域基準点を定め、映像データの変化に追従して、前記図形の形状および前記図形と関心領域基準点との相対的位置関係を維持した状態で、前記検出した図形と同一の図形を変化後の映像データから検出するパターンマッチング部と、映像内の一部の特定領域を指定する領域指定情報に基づいて、前記特定領域内に定められる領域基準点と前記関心領域基準点との相対的位置を算出し、映像データの変化に追従して、前記領域基準点と前記関心領域基準点との相対的位置を維持した状態で、前記特定領域の位置を変化させるＲＯＩ決定部と、入力された映像データを符号化する符号化部と、前記符号化された映像データのうち、前記特定領域に対応する映像データを抽出し、前記抽出した映像データを、前記特定領域に対応しない映像データよりも優先的に伝送する伝送部分データ決定部と、を備えることを特徴としている。
【０００９】
このように、図形の形状および図形と関心領域基準点との相対的位置関係を維持した状態で、検出した図形と同一の図形を変化後の映像データから検出すると共に、映像データの変化に追従して、領域基準点と関心領域基準点との相対的位置を維持した状態で、特定領域の位置を変化させるので、ＲＯＩ内の物体の形状や模様が変形したり、出血などにより色が変化したりする映像に対してもＲＯＩを自動的で追尾することができる。さらに、利用者は任意のフレームにおいて、ＲＯＩの設定を変更することができる。
【００１０】
（２）また、本発明の映像伝送装置において、前記伝送部分データ決定部は、前記特定領域に対応する映像データを、前記特定領域に対応しない映像データと比較して、高解像度または高ビット精度で伝送することを特徴としている。
【００１１】
このように、特定領域に対応する映像データを、特定領域に対応しない映像データと比較して、高解像度または高ビット精度で伝送するので、特定領域に対応する映像データを高画質で表示することが可能となる。
【００１２】
（３）また、本発明の映像表示装置は、請求項１または請求項２記載の映像伝送装置に対して、映像内の一部の特定領域を指定する領域指定情報を送信する一方、請求項１または請求項２記載の映像伝送装置から受信した映像データを復号して視認可能に表示することを特徴としている。
【００１３】
この構成より、ＲＯＩ内の物体の形状や模様が変形したり、出血などにより色が変化したりする映像に対してもＲＯＩを自動的で追尾することができるシステムを構築することが可能となる。
【００１４】
（４）また、本発明の映像伝送システムは、映像伝送装置から、映像中の特定領域を優先的に、映像表示装置に対して伝送する映像伝送システムであって、前記映像伝送装置は、入力された映像データについてパターンマッチングを行なうことにより映像データ内で認識可能な図形を検出し、検出した図形中に関心領域基準点を定め、映像データの変化に追従して、前記図形の形状および前記図形と関心領域基準点との相対的位置関係を維持した状態で、前記検出した図形と同一の図形を変化後の映像データから検出するパターンマッチング部と、前記映像表示装置から送信された映像内の一部の特定領域を指定する領域指定情報に基づいて、前記特定領域内に定められる領域基準点と前記関心領域基準点との相対的位置を算出し、映像データの変化に追従して、前記領域基準点と前記関心領域基準点との相対的位置を維持した状態で、前記特定領域の位置を変化させるＲＯＩ決定部と、入力された映像データを符号化する符号化部と、前記符号化された映像データのうち、前記特定領域に対応する映像データを抽出し、前記抽出した映像データを、前記特定領域に対応しない映像データよりも優先的に前記映像表示装置に対して伝送する伝送部分データ決定部と、を備え、前記映像表示装置は、前記映像伝送装置に対して映像内の一部の特定領域を指定する領域指定情報を送信するＧＵＩ部と、前記映像伝送装置から受信した映像データを復号する復号部と、前記復号した映像データを視認可能に表示する表示部と、を備えることを特徴としている。
【００１５】
このように、図形の形状および図形と関心領域基準点との相対的位置関係を維持した状態で、検出した図形と同一の図形を変化後の映像データから検出すると共に、映像データの変化に追従して、領域基準点と関心領域基準点との相対的位置を維持した状態で、特定領域の位置を変化させるので、ＲＯＩ内の物体の形状や模様が変形したり、出血などにより色が変化したりする映像に対してもＲＯＩを自動的で追尾することができる。さらに、利用者は任意のフレームにおいて、ＲＯＩの設定を変更することができる。
【００１６】
（５）また、本発明の映像伝送システムは、映像伝送装置から、映像中の特定領域を優先的に、映像表示装置に対して伝送する映像伝送システムであって、前記映像伝送装置は、入力された映像データについてパターンマッチングを行なうことにより映像データ内で認識可能な図形を検出し、検出した図形中に関心領域基準点を定め、映像データの変化に追従して、前記図形の形状および前記図形と関心領域基準点との相対的位置関係を維持した状態で、前記検出した図形と同一の図形を変化後の映像データから検出するパターンマッチング部と、入力された映像データを符号化する符号化部と、前記符号化された映像データのうち、前記映像表示装置から受信した映像データ内の特定領域を指定するデータに基づいて、前記特定領域に対応する映像データを抽出し、前記抽出した映像データを、前記特定領域に対応しない映像データよりも優先的に前記映像表示装置に対して伝送する伝送部分データ決定部と、を備え、前記映像表示装置は、映像内の一部の特定領域を指定する領域指定情報に基づいて、前記特定領域内に定められる領域基準点と前記映像表示装置から受信したデータに含まれる前記関心領域基準点との相対的位置を算出し、映像データの変化に追従して、前記領域基準点と前記関心領域基準点との相対的位置を維持した状態で、前記特定領域の位置を変化させるＲＯＩ決定部と、前記ＲＯＩ決定部に対して映像内の一部の特定領域を指定する領域指定情報を入力するＧＵＩ部と、前記映像伝送装置から受信した映像データを復号する復号部と、前記復号した映像データを視認可能に表示する表示部と、を備えることを特徴としている。
【００１７】
このように、映像表示装置側にＲＯＩ決定部を設けたので、映像伝送装置では、単に特定領域が指定されるのみとなり、特定領域内の映像データを優先的に伝送する機能を持てば良く、映像伝送装置側の設備を簡略化させることが可能となる。
【００１８】
（６）また、本発明の映像伝送システムは、映像伝送装置から、映像中の特定領域を優先的に、映像表示装置に対して伝送する映像伝送システムであって、前記映像伝送装置は、入力された映像データについてパターンマッチングを行なうことにより映像データ内で認識可能な図形を検出し、検出した図形中に関心領域基準点を定め、映像データの変化に追従して、前記図形の形状および前記図形と関心領域基準点との相対的位置関係を維持した状態で、前記検出した図形と同一の図形を変化後の映像データから検出するパターンマッチング部と、前記映像表示装置から送信された映像内の一部の特定領域を指定する領域指定情報に基づいて、前記特定領域内に定められる領域基準点と前記関心領域基準点との相対的位置を算出し、映像データの変化に追従して、前記領域基準点と前記関心領域基準点との相対的位置を維持した状態で、前記特定領域の位置を変化させるＲＯＩ決定部と、入力された映像データのうち、前記特定領域に対応する映像データを符号化し、前記符号化した映像データを前記映像表示装置に対して伝送する伝送部分データ決定部と、を備え、前記映像表示装置は、前記映像伝送装置に対して映像内の一部の特定領域を指定する領域指定情報を送信するＧＵＩ部と、前記映像伝送装置から受信した映像データを復号する復号部と、前記復号した映像データを視認可能に表示する表示部と、を備えることを特徴としている。
【００１９】
このように、入力された映像データのうち、特定領域に対応する映像データを符号化し、符号化した映像データを映像表示装置に対して伝送するので、符号化の時点で特定領域のみの符号を作成することが可能となる。これにより、特定領域のみを抽出する処理を行なう必要が無くなる。
【００２０】
（７）また、本発明の映像伝送システムにおいて、前記映像伝送装置は、前記パターンマッチング部によって検出された図形および関心領域基準点のデータを記憶する第１の記憶部と、前記符号化部の符号化情報を記憶する第２の記憶部と、をさらに備えることを特徴としている。
【００２１】
このように、第１および第２の記憶部を備えているので、必要に応じて、記憶された符号化情報とそれぞれのフレームの関心領域基準点を読み出すことによって、ユーザの要求に応じたタイミングで、ユーザが要求するフレームを自由に閲覧することが可能となる。これにより、ビデオ・オン・デマンドや、巻き戻し再生などのトリックプレイを行なうことが可能となる。
【発明の効果】
【００２２】
本発明によれば、図形の形状および図形と関心領域基準点との相対的位置関係を維持した状態で、検出した図形と同一の図形を変化後の映像データから検出すると共に、映像データの変化に追従して、領域基準点と関心領域基準点との相対的位置を維持した状態で、特定領域の位置を変化させるので、ＲＯＩ内の物体の形状や模様が変形したり、出血などにより色が変化したりする映像に対してもＲＯＩを自動的に追尾することができる。さらに、利用者は任意のフレームにおいて、ＲＯＩの設定を変更することができる。
【発明を実施するための最良の形態】
【００２３】
（第１の実施形態）
図１は、第１の実施形態に係る映像伝送システムの概略構成を示す図である。通信回線Ｎを介して、送信装置１Ａと受信装置２Ａとが接続される。また、送信装置１Ａは、符号化（圧縮）部１０、パターンマッチング部１１、適応的ＲＯＩ決定部１２、および伝送部分データ決定部１３を備えている。また、受信装置２Ａは、ＧＵＩ部２１と復号部２２とから構成されている。
【００２４】
映像は、各時刻におけるフレームの集まりとする。符号化（圧縮）部１０において、映像を符号化圧縮する。ここで、フレーム単位でＲＯＩを優先して伝送することを可能とするため、符号化はフレーム単位で行なう符号化方式が望ましい。さらに、例えばＪＰＥＧ２０００においては、コードブロックやプリシンクトと呼ばれる小さな矩形単位で符号化を行なうため、必要な画像の要素だけを切り出して伝送することが可能である。
【００２５】
パターンマッチング部１１において、映像から容易な画像認識処理により認識できる物体を自動で追尾する。例えば、眼科の手術映像においては、角膜領域や眼底領域は常にほぼ円形であり、比較的容易なパターンマッチングにより領域検出・追尾が可能である。ここで検出した領域の中心点を、「ＲＯＩ基準点（関心領域基準点）」とする。
【００２６】
ＧＵＩ部２１より、表示装置の利用者（医師）が、ＲＯＩ指定操作を行なう。ある時刻ｔ０のフレームＩ（ｔ０）に対して注目領域を設定する。ＲＯＩ指定操作は、ＧＵＩ部２１により矩形を指定する操作を示す。ここで指定されたＲＯＩを、Ｉ（ｔ０）に対する「利用者指定ＲＯＩ位置」と呼ぶ。ここで、利用者指定ＲＯＩ位置は、矩形の左上の座標と矩形の縦・横の大きさのパラメータの集合とする。なお、ＲＯＩの形状は矩形に限定する必要はなく、有限個数のパラメータの集合で伝送できる形状であれば、本発明に適用することが可能である。例えば、中心と、その中心からの距離を定めれば、ＲＯＩの形状を円とすることができる。
【００２７】
適応的ＲＯＩ決定部１２において、フレーム毎の注目領域を決定する。図２は、適応的ＲＯＩ決定部１２の概略構成を示す図である。図２に示すように、相対位置決定部１２ａは、利用者指定ＲＯＩ位置と同一フレームにおいて、パターンマッチング部１１において検出したＲＯＩ基準点との差分を相対位置として算出し、この値を相対位置（記録部）１２ｂに記録する。
【００２８】
図３は、ＲＯＩ基準点、相対位置、角膜または眼底、利用者指定ＲＯＩ位置の関係を示す図である。利用者により、ＲＯＩが設定されたフレームよりも後の時刻の各フレームに対しては、図２に示すＲＯＩ決定部１２ｃにおいて、それぞれのフレームに対してパターンマッチング部１１で決定したＲＯＩ基準点に相対位置を加算し、各フレームのＲＯＩを決定する。図４は、ＲＯＩ基準点、相対位置、角膜または眼底、そのフレームで決定したＲＯＩの関係を示している。
【００２９】
伝送部分データ決定部１３において、各フレームの符号化情報のうち、上記決定されたＲＯＩに含まれる情報を抽出し、当該情報をＲＯＩに含まれない情報に比べて優先的に伝送する。ＪＰＥＧ０２０００符号化の場合、離散ウェーブレット変換係数が、ある特定の大きさの矩形領域単位で独立に符号化されているため、その符号化単位での伝送が可能である。つまり、ＲＯＩに含まれる符号化単位のみ画像符号化情報から抽出して優先的に伝送する。
【００３０】
復号部２２においては、受信した符号化単位のみから復号を行なう。ＪＰＥＧ２０００のようなウェーブレット変換符号化の場合、画像のすべてが揃っていなくても、一部のウェーブレット変換係数のみを復号することにより、周波数的かつ空間的に、画像の一部を再生することが可能である。本発明においては、各フレームのＲＯＩ部分が優先して伝送されるため、再生画像中のＲＯＩ部分の品質は、ＲＯＩ以外の部分の画質に比べて高くなる。再生された画像は、ユーザーインターフェース（ＧＵＩ部２１）を通して表示される。
【００３１】
（利用者によるＲＯＩの変更）
利用者によるＲＯＩの変更は任意の時点で可能である。あるＲＯＩが既に設定されている場合でも、利用者がユーザーインターフェース（ＧＵＩ部２１）を通じて、ＲＯＩ指定操作を行ないＲＯＩの位置を変更した場合は、前記と同様、まず、相対位置決定部１２ａにおいて、新しい相対位置を算出し、この値を更新保存する。更新後の各フレームにおいては、前記処理と同様、ＲＯＩ決定部１２ｃにおいて、フレームごとのＲＯＩを決定する。
【００３２】
（ＲＯＩの優先度合い）
なお、伝送部分データ決定部１３において、ＲＯＩに含まれる情報をそれ以外の情報に比べてどの程度優先的に伝送するかについて制御する。但し、通信回線の伝送帯域の制約を受けるため、１フレームの情報として伝送できる情報量には上限がある。その範囲内で、できるだけ画像品質を改善できるように制御を行なう。
【００３３】
画像中のすべての領域のデータを送ることができない場合には、ＲＯＩに含まれるデータを優先的に伝送する。これにより、ＲＯＩは高品質（高解像度あるいは高量子化精度）で伝送することが可能となる。
【００３４】
図５は、ＲＯＩおよび非ＲＯＩと、解像度との関係を示す図である。図５において、ＲＯＩの解像度が高いほうから優先的に伝送される。
【００３５】
図６は、画素領域の一例を示す図であり、図７は、ウェーブレット変換係数領域の一例を示す図である。画素領域で指定したＲＯＩの形状をウェーブレット変換し、ウェーブレット変換係数領域でのＲＯＩの形状を作成し、ＲＯＩに含まれるウェーブレット変換係数を特定する。図６に示す画素領域でのＲＯＩに対応するウェーブレット変換係数領域でのＲＯＩが、図７に示されている。ＲＯＩに含まれるウェーブレット変換係数については、優先的に高解像度（高周波数）サブバンド成分まで伝送し、ＲＯＩ以外の係数については１フレームで伝送できる範囲内で低解像度（低周波数）サブバンド成分から伝送する。伝送できる上限値に達した段階で、そのフレームに対する伝送は打ち切る。ＪＰＥＧ２０００においては、途中で符号が打ち切られていたとしても、そこまでに伝送された一部のデータから画像の再生が可能である。データ量が少ない場合は低画質、データ量が多くなるほど高画質となる。
【００３６】
また、ＲＯＩに含まれるか否かで伝送する解像度（周波数）サブバンド成分を変えるのではなく、係数の量子化精度を変える方法も可能である。ＲＯＩに含まれない係数については、上位のビットのみ伝送し、ＲＯＩに含まれる係数についてはより下位のビットまで伝送することで量子化精度の変更を実現する。
【００３７】
（第２の実施形態）
図８は、第２の実施形態に係る映像伝送システムの構成を示す図である。この映像伝送システムでは、適応的ＲＯＩ決定部８０を、受信装置２Ｂに設置している。第２の実施形態によれば、送信装置１Ｂは、単純にフレーム単位でＲＯＩが指定されるのみとなり、ＲＯＩを優先的に伝送する機能を持てば良い。その結果、送信側の設備を軽減することができる。但し、フレーム毎に受信側の適応的ＲＯＩ決定部８０から伝送部分データ決定部１３にＲＯＩ情報を送る必要がある。
【００３８】
（第３の実施形態）
図９は、第３の実施形態に係る映像伝送システムの構成を示す図である。この映像伝送システムでは、第１の実施形態における伝送部分データ決定部１３が、符号化（圧縮）部９０に含まれる。符号化（圧縮部）としてＪＰＥＧ２０００符号化器を用いた場合、作成した画像全体に対する符号列を作成するのではなく、符号化の時点でＲＯＩ部分のみの符号を作成することが可能である。これにより、その後ＲＯＩ部分のみを抽出する処理を行なう必要がない。
【００３９】
（第４の実施形態）
図１０は、第４の実施形態に係る映像伝送システムの構成を示す図である。この映像伝送システムは、符号蓄積型の送信装置を有する。送信側にハードディスクなど蓄積媒体に符号化情報とそれぞれのフレームのＲＯＩ基準点を蓄積しておく。具体的には、記憶部１０１と１０２である。必要に応じて、蓄積された符号化情報とそれぞれのフレームのＲＯＩ基準点を読みだすことで、第１の実施形態に係る映像伝送システムと同様の機能を提供できる。これに加え、情報が符号化されて蓄積されているため、利用者の要求に応じたタイミングで利用者が要求するフレームを自由に閲覧することが可能となる。これにより、ビデオ・オン・デマンドや巻戻し再生などのトリックプレイが可能となる。
【００４０】
（第５の実施形態）
図１１は、第５の実施形態に係る映像伝送システムの構成を示す図である。図１１に示すように、映像情報を蓄積しておき、蓄積された一つの映像情報に対して、複数の利用者が同時にアクセスし、異なるフレームや異なるＲＯＩを指定して、映像を閲覧することができる。この場合、図１１において、受信装置２Ｅは複数となり、通信回線Ｎを介して送信装置１Ｅと接続される。送信装置１Ｅにおいては、適応的ＲＯＩ決定部１１０と伝送部分データ決定部１１１は、接続している利用者ごとに個別の処理を行なう。図１１の各利用者に対して、第４の実施形態で実現したそれぞれの機能を提供可能である。
【００４１】
以上説明したように、本発明によれば、ＲＯＩ内の物体の形状や模様が変形したり、出血などにより色が変化したりする映像に対してもＲＯＩを自動で追尾できる映像伝送システム装置を提供することができる。さらに、利用者は任意のフレームにおいて、ＲＯＩの設定を変更できる。また、優先度を設定して、ＲＯＩの画質とＲＯＩ以外の画質を制御することが可能である。また、第４の実施形態や第５の実施形態を用いることにより、一度符号化・蓄積された映像に対して、利用者が後から希望するときに、巻戻しなどのトリックプレイを行ないながら、ＲＯＩを自由に設定して、ＲＯＩの部分だけの高画質な映像を閲覧することが可能となる。
【００４２】
以上では、伝送帯域が制限されている状態において、本発明によりＲＯＩを自動的に追尾し、ＲＯＩのデータを優先的に伝送することでＲＯＩ高画質に再生できることを説明した。これに加え、伝送帯域は十分であるが受信側の処理能力が低く、画像全体の再生処理が間に合わない場合でも、本発明のＲＯＩ自動追尾機能を用いることにより、自動追尾したＲＯＩ部分のみ再生することで、処理負荷を低減することができる。この場合、全画像エリアを高画質で伝送しておき、受信側でＲＯＩを自動追尾してＲＯＩを再生する。
【図面の簡単な説明】
【００４３】
【図１】第１の実施形態に係る映像伝送システムの概略構成を示す図である。
【図２】適応的ＲＯＩ決定部１２の概略構成を示す図である。
【図３】ＲＯＩ基準点、相対位置、角膜または眼底、利用者指定ＲＯＩ位置の関係を示す図である。
【図４】ＲＯＩ基準点、相対位置、角膜または眼底、そのフレームで決定したＲＯＩの関係を示す図である。
【図５】ＲＯＩおよび非ＲＯＩと、解像度との関係を示す図である。
【図６】画素領域の一例を示す図である。
【図７】ウェーブレット変換係数領域の一例を示す図である。
【図８】第２の実施形態に係る映像伝送システムの構成を示す図である。
【図９】第３の実施形態に係る映像伝送システムの構成を示す図である。
【図１０】第４の実施形態に係る映像伝送システムの構成を示す図である。
【図１１】第５の実施形態に係る映像伝送システムの構成を示す図である。
【符号の説明】
【００４４】
１Ａ  送信装置
１Ｂ  送信装置
１Ｃ  送信装置
１Ｄ  送信装置
１Ｅ  送信装置
２Ａ  受信装置
２Ｂ  受信装置
２Ｃ  受信装置
２Ｄ  受信装置
２Ｅ  受信装置
１０  符号化（圧縮）部
１１  パターンマッチング部
１２  適応的ＲＯＩ決定部
１２ａ  相対位置決定部
１２ｂ  相対位置（記録部）
１２ｃ  ＲＯＩ決定部
１３  伝送部分データ決定部
２１  ＧＵＩ部
２２  復号部
８０  適応的ＲＯＩ決定部
９０  符号化（圧縮）部
１０１、１０２  記憶部
１１０  適応的ＲＯＩ決定部
１１１  伝送部分データ決定部
【図１】
2009246642.tif 000003
【図２】
2009246642.tif 000004
【図３】
2009246642.tif 000005
【図４】
2009246642.tif 000006
【図５】
2009246642.tif 000007
【図６】
2009246642.tif 000008
【図７】
2009246642.tif 000009
【図８】
2009246642.tif 000010
【図９】
2009246642.tif 000011
【図１０】
2009246642.tif 000012
【図１１】
2009246642.tif 000013