(57)【要約】【課題】３次元立体画像データを２次元表示領域と３次元表示領域とに区別して、符号化前の画像加工や符号化方法を変更でき、さらに、符号化後のデータに対しても編集方法や加工方法を変更できるようにして、柔軟に符号化効率を向上できる符号化装置および符号データ編集装置を提供する。【解決手段】この符号化装置は、３次元立体画像を入力し、この入力画像を２次元表示用の領域と３次元表示用の領域に判別し、２次元表示用の領域と３次元表示用の領域に応じて符号処理を行うようにした。特に、３次元立体画像データが右眼用と左眼用の画像データで構成される場合には、右眼用と左眼用の画像データそれぞれについて、２次元表示用の領域と３次元表示用の領域に応じて符号処理を行うようにした。符号データ編集装置は、符号化装置によって作成された符号化データを、２次元表示用の領域と３次元表示用の領域とで、異なる編集方法で編集するようにした。【選択図】図１
2005269022.tif 000002
【特許請求の範囲】
【請求項１】
３次元立体画像を入力する画像入力手段と、前記入力画像を２次元表示用の領域と３次元表示用の領域に判別する領域判別手段と、前記２次元表示用の領域と３次元表示用の領域に応じて符号処理を行う符号処理手段を有することを特徴とする符号化装置。
【請求項２】
右眼用と左眼用の画像データで構成される３次元立体画像を入力する画像入力手段と、
前記入力画像を２次元表示用の領域と３次元表示用の領域に判別する領域判別手段と、前記右眼用と左眼用の画像データそれぞれについて、前記２次元表示用の領域と３次元表示用の領域に応じて符号処理を行う符号処理手段を有することを特徴とする符号化装置。
【請求項３】
請求項１または２に記載の符号化装置において、前記領域判別手段は、１つ以上の２次元表示用の領域または１つ以上の３次元表示用の領域に区分し、該領域のオブジェクト（画像の属性）を設定することを特徴とする符号化装置。
【請求項４】
請求項３に記載の符号化装置において、前記２次元表示用の領域のオブジェクトがテキスト領域を含むことを特徴とする符号化装置。
【請求項５】
請求項３に記載の符号化装置において、前記２次元表示用の領域のオブジェクトが背景領域を含むことを特徴とする符号化装置。
【請求項６】
請求項３に記載の符号化装置において、前記領域判別手段は、入力された３次元立体画像データが右眼用と左眼用の画像データから構成されている場合、右眼用の画像データの像域分離処理結果と左眼用の画像データの像域分離処理結果とを比較し、該比較結果に基づいて前記オブジェクトを設定することを特徴とする符号化装置。
【請求項７】
請求項１乃至６のいずれかに記載の符号化装置において、前記２次元表示用の領域または３次元表示用の領域ごとの画像データを加工する領域毎加工手段を有し、前記符号処理手段は、前記領域毎加工手段により加工された画像データに対して符号化することを特徴とする符号化装置。
【請求項８】
請求項７に記載の符号化装置において、前記領域毎加工手段における画像データの加工方法を設定できるようにしたことを特徴とする符号化装置。
【請求項９】
請求項７または８に記載の符号化装置において、前記領域毎加工手段は、前記３次元表示用の領域と２次元表示用の領域毎に、特定のオブジェクトに属する画像データにエッジ強調処理を施すことを特徴とする符号化装置。
【請求項１０】
請求項７または８に記載の符号化装置において、前記領域毎加工手段は、前記３次元表示用の領域と２次元表示用の領域毎に、特定のオブジェクトに属する画像データにコントラスト強調処理を施すことを特徴とする符号化装置。
【請求項１１】
請求項９または１０に記載の符号化装置において、前記領域毎加工手段は、前記エッジ強調あるいはコントラスト強調の度合いを設定できるようにしたことを特徴とする符号化装置。
【請求項１２】
請求項７または８に記載の符号化装置において、前記領域毎加工手段は、前記２次元表示用の領域の、右眼用または左眼用の画像データを加工することを特徴とする符号化装置。
【請求項１３】
請求項１２に記載の符号化装置において、前記領域毎加工手段における前記２次元表示用の領域の、右眼用または左眼用の画像データの加工は、右眼用または左眼用の画像データをヌルデータに置き換えることを特徴とする符号化装置。
【請求項１４】
請求項１乃至１３のいずれかに記載の符号化装置において、前記符号処理手段は、前記３次元表示用の領域と２次元表示用の領域とで符号化データの圧縮率が異なるように符号化することを特徴とする符号化装置。
【請求項１５】
請求項１乃至１４のいずれかに記載の符号化装置において、前記符号化データがＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格に基づき符号化されたデータであることを特徴とする符号化装置。
【請求項１６】
請求項１乃至１５のいずれかに記載の符号化装置によって作成された符号化データを編集する符号データ編集装置において、２次元表示用の領域と３次元表示用の領域とで、異なる編集方法で前記符号化データを編集する符号データ編集手段を有することを特徴とする符号データ編集装置。
【請求項１７】
請求項１６に記載の符号データ編集装置において、前記符号データ編集手段は、３次元画像表示用の右眼用と左眼用のデータで構成される画像データの、２次元表示用の領域と３次元表示用の領域とで、異なる編集方法で前記符号化データを編集することを特徴とする符号データ編集装置。
【請求項１８】
請求項１７に記載の符号データ編集装置において、前記符号化データの編集方法は、３次元表示用の領域と２次元表示用の領域毎の、オブジェクト毎に設定できるようにしたことを特徴とする符号データ編集装置。
【請求項１９】
請求項１７または１８に記載の符号データ編集装置において、前記符号データ編集手段は、３次元表示用の領域と２次元表示用の領域毎に、特定のオブジェクトに属する符号化データにエッジ強調処理を施すことを特徴とする符号データ編集装置。
【請求項２０】
請求項１７または１８に記載の符号データ編集装置において、前記符号データ編集手段は、３次元表示用の領域と２次元表示用の領域毎に、特定のオブジェクトに属する符号化データにコントラスト強調処理を施すことを特徴とする符号データ編集装置。
【請求項２１】
請求項１９または２０の符号データ編集装置において、前記エッジ強調あるいはコントラスト強調の度合いを設定できるようにしたことを特徴とする符号データ編集装置。
【請求項２２】
請求項１７に記載の符号データ編集装置において、前記符号データ編集手段は、３次元表示用の符号化データを２次元表示用の符号化データに変更することを特徴とする符号データ編集装置。
【請求項２３】
請求項２２に記載の符号データ編集装置において、前記符号データ編集手段における前記２次元表示用の領域の、右眼用または左眼用の符号化データをヌルデータに置き換えることを特徴とする符号データ編集装置。
【請求項２４】
入力した３次元立体画像を２次元表示用の領域と３次元表示用の領域に判別し、前記２次元表示用の領域と３次元表示用の領域に応じて符号処理を行うことを特徴とする符号化方法。
【請求項２５】
右眼用と左眼用の画像データで構成される３次元立体画像を入力し、該入力画像を２次元表示用の領域と３次元表示用の領域に判別し、前記右眼用と左眼用の画像データそれぞれについて、前記２次元表示用の領域と３次元表示用の領域とに応じて符号処理を行うことを特徴とする符号化方法。
【請求項２６】
請求項２４または２５に記載の符号化方法によって作成された符号化データを編集する符号データ編集方法において、２次元表示用の領域と３次元表示用の領域とで、異なる編集方法で前記符号化データを編集することを特徴とする符号データ編集方法。
【請求項２７】
コンピュータに、請求項１乃至１５のいずれかに記載の符号化装置の機能、または、請求項１６乃至２３のいずれかに記載の符号化データ編集装置の機能を実行させるためのプログラム。
【請求項２８】
請求項２７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置およびその方法、符号データ編集装置およびその方法、並びに、プログラムおよび記録媒体に関し、具体的には、３次元静止画像あるいは動画像における符号化、復号化処理技術に関する。
【背景技術】
【０００２】
従来、動画像符号化装置および動画像復号化装置では、例えば、入力された動画像に対して同じ動きをもった領域に分割処理を施し、これらの分割されたそれぞれの領域をアニメのセル画のような２次元の平面（これを「レイヤー」という）として表現し、これを符号化するようになっている。
また、これに対する動画像復号化装置では、動画像符号化装置で符号化された符号化データを入力し、レイヤーを奥行きの順序に従って重ね合わせ、各レイヤーをアフィンモデル等の動きモデルを用いて動かすことにより、動画像を再構成（即ち、復号）するようになっている。
【０００３】
しかしながら、従来の動画像符号化装置およびその復号化装置では、動画像を領域分割して、動画像入力用のカメラの撮像面に平行な２次元平面で表現し、奥行きの順序に従って重ね合わせることにより、動画像を再構成しているため、分割された領域の３次元空間中の配置や、撮像面に対して平行方向以外の動きを十分に表現することが難しかった。また、撮像対象の３次元情報が得られていて、モデル等を用いて効率よく記述できている場合も、２次元情報に変換して符号化を行わなければならないため、復号側で３次元情報を得ることができず、符号化効率も低下するという課題があった。
【０００４】
このため、特許文献１の技術では、入力された動画像を２次元データと３次元データの両方を生成し、統合して符号化する。復号化するときには、２次元データと３次元データを領域毎に切り替えて再生する。
これにより、入力された動画像を２次元情報のみでなく、３次元情報も利用して符号化および復号化することにより、符号化効率の向上を図ることができる。
【０００５】
また、３次元空間（ｘ，ｙ，ｚ）をサンプリングして得られる３次元画像Ｉ（ｘ，ｙ，ｚ）をｚ方向に一定の幅（例えば、８、１６など）を持つスライスに分割し、スライス単位に３次元ウェーブレット変換を施した後に、変換係数をエントロピ符号化する方法がある。
このような３次元画像のウェーブレット符号化方式では、画像内の全サンプル点での信号に対し同一の符号化方式を適用していたため、たとえ画像内で特定の領域のみを符号化／復号すれば良い場合でも、画面全体を処理しなくてはならず、処理時間が長くなってしまうという問題点があった。
【０００６】
また、画面内での物体と背景がその境界ではっきりと分かれている場合でも、境界で特別な処理はせず、画面全体で同一のウェーブレット変換を行っているため、境界部分で再生画像の劣化が目立ちやすいという問題点があった。
【０００７】
この問題点に対して、特許文献２では、３次元画像内の物体領域と背景領域を区別して、独立に適した処理を行うことにより、処理時間の短縮を図り、境界部分での再生画質を向上させることができる。
【０００８】
【特許文献１】特開平９−２１４９７３号公報
【特許文献２】特開２００２−３２５２５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、３次元画像表示においては、３次元画像、特に、テキスト等の文を３次元表示したときの画像に対する観察時の疲労が問題となっている。
そのため、３次元立体画像の出力対象の中でも、テキスト等のオブジェクト（画像の属性）によっては、３次元ではなく２次元で出力する方が望ましい場合がある。それのみでなく、使用目的によっては、背景など重要でない領域は必ずしも高精度に立体的に再現される必要がないときには、３次元ではなく２次元で出力してもかまわない場合がある。
【００１０】
そのような場合、３次元立体画像が右眼用と左眼用の視差の異なる互いに独立したデータで構成される画像データを出力する時に、テキスト等のオブジェクト（画像の属性）に対して、右眼用のデータか左眼用のデータかどちらか一方を選択して出力することで２次元出力にして、記憶容量を節約することが可能である。
【００１１】
しかしながら、上述したような特許文献１および２では、２次元画像データと３次元画像データとを区別はするが、符号化については同一の処理がなされているにすぎない。
【００１２】
本発明は、上述の実情を考慮してなされたものであって、３次元立体画像データを２次元表示領域と３次元表示領域とに区別して、符号化前の画像加工や符号化方法を変更でき、さらに、符号化後のデータに対しても編集方法や加工方法を変更できるようにして、柔軟に符号化効率を向上できるようにした符号化装置およびその方法、符号データ編集装置およびその方法、並びに、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の課題を解決するために、請求項１に記載の発明は、３次元立体画像を入力する画像入力手段と、前記入力画像を２次元表示用の領域と３次元表示用の領域に判別する領域判別手段と、前記２次元表示用の領域と３次元表示用の領域に応じて符号処理を行う符号処理手段を有することを特徴とする。
【００１４】
請求項２に記載の発明は、右眼用と左眼用の画像データで構成される３次元立体画像を入力する画像入力手段と、前記入力画像を２次元表示用の領域と３次元表示用の領域に判別する領域判別手段と、前記右眼用と左眼用の画像データそれぞれについて、前記２次元表示用の領域と３次元表示用の領域に応じて符号処理を行う符号処理手段を有することを特徴とする。
【００１５】
請求項３に記載の発明は、請求項１または２に記載の符号化装置において、前記領域判別手段は、１つ以上の２次元表示用の領域または１つ以上の３次元表示用の領域に区分し、該領域のオブジェクト（画像の属性）を設定することを特徴とする。
【００１６】
請求項４に記載の発明は、請求項３に記載の符号化装置において、前記２次元表示用の領域のオブジェクトがテキスト領域を含むことを特徴とする。
【００１７】
請求項５に記載の発明は、請求項３に記載の符号化装置において、前記２次元表示用の領域のオブジェクトが背景領域を含むことを特徴とする。
【００１８】
請求項６に記載の発明は、請求項３に記載の符号化装置において、前記領域判別手段は、入力された３次元立体画像データが右眼用と左眼用の画像データから構成されている場合、右眼用の画像データの像域分離処理結果と左眼用の画像データの像域分離処理結果とを比較し、該比較結果に基づいて前記オブジェクトを設定することを特徴とする。
【００１９】
請求項７に記載の発明は、請求項１乃至６のいずれかに記載の符号化装置において、前記２次元表示用の領域または３次元表示用の領域ごとの画像データを加工する領域毎加工手段を有し、前記符号処理手段は、前記領域毎加工手段により加工された画像データに対して符号化することを特徴とする。
【００２０】
請求項８に記載の発明は、請求項７に記載の符号化装置において、前記領域毎加工手段における画像データの加工方法を設定できるようにしたことを特徴とする。
【００２１】
請求項９に記載の発明は、請求項７または８に記載の符号化装置において、前記領域毎加工手段は、前記３次元表示用の領域と２次元表示用の領域毎に、特定のオブジェクトに属する画像データにエッジ強調処理を施すことを特徴とする。
【００２２】
請求項１０に記載の発明は、請求項７または８に記載の符号化装置において、前記領域毎加工手段は、前記３次元表示用の領域と２次元表示用の領域毎に、特定のオブジェクトに属する画像データにコントラスト強調処理を施すことを特徴とする。
【００２３】
請求項１１に記載の発明は、請求項９または１０に記載の符号化装置において、前記領域毎加工手段は、前記エッジ強調あるいはコントラスト強調の度合いを設定できるようにしたことを特徴とする。
【００２４】
請求項１２に記載の発明は、請求項７または８に記載の符号化装置において、前記領域毎加工手段は、前記２次元表示用の領域の、右眼用または左眼用の画像データを加工することを特徴とする。
【００２５】
請求項１３に記載の発明は、請求項１２に記載の符号化装置において、前記領域毎加工手段における前記２次元表示用の領域の、右眼用または左眼用の画像データの加工は、右眼用または左眼用の画像データをヌルデータに置き換えることを特徴とする。
【００２６】
請求項１４に記載の発明は、請求項１乃至１３のいずれかに記載の符号化装置において、前記符号処理手段は、前記３次元表示用の領域と２次元表示用の領域とで符号化データの圧縮率が異なるように符号化することを特徴とする。
【００２７】
請求項１５に記載の発明は、請求項１乃至１４のいずれかに記載の符号化装置において、前記符号化データがＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格に基づき符号化されたデータであることを特徴とする。
【００２８】
請求項１６に記載の発明は、請求項１乃至１５のいずれかに記載の符号化装置によって作成された符号化データを編集する符号データ編集装置において、２次元表示用の領域と３次元表示用の領域とで、異なる編集方法で前記符号化データを編集する符号データ編集手段を有することを特徴とする。
【００２９】
請求項１７に記載の発明は、請求項１６に記載の符号データ編集装置において、前記符号データ編集手段は、３次元画像表示用の右眼用と左眼用のデータで構成される画像データの、２次元表示用の領域と３次元表示用の領域とで、異なる編集方法で前記符号化データを編集することを特徴とする。
【００３０】
請求項１８に記載の発明は、請求項１７に記載の符号データ編集装置において、前記符号化データの編集方法は、３次元表示用の領域と２次元表示用の領域毎の、オブジェクト毎に設定できるようにしたことを特徴とする。
【００３１】
請求項１９に記載の発明は、請求項１７または１８に記載の符号データ編集装置において、前記符号データ編集手段は、３次元表示用の領域と２次元表示用の領域毎に、特定のオブジェクトに属する符号化データにエッジ強調処理を施すことを特徴とする。
【００３２】
請求項２０に記載の発明は、請求項１７または１８に記載の符号データ編集装置において、前記符号データ編集手段は、３次元表示用の領域と２次元表示用の領域毎に、特定のオブジェクトに属する符号化データにコントラスト強調処理を施すことを特徴とする。
【００３３】
請求項２１に記載の発明は、請求項１９または２０の符号データ編集装置において、前記エッジ強調あるいはコントラスト強調の度合いを設定できるようにしたことを特徴とする。
【００３４】
請求項２２に記載の発明は、請求項１７に記載の符号データ編集装置において、前記符号データ編集手段は、３次元表示用の符号化データを２次元表示用の符号化データに変更することを特徴とする。
【００３５】
請求項２３に記載の発明は、請求項２２に記載の符号データ編集装置において、前記符号データ編集手段における前記２次元表示用の領域の、右眼用または左眼用の符号化データをヌルデータに置き換えることを特徴とする。
【００３６】
請求項２４に記載の発明は、入力した３次元立体画像を２次元表示用の領域と３次元表示用の領域に判別し、前記２次元表示用の領域と３次元表示用の領域に応じて符号処理を行うことを特徴とする。
【００３７】
請求項２５に記載の発明は、右眼用と左眼用の画像データで構成される３次元立体画像を入力し、該入力画像を２次元表示用の領域と３次元表示用の領域に判別し、前記右眼用と左眼用の画像データそれぞれについて、前記２次元表示用の領域と３次元表示用の領域とに応じて符号処理を行うことを特徴とする。
【００３８】
請求項２６に記載の発明は、請求項２４または２５に記載の符号化方法によって作成された符号化データを編集する符号データ編集方法において、２次元表示用の領域と３次元表示用の領域とで、異なる編集方法で前記符号化データを編集することを特徴とする。
【００３９】
請求項２７に記載の発明は、コンピュータに、請求項１乃至１５のいずれかに記載の符号化装置の機能、または、請求項１６乃至２３のいずれかに記載の符号化データ編集装置の機能を実行させるためのプログラムである。
請求項２８に記載の発明は、請求項２７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００４０】
本発明によれば、３次元立体画像データを３次元表示領域と２次元表示領域とに区分し、これらの領域における画像の属性ごとに、画像データの編集方法や符号化方法を異なるものとすることによって、画像データの符号化効率を向上させることができる。
また、符号化されたデータに対しても、３次元表示領域と２次元表示領域とで異なる画像加工方法（例えば、２次元表示領域に対してはエッジ強調、コントラスト強調の編集処理）で編集処理したり、３次元表示用の符号化データを２次元表示用の符号データ化に変更できるようにし、さらに柔軟に３次元立体画像データの符号化効率を向上させることができる。
【００４１】
また、３次元用の表示は一般に視覚により詳細な認識がなされないため、２次元にある対象の表示と比較して高精細である必要がないので、３次元表示領域と２次元表示領域とで圧縮率に差をつけるようにして、符号化効率を向上させることができる。
また、３次元表示領域の中のテキスト領域を２次元表示領域とすることによって、観察時に問題となっていたテキストを見る時の疲労を防止することができる。
【発明を実施するための最良の形態】
【００４２】
以下、図面を参照して本発明の好適な実施形態について説明する。
【００４３】
まず、本発明における課題解決の考え方について説明する。
本発明は、３次元立体画像（静止画および動画像）用の画像データに対して、３次元表示する領域と２次元表示する領域とで、領域毎に符号化・復号化処理の方法を適宜変更制御できるようにしたものである。
例えば、３次元立体画像用の画像データを符号化する段階でオブジェクト（画像の属性）毎に、２次元で出力してもよい領域については、３次元を２次元に置き換えた画像データとして符号化し、符号量を削減することによって処理時間を短縮している。
また、オブジェクト（画像の属性）毎に符号化されたデータに対して、エッジ強調などの処理方式も変更可能としている。
【００４４】
＜実施形態１＞
図１は、本発明の実施形態１に係る符号化装置、符号データ編集装置および復号化装置の機能構成を示すブロック図である。
本実施形態１の説明では、これらの符号化装置、符号データ編集装置および復号化装置を別個の装置として説明するが、もちろん、各装置の機能を適宜組み合わせて構成した装置としてもよい。
【００４５】
図１において、符号化装置１００は、画像入力部１１０、領域判別部１２０、領域毎加工部１３０、符号処理部１４０、画像データファイル１５０、領域判別用データ保存部１６０および符号化データ保存部１７０とを備えている。
【００４６】
符号データ編集装置２００は、符号データ編集部２１０、領域判別用データ保存部１６０および符号化データ保存部１７０を備えている。
復号化装置３００は、復号処理部３１０、画像出力部３２０、領域判別用データ保存部１６０、符号化データ保存部１７０、復号化データ保存部３４０を備えている。
【００４７】
本実施形態１の基本的な動作としては、符号化装置１００では、画像入力部１１０にて、３次元立体画像データ（静止画像または動画像）を保持している画像データファイル１５０から画像データを入力し、この画像データを符号処理部１４０にて符号化し、この符号化データを符号化データ保存部１７０へ格納する。
次に、復号化装置３００では、符号化データ保存部１７０へ格納された符号化データを復号処理部３１０で復号した画像データを画像出力部３２０によって、復号化データ保存部３４０に格納したり、液晶ディスプレイ等の表示装置またはプリンタなどの出力装置へ出力する。
【００４８】
これに加えて、本発明では、符号化装置１００に領域判別部１２０、領域毎加工部１３０を備えており、領域判別部１２０では、入力された画像データに対して、２次元で表示する領域と３次元で表示する領域を判別し、この領域判別結果を領域判別用データ保存部１６０に記録する。この領域判別用データ保存部１６０に保存された２次元表示用領域と３次元表示用領域とは、領域毎加工部１３０、符号処理部１４０、符号データ編集部２１０、復号処理部３１０で利用する。
この領域判別部１２０で判別された、３次元表示する領域と２次元表示する領域とで領域毎に、しかもその領域のオブジェクト（画像の属性）毎に画像の加工や符号化・復号化処理方法、符号化データの編集方法を制御する。
【００４９】
領域毎加工部１３０では、２次元表示用領域と３次元表示用の領域毎に入力画像データを一部削除するなどの画像データに対する変更を加える。なお、領域毎加工部１３０を使用することなく、画像入力部１１０で入力された画像データを領域判定の後、符号処理部１４０で符号化するという構成であってもかまわない。
【００５０】
符号データ編集部２１０では、２次元表示用領域と３次元表示用の領域毎に符号化データを一部削減するなど、符号化データの編集を行う。符号化がＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格のように入力画像の領域と符号化データとの対応がとられて符号化がなされる場合（特開２００３−１６９３３３号公報参照）にあっては、２次元表示用領域と３次元表示用の領域毎に容易に符号化データを編集することができる。このＪＰＥＧ２０００規格で符号化されたデータは、符号化データレベルでの編集が容易であり、符号化データを構成する階層を解像度レベルや領域レベルで容易に選択することができる仕様になっている。
尚、この符号データ編集部２１０も使用することなく、符号処理部１４０で符号化された符号化データに対して直接、復号処理部３１０で復号化する構成であってもかまわない。
以下、各装置（１００，２００，３００）について詳細に説明する。
【００５１】
（１）符号化装置１００
領域判別部１２０は、画像のオブジェクト毎に３次元または２次元表示用領域を判別する。ここでは、テキスト（文字）領域を２次元表示領域とする場合について、以下に説明する。
文字領域の抽出は、画像データ全体の二値化処理（二値画像生成処理）を行った後、二値化処理結果を分析して文字領域を抽出（文字領域抽出処理）する。
【００５２】
二値画像生成は、まず、ブロック単位に入力されたＲＧＢ信号に対して輝度信号であるＹ信号に変換する。ＲＧＢ信号からＹ信号への変換は、種々の方法があり特に限定するものではないが、ここではＪＰＥＧ２０００に採用されている以下の変換式を使う。
Ｙ  ＝  （Ｒ＋２×Ｇ＋Ｂ＋２）／４
【００５３】
上記の変換式でＲＧＢ信号から変換されたＹ信号は、ブロック単位に決定された閾値に応じて二値化を行う。この閾値決定処理方法としては、例えば、ヒストグラムをとって平均、分散等の統計的性質を利用した方法（特開２００２−７７６３１号公報参照）や、簡易な方法としてはブロック内全画素の輝度（Ｙ）値の平均値を用いたり、平均値に所定の重みを演算することによって決定する方法等が考えられる。
尚、二値化処理は以上の計算方法に特定されず、Ｙ信号変換処理をすることなくＲＧＢ信号各々で閾値を決定し二値化処理を行ってもよい。
【００５４】
次に、二値画像生成処理によって得られた二値画像データから文字領域を抽出する。これは、文字認識処理などでは良く使われている技術であり、例えば、二値画像データの黒画素の輪郭線追跡を行い、全てをラベリングして縦、横の幅が閾値以下の黒画素の集まりのみ文字として文字領域を抽出する（特開２００２−７７６３１号公報参照）。
【００５５】
上記のようにして区別された３次元と２次元表示用領域に関する情報（いずれの領域であるかの区分、画像データ中の位置・サイズ情報、この領域のオブジェクト（画像の属性）等）を領域判別用データ保存部１６０へ記録する。
【００５６】
ところで、入力した３次元立体画像データが右眼用と左眼用の画像データで構成されている場合には、右眼用の画像データの像域分離処理結果と左眼用の画像データの像域分離処理結果とを比較し、この比較結果に基づいてオブジェクト（画像の属性）領域を設定してもよい。両者のデータを使用することで確実に３次元表示用領域と２次元表示用領域を判別することができる。
【００５７】
尚、上記の例では、２次元表示領域をテキスト（文字）領域としているが、動画像においては背景領域と前景領域とを判別して、背景領域を２次元表示領域としてもよい。
【００５８】
次に、領域毎加工部１３０は、領域判別用データ保存部１６０に保存された３次元表示用領域および２次元表示領域それぞれに応じた画像加工処理方式を適用する。これにより、再現画質を向上させることができる。
例えば、テキスト（文字）領域の画像データに対して、エッジ強調処理を施したり、テキスト（文字）領域の画像データの再現濃度（輝度）を変更することでコントラストを強調したり、文字のエッジ強調を行って、テキスト（文字）領域のデータの可読性を高めることができる。この場合、エッジ強調の度合いを制御したり、また、画像データの濃度（輝度）を変更してコントラスト強調の度合いを制御する。これらの度合いは、ユーザが指定して変更するようにしてもよい。
【００５９】
また、入力した画像データが３次元画像表示用の右眼用と左眼用の視差の異なる互いに独立したデータで構成される場合、右眼用または左眼用のいずれかの画像データを変更、例えば、片方の画像データを削除する（ヌルデータで置き換える）ことによって、３次元用表示を２次元用表示に簡単に変更することができるとともに、符号処理や復号処理の時の処理対象である画像データが少なくてすむ（図２参照）。
図２は、３次元画像表示用の画像データを判別し、２次元表示する領域と３次元表示する領域を判別し、右眼用の画像データから２次元表示領域の画像データを削除するという例である。
【００６０】
符号処理部１４０は、領域判別部１２０で判定された領域およびオブジェクトごとに符号化を行う。このとき、３次元用の表示は一般に視覚により詳細な認識がなされないため、２次元にある特定の位置に表示する対象の表示と比較して、画像データが高精細である必要はない。そこで、３次元と２次元表示領域とで圧縮率に差を加えることで、符号化効率を向上させる。
尚、３次元表示領域と２次元表示領域とで、両方共に同じ符号化方式であってもよいし、異なる符号化方式をとるようにしてもよい。
【００６１】
（２）符号データ編集装置２００
符号データ編集部２１０は、領域判別用データ保存部１６０に保存された２次元表示用領域と３次元表示用領域を判別する領域判別用データを使用することで、符号化データ保存部１７０の符号化データを３次元と２次元表示領域別に編集して更新する。
符号化がＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格のように入力画像の領域と符号化データとの対応がとられて符号化がなされる場合にあっては、２次元表示用領域と３次元表示用の領域毎に容易に符号化データを編集することができる。
【００６２】
図３は、入力した画像データが３次元画像表示用の右眼用と左眼用の視差の異なる互いに独立したデータで構成される場合、領域判別結果に基づいて、２次元表示用領域と３次元表示用の領域毎の符号化データを編集している。図２と比較してわかるように、領域毎加工部１３０では、画像データに対して変更を加えているのに対し、図３では符号化データに対して変更を加えている。
この図３の例では、２次元表示領域である文字領域に対して、３次元表示されないように右眼用または左眼用の片方の画像データに対応する符号化データを削除している（この場合には、符号化データをヌルデータとする）。このように、３次元表示用領域の画像データを２次元用表示に簡単に変更することができる。
【００６３】
また、符号データ編集部２１０では、３次元表示領域と２次元表示領域のそれぞれで画像処理方式を変更する。
例えば、テキスト（文字）領域のデータの可読性を高めるために、テキスト（文字）領域の画像データに対してエッジ強調処理を施したり、テキスト（文字）領域の画像データの再現濃度（輝度）を変更することでコントラストを強調したり、文字部のエッジを強調する。これにより、３次元表示画像の高画質化を実現できる。
【００６４】
（３）復号化装置３００
復号処理部３１０は、領域判別用データ保存部１６０に保存された２次元表示用領域と３次元表示用領域を判別する領域判別用データを参照して、符号化データ保存部１７０の符号化データを復号し、復号した画像データを復号化データ保存部３４０へ出力する。
画像出力部３２０は、この復号化データ保存部３４０から復号した画像データを取り出して、液晶ディスプレイ等の表示装置へ表示させたり、プリンタへ出力する。
【００６５】
以上のように本実施形態１を構成することによって、３次元立体画像（静止画像および動画像）において、２次元表示用の領域と３次元表示用の領域とに区分して、異なる符号処理方法を適用することができる。
また、３次元立体画像が右眼用と左眼用の独立したデータの場合には、２次元表示用の領域と３次元表示用の領域とで、右眼用と左眼用のデータのそれぞれで異なる符号処理方法を適用することができる。
【００６６】
図４は、本実施形態１の一般的な処理手順を示すフローチャートである。
画像入力部１１０にて、３次元立体画像（静止画像および動画像）データを画像データファイル１５０から入力する（ステップＳ１０）。
領域判別部１２０にて、入力された３次元立体画像データに対して２次元表示用領域と３次元表示用の領域を判別し、その判別結果を領域判別用データ保存部１６０へ格納する（ステップＳ１１）。
【００６７】
必要であれば、領域毎加工部１３０にて、２次元表示用領域と３次元表示用の領域の判別結果に基づいて画像データに変更を加える（ステップＳ１２）。
符号処理部１４０にて、領域判別結果に基づいて画像データを符号化して、符号化データ保存部１７０へ格納する（ステップＳ１３）。
必要であれば、符号データ編集部２１０にて、領域判別結果に基づいて符号化データを編集する（ステップＳ１４）。
【００６８】
復号処理部３１０にて、領域判別結果に基づいて符号化データ保存部１７０の符号化データを復号して、復号化データ保存部３４０へ格納する（ステップＳ１５）。
復号された３次元立体画像データを表示装置、出力装置や記憶装置へ出力する（ステップＳ１６）。
【００６９】
また、図５は、右眼用と左眼用の視差の異なる互いに独立したデータで構成される３次元立体画像を入力対象とする場合の本実施形態１における一般的な処理手順を示すフローチャートである。
画像入力部１１０にて、３次元立体画像データを画像データファイル１５０から入力する（ステップＳ２０）。
領域判別部１２０にて、入力された３次元立体画像データに対して２次元表示用領域と３次元表示用の領域を判別し、その判別結果を領域判別用データ保存部１６０へ格納する（ステップＳ２１）。この場合、テキスト（文字）領域を２次元表示用領域としたとき、画像データ全体の二値化処理（二値画像生成処理）を行った後、二値化処理結果を分析して文字領域を抽出する。
【００７０】
領域毎加工部１３０にて、２次元表示用領域について、右眼用または左眼用のいずれか片方の画像データを削除（ヌルデータと）する（ステップＳ２２）。
符号処理部１４０にて、領域判別結果に基づいて右眼用と左眼用の両方の画像データを符号化して、符号化データ保存部１７０へ格納する（ステップＳ２３）。
【００７１】
必要であれば、符号データ編集部２１０にて、領域判別結果に基づいて符号化データを編集する（ステップＳ２４）。
復号処理部３１０にて、領域判別結果に基づいて符号化データ保存部１７０の符号化データを復号して、復号化データ保存部３４０へ格納する（ステップＳ２５）。
復号された３次元立体画像データを表示装置、出力装置や記憶装置へ出力する（ステップＳ２６）。
【００７２】
＜実施形態２＞
上記の実施形態１では、２次元表示用領域と３次元表示用領域の領域判別は入力画像を解析して行ったが、本実施形態２のように、例えば、ユーザが表示装置に表示された３次元画像を見ながら、それぞれの領域を指示して決めるようにしてもよい。
【００７３】
図６は、本実施形態２における符号化装置の機能構成を示すブロック図である。同図において、符号化装置１００は、画像入力部１１０、領域指定部１８０、領域毎加工部１３０、符号処理部１４０、画像データファイル１５０、領域判別用データ保存部１６０および符号化データ保存部１７０とを備えている。
本実施形態２における符号化装置１００において、実施形態１の符号化装置１００と同じ機能を持つものには同じ符号を付し、その機能説明は相違点のみ説明する。
また、実施形態２における符号データ編集装置や復号化装置は、実施形態１と同じであるので、ここでは説明を省略する。
【００７４】
領域指定部１８０は、画像入力部１１０で読み込まれた３次元立体画像データを表示装置に表示させ、ユーザがマウス等のポインタを用いて、３次元表示用領域や２次元表示用領域を指定し、その指定された領域の画像の属性や画像加工処理方法等の情報を入力し、この入力結果を領域判別用データ保存部１６０へ記録する。
以後の処理は、実施形態１と同様に実施される。
【００７５】
また、実施形態２の領域指定部１８０を実施形態１へ組み込んだ構成としてもよい。この場合には、領域判別部１２０で判別した結果を修正したり、領域の追加、削除や修正ができるようになり、より確実に領域を抽出できる。
【００７６】
＜実施形態３＞
さらに、本発明は上述した実施形態のみに限定されたものではない。上述した実施形態の符号化装置、符号化データ編集装置あるいは復号化装置を構成する各機能をそれぞれプログラム化し、予めＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、このＣＤ−ＲＯＭをＣＤ−ＲＯＭドライブのような媒体駆動装置を搭載したコンピュータに装着して、これらのプログラムをそれぞれのコンピュータのメモリあるいは記憶装置に格納して、実行することによって、本発明の目的を達成することができる。
【００７７】
なお、記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ−Ｒ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）のいずれであってもよい。
【００７８】
また、ロードしたプログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。
【００７９】
また、上述したプログラムをサーバコンピュータの磁気ディスク等の記憶装置に格納しておき、ネットワークで接続された利用者のコンピュータからダウンロードして頒布する場合、また、サーバコンピュータから配信して頒布する場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
このように、本発明の機能をプログラムして、記録媒体に記録し頒布することによって、コスト、可搬性、汎用性を向上させることができる。
【図面の簡単な説明】
【００８０】
【図１】実施形態１に係る符号化装置、符号データ編集装置および復号化装置の機能構成を示すブロック図である。
【図２】右眼用の画像データを削除して、符号化データを圧縮する場合の説明図である。
【図３】右眼用の符号化データを削除して、３次元表示を２次元表示用に変更する場合の説明図である。
【図４】実施形態１の一般的な処理手順を示すフローチャートである。
【図５】右眼用と左眼用の独立したデータで構成される３次元立体構造を入力対象とする場合の本実施形態１における一般的な処理手順を示すフローチャートである。
【図６】実施形態２に係る符号化装置の機能構成を示すブロック図である。
【符号の説明】
【００８１】
１００…符号化装置、１１０…画像入力部、１２０…領域判別部、１３０…領域毎加工部、１４０…符号処理部、１５０…画像データファイル、１６０…領域判別用データ保存部、１７０…符号化データ保存部、１８０…領域指定部、２００…符号データ編集装置、２１０…符号データ編集部、３００…復号化装置、３１０…復号処理部、３２０…画像出力部、３４０…復号化データ保存部。
【図１】
2005269022.tif 000003
【図２】
2005269022.tif 000004
【図３】
2005269022.tif 000005
【図４】
2005269022.tif 000006
【図５】
2005269022.tif 000007
【図６】
2005269022.tif 000008