(57)【要約】      （修正有）【課題】立体視映像を好適に出力することのできる映像出力装置及び映像出力方法を提供する。【解決手段】実施形態の映像出力装置は、入力手段と、変換手段と、出力手段とを具備する。入力手段は、立体映像の奥行きを生成するための情報を有する映像を入力する。変換手段は、前記入力手段で入力した映像について、奥行き階調を拡張するように奥行きを変換する。出力手段は、前記変換手段によって奥行きが変更された映像を出力する。【選択図】図４
2013055629.tif 000002
【特許請求の範囲】
【請求項１】
立体映像の奥行きを生成するための情報を有する映像を入力する入力手段と、
前記入力手段で入力した映像について、奥行き階調を拡張するように奥行きを変換する
変換手段と、
前記変換手段によって奥行きが変更された映像を出力する出力手段と、
を具備する映像出力装置。
【請求項２】
前記変換手段によって変換された奥行きに基づいて、視差映像を作成する作成手段を更
に具備し、
前記出力手段は、前記作成手段によって作成された視差映像を出力する請求項１記載の
映像出力装置。
【請求項３】
入力手段によって入力された映像から視差を検出する検出手段を更に具備し、
前記変換手段は、前記検出された視差に基づいて、前記奥行き変換を行う請求項１記載
の映像出力装置。
【請求項４】
前記検出手段が検出した視差のヒストグラムを取得するヒストグラム取得手段を更に具
備し、
前記変換手段は、前記ヒストグラム取得手段が取得した視差のヒストグラムに基づいて
、前記奥行き変換を行う請求項３記載の映像出力装置。
【請求項５】
入力された映像における外れ視差を検出する外れ視差検出手段と、
前記外れ視差検出した外れ視差を除外する除外手段を更に具備し、
前記変換手段は、前記除外手段によって外れ視差が除外された視差について、前記奥行
き変換を行う請求項１記載の映像出力装置。
【請求項６】
前記出力手段が出力した視差映像を表示する表示部を更に具備する請求項２記載の映像
出力装置。
【請求項７】
立体映像の奥行きを生成するための情報を有する映像を入力し、
入力した前記映像について、奥行き階調を拡張するように奥行きを変換し、
前記奥行きが変更された映像を出力する映像出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、映像出力装置及び映像出力方法に関する。
【背景技術】
【０００２】
視差を有する複数の光学系を備えた撮像装置に関する提案がある。例えば、特徴点抽出
、対応点検出により第１・第２画像から視差分布（ヒストグラム）を求め、それに基づい
て移動体検出を行うというものがある。また、立体撮像装置が、ピントの合った被写体に
合わせて電子的に輻輳角を調整できるようにすることを目的とするというものもある（例
えば、特許文献１参照。）。これは概要として、合焦状態にある第１画像データと第２画
像データからそれぞれ検出された特徴点と対応点の組の総数が、所定の閾値ｔｈ１を超え
た場合、視差量のヒストグラムを生成するよう制御し、視差量のヒストグラムのビンから
、代表視差量を決定するよう制御するというものである。
【０００３】
しかしながら他方で、問題点として外れ視差除外処理への要望があるが、かかる要望
を実現するための手段は知られていない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２９９０５号公報(第5図)
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施の形態は、立体視映像を好適に出力することのできる映像出力装置及び映
像出力方法を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、実施形態の映像出力装置は、入力手段と、変換手段と、出
力手段とを具備する。入力手段は、立体映像の奥行きを生成するための情報を有する映像
を入力する。変換手段は、前記入力手段で入力した映像について、奥行き階調を拡張する
ように奥行きを変換する。出力手段は、前記変換手段によって奥行きが変更された映像を
出力する。
【図面の簡単な説明】
【０００７】
【図１】この発明の一実施形態を示すディジタルテレビジョン放送受信装置の信号処理系を示すブロック構成図。
【図２】実施形態に関わる視差／奥行き変換グラフの一例を示す図。
【図３】実施形態に関わる従来の視差／奥行き変換の一例を説明するために示す図。
【図４】実施形態に関わる新規の視差／奥行き変換の一例を示す図。
【図５】実施形態に関わる新規のステレオ３Ｄの処理イメージを示す図。
【図６】実施形態に関わるステレオ３Ｄ処理に関するフローチャート。
【図７】実施形態に関わる外れ視差除外処理のイメージを示す図。
【図８】実施形態に関わる従来のステレオ３Ｄの処理イメージを示す図。
【発明を実施するための形態】
【０００８】
以下、本発明の一実施形態を説明する。
【０００９】
（第１の実施形態）
第１の実施形態を図１乃至図８を参照して説明する。
【００１０】
図１は、実施形態にかかるディジタルテレビジョン放送受信装置の信号処理系を示すブ
ロック図である。
【００１１】
図１に示すディジタルテレビジョン放送受信装置（以下、ディジタルテレビジョンと称
する）１１は、通常の平面視（２次元）表示用の映像信号に基づく映像表示を行なうだけ
でなく、立体視（３次元）表示用の映像信号に基づく映像表示も行なうことができる。
【００１２】
図１に示すように、ディジタルテレビジョン１１は、アンテナ１２で受信したディジタ
ルテレビジョン放送信号を、入力端子１３を介してチューナ部１４に供給することにより
、所望のチャンネルの放送信号を選局することが可能になっている。ディジタルテレビジ
ョン１１は映像出力装置として機能する。
【００１３】
ディジタルテレビジョン１１は、チューナ部１４で選局された放送信号を、復調復号部
１５に供給してディジタル映像信号及びディジタル音声信号等に復元した後、信号処理部
１６に出力する。信号処理部１６は、復調復号部１５から供給されたディジタルの映像信
号及び音声信号に対してそれぞれ所定のディジタル信号処理を施す。
【００１４】
ここで、信号処理部１６が行なう所定のディジタル信号処理には、通常の平面視（２次
元）表示用の映像信号を立体視（３次元）表示用の映像信号及び音声信号に変換する処理
、その際に復調復号部１５から入力されたディジタル映像信号及びディジタル音声信号あ
るいは後述のＯＳＤ信号生成部１９から入力された字幕などのＯＳＤ信号に基づいて立体
視表示用の映像信号を生成する際の奥行き情報を生成する処理、立体視表示用の映像信号
を平面視表示用の映像信号に変換する処理等も含まれている。
【００１５】
また、信号処理部１６は、ディジタル映像信号を合成処理部１７に出力し、ディジタル
音声信号を音声処理部１８に出力する。
【００１６】
合成処理部１７は、信号処理部１６から供給されるディジタル映像信号に、ＯＳＤ（on
screen display）信号生成部１９で生成される字幕、ＧＵＩ（Graphical User Interfac
e）、ＯＳＤなどの重畳用映像信号であるＯＳＤ信号を重畳して出力している。この場合
、合成処理部１７は、信号処理部１６から供給される映像信号が通常の平面視表示用の映
像信号であれば、その映像信号にＯＳＤ信号生成部１９から供給されたＯＳＤ信号をその
まま重畳して出力している。
【００１７】
また、合成処理部１７は、信号処理部１６から供給される映像信号が立体視表示用の映
像信号である場合、ＯＳＤ信号生成部１９から供給されたＯＳＤ信号に対して、入力され
た立体視表示用の映像信号に対応した立体視表示用の信号処理を施した後、そのＯＳＤ信
号を入力映像信号に重畳して出力している。
【００１８】
ディジタルテレビジョン１１は、合成処理部１７から出力したディジタルの映像信号を
、映像処理部２０に供給する。映像処理部２０は、入力されたディジタル映像信号を、後
段の、例えば液晶表示パネル等を有する平面型の映像表示部２１で表示可能なフォーマッ
トのアナログ映像信号に変換している。ディジタルテレビジョン１１は、映像処理部２０
から出力されたアナログ映像信号を、映像表示部２１に供給して映像表示に供する（映像
を出力する）。
【００１９】
音声処理部１８は、入力されたディジタル音声信号を、後段のスピーカ２２で再生可能
なフォーマットのアナログ音声信号に変換している。そして、この音声処理部１８から出
力されたアナログ音声信号が、スピーカ２２に供給されることにより音声再生に供される
。
【００２０】
ここで、ディジタルテレビジョン１１は、上記した各種の受信動作を含むその全ての動
作を制御部２３によって統括的に制御している。この制御部２３は、ＣＰＵ（central pr
ocessing nit）２３ａを内蔵しており、ディジタルテレビジョン１１の本体に設置された
操作部２４からの操作情報を受けて、または、リモートコントローラ２５から送出され受
信部２６で受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ
制御している。
【００２１】
制御部２３は、メモリ部２３ｂを利用している。メモリ部２３ｂは、主として、ＣＰＵ
２３ａが実行する制御プログラムを格納したＲＯＭ（Read Only Memory）と、ＣＰＵ２３
ａに作業エリアを提供するためのＲＡＭ（Random Access Memory）と、各種の設定情報及
び制御情報等が格納される不揮発性メモリとを有している。また、制御部２３には、ディ
スクドライブ部２７が接続されている。ディスクドライブ部２７は、例えばＤＶＤ（Digi
tal Versatile Disk）等の光ディスク２８を着脱自在とするもので、装着された光ディス
ク２８に対してディジタルデータの記録再生を行なう機能を有している。
【００２２】
制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて
、復調復号部１５から得られるディジタルの映像信号及び音声信号を、記録再生処理部２
９によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部２７に供
給して光ディスク２８に記録させるように制御することができる。
【００２３】
また、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基
づいて、ディスクドライブ部２７により光ディスク２８からディジタルの映像信号及び音
声信号を読み出させ、上記記録再生処理部２９によって復号化した後、信号処理部１６に
供給することによって、以後、上記した映像表示及び音声再生に供させるように制御する
ことができる。
【００２４】
制御部２３には、ＨＤＤ（Hard Disk Drive）３０が接続されている。制御部２３は、
視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、復調復号部１５
から得られるディジタルの映像信号及び音声信号を、記録再生処理部２９によって暗号化
し所定の記録フォーマットに変換した後、ＨＤＤ３０に供給してハードディスク３０ａに
記録させるように制御することができる。
【００２５】
また、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基
づいて、ＨＤＤ３０によりハードディスク３０ａからディジタルの映像信号及び音声信号
を読み出させ、記録再生処理部２９によって復号化した後、信号処理部１６に供給するこ
とによって、以後、上記した映像表示及び音声再生に供させるように制御することができ
る。
【００２６】
さらに、ディジタルテレビジョン１１には、入力端子３１が接続されている。入力端子
３１は、ディジタルテレビジョン１１の外部からディジタルの映像信号及び音声信号を直
接入力するためのものである。この入力端子３１を介して入力されたディジタルの映像信
号及び音声信号は、制御部２３の制御に基づいて、記録再生処理部２９を介した後、信号
処理部１６に供給されて、以後、上記した映像表示及び音声再生に供される。
【００２７】
また、入力端子３１を介して入力されたディジタル映像信号及びディジタル音声信号は
、制御部２３の制御に基づいて、記録再生処理部２９を介した後、ディスクドライブ部２
７による光ディスク２８に対しての記録再生や、ＨＤＤ３０によるハードディスク３０ａ
に対しての記録再生に供される。
【００２８】
なお、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基
づいて、ディスクドライブ部２７とＨＤＤ３０との間で、光ディスク２８に記録されてい
るディジタル映像信号及びディジタル音声信号をハードディスク３０ａに記録したり、ハ
ードディスク３０ａに記録されているディジタル映像信号及びディジタル音声信号を光デ
ィスク２８に記録したりすることも制御している。
【００２９】
また、制御部２３には、ネットワークインターフェース３２が接続されている。このネ
ットワークインターフェース３２は、入出力端子３３を介して外部のネットワーク３４に
接続されている。そして、このネットワーク３４には、当該ネットワーク３４を介した通
信機能を利用して各種のサービスを提供するための複数（図示の場合は２つ）のネットワ
ークサーバ３５，３６が接続されている。このため、制御部２３は、ネットワークインタ
ーフェース３２、入出力端子３３及びネットワーク３４を介して、所望のネットワークサ
ーバ３５，３６にアクセスして情報通信を行なうことにより、そこで提供しているサービ
スを利用することができるようになっている。
【００３０】
さて図５（ａ）は、映像の視差量変換を行わない場合のステレオ３Ｄの処理イメージを
示す図である。ステレオ３Ｄとは立体視向けに用意された左右画像から、それらの視差情
報を検出し、その奥行き情報を取得するアルゴリズムを指す。なお、生成された奥行き情
報は、それを元に多視差の画像を生成する使い方がある。
【００３１】
本実施形態において、信号処理部１６はヒストグラム取得部（視差量検出部）、マップ
加工部（視差変換部／奥行き変換部）とを具備する（図示しない）。
【００３２】
ヒストグラム取得部（視差量検出部）は左眼用画像と右眼用画像とから視差の情報を検
出（取得）し、これに基づいて視差のヒストグラムを作成（取得）する機能を有している
。
【００３３】
マップ加工部（視差変換部／奥行き変換部）は、ヒストグラム取得部が作成したヒスト
グラムに基づいて、オブジェクトの奥行きを変換し、映像の視差を変換する機能を有して
いる。
【００３４】
マップ加工部は、外れ視差を検出（取得）する外れ視差検出部（図示しない）を有して
いる。外れ視差検出部はヒストグラムに基づいて外れ視差を検出する機能を有している。
更に、マップ加工部は検出された外れ視差を除外する機能を有する除外部（図示しない）
を有している。この外れ視差及び外れ視差の除外については後述にて説明する。
【００３５】
また、信号処理部１６は多視差画像作成部（図示しない）を有する。多視差画像作成部
はマップ加工部から出力される映像の視差情報に基づいて左右の視差映像を作成する機能
を有している。
【００３６】
なお、上記のヒストグラム取得部（視差量検出部）、マップ加工部（視差変換部／奥行
き変換部）、外れ視差検出部、除外部、および多視差画像作成部はＨＷで構成されていて
も、ＳＷで構成されていてもよい。
【００３７】
上記のステレオ３Ｄの処理は以下のような流れで行われる。
【００３８】
最初に、ヒストグラム取得部（視差検出部）は左右画像から視差情報を検出し、それを
視差マップ（ヒストグラム）として記録する。なお、視差情報の検出方法の一例として左
右画像の輝度情報を元に、ブロックマッチングを用いる方法がある。ヒストグラム取得部
（視差検出部）は、ブロックマッチングに基づいて左右の画像の比較を行い、映像におけ
る（各オブジェクトの）視差を検出する。
【００３９】
次に、マップ加工部が生成した視差マップを奥行きマップに変換する。視差を奥行きに
変換する式には様々なものがあるが、図２に示すように、視差と奥行きの関係を線形とす
る変換が一例として挙げられる。ここでは視差の値で−６４から６３までを、奥行きの値
で−１２８から１２７へと対応づけている。
【００４０】
最後に、多視差画像を作成する多視差画像作成部が生成された奥行きマップを元に、多
視差画像を生成し、パネルに立体視画像が表示される。
【００４１】
図３は、実施形態に関わる一般的な視差／奥行き変換の一例を説明するために示す図で
ある。上記のような流れで奥行きマップを生成したときの一例を示したものである。
【００４２】
視差マップの情報をヒストグラム化したものを視差ヒストグラムとして取り扱うとき、
図３のように、視差情報が局所的に集中する場合がある。このとき、視差を奥行きに線形
変換する場合、生成される奥行きも視差と同様に、局所的に集中し、結果として奥行き範
囲Rが狭く奥行きの階調性が低くなる。
【００４３】
奥行きの階調性は、実際にパネルで立体画像を見たときの飛び出し感、奥行き感に関わ
っており、これが高いほど、より立体感のある画像を体験できる。つまり、立体感を感じ
たい場合は、奥行きの階調性は高いほうが望ましいと言える。
【００４４】
図４は、実施形態の処理における視差／奥行き変換の一例を示す図である。これは、図
３のように視差情報が局所的に集中した場合に、奥行きの階調を拡張する手法を示す図で
ある。以下にその手順を示す。
【００４５】
まず、ヒストグラム取得部（視差検出部）は視差情報から、視差ヒストグラムを生成し
、値の入っているビンで最大、最小のものを探索し、それらを“max_dv”、“min_dv”と
して取り扱う。
【００４６】
次に、視差“dv”に対して、以下の変換式を施す。なお“bin_num”は視差ヒストグラム
のビン数を示し、この値は任意である。
【数１】
2013055629.tif 000003
【００４７】
上記の変換式は、画像中の最大の視差量と最小の視差量との差を大きくする（存在する
視差量の上限と下限の差を大きくする）ことのできる変換式である。
【００４８】
上記、式１を視差に施すことにより、例えば、dvがmax_dvおよびmin_dvの場合、その値
は視差の上限、下限に変換される（図４の場合は６３、−６４）。
【００４９】
また、その他の視差も変換され、図４に示すように、ヒストグラムの形状を保ちつつ、
全体的に視差の範囲が拡張される。このようにして、視差拡張後に、奥行き変換すること
で、奥行き範囲R’として奥行きの階調性を上げることが可能である。すなわち、従来の
システムでは、立体感の乏しい画像も、本システムを適用することで立体感のある画像と
して体験（視聴）できる。
【００５０】
なお、上記においては、最大の視差量と最小の視差量とをそれぞれ視差の上限、下限と
するように変換しているが、第１の視差量と第１の視差量より小さい第２視差量との差が
大きくなるように変換するのであれば、これに限定されない。
【００５１】
図５は、実施形態に関わるステレオ３Ｄの処理イメージを示す図である。特に図５（ｂ
）が奥行き変換（視差量変換）を行った場合のステレオ３Ｄの処理イメージを示したもの
であり、図６は、信号処理部１６もしくは制御部２３におけるその処理をフローチャート
化したものである。上記で説明したように、一般的なシステムとの違いは、視差をヒスト
グラム化し、その情報を元に視差を加工する点で、これにより、図５（ｂ）に示すように
、図５（ａ）より立体感の大きい画像を出力可能となる。
【００５２】
ステップＳ６１：  まず、ヒストグラム取得部（視差量検出部）が視差検出を行う。
【００５３】
ステップＳ６２：  次に、ヒストグラム取得部（視差量検出部）が視差ヒストグラム取
得を行う。
【００５４】
ステップＳ６３：  次に、マップ加工部（視差変換部／奥行き変換部）がステップＳ６
２にて得られたヒストグラムに基づいて、各種パラメータ計算を行う。例えば、式１や視
差ヒストグラムのMAX値やMIN値を求める。
【００５５】
ステップＳ６４：  さらに、マップ加工部（視差変換部／奥行き変換部）が視差マップ
加工を行う。
【００５６】
ステップＳ６５：  最後に、マップ加工部（視差変換部／奥行き変換部）が視差／奥行
き変換を行う。
【００５７】
これらの処理の詳細は上述にも記載している。
【００５８】
入力された映像に基づいてヒストグラム取得部（視差量検出部）が映像内の各オブジェ
クトの視差量を検出し、視差量についてのヒストグラムを作成（取得）する。マップ加工
部（視差変換部／奥行き変換部）は得られたヒストグラムに基づいて映像における奥行き
階調が大きくなるように、奥行きの変換と視差量の変換を行う。視差量の変換を行うと、
多視差画像作成部は変換された視差の情報に基づいて映像を作成し、出力部が映像を出力
する。
【００５９】
以上の実施形態の手法により、ステレオ３Ｄ処理を行ったときの立体感を、一般的には
高めることができる。
【００６０】
以下では、更なる改良について説明する。
【００６１】
まず図８は、上記で説明したステレオ３Ｄの処理を示したものである。ここでは、視差
ヒストグラムを生成した後に、値が入っているビンで最大、最少のものをパラメータとし
て、視差変換を行う場合についての例が図８に示されている。ビンに入っている値が１以
上であれば、その値に関わらず、“min_dv”、“max_dv”が決定されるため、図８のよう
に僅かな数しかない視差の情報を使って、視差変換が行われるケースが有り得る。この結
果、上記の処理手順によれば、図８（a）から図８（ｂ）への変換のように、飛び出して
（外れて）存在する最小及び最大の視差量が影響するため、視差ヒストグラムが十分に拡
張されなくなってしまう。そもそも、少数しかない視差は、誤検出された視差（以後、外
れ視差と呼ぶ）である可能性が高く、これらの視差情報を元に全体の視差を補正すること
は、望ましいとは言えない。
【００６２】
そこで、図７のように、外れ視差を除外した上で、“min_dv”、“max_dv”を決定する
方法を採用する。例えば間単には、ヒストグラム全体の１パーセントに相当する、外れた
ビンに有る値のものを除外する。
【００６３】
視差量／奥行き量の変換の際に外れ視差を除外することで、図７のように視差の階調性
が高まり、ユーザーはより立体感のある画像を楽しむことができる。
【００６４】
ここでは、ヒストグラム取得部（視差量検出部）がヒストグラムを取得した後に、上述
の外れ視差検出部がはずれ視差を検出し、マップ加工部（視差変換部／奥行き変換部）が
視差量／奥行き変換の前にこの外れ視差を除外する。マップ加工部（視差変換部／奥行き
変換部）は、外れ視差が除外されたヒストグラムに基づいて視差量／奥行き変換を行う。
【００６５】
なお、外れ視差の求め方は、ベクトル値が極端に大きいものは外れ視差である経験則か
ら、ヒストグラムの両端から任意のデータ数を除外する方法、ステレオ画像は、主にx方
向（視聴時の左右方向）に視差があり、y方向（視聴時の上下方向）にはほとんど視差が
ないことから、y方向に一定以上の視差がある場合、それを外れ視差と判断する方法など
もある。本実施形態の手法により、ステレオ３Ｄ処理を行ったときの立体感を、高めるこ
とができる。
【００６６】
（第２の実施形態）
本発明による第２の実施形態を図１乃至図８を参照して説明する。実施形態１と共通す
る部分は説明を省略する。
【００６７】
実施形態１で示した式（１）は、次の式（２）のように、各パラメータに重みをつける
ような変形例もある。
【数２】
2013055629.tif 000004
【００６８】
例えばαは０から１の値で重みをつける。また、βはヒストグラムの偏りに対処するも
のであり、あるいはユーザーの選好を表現するように設定可能なものである。
【００６９】
以上、立体視向けの左右２枚の画像から視差情報を検出し、その奥行き情報を推定する
アルゴリズムにおいて、奥行きの幅を拡張する方法を説明した。
【００７０】
概要として、視差ヒストグラムからパラメータを取得する際に、誤情報を除外し、より
正確な処理を行う方法であって、更には視差ヒストグラムからパラメータを取得する際に
、誤情報を除外し、より正確な処理を行う方法である。
【００７１】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しな
い範囲で種々変形して実施することができる。
【００７２】
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせること
により、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素
から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる
構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００７３】
１１    ディジタルテレビジョン放送受信装置
１５    復調復号部
１６    信号処理部
１７    合成処理部
１８    音声処理部
１９    ＯＳＤ信号生成部
２０    映像処理部
２１    映像表示部
２２    スピーカ
２３    制御部
【図１】
2013055629.tif 000005
【図２】
2013055629.tif 000006
【図３】
2013055629.tif 000007
【図４】
2013055629.tif 000008
【図５】
2013055629.tif 000009
【図６】
2013055629.tif 000010
【図７】
2013055629.tif 000011
【図８】
2013055629.tif 000012