(57)【要約】【課題】奥行き情報を利用する画像処理においてより適正な鮮鋭化をすることができる画像処理装置及び画像処理方法を提供する。【解決手段】入力画像及び前記入力画像の各点が手前にあるほど小さくなる奥行き情報を取得する入力部と、前記奥行きから前記入力画像の各点における処理の強さである処理量を指定する調整部と、前記処理量に基づいて前記入力画像を処理する処理部とを備え、前記処理部は前記入力画像の各点における処理量を、前記入力画像の奥行きが画像から得られる奥行きの最小値に近いほど大きくする画像処理装置。【選択図】  図３
2013093677.tif 000002
【特許請求の範囲】
【請求項１】
入力画像及び前記入力画像の各点が手前にあるほど小さくなる奥行き情報を取得する入力部と、
前記奥行きから前記入力画像の各点における処理の強さである処理量を指定する調整部と、
前記処理量に基づいて前記入力画像を処理する処理部とを備え、
前記処理部は前記入力画像の各点における処理量を、前記入力画像の奥行きが画像から得られる奥行きの最小値に近いほど大きくする画像処理装置。
【請求項２】
前記最小値は更に、前記画像の一部である注目領域内における奥行きの最小値である請求項１に記載の画像処理装置。
【請求項３】
前記注目領域は、前記入力画像においてエッジ強度が閾値以上の領域である請求項１に記載の画像処理装置。
【請求項４】
前記最小値は更に、前記注目領域から得られた前記奥行きの分布から外れ値を除いた第２の奥行きの分布の最小値である請求項２に記載の画像処理装置。
【請求項５】
前記入力画像の各点の奥行きが、前記注目領域における奥行きの最大値に近いほど、前記処理量を小さくする請求項２または4に記載の画像処理装置。
【請求項６】
前記処理部は画像中の高周波成分を強調する請求項１乃至５に記載の画像処理装置。
【請求項７】
入力画像及び前記入力画像の各点が手前にあるほど小さくなる奥行き情報を取得し、
前記奥行きから前記入力画像の各点における処理の強さである処理量を指定し、
前記処理量に基づいて前記入力画像を、この入力画像の各点における処理量をこの入力画像の奥行きが画像から得られる奥行きの最小値に近いほど大きくするよう処理する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、奥行き情報を利用する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
奥行き情報を利用する画像処理では、合焦位置が分かることが前提の技術がある。しかしながらこの合焦位置を求める工夫には様々なものがある。
また奥行き情報を利用する画像処理には、奥行き情報を変調する手段を有するという技術も開示されている（例えば、特許文献１参照。）。しかしながらこの画像処理において更により適正な鮮鋭化への要望があるが、かかる要望を実現するための手段は知られていない。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２７６４５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施の形態は、奥行き情報を利用する画像処理においてより適正な鮮鋭化をすることができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、実施形態によれば画像処理装置は、入力画像及び前記入力画像の各点が手前にあるほど小さくなる奥行き情報を取得する入力部と、前記奥行きから前記入力画像の各点における処理の強さである処理量を指定する調整部と、前記処理量に基づいて前記入力画像を処理する処理部とを備え、前記処理部は前記入力画像の各点における処理量を、前記入力画像の奥行きが画像から得られる奥行きの最小値に近いほど大きくする。
【発明の効果】
【０００６】
発明の効果は特には記載しない。
【図面の簡単な説明】
【０００７】
【図１】この発明の一実施形態を示すディジタルテレビジョン放送受信装置の信号処理系を示すブロック構成図。
【図２】同実施形態の一部を示すブロック構成図。
【図３】同実施形態装置を用いた画像処理システムを示すブロック図。
【図４】同実施形態の左目画像の概念を表す図。
【図５】同実施形態に用いられる奥行きの概念を表す図（黒い箇所ほど手前）。
【図６】実施例において図3から得られる奥行きの頻度ヒストグラムの例、及び、それから得られる処理量を表す図。
【図７】図３の実施に用いられる処理の一例を示すフローチャート。
【発明を実施するための形態】
【０００８】
実施形態を図１乃至図７を参照して説明する。
図１は、実施形態にかかるディジタルテレビジョン放送受信装置の信号処理系を示すブロック図である。
図１に示すディジタルテレビジョン放送受信装置（以下、ディジタルテレビジョンと称する）１１は、通常の平面視（２次元）表示用の映像信号に基づく映像表示を行なうだけでなく、立体視（３次元）表示用の映像信号に基づく映像表示も行なうことができる。
【０００９】
図１に示すように、ディジタルテレビジョン１１は、アンテナ１２で受信したディジタルテレビジョン放送信号を、入力端子１３を介してチューナ部１４に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。
【００１０】
ディジタルテレビジョン１１は、チューナ部１４で選局された放送信号を、復調復号部１５に供給してディジタル映像信号及びディジタル音声信号等に復元した後、信号処理部１６に出力する。信号処理部１６は、復調復号部１５から供給されたディジタルの映像信号及び音声信号に対してそれぞれ所定のディジタル信号処理を施す。
【００１１】
ここで、信号処理部１６が行なう所定のディジタル信号処理には、通常の平面視（２次元）表示用の映像信号を立体視（３次元）表示用の映像信号及び音声信号に変換する処理、その際に復調復号部１５から入力されたディジタル映像信号及びディジタル音声信号あるいは後述のＯＳＤ信号生成部１９から入力された字幕などのＯＳＤ信号に基づいて立体視表示用の映像信号を生成する際の奥行き情報を生成する処理、立体視表示用の映像信号を平面視表示用の映像信号に変換する処理等も含まれている。
【００１２】
また、信号処理部１６は、ディジタル映像信号を合成処理部１７に出力し、ディジタル音声信号を音声処理部１８に出力する。
合成処理部１７は、信号処理部１６から供給されるディジタル映像信号に、ＯＳＤ（on screen display）信号生成部１９で生成される字幕、ＧＵＩ（Graphical User Interface）、ＯＳＤなどの重畳用映像信号であるＯＳＤ信号を重畳して出力している。この場合、合成処理部１７は、信号処理部１６から供給される映像信号が通常の平面視表示用の映像信号であれば、その映像信号にＯＳＤ信号生成部１９から供給されたＯＳＤ信号をそのまま重畳して出力している。
【００１３】
また、合成処理部１７は、信号処理部１６から供給される映像信号が立体視表示用の映像信号である場合、ＯＳＤ信号生成部１９から供給されたＯＳＤ信号に対して、入力された立体視表示用の映像信号に対応した立体視表示用の信号処理を施した後、そのＯＳＤ信号を入力映像信号に重畳して出力している。
【００１４】
ディジタルテレビジョン１１は、合成処理部１７から出力したディジタルの映像信号を、映像処理部２０に供給する。映像処理部２０は、入力されたディジタル映像信号を、後段の、例えば液晶表示パネル等を有する平面型の映像表示部２１で表示可能なフォーマットのアナログ映像信号に変換している。ディジタルテレビジョン１１は、映像処理部２０から出力されたアナログ映像信号を、映像表示部２１に供給して映像表示に供する。
【００１５】
音声処理部１８は、入力されたディジタル音声信号を、後段のスピーカ２２で再生可能なフォーマットのアナログ音声信号に変換している。そして、この音声処理部１８から出力されたアナログ音声信号が、スピーカ２２に供給されることにより音声再生に供される。
【００１６】
ここで、ディジタルテレビジョン１１は、上記した各種の受信動作を含むその全ての動作を制御部２３によって統括的に制御している。この制御部２３は、ＣＰＵ（central processing nit）２３ａを内蔵しており、ディジタルテレビジョン１１の本体に設置された操作部２４からの操作情報を受けて、または、リモートコントローラ２５から送出され受信部２６で受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。
【００１７】
制御部２３は、メモリ部２３ｂを利用している。メモリ部２３ｂは、主として、ＣＰＵ２３ａが実行する制御プログラムを格納したＲＯＭ（Read Only Memory）と、ＣＰＵ２３ａに作業エリアを提供するためのＲＡＭ（Random Access Memory）と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを有している。また、制御部２３には、ディスクドライブ部２７が接続されている。ディスクドライブ部２７は、例えばＤＶＤ（Digital Versatile Disk）等の光ディスク２８を着脱自在とするもので、装着された光ディスク２８に対してディジタルデータの記録再生を行なう機能を有している。
【００１８】
制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、復調復号部１５から得られるディジタルの映像信号及び音声信号を、記録再生処理部２９によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部２７に供給して光ディスク２８に記録させるように制御することができる。
【００１９】
また、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ディスクドライブ部２７により光ディスク２８からディジタルの映像信号及び音声信号を読み出させ、上記記録再生処理部２９によって復号化した後、信号処理部１６に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
【００２０】
制御部２３には、ＨＤＤ（Hard Disk Drive）３０が接続されている。制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、復調復号部１５から得られるディジタルの映像信号及び音声信号を、記録再生処理部２９によって暗号化し所定の記録フォーマットに変換した後、ＨＤＤ３０に供給してハードディスク３０ａに記録させるように制御することができる。
【００２１】
また、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ＨＤＤ３０によりハードディスク３０ａからディジタルの映像信号及び音声信号を読み出させ、記録再生処理部２９によって復号化した後、信号処理部１６に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
【００２２】
さらに、ディジタルテレビジョン１１には、入力端子３１が接続されている。入力端子３１は、ディジタルテレビジョン１１の外部からディジタルの映像信号及び音声信号を直接入力するためのものである。この入力端子３１を介して入力されたディジタルの映像信号及び音声信号は、制御部２３の制御に基づいて、記録再生処理部２９を介した後、信号処理部１６に供給されて、以後、上記した映像表示及び音声再生に供される。
【００２３】
また、入力端子３１を介して入力されたディジタル映像信号及びディジタル音声信号は、制御部２３の制御に基づいて、記録再生処理部２９を介した後、ディスクドライブ部２７による光ディスク２８に対しての記録再生や、ＨＤＤ３０によるハードディスク３０ａに対しての記録再生に供される。
【００２４】
なお、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ディスクドライブ部２７とＨＤＤ３０との間で、光ディスク２８に記録されているディジタル映像信号及びディジタル音声信号をハードディスク３０ａに記録したり、ハードディスク３０ａに記録されているディジタル映像信号及びディジタル音声信号を光ディスク２８に記録したりすることも制御している。
【００２５】
また、制御部２３には、ネットワークインターフェース３２が接続されている。このネットワークインターフェース３２は、入出力端子３３を介して外部のネットワーク３４に接続されている。そして、このネットワーク３４には、当該ネットワーク３４を介した通信機能を利用して各種のサービスを提供するための複数（図示の場合は２つ）のネットワークサーバ３５，３６が接続されている。このため、制御部２３は、ネットワークインターフェース３２、入出力端子３３及びネットワーク３４を介して、所望のネットワークサーバ３５，３６にアクセスして情報通信を行なうことにより、そこで提供しているサービスを利用することができるようになっている。
【００２６】
実施例の画像処理装置の構成を図3に示す。この画像処理装置は、奥行き生成部３１、平坦判定部３２、調整部３３、処理部３４から成る。この画像処理装置は、信号処理部１６あるいは映像処理部２０、制御部２３に組み込まれる。なおこの画像処理装置はソフトウェア等の機能モジュールとして実装しても良い。
【００２７】
まず、奥行き生成部31は複調複合部15もしくは記録再生処理部29から得られる右目画像と左目画像(図5)を用いたステレオマッチングで画面各部の奥行き(図5)を推定する。前記奥行きは入力画像及び前記入力画像の各点が手前にあるほど小さくなるよう出力する。
【００２８】
次に平坦判定部３２は左目画像の信号の局所分散が閾値より小さい部分を0、それ以外を1とした注目領域マップを生成する。これにより、失敗する可能性が高い画像の平坦部のステレオマッチング結果を利用しない処理が可能になる。
【００２９】
その後、調整部３３は左目画像とその画像の各点における奥行きを取得し、注目領域マップが1となる領域から得られる奥行きの最小値に近いほど大きく、奥行きの最大値に近いほど小さくなる処理量を定める。奥行きの出現頻度ヒストグラムと処理量の関係は例えば、奥行きの最小値においてユーザーが定めた最大値をとり、奥行きの最大値において0を通る直線(図 6)によって与える。メインの被写体が画面の中央部に位置し被写体の前に障害物は無い画像であれば、合焦位置と画像中央部の奥行きの最小値はほぼ一致する。
【００３０】
最後に処理部３４は調整部で与えられた処理量に従って強度を変えながら、入力画像の輪郭を強調する。これにより合焦位置をより鮮鋭にしつつ、他の部分は輪郭強調によるノイズ強調の副作用が抑えられ、画質が高まる。
【００３１】
なお図２（ａ）は図３の一部を示し、図２（ｂ）はその変形例であり調整部３３ｂでは注目領域を想定しない処理となる。
再び図６は、実施例において図3から得られる奥行きの頻度ヒストグラムの例、及び、それから得られる処理量を表す図である。また、図７は、図３の実施に用いられる上記信号処理部１６主体の処理の一例を示すフローチャートである。
【００３２】
図６では、横軸は奥行きであり縦軸は頻度と処理量である。処理量は奥行きが大きくなると緩やかに減衰している。Ｔｒは図４における木Ｔｒによる奥行きの分布から外れ値を表現している。この外れ値を除いた第２の奥行きの分布を用いるのも好適である。
【００３３】
図3から得られる図７のフローチャートは次のステップとなる。
ステップＳ７１：  画面各部の奥行き(図 5)を推定する。
ステップＳ７２：  注目領域マップを生成する。
ステップＳ７３：  処理量を定める。
ステップＳ７４：  入力画像の輪郭を強調する。
（他の実施例及び／又は変形例）
（１）入力画像中における信号の局所分散が小さい領域を注目領域から外してもよい。これにより不正確なブロックマッチングで得られた奥行きを利用せず、自然な鮮鋭化が可能になる。
【００３４】
（２）注目領域を入力画像の左右端から一定の幅を削った中央部に限定してもよい。これにより、処理量が左右の障害物に影響を受けることが無くなる。前記幅は例えば画像幅の1/6を超えないことが望ましい。上下に対しても同様の処理を適用しても良い。
【００３５】
（３）注目領域を入力画像中における誘目度が大きい領域としてもよい。
（４）注目領域を入力画像中の動きが少ないオブジェクトが占める領域としてもよい。
（５）顔検出が利用できるならば、処理量最大の奥行きは顔に対応するものにしてもよい。
（６）処理量には時間方向平滑化をかけてもよい。
（７）処理部で行う処理は、輪郭強調でなくともよい。例えば彩度強調や輝度増幅等、処理の強さが指定できる処理であればよい。
（８）上記第2の分布において、第2の分布の最小値Dminより小さい奥行きに対して与える処理量は、第2の分布の最大値をDmaxとしたとき、Dmin/2と2*Dmin-Dmaxのうち大きい方の値で0を通る直線としてもよい。
【００３６】
（９）第2の分布において分布の外れ値の指定方法は、例えば奥行き量のうち上位と下位数%としてもよい。
（１０）奥行き生成部31で行う処理は、ステレオマッチングでなくともよい。例えばステレオ画像でなく一枚のフレーム画像や単眼カメラで撮像された動画像から奥行きを推定する技術を用いても良い。また、前記一枚のフレーム画像や単眼カメラで撮像された動画像から奥行きを推定する技術を用いる場合は、奥行き生成部31は複調複合部15もしくは記録再生処理部29から一枚の画像を取得するだけでよい。
【００３７】
（以上の実施形態の概要）
画像の鮮鋭感を増すため画像全体に輪郭強調フィルタをかけると手前の被写体も奥の被写体も鮮鋭感が増し、カメラの合焦位置から外れた被写体はボケるという実際の画像の特性から外れる結果として、奥行き感が失われる。そこで、輪郭強調の強さを奥行きによって変更することで奥行きが異なる被写体の間に鮮鋭感の差を設け、結果として奥行き感を増す画像処理装置を説明した。また、カメラの合焦位置から外れた部分の高周波はノイズである可能性が高いため、合焦位置以外の鮮鋭化を弱めることによりノイズが低減される。
【００３８】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００３９】
１１    ディジタルテレビジョン放送受信装置
１５    復調復号部
１６    信号処理部
１７    合成処理部
１８    音声処理部
１９    ＯＳＤ信号生成部
２０    映像処理部
２１    映像表示部
２２    スピーカ
２３    制御部
【図１】
2013093677.tif 000003
【図２】
2013093677.tif 000004
【図３】
2013093677.tif 000005
【図４】
2013093677.tif 000006
【図５】
2013093677.tif 000007
【図６】
2013093677.tif 000008
【図７】
2013093677.tif 000009
【手続補正書】
【提出日】平成24年4月27日(2012.4.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、奥行き情報を利用する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
奥行き情報を利用する画像処理では、合焦位置が分かることが前提の技術がある。しかしながらこの合焦位置を求める工夫には様々なものがある。
また奥行き情報を利用する画像処理には、奥行き情報を変調する手段を有するという技術も開示されている（例えば、特許文献１参照。）。しかしながらこの画像処理において更により適正な鮮鋭化への要望があるが、かかる要望を実現するための手段は知られていない。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２７６４５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施の形態は、奥行き情報を利用する画像処理においてより適正な鮮鋭化をすることができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、実施形態によれば画像処理装置は、入力画像及び前記入力画像の各点が手前にあるほど小さくなる奥行き情報を取得する入力部と、前記奥行きから前記入力画像の各点における処理の強さである処理量を指定する調整部と、前記処理量に基づいて前記入力画像を処理する処理部とを備え、前記処理部は前記入力画像の各点における処理量を、前記入力画像の奥行きが画像から得られる奥行きの最小値に近いほど大きくする。
【図面の簡単な説明】
【０００６】
【図１】この発明の一実施形態を示すディジタルテレビジョン放送受信装置の信号処理系を示すブロック構成図。
【図２】同実施形態の一部を示すブロック構成図。
【図３】同実施形態装置を用いた画像処理システムを示すブロック図。
【図４】同実施形態の左目画像の概念を表す図。
【図５】同実施形態に用いられる奥行きの概念を表す図（黒い箇所ほど手前）。
【図６】実施例において図3から得られる奥行きの頻度ヒストグラムの例、及び、それから得られる処理量を表す図。
【図７】図３の実施に用いられる処理の一例を示すフローチャート。
【発明を実施するための形態】
【０００７】
実施形態を図１乃至図７を参照して説明する。
図１は、実施形態にかかるディジタルテレビジョン放送受信装置の信号処理系を示すブロック図である。
図１に示すディジタルテレビジョン放送受信装置（以下、ディジタルテレビジョンと称する）１１は、通常の平面視（２次元）表示用の映像信号に基づく映像表示を行なうだけでなく、立体視（３次元）表示用の映像信号に基づく映像表示も行なうことができる。
【０００８】
図１に示すように、ディジタルテレビジョン１１は、アンテナ１２で受信したディジタルテレビジョン放送信号を、入力端子１３を介してチューナ部１４に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。
【０００９】
ディジタルテレビジョン１１は、チューナ部１４で選局された放送信号を、復調復号部１５に供給してディジタル映像信号及びディジタル音声信号等に復元した後、信号処理部１６に出力する。信号処理部１６は、復調復号部１５から供給されたディジタルの映像信号及び音声信号に対してそれぞれ所定のディジタル信号処理を施す。
【００１０】
ここで、信号処理部１６が行なう所定のディジタル信号処理には、通常の平面視（２次元）表示用の映像信号を立体視（３次元）表示用の映像信号及び音声信号に変換する処理、その際に復調復号部１５から入力されたディジタル映像信号及びディジタル音声信号あるいは後述のＯＳＤ信号生成部１９から入力された字幕などのＯＳＤ信号に基づいて立体視表示用の映像信号を生成する際の奥行き情報を生成する処理、立体視表示用の映像信号を平面視表示用の映像信号に変換する処理等も含まれている。
【００１１】
また、信号処理部１６は、ディジタル映像信号を合成処理部１７に出力し、ディジタル音声信号を音声処理部１８に出力する。
合成処理部１７は、信号処理部１６から供給されるディジタル映像信号に、ＯＳＤ（on screen display）信号生成部１９で生成される字幕、ＧＵＩ（Graphical User Interface）、ＯＳＤなどの重畳用映像信号であるＯＳＤ信号を重畳して出力している。この場合、合成処理部１７は、信号処理部１６から供給される映像信号が通常の平面視表示用の映像信号であれば、その映像信号にＯＳＤ信号生成部１９から供給されたＯＳＤ信号をそのまま重畳して出力している。
【００１２】
また、合成処理部１７は、信号処理部１６から供給される映像信号が立体視表示用の映像信号である場合、ＯＳＤ信号生成部１９から供給されたＯＳＤ信号に対して、入力された立体視表示用の映像信号に対応した立体視表示用の信号処理を施した後、そのＯＳＤ信号を入力映像信号に重畳して出力している。
【００１３】
ディジタルテレビジョン１１は、合成処理部１７から出力したディジタルの映像信号を、映像処理部２０に供給する。映像処理部２０は、入力されたディジタル映像信号を、後段の、例えば液晶表示パネル等を有する平面型の映像表示部２１で表示可能なフォーマットのアナログ映像信号に変換している。ディジタルテレビジョン１１は、映像処理部２０から出力されたアナログ映像信号を、映像表示部２１に供給して映像表示に供する。
【００１４】
音声処理部１８は、入力されたディジタル音声信号を、後段のスピーカ２２で再生可能なフォーマットのアナログ音声信号に変換している。そして、この音声処理部１８から出力されたアナログ音声信号が、スピーカ２２に供給されることにより音声再生に供される。
【００１５】
ここで、ディジタルテレビジョン１１は、上記した各種の受信動作を含むその全ての動作を制御部２３によって統括的に制御している。この制御部２３は、ＣＰＵ（central processing nit）２３ａを内蔵しており、ディジタルテレビジョン１１の本体に設置された操作部２４からの操作情報を受けて、または、リモートコントローラ２５から送出され受信部２６で受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。
【００１６】
制御部２３は、メモリ部２３ｂを利用している。メモリ部２３ｂは、主として、ＣＰＵ２３ａが実行する制御プログラムを格納したＲＯＭ（Read Only Memory）と、ＣＰＵ２３ａに作業エリアを提供するためのＲＡＭ（Random Access Memory）と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを有している。また、制御部２３には、ディスクドライブ部２７が接続されている。ディスクドライブ部２７は、例えばＤＶＤ（Digital Versatile Disk）等の光ディスク２８を着脱自在とするもので、装着された光ディスク２８に対してディジタルデータの記録再生を行なう機能を有している。
【００１７】
制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、復調復号部１５から得られるディジタルの映像信号及び音声信号を、記録再生処理部２９によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部２７に供給して光ディスク２８に記録させるように制御することができる。
【００１８】
また、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ディスクドライブ部２７により光ディスク２８からディジタルの映像信号及び音声信号を読み出させ、上記記録再生処理部２９によって復号化した後、信号処理部１６に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
【００１９】
制御部２３には、ＨＤＤ（Hard Disk Drive）３０が接続されている。制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、復調復号部１５から得られるディジタルの映像信号及び音声信号を、記録再生処理部２９によって暗号化し所定の記録フォーマットに変換した後、ＨＤＤ３０に供給してハードディスク３０ａに記録させるように制御することができる。
【００２０】
また、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ＨＤＤ３０によりハードディスク３０ａからディジタルの映像信号及び音声信号を読み出させ、記録再生処理部２９によって復号化した後、信号処理部１６に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
【００２１】
さらに、ディジタルテレビジョン１１には、入力端子３１が接続されている。入力端子３１は、ディジタルテレビジョン１１の外部からディジタルの映像信号及び音声信号を直接入力するためのものである。この入力端子３１を介して入力されたディジタルの映像信号及び音声信号は、制御部２３の制御に基づいて、記録再生処理部２９を介した後、信号処理部１６に供給されて、以後、上記した映像表示及び音声再生に供される。
【００２２】
また、入力端子３１を介して入力されたディジタル映像信号及びディジタル音声信号は、制御部２３の制御に基づいて、記録再生処理部２９を介した後、ディスクドライブ部２７による光ディスク２８に対しての記録再生や、ＨＤＤ３０によるハードディスク３０ａに対しての記録再生に供される。
【００２３】
なお、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ディスクドライブ部２７とＨＤＤ３０との間で、光ディスク２８に記録されているディジタル映像信号及びディジタル音声信号をハードディスク３０ａに記録したり、ハードディスク３０ａに記録されているディジタル映像信号及びディジタル音声信号を光ディスク２８に記録したりすることも制御している。
【００２４】
また、制御部２３には、ネットワークインターフェース３２が接続されている。このネットワークインターフェース３２は、入出力端子３３を介して外部のネットワーク３４に接続されている。そして、このネットワーク３４には、当該ネットワーク３４を介した通信機能を利用して各種のサービスを提供するための複数（図示の場合は２つ）のネットワークサーバ３５，３６が接続されている。このため、制御部２３は、ネットワークインターフェース３２、入出力端子３３及びネットワーク３４を介して、所望のネットワークサーバ３５，３６にアクセスして情報通信を行なうことにより、そこで提供しているサービスを利用することができるようになっている。
【００２５】
実施例の画像処理装置の構成を図3に示す。この画像処理装置は、奥行き生成部３１、平坦判定部３２、調整部３３、処理部３４から成る。この画像処理装置は、信号処理部１６あるいは映像処理部２０、制御部２３に組み込まれる。なおこの画像処理装置はソフトウェア等の機能モジュールとして実装しても良い。
【００２６】
まず、奥行き生成部31は複調複合部15もしくは記録再生処理部29から得られる右目画像と左目画像(図5)を用いたステレオマッチングで画面各部の奥行き(図5)を推定する。前記奥行きは入力画像及び前記入力画像の各点が手前にあるほど小さくなるよう出力する。
【００２７】
次に平坦判定部３２は左目画像の信号の局所分散が閾値より小さい部分を0、それ以外を1とした注目領域マップを生成する。これにより、失敗する可能性が高い画像の平坦部のステレオマッチング結果を利用しない処理が可能になる。
【００２８】
その後、調整部３３は左目画像とその画像の各点における奥行きを取得し、注目領域マップが1となる領域から得られる奥行きの最小値に近いほど大きく、奥行きの最大値に近いほど小さくなる処理量を定める。奥行きの出現頻度ヒストグラムと処理量の関係は例えば、奥行きの最小値においてユーザーが定めた最大値をとり、奥行きの最大値において0を通る直線(図 6)によって与える。メインの被写体が画面の中央部に位置し被写体の前に障害物は無い画像であれば、合焦位置と画像中央部の奥行きの最小値はほぼ一致する。
【００２９】
最後に処理部３４は調整部で与えられた処理量に従って強度を変えながら、入力画像の輪郭を強調する。これにより合焦位置をより鮮鋭にしつつ、他の部分は輪郭強調によるノイズ強調の副作用が抑えられ、画質が高まる。
【００３０】
なお図２（ａ）は図３の一部を示し、図２（ｂ）はその変形例であり調整部３３ｂでは注目領域を想定しない処理となる。
再び図６は、実施例において図3から得られる奥行きの頻度ヒストグラムの例、及び、それから得られる処理量を表す図である。また、図７は、図３の実施に用いられる上記信号処理部１６主体の処理の一例を示すフローチャートである。
【００３１】
図６では、横軸は奥行きであり縦軸は頻度と処理量である。処理量は奥行きが大きくなると緩やかに減衰している。Ｔｒは図４における木Ｔｒによる奥行きの分布から外れ値を表現している。この外れ値を除いた第２の奥行きの分布を用いるのも好適である。
【００３２】
図3から得られる図７のフローチャートは次のステップとなる。
ステップＳ７１：  画面各部の奥行き(図 5)を推定する。
ステップＳ７２：  注目領域マップを生成する。
ステップＳ７３：  処理量を定める。
ステップＳ７４：  入力画像の輪郭を強調する。
（他の実施例及び／又は変形例）
（１）入力画像中における信号の局所分散が小さい領域を注目領域から外してもよい。これにより不正確なブロックマッチングで得られた奥行きを利用せず、自然な鮮鋭化が可能になる。
【００３３】
（２）注目領域を入力画像の左右端から一定の幅を削った中央部に限定してもよい。これにより、処理量が左右の障害物に影響を受けることが無くなる。前記幅は例えば画像幅の1/6を超えないことが望ましい。上下に対しても同様の処理を適用しても良い。
【００３４】
（３）注目領域を入力画像中における誘目度が大きい領域としてもよい。
（４）注目領域を入力画像中の動きが少ないオブジェクトが占める領域としてもよい。
（５）顔検出が利用できるならば、処理量最大の奥行きは顔に対応するものにしてもよい。
（６）処理量には時間方向平滑化をかけてもよい。
（７）処理部で行う処理は、輪郭強調でなくともよい。例えば彩度強調や輝度増幅等、処理の強さが指定できる処理であればよい。
（８）上記第2の分布において、第2の分布の最小値Dminより小さい奥行きに対して与える処理量は、第2の分布の最大値をDmaxとしたとき、Dmin/2と2*Dmin-Dmaxのうち大きい方の値で0を通る直線としてもよい。
【００３５】
（９）第2の分布において分布の外れ値の指定方法は、例えば奥行き量のうち上位と下位数%としてもよい。
（１０）奥行き生成部31で行う処理は、ステレオマッチングでなくともよい。例えばステレオ画像でなく一枚のフレーム画像や単眼カメラで撮像された動画像から奥行きを推定する技術を用いても良い。また、前記一枚のフレーム画像や単眼カメラで撮像された動画像から奥行きを推定する技術を用いる場合は、奥行き生成部31は複調複合部15もしくは記録再生処理部29から一枚の画像を取得するだけでよい。
【００３６】
（以上の実施形態の概要）
画像の鮮鋭感を増すため画像全体に輪郭強調フィルタをかけると手前の被写体も奥の被写体も鮮鋭感が増し、カメラの合焦位置から外れた被写体はボケるという実際の画像の特性から外れる結果として、奥行き感が失われる。そこで、輪郭強調の強さを奥行きによって変更することで奥行きが異なる被写体の間に鮮鋭感の差を設け、結果として奥行き感を増す画像処理装置を説明した。また、カメラの合焦位置から外れた部分の高周波はノイズである可能性が高いため、合焦位置以外の鮮鋭化を弱めることによりノイズが低減される。
【００３７】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００３８】
１１    ディジタルテレビジョン放送受信装置
１５    復調復号部
１６    信号処理部
１７    合成処理部
１８    音声処理部
１９    ＯＳＤ信号生成部
２０    映像処理部
２１    映像表示部
２２    スピーカ
２３    制御部