【手続補正書】
【提出日】平成26年8月26日(2014.8.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成するエッジ抽出情報生成部と、
前記左眼用の映像信号と前記右眼用の映像信号に基づいて、前記左眼用の映像信号よりなる左眼用の撮影画像と、前記右眼用の映像信号よりなる右眼用の撮影画像との視差を算出し、前記算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告画像を生成する警告画像生成部と、
前記エッジ抽出情報生成部で生成されたエッジ抽出情報に基づいて、前記注目画素がエッジ部分である場合には、前記警告画像生成部で生成された前記警告画像を出力し、前記注目画素がエッジ部分でない場合には、前記左眼用の映像信号または前記右眼用の映像信号を出力する出力信号制御部とを備えた
映像信号処理装置。
【請求項２】
前記左眼用の映像信号と前記右眼用の映像信号の解像度を所定の低い解像度に変換して、前記警告画像生成部に出力する低解像度化部と、
前記警告画像または、前記視差が算出された段階での映像信号の解像度を、前記低解像度化部による低解像度化が行われる前の解像度に復元する解像度復元部とを備えた
請求項１に記載の映像信号処理装置。
【請求項３】
前記警告画像生成部は、前記算出された視差の大きさとして示される、撮像装置に対する被写体の奥行き方向の距離である深度を、少なくとも第１の閾値よって２つの領域に分割し、前記第１の閾値以上である領域もしくは前記第１の閾値未満の領域に対しては、前記警告色を対応付けない
請求項１又は２に記載の映像信号処理装置。
【請求項４】
前記警告画像を所定のフレーム数分蓄積してその積分をとることによって、前記警告画像に対して時間軸方向のフィルタリングをかけるフィルタ処理部をさらに備える
請求項１乃至３のいずれかに記載の映像信号処理装置。
【請求項５】
被写体光を光電変換して映像信号を生成する、右眼用の撮像素子および左眼用の撮像素子をさらに備える
請求項１乃至４のいずれかに記載の映像信号処理装置。
【請求項６】
前記第１の閾値の値は、前記出力信号制御部から出力される映像信号が入力される表示装置の大きさに対応して複数種類設けられる
請求項１乃至５のいずれかに記載の映像信号処理装置。
【請求項７】
左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成することと、
前記左眼用の映像信号と前記右眼用の映像信号に基づいて、前記左眼用の映像信号よりなる左眼用の撮影画像と、前記右眼用の映像信号よりなる右眼用の撮影画像との視差を算出し、前記算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告画像を生成することと、
前記エッジ抽出情報に基づいて、前記注目画素がエッジ部分である場合には、前記警告画像を出力し、前記注目画素がエッジ部分でない場合には、前記左眼用の映像信号または前記右眼用の映像信号を出力することとを含む
映像信号処理方法。
【請求項８】
エッジ部分であると判断された画素であり、かつ、右眼用の撮影画像と左眼用の撮影画像の表示画面上での距離である視差が、予め定められた所定の範囲を超えている画素に、前記視差の量に応じて色を異ならせた警告色が重なって表示される映像信号を生成する
映像信号処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本開示はかかる点に鑑みてなされたものであり、極端な３Ｄ効果がつきそうな箇所を、ユーザが直感的に把握しやすいユーザ・インタフェースで、ユーザに提供することを目的とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記課題を解決するために、本開示の映像信号処理装置は、エッジ抽出情報生成部と、警告画像生成部と、出力信号制御部とを備える構成とし、各部の構成及び機能を次のようにする。エッジ抽出情報生成部は、左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成する。警告画像生成部は、左眼用の映像信号と右眼用の映像信号に基づいて、左眼用の映像信号よりなる左眼用の撮影画像と、右眼用の映像信号よりなる右眼用の撮影画像との視差を算出する。さらに、算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告画像を生成する。出力信号制御部は、エッジ抽出情報生成部で生成されたエッジ抽出情報に基づいて、注目画素がエッジ部分である場合には、警告画像生成部で生成された警告画像を出力する。注目画素がエッジ部分でない場合には、左眼用の映像信号または右眼用の映像信号を出力する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、上記課題を解決するために、本開示の映像信号処理方法は、次の手順で行う。まず、左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成する。次に、左眼用の映像信号と右眼用の映像信号に基づいて、左眼用の映像信号よりなる左眼用の撮影画像と、右眼用の映像信号よりなる右眼用の撮影画像との視差を算出する。次に、算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告画像を生成する。次に、エッジ抽出情報に基づいて、注目画素がエッジ部分である場合には警告画像を出力し、注目画素がエッジ部分でない場合には、左眼用の映像信号または右眼用の映像信号を出力する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
以下に、本開示の実施形態に係る映像信号処理装置の具体例を、図面を参照しながら下記の順で説明する。
１．映像信号処理装置を立体画像撮像装置に適用した場合の構成例
２．警告画像生成処理部の構成および処理の例
３．各種変形例
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
立体画像撮像装置１００は、右眼用画像の処理系統として、レンズ１０Ｒと、撮像素子２０Ｒと、信号処理部４０Ｒと、記録再生処理部５０Ｒとを備える。また、左眼用画像の処理系統として、レンズ１０Ｌと、撮像素子２０Ｌと、信号処理部４０Ｌと、記録再生処理部５０Ｌとを備える。右眼用画像の処理系統を構成する各部と、左眼用画像の処理系統を構成する各部は、それぞれが有する機能は同一であるため、各部の機能の説明は、右眼用画像の処理系統についてのみ行う。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
エッジ抽出情報生成部９１０は、エッジ検出部９１１と、２値化処理部９１２と、遅延回路９１３とを含む。エッジ検出部９１１は、信号処理部４０Ｌ（図１参照）から出力される左眼用画像に基づいて、画像中で画素の濃淡が急激に変化するエッジ部分を抽出する。エッジの抽出には、例えばソーベルフィルタ等のフィルタを使用する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
図２に戻って説明を続けると、２値化処理部９１２は、エッジ検出部９１１から出力された画像に対して閾値処理を行うことにより、画像内の領域をエッジ部と非エッジ部とに分ける。つまり、エッジ部分として検出された画素に対して、予め定めた閾値を超えたものに対しては例えば“１”を出力し、閾値以下のものに対しては“０”を出力する。閾値の大きさは、例えば設計者が経験則に基づいて算出される値をヒューリスティックに設定する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
図４（ａ）は、エッジ抽出情報生成部９１０に入力される元画像を示したものであり、エッジ検出部９１１がエッジの抽出を行うことにより、図４（ｂ）に示すようなエッジ部分が抽出された画像が生成される。この図４（ｂ）に示す画像を、２値化処理部９１２がさらに閾値処理することにより、図４（ｃ）に示すように白黒の２色で絵柄が表現されるようになる。すなわち、各画素が、エッジ部分であるかそれ以外の部分であるかの２値で表現される。２値化処理部９１２は、閾値処理によって求められた２値の情報との組を、エッジ抽出情報として垂直同期信号および水平同期信号とともに遅延回路９１３に出力する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
再び図２に戻って説明を続けると、遅延回路９１３は、２値化処理部９１２から出力されたエッジ抽出情報を、所定の時間だけ遅延させて出力する。遅延回路９１３によって加えられる遅延の量は、後述する低解像度化部９２０Ｌと９２０Ｒに左右の画像が入力されてから警告画像が生成されるまでの時間と、エッジ抽出情報が生成される時間との差分によって求められる。エッジ抽出情報が生成される時間よりも、警告画像が生成される時間のほうが長いため、警告画像が出力されるタイミングとエッジ抽出情報が出力されるタイミングとを一致させる目的で、エッジ抽出情報に遅延を加えている。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
警告画像生成部９３０は、視差算出部９３１と、色分け処理部９３２と、フィルタ処理部９３３とを含む。視差算出部９３１は、低解像度化部９２０Ｌと低解像度化部９２０Ｒによって低解像度化された左右の入力画像を用いて、各画素における左右の画素間の視差を算出する。図７は、視差算出部９３１による視差算出処理の例を示す図である。図７（ａ）は左眼用画像を示し、図７（ｂ）は右眼用画像を示す。いずれの画像とも、横方向ｎ画素×縦方向ｍ画素の（ｍ×ｎ）画素よりなるものとする。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
再び図２に戻って説明を続ける。フィルタ処理部９３３は、色分け処理部９３２から入力された警告画像を所定のフレーム数分蓄積してその積をとることにより、同一画素における時間軸方向のフィルタリングを行う。例えば、入力された画素を数フレーム分蓄積して積をとり、数フレーム連続で同一の警告色が出力された場合にそれを採用する。同一の警告色が、積がとられた数フレームにおいて連続で出力されなかった場合には、警告色は重畳せずに画素を出力する。このような処理を行うことにより、出力画像にノイズが混入する可能性をより低くすることができる。画素を蓄積するフレーム数は、ノイズ除去効果をどの程度に設定したいか等の情報に基づいて、任意の値に設定可能であるものとする。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
フィルタ処理部９３３でフィルタリングされた警告画像は、解像度復元部９４０に出力される。解像度復元部９４０は、入力された警告画像の解像度を、元の解像度に復元する処理を行う。元の解像度への復元は、例えば、低解像度化部９２０Ｌと９２０Ｒによって解像度が１／１６に落とされた場合には、同じ画素を１６個並べて単純に拡大することによって行う。もしくは、他の方法を用いて解像度を復元してもよい。解像度復元部９４０で解像度が復元された警告画像は、スイッチ９６０に供給される。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
遅延回路９５０は、信号処理部４０Ｌ（図１参照）から出力された左眼用画像を、所定の時間だけ遅延させて出力する。つまり、スイッチ９６０に供給される警告画像の位相と、信号処理部４０Ｌから出力された左眼用画像の位相の差をなくすための遅延量が、元画像として出力される左眼用画像に付加される。遅延回路９５０の構成は、図５を参照して説明した遅延回路９１３と同一であるため、説明は省略する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
スイッチ９６０には、解像度が復元された高解像度の警告画像と、遅延回路９５０によってその位相が警告画像の位相と同相に調整された元画像とが供給され、いずれかの画像が選択されて出力される。スイッチ９６０の接続先の切り替えは、エッジ抽出情報生成部９１０から供給されるエッジ抽出情報に基づいて行われる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
［２−２．警告画像生成処理部の処理の例］
図９は、スイッチ９６０による切り替え処理の例を示すフローチャートである。まず、エッジ抽出情報生成部９１０から供給されたエッジ抽出情報に基づいて、エッジが検出されたか否かが判断される（ステップＳ１１）。すなわち、注目画素が、エッジ部分の画素であるか否かが判断される。エッジが検出された場合には、スイッチ９６０の接続先が解像度復元部９４０側に切り替えられ、警告画像が出力される（ステップＳ１２）。エッジが検出されなかった場合には、スイッチ９６０の接続先が遅延回路９５０側に切り替えられ、元画像が出力される（ステップＳ１３）。続いて、入力信号があるか否かが判断され、ある場合にはステップＳ１１に戻って処理が続けられる。ない場合には、処理は終了となる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
また、エッジ抽出情報生成部９１０では、元の高解像度のままの画像に基づいてエッジの抽出を行っており、かつ、高解像度の画像から抽出されたエッジ部分に、警告色が重畳される。つまり、警告画像が高解像度で表示されるようになる。このような仕組みによって高解像度による警告画像の表示が担保されるため、警告画像の生成を、低解像度化した画像に基づいて行うことができるようになる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
＜３．各種変形例＞
なお、上述した実施の形態では、色分け処理部９３２（図２参照）によって警告画像を生成してから解像度復元部９４０で解像度を復元しているが、最初に解像度を復元してから警告画像の生成を行うように、順序を逆にしてもよい。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
なお、本開示は以下のような構成も取ることができる。
（１）左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成するエッジ抽出情報生成部と、
前記左眼用の映像信号と前記右眼用の映像信号に基づいて、前記左眼用の映像信号よりなる左眼用の撮影画像と、前記右眼用の映像信号よりなる右眼用の撮影画像との視差を算出し、前記算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告画像を生成する警告画像生成部と、
前記エッジ抽出情報生成部で生成されたエッジ抽出情報に基づいて、前記注目画素がエッジ部分である場合には、前記警告画像生成部で生成された前記警告画像を出力し、前記注目画素がエッジ部分でない場合には、前記左眼用の映像信号または前記右眼用の映像信号を出力する出力信号制御部とを備えた
映像信号処理装置。
（２）前記左眼用の映像信号と前記右眼用の映像信号の解像度を所定の低い解像度に変換して、前記警告画像生成部に出力する低解像度化部と、
前記警告画像または、前記視差が算出された段階での映像信号の解像度を、前記低解像度化部による低解像度化が行われる前の解像度に復元する解像度復元部とを備えた（１）に記載の映像信号処理装置。
（３）前記警告画像生成部は、前記算出された視差の大きさとして示される、撮像装置に対する被写体の奥行き方向の距離である深度を、少なくとも第１の閾値によって２つの領域に分割し、前記第１の閾値以上である領域または、前記第１の閾値未満の領域に対しては、前記警告色を対応付けない（１）または（２）に記載の映像信号処理装置。
（４）前記警告画像を所定のフレーム数分蓄積してその積分をとることによって、前記警告画像に対して時間軸方向のフィルタリングをかけるフィルタ処理部をさらに備える（１）〜（３）のいずれかに記載の映像信号処理装置。
（５）被写体光を光電変換して映像信号を生成する、右眼用の撮像素子および左眼用の撮像素子をさらに備える（１）〜（４）のいずれかに記載の映像信号処理装置。
（６）前記第１の閾値の値は、前記出力信号制御部から出力される映像信号が入力される表示装置の大きさに対応して複数種類設けられる（１）〜（５）のいずれかに記載の映像信号処理装置。
（７）左眼用に撮影された左眼用の映像信号または、右眼用に撮影された右眼用の映像信号を入力信号として、注目画素がエッジ部分であるか否かを示すエッジ抽出情報を生成することと、
前記左眼用の映像信号と前記右眼用の映像信号に基づいて、前記左眼用の映像信号よりなる左眼用の撮影画像と、前記右眼用の映像信号よりなる右眼用の撮影画像との視差を算出し、前記算出された視差の大きさと対応づけられた複数種類の警告色を、各画素に重畳して警告画像を生成することと、
前記エッジ抽出情報に基づいて、前記注目画素がエッジ部分である場合には、前記警告画像を出力し、前記注目画素がエッジ部分でない場合には、前記左眼用の映像信号または前記右眼用の映像信号を出力することとを含む
映像信号処理方法。
（８）エッジ部分であると判断された画素であり、かつ、右眼用の撮影画像と左眼用の撮影画像の表示画面上での距離である視差が、予め定められた所定の範囲を超えている画素に、前記視差の量に応じて色を異ならせた警告色が重なって表示される映像信号を生成する
映像信号処理装置。
【手続補正２０】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2013055565.tif 000001
【手続補正２１】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2013055565.tif 000002