(57)【要約】【課題】再生品質や画質を実質的に低下させることなく、電力消費を低減でき、またメモリ容量の低減や通信回線の負荷を低減する。【解決手段】符号化レート制御部１９は、ユーザーの視力の悪い方の目、あるいは利き目でない方の目の符号化レートのみを下げる画質制御信号を生成して符号化部１４に供給する。符号化画素数制御部２０は、ユーザーの視力の悪い方の目、あるいは利き目でない方の目の符号化画素数のみを下げる画質制御信号を生成して符号化部１４に供給する。符号化部１４内の左目用符号化部１５Ｌ及び右目用符号化部１５Ｒは、画質制御信号に基づいて、視力が悪い方の目、あるいは利き目でない方の目に対応した符号化部では、もう一方の目に対応した符号化部に比較して、相対的に低符号化レート又は小符号化画素数の符号化を行う。【選択図】図１
2012114544.tif 000002
【特許請求の範囲】
【請求項１】
左目用映像信号を画質制御信号に基づいて符号化する左目用符号化手段と、
右目用映像信号を前記画質制御信号に基づいて符号化する右目用符号化手段と、
ユーザーの視力情報又は利き目情報から右目と左目の視力の優劣又は利き目を判別する視覚情報判別手段と、
前記視覚情報判別手段により判別された視力が悪い方の目、又は利き目でない方の目に対応した前記左目用符号化手段又は前記右目用符号化手段の符号化レートもしくは符号化画素数を、もう一方の目に対応した前記右目用符号化手段又は前記左目用符号化手段の符号化レートもしくは符号化画素数よりも下げるように前記左目用符号化部または前記右目用符号化部を制御する画質制御手段と
を有することを特徴とする映像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像符号化装置に係り、特に立体映像信号を構成する右目用映像信号及び左目用映像信号を符号化する映像符号化装置に関する。
【背景技術】
【０００２】
立体映像技術に関しては、様々な手法が提案されている。まず、表示に関しては、右目と左目が、それぞれ右目用映像と左目用映像を見るように、偏光目鏡を用いたり、液晶シャッタ目鏡を用いたり、表示画面前面にレンチキュラ板を配する等の手法が考えられている。
【０００３】
また、立体表示のためには、通常、右目用映像信号と左目用映像信号の２つの映像信号が必要である。この少なくとも２つの映像信号を放送したり、伝送したり、記録媒体に記録する場合は、この信号データ量が問題となる。そこで、このような、放送又は記録のために、右目用映像信号と左目用映像信号の２つの映像信号を圧縮符号化し、また復号する技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭５４−３０７１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１記載の立体画像表示装置などの従来の映像符号化装置では、人間の目の利き目や視力などの視覚能力によって、左右の目から入ってきたそれぞれの絵の処理能力が異なるため、場合によって、それほど詳細情報が必要でない場合であっても、右目用映像信号と左目用映像信号の２つの映像信号を、常に同じように符号化しているため、電力消費が比較的大きく、また信号の圧縮量が十分ではないため、大なる容量のメモリや通信回線の負荷が大きいという問題がある。
【０００６】
本発明は以上の点に鑑みなされたもので、再生品質や画質を実質的に低下させることなく、電力消費を低減でき、またメモリ容量の低減や通信回線の負荷を低減できる映像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、本発明は、左目用映像信号を画質制御信号に基づいて符号化する左目用符号化手段と、右目用映像信号を画質制御信号に基づいて符号化する右目用符号化手段と、ユーザーの視力情報又は利き目情報から右目と左目の視力の優劣又は利き目を判別する視覚情報判別手段と、視覚情報判別手段により判別された視力が悪い方の目、又は利き目でない方の目に対応した左目用符号化手段又は右目用符号化手段の符号化レートもしくは符号化画素数を、もう一方の目に対応した右目用符号化手段又は左目用符号化手段の符号化レートもしくは符号化画素数よりも下げるように左目用符号化部または右目用符号化部を制御する画質制御手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、再生品質や画質を実質的に低下させることなく、電力消費を低減でき、またメモリ容量の低減や通信回線の負荷を低減できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の映像符号化装置の一実施の形態のブロック図である。
【図２】本発明の映像符号化装置の一実施の形態における画質制御方法を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について図面を参照して説明する。
【００１１】
図１は、本発明になる映像符号化装置の一実施形態のブロック図を示す。同図において、本実施の形態の映像符号化装置１０は、左目用レンズ１１Ｌ、左目用撮像素子１２Ｌ、左目用画像バッファ１３Ｌ、右目用レンズ１１Ｒ、右目用撮像素子１２Ｒ、右目用画像バッファ１３Ｒ、符号化部１４、多重化部２１を有する。
【００１２】
左目用レンズ１１Ｌ及び左目用撮像素子１２Ｌからなる左目側光学系と、右目用レンズ１１Ｒ及び右目用撮像素子１２Ｒからなる右目側光学系とが、対をなし左右に人間の両目の間隔程度離れて配置されて、３次元映像の撮影を行う。周知のように、３次元映像は、水平方向に視差（パララックス）を有する右目用の画像と左目用の画像の２枚の画像から形成できるので、左目用撮像素子１２Ｌと右目用撮像素子１２Ｒにより３次元映像が得られるのである。
【００１３】
左目用撮像素子１２Ｌは、左目用レンズ１１Ｌにより被写体（図示せず）からの光が撮像面に結像され、その光を光電変換して左目用映像信号を生成して左目用画像バッファ１３Ｌに供給する。一方、これと同時に、右目用撮像素子１２Ｒは、右目用レンズ１１Ｒにより被写体（図示せず）からの光が撮像面に結像され、その光を光電変換して右目用映像信号を生成して右目用画像バッファ１３Ｒに供給する。
【００１４】
左目用画像バッファ１３Ｌは、入力される左目用映像信号を一時保存した後、符号化部１４内の左目用符号化部１５Ｌに供給する。一方、右目用画像バッファ１３Ｒは、入力される右目用映像信号を一時保存した後、符号化部１４内の右目用符号化部１５Ｒに供給する。左目用画像バッファ１３Ｌから出力される左目用映像信号と、右目用画像バッファ１３Ｒから出力される右目用映像信号とは互いに同期している。
【００１５】
また、映像符号化装置１０は、視覚情報取得部１６、視覚情報入力部１７及び画質制御部１８を有する。視覚情報取得部１６は、ユーザーの視力情報と利き目情報とからなる視覚情報を取得する。視覚情報入力部１７は、視覚情報からユーザーの右目の視力と左目の視力のどちらが良いか、あるいは同じであるかを判定してその視力判定情報を画質制御部１８に供給すると共に、利き目情報からユーザーの利き目がどちらであるかを判定してその利き目判定情報を画質制御部１８に供給する。視覚情報取得部１６と視覚情報入力部１７とは、ユーザーの視力情報と利き目情報とから右目と左目の視力の優劣及び利き目を判別する本発明の視覚情報判別手段を構成する。
【００１６】
画質制御部１８は、符号化レート制御部１９と符号化画素数制御部２０とを有し、どちらか一方の選択された制御部により、入力される視力判定情報及び利き目判定情報に基づいて、符号化レート又は画素数を制御して決定した画質を示す画質制御信号を出力する。
【００１７】
符号化部１４内の左目用符号化部１５Ｌ及び右目用符号化部１５Ｒは、所定の符号化方式に基づいて左目用映像信号及び右目用映像信号の符号化を行う際、画質制御部１８からの画質制御信号によって設定された画質で符号化する。多重化部２１は、左目用符号化部１５Ｌ及び右目用符号化部１５Ｒによりそれぞれ符号化して得られた左目用映像ストリームと右目用映像ストリームとを多重化して１本のビットストリームを生成して出力する。
【００１８】
次に、図１の本実施形態の映像符号化装置１０における画質決定方法について図２のフローチャートを併せ参照して詳細に説明する。
【００１９】
まず、記録したい符号化レートを設定する（ステップＳ１）。この符号化レートは多重化部２１から出力されるビットストリームの符号化レートである。続いて、視覚情報取得部１６が、ユーザーの視力情報と利き目情報とからなる視覚情報を取得する（ステップＳ２）。視力情報の取得方法は公知であり（例えば、特開２００４−３３７５４６号公報参照）、また、利き目情報の取得方法も公知であり（例えば、特開２００９−４７９１２号公報参照）、更に、これらの情報の取得方法自体は本発明では重要ではないので、その詳細な説明は省略する。
【００２０】
続いて、視覚情報入力部１７は、入力される視力情報から右目と左目のどちらの視力が良いか、あるいは同じであるかを判定する（ステップＳ３）。更に、視覚情報入力部１７は、右目の視力と左目の視力が同じであるときは、入力される利き目情報から利き目が右目と左目のどちらであるかを判定する（ステップＳ４）。視覚情報入力部１７は、ステップＳ３及びＳ４で判定した判定結果を画質制御部１８に供給する。このように、視力の方を利き目より優先しているのは、人間の目の特徴によるものである。従って、利き目がどちらかであるという情報と、視力の優劣がどちらかであるという情報が、左右異なる場合は、視力の優劣を優先して、画質を制御する。
【００２１】
画質制御部１８は、符号化レート制御部１９による符号化レートの変更と、符号化画素数制御部２０による符号化画素数の変更とのどちらか一方の変更が選択され、選択された変更方法で決定した画質制御信号を生成する。
【００２２】
そこで、まず、符号化レート制御部１９による符号化レートの変更が選択されているものとすると、符号化レート制御部１９は、入力される視力判定情報が右目の方が左目よりも視力が良いことを示している場合、あるいは右目の視力と左目の視力が同じであり、かつ、入力される利き目判定情報が右目が利き目であることを示している場合は、左目の符号化レート下げ率を算出し（ステップＳ５、Ｓ７）、その符号化レート下げ率に基づいて左目の符号化レートのみを下げる（ステップＳ８）。
【００２３】
また、符号化レート制御部１９は、入力される視力判定情報が左目の方が右目よりも視力が良いことを示している場合、あるいは右目の視力と左目の視力が同じであり、かつ、入力される利き目判定情報が左目が利き目であることを示している場合は、右目の符号化レート下げ率を算出し（ステップＳ６、Ｓ１１）、その符号化レート下げ率に基づいて右目の符号化レートのみを下げる（ステップＳ１２）。符号化レートの下げ率は、視力の差が大きいことに比例し、差が大きいほど符号化レートの下げ率は増加する。また、利き目も同様に、利き目の違いが極端なほど、符号化レートの下げ率は増加させることができる。
【００２４】
一方、符号化画素数制御部２０による符号化画素数の変更が選択されているものとすると、符号化画素数制御部２０は、入力される視力判定情報が右目の方が左目よりも視力が良いことを示している場合、あるいは右目の視力と左目の視力が同じであり、かつ、入力される利き目判定情報が右目が利き目であることを示している場合は、左目の符号化画素数下げ率を算出し（ステップＳ５、Ｓ９）、その符号化画素数下げ率に基づいて左目の符号化画素数のみを下げる（ステップＳ１０）。
【００２５】
また、符号化画素数制御部２０は、入力される視力判定情報が左目の方が右目よりも視力が良いことを示している場合、あるいは右目の視力と左目の視力が同じであり、かつ、入力される利き目判定情報が左目が利き目であることを示している場合は、右目の符号化画素数下げ率を算出し（ステップＳ６、Ｓ１３）、その符号化画素数下げ率に基づいて右目の画素数のみを下げる（ステップＳ１４）。符号化画素数は視力の差が大きいことに比例し、差が大きいほど符号化画素数の下げ率は増加する。また、利き目も同様に、利き目の違いが極端なほど、符号化画素数の下げ率は増加させることができる。例えば、片方はハイビジョン方式（ＨＤ）の符号化画素数にし、片方は標準（ＳＤ）方式の符号化画素数にしてもよい。
【００２６】
このようにして、画質制御部１８は、ステップＳ８、Ｓ１０、Ｓ１２、Ｓ１４のいずれかにより決定された、視力が悪い方の目、あるいは利き目でない方の目の符号化レート又は符号化画素数をもう一方の目の符号化レート又は符号化画素数に比較して相対的に下げる画質制御信号を生成して符号化部１４に供給する。
【００２７】
符号化部１４内の左目用符号化部１５Ｌ及び右目用符号化部１５Ｒは、画質制御信号に基づいて、視力が悪い方の目、あるいは利き目でない方の目に対応した符号化部では、もう一方の目に対応した符号化部に比較して、相対的に低符号化レート又は小符号化画素数の符号化を行う。
【００２８】
このように、本実施の形態の映像符号化装置１０によれば、人間の目が、利き目や視力などの視覚能力によって、左右の目から入ってきたそれぞれの絵の処理能力が異なることを利用し、視力が悪い方の目、あるいは利き目でない方の目に対応した符号化ストリームのデータ量を、もう一方の目に対応した符号化ストリームのデータ量に比べて大幅に低減することができ、その結果多重化部２１から出力される一つのビットストリーム全体のデータ量を大幅に低減することができるため、従来に比べて電力消費を低減でき、またメモリ容量の低減や通信回線の負荷の低減ができる。本実施の形態の映像符号化装置１０は、特に携帯電話等の携帯機器で映像情報を記録し、再生する場合に視聴するユーザーが特定されている場合や、パーソナルユースの場合に効果がある。
【００２９】
なお、本実施の形態によれば、視力が悪い方の目、あるいは利き目でない方の目に対応した画像の画質は、もう一方の画像の画質よりも大幅に下がるが、ユーザーは画質が低下した方の画像は視力が悪い方の目、あるいは利き目でない方の目で見るために、ユーザーにとって再生画質の劣化は殆ど気にならない。従って、本実施の形態の映像符号化装置１０によれば、再生品質や画質を実質的に低下させることなく、符号信号量を低減できる。
【００３０】
なお、本発明者による実験によれば、符号化レートを３０Ｍｂｐｓに設定し、右目の視力１.０、左目の視力が０.２の人の場合、左目の符号化レートを１０Ｍｂｐｓに下げることが可能であった。また、上記の場合、左目側の符号化レートを約７０％落としても、右目側の映像が支配的であるために、符号化レートの差を認識することができなかった。この場合、左右の平均符号化レートを落とした場合よりも、高画質の映像を見ることができることが分かった。
【００３１】
なお、本発明は上記の実施の形態に限定されるものではなく、例えば、右目用画像信号及び左目用映像信号は、記録媒体などから入力するようにしてもよい。また、視覚情報取得部１６を用いず、視覚情報入力部１７で入力された視覚情報を用いてもよい。
【符号の説明】
【００３２】
１１Ｌ  左目用レンズ
１１Ｒ  右目用レンズ
１２Ｌ  左目用撮像素子
１２Ｒ  右目用撮像素子
１３Ｌ  左目用画像バッファ
１３Ｒ  右目用画像バッファ
１４  符号化部
１５Ｌ  左目用符号化部
１５Ｒ  右目用符号化部
１６  視覚情報取得部
１７  視覚情報入力部
１８  画質制御部
１９  符号化レート制御部
２０  符号化画素数制御部
２１  多重化部
【図１】
2012114544.tif 000003
【図２】
2012114544.tif 000004