(57)【要約】【課題】２Ｄ映像と３Ｄ映像とが混在したコンテンツを違和感なく再生できる画像処理方法及び画像処理装置を提供する。【解決手段】２Ｄ映像と３Ｄ映像とを含むデータの中の前記３Ｄの部分から奥行きの平均値を算出する測定算出手段と、３Ｄに続く２Ｄの奥行きの平均値が前記奥行きの平均値となるように３Ｄ変換する３Ｄ立体視制御手段と、を有することを特徴とする。【選択図】図１
2012169730.tif 000002
【特許請求の範囲】
【請求項１】
２Ｄ映像と３Ｄ映像とを含むデータの中の前記３Ｄの部分から奥行きの平均値を算出する測定算出手段と、前記３Ｄに続く２Ｄの奥行きの平均値が前記奥行きの平均値となるように３Ｄ変換する３Ｄ立体視制御手段と、を有することを特徴とする画像処理方法。
【請求項２】
前記３Ｄ映像の再生中は前記平均値を維持することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記平均値を取得できないときはジャンル毎の規定値を用いて３Ｄ変換することを特徴とする請求項１または２記載の画像処理方法。
【請求項４】
前記データの再生開始ときに先読み再生が可能な場合は、バックグラウンドでヘッダ情報から奥行きを測定し、平均値を算出することを特徴とする請求項１から３の何れか一項記載の画像処理方法。
【請求項５】
映像及び音声の入力データを分割し、映像データの３Ｄフラグの有無を検知する入力部と、
前記映像及び音声のデータをそれぞれデコードするデコーダと、
前記データが３Ｄフラグを有する場合フレーム単位で奥行きを測定し、平均値を算出する測定算出部と、
前記３Ｄの部分から奥行きの平均値を算出し、３Ｄの部分は奥行き値を算出し、３Ｄに続く２Ｄの奥行きの平均値が前記奥行きの平均値となるように３Ｄ変換する３Ｄ立体視制御部と、
を備えたことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
近年、画像処理技術の向上により、３Ｄコンテンツの立体視が可能なテレビジョン受像機（以下、ＴＶと表記）やパーソナルコンピュータ（以下、ＰＣと表記）が開発されている。立体視について以下に述べる。
【０００３】
図５は、３Ｄコンテンツの立体視の一例を説明するための説明図である。
図５の上段には放送局側にてサイドバイサイド方式で作成されて放送される、３Ｄデコードされた左目用の絵ＰＬと右目用の絵ＰＲとが記載されている。絵ＰＬには被写体としての人物の左目用の像があり、絵ＰＲには同一人物の右目用の像がある。両絵ＰＬ、ＰＲは１分間に６０枚（６０フレーム枚秒：以下、６０ｆｐｓのように表記）の速さで受像機側に送られる。
受像機側では、左目用の絵ＰＬは図５の中段のように表示装置のサイズに拡大され、右目用の絵ＰＲは図５の下段のように同一の表示装置のサイズに拡大されて同一の表示装置に重ね合わされるように表示される。左右両絵は１２０ｐｆｓで表示装置に交互に送られ、表示装置に表示される（フレームシーケンシャル方式）。
すなわち、放送局側では、左目用の映像と右目用の映像とを交互に映し出す方式で放送し、ユーザは、アクティブシャッター式の３Ｄ眼鏡を使って受像機の表示装置を視聴するようになっている。この３Ｄ眼鏡には、映像と連度するシャッターが組み込まれており、右目用の映像が表示装置に表示されたときは、左目用のシャッターが閉じ、右目用の映像だけがユーザに見える。左目用の映像だけが表示されたときはその逆の状態になり、左右交互に映像を切り替えていることで映像に立体感が加わる。
【０００４】
図６は、３Ｄコンテンツの立体視の他の一例を説明するための説明図である。
図６の上段には放送局側にてサイドバイサイド方式で作成されて放送される、図５のように３Ｄデコードされた左目用の絵ＰＬと右目用の絵ＰＲとが記載されている。絵ＰＬには被写体としての人物の左目用の像があり、絵ＰＲには同一人物の右目用の像がある。両絵ＰＬ、ＰＲは６０ｆｐｓの速さで櫛波状に交互に受像機側に送られる。例えば、左右両目用の絵ＰＬ、ＰＲを横方向に複数（例えばｎ個）に分割し、左目用の絵ＰＬの中の奇数番目の区画ＰＬ１、ＰＬ３、ＰＬ５、…、ＰＬｎ−１が１区画分ずつ離れて表示装置のサイズに拡大されて表示装置に送られる。同様に右目用の絵ＰＲの中の偶数番目の区画ＰＲ２、ＰＲ４、ＰＲ６、…、ＰＲｎが１区画分ずつ離れて同一の表示装置のサイズに拡大されて表示装置に送られる。
ユーザは、偏向方向が直交する偏光板を左右に有する３Ｄ眼鏡を装着することにより、受像機からの左目用の映像と右目用の映像とが分離され、３Ｄ画像を立体視することができる（ラインバイライン方式）。
【０００５】
この種の３Ｄ技術に関連する文献として特許文献１が挙げられる。
特許文献１に記載の発明は、「立体動画像処理装置」に関するものであり、具体的には「複数のフレームからなる立体視可能な立体動画像の入力を受け付ける動画像入力手段と、前記立体動画像のシーンの切り替わり位置を検出するシーン検出手段と、前記シーンの切り替わり位置における奥行き感が徐々に変更されるように、前記立体動画像の奥行き感を調整する奥行き感調整処理を前記立体動画像に施すことにより処理済み立体動画像を生成する奥行き感調整手段とを備えた」ものである。
【０００６】
ここで、３Ｄコンテンツを３Ｄ立体視する方式の他に、２Ｄコンテンツを３Ｄ立体視する方式（疑似３Ｄ方式）が挙げられる。この疑似３Ｄ方式は、本来の３次元グラフィックス処理技術を使わずに、遠近法を用いたり、輝度を変化させたり、影を付与したりすることにより、奥行きや立体感を表現する方式である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２３９３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した技術において、３Ｄコンテンツを３Ｄ立体視（３Ｄ表示）する場合の処理と、２Ｄコンテンツを３Ｄ立体視（疑似３Ｄ表示）する場合の処理とがそれぞれ独立して行われており、連携していない。
このため、例えば、３Ｄ放送番組内の３Ｄコンテンツと２Ｄコンテンツとを３Ｄ再生及び疑似３Ｄ再生した場合、違和感があり、目への負担も大きい場合がある。
【０００９】
３Ｄコンテンツを３Ｄ立体視で再生させる場合（以降、３Ｄ−３Ｄ再生）は、コンテンツ制作の段階（録画時や編集時等）で３Ｄ立体視の奥行き（深度）が決まるので、再生装置側で奥行きを調整する必要がない。
【００１０】
２Ｄコンテンツを３Ｄ立体視で再生させる場合（以降、２Ｄ−３Ｄ再生）は、再生装置側で奥行きを計算してから３Ｄ変換を行い、表示させる必要がある。
３Ｄ放送番組の場合、全てのシーンが３Ｄコンテンツで構成されていない（例えば、本編内で２Ｄコンテンツと３Ｄコンテンツとが混在されている。本編は３ＤコンテンツでもＣＭ部分は２Ｄコンテンツのままの場合。）ことが多く、全編を通して３Ｄ立体視で再生させた場合に、３Ｄ−３Ｄ再生と２Ｄ−３Ｄ再生との切り替わりが発生するが、それぞれが独立して処理されるため、奥行き感がバラバラになり、連続して視聴したときに、視聴者の目の負担や疲労につながるおそれがある。
【００１１】
特に、特許文献１に記載の発明では、２Ｄコンテンツ（２Ｄ表示のまま）から、３Ｄコンテンツ（３Ｄ−３Ｄ再生）の切り替わりを軽減させることが主目的となっているため、２Ｄコンテンツと３Ｄコンテンツとが混在している番組を全編通して３Ｄ立体視して再生させた場合については考慮されていない。
【００１２】
そこで、本発明の目的は、２Ｄ映像と３Ｄ映像とが混在したコンテンツを違和感なく再生できる画像処理方法及び画像処理装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決するため、本発明の請求項１記載の発明は、２Ｄ映像と３Ｄ映像とを含むデータの中の前記３Ｄの部分から奥行きの平均値を算出する測定算出手段と、前記３Ｄに続く２Ｄの奥行きの平均値が前記奥行きの平均値となるように３Ｄ変換する３Ｄ立体視制御手段と、を有することを特徴とする。
【００１４】
請求項２記載の発明は、請求項１記載の発明において、前記３Ｄ映像の再生中は前記平均値を維持することを特徴とする。
【００１５】
請求項３記載の発明は、請求項１または２記載の発明において、前記平均値を取得できないときはジャンル毎の規定値を用いて３Ｄ変換することを特徴とする。
【００１６】
請求項４記載の発明は、請求項１から３の何れか一項記載の発明において、前記データの再生開始ときに先読み再生が可能な場合は、バックグラウンドでヘッダ情報から奥行きを測定し、平均値を算出することを特徴とする。
【００１７】
請求項５記載の発明は、映像及び音声の入力データを分割し、映像データの３Ｄフラグの有無を検知する入力部と、前記映像及び音声のデータをそれぞれデコードするデコーダと、前記データが３Ｄフラグを有する場合フレーム単位で奥行きを測定し、平均値を算出する奥行き測定演算部と、前記３Ｄの部分から奥行きの平均値を算出し、３Ｄの部分は奥行き値を算出し、３Ｄに続く２Ｄの奥行きの平均値が前記奥行きの平均値となるように３Ｄ変換する３Ｄ立体視制御部と、を備えたことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、２Ｄ映像と３Ｄ映像とが混在したコンテンツを違和感なく再生できる画像処理方法及び画像処理装置の提供を実現することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明に係る画像処理装置の一実施の形態を示すブロック図である。
【図２】図１に示した画像処理装置で処理されるデータの構成例である。
【図３】図１に示した画像処理装置の全体の流れを説明するためのフローチャートの一例である。
【図４】図３に示したフローチャートのうちのバックグラウンド処理のフローチャートの一例である。
【図５】３Ｄコンテンツの立体視の一例を説明するための説明図である。
【図６】３Ｄコンテンツの立体視の他の一例を説明するための説明図である。
【発明を実施するための形態】
【００２０】
次に本発明の実施の形態について図面を参照して説明する。
＜構  成＞
図１は、本発明に係る画像処理装置の一実施の形態を示すブロック図である。
画像処理装置１０は、入力部１２、音声用のデコーダ１３、映像用のデコーダ１５、音声出力部１４、奥行き測定演算部１６、３Ｄ立体視制御部１７、映像表示部１８、及び記憶部１９を有する。
【００２１】
この画像処理装置１０には、映像／音声データ１１が入力され、２Ｄもしくは３Ｄ表示するようになっている。
【００２２】
入力部１２は、ソースとなるデータを画像処理装置１０に入力する回路である。入力されたデータから、映像データ及び音声データの分割を行い、映像データについては３Ｄフラグ（３Ｄ識別子）が含まれているか否かをチェックする機能を有する。
ソースとなるデータである映像／音声データの入力の形式は、１）ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）やＳＤカード等の記憶媒体で入力する場合、２）チューナーを含むフロントエンドで地上デジタルテレビジョン放送波、衛星放送波を映像／音声データに変換した場合、３）変換された映像／音声データをＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）に記憶した場合、４）インターネット放送による配信データ等が挙げられる。
【００２３】
音声用のデコーダ１３及び映像用のデコーダ１５は、それぞれ入力されたデータをデコードする機能を有する。
【００２４】
測定算出部１６は、入力した映像データが３Ｄコンテンツの場合はフレーム単位で奥行き（度）を測定し、得られたデータの平均値（「奥行きの平均値」）を算出する機能を有する。測定算出部１６ではフレーム毎に常に奥行きの平均値を算出する。
【００２５】
３Ｄ立体視制御部１７は、入力した映像データが３Ｄコンテンツの場合は、映像の重ね合わせを行う機能を有する。また、３Ｄ立体視制御部１７は、入力した映像データが２Ｄコンテンツの場合は、「奥行きの平均値」や「ジャンル毎の規定値」等のデータを取得してから奥行きを設定し、３Ｄに変換する機能を有する。
【００２６】
音声出力部１４は、スピーカ及び増幅回路を有し、デコードされた音声の出力を行う機能を有する。
【００２７】
映像表示部１８は、液晶ディスプレイ（もしくはプラズマディスプレイ）及びモニタ駆動回路を有し、デコードされた映像データ（３Ｄ立体視化された映像データ）の表示を行う機能を有する。
【００２８】
記憶部１９は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）が挙げられ、奥行きの平均値及びジャンル毎の規定値を記憶する機能を有する。記憶部１９は、奥行きの平均値を記憶するための記憶領域１９ａと、ジャンル毎の規定を記憶するための記憶領域１９ｂとを有する。
【００２９】
ここで、画像処理装置１０のうち測定算出部１６及び３Ｄ立体視制御部１７は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、Ｉ／Ｏポート及びバスラインで構成されている。
【００３０】
図２は、図１に示した画像処理装置で処理されるデータの構成例である。
ヘッダにジャンルの情報が書き込まれており、各ブロックのうち２Ｄコンテンツは映像と音声を有するのに対し、３Ｄコンテンツは３Ｄフラグ、映像、及び音声を有する。
【００３１】
＜動  作＞
［全体の流れ］
動作について図３、４を参照して説明する。
図３は、図１に示した画像処理装置の全体の流れを説明するためのフローチャートの一例であり、図４は、図３に示したフローチャートのうちのバックグラウンド処理のフローチャートの一例である。
図３において、動作の主体は、図示しないＣＰＵである。音声処理については省略する。
再生（３Ｄ立体視）が開始されると、先読み再生が可能か否かを判断する。先読み再生とは、例えば、ＤＶＤを再生する場合、ＤＶＤに記録されている映像、音声、ジャンルを再生速度より速く読み込むことであり、絵そのものを表示するものではない。放送中の番組（いわゆるライブ放送）を視聴している場合には先読み可能な場合でもバックグラウンド処理は行わない（ステップＳ１）。
【００３２】
先読み再生が可能な場合（ステップＳ１／ＹＥＳ）、後述するバックグラウンド処理を行い（ステップＳ９）、ステップＳ２に進み、先読み再生が可能でない場合（ステップＳ１／Ｎｏ）、映像情報（ヘッダ情報）を取得し（ステップＳ２）、３Ｄコンテンツか否かを判断する（ステップＳ３）。
【００３３】
３Ｄコンテンツであると判断した場合（ステップＳ３／Ｙｅｓ）、映像データをデコードし、（ステップＳ４）、奥行き（度）を測定し（ステップＳ５）、デコードして得られた右目用のデータ及び左目用のデータから測定して得られたデータから奥行きの平均値を算出し（ステップＳ６）、右目用のデータと左目用のデータとを合成して３Ｄ立体視で再生する（ステップＳ７）。
【００３４】
コンテンツの終端か否かを判断し（ステップＳ８）、終端でない場合（ステップＳ８／Ｎｏ）はステップＳ２に戻り、終端である場合（ステップＳ８／ＹＥＳ）は再生を終了する。
【００３５】
３Ｄコンテンツでないと判断した場合、すなわち２Ｄコンテンツの場合（ステップＳ３／Ｎｏ）、奥行きの平均値が算出済みか否かを判断し（ステップＳ１０）、奥行きの平均値が算出済みの場合（ステップＳ１０／Ｙｅｓ）、奥行きの平均値の情報を取得し（ステップＳ１１）、映像データをデコードし（ステップＳ１２）、例えば輝度の明るい所を拡大し、輝度の暗い所を縮小する等の方法を用いて擬似的に３Ｄ立体視で再生し（ステップＳ１３）、ステップＳ８に進む。
【００３６】
奥行きの平均値が算出済みでないと判断した場合（ステップＳ１０／Ｎｏ）、ジャンル情報を元に規定値を取得し（ステップＳ１４）、映像データをデコードし（ステップＳ１５）、３Ｄ立体視（疑似３Ｄ）で再生し、ステップＳ８に進む。
尚、ジャンル情報は、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ）から取得した情報を使用する。
【００３７】
［バックグラウンド処理］
図４において、先読み再生が可能な場合は、再生処理と並行してバックグラウンドで３Ｄコンテンツ区間の「奥行きの平均値」を算出する。
バックグラウンド処理が開始すると、映像情報（ヘッダ情報）を取得し（ステップＳ２１）、３Ｄコンテンツか否かを判断し（ステップＳ２２）、３Ｄフラグ（３Ｄ識別子）が含まれていれば３Ｄコンテンツであると判断し（ステップＳ２２／Ｙｅｓ）、映像データをデコードし、右目用のデータ及び左目用のデータから奥行き（度）を測定し、「奥行きの平均値」を算出し（ステップＳ２３）、３Ｄコンテンツでないと判断した場合（ステップＳ２２／Ｎｏ）、ステップＳ２６に進む。
【００３８】
奥行きを測定した後、映像データをデコードし（ステップＳ２４）、奥行き（深度）の平均値を算出し（ステップＳ２５）、奥行きの平均値を保存（一時保存）する（ステップＳ２６）。
コンテンツの終端か否かを判断し（ステップＳ２７）、コンテンツの終端であると判断した場合（ステップＳ２７／Ｙｅｓ）、バックグラウンド処理を終了し、コンテンツの終了でない場合（ステップＳ２７／Ｎｏ）、ステップＳ２１に戻る。
【００３９】
通常バックグラウンド処理は、再生処理と比較して短時間で終了する（例えば、録画時間が６０分の場合、５分〜１０分程度）。バックグラウンド処理で得られたデータは、再生処理中は保存され必要に応じて利用されるが、再生終了後は不要となるため破棄されるようになっている。
【００４０】
＜作用効果＞
３Ｄ−３Ｄ再生時にフレーム毎に奥行き（度）を記録し、３Ｄコンテンツ区間の「奥行きの平均値」を求めておき、２Ｄ−３Ｄ再生時は、「奥行きの平均値」を元に奥行きを自動調整することで、３Ｄ−３Ｄ再生から２Ｄ−３Ｄ再生に切り替わる際に奥行き感が極端に異なることがないため、ユーザの目の負担を軽減することができる。
【００４１】
自動調整時は、「奥行きの平均値」を３Ｄ変換時の奥行きの最大値とすることで、３Ｄ再生時の奥行き感に近似した見え方になるようにする（例えば、奥行きが５段階設定の場合に、３Ｄコンテンツ区間の平均値が３で求められた場合は、一時的に４が得られたとしても３Ｄ変換時の奥行きが最大３になるようにする。）。
【００４２】
番組によっては、２Ｄコンテンツが最初に再生されるケース（例えば、２Ｄコンテンツ区間→３Ｄコンテンツ区間→２Ｄコンテンツ区間、…のような構成の番組）があるが、この場合は、先頭の２Ｄコンテンツ区間のみ、番組のジャンル情報（例えば、ドラマ、映画、ニュース等）毎に「奥行きの既定値（平均値）」を予め設定しておき、この「奥行きの既定値（平均値）」を利用して３Ｄ変換時の奥行きを自動調整する。
【００４３】
また、画像処理装置側で先読み再生が可能な場合は、３Ｄコンテンツ区間をバックグラウンドで再生（絵を表示するのではなく、読み込む）し、「奥行きの平均値」を算出した後で補正をかけることもできる。
【００４４】
＜プログラム＞
以上で説明した本発明にかかる画像処理装置は、コンピュータで画像処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばマイクロプロセッサなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。
【００４５】
例えば、
画像処理装置のコンピュータに、
入力部が、映像及び音声の入力データを分割し、映像データの３Ｄフラグの有無を検知する手順、
デコーダが、前記映像及び音声のデータをそれぞれデコードする手順、
測定算出部が、前記データが３Ｄフラグを有する場合フレーム単位で奥行きを測定し、平均値を算出する手順、
３Ｄ立体視制御部が、前記３Ｄの部分から奥行きの平均値を算出し、３Ｄの部分は奥行き値を算出し、３Ｄに続く２Ｄの奥行きの平均値が前記奥行きの平均値となるように３Ｄ変換する手順、
を実行させるプログラムが挙げられる。
【００４６】
これにより、プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明にかかる画像処理装置を実現することができる。
【００４７】
＜記憶媒体＞
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。
ここで、記憶媒体としては、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−ＲＯＭ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（ＣＤ−Ｒｅｃｏｒｄａｂｌｅ）などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、ＲＡＭ、ＲＯＭ、ＦｅＲＡＭ（強誘電体メモリ）等の半導体メモリやＨＤＤが挙げられる。
【００４８】
なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。
【符号の説明】
【００４９】
１０    画像処理装置
１１    映像／音声データ
１２    入力部
１３、１５    デコーダ
１４    音声出力部
１６    測定算出部
１７    ３Ｄ立体視制御部
１８  映像表示部
１９    記憶部
１９ａ、１９ｂ    記憶領域
【図１】
2012169730.tif 000003
【図２】
2012169730.tif 000004
【図３】
2012169730.tif 000005
【図４】
2012169730.tif 000006
【図５】
2012169730.tif 000007
【図６】
2012169730.tif 000008