(57)【要約】【課題】画質の異なった複数の画像データを連続して、又は、同時に表示出力する際に、画質を調整することで、視聴者が抱く違和感を小さくさせる。【解決手段】接合範囲決定部３７は単位時間が経過する毎に、画質解析部３５から画質の解析結果を入力し現在時刻が映像データ同士を接合する接合範囲の外かどうかチェックする（S９１）。接合範囲外であれば、接合処理部４１は画質変換部３９を通じて映像データAに通常の高画質化処理を行う（S９３）。次の時刻について、接合範囲外かどうかチェックする（S９５）。接合範囲外でなければ（S９２でNO）、現在時刻における映像データの目標画質算出処理を行う（S９６）。目標画質が、オリジナルの映像データの画質よりも高画質かどうかチェックされる（S９７）。高画質であれば、高画質化抑制処理を行う（S９８）。低画質であれば、低画質化処理を行う（S９９）。【選択図】図５
2009124268.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像データ同士を、時系列的に接合させる処理を行う画像処理装置において、
前記接合処理の対象として入力された各々の画像データの画質を検知する画質検知部と、
前記画質検知部により検知された前記各々の画像データの画質に基づき、前記各々の画像データにおける、前記各々の画像データ同士の接合部位を含んだ画質調整を行う時間的範囲を決定する画質調整範囲決定部と、
前記画質調整範囲決定部により決定された時間的範囲において、前記各々の画像データの画質が夫々連続的に変化するように、前記各々の画像データの画質を夫々調整する画質調整部と、
を備える画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記画質調整部による前記画質調整が、前記複数の画像データのうちの、比較的低画質の画像データに対する高画質化処理と、比較的高画質の画像データに対する高画質化抑制処理とを含む画像処理装置。
【請求項３】
請求項１又は請求項２記載の画像処理装置において、
前記画質調整範囲決定部により前記時間的範囲に含まれないとされた時間領域に属する映像データの部分に関しては、前記画質調整部が高画質化処理のみを施すようにした画像処理装置。
【請求項４】
請求項１乃至請求項４の何れか１項記載の画像処理装置において、
前記画質調整範囲決定部により前記時間的範囲に含まれるとされた時間領域に属する前記映像データの部分に関しては、前記画質調整部が高画質化抑制処理、又は低画質化処理を施すようにした画像処理装置。
【請求項５】
請求項４記載の画像処理装置において、
前記画質調整範囲決定部が、前記時間的範囲に含まれるとした前記各々の画像データの部分に対し、前記画質調整部が画質調整を行うのに必要な目標画質を算出する目標画質算出部、
を更に備え、
前記画質調整部が、前記画像データの前記部分のうちの、前記目標画質算出部により算出された目標画質よりも低画質の部分については低画質化処理を、前記画像データの前記部分のうちの、前記目標画質よりも高画質の部分については高画質化抑制処理を、夫々施すようにした画像処理装置。
【請求項６】
複数の画像データ同士を、時系列的に接合させる処理を行う画像処理装置において、
前記接合処理の対象として入力された最新の画像データ、及びその直前に入力された画像データの画質を検知する画質検知部と、
前記画質検知部により検知された前記各々の画像データの画質に基づき、前記各々の画像データにおける、前記各々の画像データ同士の接合部位を含んだ画質調整を行う時間的範囲を決定する画質調整範囲決定部と、
前記画質調整範囲決定部により決定された時間的範囲において、前記各々の画像データの画質が夫々連続的に変化するように、前記各々の画像データの画質を夫々調整する画質調整部と、
前記最新の画像データと、前記直前に入力された画像データとの比較結果から、画質の飛びが生じていることを検知した場合に、該画質の飛びを検知した時刻より所定時間前の時刻を、前記直前に入力された画像データにおける画質を変換する時刻として出力する画質変換時刻報知部と、
前記画質変換時刻報知部から前記時刻が報知された場合には、前記画質調整部において画質調整が行われ、且つ、時系列的に接合処理された前記最新の画像データと前記直前に入力された画像データとを、前記時刻が報知されていない場合には、前記画質調整が行われていない前記直前に入力された画像データのみを、夫々選択的に出力する画像データ選択出力部と、
を備える画像処理装置。
【請求項７】
請求項６記載の画像処理装置において、
前記最新の画像データと、前記直前に入力された画像データとを時系列的に入／出力する第１の画像データ蓄積部と、
前記画質調整部で画質調整され、且つ、時系列的に接合処理された前記最新の画像データと前記直前に入力された画像データとを時系列的に入／出力する第２の画像データ蓄積部と、
を更に備える画像処理装置。
【請求項８】
処理対象である複数の画像データを並列的に入力する画像処理装置において、
入力された複数の画像データの画質を検知する画質検知部と、
前記画質検知部により検知された前記各々の画像データの画質に基づき、前記各々の画像データの画質が同じになるよう、前記各々の画像データの画質を調整する画質調整部と、
前記画質調整部において画質を調整された後の前記各々の画像データを、空間的に接合した状態で並置させる処理を行う並置処理部と、
を備える画像処理装置。
【請求項９】
請求項８記載の画像処理装置において、
前記画質検知部が、前記画像データが高画質であると検知した場合に、前記画質調整部による画質の調整に必要な目標画質を算出する目標画質算出部、
を更に備え、
前記画質調整部が、前記目標画質算出部により算出された目標画質が、前記画像データの元の画質よりも高画質であれば高画質化抑制処理を、前記画像データの元の画質よりも低画質であれば低画質化処理を、夫々行うようにした画像処理装置。
【請求項１０】
請求項８又は請求項９記載の画像処理装置において、
前記画質検知部が、前記画像データが低画質であると検知した場合には、前記画質調整部が、前記画像データに高画質化処理を行うようにした画像処理装置。
【請求項１１】
同一シーンに係わる画質の異なる複数の画像データを処理対象とし、前記複数の画像データを並列的に入力する画像処理装置において、
入力された前記複数の画像データの画質を検知する画質検知部と、
前記画質検知部により検知された前記各々の画像データの画質に基づき、前記各々の画像データの画質が揃うように前記各々の画像データの画質を調整する画質調整部と、
前記画質調整部において画質を揃えられた後の前記各々の画像データについて、夫々特徴点を抽出する特徴点抽出処理部と、
前記特徴点抽出処理部において抽出された前記各々の画像データにおける特徴点を、各々の画像データ間において対応付けるための処理を行う特徴点対応付け処理部と、
前記特徴点対応付け処理部による処理結果に基づき、３次元情報復元処理を行って前記各々の画像データに係わる３次元情報を生成する３次元情報生成部と、
を備える画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像データ同士を、時系列的に接合させる処理を行う画像処理装置、又は、処理対象である複数の画像データを並列的に入力する画像処理装置、又は、同一シーンに係わる画質の異なる複数の画像データを処理対象とし、上記複数の画像データを並列的に入力する画像処理装置に関する。
【背景技術】
【０００２】
近年のテレビジョン受像機（以下、「TV受像機」と表記する。）では、ディスプレイの大画面化が促進されている。それに伴い、TV受像機には、一般に、放送局から受信した映像信号や、通信ネットワークを通じて映像配信サイトからオンデマンドで受信した映像信号や、或いは情報記録媒体に蓄積された映像信号等を、ディジタル信号処理し、水平方向・垂直方向の画素数を増加させた状態でディスプレイに表示出力する機能が備えられている。また、上記に加えてTV受像機には、現在視聴中の番組の映像に加えて、所謂裏番組の、縮小された映像をも同時にディスプレイに表示する機能（同時に２画面を表示する機能）も、備えられている。更に、近年における各種動画撮影機器（家庭用カムコーダ、携帯電話機、ディジタルカメラ等）の急速な普及により、ユーザが撮影した映像を自身で鑑賞するために、TV受像機を利用する機会も増大している。しかし、上記ディジタル信号処理においては、一般に知られているsinc関数を用いた補間ローパスフィルタや、スプライン関数等の技術的手段によって画素数を増加させるだけでは、映像信号の解像度を高めることはできない。
【０００３】
そこで、従来、標本化位置の異なる複数組のディジタルデータから、ナイキスト周波数以上の原信号の高周波成分を復元し、ぼけの少ない高解像度データを得ることを目的とした発明が提案されている。該提案に係る発明では、同一の対象を、位置をずらして標本化した３組のディジタルデータにおいて、最初のデータと以降のデータとの位置差が求められ、該位置差に応じた重みが求められると共に、LPF処理が行われ、所定間隔でサンプリングされたデータについて重みを掛けて足し合わせる処理が施される（例えば特許文献１参照）。
【０００４】
また、２次元的な標本化位置のずれ、任意の数の折り返し成分を持つ複数の２次元ディジタルデータに対して、その折り返し成分を打ち消し、原信号の高周波成分を復元することを目的とした発明も提案されている。該提案に係る発明では、同一の対象を、位置をずらして標本化したn組のディジタルデータにおいて、最初のデータと以降のデータとの標本化位置差が求められ、該標本化位置差に応じた重みが求められると共に、LPF処理が行われ、所定間隔でサンプリングされたデータについて重みを掛けて足し合わせる処理が施される（例えば特許文献２参照）。
【０００５】
更に、映像切替やクロスフェード編集の操作性を向上させることを目的とした発明も提案されている。ここで、クロスフェードとは、前の映像を次第に暗転させつつ、後の映像の輝度を次第に増すような効果のことを言う。該提案に係る発明では、クロスフェーダスイッチのつまみ位置が切替操作により切替わった映像の表示位置に到達するまで、つまみ位置に応じた混合比指定信号の送信が停止される。上記発明は、映像を繋いで編集するソフトウェアが普及しつつある計算機上での映像処理環境に着目してなされたものである。
【０００６】
【特許文献１】特開平8-336046号公報
【特許文献２】特開平9-69755号公報
【特許文献３】特開2002-44518号公報
【非特許文献１】青木伸  “複数のデジタル画像データによる超解像処理”、 Ricoh Technical Report pp。19-25、 No．24、 NOVEMBER、 1998
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した特許文献１、特許文献２、及び非特許文献１に夫々開示されている発明は、ディジタル信号処理において、入力された複数の画像フレーム（以下、「フレーム」と略記することもある。）を合成して１枚のフレームにすることにより、ディスプレイに表示出力する画像信号を高解像度化しつつ画素数を増加させる技術に係わるものである。
【０００８】
ところで、ユーザの視聴するコンテンツが、通信ネットワークを通じて映像配信サイトからTV受像機に配信される映像信号によりTV受像機のディスプレイに表示出力されるものである場合には、上記コンテンツは、放送局から放送波としてTV受像機に送信される映像信号によりTV受像機のディスプレイに表示出力されるもの（以下、「放送コンテンツ」と表記する。）と比較して、画像の種類や、画質等にばらつきが大きいことが多い。よって、ユーザがTV受像機を通じて視聴しているコンテンツが、比較的自由度の高い規律下で不特定の者によって投稿された映像を閲覧可能としている映像配信サイトからのものである場合には、上記コンテンツの画質のばらつきが相当大きなものになるのは避けられない。
【０００９】
また、映像配信サーバが、放送コンテンツと同一のコンテンツを配信するサービスを、通信ネットワークを通じて各々のユーザのTV受像機に提供する場合であっても、通信ネットワークを形成する信号伝送線路の物理的制約、電気的制約等によって、上記配信サービスによるコンテンツと、放送波として放送局から送信されたコンテンツとの間において画質に差が生じる場合も起こり得る。例えば、モバイル型TV受像機で地上波ディジタル放送を受信する場合には、該モバイル型TV受像機の移動に伴い、フルセグ放送の受信が可能な受信状況（受信環境）から、ワンセグ放送しか受信できない状況（受信環境）に変化することは頻繁に起り得ることである。その結果として、上記モバイル型TV受像機のユーザは、異なる画質が混ざった映像（コンテンツ）を連続して視聴する状況が頻繁に生じることになる。
【００１０】
このような状況は、家庭用の動画撮影機器により撮影した映像（コンテンツ）を、上記モバイル型TV受像機、若しくは、固定型のTV受像機を利用して視聴する場合にも生じ得る。例えば、専用のカムコーダを用いて撮影した高画質の映像（コンテンツ）と、携帯電話機の動画撮影機能を用いて撮影した低画質の映像（コンテンツ）とを、上記何れかのTV受像機で連続して鑑賞するような場合である。専用のカムコーダの方が、携帯電話機の動画撮影機能よりも撮影画像の分解能がはるかに高いから、ユーザは先に高画質の映像（コンテンツ）を鑑賞した後で、直ぐにそれよりもはるかに低画質の映像（コンテンツ）を鑑賞することになる。
【００１１】
上述したような状況下では、TV受像機のディスプレイに表示出力されるコンテンツについて、従来のように単純に高画質化を図ることが、必ずしも最良とは限らない。例えば、上記ディスプレイの表示内容が、フルハイビジョン画質の高解像度映像から突然標準画質の映像に切替わったような場合に、既述の高画素化技術を用いて標準画質の映像について画質の向上を図ったとしても、上記高解像度映像との間の画質の差をなくすことはできない。そのため、切替わった後の上記標準画質の映像について、該映像のみを単独で鑑賞した場合と比較して、ユーザに、必要以上に劣化している印象を与えることになる。上記ディスプレイの表示内容が、カムコーダによる撮影映像から携帯電話機による撮影映像に切替わったような場合についても同様のことが生じる。
【００１２】
なお、上記のような事象に対処するための方法として、特許文献３に開示されているような、複数の映像を接合する際によく用いられる手段である、クロスフェード等の編集手法が想到され得るが、該手法は、映像の画質を調整する技術とは無関係であり、従って上記事象に対処するための有効な解決手段にはなり得ない。
【００１３】
また、上記事象は、画質が著しく相違する映像を、連続して上記ディスプレイに表示出力する場合のような、時系列的な流れにおいてのみ生じるものではなく、例えば、既述の所謂裏番組表示のような、異なる映像（コンテンツ）を同時に並べて上記ディスプレイに表示出力する場合にも生じ得る。このような場合、画質の劣る映像に対し、既述の高画素化技術を用いて高画質化を図ったとしても、並べて配置されている映像同士の間で画質の違いがユーザに認識されることとなり、画質の劣った方の映像について、実際の画質よりもはるかに悪い画質であるという印象をユーザに与えたり、画質の違いに起因する不均一性が、ユーザに不快感をもたらす虞もある。
【００１４】
更に、上記事象は、ユーザが映像（コンテンツ）を鑑賞しているときだけでなく、複数枚の平面画像から１枚の立体画像を復元する立体復元処理（以下では、「ステレオ処理」と表記する。）を行う場合にも生じ得る。即ち、該ステレオ処理においては、画質の異なる複数の映像中から、夫々の映像に写っている同一物体の特徴点同士の間での対応を求める処理が必要になるが、同一物体であっても、写っている映像同士の間で画質が異なっている場合には、上記特徴点抽出の算出結果が異なることが多くなるため、誤った処理を招来し易いという問題もある。
【００１５】
従って本発明の目的は、画像処理装置において、該装置の表示部に画質の異なった複数の画像データを連続して表示出力する場合、或いは、それらを同時に表示出力する場合に、上記画像データの画質を調整することによって、視聴者が抱く違和感を小さくできるようにすることにある。
【課題を解決するための手段】
【００１６】
本発明の第１の観点に従う画像処理装置は、複数の画像データ同士を、時系列的に接合させる処理を行うもので、上記接合処理の対象として入力された各々の画像データの画質を検知する画質検知部と、上記画質検知部により検知された上記各々の画像データの画質に基づき、上記各々の画像データにおける、上記各々の画像データ同士の接合部位を含んだ画質調整を行う時間的範囲を決定する画質調整範囲決定部と、上記画質調整範囲決定部により決定された時間的範囲において、上記各々の画像データの画質が夫々連続的に変化するように、上記各々の画像データの画質を夫々調整する画質調整部と、を備える。
【００１７】
本発明の第１の観点に係る好適な実施形態では、上記画質調整部による上記画質調整が、上記複数の画像データのうちの、比較的低画質の画像データに対する高画質化処理と、比較的高画質の画像データに対する高画質化抑制処理とを含む。
【００１８】
上記とは別の実施形態では、上記画質調整範囲決定部により上記時間的範囲に含まれないとされた時間領域に属する映像データの部分に関しては、上記画質調整部が高画質化処理のみを施すようにしている。
【００１９】
また、上記とは別の実施形態では、上記画質調整範囲決定部により上記時間的範囲に含まれるとされた時間領域に属する上記映像データの部分に関しては、上記画質調整部が高画質化抑制処理、又は低画質化処理を施すようにしている。
【００２０】
更に、上記とは別の実施形態では、上記画質調整範囲決定部が、上記時間的範囲に含まれるとした上記各々の画像データの部分に対し、上記画質調整部が画質調整を行うのに必要な目標画質を算出する目標画質算出部、を更に備え、上記画質調整部が、上記画像データの上記部分のうちの、上記目標画質算出部により算出された目標画質よりも低画質の部分については低画質化処理を、上記画像データの上記部分のうちの、上記目標画質よりも高画質の部分については高画質化抑制処理を、夫々施すようにしている。
【００２１】
本発明の第２の観点に従う画像処理装置は、複数の画像データ同士を、時系列的に接合させる処理を行うもので、上記接合処理の対象として入力された最新の画像データ、及びその直前に入力された画像データの画質を検知する画質検知部と、上記画質検知部により検知された上記各々の画像データの画質に基づき、上記各々の画像データにおける、上記各々の画像データ同士の接合部位を含んだ画質調整を行う時間的範囲を決定する画質調整範囲決定部と、上記画質調整範囲決定部により決定された時間的範囲において、上記各々の画像データの画質が夫々連続的に変化するように、上記各々の画像データの画質を夫々調整する画質調整部と、上記最新の画像データと、上記直前に入力された画像データとの比較結果から、画質の飛びが生じていることを検知した場合に、その画質の飛びを検知した時刻より所定時間前の時刻を、上記直前に入力された画像データにおける画質を変換する時刻として出力する画質変換時刻報知部と、上記画質変換時刻報知部から上記時刻が報知された場合には、上記画質調整部において画質調整が行われ、且つ、時系列的に接合処理された上記最新の画像データと上記直前に入力された画像データとを、上記時刻が報知されていない場合には、上記画質調整が行われていない上記直前に入力された画像データのみを、夫々選択的に出力する画像データ選択出力部と、を備える。
【００２２】
本発明の第２の観点に係る好適な実施形態では、上記最新の画像データと、上記直前に入力された画像データとを時系列的に入／出力する第１の画像データ蓄積部と、上記画質調整部で画質調整され、且つ、時系列的に接合処理された上記最新の画像データと上記直前に入力された画像データとを時系列的に入／出力する第２の画像データ蓄積部と、を更に備える。
【００２３】
本発明の第３の観点に従う画像処理装置は、処理対象である複数の画像データを並列的に入力するもので、入力された複数の画像データの画質を検知する画質検知部と、上記画質検知部により検知された上記各々の画像データの画質に基づき、上記各々の画像データの画質が同じになるよう、上記各々の画像データの画質を調整する画質調整部と、上記画質調整部において画質を調整された後の上記各々の画像データを、空間的に接合した状態で並置させる処理を行う並置処理部と、を備える。
【００２４】
本発明の第３の観点に係る好適な実施形態では、上記画質検知部が、上記画像データが高画質であると検知した場合に、上記画質調整部による画質の調整に必要な目標画質を算出する目標画質算出部、を更に備え、上記画質調整部が、上記目標画質算出部により算出された目標画質が、上記画像データの元の画質よりも高画質であれば高画質化抑制処理を、上記画像データの元の画質よりも低画質であれば低画質化処理を、夫々行うようにしている。
【００２５】
上記とは別の実施形態では、上記画質検知部が、上記画像データが低画質であると検知した場合には、上記画質調整部が、上記画像データに高画質化処理を行うようにしている。
【００２６】
本発明の第４の観点に従う画像処理装置は、同一シーンに係わる画質の異なる複数の画像データを処理対象とし、上記複数の画像データを並列的に入力するもので、入力された上記複数の画像データの画質を検知する画質検知部と、上記画質検知部により検知された上記各々の画像データの画質に基づき、上記各々の画像データの画質が揃うように上記各々の画像データの画質を調整する画質調整部と、上記画質調整部において画質を揃えられた後の上記各々の画像データについて、夫々特徴点を抽出する特徴点抽出処理部と、上記特徴点抽出処理部において抽出された上記各々の画像データにおける特徴点を、各々の画像データ間において対応付けるための処理を行う特徴点対応付け処理部と、上記特徴点対応付け処理部による処理結果に基づき、３次元情報復元処理を行って上記各々の画像データに係わる３次元情報を生成する３次元情報生成部と、を備える。
【発明の効果】
【００２７】
本発明によれば、画像処理装置において、該装置の表示部に画質の異なった複数の画像データを連続して表示出力する場合、或いは、それらを同時に表示出力する場合に、上記画像データの画質を調整することによって、視聴者が抱く違和感を小さくできるようにすることができる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態を、図面により詳細に説明する。
【００２９】
図１は、本発明に従う画像処理装置が行う映像データ同士の時系列的な接合処理の原理を示した説明図である。
【００３０】
図１（a）、及び図１（b）において、横軸には夫々時間が設定されている。図１（a）に示すように、高画質の映像データ１の後に、低画質の映像データ３を接合した状態で、映像データ１と映像データ３とを連続的に再生しようとする場合には、上記映像データ（１、３）同士の繋ぎ目が不連続にならないようにする必要がある。そのためには、区間５においては、映像データ１に対し、例えば超解像等の手法を用いて高画質化処理を施し、該区間５に続く区間であって、映像データ１と映像データ３との接合部位を含む区間７においては、双方の映像データ（１、３）に対し、均質条件付画質変換処理を施し、更に、該区間７に続く区間である区間９においては、映像データ３に対し、区間５におけると同様に、高画質化処理を施す必要がある。これらの処理が施されることにより、図１（b）に示すように、上記双方の映像データ（１、３）同士の接合部位の近傍において上記双方の映像データ（１、３）の画質が、なだらかに変化するように接合されることになる。
【００３１】
ここで、上述した超解像の手法とは、映像データに対し、高画質化処理を施すためのアルゴリズムの一種であって、時間的に連続する複数の映像データの画質を用いて対象となる映像データの解像度を向上させる手法のことである。以下に説明する本発明に係る実施形態では、上記超解像の手法を、接合処理の対象である映像データ同士において、簡単な画素間の補間までも、演算量や要求画質に応じて任意に組み合わせて用いるものとする。接合処理のアルゴリズムについては、後に詳述する。
【００３２】
図２は、本発明の第１の実施形態に係る画像処理装置の全体構成を示す機能ブロック図である。
【００３３】
上記画像処理装置は、特に、録画済みの映像データを一括処理するのに適した構成であり、図２に示すように、指令情報受付部３１と、映像データ受付部３３と、画質解析部３５と、接合範囲決定部３７と、画質変換部３９と、接合処理部４１と、表示部４３と、を含む。
【００３４】
映像データ受付部３３は、例えば、HDD（ハード・ディスク・ドライブ）（図示しない）等の記録メディアから出力される映像データA、磁気テープ、又は光ディスク（図示しない）等の、上記とは別の記録メディアから出力される映像データB、を夫々受付ける。上記映像データA、映像データBは、接合処理の対象となる映像データであり、本実施形態では、映像データAの後に、映像データBが接合されるものとする。映像データ受付部３３は、上記受付けた映像データA、映像データBを、画質解析部３５、及び画質変換部３９に夫々出力する。本実施形態では、上記のように、映像データAの後に、映像データBが接合されるものとしたが、これとは逆に、映像データBの後に、映像データAが接合されるものであっても良い。
【００３５】
指令情報受付部３１は、例えば、該画像処理装置の操作部（図示しない）等を通じてユーザから入力される接合順序指示情報を受付け、該受付けた接合順序指示情報を、画質解析部３５に出力する。上記接合順序指示情報とは、どの映像データとどの映像データとを接合するのか、及びどの映像データの後に、どの映像データを接合させるか（即ち、映像データの接合順序）を指示する情報である。本実施形態では、『映像データAの後に、映像データBを接合せよ』が、上記接合順序指示情報の内容である。
【００３６】
画質解析部３５は、映像データ受付部３３から映像データA、及び映像データBを夫々入力すると共に、指令情報受付部３１から上述した接合順序指示情報を入力する。画質解析部３５は、映像データA、映像データBについて、夫々の画質を解析し、両映像データ（即ち、映像データA、B）間の画質の差がどの程度であるかを算定する。ここで、画質解析部３５により解析される画質とは、主に映像データの解像度のことを指すが、仮に映像データの見かけの解像度が高くても、該映像データに、既に何らかの高画質化処理がなされた後であるような場合等では、該映像データに対し、更なる高画質化処理を施すのは不可能である。
【００３７】
そのため、このような場合には、画質解析部３５は、画質解析の対象である映像データの圧縮率等をチェックすることにより、該映像データの画質を判断するか、又は、該映像データのヘッダに処理履歴等が記録されている場合には、それを参照することにより、該映像データの画質を判断する。一般に、映像データの画質は、該映像データが送信元から画像処理装置に伝送されるに際して使用される通信経路（例えば、地上ディジタル放送、BS／CS放送、アナログ放送、ネットワークのサイト等）に応じてほぼ固定されていることが多い。そのため、画質解析部３５が、映像データが如何なる通信経路を使用して伝送されたかを参酌して画質を推定する方法も採用し得る。
【００３８】
画質解析部３５は、予め設定された単位時間が経過する毎に、上記映像データ（映像データA、B）に対し画質解析を行った結果得られた画質情報を、接合範囲決定部３７に出力する。これと共に、画質解析部３５は、上記画質解析を行った結果得られた画質情報の全部を、接合処理部４１に出力する。
【００３９】
接合範囲決定部３７は、画質解析部３５から出力される上記単位時間毎の画質情報を入力する。そして、該画質情報に基づき、映像データAの後に映像データBを接合するに際しての画質をなだらかに変動させるのに必要な時間間隔を、映像データAと映像データBとの間の画質の差に応じて決定する。接合範囲決定部３７は、上記映像データAの後に、上記映像データBを接合するに際して必要な情報である接合範囲情報を生成し、該生成した接合範囲情報を接合処理部４１に出力する。
【００４０】
画質変換部３９は、映像データ受付部３３から出力される上記映像データA、及び映像データBを夫々入力すると共に、接合処理部４１から出力される、映像データ同士の接合処理を行うに際して用いられるパラメータ（以下、「処理パラメータ」と表記する。）であって、適切な処理パラメータをも入力する。画質変換部３９は、上記処理パラメータに基づき、上記映像データA、及び上記映像データBの接合部位とその近傍における高画質化処理や、低画質化処理を実行し、その結果得られた映像データ（以下「処理映像」と表記する。）を、接合処理部４１に出力する。
【００４１】
接合処理部４１は、上記映像データAの後に映像データBを接合するための処理（即ち、接合処理）を実行する。この接合処理においては、画質解析部３５から出力される上記画質情報、及び接合範囲決定部３７から出力される接合範囲情報を夫々入力すると共に、画質変換部３９に上述した適切な処理パラメータを適宜出力することにより、画質変換部３９から上記処理映像を入力する。そして、上記画質情報、上記接合範囲情報、及び上記処理画像に基づき、上記接合処理（即ち、上記映像データAの後に映像データBを接合するための処理）を実行する。上記接合処理により生成された上記映像データAと上記映像データBとの接合映像は、接合処理部４１から表示部４３に出力される。
【００４２】
なお、接合処理部４１における映像データ同士の接合処理の詳細については、後述する。
【００４３】
図３は、図２に記載の画像処理装置において実行される映像データ同士の接合処理の内容の一例を示す説明図である。
【００４４】
図３において、横軸には時間（単位：sec）が、縦軸には画質（画素数）が、夫々設定されている。ここでは、オリジナルの映像データである上記映像データAの画質が高画質であり、オリジナルの映像データである上記映像データBの画質が低画質であるものとし、上記映像データAの後に上記映像データBが接合されるものとする。
【００４５】
既述のように、画質が大きく異なる映像データ同士を、そのままの状態で接合すれば、視聴者が違和感を抱く。そこで、本実施形態では、視聴者が抱く違和感を可能な限り軽減するため、映像データAと映像データBとの接合部位において突然画質が高画質から低画質に移行するのではなく、上記接合部位よりも時間的に前に位置付けられる映像データAの部位から上記接合部位に達するまで画質をなだらかに低下させるように映像データAの画質を変換させるようにしている。更に、映像データA、及び映像データBの双方を含む映像データ全体を、可能な限り高画質の状態に保持するようにもしている。
【００４６】
仮に、上記映像データA、及び上記映像データBに対し、上述した超解像のような手法を用いて個別に高画質化を行ったとすると、以下のようになる。即ち、映像データAにおいては、その画質が、図３に示すように、線分５１で示すオリジナルの状態から、太線矢印５３方向に変動して、一部破線で示す線分５５に移行する。一方、映像データBにおいては、その画質が、同じく図３に示すように、線分５７で示すオリジナルの状態から、太線矢印５９方向に変動して、線分６１に移行する。このように、映像データ全体の画質を高画質化すると、符号５５で示す映像データAと、符号６１で示す映像データBとの接合部位において、符号６３で示すような大きな画質の差、即ち、画質の飛びが生じてしまう。
【００４７】
そこで、映像データAについては、符号６５で示す時間軸上での位置から画質を低下させる処理を開始する。この処理は、映像データAと映像データBとの接合部位である、符号６９で示す時間軸上での位置まで継続される。該処理、即ち、映像データAの画質を低下させる処理を示す線分７１は、図示のように、右下がりの勾配を形成しており、符号６７で示す時間軸上の位置（点）で、オリジナルの映像データAの画質を示す線分５１と交差する。該処理は、オリジナルの映像データAの画質から見れば、位置６５から位置６７までの区間においては、オリジナルの映像データAに対する高画質化抑制処理（オリジナルの映像データAの画質よりも高画質化するのを抑制する処理）である。該高画質化抑制処理は、例えば、超解像等の高画質化における手法において、生成画素数を抑制したり、単なる補間手法で置換したりすることで実現される。
【００４８】
一方、該処理は、位置６７から位置６９までの区間においては、オリジナルの映像データAに対する低画質化処理（オリジナルの映像データAの画質よりも画質を低下させる処理）である。該低画質化処理は、高画質化処理後の映像データBの画質が、オリジナルの映像データAの画質よりも更に劣っている場合に生じる。該低画質化処理は、例えば、画素を間引く等の画素数を削減する処理を実行することで実現される。
【００４９】
該処理を行うことにより、映像データAの画質がなだらかに低下して映像データAと映像データBとの接合部位６９において、映像データBの画質に移行することになるので、符号６３で示したような画質の飛びが生じない。
【００５０】
ここで、位置６５から位置６９までの区間（線分７１が含まれる）の幅は、任意のパラメータであり、該区間（６５〜６９）の幅があまりに短い場合には、映像データAと映像データBとの間の画質の飛びが、視聴者に意識されてしまう。これとは逆に、該区間（６５〜６９）の幅があまりに長い場合には、高画質の映像である映像データAにおける画質の低下分が増大するので、総合的に映像データの高画質化を図ろうとする観点からは損失が大きくなる。よって、該区間（６５〜６９）の幅は、経験に基づき適宜決定するのが望ましい。或いは、例えば、下記の（１）式で示されるような評価量を導入し、それを最小化するように決定することとしても良い。
【００５１】
評価量 ＝ （変化量の二乗和）―α・（高画質化量の総和）・・・・・・（１）
ここで、変化量の二乗和とは、映像データにおける画質の変化を示す勾配を二乗したものの総和である。上記画質の変化を示す勾配を二乗にした理由は、映像データにおける画質の変化が大きい部分が特に視覚効果が大きいので、それらの部分の寄与の度合いを増大させるためである。上述した（位置６５から位置６９までの）区間の全体が、図３で示したようななだらかな勾配（線分７１）になっていれば問題は無いが、上記区間（６５〜６９）中に１個でも不連続点があった場合には、それを無限大と見做すと評価量にはならなくなる。そのため、例えば、上記不連続点において生じているギャップの大きさの２倍を変化量と見做す等の処理を行うことになる。
【００５２】
また、上記（１）式における高画質化量の総和とは、画質変換部３９において画質変換処理が行われる時間を通じて高画質化処理がどの程度行われたかを示す量である。図３では、映像データA、及び映像データBにおいて、夫々オリジナルの映像データを示す線分（５１、５７）と、高画質化処理が施された後の映像データを示す線（５５、６１）とによって画定された部分の面積で表される。更に、上記（１）式における係数αは、上述した区間（６５〜６９）の幅におけると同様に、経験に基づき適宜決定されるパラメータである。
【００５３】
図４は、入力した画質の異なる複数の映像データに対し接合処理を施すに際しての、図２に記載の画像処理装置各部の処理動作を示すフローチャートである。
【００５４】
図４において、映像データA、Bが映像データ受付部３３を通じて画像処理装置に入力されると（ステップS８１）、画質解析部３５において、上記映像データA、Bの画質解析が行われる（ステップS８２）。次に、接合範囲決定部３７において、映像データAの後に映像データBを接合するに際しての画質をなだらかに変動させるのに必要な時間間隔が決定される（ステップS８３）。次に、接合処理部４１において、上記映像データAに対する映像データBの接合処理が実行される（ステップS８４）。そして、この接合処理によって得られた映像データが、接合処理部４１から表示部４３に出力される（ステップS８５）。
【００５５】
図５は、図４に記載のフローチャートのサブルーチンを示すフローチャートである。
【００５６】
図５に示すフローチャートは、図４で示した接合処理のステップの詳細手順を示す。
【００５７】
図５において、接合範囲決定部３７は、予め設定された単位時間が経過する毎に、画質解析部３５から（映像データAに係わる）画質の解析結果を入力し、該解析結果に基づき現在時刻が、映像データAに映像データBを接合するための接合範囲の外であるかどうかをチェックする（ステップS９１）。ここで、接合範囲とは、図３で示した映像データAと映像データBとの接合点６９から（時間的に）前の時間軸上の位置（図３では、位置６５〜６９）までの時間的な範囲をいう。
【００５８】
上記チェックの結果、接合範囲決定部３７において、上記単位時間経過後の時刻が接合範囲外であると判断されると（ステップS９２でYES）、接合処理部４１は、画質変換部３９を通じて上記映像データAに対し、通常の高画質化処理を実行する（ステップS９３）。そして、上記処理（高画質化処理）が終了すると（ステップS９４でNO）、上記現在時刻から単位時間が経過した後の次の時刻について、映像データAに映像データBを接合するための接合範囲の外であるかどうかをチェックする処理に移行する（ステップS９５）。
【００５９】
一方、上記接合範囲外であるかどうかのチェックの結果、接合範囲外でないと判断された場合には（ステップS９２でNO）、接合処理部４１は、例えば図３で示したような画質変化の態様に基づき、画質解析部３５を通じて上記現在時刻における映像データ（A）の目標画質を算出するための処理を実行する（ステップS９６）。次に、上記算出された目標画質が、オリジナルの映像データ（A）の画質よりも高画質かどうかが、接合処理部４１により画質解析部３５を通じてチェックされる（ステップS９７）。このチェックの結果、上記目標画質の方が上記オリジナルの映像データ（A）の画質よりも高画質であると判断された場合には（ステップS９７でYES）、上記現在時刻が図３で示した位置６５から位置６７までの区間内（即ち、高画質化抑制処理が行われる区間内）にある。そのため、接合処理部４１は、画質変換部３９を通じて上記現在時刻における映像データ（A）に対し、高画質化抑制処理を施すことになる（ステップS９８）。そして、ステップS９４で示す処理動作に移行する。
【００６０】
一方、上記目標画質の方が上記オリジナルの映像データ（A）の画質よりも低画質であると判断された場合には（ステップS９７でNO）、上記現在時刻が図３で示した位置６７から位置６９までの区間内（即ち、低画質化処理が行われる区間内）にある。そのため、接合処理部４１は、画質変換部３９を通じて上記現在時刻における映像データ（A）に対し、低画質化処理を施すことになる（ステップS９９）。そして、ステップS９４で示す処理動作に移行する。
【００６１】
そして、上述した処理を実行しているうちに、該処理対象である映像データ（A、B）が存在しなくなったことを認識すると（ステップS９４でYES）、接合処理部４１による映像データ（A、B）に係わる一連の接合処理が終了する。
【００６２】
以上説明したように、本発明の第１の実施形態によれば、画質の異なる２つの映像データ同士の時系列的な接合に際し、画質がなだらかに変化する場合には、それら２つの映像データ同士を必ず接合処理するものとしたが、状況に応じて（例えば、２つの映像データ間において画質にさほど大きな差が無い場合などには）、図３で示した態様での接合処理は行わずに、そのままの状態で接合する手法も採り得る。この場合、何れの方法を採用するかは、上記画像処理装置の操作部（図示しない）等を通じて上記画像処理装置に入力されるユーザからの指示によることとしても良い。
【００６３】
この他にも、接合対象である映像データ同士の間において、接合部位近傍の画質に一定以上の大きな差が生じている場合には、接合処理を行わない自動判定処理のプロセスを追加する手法や、接合部位近傍の映像データの内容（例えば、色分布等）を解析することにより、映像データの内容に一定以上の差異があると認められる場合に、接合処理を行わない自動判定処理のプロセスを追加する手法等も想到され得る。更には、通信ネットワークを通じて送信された映像データと、放送波を介して送信された映像データとを接合する場合のような、特定の伝送経路を利用して送信された映像データ同士の間においてのみ、既述のような接合処理を行う手法等も想到され得る。
【００６４】
図６は、本発明の第２の実施形態に係る画像処理装置の全体構成を示す機能ブロック図である。
【００６５】
図６に記載の画像処理装置は、図２に記載の構成に加えて、一時蓄積部（１）１０１と、変更検知部１０３と、一時蓄積部（２）１０５と、切替部１０７と、を更に備える点で、図２に記載の画像処理装置と構成が相違する。その他の構成については、図２に記載の物と同一であるので、図６において、図２に記載の物と同一物には、同一符号を付してそれらの詳細な説明を省略する。なお、本発明の第２の実施形態では、放送波を介して画像処理装置に送信される映像データと、通信ネットワークを通じて画像処理装置に送信される映像データとを接合する場合について想定している。
【００６６】
図６において、一時蓄積部（１）１０１は、映像データ受付部３３を通じて順次入力される、画像処理装置において接合されるべき映像データA、映像データBを、一時的に蓄積する。映像データA、映像データBを、一時蓄積部（１）１０１に一時的に蓄積する処理動作は、所謂先読みによりユーザへ提示すべき映像データを調整するために必要な処理動作である。なお、映像データA、映像データBの一時蓄積部（１）１０１への蓄積時間は、後段の各機能ブロックにおける各々の処理動作の実行に必要十分な時間に設定されている。
【００６７】
本実施形態では、映像データAの入力が終了すると、それに引続いて映像データBが入力されるものとする。上記映像データの入力順序は、例えば、予め上記画像処理装置に配信されるEPG（Electric Program Guide）等の番組情報や、通信ネットワークを通じて上記画像処理装置に配信される映像データのリスト等に基づき、ユーザが上記画像処理装置を用いて録画予約や視聴リクエスト等の処理動作を順次実行することにより可能になる。一時蓄積部（１）１０１に一時的に蓄積されている映像データのうち、最新の映像データ（即ち、映像データB）については変更検知部１０３に出力される。該最新の映像データ（B）、及びその直前の映像データ（A）については、画質解析部３５に出力される。該直前の映像データ（A）については、画質変換部３９（を介して切替部１０７）に出力される。
【００６８】
変更検知部１０３は、一時蓄積部（１）１０１に一時的に蓄積されている映像データのうちから、最新の映像データ（B）を読み出す。そして、該最新の映像データ（B）と、その直前に一時蓄積部（１）１０１から読み出して該変更検知部１０３の所定記憶エリアに蓄積されている、該最新の映像データ（B）の直前の映像データ（A）とを比較対照することにより、該最新の映像データ（B）と該直前の映像データ（A）との間に、画質の飛びが生じているかどうかを検知する。変更検知部１０３は、上記検知結果（即ち、該最新の映像データ（B）と該直前の映像データ（A）との間に画質の飛びが生じているかどうか）を検知情報として、画質解析部３５へ出力する。変更検知部１０３は、該最新の映像データ（B）と該直前の映像データ（A）との間に、画質の飛びが生じていることを検知した場合には、該画質の飛びを検知した時刻より所定時間前の時刻を、該直前の映像データ（A）における画質を変換する時刻（例えば、高画質化処理から高画質化抑制処理への切替えを行う時刻）であることを示す情報（切替情報）を、切替部１０７に出力する。
【００６９】
画質解析部３５は、一時蓄積部（１）１０１から逐次出力される蓄積映像データ（即ち、映像データA、及び映像データB）と、変更検知部１０３から出力される検知情報とに基づき、該蓄積映像データ（即ち、映像データA、及び映像データB）における或る映像データ（A）から別の映像データ（B）に切替わるに際しての、該映像データ（A、B）同士の接合部位に対応する時刻を中心として、それよりも所定時間前と、所定時間後とにおける画質の解析を行う。そして、該画質の解析結果を、画質情報として接合範囲決定部３７に出力する。画質解析部３５における画質解析の内容の詳細については、図２において説明したので、ここでは省略する。
【００７０】
一時蓄積部（２）１０５は、接合処理部４１から出力される（映像データAと、映像データBとの）時系列的な接合映像データを一時的に蓄積すると共に、切替部１０７からの接合映像データ読出要求に応じて、上記一時的に蓄積している接合映像データを、切替部１０７へ出力する。
【００７１】
切替部１０７は、一時蓄積部（２）１０５から出力される（映像データAと、映像データBとの）時系列的な接合映像データ、及び一時蓄積部（１）１０１から出力され、画質変換部３９において高画質化処理が施された後の蓄積映像データ、即ち、映像データAを、夫々入力する。切替部１０７は、変更検知部１０３から出力される切替情報に基づき、表示部４３へ表示出力する映像データとして、画質変換部３９から出力された、高画質化処理が施された後の映像データAか、一時蓄積部（２）１０５から出力された接合映像データの何れか一方を選択する。即ち、上記切替情報が、上述した映像データの画質を変換する時刻を含んでいれば、切替部１０７は、（一時蓄積部（２）１０５から出力された）（映像データAと映像データBとの）接合映像データを選択し、上記切替情報が、上記時刻を含んでいなければ、切替部１０７は、画質変換部３９から出力された映像データA、即ち、通常の高画質化処理のみが施された映像データAを選択し、夫々表示部４３へ表示出力する。
【００７２】
図７は、入力した画質の異なる複数の映像データに対し時系列的な接合処理を施すに際しての、図６に記載の画像処理装置各部の処理動作を示すフローチャートである。
【００７３】
図７において、映像データA、映像データBが、映像データ受付部３３を通じて画像処理装置に入力されると（ステップS１１１）、接合範囲決定部３７が、現時点で処理対象となっている映像データに対し、接合処理が施されているかどうかチェックする（ステップS１１２）。このチェックの結果、接合処理が施されていなければ（ステップS１１２でNO）、接合範囲決定部３７は、現在時刻が、映像データA、映像データBの接合部位に対応する時刻に達したかどうかチェックする（ステップS１１３）。このチェックの結果、現在時刻が上記接合部位に対応する時刻に達していなければ（ステップS１１３でNO）、接合処理部４１は、画質変換部３９を通じて上記現在時刻における映像データ（A）に対し、通常の高画質化処理を施すことになる（ステップS１１４）。この高画質化処理が施された映像データ（A）は、画質変換部３９の所定記憶領域に一時的に蓄積される（ステップS１１５）。そして、上記所定記憶領域が、上記映像データ（A）で一杯になると（ステップS１１６でYES）、上記映像データ（A）は、上記所定記憶領域から切替部１０７を介して表示部４３に表示出力される（ステップS１１７）。即ち、通常の先読み再生が行われることになる。そして、該時点では、まだ映像データ（即ち、最新の映像データである映像データB）が存在しているので（映像データが終了していないので、）（ステップS１２４でNO）、ステップS１１１で示した処理動作に復帰する。
【００７４】
一方、上記所定記憶領域が上記映像データ（A）で一杯になっていない場合にも（ステップS１１６でNO）、ステップS１２４で示した処理動作を経て、ステップS１１１で示した処理動作に復帰する。
【００７５】
一方、接合範囲決定部３７が、接合処理中であると判断した場合（ステップS１１２でYES）、又は、接合範囲決定部３７が、現在時刻が上記接合部位に対応する時刻に達していると判断した場合には（ステップS１１３でYES）、既述の接合処理が開始されることになる。即ち、画質解析部３５において、上記映像データA、映像データBの画質解析が行われる（ステップS１１８）。次に、接合範囲決定部３７において、映像データAの後に映像データBを時系列的に接合するに際しての画質をなだらかに変動させるのに必要な時間間隔が決定され（ステップS１１９）、接合処理部４１において、上記映像データAに対する映像データBの接合処理が実行される（ステップS１２０）。そして、この接合処理によって得られた映像データが、一時蓄積部（２）１０５に一時的に蓄積される（ステップS１２１）。
【００７６】
該一時的に蓄積された（接合処理が施された）映像データは、接合処理部４１による画質変換部３９を通じた該映像データにおける接合範囲内の処理が終了するまでの間は（ステップS１２２でNO）、上記所定記憶領域に蓄積中の高画質化処理が施された映像データ（A）が表示部４３に出力される（ステップS１１７）。次に、上記接合範囲内の処理が終了すると（ステップS１２２でYES）、一時蓄積部（２）１０５に一時的に蓄積されていた映像データAと映像データBとの接合処理済み映像データが、表示部４３に出力される（ステップS１２３）。そして、該接合処理済み映像データが終了すると（ステップS１２４でYES）、図７で示した一連の処理動作が終了する。
【００７７】
図７で示したフローチャートと、図４、及び図５で示したフローチャートとの相違点は、図７で示したフローチャートが、一時蓄積部（１）１０１に一時的に蓄積されている映像データのみを用いて該映像データの範囲内で、図４、図５で示したフローチャートにおけると同様の演算処理を行う点である。図４、図５で示した処理手順を見れば明らかなように、映像データ同士の接合点に対応する時刻から時間的に後の映像データの画質と、該時刻よりも時間的に暫く前の映像データの画質とが分かっていれば、それら時間的に前の映像データに対し、接合処理を施すことが可能である。
【００７８】
より詳細に説明すれば、映像データが低画質の映像データから高画質の映像データに変化する場合に、時間的に前の映像データである低画質の映像データについて画像処理を行っている間は、該映像データに対し最大限の高画質化処理を実行して、高画質化された後では、上記時間的に前の映像データの画質を、最高画質に向けてなだらかに向上させていく処理を行えば良い。上記とは逆に、映像データが高画質の映像データから低画質の映像データに変化する場合には、時間的に前の映像データである高画質の映像データについて画像処理を行っている間は、時間的に後の映像データである低画質の映像データを、最大限高画質化処理した画質を（上述した蓄積映像の解析によって）参照する。そして、高画質の映像データに対する高画質化処理を次第に抑制しつつ、必要であれば該高画質の映像データに対して更に低画質化処理を実行することにより、該高画質の映像データの画質が、参照した上記画質（即ち、低画質の映像データの画質）になだらかにつながるようにする。なお、低画質の映像データに対しては、最大限の高画質化処理を実行する。
【００７９】
図８は、本発明の第３の実施形態に係る画像処理装置の全体構成を示す機能ブロック図である。
【００８０】
図８に記載の画像処理装置は、図２に記載の画像処理装置から接合範囲決定部３７、及び接合処理部４１が除去された構成に、並置処理部１３１が付加されている点で、図２に記載の画像処理装置と構成が相違する。その他の構成については、図２に記載の物と同一であるので、図８において、図２に記載の物と同一物には、同一符号を付してそれらの詳細な説明を省略する。本実施形態では、上述した第１、第２の実施形態とは異なって、異なる画質の映像データ同士を時系列的に接合処理するのではなく、異なる画質の映像データ同士を、空間的に並べて配置するに際しての処理動作が実行される。
【００８１】
図８において、並置処理部１３１は、画質の異なる映像データ同士を並べて配置する処理を実行するに際しては、各々の映像データの画質が、なるべく同じになるように、画質変換部３９を通じて画質変換処理を行う。即ち、並置処理部１３１は、画質解析部３５から出力される画質情報、及び画質変換部３９から出力される処理映像を夫々入力する。上記画質情報、及び上記処理映像の詳細については、図２で説明したので、重ねての詳細な説明は省略する。並置処理部１３１は、画質変換部３９に対し、既述の適切な処理パラメータを適宜出力する。上記処理パラメータの画質変換部３９への出力は、並置処理部１３１におけるサブルーチンとしての処理動作であり、上記処理パラメータは、画質変換部３９が、映像データA、映像データBに対し、高画質化処理、又は低画質化処理を行うに際して必要なパラメータである。
【００８２】
並置処理部１３１においては、上記処理動作に加えて、表示画面上のレイアウト処理等も行われる。並置処理部１３１における一連の処理動作が終了すると、空間的に並べて配置された画質の異なる（２つの）映像データは、並置処理部１３１から表示部４３に逐次表示出力される。
【００８３】
なお、画質の異なる映像データA、映像データBは、一方が放送波を介して送信された映像データであり、他方が通信ネットワーク上の映像配信サイトから送信された映像データであって、互いに関連した映像データであり、双方が並置された状態で視聴されることを想定している。画質解析部３５は、入力された双方の映像データの画質を評価する。
【００８４】
図９は、図８に記載の画像処理装置によって生成された並置映像データの表示態様の一例を示した説明図である。
【００８５】
図９において、表示画面中の映像１３３は、本来、最も高画質の映像データであり、該映像１３３の右側に位置する映像１３５、及び映像１３７は、共に本来、映像１３３の約半分の画素数の、映像１３３よりも低画質の映像データである。そして、映像１３３の右斜め下、即ち、映像１３７の直下に位置する映像１３９は、本来、映像１３５、及び映像１３７よりも更に低画質の映像データである。
【００８６】
上述した各映像１３３、１３５、１３７、及び１３９に係わる映像データは、表示画面中に占める領域が夫々相違していても、それらの全てが同一の画質で表示されるように、夫々の映像（データ）を構成する画素数が調整されている。例えば、映像１３５は、最高レベルの高画質化が施されている一方で、映像１３３は、本来の画質が映像１３５の２倍以上の画質（即ち、画素数）を有するにも拘らず、ユーザからの指令等の外部的な要因により、映像１３３を、映像１３５のちょうど２倍の画素数で表示するため、映像１３３に対する高画質化処理がやや抑制されているような場合も想定され得る。
【００８７】
図１０は、入力した画質の異なる複数の映像データに対し並置処理を施すに際しての、図８に記載の画像処理装置各部の処理動作を示すフローチャートである。
【００８８】
図１０において、まず、２つの映像データが逐次的、且つ、並列に、図８に記載の画像処理装置に入力されると（ステップS１５１）、これらの映像データに対し、画質解析部３５による画質解析が行われる（ステップS１５２）。そして、該画質解析の結果、画質解析の対象である映像データの画質が高画質であれば（ステップS１５３でYES）、該映像データに係わる目標画質が（画質解析部３５において）算出され（ステップS１５４）、該算出された目標画質が、該映像データのオリジナルの画質以上かどうかがチェックされる（ステップS１５５）。該チェックの結果、上記目標画質が該映像データのオリジナルの画質以上であれば（ステップS１５５でYES）、該映像データに対し、高画質化抑制処理が施されると共に（ステップS１５６）、図８で示した並置処理部１３１による映像データの並置処理が施される（ステップS１５７）。そして、この並置処理が施された後の映像データが、並置処理部１３１から表示部４３に表示出力されることになる（ステップS１５８）。
【００８９】
一方、上記算出された目標画質が、該映像データのオリジナルの画質以上でなければ（ステップS１５５でNO）、該映像データに対し、低画質化処理が施されると共に（ステップS１６０）、ステップS１５７で示した処理動作に移行する。更に、上述した画質解析部３５による画質解析の結果、該画質解析の対象である映像データの画質が高画質でなければ（ステップS１５３でNO）、該映像データに対し、高画質化処理が施された後（ステップS１６１）、ステップS１５７で示した処理動作に移行する。
【００９０】
そして、映像データが終了すれば（ステップS１５９でYES）、図１０で示した一連の処理動作が終了するし、映像データが終了していなければ（ステップS１５９でNO）、ステップS１５１で示した処理動作に移行する。
【００９１】
なお、ステップS１５４における目標画質の算出処理動作では、目標画質が、該映像データが表示部４３に表示されるに際し、並置される他の映像データとの間において表示面積のサイズ比をどの程度にするかを決めるためのパラメータに基づいて算出される。また、上記並置処理が行われるに際しては、上記サイズ比になるように表示される映像データの大きさが調整される。
【００９２】
上述した実施形態では、並置処理の対象としての映像データを２つであるものとして説明したが、並置処理の対象となる映像データの数は２つに限定されるものではなく、３つ以上の映像データを並置処理するに際しても、上記手法が適用可能である。その際、各々の映像データについて、最高に高画質化した場合の、各々の映像データの画質を比較して、最も低画質の映像データを見出し、該低画質の映像データの画質に、他の比較的高画質の映像データの画質を合わせるのが基本的な処理動作となる。しかし、この基本的な処理動作を実行すると、他の比較的高画質の映像データの画質が、あまりにも損なわれるようであれば、該処理動作は行わずに、低画質の映像データについては、その画質に相応しいサイズで表示画面中に表示することとしても良い。低画質の映像データのサイズを他の高画質の映像データのサイズよりも小さく設定することによって、表示画面全体として、違和感を少なくすることが可能になる。
【００９３】
なお、上述した実施形態では、複数の映像データを並置するに際しては、必ず、それらの品質（画質）を揃えることとして説明したが、状況に応じて各映像データの品質（画質）を揃える処理は行わずに、並置処理する手法を採用することとしても良い。各々の映像データの画質を揃えた上で並置処理を行う手法、又は、各々の映像データの画質を揃えること無しに並置処理のみを行う手法の何れを選択するかは、ユーザから画像処理装置に入力される指令によるものとしても良い。
【００９４】
また、並置処理の対象である映像データ同士の間において、画質（品質）に一定以上の差が生じている場合にはそれらの映像データについて、並置処理を行わないとする自動判定処理のプロセスを付加する手法や、上記各々の映像データにおいて、それらの内容（例えば、色分布等）を解析し、それらの内容の間に一定以上の差異が見出せる場合には、並置処理を行わないとする自動判定処理のプロセスを付加する手法等も想到され得る。更には、通信ネットワークを通じて送信された映像データと、放送波を介して送信された映像データとを接合する場合のような、特定の伝送経路を利用して送信された映像データ同士の間においてのみ、既述のような並置処理を行う手法等も想到され得る。
【００９５】
図１１は、本発明の第４の実施形態に係る画像処理装置の全体構成を示す機能ブロック図である。
【００９６】
図１１に記載の画像処理装置は、図２に記載の画像処理装置から接合範囲決定部３７、及び接合処理部４１が除去された構成に、画質処理部１７１、及びステレオ処理部１７３が付加されている点で、図２に記載の画像処理装置と構成が相違する。その他の構成については、図２に記載の物と同一であるので、図１１において、図２に記載の物と同一物には、同一符号を付してそれらの詳細な説明を省略する。本実施形態では、上述した第１、第２、及び第３の実施形態とは異なり、同一のシーンを撮影して得られた、異なる画質の複数の映像データを用いてステレオ処理が行われる。このステレオ処理に係わる映像データの例としては、同一のシーンに係わる映像データであって、高画質のカムコーダに係わる映像データと、携帯電話機の付属的な機能である、動画撮影機能により撮影された映像データとが挙げられる。
【００９７】
ステレオ処理では、後に詳述するように、異なった視点の映像データ同士の間での特徴点抽出処理と、抽出された特徴点の対応付けを行うための処理とが、処理の根幹であるが、処理対象である映像データ同士の画質が異なる場合、夫々の映像データに対し、同一の画像処理を施しても特徴点の対応付けがうまく行かない等の問題が生じるため、処理対象になる映像データの画質を揃えることが望ましい。
【００９８】
図１１において、画質処理部１７１は、画質解析部３５から出力される映像データA、及び映像データBに係わる画質情報と、画質変換部３９から出力される処理映像とを入力する。そして、上記画質情報、及び上記処理画像に基づき、映像データA、及び映像データBの画質をなるべく揃えるための処理を実行する。例えば、映像データAが高画質の映像データであり、映像データBが低画質の映像データである場合には、画質処理部１７１は、映像データBについては、超解像等の高画質化処理の手法を用いて最大限の高画質化処理を実行する。
【００９９】
一方、映像データAについては、該高画質化処理が施された後の映像データBの画質に適合するよう、高画質化抑制処理、又は、低画質化処理を実行することになる。画質処理部１７１が、上述した処理を実行するに際して、第１、第２、及び第３の実施形態において既に説明済みの処理パラメータが、適宜、画質変換部３９に出力される。上述した処理を経て画質の均質化が施された後の映像データA、映像データBは、均質化映像として、画質処理部１７１からステレオ処理部１７３に出力される。
【０１００】
ステレオ処理部１７３では、上記均質化映像としての映像データA、及び映像データBを用いてステレオ処理を行うことにより、３D（３次元）解析データを生成し、該３D解析データを表示部４３に表示出力する。
【０１０１】
図１２は、図１１に記載の画像処理装置が２つの映像データから３D解析データを生成するに際しての処理過程の一例を示した説明図である。
【０１０２】
図１２（a）において、映像データA１８１は、高画質の映像データであり、映像データB１８３は、低画質の映像データである。映像データA１８１は、図１２（b）に示すように、高画質化抑制処理、又は、低画質化処理が施され、一方、映像データB１８３は、図１２（b）に示すように、高画質化処理が施される。これにより、映像データA１８１、及び映像データB１８３の画質が揃えられることになる。次に、図１２（c）に示すように、映像データA１８１、及び映像データB１８３において、夫々特徴点の抽出処理と、抽出された特徴点同士の間における対応処理とが実行される。上記特徴点抽出、及び特徴点の対応処理が終了すると、それらの処理結果に基づいて、符号１８５で示すように３次元情報復元処理が実行され、その結果として符合１８７で示すように、３次元情報が生成されることになる。
【０１０３】
図１３は、入力した画質の異なる複数の映像データに対しステレオ処理を施すに際しての、図１１に記載した画像処理装置各部の処理動作を示すフローチャートである。
【０１０４】
図１３において、まず、画質の異なる２つの映像データ、即ち、映像データA、映像データBが、画像処理装置に並列的に入力される。バッチ処理の場合においても、双方の映像データ（A、B）の対応部分が、画像処理装置に並列に読み込まれるものとする（ステップS１９１）。次に、上記入力された映像データA、及び映像データBについて、夫々画質解析が行われると共に、該画質解析の結果に基づき、映像データA、及び映像データBの画質を、どのような画質に合わせるか画像処理の内容が決定される（ステップS１９２）。
【０１０５】
そして、決定された画像処理の内容に従って、低画質の映像データである映像データBについては（ステップS１９３でNO）、最大限の高画質化処理が施される（ステップS１９５）。一方、高画質の映像データである映像データAについては（ステップS１９３でYES）、高画質化処理が施された後の映像データBの画質に見合う、画質処理の内容が固定された高画質化抑制処理、又は、低画質化処理が施される（ステップS１９４）。次に、上述した処理が施された後の映像データA、及び映像データBに対し、夫々特徴点の抽出処理（ステップS１９６）、抽出された各特徴点に対する対応処理（ステップS１９７）、及び３次元復元処理（ステップS１９８）が施され、これら各処理によって生成された３次元情報が、表示出力される（ステップS１９９）。
【０１０６】
上述した各処理動作は、処理対象である映像データA、及び映像データBが存在しなくなるまで続けられる（ステップS２００）。即ち、処理対象である映像データA、及び映像データBが終了したと判断された場合には（ステップS２００でYES）、図１３で示した一連の処理動作が終了し、上記映像データA、及び映像データBが終了していないと判断された場合には（ステップS２００でNO）、ステップS１９１で示した処理動作に復帰することになる。
【０１０７】
なお、上述した実施形態では、最も簡単なステレオ処理として、２つの映像データを処理対象とした例を挙げたが、上述した実施形態は、上記内容のみに限定されるものではなく、３つ以上の映像データを処理対象とする３次元処理全般について適用可能である。
【０１０８】
以上、本発明の好適な実施形態を説明したが、これは本発明の説明のための例示であって、本発明の範囲をこの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。
【図面の簡単な説明】
【０１０９】
【図１】本発明に従う画像処理装置が行う映像データ同士の時系列的な接合処理の原理を示した説明図。
【図２】本発明の第１の実施形態に係る画像処理装置の全体構成を示す機能ブロック図。
【図３】図２に記載した画像処理装置において実行される映像データ同士の接合処理の内容の一例を示す説明図。
【図４】入力した画質の異なる複数の映像データに対し接合処理を施すに際しての、図２に記載した画像処理装置各部の処理動作を示すフローチャート。
【図５】図４に記載したフローチャートのサブルーチンを示すフローチャート。
【図６】本発明の第２の実施形態に係る画像処理装置の全体構成を示す機能ブロック図。
【図７】入力した画質の異なる複数の映像データに対し時系列的な接合処理を施すに際しての、図６に記載した画像処理装置各部の処理動作を示すフローチャート。
【図８】本発明の第３の実施形態に係る画像処理装置の全体構成を示す機能ブロック図。
【図９】図８に記載した画像処理装置によって生成された並置映像データの表示態様の一例を示した説明図。
【図１０】入力した画質の異なる複数の映像データに対し並置処理を施すに際しての、図８に記載した画像処理装置各部の処理動作を示すフローチャート。
【図１１】本発明の第４の実施形態に係る画像処理装置の全体構成を示す機能ブロック図。
【図１２】図１１に記載した画像処理装置が２つの映像データから３D解析データを生成するに際しての処理過程の一例を示した説明図。
【図１３】入力した画質の異なる複数の映像データに対しステレオ処理を施すに際しての、図８に記載した画像処理装置各部の処理動作を示すフローチャート。
【符号の説明】
【０１１０】
３１  指令情報受付部
３３  映像データ受付部
３５  画質解析部
３７  接合範囲決定部
３９  画質変換部
４１  接合処理部
４３  表示部
１０１  一時蓄積部（１）
１０３  変更検知部
１０５  一時蓄積部（２）
１０７  切替部
１３１  並置処理部
１７１  画質処理部
１７３  ステレオ処理部
【図１】
2009124268.tif 000003
【図２】
2009124268.tif 000004
【図３】
2009124268.tif 000005
【図４】
2009124268.tif 000006
【図５】
2009124268.tif 000007
【図６】
2009124268.tif 000008
【図７】
2009124268.tif 000009
【図８】
2009124268.tif 000010
【図９】
2009124268.tif 000011
【図１０】
2009124268.tif 000012
【図１１】
2009124268.tif 000013
【図１２】
2009124268.tif 000014
【図１３】
2009124268.tif 000015