(57)【特許請求の範囲】
【請求項１】
第1の映像と前記第1の映像の周囲に表示される第2の映像とを有する映像フレームの上辺部，下辺部，左辺部，右辺部における所定数のラインの画素の色情報の偏差に基づき，前記上辺部，前記下辺部，前記左辺部，前記右辺部の中から前記第2の映像が表示される前記映像フレームの垂直方向の辺部と水平方向の辺部を推定する推定部と，
前記垂直方向の第1の境界線検出ラインを前記映像フレームの中心から前記推定した垂直方向の辺部に向けて水平方向に移動し，さらに，水平方向の第2の境界線検出ラインを前記映像フレームの中心から前記推定した水平方向の辺部に向けて垂直方向に移動し，前記第1，第2の境界線検出ラインの近傍における画素の輝度差に基づき，前記第1の映像と前記第2の映像との境界線を検出し，前記検出した境界線に基づき前記第1の映像を検出する検出部とを有する
ことを特徴とする映像検出装置。
【請求項２】
請求項1において，
前記画素の色情報は，色差であって，
前記推定部は，前記映像フレームの辺部における所定数のラインの全画素の色差が同一，または，前記映像フレームの辺部における所定数のラインの全画素の中で色差が近似する画素の前記全画素に対する割合を計算し，前記割合が第1の閾値以上の場合に，当該映像フレームの辺部を前記第2の映像が表示される映像フレームの辺部と推定する
ことを特徴とする映像検出装置。
【請求項３】
請求項1において，
前記推定部は，前記映像フレームの辺部における所定数のラインの一部分の画素の色差が同一，または，前記映像フレームの辺部における所定数のラインの一部分の画素の中で色差が近似する画素の前記一部分の画素に対する割合を計算し，前記割合が第2の閾値以上の場合に，当該映像フレームの辺部を前記第2の映像が表示される前記映像フレームの辺部と推定する
ことを特徴とする映像検出装置。
【請求項４】
請求項1において，
前記検出部は，複数の垂直方向の境界線を検出し，複数の水平方向の境界線を検出した場合，前記映像フレームのアスペクト比に基づき，前記複数の垂直方向の境界線の何れか１つと前記複数の水平方向の境界線の何れか１つを選択して前記アスペクト比を有する前記第1の映像を検出する
ことを特徴とする映像検出装置。
【請求項５】
第1の映像と前記第1の映像の周囲に表示される第2の映像とを有する映像フレームの上辺部，下辺部，左辺部，右辺部における所定数のラインの画素の色情報の偏差に基づき，前記上辺部，前記下辺部，前記左辺部，前記右辺部の中から前記第2の映像が表示される前記映像フレームの垂直方向の辺部と水平方向の辺部を推定する推定部と，
前記垂直方向の第1の境界線検出ラインを前記映像フレームの中心から前記推定した垂直方向の辺部に向けて水平方向に移動し，さらに，水平方向の第2の境界線検出ラインを前記映像フレームの中心から前記推定した水平方向の辺部に向けて垂直方向に移動し，前記第1，第2の境界線検出ラインの近傍における画素の輝度差に基づき，前記第1の映像と前記第2の映像との境界線を検出し，前記検出した境界線に基づき前記第1の映像を検出する検出部とを有する映像検出装置と，
前記検出した前記第1の映像の映像信号を記録媒体に記録する記録部とを有する
ことを特徴とする映像記録装置。
【請求項６】
第1の映像と前記第1の映像の周囲に表示される第2の映像とを有する映像フレームの上辺部，下辺部，左辺部，右辺部における所定数のラインの画素の色情報の偏差に基づき，前記上辺部，前記下辺部，前記左辺部，前記右辺部の中から前記第2の映像が表示される前記映像フレームの垂直方向の辺部と水平方向の辺部を推定する推定部と，
前記垂直方向の第1の境界線検出ラインを前記映像フレームの中心から前記推定した垂直方向の辺部に向けて水平方向に移動し，さらに，水平方向の第2の境界線検出ラインを前記映像フレームの中心から前記推定した水平方向の辺部に向けて垂直方向に移動し，前記第1，第2の境界線検出ラインの近傍における画素の輝度差に基づき，前記第1の映像と前記第2の映像との境界線を検出し，前記検出した境界線に基づき前記第1の映像を検出する検出部とを有する映像検出装置と，
前記映像フレームの映像信号と当該映像フレームにおいて前記検出した境界線とを対応付けて記録媒体に記録する記録部と，
前記映像信号を再生する再生部とを有し，
前記検出部は，前記記録媒体に記録した前記映像フレームの映像信号と対応付けて記録した境界線に基づき，前記映像フレームにおける第1の映像を検出し，
前記再生部は，前記検出した第1の映像の映像信号を再生する
ことを特徴とする映像記録再生装置。
【請求項７】
第1の映像と前記第1の映像の周囲に表示される第2の映像とを有する映像フレームの上辺部，下辺部，左辺部，右辺部における所定数のラインの画素の色情報の偏差に基づき，前記上辺部，前記下辺部，前記左辺部，前記右辺部の中から前記第2の映像が表示される前記映像フレームの垂直方向の辺部と水平方向の辺部を推定し，
前記垂直方向の第1の境界線検出ラインを前記映像フレームの中心から前記推定した垂直方向の辺部に向けて水平方向に移動し，さらに，水平方向の第2の境界線検出ラインを前記映像フレームの中心から前記推定した水平方向の辺部に向けて垂直方向に移動し，前記第1，第2の境界線検出ラインの近傍における画素の輝度差に基づき前記第1の映像と前記第2の映像との境界線を検出し，
前記検出した境界線に基づき前記第1の映像を検出する
ことを特徴とする映像検出方法。
【請求項８】
第1の映像と前記第1の映像の周囲に表示される第2の映像とを有する映像フレームの上辺部，下辺部，左辺部，右辺部における所定数のラインの画素の色情報の偏差に基づき，前記上辺部，前記下辺部，前記左辺部，前記右辺部の中から前記第2の映像が表示される前記映像フレームの垂直方向の辺部と水平方向の辺部を推定し，
前記垂直方向の第1の境界線検出ラインを前記映像フレームの中心から前記推定した垂直方向の辺部に向けて水平方向に移動し，さらに，水平方向の第2の境界線検出ラインを前記映像フレームの中心から前記推定した水平方向の辺部に向けて垂直方向に移動し，前記第1，第2の境界線検出ラインの近傍における画素の輝度差に基づき前記第1の映像と前記第2の映像との境界線を検出し，
前記検出した境界線に基づき前記第1の映像を検出し，
前記検出した前記第1の映像の映像信号を記録媒体に記録する
ことを特徴とする映像記録方法。
【請求項９】
第1の映像と前記第1の映像の周囲に表示される第2の映像とを有する映像フレームの上辺部，下辺部，左辺部，右辺部における所定数のラインの画素の色情報の偏差に基づき，前記上辺部，前記下辺部，前記左辺部，前記右辺部の中から前記第2の映像が表示される前記映像フレームの垂直方向の辺部と水平方向の辺部を推定し，
前記垂直方向の第1の境界線検出ラインを前記映像フレームの中心から前記推定した垂直方向の辺部に向けて水平方向に移動し，さらに，水平方向の第2の境界線検出ラインを前記映像フレームの中心から前記推定した水平方向の辺部に向けて垂直方向に移動し，前記第1，第2の境界線検出ラインの近傍における画素の輝度差に基づき前記第1の映像と前記第2の映像との境界線を検出し，
前記映像フレームの映像信号と当該映像フレームにおいて前記検出した境界線とを対応付けて記録媒体に記録し，
前記記録媒体に記録した前記映像フレームの映像信号と対応付けて記録した境界線に基づき，前記映像フレームにおける第1の映像を検出し，
前記検出した第1の映像の映像信号を再生する
ことを特徴とする映像記録再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，映像検出装置，映像記録装置，映像記録再生装置，映像検出方法，映像記録方法，および，映像記録再生方法に関する。
【背景技術】
【０００２】
テレビ放送における映像として，主映像に付加情報をテロップとして重ねて表示すること，あるいは，主映像の周囲に例えばL字型などの枠となる領域を形成し，ここに付加情報を表示することが行われる。このL字型の領域に表示される映像を副映像と呼ぶ。
【０００３】
図1は，かかる主映像と副映像が表示される映像の一例を模式的に示す図である。映像フレームPFは，主映像MNと副映像SBとを有する。主映像MNと副映像SBとの垂直方向の境界線を符号VBL1で示し，水平方向の境界線を符号HBL1で示す。
【０００４】
主映像MNの中央には，例えば会見者HMが表示されている。副映像SBには，付加情報として選挙速報，緊急ニュース速報，気象情報，地震・津波情報などの主映像MNの内容と直接関係する情報，あるいは，同時的に発生しているニュース情報などの映像が表示される。
【０００５】
このような映像をリアルタイムで視聴中の場合には，図1の副映像SBにおいて表示される情報は，視聴者にとって有用な情報である。しかし，主映像MNと副映像SBとを有する映像を記録(録画)した場合，この映像を後に視聴する際には，ニュース性，緊急性を失っており，副映像SBが不要であることが多い。
【０００６】
前記したように前者の映像内にテロップが表示される場合，このテロップを除外した映像を記録する装置が提案されている(例えば，特許文献1参照)。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2011-114750号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし，先の後者に係る映像にあっては，これまでの技術では，映像フレームPFから主映像MNを検出することができず，その結果，副映像SBを除去して主映像MNのみを記録することができない。また，主映像MNと副映像SBとを有する映像を記録した場合，この記録映像から主映像MNのみを再生することができない。
【０００９】
従って，本発明の目的は，主映像と副映像とを有する映像内の主映像を検出する映像検出装置および映像検出方法，主映像のみを記録する映像記録装置および映像記録方法，さらに，主映像と副映像とを有する映像の再生時において，主映像のみを再生する映像記録再生装置および映像記録再生方法を提供することにある。
【課題を解決するための手段】
【００１０】
映像検出装置の第１の側面は，第1の映像と前記第1の映像の周囲に表示される第2の映像とを有する映像フレームの上辺部，下辺部，左辺部，右辺部における所定数のラインの画素の色情報の偏差に基づき，前記上辺部，前記下辺部，前記左辺部，前記右辺部の中から前記第2の映像が表示される前記映像フレームの垂直方向の辺部と水平方向の辺部を推定する推定部と，前記垂直方向の第1の境界線検出ラインを前記映像フレームの中心から前記推定した垂直方向の辺部に向けて水平方向に移動し，さらに，水平方向の第2の境界線検出ラインを前記映像フレームの中心から前記推定した水平方向の辺部に向けて垂直方向に移動し，前記第1，第2の境界線検出ラインの近傍における画素の輝度差に基づき，前記第1の映像と前記第2の映像との境界線を検出し，前記検出した境界線に基づき前記第1の映像を検出する検出部とを有する。
【発明の効果】
【００１１】
第1の側面によれば，主映像と副映像とを有する映像から主映像を高精度に検出することができる。
【図面の簡単な説明】
【００１２】
【図１】主映像と主映像の周囲に表示されるL字型の副映像とを有する映像フレームの一例である。
【図２】第1の実施の形態の映像検出装置を説明する図である。
【図３】映像検出部の一例ブロック図である。
【図４】副映像の形状パターンを説明する図である。
【図５】図4(A)に示した表示パターンの拡大図である。
【図６】L字枠推定の方法を説明する図である。
【図７】辺部を推定する処理を説明するフロー図である。
【図８】制御部が副映像の形状情報を生成する際に参照するテーブルの一例を示す図である。
【図９】境界線位置の検出処理を説明するフロー図である。
【図１０】境界線位置の検出処理を説明する図である。
【図１１】境界線の誤検出について説明する図である。
【図１２】境界線位置の決定を説明する図である。
【図１３】第2の実施の形態の映像記録装置を説明する図である。
【図１４】映像検出部の一例ブロック図である。
【図１５】映像記録装置の映像記録処理の流れを説明する第1のフロー図である。
【図１６】映像記録装置の映像記録処理の流れを説明する第2のフロー図である。
【図１７】映像記録装置の映像記録処理の流れを説明する第3のフロー図である。
【図１８】映像記録装置の映像記録処理の流れを説明する第4のフロー図である。
【図１９】第3の実施の形態の映像記録装置を説明する図である。
【図２０】映像検出部の一例ブロック図である。
【図２１】映像記録装置の映像記録処理の流れを説明する他の第1のフロー図である。
【図２２】映像記録装置の映像記録処理の流れを説明する他の第2のフロー図である。
【発明を実施するための形態】
【００１３】
<第1の実施の形態>
図2は，本実施の形態の映像検出装置1を説明する図である。
【００１４】
図2(A)は，映像検出装置1の一例ブロック図である。
【００１５】
映像検出装置1の入力部10は，受信装置(図示しない)により受信された放送局などからの映像信号をデコードして，例えば図2(B)に示した映像フレームPFとして，映像検出部2に入力する。映像フレームPFは，行列方向に配置されたマトリクス状の画素から構成され，各画素は，色情報，輝度を有する。色情報とは，例えば，RGBや色差である。そして，映像フレームPFは，例えば，4角形状の主映像MNと主映像MNの周囲に表示されるL字型の副映像SBとを有する。
【００１６】
主映像MNは第1の映像であり，副映像SBは第2の映像である。
【００１７】
映像検出部20は，図2(C)に示した映像フレームPFの上辺部UP，下辺部DP，左辺部LP，右辺部RPにおける所定数のラインの画素の色情報の偏差に基づき副映像SBが表示される映像フレームPFの辺部を推定する。映像検出部20は，所定数のラインの画素の色情報に加えてこの画素の輝度の偏差に基づき副映像SBが表示される映像フレームPFの辺部を推定してもよい。具体的な推定方法については，図4〜図8で説明する。
【００１８】
そして，映像検出部20は，映像フレームPFの中心から推定した辺部に向けて境界線検出ラインを移動させて，境界線検出ラインの近傍における画素の輝度差に基づき主映像MNと副映像SBとの境界線を検出し，検出した境界線に基づき主映像MNを検出する。具体的な，境界線の検出方法，主映像MNの検出方法については，図9〜図12で説明する。
【００１９】
図3は，映像検出部20の一例ブロック図である。
【００２０】
L字枠推定部21は，副映像SBが表示される映像フレームPFの辺部を推定する処理を制御する制御部211と，制御部211の制御に基づき，映像フレームPF内の画素の輝度および色差を検出する輝度・色差検出回路212とを有する。
【００２１】
境界線位置検出部22は，主映像MNと副映像SBとの境界線位置を検出する処理を制御する制御部221と，制御部221の制御に基づき，境界線位置を検出するエッジ検出回路222とを有する。そして，境界線位置検出部22は，検出した境界線位置に基づき主映像を検出する。
【００２２】
境界線位置格納メモリ23は，境界線位置などを格納するメモリである。
【００２３】
映像メモリ24は，入力部10から入力された映像フレームを格納するメモリである。
【００２４】
符号F10に示す映像フレームは入力部10から入力された映像フレームであり境界線位置検出対象の映像フレームを示す。
【００２５】
[副映像SBの推定処理]
L字枠推定部21が実行する副映像SBの推定処理について，図4〜図8に基づいて説明する。
【００２６】
図4は，副映像SBの形状パターンを説明する図である。図4(A)〜図4(F)は，6通りの形状パターンを示している。図4(A)は映像フレームPFの左下側に副映像SBが表示され，図4(B)は映像フレームPFの右下側に副映像SBが表示され，図4(C)は映像フレームPFの右上側に副映像SBが表示されている状態を示している。また，図4(D)は映像フレームPFの左上側に副映像SBが表示され，図4(E)は映像フレームPFの左右下側に副映像SBが表示され，図4(F)は映像フレームPFの左右上側に副映像SBが表示されている状態を示している。
【００２７】
ここで，図4(E)の表示パターンは，図4(A)，図4(B)の表示パターンを組み合わせた表示パターンである。同じく，図4(F)の表示パターンは，図4(C)，図4(D)の表示パターンを組み合わせた表示パターンであり，U字枠の表示パターンとも呼ばれる。
【００２８】
このようなL字枠状の副映像SBが表示されているかを推定する手段の一例を説明する。
【００２９】
図5は，図4(A)に示した表示パターンの拡大図である。ここで，符号UPは映像フレームPFの上辺部を示し，符号DPは映像フレームPFの下辺部を示す。また，符号LPは映像フレームPFの左辺部を示し，符号RPは映像フレームPFの右辺部を示す。図5において，これら各辺部の所定数のラインを斜め線のハッチングで表示している。これら各辺部は，映像フレームPFの表示領域の端部(外枠部分)である。なお，このハッチングで表示する領域は説明のため誇張している。
【００３０】
映像フレームPFに副映像SBが表示される場合，この各辺部の所定数のラインの画素は，文字情報などが表示されることがなく，この重なる部分の画素の輝度，色差は，同一または近似する。さらに，この重なる部分の画素の輝度，色差は，時間経過により変化することがない。
【００３１】
そこで，この各辺部の所定数のラインの画素の輝度および色差を検出して，副映像SBが表示される映像フレームPFの辺部を推定する。以下，この推定処理をL字枠推定と呼ぶ。
【００３２】
以下の説明では，L字枠推定の精度を高めるため，所定数のラインの画素の輝度および色差を検出して，副映像SBが表示される映像フレームPFの辺部を推定する。しかし，例えば，このL字枠推定処理を高速化するため，所定数のラインの画素の輝度のみ，または，この画素の色差のみを検出して，副映像SBが表示される映像フレームPFの辺部を推定してもよい。また，色差ではなく，RGB値を利用して，副映像SBが表示される映像フレームPFの辺部を推定してもよい。
【００３３】
図6は，L字枠推定の方法を説明する図である。図6(A)は，L字枠推定の第1の方法，図6(B)は，L字枠推定の第2の方法を説明する図である。
【００３４】
図6(A)においては，上辺部UP，下辺部DP，左辺部LP，右辺部RPの所定数のラインを4角形の画素で示している。
【００３５】
この辺部を推定する処理を図7のフロー図に基づき説明する。なお，既に，映像メモリ24に映像フレームF10が読み込まれているとする。そして，L字枠推定部21が，この映像フレームF10に対して，副映像SBが表示される辺部を推定する処理を実行するとする。
【００３６】
ステップS1：L字枠推定部21の制御部211は，推定対象の辺部を決定し，輝度・色差検出回路212は，この辺部における所定数のラインの画素の輝度および色差を検出する。
【００３７】
推定対象の辺部を決定する処理について説明する。まず，制御部211は，推定対象の辺部における所定数のラインを決定する。上辺部UP，下辺部DPの場合，推定対象の辺部におけるラインは水平方向のライン(水平ライン)であり，左辺部LP，右辺部RPの場合，推定対象の辺部におけるラインは垂直方向のライン(垂直ライン)である。なお，前記所定数とは，例えば4ラインである。
【００３８】
この例では，上辺部UP，下辺部DPについては，4行の水平ラインが推定対象であり，左辺部LP，右辺部RPについては，4列の垂直ラインが推定対象である。上辺部UPの推定対象の水平ラインを符号４Uで示し，左辺部LPの推定対象の垂直ラインを符号4Lで示す。また，図6においては，この推定ラインの画素を符号PXで示す。
【００３９】
そして，推定対象の辺部を決定する。ここでは，例えば上辺部UPを決定する。
【００４０】
さらに，輝度・色差検出回路212は，前記決定した推定対象の辺部におけるラインの全画素の輝度および色差を検出する。輝度・色差検出回路212は，例えば，上辺部UPにおけるライン(符号４U参照)の全画素の輝度および色差を検出し，メモリ(図示しない)に格納する。
【００４１】
ステップS2：制御部211は，主映像に黒帯表示があるか判定する。
【００４２】
この判定処理を実行する理由を説明する。映像フレームPFが標準画質映像(Standard Definition Video)の場合には，主映像の左辺部，右辺部に黒帯表示がなされる。また，シネマスコープ(登録商標)映像の場合には，主映像の上辺部，下辺部に黒帯表示がなされる。
【００４３】
この黒帯表示が映像フレームPFの辺部に表示されると，制御部211は，この黒帯表示部分を副映像(L字枠領域)の一部と誤判定してしまい，副映像の推定精度が低下する。この誤判定を防止するために，ステップS2の判定処理を実行する。
【００４４】
具体的には，制御部211は，検出した全画素数に対する黒画素数の割合が所定の割合以上か判定する。ここで，黒画素とは，YUVであれば，画素の輝度(Y)が取りうる値の最低値に近い値である。画素の輝度の取り得る値が例えば0〜255であれば，この最低値に近い値とは0〜20である。また，画素の色差(Cr,Cb)が取りうる値の中間値に近い値である。画素の色差の取り得る値が0〜255であれば，この中間値に近い値とは108〜148である。RGBの場合には，各RGB値が0に近い値である。また，所定の割合とは、例えば80％である。
【００４５】
ここでは，制御部211は，前記メモリに格納した全画素の輝度および色差を読み出し，黒画素の数をカウントし，検出した全画素数に対する黒画素数の割合が所定の割合以上か判定する。制御部211は，検出した全画素数に対する黒画素数の割合が所定の割合以上の場合，黒帯表示があると判定する。
【００４６】
制御部211は，主映像に黒帯表示がないと判定した場合(ステップS2/NO)，ステップS3に移る。
【００４７】
ステップS3：制御部211は，全画素の輝度および色差が同一，または，輝度および色差が近似する画素の割合が所定の割合以上かを判定する。
【００４８】
具体的には，L字枠推定部21は，映像フレームPFの辺部(例えば上辺部UP)における所定数のラインの全画素の輝度および色差が同一か判定する。この判定方法としては，L字枠推定部21は，例えばメモリに格納した所定数のラインの各画素の輝度および色差が同一か確認すればよい。
【００４９】
同一でない場合，L字枠推定部21は，映像フレームPFの辺部(例えば上辺部UP)における所定数のラインの全画素の中で輝度および色差が近似する画素の全画素に対する割合が所定の割合(第1の閾値)以上か判定する。ここで，所定の割合とは，例えば80%である。
【００５０】
この判定方法としては，例えば，メモリに格納した所定数のラインの全画素数をTPとして，映像フレームPFの辺部における所定数のラインの全画素中で，輝度および色差が近似する画素数を近似画素数RTとすると，下記(式1)が成立するか判定する方法がある。
【００５１】
RT÷TP≧所定の割合…(式1)
ここで，輝度および色差が近似する画素とは，基準となる輝度および色差から所定の範囲内(例えば，基準輝度，基準色差から±5%の範囲内)にある輝度および色差を有する画素を意味する。前記基準となる輝度および色差とは，例えば，前記所定数のラインの全画素の輝度および色差の平均値である。
【００５２】
所定数のラインの全画素の輝度および色差が同一の場合，すなわち，この全画素の色情報が同一の場合，色情報の偏差は0であることを意味する。または，所定数のラインの全画素中で，輝度および色差が近似する画素数の割合が所定の割合以上の場合，色情報の偏差がこの所定の割合に対応する数値以下であること，すなわち，この偏差が小さいことを意味する。
【００５３】
このように，色情報の偏差が0，または，色情報の偏差が小さい場合には，検出対象の辺部を副映像SBが表示される映像フレームの辺部と推定することができる。
【００５４】
なお，前記したように，映像フレームPFに副映像SBが表示される場合，この各辺部の所定数のラインの画素は，同一または近似し，かつ，時間経過により変化することがない。そこで，ステップS1において，所定数のラインの全画素ではなく，一部分の画素について，輝度および色差の検出処理を実行してもよい。すなわち，検出対象の画素を間引いてもよい。
【００５５】
例えば，映像フレームPFの上辺部UP，下辺部DPにおける所定数のラインの一部分の画素とは，例えば，図6(B)に示した上辺部UP，下辺部DPにおける10個の画素ブロック(4行4列の画素ブロック)である。また，映像フレームPFの左辺部LP，右辺部RPにおける所定数のラインの一部分の画素とは，例えば，図6(B)に示した左辺部LP，右辺部RPにおける6個の画素ブロック(4行4列の画素ブロック)である。
【００５６】
この場合，ステップS3において，L字枠推定部21は，映像フレームPFの辺部における所定数のラインの一部分の画素の輝度および色差が同一か，または，映像フレームPFの辺部における所定数のラインの一部分の画素の中で輝度および色差が近似する画素の前記一部分の画素に対する割合が所定の割合(第2の閾値)以上かを判定する。
【００５７】
図7の説明に戻る。映像フレームPFの辺部における所定数のラインの全画素の輝度および色差が同一，または，(式1)を満たしている場合(ステップS3/YES)，ステップS4に移る。映像フレームPFの辺部における所定数のラインの全画素の輝度および色差が同一でない場合であり，(式1)を満たしていない場合(ステップS3/NO)，ステップS4の処理を省略して，ステップS5に移る。
【００５８】
ステップS4:制御部211は，検出対象の辺部を副映像SBが表示される映像フレームの辺部と推定する。
【００５９】
ステップS5：制御部211は，全辺部のチェックが終了したか判定する。具体的には，映像フレームの上辺部UP，下辺部DP，左辺部LP，右辺部RPについて，ステップS1〜S4までの処理が終了したか判定する。
【００６０】
全辺部のチェックが終了していない場合(ステップS5/NO)，制御部211は，ステップS1に戻り，未だチェックが終了していない残りの辺部について，ステップS1〜S4までの処理を実行する。
【００６１】
すなわち，L字枠推定部21は，上辺部UP，下辺部DP，左辺部LP，右辺部RPについてステップS1〜S4までの処理を実行する。
【００６２】
ステップS6：L字枠推定部21の制御部211は，副映像SBの形状情報を生成する。
【００６３】
図8は，ステップS6において制御部221が副映像SBの形状情報を生成する際に参照するテーブルの一例を示す図である。
【００６４】
図8において，識別記号(No.1〜No.9)と，上辺部，左辺部，下辺部，右辺部の推定結果と，この推定結果に基づく副映像SBの表示パターンが記録されている。ここで，○はある辺部において，この辺部に副映像SBが表示されているとL字枠推定部21が推定したことを示し，×はこの辺部に副映像SBが表示されていないとL字枠推定部21が推定したことを示している。
【００６５】
制御部211が，図8の識別記号No1〜No9で識別される行において“○”が記録された辺部に副映像SBが表示されていると推定した場合，副映像SBの形状情報として“副映像有り”を生成する。例えば，制御部211が，識別記号No.1に示したように，左辺部，下辺部に副映像SBが表示されている(左辺部，下辺部は“○”，上辺部，右辺部は“×”)と推定すると，副映像SBの形状情報として“副映像有り”を生成する。
【００６６】
一方，図8に示した“○”が記録された辺部に副映像SBが表示されていると推定しない場合，副映像SBの形状情報として“副映像無し”を生成する。具体的には，制御部211が，上辺部UPおよび下辺部DPのみに副映像SBが表示されると推定した場合，左辺部LPおよび右辺部UPのみに副映像SBが表示されると推定した場合，上辺部UP，下辺部DP，左辺部LP，右辺部RPの何れか1つの辺部のみに副映像SBが表示されると推定した場合，または，何れの辺部にも副映像SBが表示されていないと推定した場合である。
【００６７】
図1の映像フレームに対して，L字枠推定部21が，ステップS1〜S5の処理を実行した場合を想定する。図1の映像フレームPFの主映像MNは，会見者HM以外は，同一色であるとする。図1の映像フレームPFに対してL字枠推定部21が，ステップS1〜S5の処理を実行すると，上下左右の全辺部に副映像SBが表示されていると推定する(識別記号No.9参照)。この場合，制御部211は，副映像SBの形状情報として“副映像有り”を生成する。
【００６８】
[境界線位置の検出]
次いで，境界線位置検出部22は，主映像MNと副映像SBとの境界線が，推定した辺部の周辺領域に存在するか確認し，この境界線の位置を検出する。
【００６９】
L字枠推定部21が副映像SBの形状情報として“副映像有り”を生成した場合，境界線位置検出部22は，主映像MNと副映像SBとの境界線の位置を検出する。図1の例では，境界線位置検出部22は，下辺部DPにおける境界線HBL1，左辺部LPにおける境界線VBL1の位置を検出することになる。なお，L字枠推定部21が副映像SBの形状情報として“副映像無し”を生成した場合，L字型の副映像SBが表示されていないと推定できるので，境界線の検出処理は実行しない。
【００７０】
図9〜図11に基づき境界線位置の検出処理について説明する。
【００７１】
図9は，境界線位置の検出処理を説明するフロー図である。
【００７２】
図10は，境界線位置の検出処理を説明する図である。図10(A)は，垂直境界線検出ラインVL，水平境界線検出ラインHLを示す図，図10(B)は，垂直境界線検出ラインVL，水平境界線検出ラインHLをスライドさせている状態を示す図である。図10(A)，(B)は，図1の映像フレームPFの中の会見者HMや副映像SBに表示されている文字情報を省略した図に対応する。
【００７３】
図9のステップS11：境界線位置検出部22の制御部221は，境界線検出ラインの移動方向を決定する。
【００７４】
この境界線検出ラインとは，垂直方向の第1の垂直境界線検出ラインVL，水平方向の第2の水平境界線検出ラインHLである。そして，この境界線検出ラインの移動方向とは，映像フレームPFの中心Cから図7で説明した副映像SBが表示されると推定された辺部への方向である。
【００７５】
図10の例では，全辺部が副映像SBが表示されると推定された辺部となる。従って，制御部221は，垂直境界線検出ラインVLについては左辺部LP方向および右辺部RP方向(図面左右側方向)を移動方向として決定し，水平境界線検出ラインHLについては上辺部UP方向および下辺部DP方向(図面上下側方向)を移動方向として決定する。
【００７６】
図9のステップS12：エッジ検出回路222は，決定した移動方向に境界線検出ラインを移動する。
【００７７】
すなわち，エッジ検出回路222は，垂直境界線検出ラインVL(垂直方向の第1の境界線検出ライン)を映像フレームPFの中心Cから推定した垂直方向の辺部に向けて水平方向に移動する。さらに，エッジ検出回路222は，水平境界線検出ラインHL(水平方向の第2の境界線検出ライン)を映像フレームPFの中心Cから推定した水平方向の辺部に向けて垂直方向に移動する。そして，エッジ検出回路222は，第1，第2の境界線検出ラインの近傍における画素の輝度差に基づき，主映像部部分MNと副映像部部分SBとの境界線を検出する。
【００７８】
具体的には，エッジ検出回路222は，図10(B)に示すように，垂直境界線検出ラインVLについては左辺部LP，右辺部UPに水平移動させ，水平境界線検出ラインHLについては上辺部UP，下辺部DPに垂直移動させて境界線を検出する。
【００７９】
境界線の検出方法としては，様々な方法を用いることができる。例えば，垂直方向の境界線については，垂直境界線検出ラインVLを挟んで隣接する画素VPaの輝度と画素VPbの輝度との差が所定の閾値以上の場合に，この隣接する画素VPa，VPbとの境界を前記した垂直方向の境界線として検出する。同様に，水平方向の境界線については，水平境界線検出ラインHLを挟んで隣接する画素HPaの輝度と画素HPbの輝度との差が所定の閾値以上の場合に，この隣接する画素HPa，HPbとの境界を前記した水平方向の境界線として検出する。
【００８０】
このとき，画素VPaの列方向の所定数の画素の輝度と，画素VPbの列方向の所定数の画素の輝度との差が所定の閾値以上の場合に，この隣接する画素VPa，VPbとの境界を前記した垂直方向の境界線として検出することが好ましい。ここで，この所定数とは，例えば，列方向の全画素数の80%の画素数である。また，画素VPaの画素の輝度と，画素VPbの画素の輝度との差が所定の閾値以上とは，例えば，画素VPbの輝度が，画素VPaの輝度の+-50%の範囲外にあることである。
【００８１】
同様に，画素HPaの行方向の所定数の画素の輝度と，画素HPbの行方向の所定数の画素の輝度との差が所定の閾値以上の場合に，この隣接する画素HPa，HPbとの境界を前記した水平方向の境界線として検出することが好ましい。ここで，この所定数とは，例えば，行方向の全画素数の80%の画素数である。また，画素HPaの画素の輝度と，画素HPbの画素の輝度との差が所定の閾値以上とは，例えば，画素HPbの輝度が，画素HPaの輝度の+-50%の範囲囲外にあることである。
【００８２】
この所定数を少なくすれば，境界線の検出処理が短時間で終了するが，図11で説明するように境界線の誤検出が発生することがあるので，適宜定めることが好ましい。
【００８３】
図11は，境界線の誤検出について説明する図である。図11に示したように，左辺部LPにテロップ“ABCD”が表示され，下辺部DPにテロップ“あいうえお”が表示されている場合を想定する。この場合でも，列，行方向の一部分のみの画素の輝度差に基づき境界線の検出処理を行うと，エッジ検出回路222は，点線L1を境界線と誤検出することがある。そこで，前記した所定数を適宜調整して最適な値を設定することが好ましい。
【００８４】
図10の例では，エッジ検出回路222は，上記境界線の検出処理により，垂直方向の境界線VBL1，水平方向の境界線HBL1を検出する。なお，境界線検出ラインを移動する場合，1画素毎に移動しても良い。この場合，境界線を高精度に検出できる。他にも，映像フレームPFのアスペクト比から境界線位置近辺を予測し，予測した境界線位置近辺までは境界線検出ラインの移動幅を大きくし，この予測した境界線位置近辺の手前で境界線検出ラインの移動幅を小さくしても良い。この場合，前者に比べて境界線の検出時間が短くなる。
【００８５】
図9の説明に戻る。
【００８６】
ステップS13：境界線位置検出部22の制御部221は，エッジ検出回路222が境界線を検出したか判定する。
【００８７】
境界線を検出した場合(ステップS13/YES)，ステップS14に移る。
【００８８】
ステップS14：制御部221は，エッジ検出回路222が検出した境界線の位置を境界線位置格納メモリ23に格納する。ここで，格納する境界線位置としては，例えば，境界線と映像フレーム外枠との交点座標情報である。図10(B)の例では，垂直方向の境界線VBL1の交点座標情報としては座標VP1であり，水平方向の境界線HBL1の交点座標情報としては座標HP1である。
【００８９】
境界線を検出しない場合(ステップS13/NO)，ステップS14を省略してステップS15に移る。
【００９０】
ステップS15：制御部221は，決定した検出方向の境界線検出処理が終了したか判定する。決定した検出方向の境界線検出処理が終了していない場合(ステップS15/NO)，ステップS12に戻る。決定した検出方向の境界線検出処理が終了した場合(ステップS15/YES)，ステップS16に移る。
【００９１】
ステップS16：制御部221は，境界線位置を決定する。
【００９２】
図12は，境界線位置の決定処理を説明する図である。図12は，図1の表示画面にテロップTRが新たに表示された状態を示している。
【００９３】
図12の映像フレームPFに対して，境界線位置検出部22が，ステップS11〜S15の処理を実行すると，エッジ検出回路222は，水平方向の境界線として，境界線HBL1〜HBL4を検出する。この場合，エッジ検出回路222は，主映像MNと副映像SBとの境界線がHBL1〜HBL4の中の何れの境界線であるか決定する必要がある。
【００９４】
そこで，境界線位置検出部22の制御部221は，映像フレームPFのアスペクト比を検出する。なお，アスペクト比は，多数の映像フレームPFから構成される映像ストリームのヘッダ部分などに記録されている。
【００９５】
エッジ検出回路222が映像フレームPFの複数の水平方向の境界線を検出し， 1つの垂直方向の境界線を検出した場合，制御部221は，映像フレームPFのアスペクト比に基づき，複数の垂直方向の境界線の何れか1を選択してアスペクト比を有する主映像MNを検出する。
【００９６】
図12の例に基づき，境界線の決定処理を具体的に説明する。まず，境界線位置検出部22は，垂直境界線VBL1と水平境界線HBL1との組み合わせにより特定される第11の映像と，垂直境界線VBL1と水平境界線HBL2との組み合わせにより特定される第12の映像と，垂直境界線VBL1と水平境界線HBL3との組み合わせにより特定される第13の映像との中から，映像フレームPFのアスペクト比と同一のアスペクト比の映像を決定する。
【００９７】
図12の例では，第11の映像が映像フレームPFのアスペクト比と同一のアスペクト比の映像であるとする。すると，境界線位置検出部22は，この第11の映像に対応する境界線(HBL1，VBL1)の位置を境界線位置として決定(検出)し，境界線位置格納メモリ23に格納する。
【００９８】
また，境界線位置検出部22のエッジ検出回路222が複数の垂直方向の境界線を検出し，複数の水平方向の境界線を検出した場合，制御部221は，映像フレームPFのアスペクト比に基づき，複数の垂直方向の境界線の何れか1と複数の水平方向の境界線の何れか1を選択してこのアスペクト比を有する主映像MNを検出する。他にも，エッジ検出回路222が複数の垂直方向の境界線を検出し， 1つの水平方向の境界線を検出した場合，制御部221は，映像フレームPFのアスペクト比に基づき，複数の垂直方向の境界線の何れか1を選択してこのアスペクト比を有する主映像MNを検出する。
【００９９】
そして，境界線位置検出部22の制御部221は，この境界線位置に基づき，決定した境界線位置の交点座標(クロップ座標とも言う)を算出する。この交点座標は，図10(B)において，座標VP1，座標HP1，垂直境界線VBL1と水平境界線HBL1との交点座標CP1である。
【０１００】
上記処理により，映像検出装置1は，座標VP1，座標HP1，交点座標CP1で囲まれる主映像MNを検出することができる。 
【０１０１】
［効果］
映像検出装置1は，副映像SBが表示される映像フレームPFの辺部を推定し，映像フレーム中心からこの推定した辺部に向けて境界線検出ラインを移動させ，主映像MNと副映像SBとの境界線を検出している。そのため，例えば，L字型の副映像SBが2段に表示されている場合であっても，高精度に境界線を検出し主映像MNを検出することができる。
【０１０２】
その結果，第2の実施の形態で説明するように，主映像のみを記録媒体に記録することができるようになる。
【０１０３】
<第2の実施の形態>
第1の実施の形態で説明した映像検出装置を有する映像記録装置2について説明する。映像記録装置2は，映像検出装置1’が検出した主映像のみを記録媒体3に記録する。
【０１０４】
図13は，本実施の形態の映像記録装置2を説明する図である。以下の説明では，図2，図3で説明したブロックの機能と同機能を有するブロックを同じ符号を用いて説明する。
【０１０５】
図13(A)は，映像記録装置2の一例ブロック図である。
【０１０６】
映像記録装置2は，映像検出装置1’と，映像検出装置1’が検出した主映像MNの映像信号などをエンコードして記録媒体3に記録する記録部30とを有する。なお，記録媒体3としては，例えばHDDでもよく，様々な形態の記録媒体を利用することができる。
【０１０７】
映像検出装置1’は，第1の実施の形態で説明したように主映像を検出した後，この主映像を元の映像フレームPFの大きさに拡大する。図13(B)は，この拡大した映像フレームを示す図である。
【０１０８】
そして，記録部30は，この拡大した映像フレームの映像信号を記録媒体3に記録する。
【０１０９】
図14は，映像検出部20’の一例ブロック図である。
【０１１０】
境界線位置格納メモリ23は，境界線位置などを格納するメモリであり，仮境界線位置格納領域231，境界線位置一時格納領域232，正境界線位置格納領域233を有する。
【０１１１】
映像切出し・拡大部25は，主映像の映像を切出し・所定の大きさに拡大する処理を制御する制御部251と，制御部251の制御に基づき，前記した処理を実行するスケーラー回路252とを有する。
【０１１２】
映像メモリ24において，符号F11に示す映像フレームは入力部10から入力された映像フレームであり境界線位置検出前の映像フレーム(未検出映像フレームとも言う)を示す。
【０１１３】
符号F21〜F2nに示す映像フレームは境界線位置検出後の映像フレーム(保持映像フレームとも言う)を示す。
【０１１４】
符号F31は，主映像のみの映像フレームを示す。
【０１１５】
[映像記録装置の動作説明]
図15〜図18は，映像記録装置2の映像記録処理の流れを説明する第1〜第4のフロー図である。
【０１１６】
図15のステップS101：映像検出部20’は，カウンタ，境界線位置格納メモリ23を初期化する。このカウンタは，図16のステップS109で説明するように，主映像MNと副映像SBとの境界線位置を高精度に検出する際に参照されるカウンタである。カウンタの初期化とはカウンタを0に設定することである。境界線位置格納メモリ23の初期化とは，例えば境界線位置格納メモリ23の全領域にNULL(ヌル)を格納することである。
【０１１７】
ステップS102：映像検出部20’は，入力部10から入力された1映像フレームを映像メモリ24に格納する。この入力された映像フレームが図14の符号F11で示した映像フレームである。
【０１１８】
ステップS103：映像検出部20’は，入力された映像フレームF11が最終の映像フレームかを判定する。すなわち，録画対象の番組(映像ストリームとも言う)が終了したかを判定する。
【０１１９】
入力された映像フレームF11が最終の映像フレームでない場合(ステップS103/NO)，ステップS104に移る。入力された映像フレームF11が最終の映像フレームの場合(ステップS103/YES)，映像記録装置2は，映像記録処理を終了する。
【０１２０】
ステップS104：映像検出部20’は，主映像MNと副映像SBとの正境界線位置を正境界線位置格納領域233に格納したか判定する。この正境界線位置とは，映像検出部20’が複数の映像フレームについて境界線位置検出処理を行い最終的に決定した境界線位置を意味する。
【０１２１】
正境界線位置を正境界線位置格納領域233に格納していない場合(ステップS104/NO)，ステップS105に移る。上記説明では，まだ正境界線位置格納領域233に格納していないので，ステップS105に移る。
【０１２２】
ステップS105：映像検出部20’は，副映像SBの推定処理を実行する。具体的には，L字枠推定部21は，図7で説明した各ステップを実行する。
【０１２３】
ステップS106：映像検出部20’は，L字枠推定部21が副映像SBの形状情報として“副映像有り”を生成したか判定する。なお，この形状情報の生成については，図7のステップS6で説明したので説明を省略する。
【０１２４】
L字枠推定部21が副映像SBの形状情報として“副映像有り”を生成した場合(ステップS106/YES)，図16のステップS107に移る。
【０１２５】
ステップS107：境界線位置検出部22は，主映像MNと副映像SBとの境界線位置を検出する処理を実行する。具体的には，境界線位置検出部22は，図9で説明した各ステップを実行する。ここで，境界線位置検出部22は，図9のステップS16の処理により決定した境界線位置を仮境界線位置格納領域231に格納する。この仮境界線位置格納領域231に格納した境界線位置を仮境界線位置と呼ぶ。
【０１２６】
ステップS108:制御部221は，図9で説明した境界線検出処理により境界線位置(仮境界線位置)を検出したか判定する。検出した場合(ステップS108/YES)，ステップS109に移る。
【０１２７】
ステップS109：境界線位置検出部22の制御部221は，ステップS101で説明したカウンタが0か判定する。
【０１２８】
カウンタが0の場合(ステップS109/YES)，すなわち境界線位置検出部22が，1枚目の映像フレームについて仮境界線位置の検出処理を実行している場合には，ステップS110に移る。ここまでの処理では，カウンタは0なので，ステップS110に移る。
【０１２９】
ステップS110:制御部221は，仮境界線位置格納領域231の仮境界線位置を境界線位置一時格納領域232に格納する。
【０１３０】
ステップS111:制御部221は，カウンタが所定数以上か判定する。この所定数については，次段の[正境界線位置の決定処理]で説明する。
【０１３１】
カウンタが所定数以上でない場合(ステップS111/NO)，ステップS112に移る。ここまでの処理では，カウンタはまだ所定数以上でないので(ステップS111/NO)，ステップS112に移る。
【０１３２】
ステップS112:制御部221は，カウンタを更新する。具体的には，カウンタを1つカウントアップする。そして，図17のステップS113に移る。
【０１３３】
ステップS113:エッジ検出回路222は，仮境界線位置を検出した映像フレームを映像メモリ24に保持する。図14において，仮境界線位置を検出した映像フレームF11を映像フレームF21として保持する。
【０１３４】
[正境界線位置の決定処理]
さて，1つの映像フレームに対して境界線位置を決定しただけでは，この境界線位置が主映像MNと副映像SBとの正しい境界線位置であるとみなすことができない。これは，ノイズの影響や表示される映像の種類により，境界線を誤検出する可能性があるからである。
【０１３５】
そこで，複数の映像フレームに対して境界線位置の検出処理を実行し，この各映像フレームの境界線位置が同一の場合に，この境界線位置を正しい境界線位置と決定する。以下，この正しい境界線位置を正境界線位置と呼ぶ。この複数の映像フレームの数が，ステップS111における所定数に対応する。なお，この所定数は調整可能である。
【０１３６】
以下，正境界線位置の決定処理について説明する。
【０１３７】
ステップS113の処理のあと，図15のステップS102に戻り，映像検出部20’は，入力部10から入力された1映像フレームを映像メモリ24に格納する(図15のステップS102)。この入力された映像フレームを図14の符号F11で示す。
【０１３８】
以後，映像検出部20’は，ステップS103〜S109の処理を実行する。なお，この処理の過程において，図15のステップS104ではNO，図16のステップS108ではYESであるとする。
【０１３９】
ここまでの処理では，図16のステップS112でカウンタをカウントアップしているので，カウンタは0ではなく(図16のステップS109/NO)，ステップS114に移る。
【０１４０】
ステップS114:制御部221は，仮境界線位置格納領域231に格納した仮境界線位置(映像フレームF11の仮境界線位置)と境界線位置一時格納領域232に格納した仮境界線位置(この映像フレームF11の前に入力部10から入力された映像フレームの仮境界線位置)が一致するか判定する。一致した場合(ステップS114/YES)，ステップS111に移る。
【０１４１】
ここでは，仮境界線位置格納領域231に格納した仮境界線位置と境界線位置一時格納領域232に格納した仮境界線位置が一致するとする。この一致状態とは，図1の例では，主映像MNの映像内容や副映像SBの文字情報の内容が時間経過と共に変化したとしても，主映像MNの表示領域の形状，副映像SBの表示領域の形状の何れも変化していない状態である。
【０１４２】
ステップS111において再度，制御部221は，カウンタが所定数以上か判定する。ここでも，まだカウンタは所定数以上にはならないので(ステップS111/NO)，境界線位置検出部22は，ステップS112，S113，ステップS102〜ステップS112の処理を繰り返す。なお，この処理の繰り返しにおいて，ステップS104ではNO，ステップS108ではYES，ステップS114ではYESであるとする。
【０１４３】
この処理の繰り返しにおいて，仮境界線位置が検出された映像フレームが映像メモリ24に順次保持される(図14の符号F22…Fn参照)。
【０１４４】
さて，境界線位置検出部22が，入力された映像フレームに対して，ステップS102〜S112の処理を繰り返して，カウンタが所定数以上になると(ステップS111/YES)，ステップS115に移る。
【０１４５】
ステップS115:制御部221は，カウンタを初期化(0に設定)して，図17のステップS116に移る。
【０１４６】
ステップS116:制御部221は，境界線位置格納メモリ23の仮境界線位置格納領域231に格納した仮境界線位置を正境界線位置格納領域233に格納する。すなわち，制御部221は，仮境界線位置を正境界線位置として検出する。なお，制御部221は，境界線位置一時格納領域232に格納した仮境界線位置を正境界線位置格納領域233に格納してもよい。この格納される正境界線位置は，第1の実施の形態で説明したように，例えば，仮境界線と映像フレーム外枠との交点座標情報である。図10(B)の例では，垂直方向の境界線VBL1の交点座標情報としては座標VP1であり，水平方向の境界線HBL1の交点座標情報としては座標HP1である。
【０１４７】
ステップS117:映像切出し・拡大部25は，保持している全映像フレーム(図14の符号F21…Fn参照)から主映像MNを切り出して，拡大する。
【０１４８】
具体的には，境界線位置検出部22の制御部221が，境界線位置格納メモリ23の正境界線位置格納領域233に格納された正境界線位置に基づき，クロップ座標を検出する。そして，制御部221は，クロップ座標をスケーラー回路252に出力する。スケーラー回路252は，クロップ座標に基づき，主映像MNを切り出し，切り出した主映像MNを映像フレームPFの表示領域と同じ大きさに拡大する。図14の符号F31は，この主映像MNのみの映像フレームを示している。
【０１４９】
なお，映像切出し・拡大部25がクロップ座標の算出を実行してもよい。この場合，境界線位置検出部22の制御部221が，映像切出し・拡大部25の制御部251に境界線位置格納メモリ23の正境界線位置格納領域233に格納された正境界線位置を出力する。
【０１５０】
ステップS118:映像切出し・拡大部25の制御部251は，拡大された主映像MNの映像信号を記録部30に出力する。記録部30は，この映像信号をエンコードして記録媒体3に記録する。
【０１５１】
ステップS118の終了後，図15のステップS102に戻る。上記で説明した各ステップの処理を実行することにより，映像フレームにおいて正境界線位置を検出することができる。
【０１５２】
[正境界線位置検出後]
正境界線位置検出後は，この正境界線位置に基づき，主映像MNを決定する。
【０１５３】
具体的には，ステップS102に戻った後，映像検出部20’は，ステップS102〜S104で説明した処理を実行する。なお，ステップS102において，境界線位置検出部22は，入力部10から入力された映像フレームを映像メモリ24に格納する(図14の符号F11参照)。
【０１５４】
映像検出部20’は，主映像MNと副映像SBとの正境界線位置を既に格納しているので(図17のステップS116参照)，図15のステップS104はYESとなり，図18のステップS119に移る。
【０１５５】
ステップS119:境界線位置検出部22の制御部221は，入力された映像フレームF11において，正境界線位置に境界線があるか確認する。
【０１５６】
この確認の方法の一例を説明する。
【０１５７】
正境界線位置は，境界線と映像フレーム外枠との交点座標である。図10(B)の例では，図17のステップS116で説明したように，この交点座標は，座標VP1，座標HP1である。
【０１５８】
境界線位置検出部22のエッジ検出回路222は，入力された映像フレームF11における垂直方向の正境界線位置(座標VP1)まで，垂直境界線検出ラインVLを移動させる。そして，図9で説明したように，エッジ検出回路222は，移動後の垂直境界線検出ラインVLを挟んで隣接する画素VPaの輝度と画素VPbの輝度を検出する。そして，制御部221は，画素VPaの輝度と画素VPbの輝度との差が所定の閾値以上の場合に，垂直方向の正境界線位置に，主映像MNと副映像SBとの垂直方向の境界線が有ると判定する。
【０１５９】
同様に，エッジ検出回路222は，水平方向の正境界線位置(座標HP1)まで，水平境界線検出ラインHLを移動させる。そして，図9で説明したように，エッジ検出回路222は，移動後の水平境界線検出ラインHLを挟んで隣接する画素HPaの輝度と画素HPbの輝度を検出する。そして，制御部221は，画素HPaの輝度と画素HPbの輝度との差が所定の閾値以上の場合に，水平方向の正境界線位置に，主映像MNと副映像SBとの水平方向の境界線が有ると判定する。
【０１６０】
この確認処理が終了すると，ステップS120に移る。
【０１６１】
ステップS120:境界線位置検出部22の制御部221は，入力された映像フレームF11において，正境界線位置に境界線が有るか判定する。
【０１６２】
入力された映像フレームF11において，正境界線位置に境界線が有る場合(ステップS120/YES)，ステップS121に進む。
【０１６３】
ステップS121:映像切出し・拡大部25は，入力された映像フレームF11から主映像MNを切り出して，拡大する。
【０１６４】
ステップS122:映像切出し・拡大部25の制御部251は，拡大された映像フレームを図13の記録部30に出力する。記録部30は，拡大された映像フレームの映像信号をエンコードして，記録媒体3に記録する。
【０１６５】
そして，図15のステップS102に戻る。
【０１６６】
なお，図18のステップS120において，境界線位置検出部22が，入力された映像フレームにおいて，正境界線位置に境界線がない場合(ステップS120/NO)，ステップS123に移る。すなわち，1つの録画番組において，主映像MN，副映像SBの表示領域形状が変化した場合にステップS123に移る。
【０１６７】
ステップS123：境界線位置検出部22は，カウンタ，映像メモリ24を初期化して，図15のステップS105に戻る。ステップS105において，副映像の推定処理が実行される。
【０１６８】
なお， L字枠推定部21が，副映像SBの形状情報として“副映像有り”を生成しない場合(ステップS106/NO)，図17のステップS124に移る。
【０１６９】
また，図16のステップS108において，境界線位置検出部22が，仮境界線位置を検出しない場合(ステップS108/NO)，図17のステップS124に移る。
【０１７０】
また，図16のステップS114において，仮境界線位置格納領域231に格納した仮境界線位置と境界線位置一時格納領域232に格納した仮境界線位置が一致しない場合(ステップS114/NO)，図17のステップS124に移る。
【０１７１】
ステップS124:境界線位置検出部22は，入力された映像フレーム，保持している映像フレームを図13の記録部30に出力する。記録部30は，入力された映像フレーム，保持している映像フレームの映像信号をエンコードして，記録媒体3に記録する。そして，図15のステップS101に戻り，再度，正境界線位置の検出処理を実行する。
【０１７２】
以上の処理により，映像記録装置2は，主映像MNのみを記録媒体3に記録する。
【０１７３】
[効果]
本実施の形態の映像記録装置2によれば，主映像MNと主映像MNの周囲に表示されるL字型の副映像SBとを有する映像フレームPFから主映像MNのみを記録することができる。その結果，視聴者は，主映像MNのみを視聴することができ，利便性が向上する。
【０１７４】
<第3の実施の形態>
さて，第2の実施の形態の映像記録装置2は，主映像MNの映像信号のみを記録媒体3に記録した。第3の実施の形態では，番組録画時に主映像MNと副映像SBとの境界線すなわち正境界線位置を検出し，この境界線位置と，主映像MNと副映像SBとを有する映像フレームとを対応付けて記録する映像記録再生装置について説明する。この映像記録再生装置は，主映像MNと副映像SBとを有する録画映像を再生する際に，前記正境界線位置に基づき主映像MNを検出し，この主映像MNのみを再生表示する。
【０１７５】
図19は，第3の実施の形態の映像記録再生装置の一例ブロック図である。
【０１７６】
図20は，映像検出部20”の一例ブロック図である。
【０１７７】
映像記録再生装置4は，録画モードとして，副映像除去録画モードと副映像非再生モードとを有する。副映像除去録画モードとは，第2の実施の形態で説明したように，副映像SBを除去して主映像MNのみを記録する録画モードである。
【０１７８】
副映像非再生モードとは，主映像MNと副映像SBとを有する映像を記録する際に，正境界線位置を検出し，この映像と対応付けて正境界線位置を記録する録画モードである。そして，この映像を再生する際に，主映像のみを再生し副映像を再生しないモードである。この録画モードは，図示しない操作部の操作により切り替え可能である。
【０１７９】
映像記録再生装置4は，映像検出装置1”と，記録部30”と，再生部40とを有する。
【０１８０】
映像検出装置1”の映像検出部20”は，副映像非再生モードにおいて，主映像MNと副映像SBとを有する映像の記録時に，前記映像フレームの正境界線位置を検出する。
【０１８１】
記録部30”は，図13の記録部30で説明した機能に加えて，副映像非再生モードにおいて，主映像MNと副映像SBとを有する映像の記録時に，この映像の映像フレームPFの映像信号と，この映像フレームPFにおいて映像検出部20”が検出した正境界線位置とを対応付けて記録媒体3に記録する。
【０１８２】
すなわち，記録部30”は，主映像MNと副映像SBとを有する一連の映像フレームと，この映像フレームと対応付けられた正境界線位置とを有するデータを録画データとして記録媒体3に記録する。
【０１８３】
映像検出装置1”の入力部10”は，副映像非再生モードにおいて，記録媒体3に記録された前記録画データを読み出し，映像検出部20”に入力する。
【０１８４】
映像検出装置1の映像検出部20”は，副映像非再生モードにおいて，入力部10”から入力された録画データの映像フレームの主映像MNを検出する。このとき，映像検出部20”は，映像フレームと対応付けて記録された正境界線位置に基づき，この映像フレームの主映像MNを検出する。
【０１８５】
再生部40は，映像検出部20”が検出した主映像MNの映像信号を表示装置5に再生表示する。
【０１８６】
図21，図22を用いて映像記録再生装置4の映像記録処理を説明する。
【０１８７】
図21は，図17のステップS116の後に，新たに，ステップS131〜S133を追加したフロー図であり，図22は，図18のステップS120の後に，ステップS141，S142を追加したフロー図である。
【０１８８】
映像検出部20”は，図15，図16で説明した処理を実行し，図16のステップS115の処理の後，図21のステップS116に移る。ステップS116は，図17のステップS116と同じ処理であり，境界線位置格納メモリ23の仮境界線位置格納領域231に格納した仮境界線位置を正境界線位置格納領域233に格納する。次いで，ステップS131に移る。
【０１８９】
ステップS131:映像検出部20”は，録画動作モードが副映像除去モードか判定する。録画動作モードが副映像除去モードの場合には(ステップS131/YES)，ステップS117に移る。ステップS117以降の処理は，第2の実施の形態で説明したので省略する。動作モードが副映像非再生モードの場合には(ステップS131/NO)，ステップS132に移る。
【０１９０】
ステップS132：記録部30”は，入力された映像フレームおよび保持している映像フレームと，正境界線位置格納領域233に格納した正境界線位置とを対応付けて記録媒体3に記録する。
【０１９１】
具体的には，映像検出部20”の境界線位置検出部22”は，正境界線位置格納領域233に格納した正境界線位置を記録部30に出力する。さらに，映像検出部20”は，映像メモリ24に入力された映像フレームF11および映像フレームF21〜F2nを記録部30に出力する。
【０１９２】
記録部30は，映像フレームF11および映像フレームF21〜F2nと，正境界線位置とを対応付けて記録媒体3に記録する。すなわち，記録部30”は，主映像MNと副映像SBとを有する映像フレームF11，映像フレームF21〜F2nと，これら映像フレームに対応付けられた正境界線位置とを有するデータを録画データとして記録媒体3に記録する。
【０１９３】
そして，図15のステップのステップS102に戻る。
【０１９４】
次いで，映像検出部20”は，図15のステップS102〜図22のステップS119の処理を行い，図22のステップS120の判定処理を実行する。ステップS120では，図18のステップS120で説明したように，入力された映像フレームF11において，正境界線位置に境界線が有るか判定する。
【０１９５】
入力された映像フレームF11において，正境界線位置に境界線が有る場合には(ステップS120/YES)，ステップS141に移る。
【０１９６】
ステップS141:映像検出部20”は，録画動作モードが副映像除去モードか判定する。
【０１９７】
録画動作モードが副映像除去モードの場合には(ステップS141/YES)，ステップS121に移る。動作モードが副映像非再生モードの場合には(ステップS141/NO)，ステップS102に移る。ステップS102，ステップS121以降の処理は，第2の実施の形態で説明したので省略する。
【０１９８】
なお，ステップS120で，入力された映像フレームF11において，正境界線位置に境界線がないと判定された場合(ステップS120/NO)，ステップS142に移る。
【０１９９】
ステップS142においては，映像検出部20”は，ステップS141と同じ処理を実行し，ステップS141/YESの場合，ステップS123に移る。
【０２００】
ステップS123: 映像検出部20”は，カウンタ，境界線位置格納メモリ23を初期化して，図15のステップS105に戻る。
【０２０１】
なお，ステップS141/NOの場合，図15のステップS102に移る。
【０２０２】
図21，図22で説明した処理を実行することで，映像記録再生装置4は，映像フレームPFの映像信号と，この映像フレームPFにおいて映像検出部20”が検出した正境界線位置とを対応付けて記録媒体3に記録することができる。
【０２０３】
なお，1つの録画番組において，主映像MN，副映像SBの表示領域形状が変化する，すなわち，正境界線位置が変化することがある。この場合，記録部30は，変化前後の映像フレームを識別子，時間情報などにより特定する。そして，変化前の映像フレーム群と，この変化前の映像フレーム群の正境界線位置とを対応付けて記録し，変化後の映像フレーム群とこの変化後の映像フレーム群の正境界線位置とを対応付けて記録する。
【０２０４】
次に，再生処理について説明する。
【０２０５】
入力部10”は，記録媒体3に記録された録画データを読み出し，映像フレームをデコードし，この映像フレームと対応付けられて記録されている正境界線位置を映像検出部20”に入力する。
【０２０６】
映像検出部20”は，映像フレームを映像メモリ24に格納する。この格納した映像フレームが図20の符号F41で示す映像フレームである。また，映像検出部20”は，正境界線位置を正境界線位置格納領域233に格納する。
【０２０７】
映像検出部20”は，第2の実施の形態で説明したように主映像MNを切り出すためのクロップ座標を算出し，映像切出し・拡大部25の制御部251に出力する。スケーラー回路252は，映像フレームF41から主映像MNを切り出して，切り出した主映像MNを映像フレームPFの表示領域と同じ大きさに拡大する処理を実行する。
【０２０８】
映像切出し・拡大部25の制御部251は，拡大された主映像MNの映像信号を再生部40に出力する。
【０２０９】
再生部40は，この主映像MNの映像信号を表示装置5に出力し，表示装置5にて再生表示する。
【０２１０】
[効果]
本実施の形態の映像記録再生装置4によれば，主映像MNと副映像SBとを有する映像の再生時において，主映像MNのみを再生することができる。また，映像の録画時に，主映像MNと副映像SBとの正境界線位置を検出し，録画データとして記録している。そのため，この映像を再生する際に，正境界線位置の検出処理が不要になり，主映像のみを素早く表示することができる。
【０２１１】
以上説明したように，第2，第3の実施形態によれば，視聴者は主映像のみを視聴することができ，視聴者の利便性を向上させることができる。
【０２１２】
以上の実施の形態をまとめると，次の付記のとおりである。
【０２１３】
（付記１）
第1の映像と前記第1の映像の周囲に表示される第2の映像とを有する映像フレームの上辺部，下辺部，左辺部，右辺部における所定数のラインの画素の色情報の偏差に基づき，前記上辺部，前記下辺部，前記左辺部，前記右辺部の中から前記第2の映像が表示される前記映像フレームの辺部を推定する推定部と，
前記映像フレームの中心から前記推定した辺部に向けて境界線検出ラインを移動させて，前記境界線検出ラインの近傍における画素の輝度差に基づき前記第1の映像と前記第2の映像との境界線を検出し，前記検出した境界線に基づき前記第1の映像を検出する検出部とを有する
ことを特徴とする映像検出装置。 
【０２１４】
（付記２）
付記1において，
前記画素の色情報は，色差であって，
前記推定部は，前記映像フレームの辺部における所定数のラインの全画素の色差が同一，または，前記映像フレームの辺部における所定数のラインの全画素の中で色差が近似する画素の前記全画素に対する割合が第1の閾値以上の場合に，当該映像フレームの辺部を前記第2の映像が表示される映像フレームの辺部と推定する
ことを特徴とする映像検出装置。 
【０２１５】
（付記３）
付記1において，
前記推定部は，前記映像フレームの辺部における所定数のラインの一部分の画素の色差が同一，または，前記映像フレームの辺部における所定数のラインの一部分の画素の中で色差が近似する画素の前記一部分の画素に対する割合が第2の閾値以上の場合に，当該映像フレームの辺部を前記第2の映像が表示される前記映像フレームの辺部と推定する
ことを特徴とする映像検出装置。 
【０２１６】
(付記４)
付記1において，
前記検出部は，垂直方向の第1の境界線検出ラインを前記映像フレームの中心から前記推定した垂直方向の辺部に向けて水平方向に移動し，さらに，水平方向の第2の境界線検出ラインを前記映像フレームの中心から前記推定した水平方向の辺部に向けて垂直方向に移動し，前記第1，第2の境界線検出ラインの近傍における画素の輝度差に基づき，前記第1の映像と前記第2の映像との境界線を検出する
ことを特徴とする映像検出装置。 
【０２１７】
（付記５）
付記4において，
前記検出部は，複数の垂直方向の境界線を検出し，複数の水平方向の境界線を検出した場合，前記映像フレームのアスペクト比に基づき，前記複数の垂直方向の境界線の何れか1と前記複数の水平方向の境界線の何れか1を選択して前記アスペクト比を有する前記第1の映像を検出する
ことを特徴とする映像検出装置。
【０２１８】
（付記６）
付記4において，
前記検出部は，複数の垂直方向の境界線を検出し， 1つの水平方向の境界線を検出した場合，前記映像フレームのアスペクト比に基づき，前記複数の垂直方向の境界線の何れか1を選択して前記アスペクト比を有する前記第1の映像を検出する
ことを特徴とする映像検出装置。
【０２１９】
（付記７）
付記4において，
前記検出部は，複数の水平方向の境界線を検出し，1つの垂直方向の境界線を検出した場合，前記映像フレームのアスペクト比に基づき，前記複数の水平境界線の何れか1を選択して前記アスペクト比を有する前記第1の映像を検出する
ことを特徴とする映像検出装置。
【０２２０】
（付記８）
第1の映像と前記第1の映像の周囲に表示される第2の映像とを有する映像フレームの上辺部，下辺部，左辺部，右辺部における所定数のラインの画素の色情報の偏差に基づき，前記上辺部，前記下辺部，前記左辺部，前記右辺部の中から前記第2の映像が表示される前記映像フレームの辺部を推定する推定部と，
前記映像フレームの中心から前記推定した辺部に向けて境界線検出ラインを移動させて，前記境界線検出ラインの近傍における画素の輝度差に基づき前記第1の映像と前記第2の映像との境界線を検出し，前記検出した境界線に基づき前記第1の映像を検出する検出部とを有する映像検出装置と，
前記検出した前記第1の映像の映像信号を記録媒体に記録する記録部とを有する
ことを特徴とする映像記録装置。
【０２２１】
（付記９）
第1の映像と前記第1の映像の周囲に表示される第2の映像とを有する映像フレームの上辺部，下辺部，左辺部，右辺部における所定数のラインの画素の色情報の偏差に基づき，前記上辺部，前記下辺部，前記左辺部，前記右辺部の中から前記第2の映像が表示される前記映像フレームの辺部を推定する推定部と，
前記映像フレームの中心から前記推定した辺部に向けて境界線検出ラインを移動させて，前記境界線検出ラインの近傍における画素の輝度差に基づき前記第1の映像と前記第2の映像との境界線を検出し，前記検出した境界線に基づき前記第1の映像を検出する検出部とを有する映像検出装置と，
前記映像フレームの映像信号と当該映像フレームにおいて前記検出した境界線とを対応付けて記録媒体に記録する記録部と，
前記映像信号を再生する再生部とを有し，
前記検出部は，前記記録媒体に記録した前記映像フレームの映像信号と対応付けて記録した境界線に基づき，前記映像フレームにおける第1の映像を検出し，
前記再生部は，前記検出した第1の映像の映像信号を再生する
ことを特徴とする映像記録再生装置。
【０２２２】
（付記１０）
第1の映像と前記第1の映像の周囲に表示される第2の映像とを有する映像フレームの上辺部，下辺部，左辺部，右辺部における所定数のラインの画素の色情報の偏差に基づき，前記上辺部，前記下辺部，前記左辺部，前記右辺部の中から前記第2の映像が表示される前記映像フレームの辺部を推定し，
前記映像フレームの中心から前記推定した辺部に向けて境界線検出ラインを移動させて，前記境界線検出ラインの近傍における画素の輝度差に基づき前記第1の映像と前記第2の映像との境界線を検出し，
前記検出した境界線に基づき前記第1の映像を検出する
ことを特徴とする映像検出方法。
【０２２３】
（付記１１）
第1の映像と前記第1の映像の周囲に表示される第2の映像とを有する映像フレームの上辺部，下辺部，左辺部，右辺部における所定数のラインの画素の色情報の偏差に基づき，前記上辺部，前記下辺部，前記左辺部，前記右辺部の中から前記第2の映像が表示される前記映像フレームの辺部を推定し，
前記映像フレームの中心から前記推定した辺部に向けて境界線検出ラインを移動させて，前記境界線検出ラインの近傍における画素の輝度差に基づき前記第1の映像と前記第2の映像との境界線を検出し，
前記検出した境界線に基づき前記第1の映像を検出し，
前記検出した前記第1の映像の映像信号を記録媒体に記録する
ことを特徴とする映像記録方法。
【０２２４】
（付記１２）
第1の映像と前記第1の映像の周囲に表示される第2の映像とを有する映像フレームの上辺部，下辺部，左辺部，右辺部における所定数のラインの画素の色情報の偏差に基づき，前記上辺部，前記下辺部，前記左辺部，前記右辺部の中から前記第2の映像が表示される前記映像フレームの辺部を推定し，
前記映像フレームの中心から前記推定した辺部に向けて境界線検出ラインを移動させて，前記境界線検出ラインの近傍における画素の輝度差に基づき前記第1の映像と前記第2の映像との境界線を検出し，
前記映像フレームの映像信号と当該映像フレームにおいて前記検出した境界線とを対応付けて記録媒体に記録し，
前記記録媒体に記録した前記映像フレームの映像信号と対応付けて記録した境界線に基づき，前記映像フレームにおける第1の映像を検出し，
前記検出した第1の映像の映像信号を再生する
ことを特徴とする映像記録再生方法。
【符号の説明】
【０２２５】
1，1’，10”…映像検出装置，2…映像記録装置，3…記録媒体，4…映像記録再生装置，5…表示装置，10，10’，10”…入力部，20，20’，20”…映像検出部，21…L字枠推定部，211…制御部，212…輝度・色差検出回路，22…境界線位置検出部，221…制御部，222…エッジ検出回路，23…境界線位置格納メモリ，231…仮境界線位置格納領域，232…境界線位置一時格納領域，233…正境界線位置格納領域，24…映像メモリ，25…映像切出し・拡大部，251…制御部，252…スケーラー回路，30，30”…記録部，40…再生部，PF…映像フレーム，MN…主映像部分(第1の映像)，SB…副映像部分(第2の映像)，UP…上辺部，DP…下辺部，RP…右辺部，LP…左辺部，VL…垂直境界線検出ライン， HL…水平境界線検出ライン，VBL1…垂直方向の境界線，HBL1…水平方向の境界線，CP1…交点座標。 
【図２】
0005853667.tif 000002
【図３】
0005853667.tif 000003
【図６】
0005853667.tif 000004
【図７】
0005853667.tif 000005
【図８】
0005853667.tif 000006
【図９】
0005853667.tif 000007
【図１０】
0005853667.tif 000008
【図１１】
0005853667.tif 000009
【図１３】
0005853667.tif 000010
【図１４】
0005853667.tif 000011
【図１５】
0005853667.tif 000012
【図１６】
0005853667.tif 000013
【図１７】
0005853667.tif 000014
【図１８】
0005853667.tif 000015
【図１９】
0005853667.tif 000016
【図２０】
0005853667.tif 000017
【図２１】
0005853667.tif 000018
【図２２】
0005853667.tif 000019
【図１】
0005853667.tif 000020
【図４】
0005853667.tif 000021
【図５】
0005853667.tif 000022
【図１２】
0005853667.tif 000023