(57)【要約】番組分割装置（１００）は、第１受信部（２３）と、第２受信部（１３）と、位置検出部（１９）と、位置補正部（２１）と、を備える。第１受信部（２３）は、番組映像を示す第１映像データを受信する。第２受信部（１３）は、第１映像データが圧縮されて生成される第２映像データを受信する。第２映像データは、映像を分割すべき位置を示す位置情報を含む。位置検出部（１９）は、第２映像データから位置情報を抽出する。位置検出部（１９）は、さらに、位置情報に基づき生成した第２分割位置情報を出力する。位置補正部（２１）は、第１映像データを用いて第２分割位置情報を補正する。位置補正部（２１）は、さらに、第１映像データにおける分割位置を示す第１分割位置情報を生成する。
2017061103.tif 000002
【特許請求の範囲】
【請求項１】
番組映像を示す第１映像データを受信する第１受信部と、
前記第１映像データが圧縮されて生成され、かつ、映像を分割すべき位置を示す位置情報を含む第２映像データを受信する第２受信部と、
前記第２受信部で受信した前記第２映像データから前記位置情報を抽出し、前記位置情報に基づき生成した第２分割位置情報を出力する位置検出部と、
前記第１受信部で受信した前記第１映像データを用いて前記第２分割位置情報を補正して、前記第１映像データにおける分割位置を示す第１分割位置情報を生成する位置補正部と、を備える
番組分割装置。
【請求項２】
前記第１分割位置情報に基づいて前記第１映像データの一部を切り出すことにより分割映像データを生成する分割部をさらに備えた請求項１に記載の番組分割装置。
【請求項３】
前記第１映像データ及び前記第２映像データは、映像のタイミングを制御するための基準時刻情報を含み、
前記第１分割位置情報は、前記第１映像データにおける基準時刻情報で表され、
前記第２分割位置情報は、前記第２映像データにおける基準時刻情報で表される、
請求項１または２に記載の番組分割装置。
【請求項４】
前記位置補正部は、前記第１映像データの基準時刻情報と、前記第２映像データの基準時刻情報との差分に基づいて前記第２分割位置情報を補正する、請求項３に記載の番組分割装置。
【請求項５】
前記位置補正部は、前記第１映像データにおける隣接するフレーム画像間の画素値の類似度に基づいて前記第２分割位置情報を補正する、請求項１に記載の番組分割装置。
【請求項６】
前記位置補正部は、前記第１映像データにおいて、隣接するフレーム画像のデータが混在するフレーム画像を検出し、検出したフレーム画像のデータが、前記第１分割位置情報に基づいて前記第１映像データから分割される映像に含まれないように前記第２分割位置情報を補正する、請求項１に記載の番組分割装置。
【請求項７】
前記位置情報において映像を分割すべき位置が時刻で表わされる、請求項１に記載の番組分割装置。
【請求項８】
前記位置情報を外部から受信する位置受信部をさらに備えた、請求項１に記載の番組分割装置。
【請求項９】
前記第２映像データに含まれる前記位置情報は番組情報から取得される、請求項１に記載の番組分割装置。
【請求項１０】
前記第１映像データはＩピクチャのみで構成されるように符号されたデータである、請求項１に記載の番組分割装置。
【請求項１１】
前記第１映像データはイントラ予測符号化されたフレームのみで構成される、請求項１に記載の番組分割装置。
【請求項１２】
番組映像を示す第１映像データを受信し、
前記第１映像データが圧縮されて生成され、かつ、映像を分割すべき位置を示す位置情報を含む第２映像データを受信し、
前記第２映像データから前記位置情報を抽出し、前記位置情報に基づき生成した第２分割位置情報を出力し、
前記第１映像データを用いて前記第２分割位置情報を補正して、前記第１映像データにおける分割位置を示す第１分割位置情報を生成する、
番組分割方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、映像データ中から番組映像を分割する番組分割装置及び番組分割方法に関する。
【背景技術】
【０００２】
放送波で放送した番組をその放送後に、その番組を見逃した視聴者等が視聴できるようにその番組の映像データをインターネットで提供するサービスが実施されている。このようなサービスにおいては、放送された一連の映像データから、放送後にインターネットで提供される番組データを切り出す必要がある。【０００３】
このような一部の番組データの切り出しを行う際、従来、映像編集者が、切り出すべき番組データの開始、終了位置を判断し、切り出し位置を決定していたため、手間がかかっていた。【０００４】
特許文献１は、受信した番組データを番組部とＣＭ部に自動で分割してＨＤＤに記録するディジタルデータ記録再生装置を開示している。このディジタルデータ記録再生装置では、記録時において、受信信号分離部が、受信したＴＳを各番組データに分離する変換処理を行い、視聴する番組データを選択する。ＣＭ位置検出部は、ＴＳのヘッダー情報からＣＭ位置情報を検出する。データ分割部は、検出されたＣＭ位置情報から番組データを番組部とＣＭ部とに分割する。制御部は、ＣＭ部と番組部を各々独立したデータになるようにＨＤＤに記録する。このディジタルデータ記録再生装置では、番組データ内のヘッダー情報からＣＭ位置を検出し、検出したＣＭ位置に基づき番組データを番組部とＣＭ部に分割している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３７４４９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本開示は、元映像データから一部の番組を切り出した映像を自動で生成することを可能とする番組分割装置を提供する。
【課題を解決するための手段】
【０００７】
本開示の第１の態様において番組分割装置が提供される。番組分割装置は、第１受信部と、第２受信部と、位置検出部と、位置補正部と、を備える。第１受信部は、番組映像を示す第１映像データを受信する。第２受信部は、第１映像データが圧縮されて生成される第２映像データを受信する。第２映像データは、映像を分割すべき位置を示す位置情報を含む。位置検出部は、第２受信部で受信した第２映像データから位置情報を抽出し、位置情報に基づき生成した第２分割位置情報を出力する。位置補正部は、第１受信部で受信した第１映像データを用いて第２分割位置情報を補正することにより、第１映像データにおける分割位置を示す第１分割位置情報を生成する。【０００８】
本開示の第２の態様において番組分割方法が提供される。番組分割方法は、番組映像を示す第１映像データを受信する。さらに、第１映像データが圧縮されて生成される第２映像データを受信する。第２映像データは、映像を分割すべき位置を示す位置情報を含む。本開示に係る番組分割方法は、さらに、第２映像データから位置情報を抽出し、位置情報に基づき生成した第２分割位置情報を出力する。さらに、第１映像データを用いて第２分割位置情報を補正することにより、第１映像データにおける分割位置を示す第１分割位置情報を生成する。
【発明の効果】
【０００９】
本開示によれば、元映像データから、切り出す番組に関する映像の分割位置を示す情報を自動で検出する。その分割位置を用いることで番組について分割した映像を自動で生成することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】図１は、映像分割の概念を説明するための図である。
【図２】図２は、番組分割装置のハードウェア構成を示した図である。
【図３】図３は、番組分割装置の機能的な構成を示した図である。
【図４】図４は、映像分割処理を示すフローチャートである。
【図５】図５は、分割位置を示すＰＣＲ（Program Clock Reference）値の補正を説明するための図である。
【図６】図６は、第１及び第２映像間におけるＰＣＲ値の差分を説明するための図である。
【図７】図７は、第２の実施の形態における第２分割位置の補正処理を説明するための図である。
【図８】図８は、第３の実施の形態における第２分割位置の補正処理を説明するための図である。
【図９】図９は、第３の実施の形態における第２分割位置の補正処理を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１２】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【００１３】
（実施の形態１）
［１−１．構成］
図１を参照して、本実施形態の番組分割装置の概要を説明する。
【００１４】
番組分割装置１００は、映像ストリーム中の一部の番組映像を切り出して新たな映像（以下「分割映像」という）を生成する装置である。例えば、図１に示すように映像ストリームの中に複数の番組の映像が含まれている場合に、番組分割装置１００は、映像ストリームを番組単位で分割し、分割した番組毎の新たな動画ファイルを生成し、出力することができる。
【００１５】
［１−１−１．ハードウェア構成］
図２は、番組分割装置１００のハードウェア構成を示した図である。番組分割装置１００は、番組分割装置１００の全体動作を制御するコントローラ５１と、種々の情報を表示する表示部５４と、操作者の操作を受け付ける操作部５５と、ＲＡＭ５６と、データやプログラムを格納するデータ記憶部５７とを備える。さらに、番組分割装置１００は、デジタル放送波を受信するためのチューナ５８と、ネットワークと接続するためのネットワークインタフェース５９と、外部機器を接続するための機器インタフェース６０とを備える。
【００１６】
表示部５４は例えば、液晶ディスプレイや有機ＥＬディスプレイで構成される。操作部５５は操作者が操作を行うユーザインタフェースであり、キーボード、タッチパッド、タッチパネル、ボタン、スイッチ、マウス、タッチペン等、種々の操作部材を含む。
【００１７】
チューナ５８は、放送局から送出されたデジタル放送波を受信し、選局を行い１つのチャンネルのデータを受信する回路である。
【００１８】
ネットワークインタフェース５９は、無線または有線の通信回線を介して番組分割装置１００をＬＡＮ等のネットワークに接続するための回路（モジュール）である。ネットワークインタフェース５９は所定の通信規格に準拠した通信を行う。所定の通信規格には、ＩＥＥＥ８０２．３、ＩＥＥＥ８０２．１１ａ／１１ｂ／１１ｇ／１１ａｃ、ＷｉＦｉ、３Ｇ、ＬＴＥ等の通信規格が含まれる。
【００１９】
機器インタフェース６０は、番組分割装置１００に他の電子機器を接続するための回路（モジュール）である。機器インタフェース６０は、所定の通信規格にしたがい通信を行う。所定の通信規格には、ＩＥＥＥ８０２．３、ＵＳＢ、ＨＤＭＩ（登録商標）、ＩＥＥＥ１３９５、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が含まれる。
【００２０】
ＲＡＭ５６は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の半導体デバイスで構成されたメモリであり、データを一時的に記憶する。ＲＡＭ５６は、コントローラ５１の作業エリアとしても機能する。
【００２１】
データ記憶部５７は、所定の機能を実現するために必要なパラメータ、データ及びプログラム等を記憶する記録媒体である。データ記憶部５７は、例えば、ハードディスク（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）で構成される。
【００２２】
コントローラ５１は、ＣＰＵまたはＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を含み、所定のプログラム（ソフトウェア）を実行することで後述する所定の機能を実現する。所定のプログラムは例えば、データ記憶部５７に格納される。コントローラ５１の機能をハードウェア回路のみで実現してもよい。すなわち、コントローラ５１は、ＣＰＵ、ＭＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＡＳＳＰ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｓｔａｎｄａｒｄ  Ｐｒｏｄｕｃｔ）等で実現することができる。
【００２３】
［１−１−２．機能的な構成］
図３は、本実施形態の番組分割装置の機能的な構成を示した図である。
【００２４】
番組分割装置１００には、非圧縮動画データを含む第１映像データと、第１映像データを圧縮して生成された第２映像データとが入力される。
【００２５】
第１映像データは番組やＣＭの映像データを含む。第１映像データは、例えば、非圧縮デジタル映像データとデジタル音声データである。なお、第１映像データは圧縮動画データであってもよい。その場合、第１映像データは、フレーム間の差分情報を用いず、フレーム単位で復号可能な圧縮動画（イントラ予測符号化されたフレームのみ、すなわち、Ｉピクチャのみで構成された映像データ）であることが望ましい。すなわち、第１映像データは、他のフレーム画像を参照して復号するフレームを含まないような圧縮動画データであることが望ましい。また、圧縮動画データである場合、圧縮方式は可逆圧縮でも非可逆圧縮でもよい。
【００２６】
第２映像データは、第１映像データと同じコンテンツを示すデータを含む。送出装置２００は、第１映像データを、第１映像データよりも高い圧縮率で圧縮符号化することにより、第２映像データを生成する。例えば、第２映像データは、Ｉピクチャ、Ｂピクチャ及びＰピクチャを含むように構成される。
【００２７】
送出装置２００は、放送波用のデータ（ＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）形式のデータ）を生成する装置である。番組情報生成装置３００は、映像データに含まれる番組に関する番組情報（例えば、電子番組表（ＥＰＧ））を生成する装置である。送出装置２００は、第１映像データ(非圧縮動画)を入力し、第１映像データ（非圧縮動画データ）を例えばＭＰＥＧ４−ＡＶＣ／Ｈ．２６４のフォーマットにしたがい符号化することで圧縮動画データを生成する。さらに、送出装置２００は、生成した圧縮動画データに対して、番組情報生成装置３００により生成された番組情報（ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ））を多重化して、第２映像データを生成する。送出装置２００により生成された第２映像データは放送波で送出される。
【００２８】
ＩＰ変換装置４００は、送出装置２００と同様に第１映像データ(非圧縮動画)を入力する。ＩＰ変換装置４００は、入力用にＳＤＩ（Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）端子を有し、出力用にネットワークインタフェースを有する。ＩＰ変換装置４００は、第１映像データを示すＳＤＩ信号をＩＰパケット信号に変換し、番組分割装置１００の第１受信部２３へ出力する。
【００２９】
番組分割装置１００は、分割位置設定部１１０と、分割処理部１２０とを含む。分割位置設定部１１０は、第２映像データを用いて映像の分割位置を設定する。分割処理部１２０は、設定された分割位置にしたがい第１映像データを分割する。分割位置設定部１１０は、第２受信部１３と、分割位置受信部１５と、分割指示受信部１７と、分割位置検出部１９とを備える。分割処理部１２０は、分割位置補正部２１と、第１受信部２３と、映像分割部２５とを備える。
【００３０】
分割位置設定部１１０は、第２映像データ内に含まれる情報または番組分割装置１００の外部から受信した情報に基づき、映像の分割位置を設定する。例えば、分割位置設定部１１０は、第２映像データに含まれる番組情報、放送局間制御信号などに基づき、分割位置を設定する。あるいは、分割位置設定部１１０は、外部から受信した番組情報、または外部から受信した分割指示信号に基づいて分割位置を設定する。
【００３１】
分割位置設定部１１０において、第２受信部１３は、送出装置２００から送信された第２映像データを含むデジタル放送波を受信する。第２受信部１３は、デジタル放送波（ＴＳ）を受信するチューナ５８で実現できる。第２受信部１３は、送出装置２００に対応したチャンネルを選局して第２映像データを受信し、第２映像データから動画データと番組情報とを抽出する。第２受信部１３は、番組情報から番組毎の開始時刻と終了時刻を特定し、それらの時刻情報（時／分／秒）を動画データとともに出力する。番組情報は番組の開始時刻と終了時刻を含んでいるため、番組情報を参照することで、番組の開始時刻と終了時刻を特定することができる。なお、本実施形態では、第２受信部１３は、番組単位で映像を分割するように分割位置を抽出する。
【００３２】
分割指示受信部１７は、外部から、操作者により指定された分割位置を示す分割指示信号を受信する。分割指示信号において分割位置は、映像の再生時刻（時／分／秒）で表される。例えば、操作者が番組のダイジェスト版等を製作する際に、切り出す映像の区間（分割位置）を指定し、その指定に基づき分割指示信号が生成される。分割指示受信部１７は、分割指示信号が示す分割位置を特定する時刻情報（再生時刻）を出力する。なお、再生時刻は、映像の時系列を基準とした時刻情報である。
【００３３】
分割位置検出部１９は、第２受信部１３から受信した動画データと、第２受信部１３または分割指示受信部１７から受信した時刻情報とから分割位置のＰＣＲ(Program Clock Reference)値（基準時刻情報の一例）を第２分割位置として求める。そして、分割位置検出部１９は、第２分割位置を示す第２分割位置情報を出力する。分割位置検出部１９は、映像データに含まれるＰＣＲ値と再生時刻（時／分／秒）の対応関係を把握しており、これにより再生時刻に対応したＰＣＲ値を算出することができる。なお、基準時刻情報は、映像のタイミングに対応しており、映像のタイミングを制御するために用いられる。
【００３４】
また、分割位置受信部１５は、インターネット等のネットワークを介して番組情報生成装置３００から番組情報を受信する。分割位置受信部１５は、番組情報から番組毎の開始時刻と終了時刻を抽出して分割位置を特定する。この分割位置は再生時刻（時／分／秒）で表されている。分割位置受信部１５は、再生時刻で表された分割位置をＰＣＲ値に変換して第２分割位置を求め、第２分割位置を示す第２分割位置情報を出力する。分割位置受信部１５の機能はネットワークインタフェース５９とコントローラ５１で実現される。
【００３５】
分割処理部１２０において、第１受信部２３は、ＩＰ変換装置４００を介して非圧縮の動画データを含む第１映像データを受信する。第１受信部２３の機能はネットワークインタフェース５９を用いて実現される。
【００３６】
分割位置補正部２１は、分割位置設定部１１０（すなわち、分割位置受信部１５または分割位置検出部１９）から第２分割位置情報を受信する。また、分割位置補正部２１は、第１受信部２３から第１映像データを受信する。分割位置補正部２１は、第２分割位置情報を、第１映像データを用いて補正して、第１映像データにおける最終的な分割位置（以下「第１分割位置」という）を求める。
【００３７】
映像分割部２５は、第１分割位置にしたがい第１映像データから映像を分割し、分割映像の動画ファイルを生成し、出力する。
【００３８】
後述する番組分割装置１００の機能（すなわち、分割位置受信部１５、分割指示受信部１７、分割位置検出部１９、分割位置補正部２１及び映像分割部２５の機能）は、所定のプログラム及びそれを実行するコントローラ５１で実現される。
【００３９】
［１−２．動作］
以上のように構成された番組分割装置１００の動作を以下に説明する。
【００４０】
［１−２−１．映像分割処理］
図４のフローチャートを参照し、番組分割装置１００による映像分割処理を説明する。なお、図４のフローチャートは、第２受信部１３または分割指示受信部１７において分割位置を取得する場合の映像分割処理を示している。
【００４１】
番組分割装置１００は、第２受信部１３または分割指示受信部１７において分割位置を取得する（Ｓ１０）。この取得された分割位置（開始位置、終了位置）は映像の再生時刻（時／分／秒）で表されている。
【００４２】
第２受信部１３は、第２映像データに多重化された番組情報を抽出する。第２受信部１３は、番組の境界（開始時刻／終了時刻）を示す情報（時刻情報）を番組情報から取得し、分割位置検出部１９に送信する。番組情報は各番組の放送時間帯すなわち各番組の開始時刻と終了時刻を示す情報を含んでいるため、番組情報を参照することで、番組の開始時刻と終了時刻を特定することができる。第２受信部１３は、番組情報から番組の開始時刻と終了時刻を抽出する。
【００４３】
一方、分割指示受信部１７は、外部より分割位置を示す情報を示す分割指示信号を受信する。分割指示信号は、対象となる映像の再生時刻を基準として、分割位置を指定する。
【００４４】
分割位置検出部１９は、第２受信部１３または分割指示受信部１７から分割位置を示す時刻情報を受信し、受信した時刻情報に基づいて、番組毎に映像を分割するための分割位置を設定する。
【００４５】
具体的には、分割位置検出部１９は、第２受信部１３または分割指示受信部１７から、再生時刻を基準として示される分割位置（開始時刻／終了時刻）を受信する。分割位置検出部１９は、さらに、第２映像データに含まれる圧縮動画データのＰＣＲ値を参照して、分割位置に対応する再生時刻から、分割位置に対応するＰＣＲ値を求める。これにより分割位置がＰＣＲ値を用いて表わされる。ＰＣＲ値を用いることにより、分割位置を正確に指定することができ、映像分割の精度を向上できる。なお、ＰＣＲ(Program Clock Reference)は、３３ビット長、９０ｋＨｚで表現される基準時刻情報である。一般的に、ＰＣＲは、映像のタイミングを制御するために用いられる。ＰＣＲは実際の時間と下記の関係を有する。
【００４６】
1(PCR) = 1/90000（秒）
分割位置検出部１９は、ＰＣＲ値に換算した分割位置を第２分割位置として、分割処理部１２０（分割位置補正部２１）に送信する。
【００４７】
分割処理部１２０において分割位置補正部２１は、第２分割位置を補正して、第１映像データにおける分割位置（以下「第１分割位置」という）を求める（Ｓ１２）。具体的には、分割位置補正部２１は、第１受信部２３で受信した第１映像の非圧縮の動画データを用いて第２分割位置を補正することで、第１映像データにおける第１分割位置（ＰＣＲ値）を求める。そして、分割位置補正部２１は、第１分割位置を示す第１分割位置情報を映像分割部２５に送信する。
【００４８】
第１映像データと第２映像データは同じコンテンツの映像を示す。しかし、映像データに付加されるＰＣＲ値は図５に示すように第１映像データと第２映像データの間で異なった値となる。これは、第１映像データから第２映像データを生成するためのエンコード等の処理において、ＰＣＲ値にずれが生じることがあるためである。よって、第２映像データのＰＣＲ値で求められた第２分割位置を第１映像データに適用する際には、第２分割位置を補正して、第１映像データのＰＣＲ値（第１分割位置）に変換する必要がある。そこで、分割位置補正部２１は、第２分割位置を補正して、第１映像データにおける第１分割位置を求める。第２分割位置の補正処理の詳細については後述する。
【００４９】
映像分割部２５は、分割位置補正部２１から受信した第１分割位置（ＰＣＲ値）に基づき、第１映像データから映像を切り出して分割映像を生成する（Ｓ１３）。映像分割部２５は、分割した映像毎に動画ファイルとして出力する。
【００５０】
以上のようにして番組分割装置１００は、第２映像データに含まれる分割位置情報または外部から受信した分割指示信号に基づき、第１映像データから映像を切り出して分割映像を自動で生成することができる。なお、番組分割装置１００は、分割映像の動画ファイルを外部に出力したが、第１分割位置を示す第１分割位置情報のみを外部に出力するようにしてもよい。
【００５１】
ここで、上記の処理では、分割位置設定部１１０は、第２受信部１３または分割指示受信部１７で受信した情報に基づいて第２分割位置を設定した。番組分割装置１００は、これらの分割位置の入力系統に加えて、さらに、分割位置受信部１５により受信した情報に基づいても分割位置を設定することができる。
【００５２】
分割位置受信部１５は、番組情報生成装置３００から、インターネット等を介して番組情報を受信する。分割位置受信部１５は番組情報から番組の開始／終了時刻を抽出し、抽出した時刻に基づきＰＣＲ値を算出し、第２分割位置として分割位置補正部２１に出力する。
【００５３】
以上のように番組分割装置１００は、第１映像データにおいて分割映像を切り出す位置を、第２映像データに含まれる情報に基づいて自動で設定できる。また、映像情報の分割位置をＰＣＲ値で指定することで、映像分割の精度を向上できる。また、非圧縮動画データである第１映像データから分割映像を生成するため、高画質の分割映像を生成することができる。
【００５４】
［１−２−２．第２分割位置の補正］
分割位置補正部２１による第２分割位置（ＰＣＲ値）の補正動作について説明する。
【００５５】
図５は、第１映像データ及び第２映像データそれぞれにおけるＰＣＲ値を示した図である。第１映像データと第２映像データとは同じコンテンツを示すが、図５に示すように、第１映像データと第２映像データとの間でＰＣＲ値に差が生じることがある。すなわち、映像の同じフレームにおいて、第１映像データのＰＣＲ値と第２映像データのＰＣＲ値とが異なることがある。これは、第２映像データを第１映像データから生成する際に、エンコード処理や番組情報の多重化処理を行うためである。このため、第１映像データを分割する場合には、第１映像データにおけるＰＣＲ値で分割位置を特定する必要がある。しかし、第２映像データのＰＣＲの時間軸で求められた第２分割位置は、第２映像データにおけるＰＣＲ値で特定されている。そこで、第２分割位置に対応する第２映像データにおけるＰＣＲ値を補正して、対応する第１映像データのＰＣＲ値を求める必要がある。
【００５６】
例えば、図５の例では、第１映像データのＰＣＲ値に対する第２映像データのＰＣＲ値の差分は＋１０である。よって、第２分割位置の第２映像データにおけるＰＣＲ値（＝２００）から、その差分（＝１０）だけ減算する補正を行うことにより、第２分割位置の第１映像データにおけるＰＣＲ値（＝１９０）を求めることができる。
【００５７】
そこで、分割位置補正部２１は下記式に基づき、分割位置を示す第１映像データにおけるＰＣＲ値（pm1）を求める。
【００５８】
pm1 = pm2 - pdiff
ここで、pm2は第２分割位置の第２映像データにおけるＰＣＲ値である。pdiffは第１映像データのＰＣＲ値と、それに対応する第２映像データのＰＣＲ値との差分である。
【００５９】
第１映像データにおけるＰＣＲ値と、それに対応する第２映像データにおけるＰＣＲ値との差分であるpdiffは、下記のようにして求められる。
【００６０】
図６に示すように、送出装置２００から送信され、第２受信部１３が時刻t1に受信した第２映像データのＰＣＲ値をp1とする。また、第１受信部２３が時刻t2に受信した第１映像データのＰＣＲ値をp2とする。このとき、時刻t1における第１映像データのＰＣＲ値p1xは下記式で算出される。
【００６１】
p1x = p2-(t2-t1)×90000
よって、第１映像データと第２映像データのＰＣＲ値の差分pdiffは下記式で算出される。
【００６２】
pdiff = p1 - p1x = p1 + (t2-t1)×90000 - p2
なお、第１映像データと第２映像データ間のＰＣＲ値の差分pdiffは、時間によらず一定であるため、一度だけ算出すればよい。
【００６３】
以上のように、分割位置補正部２１は、第１映像データと第２映像データ間のＰＣＲ値の差分(pdiff)を用いて第２分割位置(pm2)を補正することにより、第１映像データにおける分割位置（pm1）を求める。分割位置補正部２１は、第１映像データと第２映像データ間のＰＣＲ値の差分(pdiff)を高い精度で求めることができる。これにより、第１映像データにおける分割位置を精度良く決定することができる。
【００６４】
［１−３．効果等］
以上のように本実施形態の番組分割装置１００は、第１受信部２３と、第２受信部１３と、分割位置検出部１９と、分割位置補正部２１と、を備える。第１受信部２３は、番組映像を示す第１映像データを受信する。第２受信部１３は、第２映像データを受信する。第２映像データは、第１映像データが圧縮されて生成され、かつ、映像を分割すべき位置を示す、番組の開始／終了時刻情報（位置情報の一例）を含む。分割位置検出部１９は、第２受信部１３で受信した第２映像データから番組の開始／終了時刻情報を抽出し、その情報に基づき第２分割位置情報を生成する。分割位置検出部１９は、さらに、第２分割位置情報を出力する。分割位置補正部２１は、第１受信部２３で受信した第１映像データを用いて第２分割位置情報を補正する。分割位置補正部２１は、さらに、第１映像データにおける分割位置を示す第１分割位置情報を生成する。
【００６５】
この構成により、第１映像データにおいて分割映像を切り出す位置を、第２映像データに含まれる情報に基づいて自動的に設定することができる。よって、この情報を用いることで、第１映像データを自動的に分割し、番組の分割映像を取得することができる。
【００６６】
さらに、番組分割装置１００は、第１分割位置情報に基づいて第１映像データの一部を切り出すことにより分割映像データを生成する映像分割部２５を備えてもよい。この構成により、第１分割位置情報に基づいて第１映像データを精度良く分割し、分割映像データを自動的に取得することができる。ここで、第１映像データは非圧縮動画データであるため、第２映像データと比較して高画質である。第１映像データから分割映像を切り出すことにより、高画質の分割映像を生成することができる。
【００６７】
また、第１及び第２分割位置情報は、それぞれ第１及び第２映像データにおけるＰＣＲ（基準時刻情報）で表されてもよい。第１及び第２分割位置情報を、このような基準時刻情報で表現することで、番組映像の分割位置を精度よく指定することができる。
【００６８】
なお、第１受信部２３が出力する第１映像データは、ＴＳである必要はなく、ＭＰ４、ＭＯＶなど、異なる伝送フォーマットでもよい。その場合、映像分割部２５または分割位置補正部２１はその伝送フォーマットを受信して、前述する分割動作または補正動作を行う。
【００６９】
また、分割位置検出部１９または分割位置受信部１５が出力する第２分割位置は、映像分割部２５が第１映像データを分割するのに十分な正確さがある表現形態であればＰＣＲでなくともよい。例えば、映像分割部２５が分割を行う絶対時刻や、第１映像データの伝送フォーマットのパケット数やパケットインデックスなど、分割位置を正確に指定できる表現であれば、本開示の思想を適用可能である。
【００７０】
なお、図３に示す機能部の全体またはその一部が専用ハードウェアにて実現されてもよい。
【００７１】
（実施の形態２）
本実施形態では、分割位置補正部２１による、第１分割位置を求めるための第２分割位置の補正動作の別の例を説明する。本実施形態の番組分割装置の構成及び動作は、分割位置補正部２１の動作以外は実施の形態１で示したものと同様である。
【００７２】
異なる番組間の境界または番組とＣＭ間の境界では、フレーム画像の内容（すなわち、フレーム画像間の画素値の差分）が大きく変化する。そこで、本実施形態では、図７に示すように、分割位置設定部１１０で求めた第２分割位置(pm2)の近傍範囲において隣接するフレーム画像間の画素値の差分が最も大きくなる位置（フレーム間の境界）を検出し、その位置を第１分割位置(pm1)に設定する。この方法によれば、より精度よく、番組間の境界や番組とＣＭ間の境界を分割位置として特定することができる。
【００７３】
具体的には、分割位置補正部２１は、分割位置設定部１１０により設定された第２分割位置(pm)を中心とした所定範囲（例えば、４フレーム）内において、隣接する２つのフレーム画像間の類似度を算出する。類似度は、隣接する２つのフレーム画像間の画素値の差分を求めることで算出する。そして、分割位置補正部２１は、フレーム画像間の画素値の類似度が最小となる（差分が最大となる）フレーム画像の間の境界を求め、求めた境界を第１映像データにおける分割位置（補正後の分割位置）(pm1)に設定する。
【００７４】
例えば、図７の例では、第２分割位置（pm2）を中心とした４フレーム分の範囲内（フレームn-1からフレームn+2）において、各々のフレームと、そのフレームに隣接するフレームとの間で画素値の差分を算出する。
【００７５】
図７の例では、番組１から番組２へ切り替わる前後のフレーム間（フレームn-1とフレームnとの間）で、画素値の差分が最大（すなわち、類似度が最小）となる。この画素値の差分が最大となるフレーム間を、番組と番組の境界である境界位置とする。その境界位置を第１映像データにおける分割位置すなわち第１分割位置(pm1)に設定している。
【００７６】
フレーム画像間の類似度すなわち画素値の差分は、例えば、各画素に対して輝度（Ｙ）、色差（Ｃｂ）、色差（Ｃｒ）のそれぞれについて差分の二乗和平方根を算出し、その総和を算出することで求めることができる。すなわち、フレーム間の画素値の差分(Diff)を下記式で算出する。
【００７７】
【数１】
2017061103.tif 000003
【００７８】
ここで、
y1(i,j)は、前フレーム内の画素(i,j)の輝度
y2(i,j)は、後フレーム内の画素(i,j)の輝度
u1(i,j)は、前フレーム内の画素(i,j)の色差(Cb)
u2(i,j)は、後フレーム内の画素(i,j)の色差(Cb)
v1(i,j)は、前フレーム内の画素(i,j)の色差(Cr)
v2(i,j)は、後フレーム内の画素(i,j)の色差(Cr)である。
【００７９】
以上のように本実施形態では、分割位置設定部１１０により設定された第２分割位置に基づく所定範囲内において隣接フレーム画像間の類似度（画素値の差分）を検出し、最小類似度（最大差分）を与える隣接フレーム画像を求め、それらのフレーム間の境界を第１分割位置に設定する。このように分割位置を設定することで、より精度よく、番組間の境界（または番組とＣＭの境界）を求めることができ、精度良く番組映像を分割することができる。
【００８０】
なお、本実施の形態の補正動作では、各画素の輝度及び色差情報の全てを用いて類似度を計算したが、輝度及び色差情報の一部のみに対する差分を計算して類似度を求めてもよい。これにより、補正動作に必要な計算量を低減できる。または、各画素がＲＧＢ値やアルファ値などによって表現される場合は、それらの値の一部または全部を利用して差分を計算して類似度を求めてもよい。
【００８１】
また、類似度（差分）の計算対象とする画素について、全画素を計算対象とするのではなく、特定部分の画素のみを計算対象としてもよい。例えば、画面全体における特定位置の部分に含まれる画素群、または、所定間隔毎に抽出した画素群に対してのみ計算を行っても良い。さらに、計算範囲を動的に変化させてもよい。例えば、計算途中において差異が明らかになった場合、全画素に対して計算を行わずに途中で類似度の計算を停止してもよい。これにより、補正動作に必要な計算量を低減できる。
【００８２】
（実施の形態３）
本実施形態では、分割位置補正部２１による、第１分割位置を求めるための第２分割位置（ＰＣＲ値）の補正動作のさらに別の例を説明する。本実施形態の番組分割装置の構成及び動作は、分割位置補正部２１の動作以外は実施の形態１で示したものと同様である。
【００８３】
異なる番組間の境界においては、境界直前のフレームの画像データと境界直後のフレームの画像データとが交互に入り交じったフレーム（以下「混合フレーム」という）が存在する場合も想定される。すなわち、混合フレームにおいては、前の番組の画像データと、後の番組の画像データが混在する。例えば、図８に示すように、番組１と番組２の境界にあるフレームｎは、奇数ラインにおいて番組１の画像データを含み、偶数ラインにおいて番組２の画像データを含む画像となる場合である。映像を分割する場合、分割映像にこのような２つの番組の画像データが混在した混合フレームが含まれると、分割映像に他の映像の画像データが含まれることになり、好ましくない。よって、このような混合フレームが存在する場合に、分割映像に混合フレームが含まれないように分割位置を設定することが好ましい。なお、このような混合フレームは番組とＣＭの境界においても生じ得る。
【００８４】
そこで、本実施形態の分割位置補正部２１は、分割位置設定部１１０により設定された第２分割位置の近傍範囲において混合フレームの存在を検出する。分割位置補正部２１は、さらに、混合フレームが検出された場合に、その混合フレームが分割映像に含まれないように第２分割位置を補正する。
【００８５】
混合フレームの検出方法について説明する。混合フレームの画像は、奇数ラインまたは偶数ラインのいずれか一方の画像が前フレームの画像と類似する。また、奇数ラインまたは偶数ラインの他方の画像が後フレームの画像と類似する画像となる。そこで、チェック対象とするフレーム画像の奇数ラインと偶数ラインのそれぞれについて、前後に隣接するフレームの画像との間で、画素値の差分を算出する。
【００８６】
２つのフレーム間の偶数ラインの画素値の差分Diff_eveは下記式で算出できる。
【００８７】
【数２】
2017061103.tif 000004
【００８８】
２つのフレーム間の奇数ラインの画素値の差分Diff_oddは下記式で算出する。
【００８９】
【数３】
2017061103.tif 000005
【００９０】
対象フレームが混合フレームでない場合、対象フレームとそれに前後に隣接するフレームのうちの少なくとも一方のフレームとの間で、奇数ラインの画素値の類似度（差分Diff_odd）と、偶数ラインの画素値の類似度（差分Diff_eve）とは同程度であると考えられる。一方、対象フレームが混合フレームである場合、対象フレームとそれに前後に隣接するフレームの双方との間で、奇数ラインの画素値の類似度（差分Diff_odd）と、偶数ラインの画素値の類似度（差分Diff_eve）との差が大きくなると考えられる。
【００９１】
例えば、対象フレームとそれに前後に隣接するフレームの双方との間で、奇数ラインの画素値の差分Diff_oddと、偶数ラインの画素値の差分Diff_eveとの差の絶対値が所定の閾値よりも大きいときに、対象フレームが混合フレームであると判断できる。または、対象フレームとそれに前後に隣接するフレームの双方との間で、奇数ラインの画素値の差分Diff_oddと、偶数ラインの画素値の差分Diff_eveとの比が所定の上限閾値よりも大きいときに（または所定の下限閾値よりも小さいときに）、対象フレームが混合フレームであると判断できる。
【００９２】
以上のように、奇数ラインの画素値の差分Diff_oddと、偶数ラインの画素値の差分Diff_eveとに基づき、対象フレームが混合フレームであるか否かを検出することが可能となる。
【００９３】
そして、分割位置補正部２１は、第２分割位置が示す位置にあるフレームが混合フレームである場合、次のようにして第２分割位置を補正して第１分割位置を求める。すなわち、図９に示すように、第２分割位置(pm2)が分割の開始位置を示す場合は、混合フレームの直後にあるフレームの位置(pm_r)が分割位置となるように第２分割位置を補正する。一方、第２分割位置が分割の終了位置を示す場合は、混合フレームの直前にあるフレームの位置(pm_f)が分割位置となるように、第２分割位置を補正する。
【００９４】
以上のようにして分割位置を補正することで、分割映像に混合フレームが含まれることがなくなり、所望の番組の画像データのみを分割映像に含めることができる。
【００９５】
なお、実施の形態１ないし実施の形態３では、それぞれ異なる分割位置補正部２１による第２分割位置の補正動作を説明したが、各実施形態の補正動作を適宜組み合わせて第２分割位置の補正動作を行っても良い。
【００９６】
なお、本実施の形態の補正動作では、各画素の輝度及び色差情報の全てを用いて類似度を計算したが、輝度及び色差情報の一部のみに対する差分を計算して類似度を求めてもよい。これにより、補正動作に必要な計算量を低減できる。または、各画素がＲＧＢ値やアルファ値などによって表現される場合は、それらの値の一部または全部を利用して差分を計算して類似度を求めてもよい。
【００９７】
また、類似度（差分）の計算対象とする画素について、全画素を計算対象とするのではなく、特定部分の画素のみを計算対象としてもよい。例えば、画面全体における特定位置の部分に含まれる画素群に対してのみ計算を行っても良い。さらに、計算範囲を動的に変化させてもよい。例えば、計算途中において差異が明らかになった場合、全画素に対して計算を行わずに途中で類似度の計算を停止してもよい。これにより、補正動作に必要な計算量を低減できる。
【００９８】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜３で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【００９９】
上記の実施形態では、第２映像データに含まれる番組情報に基づき分割位置を設定する例を説明したが、番組情報に代えて、第２映像データまたは分割指示信号に含まれる他の種類の情報に基づき分割位置を設定してもよい。
【０１００】
例えば以下の方法で番組とＣＭの境界を検出することができる。
【０１０１】
１）予め決められたＣＭ挿入スケジュールに基づき事前に検出する。この場合、ＣＭ挿入スケジュールは分割指示受信部１７に事前に入力されて保存され、分割指示受信部１７は、そのＣＭ挿入スケジュールに基づいて第１分割位置を出力する。
【０１０２】
２）第２映像データの伝送信号中に番組及びＣＭ位置を特定するための情報が入っている場合、分割位置検出部がその位置を検出し、それに基づいて第２分割位置を出力する。この場合、位置を特定するための情報は、標準化された放送局間制御信号が利用される場合や、独自フォーマットが活用される場合がある。
【０１０３】
３）放送局間制御信号に含まれるＣＭ位置情報を利用し、番組とＣＭの境界を検出する。この場合、放送局間制御信号は分割指示受信部１７により入力される。
【０１０４】
４）第２映像データの音声信号のモノラルステレオ判定によってＣＭと番組の境界を検出する。この場合、分割位置検出部がその位置を検出し、それに基づいて第２分割位置を出力する。
【０１０５】
上記の実施の形態１〜３で示した番組間の境界または番組とＣＭの境界の検出方法と、他の実施の形態で示した境界の検出方法とを適宜組み合わせてもよい。それにより、さらに境界の検出精度を向上させることができ、分割位置をより精度よく求めることができる。
【０１０６】
上記の実施形態において、番組分割装置１００は、デジタル放送波、ネットワーク等種々の経路を通じて、外部より、第１及び第２映像データ及び分割位置情報（例えば、番組情報）を受信した。しかし、第１及び第２映像データ及び分割位置情報（例えば、番組情報）を取得する経路は、上記の実施形態において示した経路に限定されるものではない。例えば、第２受信部１３は、デジタル放送波を介さずに第２映像データの映像信号を受信してもよい。また、分割位置受信部１５は、番組情報生成装置３００からネットワークを介さず、例えば、外部入力端子を介して直接に番組情報を受信してもよい。
【０１０７】
なお、番組分割装置のユーザが分割する位置を任意に選択し、選択された位置を第２分割位置としてもよい。この場合、ユーザが指定する位置が不正確であっても、実施の形態２および実施の形態３に開示される補正処理によって、適切な分割位置で分割映像を生成できる。
【０１０８】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１０９】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１１０】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１１１】
本開示によれば、元映像から自動で所望の番組映像を切り出すことを可能とする。よって、本開示は、元映像の一部の番組映像を切り出して新たな番組データを生成する映像処理装置に適用できる。
【符号の説明】
【０１１２】
１３  第２受信部
１５  分割位置受信部
１７  分割指示受信部
１９  分割位置検出部
２１  分割位置補正部
２３  第１受信部
２５  映像分割部
１００  番組分割装置
１１０  分割位置設定部
１２０  分割処理部
２００  送出装置
３００  番組情報生成装置
【図１】
2017061103.tif 000006
【図２】
2017061103.tif 000007
【図３】
2017061103.tif 000008
【図４】
2017061103.tif 000009
【図５】
2017061103.tif 000010
【図６】
2017061103.tif 000011
【図７】
2017061103.tif 000012
【図８】
2017061103.tif 000013
【図９】
2017061103.tif 000014
【手続補正書】
【提出日】平成30年4月5日(2018.4.5)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、映像データ中から番組映像を分割する番組分割装置及び番組分割方法に関する。
【背景技術】
【０００２】
放送波で放送した番組をその放送後に、その番組を見逃した視聴者等が視聴できるようにその番組の映像データをインターネットで提供するサービスが実施されている。このようなサービスにおいては、放送された一連の映像データから、放送後にインターネットで提供される番組データを切り出す必要がある。
【０００３】
このような一部の番組データの切り出しを行う際、従来、映像編集者が、切り出すべき番組データの開始、終了位置を判断し、切り出し位置を決定していたため、手間がかかっていた。
【０００４】
特許文献１は、受信した番組データを番組部とＣＭ部に自動で分割してＨＤＤに記録するディジタルデータ記録再生装置を開示している。このディジタルデータ記録再生装置では、記録時において、受信信号分離部が、受信したＴＳを各番組データに分離する変換処理を行い、視聴する番組データを選択する。ＣＭ位置検出部は、ＴＳのヘッダー情報からＣＭ位置情報を検出する。データ分割部は、検出されたＣＭ位置情報から番組データを番組部とＣＭ部とに分割する。制御部は、ＣＭ部と番組部を各々独立したデータになるようにＨＤＤに記録する。このディジタルデータ記録再生装置では、番組データ内のヘッダー情報からＣＭ位置を検出し、検出したＣＭ位置に基づき番組データを番組部とＣＭ部に分割している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３７４４９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本開示は、元映像データから一部の番組を切り出した映像を自動で生成することを可能とする番組分割装置を提供する。
【課題を解決するための手段】
【０００７】
本開示の第１の態様において番組分割装置が提供される。番組分割装置は、第１受信部と、第２受信部と、位置検出部と、位置補正部と、を備える。第１受信部は、番組映像を示す第１映像データを受信する。第２受信部は、第１映像データが圧縮されて生成される第２映像データを受信する。第２映像データは、映像を分割すべき位置を示す位置情報を含む。位置検出部は、第２受信部で受信した第２映像データから位置情報を抽出し、位置情報に基づき生成した第２分割位置情報を出力する。位置補正部は、第１受信部で受信した第１映像データを用いて第２分割位置情報を補正することにより、第１映像データにおける分割位置を示す第１分割位置情報を生成する。
【０００８】
本開示の第２の態様において番組分割方法が提供される。番組分割方法は、番組映像を示す第１映像データを受信する。さらに、第１映像データが圧縮されて生成される第２映像データを受信する。第２映像データは、映像を分割すべき位置を示す位置情報を含む。本開示に係る番組分割方法は、さらに、第２映像データから位置情報を抽出し、位置情報に基づき生成した第２分割位置情報を出力する。さらに、第１映像データを用いて第２分割位置情報を補正することにより、第１映像データにおける分割位置を示す第１分割位置情報を生成する。
【発明の効果】
【０００９】
本開示によれば、元映像データから、切り出す番組に関する映像の分割位置を示す情報を自動で検出する。その分割位置を用いることで番組について分割した映像を自動で生成することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】図１は、映像分割の概念を説明するための図である。
【図２】図２は、番組分割装置のハードウェア構成を示した図である。
【図３】図３は、番組分割装置の機能的な構成を示した図である。
【図４】図４は、映像分割処理を示すフローチャートである。
【図５】図５は、分割位置を示すＰＣＲ（Program Clock Reference）値の補正を説明するための図である。
【図６】図６は、第１及び第２映像間におけるＰＣＲ値の差分を説明するための図である。
【図７】図７は、第２の実施の形態における第２分割位置の補正処理を説明するための図である。
【図８】図８は、第３の実施の形態における第２分割位置の補正処理を説明するための図である。
【図９】図９は、第３の実施の形態における第２分割位置の補正処理を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１２】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１３】
（実施の形態１）
［１−１．構成］
図１を参照して、本実施形態の番組分割装置の概要を説明する。
【００１４】
番組分割装置１００は、映像ストリーム中の一部の番組映像を切り出して新たな映像（以下「分割映像」という）を生成する装置である。例えば、図１に示すように映像ストリームの中に複数の番組の映像が含まれている場合に、番組分割装置１００は、映像ストリームを番組単位で分割し、分割した番組毎の新たな動画ファイルを生成し、出力することができる。
【００１５】
［１−１−１．ハードウェア構成］
図２は、番組分割装置１００のハードウェア構成を示した図である。番組分割装置１００は、番組分割装置１００の全体動作を制御するコントローラ５１と、種々の情報を表示する表示部５４と、操作者の操作を受け付ける操作部５５と、ＲＡＭ５６と、データやプログラムを格納するデータ記憶部５７とを備える。さらに、番組分割装置１００は、デジタル放送波を受信するためのチューナ５８と、ネットワークと接続するためのネットワークインタフェース５９と、外部機器を接続するための機器インタフェース６０とを備える。
【００１６】
表示部５４は例えば、液晶ディスプレイや有機ＥＬディスプレイで構成される。操作部５５は操作者が操作を行うユーザインタフェースであり、キーボード、タッチパッド、タッチパネル、ボタン、スイッチ、マウス、タッチペン等、種々の操作部材を含む。
【００１７】
チューナ５８は、放送局から送出されたデジタル放送波を受信し、選局を行い１つのチャンネルのデータを受信する回路である。
【００１８】
ネットワークインタフェース５９は、無線または有線の通信回線を介して番組分割装置１００をＬＡＮ等のネットワークに接続するための回路（モジュール）である。ネットワークインタフェース５９は所定の通信規格に準拠した通信を行う。所定の通信規格には、ＩＥＥＥ８０２．３、ＩＥＥＥ８０２．１１ａ／１１ｂ／１１ｇ／１１ａｃ、ＷｉＦｉ、３Ｇ、ＬＴＥ等の通信規格が含まれる。
【００１９】
機器インタフェース６０は、番組分割装置１００に他の電子機器を接続するための回路（モジュール）である。機器インタフェース６０は、所定の通信規格にしたがい通信を行う。所定の通信規格には、ＩＥＥＥ８０２．３、ＵＳＢ、ＨＤＭＩ（登録商標）、ＩＥＥＥ１３９５、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が含まれる。
【００２０】
ＲＡＭ５６は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の半導体デバイスで構成されたメモリであり、データを一時的に記憶する。ＲＡＭ５６は、コントローラ５１の作業エリアとしても機能する。
【００２１】
データ記憶部５７は、所定の機能を実現するために必要なパラメータ、データ及びプログラム等を記憶する記録媒体である。データ記憶部５７は、例えば、ハードディスク（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）で構成される。
【００２２】
コントローラ５１は、ＣＰＵまたはＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を含み、所定のプログラム（ソフトウェア）を実行することで後述する所定の機能を実現する。所定のプログラムは例えば、データ記憶部５７に格納される。コントローラ５１の機能をハードウェア回路のみで実現してもよい。すなわち、コントローラ５１は、ＣＰＵ、ＭＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＡＳＳＰ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｓｔａｎｄａｒｄ  Ｐｒｏｄｕｃｔ）等で実現することができる。
【００２３】
［１−１−２．機能的な構成］
図３は、本実施形態の番組分割装置の機能的な構成を示した図である。
【００２４】
番組分割装置１００には、非圧縮動画データを含む第１映像データと、第１映像データを圧縮して生成された第２映像データとが入力される。
【００２５】
第１映像データは番組やＣＭの映像データを含む。第１映像データは、例えば、非圧縮デジタル映像データとデジタル音声データである。なお、第１映像データは圧縮動画データであってもよい。その場合、第１映像データは、フレーム間の差分情報を用いず、フレーム単位で復号可能な圧縮動画（イントラ予測符号化されたフレームのみ、すなわち、Ｉピクチャのみで構成された映像データ）であることが望ましい。すなわち、第１映像データは、他のフレーム画像を参照して復号するフレームを含まないような圧縮動画データであることが望ましい。また、圧縮動画データである場合、圧縮方式は可逆圧縮でも非可逆圧縮でもよい。
【００２６】
第２映像データは、第１映像データと同じコンテンツを示すデータを含む。送出装置２００は、第１映像データを、第１映像データよりも高い圧縮率で圧縮符号化することにより、第２映像データを生成する。例えば、第２映像データは、Ｉピクチャ、Ｂピクチャ及びＰピクチャを含むように構成される。
【００２７】
送出装置２００は、放送波用のデータ（ＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）形式のデータ）を生成する装置である。番組情報生成装置３００は、映像データに含まれる番組に関する番組情報（例えば、電子番組表（ＥＰＧ））を生成する装置である。送出装置２００は、第１映像データ(非圧縮動画)を入力し、第１映像データ（非圧縮動画データ）を例えばＭＰＥＧ４−ＡＶＣ／Ｈ．２６４のフォーマットにしたがい符号化することで圧縮動画データを生成する。さらに、送出装置２００は、生成した圧縮動画データに対して、番組情報生成装置３００により生成された番組情報（ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ））を多重化して、第２映像データを生成する。送出装置２００により生成された第２映像データは放送波で送出される。
【００２８】
ＩＰ変換装置４００は、送出装置２００と同様に第１映像データ(非圧縮動画)を入力する。ＩＰ変換装置４００は、入力用にＳＤＩ（Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）端子を有し、出力用にネットワークインタフェースを有する。ＩＰ変換装置４００は、第１映像データを示すＳＤＩ信号をＩＰパケット信号に変換し、番組分割装置１００の第１受信部２３へ出力する。
【００２９】
番組分割装置１００は、分割位置設定部１１０と、分割処理部１２０とを含む。分割位置設定部１１０は、第２映像データを用いて映像の分割位置を設定する。分割処理部１２０は、設定された分割位置にしたがい第１映像データを分割する。分割位置設定部１１０は、第２受信部１３と、分割位置受信部１５と、分割指示受信部１７と、分割位置検出部１９とを備える。分割処理部１２０は、分割位置補正部２１と、第１受信部２３と、映像分割部２５とを備える。
【００３０】
分割位置設定部１１０は、第２映像データ内に含まれる情報または番組分割装置１００の外部から受信した情報に基づき、映像の分割位置を設定する。例えば、分割位置設定部１１０は、第２映像データに含まれる番組情報、放送局間制御信号などに基づき、分割位置を設定する。あるいは、分割位置設定部１１０は、外部から受信した番組情報、または外部から受信した分割指示信号に基づいて分割位置を設定する。
【００３１】
分割位置設定部１１０において、第２受信部１３は、送出装置２００から送信された第２映像データを含むデジタル放送波を受信する。第２受信部１３は、デジタル放送波（ＴＳ）を受信するチューナ５８で実現できる。第２受信部１３は、送出装置２００に対応したチャンネルを選局して第２映像データを受信し、第２映像データから動画データと番組情報とを抽出する。第２受信部１３は、番組情報から番組毎の開始時刻と終了時刻を特定し、それらの時刻情報（時／分／秒）を動画データとともに出力する。番組情報は番組の開始時刻と終了時刻を含んでいるため、番組情報を参照することで、番組の開始時刻と終了時刻を特定することができる。なお、本実施形態では、第２受信部１３は、番組単位で映像を分割するように分割位置を抽出する。
【００３２】
分割指示受信部１７は、外部から、操作者により指定された分割位置を示す分割指示信号を受信する。分割指示信号において分割位置は、映像の再生時刻（時／分／秒）で表される。例えば、操作者が番組のダイジェスト版等を製作する際に、切り出す映像の区間（分割位置）を指定し、その指定に基づき分割指示信号が生成される。分割指示受信部１７は、分割指示信号が示す分割位置を特定する時刻情報（再生時刻）を出力する。なお、再生時刻は、映像の時系列を基準とした時刻情報である。
【００３３】
分割位置検出部１９は、第２受信部１３から受信した動画データと、第２受信部１３または分割指示受信部１７から受信した時刻情報とから分割位置のＰＣＲ(Program Clock Reference)値（基準時刻情報の一例）を第２分割位置として求める。そして、分割位置検出部１９は、第２分割位置を示す第２分割位置情報を出力する。分割位置検出部１９は、映像データに含まれるＰＣＲ値と再生時刻（時／分／秒）の対応関係を把握しており、これにより再生時刻に対応したＰＣＲ値を算出することができる。なお、基準時刻情報は、映像のタイミングに対応しており、映像のタイミングを制御するために用いられる。
【００３４】
また、分割位置受信部１５は、インターネット等のネットワークを介して番組情報生成装置３００から番組情報を受信する。分割位置受信部１５は、番組情報から番組毎の開始時刻と終了時刻を抽出して分割位置を特定する。この分割位置は再生時刻（時／分／秒）で表されている。分割位置受信部１５は、再生時刻で表された分割位置をＰＣＲ値に変換して第２分割位置を求め、第２分割位置を示す第２分割位置情報を出力する。分割位置受信部１５の機能はネットワークインタフェース５９とコントローラ５１で実現される。
【００３５】
分割処理部１２０において、第１受信部２３は、ＩＰ変換装置４００を介して非圧縮の動画データを含む第１映像データを受信する。第１受信部２３の機能はネットワークインタフェース５９を用いて実現される。
【００３６】
分割位置補正部２１は、分割位置設定部１１０（すなわち、分割位置受信部１５または分割位置検出部１９）から第２分割位置情報を受信する。また、分割位置補正部２１は、第１受信部２３から第１映像データを受信する。分割位置補正部２１は、第２分割位置情報を、第１映像データを用いて補正して、第１映像データにおける最終的な分割位置（以下「第１分割位置」という）を求める。
【００３７】
映像分割部２５は、第１分割位置にしたがい第１映像データから映像を分割し、分割映像の動画ファイルを生成し、出力する。
【００３８】
後述する番組分割装置１００の機能（すなわち、分割位置受信部１５、分割指示受信部１７、分割位置検出部１９、分割位置補正部２１及び映像分割部２５の機能）は、所定のプログラム及びそれを実行するコントローラ５１で実現される。
【００３９】
［１−２．動作］
以上のように構成された番組分割装置１００の動作を以下に説明する。
【００４０】
［１−２−１．映像分割処理］
図４のフローチャートを参照し、番組分割装置１００による映像分割処理を説明する。なお、図４のフローチャートは、第２受信部１３または分割指示受信部１７において分割位置を取得する場合の映像分割処理を示している。
【００４１】
番組分割装置１００は、第２受信部１３または分割指示受信部１７において分割位置を取得する（Ｓ１０）。この取得された分割位置（開始位置、終了位置）は映像の再生時刻（時／分／秒）で表されている。
【００４２】
第２受信部１３は、第２映像データに多重化された番組情報を抽出する。第２受信部１３は、番組の境界（開始時刻／終了時刻）を示す情報（時刻情報）を番組情報から取得し、分割位置検出部１９に送信する。番組情報は各番組の放送時間帯すなわち各番組の開始時刻と終了時刻を示す情報を含んでいるため、番組情報を参照することで、番組の開始時刻と終了時刻を特定することができる。第２受信部１３は、番組情報から番組の開始時刻と終了時刻を抽出する。
【００４３】
一方、分割指示受信部１７は、外部より分割位置を示す情報を示す分割指示信号を受信する。分割指示信号は、対象となる映像の再生時刻を基準として、分割位置を指定する。
【００４４】
分割位置検出部１９は、第２受信部１３または分割指示受信部１７から分割位置を示す時刻情報を受信し、受信した時刻情報に基づいて、番組毎に映像を分割するための分割位置を設定する。
【００４５】
具体的には、分割位置検出部１９は、第２受信部１３または分割指示受信部１７から、再生時刻を基準として示される分割位置（開始時刻／終了時刻）を受信する。分割位置検出部１９は、さらに、第２映像データに含まれる圧縮動画データのＰＣＲ値を参照して、分割位置に対応する再生時刻から、分割位置に対応するＰＣＲ値を求める。これにより分割位置がＰＣＲ値を用いて表わされる。ＰＣＲ値を用いることにより、分割位置を正確に指定することができ、映像分割の精度を向上できる。なお、ＰＣＲ(Program Clock Reference)は、３３ビット長、９０ｋＨｚで表現される基準時刻情報である。一般的に、ＰＣＲは、映像のタイミングを制御するために用いられる。ＰＣＲは実際の時間と下記の関係を有する。
【００４６】
1(PCR) = 1/90000（秒）
分割位置検出部１９は、ＰＣＲ値に換算した分割位置を第２分割位置として、分割処理部１２０（分割位置補正部２１）に送信する。
【００４７】
分割処理部１２０において分割位置補正部２１は、第２分割位置を補正して、第１映像データにおける分割位置（以下「第１分割位置」という）を求める（Ｓ１２）。具体的には、分割位置補正部２１は、第１受信部２３で受信した第１映像の非圧縮の動画データを用いて第２分割位置を補正することで、第１映像データにおける第１分割位置（ＰＣＲ値）を求める。そして、分割位置補正部２１は、第１分割位置を示す第１分割位置情報を映像分割部２５に送信する。
【００４８】
第１映像データと第２映像データは同じコンテンツの映像を示す。しかし、映像データに付加されるＰＣＲ値は図５に示すように第１映像データと第２映像データの間で異なった値となる。これは、第１映像データから第２映像データを生成するためのエンコード等の処理において、ＰＣＲ値にずれが生じることがあるためである。よって、第２映像データのＰＣＲ値で求められた第２分割位置を第１映像データに適用する際には、第２分割位置を補正して、第１映像データのＰＣＲ値（第１分割位置）に変換する必要がある。そこで、分割位置補正部２１は、第２分割位置を補正して、第１映像データにおける第１分割位置を求める。第２分割位置の補正処理の詳細については後述する。
【００４９】
映像分割部２５は、分割位置補正部２１から受信した第１分割位置（ＰＣＲ値）に基づき、第１映像データから映像を切り出して分割映像を生成する（Ｓ１３）。映像分割部２５は、分割した映像毎に動画ファイルとして出力する。
【００５０】
以上のようにして番組分割装置１００は、第２映像データに含まれる分割位置情報または外部から受信した分割指示信号に基づき、第１映像データから映像を切り出して分割映像を自動で生成することができる。なお、番組分割装置１００は、分割映像の動画ファイルを外部に出力したが、第１分割位置を示す第１分割位置情報のみを外部に出力するようにしてもよい。
【００５１】
ここで、上記の処理では、分割位置設定部１１０は、第２受信部１３または分割指示受信部１７で受信した情報に基づいて第２分割位置を設定した。番組分割装置１００は、これらの分割位置の入力系統に加えて、さらに、分割位置受信部１５により受信した情報に基づいても分割位置を設定することができる。
【００５２】
分割位置受信部１５は、番組情報生成装置３００から、インターネット等を介して番組情報を受信する。分割位置受信部１５は番組情報から番組の開始／終了時刻を抽出し、抽出した時刻に基づきＰＣＲ値を算出し、第２分割位置として分割位置補正部２１に出力する。
【００５３】
以上のように番組分割装置１００は、第１映像データにおいて分割映像を切り出す位置を、第２映像データに含まれる情報に基づいて自動で設定できる。また、映像情報の分割位置をＰＣＲ値で指定することで、映像分割の精度を向上できる。また、非圧縮動画データである第１映像データから分割映像を生成するため、高画質の分割映像を生成することができる。
【００５４】
［１−２−２．第２分割位置の補正］
分割位置補正部２１による第２分割位置（ＰＣＲ値）の補正動作について説明する。
【００５５】
図５は、第１映像データ及び第２映像データそれぞれにおけるＰＣＲ値を示した図である。第１映像データと第２映像データとは同じコンテンツを示すが、図５に示すように、第１映像データと第２映像データとの間でＰＣＲ値に差が生じることがある。すなわち、映像の同じフレームにおいて、第１映像データのＰＣＲ値と第２映像データのＰＣＲ値とが異なることがある。これは、第２映像データを第１映像データから生成する際に、エンコード処理や番組情報の多重化処理を行うためである。このため、第１映像データを分割する場合には、第１映像データにおけるＰＣＲ値で分割位置を特定する必要がある。しかし、第２映像データのＰＣＲの時間軸で求められた第２分割位置は、第２映像データにおけるＰＣＲ値で特定されている。そこで、第２分割位置に対応する第２映像データにおけるＰＣＲ値を補正して、対応する第１映像データのＰＣＲ値を求める必要がある。
【００５６】
例えば、図５の例では、第１映像データのＰＣＲ値に対する第２映像データのＰＣＲ値の差分は＋１０である。よって、第２分割位置の第２映像データにおけるＰＣＲ値（＝２００）から、その差分（＝１０）だけ減算する補正を行うことにより、第２分割位置の第１映像データにおけるＰＣＲ値（＝１９０）を求めることができる。
【００５７】
そこで、分割位置補正部２１は下記式に基づき、分割位置を示す第１映像データにおけるＰＣＲ値（pm1）を求める。
【００５８】
pm1 = pm2 - pdiff
ここで、pm2は第２分割位置の第２映像データにおけるＰＣＲ値である。pdiffは第１映像データのＰＣＲ値と、それに対応する第２映像データのＰＣＲ値との差分である。
【００５９】
第１映像データにおけるＰＣＲ値と、それに対応する第２映像データにおけるＰＣＲ値との差分であるpdiffは、下記のようにして求められる。
【００６０】
図６に示すように、送出装置２００から送信され、第２受信部１３が時刻t1に受信した第２映像データのＰＣＲ値をp1とする。また、第１受信部２３が時刻t2に受信した第１映像データのＰＣＲ値をp2とする。このとき、時刻t1における第１映像データのＰＣＲ値p1xは下記式で算出される。
【００６１】
p1x = p2-(t2-t1)×90000
よって、第１映像データと第２映像データのＰＣＲ値の差分pdiffは下記式で算出される。
【００６２】
pdiff = p1 - p1x = p1 + (t2-t1)×90000 - p2
なお、第１映像データと第２映像データ間のＰＣＲ値の差分pdiffは、時間によらず一定であるため、一度だけ算出すればよい。
【００６３】
以上のように、分割位置補正部２１は、第１映像データと第２映像データ間のＰＣＲ値の差分(pdiff)を用いて第２分割位置(pm2)を補正することにより、第１映像データにおける分割位置（pm1）を求める。分割位置補正部２１は、第１映像データと第２映像データ間のＰＣＲ値の差分(pdiff)を高い精度で求めることができる。これにより、第１映像データにおける分割位置を精度良く決定することができる。
【００６４】
［１−３．効果等］
以上のように本実施形態の番組分割装置１００は、第１受信部２３と、第２受信部１３と、分割位置検出部１９と、分割位置補正部２１と、を備える。第１受信部２３は、番組映像を示す第１映像データを受信する。第２受信部１３は、第２映像データを受信する。第２映像データは、第１映像データが圧縮されて生成され、かつ、映像を分割すべき位置を示す、番組の開始／終了時刻情報（位置情報の一例）を含む。分割位置検出部１９は、第２受信部１３で受信した第２映像データから番組の開始／終了時刻情報を抽出し、その情報に基づき第２分割位置情報を生成する。分割位置検出部１９は、さらに、第２分割位置情報を出力する。分割位置補正部２１は、第１受信部２３で受信した第１映像データを用いて第２分割位置情報を補正する。分割位置補正部２１は、さらに、第１映像データにおける分割位置を示す第１分割位置情報を生成する。
【００６５】
この構成により、第１映像データにおいて分割映像を切り出す位置を、第２映像データに含まれる情報に基づいて自動的に設定することができる。よって、この情報を用いることで、第１映像データを自動的に分割し、番組の分割映像を取得することができる。
【００６６】
さらに、番組分割装置１００は、第１分割位置情報に基づいて第１映像データの一部を切り出すことにより分割映像データを生成する映像分割部２５を備えてもよい。この構成により、第１分割位置情報に基づいて第１映像データを精度良く分割し、分割映像データを自動的に取得することができる。ここで、第１映像データは非圧縮動画データであるため、第２映像データと比較して高画質である。第１映像データから分割映像を切り出すことにより、高画質の分割映像を生成することができる。
【００６７】
また、第１及び第２分割位置情報は、それぞれ第１及び第２映像データにおけるＰＣＲ（基準時刻情報）で表されてもよい。第１及び第２分割位置情報を、このような基準時刻情報で表現することで、番組映像の分割位置を精度よく指定することができる。
【００６８】
なお、第１受信部２３が出力する第１映像データは、ＴＳである必要はなく、ＭＰ４、ＭＯＶなど、異なる伝送フォーマットでもよい。その場合、映像分割部２５または分割位置補正部２１はその伝送フォーマットを受信して、前述する分割動作または補正動作を行う。
【００６９】
また、分割位置検出部１９または分割位置受信部１５が出力する第２分割位置は、映像分割部２５が第１映像データを分割するのに十分な正確さがある表現形態であればＰＣＲでなくともよい。例えば、映像分割部２５が分割を行う絶対時刻や、第１映像データの伝送フォーマットのパケット数やパケットインデックスなど、分割位置を正確に指定できる表現であれば、本開示の思想を適用可能である。
【００７０】
なお、図３に示す機能部の全体またはその一部が専用ハードウェアにて実現されてもよい。
【００７１】
（実施の形態２）
本実施形態では、分割位置補正部２１による、第１分割位置を求めるための第２分割位置の補正動作の別の例を説明する。本実施形態の番組分割装置の構成及び動作は、分割位置補正部２１の動作以外は実施の形態１で示したものと同様である。
【００７２】
異なる番組間の境界または番組とＣＭ間の境界では、フレーム画像の内容（すなわち、フレーム画像間の画素値の差分）が大きく変化する。そこで、本実施形態では、図７に示すように、分割位置設定部１１０で求めた第２分割位置(pm2)の近傍範囲において隣接するフレーム画像間の画素値の差分が最も大きくなる位置（フレーム間の境界）を検出し、その位置を第１分割位置(pm1)に設定する。この方法によれば、より精度よく、番組間の境界や番組とＣＭ間の境界を分割位置として特定することができる。
【００７３】
具体的には、分割位置補正部２１は、分割位置設定部１１０により設定された第２分割位置(pm)を中心とした所定範囲（例えば、４フレーム）内において、隣接する２つのフレーム画像間の類似度を算出する。類似度は、隣接する２つのフレーム画像間の画素値の差分を求めることで算出する。そして、分割位置補正部２１は、フレーム画像間の画素値の類似度が最小となる（差分が最大となる）フレーム画像の間の境界を求め、求めた境界を第１映像データにおける分割位置（補正後の分割位置）(pm1)に設定する。
【００７４】
例えば、図７の例では、第２分割位置（pm2）を中心とした４フレーム分の範囲内（フレームn-1からフレームn+2）において、各々のフレームと、そのフレームに隣接するフレームとの間で画素値の差分を算出する。
【００７５】
図７の例では、番組１から番組２へ切り替わる前後のフレーム間（フレームn-1とフレームnとの間）で、画素値の差分が最大（すなわち、類似度が最小）となる。この画素値の差分が最大となるフレーム間を、番組と番組の境界である境界位置とする。その境界位置を第１映像データにおける分割位置すなわち第１分割位置(pm1)に設定している。
【００７６】
フレーム画像間の類似度すなわち画素値の差分は、例えば、各画素に対して輝度（Ｙ）、色差（Ｃｂ）、色差（Ｃｒ）のそれぞれについて差分の二乗和平方根を算出し、その総和を算出することで求めることができる。すなわち、フレーム間の画素値の差分(Diff)を下記式で算出する。
【００７７】
【数１】
2017061103.tif 000015
【００７８】
ここで、
y1(i,j)は、前フレーム内の画素(i,j)の輝度
y2(i,j)は、後フレーム内の画素(i,j)の輝度
u1(i,j)は、前フレーム内の画素(i,j)の色差(Cb)
u2(i,j)は、後フレーム内の画素(i,j)の色差(Cb)
v1(i,j)は、前フレーム内の画素(i,j)の色差(Cr)
v2(i,j)は、後フレーム内の画素(i,j)の色差(Cr)である。
【００７９】
以上のように本実施形態では、分割位置設定部１１０により設定された第２分割位置に基づく所定範囲内において隣接フレーム画像間の類似度（画素値の差分）を検出し、最小類似度（最大差分）を与える隣接フレーム画像を求め、それらのフレーム間の境界を第１分割位置に設定する。このように分割位置を設定することで、より精度よく、番組間の境界（または番組とＣＭの境界）を求めることができ、精度良く番組映像を分割することができる。
【００８０】
なお、本実施の形態の補正動作では、各画素の輝度及び色差情報の全てを用いて類似度を計算したが、輝度及び色差情報の一部のみに対する差分を計算して類似度を求めてもよい。これにより、補正動作に必要な計算量を低減できる。または、各画素がＲＧＢ値やアルファ値などによって表現される場合は、それらの値の一部または全部を利用して差分を計算して類似度を求めてもよい。
【００８１】
また、類似度（差分）の計算対象とする画素について、全画素を計算対象とするのではなく、特定部分の画素のみを計算対象としてもよい。例えば、画面全体における特定位置の部分に含まれる画素群、または、所定間隔毎に抽出した画素群に対してのみ計算を行っても良い。さらに、計算範囲を動的に変化させてもよい。例えば、計算途中において差異が明らかになった場合、全画素に対して計算を行わずに途中で類似度の計算を停止してもよい。これにより、補正動作に必要な計算量を低減できる。
【００８２】
（実施の形態３）
本実施形態では、分割位置補正部２１による、第１分割位置を求めるための第２分割位置（ＰＣＲ値）の補正動作のさらに別の例を説明する。本実施形態の番組分割装置の構成及び動作は、分割位置補正部２１の動作以外は実施の形態１で示したものと同様である。
【００８３】
異なる番組間の境界においては、境界直前のフレームの画像データと境界直後のフレームの画像データとが交互に入り交じったフレーム（以下「混合フレーム」という）が存在する場合も想定される。すなわち、混合フレームにおいては、前の番組の画像データと、後の番組の画像データが混在する。例えば、図８に示すように、番組１と番組２の境界にあるフレームｎは、奇数ラインにおいて番組１の画像データを含み、偶数ラインにおいて番組２の画像データを含む画像となる場合である。映像を分割する場合、分割映像にこのような２つの番組の画像データが混在した混合フレームが含まれると、分割映像に他の映像の画像データが含まれることになり、好ましくない。よって、このような混合フレームが存在する場合に、分割映像に混合フレームが含まれないように分割位置を設定することが好ましい。なお、このような混合フレームは番組とＣＭの境界においても生じ得る。
【００８４】
そこで、本実施形態の分割位置補正部２１は、分割位置設定部１１０により設定された第２分割位置の近傍範囲において混合フレームの存在を検出する。分割位置補正部２１は、さらに、混合フレームが検出された場合に、その混合フレームが分割映像に含まれないように第２分割位置を補正する。
【００８５】
混合フレームの検出方法について説明する。混合フレームの画像は、奇数ラインまたは偶数ラインのいずれか一方の画像が前フレームの画像と類似する。また、奇数ラインまたは偶数ラインの他方の画像が後フレームの画像と類似する画像となる。そこで、チェック対象とするフレーム画像の奇数ラインと偶数ラインのそれぞれについて、前後に隣接するフレームの画像との間で、画素値の差分を算出する。
【００８６】
２つのフレーム間の偶数ラインの画素値の差分Diff_eveは下記式で算出できる。
【００８７】
【数２】
2017061103.tif 000016
【００８８】
２つのフレーム間の奇数ラインの画素値の差分Diff_oddは下記式で算出する。
【００８９】
【数３】
2017061103.tif 000017
【００９０】
対象フレームが混合フレームでない場合、対象フレームとそれに前後に隣接するフレームのうちの少なくとも一方のフレームとの間で、奇数ラインの画素値の類似度（差分Diff_odd）と、偶数ラインの画素値の類似度（差分Diff_eve）とは同程度であると考えられる。一方、対象フレームが混合フレームである場合、対象フレームとそれに前後に隣接するフレームの双方との間で、奇数ラインの画素値の類似度（差分Diff_odd）と、偶数ラインの画素値の類似度（差分Diff_eve）との差が大きくなると考えられる。
【００９１】
例えば、対象フレームとそれに前後に隣接するフレームの双方との間で、奇数ラインの画素値の差分Diff_oddと、偶数ラインの画素値の差分Diff_eveとの差の絶対値が所定の閾値よりも大きいときに、対象フレームが混合フレームであると判断できる。または、対象フレームとそれに前後に隣接するフレームの双方との間で、奇数ラインの画素値の差分Diff_oddと、偶数ラインの画素値の差分Diff_eveとの比が所定の上限閾値よりも大きいときに（または所定の下限閾値よりも小さいときに）、対象フレームが混合フレームであると判断できる。
【００９２】
以上のように、奇数ラインの画素値の差分Diff_oddと、偶数ラインの画素値の差分Diff_eveとに基づき、対象フレームが混合フレームであるか否かを検出することが可能となる。
【００９３】
そして、分割位置補正部２１は、第２分割位置が示す位置にあるフレームが混合フレームである場合、次のようにして第２分割位置を補正して第１分割位置を求める。すなわち、図９に示すように、第２分割位置(pm2)が分割の開始位置を示す場合は、混合フレームの直後にあるフレームの位置(pm_r)が分割位置となるように第２分割位置を補正する。一方、第２分割位置が分割の終了位置を示す場合は、混合フレームの直前にあるフレームの位置(pm_f)が分割位置となるように、第２分割位置を補正する。
【００９４】
以上のようにして分割位置を補正することで、分割映像に混合フレームが含まれることがなくなり、所望の番組の画像データのみを分割映像に含めることができる。
【００９５】
なお、実施の形態１ないし実施の形態３では、それぞれ異なる分割位置補正部２１による第２分割位置の補正動作を説明したが、各実施形態の補正動作を適宜組み合わせて第２分割位置の補正動作を行っても良い。
【００９６】
なお、本実施の形態の補正動作では、各画素の輝度及び色差情報の全てを用いて類似度を計算したが、輝度及び色差情報の一部のみに対する差分を計算して類似度を求めてもよい。これにより、補正動作に必要な計算量を低減できる。または、各画素がＲＧＢ値やアルファ値などによって表現される場合は、それらの値の一部または全部を利用して差分を計算して類似度を求めてもよい。
【００９７】
また、類似度（差分）の計算対象とする画素について、全画素を計算対象とするのではなく、特定部分の画素のみを計算対象としてもよい。例えば、画面全体における特定位置の部分に含まれる画素群に対してのみ計算を行っても良い。さらに、計算範囲を動的に変化させてもよい。例えば、計算途中において差異が明らかになった場合、全画素に対して計算を行わずに途中で類似度の計算を停止してもよい。これにより、補正動作に必要な計算量を低減できる。
【００９８】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜３で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【００９９】
上記の実施形態では、第２映像データに含まれる番組情報に基づき分割位置を設定する例を説明したが、番組情報に代えて、第２映像データまたは分割指示信号に含まれる他の種類の情報に基づき分割位置を設定してもよい。
【０１００】
例えば以下の方法で番組とＣＭの境界を検出することができる。
【０１０１】
１）予め決められたＣＭ挿入スケジュールに基づき事前に検出する。この場合、ＣＭ挿入スケジュールは分割指示受信部１７に事前に入力されて保存され、分割指示受信部１７は、そのＣＭ挿入スケジュールに基づいて第１分割位置を出力する。
【０１０２】
２）第２映像データの伝送信号中に番組及びＣＭ位置を特定するための情報が入っている場合、分割位置検出部がその位置を検出し、それに基づいて第２分割位置を出力する。この場合、位置を特定するための情報は、標準化された放送局間制御信号が利用される場合や、独自フォーマットが活用される場合がある。
【０１０３】
３）放送局間制御信号に含まれるＣＭ位置情報を利用し、番組とＣＭの境界を検出する。この場合、放送局間制御信号は分割指示受信部１７により入力される。
【０１０４】
４）第２映像データの音声信号のモノラルステレオ判定によってＣＭと番組の境界を検出する。この場合、分割位置検出部がその位置を検出し、それに基づいて第２分割位置を出力する。
【０１０５】
上記の実施の形態１〜３で示した番組間の境界または番組とＣＭの境界の検出方法と、他の実施の形態で示した境界の検出方法とを適宜組み合わせてもよい。それにより、さらに境界の検出精度を向上させることができ、分割位置をより精度よく求めることができる。
【０１０６】
上記の実施形態において、番組分割装置１００は、デジタル放送波、ネットワーク等種々の経路を通じて、外部より、第１及び第２映像データ及び分割位置情報（例えば、番組情報）を受信した。しかし、第１及び第２映像データ及び分割位置情報（例えば、番組情報）を取得する経路は、上記の実施形態において示した経路に限定されるものではない。例えば、第２受信部１３は、デジタル放送波を介さずに第２映像データの映像信号を受信してもよい。また、分割位置受信部１５は、番組情報生成装置３００からネットワークを介さず、例えば、外部入力端子を介して直接に番組情報を受信してもよい。
【０１０７】
なお、番組分割装置のユーザが分割する位置を任意に選択し、選択された位置を第２分割位置としてもよい。この場合、ユーザが指定する位置が不正確であっても、実施の形態２および実施の形態３に開示される補正処理によって、適切な分割位置で分割映像を生成できる。
【０１０８】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１０９】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１１０】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１１１】
本開示によれば、元映像から自動で所望の番組映像を切り出すことを可能とする。よって、本開示は、元映像の一部の番組映像を切り出して新たな番組データを生成する映像処理装置に適用できる。
【符号の説明】
【０１１２】
１３    第２受信部
１５    分割位置受信部
１７    分割指示受信部
１９    分割位置検出部
２１    分割位置補正部
２３    第１受信部
２５    映像分割部
１００    番組分割装置
１１０    分割位置設定部
１２０    分割処理部
２００    送出装置
３００    番組情報生成装置
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
番組映像を示す第１映像データを受信する第１受信部と、
前記第１映像データが圧縮されて生成され、かつ、映像を分割すべき位置を示す位置情報を含む第２映像データを受信する第２受信部と、
前記第２受信部で受信した前記第２映像データから前記位置情報を抽出し、前記位置情報に基づき生成した第２分割位置情報を出力する位置検出部と、
前記第１受信部で受信した前記第１映像データを用いて前記第２分割位置情報を補正して、前記第１映像データにおける分割位置を示す第１分割位置情報を生成する位置補正部と、を備える
番組分割装置。
【請求項２】
前記第１分割位置情報に基づいて前記第１映像データの一部を切り出すことにより分割映像データを生成する分割部をさらに備えた請求項１に記載の番組分割装置。
【請求項３】
前記第１映像データ及び前記第２映像データは、映像のタイミングを制御するための基準時刻情報を含み、
前記第１分割位置情報は、前記第１映像データにおける基準時刻情報で表され、
前記第２分割位置情報は、前記第２映像データにおける基準時刻情報で表される、
請求項１または２に記載の番組分割装置。
【請求項４】
前記位置補正部は、前記第１映像データの基準時刻情報と、前記第２映像データの基準時刻情報との差分に基づいて前記第２分割位置情報を補正する、請求項３に記載の番組分割装置。
【請求項５】
前記位置補正部は、前記第１映像データにおける隣接するフレーム画像間の画素値の類似度に基づいて前記第２分割位置情報を補正する、請求項１に記載の番組分割装置。
【請求項６】
前記位置補正部は、前記第１映像データにおいて、隣接するフレーム画像のデータが混在するフレーム画像を検出し、検出したフレーム画像のデータが、前記第１分割位置情報に基づいて前記第１映像データから分割される映像に含まれないように前記第２分割位置情報を補正する、請求項１に記載の番組分割装置。
【請求項７】
前記位置情報において映像を分割すべき位置が時刻で表わされる、請求項１に記載の番組分割装置。
【請求項８】
前記位置情報を外部から受信する位置受信部をさらに備えた、請求項１に記載の番組分割装置。
【請求項９】
前記第２映像データに含まれる前記位置情報は番組情報から取得される、請求項１に記載の番組分割装置。
【請求項１０】
前記第１映像データはＩピクチャのみで構成されるように符号されたデータである、請求項１に記載の番組分割装置。
【請求項１１】
前記第１映像データはイントラ予測符号化されたフレームのみで構成される、請求項１に記載の番組分割装置。
【請求項１２】
番組映像を示す第１映像データを受信し、
前記第１映像データが圧縮されて生成され、かつ、映像を分割すべき位置を示す位置情報を含む第２映像データを受信し、
前記第２映像データから前記位置情報を抽出し、前記位置情報に基づき生成した第２分割位置情報を出力し、
前記第１映像データを用いて前記第２分割位置情報を補正して、前記第１映像データにおける分割位置を示す第１分割位置情報を生成する、
番組分割方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2017061103.tif 000018
【図２】
2017061103.tif 000019
【図３】
2017061103.tif 000020
【図４】
2017061103.tif 000021
【図５】
2017061103.tif 000022
【図６】
2017061103.tif 000023
【図７】
2017061103.tif 000024
【図８】
2017061103.tif 000025
【図９】
2017061103.tif 000026
【国際調査報告】
2017061103.tif 000027
2017061103.tif 000028