(57)【要約】【課題】重要なシーンを自動的に識別すること。【解決手段】テレビジョン信号を記録可能な記録装置１は、記録装置１によって記録されたテレビジョン信号を処理して、当該テレビジョン信号のシーンを重要であるか重要でないかに分類するように動作可能な分類部２０を有する。記録装置１は、シーンと、当該シーンの重要度を示す対応する重要性情報とをユーザから入力されることが可能であり、分類部１は、入力されたシーン及び対応する重要性情報を用いて再学習するように構成されている。【選択図】図１
2008252886.tif 000002
【特許請求の範囲】
【請求項１】
テレビジョン信号を記録可能な記録装置であって、
前記テレビジョン信号のシーンと、当該シーンの重要度を示す対応する重要性情報とをユーザから入力されるように構成された制御部と、
当該記録装置によって記録されたテレビジョン信号を処理し、当該テレビジョン信号のシーンを、重要であるか重要でないかに分類するように動作可能であり、当該重要であると分類されたシーンを識別する出力を生成するように構成され、且つ、前記ユーザから入力されたシーン及び対応する重要性情報を用いて再学習するように構成された分類部と
を具備する記録装置。
【請求項２】
請求項１に記載の記録装置であって、
前記分類部は、前記テレビジョン信号が記録されるときに前記テレビジョン信号を処理するように動作可能である
記録装置。
【請求項３】
請求項１又は２に記載の記録装置であって、
前記分類部は、前記テレビジョン信号が記録された後に前記テレビジョン信号を処理するように動作可能である
記録装置。
【請求項４】
請求項３に記載の記録装置であって、
前記分類部は、当該分類部が再学習した後、前記記録装置に既に記録されている前記テレビジョン信号を処理するように動作可能である
記録装置。
【請求項５】
請求項１〜４のいずれか１項に記載の記録装置であって、
前記分類部の前記出力に応答して、前記記録されたテレビジョン信号の、前記重要であると分類されたシーンにマーカを挿入する
記録装置。
【請求項６】
請求項１〜５のいずれか１項に記載の記録装置であって、
前記重要性情報は、前記入力されたシーンが重要であるか否かを示す
記録装置。
【請求項７】
請求項１〜５のいずれか１項に記載の記録装置であって、
前記重要性情報は、前記入力されたシーンの前記重要度を示すスカラー値である
記録装置。
【請求項８】
請求項１〜７のいずれか１項に記載の記録装置であって、
前記分類部の前記出力は、前記重要であると分類されたシーンについての重要度を示すスカラー値をさらに有する
記録装置。
【請求項９】
請求項１〜８のいずれか１項に記載の記録装置であって、
前記分類部は、人工知能技術を用いて前記テレビジョン信号のそれぞれのシーンを重要であるか重要でないかに分類するように動作可能である
記録装置。
【請求項１０】
請求項１〜９のいずれか１項に記載の記録装置であって、
前記入力されるシーンは、単一のフレームからなる
記録装置。
【請求項１１】
請求項１〜１０のいずれか１項に記載の記録装置であって、
前記入力されるシーンは、連続したフレームからなる
記録装置。
【請求項１２】
請求項１〜１１のいずれか１項に記載の記録装置であって、
前記テレビジョン信号を内蔵記録媒体に記録可能である
記録装置。
【請求項１３】
テレビジョン信号を記録可能な記録装置を動作させる方法であって、
前記記録装置によって記録されたテレビジョン信号を処理して、当該テレビジョン信号のシーンを重要であるか重要でないかに分類し、且つ、当該重要であると分類されたシーンを識別する出力を生成するように分類部を動作させ、
前記シーンと、当該シーンの重要度を示す対応する重要性情報との入力をユーザから受け付け、
前記入力されたシーン及び前記対応する重要性情報を用いて、前記分類部に再学習させる
シーン分類方法。
【請求項１４】
テレビジョン信号を記録可能な記録装置によって実行可能なコンピュータプログラムであって、実行されると、前記記録装置に請求項１３に記載の各ステップを実行させるように構成される
コンピュータプログラム。
【請求項１５】
請求項１４に記載のコンピュータプログラムを格納した記録記憶媒体。
【請求項１６】
請求項１４に記載のコンピュータプログラムであって、
前記コンピュータプログラムは、放送信号として前記記録装置に送信される
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビジョン信号を記録可能な記録装置、シーン分類方法、コンピュータプログラム及び記憶媒体に関する。
【背景技術】
【０００２】
テレビジョン信号が記録されるとき、ユーザが実行したいと思う１つの動作は、重要なシーンを識別することである。その後ユーザは、例えば、そのように識別されたシーンを有するか又はそのシーンに隣接するテレビジョン信号の部分を再生可能にするために、識別されたシーンを用いてテレビジョン信号を再生又は編集することができる。このような動作は、記録装置によって、例えば識別されたシーンにマーカを挿入し、そのマーカに応じて再生又は編集を制御することにより、自動的に実行することができる。
【０００３】
ユーザにとって重要となり得るシーンの種類の１つの一般的な例は、番組の、コマーシャルに隣接する部分の始まり又は終わりに位置するスプラッシュ画面又はタイトル画面である。例えば、ユーザは、記録されたテレビジョン信号のコマーシャルを表す部分を再生することなく、記録されたテレビジョン信号の番組を表す部分を再生するために、このようなシーンを識別したいと思う可能性がある。
【０００４】
ユーザの興味及び要望に応じて、他の様々な種類のシーン、例えば屋外のシーン若しくは屋内のシーン、特定の物体を示すシーン、又は番組内容の特定の事項を示すバナーを有するシーンが、所与のユーザにとって重要となり得る。
【特許文献１】国際公開第０１／６００６４号パンフレット
【特許文献２】国際公開第０３／０５１０５１号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このような重要なシーンの識別は、ユーザ自身がテレビジョン信号の内容を検討することによって実行することができる。しかしながら、本発明は、重要なシーンを自動的に識別可能な記録装置に関する。記録装置のこのような機能は非常に有用である。
【課題を解決するための手段】
【０００６】
本発明によれば、テレビジョン信号を記録可能な記録装置であって、前記テレビジョン信号のシーンと、当該シーンの重要度を示す対応する重要性情報とをユーザから入力されるように構成された制御部と、当該記録装置によって記録されたテレビジョン信号を処理し、当該テレビジョン信号のシーンを重要であるか重要でないかに分類するように動作可能であり、当該重要であると分類されたシーンを識別する出力を生成するように構成され、且つ、ユーザから入力されたシーン及び対応する重要性情報を用いて再学習されるように構成された分類部とを具備する記録装置が提供される。
【０００７】
したがって、記録装置は分類部を用いて、記録装置によって記録されたテレビジョン信号を処理し、そのテレビジョン信号のシーンを重要であるか重要でないかに分類する。重要であると分類されたシーンは出力によって識別され、その後ユーザ又は記録装置によって、記録されたテレビジョン信号の再生及び／又は編集を制御するために用いられる。
【０００８】
このような分類部の学習は、重要なシーン及び重要でないシーンを学習シーンとして用いることにより実行することができる。学習は、分類部が用いる分類パラメータを学習させる学習又は適合させるために用いられる。学習が実行された後、分類部は分類パラメータに従って動作して、以前に分類したことのない新たなテレビジョン信号を分類する。学習後、分類パラメータは固定され、典型的には、学習シーン自体は、分類を実行するための分類部の後続の動作のためには格納又は用いられない。
【０００９】
したがって、１つのシナリオでは、製造業者が、学習を実行させて、固定された分類パラメータに従って動作する学習済みの学習分類部を記録装置に提供することができる。しかしながら、このシナリオでは、分類を変更することができないという不都合が問題となる。これは、ユーザにとって重要なシーンを分類するという観点における分類部の有用性及び効率性を制限することになる。例えば、重要なシーンがスプラッシュ画面である場合、分類部は多様な既存のスプラッシュ画面を学習し得るが、テレビジョンコンテンツの提供者により新たなスプラッシュ画面が制作されるほど、新たなスプラッシュ画面を識別する際の分類部の効率性は時間と共に低下する可能性がある。同様に、他の種類のシーンの場合、視聴者の要望はそれぞれ異なるため、すべての視聴者にとって興味の対象となり得るシーンをすべて識別するように分類部を学習させることは困難であろう。
【００１０】
この不都合は、シーンと、当該シーンの重要度を示す対応する重要性情報とをユーザが入力することを可能にすることにより克服される。例えば、重要性情報は、入力されたすべてのシーンを重要とするものであってもよい。又は、より複雑なシステムにおいては、例えば重要であるか又は重要でないかの二値選択として、若しくは重要度を示すスカラー値として、重要性をユーザから指定可能としてもよい。その後、分類部は、入力されたシーンと、対応する重要性情報とを用いて再学習する。これにより、分類部は、ユーザによって入力された種類のシーンをより良好に識別するようになる。これにより分類部は、ユーザにとって重要なシーンを分類するという観点から見て、より有用且つ効率的になる。
【００１１】
より良い理解を可能にするために、非限定的な例として、添付の図面を参照して本発明の一実施形態をこれより説明する。
【発明を実施するための最良の形態】
【００１２】
図１は、放送テレビジョン信号を受信及び復号可能な受信復号回路２と、復号されたテレビジョン信号を記録可能な記録部３を有する記録装置１を示す。記録装置１は、表示部６上に画像を表示するテレビジョン装置５にテレビジョン信号を供給するための出力インタフェース４を有する。出力インタフェース４は、テレビジョン信号が復号された直後に受信部−復号部回路２からテレビジョン信号を直接供給されるか、又は、記録部３から再生された記録されたテレビジョン信号を供給される。代替的に、又は付加的に、表示部６は記録装置１に一体化されてもよい。
【００１３】
記録部３は任意の種類のものであってよく、一体型であっても交換可能であってもよい任意の種類の記憶媒体に記録可能であり得る。典型的には、記録部３は、記録装置１に一体化されたハードディスクドライブ、又はＤＶＤ等の光記録媒体若しくは光磁気記録媒体への記録用のドライブである。
【００１４】
受信復号回路２は、記録装置１のコネクタ７において受信されたテレビジョン信号を供給される。コネクタ７は、地上放送テレビジョン信号の受信用の外部アンテナ、衛星放送テレビジョン信号の受信用のパラボラアンテナ、又はケーブルを介したテレビジョン信号の受信用のケーブルに取り付けられてもよい。代替的に、又は付加的に、テレビジョン信号はネットワークを介して受信されてもよい。ネットワークは、インターネット又はＬＡＮ等の有線ネットワークであっても、無線ネットワークであってもよい。この場合、記録装置１には、データネットワークからデータを受信し、且つそのデータからテレビジョン信号を抽出するように構成されたネットワークインタフェースが設置される。
【００１５】
受信復号回路２は、供給されたテレビジョン信号を受信及び復号するように構成される。受信復号回路２の構造は、受信されるテレビジョン信号の性質によって決まる。例えば、無線周波数（ＲＦ）放送テレビジョン信号の場合、受信復号回路２は、放送信号の所望の伝送チャンネルを抽出するためのＲＦチューナと、放送信号を復調し、多重信号を抽出するための復調部と、特定のテレビジョン信号を抽出するためのデマルチプレクサと、そのテレビジョン信号を復号するための復号部とを有する。
【００１６】
代替案として、受信復号回路２は記録装置に存在しなくてもよい。この場合、セットトップボックス又はテレビジョン装置５等の別個の装置に等価の受信復号回路が実装され、受信及び復号されたテレビジョン信号は別個の装置から記録装置１に供給される。
【００１７】
記録装置１は、記録装置１の各構成要素の動作を制御する制御部１０を有する。例えば、制御部１０は、所望のテレビジョンチャンネル（例えばＤＶＢ（Digital Video Broadcasting）規格によれば「サービス」とも呼ばれる）の放送テレビジョン信号を選択するように、受信部−復号部回路２を制御する。同様に、制御部１０は、受信部−復号部回路２によって出力されるテレビジョン信号を記録し、その記録したテレビジョン信号を再生するように、記録部３の動作を制御する。
【００１８】
記録装置１は、以下で説明する分類部２０及び学習部３０をさらに有する。
【００１９】
制御部１０、分類部２０及び学習部３０は、適切なコンピュータプログラムを実行するマイクロプロセッサによって動作される。制御部１０は、ＲＡＭ１１及びフラッシュメモリ等の不揮発性メモリ１２と対応付けられている。コンピュータプログラムは、記録部３又は不揮発性メモリ１２に格納されてもよい。コンピュータプログラムは、予めインストールされていてもよく、又は放送信号として記録装置１に送信されてもよい。これはテレビジョン受信設備のソフトウェアをアップグレードするための既知の技法である。
【００２０】
分類部２０は、分類部２０に供給されるテレビジョン信号を処理するように動作してもよい。分類部２０は、テレビジョン信号の連続したシーンを処理し、それらを重要であるか重要でないかに分類する。この分類は、人工知能技術、例えばニューラルネットワークを用いて実行される。このような分類部２０の分類段階において用いるために、他の技法又は特定のタイプのニューラルネットワークが適していることもある。これらは、ＭＬＰ（多層パーセプトロン）、ＲＢＦ（放射基底関数）、ＬＶＱ（学習ベクトル量子化）、ＳＶＭ（サポートベクターマシン）、ＳＡＲＴ（簡易適応共鳴理論）、及びK平均（K-means）クラスタリングを含む。分類部２０は、これより説明する学習プロセス中に設定される多数の分類パラメータに従って、分類を実行する。
【００２１】
図２は学習プロセスを概略的に示す。この学習プロセスにより、分類部２０の分類パラメータの初期値が学習部３０によって設定される。学習部３０は、製造業者によって、記録装置１とは別個に実装される。学習部３０は、複数の学習シーン３２を供給される。
【００２２】
学習シーン３２は、テレビジョン信号の単一のフレームからなっていてもよく、又は代替的に、テレビジョン信号の連続したフレームからなっていてもよい。
【００２３】
学習シーン３２は、学習シーン３２の重要度を示す重要性情報とそれぞれ対応している。図２の例では、重要性情報は、シーン３２ａ〜３２ｍのうちのいくつかは重要であり、残りのシーン３２ｎ〜３２ｘは重要でないことを示す二進値である。
【００２４】
学習シーン３２は、分類部２０がユーザにとって重要なシーンを識別できるように、製造業者によって、製造業者が決定したいくつかの基準に従って選択される。重要であると見なされるシーン３２ａ〜３２ｍは、識別することが望まれる種類のシーンの代表となるように選択される。対照的に、重要でないと見なされるシーン３２ｎ〜３２ｘは、興味のないシーンの代表となるように選択される。
【００２５】
一般に、重要であると見なされるシーンのクラスは自由に選択されてもよい。しかしながら、１つの重要な例は、分類部２０が、番組の、コマーシャルに隣接する部分の始まり又は終わりに通常位置しているスプラッシュ画面（又はタイトル画面）を検出するように意図される例である。この場合、重要であると見なされるシーン３２ａ〜３２ｍはこうしたスプラッシュ画面となるように選択され、重要でないと示されるシーン３２ｎ〜３２ｘは、例えば、人々、風景、建物、乗り物、スポーツの試合等の種々の異なる内容を表すシーンを含む、様々なテレビジョン番組の典型的なシーンとなるように選択される。
【００２６】
学習部３０は、学習シーン３２と、それらに対応する重要度とを用いて、適切な分類パラメータを選択する。この分類パラメータにより、分類部２０が新たなシーンを重要であるか重要でないかに分類できるようになる。学習部３０は、分類部２０において採用される人工知能技術に適したアルゴリズムを用いる。
【００２７】
その後、記録装置１が製造される。この記録装置１は、上記のような学習部３０によって決定された値に合わせて設定された分類部２０の分類パラメータの初期値を有する。
【００２８】
上記説明では、分類部２０によって実行される分類は、学習シーン３２の画像データのみに基づいて実行されることが想定されている。しかしながら、任意選択で、分類部２０は、音声情報、字幕情報、又はメタデータ等の、学習シーン３２に関する他の情報を付加的に用いてもよい。
【００２９】
これより、記録装置１において分類部２０が用いられる方法を説明する。詳細には、制御部１０が、図３に示されるプロセスを用いて以下のように分類部２０を動作させる。
【００３０】
ステップＳ１において、テレビジョン信号が分類部２０に供給される。テレビジョン信号は、記録部３によってそのテレビジョン信号が記録されるときに受信部−復号部回路２によって出力されるものであってもよい。代替的に、テレビジョン信号は、記録部３から再生されるもの、したがって記録された後に処理されるものであってもよい。
【００３１】
ステップＳ２において、分類部２０は、テレビジョン信号の連続したシーンを検討し、それらを重要であるか重要でないかに分類することにより、テレビジョン信号を処理する。
【００３２】
ステップＳ３において、分類部２０は、重要であると分類されたシーンを識別する出力を生成する。一連の時間的に密集したシーンが重要であると分類された場合、分類部２０は、ステップＳ３において分類の結果をフィルタリングして、単一の出力を生成してもよい。
【００３３】
ステップＳ４において、記録されたテレビジョン信号の再生及び／又は編集を制御するために、ステップＳ３における出力に基づく再生制御又は編集処理用の制御部が用いられる。ステップＳ４において、多様な異なる種類の処理が実行されてもよい。例えば、ステップＳ４において実行される１つの可能な処理は、テレビジョン信号の、ステップＳ３における出力によって重要であると識別されたシーンの位置にマーカを挿入することである。マーカは、位置マーカ、フラグ、チャプターマーク等の、位置を示すのに適した任意の標識であり得る。ステップＳ４において実行される処理は自動であってもよく、又は記録装置１のユーザによって制御を受けてもよい。
【００３４】
これより、学習部３０を説明する。学習部３０は、分類部２０の分類パラメータの初期値の適合又は更新を可能にする。詳細には、制御部１０が、学習部３０を用いて、図４に示すプロセスで、以下のように学習プロセスを実行させる。
【００３５】
ステップＳ５において、制御部１０は、重要度を示す重要性情報が対応付けられたシーン３３を、ユーザが入力できるようにする。この処理は、適切なユーザインタフェースが実装されている制御部１０によって行うことができる。シーンは、記録部３から再生される記録されたテレビジョン信号をユーザが検討できるようにし、且つ、そのテレビジョン信号のシーンをユーザが選択できるようにすることによって入力され得る。重要性情報は、ユーザによって指定されてもよい。最も単純な場合では、ユーザによって入力されたすべての入力シーン３３が重要であると見なされてもよい。その場合、対応する重要性情報は常に同じである。又は、代替的に、ユーザは、実際に重要性情報を入力してもよい。例えばユーザは、入力シーン３３が重要であるか重要でないかをユーザに指定させることが可能な制御部１０によって、重要性情報を入力できる。
【００３６】
ステップＳ６において、学習部３０は分類部２０を再学習させる。詳細には、学習部３０は、製造前に学習部３０が実行した処理と同様の処理に加えて、分類部２０によって実行される分類を改善するために、ステップＳ５において入力された入力シーン３３を考慮した処理を実行する。その結果、学習部３０は、入力シーン３３に基づいて、分類部２０によって用いられる分類パラメータを更新する。更新されたパラメータはその後、後続の動作の間、分類部２０によって用いられる。
【００３７】
学習部３０は、分類部２０を複数の入力シーン３３で繰り返し再学習させるために用いられてもよい。連続的に更新される分類パラメータは、更新されたパラメータをロールバックすることができるように、すべて入力シーン３３と対応付けられて格納されてもよい。
【００３８】
学習部３０によって実行される再学習の結果として、分類部２０は、ユーザによって入力された入力シーン３３に基づいて学習することができる。これにより、分類部２０によって実行される分類がユーザによって更新及び制御可能になる。これにより分類部２０は、ユーザにとって重要なシーンを分類するという観点から見て、より有用且つ効率的になる。例えば、入力シーン３３がスプラッシュ画面である場合、ユーザは新たなスプラッシュ画面、例えば図２の初期学習を実行したときには製造業者が入手できなかったスプラッシュ画面を入力することができる。その結果分類部２０は、新たなスプラッシュ画面を識別できるようになり得る。同様に、ユーザは、自身が選択した特定の種類のシーンを識別するように分類部２０を学習させることができる。この適合は、学習部３０が除外され、分類部２０の分類パラメータが固定されていた場合には不可能であろう。
【００３９】
実行し得る１つの有利な特徴は、図４のプロセスにおいて学習部３０が新たな入力シーン３３を用いて動作する毎に、記録部３に既に記録されたテレビジョン信号に対して、分類部２０を用いてテレビジョン信号を処理する図３のプロセスを自動的に実行し得ることである。これにより、更新された分類パラメータに基づいて初めて識別可能となるシーンを識別できるようになることであろう。
【００４０】
上記説明では、重要度が二値情報、すなわち特定のシーンが重要であるか重要でないかという情報であることに基づいて分類部２０が説明されている。代替案として、分類部２０は、重要度としてスカラー値を利用してもよい。
【００４１】
このような重要度を表すスカラー値は、分類部２０を学習させるのに用いられるシーン、すなわち図２の初期学習プロセスにおいて用いられる学習シーン３２、及び再学習中に図４のステップＳ５において入力されるシーンと対応付けられてもよい。同様に、図４のステップＳ５においてユーザによって入力されるシーンを、分類部を学習するために初期に用いられる学習シーン３２よりも高い重要度と対応付けることが可能である。
【００４２】
また、分類部２０は、処理されたテレビジョン信号の連続したシーンの重要度を示すスカラー値としての結果を生成してもよい。この場合、シーンは、スカラー値が閾値を超えるか否かに基づいて、重要であるか重要でないかに分類されてもよい。この場合、図３のステップＳ３における出力は、識別されたシーンの重要度を明示する情報を含む。
【図面の簡単な説明】
【００４３】
【図１】本発明の一実施形態に係る記録装置の図である。
【図２】本発明の一実施形態における分類部用の学習部の動作を概略的に示す図である。
【図３】本発明の一実施形態に係る記録装置において分類部を用いるプロセスを示すフローチャートである。
【図４】本発明の一実施形態に係る記録装置において学習部を用いるプロセスを示すフローチャートである。
【符号の説明】
【００４４】
１  記録装置
２  受信復号回路
３  記録部
４  出力インタフェース
５  テレビジョン装置
６  表示部
７  コネクタ
１０  制御部
１１  ＲＡＭ
１２  不揮発性メモリ
２０  分類部
３０  学習部
３２  学習シーン
【図１】
2008252886.tif 000003
【図２】
2008252886.tif 000004
【図３】
2008252886.tif 000005
【図４】
2008252886.tif 000006