(57)【要約】【課題】複数のコンテンツを同一画面上に同時に表示する場合でも、コストの上昇を抑えつつジャダーを軽減した高品位なコンテンツ表示が可能となる。【解決手段】動画像である第１のコンテンツおよび第２のコンテンツのフレームレートが等しくなるようにフレームレートを変換する第１変換処理を行う第１変換部１５と、変換結果を同一画面内に並べて表示するための画面合成を行う合成部１７と、合成結果のフレームレートを、当該フレームレートより高いフレームレートに変換する第２変換処理を行う第２変換部１８と、第１変換処理および第２変換処理に必要なフレームを一時的に記憶する記憶部１６と、動画像の動き量に関連する属性に応じて、第１変換処理および第２変換処理のそれぞれに割り当てる記憶部の記憶容量の比を算出し、比に応じた記憶容量を第１変換処理および第２変換処理のそれぞれに割り当てる制御を行う制御部１９と、を備える。【選択図】図１
2015195572.tif 000002
【特許請求の範囲】
【請求項１】
連続する複数のフレームで構成される動画像である第１のコンテンツが入力される第１入力部と、
連続する複数のフレームで構成され、前記第１のコンテンツとはフレームレートが異なる動画像である第２のコンテンツが入力される第２入力部と、
前記第１のコンテンツを拡大または縮小することでフレームサイズを調整し、調整した結果である第１調整結果を出力する第１調整部と、
前記第２のコンテンツを拡大または縮小することでフレームサイズを調整し、調整した結果である第２調整結果を出力する第２調整部と、
前記第１調整結果および前記第２調整結果に対して、互いのフレームレートが等しくなるようにフレームレートを変換する第１変換処理を行い、前記第１変換処理の結果を、それぞれ第１変換結果および第２変換結果として出力する第１変換部と、
前記第１変換結果および前記第２変換結果を同一画面内に並べて表示するための画面合成を行い、前記画面合成の結果である合成結果を出力する合成部と、
前記合成結果のフレームレートを、当該フレームレートより高いフレームレートに変換する第２変換処理を行う第２変換部と、
前記第１変換処理および前記第２変換処理の際、前記第１変換処理および前記第２変換処理に必要なフレームを一時的に記憶する記憶部と、
前記第１調整結果および前記第２調整結果の動画像の動き量に関連する属性に応じて、前記第１変換処理および前記第２変換処理のそれぞれに割り当てる前記記憶部の記憶容量の比を算出し、前記比に応じた記憶容量を前記第１変換処理および前記第２変換処理のそれぞれに割り当てる制御を行う制御部と、を備え、
前記第１変換部および前記第２変換部は、それぞれ、前記制御部により割り当てられた記憶容量で、前記第１変換処理および前記第２変換処理を行う
コンテンツ処理装置。
【請求項２】
前記属性は、前記第１調整結果および前記第２調整結果のフレームサイズであり、
前記第１変換部は、前記第１変換処理として、前記第２調整結果に対して、前記第２調整結果のフレームレートが前記第１調整結果のフレームレートと等しくなるように変換する処理を行い、
前記制御部は、
前記比として、前記第２調整結果のフレームサイズと、前記第１調整結果および前記第２調整結果のうちの大きい方のフレームサイズとの比を算出する
請求項１に記載のコンテンツ処理装置。
【請求項３】
前記属性は、前記第１調整結果および前記第２調整結果のフレームレートであり、
前記第１変換部は、前記第１変換処理として、前記第２調整結果に対して、前記第２調整結果のフレームレートが前記第１調整結果のフレームレートと等しくなるように変換する処理を行い、
前記制御部は、前記比として、前記第２調整結果のフレームレートの逆数と、前記合成結果のフレームレートの逆数との比を算出する
請求項１に記載のコンテンツ処理装置。
【請求項４】
前記属性は、前記第１調整結果および前記第２調整結果のフレームサイズおよびフレームレートであり、
前記第１変換部は、前記第１変換処理として、前記第２調整結果に対して、前記第２調整結果のフレームレートが前記第１調整結果のフレームレートと等しくなるように変換する処理を行い、
前記制御部は、
（ｉ）前記第２調整結果のフレームサイズと、前記第１調整結果および前記第２調整結果のうちの大きい方のフレームサイズとの比である第１の比と、
前記第２調整結果のフレームレートの逆数と、前記合成結果のフレームレートの逆数との比である第２の比と、を算出し、
（ｉｉ）前記比として、前記第１の比および前記第２の比を乗算して得られる第３の比を算出する
請求項１に記載のコンテンツ処理装置。
【請求項５】
前記属性は、前記第１調整結果および前記第２調整結果のフレームサイズであり、
前記第１変換部は、前記第１変換処理として、前記第１調整結果および前記第２調整結果に対して、前記第１調整結果のフレームレートである第１フレームレートおよび前記第２調整結果のフレームレートである第２フレームレートが、前記第１フレームレートおよび前記第２フレームレートとは異なる第３フレームレートになるように変換する処理を行い、
前記制御部は、前記比を１対１とする
請求項１に記載のコンテンツ処理装置。
【請求項６】
前記属性は、前記第１調整結果および前記第２調整結果のフレームレートであり、
前記第１変換部は、前記第１変換処理として、前記第１調整結果および前記第２調整結果に対して、前記第１調整結果のフレームレートである第１フレームレートおよび前記第２調整結果のフレームレートである第２フレームレートが、前記第１フレームレートおよび前記第２フレームレートとは異なる第３フレームレートになるように変換する処理を行い、
前記制御部は、
前記比として、前記第１フレームレートおよび前記第２フレームレートのうちの低い方のフレームレートの逆数と、前記合成結果のフレームレートの逆数との比を算出する
請求項１に記載のコンテンツ処理装置。
【請求項７】
前記属性は、前記第１調整結果および前記第２調整結果のフレームサイズおよびフレームレートであり、
前記第１変換部は、前記第１変換処理として、前記第１調整結果および前記第２調整結果に対して、前記第１調整結果のフレームレートである第１フレームレートおよび前記第２調整結果のフレームレートである第２フレームレートが、前記第１フレームレートおよび前記第２フレームレートとは異なる第３フレームレートになるように変換する処理を行い、
前記制御部は、
（ｉ）１対１である第１の比と、
前記第１フレームレートおよび前記第２フレームレートのうちの低い方のフレームレートの逆数と、前記合成結果のフレームレートの逆数との比である第２の比と、を算出し、
（ｉｉ）前記比として、前記第１の比および前記第２の比を乗算して得られる第３の比を算出する
請求項１に記載のコンテンツ処理装置。
【請求項８】
動画像のフレームレートを変換する処理を行うコンテンツ処理装置であって、前記変換する処理に必要なフレームを一時的に記憶する記憶部を備えたコンテンツ処理装置において行われるコンテンツ処理方法であって、
連続する複数のフレームで構成される動画像である第１のコンテンツが入力されるステップと、
連続する複数のフレームで構成され、前記第１のコンテンツとはフレームレートが異なる動画像である第２のコンテンツが入力されるステップと、
前記第１のコンテンツを拡大または縮小することでフレームサイズを調整し、調整した結果である第１調整結果を出力するステップと、
前記第２のコンテンツを拡大または縮小することでフレームサイズを調整し、調整した結果である第２調整結果を出力するステップと、
前記第１調整結果および前記第２調整結果に対して、互いのフレームレートが等しくなるようにフレームレートを変換する第１変換処理を行い、前記第１変換処理の結果を、それぞれの第１変換結果および前記第２変換結果として出力するステップと、
前記第１変換結果および前記第２変換結果を同一画面内に並べて表示するための画面合成を行い、前記画面合成の結果である合成結果を出力するステップと、
前記合成結果のフレームレートを、当該フレームレートより高いフレームレートに変換する第２変換処理を行うステップと、
前記第１調整結果および前記第２調整結果の動画像の動き量に関連する属性に応じて、前記第１変換処理および前記第２変換処理のそれぞれに割り当てる前記記憶部の記憶容量の比を算出し、前記比に応じた記憶容量を前記第１変換処理および前記第２変換処理のそれぞれに割り当てる制御を行うステップと、を含み、
前記第１変換処理、および、前記第２変換処理は、それぞれ、前記制御を行うステップにおいて割り当てられた記憶容量で行われる
コンテンツ処理方法。
【請求項９】
連続する複数のフレームで構成される動画像である第１のコンテンツが入力される第１入力部と、
連続する複数のフレームで構成され、前記第１のコンテンツとはフレームレートが異なる動画像である第２のコンテンツが入力される第２入力部と、
前記第１のコンテンツを拡大または縮小することでフレームサイズを調整し、調整した結果である第１調整結果を出力する第１調整部と、
前記第２のコンテンツを拡大または縮小することでフレームサイズを調整し、調整した結果である第２調整結果を出力する第２調整部と、
前記第１調整結果および前記第２調整結果に対して、互いのフレームレートが等しくなるようにフレームレートを変換する第１変換処理を行い、前記第１変換処理の結果を、それぞれ第１変換結果および第２変換結果として出力する第１変換部と、
前記第１変換結果および前記第２変換結果を同一画面内に並べて表示するための画面合成を行い、前記画面合成の結果である合成結果を出力する合成部と、
前記合成結果のフレームレートを、当該フレームレートより高いフレームレートに変換する第２変換処理を行う第２変換部と、
前記第１変換処理および前記第２変換処理の際、前記第１変換処理および前記第２変換処理に必要なフレームを一時的に記憶する記憶部と、
前記第１調整結果および前記第２調整結果の動画像の動き量に関連する属性に応じて、前記第１変換処理および前記第２変換処理のそれぞれに割り当てる前記記憶部の記憶容量の比を算出し、前記比に応じた記憶容量を前記第１変換処理および前記第２変換処理のそれぞれに割り当てる制御を行う制御部と、を備え、
前記第１変換部および前記第２変換部は、それぞれ、前記制御部により割り当てられた記憶容量で、前記第１変換処理および前記第２変換処理を行う
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、コンテンツ処理装置およびコンテンツ処理方法に関するものである。
【背景技術】
【０００２】
特許文献１には、フレームレートが異なる複数の映像信号が入力され、かつ、これらの映像を同一画面上に並べて表示する場合に、一方の映像信号のフレームレートを、他方のフレームレートと等しくなるように、いずれかの映像信号に対して、動き補償型のフレームレート変換処理を行うことが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１１１９３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、一方の映像信号のフレームレートを、他方の映像信号のフレームレートと等しくなるようなフレームレート変換処理を行った場合、フレームレート変換処理にかかる記憶容量を大きくしないと、ジャダーを軽減した高品位なコンテンツ表示が難しい。このため、生産コストの上昇を招いてしまうという課題がある。
【０００５】
本開示は、複数のコンテンツを同一画面上に表示する場合でも、コストの上昇を抑えつつジャダーを軽減した高品位なコンテンツ表示が可能となるコンテンツ処理装置およびコンテンツ処理方法を提供する。
【課題を解決するための手段】
【０００６】
本開示のコンテンツ処理装置は、連続する複数のフレームで構成される動画像である第１のコンテンツが入力される第１入力部と、連続する複数のフレームで構成され、前記第１のコンテンツとはフレームレートが異なる動画像である第２のコンテンツが入力される第２入力部と、前記第１のコンテンツを拡大または縮小することでフレームサイズを調整し、調整した結果である第１調整結果を出力する第１調整部と、前記第２のコンテンツを拡大または縮小することでフレームサイズを調整し、調整した結果である第２調整結果を出力する第２調整部と、前記第１調整結果および前記第２調整結果に対して、互いのフレームレートが等しくなるようにフレームレートを変換する第１変換処理を行い、前記第１変換処理の結果を、それぞれ第１変換結果および第２変換結果として出力する第１変換部と、前記第１変換結果および前記第２変換結果を同一画面内に並べて表示するための画面合成を行い、前記画面合成の結果である合成結果を出力する合成部と、前記合成結果のフレームレートを、当該フレームレートより高いフレームレートに変換する第２変換処理を行う第２変換部と、前記第１変換処理および前記第２変換処理の際、前記第１変換処理および前記第２変換処理に必要なフレームを一時的に記憶する記憶部と、前記第１調整結果および前記第２調整結果の動画像の動き量に関連する属性に応じて、前記第１変換処理および前記第２変換処理のそれぞれに割り当てる前記記憶部の記憶容量の比を算出し、前記比に応じた記憶容量を前記第１変換処理および前記第２変換処理のそれぞれに割り当てる制御を行う制御部と、を備え、前記第１変換部および前記第２変換部は、それぞれ、前記制御部により割り当てられた記憶容量で、前記第１変換処理および前記第２変換処理を行う。
【発明の効果】
【０００７】
本開示のコンテンツ処理装置およびコンテンツ処理方法によれば、複数のコンテンツを同時に表示する場合でも、コストの上昇を抑えつつジャダーを軽減した高品位なコンテンツ表示が可能となる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態に係るコンテンツ処理装置の構成を示すブロック図である。
【図２】実施の形態に係るコンテンツ処理装置の動作を説明するためのフローチャートである。
【図３】実施の形態に係るコンテンツ処理装置の動作の第１例を説明するための図である。
【図４】フレームレート変換処理における動き補償範囲の大きさについて説明するための図である。
【図５】実施の形態に係るコンテンツ処理装置の動作の第２例および第４例を説明するための図である。
【図６Ａ】フレームレート変換処理における動き補償範囲の大きさについて説明するための図である。
【図６Ｂ】フレームレート変換処理における動き補償範囲の大きさについて説明するための図である。
【図７】実施の形態に係るコンテンツ処理装置の動作の第３例を説明するための図である。
【図８】実施の形態の変形例３に係る、コンテンツ処理装置の動作の第５例、第６例および第７例を説明するための図である。
【図９】実施の形態の変形例４に係る、コンテンツ処理装置の動作の第８例を説明するための図である。
【図１０】実施の形態の変形例６に係るコンテンツ処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１０】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１１】
（実施の形態）
［１−１．構成］
図１は、実施の形態に係るコンテンツ処理装置の構成を示すブロック図である。
【００１２】
図１において、コンテンツ処理装置１は、第１入力部１１、第２入力部１２、第１調整部１３、第２調整部１４、第１変換部１５、記憶部１６、合成部１７、第２変換部１８、および制御部１９を備える。コンテンツ処理装置１の処理結果は、コンテンツ処理装置１の外部において接続されている表示部２０に出力される。コンテンツ処理装置１は、例えば、ＴＶ（Ｔｅｌｅｖｉｓｉｏｎ）や、ビデオレコーダなどに搭載され、例えば、プロセッサと、プログラムを記憶している記憶装置とにより実現される。コンテンツ処理装置１はまた、集積回路により実現されてもよい。つまり、コンテンツ処理装置１は、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。
【００１３】
第１入力部１１には、連続する複数のフレームで構成される動画像であるコンテンツ（以降、「第１のコンテンツ」という。）が入力される。第１入力部１１は、入力された第１のコンテンツを第１調整部１３に出力する。また、第１入力部１１は、第１のコンテンツのフレームサイズおよびフレームレートを検出し、検出したフレームサイズおよびフレームレートを制御部１９に出力する。
【００１４】
第２入力部１２には、連続する複数のフレームで構成され、第１のコンテンツとはフレームレートが異なる動画像であるコンテンツ（以降、「第２のコンテンツ」という。）が入力される。第２入力部１２は第２のコンテンツを第２調整部１４に出力する。第２入力部１２は、第２のコンテンツのフレームサイズおよびフレームレートを検出し、検出したフレームサイズおよびフレームレートを制御部１９に出力する。
【００１５】
第１調整部１３は、第１入力部１１から受け取った第１のコンテンツを表示部２０の画面サイズに合わせて拡大または縮小することでフレームサイズを調整し、調整した結果である第１調整結果を第１変換部１５に出力する。
【００１６】
第２調整部１４は、第２入力部１２から受け取った第２のコンテンツを表示部２０の画面サイズに合わせて拡大または縮小することでフレームサイズを調整し、調整した結果である第２調整結果を第１変換部１５に出力する。
【００１７】
なお、第１調整部１３および第２調整部１４は、複数の動画像を表示部２０の画面に並べて表示するときに予め設定されているサイズに応じてフレームサイズを調整してもよいし、ユーザにより指定されたサイズに応じてフレームサイズを調整してもよい。
【００１８】
第１変換部１５は、第１調整結果および第２調整結果に対して、互いのフレームレートが等しくなるようにフレームレートを変換する処理（以降、第１変換処理）を行い、第１変換処理の結果を、それぞれ第１変換結果および第２変換結果として合成部１７に出力する。具体的には、第１変換部１５は、第１調整部１３から受け取った第１調整結果、第２調整部１４から受け取った第２調整結果のうち、フレームレートが低い方の調整結果（コンテンツ）を選択し、選択した調整結果（コンテンツ）のフレームレートが、選択しなかった調整結果（コンテンツ）のフレームレートと等しくなるように変換する。つまり、第１変換部１５は、２つの調整結果のうち、一方の調整結果にフレームレートを変換する処理を施し、他方の調整結果にフレームレートを変換する処理を施さない、第１変換処理を行う。
【００１９】
また、第１変換部１５は、フレームレートが低い方の調整結果を選択するときに、第１調整結果のフレームレートと第２調整結果のフレームレートとを比較して、比較の結果を用いて選択する。例えば、第１調整結果のフレームレートが６０Ｈｚであり、第２調整結果のフレームレートが５０Ｈｚである場合には、第１変換部１５は、第２調整結果を選択して、第２調整結果に対して、フレームレートを変換する処理を行う。なお、第１変換部１５は、上記によらず、第１調整結果および第２調整結果のうち、フレームレートが高い方の調整結果を選択し、選択した調整結果を合成部１７に出力してもよい。
【００２０】
記憶部１６は、第１変換処理および後述する第２変換処理の際、第１変換処理および第２変換処理に必要なフレームを一時的に記憶する。なお、記憶部１６は、第１変換処理および第２変換処理に必要なフレームのうちの全部の領域を記憶することに限らずに、当該フレームの一部の領域を一時的に記憶してもよい。記憶部１６は、例えば、動き補償型のフレームレート変換処理が行われる際に使用されるキャッシュメモリにより実現される。
【００２１】
合成部１７は、第１変換部１５から受け取った第１変換結果および第２変換結果を同一画面内に並べて表示するための画面合成を行い、前記画面合成の結果である合成結果を第２変換部１８に出力する。なお、画面合成は、第１変換結果および第２変換結果を、同一画面内に、重畳せずに並べることで１つの動画像を合成する処理である。
【００２２】
第２変換部１８は、合成部１７から受け取った合成結果のフレームレートを、当該フレームレートより高いフレームレートに変換する第２変換処理を行う。第２変換部１８は、例えば、合成結果のフレームレートを、表示部２０が対応している表示周波数に合わせてＸ倍（Ｘは、２、３、４などの任意の整数）に上げて、その結果を表示部２０に出力する。
【００２３】
表示部２０は、第２変換部１８から受け取った、第２変換処理が行われた結果のコンテンツを表示する。表示部２０は、例えば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどにより実現される。
【００２４】
制御部１９は、コンテンツ処理装置１の各部を制御する。より具体的には、制御部１９は、第１入力部１１に入力された第１のコンテンツと、第２入力部１２に入力された第２のコンテンツとが表示部２０の画面に収まるように、第１調整部１３および第２調整部１４が第１のコンテンツおよび第２のコンテンツのフレームサイズを表示部２０の画面サイズに合わせて拡大または縮小するように、第１調整部１３および第２調整部１４を制御する。制御部１９は、第１調整結果および第２調整結果のうち、フレームレートが低い方の調整結果を選択し、選択した調整結果のフレームレートが、選択しなかった調整結果（コンテンツ）のフレームレートと等しくする変換を第１変換部１５が行うように、第１変換部１５を制御する。
【００２５】
制御部１９は、第１調整結果および第２調整結果の動画像の動き量に関連する属性に応じて、第１変換処理および第２変換処理のそれぞれに割り当てる記憶部１６の記憶容量の比を算出し、当該比に応じた記憶容量を第１変換処理および第２変換処理のそれぞれに割り当てる制御を行う。ここで、属性とは、フレームサイズおよびフレームレートの少なくとも一方である。また、動き量とは、例えば、単位時間当たりにおける画像の動きを画素単位で示した量である。
【００２６】
また、制御部１９は、第１変換部１５から受け取った第１変換結果および第２変換結果を同一画面内に並べて表示するための画面合成を合成部１７が行うように、合成部１７を制御する。制御部１９は、合成部１７から受け取った合成結果のフレームレートを、当該フレームレートより高いフレームレートに変換する第２変換処理を行うように、第２変換部１８を制御する。制御部１９は、第２変換部１８から受け取った、第２変換処理が行われた結果のコンテンツを表示部２０が表示するように、表示部２０を制御する。
【００２７】
なお、本実施の形態におけるフレームレート変換処理の一例として、動き補償型フレームレート変換処理がある。動き補償型フレームレート変換処理では、まず、連続する複数のフレームのうち、例えば２つのフレームから対象画像の動きベクトルを検出し、検出した動きベクトルが示す直線上に存在する当該２フレームの画素データを用いて補間画素を生成する。そして、この補間画素の生成を、当該２つのフレームの間に生成しようとしている補間フレームを構成する全ての画素について行うことで、新たなフレームである補間フレームを生成する。例えば、連続する５枚のフレームのうち４枚のフレームを、５枚の補間フレームと置き換えることによって、連続する複数のフレームで構成されるコンテンツのフレームレートを５０Ｈｚから６０Ｈｚに変換することができる。
【００２８】
［１−２．動作］
以上のように構成されたコンテンツ処理装置１について、その動作を以下に説明する。
【００２９】
図２は、実施の形態に係るコンテンツ処理装置の動作を説明するためのフローチャートである。
【００３０】
以下、制御部１９による制御が行われることにより、各部によって各ステップが実行される。
【００３１】
まず、第１入力部１１および第２入力部１２には、それぞれ、第１のコンテンツおよび第２のコンテンツが入力される（Ｓ２１）。ステップＳ２１では、具体的には、次のような処理が行われる。第１入力部１１には、連続する複数のフレームで構成される動画像である第１のコンテンツが入力される。第１入力部１１は第１のコンテンツを第１調整部１３に出力する。また、このとき、第１入力部１１は、第１のコンテンツのフレームサイズおよびフレームレートを検出し、検出したフレームサイズおよびフレームレートを制御部１９に出力する。第２入力部１２には、連続する複数のフレームで構成され、第１のコンテンツとはフレームレートが異なる動画像である第２のコンテンツが入力される。第２入力部１２は第２のコンテンツを第２調整部１４に出力する。また、第２入力部１２は、第２のコンテンツのフレームサイズおよびフレームレートを検出し、検出したフレームサイズおよびフレームレートを制御部１９に出力する。
【００３２】
次に、第１調整部１３は、受け取った第１のコンテンツのフレームサイズを調整し、第２調整部１４は、受け取った第２のコンテンツのフレームサイズを調整する（Ｓ２２）。ステップＳ２２では、具体的には、次のような処理が行われる。第１調整部１３は、第１入力部１１から受け取った第１のコンテンツを表示部２０の画面サイズに合わせて拡大または縮小することでフレームサイズを調整し、調整した結果である第１調整結果を第１変換部１５に出力する。また、第２調整部１４は、第２入力部１２から受け取った第２のコンテンツを表示部２０の画面サイズに合わせて拡大または縮小することでフレームサイズを調整し、調整した結果である第２調整結果を第１変換部１５に出力する。
【００３３】
次に、制御部１９は、第１調整結果および第２調整結果の動画像の動き量に関係する属性に応じて、第１変換処理および第２変換処理のそれぞれに割り当てる記憶部１６の記憶容量の比を算出し、当該比に応じた記憶容量を第１変換処理および第２変換処理のそれぞれに割り当てる制御を行う（Ｓ２３）。
【００３４】
次に、第１変換部１５は、第１調整結果および第２調整結果に対して、互いのフレームレートが等しくなるようにフレームレートを変換する第１変換処理を行い、第１変換処理の結果を、それぞれ第１変換結果および第２変換結果として合成部１７に出力する（Ｓ２４）。このとき、第１変換部１５は、ステップＳ２３で割り当てられた記憶容量で、第１変換処理を行う。
【００３５】
次に、合成部１７は、第１変換結果および第２変換結果を同一画面内に並べて表示するための画面合成を行い、画面合成の結果である合成結果を出力する（Ｓ２５）。
【００３６】
次に、第２変換部１８は、合成部１７から受け取った合成結果のフレームレートを、例えば表示部２０が対応している表示周波数に合わせてＸ倍（Ｘは、２、３、４などの任意の整数）に、上げる第２変換処理を行い、その結果を表示部２０に出力する（Ｓ２６）。このとき、第２変換部１８は、ステップＳ２３で割り当てられた記憶容量で、第２変換処理を行う。
【００３７】
最後に、表示部２０は、第２変換部１８から受け取った、第２変換処理が行われた結果のコンテンツを表示する（Ｓ２７）。
【００３８】
図３は、実施の形態に係るコンテンツ処理装置の動作の第１例を説明するための図である。
【００３９】
図３で示す第１例は、第１のコンテンツとして、フレームサイズが１９２０×１０８０画素であり、かつ、フレームレートが６０Ｈｚである動画像が入力され、第２のコンテンツとして、フレームサイズが１９２０×１０８０画素であり、かつ、フレームレートが５０Ｈｚである動画像が入力される例である。また、第１例は、第１のコンテンツおよび第２のコンテンツに対して、フレームサイズが９６０×５４０画素になるようにフレームサイズの調整を行い、かつ、同一の画面内でフレームレートが１２０Ｈｚで表示されるようにフレームレート変換処理を行う例である。
【００４０】
この場合、ステップＳ２１では、次のような処理が行われる。第１入力部１１に第１のコンテンツとして、フレームサイズが１９２０×１０８０画素であり、かつ、フレームレートが６０Ｈｚである動画像が入力される。また、第２入力部１２に、第２のコンテンツとして、フレームサイズが１９２０×１０８０画素であり、かつ、フレームレートが５０Ｈｚである動画像が入力される。第１入力部１１および第２入力部１２は、それぞれ第１のコンテンツおよび第２のコンテンツのフレームサイズとフレームレートとを検出し、検出した第１のコンテンツおよび第２のコンテンツのフレームサイズとフレームレートとを制御部１９に出力する。
【００４１】
ステップＳ２２では、次のような処理が行われる。第１調整部１３は、第１入力部１１から受け取った第１のコンテンツを表示部２０の画面サイズに合わせてフレームサイズが９６０×５６０画素になるように縮小し、縮小した結果である第１調整結果を第１変換部１５に出力する。第２調整部１４は、第２入力部１２から受け取った第２のコンテンツを表示部２０の画面サイズに合わせてフレームサイズが９６０×５６０画素になるように縮小し、縮小した結果である第２調整結果を第１変換部１５に出力する。
【００４２】
ステップＳ２３では、次のような処理が行われる。制御部１９は、比として、第２調整結果のフレームサイズと、第１調整結果および第２調整結果のうちの大きい方のフレームサイズとの比を算出し、当該比に応じた記憶容量を第１変換処理および第２変換処理に割り当てる制御を行う。つまり、制御部１９は、第１変換処理において実際にフレームレート変換処理が行われる第２調整結果のフレームサイズである９６０×５６０画素と、第１調整結果および第２調整結果のうちの大きい方のフレームサイズである９６０×５６０画素との比を算出する。なお、フレームサイズの比を算出する場合、互いの、垂直方向の画素数で比を用いて算出してもよいし、水平方向の画素数を用いて比を算出してもよいし、垂直方向の画素数と水平方向の画素数とのうちで多い方の画素数を用いて比を算出してもよいし、フレームにおける全画素数（水平方向の画素数と垂直方向の画素数との積）の平方根を用いて比を算出してもよい。この場合、制御部１９は、１対１を算出することになり、仮に、記憶部１６の記憶容量を「１００」とした場合、算出した比である１対１に基づいて、第１変換部１５での第１変換処理に「５０」の記憶容量を割り当て、第２変換部１８での第２変換処理に「５０」の記憶容量を割り当てる。
【００４３】
ステップＳ２４では、第１変換部１５は、制御部１９により割り当てられた「５０」の記憶容量で、第１変換処理を行う。具体的には、第１変換部１５は、第１変換処理として、第２調整結果に対して、第２調整結果のフレームレート（５０Ｈｚ）が第１調整結果のフレームレート（６０Ｈｚ）と等しくなるように変換する処理を行う。
【００４４】
ステップＳ２５では、合成部１７は、第１変換結果および第２変換結果を同一画面内に並べて表示させるための画面合成を行い、画面合成の結果である合成結果を第２変換部１８に出力する。具体的には、合成部１７は、フレームサイズが９６０×５６０画素であり、かつ、フレームレートが６０Ｈｚの第１変換結果と、フレームサイズが９６０×５６０画素であり、かつ、フレームレートが６０Ｈｚの第２変換結果とを水平方向に並べて合成することで、フレームサイズが１９２０×１０８０画素であり、かつ、フレームレートが６０Ｈｚの動画像を生成する。
【００４５】
ステップＳ２６では、第２変換部１８は、制御部１９により割り当てられた「５０」の記憶容量で、第２変換処理を行う。具体的には、第２変換部１８は、合成部１７から受け取った合成結果のフレームレートを６０Ｈｚから１２０Ｈｚになるように２倍に上げる第２変換処理を行い、その結果を表示部２０に出力する。
【００４６】
本開示の実施形態では、第１変換処理および第２変換処理で必要なキャッシュメモリの記憶容量を１つの記憶部１６で共用化する際に、第１変換処理および第２変換処理に適切に配分することを特徴としている。一般的には、フレームレート変換処理に用いる記憶容量が少なくなる場合、フレームレート変換処理における動き補償範囲（物体の移動速度にどこまで追従可能か）は、記憶容量に比例して小さくなる。
【００４７】
図４は、フレームレート変換処理における動き補償範囲の大きさについて説明するための図である。具体的には、図４の（ａ）は、フレームサイズが１９２０×１０８０画素である動画像を示している。また、図４の（ｂ）は、図４の（ａ）と同じコンテンツの動画像であり、フレームサイズが９６０×５４０画素である動画像を示している。つまり、図４の（ｂ）で示す動画像は、図４の（ａ）で示す動画像よりもフレームサイズが垂直および水平方向に１／２サイズに縮小された動画像である。
【００４８】
図４の（ａ）に示すように、自動車は、矢印で示す動きベクトルで移動することが予想され、この場合、垂直方向の幅ｄ１１だけの動き補償範囲が必要となる。つまり、図４の（ａ）の場合、幅ｄ１１の分だけの画素数をフレームレート変換処理において一時的に記憶（キャッシュ）しておく必要がある。一方で、図４の（ｂ）の場合には、自動車は、図４の（ａ）と同様に矢印で示す動きベクトルで移動することが予想され、この場合、垂直方向の幅ｄ１２だけの画素数をフレームレート変換処理において一時的に記憶しておく必要がある。以上のことから、図４の（ａ）の動画像に対してフレームレート変換処理を行う場合に必要なキャッシュメモリの記憶容量と、図４の（ｂ）の動画像に対してフレームレート変換処理を行う場合に必要なキャッシュメモリの記憶容量との比は、幅ｄ１１と幅ｄ１２との比と等しいことが分かる。
【００４９】
このとき、図４の（ａ）と図４の（ｂ）とは、同じコンテンツの同じフレームであるため、図４の（ａ）の矢印と、図４の（ｂ）の矢印とは、長さの比が２対１となる。つまり、幅ｄ１１は、幅ｄ１２の２倍の幅である。これにより、図４の（ａ）の動画像に対してフレームレート変換処理を行う場合に必要なキャッシュメモリの記憶容量と、図４の（ｂ）の動画像に対してフレームレート変換処理を行う場合に必要なキャッシュメモリの記憶容量とは、２対１の関係になることが分かる。つまり、フレームレート変換処理を行う場合に必要なキャッシュメモリの記憶容量は、フレームレート変換処理を行う対象となる動画像のフレームサイズに応じて決定できることが分かる。
【００５０】
ところで、図３に示す例では、第１変換部１５で行われる第１変換処理において実際にフレームレート変換処理が行われる第２調整結果のフレームサイズは９６０×５４０画素であり、第２入力部１２に入力された第２のコンテンツのフレームサイズである１９２０×１０８０画素に対して、水平方向および垂直方向のそれぞれで画素数が１／２となっている。また、第２調整結果における対象画像の移動速度も、入力された第２のコンテンツのフレームサイズである１９２０×１０８０画素を基準とした場合、水平方向および垂直方向のそれぞれで１／２となる。このため、第２調整結果のフレームレート変換処理に必要な記憶容量は、第２のコンテンツのフレームレート変換処理に必要な記憶容量の１／２で済む。言い換えると、フレームサイズが９６０×５４０画素の動画像に対するフレームレート変換処理に用いる記憶容量を、フレームレート変換処理に用いることができる全記憶容量の１／２にした場合の動き補償性能は、フレームサイズが１９２０×１０８０画素の動画像に対するフレームレート変換処理に用いる記憶容量を削減せずに１（つまり全記憶容量）とした場合の動き補償性能と同等であると言える。
【００５１】
また、第２変換部１８で行うフレームレート変換処理のコンテンツのフレームサイズは、１９２０×１０８０画素であるものの、これを構成する２つのコンテンツのフレームサイズはそれぞれ９６０×５４０画素である。このことから、第２変換部１８でのフレームレート変換処理に必要な記憶容量を全記憶容量の１／２にしても、動き補償性能は低下しないと言える。
【００５２】
図５は、実施の形態に係るコンテンツ処理装置の動作の第２例および第４例（後述参照）を説明するための図である。
【００５３】
図５で示す第２例は、第１のコンテンツとして、フレームサイズが１９２０×１０８０画素であり、かつ、フレームレートが６０Ｈｚである動画像が入力され、第２のコンテンツとして、フレームサイズが１９２０×１０８０画素であり、かつ、フレームレートが５０Ｈｚである動画像が入力される例である。また、第２例は、第１のコンテンツに対して、フレームサイズが１４４０×８１０画素になるようにフレームサイズの調整を行い、第２のコンテンツに対して、フレームサイズが４８０×２７０画素になるようにフレームサイズの調整を行い、これらのフレームサイズの調整が行われた２つの動画像を同一の画面内でフレームレートが１２０Ｈｚで表示されるようにフレームレート変換処理を行う例である。
【００５４】
この場合、ステップＳ２１では、次のような処理が行われる。第１入力部１１に第１のコンテンツとして、フレームサイズが１９２０×１０８０画素であり、かつ、フレームレートが６０Ｈｚである動画像が入力される。また、第２入力部１２に、第２のコンテンツとして、フレームサイズが１９２０×１０８０画素であり、かつ、フレームレートが５０Ｈｚである動画像が入力される。第１入力部１１および第２入力部１２は、それぞれ第１のコンテンツおよび第２のコンテンツのフレームサイズとフレームレートとを検出し、検出した第１のコンテンツおよび第２のコンテンツのフレームサイズとフレームレートとを制御部１９に出力する。
【００５５】
ステップＳ２２では、次のような処理が行われる。第１調整部１３は、第１入力部１１から受け取った第１のコンテンツを表示部２０の画面サイズに合わせてフレームサイズが１４４０×８１０画素になるように縮小し、縮小した結果である第１調整結果を第１変換部１５に出力する。第２調整部１４は、第２入力部１２から受け取った第２のコンテンツを表示部２０の画面サイズに合わせてフレームサイズが４８０×２７０画素になるように縮小し、縮小した結果である第２調整結果を第１変換部１５に出力する。
【００５６】
ステップＳ２３では、次のような処理が行われる。制御部１９は、比として、第２調整結果のフレームサイズと、第１調整結果および第２調整結果のうちの大きい方のフレームサイズとの比を算出し、当該比に応じた記憶容量を第１変換処理および第２変換処理に割り当てる制御を行う。つまり、制御部１９は、第１変換処理において実際にフレームレート変換処理が行われる第２調整結果のフレームサイズである４８０×２７０画素と、第１調整結果および第２調整結果のうちの大きい方のフレームサイズである１４４０×８１０画素との比を算出する。この場合、制御部１９は、１対３を算出することになり、仮に、記憶部１６の記憶容量を「１００」とした場合、算出した１対３の比に基づいて、第１変換部１５での第１変換処理に「２５」の記憶容量を割り当て、第２変換部１８での第２変換処理に「７５」の記憶容量を割り当てる。
【００５７】
ステップＳ２４では、第１変換部１５は、制御部１９により割り当てられた「２５」の記憶容量で、第１変換処理を行う。具体的には、第１変換部１５は、第１変換処理として、第２調整結果に対して、第２調整結果のフレームレート（５０Ｈｚ）が第１調整結果のフレームレート（６０Ｈｚ）と等しくなるように変換する処理を行う。
【００５８】
ステップＳ２５では、合成部１７は、第１変換結果および第２変換結果を同一画面内に並べて表示させるための画面合成を行い、画面合成の結果である合成結果を第２変換部１８に出力する。具体的には、合成部１７は、フレームサイズが１４４０×８１０画素であり、かつ、フレームレートが６０Ｈｚの第１変換結果と、フレームサイズが４８０×２７０画素であり、かつ、フレームレートが６０Ｈｚの第２変換結果とを水平方向に並べて合成することで、フレームサイズが１９２０×１０８０画素であり、かつ、フレームレートが６０Ｈｚの動画像を生成する。
【００５９】
ステップＳ２６では、第２変換部１８は、制御部１９により割り当てられた「７５」の記憶容量で、第２変換処理を行う。具体的には、第２変換部１８は、合成部１７から受け取った合成結果のフレームレートを６０Ｈｚから１２０Ｈｚになるように２倍に上げる第２変換処理を行い、その結果を表示部２０に出力する。
【００６０】
本開示の実施形態では、第１変換処理および第２変換処理で必要なキャッシュメモリの記憶容量を１つの記憶部１６で共用化する際に、第１変換処理および第２変換処理に適切に配分することを特徴としている。一般的には、フレームレート変換処理に用いる記憶容量が少なくなる場合、フレームレート変換処理における動き補償範囲（物体の移動速度にどこまで追従可能か）は、記憶容量に比例して小さくなる。
【００６１】
図５に示す例では、第１変換部１５で行われる第１変換処理において実際のフレームレート変換処理が行われる第２調整結果のフレームサイズは４８０×２７０画素であり、第２入力部１２に入力された第２のコンテンツのフレームサイズである１９２０×１０８０画素に対して、水平方向および垂直方向のそれぞれで画素数が１／４となっている。また、第２調整結果における対象画像の移動速度も、入力された第２のコンテンツのフレームサイズである１９２０×１０８０画素を基準とした場合、水平方向および垂直方向のそれぞれで１／４となる。このため、第２調整結果のフレームレート変換処理に必要な記憶容量は、第２のコンテンツのフレームレート変換処理に必要な記憶容量の１／４で済む。言い換えると、フレームサイズが４８０×２７０画素の動画像に対するフレームレート変換処理に用いる記憶容量を、フレームレート変換処理に用いることができる全記憶容量の１／４にした場合の動き補償性能は、フレームサイズが１９２０×１０８０画素の動画像に対するフレームレート変換処理に用いる記憶容量を削減せずに１（つまり全記憶容量）とした場合の動き補償性能と同等であると言える。
【００６２】
また、第２変換部１８で行うフレームレート変換処理のコンテンツのフレームサイズは、１９２０×１０８０画素であるものの、これを構成する２つのコンテンツのフレームサイズはそれぞれ１４４０×８１０画素および４８０×２７０画素であることから、フレームレート変換処理に必要な記憶容量を全記憶容量の３／４にしても、動き補償性能は低下しないと言える。つまり、第１変換処理で使用する記憶容量を１／４とし、第２変換処理で使用する記憶容量を３／４としたとしても、動き補償性能を低下させずに、第１変換処理および第２変換処理を行うことができる。このため、限られた記憶容量で、効率のよいフレームレート変換処理を行うことができる。
【００６３】
［１−３．効果等］
以上のように、本実施の形態において、コンテンツ処理装置１は、第１入力部１１、第２入力部１２、第１調整部１３、第２調整部１４、第１変換部１５、記憶部１６、合成部１７、第２変換部１８および制御部１９を備える。
【００６４】
第１入力部１１には、連続する複数のフレームで構成される動画像である第１のコンテンツが入力される。第２入力部１２には、連続する複数のフレームで構成され、前記第１のコンテンツとはフレームレートが異なる動画像である第２のコンテンツが入力される。第１調整部１３は、第１のコンテンツを拡大または縮小することでフレームサイズを調整し、調整した結果である第１調整結果を出力する。第２調整部１４は、第２のコンテンツを拡大または縮小することでフレームサイズを調整し、調整した結果である第２調整結果を出力する。第１変換部１５は、第１調整結果および第２調整結果に対して、互いのフレームレートが等しくなるようにフレームレートを変換する第１変換処理を行い、第１変換処理の結果を、それぞれ第１変換結果および第２変換結果として出力する。合成部１７は、第１変換結果および第２変換結果を同一画面内に並べて表示するための画面合成を行い、画面合成の結果である合成結果を出力する。第２変換部１８は、合成結果のフレームレートを、当該フレームレートより高いフレームレートに変換する第２変換処理を行う。記憶部１６は、第１変換処理および第２変換処理の際、第１変換処理および第２変換処理に必要なフレームを一時的に記憶する。制御部１９は、第１調整結果および第２調整結果の動画像の動き量に関連する属性に応じて、第１変換処理および第２変換処理のそれぞれに割り当てる記憶部１６の記憶容量の比を算出し、当該比に応じた記憶容量を第１変換処理および第２変換処理のそれぞれに割り当てる制御を行う。第１変換部１５および第２変換部１８は、それぞれ、制御部１９により割り当てられた記憶容量で、第１変換処理および第２変換処理を行う。
【００６５】
これにより、複数のコンテンツを同一の画面に並べて同時に表示する場合でも、第１調整結果および第２調整結果の動画像の動き量に関連する属性に応じて、記憶部１６の記憶容量を第１変換処理および第２変換処理に適切に割り当てることができるため、記憶部１６の記憶容量を極力抑制することができる。このように、記憶部１６の記憶容量を極力抑えたコンテンツ処理装置を実現できるため、コストの上昇を抑えつつジャダーを軽減した高品位なコンテンツ表示が可能となる。
【００６６】
（変形例１）
上記実施の形態において、制御部１９は、第１調整部１３および第２調整部１４においてそれぞれフレームサイズが調整された第１調整結果および第２調整結果のフレームサイズに応じて、第１変換処理および第２変換処理のそれぞれに割り当てる記憶部１６の記憶容量を制御している（つまり、動画像の動き量に関連する属性としてフレームサイズを利用している）が、これに限らない。制御部１９は、第１調整部１３および第２調整部１４においてそれぞれフレームサイズが調整された第１調整結果および第２調整結果のフレームレートに応じて、第１変換処理および第２変換処理に割り当てる記憶部１６の記憶容量を制御してもよい。つまり、動画像の動き量に関連する属性としてフレームレートを利用してもよい。以下、フレームレートを利用して第１変換処理および第２変換処理に割り当てる記憶部１６の記憶容量の制御について説明する。
【００６７】
図６Ａおよび図６Ｂは、フレームレート変換処理における動き補償範囲の大きさについて説明するための図である。図７は、実施の形態の変形例１に係るコンテンツ処理装置の動作の第３例を説明するための図である。
【００６８】
例えば、フレームレートが３０Ｈｚである動画像を６０Ｈｚのフレームレートに変換する場合と、フレームレートが６０Ｈｚである動画像を１２０Ｈｚのフレームレートに変換する場合とを比較する。ここで、図６Ａは、フレームレートが３０Ｈｚである動画像を示しており、図６Ｂは、フレームレートが６０Ｈｚである動画像を示しているとする。また、図６Ａの（ａ）と（ｂ）とは隣接する２フレームを示しており、同様に、図６Ｂの（ａ）と（ｂ）と（ｃ）とは隣接する３フレームを示している。さらに、図６Ａの（ａ）と図６Ｂの（ａ）とは同じ動画像の同じタイミングにおけるフレームを示し、同様に、図６Ａの（ｂ）と図６Ｂの（ｃ）とは同じ動画像の同じタイミングにおけるフレームを示す。
【００６９】
フレームレートが３０Ｈｚの場合、隣接する２フレーム間の物体の移動量は、図６Ａの（ａ）から（ｂ）までに自動車が移動した距離（矢印で示すベクトルの大きさ）であり、垂直方向の幅ｄ２１だけの画素数をフレームレート変換処理において一時的に記憶（キャッシュ）しておく必要がある。一方で、フレームレートが６０Ｈｚの場合、隣接する２フレーム間の物体の移動量は、図６Ｂの（ａ）から（ｂ）までに、または、図６Ｂの（ｂ）から（ｃ）までに自動車が移動した距離（矢印で示すベクトルの大きさ）であり、垂直方向の幅ｄ２２または幅ｄ２３だけの画素数をフレームレート変換処理において一時的に記憶（キャッシュ）しておく必要がある。
【００７０】
ここで、図６Ｂにおいて、（ｂ）は、（ａ）と（ｃ）との間に隣接しているフレームであるため、（ａ）から（ｃ）までの時間と、（ａ）から（ｂ）までの時間、または、（ｂ）から（ｃ）までの時間とは、２対１の関係にある。つまり、自動車が一定の速度で移動していると仮定したとき、図６Ａの（ｂ）で示す矢印の大きさは、図６Ｂの（ｂ）で示す矢印の大きさ、または、図６Ｂの（ｃ）で示す矢印の大きさの２倍となる。これにより、幅ｄ２１は、幅ｄ２２または幅ｄ２３の２倍の幅であることが分かる。したがって、図６Ａの動画像に対してフレームレート変換処理を行う場合に必要なキャッシュメモリの記憶容量と、図６Ｂの動画像に対してフレームレート変換処理を行う場合に必要なキャッシュメモリの記憶容量とは、２対１の比になることが分かる。この２対１の比は、隣接するフレーム間の時間で表される比と同じであることから、フレームレート変換処理を行う場合に必要なキャッシュメモリの記憶容量は、フレームレート変換処理を行う対象となる動画像のフレームレートに応じて決定できることが分かる。
【００７１】
図７で示す第３例は、第１のコンテンツとして、フレームサイズが１９２０×１０８０画素であり、かつ、フレームレートが６０Ｈｚである動画像が入力され、第２のコンテンツとして、フレームサイズが１９２０×１０８０画素であり、かつ、フレームレートが３０Ｈｚである動画像が入力される例である。また、第３例は、第１のコンテンツおよび第２のコンテンツに対して、フレームサイズが９６０×５４０画素になるようにフレームサイズの調整を行い、かつ、同一の画面内でフレームレートが１２０Ｈｚで表示されるようにフレームレート変換処理を行う例である。
【００７２】
この場合、ステップＳ２１とステップＳ２２とは、図３の第１例に対する処理と同様の処理が行われる。
【００７３】
そして、ステップＳ２３では、次のような処理が行われる。制御部１９は、比として、第１調整結果の第１フレームレートの逆数と、合成結果のフレームレートの逆数との比を算出する。つまり、制御部１９は、第１変換処理において実際にフレームレート変換処理が行われる第２調整結果のフレームレートである３０Ｈｚの逆数と、合成結果のフレームレートである６０Ｈｚの逆数と比を算出する。ここで、合成結果のフレームレートは、合成結果が生成されていなくても、第２変換処理および合成後のフレームレートの目標値が６０Ｈｚであることが明らかであるので、目標値のフレームレート６０Ｈｚを利用すればよい。これにより、制御部１９は、比として、２対１を算出することになり、仮に、記憶部１６の記憶容量を「１００」とした場合、算出した２対１の比に基づいて、第１変換部１５での第１変換処理に「６６」の記憶容量を割り当て、第２変換部１８での第２変換処理に「３３」の記憶容量を割り当てる。
【００７４】
ステップＳ２４では、第１変換部１５は、制御部１９により割り当てられた「６６」の記憶容量で、第１変換処理を行う。具体的には、第１変換部１５は、第１変換処理として、第２調整結果に対して、第２調整結果のフレームレート（３０Ｈｚ）が第１調整結果のフレームレート（６０Ｈｚ）と等しくなるように変換する処理を行う。
【００７５】
ステップＳ２５では、図３の第１例に対する処理と同様の処理が行われる。
【００７６】
ステップＳ２６では、第２変換部１８は、制御部１９により割り当てられた「３３」の記憶容量で、第２変換処理を行う。具体的には、第２変換部１８は、合成部１７から受け取った合成結果のフレームレートを６０Ｈｚから１２０Ｈｚになるように２倍に上げる第２変換処理を行い、その結果を表示部２０に出力する。
【００７７】
（変形例２）
また、上記実施の形態では、制御部１９は、第１調整結果および第２調整結果のフレームサイズおよびフレームレートの一方を用いて、第１変換処理および第２変換処理に用いられる記憶容量の比を決定しているが、これに限らずに、第１調整結果および第２調整結果のフレームサイズおよびフレームレートの両方を用いて、第１変換処理と第２変換処理とに用いられる記憶容量の比を決定してもよい。
【００７８】
第４例は、第１のコンテンツとして、フレームサイズが１９２０×１０８０画素であり、かつ、フレームレートが６０Ｈｚである動画像が入力され、第２のコンテンツとして、フレームサイズが１９２０×１０８０画素であり、かつ、フレームレートが５０Ｈｚである動画像が入力される例である。また、第４例は、第１のコンテンツおよび第２のコンテンツに対して、フレームサイズが１４４０×８１０画素になるようにフレームサイズの調整を行い、第２のコンテンツに対して、フレームサイズが４８０×２７０画素になるようにフレームサイズの調整を行い、これらのフレームサイズの調整が行われた２つの動画像を同一の画面内でフレームレートが１２０Ｈｚで表示されるようにフレームレート変換処理を行う例である。
【００７９】
第４例では、この場合、ステップＳ２１とステップＳ２２とは、図５の第２例に対する処理と同様の処理が行われる。
【００８０】
そして、ステップＳ２３では、次のような処理が行われる。制御部１９は、第２調整結果のフレームサイズ（４８０×２７０画素）と、第１調整結果および第２調整結果のうちの大きい方のフレームサイズ（１４４０×８１０画素）との比である第１の比（１対３）を算出する。また、制御部１９は、第２の比として、第２調整結果の第１フレームレート（３０Ｈｚ）の逆数と、合成結果のフレームレート（６０Ｈｚ）の逆数との比（２対１）を算出する。そして、制御部１９は、第１の比（ａ対ｂ）および第２の比（ｃ対ｄ）を乗算して得られる第３の比（ａ×ｃ対ｂ×ｄ）を算出する。これにより、制御部１９は、比として２対３を算出することになり、仮に、記憶部１６の記憶容量を「１００」とした場合、算出した２対３の比に基づいて、第１変換部１５での第１変換処理に「４０」の記憶容量を割り当て、第２変換部１８での第２変換処理に「６０」の記憶容量を割り当てる。
【００８１】
ステップＳ２４では、第１変換部１５は、制御部１９により割り当てられた「４０」の記憶容量で、第１変換処理を行う。具体的には、第１変換部１５は、第１変換処理として、第２調整結果に対して、第２調整結果のフレームレート（３０Ｈｚ）が第１調整結果のフレームレート（６０Ｈｚ）になるように変換する処理を行う。
【００８２】
ステップＳ２５では、図５の第２例に対する処理と同様の処理が行われる。
【００８３】
ステップＳ２６では、第２変換部１８は、制御部１９により割り当てられた「６０」の記憶容量で、第２変換処理を行う。具体的には、第２変換部１８は、合成部１７から受け取った合成結果のフレームレートを６０Ｈｚから１２０Ｈｚになるように２倍に上げる第２変換処理を行い、その結果を表示部２０に出力する。
【００８４】
（変形例３）
上記実施の形態において、第１変換部１５は、第１変換処理として、第２調整結果に対して、第２調整結果のフレームレートが第１調整結果のフレームレートと等しくなるように変換する処理を行っているが、これに限らずに、第１変換処理として、第１調整結果および第２調整結果に対して、第１調整結果のフレームレートである第１フレームレートおよび第２調整結果のフレームレートである第２フレームレートが第１フレームレートおよび第２フレームレートとは異なる第３フレームレートになるように変換する処理を行ってもよい。
【００８５】
図８は、実施の形態の変形例３に係る、コンテンツ処理装置の動作の第５例、第６例および第７例を説明するための図である。
【００８６】
第５例、第６例および第７例は、第１のコンテンツとして、フレームサイズが１９２０×１０８０画素であり、かつ、フレームレートが２４Ｈｚである動画像が入力され、第２のコンテンツとして、フレームサイズが１９２０×１０８０画素であり、かつ、フレームレートが３０Ｈｚである動画像が入力される例である。また、第５例、第６例および第７例は、第１のコンテンツおよび第２のコンテンツに対して、フレームサイズが１４４０×８１０画素になるようにフレームサイズの調整を行い、第２のコンテンツに対して、フレームサイズが４８０×２７０画素になるようにフレームサイズの調整を行い、これらのフレームサイズの調整が行われた２つの動画像を同一の画面内でフレームレートが１２０Ｈｚで表示されるようにフレームレート変換処理を行う例である。
【００８７】
ここで、第５例は、属性として第１調整結果および第２調整結果のフレームサイズを利用する例であり、第６例は、属性として第１調整結果および第２調整結果のフレームレートを利用する例であり、第７例は、属性として第１調整結果および第２調整結果のフレームサイズおよびフレームレートを利用する例である。
【００８８】
第５例について以下に説明する。
【００８９】
第５例では、この場合、ステップＳ２１とステップＳ２２とは、図５の第２例に対する処理と同様の処理が行われる。
【００９０】
そして、ステップＳ２３では、次のような処理が行われる。制御部１９は、比を１対１とする、当該比に応じた記憶容量を第１変換処理および第２変換処理に割り当てる制御を行う。具体的には、制御部１９は、第１変換処理において実際にフレームレート変換処理が行われる第１調整結果および第２調整結果の大きい方のフレームサイズと、第１調整結果および第２調整結果のうちの大きい方のフレームサイズとの比を算出することになるため、当該比は１対１となる。これにより、制御部１９は、仮に、記憶部１６の記憶容量を「１００」とした場合、算出した１対１の比に基づいて、第１変換部１５での第１変換処理に「５０」の記憶容量を割り当て、第２変換部１８での第２変換処理に「５０」の記憶容量を割り当てる。
【００９１】
ステップＳ２４では、第１変換部１５は、制御部１９により割り当てられた「５０」の記憶容量で、第１変換処理を行う。具体的には、第１変換部１５は、第１変換処理として、第１調整結果および第２調整結果に対して、第１調整結果の第１フレームレート（２４Ｈｚ）および第２調整結果の第２フレームレート（３０Ｈｚ）が、第３フレームレート（６０Ｈｚ）になるように変換する処理を行う。
【００９２】
ステップＳ２５では、図５の第１例に対する処理と同様の処理が行われる。
【００９３】
ステップＳ２６では、第２変換部１８は、制御部１９により割り当てられた「５０」の記憶容量で、第２変換処理を行う。具体的には、第２変換部１８は、合成部１７から受け取った合成結果のフレームレートを６０Ｈｚから１２０Ｈｚになるように２倍に上げる第２変換処理を行い、その結果を表示部２０に出力する。
【００９４】
次に、第６例について以下に説明する。
【００９５】
第６例では、この場合、ステップＳ２１とステップＳ２２とは、図５の第２例に対する処理と同様の処理が行われる。
【００９６】
そして、ステップＳ２３では、次のような処理が行われる。制御部１９は、比として、第１フレームレート（２４Ｈｚ）および第２フレームレート（３０Ｈｚ）のうちの低い方のフレームレート（つまり、２４Ｈｚ）の逆数と、第２変換処理後の合成結果のフレームレート（６０Ｈｚ）の逆数との比を算出し、当該比に応じた記憶容量を第１変換処理および第２変換処理に割り当てる制御を行う。これにより、制御部１９は、比として５対２を算出することになり、仮に、記憶部１６の記憶容量を「１００」とした場合、算出した５対２の比に基づいて、第１変換部１５での第１変換処理に「７１」の記憶容量を割り当て、第２変換部１８での第２変換処理に「２８」の記憶容量を割り当てる。
【００９７】
ステップＳ２４では、第１変換部１５は、制御部１９により割り当てられた「７１」の記憶容量で、第１変換処理を行う。具体的には、第１変換部１５は、第１変換処理として、第１調整結果および第２調整結果に対して、第１調整結果の第１フレームレート（２４Ｈｚ）および第２調整結果の第２フレームレート（３０Ｈｚ）が、第３フレームレート（６０Ｈｚ）になるように変換する処理を行う。
【００９８】
ステップＳ２５では、図５の第２例に対する処理と同様の処理が行われる。
【００９９】
ステップＳ２６では、第２変換部１８は、制御部１９により割り当てられた「２８」の記憶容量で、第２変換処理を行う。具体的には、第２変換部１８は、合成部１７から受け取った合成結果のフレームレートを６０Ｈｚから１２０Ｈｚになるように２倍に上げる第２変換処理を行い、その結果を表示部２０に出力する。
【０１００】
最後に、第７例について以下に説明する。
【０１０１】
第７例では、この場合、ステップＳ２１とステップＳ２２とは、図５の第２例に対する処理と同様の処理が行われる。
【０１０２】
そして、ステップＳ２３では、次のような処理が行われる。制御部１９は、第１調整結果および第２調整結果のフレームサイズを用いて、１対１である第１の比を算出する。また、制御部１９は、第２の比として、第１フレームレート（２４Ｈｚ）および第２フレームレート（３０Ｈｚ）のうちの低い方のフレームレート（つまり、２４Ｈｚ）の逆数と、第２変換処理後の合成結果のフレームレート（６０Ｈｚ）の逆数との比（５対２）を算出する。そして、制御部１９は、第１の比（ａ対ｂ）および第２の比（ｃ対ｄ）を乗算して得られる第３の比（ａ×ｃ対ｂ×ｄ）を算出し、当該比に応じた記憶容量を第１変換処理および第２変換処理に割り当てる制御を行う。これにより、制御部１９は、比として５対２を算出することになり、仮に、記憶部１６の記憶容量を「１００」とした場合、算出した５対２の比に基づいて、第１変換部１５での第１変換処理に「７１」の記憶容量を割り当て、第２変換部１８での第２変換処理に「２８」の記憶容量を割り当てる。
【０１０３】
ステップＳ２４では、第１変換部１５は、制御部１９により割り当てられた「７１」の記憶容量で、第１変換処理を行う。具体的には、第１変換部１５は、第１変換処理として、第１調整結果および第２調整結果に対して、第１調整結果の第１フレームレート（２４Ｈｚ）および第２調整結果の第２フレームレート（３０Ｈｚ）が、第３フレームレート（６０Ｈｚ）になるように変換する処理を行う。
【０１０４】
ステップＳ２５では、図５の第２例に対する処理と同様の処理が行われる。
【０１０５】
ステップＳ２６では、第２変換部１８は、制御部１９により割り当てられた「２８」の記憶容量で、第２変換処理を行う。具体的には、第２変換部１８は、合成部１７から受け取った合成結果のフレームレートを６０Ｈｚから１２０Ｈｚになるように２倍に上げる第２変換処理を行い、その結果を表示部２０に出力する。
【０１０６】
（変形例４）
上記実施の形態において、コンテンツ処理装置１には、第１のコンテンツと第２のコンテンツとの複数のコンテンツが入力されているが、これに限らずに、１つのコンテンツのみが入力されてもよい。
【０１０７】
図９は、実施の形態の変形例４に係る、コンテンツ処理装置の動作の第８例を説明するための図である。
【０１０８】
図９は、連続する複数のフレームで構成される１９２０×１０８０画素、６０Ｈｚの第１のコンテンツが入力され、１９２０×１０８０画素、６０Ｈｚのまま１画面表示する例を示している。
【０１０９】
この場合、ステップＳ２１では、次のような処理が行われる。第１入力部１１に第１のコンテンツとして、フレームサイズが１９２０×１０８０画素であり、かつ、フレームレートが６０Ｈｚである第１のコンテンツが入力される。第１入力部１１は、第１のコンテンツのフレームサイズおよびフレームレートを検出し、検出した第１のコンテンツのフレームサイズおよびフレームレートを制御部１９に出力する。
【０１１０】
ステップＳ２２では、第１調整部１３は、第１入力部１１から受け取った第１のコンテンツを表示部２０の画面サイズに合わせる処理を行うが、画面サイズを変更する必要は無いためそのままのフレームサイズとした第１調整結果を第１変換部１５に出力する。
【０１１１】
第８例において、第１変換部１５による第１変換処理は行わない。第１変換部１５による第１変換処理が行われないので、ステップＳ２３では、制御部１９は、第２変換処理に記憶部１６の記憶容量の全てを割り当てる制御を行う。仮に、記憶部１６のメモリ容量を「１００」とすると、制御部１９は、第２変換部１８での第２変換処理に「１００」を割り当てる。
【０１１２】
ステップＳ２４では、第１変換部１５は、第１調整部１３から受け取った第１のコンテンツをそのまま合成部１７に出力する。
【０１１３】
ステップＳ２５では、合成部１７は、第１変換部１５から受け取った第１のコンテンツをそのまま第２変換部１８に出力する。
【０１１４】
ステップＳ２６では、第２変換部１８は、制御部１９により割り当てられた「１００」の記憶容量で、第２変換処理を行う。具体的には、第２変換部１８は、合成部１７から受け取った第１のコンテンツのフレームレートを６０Ｈｚから１２０Ｈｚになるように２倍に上げる第２変換処理を行い、その結果を表示部２０に出力する。
【０１１５】
（変形例５）
上記実施の形態では、第１のコンテンツおよび第２のコンテンツの２つのコンテンツを表示部２０に２画面表示する例について説明したが、これに限らず、３つ以上のコンテンツを表示部２０に多画面表示する場合も、制御部１９は同様の制御を行う。
【０１１６】
（変形例６）
上記実施の形態では、第１変換部１５が第１調整結果および第２調整結果のうちのフレームレートが低い方の調整結果を選択し、選択した調整結果に対して、選択した調整結果のフレームレートが選択しなかった調整結果のフレームレートと等しくなるようにフレームレート変換処理を行っているが、フレームレート変換処理を行う対象となる調整結果の選択は第１変換部１５が行わなくてもよい。
【０１１７】
図１０は、実施の形態の変形例６に係るコンテンツ処理装置の構成を示すブロック図である。
【０１１８】
図１０において、コンテンツ処理装置１ａは、実施の形態のコンテンツ処理装置１と比較して、さらに、第１スイッチ２１、第２スイッチ２２および第３スイッチ２３を備える。第１スイッチ２１、第２スイッチ２２および第３スイッチ２３以外の構成は、第１変換部１５が選択する処理を行わないこと以外、実施の形態のコンテンツ処理装置１と同様であるため説明を省略する。
【０１１９】
第１スイッチ２１は、第１調整部１３の出力および第２調整部１４の出力を受け取る。また、第１スイッチ２１は、第１調整部１３から受け取った第１調整結果と、第２調整部１４から受け取った第２調整結果のいずれかを選択し、第１変換部１５に出力する。より具体的には、第１スイッチ２１は、第１調整結果および第２調整結果のうち、フレームレートが低い調整結果を選択し、選択した調整結果を第１変換部１５に出力する。
【０１２０】
第２スイッチ２２は、第１調整部１３から受け取った第１調整結果、および、第１変換部１５から受け取った第１変換処理が行われた変換処理結果のいずれかを選択し、選択した第１調整結果および変換処理結果のいずれかを合成部１７に出力する。より具体的には、第２スイッチ２２は、第１スイッチ２１で第１調整結果が選択された場合、第１変換部１５で第１変換処理が行われた変換処理結果を選択する。一方、第２スイッチ２２は、第１スイッチ２１で第２調整結果が選択された場合、第１調整部１３で拡大または縮小された第１調整結果を選択する。
【０１２１】
第３スイッチ２３は、第２調整部１４から受け取った第２調整結果、および、第１変換部１５から受け取った第１変換処理が行われた変換処理結果のいずれかを選択し、選択した第２調整結果および変換処理結果のいずれかを合成部１７に出力する。より具体的には、第３スイッチ２３は、第１スイッチ２１で第１調整結果が選択された場合、第２調整部１４で拡大または縮小された第２調整結果を選択する。一方、第３スイッチ２３は、第１スイッチ２１で第２調整結果が選択された場合、第１変換部１５で第１変換処理が行われた変換処理結果を選択する。
【０１２２】
以上のように、第１変換処理の対象となる調整結果を、第１スイッチ２１を用いて選択し、また、合成部１７で合成する対象となる動画像を第２スイッチ２２および第３スイッチ２３を用いて選択するような構成のコンテンツ処理装置１ａを採用してもよい。
【０１２３】
（変形例７）
上記実施の形態およびその変形例では、コンテンツ処理装置１、１ａ、第１調整部１３および第２調整部１４にて、それぞれ、第１のコンテンツおよび第２のコンテンツのフレームサイズの拡大または縮小が行われているが、必ずしもフレームサイズの拡大または縮小を行わなくてもよい。つまり、第１調整部１３は、第１のコンテンツを拡大または縮小しない調整も行う場合があり、また、第２調整部１４は、第２のコンテンツを拡大または縮小しない調整も行う場合があってもよい。また、コンテンツ処理装置は、第１調整部１３および第２調整部１４を含まなくてもよい。
【０１２４】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１２５】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記実装を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１２６】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１２７】
本開示は、コンテンツ処理技術として有用である。
【符号の説明】
【０１２８】
１、１ａ    コンテンツ処理装置
１１  第１入力部
１２  第２入力部
１３  第１調整部
１４  第２調整部
１５  第１変換部
１６  記憶部
１７  合成部
１８  第２変換部
１９  制御部
２０  表示部
２１  第１スイッチ
２２  第２スイッチ
２３  第３スイッチ
【図１】
2015195572.tif 000003
【図２】
2015195572.tif 000004
【図３】
2015195572.tif 000005
【図４】
2015195572.tif 000006
【図５】
2015195572.tif 000007
【図６Ａ】
2015195572.tif 000008
【図６Ｂ】
2015195572.tif 000009
【図７】
2015195572.tif 000010
【図８】
2015195572.tif 000011
【図９】
2015195572.tif 000012
【図１０】
2015195572.tif 000013