(57)【要約】【課題】複数の演奏者の中から所望の演奏者を選択的に表示する映像表示調整システムおよび映像表示調整方法を提供する。【解決手段】映像表示調整システムは、複数の演奏者１を個別に撮影した複数の映像を取得するための映像取得部２と、複数の演奏者１の各々の演奏パートを特定するための演奏パート情報を記憶する演奏パート情報部１７と、演奏パート情報に基づき複数の映像のうち所定数の映像を選択する映像選択部１３と、映像選択部の選択した所定数の映像を表示装置の画面上に表示させるレイアウト表示部１９、２０とを備える。【選択図】図１
2012175513.tif 000002
【特許請求の範囲】
【請求項１】
複数の演奏者の映像を表示装置に表示するための映像表示調整システムであって、
前記複数の演奏者を個別に撮影した複数の映像を取得するための映像取得部と、
前記複数の演奏者の各々の演奏パートを特定するための演奏パート情報を記憶する演奏パート情報部と、
前記演奏パート情報に基づき、前記複数の映像のうち所定数の映像を選択する映像選択部と、
前記映像選択部の選択した前記所定数の映像を前記表示装置の画面上に表示させるレイアウト表示部と
を備えることを特徴とする映像表示調整システム。
【請求項２】
請求項１記載の映像表示調整システムであって、
前記演奏パート情報の時間軸を基に、前記複数の映像の優先度を決定する優先度決定部を更に備え、
前記映像選択部は、前記演奏パート情報と前記優先度決定部の決定した優先度とに基づき前記複数の映像のうち所定数の映像を選択する
ことを特徴とする映像表示調整システム。
【請求項３】
複数の演奏者の映像を表示装置に表示するための映像表示調整方法であって、
複数の演奏者を個別に撮影した複数の映像を取得する工程と、
前記複数の演奏者の各々の演奏パートを特定する工程と、
特定した前記演奏パートの情報に基づき、前記複数の映像のうち所定数の映像を選択する工程と、
選択した前記所定数の映像を前記表示装置の画面上にレイアウトする工程と
を備えたことを特徴とする映像表示調整方法。
【請求項４】
請求項３記載の映像表示調整方法であって、
前記演奏パート情報の時間軸を基に、前記複数の映像の優先度を決定する工程を更に備え、
前記所定数の映像を選択する工程は、特定した前記演奏パートの情報に加え、前記優先度に基づき前記所定数の映像を選択する
ことを特徴とする映像表示調整方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の演奏者の中から所望の演奏者を選択的に表示するための映像表示調整システム及び映像表示調整方法に関する。
【背景技術】
【０００２】
従来、カラオケシステムなどで演奏パートに応じて歌唱者や演奏者を背景と組み合わせて表示するシステムは存在していたが、オーケストラのように複数の演奏者がいる中から所望の演奏者を選択的に表示するようなシステムは存在していなかった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１１６８１６号公報
【特許文献２】特開２００３−１７４６１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の映像表示装置では、複数の演奏者のいる場合の映像を画面に表示する際、演奏パートにより表示される位置が固定的であったり、演奏者が演奏していない時でもその固定された位置で映像が表示されていた。このため、映像の鑑賞者にとっては、その映像が単調で退屈であったり、オーケストラのように演奏者が複数いる場合には演奏者の映像が小さくなってしまうなど、演奏者の迫力ある演奏を鑑賞者にしっかりと見せることができないという課題があった。
【０００５】
そこで、本発明では、演奏している演奏者の映像を表示し、同一パートの演奏者が複数いる場合には時分割で演奏者の映像を表示することで、表示される映像に変化を持たせて、よりエンターテイメント性の高い鑑賞環境を鑑賞者に提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の映像表示調整システムは、複数の演奏者（１）を個別に撮影した複数の映像を取得するための映像取得部（２）と、複数の演奏者（１）の各々の演奏パートを特定するための演奏パート情報を記憶する演奏パート情報部（１７）と、演奏パート情報に基づき複数の映像のうち所定数の映像を選択する映像選択部（１３）と、映像選択部の選択した所定数の映像を表示装置の画面上に表示させるレイアウト表示部（１９、２０）とを備える。
【発明の効果】
【０００７】
本発明の映像表示調整システム及び映像表示調整方法によれば、多くの演奏者を表示すると共に変化に富んだ映像を鑑賞者に提供することが可能であり、鑑賞者を飽きさせないという効果を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、各実施例に係る映像表示調整システムの全体構成を示すブロック図である。
【図２】図２は、実施例１に係る映像表示調整システムにより、各演奏パートの映像が画面上にレイアウトされる様子を示した図である。
【図３】図３は、実施例２に係る映像表示調整システムにより、各演奏パートの映像が画面上にレイアウトされる様子を示した図である。
【図４】図４は、実施例３に係る映像表示調整システムを用いた表示演奏者の選択方法を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１０】
図１は、各実施例に係る映像表示調整システムに共通する全体構成の概略を示すブロック図であり、図１を基に映像表示調整システムの概要を説明する。各演奏者１（１ａ、１ｂ、…、１ｅ、…）は、演奏パート情報に従ってそれぞれの演奏を行う。また、演奏パート情報は、事前に演奏パート情報部１７にも記憶されている。各演奏者１（１ａ、１ｂ、…、１ｅ、…）は、映像取得部として各演奏者１（１ａ、１ｂ、…、１ｅ、…）に対応して設けられたカメラ２（２ａ、２ｂ、…、２ｅ、…）によって撮影され、映像データを取得される。この時、カメラ２（２ａ、２ｂ、…２ｅ、…）の各映像データには、タイムスタンプが付けられる。このタイムスタンプは、例えば、カメラ２ａのものによって初期化される。つまり、カメラ２ａのタイムスタンプとその他のカメラ２ｂ、…、２ｅ、…のタイムスタンプとの同期が取られる。その後もカメラ２ａのタイムスタンプによって、その他のカメラ２ｂ、…、２ｅ、…のタイムスタンプの遅延などが補正される。各カメラ２（２ａ、２ｂ、…、２ｅ、…）の映像は、フィルタ１１に取り込まれた後に、決められたタイムスタンプによって２つのバッファ１２ａ、１２ｂに振り分けられる。例えば、タイムスタンプが偶数のものはバッファ１２ａに、奇数のものはバッファ１２ｂに振り分けられるという具合である。バッファ１２ａ、１２ｂに振り分けられた各データは、更に各カメラ２（２ａ、２ｂ、…、２ｅ、…）毎に割り当てられているＩＤ番号によって区別される。バッファ１２ａ、１２ｂのデータは映像選択部としてのフィルタ１３に送られる。音声についても同様にバッファ２２を経由してフィルタ２３においてＩＤ番号によって区別されデコーダ２４でデコードされる。
【００１１】
演奏パート情報部１７に記憶されている演奏パート情報は、パーサー１６で各パート毎のデータとして振り分けられた後、同期信号生成部１５で実時間と一致させられると共にデコーダ２４からの出力音声を基に特徴的な演奏パート情報によって同期が行われる。同期信号生成部１５からの同期に従って、制御部１４は、フィルタ１１、フィルタ１３、デコーダ１９、スケーラ２０等の制御を行う。バッファ１２ａ、１２ｂから出力されたデータは、制御部１４の制御に基づき、フィルタ１３でフィルタリングされた後、デコーダ１９でデコードされ、スケーラ２０に送られる。スケーラ２０では、レイアウトデータ１８の信号に従って制御部１４がスケーラ２０を制御し、画面上の適切な場所にポジショニング、及びスケーリングされた各演奏者の映像を生成する。生成された映像は、バッファ２１に送付された後に、適切な方法により表示装置（図示せず）の画面上に表示される。このように、デコーダ１９とスケーラ２０とがレイアウト表示部として機能する。また、制御部１４は、優先度決定部としての機能を有する。
【実施例１】
【００１２】
図２の上段側は、演奏者１ａ〜１ｅの演奏パート情報の例を示す。例えば、第１小節では、演奏者１ａ、１ｂ、１ｄ、１ｅが演奏し、演奏者１ｃは演奏を行っていないことが示されている。また、図２の下段には、実施例１に係る映像表示調整システムにより、各演奏パートの映像が画面上にレイアウトされる様子を示す。演奏パート情報部１７に記憶されている演奏パート情報に基づき、次の小節でどの演奏者により演奏パートが演奏されるかをあらかじめパーサー１６によって解析される。
【００１３】
第１小節では、演奏者１ａ、１ｂ、１ｄ、１ｅの４人の演奏パートが演奏されることが、パーサー１６から制御部１４に伝えられる。制御部１４は演奏者が４人の場合の映像レイアウトデータをレイアウトデータ１８から取得する。同期信号生成部１５からの同期に従って、制御部１４は演奏者１ａ、１ｂ、１ｄ、１ｅの映像をデコードして、スケーラ２０によって図２に示す画面表示２０１のように画面上の所望の場所にレイアウトされる。
【００１４】
第２小節においては、図２に示すように、演奏者１ｃだけが演奏を行う。このため、制御部１４は演奏者が１人の場合の映像レイアウトデータを取得し、画面表示２０２のように演奏者１ｃ一人だけの映像が画面上に配置される。
【実施例２】
【００１５】
図３の上段側は、演奏者１ａ〜１ｈの演奏パート情報の例を示す。また、図３の下段には、実施例２に係る映像表示調整システムにより、各演奏パートの映像が画面上にレイアウトされる様子を示す。演奏パート情報部１７に記憶されている演奏パート情報に基づき、次に続く複数の小節でどの演奏者により演奏パートが演奏されるかをあらかじめパーサー１６によって解析される。
【００１６】
第１小節では、演奏者１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈのパートが演奏され、第２小節では演奏されないことが、パーサー１６より制御部１４へ伝えられる。制御部１４は８人の演奏者の場合の映像レイアウトデータをレイアウトデータ１８より取得しようとする。しかしながら、実施例２では、映像レイアウトデータは最大で４人を表示するものとしている。このため、８人を同時に表示できる映像レイアウトデータをレイアウトデータ１８は有していない。従って、制御部１４は、同期信号生成部１５からの同期信号にしたがって、第１小節を時間軸で２等分し、前半に画面表示３０１のように演奏者１ａ、１ｂ、１ｃ、１ｄの映像を、後半に画面表示３０２のように演奏者１ｅ、１ｆ、１ｇ、１ｈの映像をデコーダ１９にデコードさせ、スケーラ２０によって画面上の所望の場所にレイアウトさせる。実施例２では、レイアウトデータ１８は１画面に１人を表示する映像レイアウトデータから最大の４人を表示する映像レイアウトデータの４種類の映像レイアウトデータを備えるものとしている。しかし、高解像度で大画面のモニタの表示装置に表示させる場合などではこれに限るものではなく、映像レイアウトデータはシステムや映像編集者の意図によって任意に指定することが可能である。
【００１７】
次に、図３に示す第３小節から第４小節では、演奏者１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈのパートが演奏され、第５小節では演奏されないことが、パーサー１６より制御部１４へ伝えられる。制御部１４は、既述した第１小節のように、一小節を時間軸で２分し、一小節内で８人の演奏者（１ａ〜１ｈ）を表示するよう制御してもよいが、ここでは第３小節と第４小節との連続する二小節で８人の演奏者が全て表示されるよう制御すればよい。従って、制御部１４は、同期信号生成部１５からの同期信号にしたがって、第３小節と第４小節に演奏者の表示を振り分け、第３小節では画面表示３０３のように演奏者１ａ、１ｂ、１ｃ、１ｄの映像が表示され、第４小節では画面表示３０４のように演奏者１ｅ、１ｆ、１ｇ、１ｈの映像が表示されるようにデコーダ１９を制御し、画面上の所望の場所に各演奏者の映像がレイアウトされるようスケーラ２０を制御する。制御部１４は、表示する演奏者の人数が予め定めた映像レイアウトデータの最大人数を超えるときは、演奏時間内で全ての演奏者が表示されるよう表示を制御する。全ての演奏者を表示するために使用する映像レイアウトデータは、レイアウトデータ１８に蓄積されたものであればよく、それぞれの表示時間も等分に限るものではない。一度に表示する人数が多い映像データの組がより長い時間表示されるように制御してもよい。
【実施例３】
【００１８】
実施例１、２では、制御部１４により、複数の小節に渡る演奏パート情報を取得し、できるだけ各演奏者が均等に画面上に表示されるように振り分ける映像表示調整システムについての説明をおこなった。実施例３では、各演奏者を振り分ける映像表示調整方法について、表１、表２、表３、図４を用いて説明する。
【表１】
2012175513.tif 000003
【表２】
2012175513.tif 000004
【表３】
2012175513.tif 000005
【００１９】
表１は、演奏者１ａ、１ｂ、１ｃ、１ｄ、１ｅが８小節を演奏する場合の演奏パート例を表にしたものであり、最後の合計欄は８小節のうち演奏者が演奏する小節（パート）の数を示す。表中に「１」と記載されている部分が演奏者の演奏があるパートであることを示す。
【００２０】
表２は、表１と同様であるが演奏パートではなく各演奏者が画面に表示されるパートを示す。表中の「１」となっている部分がそれを表わす。「−」となっている部分は、演奏はしているものの表示はされていない期間を示す。合計欄は、演奏者が画面に表示された回数を示す。
【００２１】
表３は、各演奏者が画面に表示される優先度という形で表しており、１小節の期間画面に表示される毎に１ずつ減っていく。表中の優先度は、各小節で演奏者が画面に表示された結果を反映されたものが記載されている。
【００２２】
まず、画面レイアウトは１人〜４人のものが存在するとして、８小節の間に表示できる画面は最大で、４面×８小節＝３２となる。演奏者が５人である為、８小節の間に全ての演奏者が画面に均等に表示されるようにすることを考えると、３２÷５＝６．４回となる。この６．４を各小節の演奏が始まる際の演奏者の表示される優先度とする。つまり、表３で演奏が始まる前は全員の優先度が６．４である。
【００２３】
表１で小節１は３人の演奏者しかいない為全員表示され、表示されたことで表示された演奏者の優先度が１ずつ下がる。このため、表３の小節１では演奏者１ａ、１ｂ、１ｃの優先度が開始前の６．４から１ずつ下がって、５．４になる。小節２も同様である。しかしながら、小節３では演奏者が５人おり画面表示数の４を超えている為、表示する演奏者の選択が必要である。この時、表３の小節２の欄を見ると、小節２が演奏された後の演奏者１ｄ、１ｅの優先度が演奏者１ａ、１ｂ、１ｃの優先度４．４に対して高い。このため、演奏者１ｄ、１ｅが小節３において表示されることが決まる。残る表示枠は２つであるが、演奏者１ａ、１ｂ、１ｃの優先度は同じであり、誰か２人を選択しなければならない。そこで、小節３以降の演奏者１ａ、１ｂ、１ｃの演奏パートを表１を参照すると演奏者１ａは８小節目まで演奏が続くのに対して、演奏者１ｂは８小節目で、演奏者１ｃは６小節目で演奏しない小節が表れる。これをもって、演奏者１ｂ、１ｃを優先的に表示することにする。従って、小節３では演奏者１ｂ〜１ｅが画面に表示される。
【００２４】
次に、表１の小節４を見ると、同様に演奏者が５人いるため、誰かを非表示とする必要がある。表３の小節３が演奏された後の優先度の状態を参照すると、優先度の高い順より、演奏者１ｅ、１ａ、１ｄの表示は決定する。残る１枠の表示に対し、演奏者１ｂ、１ｃが優先度３．４で同じかつ低い値である。小節３の場合と同様に各演奏者の続く小節での演奏パートを参照すると、演奏者１ｃが先に演奏が途切れる小節（小節６）がある。このため、小節４では、演奏者１ｃを優先して表示することとし、表２の小節４の通り画面に演奏者１ａ、１ｃ〜１ｅが表示される。このようにして、演奏者の表示を調整することにより、表１の演奏パート合計に比較して、表２の合計欄に示す実際に画面に表示された回数のように演奏者全員が均等に画面に表示されることになる。この制御部１４による表示演奏者選択方法をフローチャートにしたものが図４である。
【００２５】
図４において、制御部１４は、まず、演奏パートデータに基づいて画面に表示する候補となる演奏者の数を求める。
【００２６】
そして、ステップＳ１にて、求めた演奏者の数と画面に一度に表示できる演奏者の数、すなわち映像レイアウトデータの最大表示できる人数、とを比較する。実施例３では、１画面に最大４人の演奏者が表示できるよう映像レイアウトデータを設定している。このため、表示される演奏者が４人以上か否かを判定する。画面に表示する候補となる演奏者とは、表１に示すものであり、その演奏パートにおいて演奏を行う演奏者をさす。演奏者数が映像レイアウトデータの最大人数よりも少ない場合には、その人数に対応した映像レイアウトデータを用いて全員を表示できるので、制御部１４の処理は終了する。一方、演奏者の数が４人より多い場合には、映像レイアウトデータを用いて全員を表示できないため、ステップＳ２に進む。
【００２７】
ステップＳ２にて、制御部１４は各々の演奏者に対する優先度を取得する。
【００２８】
ステップＳ３にて、制御部１４は取得したそれぞれの演奏者の優先度に基づいて優先度が最も高い演奏者がいるかどうかを判定する。ここで、優先度が最も高いと判定された演奏者がいる場合はステップＳ４に進み、その演奏者を画面に表示する演奏者として選択する。ステップＳ３にて、複数の演奏者が最も高い優先度を有している場合は、複数の演奏者が選択される。ステップＳ３にて、表３の小節３に示したように、表示される可能性のある演奏者間での優先度の差がない（優先度が等しい）場合には、制御部１４は優先度の高い演奏者がいないと判断し、ステップＳ６に進む。
【００２９】
ステップＳ５にて、制御部１４は、映像を表示すると選択した演奏者の数が映像レイアウトデータの最大表示人数に達したか否かを判定する。達したと判定した場合、制御部１４は選択処理を終了する。また、達していないと判定した場合、制御部１４はステップＳ３に戻って判定を繰り返す。すなわち、実施例３では、選択した演奏者が４人に達すれば、制御部１４は選択処理を終了し、４人に達していないと判定すれば、ステップＳ３から選択処理を開始する。
【００３０】
ステップＳ６にて、制御部１４は優先度が等しい演奏者間で、続く演奏において先に演奏が中断される演奏者を表１に基づいて決定し、映像を表示する演奏者として選択する。演奏が先に中断されると判定された演奏者は、優先的に選択されて、画面に表示される。一方、優先度が等しい演奏者間で、演奏が先に中断しないと判定された演奏者は、選択されず、画面に表示されない。制御部１４は、各小節毎などの所定のタイミングで、表示する演奏者の選択処理を繰り返す。
【００３１】
実施例３では、表示させる演奏者の選択について、表示される小節数を優先度として調節する方法を例に説明した。しかし、その他の実施例として、ソリストの優先度を高くする、ソリストの優先度をある期間だけ固定する、打楽器のように演奏のポイントとなるものの優先度を高くする、曲の前半と後半で分けて優先度を計算し時分割で演奏者の表示を調節する、などの方法も考えられる。
【００３２】
また、実施例１〜３では、各カメラごとに一人ずつの演奏者が撮影される場合を例にとって説明した。しかし、その他の実施例として、同じ楽器やパートを演奏する複数の演奏者が同一のカメラで撮影されるようにしてもよい。
【符号の説明】
【００３３】
１、１ａ〜１ｈ  …  演奏者
２、２ａ〜２ｆ  …  カメラ
１１  …  フィルタ
１２、１２ａ、１２ｂ  …  バッファ
１３  …  フィルタ
１４  …  制御部
１５  …  同期信号生成部
１６  …  パーサー
１７  …  演奏パート情報部
１８  …  レイアウトデータ
１９  …  デコーダ
２０  …  スケーラ
２１  …  バッファ
２２  …  バッファ
２３  …  フィルタ
２４  …  デコーダ
【図１】
2012175513.tif 000006
【図２】
2012175513.tif 000007
【図３】
2012175513.tif 000008
【図４】
2012175513.tif 000009