(57)【要約】【構成】楽曲ミキシング装置では、ユーザ操作に基づくミックスダウン処理において、複数のトラックからなる音響データに対するミックスダウン処理過程情報が生成される（Ｓ７）。このミックスダウン事例すなわち音響データおよびミックスダウン処理過程情報から、ミックスダウン処理に関するデザイン情報を含むミックスダウンデザインテンプレートが抽出されて、テンプレート記憶手段に格納される（Ｓ１３）。そして、他のセッションでは、テンプレートを選択して適用することによって、そのテンプレートの備えるミックスダウンのデザインないし特徴に基づいてミックスダウンされたミックスダウン音響データが生成される（Ｓ２１）。【効果】楽曲ミキシングにおける生産性を向上できる。アマチュアのユーザであっても容易にかつ様々なミックスダウンを実現できる。【選択図】  図７
2004206747.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ操作に基づいて、複数のトラックからなる音響データを処理して、より少ないトラック数にミックスダウンしたミックスダウン音響データを生成する楽曲ミキシング装置において、
トラックごとおよび音楽構成要素に相当する音楽グループごとに対応付けられたミックスダウン処理に関するデザイン情報を含むミックスダウンデザインテンプレートを記憶するテンプレート記憶手段、
テンプレート適用対象とする音響データにおける前記音楽グループを設定する音楽グループ設定手段、および
前記トラックどうしおよび前記音楽グループどうしを対応させて、前記音響データに前記ミックスダウンデザインテンプレートを適用することによって、前記ミックスダウン音響データを生成するテンプレート適用手段を備えることを特徴とする、楽曲ミキシング装置。
【請求項２】
ユーザ操作に基づくミックスダウン処理において、その対象となった複数のトラックからなる事例音響データに対するミックスダウン処理過程情報を生成する処理過程情報生成手段、
前記事例音響データと前記ミックスダウン処理過程情報とに基づいて、前記事例音響データにおける前記音楽グループを抽出する音楽グループ抽出手段、および
前記ミックスダウン処理過程情報から、少なくとも各トラックおよび各音楽グループのそれぞれにおけるミックスダウン処理に関するデザイン情報を抽出し、前記トラックごとおよび前記音楽グループごとに対応付けて、前記ミックスダウンデザインテンプレートを生成するテンプレート生成手段をさらに備え、
前記テンプレート生成手段によって生成された前記ミックスダウンデザインテンプレートは、前記テンプレート記憶手段に記憶される、請求項１記載の楽曲ミキシング装置。
【請求項３】
前記ミックスダウン処理に関するデザイン情報は、少なくとも使用されるプラグインの順序と前記プラグインのパラメータ，音量およびパンに関する情報を含む、請求項１または２記載の楽曲ミキシング装置。
【請求項４】
前記音響データの前記トラックと前記ミックスダウンデザインテンプレートの前記トラックとをその音楽的機能によって対応付けるトラック対応付け手段をさらに備え、
前記テンプレート適用手段は、前記トラック対応付け手段によって対応付けられたトラックどうしを対応させる、請求項１ないし３のいずれかに記載の楽曲ミキシング装置。
【請求項５】
前記音楽グループ抽出手段は、
前記事例音響データの各トラックを相関分析処理して音楽グループ候補を抽出する第１候補抽出手段、
前記ミックスダウン処理過程情報における変化に基づいて前記音楽グループ候補を抽出する第２候補抽出手段、および
少なくとも前記第１候補抽出手段および前記第２候補抽出手段によって抽出されたそれぞれの前記音楽グループ候補を組み合わせてみて最終的な音楽グループを決定する音楽グループ決定手段を備える、請求項２記載の楽曲ミキシング装置。
【請求項６】
他の装置から前記ミックスダウンデザインテンプレートを取得するテンプレート取得手段をさらに備え、
前記テンプレート取得手段によって取得した前記ミックスダウンデザインテンプレートは、前記テンプレート記憶手段に記憶される、請求項１記載の楽曲ミキシング装置。
【請求項７】
少なくともトラックごとおよび音楽構成要素に相当する音楽グループごとに対応付けられたミックスダウン処理に関するデザイン情報を含むミックスダウンデザインテンプレートを記憶するテンプレート記憶手段を備え、ミックスダウン対象とする複数トラックからなる音響データを処理して、より少ないトラック数のミックスダウン音響データを生成する楽曲ミキシング装置における楽曲ミキシング方法であって、
(a) ユーザの操作に応じて前記音響データにおける音楽グループを設定するステップ、
(b) ユーザ操作によって選択された前記ミックスダウンデザインテンプレートを前記テンプレート記憶手段から読み出すステップ、および
(c) 前記トラックどうしおよび前記音楽グループどうしを対応させて、前記音響データに前記ステップ(b) で読み出された前記ミックスダウンデザインテンプレートを適用することによって、前記ミックスダウン音響データを生成するステップを備える、楽曲ミキシング方法。
【請求項８】
少なくともトラックごとおよび音楽構成要素に相当する音楽グループごとに対応付けられたミックスダウン処理に関するデザイン情報を含むミックスダウンデザインテンプレートを記憶するテンプレート記憶手段を備え、ミックスダウン対象とする複数トラックからなる音響データを処理して、より少ないトラック数のミックスダウン音響データを生成する楽曲ミキシング装置において実行される楽曲ミキシングプログラムであって、
前記楽曲ミキシング装置のコンピュータに、
ユーザ操作に応じて前記音響データにおける音楽グループの設定情報を取得する音楽グループ取得ステップ、
ユーザ操作によって選択された前記ミックスダウンデザインテンプレートを前記テンプレート記憶手段から読み出すテンプレート読出ステップ、および
前記トラックどうしおよび前記音楽グループどうしを対応させて、前記音響データに前記ミックスダウンデザインテンプレートを適用することによって、前記ミックスダウン音響データを生成するテンプレート適用ステップを実行させる、楽曲ミキシングプログラム。
【請求項９】
ミックスダウン処理に関するデザイン情報を含むミックスダウンデザインテンプレートを記憶するテンプレート記憶手段を備え、複数のトラックからなる音響データを処理して、より少ないトラック数のミックスダウン音響データを生成する楽曲ミキシング装置において、前記ミックスダウンデザインテンプレートを抽出するための方法であって、
(a) ユーザ操作に基づくミックスダウン処理において、その対象となった複数のトラックからなる事例音響データに対するミックスダウン処理過程情報を生成するステップ、
(b) 前記事例音響データと前記ミックスダウン処理過程情報とに基づいて、前記事例音響データにおける音楽グループを抽出するステップ、
(c) 前記ミックスダウン処理過程情報から、少なくとも各トラックおよび各音楽グループのそれぞれにおけるミックスダウン処理に関するデザイン情報を抽出し、前記トラックごとおよび前記音楽グループごとに対応付けて、前記ミックスダウンデザインテンプレートを生成するステップ、および
(d) 前記ステップ(c) で生成した前記ミックスダウンデザインテンプレートを前記テンプレート記憶手段に記憶するステップを備える、テンプレート抽出方法。
【請求項１０】
ミックスダウン処理に関するデザイン情報を含むミックスダウンデザインテンプレートを記憶するテンプレート記憶手段を備え、複数トラックからなる音響データを処理して、より少ないトラック数のミックスダウン音響データを生成する楽曲ミキシング装置において、前記ミックスダウンデザインテンプレートを抽出するためのプログラムであって、
前記楽曲ミキシング装置のコンピュータに、
ユーザ操作に基づくミックスダウン処理において、その対象となった複数のトラックからなる事例音響データに対するミックスダウン処理過程情報を生成する処理過程情報生成ステップ、
前記事例音響データと前記ミックスダウン処理過程情報とに基づいて、前記事例音響データにおける音楽グループを抽出する音楽グループ抽出ステップ、前記ミックスダウン処理過程情報から、少なくとも各トラックおよび各音楽グループのそれぞれにおけるミックスダウン処理に関するデザイン情報を抽出し、前記トラックごとおよび前記音楽グループごとに対応付けて、前記ミックスダウンデザインテンプレートを生成するテンプレート生成ステップ、および前記テンプレート生成ステップで生成した前記ミックスダウンデザインテンプレートを前記テンプレート記憶手段に記憶する記憶ステップを実行させる、テンプレート抽出プログラム。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は楽曲ミキシング装置、方法およびプログラムならびにテンプレートの抽出方法およびプログラムに関し、特にたとえば、複数のトラックからなる音響データを処理して、より少ないトラック数にミックスダウンしたミックスダウン音響データを生成するものであって、音楽（楽曲）のミキシングに関する様々なデザインを容易に実現する、楽曲ミキシング装置、方法およびプログラムならびにテンプレートの抽出方法およびプログラムに関する。
【０００２】
【従来の技術】
この種の従来の楽曲ミキシング装置の一例が、たとえば特許文献１に開示される。この特許文献１の装置はミキシング専用の装置（いわゆるマルチトラックディジタルレコーダ／ミキサ）であり、たとえばドラム，ギター等の楽器やボーカル等のパートごとのオーディオ信号が複数のトラックに分けて内蔵のハードディスクに録音（記憶）される。そして、ユーザ（たとえばミキシングエンジニア）の操作によって、これら各トラックデータがミックスダウンされる。ミックスダウンとは、複数のトラックに分けて録音しておいた音素材を再生しながら処理／ミックスし、より少ないトラックにまとめる作業または操作をいう。
【０００３】
たとえば、この専用装置において、ユーザは必要なトラックを再生しながらパネル上に設けられたトラックごとの音量フェーダやパン制御つまみ等の各種操作手段を手で操作する。ユーザの操作に応じて、内蔵のＣＰＵおよびＤＳＰ等によって、各トラックデータにエフェクト付与処理や音像定位処理（パニング）が施されるとともにこれらがミックスされて、最終的にはたとえばステレオ２トラックにミックスダウンされた１つの楽曲の音声データが生成される。このデータはたとえばＣＤプレス用等のマスタデータとなる。
【０００４】
一方、最近の商用の音楽ミキシングは、上述の専用装置で行われていた処理をソフトウェアプログラム化することによって、たとえばパーソナルコンピュータ（ＰＣ）等のような汎用の計算機を利用して実施されることが多くなってきている。この種のソフトウェアないしアプリケーションとしては、たとえば、「ＰＲＯ  ＴＯＯＬＳ（登録商標）ＬＥ」（デジデザインジャパンまたはアビッドジャパン株式会社製）等がよく知られている。なお、このソフトウェアの説明書（マニュアル）がインタネット上で入手可能であるのでこれを非特許文献１として挙げておく。
【０００５】
このようなプログラムをインストールしたＰＣすなわち楽曲ミキシング装置では、たとえばハードディスクに、パートごとの音声データ（音響データ等）が複数のトラックに分けて録音（記憶）される。そして、ユーザがマウス等の入力装置を操作して、必要なトラックを再生しながらディスプレイに表示されるＧＵＩ上のたとえば音量フェーダおよびパン制御スライダの調整や各種プラグイン（エフェクト付与処理プログラム）の選択およびそのプラグインのパラメータの設定等を行うことによって、ミックスダウンされたデータが作成される。
【０００６】
音楽ないし楽曲のミキシングは、実施の仕方やその実施をするミキシングエンジニアによって異なるものである。その結果は聴覚上の大きな差異となって表れ、たとえば同じ音素材であっても別の楽曲であるかのような印象をリスナに与える。つまり、ミックスダウンのデザインにはその人の個性特徴が表れる。このことは、特定のプロデューサの制作による楽曲が商業的に成功することが多かったり、あるいは別のエンジニアによるリミックスバージョンがオリジナルの楽曲よりも商業的に成功したりすることがあることからもわかる。
【０００７】
【特許文献１】
特開２００１−４３６０４号公報（図１等）
【非特許文献１】
“Pro Tools リファレンスガイド  Version 5.3 for HD Systems on Macintosh or Windows / Version 5.1.1 for MIX or LE Systems on Macintosh orWindows”、［online］、デジデザインジャパン、[２００２年１１月１４日検索]、インタネット＜ＵＲＬ：http://www.degidesign.co.jp/japan/serv/pdf/pt_hd_guide_i/PT5.3_Ref_Guide_J.pdf＞
【０００８】
【発明が解決しようとする課題】
しかしながら、効果的なミキシングを行うのは容易なことではない。従来技術では、ミキシング技術に乏しい者がミキシングを行うと良質なマスタデータが得られないという問題があった。特にアマチュアレベルの人が、そのデザイン通りあるいは思い通りのミックスダウンを実現することは至難の業であった。このため、マスタデータの音響的解析（音像定位，周波数特性等の分析等）に基づいてフィードバックを行うことによってそのトレーニングを支援するミキシングエンジニア育成システム等も開発されているが、プロフェッショナルならまだしもあくまで趣味で行っているようなアマチュアにとっては面倒である。
【０００９】
それゆえに、この発明の主たる目的は、楽曲ミキシングにおける生産性を向上することができる、楽曲ミキシング装置、方法およびプログラムならびにテンプレート抽出方法およびプログラムを提供することである。
【００１０】
【課題を解決するための手段】
第１の発明は、ユーザ操作に基づいて、複数のトラックからなる音響データを処理して、より少ないトラック数にミックスダウンしたミックスダウン音響データを生成する楽曲ミキシング装置において、トラックごとおよび音楽構成要素に相当する音楽グループごとに対応付けられたミックスダウン処理に関するデザイン情報を含むミックスダウンデザインテンプレートを記憶するテンプレート記憶手段、テンプレート適用対象とする音響データにおける音楽グループを設定する音楽グループ設定手段、およびトラックどうしおよび音楽グループどうしを対応させて、音響データにミックスダウンデザインテンプレートを適用することによって、ミックスダウン音響データを生成するテンプレート適用手段を備えることを特徴とする、楽曲ミキシング装置である。
【００１１】
上述の第１の発明においては、ユーザ操作に基づくミックスダウン処理において、その対象となった複数のトラックからなる事例音響データに対するミックスダウン処理過程情報を生成する処理過程情報生成手段、事例音響データとミックスダウン処理過程情報とに基づいて、事例音響データにおける音楽グループを抽出する音楽グループ抽出手段、およびミックスダウン処理過程情報から、少なくとも各トラックおよび各音楽グループのそれぞれにおけるミックスダウン処理に関するデザイン情報を抽出し、トラックごとおよび音楽グループごとに対応付けて、ミックスダウンデザインテンプレートを生成するテンプレート生成手段をさらに備え、テンプレート生成手段によって生成されたミックスダウンデザインテンプレートは、テンプレート記憶手段に記憶されるようにしてもよい。
【００１２】
第２の発明は、少なくともトラックごとおよび音楽構成要素に相当する音楽グループごとに対応付けられたミックスダウン処理に関するデザイン情報を含むミックスダウンデザインテンプレートを記憶するテンプレート記憶手段を備え、ミックスダウン対象とする複数トラックからなる音響データを処理して、より少ないトラック数のミックスダウン音響データを生成する楽曲ミキシング装置における楽曲ミキシング方法である。この方法は、(a) ユーザの操作に応じて音響データにおける音楽グループを設定するステップ、(b) ユーザ操作によって選択されたミックスダウンデザインテンプレートをテンプレート記憶手段から読み出すステップ、および(c) トラックどうしおよび音楽グループどうしを対応させて、音響データにステップ(b) で読み出されたミックスダウンデザインテンプレートを適用することによって、ミックスダウン音響データを生成するステップを備える。
【００１３】
第３の発明は、少なくともトラックごとおよび音楽構成要素に相当する音楽グループごとに対応付けられたミックスダウン処理に関するデザイン情報を含むミックスダウンデザインテンプレートを記憶するテンプレート記憶手段を備え、ミックスダウン対象とする複数トラックからなる音響データを処理して、より少ないトラック数のミックスダウン音響データを生成する楽曲ミキシング装置において実行される楽曲ミキシングプログラムである。このプログラムは、楽曲ミキシング装置のコンピュータに、ユーザ操作に応じて音響データにおける音楽グループの設定情報を取得する音楽グループ取得ステップ、ユーザ操作によって選択されたミックスダウンデザインテンプレートをテンプレート記憶手段から読み出すテンプレート読出ステップ、およびトラックどうしおよび音楽グループどうしを対応させて、音響データにミックスダウンデザインテンプレートを適用することによって、ミックスダウン音響データを生成するテンプレート適用ステップを実行させる。
【００１４】
第４の発明は、ミックスダウン処理に関するデザイン情報を含むミックスダウンデザインテンプレートを記憶するテンプレート記憶手段を備え、複数のトラックからなる音響データを処理して、より少ないトラック数のミックスダウン音響データを生成する楽曲ミキシング装置において、ミックスダウンデザインテンプレートを抽出するための方法である。この方法は、(a) ユーザ操作に基づくミックスダウン処理において、その対象となった複数のトラックからなる事例音響データに対するミックスダウン処理過程情報を生成するステップ、(b) 事例音響データとミックスダウン処理過程情報とに基づいて、事例音響データにおける音楽グループを抽出するステップ、(c) ミックスダウン処理過程情報から、少なくとも各トラックおよび各音楽グループのそれぞれにおけるミックスダウン処理に関するデザイン情報を抽出し、トラックごとおよび音楽グループごとに対応付けて、ミックスダウンデザインテンプレートを生成するステップ、および(d) ステップ(c) で生成したミックスダウンデザインテンプレートをテンプレート記憶手段に記憶するステップを備える。
【００１５】
第５の発明は、ミックスダウン処理に関するデザイン情報を含むミックスダウンデザインテンプレートを記憶するテンプレート記憶手段を備え、複数トラックからなる音響データを処理して、より少ないトラック数のミックスダウン音響データを生成する楽曲ミキシング装置において、ミックスダウンデザインテンプレートを抽出するためのプログラムである。このプログラムは、楽曲ミキシング装置のコンピュータに、ユーザ操作に基づくミックスダウン処理において、その対象となった複数のトラックからなる事例音響データに対するミックスダウン処理過程情報を生成する処理過程情報生成ステップ、事例音響データとミックスダウン処理過程情報とに基づいて、事例音響データにおける音楽グループを抽出する音楽グループ抽出ステップ、ミックスダウン処理過程情報から、少なくとも各トラックおよび各音楽グループのそれぞれにおけるミックスダウン処理に関するデザイン情報を抽出し、トラックごとおよび音楽グループごとに対応付けて、ミックスダウンデザインテンプレートを生成するテンプレート生成ステップ、およびテンプレート生成ステップで生成したミックスダウンデザインテンプレートをテンプレート記憶手段に記憶する記憶ステップを実行させる。
【００１６】
【作用】
楽曲ミキシング装置はテンプレート記憶手段を含み、このテンプレート記憶手段には、ミックスダウン処理に関するデザイン情報を含んだミックスダウンデザインテンプレート（以下単に「テンプレート」ともいう。）が記憶される。この楽曲ミキシング装置では、複数のトラックからなる音響データが、ユーザ操作に基づいて、あるいは、テンプレートを利用して、ミックスダウンされ得る。ミックスダウンをする際には、ユーザ操作に応じて、対象とする音響データにおける音楽グループが設定される。これにより、テンプレートの音楽グループとの対応が可能となる。ここで、音楽グループは音楽構成要素に相当し、たとえば、いわゆるサビやＡメロディ等のような区切り等であり得る。ユーザ操作によってテンプレートが選択されると、トラックどうしおよび音楽グループどうしを対応させてテンプレートが音響データに適用されることによって、ミックスダウン音響データが生成される。つまり、ユーザは、音響データを、選択したテンプレートの備えるデザインないし特徴等に基づいてミックスダウンすることができる。
【００１７】
たとえば、テンプレート記憶手段に記憶されるテンプレートは、ユーザ操作に基づくミックスダウン処理において抽出されたものであってよい。つまり、このような楽曲ミキシング装置では、ユーザ操作に基づくミックスダウン処理において、処理過程情報生成手段によって、その事例音響データに対するミックスダウン処理過程情報が生成される。このミックスダウン事例すなわち事例音響データおよびミックスダウン処理過程情報に基づいて、音楽グループ抽出手段は、事例音響データにおける音楽グループを抽出する。そして、テンプレート生成手段によって、ミックスダウン処理過程情報から少なくとも各トラックおよび各音楽グループのそれぞれにおけるミックスダウンのデザイン情報が抽出され、この抽出された情報がトラックごとおよび音楽グループごとに対応付けられて、テンプレートが生成される。この生成されたテンプレートは、テンプレート記憶手段に記憶（格納）される。したがって、ユーザは、自己のミックスダウンセッションからそのデザインを備えるテンプレートを抽出して、これを保持しておくことができ、そして、抽出したテンプレートを他のセッションで利用することができる。
【００１８】
なお、テンプレートに含まれるデザイン情報には、典型的には、たとえば、少なくとも使用されるプラグインの順序とそのパラメータ，音量およびパンに関する情報が含まれてよい。
【００１９】
また、テンプレートを適用する際には、音響データのトラックとテンプレートのトラックとをその音楽的機能によって対応付けるようにしてもよい。この場合には、音響データのトラックと同一の楽器ないしパートのトラックがテンプレートにない場合でも、音楽的機能によって対応付けた、たとえば類似するトラックの備えるデザイン情報を適用することが可能になる。
【００２０】
さらに、事例音響データにおける音楽グループを抽出する音楽グループ抽出手段は、たとえば次のような音楽グループ候補を抽出する手段および音楽グループを決定する手段を備えてもよい。つまり、第１候補抽出手段によって、事例音響データの各トラックに対して相関分析処理を施して音楽グループ候補が抽出される。また、第２候補抽出手段によって、ミックスダウン処理過程情報における変化に基づいて音楽グループ候補が抽出される。そして、音楽グループ決定手段によって、少なくとも第１候補抽出手段および第２候補抽出手段によって抽出されたそれぞれの音楽グループ候補を組み合わせてみることによって、最終的な音楽グループが決定される。
【００２１】
また、テンプレート取得手段を備えるようにした場合には、他の装置からテンプレートを取得して、テンプレート記憶手段に格納することができる。この場合には、たとえば他者のミックスダウンセッションで抽出されたテンプレートを利用することができる。
【００２２】
【発明の効果】
この発明によれば、ミックスダウン事例からそのデザイン情報を備えたミックスダウンデザインテンプレートを抽出し、そのテンプレートを他のミックスダウンセッションに利用することができるので、楽曲ミキシングにおける生産性を向上できる。また、アマチュアレベルの人にとっても、容易にかつ様々なミックスダウンを実現することが可能となる。
【００２３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００２４】
【実施例】
図１に示すこの実施例の楽曲ミキシング装置１０は、中央処理ユニット（以下「ＣＰＵ」という。）１２を含む。ＣＰＵ１２は、コンピュータないしプロセサ等とも呼ばれ、この装置の全体的な制御を司る。この楽曲ミキシング装置１０には、たとえばパーソナルコンピュータ（ＰＣ）等の計算機が適用され得る。
【００２５】
ＣＰＵ１２には、バス等を介して、ＲＡＭ１４，ハードディスク装置（以下「ＨＤＤ」ともいう。）１６，ディスクＩ／Ｆ１８，入力装置２０，表示装置２２，オーディオＩ／Ｆ２４および通信Ｉ／Ｆ等が接続される。
【００２６】
ＲＡＭ１４はＣＰＵ１２の作業領域あるいはバッファ領域として使用される。ＨＤＤ１６にはこの楽曲ミキシング処理およびミックスダウンデザインテンプレート抽出処理等を行うためのプログラムおよび各種データ（画面データ等を含む）が格納されている。したがって、ＣＰＵ１２は、これらプログラムやデータ等をＨＤＤ１６からＲＡＭ１４にロードして、これらプログラムに従って処理を実行する。
【００２７】
ディスクＩ／Ｆ１８には、たとえばＣＤ，ＤＶＤ等の光ディスク，ＦＤ等の磁気ディスクまたは光磁気ディスク等のような情報記録媒体のためのドライブが接続され、したがって、ＣＰＵ１２はこのドライブを制御する。たとえば上述したこの楽曲ミキシング処理等のためのプログラムおよびデータが情報記録媒体に記録されている場合、このディスクＩ／Ｆ１８を介してそれらプログラム等が読み出されてＨＤＤ１６に格納される。また、必要に応じて適宜の情報記録媒体に対して、ミックスダウンされたマスタデータやミックスダウンデザインテンプレートデータ等が書き込まれることもあり得る。
【００２８】
入力装置２０はユーザが操作する操作手段であり、マウス等のポインティングデバイスおよびキーボード等を含む。この入力装置２０の操作に応じた操作信号がＣＰＵ１２に与えられる。したがって、ＣＰＵ１２は入力装置２０を通して与えられたユーザの指示に従った処理を実行する。表示装置２２はたとえば液晶表示器（ＬＣＤ）またはＣＲＴ等であり、ＣＰＵ１２から表示信号が与えられて各種画面等が表示される。
【００２９】
オーディオＩ／Ｆ２４は、たとえばＤ／ＡコンバータおよびＡ／Ｄコンバータ等を含み、スピーカ２８，マイク３０および各種楽器３２等が接続され得る。オーディオＩ／Ｆ２４は、ＣＰＵ１２の制御の下、ＲＡＭ１４に生成されたオーディオデータ（ミックスダウンされた音響データ等）を受け、それに応じた音声信号をスピーカ２８または図示しないヘッドフォン等に与える。したがって、スピーカ２８等からは音声が出力される。また、オーディオＩ／Ｆ２４は、マイク３０からのボーカルやコーラス等のパートの音響信号および各種楽器（ギター，ベース，キーボード等）３２からの音響信号を受け、それらに応じたオーディオデータ（音響データまたはＭＩＤＩデータ等）は、ＣＰＵ１２によってＨＤＤ１６に保存され得る。
【００３０】
通信Ｉ／Ｆ２６はたとえばＬＡＮあるいはインタネットのようなネットワーク等と接続され得る。なお、上述したこの楽曲ミキシング処理等のためのプログラム等は、ネットワーク上のサーバ等からダウンロードされてもよい。
【００３１】
なお、この実施例では楽曲ミキシングプログラム等をインストールしたＰＣ等を想定して説明しているが、他の実施例では、たとえば内蔵のＲＯＭ等に予めプログラムおよび各種データ等が格納されている専用装置であってもよい。この場合、入力装置２０は、たとえばそのハウジングの表面に設けた、音量スライダやパン制御つまみ等を含む各種ボタンや操作キー等であってよい。
【００３２】
図２には、この楽曲ミキシング装置１０におけるユーザ操作に基づくミックスダウン事例の概略が示されている。音響データは、複数のトラックからなり楽曲を構成する音素材情報であって、各パートまたは楽器ごとに複数のトラックに分けられてＨＤＤ１６に格納されている。この図２の例では、トラック１にドラム、トラック２にベース、トラック３にギター１、トラック４にギター２、トラック５にキーボード１、トラック６にキーボード２、トラック７にコーラス、トラック８にメインボーカルがそれぞれ格納される。なお、ユーザは、格納する音素材の楽器名またはパート名等をトラック名として設定することができる。楽曲ミキシング装置１０は、ユーザが設定したトラック名等をそのトラックのパートないし楽器を示す音楽的機能情報として保持する。
【００３３】
音響データは時系列データであり、この実施例ではたとえばイントロ、Ａメロディ、Ｂメロディ、サビ、Ａメロディ、サビの順序で構成されている。楽曲は、一般的にこれらの時系列音楽構成要素ないし楽句（楽曲の自然な区切り、または、まとまった楽想を表わす旋律）により構成されている。本願明細書では、これらイントロ，Ａメロディ，Ｂメロディおよびサビ等のような時系列音楽構成要素を音楽グループというものとする。
【００３４】
このような音響データには、ユーザ操作による適宜なミックスダウン作業に基づいて、種々のミックスダウン処理が施される。表示装置２２に表示されるＧＵＩ上には、たとえば各トラックに対する各種操作のためのアイコンやポップアップ表示される設定画面等が設けられており、ユーザは、入力装置２０を操作して所望のアイコン等を選択することによってミックスダウン作業を行う。ユーザは、たとえば各トラックに対して、使用するプラグインを指定し、そのプラグインのパラメータを設定することができる。このプラグインとは音響データに各種のエフェクト付与処理を施すためのプログラムであり、たとえばグラフィックイコライザ，コンプレッサ，リバーブおよびピッチシフト等が含まれる。プラグインは、必要に応じてトラックの所望の箇所（時間帯）に使用することができる。また、１つのトラックに複数のプラグインを順に使用することもできる。また、ユーザは、各トラックの音量のバランスやパン（たとえばＬ／Ｒのバランス）等を時間を追って変化させながら設定することができる。そして、たとえばステレオ２トラック（ＬおよびＲ）等にミックスダウンされたミックスダウン音響データが生成される。ミックスダウン音響データはマスタデータとして保存され得る。
【００３５】
このユーザ操作によるミックスダウン処理において、ＣＰＵ１２は、この音響データに対するユーザ操作に基づいたミックスダウン作業ないし処理過程に関する情報をミックスダウン処理過程データとしてＲＡＭ１４に作成し、その音響データに対応付けてＨＤＤ１６に格納する。このようなミックスダウン事例に関するデータ、すなわち、素材となった複数トラックからなる音響データとそれに対するミックスダウン処理過程データとを、ミックスダウン事例データともいう。
【００３６】
図３には、作成されるミックスダウン処理過程データの一例が示される。図３からわかるように、ミックスダウン処理過程データは、各トラックに対するそれぞれのミックスダウン処理情報を含む。ミックスダウン処理情報は時系列情報であり、たとえば使用プラグインの順序とそのプラグインのパラメータ，音量に関する情報およびパンに関する情報等を含む。また、ミックスダウン処理過程データには、複数のトラックにかかるミックスダウン処理情報および全体にかかるミックスダウン処理情報が含まれる。これらは、たとえばそれぞれのトラックに対するミックスダウン処理の後に、複数のトラックおよび全トラックに対してまとめて施される処理に関する情報である。
【００３７】
そして、楽曲ミキシング装置１０では、必要に応じて、ミックスダウン事例からミックスダウンデザインテンプレート（以下単に「テンプレート」ともいう。）が抽出される。従来の技術の項でも述べたように、楽曲のミキシングは実施の仕方およびミキシングエンジニアによって異なるものであり、ミックスダウンのデザインにはその人の個性特徴が表れる。したがって、この楽曲ミキシング装置１０では、ある楽曲のミックスダウン事例からその特徴を抽出して、テンプレートを作成する。
【００３８】
テンプレートの抽出の際には、ミックスダウン事例データに基づいて、まず、その音響データの時系列構成要素である音楽グループが抽出される。ミックスダウンの特徴は音楽グループによって異なるものになる傾向があるためである。音楽グループ抽出処理においては、たとえば、各トラックの音響データにおける相関分析，各トラックのミックスダウン処理情報の変化点の解析，およびリズム楽器のトラックの波形包絡の相関分析等によってそれぞれグループ候補が抽出される。そして、それぞれの候補抽出処理の結果を、たとえば重み付投票等によって組み合わせてみることによって、最終的な音楽グループが確定される。
【００３９】
続いて、ミックスダウン処理過程データから、トラックごとおよび音楽グループごとのミックスダウン処理情報が抽出され、さらに、音楽グループごとの複数トラックおよび全体にかかるミックスダウン処理情報が抽出される。抽出したミックスダウン処理情報はミックスダウンのデザイン情報であり、これらデザイン情報を音楽グループおよびトラックの音楽的機能に対応付けることによってミックスダウンデザインテンプレートデータが作成される。
【００４０】
図４には、作成されるミックスダウンデザインテンプレートのデータの一例が示される。図４からわかるように、ミックスダウンデザインテンプレートデータは、各トラックに対するミックスダウンデザイン情報を含む。各トラックに対するミックスダウンデザイン情報は、そのトラックのパートないし音楽的機能を示す情報と、各音楽グループにおけるミックスダウンデザイン情報とを含む。図４では、トラック１の音楽的機能はドラムであり、音楽グループとしては、イントロ，サビ，ＡメロディおよびＢメロディ等を備えている。各音楽グループにおけるミックスダウンデザイン情報には、使用されるプラグインの種類とその順序に関する情報，使用されるプラグインごとのパラメータに関する情報，音量に関する情報およびパンに関する情報等が含まれている。また、ミックスダウンデザインテンプレートデータは、複数のトラックにかかるミックスダウンデザイン情報および全体にかかるミックスダウンデザイン情報も備えている。これらも各トラックに対するミックスダウンデザイン情報と同様な情報を備えている。
【００４１】
また、楽曲ミキシング装置１０では、ミックスダウンデザインテンプレートを利用して、ミックスダウン処理を行うことができる。図５には、ミックスダウンデザインテンプレートを適用して行うミックスダウン処理の概略が示されている。
【００４２】
図５では、ミックスダウン対象とする音響データとして、トラック１にドラム、トラック２にベース、トラック３にギター１、トラック４にギター２、トラック５にキーボード１、トラック６にキーボード２、トラック７にコーラス、トラック８にメインボーカルがそれぞれ格納されている。各トラックの音楽的機能は、ユーザによってたとえば音響データを録音（格納）する際等に設定され得る。
【００４３】
また、この音響データは、その音楽グループがサビ、Ａメロディ、サビ、Ａメロディ、Ｂメロディ、サビの順に並んで構成されている。音響データのどの部分がどの音楽グループであるかは、ミックスダウンデザインテンプレートの適用前に、ユーザによって設定される。これにより、テンプレートの同じ音楽グループにおけるミックスダウンデザイン情報を適用することが可能となる。
【００４４】
そして、ミックスダウンデザインテンプレートを適用することによって、たとえばステレオ２トラック等にミックスダウンされたミックスダウン音響データが生成される。
【００４５】
テンプレートを利用したミックスダウンを行う際には、表示装置２２にたとえば図６に示すようなミックスダウンデザインテンプレートのリストが表示される。ユーザは入力装置２０を操作して、このリストから適用したいテンプレートを選択することができる。このリストに表示されるテンプレートは、ユーザが過去のミックスダウンセッションで抽出作成したテンプレートを含む。
【００４６】
選択されたテンプレートを適用してミックスダウンする際には、テンプレートの各トラックの音楽的機能と、対象音響データのトラックの音楽的機能とのマッチングないし対応付けが行われる。対象音響データのトラックに、その音楽的機能が同一または類似するもののミックスダウンデザイン情報を適用するためである。テンプレートデータには、図４からわかるように、たとえばそのトラックの音楽的機能を示す情報が格納されているので、マッチングが可能となる。
【００４７】
なお、テンプレートに、対象音響データの各トラックの音楽的機能と同じ音楽的機能のトラックに対するミックスダウンデザイン情報が格納されていない場合には、たとえば、その音楽的機能と類似するような音楽的機能のトラックに対するミックスダウンデザイン情報を適用する。つまり、たとえば対応付ける音楽的機能の情報を示すマッチングテーブル等を準備しておけばよい。これによって、たとえば、ストリングスとキーボード等とが対応付けられたり、ドラムと他のリズム楽器ないし打楽器（パーカッション等）とが対応付けられたりする。
【００４８】
そして、マッチングされたトラックどうしを対応させ、かつ、同じ音楽グループどうしを対応させて、音響データにテンプレートのミックスダウンデザイン情報が適用される。上述のように、ミックスダウンデザイン情報には、ミックスダウン事例から得られた、使用プラグインの種類とその順序に関する情報，使用プラグインごとのパラメータに関する情報，音量に関する情報およびパンに関する情報等が含まれている。したがって、テンプレートを適用することによって、そのテンプレートの備えるミックスダウンのデザインないし特徴に基づいてミックスダウンされたミックスダウン音響データが生成される。
【００４９】
このようにして、テンプレートを選択するだけで、そのテンプレートの有するミックスダウンデザインの特徴が適切に反映された音響データが作成される。つまり、ユーザは、これから作ろうとしている楽曲のイメージに適合するような特徴を備えたミックスダウンデザインテンプレートを選択して適用することによって、素材の音響データを自らの思い描いた通りのあるいはイメージに近い雰囲気をもった楽曲に簡単に仕上げることができる。したがって、すべてのトラックおよび音楽グループに対していちいち手作業でミックスダウン処理のための操作を行っていく必要がないので、ミックスダウンにおける生産性を向上することができる。
【００５０】
図７には、この楽曲ミキシング装置１０における楽曲ミキシング動作が示される。楽曲ミキシング装置１０においてこの楽曲ミキシングプログラムが起動されると、まず、ステップＳ１において、ＣＰＵ１２は、ユーザ操作に応じてミックスダウン対象とする音響データを取得してＨＤＤ１６に格納する。この際に、上述したように、各トラックにはユーザ操作に応じてその格納される音響データの楽器，パート等の音楽的機能が設定される。
【００５１】
次に、ステップＳ３で、ＣＰＵ１２はテンプレートを用いてミックスダウンするのか否かを判断する。ステップＳ３で“ＮＯ”であれば、つまり、たとえば図示しない画面上でテンプレート利用メニュー等が選択されなかった場合には、続くステップＳ５で、ＣＰＵ１２は、ユーザ操作に基づく入力装置２０からの操作信号に応じて、通常のミックスダウンのための各種処理を実行する。
【００５２】
ここでは、ユーザは入力装置２０を操作して、各トラックに対する使用プラグインの選択，そのパラメータの設定や音量およびパン等の制御等を行う。ＣＰＵ１２は、ユーザ操作に従った処理を施した音響データをＲＡＭ１４に生成し、これをオーディオＩ／Ｆ２４を介してスピーカ２８から出力する。ユーザはスピーカ２８から再生される音声によって、自らのミックスダウン作業の良否を確認できる。このようにして、最終的にミックスダウンされたミックスダウン音響データがＲＡＭ１４に生成される（図２も参照）。
【００５３】
さらに、ＣＰＵ１２は、ステップＳ７で、そのミックスダウン処理過程ないし作業過程の情報を含む図３に示すようなミックスダウン処理過程データをＲＡＭ１４に生成し、ステップＳ９で、ミックスダウン処理過程データを音響データと対応付けてＨＤＤ１６に格納する。この音響データとそれに対するミックスダウン処理過程データとはたとえばミックスダウン事例データとして格納され得る。
【００５４】
そして、ステップＳ１１で、テンプレートを抽出するか否かを判断する。ステップＳ１１で“ＹＥＳ”であれば、つまり、ユーザ操作によってたとえば図示しない画面上のテンプレート抽出ボタン等が選択された場合には、ＣＰＵ１２は、続くステップＳ１３で、ミックスダウンデザインテンプレートの抽出処理を実行する。このステップＳ１３のテンプレート抽出処理によって、たとえばステップＳ５で実行されたミックスダウンセッションの特徴を備えた、図４に示すようなミックスダウンデザインテンプレートデータが作成されることとなる。このテンプレート抽出処理は図８に詳細に示されるが、その説明は後述する。
【００５５】
一方、ステップＳ３で“ＹＥＳ”であれば、つまり、たとえば図示しない画面上でテンプレート利用メニュー等が選択された場合には、ＣＰＵ１２は、ステップＳ２１でミックスダウンデザインテンプレートを用いるミックスダウン処理を実行する。このステップＳ２１の処理によって、たとえば図５に示すようにミックスダウンされた音響データが生成されることとなる。このテンプレートを利用するミックスダウン処理は、図１７に詳細に示されるが、その説明は後述する。
【００５６】
ステップＳ１１で“ＮＯ”であれば、あるいは、ステップＳ１３またはステップＳ２１の処理を終了すると、ＣＰＵ１２は、ステップＳ１５でマスタデータを保存するか否かを判断する。このステップＳ１５で“ＹＥＳ”であれば、つまり、たとえば図示しない画面上でマスタデータ保存ボタン等が選択された場合等には、ステップＳ１７で、ＣＰＵ１２は、ＲＡＭ１４に生成されたミックスダウン音響データをＨＤＤ１６にマスタデータとして格納する。
【００５７】
一方、ステップＳ１５で“ＮＯ”であれば、またはステップＳ１７の処理を終了すると、ステップＳ１９で、ＣＰＵ１２は、このミックスダウンセッションを終了するか否かを判断する。ステップＳ１９で“ＮＯ”であれば、ステップＳ３に戻ってこの音響データに対する処理を繰返す。ステップＳ１９で“ＹＥＳ”であれば、必要な終了処理を実行してこのセッションを終了する。
【００５８】
図８には、図７におけるステップＳ１３のミックスダウンデザインテンプレート抽出処理の動作が示される。図８に示すように、ＣＰＵ１２は、まず、ステップＳ３１で、ミックスダウン事例データを取得する。つまり、ＣＰＵ１２はＨＤＤ１６から音響データとこの音響データに対するミックスダウン処理過程データとを読み出してＲＡＭ１４の所定エリアに書き込む。
【００５９】
次に、ＣＰＵ１２は、ステップＳ３３で、音響データの各トラックの音量を正規化する。つまり、各トラックの音量を揃えることによって、音量に関するミックスダウン処理の特徴を抽出できるようにする。
【００６０】
続くステップＳ３５で、ＣＰＵ１２は、ミックスダウン事例データに基づく音楽グループ抽出処理を実行する。このステップＳ３５の処理によって、事例データの音響データにおける音楽グループが抽出される。このステップＳ３５の処理は、図９に詳細に示されるが、その説明は後述する。
【００６１】
次に、ステップＳ３７では、ＣＰＵ１２はミックスダウン処理過程データからトラックごとおよび音楽グループごとのミックスダウンデザイン情報を抽出する。つまり、ミックスダウン処理過程データは、図３に示すように、各トラックに対するミックスダウン処理情報を含んでいるので、これらからステップＳ３５の処理で抽出されたそれぞれの音楽グループにおけるミックスダウン処理に関するデザイン情報が抽出される。
【００６２】
続くステップＳ３９では、ＣＰＵ１２は、音楽グループごとの、複数トラックおよび全体にかかるミックスダウンデザイン情報を抽出する。つまり、ミックスダウン処理過程データは、図３に示すように、複数のトラックおよび全体にかかるミックスダウン処理情報を含んでいるので、これらからそれぞれの音楽グループにおけるミックスダウン処理に関するデザイン情報が抽出される。
【００６３】
そして、ステップＳ４１で、ＣＰＵ１２は、抽出したミックスダウンデザイン情報をトラックの音楽的機能および音楽グループに対応付けることによって、たとえば図４に示すようなミックスダウンデザインテンプレートのデータをＲＡＭ１６の所定エリアに作成する。
【００６４】
続くステップＳ４３では、ＣＰＵ１２は、作成したミックスダウンデザインテンプレートのデータをＨＤＤ１６に格納する。このとき、ユーザはミックスダウンデザインテンプレートの名称を設定することができ、テンプレートはその名称とともに保存される。保存されたテンプレートは、その後、テンプレートを利用したミックスダウン処理を行う際に、テンプレートリストに表示されることとなる。このステップＳ４３の処理を終了すると、図７のフローに戻ってステップＳ１５へ進む。
【００６５】
図９には、図８におけるステップＳ３５のミックスダウン事例データに基づく音楽グループ抽出処理の動作が示される。図９に示すように、ＣＰＵ１２は、まず、ステップＳ５１で、各トラックにおいて音量の時系列データのヒストグラム処理によって最小基本ビートを抽出する。
【００６６】
次に、ステップＳ５３で、ＣＰＵ１２は、各トラックの時間周波数マップに対して最小基本ビート単位での時間ずらしによって相関分析処理を実行する。これによって、基本ビートごとの相関を知ることができる。たとえば図１０には、あるトラックデータの第１ビート目に対する相関が示されている。ここでは相関が高い場合ほど濃く描かれており、ずらし幅が０（自己相関），１０および１６のときに、強い相関があることがわかる。
【００６７】
そして、ステップＳ５５で、ＣＰＵ１２は相関マップデータを作成する。つまり、最小ビートを単位として第２ビート目以降のビートについても、それぞれステップＳ５３と同様の処理を繰返していくことによって、相関マップx(i,j)を得る。たとえば図１１には相関マップの一例が示される。この図１１から明らかなように、繰返し成分があると斜めの線が表れる。ただし、最も左側の斜線は自己相関に相当する。
【００６８】
続いて、ステップＳ５７で、ＣＰＵ１２はこの相関マップに対してマスク処理を実行する。この処理によって、複数連続して同様な動きないしパターンがある部分を検出することができる。たとえば、２連続パターンを抽出するためのマスク処理は次のように表わされる。x(i,j)=1/2*x(i,j)+1/2*x(i+1,j+1)
【００６９】
このような２連続パターン抽出のマスク処理を施した相関マップの一例が図１２に示される。これは、図１２中で“●”で示した部分に対しての(1/2,1/2)の積和フィルタ処理に相当する。このマスク処理を施した図１２の相関マップにおいて左側の曲線は、プロジェクションプロフィール（投影縦断図）を示していて、その行からスタートする繰返しパターンの数を行ごとに足し込んだものであって、その数が多ければ多いほど大きな値となる。
【００７０】
また、図１３には、４連続パターン抽出処理を施した相関マップの一例が示される。なお、これは(1/4,1/4,1/4,1/4)の積和フィルタ処理に相当する。さらにまた、図１４には、８連続パターンの抽出処理を施した相関マップの一例が示される。
【００７１】
ステップＳ５９（図９）で、ＣＰＵ１２は、繰返しパターンをグループ候補として抽出する。つまり、まず、ステップＳ５７の処理で得られた相関マップ中のプロジェクションプロフィールを見て、値の大きなローカルピークを探索することによって、音楽グループ候補のスタートポイントを得る。たとえば図１４の８連続パターンの抽出処理の場合、９行目、すなわち第９ビート目に、ピークを検出でき、したがって、ここがスタートポイントとなる。そして、繰返し数は８個であるから、９番目から８個分の並びをグループ候補として検出することができる。そして、その行において相関値の高いものを探索していくことで、同一グループを選出していくことができる。そのグループの基本的な強さを、（そのグループに属するビート単位数）／（全体のビート単位数）で与える。
【００７２】
そして、ステップＳ６１で、ＣＰＵ１２はグループ候補の相関値レベルを算出する。つまり、それぞれのグループ候補から見て、他のそれぞれの同一と判断されるグループの相関値の平均を算出し、それをそのグループの相関値レベルとして保持する。
【００７３】
続くステップＳ６３で、ＣＰＵ１２は、たとえば２ｎ＊３ｍ（ｍ,ｎは０以上の整数。）の並びのデータに対しての処理を実施したか否かを判断する。この２ｎ＊３ｍの並びのデータは、音楽の繰返しとして見られるものに相当するものである。
なお、他の実施例では、全ビート単位数の半数の並びのデータに対して処理したか否かを判断するようにしてもよい。
【００７４】
このステップＳ６３で“ＮＯ”であれば、つまり、まだ処理が残っていれば、ステップＳ５７へ戻って、その並びの連続パターンを抽出するための処理を繰返す。一方、ステップＳ６３で“ＹＥＳ”であれば、つまり、既に必要数の並びのデータに対して処理を実施した場合には、ステップＳ６５へ進む。
【００７５】
なお、ステップＳ５３〜Ｓ６３の処理は単音旋律楽器のトラックデータのみならずリズム楽器やポリフォニのトラックデータであっても同様に適用することによって、音楽グループ候補を抽出可能である。
【００７６】
ステップＳ６５では、ＣＰＵ１２は、各トラックにおいて、ミックスダウン処理情報の変化点に基づいてグループ候補を抽出する。つまり、各トラックに対する音量やパンの制御、使用されるプラグインの種類とそのパラメータ等は、音楽グループの境界で変えられる傾向がある。したがって、ミックスダウン処理過程データを解析してこれらの変化点を抽出することによって、グループ候補を抽出する。
【００７７】
続いて、ステップＳ６７では、リズム楽器のトラックにおいて、波形の包絡の相関分析によってグループ候補を抽出する。図１５（Ａ）には、リズム楽器の波形の包絡が示され、図１５（Ｂ）には、そのスペクトルマップが示される。波形の包絡は音量分布に一致し、この例では一拍０．５５秒程度であることがわかる。リズム楽器については、このような波形の包絡の類似性計算によって、グループ候補を抽出する。
【００７８】
なお、図１５（Ｂ）のスペクトルマップからわかるように、一拍以下の細かいリズムにも相関があることがわかる。したがって、ボーカルやベース等のようなピッチを持つ楽器ないしパートのスペクトルマップは、それぞれの場所の周波数データが含まれていて、より判別能力の高い情報源となり得る。したがって、これらのトラックの相関分析から得られるグループ候補は、より重みのある、または、確実性のある情報として扱うことができる。なお、ギター等のようなハーモニ楽器については、スペクトルマップを２次元画像と見て、そのまま相関分析を行うようにすればよい。
【００７９】
続くステップＳ６９では、ＣＰＵ１２は、それぞれのグループ候補抽出処理の結果を組み合わせてみて、最終的な音楽グループを抽出する。ここまでの処理によってそれぞれのトラックごとに複数の繰返し数に基づくグループ候補が相関値のレベル付で抽出されている。したがって、たとえば、それぞれのトラックごとに、同一グループと判断する場所（時間帯）に重みを付けて投票を行う（所定の値を代入して足し合わせる）。そして、その値が大きいグループ候補を音楽グループであると判断する。続いて、ステップＳ７１で、ＣＰＵ１２は確定した音楽グループにそれぞれラベルを付与する。
【００８０】
たとえば図１６には、確定した音楽グループが示されている。各トラックは、それぞれの候補抽出処理によって得られたグループ候補に分けられていて、それらを組み合わせて総合することによって、音楽グループが確定されている。図１６では音楽グループは、たとえばギター１の収められたトラック３を例に挙げると、「Ｔ３−１」、「Ｔ３−２，Ｔ３−３，Ｔ３−２，Ｔ３−３」、「Ｔ３−４」、「Ｔ３−５，Ｔ３−６」、「Ｔ３−７，Ｔ３−８」、「Ｔ３−９」、そして「Ｔ３−２，Ｔ３−３，Ｔ３−２，Ｔ３−３」の７つに分離される。第２と第７のグループは繰返して表れる同じグループである。そして、各音楽グループには順にＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｂのラベルが設定される。
【００８１】
音楽グループのラベルの設定について、図１６では単にＡ，Ｂ，…であるが、ステップＳ７１では名称の設定まで行なわれ得る。たとえば、まず、「サビ」は、ボーカルが高い音で歌う傾向があり、したがって、ボーカルの目立つグループをサビとして判別することができる。なお、サビは繰返される傾向があるので、繰返されているか否かも判断材料の一つになり得る。また、「イントロ」は楽曲の開始部分のグループに設定され得る。さらに、「Ａメロディ」は、サビ以外の部分の第１のグループに対して設定され、「Ｂメロディ」は、サビ以外の部分で、Ａメロとは別の第２のグループに対して設定され得る。
【００８２】
このステップＳ７１の処理を終了すると、図８に戻ってステップＳ３５へ進む。
【００８３】
図１７には、図７におけるステップＳ２１のミックスダウンデザインテンプレートを用いるミックスダウン処理の動作が示される。図１７に示すように、ＣＰＵ１２は、まず、ステップＳ８１で、ミックスダウン対象とする音響データの各トラックの音楽的機能の情報を取得する。各トラックの音楽的機能は、たとえばＨＤＤ１６への録音ないし記憶の際等にユーザの入力によって設定されているので、ＣＰＵ１２はその情報を読み出してＲＡＭ１４の所定エリアに書き込む。たとえば図５の例では、トラック１〜８の音楽的機能は順にドラム，ベース，ギター１，ギター２，キーボード１，キーボード２，コーラスおよびメインボーカルである。
【００８４】
次に、ステップＳ８３で、ＣＰＵ１２は、ミックスダウン対象とする音響データにおける音楽グループの情報を取得する。対象音響データの音楽グループはユーザの入力によって設定され、ＣＰＵ１２はその情報を受けてＲＡＭ１４の所定エリアに書き込む。たとえば図５の例では、音響データの音楽グループはサビ，Ａメロディ，サビ，Ａメロディ，Ｂメロディおよびサビの順になっている。ユーザは、たとえば図示しない音楽グループ設定画面等において、トラックを複数の時間帯に分割して各時間帯に対応する音楽グループ名を入力すること等によって、音楽グループを設定できる。
【００８５】
続くステップＳ８５で、ＣＰＵ１２は、たとえば図６に示すようなミックスダウンデザインテンプレートのリストを表示装置２２に表示する。ユーザは、このリストから適用したいテンプレートを入力装置２０を操作するによって選択することができる。
【００８６】
ステップＳ８７で、ＣＰＵ１２は、ユーザ操作によっていずれかのミックスダウンデザインテンプレートが選択されたか否かを判断する。ステップＳ８７で“ＹＥＳ”であれば、つまり、リスト中いずれかのテンプレートが選択された場合には、続くステップＳ８９で、ＣＰＵ１２は、選択されたテンプレートのデータをＨＤＤ１６から読み出してＲＡＭ１４の所定エリアに書き込み、そのテンプレートにおける各トラックと、ミックスダウン対象の音響データの各トラックとを、その音楽的機能によってマッチングないし対応付けを行う。これによって、音響データの各トラックには、その音楽的機能が同一または類似するテンプレートのトラックのミックスダウンデザイン情報が適用されることとなる。
【００８７】
続いて、ステップＳ９１では、ＣＰＵ１２は、ステップＳ８９でマッチングされたトラックどうしおよび音楽グループどうしを対応させて、対象音響データにテンプレートのミックスダウンデザイン情報を適用することによって、ミックスダウンされたミックスダウン音響データをＲＡＭ１４の所定エリアに生成する。
【００８８】
そして、ステップＳ９３で、ＣＰＵ１２は、生成したミックスダウン音響データをたとえばオーディオＩ／Ｆ２４に与えてスピーカ２８から再生する。したがって、ユーザは、選択したテンプレートの適用によって音響データがどのようにミックスダウンされたかを聴取して確認することができる。
【００８９】
ステップＳ９５では、ＣＰＵ１２は、ユーザによって、適用するテンプレートが変更されたか否かを判断する。ステップＳ９５で“ＹＥＳ”であれば、つまり、たとえばユーザによって図示しない画面上のテンプレート変更ボタン等が選択された場合等には、ステップＳ８５へ戻って処理を繰返す。
【００９０】
一方、ステップＳ９５で“ＮＯ”であれば、つまり、ユーザがテンプレートの変更を選択しなかった場合には、ステップＳ９７で、ＣＰＵ１２は、ユーザによって、ミックスダウン音響データの調整が行われるか否かを判断する。ステップＳ９７で“ＹＥＳ”であれば、つまり、たとえばユーザが図示しない画面上で音響データの調整操作をした場合には、ステップＳ９９で、ＣＰＵ１２は、ユーザの調整操作に基づいたミックスダウン音響データを生成し、ステップＳ９３へ戻って処理を繰返す。このように、ユーザはさらに微調整を行って、自己の好みあるいはデザインにより近い楽曲に仕上げることができる。
【００９１】
ステップＳ９７で“ＮＯ”であれば、つまり、ユーザによってもはや調整操作が行われない場合には、図７のフロー図に戻って、ステップＳ１５へ進む。
【００９２】
この実施例によれば、実際のミックスダウン事例からテンプレートを抽出し、その抽出したテンプレートを他のミックスダウンセッションに利用することができるので、ミックスダウンの生産性を向上することができる。
【００９３】
なお、ミックスダウンデザインテンプレートは、過去の自己のミックスダウンセッションで抽出されたものに限られるものではない。つまり、他の実施例では、他者のミックスダウンセッションで抽出されたテンプレートが取得されてもよい。たとえば図６のリストに一緒に示した“デザインテンプレート＿プロデューサＣ（またはＤ）”は、プロデューサＣ（またはＤ）のミックスダウンセッションで抽出されたテンプレートである。他者のテンプレートは、たとえば通信Ｉ／Ｆ２６を介してインタネット上の配信サーバからダウンロードすることによって取得することができるし、または適宜な情報記録媒体からディスクＩ／Ｆ１８等を介してＨＤＤ１６に取得（格納）するようにしてもよい。
【００９４】
このように、自己のミックスダウンセッション以外で抽出されたテンプレートを利用できるので、アマチュアユーザにとって、従来困難であったミックスダウン作業を最初から簡単に行うことができるし、様々なデザインのミックスダウンを実現することができる。たとえばプロのミキシングエンジニアまたはプロデューサ等によるテンプレートを利用することもできるので、自らの楽曲をそのプロの作風ないしテイストで仕上げた別バージョンを簡単に制作できるし、また、たとえばＴＰＯに応じて楽曲の雰囲気を変化させるといった従来にない楽しみ方もすることができる。
【００９５】
一方のプロ側としては、自己の制作活動の生産性を向上できるのみならず、抽出したミックスダウンデザインテンプレートを、たとえばインタネット上の配信サーバや適宜な情報記録媒体等によって流通させることによって、新たなビジネスを創成することも可能となる。
【図面の簡単な説明】
【図１】この発明の一実施例の楽曲ミキシング装置の内部構成を示すブロック図である。
【図２】ユーザ操作によるミックスダウン事例の概略を説明するための図解図である。
【図３】図１実施例のＲＡＭに記憶されるミックスダウン処理過程データを示す図解図である。
【図４】図１実施例のＲＡＭに記憶されるミックスダウンデザインテンプレートデータを示す図解図である。
【図５】ミックスダウンデザインテンプレートを適用して行うミックスダウンの概略を説明するための図解図である。
【図６】図１実施例の表示装置に表示されるミックスダウンデザインテンプレートのリスト画面の一例を示す図解図である。
【図７】図１実施例における楽曲ミキシング処理の動作を示すフロー図である。
【図８】図７におけるミックスダウンデザインテンプレートの抽出処理の動作を示すフロー図である。
【図９】図８におけるミックスダウン事例データに基づく音楽グループ抽出処理の動作を示すフロー図である。
【図１０】基本ビート単位での相関分析処理を説明するための図解図である。
【図１１】基本ビート単位での相関分析処理による相関マップの一例を示す図解図である。
【図１２】図１１の相関マップに対して２連続パターン抽出のためのマスク処理を施した場合の相関マップの一例を示す図解図である。
【図１３】図１１の相関マップに対して４連続パターン抽出のためのマスク処理を施した場合の相関マップの一例を示す図解図である。
【図１４】図１１の相関マップに対して８連続パターン抽出のためのマスク処理を施した場合の相関マップの一例を示す図解図である。
【図１５】リズム楽器の音響データを示す図解図であり、（Ａ）は波形の包絡を示し、（Ｂ）はスペクトルマップを示す。
【図１６】音楽グループ確定の概略を説明するための図解図である。
【図１７】図７におけるミックスダウンデザインテンプレートを用いるミックスダウン処理の動作を示すフロー図である。
【符号の説明】
１０  …楽曲ミキシング装置
１２  …ＣＰＵ
１４  …ＲＡＭ
１６  …ＨＤＤ
１８  …ディスクＩ／Ｆ
２０  …入力装置
２２  …表示装置
２４  …オーディオＩ／Ｆ
２６  …通信Ｉ／Ｆ
【図１】
2004206747.tif 000003
【図２】
2004206747.tif 000004
【図３】
2004206747.tif 000005
【図４】
2004206747.tif 000006
【図５】
2004206747.tif 000007
【図６】
2004206747.tif 000008
【図７】
2004206747.tif 000009
【図８】
2004206747.tif 000010
【図９】
2004206747.tif 000011
【図１０】
2004206747.tif 000012
【図１１】
2004206747.tif 000013
【図１２】
2004206747.tif 000014
【図１３】
2004206747.tif 000015
【図１４】
2004206747.tif 000016
【図１５】
2004206747.tif 000017
【図１６】
2004206747.tif 000018
【図１７】
2004206747.tif 000019