(57)【要約】【課題】自律型読譜および音楽演奏ロボット、およびその方法を提供する。【解決手段】画像取込装置２２、解読装置２４、合成装置２６および音声出力装置２８を備える。使用時、画像取込装置２２によって音楽データを含む画像が取込まれ、解読装置２４が画像中の音楽データの認識および解読を行なう。解読後、合成装置２６が解読した音楽データに基づいて合成によって楽器または歌声の音声を模倣し、この音声が音声出力装置２８によって人間が聞くことができる音声に変換される。音楽データを含む画像は事前に視覚的に認識可能な形態で準備され、画像には本発明の自律型ロボットが模倣する楽器の指定などの指令を行なう特殊符号を含むことができる。【選択図】図１
2008170947.tif 000002
【特許請求の範囲】
【請求項１】
画像取込装置、解読装置、合成装置および音声出力装置を備え、
前記画像取込装置は、視覚トリガを有する画像を取込み、前記画像は少なくとも一つの符号列を含み、
前記解読装置は、前記画像の前記符号列を認識し、前記符号列から少なくとも一つの序列した音調および各音調の継続時間を含む時間依存性音楽データを取り出し、
前記合成装置は、前記音楽データに基づいて音源を模倣し、出力信号を生成し、
前記音声出力装置は、少なくとも一つのアンプを備え、前記出力信号を人間が聞くことができる音声へと変換することを特徴とする自律型読譜および音楽演奏ロボット。
【請求項２】
前記符号列は、少なくとも複数の音符を含むことを特徴とする請求項１記載の自律型読譜および音楽演奏ロボット。
【請求項３】
前記符号列は、少なくとも一つの特殊符号を含み、前記特殊符号は前記音源となる特定の楽器を指定することを特徴とする請求項１記載の自律型読譜および音楽演奏ロボット。
【請求項４】
前記画像は、更に前記符号列に適当に対応する文字列または発音記号列を含むことを特徴とする請求項１記載の自律型読譜および音楽演奏ロボット。
【請求項５】
前記文字列または発音記号列は、少なくとも一つの特殊符号を含み、前記特殊符号は前記音源となる特定の声を指定することを特徴とする請求項４記載の自律型読譜および音楽演奏ロボット。
【請求項６】
少なくとも一つの符号列を含む画像を取込むステップと、
前記符号列を認識し、前記符号列の中から少なくとも一つの序列した音調および各音調の継続時間を含む時間依存性音楽データを取り出すステップと、
前記音楽データに基づいて音源を模倣し、出力信号を生成するステップと、
前記出力信号を人間が聞くことができる音声に変換するステップと、を含むことを特徴とする自律型読譜および音楽演奏の方法。
【請求項７】
前記符号列は、少なくとも複数の音符を含むことを特徴とする請求項６記載の自律型読譜および音楽演奏の方法。
【請求項８】
前記符号列は、少なくとも一つの特殊符号を含み、前記特殊符号は前記音源となる特定の楽器を指定することを特徴とする請求項６記載の自律型読譜および音楽演奏の方法。
【請求項９】
前記画像は、更に前記符号列に適当に対応する文字列または発音記号列を含むことを特徴とする請求項６記載の自律型読譜および音楽演奏の方法。
【請求項１０】
前記文字列または発音記号列は、少なくとも一つの特殊符号を含み、前記特殊符号は前記音源となる特定の声を指定することを特徴とする請求項９記載の自律型読譜および音楽演奏の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は自律型読譜および音楽演奏ロボット、およびその方法に関し、特に、音楽データを含む画像を認識でき、その音楽データを音声に変換して出力する自律型読譜および音楽演奏ロボット、およびその方法に関する。
【背景技術】
【０００２】
現在の科学技術においては外界の視覚および／または聴覚刺激に対して反応する機械構造を製造することが可能である。これらの機械構造は独立して運転することができ、人間による操作は必要がない。学術上および市場に存在する機械構造の中ですでにこれらの技術を有するものが多く存在する。例えばＳｏｎｙのＡＩＢＯというロボット犬には撮影カメラが設けられて暗号化された指令を含む画像カード上の画像を受信し、ロボット犬をトリガしての設定状態を変更させたり、ロボット犬に特定の動作（ダンスおよび歌など）を行なうように命令を出したりする。
【０００３】
ＴｏｙｏｔａはＤＪロボットおよび音楽演奏ロボットを案出しており、ＤＪロボットはローラを備える自律型ロボットであり、人間とインタラクションを行なったり、楽団の指揮を模倣したりする。ローラまたは脚部を備える音楽演奏ロボットは実際にトランペット、チューバ、トロンボーンおよびドラムなどの楽器を演奏することができる。この音楽演奏ロボットは完全な自律型ロボットではなく、プログラムによって機敏な腕部、手部および指部の動きが表現される。
【０００４】
米国のジョージア工科大学（Ｇｅｏｒｇｉａ  Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｔｅｃｈｎｏｌｏｇｙ）が案出したロボットＨａｉｌｅはドラム演奏ロボットであり、現場演奏を聞き取って即時にその演奏音楽を分析し、その後、分析結果に基づいて即興でドラムを演奏するものである。このロボットは即興演奏を行なう演算法を有し、如何なる演奏にも対応することができる。このロボットは現場演奏者の演奏を直接模倣したり、伴奏をしたりすることができる。また、使用者はこのロボットにＭＩＤＩファイルを入力し、ロボットにＭＩＤＩファイルに基づいた演奏をさせることもできる。
【０００５】
これらのロボットは粗雑な作りではあるが、高い教育的および娯楽的機能を有する。しかし、これらのロボットはすべて一種類の楽器しか演奏することができず、通常その楽器はロボットの演奏形式に合わせて特別に製造する必要がある。また、各ロボットが表現できる旋律は、予めロボット内にプログラムされたり、Ｈａｉｌｅのように予め現場演奏から学習したりする必要がある。つまり、これらのロボットは演奏を随時変更することができず、変更する場合は準備作業が必要となり、このことは音楽演奏ロボットの応用範囲を制限している。
【特許文献１】特開２００７−４１１６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の課題は、光学認識および音声合成技術を組み合わせた、高い融通性および動的な音楽演奏能力を有する自律型読譜および音楽演奏ロボット、およびその方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は自律型読譜および音楽演奏ロボット、およびその方法を提供するものであり、主に、画像取込装置、解読装置、合成装置および音声出力装置を備える。各装置は人形型またはその他の適当な形状のケーシング内に設置される。画像取込装置は、例えばＣＣＤ撮影カメラであり、音楽データを含む画像を取込み、解読装置によって取込んだ画像中の音楽データの認識および解読を行なうことができ、合成装置が認識した音楽データに基づいて合成技術によって少なくとも一種類の楽器または歌唱者の音声を模倣し、音声出力装置（アンプなど）が合成装置からの出力信号を人間が聞くことができる音声に変換する。音声出力装置は、通常、自律型ロボットと一体の形態、或いは自律型ロボットから適当な距離に分離され、適用な信号ケーブルによって接続された形態にすることができる。
【０００８】
本発明の自律型読譜および音楽演奏ロボットはトリガ‐レスポンス方式で運転される。音楽データを含む画像は視覚によって認識される形式（五線譜上の音符または簡略楽譜など）であり、画像内には自律型ロボットに命令を下す（特定の楽器を指定するなど）特殊符号を含むことができ、事前に準備される。これらの画像は自律型ロボットの画像取込装置に呈示され、画像に含まれる音楽データに基づいて演奏が行なわれる。１セットの画像は使用者が順番に自律型ロボットに呈示するか、或いは自律型ロボットがページめくり装置を備え、この１セットの画像を自動的に調査し、それによって自律型ロボットは連続した音楽演奏を行なうことができる。
【０００９】
複数の自律型読譜および音楽演奏ロボットを集合させて楽団、合唱団または管弦楽団などを構成することができる。それぞれの自律型ロボットに異なる画像を与えることによって、これらのロボットはそれぞれが特定の役割を演じることができる。例えばこれらのロボットにテノール、ソプラノおよびバリトンをそれぞれ担当させたり、あるロボットにバイオリンおよびピアノ演奏をそれぞれ担当させ、その他のロボットにトランペットおよびドラムをそれぞれ担当させたりして演奏を行なわせることができる。
【発明の効果】
【００１０】
本発明の自律型読譜および音楽演奏ロボットは音楽データを含む画像を取込み、解読装置によって取込んだ画像中の音楽データの認識および解読を行なうことができ、合成装置が認識した音楽データに基づいて合成技術によって少なくとも一種類の楽器または歌唱者の音声を模倣し、音声出力装置（アンプなど）が合成装置からの出力信号を人間が聞くことができる音声に変換して出力することができる。音楽データを含む画像は視覚によって認識される形式（五線譜上の音符または簡略楽譜など）であり、画像内には自律型ロボットに命令を下す特殊符号を含むことができ、事前に準備される。これらの画像は自律型ロボットの画像取込装置に呈示され、画像に含まれる音楽データに基づいて演奏が行なわれる。また、複数の自律型読譜および音楽演奏ロボットを集合させて楽団、合唱団または管弦楽団などを構成することができる。
【発明を実施するための最良の形態】
【００１１】
本発明の自律型読譜および音楽演奏ロボット、およびその方法の運転方式および外観構造などを実施例および図面によって詳細に説明する。
【００１２】
本発明の自律型読譜および音楽演奏ロボットは基本的には演算装置である。その演算装置は１セットの音楽データを含む画像の形式によって視覚トリガ（ｖｉｓｕａｌ  ｔｒｉｇｇｅｒ）を受信し、その音楽データに基づいて人間が聞くことができる形態でレスポンスを出力する。本発明の自律型読譜および音楽演奏ロボットは特定の形状または身体部位の有無に制限されず、人間の形をしているか、腕部および脚部があるか、移動可能であるかなどは本発明にとって重要ではない。
【００１３】
従来技術におけるロボットにも楽器を演奏することができたり（ロボットＨａｉｌｅなど）、トリガ‐レスポンス行為を行なうことができたり（ロボット犬ＡＩＢＯなど）するものが存在するが、本発明がこれらの従来技術によるロボットと異なる点は、合成技術によって各種楽器や歌唱者の音声を製作することができる以外に、本発明の自律型ロボットは、従来技術によるロボットのように、予めヒューリスティックアルゴリズムに基づくプログラミングを行なったり、予めロボット内に音楽データをインストールして特定の楽器を演奏させるものではないという点にある。また、ロボットに呈示されるトリガ（例えば画像）は一回性の命令ではなく、時間依存性（ｔｉｍｅ‐ｄｅｐｅｎｄｅｎｔ）データを含む。以上の本発明と従来技術との差異は単一の自律型読譜および音楽演奏ロボット内に本発明と従来技術とを整合できないという意味ではない。
【００１４】
図１は本発明の自律型ロボットの内部機能を示すブロック図である。図に示すように、本発明は少なくとも一つ以上の画像取込装置２２を備え、この画像取込装置２２は自律型ロボットのケーシング２０上に設置される。画像取込装置２２はＣＣＤ撮影カメラまたはＣＭＯＳ撮影カメラであり、その他、ファックスの自動ページめくり機能つきスキャニング装置に類似する装置または手動で画像をスキャニングするハンディスキャナ装置も画像取込装置２２とすることができる。
【００１５】
画像取込装置２２は如何なる技術を採用したとしても、その基本的な特徴は外界の視覚トリガから二次元の平面画像を取込むことにある。ファックスのスキャニング装置に類似する装置を例とすると、視覚トリガはスキャニング装置に送り込まれた１枚の紙であり、ハンディスキャナ装置を例とすると、視覚トリガはスキャニングされた本の中の１ページであり、撮影カメラを例とすると、視覚トリガはディスプレイ装置（液晶ディスプレイのパネルまたはＰＤＡなど）のモニタ画面、１枚の紙、本の１ページ、ホワイトボード上の文字図案または画像カード（ｐｉｃｔｏｒｉａｌ  ｃａｒｄ）などである。画像取込装置にとって、これらの視覚トリガは全て平面画像であり、それぞれ独立した「ページ」を単位として表示される。ここでの「ページ」とは抽象的な表現であり、具体的にはディスプレイ装置の画面、１枚の紙、本の１ページまたは画像カードなどを表す。
【００１６】
各画像は時間依存性音楽データを含み、音楽データは一列（直線列）の「音符」によって表される。この「音符」は一般の五線譜、簡略楽譜または少なくとも音調高低（ｐｉｔｃｈ）および音調の継続時間を示す符号とすることができる。これらの音符によって旋律およびリズムが定義される。図４は画像の範例である。この画像に含まれる時間依存性音楽データは簡略楽譜によって示されており、米国の童謡“ｒｏｗ，ｒｏｗ，ｒｏｗ，ｙｏｕｒ  ｂｏａｔ”の一節を示す。図に示すように、この画像は他の符号を含み、それによって更に正確な旋律を定義している。例えばアンダーライン（＿）およびハイフン（‐）はそれぞれ数字によって表示された音調の継続時間をそれぞれ示し、数字後方の付点は八度下の音調を表す。図４の簡略楽譜は範例を示すものであり、その他の更に複雑な時間依存性音楽データを表示する方法を採用することができ、本発明では肉眼で認識できるものでも、機械のみが識別できるものでも使用することができる。
【００１７】
図１の画像取込装置２２に取込まれた平面画像は解読装置２４に伝送されて認識が行なわれる。この解読装置２４は本発明の自律型ロボットの「大脳」に相当する。この解読装置２４は通常、演算装置によって実施され、適当な入力／出力インターフェイスによってその他の装置（例えば画像取込装置２２）と接続される。例えばこの解読装置２４は一般のＣＰＵユニット、メモリーおよびバスなどを備えるコンピュータアーキテクチャを有し、画像取込装置２２（ＣＣＤ撮影カメラなど）は解読装置２４の拡張スロットに挿設された画像取込カードと接続される。解読装置２４の最も顕著な特徴は、画像取込装置２２が取込んだ画像から時間依存性音楽データを取り出す能力を有することにある。画像認識は従来技術であり、多くの関連する技術が開示されている。本発明の目的は画像認識技術を採用することにはないので、本発明は如何なる好適な画像認識技術でも採用することができる。
【００１８】
「音符」は予め順序が決定されており、画像取込装置２２の画像に対する視点は図５から図１０の矢印に示すように左から右、上から下に設定される。解読装置２４の重要な作業は「音符」の予め決定された順序を解読し、画像が表す旋律を再現することにある。図６に示すように、複数ページの画像が一定の順序に従って本発明の自律型ロボットに呈示されたとき、各画像の旋律は解読装置２４によって接続され、長く連続した旋律が構成される。
【００１９】
複数ページの画像は各種方式によって本発明の自律型ロボットに呈示することができる。一実施例においては、各画像は画像カードであり、使用者が画像取込装置２２の前方に位置し、手動で画像カードを１枚ずつ画像取込装置２２に呈示する。他の実施例においては、複数ページの画像を予めコンピュータまたはＰＤＡ内に保存し、その後、これらの画像を画像取込装置２２の前方に設置したコンピュータまたはＰＤＡのモニタ１０（図２を参照）に１枚ずつ自動呈示する。モニタ１０に表示する速度は予め設定することができる。他の実施例においては、コンピュータまたはＰＤＡと解読装置２４とは適当な信号接続が行われ、それによって画像の切換は解読装置２４が信号接続を通じてコンピュータまたはＰＤＡに適当な命令を出すことによって制御される。これは複数ページの画像をめくることと同一である。他の実施例においては、図３に示すように、実体としてのページめくり装置２３は本発明の自律型ロボットの一部分とすることができる。画像は紙上に表示され、これらの紙はページめくり装置２３上に設置され、解読装置２４がページめくり装置２３の動作を制御する。この自動ページめくり装置は大量の書籍を自動生産するデジタル画像のスキャニング装置においてよく設置されている。
【００２０】
図１に示すように、画像取込装置２２が画像を取込んだとき、解読装置２４がすでに解読した音楽データは合成装置２６に伝送されて合成音声を生成し、合成された音声は音声出力装置２８（アンプなど）に伝送される。一実施例においては、合成装置２６は多種の楽器を同時に模倣することができる。合成装置２６が一列の音楽データを受信したとき、合成装置２６は予め設けられた一つの楽器を模倣してその音楽データを出力する。画像が複数列の音楽データを含むとき、合成装置２６は各列の音楽データに対してそれぞれの異なる楽器を模倣する。図７に示すように、各画像が三列の音楽データ（矢印に示す）を含むとき、合成装置２６は三種類の楽器を同時に模倣してこれらの三列の音楽データを同時に出力する。この機能を達成するために、楽器の指定に使用される特殊符号が各列の音楽データの所定の位置に設置される。図７に示すように、画像各列の音符前のアルファベットＶ、ＰおよびＤはそれぞれ各列の音符が表わす音楽データを指定し、バイオリン（Ｖ）、ピアノ（Ｐ）およびドラム（Ｄ）の音声をそれぞれ模倣して出力する。図８に示す特殊符号は解読装置２４が同一列の音楽データを識別するのに使用され、同一の楽器の音楽データが１ページ内の異なる列に記されている場合（例えば図８）でも、異なるページの同一列に記されている場合（例えば図７）でも、解読装置２４は同一の特殊符号を有する音符列を接続する。本発明の他の実施例においては、複数の合成装置２６を備えることができ、各合成装置２６は一種類の楽器の模倣をそれぞれ担当する。
【００２１】
上述のように、単一の本発明の自律型読譜および音楽演奏ロボットは数種類の楽器音の認識および出力を同時に行なうことができるので、一つの楽団または交響楽団の演奏を単独で模倣することができる。或いは、本発明の自律型読譜および音楽演奏ロボットを複数集合させ、予め各自律型読譜および音楽演奏ロボットが特定の楽器を模倣するように設定することによって一つの楽団または交響楽団のような演奏を行なうことができる。各自律型読譜および音楽演奏ロボットはそれぞれが画像を有するか、或いは各ロボットが同一の画像を同時に読み取ることができる。後者の場合、画像を定点に投射し、自律型読譜および音楽演奏ロボットの画像取込装置２２の照準をその定点にあわせることによって読み取ることができる。
【００２２】
本発明の他の実施例においては、合成装置２６は合成方式または予め録音された文字によって人間の音声を出力することができ、それによって本発明の自律型読譜および音楽演奏ロボットは音楽データに基づいて歌唱することができる。図９は図８に歌詞が加わったものであり、その歌詞は特殊符号Ｈが記され、解読装置２４にその歌詞を人間の音声で歌うように指示を出す。歌詞は音符と好適に対応させる必要があり、それによって出力された歌声が音楽と調和の取れたものとなる。また、一列の歌詞は一列の音符と必ず対応させる必要があり、さもなければ一列の音符が一列以上の歌詞に対応してしまう。各列の歌詞の前には特殊符号が設置され、解読装置２４にバリトンおよびテノールなどを模倣するように指示する。即ち、特定の声の模倣を指示する方式は特定の楽器を指示する方式と同一である。
【００２３】
本発明の自律型ロボットに歌唱させる他の簡単な方法は、文字で歌詞を表示するのではなく、発音記号によって歌詞を合成する方式である。本実施例はこれ以外のことは文字で歌詞を表示する実施例と同一である。発音記号は音符と好適に対応させる必要があり、それによって再生された歌声が音楽と調和の取れたものとなる。以上をまとめると、単一の本発明の自律型読譜および音楽演奏ロボットは、歌唱のみ、楽器演奏のみまたは歌唱および楽器演奏の同時進行を行なうことができる。また、単一または一組の本発明の自律型ロボットは一合唱団の演出を模倣することができる。
【００２４】
図７から図９において、特殊符号は各列の音符または歌詞の前に設置され、解読装置２４による認識が行なわれるが、これが唯一の方式ではない。これらの特殊符号は他の実施例においては接続符号および楽器符号の二種類の符号に変更することができる。接続符号は通常各列の音符または歌詞の前に設置され、解読装置２４が認識を行なうとき、同一の楽器または同一の歌詞の各列を接続し、楽器符号は各列の音符または歌詞の中間に設置することができ、各列の前だけに制限されない。図１０に示すように、接続符号は?、?、Ωおよび§などの符号によって表示され、楽器符号はＶ、Ｐ、ＤおよびＨなどの符号によって表示される。この実施例の長所は本発明の自律型読譜および音楽演奏ロボットが同一列の音符の旋律を出力しているとき、ある楽器を他の楽器へと動的に変更することができる点にある。例えば、図１０下方の符号Ｄの音符列中に符号Ｔを挿入することによって本発明の自律型読譜および音楽演奏ロボットは先ずその音符列をドラムを模倣して出力し、符号Ｔのところに来たときトランペットへと変更する。
【００２５】
図１に示すように、合成装置２６から音声出力装置２８に伝送された音声は音声出力装置２８によって人間が聞くことができるアナログ信号に変換されて外界に出力される。その音声出力装置２８は単一または一つ以上のアンプから構成することができ、適当なアンプ回路によって駆動される。音声出力装置２８は自律型読譜および音楽演奏ロボットのケーシング２０内に設置するか、ケーシング２０から適当な距離に分離され、有線または無線の伝送方式によってケーシング２０内のアンプ回路と接続することができる。
【００２６】
以上の説明は本発明の好適な実施例を説明したものであり、本発明の他の実施例を制限するものではなく、上述の実施例および本発明が主張する全ての技術から容易に完成されるものは全て本発明に含まれる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施例による自律型読譜および音楽演奏ロボットの内部機能を示すブロック図である。
【図２】本発明の自律型読譜および音楽演奏ロボットと画像を表示するディスプレイ装置との関係を示す図である。
【図３】本発明の他の実施例による自律型読譜および音楽演奏ロボットの内部機能を示すブロック図である。
【図４】画像の範例を示し、本画像が含む時間と関連する音楽データは簡略楽譜で表示された米国童謡“ｒｏｗ，ｒｏｗ，ｒｏｗ，ｙｏｕｒ  ｂｏａｔ”の一節である。
【図５】図４の音符列を示す図である。
【図６】音符列が複数ページに跨った画像を示す図である。
【図７】特殊符号を含む複数列の音符が複数ページに跨った画像を示す図である。
【図８】特殊符号を含む複数列の音符が同一ページに表示された画像を示す図である。
【図９】歌詞を含む複数列の音符が同一ページに表示された画像を示す図である。
【図１０】接続および楽器を指示する二種類の特殊符号を含む複数列の音符が同一ページに表示された画像を示す図である。
【符号の説明】
【００２８】
１０    モニタ
２０    ケーシング
２２    画像取込装置
２３    ページめくり装置
２４    解読装置
２６    合成装置
２８    音声出力装置
【図１】
2008170947.tif 000003
【図２】
2008170947.tif 000004
【図３】
2008170947.tif 000005
【図４】
2008170947.tif 000006
【図５】
2008170947.tif 000007
【図６】
2008170947.tif 000008
【図７】
2008170947.tif 000009
【図８】
2008170947.tif 000010
【図９】
2008170947.tif 000011
【図１０】
2008170947.tif 000012