(57)【要約】      （修正有）【課題】ハミング等に基づいて検索された楽曲を、ハミングに応じて再生させる情報処理装置、情報処理システム、情報処理方法、及びプログラムを提供する。【解決手段】情報処理装置は、ユーザの音声を取得する音声取得部と、音声に応じた楽曲のデータを取得する楽曲取得部と、取得した楽曲のデータを音声に応じて再生させる制御を行う再生制御部と、を備える。又、楽曲取得部は、音声に対応するパートの次のパート以降の楽曲のデータを取得する制御を行う。【選択図】図３
2018054804.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの音声を取得する音声取得部と、
前記音声に応じた楽曲のデータを取得する楽曲取得部と、
前記楽曲のデータを前記音声に応じて再生させる制御を行う再生制御部と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記楽曲取得部は、前記楽曲における前記音声に対応するパートの次のパート以降の楽曲のデータを取得する
ことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記再生制御部は、前記音声に前記楽曲の歌詞が含まれる場合、ボーカルの音声が含まれないカラオケモードで前記楽曲のデータを再生させ、
前記音声に前記楽曲の歌詞が含まれない場合、ボーカルの音声が含まれる通常モードで前記楽曲のデータを再生させる
ことを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記楽曲の識別情報、前記音声、及び前記音声を所定の基準に基づいて採点された結果を対応付けて記憶する記憶部、
を備えることを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
【請求項５】
同一の前記楽曲の識別情報に対応付けられて前記記憶部に記憶されたデータのうち、前記採点の結果に基づいて選択されたデータを削除する削除部
を備えることを特徴とする請求項４記載の情報処理装置。
【請求項６】
前記再生制御部は、前記音声を所定の基準に基づいて採点された結果が、所定の閾値以上の場合、またはユーザからの所定の操作に応じて、前記音声を、登録されている宛先に転送する
ことを特徴とする請求項１乃至５のいずれか一項に記載の情報処理装置。
【請求項７】
情報処理装置、及び音響装置を有する情報処理システムであって、
前記情報処理装置は、
ユーザの音声を取得する音声取得部と、
前記音声に応じた楽曲のデータを取得する楽曲取得部と、
前記楽曲のデータを前記音声に応じて再生させる制御を行う再生制御部と、
を備え、
前記音響装置は、
前記ユーザの音声を集音して前記情報処理装置に送信し、
前記情報処理装置から受信した前記楽曲のデータを再生する
ことを特徴とする情報処理システム。
【請求項８】
コンピュータが、
ユーザの音声を取得するステップと、
前記音声に応じた楽曲のデータを取得するステップと、
前記楽曲のデータを前記音声に応じて再生させる制御を行うステップと、
を実行する情報処理方法。
【請求項９】
コンピュータに、
ユーザの音声を取得するステップと、
前記音声に応じた楽曲のデータを取得するステップと、
前記楽曲のデータを前記音声に応じて再生させる制御を行うステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、ハミング（鼻歌）等に基づいて、楽曲を検索する技術が知られている（例えば、特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１７２６９３号公報
【特許文献２】特開２００７−１７２０５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、ハミング等に基づいて検索した楽曲を再生する際の課題については考慮されていない。
【０００５】
そこで、ハミング等に基づいて検索された楽曲を、ハミングに応じて再生させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
情報処理装置において、ユーザの音声を取得する音声取得部と、前記音声に応じた楽曲のデータを取得する楽曲取得部と、前記楽曲のデータを前記音声に応じて再生させる制御を行う再生制御部と、を備える。
【発明の効果】
【０００７】
開示の技術によれば、ハミング等に基づいて検索された楽曲を、ハミングに応じて再生させることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】実施形態における情報処理システムの構成例を示す図である。
【図２】実施形態における情報処理装置の機能構成の一例を示す図である。
【図３】情報処理システムの処理の一例を示すシーケンス図である。
【図４】情報処理装置の処理の一例を示すフローチャートである。
【図５】歌唱データの一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面に基づいて本発明の実施形態を説明する。図１は、本発明の実施形態における情報処理システム１の構成例を示す図である。図１において、情報処理システム１は、情報処理装置１０、音響装置２０、及びサーバ装置３０を含む。
【００１０】
情報処理装置１０と音響装置２０は、例えば無線ＬＡＮ（Local  Area  Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線によって通信可能に接続される。
【００１１】
情報処理装置１０とサーバ装置３０は、例えば携帯電話網、インターネット等の通信回網によって通信可能に接続される。
【００１２】
情報処理装置１０は、例えばスマートフォン、パーソナルコンピュータ、タブレット端末、通信機能を有するマイク付きスピーカ、通信機能を有する給湯リモコン、通信機能を有する台所リモコン等である。なお、情報処理装置１０は、防水、防塵、耐熱等の機能を備える構造を有してもよい。
【００１３】
情報処理装置１０は、音響装置２０からユーザの音声を取得し、当該音声に応じた楽曲のデータを取得し、当該楽曲のデータを当該音声に応じて音響装置２０に再生させる制御を行う。
【００１４】
音響装置２０は、スピーカ、マイク等を備える音響機器であり、例えばスピーカ、マイク等を備える浴室リモコンであってもよい。音響装置２０は、例えば浴室、リビング、キッチン、寝室、自動車等、ユーザが鼻歌等を歌う場所に設置される。
【００１５】
音響装置２０は、マイクによりユーザの音声を集音して情報処理装置１０に送信し、情報処理装置１０から受信した楽曲のデータを再生する。
【００１６】
サーバ装置３０は、情報処理装置１０からの要求に応じて、情報処理装置１０に楽曲を送信する。
【００１７】
情報処理装置１０がスピーカ、マイク等を備える場合、音響装置２０を有しない構成としてもよい。この場合、情報処理装置１０は、例えばスピーカ、マイク等を備えるスマートフォン等であってもよいし、スピーカ、マイク等を備えるとともに、携帯電話網やインターネット等に接続可能な浴室リモコンであってもよい。
【００１８】
＜機能構成＞
次に、図２を参照し、情報処理装置１０の機能構成について説明する。図２は、実施形態における情報処理装置１０の機能構成の一例を示す図である。
【００１９】
情報処理装置１０は、音声取得部１２、判定部１３、楽曲取得部１４、再生制御部１５、採点部１６、及び削除部１７を有する。これら各部は、情報処理装置１０にインストールされた１以上のプログラムが、情報処理装置１０のＣＰＵに実行させる処理により実現される。
【００２０】
また、情報処理装置１０は、記憶部１１を有する。記憶部１１は、例えば、補助記憶装置等を用いて実現される。
【００２１】
記憶部１１は、歌唱データ１１１を記憶する。歌唱データ１１１については後述する。
【００２２】
音声取得部１２は、音響装置２０のマイクで集音された、ユーザの音声を取得する。
【００２３】
判定部１３は、音声取得部１２により取得された音声に応じた楽曲を判定する。
【００２４】
楽曲取得部１４は、判定部１３により判定された楽曲のデータを取得する。
【００２５】
再生制御部１５は、楽曲取得部１４により取得された楽曲のデータを、音響装置２０に再生させる制御を行う。
【００２６】
採点部１６は、音声取得部１２により取得された音声に基づき、カラオケの採点を行う。
【００２７】
削除部１７は、同一の前記楽曲の識別情報に対応付けられて歌唱データ１１１に記録されたデータのうち、採点部１６により採点された採点結果（得点）に基づいて選択されたデータを削除する。
【００２８】
＜処理＞
次に、図３を参照し、情報処理システム１の処理について説明する。図３は、情報処理システム１の処理の一例を示すシーケンス図である。
【００２９】
ステップＳ１０１において、音響装置２０は、ユーザのハミング（鼻歌）等の音声データを検出する。
【００３０】
続いて、音響装置２０は、検出した音声データを情報処理装置１０に送信する（ステップＳ１０２）。音響装置２０は、音声データを検出すると、情報処理装置１０に送信する。
【００３１】
続いて、情報処理装置１０の判定部１３は、ハミング（鼻歌）の音声データに基づいて、ユーザが口ずさんでいる楽曲を判定する（ステップＳ１０３）。
【００３２】
続いて、情報処理装置１０の楽曲取得部１４は、判定した楽曲のデータをサーバ装置３０から取得する（ステップＳ１０４）。
【００３３】
続いて、情報処理装置１０の再生制御部１５は、音響装置２０に、楽曲のデータを再生させる（ステップＳ１０５）。
【００３４】
続いて、情報処理装置１０の記憶部１１は、音響装置２０にて検出した音声データを録音する（ステップＳ１０６）。
【００３５】
続いて、情報処理装置１０の採点部１６は、音響装置２０にて検出した音声データに基づき、カラオケの採点を行う（ステップＳ１０７）。
【００３６】
続いて、情報処理装置１０の削除部１７は、採点結果（得点）に基づいて、記憶部１１に録音されたデータを削除する（ステップＳ１０８）。
【００３７】
≪情報処理装置の処理≫
次に、図４を参照し、情報処理装置１０の処理について説明する。図４は、情報処理装置１０の処理の一例を示すフローチャートである。
【００３８】
ステップＳ２０１において、情報処理装置１０の音声取得部１２は、音響装置２０から取得した音声データに基づいて、ユーザが歌っていることを検知する。なお、ユーザが歌っていることを検知するトリガーは、例えば、収集された音量が所定の閾値を超えた場合、音響装置２０の所定のボタン（スイッチ）が押下された場合、照度センサや湿度センサ等によりユーザが浴室に入ったことが検知された場合、または、音響装置２０が指輪型や腕輪型等のウェアラブルデバイス等である場合にマイク機能がオンにされた場合等であってもよい。
【００３９】
続いて、情報処理装置１０の判定部１３は、当該音声データに基づいて、ユーザが口ずさんでいる楽曲を判定する（ステップＳ２０２）。
【００４０】
例えば、判定部１３は、ユーザの音声のリズムや音程と、予め記憶されている複数の楽曲の各パートのリズムや音程とを比較し、一致度が最も高い楽曲を、ユーザが口ずさんでいる楽曲であると判定する。なお、この判定処理は、公知の技術を用いて行ってもよい。
【００４１】
続いて、情報処理装置１０の判定部１３は、当該音声データに基づいて、ユーザが口ずさんでいる楽曲のパート（部分）を判定する（ステップＳ２０３）。
【００４２】
例えば、判定部１３は、ユーザの音声のリズムや音程と、予め記憶されている楽曲の各パートのリズムや音程とを比較し、一致度が最も高いパートを、ユーザが口ずさんでいるパートであると判定する。
【００４３】
続いて、情報処理装置１０の判定部１３は、音声データに基づいて、ユーザが楽曲の歌詞を歌っているか否かを判定する（ステップＳ２０４）。
【００４４】
例えば、判定部１３は、ユーザの音声を音声認識し、楽曲の歌詞との一致度が所定の閾値以上の場合に、ユーザが楽曲の歌詞を歌っていると判定する。
【００４５】
または、ユーザの音声の周波数の分布を解析し、当該周波数の分布が、予め設定されているハミングの周波数帯域に含まれる場合に、ユーザが楽曲の歌詞を歌っていないと判定してもよい。
【００４６】
ユーザが楽曲の歌詞を歌っている場合（ステップＳ２０４でＹＥＳ）、情報処理装置１０の楽曲取得部１４は、サーバ装置３０から、ステップＳ２０２で判定した楽曲の「カラオケモード」のデータのうち、ステップＳ２０３で判定したパートより後の楽曲のデータ（次のパート以降の楽曲のデータ）を取得し（ステップＳ２０５）、ステップＳ２０７の処理に進む。
【００４７】
なお、楽曲の「カラオケモード」のデータとは、ボーカルの音声が含まれない楽曲のデータである。なお、楽曲の「カラオケモード」のデータには、例えばメインボーカルの音声が含まれず、コーラス（ハモり等）の音声は含まれていてもよい。
【００４８】
ユーザが歌詞を歌わずにハミングしている場合（ステップＳ２０４でＮＯ）、情報処理装置１０の楽曲取得部１４は、サーバ装置３０から、ステップＳ２０２で判定した楽曲の「通常モード」のデータのうち、ステップＳ２０３で判定したパートより後のデータを取得する（ステップＳ２０６）。
【００４９】
なお、楽曲の「通常モード」のデータとは、ボーカルの音声が含まれる楽曲のデータである。
【００５０】
続いて、情報処理装置１０の再生制御部１５は、サーバ装置３０から取得した楽曲のデータを、音響装置２０に再生させる（ステップＳ２０７）。
【００５１】
これにより、ユーザが歌いたい場合は「カラオケモード」で再生し、ユーザが鼻歌で歌いたい場合には「通常モード」で再生することができる。
【００５２】
また、ユーザが口ずさんでいる楽曲のパートより後のデータを取得して再生させるため、ユーザのハミング等のタイミングと合わせて、次のパートを再生することができる。なお、楽曲の最初から再生されるモードと、ハミング等の次のパートから再生されるモードを、ユーザが設定できるようにしてもよい。
【００５３】
なお、「カラオケモード」のデータを再生させる場合、情報処理装置１０は、サーバ装置３０から「カラオケモード」のデータを取得する代わりに、「通常モード」のデータを取得し、ボーカルの音声をカットして再生させてもよい。
【００５４】
続いて、情報処理装置１０の採点部１６は、音響装置２０から取得した音声データに基づいて、カラオケの採点を行う（ステップＳ２０８）。
【００５５】
例えば、ユーザの歌唱の抑揚やビブラート等に応じて、採点を行う。なお、カラオケの採点は、公知の技術を用いて行ってもよい。
【００５６】
なお、カラオケの採点は、「カラオケモード」のデータを再生させた場合にのみ行ってもよい。
【００５７】
カラオケの採点は、情報処理装置１０にて行う代わりに、サーバ装置３０にて行ってもよい。この場合、例えば、情報処理装置１０は、音響装置２０から取得した音声データをサーバ装置３０に送信する。そして、サーバ装置３０は、カラオケの採点処理を行い、採点結果を情報処理装置１０に通知する。
【００５８】
続いて、情報処理装置１０の記憶部１１は、楽曲の名前、音声データ、カラオケの点数、再生回数等を記録する（ステップＳ２０９）。
【００５９】
図５は、歌唱データ１１１の一例を示す図である。歌唱データ１１１は、楽曲の名前、音声データ、カラオケの点数、日時がそれぞれ対応付けて記憶される。
【００６０】
楽曲の名前は、音響装置２０にて再生させた楽曲の名称である。音声データは、音響装置２０にて当該楽曲を再生させている間に音響装置２０のマイクで集音された音声のデータである。カラオケの点数は、ステップＳ２０８で採点されたユーザの歌唱（カラオケ）の点数である。日時は、音声データが記録された日時である。
【００６１】
続いて、情報処理装置１０の削除部１７は、同一の楽曲の名前のデータが既に記録されているか判定する（ステップＳ２１０）。
【００６２】
同一の楽曲の名前のデータが既に記録されていない場合（ステップＳ２１０でＮＯ）、処理を終了する。
【００６３】
同一の楽曲の名前のデータが既に記録されている場合（ステップＳ２１０でＹＥＳ）、情報処理装置１０の削除部１７は、カラオケの点数が低い方のデータを消去する（ステップＳ２１１）。図５の例では、「２０１６／０７／２０  ２０：３８」に記録された「楽曲名１」に対応付けられた音声データのカラオケの点数は「８０点」であり、「２０１６／０７／１９  ２１：１４」に記録された「楽曲名１」に対応付けられた音声データのカラオケの点数は「６５点」である。この場合、点数がより低い、「２０１６／０７／１９  ２１：１４」に記録された「楽曲名１」に対応付けられた音声データが削除される。これにより、最も上手く歌えた際の歌唱データのみを保存しておくことができる。
【００６４】
＜変形例＞
情報処理装置１０は、ステップＳ２１０、ステップＳ２１１で、歌唱データ１１１におけるデータを消去する代わりに、一定期間分のデータを保存してもよい。なお、この場合、情報処理装置１０は、再生回数が所定の閾値以上の楽曲のデータのみを保存してもよい。情報処理装置１０、または音響装置２０に、「お気に入り」ボタンを設け、記録された際に「お気に入り」ボタンが押下された場合は、優先的に保存されるようにしてもよい。この場合、例えば、歌唱データ１１１に、楽曲の名前、音声データ、カラオケの点数、及び日時に加え、「お気に入り」に設定されたか否かを示すフラグ情報を記録させる。そして、情報処理装置１０の削除部１７は、「お気に入り」ボタンを押下された際に、直前に記録された音声データに対応付けられた、「お気に入り」に設定されたか否かを示すフラグ情報を「オン」に設定する。そして、情報処理装置１０の削除部１７は、歌唱データ１１１に記録された音声データを削除する際、音声データに対応付けられたフラグ情報が「オン」でないものから優先的に削除する。
【００６５】
歌唱データ１１１に一定期間分のデータを保存する場合、情報処理装置１０は、歌唱データ１１１に保存されている一定期間分のデータに基づき、楽曲の名前毎に、カラオケの点数の推移をグラフ表示してもよい。これにより、例えば、一年前は６０点、今回は８０点等、ユーザの歌唱力の推移をユーザが把握できる。
【００６６】
また、情報処理装置１０は、楽曲の名前毎の再生回数が多い順に、楽曲の名前をソートして、ユーザに表示してもよい。これにより、ユーザに持ち歌のランキングを表示することができる。
【００６７】
情報処理装置１０の再生制御部１５は、サーバ装置３０から、カラオケの点数が、例えば全国でのランキングで何位であるかの情報を取得し、カラオケの点数に対応付けて、歌唱データ１１１に保存してもよい。
【００６８】
情報処理装置１０の再生制御部１５は、歌唱データ１１１に保存された音声データやカラオケの点数を、予め登録されている宛先に転送してもよい。この場合、情報処理装置１０は、カラオケの点数が所定の閾値以上の場合に、予め登録されている宛先に転送してもよい。または、情報処理装置１０は、ユーザからの所定の操作に応じて、予め登録されている宛先に転送してもよい。
【００６９】
これにより、例えば予め登録されている祖父母のメールアドレス等に、孫の音声データとカラオケの点数を自動で通知することができる。
【００７０】
情報処理装置１０の再生制御部１５は、ユーザ毎に、歌唱データ１１１にデータを保存してもよい。この場合、例えば、判定部１３により、音声取得部１２により取得された音声を分析し、予め登録されている複数のユーザの音声のうち、最も音声が近いユーザを判定させる。これにより、例えば、父、母等、ユーザ毎にデータを記録することができる。
【００７１】
サーバ装置３０は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。この場合、例えば、ユーザのアカウントを管理する機能等をサーバ装置３０Ａにより実現し、楽曲の配信、カラオケの採点結果に応じたランキング等を、他の事業者が運用する外部のサーバ装置３０Ｂにより実現してもよい。
【００７２】
＜まとめ＞
上述した実施形態によれば、ユーザの音声を取得し、当該音声に応じた楽曲のデータを取得し、当該楽曲のデータを当該音声に応じて再生させる。
【００７３】
これにより、ハミング等に基づいて検索された楽曲を、ハミングに応じて再生させることができる。
【００７４】
＜情報処理プログラムについて＞
本実施形態に係る情報処理装置１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインターフェースを備えたコンピュータによって構成してもよい。
【００７５】
その場合、情報処理装置１０が有する各機能は、これらの機能を記述したプログラム（検出プログラム）をＣＰＵに実行させることによりそれぞれ実現可能となる。また、このプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【００７６】
つまり、上述した各構成における処理をコンピュータ（ハードウェア）に実行させるためのプログラムを、例えば汎用のＰＣやサーバ等にそのプログラムをインストールすることにより、上述した処理を実現することができる。
【００７７】
また、上述した実施形態における情報処理装置１０の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。情報処理装置１０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。
【００７８】
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００７９】
例えば、情報処理装置１０及びサーバ装置３０は一体の装置として構成してもよい。
【００８０】
また、情報処理装置１０の例えば、記憶部１１、判定部１３、採点部１６等の各機能部は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。
【符号の説明】
【００８１】
１  情報処理システム
１０  情報処理装置
１１  記憶部
１１１  歌唱データ
１２  音声取得部
１３  判定部
１４  楽曲取得部
１５  再生制御部
１６  採点部
１７  削除部
２０  音響装置
３０  サーバ装置
【図１】
2018054804.tif 000003
【図２】
2018054804.tif 000004
【図３】
2018054804.tif 000005
【図４】
2018054804.tif 000006
【図５】
2018054804.tif 000007