(57)【特許請求の範囲】
【請求項１】
音の向きを示す情報に基づいて、対象画像に付加するエフェクトを制御するエフェクト制御部を備え、
前記エフェクト制御部は、前記音の向きを示す情報が示す音の向きに基づくエフェクトを、前記対象画像に付加し、
前記音の向きを示す情報が示す音の向きは、第１の時点における音声信号を解析することにより得られる音の位置と、前記第１の時点より後の第２の時点における音声信号を解析することにより得られる音の位置とを比較することによって、特定される、エフェクト制御装置。
【請求項２】
前記エフェクト制御部は、所定の形状のエフェクトを、前記対象画像に付加する、請求項１に記載のエフェクト制御装置。
【請求項３】
前記エフェクト制御部は、前記音の向きを示す情報に対応する、音の種別を示す種別情報に基づいて、前記種別情報が示す音の種別に対応する形状のエフェクトを、前記対象画像に付加する、請求項２に記載のエフェクト制御装置。
【請求項４】
前記エフェクト制御部は、さらに、音の位置を示す情報に基づいて、対象画像に付加するエフェクトを制御する、請求項１〜３のいずれか１項に記載のエフェクト制御装置。
【請求項５】
前記エフェクト制御部は、前記音の位置を示す情報が示す音の位置に対応する、前記対象画像における位置に、エフェクトを付加する、請求項４に記載のエフェクト制御装置。
【請求項６】
前記エフェクト制御部は、さらに、音量を示す情報に基づいて、対象画像に付加するエフェクトを制御する、請求項１〜５のいずれか１項に記載のエフェクト制御装置。
【請求項７】
エフェクト制御部は、前記音量を示す情報が示す音量に対応する大きさのエフェクトを、前記対象画像に付加する、請求項６に記載のエフェクト制御装置。
【請求項８】
前記エフェクト制御部は、さらに、音の周波数を示す情報に基づいて、対象画像に付加するエフェクトを制御する、請求項１〜７のいずれか１項に記載のエフェクト制御装置。
【請求項９】
エフェクト制御部は、前記音の周波数を示す情報が示す音の周波数それぞれに対応する色彩のエフェクトを、前記対象画像に付加する、請求項８に記載のエフェクト制御装置。
【請求項１０】
音声信号を解析し、前記音の向きを示す情報を取得する音解析部をさらに備える、請求項１〜９のいずれか１項に記載のエフェクト制御装置。
【請求項１１】
集音した音を示す音声信号を生成する集音部をさらに備え、
前記エフェクト制御部は、前記音声信号が示す音に対応する、前記音の向きを示す情報に基づいて、対象画像に付加するエフェクトを制御する、請求項１〜１０のいずれか１項に記載のエフェクト制御装置。
【請求項１２】
音の向きを示す情報に基づいて、対象画像に付加するエフェクトを制御するステップを有し、
前記制御するステップでは、前記音の向きを示す情報が示す音の向きに基づくエフェクトが、前記対象画像に付加され、
前記音の向きを示す情報が示す音の向きは、第１の時点における音声信号を解析することにより得られる音の位置と、前記第１の時点より後の第２の時点における音声信号を解析することにより得られる音の位置とを比較することによって、特定される、エフェクト制御方法。
【請求項１３】
音の向きを示す情報に基づいて、対象画像に付加するエフェクトを制御するステップを、コンピュータに実行させ、
前記制御するステップでは、前記音の向きを示す情報が示す音の向きに基づくエフェクトが、前記対象画像に付加され、
前記音の向きを示す情報が示す音の向きは、第１の時点における音声信号を解析することにより得られる音の位置と、前記第１の時点より後の第２の時点における音声信号を解析することにより得られる音の位置とを比較することによって、特定される、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、エフェクト制御装置、エフェクト制御方法、およびプログラムに関する。
【背景技術】
【０００２】
画像（静止画像、または動画像。以下、同様とする。）に対してエフェクトを付加する技術が知られている。画像に対してエフェクトを付加する技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２００８／１１１１１３号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば特許文献１に記載の技術では、ユーザにより選択された音に付加するエフェクトを、再生される音声データが示す音に付加すると共に、当該選択された音に付加するエフェクトに対応する画像に付加するエフェクトを、再生される画像データが示す画像に付加する。よって、例えば特許文献１に記載の技術を用いる場合には、ユーザにより選択された音に付加するエフェクトに対応するエフェクトを、画像に付加することができる可能性がある。
【０００５】
しかしながら、例えば特許文献１に記載の技術では、ユーザにより選択された音に付加するエフェクトに対応するエフェクトを画像に付加するので、例えば再生される音声データが示す音に対応するエフェクトなど、音に対応するエフェクトが、画像に付加されるとは限らない。
【０００６】
本開示では、音に基づくエフェクトを対象画像に付加することが可能な、新規かつ改良されたエフェクト制御装置、エフェクト制御方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、音の向きを示す情報に基づいて、対象画像に付加するエフェクトを制御するエフェクト制御部を備える、エフェクト制御装置が提供される。
【０００８】
また、本開示によれば、音の向きを示す情報に基づいて、対象画像に付加するエフェクトを制御するステップを有する、エフェクト制御方法が提供される。
【０００９】
また、本開示によれば、音の向きを示す情報に基づいて、対象画像に付加するエフェクトを制御するステップを、コンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００１０】
本開示によれば、音に基づくエフェクトを対象画像に付加することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係るエフェクト制御装置におけるエフェクト制御方法に係る処理の第１の例を説明するための説明図である。
【図２】本実施形態に係るエフェクト制御装置におけるエフェクト制御方法に係る処理の第２の例を説明するための説明図である。
【図３】本実施形態に係るエフェクト制御装置におけるエフェクト制御方法に係る処理の第３の例を説明するための説明図である。
【図４】本実施形態に係るエフェクト制御装置におけるエフェクト制御方法に係る処理の第４の例を説明するための説明図である。
【図５】本実施形態に係るエフェクト制御装置の構成の一例を示すブロック図である。
【図６】本実施形態に係るエフェクト制御装置のハードウェア構成の一例を示す説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係るエフェクト制御方法
２．本実施形態に係るエフェクト制御装置
３．本実施形態に係るプログラム
【００１４】
（本実施形態に係るエフェクト制御方法）
本実施形態に係るエフェクト制御装置の構成について説明する前に、まず、本実施形態に係るエフェクト制御方法について説明する。以下では、本実施形態に係るエフェクト制御装置が、本実施形態に係るエフェクト制御方法に係る処理を行う場合を例に挙げて、本実施形態に係るエフェクト制御方法について説明する。
【００１５】
本実施形態に係るエフェクト制御装置は、音の向きを示す情報に基づいて、対象画像に付加するエフェクトを制御する。本実施形態に係るエフェクト制御装置は、例えば、音の向きを示す情報に基づいて、画像に付加するエフェクトを示すエフェクト画像を対象画像に合成することによって、対象画像に付加するエフェクトを制御する。本実施形態に係るエフェクト制御装置は、例えば、対象画像と同一のレイヤでエフェクト画像を対象画像に合成してもよいし、対象画像と異なるレイヤのエフェクト画像を対象画像のレイヤに重ねることによって、エフェクト画像を対象画像に合成してもよい。以下では、例えば上記のようにエフェクト画像を対象画像に合成することを、“エフェクトを対象画像に付加する”と示す場合がある。
【００１６】
ここで、本実施形態に係る対象画像とは、エフェクトが付加される対象の画像である。本実施形態に係る対象画像としては、例えば、外部の撮像装置、または、本実施形態に係るエフェクト制御装置が撮像部（後述する）を備える場合には当該撮像部（後述する）によって撮像された撮像画像が挙げられる。なお、本実施形態に係る対象画像は、撮像画像に限られない。例えば、本実施形態に係る対象画像は、本実施形態に係るエフェクト制御装置が備える記憶部（後述する）や、外部記録媒体、サーバなどの外部装置に記憶されている画像データが示す画像であってもよい。
【００１７】
また、本実施形態に係る音の向きを示す情報とは、音の向きを示すデータである。本実施形態に係る音の向きは、例えば、第１の時点（例えば、音が発生した時点や、音が最初に検出された時点）における音声信号を解析することにより得られる音の位置と、第２の時点（第１の時点より後の時点）における音声信号を解析することにより得られる音の位置とを比較することによって、特定される。また、本実施形態に係る音の位置は、例えば、複数のマイクロホンによってそれぞれ集音された音を示す複数の音声信号が示す音における、音のずれに基づいて特定される。
【００１８】
また、例えば音の位置を特定する処理や音の向きを特定する処理などの、音声信号の解析に係る音解析処理は、例えば、本実施形態に係るエフェクト制御装置が行ってもよいし、本実施形態に係るエフェクト制御装置の外部装置が行ってもよい。
【００１９】
なお、本実施形態に係る音解析処理は、音の位置を特定する処理や音の向きを特定する処理に限られない。例えば、本実施形態に係る音解析処理としては、音量を特定する処理や、音の周波数を特定する処理、音の種別を判定する処理など、音に関する様々な処理が挙げられる。
【００２０】
ここで、本実施形態に係る音量（例えば［ｄＢ］で表される。）は、例えば、音声信号を生成したマイクロホンの感度（例えば［Ｖ／Ｐａ］で表される。）、増幅器の利得、音声信号の電圧値（例えば［Ｖ］で表される。）を用いて特定することが可能である。また、本実施形態に係る音の周波数は、例えば、高速フーリエ変換（Fast  Fourier  Transform）を用いることによって、特定することが可能である。また、本実施形態に係る音の種別は、例えば、上記音の周波数を特定する処理における音の周波数の特定結果（例えば、周波数スペクトルを示すデータ）と、周波数スペクトルと音の種別とが対応付けれて記憶されたルックアップテーブルとに基づいて、判定することが可能である。なお、本実施形態に係る音量を特定する処理、音の周波数を特定する処理、および音の種別を判定する処理それぞれの処理は、上記の例に限られず、音量、音の周波数、音の種別を特定することが可能な、任意の処理であってもよい。
【００２１】
音解析処理を行うことが可能な本実施形態に係るエフェクト制御装置、および／または、音解析処理を行うことが可能な外部装置（以下、「音解析処理を行う装置」と示す場合がある。）が、本実施形態に係る音解析処理を行うことによって、例えば、音の向きを示す情報や、音の位置を示す情報（データ）、音量を示す情報（データ）、音の周波数を示す情報（データ）、音の種別を示す種別情報（データ）などの、音解析処理の処理結果を示すデータが得られる。上記各種処理結果を示すデータを得る場合、音解析処理を行う装置は、例えば、音の位置を特定する処理、音量を特定する処理、音の周波数を特定する処理、音の種別を判定する処理、音の向きを特定する処理の順番で、音解析処理を行うが、音解析処理を行う装置における処理を行う順番は、上記に限られない。また、音解析処理を行う装置は、例えば、本実施形態に係るエフェクト制御装置がエフェクト制御方法に係る処理に用いる情報を取得するための、特定の音解析処理のみを、選択的に行ってもよい。
【００２２】
本実施形態に係るエフェクト制御装置が音解析処理を行う場合には、本実施形態に係るエフェクト制御装置は、自装置（本実施形態に係るエフェクト制御装置）における音解析処理の処理結果を示すデータに基づいて、本実施形態に係るエフェクト制御方法に係る処理を行う。また、外部装置が音解析処理を行う場合には、本実施形態に係るエフェクト制御装置は、外部装置における音解析処理の処理結果を示すデータに基づいて、本実施形態に係るエフェクト制御方法に係る処理を行う。
【００２３】
以下、本実施形態に係るエフェクト制御装置におけるエフェクト制御方法に係る処理について、具体例を挙げて説明する。
【００２４】
（１）第１の例
本実施形態に係るエフェクト制御装置は、例えば、音の向きを示す情報が示す音の向きに基づくエフェクトを、対象画像に付加する。
【００２５】
図１は、本実施形態に係るエフェクト制御装置におけるエフェクト制御方法に係る処理の第１の例を説明するための説明図である。ここで、図１は、本実施形態に係るエフェクト制御装置が、音の向きを示す情報が示す音の向きに基づくエフェクトが対象画像に付加された画像の一例を示している。
【００２６】
本実施形態に係るエフェクト制御装置は、例えば、図１に示すように、音の向きを示す情報が示す音の向きに向けて、エフェクトを対象画像に付加する。
【００２７】
ここで、図１では、本実施形態に係るエフェクト制御装置が、対象画像から特定のオブジェクトとして人物を検出し、検出されたオブジェクトＯにおける特定の位置（図１の例では人物の口）から、音の向きを示す情報が示す音の向きに向けて、エフェクトを付加した例を示している。なお、本実施形態に係るエフェクト制御装置が、対象画像においてエフェクトを付加する位置は、対象画像から検出されたオブジェクトにおける特定の位置に限られない。例えば、本実施形態に係るエフェクト制御装置は、対象画像における設定された位置から、音の向きを示す情報が示す音の向きに向けて、エフェクトを付加してもよい。上記設定された位置は、例えば、予め規定された固定の位置であってもよいし、ユーザなどによって設定された位置であってもよい。
【００２８】
また、本実施形態に係るエフェクト制御装置は、所定の形状のエフェクトを、対象画像に付加する。図１では、泡形状のエフェクトが対象画像に付加された例を示している。
【００２９】
ここで、本実施形態に係る所定の形状のエフェクトとしては、例えば、予め設定された形状のエフェクトが挙げられるが、本実施形態に係る所定の形状のエフェクトは、上記に限られない。例えば、本実施形態に係るエフェクト制御装置は、音の向きを示す情報に対応する音の種別を示す種別情報に基づいて、種別情報が示す音の種別に対応する形状のエフェクトを、対象画像に付加してもよい。
【００３０】
種別情報が示す音の種別に対応する形状のエフェクトを対象画像に付加する場合には、本実施形態に係るエフェクト制御装置は、例えば、音の種別とエフェクト画像を示す画像データとが対応付けられたルックアップテーブルを用いて、種別情報が示す音の種別に対応する、エフェクト画像を示す画像データ（以下、「エフェクト画像データ」と示す。）を特定する。そして、本実施形態に係るエフェクト制御装置は、例えば、特定したエフェクト画像データが示すエフェクト画像を対象画像に合成することによって、種別情報が示す音の種別に対応する形状のエフェクトを、対象画像に付加する。
【００３１】
また、本実施形態に係るエフェクト制御装置は、例えば、対象画像から特定のオブジェクト（例えば、人物や、飛行機や自動車などの移動体、特定の形状のものなど）を検出し、検出されたオブジェクトの形状に対応する形状のエフェクトを、対象画像に付加してもよい。検出されたオブジェクトの形状に対応する形状のエフェクトとしては、例えば、検出されたオブジェクトの外観を模したエフェクトや、検出されたオブジェクトの外観を簡略化したエフェクトなどが挙げられる。また、本実施形態に係るエフェクト制御装置は、例えば、検出されたオブジェクトの種類とエフェクト画像データとが対応付けられたルックアップテーブルを用いて、検出されたオブジェクトに対応するエフェクト画像データを特定することによって、検出されたオブジェクトに対応する形状のエフェクトを、対象画像に付加してもよい。
【００３２】
本実施形態に係るエフェクト制御装置は、例えば図１を参照して示したように、音の向きを示す情報が示す音の向きに基づくエフェクトを、対象画像に付加する。例えば図１に示すようなエフェクトが対象画像に付加されることによって、エフェクトが付加された対象画像をみたユーザは、対象画像に付加されたエフェクトによって、音の向きを視覚的に認識することができる。なお、本実施形態に係るエフェクト制御装置における、音の向きを示す情報に基づく処理が上記に示す処理に限られないこと、および、音の向きを示す情報が示す音の向きに基づくエフェクトを対象画像に付加した例が、図１に示す例に限られないことは、言うまでもない。
【００３３】
（２）第２の例
本実施形態に係るエフェクト制御装置におけるエフェクト制御方法に係る処理は、上記第１の例に示すように、音の向きを示す情報に基づく処理に限られない。例えば、本実施形態に係るエフェクト制御装置は、音の向きを示す情報と、音の位置を示す情報とに基づいて、対象画像に付加するエフェクトを制御することも可能である。
【００３４】
より具体的には、本実施形態に係るエフェクト制御装置は、例えば、上記第１の例と同様に、音の向きを示す情報が示す音の向きに基づくエフェクトを、対象画像に付加する。また、本実施形態に係るエフェクト制御装置は、さらに、音の位置を示す情報が示す音の位置に対応する、対象画像における位置に、エフェクトを付加する。
【００３５】
図２は、本実施形態に係るエフェクト制御装置におけるエフェクト制御方法に係る処理の第２の例を説明するための説明図である。ここで、図２は、本実施形態に係るエフェクト制御装置が、音の向きを示す情報が示す音の向きと、音の位置を示す情報が示す音の位置とに基づくエフェクトが対象画像に付加された画像の一例を示している。また、図２に示すＰ１、Ｐ２、Ｐ３それぞれは、音の位置を示す情報が示す音の位置に対応する、対象画像における位置の一例を示している。
【００３６】
本実施形態に係るエフェクト制御装置は、例えば、図１と同様に、音の向きを示す情報が示す音の向きに向けて、エフェクトを対象画像に付加する。また、図２では、本実施形態に係るエフェクト制御装置が、所定の形状のエフェクトとして、飛行機の形状のエフェクトを対象画像に付加した例を示している。
【００３７】
また、本実施形態に係るエフェクト制御装置は、音の位置を示す情報に基づいて、音の位置を示す情報が示す音の位置に対応する、対象画像における位置Ｐ１、Ｐ２、Ｐ３を特定する。ここで、本実施形態に係る対象画像における位置は、例えば、座標で表される（以下、同様とする。）。本実施形態に係るエフェクト制御装置は、例えば、対象画像における座標を決定することによって、音の位置を示す情報が示す位置に対応する対象画像における位置を、特定する。
【００３８】
例えば、対象画像が撮像画像であり、音の位置を示す情報が示す音が、当該撮像画像を撮像した装置（例えば、本実施形態に係るエフェクト制御装置、または、本実施形態に係るエフェクト制御装置の外部装置）が備える複数のマイクロホン（集音デバイスの一例）によって集音された音である場合には、撮像画像を撮像した撮像デバイスにおける有効画角内の音の位置を示す、音の位置を示す情報が示す音の位置を、対象画像における位置として決定する。また、上記の場合には、本実施形態に係るエフェクト制御装置は、例えば、撮像画像を撮像した撮像デバイスにおける有効画角外の音の位置を示す、音の位置を示す情報は用いない。つまり、上記の場合には、本実施形態に係るエフェクト制御装置は、撮像画像を撮像した撮像デバイスにおける有効画角外の音の位置を示す、音の位置を示す情報に基づくエフェクトは、対象画像に付加しない。
【００３９】
なお、本実施形態に係るエフェクト制御装置における、音の位置を示す情報が示す位置に対応する対象画像における位置を特定する処理は、上記に限られない。例えば、本実施形態に係るエフェクト制御装置は、対象画像において検出された特定のオブジェクトの位置と、音の向きを示す情報が示す音の向きとに基づいて、対象画像における、傾きが音の向きを示し検出された特定のオブジェクトの位置を通る直線を、特定する。そして、本実施形態に係るエフェクト制御装置は、例えば、特定された対象画像における直線と、音の位置を示す情報が示す各時点における位置の位置関係とに基づいて、特定された対象画像における直線上の任意の位置を、位置Ｐ１、Ｐ２、Ｐ３として決定してもよい。
【００４０】
本実施形態に係るエフェクト制御装置は、例えば図２を参照して示したように、音の向きを示す情報が示す音の向き、および音の位置を示す情報が示す音の位置に基づくエフェクトを、対象画像に付加する。例えば図２に示すようなエフェクトが対象画像に付加されることによって、エフェクトが付加された対象画像をみたユーザは、対象画像に付加されたエフェクトによって、音の向きと音の位置とを視覚的に認識することができる。なお、本実施形態に係るエフェクト制御装置における、音の向きを示す情報と音の位置を示す情報とに基づく処理が上記に示す処理に限られないこと、および、音の向きを示す情報が示す音の向きと、音の位置を示す情報が示す音の位置とに基づくエフェクトを対象画像に付加した例が、図２に示す例に限られないことは、言うまでもない。
【００４１】
（３）第３の例
本実施形態に係るエフェクト制御装置におけるエフェクト制御方法に係る処理は、上記第１の例に示す処理、上記第２の例に示す処理に限られない。例えば、本実施形態に係るエフェクト制御装置は、音の向きを示す情報と、音の周波数を示す情報とに基づいて、対象画像に付加するエフェクトを制御することも可能である。
【００４２】
より具体的には、本実施形態に係るエフェクト制御装置は、例えば、上記第１の例と同様に、音の向きを示す情報が示す音の向きに基づくエフェクトを、対象画像に付加する。また、本実施形態に係るエフェクト制御装置は、さらに、音の周波数を示す情報が示す音の周波数それぞれに対応する色彩のエフェクトを、対象画像に付加する。
【００４３】
図３は、本実施形態に係るエフェクト制御装置におけるエフェクト制御方法に係る処理の第３の例を説明するための説明図である。ここで、図３は、本実施形態に係るエフェクト制御装置が、音の向きを示す情報が示す音の向きと、音の周波数を示す情報が示す音の周波数とに基づくエフェクトが対象画像に付加された画像の一例を示している。
【００４４】
本実施形態に係るエフェクト制御装置は、例えば、図１と同様に、音の向きを示す情報が示す音の向きに向けて、エフェクトを対象画像に付加する。また、図３では、本実施形態に係るエフェクト制御装置が、図１と同様に、所定の形状のエフェクトとして、泡形状のエフェクトを対象画像に付加した例を示している。
【００４５】
また、本実施形態に係るエフェクト制御装置は、音の周波数を示す情報に基づいて、音の向きを示す情報が示す音に対応する音の周波数を特定する。そして、本実施形態に係るエフェクト制御装置は、特定した音の周波数それぞれに対応する色を付した泡形状のエフェクト（所定の形状のエフェクトの一例）を、対象画像に付加する。
【００４６】
ここで、本実施形態に係るエフェクト制御装置は、例えば、音の周波数と色彩とが対応付けられたルックアップテーブルを用いて、音の周波数を示す情報が示す音の周波数に対応する色彩を特定する。そして、本実施形態に係るエフェクト制御装置は、例えば、エフェクト画像データが示すエフェクト画像に特定した色彩を付して、色彩が付されたエフェクト画像を対象画像に合成することによって、音の向きを示す情報と音の周波数を示す情報とに基づくエフェクトを、対象画像に付加する。
【００４７】
本実施形態に係るエフェクト制御装置は、例えば図３を参照して示したように、音の向きを示す情報が示す音の向き、および音の周波数を示す情報が示す音の周波数に基づくエフェクトを、対象画像に付加する。例えば図３に示すようなエフェクトが対象画像に付加されることによって、エフェクトが付加された対象画像をみたユーザは、対象画像に付加されたエフェクトによって、音の向きと音の高低（または音の周波数）とを視覚的に認識することができる。なお、本実施形態に係るエフェクト制御装置における、音の向きを示す情報と音の周波数を示す情報とに基づく処理が上記に示す処理に限られないこと、および、音の向きを示す情報が示す音の向きと、音の周波数を示す情報が示す音の周波数とに基づくエフェクトを対象画像に付加した例が、図３に示す例に限られないことは、言うまでもない。
【００４８】
（４）第４の例
本実施形態に係るエフェクト制御装置におけるエフェクト制御方法に係る処理は、上記第１の例に示す処理〜上記第３の例に示す処理に限られない。例えば、本実施形態に係るエフェクト制御装置は、音の向きを示す情報と、音量を示す情報とに基づいて、対象画像に付加するエフェクトを制御することも可能である。
【００４９】
より具体的には、本実施形態に係るエフェクト制御装置は、例えば、上記第１の例と同様に、音の向きを示す情報が示す音の向きに基づくエフェクトを、対象画像に付加する。また、本実施形態に係るエフェクト制御装置は、さらに、音量を示す情報が示す音量に対応する大きさのエフェクトを、対象画像に付加する。
【００５０】
図４は、本実施形態に係るエフェクト制御装置におけるエフェクト制御方法に係る処理の第４の例を説明するための説明図である。ここで、図４は、本実施形態に係るエフェクト制御装置が、音の向きを示す情報が示す音の向きと、音量を示す情報が示す音量とに基づくエフェクトが対象画像に付加された画像の一例を示している。
【００５１】
本実施形態に係るエフェクト制御装置は、例えば、図１と同様に、音の向きを示す情報が示す音の向きに向けて、エフェクトを対象画像に付加する。また、図４では、本実施形態に係るエフェクト制御装置が、図２と同様に、所定の形状のエフェクトとして、飛行機の形状のエフェクトを対象画像に付加した例を示している。
【００５２】
また、本実施形態に係るエフェクト制御装置は、音量を示す情報に基づいて、音の向きを示す情報が示す音に対応する音量を特定する。そして、本実施形態に係るエフェクト制御装置は、特定した音量に対応する大きさの飛行機の形状のエフェクト（所定の形状のエフェクトの一例）を、対象画像に付加する。
【００５３】
ここで、本実施形態に係るエフェクト制御装置は、例えば、音量とエフェクトの大きさとが対応付けられたルックアップテーブルを用いて、音量を示す情報が示す音量に対応するエフェクトの大きさを特定する。そして、本実施形態に係るエフェクト制御装置は、例えば、エフェクト画像データが示すエフェクト画像のサイズを特定されたエフェクトの大きさにリサイズして、リサイズされたエフェクト画像を対象画像に合成することによって、音の向きを示す情報と音量を示す情報とに基づくエフェクトを、対象画像に付加する。
【００５４】
本実施形態に係るエフェクト制御装置は、例えば図４を参照して示したように、音の向きを示す情報が示す音の向き、および音量を示す情報が示す音量に基づくエフェクトを、対象画像に付加する。例えば図４に示すようなエフェクトが対象画像に付加されることによって、エフェクトが付加された対象画像をみたユーザは、対象画像に付加されたエフェクトによって、音の向きと音の大きさ（音量）とを視覚的に認識することができる。なお、本実施形態に係るエフェクト制御装置における、音の向きを示す情報と音量を示す情報とに基づく処理が上記に示す処理に限られないこと、および、音の向きを示す情報が示す音の向きと、音量を示す情報が示す音量とに基づくエフェクトを対象画像に付加した例が、図４に示す例に限られないことは、言うまでもない。
【００５５】
（５）他の例
本実施形態に係るエフェクト制御装置におけるエフェクト制御方法に係る処理は、上記第１の例に示す処理〜上記第４の例に示す処理に限られない。例えば、本実施形態に係るエフェクト制御装置は、音の向きを示す情報と、音の位置を示す情報、音の周波数を示す情報、音量を示す情報のうちの２以上の情報とに基づいて、対象画像に付加するエフェクトを制御してもよい。例えば、本実施形態に係るエフェクト制御装置は、“上記第２の例に係る処理と上記第３の例に係る処理”や、“上記第２の例に係る処理と上記第４の例に係る処理”、“上記第３の例に係る処理と上記第４の例に係る処理”、“上記第２の例に係る処理、上記第３の例に係る処理、および上記第４の例に係る処理”など、組み合わせ可能な任意の処理を組み合わせることが可能である。
【００５６】
本実施形態に係るエフェクト制御装置は、本実施形態に係るエフェクト制御方法に係る処理として、例えば上記（１）〜（５）に示す処理を行う。ここで、本実施形態に係るエフェクト制御装置は、例えば、音の向きを示す情報に基づいて、または、音の向きを示す情報と、音の位置を示す情報、音の周波数を示す情報、音量を示す情報のうちの１または２以上の情報とに基づいて、対象画像に付加するエフェクトを制御する。
【００５７】
したがって、本実施形態に係るエフェクト制御装置は、音に基づくエフェクトを対象画像に付加することができる。
【００５８】
また、例えば上記のように、本実施形態に係るエフェクト制御装置が音の向きを示す情報などの音に関する情報に基づいて対象画像にエフェクトを付加することによって、エフェクトが付加された対象画像をみたユーザは、対象画像に付加されたエフェクトにより、“音の向き”を、または、“音の向きと、音の位置、音の高低（または音の周波数）、音の大きさ（音量）のうちの１または２以上と”を、視覚的に認識することができる。
【００５９】
さらに、本実施形態に係るエフェクト制御装置が、音に基づくエフェクトを対象画像に付加すること、すなわち、音の情報を画像に重畳させることによって、エフェクトが付加された対象画像をみたユーザに対して、音の情報を音によってのみ与える体験よりも、より臨場感あふれる体験を提供することが可能となる。
【００６０】
（本実施形態に係るエフェクト制御装置）
次に、上述した本実施形態に係るエフェクト制御方法に係る処理を行うことが可能な、本実施形態に係るエフェクト制御装置の構成の一例について、説明する。
【００６１】
図５は、本実施形態に係るエフェクト制御装置１００の構成の一例を示すブロック図である。
【００６２】
エフェクト制御装置１００は、例えば、撮像部１０２と、集音部１０４と、記憶部１０６と、制御部１０８とを備える。
【００６３】
また、エフェクト制御装置１００は、例えば、ＲＯＭ（Read  Only  Memory。図示せず）や、ＲＡＭ（Random  Access  Memory。図示せず）、通信部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。エフェクト制御装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。
【００６４】
ここで、ＲＯＭ（図示せず）は、制御部１０８が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０８により実行されるプログラムなどを一時的に記憶する。
【００６５】
通信部（図示せず）は、エフェクト制御装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、撮像装置や、表示装置、サーバなどの外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、後述する通信インタフェースが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide  Area  Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless  Local  Area  Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless  Wide  Area  Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission  Control  Protocol/Internet  Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００６６】
また、操作部（図示せず）としては、後述する操作入力デバイスが挙げられ、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
【００６７】
［エフェクト制御装置１００のハードウェア構成例］
図６は、本実施形態に係るエフェクト制御装置１００のハードウェア構成の一例を示す説明図である。エフェクト制御装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４と、撮像デバイス１６６と、集音デバイス１６８とを備える。また、エフェクト制御装置１００は、例えば、データの伝送路としてのバス１７０で各構成要素間を接続する。
【００６８】
ＭＰＵ１５０は、例えば、ＭＰＵ（Micro  Processing  Unit）や、各種処理回路などで構成されエフェクト制御装置１００全体を制御する制御部１０８として機能する。また、ＭＰＵ１５０は、エフェクト制御装置１００において、例えば、後述する音解析部１２０、およびエフェクト制御部１２２の役目を果たす。
【００６９】
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
【００７０】
記録媒体１５６は、記憶部１０６として機能し、例えば、画像データ（例えば、エフェクトが付加されていない画像を示すデータや、エフェクトが付加された画像を示すデータ）や、エフェクト画像データ、アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスク（Hard  Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically  Erasable  and  Programmable  Read  Only  Memory）、フラッシュメモリ（flash  memory）などの不揮発性メモリ（nonvolatile  memory）などが挙げられる。また、記録媒体１５６は、エフェクト制御装置１００から着脱可能であってもよい。
【００７１】
入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal  Serial  Bus）端子や、ＤＶＩ（Digital  Visual  Interface）端子、ＨＤＭＩ（High-Definition  Multimedia  Interface）端子、各種処理回路などが挙げられる。また、操作入力デバイス１６０は、例えば、エフェクト制御装置１００上に備えられ、エフェクト制御装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス１６２は、例えば、エフェクト制御装置１００上に備えられ、エフェクト制御装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid  Crystal  Display）や有機ＥＬディスプレイ（Organic  ElectroLuminescence  display。または、ＯＬＥＤディスプレイ（Organic  Light  Emitting  Diode  display）ともよばれる。）などが挙げられる。
【００７２】
なお、入出力インタフェース１５８が、エフェクト制御装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や、表示デバイス、撮像デバイスなどの、外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス１６２は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
【００７３】
通信インタフェース１６４は、エフェクト制御装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、撮像装置や、表示装置、サーバなどの外部装置と無線／有線で通信を行うための通信部（図示せず）として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられる。また、通信インタフェース１６４は、例えばＵＳＢ端子および送受信回路など、通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることも可能である。
【００７４】
撮像デバイス１６６は、エフェクト制御装置１００が備える撮像手段であり、撮像を行い撮像画像を示す画像データを生成する撮像部１０２の役目を果たす。撮像デバイス１６６としては、例えば、レンズ／撮像素子と信号処理回路とが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic  Gain  Control）回路やＡＤＣ（Analog  to  Digital  Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
【００７５】
集音デバイス１６８は、エフェクト制御装置１００が備える集音手段であり、集音した音を示す音声信号を生成する集音部１０４の役目を果たす。集音デバイス１６８としては、例えば、複数のマイクロホンや、アレイ・マイクロホンなど、音の位置を特定することが可能な音声信号を生成することが可能なデバイスが挙げられる。
【００７６】
エフェクト制御装置１００は、例えば図６に示す構成によって、本実施形態に係るエフェクト制御方法に係る処理を行う。
【００７７】
なお、本実施形態に係るエフェクト制御装置１００のハードウェア構成は、図６に示す構成に限られない。例えば、エフェクト制御装置１００は、音声を出力する音声出力部（図示せず）の役目を果たす、ＤＳＰ（Digital  Signal  Processor）と音声出力デバイスとをさらに備えていてもよい。本実施形態に係る音声出力デバイスとしては、例えば、増幅器（アンプ）およびスピーカなどが挙げられる。
【００７８】
また、エフェクト制御装置１００は、外部の撮像装置や外部の撮像デバイスが撮像した撮像画像を、対象画像とする場合には、撮像デバイス１６６を備えていなくてもよい。
【００７９】
また、エフェクト制御装置１００は、例えば、外部の集音装置や外部の集音デバイスが生成した音声信号に対して音解析処理を行う場合や、例えば、外部の集音装置や外部の集音デバイスが生成した音声信号が示す音に対応するエフェクトを対象画像に付加する場合には、集音デバイス１６８を備えていなくてもよい。
【００８０】
また、エフェクト制御装置１００は、例えば、スタンドアロンで処理を行う構成である場合には、通信インタフェース１６４を備えていなくてもよい。さらに、エフェクト制御装置１００は、操作入力デバイス１６０や表示デバイス１６２を備えない構成をとることも可能である。
【００８１】
再度図５を参照して、エフェクト制御装置１００の構成の一例について説明する。撮像部１０２は、撮像を行い撮像画像を示す画像データを生成する。撮像部１０２としては、例えば、レンズ／撮像素子と信号処理回路とが挙げられる。
【００８２】
集音部１０４は、集音した音を示す音声信号を生成する。集音部１０４としては、例えば、複数のマイクロホンや、アレイ・マイクロホンなど、音の位置を特定することが可能な音声信号を生成することが可能な集音デバイスが挙げられる。
【００８３】
記憶部１０６は、例えば、画像データ（例えば、エフェクトが付加されていない画像を示すデータや、エフェクトが付加された画像を示すデータ）や、エフェクト画像データ、アプリケーションなど様々なデータを記憶する。ここで、図５では、画像データＡ１３０、画像データＢ１３２、…と、エフェクト画像データＡ１３４、エフェクト画像データＢ１３６、…とが、記憶部１０６に記憶されている例を示している。
【００８４】
記憶部１０６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記憶部１０６は、エフェクト制御装置１００から着脱可能であってもよい。
【００８５】
制御部１０８は、例えばＭＰＵなどで構成され、エフェクト制御装置１００全体を制御する役目を果たす。また、制御部１０８は、例えば、音解析部１２０と、エフェクト制御部１２２とを備え、本実施形態に係る音解析処理、および本実施形態に係るエフェクト制御方法に係る処理を主導的に行う役目を果たす。
【００８６】
音解析部１２０は、本実施形態に係る音解析処理を主導的に行う役目を果たし、音声信号を解析し、音の向きを示す情報を取得する。ここで、音解析部１２０が解析する音声信号としては、例えば、集音部１０４から伝達される音声信号や、外部の集音装置や外部の集音デバイスが生成した音声信号が挙げられる。
【００８７】
なお、音解析部１２０が音声信号を解析することによって取得する音に関する情報は、音の向きを示す情報に限られない。例えば、音解析部１２０は、音声信号を解析することによって音の位置を示す情報、音の周波数を示す情報、音量を示す情報のうちの、１または２以上の情報を、さらに取得することが可能である。
【００８８】
エフェクト制御部１２２は、本実施形態に係るエフェクト制御方法に係る処理を主導的に行う役目を果たし、音の向きを示す情報に基づいて、対象画像に付加するエフェクトを制御する。エフェクト制御部１２２は、例えば、音の向きを示す情報に基づいて、エフェクト画像を対象画像に合成することによって、対象画像に付加するエフェクトを制御する。
【００８９】
なお、エフェクト制御部１２２における処理は、音の向きを示す情報に基づいて対象画像にエフェクトを付加することに限られない。上述したように、本実施形態に係るエフェクト制御装置は、本実施形態に係るエフェクト制御方法に係る処理として、例えば上記（１）〜（５）に示す処理を行うことが可能である。よって、エフェクト制御部１２２は、例えば、音の向きを示す情報に基づいて、または、音の向きを示す情報と、音の位置を示す情報、音の周波数を示す情報、音量を示す情報のうちの１または２以上の情報とに基づいて、対象画像に付加するエフェクトを制御してもよい。
【００９０】
ここで、エフェクト制御部１２２は、例えば、音解析部１２０から伝達される、音の向きを示す情報などの音に関する情報に基づいて処理を行う。音解析部１２０が集音部１０４から伝達される音声信号に対して本実施形態に係る音解析処理を行った場合、エフェクト制御部１２２は、集音部１０４から伝達される音声信号が示す音に対応する、音の向きを示す情報などの音に関する情報に基づいて、対象画像に付加するエフェクトを制御することとなる。
【００９１】
なお、エフェクト制御部１２２が処理に用いる音に関する情報は、音解析部１２０から伝達される情報に限られない。例えば、エフェクト制御部１２２は、本実施形態に係る音解析処理を行った外部装置から送信され、通信部（図示せず）が受信した、音に関する情報に基づいて処理を行うことも可能である。
【００９２】
また、エフェクト制御部１２２は、例えば、撮像部１０２から伝達される撮像データが示す撮像画像を、対象画像とするが、エフェクト制御部１２２がエフェクトを付加する対象画像は、上記に限られない。例えば、エフェクト制御部１２２は、記憶部１０６に記憶されている画像データが示す画像や、通信部（図示せず）を介して取得されたサーバなどの外部装置に記憶されている画像データが示す画像、外部の撮像装置や外部の撮像デバイスから取得された撮像データが示す撮像画像を、対象画像としてもよい。
【００９３】
エフェクト制御部１２２は、例えば上記のように、音の向きを示す情報などの音に関する情報に基づいて、エフェクト画像を対象画像に合成することによって、対象画像に付加するエフェクトを制御する。
【００９４】
なお、エフェクト制御部１２２における処理は、上記の処理に限られない。
【００９５】
例えば、エフェクト制御部１２２は、対象画像とエフェクト画像とが合成された画像を、表示画面に表示させる表示制御処理をさらに行ってもよい。ここで、エフェクト制御部１２２が、対象画像とエフェクト画像とが合成された画像を表示させる表示画面としては、例えば、外部の表示装置における表示画面や、本実施形態に係るエフェクト制御装置が表示部（後述する）を備える場合には、当該表示部（後述する）における表示画面が挙げられる。
【００９６】
外部の表示装置における表示画面に対象画像とエフェクト画像とが合成された画像を表示させる場合、エフェクト制御部１２２は、例えば、当該合成された画像を示す画像データ（または当該合成された画像を示すアナログ信号）と、外部の表示装置に表示に係る処理を行わせるための処理命令とを、通信部（図示せず）を介して外部の表示装置に対して送信することによって、当該合成された画像を表示画面に表示させる。また、表示部（後述する）における表示画面に対象画像とエフェクト画像とが合成された画像を表示させる場合、エフェクト制御部１２２は、例えば、当該合成された画像を示す画像データ（または当該合成された画像を示すアナログ信号）を、表示部（図示せず）に伝達することによって、当該合成された画像を表示画面に表示させる。
【００９７】
また、エフェクト制御部１２２は、対象画像とエフェクト画像とが合成された画像を示す画像データを、記録媒体に記憶させる記録制御処理をさらに行ってもよい。音が可視化された画像である、対象画像とエフェクト画像とが合成された画像を記録媒体に記憶させることによって、音が可視化されたより臨場感がある画像が、記録媒体に記憶される。また、エフェクト制御部１２２が記録媒体に記憶させる画像データには、例えば、エフェクト制御部１２２が本実施形態に係るエフェクト制御方法に係る処理に用いた、音に関する情報に対応する音を示す音声信号が含まれていてもよい。
【００９８】
ここで、エフェクト制御部１２２が、対象画像とエフェクト画像とが合成された画像を示す画像データを記録させる記録媒体としては、例えば、記憶部１０６や、エフェクト制御装置がデータの書き込みを行うことが可能な外部記録媒体、エフェクト制御装置が通信を行うことが可能なサーバなどの外部装置が挙げられる。対象画像とエフェクト画像とが合成された画像を示す画像データを、外部記録媒体や、サーバなどの外部装置に記録させる場合、当該合成された画像を示す画像データ（または当該合成された画像を示すアナログ信号）と、外部記録媒体や外部装置に、記録に係る処理を行わせるための処理命令とを、通信部（図示せず）を介して外部記録媒体や外部装置に対して送信することによって、当該合成された画像を示す画像データを、外部記録媒体や外部装置に記憶させる。
【００９９】
制御部１０８は、例えば、音解析部１２０と、エフェクト制御部１２２とを備えることによって、本実施形態に係る音解析処理、および本実施形態に係るエフェクト制御方法に係る処理を主導的に行う。
【０１００】
なお、本実施形態に係る制御部の構成は、図５に示す構成に限られない。例えば、本実施形態に係る制御部は、音解析部１２０を備えていなくてもよい。音解析部１２０を備えない場合であっても、エフェクト制御部１２２は、例えば、通信部（図示せず）が受信した、本実施形態に係る音解析処理を行った外部装置から送信された、音に関する情報に基づいて、本実施形態に係るエフェクト制御方法に係る処理を行うことができる。
【０１０１】
エフェクト制御装置１００は、例えば図５に示す構成によって、本実施形態に係るエフェクト制御方法に係る処理を行う。したがって、エフェクト制御装置１００は、例えば図５に示す構成によって、音に基づくエフェクトを対象画像に付加することができる。
【０１０２】
なお、本実施形態に係るエフェクト制御装置の構成は、図５に示す構成に限られない。例えば、本実施形態に係るエフェクト制御装置は、本実施形態に係る制御部を構成する音解析部１２０とエフェクト制御部１２２との一方または双方を個別に備える（例えば、それぞれを個別の処理回路で実現する）ことができる。
【０１０３】
また、本実施形態に係るエフェクト制御装置は、例えば、上述したように、音解析部１２０を備えていなくてもよい。音解析部１２０を備えない場合であっても、本実施形態に係るエフェクト制御装置は、例えば、通信部（図示せず）が受信した、本実施形態に係る音解析処理を行った外部装置から送信された、音に関する情報に基づいて、本実施形態に係るエフェクト制御方法に係る処理を行うことができる。
【０１０４】
また、本実施形態に係るエフェクト制御装置は、例えば、撮像部１０２を備えていなくてもよい。撮像部１０２を備えない場合であっても、本実施形態に係るエフェクト制御装置は、例えば、上述したように、記憶部１０６に記憶されている画像データが示す画像や、取得されたサーバなどの外部装置に記憶されている画像データが示す画像、外部の撮像装置や外部の撮像デバイスから取得された撮像データが示す撮像画像を、対象画像として、本実施形態に係るエフェクト制御方法に係る処理を行うことが可能である。
【０１０５】
また、本実施形態に係るエフェクト制御装置は、例えば、集音部１０４を備えていなくてもよい。集音部１０４を備えない場合であっても、本実施形態に係るエフェクト制御装置は、例えば、上述したように、外部の集音装置や外部の集音デバイスが生成した音声信号を処理対象として、本実施形態に係る音解析処理を行うことが可能である。
【０１０６】
また、本実施形態に係るエフェクト制御装置は、例えば、表示部（図示せず）を備えていてもよい。表示部（図示せず）を備える場合には、本実施形態に係るエフェクト制御装置は、例えば、表示部（図示せず）の表示画面に、エフェクト制御部１２２により合成された画像を表示させることができる。
【０１０７】
また、本実施形態に係るエフェクト制御装置は、例えば、音を出力することが可能な音声出力部（図示せず）を備えていてもよい。
【０１０８】
以上のように、本実施形態に係るエフェクト制御装置は、本実施形態に係るエフェクト制御方法に係る処理として、例えば、音の向きを示す情報に基づいて、または、音の向きを示す情報と、音の位置を示す情報、音の周波数を示す情報、音量を示す情報のうちの１または２以上の情報とに基づいて、対象画像に付加するエフェクトを制御する。
【０１０９】
したがって、本実施形態に係るエフェクト制御装置は、音に基づくエフェクトを対象画像に付加することができる。
【０１１０】
また、本実施形態に係るエフェクト制御装置が音の向きを示す情報などの音に関する情報に基づいて対象画像にエフェクトを付加することによって、エフェクトが付加された対象画像をみたユーザは、対象画像に付加されたエフェクトにより、“音の向き”を、または、“音の向きと、音の位置、音の高低（または音の周波数）、音の大きさ（音量）のうちの１または２以上と”を、視覚的に認識することができる。
【０１１１】
さらに、本実施形態に係るエフェクト制御装置が、音に基づくエフェクトを対象画像に付加すること、すなわち、音の情報を画像に重畳させることによって、エフェクトが付加された対象画像をみたユーザに対して、音の情報を音によってのみ与える体験よりも、より臨場感あふれる体験を提供することが可能となる。
【０１１２】
以上、本実施形態としてエフェクト制御装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、デジタルカメラやデジタルビデオカメラなどの撮像装置や、携帯電話やスマートフォンなどの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機、ＰＣ（Personal  Computer）やサーバなどのコンピュータ、テレビ受像機などの表示装置など、画像を処理することが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣ（Integrated  Circuit）に適用することもできる。
【０１１３】
また、本実施形態に係る音解析処理と本実施形態に係るエフェクト制御方法に係る処理とは、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるエフェクト制御システムにより実現されてもよい。
【０１１４】
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係るエフェクト制御装置として機能させるためのプログラム（例えば、本実施形態に係るエフェクト制御方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいて実行されることによって、音に基づくエフェクトを対象画像に付加することができる。
【０１１５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１６】
例えば、上記では、コンピュータを、本実施形態に係るエフェクト制御装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
【０１１７】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【０１１８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
音の向きを示す情報に基づいて、対象画像に付加するエフェクトを制御するエフェクト制御部を備える、エフェクト制御装置。
（２）
前記エフェクト制御部は、前記音の向きを示す情報が示す音の向きに基づくエフェクトを、前記対象画像に付加する、（１）に記載のエフェクト制御装置。
（３）
前記エフェクト制御部は、所定の形状のエフェクトを、前記対象画像に付加する、（１）、または（２）に記載のエフェクト制御装置。
（４）
前記エフェクト制御部は、前記音の向きを示す情報に対応する、音の種別を示す種別情報に基づいて、前記種別情報が示す音の種別に対応する形状のエフェクトを、前記対象画像に付加する、（３）に記載のエフェクト制御装置。
（５）
前記エフェクト制御部は、さらに、音の位置を示す情報に基づいて、対象画像に付加するエフェクトを制御する、（１）〜（４）のいずれか１つに記載のエフェクト制御装置。
（６）
前記エフェクト制御部は、前記音の位置を示す情報が示す音の位置に対応する、前記対象画像における位置に、エフェクトを付加する、（５）に記載のエフェクト制御装置。
（７）
前記エフェクト制御部は、さらに、音量を示す情報に基づいて、対象画像に付加するエフェクトを制御する、（１）〜（６）のいずれか１つに記載のエフェクト制御装置。
（８）
エフェクト制御部は、前記音量を示す情報が示す音量に対応する大きさのエフェクトを、前記対象画像に付加する、（７）に記載のエフェクト制御装置。
（９）
前記エフェクト制御部は、さらに、音の周波数を示す情報に基づいて、対象画像に付加するエフェクトを制御する、（１）〜（８）のいずれか１つに記載のエフェクト制御装置。
（１０）
エフェクト制御部は、前記音の周波数を示す情報が示す音の周波数それぞれに対応する色彩のエフェクトを、前記対象画像に付加する、（９）に記載のエフェクト制御装置。
（１１）
音声信号を解析し、前記音の向きを示す情報を取得する音解析部をさらに備える、（１）〜（１０）のいずれか１つに記載のエフェクト制御装置。
（１２）
集音した音を示す音声信号を生成する集音部をさらに備え、
前記エフェクト制御部は、前記音声信号が示す音に対応する、前記音の向きを示す情報に基づいて、対象画像に付加するエフェクトを制御する、（１）〜（１１）のいずれか１つに記載のエフェクト制御装置。
（１３）
音の向きを示す情報に基づいて、対象画像に付加するエフェクトを制御するステップを有する、エフェクト制御方法。
（１４）
音の向きを示す情報に基づいて、対象画像に付加するエフェクトを制御するステップを、コンピュータに実行させるためのプログラム。
【符号の説明】
【０１１９】
１００    エフェクト制御装置
１０２    撮像部
１０４    集音部
１０６    記憶部
１０８    制御部
１２０    音解析部
１２２    エフェクト制御部
【図１】
0005929535.tif 000002
【図２】
0005929535.tif 000003
【図３】
0005929535.tif 000004
【図４】
0005929535.tif 000005
【図５】
0005929535.tif 000006
【図６】
0005929535.tif 000007