(57)【要約】【課題】ユーザが発する様々な情報を考慮してユーザの動作を判定し、その動作に応じた処理を行う。【解決手段】端末装置（１）は、ユーザの画像と該画像の撮像時に取得された音声とに基づいて、ユーザが暖かい息または冷たい息を吐く動作を行ったか否かを判定する息種別判定部（１０５）と、上記動作が行われたと判定された場合に所定の処理を実行する透過表示制御部（１０９）と、を備えている。【選択図】図１
2019028702.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置であって、
ユーザの画像と該画像の撮像時に取得された音声とに基づいて、上記ユーザが予め定められた動作を行ったか否かを判定する動作判定部と、
上記動作判定部が、上記ユーザが上記動作を行ったと判定した場合に、当該動作に対して予め対応付けられた処理を実行する処理実行部と、を備えている。
【請求項２】
請求項１に記載の情報処理装置では、
上記処理実行部は、上記動作判定部が、上記ユーザが息を吐く動作を行ったと判定した場合に、息を吐く動作に予め対応付けられた処理を実行する。
【請求項３】
請求項２に記載の情報処理装置では、
上記動作判定部は、上記ユーザの息の吐き方が、予め定められた複数の息の吐き方の何れに該当するか判定し、
上記処理実行部は、上記動作判定部の判定結果に応じて異なる処理を実行する。
【請求項４】
請求項３に記載の情報処理装置では、
上記処理実行部は、
上記動作判定部の判定結果が暖かい息の吐き方であった場合には、表示画面に設定された調整領域の透過度を高くする処理を実行し、
上記動作判定部の判定結果が冷たい息の吐き方であった場合には、上記調整領域の透過度を低くする処理を実行する。
【請求項５】
請求項４に記載の情報処理装置では、
上記処理実行部は、
上記調整領域の透過度を高くする処理を実行する場合、上記ユーザが息を吐いている期間中、時間の経過に従って上記調整領域の透過度を高くし、
上記調整領域の透過度を低くする処理を実行する場合、上記ユーザが息を吐いている期間中、時間の経過に従って上記調整領域の透過度を低くする。
【請求項６】
請求項４または５に記載の情報処理装置は、
上記ユーザの息の強さ、および上記表示画面と上記ユーザの顔との間の距離の少なくとも何れかに応じた面積の上記調整領域を設定する調整領域設定部を備えている。
【請求項７】
請求項４から６の何れか１項に記載の情報処理装置では、
上記処理実行部は、上記調整領域を、上記ユーザの息の強さ、および上記表示画面と上記ユーザの顔との間の距離の少なくとも何れかに応じた透過度とする。
【請求項８】
請求項４から７の何れか１項に記載の情報処理装置は、
上記表示画面における上記ユーザが息を吹きかけた位置に上記調整領域を設定する調整領域設定部を備えている。
【請求項９】
請求項１に記載の情報処理装置では、
上記処理は、上記情報処理装置のクロック周波数の下限値を変更する処理である。
【請求項１０】
請求項１に記載の情報処理装置では、
上記処理は、表示画面に表示されている画像の表示倍率を変更する処理である。
【請求項１１】
請求項１から１０の何れか１項に記載の情報処理装置では、
上記処理実行部は、上記動作判定部が、上記ユーザが息を吸う動作を行ったと判定した場合に、息を吸う動作に予め対応付けられた処理を実行する。
【請求項１２】
情報処理装置による情報処理方法であって、
ユーザの画像と該画像の撮像時に取得された音声とに基づいて、上記ユーザが予め定められた動作を行ったか否かを判定する動作判定ステップと、
上記動作判定ステップで、上記ユーザが上記動作を行ったと判定した場合に、当該動作に対して予め対応付けられた処理を実行する処理実行ステップと、を含む。
【請求項１３】
請求項１に記載の情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、上記動作判定部および上記処理実行部としてコンピュータを機能させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが入力キー等を用いることなく処理を実行させることができる情報処理装置等に関する。
【背景技術】
【０００２】
入力キー等の入力装置を用いることなく情報処理装置を操作するための技術の開発が従来から進められている。例えば、下記の特許文献１には、カメラで撮影した利用者の顔の特徴点の変化により利用者の顔の方向を判定し、顔の方向および特徴点の変化量に応じて表示画面における表示対象のスクロール方向およびスクロール量の制御を行う電子機器が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−４４７２９号公報（２０１４年３月１３日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のような、撮影画像のみに基づく判定には限界がある。例えば、上記特許文献１の技術では、利用者が表示対象をスクロールさせる意図なく、表示画面から目をそらした場合にも、スクロールが行われると考えられる。また、利用者は、顔の方向を変えるという動作により、表示対象のスクロールという処理しか行わせることができない。このため、ユーザが発する様々な情報を考慮してユーザの動作を判定し、その動作に応じた処理を行うことができる情報処理装置等の提供が望まれる。
【０００５】
本発明の一態様は、ユーザが発する様々な情報を考慮してユーザの動作を判定し、その動作に応じた処理を行うことができる情報処理装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、ユーザの画像と該画像の撮像時に取得された音声とに基づいて、上記ユーザが予め定められた動作を行ったか否かを判定する動作判定部と、上記動作判定部が、上記ユーザが上記動作を行ったと判定した場合に、当該動作に対して予め対応付けられた処理を実行する処理実行部と、を備えている。
【０００７】
また、本発明の一態様に係る情報処理方法は、上記の課題を解決するために、情報処理装置による情報処理方法であって、ユーザの画像と該画像の撮像時に取得された音声とに基づいて、上記ユーザが予め定められた動作を行ったか否かを判定する動作判定ステップと、上記動作判定ステップで、上記ユーザが上記動作を行ったと判定した場合に、当該動作に対して予め対応付けられた処理を実行する処理実行ステップと、を含む。
【発明の効果】
【０００８】
本発明の一態様によれば、ユーザの画像のみならず、その画像の撮像時に取得された音声も考慮してユーザの動作を判定し、その動作に応じた処理を行うことができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態１に係る端末装置の要部構成の一例を示すブロック図である。
【図２】ユーザが息を吹きかけたときの上記端末装置の動作例を示す図である。
【図３】図２とは異なる態様でユーザが息を吹きかけたときの上記端末装置の動作例を示す図である。
【図４】上記端末装置が、ユーザによる息の吹きかけ位置に応じた画像処理を行う動作例を示す図である。
【図５】対応情報の一例を示す図である。
【図６】基準データの登録処理の一例を示すフローチャートである。
【図７】ユーザによって息が吹きかけられたときに上記端末装置が実行する処理の一例を示すフローチャートである。
【図８】暖かい息対応処理および冷たい息対応処理の一例を示すフローチャートである。
【図９】本発明の実施形態２に係る端末装置の要部構成の一例を示すブロック図である。
【図１０】上記端末装置が、ユーザによる息の吹きかけに応じてクロック周波数の下限値を変更する処理を行う動作例を示す図である。
【図１１】上記端末装置が実行する暖かい息対応処理および冷たい息対応処理の一例を示すフローチャートである。
【図１２】本発明の実施形態３に係る端末装置の要部構成の一例を示すブロック図である。
【図１３】上記端末装置が、ユーザによる息の吹きかけに応じて表示倍率を変更する処理を行う動作例を示す図である。
【図１４】上記端末装置が実行する暖かい息対応処理および冷たい息対応処理の一例を示すフローチャートである。
【図１５】ユーザが息を吸う動作を行ったときに本発明の実施形態４に係る端末装置が実行する処理の一例を示すフローチャートである。
【図１６】上記各実施形態の端末装置として利用可能なコンピュータの構成を例示したブロック図である。
【発明を実施するための形態】
【００１０】
〔実施形態１〕
本発明の一実施形態について図１から図８に基づいて説明する。本発明に係る情報処理装置は、ユーザを撮像した画像と、その撮像時に取得された音声との組み合わせに応じた処理を実行する機能を備えている。本実施形態では、この情報処理装置の一実施形態として上記機能を備えた端末装置１を例示して説明を行う。端末装置１は、上記機能以外にも種々の機能を備えているが、それら種々の機能を備えていることは必須ではない。
【００１１】
〔動作概要〕
本実施形態に係る端末装置１の動作概要を図２に基づいて説明する。図２は、端末装置１の動作例を示す図である。端末装置１は、情報処理機能を備えた携帯型の装置であり、図示のように、撮像部１２、音声入力部１４、および表示部１８を備えている（これらの構成については図１にも記載）。撮像部１２は、画像を撮像する装置であり、例えばカメラ等である。音声入力部１４は、音声の入力を受け付ける装置であり、例えばマイク等である。表示部１８は、画像を表示する装置であり、例えば液晶表示装置等である。本実施形態では、端末装置１がスマートフォンである例を説明するが、端末装置１は画像と音声の取得機能と情報処理機能とを少なくとも備えた装置であればよく、この例に限られない。
【００１２】
（息を吹きかけたときの動作例１：暖かい息）
端末装置１は、ユーザが息を吐く動作を行ったことに応じて、所定の処理を行う。具体的には、図２の（ａ）に示すように、端末装置１に対してユーザが「ハー」と息を吹きかけた場合、端末装置１は、息を吹きかけたユーザの画像Ｐ１を撮像部１２で撮像すると共に、息を吹きかけたときの音声を音声入力部１４で取得する。なお、一般に、暖かい息を吹きかけるときには、ゆっくり「ハー」と息を吹くので、「ハー」と吹きかける息を、以下では、息の実際の温度とは無関係に暖かい息と呼ぶ。
【００１３】
そして、端末装置１は、撮像された画像と取得された音声とに基づいて、画像処理を施すか否かを判定し、画像処理を施す場合には、その範囲と、画像処理の程度を決定する。図２の（ａ）の例では、端末装置１は、無色透明のスクリーンを、表示部１８に表示されていた画像（図示の例では文字列「ＡＢＣ」）に重畳して表示すると共に、該スクリーン上の調整領域ＡＲ１の透過度を下げる画像処理を行っている。これにより、調整領域ＡＲ内の文字列「ＡＢＣ」は、視認性が低下した状態で、スクリーン越しに視認可能となる。このように、端末装置１は、ユーザに暖かい息を吹きかけられた場合に、透過度の低い領域を生じさせ、これにより、あたかも暖かい息で表示部１８が曇ったかのような視覚効果を生じさせることができる。これは、例えば表示部１８に表示されているプライベートな情報を他者に覗き見されないようにする等の用途に利用できる。
【００１４】
また、端末装置１は、図２の（ｂ）に示すように、強く息を吹きかけられた場合には、より広い範囲に、より透過度の低い領域を生じさせてもよい。同図の（ｂ）では、端末装置１に対してユーザが暖かい息を吹きかけており、端末装置１は、同図の（ａ）の例と同様に、息を吹きかけたユーザの画像Ｐ２を撮像すると共に、息を吹きかけたときの音声を取得している。そして、端末装置１は、画像Ｐ２と上記音声に基づいて、同図の（ａ）と同様に、透過度の低い領域を生じさせる画像処理を行うと決定する。
【００１５】
ここで、図２の（ｂ）の例で吹きかけられた息の強さは同図の（ａ）の例よりも強い。息が強く吹きかけられた場合、息を吹きかけたときにユーザが発する音声の音量も同図の（ａ）の例よりも大きくなる。このため、端末装置１は、取得した音声の音量が同図の（ａ）の例よりも大きいことに基づき、調整領域ＡＲ１よりも面積の広い調整領域ＡＲ２を設定する。また、この調整領域ＡＲ２の透過度は、調整領域ＡＲ１よりも低いものとする。これにより、あたかも強く暖かい息によって、表示部１８がより広範囲に濃く曇ったかのような視覚効果を生じさせることができる。
【００１６】
また、端末装置１は、図２の（ｃ）に示すように、弱く息を吹きかけられた場合には、同図の（ａ）の例より狭い範囲に、同図の（ａ）の例より透過度の高い領域を生じさせてもよい。同図の（ｃ）では、端末装置１に対してユーザが暖かい息を吹きかけており、端末装置１は、同図の（ａ）の例と同様に、息を吹きかけたユーザの画像Ｐ３を撮像すると共に、息を吹きかけたときの音声を取得している。これにより、端末装置１は、画像Ｐ３と上記音声に基づいて、同図の（ａ）と同様に、透過度の低い領域を生じさせる画像処理を行うと決定する。
【００１７】
ここで、図２の（ｃ）の例で吹きかけられた息の強さは同図の（ａ）の例よりも弱く、このため息を吹きかけたときにユーザが発する音声の音量（音の大きさ）も同図の（ａ）の例よりも小さい。この音量の差異に基づき、端末装置１は、調整領域ＡＲ１よりも面積の狭い調整領域ＡＲ３を設定する。また、この調整領域ＡＲ３の透過度は、調整領域ＡＲ１よりも高いものとする。これにより、あたかも弱く暖かい息によって、表示部１８のより狭い範囲が薄く曇ったかのような視覚効果を生じさせることができる。
【００１８】
（息を吹きかけたときの動作例２：冷たい息）
端末装置１は、ユーザの息の吐き方に応じて異なる画像処理を行う。図３は、図２とは異なる態様でユーザが息を吹きかけたときの端末装置１の動作例を示す図である。図３の（ａ）の例では、所定の透過度が設定されたスクリーンＳＣ１が表示されている端末装置１に対してユーザが「フー」と息を吹きかけている。そして、端末装置１は、図２の例と同様に、息を吹きかけたユーザの画像Ｐ４を撮像部１２で撮像すると共に、息を吹きかけたときの音声を音声入力部１４で取得する。なお、一般に、冷たい息を吹きかけるときには、速く「フー」と息を吹くので、以下では、「フー」と吹きかける息を、息の実際の温度とは無関係に冷たい息と呼ぶ。
【００１９】
ユーザが冷たい息を吹きかけた場合、暖かい息を吹きかけた図３の例と比べて、息の音が異なっていると共に、ユーザの画像における口の開き具合が小さくなる。よって、端末装置１は、画像Ｐ４と音声とに基づいて、図２の例とは異なる所定の画像処理を施すことを決定する。具体的には、端末装置１は、スクリーンＳＣ１中の調整領域ＡＲ４の透過度を、スクリーンＳＣ１よりも高くする画像処理を行っている。これにより、透過度の低いスクリーンＳＣ１が重畳されていたことにより視認できなかった、文字列「ＡＢＣ」が視認可能な状態となっている。このように、端末装置１は、ユーザに息を吹きかけられた場合に、表示画面の少なくとも一部について透過度を高くし、これにより、あたかも冷たい息で表示部１８の曇りが晴れたかのような視覚効果を生じさせることができる。
【００２０】
また、端末装置１は、図３の（ｂ）に示すように、強く冷たい息を吹きかけられた場合には、より広い範囲により透過度の高い領域を生じさせてもよい。同図の（ｂ）では、端末装置１に対してユーザが「フー」と息を吹きかけており、端末装置１は、同図の（ａ）の例と同様に、息を吹きかけたユーザの画像Ｐ５を撮像すると共に、息を吹きかけたときの音声を取得している。そして、端末装置１は、画像Ｐ５と上記音声に基づいて、同図の（ａ）と同様に、スクリーンＳＣ１の一部の透過度を高くする画像処理を行うと決定する。
【００２１】
ここで、図３の（ｂ）の例で吹きかけられた冷たい息の強さは同図の（ａ）の例よりも強く、このため冷たい息を吹きかけたときにユーザが発する音声の音量も同図の（ａ）の例よりも大きい。このため、端末装置１は、調整領域ＡＲ４よりも面積の広い調整領域ＡＲ５を設定し、その透過度を高くする。また、この調整領域ＡＲ５の透過度は、調整領域ＡＲ４よりも高いものとする。これにより、あたかも強く冷たい息によって、曇りが晴れる範囲が広くなると共に晴れ具合が強くなったかのような視覚効果を生じさせることができる。
【００２２】
また、端末装置１は、図３の（ｃ）に示すように、弱く冷たい息を吹きかけられた場合には、同図の（ａ）の例より狭い範囲に、同図の（ａ）の例より透過度の低い領域を生じさせてもよい。同図の（ｃ）では、端末装置１に対してユーザが「フー」と息を吹きかけており、端末装置１は、同図の（ａ）の例と同様に、息を吹きかけたユーザの画像Ｐ６を撮像すると共に、息を吹きかけたときの音声を取得している。そして、端末装置１は、画像Ｐ６と上記音声に基づいて、同図の（ａ）と同様に、スクリーンＳＣ１の一部の透過度を高くする画像処理を行うと決定する。
【００２３】
ここで、図３の（ｃ）の例で吹きかけられた冷たい息の強さは同図の（ａ）の例よりも弱く、このため冷たい息を吹きかけたときにユーザが発する音声の音量も同図の（ａ）の例よりも小さい。この音量の差異に基づき、端末装置１は、調整領域ＡＲ４よりも面積の狭い調整領域ＡＲ６を設定し、その透過度を高くする。また、この調整領域ＡＲ６の透過度は、調整領域ＡＲ４よりも低いものとする。これにより、あたかも冷たい息が弱かったことによって、曇りが晴れる範囲が狭くなると共に晴れ具合が弱くなったかのような視覚効果を生じさせることができる。
【００２４】
（息を吹きかけたときの動作例３：バリエーション）
端末装置１は、ユーザが息を吹きかけた位置に応じた画像処理を行ってもよい。図４は、端末装置１が、ユーザによる息の吹きかけ位置に応じた画像処理を行う動作例を示す図である。
【００２５】
図４の（ａ）の例では、文字列「ＡＢＣ」が表示されている端末装置１に対して息を吹きかけたユーザを撮像した画像が画像Ｐ７である。画像Ｐ７から、ユーザは表示部１８の下部に向かって暖かい息を吹きかけていることが分かる。
【００２６】
そこで、端末装置１は、画像Ｐ７を解析して、画像Ｐ７における顔の位置を判定し、その判定結果に応じてスクリーンの位置を調整する。具体的には、図示の例では、端末装置１は、画像Ｐ７における顔の位置に近い、表示部１８の下部に調整領域ＡＲ７を設定し、その透過度を低くしている。これにより、暖かい息を吹きかけた表示部１８の下部が曇ったかのような視覚効果を生じさせることができる。
【００２７】
また、図４の（ｂ）の例では、端末装置１に息を吹きかけたユーザを撮像した画像が画像Ｐ８である。端末装置１は、画像Ｐ８を解析して、画像Ｐ８における顔の位置を判定し、画像Ｐ８における顔の位置に近い、表示部１８の上部に調整領域ＡＲ８を設定し、その透過度を低くしている。これにより、暖かい息を吹きかけた表示部１８の上部が曇ったかのような視覚効果を生じさせることができる。
【００２８】
さらに、図４の（ｃ）の例では、ユーザは、文字列「ＡＢＣ」が表示されている表示部１８に、同図の（ａ）（ｂ）よりも顔を近付けて暖かい息を吹きかけている。この様子を端末装置１が撮像した画像が画像Ｐ９である。ユーザが表示部１８に顔を近付けると、その顔は撮像部１２にも近付くことになり、これにより撮像された画像に占める顔の大きさも大きくなる。よって、画像Ｐ９に占める顔の大きさから、ユーザが表示部１８に顔を近付けて暖かい息を吹きかけていることが分かる。
【００２９】
そこで、端末装置１は、画像Ｐ９を解析して、画像Ｐ９における顔の大きさを判定し、顔の大きさに応じた調整領域ＡＲ９を設定している。調整領域ＡＲ９は、撮影された画像における顔の割合がより小さい図４の（ａ）（ｂ）の調整領域ＡＲ７、８と比べて、面積が狭く、かつ透過度が低い。これにより、表示部１８の近くで暖かい息を吹きかけたことにより、狭い領域が濃く曇ったかのような視覚効果を生じさせることができる。
【００３０】
また、図４の（ｄ）の例では、ユーザは、文字列「ＡＢＣ」が表示されている表示部１８に、同図の（ａ）（ｂ）よりも顔を遠ざけた状態で暖かい息を吹きかけている。そして、端末装置１は、この様子を撮像した画像Ｐ１０を解析して、当該画像Ｐ１０における顔の割合を判定し、その判定結果に応じた調整領域ＡＲ１０を設定している。調整領域ＡＲ１０は、撮影された画像における顔の割合がより大きい図４の（ａ）（ｂ）の調整領域ＡＲ７、８と比べて、面積が広く、かつ透過度が高い。これにより、表示部１８から離れた位置から暖かい息を吹きかけたことにより、広い領域が薄く曇ったかのような視覚効果を生じさせることができる。
【００３１】
〔装置構成〕
端末装置１の構成を図１に基づいて説明する。図１は、端末装置１の要部構成の一例を示すブロック図である。図示のように、端末装置１は、主制御部１０、記憶部１１、撮像部１２、画像入力制御部１３、音声入力部１４、音声入力制御部１５、操作入力部１６、操作入力制御部１７、表示部１８、および表示制御部１９を備えている。
【００３２】
主制御部１０は、端末装置１の各部を統括して制御する。主制御部１０は、画像取得部１０１、画像解析部１０２、音声取得部１０３、音声解析部１０４、息種別判定部（動作判定部）１０５、対応情報生成部１０６、調整領域算出部（調整領域設定部）１０７、透過表示制御部（処理実行部）１０９、および透過度変化率算出部１０８を含む。また、記憶部１１は、端末装置１が使用する各種データを記憶するものである。記憶部１１には、対応情報１１１が記憶されている。
【００３３】
撮像部１２は上述のように画像を撮像するものであり、画像入力制御部１３は撮像部１２が撮像した画像を主制御部１０に入力するものである。また、音声入力部１４は上述のように音声の入力を受け付けるものであり、音声入力制御部１５は音声入力部１４が入力を受け付けた音声を主制御部１０に入力するものである。そして、操作入力部１６は、ユーザの入力操作を受け付けるものであり、操作入力制御部１７は操作入力部１６が入力を受け付けた操作内容を示す情報を主制御部１０に入力するものである。操作入力部１６は、例えば表示部１８の表示面を入力面とするタッチパネルであってもよい。また、表示部１８は上述のように画像を表示するものであり、表示制御部１９は主制御部１０の制御に従って表示部１８に画像を表示させるものである。
【００３４】
画像取得部１０１は、端末装置１のユーザの画像を取得する。より詳細には、画像取得部１０１は、撮像部１２が撮像したユーザの画像を、画像入力制御部１３を介して取得する。取得する画像は動画像であってもよいし、静止画像であってもよい。また、取得する静止画像の数は特に限定されず、１つであっても複数であってもよい。
【００３５】
画像解析部１０２は、画像取得部１０１が取得した画像を解析し、息種別判定部１０５等の処理に必要な各種データを出力する。具体的には、画像解析部１０２は、画像取得部１０１が取得した画像における顔の割合、および顔における口の割合を算出する。また、画像解析部１０２は、上記画像における口の形を判定し、口の形を示す情報を出力する。口の形を示す情報は、「大きく開いている」、「すぼめて小さく開いている」等の予め登録された口の形の複数のパターンの何れに該当するかを示す情報であってもよい。この他、画像解析部１０２は、上記画像における顔の位置を判定し、顔の位置を示す情報を出力する。顔の位置を示す情報は、表示画面におけるユーザが息を吹きかけた位置を示している。なお、画像解析部１０２は、ユーザが所定の動作を行ったか否かを判定できるような情報を解析結果として出力するものであればよく、その解析内容は上記の例に限られない。
【００３６】
音声取得部１０３は、画像取得部１０１が取得した画像の撮像時にユーザが発した音声を取得する。具体的には、音声取得部１０３は、音声入力部１４が入力を受け付けたユーザの発した音声を、音声入力制御部１５を介して取得する。
【００３７】
音声解析部１０４は、音声取得部１０３が取得した音声を解析し、息種別判定部１０５等の処理に必要な各種データを出力する。具体的には、音声解析部１０４は、音声取得部１０３が取得した音声の音量を判定し、該音量を示す情報を出力する。また、音声解析部１０４は、例えば「フー」や「ハー」等の音の内容についても解析して、その解析結果として音の内容を示す情報を出力する。出力する情報は、例えば音声の周波数やその分布を解析した結果を示す情報であってもよい。なお、音声解析部１０４は、ユーザが所定の動作を行ったか否かを判定できるような情報を解析結果として出力するものであればよく、その解析内容は上記の例に限られない。
【００３８】
息種別判定部１０５は、ユーザの画像と、該画像の撮像時に取得された音声とに基づいて、上記ユーザが息を吐く動作を行ったか否かを判定する。なお、本実施形態の息種別判定部１０５は、単にユーザが息を吐く動作を行ったか否かを判定するのみならず、ユーザの息の吐き方が、予め定められた複数の息の吐き方の何れに該当するか判定する。具体的には、息種別判定部１０５は、画像解析部１０２および音声解析部１０４の解析結果と、息の種別を規定する基準データとを照合することによって、ユーザが行った息を吐く動作について、暖かい息か冷たい息かを判定する。基準データの詳細は後述する。
【００３９】
対応情報生成部１０６は、ユーザの息の登録処理を行って対応情報１１１を生成する。登録処理において、対応情報生成部１０６は、ユーザに息を吐く動作を行わせ、その際に画像取得部１０１が取得した画像と音声取得部１０３が取得した音声に基づいて対応情報１１１を生成する。対応情報１１１の詳細は図５に基づいて後述し、登録処理の詳細は図６に基づいて後述する。
【００４０】
調整領域算出部１０７は、表示部１８の表示画面上において、透過度を調整する調整領域を設定する。具体的には、調整領域算出部１０７は、表示画面におけるユーザが息を吹きかけた位置に、ユーザの息の強さに応じた面積の調整領域を設定する。このため、調整領域算出部１０７は、息を吹きかけたユーザの画像から、調整領域を設定する位置を算出する。また、調整領域算出部１０７は、吹きかけられた息の強さが反映された、息を吹きかけたときの音声の音量から、調整領域のサイズを算出する。なお、表示画面の全面の透過度を調整してもよく、この場合調整領域算出部１０７は省略される。
【００４１】
透過表示制御部１０９は、画像取得部１０１が取得した画像と音声取得部１０３が取得した音声との組み合わせに応じた処理を実行する。具体的には、透過表示制御部１０９は、上記組み合わせからユーザが息を吐く動作を行ったと判定される場合に、息を吐く動作に予め対応付けられた所定の処理を実行する。さらに具体的には、息種別判定部１０５の判定結果が暖かい息であった場合には、透過表示制御部１０９は、表示画面に設定された調整領域の透過度を高くする処理を実行する。一方、息種別判定部１０５の判定結果が冷たい息であった場合には、調整領域の透過度を低くする処理を実行する。
【００４２】
透過度変化率算出部１０８は、透過表示制御部１０９が透過度を変化させる調整領域における透過度の変化率を算出する。透過表示制御部１０９は、透過度変化率算出部１０８が算出した変化率に従って、調整領域の透過度を変化させる。透過度は、０（全く透過しない）から１００（完全に透過する）までの数値で表されてもよい。
【００４３】
対応情報１１１は、息の種別を規定する基準データと息の種別に対応する処理を規定する対応処理情報とを対応付けた情報である。対応情報１１１に含まれる基準データを用いることによって、ユーザが吐いた息の種別を判定することができる。また、対応情報１１１に含まれる対応処理情報を用いることによって、息の種別に応じて実行すべき処理の内容を特定することができる。
【００４４】
〔対応情報の例〕
対応情報１１１は、例えば図５に示すような情報であってもよい。図５は、対応情報１１１の一例を示す図である。図示の対応情報１１１は、暖かい息と冷たい息という２つの種別の息のそれぞれについて基準データと対応処理情報とを対応付けた情報である。基準データには、息の音量、息の音、画像における顔の割合、口の形、および顔における口の割合、の全５つの要素が含まれている。
【００４５】
図示の対応情報１１１における、息の音量の要素「Ａ」には、暖かい息についての登録処理を行ったときに取得された音声の音量を示す数値が入る。同様に、息の音量の要素「Ａ’」には、冷たい息についての登録処理を行ったときに取得された音声の音量を示す数値が入る。息の音量の要素は、息の強さを示す情報として利用できる。
【００４６】
図示の対応情報１１１における、画像における息の音の要素「Ｂ」には、暖かい息についての登録処理を行ったときにユーザが吹きかけた息の音を示す情報が入る。同様に、息の音量の要素「Ｂ’」には、冷たい息についての登録処理を行ったときにユーザが吹きかけた息の音を示す情報が入る。要素「Ｂ」および「Ｂ’」に入る情報は、ユーザが吹きかけた息がどのような音であるか（音の内容）を示す情報であればよい。例えば、暖かい息の音は「ハー」という音のパターンに該当することを示す情報であってもよく、冷たい息の音は「フー」という音のパターンに該当することを示す情報であってもよい。
【００４７】
図示の対応情報１１１における、画像における顔の割合の要素「Ｃ」には、暖かい息についての登録処理を行ったときに撮像された画像において顔が占める割合を示す数値が入る。同様に、画像における顔の割合の要素「Ｃ’」には、冷たい息についての登録処理を行ったときに撮像された画像において顔が占める割合を示す数値が入る。画像における顔の割合の要素は、表示部１８の表示画面とユーザの顔との間の距離を示す情報として利用できる。
【００４８】
図示の対応情報１１１における、口の形の要素「Ｄ」には、暖かい息についての登録処理を行ったときに撮像された画像における口の形を示す情報が入る。同様に、口の形の要素「Ｄ’」には、ユーザが冷たい息についての登録処理を行ったときに撮像された画像における口の形を示す情報が入る。例えば、暖かい息の口の形は「大きく開いている」というパターンに該当することを示す情報であってもよく、冷たい息の口の形は「すぼめて小さく開いている」というパターンに該当することを示す情報であってもよい。
【００４９】
図示の対応情報１１１における、顔における口の割合の要素「Ｅ」には、暖かい息についての登録処理を行ったときに撮像された画像において顔に占める口の割合を示す数値が入る。同様に、顔における口の割合の要素「Ｅ’」には、冷たい息についての登録処理を行ったときに撮像された画像において顔に占める口の割合を示す数値が入る。
【００５０】
図示の対応情報１１１における、標準領域サイズの要素「Ｆ」には、暖かい息が吹きかけられたときに透過度を変化させる調整領域の標準のサイズを示す数値が入る。同様に、標準領域サイズの要素「Ｆ’」には、冷たい息が吹きかけられたときに透過度を変化させる調整領域の標準のサイズを示す数値が入る。
【００５１】
図示の対応情報１１１における、標準透過度変化率の要素「Ｇ」には、暖かい息が吹きかけられた場合の標準の透過度変化率を示す数値が入る。同様に、標準透過度変化率の要素「Ｇ’」には、冷たい息が吹きかけられた場合の標準の透過度変化率を示す数値が入る。標準透過度変化率の値は、例えば１ミリ秒あたりの透過度の変化量を示す値であってもよい。
【００５２】
〔処理の流れ：登録処理〕
対応情報１１１における基準データを登録する登録処理について図６に基づいて説明する。図６は、基準データの登録処理の一例を示すフローチャートである。なお、登録処理は、例えばユーザが登録処理を開始するための所定の入力操作を行ったことに応じて開始される。
【００５３】
Ｓ１では、対応情報生成部１０６は、表示制御部１９に指示して表示部１８にガイド画像を表示させる。ガイド画像は、ユーザの意図に応じた基準データが登録されるように、ユーザに登録のための動作を行うよう促す画像である。例えば、ガイド画像は、息を吹きかけるべき位置を示す情報と、その情報が示す位置にどのように息を吹きかければよいかを示すメッセージとを含む画像であってもよい。例えば、息を吹きかけるべき位置を十字等の印で示し、「暖かい息の基準データを登録する場合、十字の中心に向けて『ハー』と息を吹きかけて下さい。また、冷たい息の基準データを登録する場合、十字の中心に向けて『フー』と息を吹きかけて下さい。」のようなメッセージを表示してもよい。
【００５４】
Ｓ２では、画像取得部１０１が撮像部１２の撮像したユーザの画像を取得する。また、Ｓ３では、音声取得部１０３が音声入力部１４に入力された音声を取得する。なお、Ｓ２とＳ３の処理は同時に行ってもよいし、Ｓ３の処理を先に行い、その次にＳ２の処理を行ってもよい。
【００５５】
Ｓ４では、画像解析部１０２が、Ｓ２で取得された画像における、顔の割合、口の形、および顔における口の割合を算出する。なお、Ｓ4の処理は基準データを記録するＳ８までに行えばよく、この処理を行うタイミングは図示の例に限られない。
【００５６】
Ｓ５では、息種別判定部１０５が、音声解析部１０４による音声の解析結果、すなわち音の内容に基づき、Ｓ３で取得された音声が暖かい息の音であるか否かを判定する。息種別判定部１０５が暖かい息の音であると判定した場合（Ｓ５でＹＥＳ）にはＳ６に進む。一方、息種別判定部１０５が暖かい息の音ではないと判定した場合（Ｓ５でＮＯ）にはＳ１０に進む。
【００５７】
Ｓ６では、対応情報生成部１０６は、表示制御部１９に指示して表示部１８に暖かい息用のプレビュー画像を表示させる。暖かい息用のプレビュー画像は、表示部１８に表示されている画像に無色透明のスクリーンを重畳表示した上、該スクリーンにおける透過度の調整領域を所定の透過度とした画像である。また、この調整領域のサイズは、予め定められた標準の領域サイズとする。これにより、ユーザは、ガイド画像に従って吹きかけた息により、どのようなサイズの領域について透過度が変化するかを認識することができる。なお、上記所定の透過度は、ユーザが息を吹きかけた時間に応じた値としてもよい。この場合、透過表示制御部１０９は、ユーザが息を吹きかけた時間に、標準の透過度変化率を乗じて算出した透過度を適用する。これにより、ユーザは、どの程度の時間、息を吹きかけることにより、調整領域の透過度がどの程度となるかを認識することができる。
【００５８】
Ｓ７では、対応情報生成部１０６は、基準データの登録を確定させるか否かを判定する。対応情報生成部１０６は、例えば基準データの登録を確定させるか否かをユーザに選択させる画像を表示部１８に表示させて、その画像に対するユーザの選択結果に基づき上記判定を行ってもよい。対応情報生成部１０６が基準データの登録を確定させると判定した場合（Ｓ７でＹＥＳ）にはＳ８に進む。
【００５９】
一方、対応情報生成部１０６が基準データの登録を確定させないと判定した場合（Ｓ７でＮＯ）にはＳ１に戻り、対応情報生成部１０６はガイド画像を表示部１８に表示させて、再度ユーザに息を吹きかけることを促す。なお、２回目以降に表示させるガイド画像は、ユーザに普通の（自然な）息の吹きかけ方で息を吹きかけることを促すメッセージを含むものとしてもよい。例えば、「前回吹きかけた息が、普通に吹きかける息よりも強すぎると感じられた場合、今度はもっと弱く息を吹きかけてみて下さい。逆に、弱すぎると感じられた場合、今度はもっと強く息を吹きかけてみて下さい。」のようなメッセージを表示してもよい。
【００６０】
Ｓ８では、対応情報生成部１０６は、吹きかけられた息に関する各算出結果、すなわちＳ４で算出された顔の割合、口の形、および顔における口の割合と、Ｓ３で取得された音声の内容および音量とを暖かい息の基準データとして対応情報１１１に記録する。
【００６１】
Ｓ９では、対応情報生成部１０６が、Ｓ８で対応情報１１１に記録した基準データに対し、標準の領域サイズおよび標準の透過度変化率を対応付け、これにより図示の処理は終了する。Ｓ９の処理により、基準データと標準の領域サイズおよび標準の透過度変化率とが対応付けられた、暖かい息の対応情報１１１が完成する。なお、この時点で冷たい息の対応情報１１１が完成していない場合には、冷たい息についても基準データを登録するようにユーザに促してもよい。
【００６２】
Ｓ１０では、対応情報生成部１０６は、表示制御部１９に指示して表示部１８に冷たい息用のプレビュー画像を表示させる。冷たい息用のプレビュー画像は、透過度が所定値であるスクリーン上の、標準の領域サイズの調整領域における透過度を高くした画像である。これにより、ユーザは、ガイド画像に従って吹きかけた息により、どのような領域サイズで透過度が高くなるかを認識することができる。なお、Ｓ６の説明で記載したように、上記調整領域の透過度は、ユーザが息を吹きかけた時間に応じた値としてもよい。
【００６３】
Ｓ１１はＳ７と同様であり、対応情報生成部１０６は、基準データの登録を確定させるか否かを判定する。対応情報生成部１０６が基準データの登録を確定させると判定した場合（Ｓ１１でＹＥＳ）にはＳ１２に進む。一方、対応情報生成部１０６が基準データの登録を確定させないと判定した場合（Ｓ１１でＮＯ）にはＳ１に戻り、対応情報生成部１０６はガイド画像を表示部１８に表示させて、再度ユーザに息を吹きかけることを促す。なお、暖かい息の場合と同様に、２回目以降に表示させるガイド画像は、ユーザに普通の（自然な）息の吹きかけ方で息を吹きかけることを促すメッセージを含むものとしてもよい。
【００６４】
Ｓ１２では、対応情報生成部１０６は、吹きかけられた息に関する各算出結果、すなわちＳ４で算出された顔の割合、口の形、および顔における口の割合と、Ｓ３で取得された音声の内容および音量とを冷たい息の基準データとして対応情報１１１に記録する。
【００６５】
Ｓ１３では、対応情報生成部１０６が、Ｓ１２で対応情報１１１に記録した基準データに対し、標準の領域サイズおよび標準の透過度変化率を対応付け、これにより図示の処理は終了する。Ｓ１３の処理により、基準データと標準の領域サイズおよび標準の透過度変化率とが対応付けられた、冷たい息の対応情報１１１が完成する。この時点で暖かい息の対応情報１１１が完成していない場合には、暖かい息についても基準データを登録するようにユーザに促してもよい。
【００６６】
なお、基準データと標準の領域サイズおよび標準の透過度変化率は、予め対応情報１１１に登録しておいてもよい。この場合Ｓ８の処理で暖かい息の対応情報１１１が完成し、Ｓ１２の処理で冷たい息の対応情報１１１が完成するので、Ｓ９およびＳ１３の処理は省略される。
【００６７】
〔処理の流れ：息が吹きかけられたときの処理〕
ユーザによって息が吹きかけられたときに端末装置１が実行する処理について図７に基づいて説明する。図７は、ユーザによって息が吹きかけられたときに端末装置１が実行する処理（情報処理方法）の一例を示すフローチャートである。
【００６８】
Ｓ２１〜Ｓ２４は、図６のＳ２〜Ｓ５と同様である。すなわち、Ｓ２１では画像取得部１０１がユーザの画像を取得し、Ｓ２２では音声取得部１０３が音声を取得する。また、Ｓ２３では、画像解析部１０２が顔の割合、口の形、および顔における口の割合を算出する。そして、Ｓ２４（動作判定ステップ）では、息種別判定部１０５が、Ｓ２２で取得された音声が暖かい息の音であるか否かを判定する。息種別判定部１０５が暖かい息の音であると判定した場合（Ｓ２４でＹＥＳ）にはＳ２５に進む。一方、息種別判定部１０５が暖かい息の音ではないと判定した場合（Ｓ２４でＮＯ）にはＳ２７に進む。
【００６９】
Ｓ２５（動作判定ステップ）では、息種別判定部１０５は、吹きかけられた息に関する各算出結果、具体的にはＳ２３で算出された口の形および顔における口の割合が、暖かい息の基準データに近いか否かを判定する。この判定は、対応情報１１１に記録されている基準データと、上述の各算出結果とを照合することによって行う。なお、近いか否かの判定は、例えば、算出値が、基準データから所定の範囲内の値であるか否かによって行ってもよい。このように、Ｓ２４では音声に基づいた判定が行われ、Ｓ２５では画像に基づいた判定が行われる。つまり、ユーザの画像と該画像の撮像時に取得された音声との両方に基づいて、ユーザが暖かい息を吐く動作を行ったか否かが判定される。
【００７０】
息種別判定部１０５が暖かい息の基準データに近いと判定した場合（Ｓ２５でＹＥＳ）にはＳ２６（処理実行ステップ）の処理に進む。Ｓ２６の暖かい息対応処理の後、図示の処理は終了する。なお、暖かい息対応処理の詳細は図８に基づいて後述する。一方、息種別判定部１０５が暖かい息の基準データに近くはないと判定した場合（Ｓ２５でＮＯ）にはエラーとして図示の処理は終了する。
【００７１】
Ｓ２７（動作判定ステップ）では、息種別判定部１０５は、Ｓ２５と同様にして、吹きかけられた息に関する各算出結果が、冷たい息の基準データに近いか否かを判定する。このように、Ｓ２４では音声に基づいた判定が行われ、Ｓ２７では画像に基づいた判定が行われる。つまり、ユーザの画像と該画像の撮像時に取得された音声との両方に基づいて、ユーザが冷たい息を吐く動作を行ったか否かが判定される。
【００７２】
ここで、息種別判定部１０５が冷たい息の基準データに近いと判定した場合（Ｓ２７でＹＥＳ）には、Ｓ２８（処理実行ステップ）の処理に進む。Ｓ２８の冷たい息対応処理の後、図示の処理は終了する。なお、冷たい息対応処理の詳細は図８に基づいて後述する。一方、息種別判定部１０５が冷たい息の基準データに近くはないと判定した場合（Ｓ２７でＮＯ）にはエラーとして図示の処理は終了する。
【００７３】
〔処理の流れ：息の種別に応じた処理〕
図７のＳ２６で行われる暖かい息対応処理および同図のＳ２８で行われる冷たい息対応処理の詳細を図８に基づいて説明する。図８は、暖かい息対応処理および冷たい息対応処理の一例を示すフローチャートである。
【００７４】
（暖かい息対応処理）
Ｓ３１では、調整領域算出部１０７が息の音量に応じた領域サイズを算出し、透過度変化率算出部１０８が息の音量に応じた透過度変化率を算出する。例えば、調整領域算出部１０７は、領域サイズをＸ×Ｋ１との数式で算出してもよい。上記数式におけるＸの値は、対応情報１１１に記録されている、暖かい息の標準領域サイズ（図５の要素「Ｆ」）とする。また、Ｋ１は、息の音量に応じた係数である。暖かい息の基準データにおける息の音量（図５の要素「Ａ」）と同じ音量であれば、Ｋ１の値は１とする。また、暖かい息の基準データよりも音量が大きければ、Ｋ１は１より大きい値（音量が大きいほど大きい値）とする。そして、暖かい息の基準データよりも音量が小さければ、Ｋ１は１より小さい値（音量が小さいほど小さいゼロ以上の値）とする。
【００７５】
また、例えば、透過度変化率算出部１０８は、透過度変化率をＹ×Ｋ２との数式で算出してもよい。上記数式におけるＹの値は、対応情報１１１に記録されている、暖かい息の標準透過度変化率（図５の要素「Ｇ」）とする。また、Ｋ２は、息の音量に応じた係数である。暖かい息の基準データにおける息の音量（図５の要素「Ａ」）と同じ音量であれば、Ｋ２の値は１とする。また、暖かい息の基準データよりも音量が大きければ、Ｋ２は１より大きい値（音量が大きいほど大きい値）とする。そして、暖かい息の基準データよりも音量が小さければ、Ｋ２は１より小さい値（音量が小さいほど小さいゼロ以上の値）とする。
【００７６】
Ｓ３２では、調整領域算出部１０７が、画像における顔の割合に応じてＳ３１で算出した領域サイズを調整し、透過度変化率算出部１０８が、画像における顔の割合に応じてＳ３１で算出した透過度変化率を調整する。なお、図示は省略しているが、Ｓ３２の処理を行う前に、画像解析部１０２が、画像取得部１０１が取得した画像における顔の割合を算出している。
【００７７】
領域サイズの調整において、調整領域算出部１０７は、例えば、Ｓ３１で算出した領域サイズに係数Ｋ３を乗じることにより、該領域サイズを調整してもよい。Ｋ３は、画像における顔の割合（顔の大きさとも言える）に応じた係数である。算出された顔の割合が、暖かい息の基準データにおける、画像における顔の割合（図５の要素「Ｃ」）と同じ割合であれば、Ｋ３の値は１とする。また、暖かい息の基準データにおける割合よりも大きければ、Ｋ３は１より大きい値（割合が大きいほど大きい値）とする。そして、暖かい息の基準データにおける割合よりも小さければ、Ｋ３は１より小さい値（割合が小さいほど小さいゼロ以上の値）とする。
【００７８】
また、透過度変化率の調整において、透過度変化率算出部１０８は、例えば、Ｓ３１で算出した透過度変化率に係数Ｋ４を乗じることにより、該透過度変化率を調整してもよい。Ｋ４は、画像における顔の割合に応じた係数である。算出された顔の割合が、暖かい息の基準データにおける、画像における顔の割合（図５の要素「Ｃ」）と同じ割合であれば、Ｋ４の値は１とする。また、暖かい息の基準データにおける割合よりも大きければ、Ｋ４は１より大きい値（割合が大きいほど大きい値）とする。そして、暖かい息の基準データにおける割合よりも小さければ、Ｋ４は１より小さい値（割合が小さいほど小さいゼロ以上の値）とする。
【００７９】
Ｓ３３では、調整領域算出部１０７が、画像取得部１０１が取得した画像における顔の位置に応じて調整領域の位置を決定する。より詳細には、調整領域算出部１０７は、透過度を調整する調整領域の位置を決定する。これにより、表示画面におけるユーザが息を吹きかけた位置に調整領域を設定することができる。例えば、調整領域算出部１０７は、画像取得部１０１が取得した画像における顔の中心位置に対応する、表示部１８が表示する画像に重畳されたスクリーン上の位置を、調整領域の中心位置と決定してもよい。なお、図示は省略しているが、Ｓ３３の処理を行う前に、画像解析部１０２が、画像取得部１０１が取得した画像における顔の位置を検出している。
【００８０】
Ｓ３４では、透過表示制御部１０９が、スクリーンを配置済みであるか否かを判定する。透過表示制御部１０９がスクリーンを配置済みではないと判定した場合（Ｓ３４でＮＯ）にはＳ３５に進み、配置済みであると判定した場合（Ｓ３４でＹＥＳ）にはＳ３６に進む。
【００８１】
Ｓ３５では、透過表示制御部１０９が、表示部１８に表示されている画像に重畳して無色透明のスクリーンを配置する。
【００８２】
Ｓ３６では、透過度変化率算出部１０８が、ユーザの息の吹きかけが検出された後の経過時間を判定する。透過度変化率を１ミリ秒あたりの透過度の変化量を示す値としている場合、ミリ秒単位の経過時間を判定する。
【００８３】
Ｓ３７では、透過度変化率算出部１０８は、Ｓ３２でサイズが調整され、Ｓ３３で位置が決定された調整領域を、Ｓ３６で判定された経過時間に応じた透過度とする。具体的には、透過度変化率算出部１０８は、Ｓ３２で調整後の透過度変化率に、Ｓ３６で判定した経過時間を乗じて、透過度を算出する。そして、透過表示制御部１０９は、上記調整領域を、上記のようにして算出された透過度とする。
【００８４】
Ｓ３８では、透過度変化率算出部１０８が、息の音の入力が継続中であるか否かを判定する。透過度変化率算出部１０８が、息の音の入力が継続中であると判定した場合（Ｓ３８でＹＥＳ）には、Ｓ３６に戻る。この場合、経過時間に応じて調整領域の透過度が下がることになる。一方、透過度変化率算出部１０８が、息の音の入力が終了していると判定した場合（Ｓ３８でＮＯ）、図示の処理は終了する。このように、Ｓ３６〜Ｓ３８の処理により、透過表示制御部１０９は、ユーザが息を吐いている期間中、時間の経過に従って調整領域の透過度を低くする。
【００８５】
なお、息の入力が終了した後、スクリーンおよび調整領域の表示を終了してもよい。表示終了のタイミングは、息の入力の終了直後であってもよいし、息の入力の終了から所定時間経過後であってもよい。また、表示終了までの期間には、調整領域の透過度を段階的に上げて、曇りが自然に消失したかのような視覚効果を与えるようにしてもよい。
【００８６】
（冷たい息対応処理）
Ｓ４１では、調整領域算出部１０７が息の音量に応じた領域サイズを算出し、透過度変化率算出部１０８が息の音量に応じた透過度変化率を算出する。例えば、調整領域算出部１０７は、領域サイズをＸ’×Ｋ５との数式で算出してもよい。上記数式におけるＸ’の値は、対応情報１１１に記録されている、冷たい息の標準領域サイズ（図５の要素「Ｆ’」）とする。また、Ｋ５は、息の音量に応じた係数である。冷たい息の基準データにおける息の音量（図５の要素「Ａ’」）と同じ音量であれば、Ｋ５の値は１とする。また、冷たい息の基準データよりも音量が大きければ、Ｋ５は１より大きい値（音量が大きいほど大きい値）とする。そして、冷たい息の基準データよりも音量が小さければ、Ｋ５は１より小さい値（音量が小さいほど小さいゼロ以上の値）とする。
【００８７】
また、例えば、透過度変化率算出部１０８は、透過度変化率をＹ’×Ｋ６との数式で算出してもよい。上記数式におけるＹ’の値は、対応情報１１１に記録されている、冷たい息の標準透過度変化率（図５の要素「Ｇ’」）とする。また、Ｋ６は、息の音量に応じた係数である。冷たい息の基準データにおける息の音量（図５の要素「Ａ’」）と同じ音量であれば、Ｋ６の値は１とする。また、冷たい息の基準データよりも音量が大きければ、Ｋ６は１より大きい値（音量が大きいほど大きい値）とする。そして、冷たい息の基準データよりも音量が小さければ、Ｋ６は１より小さい値（音量が小さいほど小さいゼロ以上の値）とする。
【００８８】
Ｓ４２では、調整領域算出部１０７が、画像における顔の割合に応じてＳ４１で算出した領域サイズを調整し、透過度変化率算出部１０８が、画像における顔の割合に応じてＳ４１で算出した透過度変化率を調整する。なお、図示は省略しているが、Ｓ４２の処理を行う前に、画像解析部１０２が、画像取得部１０１が取得した画像における顔の割合および顔の位置を算出している。
【００８９】
領域サイズの調整において、調整領域算出部１０７は、例えば、Ｓ４１で算出した領域サイズに係数Ｋ７を乗じることにより、該領域サイズを調整してもよい。Ｋ７は、画像における顔の割合に応じた係数である。算出された顔の割合が、冷たい息の基準データにおける、画像における顔の割合（図５の要素「Ｃ’」）と同じ割合であれば、Ｋ７の値は１とする。また、冷たい息の基準データにおける割合よりも大きければ、Ｋ７は１より大きい値（割合が大きいほど大きい値）とする。そして、冷たい息の基準データにおける割合よりも小さければ、Ｋ７は１より小さい値（割合が小さいほど小さいゼロ以上の値）とする。
【００９０】
また、透過度変化率の調整において、透過度変化率算出部１０８は、例えば、Ｓ４１で算出した透過度変化率に係数Ｋ８を乗じることにより、該透過度変化率を調整してもよい。Ｋ８は、画像における顔の割合に応じた係数である。算出された顔の割合が、冷たい息の基準データにおける、画像における顔の割合（図５の要素「Ｃ’」）と同じ割合であれば、Ｋ８の値は１とする。また、冷たい息の基準データにおける割合よりも大きければ、Ｋ８は１より大きい値（割合が大きいほど大きい値）とする。そして、冷たい息の基準データにおける割合よりも小さければ、Ｋ８は１より小さい値（割合が小さいほど小さいゼロ以上の値）とする。
【００９１】
Ｓ４３では、調整領域算出部１０７は、画像取得部１０１が取得した画像における顔の位置に応じて調整領域の位置を決定する。より詳細には、調整領域算出部１０７は、透過度を調整する調整領域の位置を決定する。例えば、調整領域算出部１０７は、画像取得部１０１が取得した画像における顔の中心位置に対応する、表示部１８が表示する画像に重畳されたスクリーン上の位置を、調整領域の中心位置と決定してもよい。
【００９２】
Ｓ４４では、透過表示制御部１０９が、スクリーンを配置済みであるか否かを判定する。なお、このスクリーンは所定の透過度を有している。そして、透過表示制御部１０９がスクリーンを配置済みであると判定した場合（Ｓ４４でＹＥＳ）にはＳ４５に進む。一方、配置済みではないと判定した場合（Ｓ４４でＮＯ）には図示の処理は終了する。
【００９３】
Ｓ４５では、透過度変化率算出部１０８が、ユーザの息の吹きかけが検出された後の経過時間を判定する。透過度変化率を１ミリ秒あたりの透過度の変化量を示す値としている場合、ミリ秒単位の経過時間を判定する。
【００９４】
Ｓ４６では、透過度変化率算出部１０８は、Ｓ４２でサイズが調整され、Ｓ４３で位置が決定された調整領域を、Ｓ４５で判定された経過時間に応じた透過度とする。具体的には、透過度変化率算出部１０８は、Ｓ４２で調整後の透過度変化率に、Ｓ４５で判定した経過時間を乗じて、透過度を算出する。そして、透過表示制御部１０９は、上記調整領域を、上記のようにして算出された透過度とする。
【００９５】
Ｓ４７では、透過度変化率算出部１０８が、息の音の入力が継続中であるか否かを判定する。透過度変化率算出部１０８が、息の音の入力が継続中であると判定した場合（Ｓ４７でＹＥＳ）には、Ｓ４５に戻る。この場合、経過時間に応じて上記調整領域の透過度が上がることになる。一方、透過度変化率算出部１０８が、息の音の入力が終了していると判定した場合（Ｓ４７でＮＯ）、図示の処理は終了する。このように、Ｓ４５〜Ｓ４７の処理により、透過表示制御部１０９は、ユーザが息を吐いている期間中、時間の経過に従って調整領域の透過度を高くする。
【００９６】
なお、息の入力が終了した後、調整領域の透過度はスクリーンの透過度と同じ値に戻してもよい。同じ値に戻すタイミングは、息の入力の終了直後であってもよいし、息の入力の終了から所定時間経過後であってもよい。また、同じ値に戻すまでの期間には、調整領域の透過度を段階的に下げて、自然に曇った状態に戻ったかのような視覚効果を与えるようにしてもよい。
【００９７】
また、図８の例では、息の音量と画像における顔の割合の両方に応じて、調整領域のサイズと、透過度変化率を設定しているが、何れか一方に応じて設定してもよい。そして、ユーザが息を吹きかけた位置に応じて調整領域の位置を変える必要がなければ、Ｓ３３およびＳ３４の処理は省略してもよい。また、息の入力中は調整領域の透過度を変化させず、息の入力が終了した後で調整領域の透過度を変更してもよく、この場合Ｓ３８およびＳ４７の処理が省略される。
【００９８】
〔実施形態２〕
本発明の他の実施形態について図９から図１１に基づいて説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。実施形態３以降も同様である。
【００９９】
本実施形態の端末装置（情報処理装置）２は、ユーザを撮像した画像と、その撮像時に取得された音声との組み合わせに応じて、当該端末装置２を動作させるＣＰＵ（Central Processing Unit）のクロック周波数の下限値を変更する。具体的には、端末装置２は、暖かい息が吹きかけられた場合にはクロック周波数の下限値を標準値よりも高くし、冷たい息が吹きかけられた場合にはクロック周波数の下限値を標準値よりも低くする。
【０１００】
〔装置構成〕
図９は、本実施形態に係る端末装置２の要部構成の一例を示すブロック図である。端末装置２は、クロック制御部（処理実行部）２０１を備えており、調整領域算出部１０７、透過度変化率算出部１０８、および透過表示制御部１０９を備えていない点が端末装置１との相違点である。また、記憶部１１に記憶されている情報が対応情報２１１となっている点も端末装置１との相違点である。
【０１０１】
クロック制御部２０１は、端末装置２のクロック周波数を制御するものであり、ユーザが息を吐く動作を行ったと判定された場合に、クロック周波数の下限値を変更する。具体的には、クロック制御部２０１は、息種別判定部１０５の判定結果が暖かい息であった場合にはクロック周波数の下限値を標準値よりも高くし、同判定結果が冷たい息であった場合にはクロック周波数の下限値を標準値よりも低くする。
【０１０２】
対応情報２１１は、端末装置１が記憶している対応情報１１１と同様に、息の種別を規定する基準データと息の種別に対応する処理を規定する対応処理情報とを対応付けた情報である。対応情報２１１は、対応処理情報の内容が対応情報１１１と異なっている。具体的には、対応情報２１１は、対応処理情報として、息が吹きかけられたときに適用する、標準のクロック周波数下限値を含む。なお、上記実施形態と同様に、本実施形態においても息の種別が暖かい息と冷たい息の２種類である例を説明する。このため、対応情報２１１には、暖かい息と冷たい息のそれぞれについての基準データが含まれると共に、暖かい息と冷たい息のそれぞれについての対応処理情報が含まれる。
【０１０３】
〔登録処理／息が吹きかけられたときの処理〕
登録処理と息が吹きかけられたときの処理は、実施形態１と同様である。すなわち、端末装置２における登録処理は図６に示した流れで実現することができ、端末装置２に息が吹きかけられたときの処理は図７に示した流れで実現することができる。
【０１０４】
ただし、端末装置２における登録処理では、図６のＳ６（プレビュー画像を表示する処理）は行わない。その代わりに、暖かい息が吹きかけられたときに適用される、標準のクロック周波数下限値を数値やグラフなどで表示してもよい。また、Ｓ９では、対応情報２１１において、基準データと上記標準のクロック周波数下限値とを対応付ける。Ｓ１０およびＳ１３もＳ６およびＳ９とそれぞれ同様である。
【０１０５】
また、端末装置２に息が吹きかけられたときの処理（図７）は、Ｓ２６の暖かい息対応処理とＳ２８の冷たい息対応処理の内容が、実施形態１と異なっている。端末装置２が実行する、暖かい息対応処理および冷たい息対応処理の詳細については図１１に基づいて後述する。
【０１０６】
〔動作例〕
図１０は、端末装置２が、ユーザによる息の吹きかけに応じてクロック周波数の下限値を変更する処理を行う動作例を示す図である。図１０の（ａ）の例では、端末装置２に対して息を吹きかけたユーザを撮像した画像が画像Ｐ２０である。画像Ｐ２０から、ユーザは暖かい息を吹きかけていることが分かる。
【０１０７】
端末装置２は、画像Ｐ２０の解析結果に基づいて暖かい息対応処理を実行し、これにより端末装置２のクロック周波数の下限値は標準値よりも高い所定の値に変更される。また、端末装置２は、図示のように、クロック周波数の下限値が高くなったことを示唆するメッセージＭ１を表示している。メッセージＭ１の表示は必須ではないが、このようなメッセージを表示することにより、クロック周波数の下限値が高くなったことをユーザに認識させることができるので好ましい。
【０１０８】
一方、図１０の（ｂ）の例では、端末装置２に対して息を吹きかけたユーザを撮像した画像が画像Ｐ２１である。画像Ｐ２１から、ユーザは冷たい息を吹きかけていることが分かる。
【０１０９】
端末装置２は、画像Ｐ２１の解析結果に基づいて冷たい息対応処理を実行し、これにより端末装置２のクロック周波数の下限値は標準値よりも低い所定の値に変更される。また、端末装置２は、図示のように、クロック周波数の下限値が低くなったことを示唆するメッセージＭ２を表示している。メッセージＭ２の表示も必須ではないが、このようなメッセージを表示することにより、クロック周波数の下限値が低くなったことをユーザに認識させることができるので好ましい。
【０１１０】
〔処理の流れ〕
端末装置２が実行する暖かい息対応処理および冷たい息対応処理の詳細を図１１に基づいて説明する。図１１は、端末装置２が実行する暖かい息対応処理および冷たい息対応処理の一例を示すフローチャートである。
【０１１１】
（暖かい息対応処理）
Ｓ５１では、クロック制御部２０１が息の音量に応じたクロック周波数の下限値を算出する。例えば、クロック制御部２０１は、クロック周波数の下限値をＸ×Ｋ１との数式で算出してもよい。上記数式におけるＸの値は、対応情報２１１に記録されている、暖かい息の標準クロック周波数下限値とする。また、Ｋ１は、実施形態１で説明した係数Ｋ１と同様に、息の音量に応じた係数である。
【０１１２】
Ｓ５２では、クロック制御部２０１が、画像における顔の割合に応じてＳ５１で算出したクロック周波数の下限値を調整する。なお、図示は省略しているが、Ｓ５２の処理を行う前に、画像解析部１０２が、画像取得部１０１が取得した画像における顔の割合を算出している。
【０１１３】
クロック周波数の下限値の調整において、クロック制御部２０１は、例えば、Ｓ５１で算出したクロック周波数の下限値に係数Ｋ３を乗じることにより、該下限値を調整してもよい。Ｋ３は、実施形態１で説明した係数Ｋ３と同様に、画像における顔の割合に応じた係数である。
【０１１４】
Ｓ５３では、クロック制御部２０１が、表示制御部１９に指示して、クロック周波数の下限値を下げることを示す情報を表示部１８に表示させる。この情報は、例えば図１０の（ａ）に示したメッセージＭ１のようなものであってもよい。
【０１１５】
Ｓ５４では、クロック制御部２０１が、Ｓ５２で調整後の下限値を、端末装置２のクロック周波数の下限値として適用する。これにより、端末装置２のクロック周波数の下限値が高くなり、端末装置２の情報処理速度が向上する。
【０１１６】
Ｓ５５では、クロック制御部２０１が、クロック周波数の下限値変更後の経過時間を判定する。例えば、クロック制御部２０１は、ミリ秒単位の経過時間を判定してもよい。そして、Ｓ５６では、クロック制御部２０１は、経過時間が所定の時間閾値に到達したか否かを判定する。クロック制御部２０１が到達したと判定した場合（Ｓ５６でＹＥＳ）にはＳ５７に進み、到達していないと判定した場合（Ｓ５６でＮＯ）にはＳ５５に戻る。
【０１１７】
Ｓ５７では、クロック制御部２０１が、端末装置２のクロック周波数の下限値を標準の値に戻し、図示の処理は終了する。なお、クロック周波数の下限値を標準の値に戻すタイミングは、上記の例に限られない。例えば、ユーザが端末装置２に対して所定の入力操作を行ったときに標準の値に戻してもよい。また、例えば、ユーザが端末装置２を操作していない期間が所定の閾値を超えたときに標準の値に戻してもよい。また下限値の戻し方も特に限定されず、例えば時間の経過に伴って段階的にクロック周波数の下限値を下げて、標準の値に戻してもよい。
【０１１８】
（冷たい息対応処理）
Ｓ６１では、クロック制御部２０１が息の音量に応じたクロック周波数の下限値を算出する。例えば、クロック制御部２０１は、クロック周波数の下限値をＸ×Ｋ５との数式で算出してもよい。上記数式におけるＸの値は、対応情報２１１に記録されている、冷たい息の標準クロック周波数下限値とする。また、Ｋ５は、実施形態１で説明した係数Ｋ５と同様に、息の音量に応じた係数である。
【０１１９】
Ｓ６２では、クロック制御部２０１が、画像における顔の割合に応じてＳ６１で算出したクロック周波数の下限値を調整する。なお、図示は省略しているが、Ｓ６２の処理を行う前に、画像解析部１０２が、画像取得部１０１が取得した画像における顔の割合を算出している。
【０１２０】
クロック周波数の下限値の調整において、クロック制御部２０１は、例えば、Ｓ６１で算出したクロック周波数の下限値に係数Ｋ７を乗じることにより、該下限値を調整してもよい。Ｋ７は、実施形態１で説明した係数Ｋ７と同様に、画像における顔の割合に応じた係数である。
【０１２１】
Ｓ６３では、クロック制御部２０１が、表示制御部１９に指示して、クロック周波数の下限値を下げることを示す情報を表示部１８に表示させる。この情報は、例えば図１０の（ｂ）に示したメッセージＭ２のようなものであってもよい。
【０１２２】
Ｓ６４では、クロック制御部２０１が、Ｓ６２で調整後の下限値を、端末装置２のクロック周波数の下限値として適用する。これにより、端末装置２のクロック周波数の下限値が下がって端末装置２の情報処理速度は低下するが、端末装置２の温度は上がり難くなり、また電力消費量も抑えられる。
【０１２３】
Ｓ６５では、クロック制御部２０１が、クロック周波数の下限値変更後の経過時間を判定する。そして、Ｓ６６では、クロック制御部２０１は、経過時間が所定の時間閾値に到達したか否かを判定する。クロック制御部２０１が到達したと判定した場合（Ｓ６６でＹＥＳ）にはＳ６７に進み、到達していないと判定した場合（Ｓ６６でＮＯ）にはＳ６５に戻る。
【０１２４】
Ｓ６７では、クロック制御部２０１が、端末装置２のクロック周波数の下限値を標準の値に戻し、図示の処理は終了する。なお、クロック周波数の下限値を標準の値に戻すタイミングおよび戻し方が上記の例に限られないことは、上述の暖かい息対応処理と同様である。
【０１２５】
〔実施形態３〕
本発明のさらに他の実施形態について図１２から図１４に基づいて説明する。本実施形態の端末装置（情報処理装置）３は、ユーザを撮像した画像と、その撮像時に取得された音声との組み合わせに応じて、表示部１８に表示されている画像の表示倍率を変更する。具体的には、端末装置３は、暖かい息が吹きかけられた場合には画像を拡大表示し、冷たい息が吹きかけられた場合には画像を縮小表示する。
【０１２６】
〔装置構成〕
図１２は、本実施形態に係る端末装置３の要部構成の一例を示すブロック図である。端末装置３は、拡縮処理部（処理実行部）３０１を備えており、調整領域算出部１０７、透過度変化率算出部１０８、および透過表示制御部１０９を備えていない点が端末装置１との相違点である。また、記憶部１１に記憶されている情報が対応情報３１１となっている点も端末装置１との相違点である。
【０１２７】
拡縮処理部３０１は、表示部１８に表示している画像の表示倍率を制御するものであり、ユーザが息を吐く動作を行ったと判定された場合に、表示画面に表示されている画像の表示倍率を変更する処理を行う。具体的には、拡縮処理部３０１は、息種別判定部１０５の判定結果が暖かい息であった場合には表示倍率を１倍よりも高くし、同判定結果が冷たい息であった場合には表示倍率を１倍よりも低くする。
【０１２８】
対応情報３１１は、端末装置１が記憶している対応情報１１１と同様に、息の種別を規定する基準データと息の種別に対応する処理を規定する対応処理情報とを対応付けた情報である。対応情報３１１は、対応処理情報の内容が対応情報１１１と異なっている。具体的には、対応情報３１１は、対応処理情報として、息が吹きかけられたときに適用する、表示倍率の変化速度を示す情報を含む。なお、上記各実施形態と同様に、本実施形態においても息の種別が暖かい息と冷たい息の２種類である例を説明する。このため、対応情報３１１には、暖かい息と冷たい息のそれぞれについての基準データが含まれると共に、暖かい息と冷たい息のそれぞれについての対応処理情報が含まれる。暖かい息の対応処理情報は、標準の拡大速度を示す情報であり、冷たい息の対応処理情報は、標準の縮小速度を示す情報である。
【０１２９】
〔登録処理／息が吹きかけられたときの処理〕
登録処理と息が吹きかけられたときの処理は、実施形態１と同様である。すなわち、端末装置３における登録処理は図６に示した流れで実現することができ、端末装置３に息が吹きかけられたときの処理は図７に示した流れで実現することができる。
【０１３０】
なお、端末装置３における登録処理のＳ６（図６）では、ユーザが息を吹きかけた時間に応じた表示倍率でサンプル画像を拡大表示する。この場合、拡縮処理部３０１は、ユーザが息を吹きかけた時間に、標準の拡大速度を乗じて算出した表示倍率を適用する。これにより、ユーザは、どの程度の時間、息を吹きかけることにより、表示画面に表示されている画像がどの程度まで拡大されるかを認識することができる。また、Ｓ９では、対応情報３１１において、基準データと上記標準の拡大速度とを対応付ける。Ｓ１０およびＳ１３もＳ６およびＳ９とそれぞれ同様である。
【０１３１】
また、端末装置３に息が吹きかけられたときの処理（図７）は、Ｓ２６の暖かい息対応処理とＳ２８の冷たい息対応処理の内容が、実施形態１と異なっている。端末装置３が実行する、暖かい息対応処理および冷たい息対応処理の詳細については図１４に基づいて後述する。
【０１３２】
〔動作例〕
図１３は、端末装置３が、ユーザによる息の吹きかけに応じて表示倍率を変更する処理を行う動作例を示す図である。図１３の（ａ）の例では、端末装置３に対して息を吹きかけたユーザを撮像した画像が画像Ｐ３０である。画像Ｐ３０から、ユーザは暖かい息を吹きかけていることが分かる。
【０１３３】
端末装置３は、画像Ｐ３０の解析結果に基づいて暖かい息対応処理を実行し、これにより端末装置３が表示していた画像の表示倍率は１倍よりも高い所定の値に変更される。つまり、表示していた画像が拡大表示される。また、端末装置３は、図示のように、暖かい息の吹きかけに応じて表示倍率を上げたことを示唆するメッセージＭ３を表示している。メッセージＭ３の表示は必須ではないが、このようなメッセージを表示することにより、暖かい息の吹きかけと拡大表示との関連性をユーザに認識させることができるので好ましい。
【０１３４】
一方、図１３の（ｂ）の例では、端末装置３に対して息を吹きかけたユーザを撮像した画像が画像Ｐ３１である。画像Ｐ３１から、ユーザは冷たい息を吹きかけていることが分かる。
【０１３５】
端末装置３は、画像Ｐ３１の解析結果に基づいて冷たい息対応処理を実行し、これにより端末装置３が表示していた画像の表示倍率は１倍よりも低い所定の値に変更される。つまり、表示していた画像が縮小表示される。また、端末装置３は、図示のように、冷たい息の吹きかけに応じて表示倍率を下げたことを示唆するメッセージＭ４を表示している。メッセージＭ４の表示は必須ではないが、このようなメッセージを表示することにより、冷たい息の吹きかけと縮小表示との関連性をユーザに認識させることができるので好ましい。
【０１３６】
〔処理の流れ〕
端末装置３が実行する暖かい息対応処理および冷たい息対応処理の詳細を図１４に基づいて説明する。図１４は、端末装置３が実行する暖かい息対応処理および冷たい息対応処理の一例を示すフローチャートである。
【０１３７】
（暖かい息対応処理）
Ｓ７１では、拡縮処理部３０１が息の音量に応じた拡大速度を算出する。例えば、拡縮処理部３０１は、拡大速度をＸ×Ｋ１との数式で算出してもよい。上記数式におけるＸの値は、対応情報３１１に記録されている、暖かい息の標準の拡大速度とする。また、Ｋ１は、実施形態１で説明した係数Ｋ１と同様に、息の音量に応じた係数である。
【０１３８】
Ｓ７２では、拡縮処理部３０１が、画像における顔の割合に応じてＳ７１で算出した拡大速度を調整する。なお、図示は省略しているが、Ｓ７２の処理を行う前に、画像解析部１０２が、画像取得部１０１が取得した画像における顔の割合を算出している。拡大速度の調整において、拡縮処理部３０１は、例えば、Ｓ７１で算出した拡大速度に係数Ｋ３を乗じることにより、該拡大速度を調整してもよい。Ｋ３は、実施形態１で説明した係数Ｋ３と同様に、画像における顔の割合に応じた係数である。
【０１３９】
Ｓ７３では、拡縮処理部３０１が、表示制御部１９に指示して、表示画像を拡大することを示す情報を表示部１８に表示させる。この情報は、例えば図１３の（ａ）に示したメッセージＭ３のようなものであってもよい。
【０１４０】
Ｓ７４では、拡縮処理部３０１が、ユーザの息の吹きかけが検出された後の経過時間を判定する。拡大速度を１ミリ秒あたりの表示倍率の変化量を示す値としている場合、ミリ秒単位の経過時間を判定する。
【０１４１】
Ｓ７５では、拡縮処理部３０１が、表示倍率をＳ７４で判定された経過時間に応じたものとする。具体的には、拡縮処理部３０１は、Ｓ７２で調整した後の拡大速度に、Ｓ７４で判定された経過時間を乗じて算出した表示倍率で表示部１８に画像を表示させる。
【０１４２】
Ｓ７６では、拡縮処理部３０１が、息の音の入力が継続中であるか否かを判定する。拡縮処理部３０１が、息の音の入力が継続中であると判定した場合（Ｓ７６でＹＥＳ）には、Ｓ７４に戻る。この場合、経過時間に応じて表示倍率が上がることになる。一方、拡縮処理部３０１が、息の音の入力が終了していると判定した場合（Ｓ７６でＮＯ）、図示の処理は終了する。
【０１４３】
なお、息の入力が終了した後、自動的に拡大表示を終了してもよい。拡大表示終了のタイミングは、息の入力の終了直後であってもよいし、息の入力の終了から所定時間経過後であってもよい。また、拡大表示終了までの期間には、表示倍率を段階的に下げて、膨らんでいた画像が自然に萎んだかのような視覚効果を与えるようにしてもよい。
【０１４４】
（冷たい息対応処理）
Ｓ８１では、拡縮処理部３０１が息の音量に応じた縮小速度を算出する。例えば、拡縮処理部３０１は、縮小速度をＸ×Ｋ５との数式で算出してもよい。上記数式におけるＸの値は、対応情報３１１に記録されている、冷たい息の標準の縮小速度とする。また、Ｋ５は、実施形態１で説明した係数Ｋ５と同様に、息の音量に応じた係数である。
【０１４５】
Ｓ８２では、拡縮処理部３０１が、画像における顔の割合に応じてＳ８１で算出した縮小速度を調整する。なお、図示は省略しているが、Ｓ８２の処理を行う前に、画像解析部１０２が、画像取得部１０１が取得した画像における顔の割合を算出している。縮小速度の調整において、拡縮処理部３０１は、例えば、Ｓ８１で算出した縮小速度に係数Ｋ７を乗じることにより、該縮小速度を調整してもよい。Ｋ７は、実施形態１で説明した係数Ｋ７と同様に、画像における顔の割合に応じた係数である。
【０１４６】
Ｓ８３では、拡縮処理部３０１が、表示制御部１９に指示して、表示画像を縮小することを示す情報を表示部１８に表示させる。この情報は、例えば図１３の（ｂ）に示したメッセージＭ４のようなものであってもよい。
【０１４７】
Ｓ８４では、拡縮処理部３０１が、ユーザの息の吹きかけが検出された後の経過時間を判定する。縮小速度を１ミリ秒あたりの表示倍率の変化量を示す値としている場合、ミリ秒単位の経過時間を判定する。
【０１４８】
Ｓ８５では、拡縮処理部３０１が、表示倍率をＳ８４で判定された経過時間に応じたものとする。具体的には、拡縮処理部３０１は、Ｓ８２で調整した後の縮小速度に、Ｓ８４で判定された経過時間を乗じて算出した表示倍率で表示部１８に画像を表示させる。
【０１４９】
Ｓ８６では、拡縮処理部３０１が、息の音の入力が継続中であるか否かを判定する。拡縮処理部３０１が、息の音の入力が継続中であると判定した場合（Ｓ８６でＹＥＳ）には、Ｓ８４に戻る。この場合、経過時間に応じて表示倍率が下がることになる。一方、拡縮処理部３０１が、息の音の入力が終了していると判定した場合（Ｓ８６でＮＯ）、図示の処理は終了する。
【０１５０】
なお、息の入力が終了した後、自動的に縮小表示を終了してもよい。縮小表示終了のタイミングは、息の入力の終了直後であってもよいし、息の入力の終了から所定時間経過後であってもよい。また、縮小表示終了までの期間には、表示倍率を段階的に下げて、萎んでいた画像が自然に元のサイズに戻ったかのような視覚効果を与えるようにしてもよい。
【０１５１】
〔実施形態４〕
本発明のさらに他の実施形態について図１５に基づいて説明する。上記各実施形態ではユーザが息を吐く動作を行ったことに応じて所定の処理を行う端末装置１〜３について説明した。本実施形態では、ユーザが息を吸う動作を行ったことに応じて所定の処理を行う端末装置について説明する。
【０１５２】
図示は省略するが、本実施形態の端末装置（情報処理装置）は、図１に示した端末装置１と概ね同様の構成を備えている。本実施形態の端末装置の主制御部１０には、ユーザが息を吸う動作を行ったことに応じて所定の処理を実行する処理実行部が含まれている点が、端末装置１との相違点である。また、記憶部１１に記憶されている対応情報が、息を吸う動作を規定する基準データと、該動作に対応する処理を規定する対応処理情報とを対応付けた情報である点も端末装置１との相違点である。
【０１５３】
息を吸う動作を規定する基準データは、ユーザを撮像した画像の解析結果と、上記画像の撮像時に取得された音声の解析結果とに基づいて、ユーザが息を吸う動作を行ったか否かを判定できるものであればよい。例えば、息を吸う動作を規定する基準データは、息を吸う動作を行ったときのユーザの口の形、同ユーザの顔に占める口の割合、および取得された音声の内容を含んでいてもよい。基準データの登録は実施形態１と同様にして実現できる。
【０１５４】
息を吸う動作に対応付けられる対応処理情報は、本実施形態の端末装置が実行し得る任意の処理を示す情報とすることが可能である。この処理としては、例えば、本実施形態の端末装置が表示する、複数ページからなるコンテンツのページを切り替える処理や、同端末装置が表示する画面をスクロールさせる処理が挙げられる。息を吸う動作に応じてこれらの処理が行われるようにすることにより、ユーザは、ページや画面を吸い寄せる感覚で直感的に表示内容を変更することができる。また、息を吸う動作に応じて行われる処理は、設定をクリア（初期化）する処理や、入力済みまたは入力中の文字等を消去する処理であってもよい。これらの場合、ユーザは、情報を吸い取るような感覚で直感的に設定クリアや文字等の消去を行うことができる。この他にも、息を吸う動作に応じて行われる処理は、例えば、サムネイルやアイコンなどのオブジェクトを並び替える処理等であってもよい。これにより、例えば、アルバムに含まれる各画像のサムネイルを、息を吸う動作によりランダムに並び替えること等も可能になる。
【０１５５】
また、息を吸う動作に応じて行われる処理の内容は、息の吸い方に応じて変更してもよい。例えば、息を吸う強さ（音量の大きさ）、息を吸った時間（音声が検出されていた時間）、およびユーザの位置（撮像した画像に写っているユーザの位置あるいはユーザの口の位置）等に応じて処理の内容あるいは程度を変更してもよい。
【０１５６】
〔処理の流れ〕
本実施形態の端末装置が実行する処理の流れを図１５に基づいて説明する。図１５は、ユーザが息を吸う動作を行ったときに本実施形態の端末装置が実行する処理の一例を示すフローチャートである。
【０１５７】
Ｓ９１では画像取得部１０１がユーザの画像を取得し、Ｓ９２では音声取得部１０３が音声を取得する。そして、Ｓ９３では、息種別判定部１０５が、Ｓ９２で取得された音声が息を吸う音であるか否かを判定する。息種別判定部１０５が息を吸う音であると判定した場合（Ｓ９３でＹＥＳ）にはＳ９４に進む。一方、息種別判定部１０５が息を吸う音ではないと判定した場合（Ｓ９３でＮＯ）には図示の処理は終了する。
【０１５８】
Ｓ９４では、画像解析部１０２が、Ｓ９１で取得された画像における口の形、および該画像中の顔における口の割合を算出する。そして、Ｓ９５では、息種別判定部１０５が、Ｓ９４の算出結果は息を吸う動作の基準データに近いか否かを判定する。この判定は、対応情報１１１に記録されている基準データと、上述の各算出結果とを照合することによって行う。なお、近いか否かの判定は、例えば、算出値が、基準データから所定の範囲内の値であるか否かによって行ってもよい。
【０１５９】
息種別判定部１０５が息を吸う動作の基準データに近いと判定した場合（Ｓ９５でＹＥＳ）にはＳ９６の処理に進む。一方、息種別判定部１０５が息を吸う動作の基準データに近くはないと判定した場合（Ｓ９５でＮＯ）にはエラーとして図示の処理は終了する。なお、図示していないが、ユーザの他の動作（例えば息を吐く動作）について基準データが登録されている場合には、その基準データとＳ９４の算出結果とが近いか否かを判定する処理に進んでもよい。
【０１６０】
Ｓ９６では、処理実行部は、対応情報において息を吸う動作の基準データと対応付けられている処理を実行する。これにより図示の処理は終了する。
【０１６１】
なお、息種別判定部１０５は、息を吸う動作と対になる動作として、息を吐く（端末装置に息を吹きかける）動作が行われたか否か（息を吐く音であるか否か）についても判定してもよい。そして、処理実行部は、息を吐く動作が行われた場合には、対応情報において息を吐く動作と対応付けられている処理を実行してもよい。
【０１６２】
この場合、息を吐く動作に対応付ける処理と、息を吸う動作に対応付ける処理とを、関連したものとしてもよい。例えば、息を吐く動作にはコンテンツのページを順送りする処理を対応付け、息を吸う動作にはコンテンツのページを逆送りする処理を対応付けてもよい。また、例えば、息を吐く動作には画面を上方にスクロールさせる処理を対応付け、息を吸う動作には画面を下方にスクロールさせる処理を対応付けてもよい。
【０１６３】
無論、息を吐く動作に対応付ける処理は特に限定されず、例えば、設定をクリア（初期化）する処理や、入力済みまたは入力中の文字等を消去する処理であってもよい。これらの場合、ユーザは、情報を吹き飛ばすような感覚で直感的に設定クリアや文字等の消去を行うことができる。この他にも、息を吐く動作に応じて行われる処理は、例えば、サムネイルやアイコンなどのオブジェクトを並び替える処理等であってもよい。さらに、例えば、電子メールやメッセージを送信する処理等であってもよい。この場合、紙飛行機を飛ばすイメージと息を吹く動作とが結びつくので、動作と処理の対応をユーザが覚えやすい。また、この場合、撮像した画像についてさらに解析し、その解析結果に応じた情報を電子メールやメッセージに追加してもよい。例えば、撮影した画像や音声から、端末装置のユーザが男性であると判定された場合には、送信者が男性であることを示す情報を追加してもよい。また、例えば、ユーザの肌の色や唇の色に応じたアイコン等をメッセージに追加してもよい。
【０１６４】
〔実施形態５〕
上記各実施形態では、１つの端末装置（端末装置１〜３）を用いる例を説明したが、端末装置１〜３の有する機能の一部を、端末装置１〜３と通信可能なサーバに持たせてもよい。つまり、本発明は、端末装置とサーバとを含む情報処理システムとしても実現できる。使用するサーバは、１つであっても複数であってもよい。そして、複数のサーバを適用する場合においては、各サーバは、同じ事業者によって管理されていてもよいし、異なる事業者によって管理されていてもよい。
【０１６５】
〔実施形態６〕
端末装置１〜３の各ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。後者の場合、端末装置１〜３のそれぞれを、図１６に示すようなコンピュータ（電子計算機）を用いて構成することができる。
【０１６６】
図１６は、上記各実施形態の端末装置として利用可能なコンピュータ９１０の構成を例示したブロック図である。コンピュータ９１０は、バス９１１を介して互いに接続された演算装置９１２と、主記憶装置９１３と、補助記憶装置９１４と、入出力インターフェース９１５と、通信インターフェース９１６とを備えている。演算装置９１２、主記憶装置９１３、および補助記憶装置９１４は、それぞれ、例えばプロセッサ（例えばＣＰＵ等）、ＲＡＭ（random access memory）、ハードディスクドライブであってもよい。入出力インターフェース９１５には、ユーザがコンピュータ９１０に各種情報を入力するための入力装置９２０、および、コンピュータ９１０がユーザに各種情報を出力するための出力装置９３０が接続される。入力装置９２０および出力装置９３０は、コンピュータ９１０に内蔵されたものであってもよいし、コンピュータ９１０に接続された（外付けされた）ものであってもよい。例えば、入力装置９２０は、キーボード、マウス、タッチセンサなどであってもよく、出力装置９３０は、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置９２０および出力装置９３０の双方の機能を有する装置を適用してもよい。そして、通信インターフェース９１６は、コンピュータ９１０が外部の装置と通信するためのインターフェースである。
【０１６７】
補助記憶装置９１４には、コンピュータ９１０を端末装置１〜３として動作させるための各種のプログラムが格納されている。そして、演算装置９１２は、補助記憶装置９１４に格納された上記プログラムを主記憶装置９１３上に展開して該プログラムに含まれる命令を実行することによって、コンピュータ９１０を、端末装置１〜３が備える各部として機能させる。なお、補助記憶装置９１４が備える、プログラム等の情報を記録する記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。また、記録媒体に記録されているプログラムを、主記憶装置９１３上に展開することなく実行可能なコンピュータであれば、主記憶装置９１３を省略してもよい。なお、上記各装置（演算装置９１２、主記憶装置９１３、補助記憶装置９１４、入出力インターフェース９１５、通信インターフェース９１６、入力装置９２０、および出力装置９３０）は、それぞれ１つであってもよいし、複数であってもよい。
【０１６８】
また、上記プログラムは、コンピュータ９１０の外部から取得してもよく、この場合、任意の伝送媒体（通信ネットワークや放送波等）を介して取得してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１６９】
〔変形例〕
ユーザの画像と該画像の撮像時にユーザが発した音声とに基づいて実行されたか否かが判定される、「予め定められた所定の動作」は、上記実施形態で示した各例に限定されない。
【０１７０】
また、「予め定められた所定の動作」が息を吐く動作である場合、実施形態１〜４の例のように、息の種別についても判定してもよいし、息の種別は判定せずに息を吐く動作が行われたか否かを判定してもよい。なお、上記種別は、暖かい息と冷たい息に限られない。例えば、息を吐いた（発声した）ときの声の種別（ビブラート、裏声等）を、息の種別としてもよい。
【０１７１】
さらに、本発明は、ユーザが物理的な操作キーやタッチパネル等に触れることなく入力操作を行うことができる入力装置にも応用できる。例えば、上記各実施形態の端末装置は、表示画面上におけるユーザが息を吹きかけた位置を特定し、該位置を入力位置であるとして所定の処理を行ってもよい。具体例を挙げれば、上記端末装置は、息を吹きかけた位置の中心部の軌跡を表示してもよい。これにより、ユーザは、息を吹きかけることによって模様などを描くことができる。また、息の種類（暖かい、冷たい、強い、弱い等）に応じて線の種類（色、太さ、パターン等）を変えてもよい。
【０１７２】
また、上記端末装置は、ユーザが息を吐きながら所定の音を発した場合に、その音を契機として、所定の処理を行ってもよい。例えば、上記端末装置は、ユーザが息を吹きかけた位置に追従してカーソルを移動させてゆき、「フッ」等の所定の音を上記ユーザが発したときに、上記カーソルが重畳されているオブジェクトが選択されたと判定してもよい。これにより、マウスによるカーソルの移動およびクリックと同様の処理を、特別な入力装置もボタン操作も行うことなく実現することができる。
【０１７３】
なお、ユーザの息を吹きかけた位置に応じた処理を行う場合、登録処理においては、ユーザの意図した位置が、息を吹きかけた位置として端末装置に認識されるように、キャリブレーションを行うことが好ましい。
【０１７４】
〔まとめ〕
本発明の態様１に係る情報処理装置（端末装置１〜３）は、ユーザの画像と該画像の撮像時に取得された音声とに基づいて、上記ユーザが予め定められた動作を行ったか否かを判定する動作判定部（息種別判定部１０５）と、上記動作判定部が、上記ユーザが上記動作を行ったと判定した場合に、当該動作に対して予め対応付けられた処理を実行する処理実行部（透過表示制御部１０９／クロック制御部２０１／拡縮処理部３０１）と、を備えている。
【０１７５】
上記の構成によれば、ユーザの画像のみならず、その画像の撮像時に取得された音声も考慮してユーザの動作を判定し、その動作に応じた処理を行うことができる。なお、「撮像時」は、判定の対象である動作に応じたタイミング、すなわち該動作に関連した音が取得可能なタイミングであればよく、撮像と同時であってもよいし、撮像前または撮像後であってもよい。
【０１７６】
本発明の態様２に係る情報処理装置は、上記態様１において、上記処理実行部は、上記動作判定部が、上記ユーザが息を吐く動作を行ったと判定した場合に、息を吐く動作に予め対応付けられた処理を実行してもよい。
【０１７７】
上記の構成によれば、ユーザは、息を吐く動作を行うだけで、情報処理装置に所定の処理を実行させることができる。また、上記の構成によれば、ユーザの画像と該画像の撮像時に取得された音声とに基づいて判定を行うので、ユーザの画像のみに基づいて判定を行う場合と比べて、ユーザが息を吐く動作を行ったことを正確に判定することができる。
【０１７８】
本発明の態様３に係る情報処理装置は、上記態様２において、上記動作判定部は、上記ユーザの息の吐き方が、予め定められた複数の息の吐き方の何れに該当するか判定し、上記処理実行部は、上記動作判定部の判定結果に応じて異なる処理を実行してもよい。
【０１７９】
上記の構成によれば、ユーザは、息の吐き方を変えるだけで、情報処理装置に異なる処理を実行させることができる。
【０１８０】
本発明の態様４に係る情報処理装置は、上記態様３において、上記処理実行部は、上記動作判定部の判定結果が暖かい息の吐き方であった場合には、表示画面に設定された調整領域の透過度を高くする処理を実行し、上記動作判定部の判定結果が冷たい息の吐き方であった場合には、上記調整領域の透過度を低くする処理を実行してもよい。
【０１８１】
上記の構成によれば、ユーザは、暖かい息を吹きかけて表示画面を曇らせるような感覚で表示画面に設定された調整領域の透過度を高くすることができる。言い換えれば、表示画面の視認性を低下させることができる。また、曇った表示画面に冷たい息を吹きかけて曇りをとるような感覚で表示画面に設定された調整領域の透過度を低くすることができる。言い換えれば、表示画面の視認性を回復させることができる。
【０１８２】
本発明の態様５に係る情報処理装置は、上記態様４において、上記処理実行部は、上記調整領域の透過度を高くする処理を実行する場合、上記ユーザが息を吐いている期間中、時間の経過に従って上記調整領域の透過度を高くし、上記調整領域の透過度を低くする処理を実行する場合、上記ユーザが息を吐いている期間中、時間の経過に従って上記調整領域の透過度を低くしてもよい。
【０１８３】
上記の構成によれば、ユーザは、実際に表示画面に息を吹きかけて曇らせたり、曇りをとったりする場合と同様の感覚で息を吹きかける時間を調整することにより、調整領域の透過度を調整することができる。
【０１８４】
本発明の態様６に係る情報処理装置は、上記態様４または５において、上記ユーザの息の強さ、および上記表示画面と上記ユーザの顔との間の距離の少なくとも何れかに応じた面積の上記調整領域を設定する調整領域設定部（調整領域算出部１０７）を備えていてもよい。
【０１８５】
上記の構成によれば、ユーザは、実際に表示画面に息を吹きかけて曇らせたり、曇りをとったりする場合と同様の感覚で息の強さや表示画面までの距離を調整することにより、調整領域の広さを調整することができる。
【０１８６】
本発明の態様７に係る情報処理装置は、上記態様４から６の何れかにおいて、上記処理実行部は、上記調整領域を、上記ユーザの息の強さ、および上記表示画面と上記ユーザの顔との間の距離の少なくとも何れかに応じた透過度としてもよい。
【０１８７】
上記の構成によれば、ユーザは、実際に表示画面に息を吹きかけて曇らせたり、曇りをとったりする場合と同様の感覚で息の強さや表示画面までの距離を調整することにより、調整領域の透過度を調整することができる。
【０１８８】
本発明の態様８に係る情報処理装置は、上記態様４から７の何れかにおいて、上記表示画面における上記ユーザが息を吹きかけた位置に上記調整領域を設定する調整領域設定部を備えていてもよい。
【０１８９】
上記の構成によれば、ユーザは、実際に表示画面に息を吹きかけて曇らせたり、曇りをとったりする場合と同様の感覚で息を吹きかける位置を調整することにより、表示画面の所望の位置の透過度を高めたり、低くしたりすることができる。
【０１９０】
本発明の態様９に係る情報処理装置は、上記態様１において、上記処理は、上記情報処理装置のクロック周波数の下限値を変更する処理であってもよい。
【０１９１】
上記の構成によれば、ユーザの画像と該画像の撮像時に取得された音声とに基づいてユーザが所定の動作を行ったことを正確に判定して、情報処理装置のクロック周波数の下限値を変更することができる。また、ユーザは、所定の動作を行うだけで、情報処理装置のクロック周波数の下限値を変更することができる。
【０１９２】
本発明の態様１０に係る情報処理装置は、上記態様１において、上記処理は、表示画面に表示されている画像の表示倍率を変更する処理であってもよい。
【０１９３】
上記の構成によれば、ユーザの画像と該画像の撮像時に取得された音声とに基づいてユーザが所定の動作を行ったことを正確に判定して、表示画面に表示されている画像の表示倍率を変更することができる。また、ユーザは、所定の動作を行うだけで、表示画面に表示されている画像の表示倍率を変更することができる。
【０１９４】
本発明の態様１１に係る情報処理装置は、上記態様１から１０の何れかにおいて、上記処理実行部は、上記動作判定部が、上記ユーザが息を吸う動作を行ったと判定した場合に、息を吸う動作に予め対応付けられた処理を実行してもよい。
【０１９５】
上記の構成によれば、ユーザの画像と該画像の撮像時に取得された音声とに基づいてユーザが息を吸う動作を行ったことを正確に判定して、所定の処理を実行することができる。また、ユーザは、息を吸う動作を行うだけで、情報処理装置に所定の処理を実行させることができる。
【０１９６】
本発明の態様１２に係る情報処理方法は、情報処理装置（端末装置１〜３）による情報処理方法であって、ユーザの画像と該画像の撮像時に取得された音声とに基づいて、上記ユーザが予め定められた動作を行ったか否かを判定する動作判定ステップ（Ｓ２４、２５、２７）と、上記動作判定ステップで、上記ユーザが上記動作を行ったと判定した場合に、当該動作に対して予め対応付けられた処理を実行する処理実行ステップ（Ｓ２６、Ｓ２８）と、を含む。この情報処理方法によれば、上記態様１と同様の作用効果を奏する。
【０１９７】
本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報処理装置が備える各部（ソフトウェア要素）として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０１９８】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【０１９９】
１  端末装置（情報処理装置）
１０５  息種別判定部（動作判定部）
１０７  調整領域算出部（調整領域設定部）
１０９  透過表示制御部（処理実行部）
２  端末装置（情報処理装置）
２０１  クロック制御部（処理実行部）
３  端末装置（情報処理装置）
３０１  拡縮処理部（処理実行部）
ＡＲ１〜１０  調整領域
Ｐ１〜１０、Ｐ２０、Ｐ２１、Ｐ３０、Ｐ３１  画像
【図１】
2019028702.tif 000003
【図２】
2019028702.tif 000004
【図３】
2019028702.tif 000005
【図４】
2019028702.tif 000006
【図５】
2019028702.tif 000007
【図６】
2019028702.tif 000008
【図７】
2019028702.tif 000009
【図８】
2019028702.tif 000010
【図９】
2019028702.tif 000011
【図１０】
2019028702.tif 000012
【図１１】
2019028702.tif 000013
【図１２】
2019028702.tif 000014
【図１３】
2019028702.tif 000015
【図１４】
2019028702.tif 000016
【図１５】
2019028702.tif 000017
【図１６】
2019028702.tif 000018