(57)【要約】【課題】複数画像捕捉能力を有する触覚対応デバイスを提供すること。【解決手段】この触覚効果対応システムは、第1の画像センサと、第2画像のセンサと、触覚出力デバイスと、画像センサおよび触覚出力デバイスに結合されたプロセッサとを含む触覚効果対応システム。第1の画像センサは第1のデジタル画像を生成し、第2の画像センサは第2のデジタル画像を生成する。プロセッサは、第1または第2のデジタル画像に関連する画像イベントの通知を受信する。プロセッサは、画像イベントに対応する触覚効果を決定し、触覚出力デバイスを用いて触覚効果を適用する。【選択図】図1
2019003639.tif 000002
【特許請求の範囲】
【請求項１】
触覚効果対応システムであって、
第1のデジタル画像を生成する第1の画像センサと、
第2のデジタル画像を生成する第2の画像センサと、
触覚出力デバイスと、
前記第1および第2の画像センサならびに前記触覚出力デバイスに結合されたプロセッサとを備え、前記プロセッサが、
前記第1のデジタル画像または前記第2のデジタル画像に関連する画像イベントの通知を受信し、
前記画像イベントに対応する触覚効果を決定し、
前記触覚出力デバイスを用いて前記触覚効果を適用する、触覚効果対応システム。
【請求項２】
前記第1の画像センサが、第1のレンズを有する第1の画像捕捉デバイスに関連付けられ、前記第2の画像センサが、第2のレンズを有する第2の画像捕捉デバイスに関連付けられる、請求項1に記載のシステム。
【請求項３】
前記第1および第2のレンズのレンズタイプが、広角レンズまたはズームレンズを備える、請求項2に記載のシステム。
【請求項４】
前記第1のレンズのレンズタイプが広角レンズを備え、前記第2のレンズのレンズタイプがズームレンズを備える、請求項2に記載のシステム。
【請求項５】
前記プロセッサが、前記第1のデジタル画像または前記第2のデジタル画像に関連する複数の画像イベントの通知を受信し、前記プロセッサが、前記複数の画像イベントのうちの1つに対応する前記触覚効果が、前記複数の画像イベントのうちの別の1つに対応する前記触覚効果と異なると決定する、請求項1に記載のシステム。
【請求項６】
前記プロセッサが複数の画像イベントの通知を受信し、前記複数の画像イベントのうちの少なくとも1つが前記第1のデジタル画像に関連し、前記複数の画像イベントのうちの少なくとも別の1つが前記第2のデジタル画像に関連する、請求項1に記載のシステム。
【請求項７】
前記プロセッサが、前記複数の画像イベントのうちの前記少なくとも1つに対応する前記触覚効果を決定し、前記複数の画像イベントのうちの前記少なくとも別の1つに対応する前記触覚効果を決定し、前記複数の画像イベントのうちの前記少なくとも1つに対応する前記触覚効果および前記複数の画像イベントのうちの前記少なくとも別の1つに対応する前記触覚効果が、異なる時間に適用される、請求項6に記載のシステム。
【請求項８】
前記プロセッサが、前記複数の画像イベントのうちの前記少なくとも1つに対応する前記触覚効果を決定し、前記複数の画像イベントのうちの前記少なくとも別の1つに対応する前記触覚効果を決定し、前記複数の画像イベントのうちの前記少なくとも1つに対応する前記触覚効果および前記複数の画像イベントのうちの前記少なくとも別の1つに対応する前記触覚効果が、少なくとも2つの触覚出力デバイスを使用して同時に適用される、請求項6に記載のシステム。
【請求項９】
前記画像イベントが、ホワイトバランスにおける変化、ISO(国際標準化機構)設定における変化、シャッタ速度設定における変化、または被写界深度設定における変化を含む、請求項1に記載のシステム。
【請求項１０】
前記画像イベントが、開口サイズ調整、ズーム動作、手振れ防止動作、GPSタグ動作、フラッシュ動作、写真サイズ調整、顔検出動作、フィルタ動作、測定動作、露出補正動作、シーンモード動作、画像スティッチング動作、パッシブ式オートフォーカス動作、アクティブ式オートフォーカス動作、ハイブリッド式オートフォーカス動作を含む、請求項1に記載のシステム。
【請求項１１】
触覚効果対応システムであって、
第1のデジタル画像を生成する第1の画像センサと、
第2のデジタル画像を生成する第2の画像センサと、
触覚出力デバイスと、
前記第1および第2の画像センサならびに前記触覚出力デバイスに結合されたプロセッサとを備え、前記プロセッサが、
前記第1のデジタル画像に関連する第1の画像イベントの通知を受信し、
前記第2のデジタル画像に関連する第2の画像イベントの通知を受信し、
前記第1の画像イベントに対応する第1の触覚効果を決定し、
前記第2の画像イベントに対応する第2の触覚効果を決定し、
前記触覚出力デバイスを用いて前記第1の触覚効果を適用し、
前記第1の触覚効果を適用した後、前記触覚出力デバイスを用いて完了触覚効果を適用し、
前記完了触覚効果を適用した後、前記触覚出力デバイスを用いて前記第2の触覚効果を適用する、触覚効果対応システム。
【請求項１２】
同じ前記触覚出力デバイスが、前記第1の触覚効果、前記完了触覚効果、および前記第2の触覚効果の各々を適用する、請求項11に記載のシステム。
【請求項１３】
前記触覚出力デバイスが少なくとも2つの触覚出力デバイスを備え、前記少なくとも2つの触覚出力デバイスのうちの1つが前記第1の触覚効果を送達し、前記少なくとも2つの触覚出力デバイスのうちの別の1つが前記完了触覚効果を送達する、請求項11に記載のシステム。
【請求項１４】
前記第1の画像イベントが、前記第1のデジタル画像に関連する複数の画像イベントを含み、前記複数の画像イベントに対応すると決定されたすべての触覚効果が、前記触覚出力デバイスを用いて前記完了触覚効果を適用する前に前記触覚出力デバイスを用いて適用される、請求項11に記載のシステム。
【請求項１５】
前記第1の画像センサが、第1のレンズを有する第1の画像捕捉デバイスに関連付けられ、前記第2の画像センサが、第2のレンズを有する第2の画像捕捉デバイスに関連付けられる、請求項11に記載のシステム。
【請求項１６】
前記第1のレンズのレンズタイプが広角レンズを備え、前記第2のレンズのレンズタイプがズームレンズを備える、請求項15に記載のシステム。
【請求項１７】
前記画像イベントが、ホワイトバランスにおける変化、ISO(国際標準化機構)設定における変化、シャッタ速度設定における変化、または被写界深度設定における変化を含む、請求項11に記載のシステム。
【請求項１８】
前記画像イベントが、開口サイズ調整、ズーム動作、手振れ防止動作、GPSタグ動作、フラッシュ動作、写真サイズ調整、顔検出動作、フィルタ動作、測定動作、露出補正動作、シーンモード動作、画像スティッチング動作、パッシブ式オートフォーカス動作、アクティブ式オートフォーカス動作、ハイブリッド式オートフォーカス動作を含む、請求項11に記載のシステム。
【請求項１９】
触覚効果を作成する方法であって、
第1の画像センサから第1のデジタル画像を受信するステップと、
第2の画像センサから第2のデジタル画像を受信するステップと、
前記第1のデジタル画像または前記第2のデジタル画像に関連する画像イベントの通知を受信するステップと、
前記画像イベントに対応する触覚効果を決定するステップと、
触覚出力デバイスを用いて前記触覚効果を適用するステップとを備える、方法。
【請求項２０】
前記第1の画像センサが、第1のレンズを有する第1の画像捕捉デバイスに関連付けられ、前記第2の画像センサが、第2のレンズを有する第2の画像捕捉デバイスに関連付けられる、請求項19に記載の方法。
【請求項２１】
前記第1のレンズが広角レンズを備え、前記第2のレンズがズームレンズを備える、請求項20に記載の方法。
【請求項２２】
前記画像イベントが、ホワイトバランスにおける変化、ISO(国際標準化機構)設定における変化、シャッタ速度設定における変化、または被写界深度設定における変化を含む、請求項20に記載の方法。
【請求項２３】
前記画像イベントが、開口サイズ調整、ズーム動作、手振れ防止動作、GPSタグ動作、フラッシュ動作、写真サイズ調整、顔検出動作、フィルタ動作、測定動作、露出補正動作、シーンモード動作、画像スティッチング動作、パッシブ式オートフォーカス動作、アクティブ式オートフォーカス動作、ハイブリッド式オートフォーカス動作を含む、請求項20に記載の方法。
【請求項２４】
前記第1または第2のデジタル画像に前記触覚効果を適用した後、前記触覚出力デバイスを用いて完了触覚効果を適用するステップをさらに備える、請求項20に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本特許文書は触覚効果に関し、より詳細には、複数画像捕捉能力を有する触覚対応デバイスに関する。
【背景技術】
【０００２】
デジタルカメラ、スマートフォン、スマートタブレット、ビデオレコーダなどの複数画像捕捉デバイスは、概して、単一画像捕捉デバイスを用いて取得され得る画像より改善された画像を、デバイスのユーザに提供することができる。いくつかの構成では、複数画像捕捉デバイスは、2つのレンズと2つの対応する画像センサとを含み、レンズの各々は、たとえば広角レンズおよびズームレンズなど、異なる焦点距離を有し、画像センサにおいて捕捉された画像は組み合わされて、改善された細部のシャープネスを有する1つの画像を生成する。他の構成では、複数画像捕捉デバイスは、複数のレンズおよび対応する画像センサを含み、一部の画像センサがカラー画像を提供し、残りの画像センサが白黒画像を提供し、様々なセンサの画像が組み合わされて、改善された解像度を有する1つの画像を生成することができる。2つ以上のレンズおよび2つ以上の画像センサの存在によって、各レンズおよび/または画像センサに関連する様々なオプションを、独立して、または組み合わせて調整する能力が、デバイスのユーザに提供される。しかしながら、いつ調整が発生しているか、または発生したかを、ユーザは即座かつ確実に決定することはできない。いくつかの例では、調整の視覚的通知はLCDまたは他のタイプのディスプレイ上に提供され得るが、ディスプレイをチェックすることによって、ユーザは被写体から目をそらす必要があり、彼らが獲得しようとしている画像が動いたり、場合によっては乱れたりする可能性がある。
【発明の概要】
【課題を解決するための手段】
【０００３】
本特許文書は、複数画像捕捉能力を有する触覚対応デバイスに関する。
【０００４】
一態様では、本特許文書は、第1の画像センサと、第2画像のセンサと、触覚出力デバイスと、画像センサおよび触覚出力デバイスに結合されたプロセッサとを含む触覚効果対応システムを対象とする。第1の画像センサは第1のデジタル画像を生成し、第2の画像センサは第2のデジタル画像を生成する。プロセッサは、第1または第2のデジタル画像に関連する画像イベントの通知を受信する。プロセッサは、画像イベントに対応する触覚効果を決定し、触覚出力デバイスを用いて触覚効果を適用する。
【０００５】
別の態様では、本特許文書は、第1の画像センサと、第2の画像センサと、触覚出力デバイスと、画像センサおよび触覚出力デバイスに結合されたプロセッサとを含む触覚効果対応システムを対象とする。プロセッサは、第1のデジタル画像に関連する第1の画像イベントの通知と、第2のデジタル画像に関連する第2の画像イベントの通知とを受信する。プロセッサは、第1の画像イベントに対応する第1の触覚効果と、第2の画像イベントに対応する第2の触覚効果とを決定する。プロセッサは触覚出力デバイスを用いて第1の触覚効果を適用し、第1の触覚効果を適用した後に触覚出力デバイスを用いて完了触覚効果を適用し、完了触覚効果を適用した後に触覚出力デバイスを用いて第2の触覚効果を適用する。
【０００６】
また別の態様では、本特許文書は、第1の画像センサから第1のデジタル画像を受信するステップと、第2の画像センサから第2のデジタル画像を受信するステップと、第1のデジタル画像または第2のデジタル画像に関連する画像イベントの通知を受信するステップと、画像イベントに対応する触覚効果を決定するステップと、触覚出力デバイスを用いて触覚効果を適用するステップとを含む、触覚効果を作成するための方法を対象とする。
【図面の簡単な説明】
【０００７】
【図１】本明細書で開示する様々な実施形態による、複数画像捕捉能力を有する触覚対応デバイスの図である。
【図２】図1の複数画像捕捉能力を有する触覚対応デバイスによって使用され得る2つの画像捕捉デバイスを有する画像捕捉システムの例示的実施形態の図である。
【図３】本明細書で開示する様々な実施形態による、複数画像捕捉能力を有する触覚対応デバイスの図である。
【図４】複数画像捕捉能力を有する触覚対応デバイスに画像関連イベントを入力するために使用され得るユーザインターフェースの一例の図である。
【図５】複数画像捕捉能力を有するデバイス内で触覚効果を送達するための方法を示すフローチャートである。
【図６】複数画像捕捉能力を有するデバイス内で触覚効果を送達するための方法を示すフローチャートである。
【図７】複数画像捕捉能力を有する触覚対応デバイスの例示的実施形態を示す図である。
【図８】複数画像捕捉能力を有する触覚対応デバイスの例示的実施形態を示す図である。
【図９】複数画像捕捉能力を有する触覚対応デバイスの例示的実施形態を示す図である。
【図１０】複数画像捕捉能力を有する触覚対応デバイスの例示的実施形態を示す図である。
【図１１】複数画像捕捉能力を有する触覚対応デバイスの例示的実施形態を示す図である。
【図１２】複数画像捕捉能力を有する触覚対応デバイスの例示的実施形態を示す図である。
【発明を実施するための形態】
【０００８】
様々な実施形態が、図を参照しながら詳細に説明され、いくつかの図を通して、同様の参照番号は同様の部分および組立体を表す。様々な実施形態への言及は、本明細書に付随する特許請求の範囲を限定するものではない。加えて、本明細書で説明する任意の例は限定することを意図するものではなく、添付の特許請求の範囲に対する多くの可能な実施形態のうちのいくつかを説明するにすぎない。
【０００９】
適切である場合、単数で使用される用語は、同様に複数を含むことになり、その逆も成り立つ。本明細書では、「1つの」の使用は、特段に記載される場合または「1つまたは複数の」の使用が明らかに不適切である場合を除いて、「1つまたは複数の」を意味する。「または」の使用は、特段に記載されない場合、「および/または」を意味する。「備える(comprise)」、「備える(comprises)」、「備えている(comprising)」、「含む(include)」、「含む(includes)」、「含んでいる(including)」、「有する(has)」、および「有している(having)」の使用は互換的であり、限定することを意図するものではない。「などの」という用語もまた、限定することを意味するものではない。たとえば、「含んでいる」という用語は、「含んでいるが、限定するものではない」を意味するものとする。
【００１０】
一般的には、本特許文書は、複数画像捕捉能力を有する触覚対応デバイスに関する。
【００１１】
本特許文書の複数画像捕捉能力を有する触覚対応デバイスは、触覚対応デバイスの画像センサによって捕捉された画像のうちの1つまたは複数に関連する画像イベントが、いつ開始したか、実行中であるか、または完了したかを示すために、デバイスのユーザに触覚フィードバックを与える。画像イベントは、デバイスのユーザによって起動される入力センサを介して、または画像プロセッサによって実行される自動画像イベントを介して開始され得る。異なるタイプの触覚フィードバック、たとえば触覚効果が、異なるタイプの画像イベントに対して提供され得、デバイスのユーザが、そのようなイベントのステータスを示す視覚的表示を調べる必要なしに、画像イベントを感知することを可能にする。
【００１２】
画像イベントは、たとえば、ホワイトバランス設定、ISO設定、シャッタ速度設定、被写界深度設定、開口サイズ設定、ズーム動作、手振れ防止機能、GPSタグ機能、フラッシュ、写真サイズ、顔検出機能、フィルタ、測定機能、露出補正、シーンモード、画像スティッチング、パッシブ式オートフォーカス、アクティブ式オートフォーカス、ハイブリッド式オートフォーカス、第1の画像から第2の画像への切り替えなど、デバイスの画像センサによって捕捉されたまたは捕捉されることになる画像に関連する任意の他のイベントにおける変化の発生を開始すること、停止すること、または実行中であることを含むことができる。画像イベントのうちの1つまたは複数は、画像捕捉デバイスのうちの1つまたは複数に同時にまたは個々に適用され得、異なる画像イベントが、異なる画像捕捉デバイスに適用され得る。いくつかの例示的実施形態では、画像イベントが別の画像捕捉デバイスに適用される前に、すべての関連画像イベントが、1つの画像捕捉デバイスに適用される。
【００１３】
図1を参照すると、画像捕捉能力を有する触覚対応デバイス100の一例が示される。デバイス100は、筐体102と、少なくとも2つの画像捕捉デバイス104と、アクチュエータ112と、コントローラ114とを含む。様々な実施形態では、デバイス100は、入力センサ116を付加的に含むことができる。一般的には、コントローラ114は、画像捕捉デバイス104もしくは入力センサ116から入力を受信する、または画像捕捉デバイス104もしくは入力センサ116に関連するデータを受信するように動作し、受信された入力またはデータに基づいて1つまたは複数の出力を生成するように動作する。コントローラからの出力のうちの少なくとも1つは、筐体102において触覚効果を送達するようにアクチュエータ112に指示する。触覚効果は、ユーザに直接的または間接的に送達される任意のタイプの触感であり得る。触覚効果は、キュー、通知、またはより複雑な情報などのメッセージを具現化する。
【００１４】
たとえば、触覚対応デバイス100は、スマートフォン、タブレット、ラップトップコンピュータ、デスクトップコンピュータ、ゲーミングシステム、テレビジョン、モニタ、静止画カメラ、ビデオカメラ、静止画ビデオ複合カメラ、または少なくとも2つの画像捕捉デバイス104を有する任意の他のデバイスを備えることができる。
【００１５】
図2を参照すると、少なくとも2つの画像捕捉デバイス104の各々は、レンズ106と画像センサ108とを含み、レンズドライバ/アクチュエータ110を付加的に含むことができる。
【００１６】
各レンズ106は、たとえば、固定焦点距離のレンズ、ズームレンズなどの可変焦点距離のレンズ、固定開口を有するレンズ、調整可能開口を有するレンズ、プリズム、ミラー、または光を画像センサ108上に合焦することができる任意の他のデバイスを備えることができる。さらに、各レンズ106は、1つまたは複数の画像センサ108に光を導くために、単一のレンズ、または複数のレンズ、たとえばレンズ組立体を備えることができる。様々な例示的実施形態では、少なくとも2つの画像捕捉デバイス104のうちの1つが第1のタイプのレンズ106を使用しながら、少なくとも2つの画像捕捉デバイス104のうちの別の1つは異なるタイプのレンズ106を使用するが、他の実施形態では、少なくとも2つの画像捕捉デバイス104が同じタイプのレンズ106を使用する。レンズタイプの選択は、たとえば3次元画像、立体画像、または2次元画像などの、得られる所望の画像のタイプに基づくことができる。
【００１７】
各画像センサ108は、一般に、光検出器、たとえば電荷結合素子(CCD)、相補型金属酸化膜半導体(CMOS)画像センサ、または入射光線を捕捉してそれらを電気信号に変換することができる任意の他の素子を備え、光は可視光または非可視光、たとえば赤外光であり得る。各画像センサ108は、1つまたは複数のレンズ106からの光を検出するように動作する、単一の画像センサまたは複数の画像センサを備えることができる。各画像センサ108は、コントローラ114に通信される1つまたは複数の出力を生じさせ、その出力は、画像センサ108によって捕捉されたデジタル画像を生成するために使用される。様々な例示的実施形態では、画像センサ108の出力は、画像を生成するために画像プロセッサ113に供給される。画像プロセッサ113は、コントローラ114、コントローラ114に組み込まれた物理的構成要素、またはコントローラ114のソフトウェアモジュール(図3の画像処理モジュール330参照)とは別個であるが、それらと通信している物理的プロセッサであり得る。画像プロセッサ113は、画像センサ108の出力を組み合わせて得られる所望の画像のタイプを生成するように構成され得、または画像センサ108の各々の出力を個別の画像として維持することができる。
【００１８】
各レンズドライバ/アクチュエータ110は、レンズ106の動きを制御するように動作する任意のデバイスまたはデバイスの組合せであり得る。たとえば、レンズドライバ/アクチュエータ110は、ボイスコイルモータ(VCM)、圧電モータ、ステッパモータ、または微小電気機械システム(MEMS)技術を備えることができる。各レンズドライバ/アクチュエータ110は、コントローラ114の指示の下で動作する。
【００１９】
アクチュエータ112は、触覚効果を送達するための動きを開始する任意の被制御機構または他の構造であり得る。触覚効果は、デバイス100からユーザに送達される任意のタイプの触感であり得る。アクチュエータ112の例には、モータ、リニアアクチュエータ(たとえば、ソレノイド)、磁気機構または電磁機構などの機構が含まれる。アクチュエータ112の追加の例には、形状記憶合金、圧電材料、電気活性高分子、およびスマート流体を含む材料などのスマート材料が含まれる。アクチュエータ112は、デバイス100内に設けられた単一のアクチュエータまたは複数のアクチュエータを備えることができる。複数のアクチュエータ112の例では、アクチュエータがアクチュエータアレー内に設けられ得るかまたは個別に配置され得、アクチュエータ112は等距離または不等距離に間隔を空けられ、複数のアクチュエータは同じまたは異なる触覚効果を送達するために同時にまたは個別に動作することができる。触覚効果は、たとえば、振動触覚効果、静電摩擦(ESF)触覚効果、または変形触覚効果として送達され得る。アクチュエータ112は、コントローラ114の指示の下で動作する。
【００２０】
コントローラ114は、画像センサ108によって捕捉された画像に関連してコントローラ114において受信された入力またはデータに基づいてアクチュエータ112の動作を制御する任意のタイプの回路である。データは、任意のタイプのパラメータ(たとえば、条件またはイベント)、命令、フラグ、または、プロセッサ、プログラムモジュールおよび本明細書で開示される他のハードウェアによって処理される他の情報であり得る。
【００２１】
入力センサ116は、刺激を受けることに応答して信号を出力する任意の機器または他のデバイスであり得、入力センサ116は、多様な異なる条件またはイベントを検出または感知するために使用され得る。入力センサ116は、コントローラ114に配線で接続され得るか、またはコントローラに無線で接続され得る。さらに、入力センサ116は、デバイス100の中または外に含まれる単一のセンサまたは複数のセンサを備えることができる。様々な例示的実施形態では、入力センサ116は、デバイス100の表面の裏に存在するタッチセンサ(たとえば、容量センサ、力感知抵抗、歪ゲージ、圧電センサ、など)を備えることができる。電子デバイス100の表面は、たとえば、デバイス筐体の表面、デバイスのタッチスクリーンの表面、デバイスのディスプレイスクリーンの表面、またはデバイスのボタンもしくはスイッチの表面を含むことができる。
【００２２】
入力センサ116の様々な他の例には、マイクロフォンなどの音響もしくは音のセンサ;振動センサ;電圧検出器もしくはホール効果センサなどの電気的および磁気的センサ;流れセンサ;GPS受信機、高度計、ジャイロスコープもしくは加速度計などの航法センサもしくは機器;圧電材料、距離計、走行距離計、速度計、衝撃検出器などの位置、近接性および動き関連センサ;電荷結合素子(CCD)、CMOSセンサ、赤外センサおよび光検出器などの画像化および他の光学センサ;気圧計、ピエゾメータおよび触覚センサなどの圧力センサ;温度計、カロリーメータ、サーミスタ、熱電対および高温計などの温度および熱センサ;動作検出器、三角測量センサ、レーダ、フォトセル、ソナーおよびホール効果センサなどの近接性および存在センサ;バイオチップ;血圧センサ、拍/酸素センサ、血糖センサおよび心臓モニタなどの生体センサが含まれる。加えて、センサは、いくつかの実施形態ではセンサとアクチュエータの両方として機能する圧電ポリマーなどのスマート材料を用いて形成され得る。
【００２３】
複数画像捕捉能力を有する触覚対応デバイス100の動作では、入力センサ116または画像プロセッサ113を介して、画像捕捉デバイス104の画像センサ108の出力から生成される1つまたは複数の画像に関連して、画像イベントが発生する。生成される画像は、たとえばデバイス100のディスプレイ上に提示されるような、視覚的形態において、または、たとえばデバイス100のメモリ内のビットによって表されるような、非視覚的形態において存在し得るデジタル画像である。発生する画像イベントは、画像センサ108の各々からの画像の組合せを反映する単一の画像、画像センサ108からの様々な画像の異なる組合せを反映する複数の画像、または画像センサ108の各々に対応する個々の画像に関連するものであり得る。コントローラ114は、画像イベントが発生しているかまたは発生したことを触覚対応デバイス100のユーザに通知するために、画像イベントに関連付けられた触覚効果を決定することによって、および触覚対応デバイス100において関連付けられた触覚効果を適用するようにアクチュエータ112に指示することによって、画像イベントに応答する。
【００２４】
図3は、複数画像捕捉能力を有する触覚対応デバイス300の例示的実施形態のより詳細な図である。図1の実施形態と同様に、デバイス300は、筐体102と、少なくとも2つの画像捕捉デバイス104と、アクチュエータ112と、コントローラ114と、入力センサ116とを含み、1つまたは複数のアクチュエータ駆動回路318が、同様に含まれる。1つまたは複数のアクチュエータ駆動回路318は、コントローラ114から触覚信号を受信する回路である。触覚信号は触覚データを具現化し、触覚データは、アクチュエータ駆動回路318が触覚駆動信号を生成するために使用するパラメータを規定する。触覚データによって規定され得るパラメータの例には、周波数、振幅、位相、反転、持続時間、波形、アタック時間、立ち上がり時間、フェード時間(fade time)、およびイベントに対する遅延時間またはリード時間が含まれる。触覚駆動信号は1つまたは複数のアクチュエータ112に適用されて、アクチュエータ112内に動作を生じさせる。
【００２５】
コントローラ114は、一般に、バス320と、プロセッサ322と、入力/出力(I/O)コントローラ324と、メモリ326とを含む。バス320は、I/Oコントローラ324およびメモリ326を含むコントローラ114の様々な構成要素をプロセッサ322に結合する。バス320は、一般的に、制御バスと、アドレスバスと、データバスとを備える。しかしながら、バス320は、コントローラ114内の構成要素間でデータを転送するのに適切な任意のバスまたはバスの組合せであり得る。
【００２６】
プロセッサ322は、情報を処理するように構成された任意の回路を備えることができ、適切なアナログまたはデジタル回路を含むことができる。プロセッサ322はまた、命令を実行するプログラム可能な回路を含むことができる。プログラム可能な回路の例には、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路(ASIC)、プログラマブルゲートアレー(PGA)、フィールドプログラマブルゲートアレー(FPGA)、または命令を実行するのに適切な任意の他のプロセッサもしくはハードウェアが含まれる。様々な実施形態では、プロセッサ322は、単一のユニットまたは2つ以上のユニットの組合せを備えることができ、ユニットは、物理的に、単一のコントローラ114内または個別のデバイス内に設置される。
【００２７】
I/Oコントローラ324は、コントローラ114と、画像捕捉デバイス104、入力センサ116およびアクチュエータ駆動回路318などの周辺デバイスまたは外部デバイスの動作をモニタする回路を備える。I/Oコントローラ324は、さらに、コントローラ114と周辺デバイスとの間のデータフローを管理し、プロセッサ322を、周辺デバイスの管理と制御に関連する詳細から開放する。I/Oコントローラ324がインターフェースをとることができる他の周辺デバイスまたは外部デバイス328の例には、外部記憶デバイスと、モニタと、キーボード、マウスもしくはプッシュボタンなどの入力デバイスと、外部コンピューティングデバイスと、モバイルデバイスと、送信機/受信機とが含まれる。
【００２８】
メモリ326は、ランダムアクセスメモリ(RAM)などの揮発性メモリ、リードオンリーメモリ(ROM)、電気的消去可能プログラマブルリードオンリーメモリ(EEPROM)、フラッシュメモリ、磁気メモリ、光メモリ、または任意の他の適切なメモリ技術を備えることができる。メモリ326はまた、揮発性メモリと不揮発性メモリの組合せを備えることができる。
【００２９】
メモリ326は、画像処理モジュール330と、イベント検出モジュール332と、効果決定モジュール334とを含む、プロセッサ322によって実行するためのいくつかのプログラムモジュールを記憶する。各プログラムモジュールは、データ、ルーチン、オブジェクト、コール、および1つまたは複数の特定のタスクを実行する他の命令の集合である。いくつかのプログラムモジュールが本明細書で開示されるが、様々な実施形態では、各モジュールに対して説明される様々な命令およびタスクは、単一のプログラムモジュール、モジュールの異なる組合せ、本明細書で開示されるモジュール以外のモジュール、またはコントローラ114と通信しているリモートデバイスによって実行されるモジュールによって実行され得る。
【００３０】
画像処理モジュール330は、入力センサ116からの入力データ、画像センサ108からの画像データ、デバイス300と通信している任意の他のソースまたはセンサ(デバイス300の内部または外部に設置される)からの入力、デバイス300の様々なプログラムモジュールのいずれかからの入力、またはそれらの任意の組合せを受信するようにプログラムされる。画像処理モジュール330は画像データから画像を生成し、入力センサ116からの入力データ、他のソースもしくはセンサからの入力、または様々なプログラムモジュール(たとえば、プログラムされた自動動作)からの入力に基づいて(画像が生成される前または後に)画像に関連する画像イベントを実行する。画像イベントは、画像をメモリに記憶するデバイス300の動作の前、または画像をメモリに記憶するデバイス300の動作の後に実行され得る。
【００３１】
画像イベントは、
【００３２】
(a)デバイス100、300のホワイトバランス設定(たとえば、画像をより暖かくまたは冷たくするためのカラーバランス)、
【００３３】
(b)デバイス100、300のISO設定(たとえば、光に対するセンサ108の感度)、
【００３４】
(c)デバイス100、300のシャッタ速度設定(たとえば、シャッタが開いている時間)、
【００３５】
(d)デバイス100、300の被写界深度設定(たとえば、画像内で許容可能に焦点が合っている最も近い点と最も遠い点との間の距離、被写界深度が短いほど、焦点が合っている画像がより少なくなり、被写界深度が大きいほど、焦点が合っている画像がより多くなる)、
【００３６】
(e)開口サイズ設定(たとえば、f値設定)、
【００３７】
(f)デバイス100、300のズーム動作(たとえば、レンズをズームインすると、画像を生成する画像センサ108によって利用されるピクセル数の減少によって画像品質が低下し、レンズをズームアウトすることで、追加のピクセルが画像センサ108によって使用されることによって画像品質が向上する)、
【００３８】
(g)デバイス100、300の手振れ防止機能、
【００３９】
(h)デバイス100、300のGPSタグ機能、
【００４０】
(i)デバイス100、300のフラッシュ、
【００４１】
(j)デバイス100、300によって生成される写真サイズ、
【００４２】
(k)デバイス100、300の顔検出機能、
【００４３】
(l)デバイス100、300のフィルタ、
【００４４】
(m)デバイス100、300の測定機能(たとえば、画像の被写体の明るさを測定すること)、
【００４５】
(n)デバイス100、300の露出補正(たとえば、画像をより明るくまたは暗くすること)、
【００４６】
(o)デバイス100、300のシーンまたはシーンモード(たとえば、プリセット露出モード)、
【００４７】
(p)デバイス100、300によって捕捉された画像にテンプレートを適用すること、
【００４８】
(q)デバイス100、300のタイマー、
【００４９】
(r)デバイス100、300を用いてパノラマ画像を作成するための、重なり合う画像に対する画像スティッチング/写真スティッチング、
【００５０】
(s)デバイス100、300による、位相検出(PD)を使用したパッシブ式オートフォーカスの実行、またはコントラスト検出を使用したパッシブ式オートフォーカスの実行、
【００５１】
(t)デバイス100、300によるアクティブ式オートフォーカスの実行、
【００５２】
(u)デバイス100、300によるハイブリッド式(たとえば、受動と能動の組合せ)オートフォーカスの実行、
【００５３】
(v)画像センサ108のうちの1つによって捕捉された第1の画像に関連する画像イベントの実行から、画像センサ108のうちの別の1つによって捕捉された第2の画像に関連する画像イベントの実行への切り替え、または
【００５４】
(w)デバイス100、300の画像センサ108によって捕捉された、または捕捉されることになる画像に関連する任意の他のイベント、における変化の発生を開始すること、停止すること、または続行することを含むことができる。
【００５５】
いくつかの例では、画像イベントは、デバイス100、300によってしきい値または測定値に近づけること、それを満足すること、またはそれから遠ざかることを含むことができる。たとえば、オートフォーカス機能を有するデバイス100、300の例では、なんらかのタイプの放射(たとえば、ソナー、レーザ、構造化光)がシーンに向けて送られる。シーン内の物体からの反射は、画像センサ108のうちの1つまたは複数によって捕捉され、カメラからの物体の距離を決定するために三角測量を使用して画像処理モジュール330によって分析され、距離の決定は触覚効果をトリガするために使用される。パッシブ式オートフォーカス機能を有するデバイス100、300の例では、1つまたは複数の画像センサ108が、それ自体の環境光照明の下でシーンを検出する一方で、位相検出またはコントラスト検出方式が、シーン内の物体との距離を決定するために使用され、距離の決定が触覚効果をトリガするために使用される。画像処理モジュール330は、画像内の特定の被写体に対応する画像センサ108上のスポットを識別して焦点を合わせるか、またはぼかす(たとえば、顔を識別して顔に対応するピクセルに焦点を合わせる)ための処理アルゴリズムを含むことができる。焦点合わせまたはぼかしのレベルまたはしきい値が達成されると、触覚効果がトリガされる。
【００５６】
図4は、入力センサ116(図1および図3参照)を備える下位の(underlying)タッチセンサを有するタッチスクリーンを備えるデバイス100または300とともに使用可能なユーザインターフェース400の一例を提供する。デバイス100または300のユーザは、この例では「カメラ1」および「カメラ2」として識別される、少なくとも2つの画像捕捉デバイス104の各々に対する画像イベントをユーザインターフェース400を介して入力することができる。ユーザインターフェース400は、「カメラ1」および「カメラ2」の各々に、ホワイトバランス用スライド可能スケール402調整、ISO設定用スライド可能スケール404調整(たとえば、画像センサ108の光感度の調整)、シャッタ速度用スライド可能スケール406調整、および焦点または焦点距離用スライド可能スケール408調整を提供する。代替的に、ユーザは、デバイス300が上記の調整の各々および/または画像に影響を及ぼす他の画像イベントを自動的に設定することを可能にする「オート」アイコン410を選択してもよい。
【００５７】
図4の例はユーザ入力用のインターフェースとしてスライド可能スケールを示すが、データ入力用キーボード、プッシュボタン、セレクタ、またはデバイス100または300へのユーザ入力を可能にする任意の他のタイプのインターフェースなど、他のユーザインターフェースが使用され得る。ユーザインターフェースおよびユーザ入力は、ユーザインターフェース400内で、本明細書で記述される様々な他の画像イベントに対するオプションを追加または代替として含むように構成され得る。
【００５８】
再び図3を参照すると、画像イベントに対する入力は、コントローラ114において受信される。コントローラ114は、レンズドライバ110、画像センサ108、および/または画像イベントを適用する能力を有する任意の他の構成要素/モジュールに、それらの指定された機能を実行するように指示することによって応答する。ユーザ入力またはデバイス300の自動動作に基づく各画像イベントの開始、継続発生、または完了は、それらのために触覚イベントデータが画像処理モジュール330によって生成され得る、触覚イベントと見なされ得る。
【００５９】
イベント検出モジュール332は、画像処理モジュール330から画像イベントデータを受信し、受信された画像イベントデータを評価して画像イベントデータが触覚効果と関連付けられているかどうかを決定するようにプログラムされる。画像イベントデータが触覚効果と関連付けられているとイベント検出モジュール332が決定すると、効果決定モジュール334は、アクチュエータ112を通して送達するための触覚効果を選択する。効果決定モジュール334が触覚効果を選択するために使用し得る例示的技法は、触覚効果の選択について決定を下すようにプログラムされた規則を含む。触覚効果を選択するために効果決定モジュール334によって使用され得る別の例示的技術は、触覚効果をイベントデータに関連付けるルックアップテーブルまたはデータベースを含む。
【００６０】
触覚効果が選択されると、コントローラ114は、デバイス300、100において触覚効果を送達するために、1つまたは複数のアクチュエータ112の作動を指示するための、アクチュエータ駆動回路318への触覚命令信号を生成する。アクチュエータ駆動回路318は、アクチュエータ112に配信されてアクチュエータ動作を生じる、対応するアクチュエータ駆動信号を生成する。
【００６１】
本明細書に記載されるように、触覚命令信号は触覚データを具現化し、触覚データは、アクチュエータ駆動回路318が触覚駆動信号を生成するために使用するパラメータを規定する。触覚データによって規定され得るパラメータの例には、周波数、振幅、位相、反転、持続時間、波形、アタック時間、立ち上がり時間、フェード時間、およびイベントに対する遅延時間またはリード時間が含まれる。触覚駆動信号は1つまたは複数のアクチュエータ112に適用されて、アクチュエータ112内に動作を生じさせ、それにより触覚効果をデバイスのユーザに送達する。触覚効果の送達は、たとえば、画像調整中であること、画像調整の開始、または画像調整の完了を表すために、デバイス300によって行われる画像調整と同時に、その前に、またはその後に送達されるように構成され得、異なる触覚効果が、異なる調整を示すために使用され得る。
【００６２】
図5は、複数画像捕捉能力を有する触覚対応デバイスに対する動作の簡略化された方法500を示すフローチャートを提供する。方法500は、本明細書で説明する様々な実施形態または実施形態の組合せのいずれかとともに利用され得る。方法500は、少なくとも2つの画像捕捉デバイスによって捕捉された画像のうちの任意の1つまたは複数に関連する画像イベントの通知を受信するステップS502と、画像イベントに対応する、メモリ内に記憶された触覚効果を決定して触覚効果を送達するための命令を発行するステップS504と、任意で、デバイスが、少なくとも2つの画像捕捉デバイスのうちの1つに関連する画像イベントの適用から、少なくとも2つの画像捕捉デバイスのうちの別の1つに関連する画像イベントの適用に遷移するときに、触覚効果を送達するための命令を発行するステップS506と、デバイスの筐体において触覚効果を送達するステップS508とを含む。
【００６３】
図6は、複数画像捕捉能力を有する触覚対応デバイスに対する動作の例示的方法600を示すより詳細なフローチャートを提供する。方法600は、本明細書で説明する様々な実施形態または実施形態の組合せのいずれかとともに利用され得る。方法600は、2つの画像捕捉デバイスを含む触覚対応デバイスを参照しながら説明されるが、さらに多数の画像捕捉デバイスを含むように拡張され得る。方法600は、複数画像捕捉デバイスを用いてユーザが取得した1つまたは複数の画像をユーザが手動で調整することを望むかどうかを決定することから開始し、各手動調整は画像イベントである。ユーザが1つまたは複数の画像を調整することを望まない場合(S602 NO)、方法600は、S604において終了する。しかしながら、ユーザが複数画像捕捉デバイスを用いて取得された1つまたは複数の画像を調整することを望む場合(S602 YES)、S606において、ユーザは、第1の画像捕捉デバイスによって捕捉されたまたは捕捉されることになる画像に影響を及ぼす画像調整を行うためのオプションを与えられる。
【００６４】
ユーザが、第1の画像捕捉デバイスによって捕捉された画像に影響を及ぼす画像調整を行うことを選択する場合(S606 YES)、ユーザは、デバイスの入力センサを通して所望の調整を入力することによって画像のホワイトバランスを調整することを選択してもよく(S608 YES)、またはホワイトバランス調整を入力しないことを選択してもよい(S608 NO)。ユーザは、さらに、デバイスの入力センサを通して所望の調整を入力することによって画像のISO設定を調整することを選択することができ(S610 YES)、またはISO設定調整を入力しないことを選択することができる(S610 NO)。ユーザはまた、入力センサを通してシャッタ速度調整を入力することによって画像に関連するシャッタ速度を調整することを選択することができ(S612 YES)、またはシャッタ速度を調整しないことを選択することができる(S612 NO)。ユーザは、入力センサを通して焦点調整を入力することによって画像の焦点を調整することを選択することができ(S614 YES)、または焦点を調整しないことを選択することができる(S614 NO)。ユーザは、所望の調整、パラメータ、設定などを入力することによって画像に影響を及ぼす任意の他の画像イベントを適用することを選択することができ(S616 YES)、または任意の他の画像イベントを適用しないことを選択することができる(S616 NO)。ユーザによって何らかの画像イベントが望まれる場合、画像イベントは、以下でさらに説明される触覚効果サブ方法650に供給される。画像イベントが望まれない場合、方法は、画像を手動で調整するかどうかを選択するステップS602に戻る。
【００６５】
ユーザが、第1の画像捕捉デバイスによって捕捉された画像に画像イベントを適用しないことを選択する場合(S606 NO)、 S618において、ユーザは、第2の画像捕捉デバイスによって捕捉された画像に画像調整/イベントを適用することを選択してもよい。ユーザが画像調整/イベントを適用しないことを選択する場合(S618 NO)、方法600は終了する。ユーザが、第2の画像捕捉デバイスによって捕捉された画像に手動画像調整を行うことを選択する場合(S618 YES)、ユーザは、デバイスの入力センサを通して所望の調整を入力することによって画像のホワイトバランスを調整することを選択してもよく(S620 YES)、またはホワイトバランス調整を入力しないことを選択してもよい(S620 NO)。ユーザは、さらに、デバイスの入力センサを通して所望の調整を入力することによって画像のISO設定を調整することを選択することができ(S622 YES)、またはISO設定調整を入力しないことを選択することができる(S622 NO)。ユーザはまた、入力センサを通してシャッタ速度調整を入力することによって画像に関連するシャッタ速度を調整することを選択することができ(S624 YES)、またはシャッタ速度を調整しないことを選択することができる(S624 NO)。ユーザは、入力センサを通して焦点調整を入力することによって画像の焦点を調整することを選択することができ(S626 YES)、または焦点を調整しないことを選択することができる(S626 NO)。ユーザは、所望の調整、パラメータ、設定などを入力センサを通して入力することによって画像に影響を及ぼす任意の他の画像イベントを適用することを選択することができ(S628 YES)、または画像イベントを適用しないことを選択することができる(S628 NO)。ユーザによって何らかの画像イベントが望まれる場合、画像イベントは、以下でさらに説明される触覚効果サブ方法650に供給される。画像イベントが適用されない場合、方法は、画像を手動で調整するかどうかを選択するステップS602に戻る。
【００６６】
触覚効果サブ方法650は、S652において画像イベントの各々を受信するように動作し、S654において受信された画像イベントに対応する、記憶された触覚効果がメモリ内にあるかどうかを決定する。対応する触覚効果がない場合(S654 NO)、触覚効果サブ方法はS656において終了する。画像イベントに対応する、記憶された触覚効果がメモリ内にある場合(S654 YES)、S658において対応する触覚効果が選択され、S660において選択された触覚効果に対する触覚命令信号が生成される。次いで、S662において触覚命令信号が駆動回路に供給され、S664において選択された触覚効果を送達するためにアクチュエータの動作を駆動するための駆動信号が供給される。触覚効果サブ方法650の動作は、触覚効果を送達すると終了する(S656)。
【００６７】
方法600のステップは、適切な触覚効果の送達の最終結果を達成するために任意の適切な順序で実行され得る。様々な画像調整のために触覚効果を変えることは、同じまたは異なるアクチュエータを通して送達され得、さらに、同時送達方式、重複送達方式、または個別(たとえば、一度に1つの触覚効果)送達方式で送達され得る。上記の例は、ユーザ入力を触覚効果に対する刺激として示すが、複数画像捕捉デバイスの自動動作が、同様に、たとえば画像プロセッサによって自動的に行われる各画像調整に基づいて触覚効果の送達をもたらすことができることに留意されるべきである。
【００６８】
複数画像捕捉能力を有する触覚対応デバイスの一例を考慮すると、デバイスは、モバイルスマートデバイス、たとえば2つのカメラシステム(たとえば、2つの画像捕捉デバイス104)を組み込むタブレットまたは電話を備える。2つのカメラシステムは、関連する画像センサを有する広角の第1のレンズと、関連する画像センサを有する光学ズーム用の第2のレンズとを含む。モバイルスマートデバイスのソフトウェアは、ユーザが第2のレンズのズームを調整し得るユーザインターフェースを提供する。モバイルスマートデバイスのコントローラはユーザの入力に従って第2のレンズをズームするように動作するので、コントローラは、ズームを追跡するために画像センサのうちの一方または両方(たとえば、組み合わされた画像)によって生成された画像を利用しながら、同時に、ズーム動作に対応する触覚を送達するための命令を生成する。たとえば、ズーム中、触覚効果パターンが連続的に再生される。触覚効果強度は、ズーム位置または画像の品質と相互に関連している。第2のレンズの所望のズームが完了すると、コントローラは、別の触覚効果、たとえばスナップイン効果の送達を指示して、ズームが完了したことを示す。従って、カメラおよび/またはそれらの画像に対する調整についての情報フィードバックを提供するためにカメラが捕捉した画像の上に重ねられたユーザインターフェース要素を使用する代わりに、動的触覚効果、たとえば触覚フィードバックが、そのような調整の発生および/または完了を示すために与えられる。
【００６９】
図7〜図12は、本特許文書による触覚効果を有する複数画像捕捉デバイスの追加の例を示す。図7は、17個の画像捕捉デバイス704を組み込む携帯電話の形態における触覚対応デバイス700の一例を示し、画像捕捉デバイスからの画像が、組み合わされて、画像調整/イベントおよび対応する触覚効果の基礎となる、単一の画像を形成することができ、または組み合わされて、画像調整/イベントおよび対応する触覚効果の基礎となる、様々な画像捕捉デバイス704からの複数の組み合わされた画像を作成することができ、または画像調整/イベントおよび対応する触覚効果の基礎となる、画像捕捉デバイス704の各々に対応する個々の画像として維持され得る。
【００７０】
図8は、複数の画像捕捉デバイス804を有するセキュリティカメラの形態の天井または壁取付用スイベル式触覚対応デバイス800の一例を示す。図9は、4つの画像捕捉デバイス904を有するポータブルカメラの形態の触覚対応デバイス900の一例を示す。図10は、たとえば360度画像を生成するために使用され得る複数の画像捕捉デバイス1004を有する触覚対応デバイス1000の一例を示す。図11は、少なくとも2つの画像捕捉デバイス1104を装備されたウェアラブルオブジェクト、たとえば眼鏡の形態の触覚対応デバイス1100の一例を示す。図12は、少なくとも2つの画像捕捉デバイス1204を有する専用のビデオレコーダの形態の触覚対応デバイス1200の一例を示す。
【００７１】
上記で説明した様々な実施形態は、単なる例として提供され、本明細書に添付される特許請求の範囲を限定するものと解釈されるべきではない。本明細書に示され説明される例示的実施形態および応用例に倣うことなく、かつ以下の特許請求の範囲の真の趣旨および範囲を逸脱することなく行われ得る様々な修正および変更は、当業者には容易に認識されよう。たとえば、様々な実施形態およびそれらの動作は、単一の画像捕捉デバイスのみを有する触覚対応デバイスに適用可能でありうる。
【符号の説明】
【００７２】
100  触覚対応デバイス
102  筐体
104  画像捕捉デバイス
106  レンズ
108  画像センサ
110  レンズドライバ/アクチュエータ
112  アクチュエータ
113  画像プロセッサ
114  コントローラ
116  入力センサ
300  触覚対応デバイス
318  アクチュエータ駆動回路
320  バス
322  プロセッサ
324  入力/出力(I/O)コントローラ
326  メモリ
328  周辺デバイスまたは外部デバイス
330  画像処理モジュール
332  イベント検出モジュール
334  効果決定モジュール
400  ユーザインターフェース
402  ホワイトバランス用スライド可能スケール
404  ISO設定用スライド可能スケール
406  シャッタ速度用スライド可能スケール
408  焦点または焦点距離用スライド可能スケール
410  「オート」アイコン
700  触覚対応デバイス
704  画像捕捉デバイス
800  天井または壁取付用旋回式触覚対応デバイス
804  画像捕捉デバイス
900  触覚対応デバイス
904  画像捕捉デバイス
1000  触覚対応デバイス
1004  画像捕捉デバイス
1100  触覚対応デバイス
1104  画像捕捉デバイス
1200  触覚対応デバイス
1204  画像捕捉デバイス
【図１】
2019003639.tif 000003
【図２】
2019003639.tif 000004
【図３】
2019003639.tif 000005
【図４】
2019003639.tif 000006
【図５】
2019003639.tif 000007
【図６】
2019003639.tif 000008
【図７】
2019003639.tif 000009
【図８】
2019003639.tif 000010
【図９】
2019003639.tif 000011
【図１０】
2019003639.tif 000012
【図１１】
2019003639.tif 000013
【図１２】
2019003639.tif 000014
【外国語明細書】
2019003639000001.pdf