(57)【要約】【課題】映像再生時に熱出力装置の経時的な熱出力特性を規定するキーフレームデータの編集を容易にするシステムを提供する。【解決手段】例示的実施形態は、映像材料の同期再生時に熱出力装置の温度出力状態を記述するキーフレームを生成するシステムを対象とする。この付加的な触覚出力チャネルは、既存の音声及び映像チャネルを補強する。例示的実施形態は、熱出力チャネルを有する映像再生のための手動キーフレームオ−サリングインタフェースとアーキテクチャを提供する。例示的実施形態は、映像に付随する熱出力のための自動キーフレーム生成方法も含み、また温度プロファイル関数を提供してオープンループ制御を使用する熱出力装置の温度値間の高速変化を可能とする。【選択図】図１
2018097849.tif 000002
【特許請求の範囲】
【請求項１】
熱出力装置に係わるディスプレイ上で映像の再生を実行し、
前記熱出力装置に係わる前記ディスプレイ上で前記映像を再生中に、前記映像に関連する熱情報に基づいて前記熱出力装置の一つ又は複数の部分の温度を調節するように前記熱出力装置に命令を与える、
ように構成されたプロセッサを備える、コンピュータ装置。
【請求項２】
前記プロセッサは、前記映像の処理に基づいて前記映像のための前記熱情報を生成するように構成され、
前記映像の処理は、
前記映像に温度マッピングを適用して前記映像の一つ又は複数のフレームに対する一つ又は複数の温度を判定し、
前記熱出力装置に基づいて前記一つ又は複数の温度を規格化し、
前記映像の対応する複数のフレームに対する前記一つ又は複数の温度に基づいて前記映像のキーフレームを判定する、
ことを含む、請求項１に記載のコンピュータ装置。
【請求項３】
前記温度マッピングは、前記温度と、ピクセルカラーとグレースケール強度の少なくとも１つとの間のマッピングを含む、請求項２に記載のコンピュータ装置。
【請求項４】
前記プロセッサは前記熱出力装置の少なくとも一部分の温度を、
前記熱出力装置の少なくとも前記部分の現在温度と目標温度との間の温度差を判定し、
前記熱出力装置の電力−温度マッピングに基づいて前記熱出力装置の少なくとも前記部分に対する前記目標温度の電力レベルを判定し、
前記温度差と前記熱出力装置の特性とに基づいて温度出力継続時間を判定し、
前記熱出力装置の少なくとも前記部分に対する前記電力レベルと前記温度出力継続時間に従って加熱機構又は冷却機構に関与させるように前記熱出力装置に命令する、
ことによって調節するように構成された、請求項１に記載のコンピュータ装置。
【請求項５】
前記プロセッサはインタフェースを提供するように構成され、前記インタフェースは、前記映像の選択部分に対して提示する前記熱情報を与え、かつ前記インタフェースへの入力に基づいて前記熱情報を調節するように構成された、請求項１に記載のコンピュータ装置。
【請求項６】
前記インタフェースは前記入力に基づいて前記熱出力装置の選択部分に対する前記熱情報を調節するように構成され、前記部分は前記インタフェースを介して選択される、請求項５に記載のコンピュータ装置。
【請求項７】
熱出力装置に係わるディスプレイ上で映像の再生を実行し、
前記熱出力装置に係わる前記ディスプレイ上で前記映像を再生中に、前記映像に関連する熱情報に基づいて前記熱出力装置の一つ又は複数の部分の温度を調節するように前記熱出力装置に命令を与える、
ことを含む、方法。
【請求項８】
前記映像の処理に基づいて前記映像のための前記熱情報を生成することをさらに含み、
前記映像の前記処理は、
前記映像に温度マッピングを適用して前記映像の一つ又は複数のフレームに対する一つ又は複数の温度を判定し、
前記熱出力装置に基づいて前記一つ又は複数の温度を規格化し、
前記映像の対応する一つ又は複数のフレームに対する前記一つ又は複数の温度に基づいて前記映像のキーフレームを判定する、
ことを含む、請求項７に記載の方法。
【請求項９】
前記温度マッピングは、前記温度と、ピクセルカラーとグレースケール強度の少なくとも１つとの間のマッピングを含む、請求項８に記載の方法。
【請求項１０】
前記熱出力装置の少なくとも一部分の前記温度を調節することが、
前記熱出力装置の少なくとも前記部分の現在温度と目標温度との間の温度差を判定し、
前記熱出力装置の電力−温度マッピングに基づいて前記熱出力装置の前記部分に対する前記目標温度の電力レベルを判定し、
前記温度差と前記熱出力装置の特性とに基づいて温度出力継続時間を判定し、
前記熱出力装置の少なくとも前記部分に対する前記電力レベルと前記温度出力継続時間に従って加熱機構又は冷却機構に関与させるように前記熱出力装置に命令する、
ことを含む、請求項７に記載の方法。
【請求項１１】
インタフェースを提供することをさらに含み、前記インタフェースは、前記映像の選択部分に対して提示する前記熱情報を提供し、かつ前記インタフェースへの入力に基づいて前記熱情報を調節するように構成された、請求項７に記載の方法。
【請求項１２】
前記インタフェースは前記入力に基づいて前記熱出力装置の選択部分に対する前記熱情報を調節するように構成され、前記部分は前記インタフェースを介して選択される、請求項１１に記載の方法。
【請求項１３】
プロセスを実行するための命令を格納する非一時的コンピュータ可読媒体であって、前記命令が、
熱出力装置に係わるディスプレイ上で映像の再生を実行し、
前記熱出力装置に係わる前記ディスプレイ上で前記映像を再生中に、前記映像に関連する熱情報に基づいて前記熱出力装置の一つ又は複数の部分の温度を調節するように前記熱出力装置に命令を与える、
ことを含む、非一時的コンピュータ可読媒体。
【請求項１４】
前記命令は、前記映像の処理に基づいて前記映像のための前記熱情報を生成することをさらに含み、
前記映像の前記処理は、
前記映像に温度マッピングを適用して前記映像の一つ又は複数のフレームに対する一つ又は複数の温度を判定し、
前記熱出力装置に基づいて前記一つ又は複数の温度を規格化し、
前記映像の前記一つ又は複数のフレームに対する前記一つ又は複数の温度に基づいて前記映像のキーフレームを判定する、
ことを含む、請求項１３に記載の非一時的コンピュータ可読媒体。
【請求項１５】
前記温度マッピングは、前記温度と、ピクセルカラーとグレースケール強度の少なくとも１つとの間のマッピングを含む、請求項１４に記載の非一時的コンピュータ可読媒体。
【請求項１６】
前記熱出力装置の少なくとも一部分の前記温度を調節するための前記命令が、
前記熱出力装置の少なくとも前記部分の現在温度と目標温度との間の温度差を判定し、
前記熱出力装置の電力−温度マッピングに基づいて前記熱出力装置の少なくとも前記部分に対する前記目標温度の電力レベルを判定し、
前記温度差と前記熱出力装置の特性とに基づいて温度出力継続時間を判定し、
前記熱出力装置の少なくとも前記部分に対する前記電力レベルと前記温度出力継続時間に従って加熱機構又は冷却機構に関与させるように前記熱出力装置に命令する、
ことを含む、請求項１３に記載の非一時的コンピュータ可読媒体。
【請求項１７】
インタフェースを提供することをさらに含み、前記インタフェースは、前記映像の選択部分に対して提示する前記熱情報を提供し、かつ前記インタフェースへの入力に基づいて前記熱情報を調節するように構成された、請求項１３に記載の非一時的コンピュータ可読媒体。
【請求項１８】
インタフェースは入力に基づいて前記熱出力装置の選択部分に対する前記熱情報を調節するように構成され、前記部分は前記インタフェースを介して選択される、請求項１３に記載の非一時的コンピュータ可読媒体。
【請求項１９】
コンピュータに、
熱出力装置に係わるディスプレイ上で映像の再生を実行し、
前記熱出力装置に係わる前記ディスプレイ上で前記映像を再生中に、前記映像に関連する熱情報に基づいて前記熱出力装置の一つ又は複数の部分の温度を調節するように前記熱出力装置に命令を与えることを含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は一般的にディスプレイシステムに関し、より具体的には、触覚出力機能を有するディスプレイシステム上の映像再生に対する触覚（例えば、熱的）出力のレンダリング及びオーサリングのためのシステムと方法に関する。
【背景技術】
【０００２】
関連技術の実施形態において、離散位置において表面温度を変化させることができる表面計算システムがある。そのような関連技術の実施形態では、熱ピクセルがグリッド状に配置可能であり、その上に視覚コンテンツが投影可能とされている。
更なる関連技術の実施形態においては、視覚ディスプレイピクセルに一致した熱ピクセルの温度を変化させることで実現される、付加的な熱触覚フィードバックチャネルを有する映像ディスプレイがある。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ＪＯＮＥＳ，  Ｌｙｎｅｔｔｅ  Ａ．，  ａｎｄ  ＨＯ，  Ｈｓｉｎ−Ｎｉ．  “Ｗａｒｍ  ｏｒ  ｃｏｏｌ，  ｌａｒｇｅ  ｏｒ  ｓｍａｌｌ？  Ｔｈｅ  ｃｈａｌｌｅｎｇｅ  ｏｆ  ｔｈｅｒｍａｌ  ｄｉｓｐｌａｙｓ．”  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｈａｐｔｉｃｓ  １．１  （２００８）：  ５３−７０．
【非特許文献２】ＭＡＣＬＥＡＮ，  Ｋａｒｏｎ  Ｅ．，  ａｎｄ  ＲＯＤＥＲＩＣＫ，  Ｊａｙｎｅ  Ｂ．  “Ｓｍａｒｔ  ｔａｎｇｉｂｌｅ  ｄｉｓｐｌａｙｓ  ｉｎ  ｔｈｅ  ｅｖｅｒｙｄａｙ  ｗｏｒｌｄ：  ａ  ｈａｐｔｉｃ  ｄｏｏｒ  ｋｎｏｂ．”  Ａｄｖａｎｃｅｄ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｍｅｃｈａｔｒｏｎｉｃｓ，  １９９９．  Ｐｒｏｃｅｅｄｉｎｇｓ．  １９９９  ＩＥＥＥ／ＡＳＭＥ  Ｉｎｔｅｍａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ．  ＩＥＥＥ，  １９９９．
【非特許文献３】ＫＵＳＨＩＹＡＭＡ，  Ｋｕｍｉｋｏ，  ｅｔ  ａｌ．  “Ｔｈｅｒｍｏｅｓｔｈｅｓｉａ：  ａｂｏｕｔ  ｃｏｌｌａｂｏｒａｔｉｏｎ  ｏｆ  ａｎ  ａｒｔｉｓｔ  ａｎｄ  ａ  ｓｃｉｅｎｔｉｓｔ．  “ＡＣＭ  ＳＩＧＧＲＡＰＨ  ２００６  Ｅｄｕｃａｔｏｒｓ  ｐｒｏｇｒａｍ．  ＡＣＭ，  ２００６．
【非特許文献４】ＫＵＳＨＩＹＡＭＡ，  Ｋｕｍｉｋｏ，  Ｔｅｔｓｕａｋｉ  Ｂａｂａ，  Ｋｏｕｋｉ  Ｄｏｉ，  ａｎｄ  Ｓｈｉｎｊｉ  Ｓａｓａｄａ．  ２０１０．  “Ｔｈｅｒｍｏ−Ｐｉｃｔ  Ｎｅｏ”．  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＳＩＧＧＲＡＰＨ  １０  （２０１０），  １−１．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
映像再生フォーマットの関連技術の実施形態では、映像再生時に熱出力のレンダリングに使用できるメタデータは存在しない。例示的実施形態には、映像を熱出力チャネルで補強するために、熱メタデータの生成及び適用を容易にするように構成されたシステムが含まれる。
【課題を解決するための手段】
【０００５】
本開示の例示的実施形態には、映像再生時に熱出力装置の経時的な熱出力特性を規定するキーフレームデータの編集を容易にするシステムが含まれる。例示的実施形態におけるそのようなシステムは、熱出力チャネルを有する映像のキーフレーム情報の編集と、熱ディスプレイ装置上で熱出力を有する映像の視聴とを実質的に同時に可能とするソフトウェアアーキテクチャを含むことができる。
【０００６】
例示的実施形態では、熱出力チャネル用のキーフレームを自動生成するアルゴリズムを含むことも可能である。このアルゴリズムは、ソース映像から（例えば色飽和又は輝度から）直接、又はメイン映像に付随して熱出力チャネルが付加された映像再生用のキーフレームを生成する、熱カメラでキャプチャされた映像から、温度に関する情報を抽出するように構成することができる。
【０００７】
多数の変数（例えば、音響ボリューム、視覚フィルタ、画面切り替えなど）のためのキーフレームの定義は関連技術の映像編集ソフトウェアに実装されているが、そのような実施形態では映像再生時に熱出力装置の時間特性を決定するキーフレームを利用することはない。例示的実施形態では、映像再生のための熱出力チャネル用のそのようなキーフレームを自動生成することも可能である。
【０００８】
本開示の態様には、熱出力装置のディスプレイ上で映像の再生を実行し、熱出力装置のディスプレイ上で映像を再生中に、映像に関連する熱情報に基づいて熱出力装置の温度を調節するように熱出力装置に命令を与えるように構成されたプロセッサを含むことが可能なコンピュータ装置が含まれる。
【０００９】
本開示の態様には、熱出力装置のディスプレイ上で映像の再生を実行し、熱出力装置のディスプレイ上で映像を再生中に、映像に関連する熱情報に基づいて熱出力装置の温度を調節するように熱出力装置に命令を与える、方法をさらに含むことができる。
【００１０】
本開示の態様には、熱出力装置のディスプレイ上で映像の再生を実行し、熱出力装置のディスプレイ上で映像を再生中に、映像に関連する熱情報に基づいて熱出力装置の温度を調節するように熱出力装置に命令を与えることを含む、プロセス実行のための命令を格納する、非一時的コンピュータ可読媒体をさらに含むことができる。
【００１１】
本開示の態様には、触覚出力装置のディスプレイ上で映像の再生を実行し、触覚出力装置のディスプレイ上で映像を再生中に、映像に関連する触覚情報に基づいて触覚出力装置の触覚フィードバックを調節するように触覚出力装置に命令を与えるように構成されたプロセッサを含むことが可能なコンピュータ装置が含まれる。
【００１２】
本開示の態様には、触覚出力装置のディスプレイ上で映像の再生を実行し、触覚出力装置のディスプレイ上で映像を再生中に映像に関連する触覚情報に基づいて触覚出力装置の触覚フィードバックを調節するように触覚出力装置に命令を与えることができる方法が含まれる。
【００１３】
本開示の態様には、触覚出力装置のディスプレイ上で映像の再生を実行し、触覚出力装置のディスプレイ上で映像を再生中に映像に関連する触覚情報に基づいて触覚出力装置の触覚フィードバックを調節するように触覚出力装置に命令を与えることができる、プロセスの実行命令を格納する非一時的コンピュータ可読媒体を含む。
【発明の効果】
【００１４】
本開示の技術によれば、映像再生時に熱出力装置の経時的な熱出力特性を規定するキーフレームデータの編集を容易にする、という効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】一例示的実施形態によるシステムの概要を示す図である。
【図２】一例示的実施形態によるキーフレーム定義ファイルフォーマットの一例を示す図である。
【図３】一例示的実施形態による、熱フィードバックチャネル用のキーフレームシーケンスの自動生成アルゴリズムの一例を示す図である。
【図４（ａ）】一例示的実施形態による、キーフレーム手動編集用のインタフェース例を示す図である。
【図４（ｂ）】一例示的実施形態による、キーフレーム手動編集用のインタフェース例を示す図である。
【図５】一例示的実施形態による、熱出力装置の温度プロファイル関数のためのフロー図である。
【図６（ａ）】一例示的実施形態による、加熱及び冷却用のプロファイル関数を示す図である。
【図６（ｂ）】一例示的実施形態による、加熱及び冷却用のプロファイル関数を示す図である。
【図７】例示的実施形態での使用に好適なコンピュータ装置の一例を有する、コンピューティング環境の一例を示す図である。
【図８】例示的実施形態を適用可能な熱装置の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下の詳細な説明において、本出願の図面及び例示的実施形態の更なる詳細を提供する。図面間で重複する要素の参照番号及び説明は、分かり易くするために省略されている。説明を通して使用される用語は例示として提供されるものであり、制限することを意図するものではない。例えば、「自動的」という用語の使用は、本出願の実施形態を実行する当業者の所望の実施形態に応じて、完全自動の実施形態、又は実施形態の特定の態様をユーザ又は管理者が制御することを含む半自動の実施形態、を含み得る。選択は、ユーザがユーザインタフェース又は他の入力手段を介して行うことが可能であり、あるいは所望のアルゴリズムを介して実装可能である。本明細書に記載の例示的実施形態は単独又は組み合わせによって利用可能であり、例示的実施形態の機能は所望の実施形態による任意の手段を介して実装可能である。
【００１７】
本開示の例示的実施形態は、キーフレーム生成（例えば、手動、自動、又はそれらの組み合わせ）を容易にする。手動アプローチの例では、ソース映像を付加的な熱出力チャネルで容易に注釈付けして、映像を熱的な触覚フィードバック付きで表示可能とするユーザインタフェースをユーザに提供可能である。
【００１８】
例示的実施形態には自動的なアプローチも含まれる。これは、ソース映像を分析して、その映像の潜在的な熱出力チャネルの性質を記述するキーフレームリストの自動生成を可能とする。
【００１９】
図１は、一例示的実施形態によるシステムの概要を示す。図１の例示的システムには、映像ファイル１０１、コンピュータ装置１０２、キーフレーム定義ファイル１０３、組込装置１０４、編集ビューインタフェース１０５、再生ビューインタフェース１０６、及び熱出力装置１０７がある。例示的実施形態では、コンピュータ装置１０２が映像ファイル１０１をロードする。これは所望の実施形態に応じた任意のフォーマットであってよい。
【００２０】
コンピュータ装置１０２は映像用の対応キーフレーム定義ファイル１０３を保存及びロードするように構成されている。これは所望の実施形態に応じて、ＪａｖａＳｃｒｉｐｔ（登録商標）  Ｏｂｊｅｃｔ  Ｎｏｔａｔｉｏｎ  （ＪＳＯＮ）又は他の任意のフォーマットで表すことができる。コンピュータ装置１０２は、キーフレームの閲覧又は編集、映像再生又はシークコマンドへの応答、及び熱ディスプレイリクエストへの応答、の一つ又は複数の機能を容易にする編集ビューインタフェース１０５を提供するように構成されている。コンピュータ装置１０２は、映像再生またはシークコマンドの実行を容易にするように構成された、再生ビューインタフェース１０６を提供するようにも構成できる。
【００２１】
組込装置１０４は、コンピュータ装置１０２から熱ディスプレイコマンドを受信して熱出力装置１０７上のハードウェア制御を実行し、必要に応じて熱出力装置の特定セクションの温度を上下させるように構成されている。
【００２２】
例示的実施形態において、コンピュータ装置１０２は、クライアントが編集をロードし、所望ビューの再生をできるように構成されたｎｏｄｅ．ｊｓサーバの形態で実装されてもよい。ただし所望の実施形態に応じて他の装置が利用されるか代替とされてもよく、本開示はこれに限定されるものではない。コンピュータ装置１０２は、編集ビューインタフェース１０５で使用するためにキーフレーム定義ファイル１０３を保存及びロードするように構成することもできる。
【００２３】
さらに、コンピュータ装置１０２は、熱出力リクエストを処理し、所望の実施形態に応じてネットワークやユニバーサルシリアルバス（ＵＳＢ）接続や他の方法を介して熱出力リクエストを組込装置１０４へ通信するように構成することもできる。組込装置１０４は、熱出力装置１０７を制御するように構成された、実施形態に従う任意の所望電子プラットフォーム又は構成の形態であってよい。
【００２４】
例示的実施形態において、編集ビューインタフェース１０５及び再生ビューインタフェース１０６用にソフトウェアアーキテクチャが実装され、ソース映像の熱注釈の編集と再生を（例えば必要があれば同時に）可能とするユーザインタフェース（ＵＩ）を支援する。例示的実施形態において、ＵＩはウェブベースであって、２つのブラウザウィンドウで（例えば必要であれば同時に）実行可能な、編集ビューインタフェース１０５と再生ビューインタフェース１０６を提供できる。例示的実施形態において、１つのウィンドウはパーソナルコンピュータ（ＰＣ）、モバイル装置、あるいは他の所望装置などのユーザ設備上での編集に使用可能であり、もう１つのウィンドウは熱出力機能を有する装置上で実行可能である。ウィンドウを相互連携させて使用して、所望の実施形態に応じて、編集と再生の同時動作を容易とする印象を与えることができる。
【００２５】
図２は、一例示的実施形態によるキーフレーム定義ファイルの一例を示す図である。図２の例では、キーフレーム定義ファイルフォーマットは、ソース映像ファイル名２０１、キーフレーム識別子（ＩＤ）２０２、グリッド温度出力値２０３、及び映像２０４の対応時間に関する情報を含む、ＪＳＯＮフォーマットであってよい。キーフレーム定義ファイルフォーマットは、キーフレーム定義ファイル１０３のフォーマットとして利用可能である。他と種類の情報を含む他のフォーマットも所望の実施形態に従って利用可能である。
【００２６】
ソース映像ファイル名２０１は、映像ソースファイルの名前に関する情報を提供する。キーフレームＩＤ２０２は、映像の各キーフレームに対する固有の識別子を示すことができる。グリッド温度出力値２０３はグリッドが表し得る温度の値のリストであり、映像の対応する時間２０４は、定義された温度値が設定されるべきソース映像の時間を示す。
【００２７】
キーフレームの手動編集にはフレキシビリティがあるが、キーフレームは適切なソース材料から熱フィードバックチャネル用に自動生成されてもよい。例えば、熱カメラがＩＲスペクトルから熱情報を直接エンコードできるので、熱カメラで取得した映像は画像処理によって熱フィードバック用のキーフレームストリームに変換可能である。例示的実施形態において、標準的なカメラからの映像も、その画像特性が熱情報に関連するものとして解釈できる場合には考慮可能である。例えば、ロケットエンジンの点火や溶接アークなどの熱を含む物理プロセスの映像は、大量の可視光を放出し得る。そのような輝度の高いピクセルを用いて熱フィードバック情報を生成することができる。同様に、特定の化学元素の炎は、個別のスペクトル色相を有する。既知の画像特性に対するそのような対応関係は、所望の実施形態に応じて、パターン認識やその他の機械学習を介して、又は他の方法によって手動で導出してもよい。
【００２８】
図３には、一例示的実施形態による熱フィードバックチャネル用のキーフレームシーケンスの自動生成アルゴリズムの一例が示されている。必要があれば３００において、アスペクト比が熱グリッドのアスペクト比に合うように、ソース映像１０１がクロップされる。
【００２９】
３０１で映像に対する画像処理を行い、グレースケール、あるいは色相、彩度、明度、輝度などのその他のピクセルレベルでのメタデータが抽出される。映像は画像の時間シーケンスの形態であってもよいし、画像は所望の実施形態に応じた任意の形態であってよい。グレースケール変換の代替として、このフローでは所定の色−温度マップ３１０も利用可能である。これは色をそのソース映像１０１のドメインに適切な熱情報にマッピングする。すなわち、グレースケール変換する代わりに、ソース映像のドメインが既知の場合には色値を熱出力にマッピングする所定のマッピングを例示的実施形態において利用可能である。例えば、風景のシーンが示されている場合には、低い温度に対しては青の色調（水、空など）で、温かい温度に対しては緑及び茶の色調（木、土など）をマップする適切な色マッピングを利用して映像に対する適切な温度を判定することができる。そのような実施形態を、画像コンテンツの（例えばディープラーニング、機械学習を介する）セマンティック処理を利用して拡張し、シーン要素に対する適切な温度値を決定するために画像コンテンツの分類及びセグメント化を行うことが可能である。そうして、所望の実施形態に従う、ドメインの知識、機械学習、又は他の方法などを介する任意の方法によって、色−温度マッピング３１０を導くことができる。
【００３０】
３０２において、マッピング操作（例えばサブサンプリング）が実行されて、映像のピクセル数が熱出力装置のグリッドに対応付けされる。３０３において個々のフレームが、所望の実施形態に応じて例えばビットマップ画像又は他の画像等の画像として出力される。３０４において画像群を覆う各グリッドセルの平均値を算出してフレームレート変換が行われ、熱出力装置に対する所望のリフレッシュレートが達成される。３０５において計算を利用して、温度データが熱出力装置の熱出力能力に従って規格化される。３０６において、例えば図２に示すように、キーフレームリストが所望のフォーマットで生成される。
【００３１】
３０７においてキーフレームリストが所望のプロセスに基づいて最適化される。これは例えば熱出力装置の出力装置の制限又は制約３２０を組み込むことができる。例示的実施形態において、キーフレームリストは後処理をしてさらに最適化することができる。３０６において生成されるキーフレームリストは一定時間間隔であってもよいので、例示的実施形態において冗長なキーフレーム（例えば、温度差が最小あるいは閾値内であるシーケンス内の複数のキーフレーム）を除去する方法を適用することができる。
例示的実施形態においては、冗長度除去は、累積差を測定することによりアルゴリズムで実現することができる。
【００３２】
【数１】
2018097849.tif 000003
【００３３】
キーフレームリストをＫ１，Ｋ２，…，Ｋｍ（ｍ∈Ｎ）とし、任意のｊ＞ｉに対してＤｉ，ｊがある閾値εを超えるとすると、例示的実施形態はキーフレームＫｉ＋ｊからＫｊ−１までを除去できる。
【００３４】
装置制約３２０は、所望の実施形態に従って利用することも可能である。例えば、熱出力装置が所望の熱特性（例えば、出力温度、温度差、又は温度変化率）を生成できない場合、又は人的因子による問題（例えば最高／最低安全温度、知覚の時間積分）で制限される場合、キーフレームは（例えば後続の設定との不一致がなければ）後ろの時間へ移動可能であり、あるいは、熱出力装置の加熱又は冷却性能を反映するように書き直すことができる。例示的実施形態において、装置の制約情報は再生時にも組み込むことが可能であって、そうすることによってすべての種類の熱出力装置に亘って生成されたキーフレームリストが保持できる。
【００３５】
生成されたキーフレームリスト１０３が利用されることで、図４（ａ）及び図４（ｂ）に示すインタフェースを用い、かつ熱出力装置を介して、熱チャネルの再生が可能となる。
【００３６】
図４（ａ）及び図４（ｂ）は、一例示的実施形態によるキーフレーム手動編集用のインタフェースの一例を示す。図４（ａ）に示すように、図１の編集ビューインタフェース例１０５は、ソース映像上に配置されたグリッドを利用してユーザが熱出力温度を定義できるように構成されている。各グリッドセルは、熱出力装置上の加熱／冷却セルに対応している。一例として図４（ｂ）に示すように、再生ビューインタフェース１０６は編集ビューに従属し、熱出力装置上に編集ユーザインタフェース（ＵＩ）なしで映像を再生できるようになっている。
【００３７】
図４（ａ）、図４（ｂ）の例において、映像再生に付随する熱出力チャネルを手動でキーフレーム編集するためのＵＩがある。ＵＩは、熱出力チャネルで注釈をつけるための図４（ａ）の映像を覆うグリッドを示す。個別のグリッドセル内でのマウスのドラッグ又はその他の入力方法（例えばタッチスクリーン）によって、ユーザは熱出力装置の温度出力範囲内の温度を設定することができる。映像はインタフェースを利用した再生、又はスライダーバーを利用した所与のタイムスタンプへのスクロールが可能である。「キーフレーム追加」ボタン、又はその他のユーザインタフェース実装を利用してキーフレームを追加することができる。追加されたキーフレームはリスト形式とすることができ、そこでキーフレームの選択、並べ替え又は削除、あるいは所望の実施形態に従う他の形式とすることが可能である。編集が終了するとユーザは、生成されたキーフレームリストを図２に示すようなＪＳＯＮファイルとして保存できる。
【００３８】
図４（ａ）の例において、編集ビューインタフェースは、ウェブサーバで仲介されるウェブソケットイベントを介して再生ビューにおける映像の再生を制御可能である。編集ビューインタフェースはまた、キーフレームを利用して熱出力装置上の熱出力を映像再生時に取得された時間情報に結びつけることが可能である。例えば、編集ビューインタフェースは、コンピュータ装置にリクエストを送信して適切な熱情報を現在の映像タイムスタンプに従って熱出力装置上に表示させるように構成することができる。
【００３９】
図４（ｂ）の例では、再生ビューインタフェースは熱出力装置上に提供されるように構成されている。図４（ｂ）の例では、再生ビューインタフェースは、映像を提供してすべてのＵＩ要素を削除し、かつ、ウェブソケット又は他の接続方法を介して編集ビューインタフェース１０５による遠隔制御が可能である。
【００４０】
例示的実施形態において、カメラ入力画像（ＩＲ又は標準画像）は必ずしも、映像に付随する時間的な熱情報を生成する唯一の方法ではない。例えば、映像中の俳優の身体に装着されたセンサ（例えば皮膚温度、皮膚抵抗、脈拍）を利用して、映像内にレンダリングされる熱データストリームを生成することも可能である。別の例示的実施形態では、映像に示される車両からの遠隔測定センサ（例えばエンジンの毎分の回転数（ＲＰＭ）、ブレーキ温度、排気ガス温度、燃料レベルなど）の使用が含まれる。別の例示的実施形態では、熱映像のレンダリングは、ソース映像を（例えばディープラーニング又は手動プロセスを介して）持続領域にセグメント化した後、センサストリームを特定領域の温度値にマッピングすることによって実現可能である。映像に対する熱情報生成の他の方法もまた所望の実施形態に従って利用可能であり、本開示はこれに限定されない。
【００４１】
例示的実施形態において、温度変化に対する温度プロファイル関数がある。温度プロファイル関数は、１つのキーフレームから別のキーフレームへ変わる場合の熱出力装置の行動の定義に利用される。閉ループ制御を有する熱出力装置は、新しいキーフレームを表示する際に、比例−積分−微分（ＰＩＤ）コントローラにより装置出力を制御して温度変化を起こすことができる。ただしそのような装置は、電子回路設計に複数の温度センサを付加するオーバヘッド（例えば、配線、電力供給、アドレス指定）のために、開ループ制御の装置に比べて構築が技術的に複雑となりうる。
【００４２】
例示的実施形態において、開ループ装置を利用して所望温度を正確に設定できる。入力電力（Ｗ単位）と装置の表面温度との関係が測定されると、マッピング（例えば線形）でデータフィッティングが行われる（Ｒ２＝０．９９）。ただし、線形マッピングを直接行うと、その方法では加熱のためのフル出力電力や冷却のためのゼロ出力電力は適用されないことがあり、温度変化に対する応答時間が遅い結果となり得る。
【００４３】
したがって、本明細書に記載の例示的実施形態では温度プロファイル関数を適用する。これは加熱と冷却のそれぞれにフル電力とゼロ電力の温度出力を推定温度出力（上昇／下降）継続時間だけ与え、次いで遅延時間の後に線形電力−温度マッピンッグが要求する電力設定に戻して所望の最終温度を維持するものである。プロファイル関数を取得するために、追加の測定ステップを行って、熱出力装置の最大加熱速度ＳＨｅａｔと最大冷却速度ＳｃｏｏｌをＣ／ｓ単位で得ることができる。
【００４４】
図５は、一例示的実施形態による、熱出力装置１０７の温度プロファイル関数のためのフロー図である。この温度プロファイル関数の例は、所望の実施形態に応じて、例えば組込装置１０４、又は組込装置１０４に命令を送るように構成されたコンピュータ装置１０２によって実行可能である。（ｇｒｉｄＸ，ｇｒｉｄＹ）にあるグリッドセルを“ｃｕｒｒｅｎｔＴｅｍｐ”から“ｔａｒｇｅｔＴｅｍｐ”へ変化させるための温度プロファイル関数ＰｇｒｉｄＸ，ｇｒｉｄＹ，ｔ０，ｔ１（ｓ）（ここで、ｓはｔ０≦ｓ≦ｔ１である時間を表す変数）は、以下のフローにより計算される。５０１において、温度プロファイル関数が温度差：ｔＤｉｆｆ＝ｔａｒｇｅｔＴｅｍｐ−ｃｕｒｒｅｎｔＴｅｍｐを計算する。５０２において、温度プロファイル関数が線形電力−温度マッピングにより目標温度に対する最終電力を取得する。５０３において、ｔＤｉｆｆ≧０であれば、温度プロファイル関数は最大温度出力の継続時間をｍｓ単位で算出し、電力レベルを以下のように設定する。
【００４５】
１．温度差：ｔｄｉｆｆ＝ｔ１−ｔ０を計算
２．ｔ１の線形電力−温度マッピングから、ｔ１に対する最終電力設定ｐ１を取得
３．ｔｄｉｆｆ≧０であれば、以下のようにｍｓ単位の温度出力継続時間ｓｒａｍｐと電力設定Ｐｒａｍｐを計算
Ｓｒａｍｐ＝ｔｄｉｆｆ／Ｓｈｅａｔ＊ｃｒａｍｐ
Ｐｒａｍｐ＝Ｐｍａｘ
４．他方、ｔｄｉｆｆ＜０であれば、ｓｒａｍｐ＝ｔｄｉｆｆ／Ｓｃｏｏｌ＊ｃｒａｍｐ
Ｐｒａｍｐ＝０
【００４６】
ｃｒａｍｐ∈（０，１）は、所望の目標温度に対してオーバシュート（正の温度変化実行時）又はアンダーシュート（負の温度変化実行時）の可能性の制限するために熱の出力継続時間を軽減する安全バッファとして作用する係数である。これにより電力プロファイル関数は次のように定義可能である。
【００４７】
【数２】
2018097849.tif 000004
【００４８】
５０４において、温度プロファイル関数が出力電力レベルを、算出されたｒａｍｐＰｏｗｅｒと熱出力装置のグリッドの関数として設定する：ｓｅｔＰｏｗｅｒＬｅｖｅｌ（ｇｒｉｄＸ，ｇｒｉｄＹ，ｒａｍｐＰｏｗｅｒ）。５０５において、温度プロファイル関数が熱の出力継続時間の遅延後に最終電力レベルを設定する：ｓｅｔＲａｍｐＰｏｗｅｒＤｅｌａｙｅｄ（ｇｒｉｄＸ，ｇｒｉｄＹ，ｆｉｎａｌＰｏｗｅｒ，ｒａｍｐＤｕｒａｔｉｏｎ）
【００４９】
ｒａｍｐＴｉｍｅＣｏｅｆｆ∈（０，１）は、所望の目標温度に対してオーバシュート（正の温度変化実行時）又はアンダーシュート（負の温度変化実行時）の可能性を制限するために熱の出力継続時間を低減する安全バッファとして設計された値である。
【００５０】
図６（ａ）と図６（ｂ）は、一例示的実施形態による、加熱及び冷却用のプロファイル関数を示す。具体的には、図６（ａ）と図６（ｂ）は、開ループ制御で熱出力装置に正の温度変化（図６（ａ））と負の温度変化（図６（ｂ））をさせるための電力プロファイルを示している。
【００５１】
図７は、例示的実施形態での使用に好適な例示的コンピュータ装置を有する、例示的コンピューティング環境を示す。例えば、以下に概要を述べるコンピュータ装置例は、図１に記載のコンピュータ装置１０２として利用されて、編集ビューインタフェース１０５を支援し、かつ再生ビューインタフェース１０６を提供することができる。コンピューティング環境７００内のコンピュータ装置７０５は、一つ又は複数の処理ユニット、コア又はプロセッサ７１０、メモリ７１５（例えばＲＡＭ、ＲＯＭ、及び／又はそれに類似のもの）、内部ストレージ７２０（例えば、磁気ストレージ、光ストレージ、固体ストレージ、及び／又は有機ストレージ）、及び／又はＩ／Ｏインタフェース７２５などを含むことが可能であり、それらの任意のものは情報通信のための通信機構又はバス７３０に連結可能であり、あるいはコンピュータ装置７０５に組み込み可能である。
【００５２】
コンピュータ装置７０５は、入力／ユーザインタフェース７３５、及び出力装置／インタフェース７４０に通信可能に連結できる。入力／ユーザインタフェース７３５と出力装置／インタフェース７４０のいずれか１つ又は両方は、有線または無線のインタフェースであって取り外し可能であってよい。入力／ユーザインタフェース７３５は、物理的または仮想的であって、入力を提供するために使用可能な任意の装置、コンポーネント、センサ、又はインタフェース（例えば、ボタン、タッチスクリーンインタフェース、キーボード、ポインティング／カーソル制御器、マイクロフォン、カメラ、点字器、モーションセンサ、光学リーダなど）を含んでよい。出力装置／インタフェース７４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字器などを含んでよい。いくつかの例示的実施形態では、入力／ユーザインタフェース７３５と出力装置／インタフェース７４０はコンピュータ装置７０５に組み込まれるか、物理的に連結されていてもよい。別の例示的実施形態では、他のコンピュータ装置がコンピュータ装置７０５のための入力／ユーザインタフェース７３５と出力装置／インタフェース７４０として機能するか、あるいはその機能を提供してもよい。
【００５３】
コンピュータ装置７０５の例としては、これに限定されるものではないが、高度なモバイル装置（例えば、スマートフォン、車両及びその他の機械に搭載の装置、ヒト又は動物が携行する装置など）、モバイル装置（例えば、タブレット、ノートブックコンピュータ、ラップトップコンピュータ、パーソナルコンピュータ、携帯テレビ、ラジオなど）、及び可動用ではない装置（例えば、デスクトップコンピュータ、その他のコンピュータ、情報キオスク、内部に組み込み及び／又は連結された一つ又は複数のプロセッサを有するテレビ、ラジオなど）が含まれてよい。
【００５４】
コンピュータ装置７０５は、外部ストレージ７４５とネットワーク７５０に（例えばＩ／Ｏインタフェース７２５を介して）通信可能に接続されて、同じ構成又は異なる構成の一つ又は複数のコンピュータ装置を含む、任意の数のネットワーク接続されたコンポーネント、装置、及びシステムと通信できるようになっていてもよい。コンピュータ装置７０５又は任意の接続されたコンピュータ装置は、サーバ、クライアント、シンサーバ、汎用機械、特定用途機械、あるいは別のラベルとして、機能するか、そのサービスを提供するか、又はそれらとして称することが可能である。
【００５５】
Ｉ／Ｏインタフェース７２５は、コンピューティング環境７００にある少なくともすべての接続されたコンポーネント、装置、及びネットワークに向けて、及び／又はそこから、情報を通信するための、任意の通信又はＩ／Ｏプロトコルまたは標準（例えば、イーサネット（登録商標）、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、セルラーネットワークプロトコルなど）を利用する有線及び／又は無線インタフェースを含むことができる。ただしこれに限定されるものではない。ネットワーク７５０は、任意のネットワーク又はネットワークの組合せ（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）であってよい。
【００５６】
コンピュータ装置７０５は、一時媒体及び非一時媒体を含む、コンピュータ使用可能媒体またはコンピュータ可読媒体を利用して、使用及び／又は通信が可能である。一時媒体には、伝送媒体（例えば金属ケーブル、ファイバ光学材料）、信号、搬送波などが含まれる。非一時媒体には、磁気媒体（例えばディスク及びテープ）、光学媒体（例えばＣＤ  ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、固体媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、固体ストレージ）、及びその他の不揮発性ストレージ又はメモリが含まれる。
【００５７】
コンピュータ装置７０５は、いくつかの例示的コンピューティング環境において技術、方法、アプリケーション、プロセス、又はコンピュータ実行可能命令の実装に使用可能である。コンピュータ実行可能命令は一時媒体から取り出して非一時媒体に格納し、そこから取り出すことができる。実行可能命令は、任意のプログラミング言語、スクリプティング言語、及び機械言語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ  Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）、他）の内の一つ又は複数を基とすることができる。
【００５８】
メモリ７１５は、ピクセル特性への触覚フィードバックのマッピングデータベースを格納又は管理するように構成されていてもよい。そのような例示的実施形態では、所望の実施形態による任意の方法で生成されるピクセル特性（例えばグレースケール強度、カラー強度）への触覚フィードバックのアーカイブとして機能するように、メモリ７１５が構成されてもよい。メモリ７１５はまた映像用の触覚フィードバック情報を格納するために利用することもできる。マッピングと触覚フィードバック情報は、以下で述べるような例示的実施形態に従ってプロセッサ７１０で処理することができる。本明細書に記載の例示的実施形態は所望の実施形態に従って、単独又は相互に任意に組み合わされて実行されてもよく、特定の例示的実施形態に限定されるものではない。
【００５９】
プロセッサ７１０は、ネイティブ環境又は仮想環境において任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行可能である。論理ユニット７６０、アプリケーションプログラミングインタフェース（ＡＰＩ）ユニット７６５、入力ユニット７７０、出力ユニット７７５、及び異なるユニットが相互に、またＯＳ及び他のアプリケーション（図示せず）と通信するためのユニット間通信機構７９５を含む、一つ又は複数のアプリケーションを展開可能である。上記のユニット及び要素は、設計、機能、構成、又は実装において変形可能であり、ここでの記述に限定されるものではない。
【００６０】
いくつかの例示的実施形態では、情報又は実行命令をＡＰＩユニット７６５が受信すると、それが一つ又は複数の他のユニット（例えば論理ユニット７６０、入力ユニット７７０、出力ユニット７７５）へ通信されてもよい。いくつかの場合では、論理ユニット７６０はユニット間の情報の流れを制御し、上記のいくつかの例示的実施形態におけるＡＰＩユニット７６５、入力ユニット７７０、出力ユニット７７５により提供されるサービスを命令するように構成されてもよい。例えば、一つ又は複数のプロセス又は実施形態のフローは、論理ユニット７６０だけで制御されてもよいし、ＡＰＩユニット７６５と連携して制御されてもよい。入力ユニット７７０は例示的実施形態で述べた計算のための入力を取得するように構成されてもよいし、出力ユニット７７５は例示的実施形態で述べた計算に基づいて出力を提供するように構成されてもよい。
【００６１】
プロセッサ７１０は、図４（ｂ）に示すように熱出力装置のディスプレイ上で映像の再生を実行し、熱出力装置のディスプレイ上での映像の再生中に熱出力装置に命令して、図４（ａ）、図４（ｂ）に示すように、映像に関連する熱情報に基づいて熱出力装置の温度を調節させるように構成可能である。熱情報は、図２に示すようなキーフレーム定義ファイルの形態であってもよいし、ＩＲカメラ又は映像に関連する他のセンサのセンサ情報であってもよいし、あるいは所望の実施形態に応じた映像の温度を示唆する他の情報であってもよい。
【００６２】
プロセッサ７１０は、映像の処理に基づいて映像の熱情報を生成するように構成することもできる。映像の処理には、映像に温度マッピングを適用して映像の一つ又は複数のフレームに対する一つ又は複数の温度を判定することと、熱出力装置に基づいて一つ又は複数の温度を規格化することと、図３のフロー図に示すように映像の一つ又は複数のフレームに対する一つ又は複数の温度に基づいて映像のキーフレームを判定すること、が含まれ得る。温度マップには、図３に既述したような色−温度マップによるか、又はピクセルの輝度に基づく温度のスケーリングによるか、所望の実施形態に応じた他の方法によるかのいずれかにより、温度と、ピクセルカラーとグレースケール強度のうちの１つとの間のマッピングをすることが含まれ得る。例示的実施形態において、温度フレームの数は、必要があれば映像内のフレームの数と異なることができる。
【００６３】
プロセッサ７１０は、熱出力装置の一部分の現在温度と目標温度との間の温度差を判定し、熱出力装置の電力−温度マッピングに基づいて熱出力装置のその部分に対する目標温度の電力レベルを判定し、温度差と熱出力装置の特性とに基づいて温度出力継続時間を判定し、図５に示すように熱出力装置のその部分に対する電力レベルと温度出力継続時間に従って加熱機構又は冷却機構に関与するように熱出力装置に命令することによって熱出力装置の温度を調節するように構成されている。命令はプロセッサ７１０から組込装置１０４に送信されて、熱出力装置１０７を制御することができる。別の例示的実施形態では、図５のフローの一部またはすべてが、所望の実施形態に応じて組込装置１０４によって実行されてもよい。熱出力装置の特性としては、熱出力装置が利用する加熱又は冷却機構に基づいて、熱出力装置が温度差により、又は第１の温度から第２の温度へ、温度を増加または減少させるのに要する時間に関する情報を含むことができる。また、熱出力装置の各ピクセルの表面積、冷却機構の温度なども所望の実施形態に応じて含まれ得る。
【００６４】
プロセッサ７１０は図４（ａ）に示すように、映像の選択部分に対する提示する熱情報を与えるインタフェースを提供し、そのインタフェースへの入力に基づいてその熱情報を調節するように構成されている。インタフェースは装置への入力に基づいて熱出力装置の選択部分に対する熱情報を調節するように構成され、その部分は図４（ａ）に示すようにインタフェースを介して選択される。図４（ａ）に示すように、熱出力装置１０７のグリッドの温度は、図４（ａ）の与えられたインタフェースを介して、映像の編集及び再生中に調節されてもよい。
【００６５】
図８は、例示的実施形態を適用可能な熱装置例を示す。図８の例において、熱出力装置１０７は、ディスプレイ要素８００、加熱機構８０１、冷却機構８０２、組込装置１０４、及びインタフェース（Ｉ／Ｆ）８０３を含むことができる。
例示的実施形態では、ディスプレイ要素８００は、加熱及び冷却のためにグリッドに分割可能な基板で作製されている。ディスプレイ要素８００は、プロジェクタ要素を利用して映像を表示するようになっているか、又はコンピュータ装置１０２から組込装置１０４とＩ／Ｆ８０３を介して表示のためにディスプレイ要素８００へ送信されるかのいずれかである。
【００６６】
加熱機構８０１は、例えば電流を熱に変換するように構成された任意の電気抵抗加熱要素など、ディスプレイ要素８００を加熱するように構成可能な任意の加熱要素を含むことができる。一例示的実施形態では印刷回路基板（ＰＣＢ）は、導電性の加熱螺旋（例えば銅）のグリッドと共に利用可能である。一例示的実施形態では各螺線は銅であって、加熱セル内に印刷されている。例示的な構成では、２０Ｖの加熱セルで約４０Ｗの熱を出力するように構成可能である。ただし他の加熱機構も使用可能であり、本開示をこれに限定するものではない。
【００６７】
冷却機構８０２は、例えば任意の液体、固体、又は気体の冷媒システム又はファンアレイなどの、ディスプレイ要素８００又は加熱機構８０１を冷却するように構成された任意の冷却要素を含むことができる。冷却の一例示的実施形態では、加熱コイルが刷り込まれたＰＣＢが冷却マニホールドの上に配置される。グリッド位置にある加熱コイルへの電流が切断されると、ＰＣＢは液体冷媒によって冷却される。ポンプで液体冷媒を冷却設備及びマニホールドに循環させる。冷媒は、冷却が必要なときにグリッドから余剰の熱を取り去るのに使用される。マニホールドの冷却効果とグリッドの加熱コイルからの熱入力とのバランスによって、グリッド上の任意の点を任意温度に設定可能である。一例示的実施形態では、冷却機構８０２は所望温度（例えば約３℃）に冷却された水を液体冷媒として使用する。水はポンプで、水の入った水タンクから水の冷却用の水槽チラーユニットに送られる。チラーユニットの出口は冷却マニホールドの入口ポートに接続可能である。冷媒を均一に分散させるために、マニホールドは冷媒出口を対向するコーナに配置することができる。冷媒出口からの流出は配管でタンクへ戻すことができ、そこで冷却サイクルが新たに始まる。
【００６８】
組込装置１０４は、運転時に加熱機構８０１と冷却機構８０２を積極的に制御するように構成可能である。一例示的実施形態では、加熱グリッドの各セルには関連するＭＯＳＦＥＴ（金属酸化物半導体電界効果型トランジスタ）があって、セルのヒータ螺旋への電流を切り替える。ＭＯＳＦＥＴのゲートは、ＭＯＳＦＥＴのゲート駆動用のＰＷＭコントローラのシールドによって駆動可能である。組込装置１０４は制御ロジック（例えばフィールドプログラマブルゲートアレイ、プロセッサ）として実装可能であって、バス接続を介してＰＷＭコントローラシールドへコマンドを送信する。組込装置１０４はＩ／Ｆ８０３（例えばＵＳＢ経由で）を介してコンピュータ装置１０２と通信することもできて、インタラクティブアプリケーションが熱出力装置１０７を利用可能となる。ただし、加熱機構８０１、冷却機構８０２、及びディスプレイ要素８００の所望の実施形態に応じて、他の実施形態もまた可能である。別の例示的実施形態では、組込装置１０４が所望の冷却機構８０２又は加熱機構８０１を駆動するように構成されたＦＰＧＡであってもよい。
【００６９】
本明細書の例示的実施形態は熱装置と熱出力を対象としているが、電気振動、超音波フィードバック、圧力、又は所望の実施形態に応じた他の触覚出力などの他の触覚フィードバックへ例示的実施形態を拡張することも可能である。こうして、例示的実施形態を拡張して、映像処理及びキーフレーミングを行って、所望の触覚フィードバックのためのフレーム又はピクセルのマッピングを生成することができる。一例示的実施形態において、ピクセル強度を所望の実施形態に応じて様々な程度の電気振動、圧力フィードバック、振動フィードバックなどへマッピング可能である。
【００７０】
そのような例示的実施形態においてプロセッサ７１０は、映像の処理に基づいて映像の触覚情報を生成するように構成可能である。映像の処理には、映像に触覚フィードバックマッピングを適用して映像の対応する複数のフレームに複数レベルの触覚フィードバックを判定することと、触覚出力装置に基づいて複数レベルの触覚フィードバックを規格化することと、映像の対応する複数のフレームに対する複数レベルの触覚フィードバックに基づいて映像のキーフレームを判定すること、が含まれる。触覚フィードバックマッピングには、触覚フィードバックの種類と所望実施形態とによる図３の実施形態を拡張することにより、触覚フィードバックのレベルと、ピクセルカラー及びグレースケール強度のうちの少なくとも１つとの間のマッピングを含むことができる。
【００７１】
例示的実施形態において、触覚出力装置の一部の現在の触覚フィードバックレベルと目標触覚フィードバックレベルとの間の触覚フィードバックのレベル差を判定することと、熱出力装置の電力−触覚フィードバックレベルのマッピングに基づいて触覚出力装置のその部分の目標触覚フィードバックレベルの電力レベルを判定することと、触覚フィードバックレベルの差と触覚出力装置の特性とに基づいて触覚フィードバックレベルの熱出力の継続時間を判定することと、触覚フィードバックの種類と所望の実施形態により図５の実施形態の拡張に基づいて触覚出力装置のその部分に対する触覚フィードバックレベル出力の電力レベルと継続時間に応じて触覚フィードバック機構に関与するように触覚出力装置に指示することと、によって、プロセッサ７１０は触覚出力装置の触覚フィードバックを調節するように構成可能である。触覚出力装置の特性としては、触覚出力装置が触覚フィードバックレベルの差により、又は第１のレベルから第２のレベルへ、触覚フィードバックレベルを増加または減少させるのに要する時間に関する情報が含まれ得る。これは、所望の実施形態に応じて、触覚出力装置が触覚フィードバックを容易にするために利用する機構や、触覚出力装置の各ピクセルの表面積などに基づいている。
【００７２】
プロセッサ７１０は、映像の選択部分に対して提示する触覚フィードバックレベルを与えるように構成されたインタフェースを提供し、そのインタフェースへの入力に基づいてその触覚フィードバックレベルを調節するように構成することも可能である。例えば、触覚又は圧力フィードバック装置において、触覚フィードバックレベルによって示されるレベルに従って、触覚出力装置が触知性又は圧力フィードバック出力を提供可能である。
【００７３】
詳細な記述のいくつかの部分は、コンピュータ内部の操作のアルゴリズムと記号表示によって提示される。これらのアルゴリズム表記と記号表示は、データ処理技術の当業者がその技術革新の本質を他の当業者に伝えるために使用する手段である。アルゴリズムは所望の最終状態または結果に至る、一連の定義されたステップである。例示的実施形態において、実行されるステップは有形の結果を達成するための有形量の物理的操作を必要とする。
【００７４】
特に別段の記述がない限り、本議論から明らかなように本説明全体を通じて、「処理する」、「計算処理する」、「計算する」、「判定する」、「表示する」などの用語を使用した議論は、コンピュータシステムのレジスタ及びメモリ内の物理的（電子的）量として表されるデータを操作及び変換して、同様にコンピュータシステムのレジスタ及びメモリ、あるいは他の情報の格納、伝送、又は表示装置内の物理量として表される他のデータとする、コンピュータシステム又は他の情報処理装置の動作及び処理を含むことができる。
【００７５】
例示的実施形態はまた本明細書の操作を実行する装置にも関係する。この装置は、所要目的のために特別に構築されてもよいし、一つ又は複数のコンピュータプログラムによって選択的に作動ないしは再構成された、一つ又は複数の汎用コンピュータを含んでもよい。そのようなコンピュータプログラムは、コンピュータ可読ストレージ媒体又はコンピュータ可読信号媒体などの、コンピュータ可読媒体内に格納されてもよい。コンピュータ可読ストレージ媒体は、これに限定されるものではないが、光ディスク、磁気ディスク、読出し専用メモリ、ランダムアクセスメモリ、ソリッドステート装置及びドライブ、あるいは電子情報の格納に好適なその他の任意の種類の有形あるいは非一時的な媒体などのような有形媒体も含み得る。コンピュータ可読信号媒体は、搬送波などの媒体を含み得る。本明細書に提示したアルゴリズム及び表示は、いかなる特定のコンピュータ又は他の装置にも本質的に関係するものではない。コンピュータプログラムは、所望の実施形態の操作を遂行する命令を含む、純粋なソフトウェア実施形態も含むことができる。
【００７６】
様々な汎用システムが、本明細書の実施例に従うプログラム及びモジュールと共に使用されてもよいし、所望の方法ステップを遂行するためにより特殊化された装置を構築することが好都合であることもある。さらに、例示的実施形態はいかなる特定のプログラミング言語を参照して記述されたものでもない。本明細書に記載の例示的実施形態の教示を実装するために、様々なプログラミング言語が使用され得ることが理解されるであろう。プログラミング言語の命令は、例えば中央処理ユニット（ＣＰＵ）、プロセッサ、あるいはコントローラなどの、一つ又は複数の処理装置によって実行され得る。
【００７７】
当分野において周知のように、前述の操作は、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアの何らかの組合せによって遂行可能である。例示的実施形態の様々な態様は、回路および論理装置（ハードウェア）を用いて実装されてもよい。また、他の態様は、機械可読媒体（ソフトウェア）上に格納された命令を用いて実装されてもよい。この命令は、プロセッサによって実行されると本出願の実施形態を遂行するための方法をプロセッサに遂行させる。さらに、本出願のいくつかの例示的実施形態はハードウェアのみで遂行されてもよく、その一方で他の例示的実施形態はソフトウェアのみで遂行されてもよい。さらに、記述された様々な機能は単一のユニットで遂行することができるし、あるいは任意の数の方法でいくつかのコンポーネントに亘って広げることもできる。ソフトウェアで遂行される場合、本方法は、コンピュータ可読媒体上に格納された命令に基づいて汎用コンピュータなどのプロセッサによって実行されてよい。必要があれば、命令は圧縮及び／又は暗号化されたフォーマットで媒体上に格納することができる。
【００７８】
さらに、本出願の他の実施形態は、本出願の明細書の考察及び教示の実行から当業者には明らかであろう。記載された例示的実施形態の様々な態様及び／又は構成要素は、単独又は任意の組合せで使用され得る。本明細書及び例示的実施形態は例示としてのみ考えるべきであって、本出願の真の範囲と精神は以下の特許請求の範囲によって示されることが意図されている。
【符号の説明】
【００７９】
１０１  映像ファイル
１０２  コンピュータ装置
１０３  キーフレーム定義ファイル
１０４  組み込み装置
１０５  編集ビュー
１０６  再生ビュー
１０７  熱出力装置
２０１  ソース映像ファイル名
２０２  キーフレームＩＤ
２０３  グリッド温度出力値
２０４  対応する映像時間
７００  コンピューティング環境
７０５  コンピューティング装置
７１０  プロセッサ
７１５  メモリ
７２０  内部ストレージ
７３０  Ｉ／Ｏインタフェース
７３５  入力／ユーザインタフェース
７４０  出力装置／インタフェース
７４５  外部ストレージ
７５０  ネットワーク
７６０  論理ユニット
７６５  ＡＰＩユニット
７７０  入力ユニット
７７５  出力ユニット
７９５  ユニット間通信機構
８００  ディスプレイ
８０１  加熱機構
８０２  冷却機構
８０３  Ｉ／Ｆ
【図１】
2018097849.tif 000005
【図２】
2018097849.tif 000006
【図３】
2018097849.tif 000007
【図４（ａ）】
2018097849.tif 000008
【図４（ｂ）】
2018097849.tif 000009
【図５】
2018097849.tif 000010
【図６（ａ）】
2018097849.tif 000011
【図６（ｂ）】
2018097849.tif 000012
【図７】
2018097849.tif 000013
【図８】
2018097849.tif 000014