提案された手法は、デスクトップコンピューターの制御にも適用可能であると考えられます。現在の手法は、スマートフォンのUIを介してデバイスを制御することに焦点を当てていますが、同様のアプローチをデスクトップ環境に拡張することは技術的に可能です。デスクトップ環境でも、画面上の情報を取得し、自然言語での指示を解釈して適切なアクションを実行することができるでしょう。
デスクトップコンピューターの制御においても、大規模言語モデル（LLMs）やビジュアル言語モデル（VLMs）を活用することで、ユーザーの自然な指示を理解し、デバイスを操作する能力を向上させることが期待されます。デスクトップ環境では、マウスクリックやキーボード入力などの操作を模倣することで、デバイスの制御を実現することが可能です。さらに、デスクトップアプリケーションのUIも一定の標準化された形式で情報を提供しており、これを活用することで制御プロセスを簡素化できます。
したがって、提案手法をデスクトップコンピューターの制御に適用することで、より幅広いデバイスに対応した自然なインタラクションを実現し、ユーザーエクスペリエンスを向上させる可能性があります。