物体や文書等の対象に対して、ただ意見を集めることは市場調査や定性調査にあたり、ユーザビリティテストではない。通常、ユーザビリティテストは統制された条件の下で組織的観察を行い、ユーザーがその商品をどれくらい上手く使用するか検証する。しかしユーザーの行動に加えてその動機や認識をより深く理解するため、ユーザビリティテストと定性調査は併用されることが多い。
ただユーザーに草稿を与えて、「この内容がわかりますか？」と問うのではなく、ユーザビリティテストではユーザーが与えられた対象を意図された用途に沿って使用する様子を観察する。例えば組み立てるタイプのおもちゃの説明書を検証する場合、被験者はまず説明書とおもちゃを与えられ、それらについてただ意見を求められるのではなく、実際にそのおもちゃを組み立てることが求められる。説明書の文章、絵のクオリティ、そしておもちゃのデザインなどすべてが組み立てる工程に影響を及ぼすのである。
手法.
ユーザビリティテストでは観察者が記録する中、入念に設計されたシナリオや現実的な状況下で、被験者は検証対象である商品を使ったいくつかのタスクを行う。合わせて、指示書やペーパープロトタイプ、事前/事後アンケートなども商品についてのフィードバックを得るために用いられることがある。例えばメールの添付機能を検証するにあたっては、シナリオ上ではユーザが添付メールを送らなければならない状況下にある事を説明し、そのタスクを行うことを要求する。開発者が問題点や人々の嗜好を見つけるために、ユーザが現実的で普段通りの行動を行うところを観察することが目的である。思考発話、共同発見学習、アイトラッキングなどの手法が、ユーザビリティテスト中にデータを集める目的で多用される。
ホールウェイテスト.
ホールウェイテストはユーザビリティテストの安価な手法の一つで、無作為に選ばれたユーザーに（例：そのあたりの廊下・街頭を歩いている人）商品やサービスを使用してもらうものである。このテストは新デザインの初期段階における「煉瓦の壁」、すなわち使用するにあたって進めなくなるほどの致命的な問題を発見する一助となる。プロジェクト関係者やエンジニア以外が対象となる（プロジェクトに近しい者は一般的ではない「専門家」として意見を述べてしまいがちになるため）。
リモートユーザテスト.