食用にするのは主に果実で、世界中で香辛料として使われていて、日本人にも深くなじみがある。辛味があり香辛料として使用される辛味種と、辛味がないかほとんどない代わりに糖度が高く、主に野菜として食される甘唐辛子（甘味種）がある。熟して赤い辛味唐辛子のこと赤唐辛子といって、別名「鷹の爪」と呼ばれる、乾燥されたものを使うのが一般的である。また、未熟果で緑色をしている辛味唐辛子は青唐辛子といって、タイなどのアジア諸国でよく使われる。甘味種は、品種や栽培環境によって果実に辛味が出る場合がある。辛味種は、赤唐辛子は刺激的な辛味を持ち、特に種子に強い辛味があり、青唐辛子のなかにはシシトウガラシのような味わいを持つものもある。伏見辛の葉のように、葉の部分を食用にできる品種もあり、特有の芳香と苦味、ピリッとした辛さが好まれ、佃煮やしそ巻きになどに使われる。
辛味種は、赤唐辛子でも青唐辛子でも様々な調味料が作られていて、料理に刺激的なメリハリをつける香辛料として、炒め物、パスタ料理、漬物など、幅広く使用される。また甘味種は、煮物、揚げ物などにして、そのものの味を楽しむ料理に使われる。唐辛子を揚げ物に使うときは、実の中の空気が膨張して破裂してしまうので、実は切って使うか、あらかじめ穴をあけておく。葉を使うときは灰汁（アク）が少ないため、下茹でする必要はない。
日本ではあまり栽培されないが、パプリカには多少辛い品種もある。乾燥させて粉末とし香辛料または天然着色料としても使われる。
薬用.
果実は香辛料として有名だが、食欲増進、消化促進、健胃、唾液分泌促進作用、皮膚刺激作用があり、薬用として使われることがある。秋に果実が赤熟したものを採集して、陰干ししたものを蕃椒（ばんしょう）か辣椒（らっしょう）、または唐辛子と称している。一般用漢方製剤には配合されていないが、主に辛味性健胃薬や筋肉痛、しもやけなどの局所刺激薬として用いられている。日本薬局方では、アルコールなどを加えてチンキにした、トウガラシチンキの製薬原料としている。腰痛、筋肉痛、肩こり、リュウマチ、関節痛、神経痛にトウガラシチンキを塗る。エキスにして温湿布剤に配合したり、筋肉痛、凍傷、養毛に使われたりする。
防虫・抗菌効果.