13世紀にアルベルトゥス・マグヌスにより発見されたとされる。ヒ素は無味無臭かつ、無色な毒であるため、しばしば暗殺の道具として用いられた。ルネサンス時代にはローマ教皇アレクサンデル6世（1431年 - 1503年）と息子チェーザレ・ボルジア（1475年 - 1507年）はヒ素入りのワインによって、次々と政敵を暗殺したとされる。中国でも天然の三酸化二ヒ素が「砒霜」の名でしばしば暗殺の場に登場する。例えば、『水滸伝』で潘金蓮が武大郎を殺害するのに使用したのも「砒霜」である。古代ギリシアや古代ローマ時代から暗殺などに使われていたとされることもある。
IARC発がん性リスク一覧で、ヒ素およびヒ素化合物は最もリスクが高い「グループ1」に分類されている。2004年には英国食品規格庁がヒジキに無機ヒ素が多く含まれるため食用にしないよう英国民に勧告した。これに対し、日本の厚生労働省はヒジキに含まれるヒ素は極めて微量であるため、一般的な範囲では食用にしても問題はないという見解を出している。日本の疫学調査では、食物から摂取されるヒ素は、喫煙男性の肺がんのリスクを高めたが、それ以外の人の肺がんリスクは高めなかった。調査対象者についての総ヒ素の平均摂取量は170μg/日と推計され、日本人の総ヒ素平均摂取量の178μg/日とほぼ同じであった。スウェーデン食品局は2015年に6歳未満の乳幼児にコメやコメ製品を与えないように勧告しており、大人でも「毎日食べるべきではない」としている。国立医薬品食品衛生研究所安全情報部第三室長である畝山智香子の『「安全な食べもの」ってなんだろう？　放射線と食品のリスクを考える』によると、1日3食、毎日コメを食べた場合のがんリスクを、放射能による影響と比較して「20ミリシーベルトの被曝と同じぐらい」としている。
1955年の森永ヒ素ミルク中毒事件では粉ミルクにヒ素が混入したことが原因で、多数の死者を出した。この場合は急性ヒ素中毒である。年月が経過し、慢性ヒ素中毒の報告もある。1998年に発生した和歌山毒物カレー事件では、この稿には詳細な急性中毒の報告が記載されている。この他、1908年に死去した清の光緒帝も、ヒ素による毒殺だった可能性が高いとされている。
生物に対する毒性が強いことを利用して、農薬、木材防腐に使用される。III-V族半導体であるヒ化ガリウム (GaAs) は、発光ダイオードや通信用の高速トランジスタなどに用いられている。ヒ素化合物であるサルバルサンは、抗生物質のペニシリンが発見される以前は梅毒の治療薬であった。中国医学では、硫化ヒ素である雄黄や雌黄はしばしば解毒剤、抗炎症剤として製剤に配合される。ほとんどの生物にとっては有毒だが、ヒ素を必須元素とする生物も存在する。微生物のなかに一般的な酸素ではなく、ヒ素の酸化還元反応を利用して光合成を行っているものも存在する。2010年には、GFAJ-1という細菌が、生体内で使われる核酸等のリンの代わりにヒ素を用いているという発表があったが、2012年のサイエンス誌上での報告によって主張は完全に否定されている。
コレクションの中に16世紀のイングランド王ヘンリー8世以前の美術品はほとんど存在しない。ロイヤル・コレクションの発展に最も大きな寄与をしたのは、イタリア・ルネサンス絵画の熱心なコレクターで、アンソニー・ヴァン・ダイクらの芸術家を庇護したチャールズ1世だった。このコレクションはイングランド内戦による1649年のチャールズ1世の処刑後に売り払われてしまったが、1660年の王政復古で国王の座に就いたチャールズ2世が、コレクションの殆どを取り戻している。また、ネーデルラント連邦共和国から28点のイタリア・ルネサンス絵画や12点の古代彫刻などを贈られ（en:Dutch Gift）、後にチャールズ2世も絵画や美術品を多数購入している。1760年に即位したジョージ3世は、王室図書館長フレデリック・オーガスタ・バーナード（en:Frederick Augusta Barnard）とともに非常に重要な版画と絵画をコレクションに加えており、1837年に即位したヴィクトリア女王と王配アルバートは、当時の現代絵画とオールド・マスターの絵画を熱心に収集した。ロイヤル・コレクションの所蔵美術品には美術館に贈与された作品もあり、歴代君主の中ではジョージ3世とヴィクトリア女王が多くの絵画を美術館に寄付している。特に王室図書館の収蔵品の大部分がジョージ3世によって大英博物館に寄付され、現在では大英図書館の所蔵となっている書物は現在でも「王室（Royal）」としてカタログに記載されている。ロイヤル・コレクションの中核となっているのは1603年にスコットランド王に加えイングランドなどの王に即位したジェームズ1世が購入したコレクションで、ウェールズの地図学者ハンフリー・ルイド（en:Humphrey Llwyd）、初代ラムリー男爵ジョン・ラムリー（en:John Lumley, 1st Baron Lumley）、第19代アランデル伯爵ヘンリー・フィッツアラン（en:Henry FitzAlan, 19th Earl of Arundel）らのコレクションと関連がある。1952年に即位した女王エリザベス2世のもとで重要な美術品がコレクションに加えられており、これらには購入や遺贈のほかに諸外国や公的機関からの贈与も含まれている。イギリス連邦からの贈与が多く、一例として1985年から2001年にかけてカナダ水彩画協会（CSPWC）から75点の現代水彩画がコレクションに加えられたことがあげられる。1962年、バッキンガム宮殿の一角にクイーンズギャラリーが開設され、ロイヤル・コレクションは一般に公開されるようになった。1993年にはロイヤル・コレクション・トラストが設立され、コレクション管理の他、ギャラリー運営、グッズ販売に至るまで、近代的なシステムにより経営されることとなった（初代理事長にはチャールズ皇太子が就任）。2002年にはクイーンズギャラリーが拡大されるとともにエディンバラにも新たなギャラリーが開設され、スコットランドでもロイヤル・コレクションの鑑賞が可能となった。