Castle of Mey ble bygget på 1500-tallet på stedet for en tidligere festning av George Sinclair, den 4. jarlen av Caithness. Slottet var ganske forfallent i 1952 da det og tilliggende eiendom ble kjøpt av dronningmoren (enkedronning Elizabeth). Dronningmoren restaurerte slottet og brukte det som feriested. Hun besøkte stedet regelmessig i august og september fra 1955 og til rett før sin bortgang, og hennes siste besøk var i oktober 2001.