Balmoral Estate ble bygget som et hjem for William Drummond i 1390. Eiendommen hadde tidligere tilhørt kong Robert II, som hadde en jakthytte der. Etter Drummonds død ble eiendommen solgt til Alexander Gordon, 3. jarl av Huntly. Den var deretter i Gordan-slektens eie inntil 1662, da den ble kjøpt av Farquaharson-slekten fra Invery, som så solgte den til James Duff, 2. jarl Fife i 1798. I 1822 foregikk deler av seremonien rundt kroningen av Georg IV der.