Henry Fox, primer barón de Holland murió en Holland House en 1774 y tras él la casa fue heredada por sus descendientes hasta que se eliminó el título con la muerte de Henry Edward Fox, 4.º barón de Holland en 1859; sin embargo, su viuda continuó viviendo allí durante muchos años, vendiendo poco a poco terrenos.