In de 18e eeuw is de tuin mogelijk verbonden geweest met de naastgelegen tuinen van Herengracht 516 en 520. De februaristorm in 1953 richtte in de binnentuinen grote schade aan. De tuinen van Herengracht 518, 520, 522 en 524 werden samengevoegd, maar zijn in de jaren 80 weer gescheiden. In 1991 werd het voormalige koetshuis weer aan het hoofdhuis toegevoegd en kon de oorspronkelijke tuinomvang van het ensemble worden hersteld.