Coral ble kalt hjem til Spania straks etter Gustav IIIs død i 1792 och de storstilte byggeplanene ble bare delvis utførte. Området forfalt i en periode, og ble så delt i tre deler: Övre Manilla, Nedre Manilla og Manhem. Nedre Manilla ble overtatt av legen professor A. J. Hagström i begynnelsen av 1800-tallet. Han ombygde de gjenstående 1700-tallsbygningene (stall, vognhus, krutthus og kuskbosted) til sommerbosted for familien Hagströmer.