Toen Antonia stierf in 1904 werd het kasteel verkocht aan Theodoor Rogier Cornelis Alphons Marie van Gulick uit 's-Hertogenbosch. Deze liet het kasteel renoveren door Jos Cuypers en ook liet hij tuinen aanleggen door Leonard Springer. In 1940 werd het kasteel en de tuinen gekocht door de gemeente Sint-Oedenrode. Tijdens de Tweede Wereldoorlog deed het dienst als distributiekantoor en in september 1944 als hoofdkwartier van de 101e Airborne-divisie. Daarna raakte het kasteel weer in verval en dreigde zelfs sloop, maar het werd opgeknapt vanaf 1956, waarbij de familie De Girard de Mielet van Coehoorn een aanzienlijke schenking deed onder voorwaarde dat het kasteel een publiek doel moest blijven dienen en niet meer verbouwd mocht worden. Ook de tuinen moesten intact blijven. Ook moest de herinnering aan de familie levend worden gehouden.