Fue su hijo mayor, Juan Girona y Agrafel, quien se ocupó inicialmente de la finca y quien dio al castillo su configuración actual, de cuatro torres, una en cada esquina, a lo que era originalmente una casa fortificada con una sola torre.