On ne trouve plus trace de Castro à Anvers après 1576. C’est peut-être le Sac d'Anvers (4-) qui le décide à partir pour se protéger, pour échapper au massacre perpétré par les soldats espagnols. Les Pays-Bas espagnols, déchirés par le conflit entre Catholiques et Protestants et opprimés par la couronne d’Espagne, étaient alors un terre peu sûre. Il s’en explique dans une dédicace de 1580 :