Nació en cartagena de indias, hijo de Pedro Fernández de Madrid y de Gabriela Fernández de Castro, hija a su vez del señor Diego Fernández de Castro, quien fue gobernador, Capitán General y presidente de la Real Audiencia de Guatemala.