Los Condes de Miranda, señores de Palos de la Frontera, que realizaron una destacada labor en la organización de la villa, con la construcción del castillo y de la Iglesia de San Jorge, probablemente también fueron quienes adquirieran para la villa la imagen de la Virgen de los Milagros que actualmente existe.