En 1851 el gobierno dispuso su demolición por Real Orden de 5 de agosto, ante las protestas de personalidades españolas y extranjeras que acudían a visitarlo y denunciaban el estado de conservación en que se encontraba el monumento, pero la sustitución del ministro Fermín Asteta y el nombramiento de un nuevo gobernador civil de Huelva, Mariano Alonso Castillo, en lugar de José María Escudero, que pretendía llevar a cabo la orden del gobierno, evitaron el derribo de La Rábida.