En el lugar donde hoy está emplazado el palacio, se erigia en 1574, un pequeño templo católico, de tejas y piedras, algunos historiadores afirman que esta iglesia fue la incendiada por el pirata Jacques de Sores en 1555.