Borgen ble opprinnelig bygget på 1500-tallet for å beskytte jesuittenes eiendommer i Macao. Senere ble den overtatt av guvernøren og utbygd med tanke på hele byens beskyttelse.