Pero "la pobreza de este reino" unida a las necesidades que era perentorio atender no permitían avanzar en las obras, por lo que, en 1674, cuando el virrey era Baltasar de la Cueva y Enríquez de Cabrera, "por acuerdo de la junta de hacienda del Perú, se autorizó al gobernador" a ocupar durante dos años "el producto del impuesto del almojarifazgo" para la erección del fuerte.