Mange tror at byen ble formet med et omriss av en puma, der forsvarsverket Saksaywaman utgjorde hodet. Etter inkarikets fall i 1533, da den spanske conquistadoren Francisco Pizarro erobret Cuzco, fulgte en rask ombygging av byen. De gamle palassene og tempelet ble rasert, og kirker ble bygd. Flere bygg fra kolonitiden er tuftet på gamle bygg fra inkatiden, for eksempel ble kirken og klosteret Santo Domingo bygd på det gamle soltemplet Coricancha. Det er også fraktet steinblokker ned fra Sacsahuaman til gjenbruk i kirker.