En seguida se desplazó desde Santa Fe a Granada, y fue en 1504 cuando se empezó a construir el conjunto actual.