Los españoles también construyeron un asentamiento cerca del templo, dejando restos de arquitectura de estilo andaluz, pero finalmente se desplazaron hacia el asentamiento actual de Samaipata localizado cerca del fuerte.