Ollantaytambo ble oppført av herskeren Pachacuti på midten av 1400-tallet. Byen ble betydelig ombygd i kolonitida, men har følger fremdeles den opprinnelige byplanen. Flere byggverk rundt byen ligger i ruiner og er populære turistmål. Den mest iøynefallende konstruksjonen er de store terrassene som ble brukt til jordbruk.