Auf der dem Berg zugewandten Seite von Ollantaytambo befindet sich ein imposanter Inka-Komplex, der, auf Grund seiner außerordentlich starken Mauern, landläufig "fortaleza" (dt. Bollwerk oder Festung) genannt wird. Tatsächlich war dieser Komplex strategisch günstig gelegen, um das "Heilige Tal der Inka" zu dominieren. Hierhin zog sich auch 1537 Manco Cápac II. nach der gescheiterten Belagerung von Cuzco zurück, um seine verbliebenen Soldaten im Kampf gegen die Conquistadoren zu sammeln.