Bereits vor der Eroberung des Aztekenreiches durch Hernán Cortés gab es am Fuße des Berges einen Palast, der durch die Spanier zerstört wurde. 1784 ließ Vizekönig Bernardo de Gálvez y Madrid einen Sommersitz errichten. 1806 wurde das Schloss von der Stadt Mexiko erworben. Während des Unabhängigkeitskriegs wurde das Gebäude aufgegeben und wurde erst 1833 einer neuen Nutzung als Militärakademie zugeführt und dafür umgebaut. Im mexikanisch-amerikanischen Krieg von 1847 wurde das Schloss angegriffen, der Widerstand der Kadetten in der Schlacht von Chapultepec wird bis heute in Mexiko gewürdigt.