1879 wurden hier erstmals Silbervorkommen entdeckt, nachdem ein Vertrag mit dem Stamm der Ute den westlichen Teil Colorados zugänglich gemacht hatte. Wegen des schwierigen Zugangs entwickelte sich der Bergbau nur langsam; erst als die Bahnlinie 1887 bis Aspen verlängert wurde, wuchs die Bevölkerung auf 12.000 Einwohner. Auf dem Höhepunkt des Silberbooms 1892 wurde Silbererz im Wert von neun Millionen US-Dollar gefördert, Aspen war damit das produktivste Gebiet für Silberabbau der USA. Im selben Jahr wurde die heutige City Hall erbaut, 1893 verfügte Aspen bereits über Banken, ein Krankenhaus, eine Polizeistation, zwei Theater, eine Oper und elektrisches Licht. Die Panic of 1893 führte jedoch dazu, dass viele Silberbergwerke schließen mussten und Tausende ihre Arbeitsstelle verloren. Bis 1930 ging die Einwohnerzahl Aspens auf 705 Einwohner zurück. Jedoch verfügte die Stadt noch immer über Gewerbegebäude und Wohnhäuser, weshalb Investoren an der Errichtung eines Skigebietes interessiert waren. 1946 wurde die "Aspen Skiing Company" gegründet und veranstaltete 1950 die Alpine Skiweltmeisterschaft.