Los "Know-Nothings" retuvieron el control de la Sociedad hasta 1858, añadiendo 13 niveles de albañilería al Monumento, los cuales fueron de tan mala calidad que posteriormente se tuvieron que retirar.