元观再未重修，日趋衰败。由于传闻建崇元观者在观内藏有巨金，以备该馆倒毁后重建时用，即所谓“观倒观修”，故来该观寻宝者很多，该观因此而又不断遭破坏。清朝光绪年间只存山门、大殿，还有十多座木胎神像仆倒于地。庚子（1900年）之后，仅存废墟。1920年，中华民国北京政府将崇元观改建为陆军大学。1931年九一八事变后，此处改为冯庸大学。后张学良将该校更名为东北大学，并亲任校长，曾在该校内设飞行训练大队，训练飞行员。文化大革命时期，在此处挖防空洞，还曾挖出两个飞机头。抗日战争时期，日本占领北平，此处为日军修械