从此神乐署开始了衰败的历史；1914年袁世凯下令迁出了神乐署中所有药铺；此后林艺试验场、燕乐研究院、传染病医院、中央防疫处、生物制作所等机构先后占用神乐署作为办公地点。1937年抗日战争爆发后，日军西村部队(1855部队)将司令部设在署中，并在这里进行细菌战的实验与研究。1949年后，神乐署的建筑逐渐被变为民房，凝禧殿成为仓库，显佑殿变为机关食堂，到2002年整个神乐署仅有凝禧殿、显佑殿、廊房、山门等为数不多的建筑遗存。
神乐署与道教宣真派.道教宣真派又称乐舞生，自称为道教正一派的