王维曾有名篇《过香积寺》但其香积寺是河南汝州的风穴寺并非此处的香积寺，其诗生动描述为位于山上的风穴寺万木葱茏流水潺潺的景致：安史之乱后，香积寺开始衰败，武宗灭佛更是几乎将其毁灭。北宋太平兴国三年（987年）一度改名开利寺，不久又改回原名。干隆年间、中华民国初年先后重建修缮。现建筑除善导塔外多为1980年重建。寺内崇灵塔为密檐式仿木结构，平面呈正方形，原为13层，后因塔顶塌陷，现为11层，高33米。