殿共18间。院内有古油松一株，山门外有古国槐一株。寺院有院墙。灵岳寺保存了部分元代以前的木结构建筑的格局及特点，比如释迦佛殿中梁架上的托脚（叉手）、释迦佛殿的庑殿顶，都属于典型的元代木结构建筑特点。在2005年开始的修复中，在寺内还发现了若干唐朝、辽朝的建筑构件。灵岳寺现存的砖砌的山门原来是该寺的第二道门，山门前的那株古国槐当初处在院墙以内。在天王殿和释迦佛殿之间，原来有月台相连接，两殿之间还有一株直径近两米的丁香树。天王殿东、西两侧的钟楼和鼓楼也是在中华人民共和国时期被毁，钟楼内的大钟在抗日战争