处在白铁山主峰前的平台上，坐北朝南，中轴线上依次有山门、天王殿、释迦佛殿，两厢是寮房，配殿共18间。院内有古油松一株，山门外有古国槐一株。寺院有院墙。灵岳寺保存了部分元代以前的木结构建筑的格局及特点，比如释迦佛殿中梁架上的托脚（叉手）、释迦佛殿的庑殿顶，都属于典型的元代木结构建筑特点。在2005年开始的修复中，在寺内还发现了若干唐朝、辽朝的建筑构件。灵岳寺现存的砖砌的山门原来是该寺的第二道门，山门前的那株古国槐当初处在院墙以内。在天王殿和释迦佛殿之间，原来有月台相连接，两殿之间还有一株直径近两米的