庙和殊像寺之间，因主体建筑是“戒台”，故俗称“戒台寺”。广安寺是干隆帝和蒙古王公举行法会之所。干隆帝兴建广安寺的缘由有二，其一是为瞻礼，其二是为皇太后80大寿取“广大广安”之意。但由于皇太后早逝，后一缘由“竟成虚愿”。清朝时，广安寺不驻喇嘛，由内务府管理。广安寺大约毁于1930年代。其遗址留存至今，但不甚完整。2008年10月23日，“广安寺遗址”被列为河北省文物保护单位，时代为清，分类为古遗址。
建筑.广安寺坐北朝南，占地面积10000平方米，辟有三重山门，共三进院落