1965年，寺内碑刻、佛像有所损毁。1964年至1965年，北京市民政局将中路殿堂移交中国佛教协会管理。1965年5月，在极“左”路线干扰和破坏下，中国佛教协会无力继续管理白塔寺，经办公会议研究决定，将白塔寺移交北京市文化局“保管”。白塔寺从此中止了喇嘛住寺的历史。1965年7月，白塔寺完成移交给北京市文化局文物工作队代管，西城区文教局掌握实际使用权，用作校外儿童活动站。1965年至1966年，白塔寺内佛像经校外儿童活动站上报批准，被拆毁，部分法物移交给雍和宫。文化大革命初期，1966年至1969年，校