杨姓太监因事入狱，他为了保存这所别墅不被官府没收，遂将别墅改建为专门供奉地藏王菩萨的仁恩寺，据史料记载，当时为了建设仁恩寺，杨姓太监共花费了四万只金条，但这仍然没能阻止官府没收这块土地。没收后的栅栏别墅被称作栅栏官地。万历三十八年（1610年）来自意大利的耶稣会传教士利玛窦在北京逝世，明神宗特别降旨将栅栏官地赐予利玛窦作为墓地，从此栅栏官地改名滕公栅栏墓地。自从利玛窦之后，汤若望、南怀仁、郎世宁等在华传教士均葬于栅栏墓地，前前后后共有数百位传教士安葬于此。1900年义和团运动爆发，华北掀起了排斥洋教