势动盪，加上后来中共掌权，宗教不被极权接纳，拿撒勒楼已失去其在大中华地区传教的价值，故教士们陆续撒走。与此同时，香港大学正觅地兴建学生宿舍，于是古堡便于1954年12月4日被香港大学正式买入。
大学堂时期（1954-现在）.在廖本怀、区建昌以及钟也斯格（）等建筑师设计和监工底下，已废置的印刷所被拆去，该空地后来成为停车场。教堂和宁修室分别改成饭堂和交谊厅，A、B 层部份空间则被改为舍监住所和员工宿舍，此外各房间亦略经修葺并添置新家俱。终于1956年初，一批原居于 Eliot Hal