。后来国共内战，曾多次搬迁，最后到了1950年在李博岚院长率领下才来到香港。1956年2月19日正式迁入现址。2000年，改英文名为「Our Lady of Joy Abbey」。
初期问题.据神乐院隐修士记述，迁港初期神乐院隐修士历尽艰辛，首先是局势发展未定，香港会否落入中共之手仍属未知之数，其次是原有隐修士四散，跟随李院长南下的只有十多位隐修士，还有便是建院基址和维系隐修院运作的资金等，都是困扰神乐院的问题，幸好凭着李院长的信心，最后所有问题都能获得解决，既获香港政府租借大屿山