劳撤出澳门后，万奴行亦告结业，原址也被荒废。后来其门前的空地及后面的庭院，被蜑家用作晾晒咸鱼和虾米，晾干的虾米经常引来麻雀群来偷吃，故人便称这个地方为「麻雀仔」。
天主徒聚居时期——「安仿西围」的产生.万奴行的业权及后约在清光绪年间（1875年－1908年）售给天主教会，教会在此重建房屋，并修筑街道，时人称之「麻雀仔围」；不过没有把万奴行的门楣拆毁；而这些房屋也都为华人天主教徒所居住。而教会亦在这条街道两端各修建一道闸门，并由教友负责驻守；靠河边新街的闸门主要用作防止潮水涌入；