不合时宜，渐渐被欧美各国厂家所生产的钢炮所取代，卜加劳铸炮厂的生意每况愈下，最终在1640年（明崇祯十三年）倒闭，而万奴行则改为经营售卖中国茶叶和欧洲钟表珠宝。后来万奴·卜加劳撤出澳门后，万奴行亦告结业，原址也被荒废。后来其门前的空地及后面的庭院，被蜑家用作晾晒咸鱼和虾米，晾干的虾米经常引来麻雀群来偷吃，故人便称这个地方为「麻雀仔」。
天主徒聚居时期——「安仿西围」的产生.万奴行的业权及后约在清光绪年间（1875年－1908年）售给天主教会，教会在此重建房屋，并修筑街道，时人称