及至杨若严返回美国，并将兰桂楼出售。由于当时澳门的「卖猪仔」行业（把华人贩卖出国充当劳工的行业）正值兴盛，所以「猪仔馆」纷纷在澳门设立，而兰桂楼也便被一名经营卖猪仔的商家买下；这位商家名叫汪茂，是一位从马来西亚来的华侨，专门经营把华工（猪仔）贩卖至古巴哈瓦那的生意；汪茂买下兰桂楼后便将其作为猪仔馆，并把准备出国的「猪仔」都囚在这里。后来一场大火把兰桂楼焚燬，并烧死30多名「猪仔」，而火灾后兰桂楼也被荒废，形成一片废墟；由于澳门人习惯上把损毁的东西形容为「烂」，是故便把兰桂楼的又称「鬼楼」前面再配上个「烂」字