卫民、冯壁峭利用一些归国的天地会华侨人士与本地的帮派兄弟，创建了「洪门五洲华侨总会西南分会」（简称「西南本部」），来做情报工作，并逼迫小贩与苦力工人加入，以维系会中财政。1945年日本投降的同一天，军统局首领戴笠的左右手葛肇煌中将在广东省广州市西关宝华路14号抢占了「西南本部」，改称「洪门洪发山忠义堂（会）」，并以「洪门忠义会」之名在广州展开情治活动入驻会址接管改变其性质。1949年，国民党因国共战争败退台北，忠义会成员因逃避共产党的追捕，各自奔逃到台湾、香港、东南亚以至欧美、纽澳等地。葛肇煌到达香港后