葛肇煌宣佈效忠国民政府，同时成为国军情报单位的主管及受蒋介石颁少将军衔。1947年义安工商总会被港英政府取消註册，转入低调，人称新义安。1953年，向前被指涉嫌参加三合会及非法政治组织，被驱逐出境，迁居台湾。他出境后，由长子向华炎开始处理帮会事务，刚中学中一毕业的向华炎便完全接手帮会事务，直到其于1987年被捕为止。向前于1975年2月25日在台湾逝世，由儿子将骨灰运回香港安放在沙田宝福山，佔用12个骨灰灵位，上面列出向前13名子女中，其中9名儿子的名字：华炎、华荣、华光、华波（第七）、华坤、华强（