港英政府取消註册，转入低调，人称新义安。1953年，向前被指涉嫌参加三合会及非法政治组织，被驱逐出境，迁居台湾。他出境后，由长子向华炎开始处理帮会事务，刚中学中一毕业的向华炎便完全接手帮会事务，直到其于1987年被捕为止。向前于1975年2月25日在台湾逝世，由儿子将骨灰运回香港安放在沙田宝福山，佔用12个骨灰灵位，上面列出向前13名子女中，其中9名儿子的名字：华炎、华荣、华光、华波（第七）、华坤、华强（第十）、华国（十一）、华胜（第十二）、华民。