多次想淡出江湖的他,在美国遭遇了历史上的重大事件“江南案”,这个案件导致台湾众多高官入狱,蒋孝武“接班”梦成泡影。之后,他蹊跷卷入所谓“贩毒”案,在美国狱中度过10年时间,出狱后,当年的“证人”公开称自己当年是受美国有关方面指使陷害他。
在狱中,他靠读过的毛泽东的书与黑人打成一片,还拿下两个学位。
他的一个儿子被台湾另一大帮派四海帮的人砍死,他经过调查认为是偶然,并未报复。
2004年5月9日,张安乐带领20名台湾爱国志士,前往广州祭拜黄花岗七十二烈士,并在灵前宣誓成立台湾保护中华大同盟。2005年,他成立中华统一促进党。2013年,他带着一本自己编写的宣传“和平统一、一国两制”的小册子回到台湾,致力于推动统一。当年,他谴责并阻止绿营推倒孙中山雕像。