他退出政坛，1995年转战当时已是首席部长的许子根但败北。1999年大选由于烈火莫熄运动，国阵接受华团的诉求，及宣传替代阵线执政的恐惧使到华人票流向国阵，林吉祥不止在州议席败选，国会议席也首次败选。他以党秘书长的身份领导行动党至1999年，取代曾敏兴成为党主席。2004年，他拒绝再继任党主席，此职由卡巴星取代。 林吉祥被委任为党顾问，设立“政策及策略计划委员会”并担任主席。他的长子林冠英目前是党秘书长及槟州首席部长。在2004年大选赢得怡保东区国会议席的同时，行动党也因议席比其他在野党多而再次成