委任为党顾问，设立“政策及策略计划委员会”并担任主席。他的长子林冠英目前是党秘书长及槟州首席部长。在2004年大选赢得怡保东区国会议席的同时，行动党也因议席比其他在野党多而再次成为国会最大反对党，林吉祥继1999年后再次成为国会反对党领袖。2008年大选，他以21942多数票再次捍卫怡保东区国会议席。2013年大选，林吉祥转战柔佛州振林山国会议席，成功打败国阵巫统的重量级人物，即前柔佛州务大臣阿都干尼奥斯曼。随着大选期间出现的种种选举舞弊传闻，他表示这次的大选是“马来西亚史上最肮脏的选举”。