命他出任民进党秘书长。2004年，陈水扁连任总统后，泛绿阵营气势大振。他被提名为不分区立法委员，当时陈水扁打算在年底立委选举绿军过半后由他出马参选立法院长，亦有传言说他会被提名为监察院长。结果，泛绿阵营未能取得过半席位，他辞去了民进党秘书长职位，在民亲合作破局后，他宣布不参选立法院正副院长。2005年，海崃交流基金会董事长辜振甫逝世后，张俊雄接任董事长一职。2007年5月14日，陈水扁总统正式宣佈，由张俊雄接替请辞的苏贞昌，重新担任行政院长一职。2007年5月21日，人事任命正式生效，成为自陈诚以后