在民亲合作破局后，他宣布不参选立法院正副院长。2005年，海崃交流基金会董事长辜振甫逝世后，张俊雄接任董事长一职。2007年5月14日，陈水扁总统正式宣佈，由张俊雄接替请辞的苏贞昌，重新担任行政院长一职。2007年5月21日，人事任命正式生效，成为自陈诚以后第二位回任的行政院长。2008年1月24日，因第七届立法委员即将上任，张俊雄率内阁依宪政惯例向总统陈水扁提出总辞。2008年1月28日，陈水扁退回总辞，并以「非宪政义务」等五点理由重建宪政惯例。2008年5月20日，卸任行政院长后淡出政坛。201