关系好，还得到过侯君集赠送的腰带，所以被流放驩州（今越南乂安省荣市）。之后复官，做郢州（今湖北武汉市）和石州（今山西吕梁市）刺史。656年，太宗的儿子唐高宗授杜正伦为黄门侍郎，兼崇贤馆学士，同中书门下三品。657年，兼度支尚书，仍依旧知政事。不久拜中书令，兼太子宾客、弘文馆学士，进封襄阳县公。他和中书令刘祥道认为应该精简国家官员，唐高宗让他们负责。但是，他们的阻力太大，最终无果而终。 同时，杜正伦和另一个宰相中书令李义府发生矛盾，李义府是武后的同党，诬告杜正伦结党，唐高宗在658年十二月，将杜正伦贬