文馆学士，进封襄阳县公。他和中书令刘祥道认为应该精简国家官员，唐高宗让他们负责。但是，他们的阻力太大，最终无果而终。 同时，杜正伦和另一个宰相中书令李义府发生矛盾，李义府是武后的同党，诬告杜正伦结党，唐高宗在658年十二月，将杜正伦贬为横州（今广西南宁市）刺史，杜正伦不久死在了横州，当时有《杜正伦集》十卷。