宗依然生气，将杜正伦贬为谷州（今河南洛阳市宜阳县）刺史，不久改任交州（今越南河内市）刺史。 在643年太子联合侯君集谋反之事泄露而被废黜时，杜正伦因为和侯君集关系好，还得到过侯君集赠送的腰带，所以被流放驩州（今越南乂安省荣市）。之后复官，做郢州（今湖北武汉市）和石州（今山西吕梁市）刺史。656年，太宗的儿子唐高宗授杜正伦为黄门侍郎，兼崇贤馆学士，同中书门下三品。657年，兼度支尚书，仍依旧知政事。不久拜中书令，兼太子宾客、弘文馆学士，进封襄阳县公。他和中书令刘祥道认为应该精简国家官员，唐高宗让他们负责。