。杜正伦把皇帝给他说的话告诉了太子，太子接着上表父亲抗辩。唐太宗质问杜正伦：“何故泄露我的话？”杜正伦解释：“他不听我的，所以拿陛下的话震吓他，希望他有所畏惧，改恶从善。”唐太宗依然生气，将杜正伦贬为谷州（今河南洛阳市宜阳县）刺史，不久改任交州（今越南河内市）刺史。 在643年太子联合侯君集谋反之事泄露而被废黜时，杜正伦因为和侯君集关系好，还得到过侯君集赠送的腰带，所以被流放驩州（今越南乂安省荣市）。之后复官，做郢州（今湖北武汉市）和石州（今山西吕梁市）刺史。656年，太宗的儿子唐高宗授杜正伦为黄门侍郎