炎被斩，裴伷先被流放到岭南（南岭以南）。临行前，裴伷先上表请见武则天：“陛下为李氏妇，先帝弃天下，遽揽朝政，变易嗣子，疏斥李氏，封崇诸武。臣伯父忠于社稷，反诬以罪，戮及子孙。”武则天大怒，喝令逐出，伷先犹回头说：“今用臣言，犹未晚！”最后杖之朝堂，流放至瀼州（今广西上思境内）。一年以后从岭南逃回，被朝廷捕获，杖一百，流窜北庭（新疆省吉木萨尔县）都护府，在当地做生意，“货殖五年，致资财数千万”，娶降胡女为妻，嫁妆有黄金、骏马、牛羊。裴伷先养客数百人，专门打探朝廷事务。唐睿宗时赦还。唐睿宗求裴炎后，授先太子