一的洗马裴，是隋朝开府仪同三司、凤州刺史、永清县伯裴伦的曾孙，唐朝凤州刺史、赠秦州都督裴同的孙子，朝散大夫、蓝田县令裴昇的长子。裴伷先十一岁时，荫官太仆寺丞。据其墓志所记，因伯父裴炎之故，补昭文馆学生，授协律郎、通事舍人。光宅元年（684年），其伯父裴炎被斩，裴伷先被流放到岭南（南岭以南）。临行前，裴伷先上表请见武则天：“陛下为李氏妇，先帝弃天下，遽揽朝政，变易嗣子，疏斥李氏，封崇诸武。臣伯父忠于社稷，反诬以罪，戮及子孙。”武则天大怒，喝令逐出，伷先犹回头说：“今用臣言，犹未晚！”最后杖之朝堂，流放至瀼