裴巽的曾祖父裴之隐，隋朝司农少卿，普安郡太守、始州刺史、益州总管府长史，谥号安。祖父裴希惇，字处实，唐朝冀州南宫县、瀛州乐寿县、雍州鄠县三县令，齐州长史，赠商州刺史。父亲裴思进，唐朝蒋王府记室参军，复州竟陵县、隋州隋县二县令，赠蒲州长史，太仆卿。武周长寿二年（693年）裴巽二十二岁，以门荫补梁王（武三思）府执任，转任均州司仓参军，靠近庐陵王李显。李显在圣历元年（698年）召回神都，立为皇太子。李显之女义安郡主下嫁裴巽，裴巽特加朝散大夫，迁太子典设郎，左监门卫中郎将。唐中宗复位，义安郡主进封宜城公主，