转任鸿胪少卿，加银青光禄大夫，迁鸿胪卿。裴巽纳了一个美貌的小妾，宜城公主大怒，割断了裴巽的头发，还派人割去小妾的耳鼻，让她失去面目见人，又把其阴部的皮剥下来，蒙到驸马的脸上。御史弹劾，公主降级，裴巽也被降了官职，外任鄜州刺史。回京历任卫尉卿、鸿胪卿，外任许州刺史。再拜鸿胪少卿、光禄卿、上柱国，封魏郡开国公。谯王李重福叛乱时，曾经住在洛阳裴巽宅。宜城公主死后，再娶唐睿宗之女薛国公主。裴巽丁忧后，任国子祭酒。裴巽居宅在长安延寿坊东南隅。其地本隋朝齐州刺史卢贲宅。唐高宗末，礼部尚书裴行俭居之。武后时，河内王武懿宗