妾，宜城公主大怒，割断了裴巽的头发，还派人割去小妾的耳鼻，让她失去面目见人，又把其阴部的皮剥下来，蒙到驸马的脸上。御史弹劾，公主降级，裴巽也被降了官职，外任鄜州刺史。回京历任卫尉卿、鸿胪卿，外任许州刺史。再拜鸿胪少卿、光禄卿、上柱国，封魏郡开国公。谯王李重福叛乱时，曾经住在洛阳裴巽宅。宜城公主死后，再娶唐睿宗之女薛国公主。裴巽丁忧后，任国子祭酒。裴巽居宅在长安延寿坊东南隅。其地本隋朝齐州刺史卢贲宅。唐高宗末，礼部尚书裴行俭居之。武后时，河内王武懿宗居之。开元十四年（726年）八月十九日，裴巽病卒于洛阳家中，