，是隋朝绛州留守，知蒲、虞、绛、秦十六州兵马事，曾祖父裴大方，司列员外郎。祖父裴居士，太子少詹事。伯父裴虚己娶唐睿宗之女霍国公主。裴徽的父亲裴璆娶杨贵妃的堂姐虢国夫人。裴徽娶太子李亨之女延光郡主，官至殿中丞。天宝十五年（756年），马嵬坡之变，杨贵妃、杨国忠相继遇难，虢国夫人与裴徽及杨国忠妻子裴柔一同逃奔陈仓，被县令薛景仙追赶。虢国夫人杀死儿子裴徽，并杀裴柔，虢国夫人在狱中死去。延光公主改嫁唐玄宗之女新昌公主和萧衡的儿子、太仆卿萧升。裴徽和延光公主的儿子裴液尚唐代宗之女晋阳公主为驸马。传说裴徽于天宝年间