父裴文度，是隋朝绛州留守，知蒲、虞、绛、秦十六州兵马事，祖父裴大方，司列员外郎。其父裴居士，太子少詹事。裴虚己的族叔裴居道是武则天时的宰相。裴虚己官至光禄卿，唐睿宗之女霍国公主下嫁裴虚己，拜驸马都尉。裴虚己喜欢谶纬，与岐王李范交往，开元八年（720年）十月初九日，裴虚己被唐玄宗流放岭南新州，与公主离婚。其弟裴玪、裴巽，侄子裴徽、裴仿、裴齐丘，侄孙裴液、裴颍，都尚公主为驸马。其子尚衣奉御裴侑，裴侑子融州刺史裴汉卿，裴侑女裴清是甘露之变时宰相李训的母亲。