虚己的高祖父裴文度，是隋朝绛州留守，知蒲州、虞州、绛州、秦州十六州兵马事，曾祖父裴大方，司列员外郎。祖父裴居士，太子少詹事。父亲裴玪娶唐玄宗之女新平公主。裴玪去世后，新平公主改嫁姜庆初。裴仿娶唐代宗女永清公主，官至太常卿、驸马都尉。代宗命姜庆初为建陵（唐肃宗墓）脩陵使，姜庆初误毁连冈。代宗大怒，大历二年（767年）八月廿五日，以不恭之罪，赐死姜庆初，连累裴仿被削官爵，在私邸拘禁。永清公主不许进宫朝参。