损的高祖父是裴守真，赠户部尚书。裴守真第三子即裴耀卿。裴耀卿的弟弟太子中允裴春卿是裴损的曾祖父。裴损的祖父裴挺官至内直丞。裴损的父亲裴棠棣官至杭州刺史、大理卿。白居易的《冷泉亭记》提到“有裴庶子棠棣作观风亭”。元和九年（814年）三月十九丁卯，唐宪宗于麟德殿前召见大理卿裴棠棣之子裴损、前昭应令杜式方之子杜悰，各赐绯服，许尚公主。裴损后来娶了唐宪宗之女陈留公主，官至太子谕德。