祖父赵隐为晚唐皇帝唐宣宗年间宰相，父赵光裔、伯父赵光逢、叔父赵光胤都是唐末乃至取代唐朝的后梁的朝廷官员。赵损为赵光裔长子。开平二年（908年），后梁皇帝朱全忠派赵光裔和右补阙李殷衡充正副官告使，出使控制清海军且名义附庸于梁的军阀刘隐，授其清海军和静海军节度使。赵光裔和李殷衡到清海军完成授官仪式后，刘隐将他们留在自己的幕府，没有送他们回梁。贞明三年（917年），刘隐的弟弟和继任者刘䶮称大越皇帝（不久改国号汉，故史称南汉）。他任李殷衡、赵光裔和杨洞潜为宰相，授同中书门下平章事。赵光裔虽然官至南汉宰相，但