其家族最初来自奉天（位于现在的陕西咸阳），但是后来搬到了东都洛阳，本人是否出生于洛阳则不详。他的曾祖父赵植据记载官至唐岭南节度观察使。赵光裔的祖父赵存约曾担任山南西道节度使李绛的从事，在公元830年，李绛和包括赵存约在内的众多下属都死于兵变。赵光裔的父亲赵隐进士及第，最终在唐宣宗年间成为宰相。
唐末时期.赵光裔年轻时，以刻苦学习，注重修养着称，唐光启三年（887年），进士擢第。兄长赵光逢先已及第，弟赵光胤后也及第。入仕后，于唐昭宗干宁年间，从思勋郎中、弘文馆学士，做到膳部郎中，知制