慕容德南渡黄河，定居于青州东部的时水，南燕灭亡后，崔旷在宋文帝刘义隆时期出任乐陵郡太守。当时刘宋在黄河以南侨置冀州以及冀州的郡县，崔旷家族成为东清河郡鄃县人，从此世代为三齐地区的世家大族。崔光的父亲崔灵延是刘骏时期的龙骧将军、长广郡太守，和刘宋冀州刺史崔道固共同抵抗北魏军队，慕容白曜平定三齐地区时，崔光才虚龄十七，跟随父亲崔灵延一起被迁徙到代京。崔光家庭贫困喜好学习，白天耕作晚上读书，接受他人雇佣抄书来养活父母。崔光有大度，喜怒不见于色，有毁恶之者，必善言以报之，虽见诬谤，终不自申曲直。太和六年（4