曾祖赵士说，曾任保顺军节度使、开府仪同三司、封安康郡王。祖赵不柔，为承议郎、曾任广南东路潮州通判，赠银青光禄大夫。父赵善待，为朝请大夫、曾任荆湖北路岳州知州，赠太子少保。有子二人：长子赵崇缜，为从事郎、任两浙西路严州司户参军；次子赵崇绚，亦为从事郎、任绍兴府余姚县主薄。孙赵必恊，为将仕郎。