乐十一年（1413年），他以千户守金川门，二十多岁的时候，因为状貌伟丽，于是被明成祖选配明太祖最幼女宝庆公主。赵辉前后事明成祖、明仁宗、明宣宗、明英宗、明代宗、明宪宗六朝，掌管南京都督和宗人府事，其家奢华，姬妾成群，达到百余人。享受富贵六十余年。成化十二年（1476年）卒，享年九十岁。