高帝刘邦九世孙，西汉景帝子长沙定王刘发之子舂陵节侯刘买的玄孙，与更始帝有同一位高祖父刘买。其父为南顿令刘钦，母樊娴都。世代居住在南阳郡蔡阳（今湖北省枣阳市西南），属地方豪族。刘秀九岁时，父亲逝世，便由叔父刘良抚养。由于刘秀勤于农事，而兄刘縯爱好游侠，豢养门客，经常取笑刘秀，将他比做刘邦的兄弟刘喜。新朝天凤年间（14年—19年），刘秀至长安，学习《尚书》，略通大义。成年后刘秀身高七尺三寸。刘秀在新野县时，听闻阴丽华的美貌，心悦之。后至长安，见执金吾车骑甚盛，因叹曰：“仕宦当作执金吾，娶妻当得阴丽华。”