母居住，言行举止成熟婉转。家境贫寒，与兄刘绍沅出外就傅读书，十五岁时已博览书籍，伯父刘钖祜时任安徽凤阳县知县，绍灏随侍父亲刘钖嘏前往凤阳，深受伯父器重。道光二十八年（1848年），年十九岁，随伯父游京师，广与学者举子结交䜩游，年少而有才名；随后寄籍顺天府大兴县，充补增广廪生，应考顺天乡试，落榜；翌年，考试高等升补廪生，随即获知父亲患病而疾驰返乡。咸丰二年（1852年）正月，为应国子监试赴京，行过淮河时遭遇盗匪，丧失路费，返回赴江南乡试，未中。五年（1855年），再次上京应试，仍落榜；当时太平天国已攻