驰返乡。咸丰二年（1852年）正月，为应国子监试赴京，行过淮河时遭遇盗匪，丧失路费，返回赴江南乡试，未中。五年（1855年），再次上京应试，仍落榜；当时太平天国已攻占江宁府，军事危急，绍灏因科举不得志，而父亲晚年多病，急于得到俸禄奉养，于是援例由候选教谕改分知县，分发浙江。八年（1858年）正月，由吏部引见咸丰帝，抵达浙江省后，受巡抚晏端书看重。九年（1859年），试署浙江绍兴府嵊县知县。十年（1860年），太平军二破江南大营，江苏常州府沦陷之际，绍灏将父母及兄弟接到嵊县衙署避难。数月后临县新