难，绍灏总是妥为供张安顿，若有人被太平军掳走，则设计出资援救。十一年（1861年），卸任县事，暂时留居绍兴府城，听闻太平军主力将要扑向浙东，绍兴府城恐怕不保，绍灏与兄绍沅带领父母及眷属航海南下福建福州，途中遭遇海盗强索财物，绍灏镇定处理而得以保全。同治元年（1862年），由福建赴浙江衢州投效巡抚左宗棠军营，左宗棠即委派绍灏赶赴江西省请领巨砲。抵达南昌时，接获父亲卒于福州的消息，随即赴福建奔丧，因无法归葬江苏，遂暂时下葬于福州府城外大夫山；因父亲遗命其「驰驱戎马间、杀贼报国」，遂仍返回衢州跟从左宗棠