居绍兴府城，听闻太平军主力将要扑向浙东，绍兴府城恐怕不保，绍灏与兄绍沅带领父母及眷属航海南下福建福州，途中遭遇海盗强索财物，绍灏镇定处理而得以保全。同治元年（1862年），由福建赴浙江衢州投效巡抚左宗棠军营，左宗棠即委派绍灏赶赴江西省请领巨砲。抵达南昌时，接获父亲卒于福州的消息，随即赴福建奔丧，因无法归葬江苏，遂暂时下葬于福州府城外大夫山；因父亲遗命其「驰驱戎马间、杀贼报国」，遂仍返回衢州跟从左宗棠。当时左宗棠正挥师规复浙江全省，因军饷逐渐匮乏，与两江总督曾国藩筹议将浙江产盐运往江西销售以资转运粮饷，