棺回籍安葬，而自己也呈请给假葬亲，但因无人代署，不克返乡观葬，常认为是毕生遗憾。十年（1871年），兄绍沅在福建摄理宁化县知县事务交卸后病卒，绍灏闻丧悲恸，作輓联：「千里孤魂兄早返，一肩重任我何辞。」每诵之皆涕泣。十一年（1872年），补任浙江湖州府孝丰县知县，巡抚杨昌濬饬令尽先履任，六月到任。太平天国之乱中孝丰县受兵灾惨重，户籍凋敝，原居民只剩七千余人，绍灏到任后招集流民、休养生息，一年内开垦荒田数万顷。又因地形多山，多盗匪窟藏，与驻防绿营裴游击结交合作，时常在完成判牍或谳狱结束后的半夜，偕同