图立说，旁及私家着述，搜考地方传说，建立纲领，然后多方延请名士对质证实，编辑三年而成书。十三年（1874年）七月，妻史氏卒，因史氏个性明朗有决断，生前在公务及家事多有辅助，绍灏悲痛说：「吾自此失左右手矣！」，题輓联：「伤汝半生心血，賸予独力支撑。」光绪元年（1875年）秋季，罹患湿温症，一度生命垂危，至冬季痊癒。二年（1876年），江苏、安徽、浙江各府县民间传言有匪徒夜施巫术，民间扰动，境内台州海盗乘机密谋在九月十五日袭击孝丰县、隔日取于潜县；绍灏先行侦查得知后，凌晨寅时出动营兵疾驰至大溪山、木公山