巡视行部盐事时，霍与瑕因不施以礼节，而被弹劾。此后起用为鄞县知县，官至兵部职方司员外郎、广西按察使司佥事。因与御史张简不合，于是罢官回乡。与瑕着有《勉斋集》。
家族.曾祖霍厚，赠太子少保礼部尚书。祖父霍华，赠太子少保礼部尚书。父霍韬，太子少保礼部尚书，谥文敏。嫡母区氏（赠夫人）；继母郑氏（封夫人）；生母吕氏。