轻时是读书人，言行质朴正直。同县的高氏、蔡氏都是富豪，郡里的人们畏惧他们而侍奉他们，夏馥虽然和他们比邻却不和他们来往，因此被豪绅们怨恨。汉桓帝初年，太尉赵戒举荐夏馥察举为直言，但夏馥拒绝出仕。夏馥虽然没有结交宦官，但因名声大爲宦官所忌惮，于是与范滂、张俭等人都被宦官诬谄，朝廷下诏到州郡，要逮捕党人。张俭在逃亡的路途上，凡事与他接触的都被收捕拷讯。所牵连的人遍布天下。夏馥顿足叹息说：「罪孽是自己造成的，凭空牵连了良善之人，一人逃亡，万家遭祸，为什么还活着呢！」于是剃掉胡须，改变容貌，跑到林虑山中，隐姓埋名