清苦，入太学，举孝廉。郑玄想完成《左传》注，未成，有一天外出，与服虔同宿客店，两人素不相识。服虔在旅舍外车上同别人述说自己注释《左传》的心得，郑玄旁听良久，大为佩服，曰：“吾久欲注，尚未了。听君向言，多与吾同，今当尽以所注与君。”官至尚书侍郎、高平县令，中平末年，升迁九江太守，因事免官，当时社会动乱，不久以病卒。服虔曾撰《春秋汉议驳》二卷，以驳难今文经学家何休所论汉事，有六十条。着有《春秋左氏传解谊》一书，马国翰《玉函山房辑佚书》辑存四卷。