轻时为诸生，明经。有人向大将军梁商诬陷霍谞之舅宋光，说他乱改法律条文，逮捕进洛阳诏狱，严加拷问。霍谞当时十五岁，上奏梁商，以许止虽弑君而不罪，赵盾以纵贼而见书，为其舅宋光审冤。梁商看重霍谞才志，原谅宋光之罪，霍谞因而知名。霍谞初仕郡，后举孝廉，转任金城郡太守。他性情明达笃厚，能用恩信感化不同风俗，很被羌胡所敬服。母亲去世，自上书请求回家服丧。服丧完毕，公车征为北海相，入朝为尚书仆射。梁商的儿子大将军梁冀专权，霍谞与尚书令尹勋多次奏事，陈述梁冀罪过。梁冀被诛后，桓帝封他为邺都亭侯。固让不许。出任河南尹，历