明达笃厚，能用恩信感化不同风俗，很被羌胡所敬服。母亲去世，自上书请求回家服丧。服丧完毕，公车征为北海相，入朝为尚书仆射。梁商的儿子大将军梁冀专权，霍谞与尚书令尹勋多次奏事，陈述梁冀罪过。梁冀被诛后，桓帝封他为邺都亭侯。固让不许。出任河南尹，历任司隶校尉、少府、廷尉，在官任上去世。其子霍儁，官至安定郡太守。