霸任宋州宁陵丞时，响应武周革命，拜左台监察御史。如意元年（692年），除左台殿中侍御史。长寿二年（693年），他在武则天面前自表忠心：“往年征徐敬业，臣愿抽其筋，食其肉，饮其血，绝其髓。”引得武则天大悦，转任右台侍御史。被时人号为“四其御史”。当时御史大夫魏元忠卧病在家，御史们都前往探问，郭霸独自在后。见到魏元忠时，他面露忧惧，向魏元忠请求尝看他的粪便尿液，以检验疾病的轻重。见郭霸尝视自己的便液，魏元忠感到很惊悚，郭霸却高兴的说：“大夫粪味如果有甜味，可能会不愈。今味苦，当即愈矣。”元忠生性刚直，见他如