养清廉节操。家中资财千万，父亲荀越去世，隐居山泽，尽散家产给宗族，寻求实现自己的志向。王莽末年，匈奴入侵广武县，听说荀恁的名节，相约不犯荀氏之宅。汉光武帝征召，他托病不至。永平初年，东平王刘苍为骠骑将军，开东阁招揽贤俊之士，他应征而到。后来他参加朝会，汉明帝和他开玩笑：“先帝征召君不到，骠骑将军征召君则来，为什么？”回答道：“先帝以德惠下，故臣可以不来。骠骑将军执法检查下属，所以臣不敢不至。”后来一个月后，罢官归家，卒在家中去世。