度辞官回乡，闲居养志。荀淑每次家产财富若有增长，总是会拿来济助宗族知友，慷慨不贪。建和三年（149年）卒，享寿67岁。荀淑的弟子李膺当时官拜尚书高位，亲自致表师丧。
家族.荀淑共有8个儿子，皆才德名世，时人称之为「八龙」。颍阴令苑康甚至将他们媲美上古高阳氏的八才子「八恺」，并把荀氏故里「西豪里」改名为「高阳里」。