荀霬的父亲荀恽是东汉尚书令、曹营谋士荀彧的嗣子，袭爵万岁亭侯，娶魏武帝曹操的女儿安阳公主