郗徽生于显贵之家，其父郗烨在刘宋官至太子舍人，母亲则是宋文帝之女寻阳公主