因为他们的籍贯都是浙江永嘉（今温州），且四人的字或号都有一个“灵”字，赵师秀号灵秀，翁卷字灵舒，徐玑字灵渊，徐照字灵晖，四人的诗歌风格、生平际遇都有相似之处，因而把他们联系在一起名为“永嘉四灵”