人杰维斯·叶芝（Jervis Yeats）的后裔。这位商人卒于1712年，他的孙子本杰明娶了基尔岱尔郡的望族之女玛丽·巴特勒。约翰·叶芝结婚的时候正在学习法律，但是很快他便转而学习绘画。约翰的母亲（即威廉·巴特勒·叶芝的祖母）苏珊·玛丽·波雷克斯芬来自斯莱戈郡上一个盎格鲁－爱尔兰裔家族。叶芝出生后不久，便迁至位于斯莱戈的大家族中，他本人也一直认为是斯莱戈郡孕育了自己真正的童年岁月。巴特勒·叶芝家族是一个非常具有艺术气息的家族。叶芝的弟弟杰克后来成为一位画家，而他的两个姐妹伊丽莎白和苏珊则均参加过工艺美术运动