James Butler era el hijo mayor de Thomas Butler, vizconde de Thurles, y de Elizabeth, hija de Sir John Poyntz.