Sus abuelos paternos eran William Brandon de Wangford, Suffolk (muerto en 1491), que sirvió como mariscal de la prisión de Marshalsea, y Elizabeth Wingfield (muerta el 28 de abril de 1497).