Seymour var gift to ganger. Hans første ekteskap, med Catharine Filliol, ble annullert da det kom frem at hun hadde et forhold til hans far. Det andre ekteskapet var med Anne Stanhope.