Brandon var først forlovet med Elizabeth Grey, 5. baronesse Lisle (1505–1519). Kontrakten ble annullert før bryllupet, og paret fikk ingen barn.