Brandon fikk flere embeter i den kongelige husholdning. I 1513 ble han Master of the Horse, og fikk flere verdifulle eiendommer. 15. mai samme år ble han utnevnt til vicomte Lisle etter at han inngikk en ekteskapskontrakt med Elizabeth Grey. Hun var vicomtesse Lisle. Da Grey var gammel nok til å gifte seg nektet hun å inngå ekteskap med Brandon.