I 1532, etter å ha giftet seg med jarlen av Oxfords datter Frances de Vere, fulgte han kongen og Henry FitzRoy til Frankrike og de ble boende der for mer enn et år som medlemmer av følget til kong Frans I av Frankrike til han kom tilbake til England høsten 1533 da Henry FitzRoy ble gift med hans søster Mary Howard. Han bosatte seg ved farens hus i Kenninghall, og ble her vitne til den endelige skilsmissen mellom faren og moren. Ekteskapet mellom den unge hustruen Elizabeth Stafford og den langt eldre ektemannen Thomas Howard var tilsynelatende aldri lykkelig, og tillegg synes Howard å ha vært fysisk brutal mot sin hustru, men det endelige bruddet kom da han innledet et forhold en av hustruens kvinnelige tjenere, Elizabeth Holland.