Carey var andre sønn av Thomas Carey fra Chilton Foliat i Wiltshire og hans hustru Margaret Spencer. Han var Henrik VIIIs firmenning, og ble også en av hans yndlinger med posisjoner ved hoffet. Han var også kjent som kunstsamler, og i 1526 ble han malt av den nederlandske kunstneren Lucas van Horenbolte som han også skal ha fått til England.