Hans foreldre var William Brandon og Elizabeth Bruyn. Faren var Henrik VIIs fanebærer, og ble drept av Rikard III personlig i slaget ved Bosworth Field. Charles ble oppdratt ved Henrik VIIs hoff, og beskrives av William Dugdale som «en person av god holdning, rik på mot og med konform disposisjon mot Henrik VIII, hos hvem han ble en favoritt».