Hun var datter av William Carey, som tilhørte Henrik VIIIs hoff, og hans hustru Mary Boleyn. På grunn av morens utenomekteskapelige forhold til kongen gikk det rykter om at Henrik VIII var hennes biologiske far, uten at det finnes beviser for dette.