Hun ble født i Rotherfield Greys i Oxfordshire. Faren var sir Francis Knollys, mens moren var Catherine Carey, datter av Mary Boleyn og kusine av Elizabeth I. Lettice vokste opp i sin fars hjem Grey Court i Rotherfield Greys og i hans byhus i Reading.