Mye er uklart om Charlotte Ramsays unge år. Noen forskere, særlig amerikanske, vil hevde at hun var født i New York, og dermed er å betrakte som den første amerikanske romanforfatteren. En annen teori er at hun ble født i Gibraltar, og at faren var løytnant i den engelske marinen. Det er enighet om at hun oppholdt seg en periode i Nord-Amerika i oppveksten; sjøl antyder hun New York.