Alice Brown va néixer el 10 de setembre 1852 a la ciutat cherokee de Park Hill, Territori Indi i va créixer prop de Fort Gibson. El seu pare, el Dr John Frippo Brown, era d'Escòcia i graduat a la Universitat d'Edimburg. Va acompanyar als Seminola com a cirurgià militar durant el seu trasllat forçós de Florida. Durant aquest viatge, es va casar amb Lucy Redbeard, una seminola del clan tigre o "Katcvlke". Com els seminola tenien un sistema matrilineal els fills d'un matrimoni pertanyien al clan de la mare. Els seus pares van tenir set fills.