Austin ble født i en gruveregion i delstaten Virginia. Han var det annet barn av Mary Brown Austin og Moses Austin. Deres førstefødte, Eliza, døde én måned gammel. Den 8. juni 1798, da Stephen var fire år gammel, flyttet familien vestover til gruveområdet ved det som senere ble kalt Potosi i Missouri, 40 miles vest for elven Mississippi. Faren Moses Austin fikk en fra den spanske regjering i , i sin tid establert av franske kolonister.