ચાર વર્ષ પછી, જ્યારે આર્મસ્ટ્રોંગ છ વર્ષનો હતો, ત્યારે તે પોતાની માતા સાથે પાછા ફર્યા, જે પછી સ્ટોરીવિલે નામના ખડતલ પડોશમાં રહેતા હતા.