Алленийг эх нь 15 настайдаа төрүүлсэн гэх бөгөөд эцэг нь мөн л өсвөр насны хөвгүүн байв. Эцэг нь ерөнхийдөө орхин явсан тул удалгүй эх нь Норфолкт усан онгоцны үйлдвэрт ажилладаг хоёр охинтой эртэй нийлж хамтран амьдрах болсоноор Аллены бага нас Норфолкт өнгөрсөн юм. Эхэндээ Аллен Айверсон Америк хөлбөмбөгийн нэрт тамирчин Чикаго Бэарз багийн домог Уолтер Пэйтон шиг мэргэжлийн хөлбөмбөгчин болохыг мөрөөдөж эхлэв. Есөн настай байх үед ээжийн нь авч Air Jordan пүүз авч өгч нэг ёсондоо сагсан бөмбөгийн спорттой нөхөрлүүлэх гэсэн ч эхний сонирхол хүүд нь илүү байж үл тоосон мэт байжээ. 1990 онд хойд эцэг нь хар тамхины наймаан хэргээр шоронд орсонтой зэрэгцэн ээж нь Айверсоны дүү охиныг төрүүлж, бие нь сульдаж хөдөлмөрлөх чадваргүй болсоноор жаалхүүгийн мөрөөдөл талаар болж амьдрал тааруу болж эхэлсэн юм. Спортын гүнзгийрүүлсэн сургалттай Бетел ахлах сургуулийн 15 настай сурагч Айверсон мөнгө олохын сагсан бөмбөг сайн тоглож сурах гэсэн тэмүүлэлтэй байв. Гэртээ хэсэг амьдруулж байсан коллежийн хөлбөмбөгчин асан Гэри Мур Айверсоныг хөлбөмбөгийн оюутны аварга шалгаруулах тэмцээнд орох хүртэл дэмжлэг өгсөнөөр 1992 он гэхэд сургуулийнхаа шигшээ багийн хамт мужид дээгүүр амжилт гаргаж байв. Энэ үед хамгаалагчын байрлалд тоглодог байсан түүнийг цаашид уг спортоор явахад нуруу намтай тул амжилт гаргахад тааруу гэж мэргэжлийн хүний зөвлөсөний дагуу Айверсон хэсэг хугацаанд тоглоогүй. 1993 оны долоодугаар сард Айверсон гудамжны зодооны хэргээр хэрэгт татагдаж шүүхээс таван жил ял сонссон ч таван сарын дараа өршөөлөөр суллагдсан юм. Энэ явдлын дараа Аллений хувьд сэтгэлийн хүнд шархтай байсан ахлах сургуульдаа эргэн оролгүй байсаар 1994 онд Жоржтауны их сургуульд тухайн сургуулийн сагсан бөмбөгийн багийн ахлах дасгалжуулагч Жон Томпсоны дэмжлэгээр элсчээ. Дасгалжуулагч Аллений авъяасыг түргэвчилсэн бэлтгэл сургуулилалтаар шахаж ахар богино хугацаанд багийн гарааны тоглогч болгож байв. Тэр 1996 оны оюутны лигт 23 оноо, 4.6 бөмбөг таслалт, 3.2 дамжуулалт дунджилж үнэхээр мандаж байлаа.