Davis ble født i Brockton i Massachusetts. Davis’ far, Louis Davis, hadde forskjellige yrker i Massachusetts; etter å ha funnet noe suksess i klesproduksjon flyttet han til Brooklyn i New York i 1934 med konen Rose og de to sønnene Jerry og Allen. Louis Davis leide en leilighet i sjette etasje for familien på Utica Avenue, men takket være inntektene fra jobb kunne han betale for begge sønnenes skolegang gjennom college og kjøpe en bedre bolig i Atlantic Beach i New York. Selv om der har vært flere historier om at Louis Davis alltid støttet sin yngste sønn så lenge han ikke ble tatt eller trakk seg fra en konfrontasjon, kommer de fleste historiene fra Al Davis selv. Barndomsvenner beskrev ham som en som heller ville løse ting med ord enn med knyttnevene, og at han var ganske flink til nettopp dette. Den unge Als favorittidrett var basketball, og harn fikk et rykte for å spille hardt selv om han ikke hadde mest talent. Som ung hadde han bestemt seg for at han ville spille under trener Al Badain på Erasmus Hall High School, istedenfor å gå en skole nærmere sitt hjem. Selv om han bare var en reserve på skolelaget og fikk lite spilletid studerte han Badains trenerstil, og lærte mye av ham. Da Badain var syk på 1980-tallet sponset Davis en tur for Badain til vestkysten slik at han kunne se Raiders i Super Bowl, og nedbetalte sin gamle treners gjeld.