Burt Lancaster var sønn av Elizabeth (Roberts) og James Henry Lancaster. Han vokste opp i den tøffe slummen i Harlem i Manhattan i New York, og sa selv selv at han lærte å sloss før han lærte å gå. Han var god på sport, spesielt basketball, og droppet ut av college for å opptre som akrobat på sirkus.