Julian vokste opp i Detroit i Michigan og gikk på Pershing High School. Foreldrene Alfred J. Julian Sr. og Rosa Julian var begge fra Michigan. Han hadde to søsken, Norma og Dennis. Faren jobbet i en bilfabrikk da Julian var ung. Bestefaren Wilbrod Julian og onkele William Julian jobbet også i bilfabrikker i Detroit.