Milton Glaser var sønn av Eugene og Eleanor (født Bergman) Glaser, som var jødiske immigranter fra Ungarn. Familien bodde i den sørlige delen av bydelen The Bronx, der faren eide og drev et kombinert renseri og skredderverksted. Moren Eleanor var hjemmeværende husmor. Milton Glaser gikk på tegneskole i oppveksten, med kunstnerne Raphael og Moses Soyer som lærere, og etter grunnskolen tok han high school-utdannelse ved High School of Music & Art på Manhattan.