Axelrod ble født i New York City, som sønn av jødiske immigranter fra Polen. Han fikk sin bachelorgrad i biologi fra College of the City of New York i 1933. Axelrod ønsket mest av alt å bli lege, men ble avvist fra alle medisinske skolene som han søkte seg til. Han jobbet en kort periode som en laborant ved New York University, så i 1935 fikk han en jobb i New York City Department of Health som drev med testing av vitamin-tilskudd til maten.