В период Второй мировой войны Марголис служил десантником. Он был ранен в битве при Арденнах, и там же потерял своего единственного брата. В 1947 году Марголис поступил в Колумбийский университет, где в 1950 году получил степень магистра философии. В 1953 году он стал доктором философии, защитив диссертацию на тему «Искусство свободы: очерк этической теории».