Margolis sirvió en la Segunda Guerra Mundial como paracaidista y fue herido durante la Batalla de las Ardenas, donde perdió a su único hermano, un gemelo. Estudió en la Universidad de Columbia, obteniendo el M.A. (1950) y el Ph.D. (1953) en filosofía. Sus contemporáneos en Columbia incluyeron al teórico del arte Arthur C. Danto y al filósofo Marx Wartofsky.