Lederman var ateist Han fikk to døtre og en sønn sammen med sin første kone, Florence Gordon. Senere giftet han seg med sin andre kone, Ellen.