Mark Margolis var fra juni 1962 til sin død gift med Jacqueline Petcove. I 1966 fikk de sitt eneste barn, sønnen Morgan H. Margolis, som likesom faren skulle ble skuespiller.