Han har tre barn med to kvinner; den eldste datteren, Martha Plimpton, som han fikk med Shelley Plimpton, har fulgt i begge foreldrenes fotspor. De to andre barna er fra ekteskapet med Sandra Will; Cade Richmond og Sorel Johannah som også er skuespillere.