Stern var gift med ballerinaen Allegra Kent. Ekteparet fikk barna Trista Stern Wright, Susannah Stern og Bret Stern sammen.