Grunwald bodde først sammen med fotomodellen Tina Nørløv. Fra 1965 ble han sammen med skuespillerinnen Lily Weiding. De ble gift den 22. mai 1980 i New York. Grunwald døde av kreft i 2018.