A lo largo de su vida Grant llegó a casarse cinco veces, siendo su penúltima esposa la actriz Dyan Cannon, mucho más joven que él y con la que tuvo su única hija, Jennifer Grant.