I 1966 ble Lawford og Kennedy skilt. Den 30. oktober 1971 giftet Lawford seg med Mary Rowan, men de ble skilt 2. januar 1975. Den 25. juni 1976 giftet han seg med Deborah Gould, men året etter ble de skilt. Lawords siste ekteskap var med Patricia Seaton, som han giftet seg med noen måneder før sin død.