Diamond giftet seg med læreren Jaye Posner i 1963 og har med henne to barn, Marjorie and Elyn. De ble skilt i 1969 og samme år giftet han seg med Marcia Murphey som han også fikk to barn med, Jesse Michael Diamond (født 1970) og Micah Joseph Diamond (født 14. februar 1978). Da dette ekteskapet ble oppløst i 1995, skal skilsmisseoppgjøret være det fjerde dyreste på den tiden, rundt 150 millioner dollar, men Diamond skal ha kommentert at «hun fortjente hver eneste penny». Han ble i 1996 gift med den 31 år yngre australske Rachel Farley, som han ble kjent med da hun solgte suvenirartikler under hans turne i Australia samme år. Den tidligere idrettsmannen Diamond skal ha blitt svært interessert i australsk fotball med favorittlaget fra hans hustrus hjemby.