Serra var gift med kunstneren og skulptøren Nancy Graves mellom 1965 og 1970. Han giftet seg med kunsthistorikeren Clara Weyergraf i 1981. Han er bror av den kjente borgerrettsadvokaten Tony Serra. Siden 1977 har Serra og Weyergraf hatt bolig i flere etasjer av en tidligere industribygning ved 173 Duane Street i Tribeca. I 2011 kjøpte paret tredje etasje av 173 Duane Street. Siden slutten av 1970-tallet har de tilbrakt deler av året i gårdsbygningen fra 1700-tallet på en høyde over Northumberland Strait i Inverness County, Nova Scotia.