Carvey er av irsk og italiensk avstamming. Hans mors familie kommer fra Dublin og hans fars familie er fra Roma. I 1983 ble han gift med Paula, som han har sønnene Dex (d. 2023) og Thomas med. Han har tidligere vært gift med Leah.