Durante første kone het Jeanne Olson, som han giftet seg med den 19. juni 1921. Olson ble født i Ohio den 31. august 1896 og hun døde på valentinsdagen i 1943, etter en langvarig hjerte-sykdom som hun hadde slitt med i nesten to år. Durante giftet seg med sin andre kone, Margaret Little, ved St. Malachy's katolske kirke i New York City, den 14. desember 1960. Paret adopterte en baby (nå kjent som Cece Durante-Bloum) på juledagen i 1961.