I 1926 giftet han seg med Sydney Elizabeth Courtauld, datter av tekstilmagnaten Samuel Courtauld. Hans svigerfar gav ham en livrente og meget mer. Familien bodde i Essex og fikk fire barn: Sir Richard C. Butler (1929–2012), Adam Courtauld Butler (1931–2008), Samuel James Butler (født 1936) og Sarah Teresa Butler (født 1944). Etter at hustruen døde av kreft i 1954, giftet Butler seg med Mollie Courtauld (fødte Montgomerie) i september 1959.