Han giftet seg med ballerinaen Nora Kaye i november 1948, men deres ekteskap endte i skilsmisse i 1949. 17. august 1951 giftet Isaac seg med Vera Lindenblit. De fikk tre barn sammen. Deres ekteskap endte også i skilsmisse i 1994 etter 43 års ekteskap. 23. januar 1997 giftet Isaac seg med sin tredje kone, Linda Reynolds, som overlevet ham.