Frye giftet seg med Helen Kemp, en pedagog, redaktør og kunstner, i 1937. Hun døde i Australia mens hun fulgte Frye på en forelesningsturne. To år etter hennes død i 1986 giftet han seg med Elizabeth Brown, men døde selv i 1991 og ble gravlagt på gravlund Mount Pleasant Cemetery i Toronto, Ontario.