Hans far var historikeren Arnold J. Toynbee og en bestefar på morssiden var antikkforskeren Gilbert Murray. Toynbee ble kommunist tidlig i studentdagene.Han giftet seg to ganger, i 1939 med Anne Powell, og i 1950 med Sally Smith. Han fikk to barn med sin første hustru, den andrefødte var Mary Louisa, bedre kjent som journalisten Polly Toynbee. Han levde et bohemliv med mye drikking, og Anne giftet seg raskt med filosofen Richard Wollheim etter å ha skilt seg fra Toynbee i 1950. Som utenrikskorrespondent for reiste Toynbee til Tel Aviv hvor han møtte Sally Smith, sekretær ved den amerikanske ambassaden.