Rawsthorne estuvo casado con Isabel Rawsthorne (nacida Isabel Nichols), una artista, modelo y musa bien conocida en las círculos artísticos de París y el Soho, donde conoció a André Derain, Alberto Giacometti, Pablo Picasso y Francis Bacon.