Flemings første kone, Sarah, døde i 1949. Deres eneste barn, sønnen Robert Fleming, fulgte i farens fotspor og utdannet seg til doktor. Etter kona Sarahs død, giftet Fleming seg med doktoren Amalia Koutsouri-Vourekas, en gresk kollega ved St. Mary's sykehuset, den 9. april 1953, hun døde i 1986.