Feynmans første kone Arline Greenbaum døde mens han arbeidet på Manhattanprosjektet. Han giftet seg igjen med Mary Louise Bell fra Neodesha, Kansas, i juni 1952; ekteskapet ble en kort fiasko. Noe senere giftet han seg med Gweneth Howarth fra England som delte hans livsglede. I tillegg til deres hjem i Altadena, California, hadde de en strandvilla i Baja California. De var gift resten av livet, og fikk en sønn, Carl, og adopterte en datter, Michelle.