Carhart, una trabajadora social a la que conoció en 1934 cuando ella estudiada en Temple College y él acababa de ser nombrado profesor en Harvard, se instaló en Hastings-on Hudson, un pequeño pueblo cercano a Nueva York, y allí tuvieron a sus tres hijos, Stephanie, Robert y Vanessa.