Frosts privatliv var plaget av sorg og tap. I 1885 da Frost var 11 år gammel, døde faren av tuberkulose, og hans mor døde av kreft i 1900. I 1920 ble hans yngre søster innlagt ved et mentalsykehus, hvor hun døde ni år senere. Frosts datter, Irma, ble innlagt ved et mentalsykehus i 1947. Frosts kone, Elinor, hadde også opplevd anfall av depresjon. Frost og hans kone hadde seks barn sammen. Sønnen Elliot (1896-1904) døde av kolera, datteren Lesley Frost Ballantine (1899-1983), sønnen Carol (1902-1940) som begikk selvmord, datteren Irma (1903-1967); datteren Marjorie (1905-1934) som døde av barselfeber etter fødselen, og datteren Elinor Bettina som døde bare tre dager etter å ha blitt født i 1907. Bare to av barna levde lenger enn faren. Frosts kone, som hadde hjerteproblemer gjennom hele livet, ble diagnostisert med brystkreft i 1937, og døde av hjertesvikt i 1938.