Etter ti gode på småbruket, begynte en tøff periode for Sandemose. Først mistet han den ene tvillingsønnen sin, Espen, og et par år senere døde også kona Eva. Sandemose har skildret hendelsene i , en bok som han kaller en minnebok om disse som sto ham nær. Han flyttet så tilbake til Oslo, hvor han i 1963 giftet seg for tredje gang. Våren 1965 ble Sandemose syk og innlagt på Ullevål sykehus. Han begjærte seg flyttet til Militærhospitalet i København, hvor han døde i august samme år.