Samlivet mellom Kenneth og Margaret Millar var, ifølge Kenneth selv og hans biografer, aldri enkelt. Ekteskapet beskrives som en lang rekke depresjoner og krangler, men de to later også til å hatt en sterk trekning til hverandre som stadig bragte dem sammen igjen og flere ganger fikk dem til å søke rådgivning. Familielivet ble ytterligere prøvet på grunn av datteren Lindas psykiske problemer og rusmiddelbruk. Seksten år gammel kjørte hun ned tre fotgjengere, hvorav en døde, og prøvde senere å ta sitt eget liv. Saken vakte stor oppmerksomhet i lokalmiljøet, og førte til mye negativ dekning i pressen der blant annet foreldrenes antatt «hardbarkede» forfatterskap ble lansert som forklaring på Lindas problemer. Hendelsene og Lindas senere problemer ser imidlertid ut til å ha bundet familien enda tettere sammen.