Selv om myten om Dagerman har fremstilt barneårene som traumatiske, beskrev han det selv som den lykkeligste tiden i sitt liv. Særlig beundret han sin farmor og farfar, enkle mennesker som holdt seg til de gamle skikker. I 1940 ble farfaren myrdet av en psykisk syk mann, og året etter fikk farmoren en hjerneblødning. Dagerman tok dette hardt, og begikk det første av flere selvmordsforsøk.