Dagerman ble født i Älvkarleby i Uppsala län. Han vokste opp hos farens foreldre, ettersom faren som var sprengningsarbeider i Stockholm ikke hadde mulighet til å ta hånd om ham. Moren hadde forlatt familiegården bare noen måneder etter fødselen, og kom aldri tilbake.