Key-Åberg ble født av svenske foreldre i Dresden, Tyskland. Faren forlot ham og moren, noe som førte til at han måtte tilbringe deler av barndommen hos forskjellige fosteramilier, både i Italia og etterhvert Sverige. Han hadde lite kontakt med moren under denne tiden. Oppveksten og følelsen av fremmedgjøring satte et preg på hans forfatterskap.