Damsleths far var ingeniøren Olaf Martinius Damsleth og moren var den tyske Katharina Elise Foss. Faren arbeidet ved et verft i Bremen da Damsleth ble født, og hadde etablert seg der. Moren døde da Damsleth var syv år, og faren flyttet med sønnen tilbake til Norge for å arbeide ved Fredrikstad Mekaniske Verksted hvor Harald Damsleth vokste opp.