Haraldsen var sønn av skipskaptein Halvor Haraldsen (1854–1931) og Karete Josefine Nilsen (1854–1939). Han vokste opp i Solum (nå Skien). Senere ble han innehaver av og disponent i damekonfeksjonsforretningen Karl A. Haraldsen AS i Oslo sentrum.