Harald Tusberg vokste opp i Bergen. Han var sønn av skipsfører Kristoffer Lund Jensen Tusberg og hans hustru Sigrid Marie Junge. Etter examen artium i 1955 gikk han ett år på befalsskolen.