Harald Kanepi aloitti nyrkkeilynsä Tallinna Nyrkkelyklubissa () vuonna 1935 valmentajanaan Nigul Maatsoo. Hän nyrkkeili kevyessä sarjassa eli sarjassa alle 61,2 kg. Hän saavutti Viron mestaruuskisoissa hopeaa vuonna 1938 ja seuraavana vuonna hänestä tuli Viron mestari. Hän osallistui samana vuonna Dublinissä EM-kisoihin ja saavutti kisoissa hopeaa. Ensimmäisessä ottelussa hän voitti isäntämaan Irlannin Patrick Gernonin, ja välierässä voitto tuli Belgian Staf Jacobsista. Finaalissa Kanepi koki tappion Saksan Herbert Nürnbergille, joka näin uusi mestaruutensa. Seuraavana vuonna Kanepi otti vielä Viron mestaruuden ylemmässä eli sarjassa alle 66,7 kg.