Licencié au club du TV Gelnhausen, Harald Schmid se distingue dans les catégories jeunes en devenant en 1974 champion de Hesse cadet du , puis l’année suivante champion d’Allemagne cadet du et champion d’Allemagne junior du haies, titre qu’il défendra victorieusement en 1976, ainsi qu’en 1977, où il réussira le doublé. C’est à cette époque qu’il commence à participer à des compétitions internationales, en représentant son pays lors de rencontres juniors face à la Pologne et à l’Angleterre . Lors des championnats d’Europe juniors de 1975 à Athènes, il finit du et avec le relais 4 × . Sa carrière en juniors est ponctuée le à Lüdenscheid par un record du monde, en 49 s 61, lors d’un match contre les États-Unis.