Zijn eerste internationale titel behaalt Armin Hary op de Europese kampioenschappen van 1958 in Stockholm. Individueel wint hij op de 100 m een gouden medaille. Met een kampioenschapsrecord van 10,3 verslaat hij zijn landgenoot Manfred Germar (zilver; 10,4) en de Brit Peter Radford (brons; 10,4). Met zijn teamgenoten Manfred Germar, Heinz Fütterer en Walter Mahlendorf verovert hij een tweede gouden plak op de 4 x 100 m estafette.