Sverige var med i neste kvalifisering, til EM i 1964. Etter først å ha slått Norge over to kamper, møtte Sverige Jugoslavia i en tett kamp. Avgjørelsen falt i Sverige etter 0-0 i Jugoslavia. Jugoslavene tok ledelsen, Sverige snudde til 2-1, Jugoslavia utliknet og Sveriges Harry Bild satte inn vinnermålet. Sverige gikk til kvartfinalen, som fortsatt var del av kvalifiseringen, og møtte Sovjetunionen. Etter 1-1 i Sverige, tapte Sverige 1-3 i Sovjetunionen. Begge målene ble scoret av Hamrin. Det gikk heller ikke i kvalifiseringen til VM i 1966, der Sverige spilte uavgjort hjemme og tapte borte for Vest-Tyskland. Dermed gikk Nyman av og ble erstattet av Orvar Bergmark i 1965.