Til tross for økende mistillit forble Semb i sjefsstolen også i den påfølgende EM-kvalifiseringen, hvor Norge til slutt kapret andreplassen bak Danmark, og måtte ut i «playoff» mot Spania. I den første kampen, som ble spilt i Spania, ble det et knepent 2–1 tap, hvilket sørget for optimisme foran returkampen på Ullevaal. Returkampen ble imidlertid et mareritt. Spanjolene var best i absolutt alt, og vant til slutt 3–0. Dermed ble det ikke noe EM-sluttspill, og etter denne kampen valgte Semb å gå av, etter selv å ha erklært at det var naturlig å bare ha to forsøk på å føre Norge til mesterskap før noen andre fikk prøve seg.