У наступні три роки відрізнявся стабільно високою якістю гри і додав до числа своїх трофеїв ще низку кубкових нагород, включаючи й перемогу ще в одному фіналі Кубка європейських чемпіонів 1984 року, а також три рази поспіль виграв чемпіонат Англії. Однак у сезоні 1984/85 року Семмі раптом втратив форму і в другій половині сезону виходив на поле лише час від часу. У наступному році він так само не міг закріпитися в основі, постійно випадаючи зі складу.