Hneď prvý zápas pri národnom tíme viedol ku kontroverzii, keďže zo zostavy proti Dánsku vynechal Kevina Keegana, čo viedlo k roztržke s fanúšikmi Newcastle United. V stredu 21. septembra 1983 utrpel Robson jedinú prehru v 28 kvalifikačných zápasoch na lavičke anglickej reprezentácie. Táto prehra, opäť s Dánskom, nakoniec znamenala neúspech v kvalifikácii na Majstrovstvá Európy vo futbale 1984 a podnietila Robsona rezignovať na post trénera v prospech Briana Clougha. Predseda Anglickej futbalovej federácie, Bert Millichip, však odmietol jeho rezignáciu (hlavne preto, že Millichip i federácia považovali Clougha za neschopného) a tak Robson viedol Anglicko aj v ďalšej kvalifikácii na majstrovstvách sveta vo futbale v roku 1986 v Mexiku.