Второй грандиозной неудачей Уинтерботтома стала игра против Венгрии на «Уэмбли», в которой венгерская команда разгромила наголову англичан со счётом 6:3. Уинтерботтом говорил об этом матче: «Пресса заставляла нас думать, что мы легко победим, но я пытался объяснить, что венгры на самом деле были великой командой». Англия выиграла Домашний чемпионат в 1954 году и отправилась на чемпионат мира в Швейцарию, но снова её ждала неудача — Уругвай выиграл четвертьфинальный поединок со счётом 4:2. Англия, пройдя отборочный турнир на чемпионат мира 1958 года, вскоре потерпела ещё одну неудачу: в дополнительном матче плей-офф англичане были побеждены сборной СССР со счётом 1:0. Однако Уинтерботтом не покидал свой пост. Оставить должность главного тренера ему пришлось только после чемпионата мира 1962 года, когда англичане проиграли в четвертьфинале бразильцам, причём Уинтерботтома просто раздавила британская пресса. Он покинул свой пост спустя пять месяцев после завершения первенства мира в Чили и до сих пор остаётся рекордсменом Англии по продолжительности пребывания на посту главного тренера сборной (16 лет).