Почти сразу после завершения игровой карьеры, в августе 1955 г., Рамсей возглавил клуб «Ипсвич Таун», выступавший тогда в южной группе Третьего дивизиона. В первом же своём сезоне он добился третьего места, ему не хватило двух очков в этом соревновании, для того, чтобы подняться на дивизион выше, а в следующем (1956/57) — выиграл его. После трёх посредственных сезонов во Втором дивизионе команда выиграла его в сезоне 1960/61 и вышла в высший дивизион. В сезоне 1961/62 ипсуичский клуб сенсационно выиграл чемпионат Англии. Альф Рамсей стал первым тренером, который делал свою команду чемпионом в трёх дивизионах. В конце 1962 года Рамсей возглавил сборную Англии, несколько месяцев совмещал работу в ней и в клубе, в апреле 1963 года ушёл с поста тренера «Ипсвича», сосредоточившись на работе со сборной. В «Ипсвиче», а затем и в сборной Рамсей использовал необычную тактическую схему без крайних полузащитников и нападающих, где акцент делался исключительно на атакующую игру в центре, сборную Англии за применение этой схемы на победном мундиале назвали «Бескрылым чудом». Сразу по приходе в сборную Альф пообещал выиграть домашний для англичан ЧМ-1966. Однако первый его матч у руля сборной, игра против Франции в первом отборочном раунде ЧЕ-1964 27 февраля 1963 г., завершился разгромным поражением 2:5.