Irvine startet sin karriere som fotballspiller hos den skotske klubben Queen's Park FC i 1977. Han hjalp klubben med opprykk til Scottish Football League First Division i 1981 og spilte totalt 88 seriekamper frem til 1981. Han meldte deretter overgang til den engelske klubben Everton FC ledet av Gordon Lee tidlig i mai 1981, hvor han skrev under på en kontrakt samme dag som Lee fikk sparken som manager. Hans etterfølger Howard Kendall tok med Irvine i troppen som dro til Japan i den påfølgende sesongoppkjøringen. Irvine ligadebuterte først den 19. desember 1981 i hjemmekampen mot Aston Villa FC (2–0).