Irvine forlot Everton sommeren 1984 etter at han fikk konkurranse om førstelagsplassen på høyrevingen av Trevor Steven, og signerte deretter under på en kontrakt med London-klubben Crystal Palace FC på nivå to i august 1984. Hos Palace etablerte han seg raskt på førstelaget og gav etterhvert flere målgivende pasninger til den fremtidige storspilleren Ian Wright. Klubben lå i denne perioden på øvre halvdel av tabellen, men klarte ikke å nå hverken direkte opprykk eller playoffplass. I juni 1987 forlot han England og dro tilbake til Skottland, hvor han skrev under på en kontrakt med Dundee United FC.