McIlvenny zaczynał karierę piłkarza w Greenock Morton, w którym grał do roku 1947 (nie rozegrał ani jednego spotkania). Następnie przeszedł do walijskiego Wrexham FC w którym rozegrał 7 spotkań i strzelił 1 bramkę, dlatego iż musiał przenieść się do Stanów Zjednoczonych w których mieszkała jego siostra. Po przybyciu do Stanów zaczął grywać dla Philadelphia Nationals w stołecznej lidze - American Soccer League. W roku 1950 został powołany do kadry narodowej na mistrzostwa świata 1950, które odbyły się w Brazylii (uczestnik meczu z Anglią nazwanego "Cudem na trawie"). W roku 1976 został wcielony do National Soccer Hall of Fame wraz z innymi jankeskimi piłkarzami z mundialu 1950. Następnie został dodany do Scottish Football Museum.