Whyte startet sin fotballkarriere hos Celtic i 1985, og den 22. august samme år fikk han sin seriedebut på førstelaget borte mot . I 1985/1986-sesongen vant han sitt første trofé da Celtic vant seriemesterskapet, og i 1987/1988-sesongen vant han både seriemesterskapet og cupmesterskapet med klubben. Mot slutten av 1991/1992-sesongen, etter å ha spilt 215 seriekamper for Celtic, ble han solgt til den engelske klubben Middlesbrough for 900 000 pund.