McKimmie begynte sin karriere hos Dundee FC i 1980, hvor han fikk 81 seriekamper fordelt over tre sesonger. I 1983 ble han hentet til hjemklubben Aberdeen FC av Alex Ferguson som en tenkt erstatter til Stuart Kennedy, som ble tvunget til å legge opp på grunn av en alvorlig kneskade. Like etter at han kom til klubben var han med på å vinne UEFA Super Cup 1983, i tillegg til at han i de påfølgende sesongene var med på å vinne to seriemesterskap (1984 og 1985), tre cupmesterskap (1984, 1986, 1990) og tre ligacupmesterskap (1985, 1989, 1995). I de siste årene i klubben var han også lagkaptein.