Joe Harper gjorde comeback for Aberdeen FC under manager Ally MacLeod i starten av 1976/1977-sesongen, etter at Hibs solgte ham for £50.000, og ble umiddelbart en suksess igjen. Aberdeen slo Celtic FC 2-1 i finalen av ligacupen i november 1976. Harper spilte to finaler til i de påfølgende to sesongene, da Aberdeen tapte både FA-cupfinalen i 1977/1978 og ligacupfinalen i 1978/1979 for Rangers med 1-2 som resultat i begge kampene. I 1979/1980-sesongen ble Harper betraktet som en veteran og var ikke lenger fast på førstelaget til Aberdeen, men hans sju ligamål hjalp Aberdeen til det første ligamesterskapet siden 1954/1955. Han forlot Pittodrie etter bare én kamp i den påfølgende sesongen.