Høsten 1994 gikk McPherson tilbake til Hearts i en overgang verdt 2 millioner pund, og hvor landslagskollega Alan McLaren gikk motsatt vei som en del av avtalen mellom de to klubbene. I sin andre periode hos Hearts fikk han også oppgaven med på å trene opp klubbens unge forsvarstalenter som Paul Ritchie og Gary Locke. Han var også med på å hjelpe klubben til sitt første trofé på 36 år da de vant cupen i 1997/1998-sesongen. Sommeren 1999 valgte han å trappe ned karrieren, og skrev under på en kontrakt med den australske klubben Carlton Soccer Club.