Etter å ha spilt 100 seriekamper for Portsmouth dro han i 1991 tilbake til sitt hjemland og skrev under for Heart of Midlothian. Under en treningskamp mot Raith Rovers kritiserte han lagkaptein Craig Levein såpass at Levein svarte med å gå inn i en slåsskamp med Hogg, med det resultat av at sistnevte fikk et alvorlig nesebrudd. Begge ble ilagt strenge straffer gjennom at Hogg fikk ti kampers karantene mens Levein på sin side fikk tolv kamper.