I 1983 meldte Levein overgang til Heart of Midlothian for en overgangssum på £40 000 og ble snart fast på førstelaget til Hearts. Levein ble kåret til årets unge spiller i 1985, og i 1986 ble han den første spilleren til å motta denne utnevnelsen igjen. 1986 var den sesongen som Hearts jaktet på troféene både i ligaen og i cupen. I ligaen var de bare minutter fra å vinne tittelen, før mål innenfor de ti siste minuttene av sesongen av Albert Kidd gav Hearts deres første ligatap på 31 kamper. Det var nok til å fravriste Hearts ligaledelsen og gi ligamesterskapet til Celtic. Levein og hans lagkamerater tapte så 3-0 uken etterpå i den skotske cupfinalen for Aberdeen, som for øvrig ble ledet av Alex Ferguson.