Sangen ble særlig kjent etter at John Cale i 1991 fikk tillatelse av Cohen til å omarbeide og bruke den på hyllestalbumet . Cales versjon inkluderte tekst som Cohen bare hadde fremført på konsert. Jeff Buckley tok utgangspunkt i Cales versjon og laget en av de mest kjente versjonene. Cales versjon ble brukt i filmen (2001). Buckleys versjon av Cales versjon er siden den mest covrede. Etter dette gikk «Hallelujah» forbi «Suzanne» som Cohens mest covrede og anslagsvis 20 % av alle cover av Cohen er «Hallelujah». I fjernsynsoverførte talentkonkurranser som er «Hallelujah» en av de meste fremførte. Cohen selv begynte å fremføre Buckleys versjon på konserter.