Es gibt mindestens 116 aufgenommene Coverversionen. Als eine der ersten Gruppen griffen "The Limelighters" den Folksong auf (LP "The Limelighters"; März 1960), und zwar noch als "Hammer Song". Peter, Paul and Mary arrangierten das Lied neu und titelten erstmals als "If I Had a Hammer" (LP "Peter, Paul and Mary"; April 1962); die LP erreichte Rang 1 der LP-Charts und verkaufte zwei Millionen Exemplare. Hieraus koppelten sie "If I Had a Hammer" als ihre zweite Single aus (August 1962) und sangen den Titel auch beim Civil Rights-Marsch am 28. August 1963. Die Single erreichte Rang 10 der Billboard Hot 100. Die Weavers präsentierten den Song live am 2./3. Mai 1963 in der Carnegie Hall als "If I Had a Hammer". Es folgten insbesondere die Brothers Four (LP "Big Folk Hits"; Mai 1963), The Lettermen (September 1963), Martha and the Vandellas (September 1963), Bobby Darin (LP "Golden Folk Hits"; Juli 1962, veröffentlicht im November 1963), Brian Hyland (15. November 1963) oder Sam Cooke (7./8. Juli 1964).