Gruppa ble satt sammen av Albert Grossman, som og fungerte som agent for dem. Han ville lage en «supergruppe», og de opptrådte for første gang i 1961 i Greenwich Village i New York. De er kjent for blant andre sangene «Puff, the Magic Dragon», «If I Had a Hammer» og Bob Dylans «Blowin’ in the Wind».