Rush begynte å opptre i 1961 mens han var student ved Harvard University hvor han har eksamen i engelsk litteratur. Mye av hans tidlige produksjoner er basert på folkemusikk fra Det skotske lavlandet og Appalachene. Han opptrådte jevnlig på det daværende Club 47 (nå: Club Passim) i Cambridge og på Unicorn i Boston.