Taylor lærte først å spille cello som barn i Chapel Hill, men byttet til gitar i 1960. Hans stil på dette instrumentet utviklet seg fra å høre på salmer, lovsanger og Woody Guthrie, og ville senere bli et lett gjenkjennelig hovedelement i hans lydbilde. Mens han gikk på Milton Academy, en eksklusiv kostskole i Massachusetts, møtte han Danny Kortchmar i Martha's Vineyard og de to begynte å spille folkemusikk sammen. Etter å ha hoppet av skolen startet han et band med sin bror Alex, men ble etterhvert innlagt på et mentalsykehus på grunn av depresjon. Taylor mener at dette reddet hans liv. Han tok artium mens han var på sykehuset, og da han forlot sykehuset startet han et band kalt Flying Machine sammen med Kortchmar and Joel O'Brien. Bandet hadde platekontrakt med Rainy Day Records og gav ut én single; . Singelen ble imidlertid ingen suksess.