Taylor ble født i Boston, og vokste opp i Chapel Hill i Nord-Carolina, hvor hans far var dekan på det medisinske fakultetet ved University of North Carolina at Chapel Hill. Hans fire søsken, Alex, Livingston, Hugh og Kate, har også gitt ut plater. Livingston er fortsatt aktiv musiker; Kate var aktiv på 70-tallet, men spilte ikke inn en ny plate før i 2003; Alex døde i 1993. Taylors barn med Carly Simon, Ben og Sally, har også begynt som musikere.