Sin embargo, su primer material no vería la luz hasta 2001, año en que lanzan su primer EP autotitulado "Taking Back Sunday", al que le seguiría "Lullaby".