Taking Back Sunday tenía una habitación en Lindenhurst, Nueva York, donde practicaban y componían todas las noches; su primera canción escrita fue "Great Romances of the 20th Century".