Fall Out Boy

Fall Out Boy kemudian bergabung dengan label musik Fueled by Ramen yang berbasis di Florida, dan merilis album debut mereka yang berjudul "Take This Yo Your Grave" pada tahun 2003. Album ini memperoleh penerimaan yang positif, dan berhasil terjual sebanyak lebih dari 200.000 kopi.
Pada tahun 2004, mereka kemudian merilis EP akustik berjudul "My Heart Will Always Be the B-Side to My Tongue".